Die Forschung in Deep Learning erlebt herausragende Fortschritte, die zu vielen zukünftigen Anwendungen führen können, besonders im Bereich Computer Vision. Dennoch bleiben die meisten Teile eines auf maschinellem Lernen basierenden Systems verborgen und schwer dem Menschen zu erklären. Der daraus resultierende Mangel an Verständnis und Vertrauen beschränkt die Anwendung solcher Methoden in kritischen Szenarien wie dem Gesundheitssystem. In dieser Dissertation schlagen wir Modelle vor, die von Grund auf erklärbarer sind als die Basismodelle, auf denen sie aufbauen. Durch das Offenbaren von Teilen des Entscheidungsprozesses entwickeln wir Hilfsmittel, die es Menschen erlauben, die Stärken und Schwächen der Modelle besser zu erkennen und einzuschätzen, ob sie sich für einen Einsatz eignen. Die Forschung dieser Dissertation ist von der Art inspiriert wie Erklärungen durch Kommunikation entstehen. Wir präsentieren neuartige Herangehensweisen, welche verschiedene Aspekte des Kommunikationsablaufs in neuronale Netze integrieren, sodass sie interpretierbarer werden und/oder die Interaktion zwischen Mensch und Maschine verbessern. Kommunikation --- und damit auch unsere Sprache --- ist ein natürlicher Weg für Menschen eine Erklärung zu verfassen, sodass ein Benutzer von erklärbaren Systemen keiner Lernphase ausgesetzt ist, um mit der künstlichen Intelligenz interagieren zu können. Insbesondere schlagen wir eine Multiagenten-Kommunikationsumgebung vor, bei der die Nachrichten zwischen den Agenten einem Ja/Nein Frage-Antwort-Diskurs ähneln. Agenten, die trainiert wurden, Bilder zu klassifizieren, bauen dabei einen Entscheidungsbaum, der den Ablauf der Vorhersagen als Ganzes beschreibt. Während dieser Ansatz eine einheitliche Erklärung für eine Problemstellung findet, stellen wir fest, dass Menschen vielfältig in ihrer Kommunikation, Sprache und Wahrnehmung sind. Aus diesem Grund erschaffen wir einen Agenten, der zielgerichtete Nachrichten erstellt und seine Vorgehensweise anpasst, indem er seinen Kommunikationspartner dabei beobachtet, wie effektiv dieser die übertragenen Informationen in Taten umsetzen kann. Im Anschluss zeigen wir, dass effiziente Kommunikation auch als Maßstab verwendet werden kann, der, wenn man sich ihn als Ziel setzt, zu hoch komprimierten Abstraktionen und zu interpretierbaren Erkenntnissen führt. Schließlich werfen wir einen umfassenderen Blick darauf, inwiefern semantische Informationen, z.B. von Sprache, Vision-Modelle bereichern und sie erklärbarer machen können.