Arten auditiver Informationen
Sprache, Soundeffekte und Musik können neben sachlichen Informationen auch emotionale Inhalte vermitteln. Mit allen dreien lassen sich bestimmte Aspekte hervorheben. In der Sprache geschieht dies durch eine Anpassung der Betonung und des Tonfalls sowie der Geschwindigkeit. Bei Soundeffekten und Musik sind zum Beispiel die Wahl der Tonart (fröhlich wie C-Dur oder eher traurig wie a-Moll), die Anpassung der Lautstärke, der Geschwindigkeit und so weiter geeignete Mittel.
Dynamische Verfügbarkeit
Allen drei akustischen Formaten ist gemein, dass sie durch eine zeitlich begrenzte Darbietung das Arbeitsgedächtnis schnell überfordern können. In digitalen Lernumgebungen kann es sinnvoll sein, Lernenden die Möglichkeit zu geben, Inhalte zu unterbrechen oder auch mehrfach zu hören.
Hörverstehen
Hören und Zuhören erfordern vom Lernenden ein unterschiedliches Maß an Aktivität. Hören geschieht passiv, Zuhören ist aktiv. Dabei stellt Hören natürlich eine Voraussetzung für Zuhören dar. Der Zuhörende hört nicht nur etwas, er ordnet dem Gehörten nachträglich etwas zu, kategorisiert und deutet es. Mögliche Wechselwirkungen zwischen verschiedenen akustischen Signalen sind zu berücksichtigen, beispielsweise, wenn sowohl die Tischnachbarin / der Tischnachbar als auch die Lehrkraft spricht.
Das Verstehen von gehörter Sprache, aber auch von Geräuschen und Musik erfordert nach Schnotz vom Lernenden eine Arbeit auf verschiedenen Ebenen. Zunächst geht es bei allen dreien darum, eine gedankliche Entsprechung des Gehörten zu erzeugen. Diese wird bei Geräuschen und Musik sofort (zusammen mit weiteren erhaltenen Informationen oder bereits vorhandenem Wissen) als neues „mentales Modell“ abgespeichert. Beim Hörverstehen von Sprache findet zunächst noch ein Zwischenschritt statt: Der Inhalt wird durch weiteres Filtern und Kategorisieren zunehmend vom Wortlaut getrennt. Bereits Bekanntes wird in diesen Prozess einbezogen, sodass sowohl Verstehen als auch Bedeutungserschließung und -bewertung gleichzeitig erfolgen.
Wie jedes didaktisch-methodische Handeln verfolgt auch der Einsatz von Musik eine bestimmte Absicht, wie beispielsweise die der Unterhaltung. Beim multimedialen Lernen spielen vor allem die emotionalen und motivationalen Funktionen der Musik eine große Rolle, so lässt sich Aufmerksamkeit lenken oder auch Spannung erzeugen.
Neben Informationen können durch die Stimmmodulation beim Sprechen noch stärker Emotionen transportiert und die Authentizität des Lerngegenstandes erhöht werden. Dabei wirkt die menschliche Stimme im Gegensatz zur KI-generierten Stimme noch authentischer und kann durch die persönliche Ansprache des Lernenden aktivierend, motivierend und aufmerksamkeitssteigernd wirken.