Automatisierte Inhaltsanalysen im Internet: Möglichkeiten und Grenzen am Beispiel des SINDBAD Knowledge Generators

Automatisierte Inhaltsanalysen im Internet: Möglichkeiten und Grenzen am Beispiel des SINDBAD Knowledge Generators Francois Rüf, Saskia Böcking & Stefan Kummer (alle Netbreeze GmbH) 1. Einleitung In der Kommunikationswissenschaft ist die quantitative Inhaltsanalyse eine weit verbreitete und häufig eingesetzte Methode. Der inhaltlichen Vielfalt der analysierten Fragestellungen ist dabei so gut wie keine Grenze gesetzt. Angesichts der zunehmenden Bedeutung des Internets im Alltag von Mediennutzern und damit auch der Bedeutung der von Internetinhalten ausgehenden Wirkungen wird die Frage, ob und wie diese Inhalte methodisch sauber analysiert werden können, in den letzten Jahren verstärkt diskutiert (vgl. Welker et al. in diesem Band). Die Diskussion dreht sich allerdings nicht nur um die Herausforderungen im Zusammenhang mit manuellen, eher traditionellen Vorgehensweisen. Auch der Einsatz computerunterstützter bzw. vollautomatisierter Verfahren wird angesprochen (vgl. Scharkow in diesem Band). Beschränkte sich die Diskussion dabei lange Zeit lediglich auf den Codierprozess ansich, so erhält die Frage nach der Einsatzmöglichkeit computerunterstützter Verfahren vor dem Hintergrund der Datenfülle des Internets und der Unstrukturiertheit der vorhandenen Informationen ein ganz neues Gewicht. Der vorliegende Beitrag stellt mit dem SINDBAD Knowledge Generator eine Software vor, die computerunterstützte Inhaltsanalysen im Internet ermöglicht. Vor dem Hintergrund der methodischen Herausforderungen und Probleme von Online-Inhaltsanalysen (vgl. Welker et al. in diesem Band) sowie von computergestützten Verfahren (vgl. Abschnitt 2) legen wir in Abschnitt 3 anhand eines Beispiels die Funktionsweise der Software dar. Abschnitt 4 diskutiert dann aufbauend auf der Diskussion der Qualitätsanforderungen an Inhaltsanalysen von Internetinhalten (vgl. Welker et al. in diesem Band) und computerunterstützte Inhaltsanalysen (vgl. Abschnitt 2) die Möglichkeiten und Grenzen dieser Software. In Abschnitt 5 werden die gewonnenen Erkenntnisse abschließend zusammengefasst und ihre Implikationen für die automatisierte Analyse von Internetinhalten diskutiert. 1 2. Methodische Aspekte bei computerunterstützten Inhaltsanalysen1 Neben den herkömmlichen, manuell durchgeführten Inhaltsanalysen finden in den letzten Jahren vermehrt auch computerunterstützte Analysen Anwendung (vgl. Scharkow in diesem Band). Zentrales Merkmal dieser Analysen ist, dass der Codierungsprozess durch einen Computer bzw. einer Inhaltsanalyse-Software übernommen wird. Auch Teile der Auswertung stellt der Computer häufig automatisch bereit. Mit der computerunterstützten Inhaltsanalyse werden die folgenden Vorteile im Vergleich zur manuellen Inhaltsanalyse in Verbindung gebracht: die Codiererschulung entfällt, die Dauer des Codierprozesses wird erheblich verkürzt, durch beschränkte Ressource bedingte Stichprobenziehungen erübrigen sich, die Reliabilität der Codierung liegt stets bei 100%, die Dokumentation und damit die intersubjektive Nachvollziehbarkeit kann aufgrund der Protokollierbarkeit der Vorgänge mit geringem Aufwand überwunden werden (vgl. Früh 1984: 35; Geis 2001: 320; Züll/Mohler 2001: 8). Die 100%ige Reliabilität geht allerdings zu Lasten der Validität (vgl. Wirth 2001: 172). Denn damit verbunden ist eine Beschränkung der Indikatoren auf syntaktisches Niveau. Damit spricht Wirth bereits die Hauptkritik an computerunterstützten Inhaltsanalysen an: Die fehlende Kontextsensitivität, bzw. die fehlende Einbeziehung der semantischen Ebene. So sind computerunterstützte Codierverfahren nur im Rahmen von einfachen, nicht zu komplexen Fragestellungen denkbar, bei denen die Kategorien mit einer Indikatorenliste eindeutig und vollständig bearbeitet werden können bzw. die erhobenen Häufigkeiten von Worten bzw. Wortkombinationen valide Indikatoren für die zu untersuchenden Konstrukte darstellen. Für die Bearbeitung komplexer Textstrukturen, Ambiguitäten und kontextsensitiver Analysen sind computerunterstützte Inhaltsanalysen derzeit (noch) weniger geeignet (z. B. Geis 2001: 319f.; Früh 1984: 36f.; Hagen 2001: 342; Maurer/Reinemann 2007: 63). Früh (1984: 40) weist allerdings darauf hin, dass mit Hilfe von nachgewiesenen Regelhaftigkeiten in der Sprachverwendung bis zu einem gewissen Grad auch Kontexte analysierbar sind. So ist es etwa mit Hilfe von Verknüpfungen von Suchbegriffen möglich, das gemeinsame Auftreten mehrerer Begriffe (in einer vordefinierten Wortbreite bzw. innerhalb einer Analyseeinheit) zu untersuchen (Co-Occurence-Analyse; vgl. Scharkow in 1 Web- bzw. Text-Mining-Ansätze bleiben in der Diskussion an dieser Stelle außen vor. Zwar haben sie – sofern sie sich auf das Mining von Inhalten und nicht von Strukturen oder Nutzerverhalten beziehen (Linoff/Berry 2001: 21) – aufgrund der Analyse eben dieser Inhalte Ähnlichkeiten zur Inhaltsanalyse. Anders als bei der Inhaltsanalyse liegt ihr Schwerpunkt allerdings in der Entdeckung von noch unbekannten Strukturen bzw. die Erkennung von Regularitäten in den analysierten Inhalten. Dies wird i.d.R. über den Einsatz von statistischen und computerlinguistischen Verfahren ermöglicht. Web- und Text-Mining sind abzugrenzen vom Information Retrieval und der Information Extraction. Bei ersterem werden auf Basis einer Suchanfrage aus einer Dokumentensammlung diejenigen ganzen Dokumente geliefert, die für die Beantwortung der Frage relevant sind (das ist z. B. das Vorgehen bei der Anwendung von Internet-Suchmaschinen). Bei letzterem werden aus Texten einzelne Fakten extrahiert und in einem Schema präsentiert. Da bei der Information Extraction die Kategorien bekannt sind, zu denen Informationen gesucht werden, liegt diesbezüglich eine Ähnlichkeit zur Inhaltsanalyse vor. 2 diesem Band). Aus dem gemeinsamen Auftreten von Wörtern wird auf eine bestimmte Sichtweise oder Bewertung eines Sachverhalts durch die Kommunikatoren bzw. auf die Art der Wahrnehmung eines Sachverhalts durch die Rezipienten geschlossen (vgl. Galliker/Herman 2003). Dies ermöglicht die Analyse detaillierterer Themen. Auch hier ist es für valide Ergebnisse allerdings unabdingbar, dass die Indikatoren eindeutig bestimmten Themen zugeordnet werden können. Solange dies der Fall ist, wie etwa bei der Thematisierung und Bewertung der wirtschaftlichen Konjunktur, weisen computerunterstützte und manuelle Verfahren nachweislich eine hohe Übereinstimmungsrate in der Codierung auf (z. B. Geis 2001; Hagen 2001). Züll und Alexa (2001: 306ff.) merken an, dass es insbesondere in der Computerlinguistik verstärkt Bestrebungen gibt, das Problem der semantischen Codierung mit Hilfe von verschiedensten Algorithmen zu beheben. Häufig beschränken sich diese Bemühungen allerdings auf englischsprachige Texte – und auch die Qualität der verwendeten Vorgehensweisen liegt meist noch im Dunkeln. Allgemein besteht Konsens darüber, dass computerunterstützte Inhaltsanalysen vor allem dann anwendbar sind, wenn die Wichtigkeit bzw. Häufigkeit eines Themas, Problems oder Akteurs in verschiedenen Medien relevant ist, wie etwa bei der Agenda-Setting-Forschung, der auf Mikroanalyse von Textbestandteilen bestehenden Framing-Forschung oder der Messung von Bewertungen oder politischen Positionen. Auch für die Analyse von Bewertungen erweisen sich computerunterstützte Verfahren nach den Erkenntnissen von Früh (1984) als geeignet. Voraussetzung ist hier, dass bei der Ermittlung von positiven Bewertungen falsche Pronomenzuordnungen und Negationsfehler durch Zusatzroutinen ausgeschlossen werden. Knackpunkt einer computerunterstützten Inhaltsanalyse ist somit die Validität der Ergebnisse. Um die Validität der Ergebnisse einer computerunterstützten Inhaltsanalyse zu sichern, empfehlen Maurer und Reinemann (2007: 65), vor oder auch nach Erstellung des Kategoriensystems Expertenbefragungen durchzuführen. Im ersten Fall würde eine Augenscheinvalidierung durchgeführt, im zweiten eine Konstruktvalidierung. Zusätzlich empfehlen die meisten Autoren, die Ergebnisse stichprobenartig von menschlichen Codierern überprüfen zu lassen. Durch einen solchen Reliabilitätstest kann man dann unter der Annahme, dass die menschliche Codierung die korrekte ist, die Validität der Analyseergebnisse beurteilen. Züll und Mohler (2001: 9f.) nennen im Zusammenhang mit der Analysesoftware Textpack zudem die Verwendung von Keyword-in-context-Listen (KWIC) und das Zurückschreiben von Codes in den Text zur Überprüfung des Analysekontextes, die Erstellung einer Liste der nicht-codierten Einheiten zur Überprüfung ihrer Nicht- Codierbarkeit, die Erstellung einer Liste der codierten Einheiten als Test für möglicherweise 3 überflüssige Kategorien sowie die Auszählung der Kategorienhäufigkeiten zur Überprüfung der adäquaten Breite der Kategorien als weitere Möglichkeiten der Validitätsprüfung. An menschlichen Codierern geht bei diesen Varianten allerdings kein Weg vorbei. Dazu kommt, dass die in der Regel zeitaufwändige Erstellung des Kategoriensystem nach wie vor Aufgabe des Forschers ist. Verfahren, die eine automatische Generierung von Kategorien aus dem Datenmaterial vornehmen, mangelt es bisher noch an Validität (vgl. Züll/Alexa 2001: 313f.). Neben der Validität der Ergebnisse werden bei computerunterstützten Inhaltsanalysen weitere Aspekte als problematisch angesehen: das zu analysierende Material muss in elektronischer Form vorliegen und die visuelle Ebene kann (noch) nicht valide einbezogen werden (vgl. Maurer/Reinemann 2007: 63).