April 20, 2024

Wie generative KI die Wissenschaft und akademische Forschung ruinieren wird – Johan Eddebo

0

Über die fortgeschrittene Digitalisierung und die Erosion des Wissens.

Quelle: How generative AI will ruin science and academic research – OffGuardian

Hintergrund: Die Epistemologie der modernen Massenmedien

Ich greife oft auf Neil Postmans Klassiker „Amusing Ourselves to Death“ [„Wir amüsieren uns zu Tode“, Anm. d. Übersetzers] von 1985 zurück. Es ist eine tiefgreifende Analyse der kognitiven Auswirkungen der Medientechnologie. Er konzentriert sich hauptsächlich darauf, wie das Format und die Art der Kommunikation den Charakter des Inhalts beeinflussen und wie dieser Inhalt uns dann trainiert, aber in geringerem Maße auch darauf, wie der Diskurs und die „Atmosphäre“ des Informationsaustauschs diese Fragen beeinflussen.

Das ist fast vierzig Jahre her, und das untersuchte disruptive Medium ist das Fernsehen. Der gesamte Ansatz erscheint fast altmodisch, denn die 80er Jahre sind im Vergleich zur heutigen Zeit ein goldenes Zeitalter des kritischen Denkens, der komplexen Darstellung und der bewussten, kreativen Bürger.

Doch die Probleme, die Postman hervorhebt, waren schon damals von Bedeutung. Man kann seine Kritik damit zusammenfassen, dass das Format des Fernsehens komplexe, nachteilige Auswirkungen auf den Inhalt und den Charakter des öffentlichen Diskurses sowie auf die kognitiven Fähigkeiten der Menschen hat, insbesondere im Hinblick auf das Verständnis komplexer Sachverhalte und die Analyse von Argumenten und Beweisen mit vielen Ebenen und verzweigten Implikationen.

Postman ist der Ansicht, dass sowohl schriftliche Darstellungen als auch komplexe mündliche Überlieferungen den menschlichen Verstand auf die Anforderungen des kritischen Denkens und der rationalen Reflexion vorbereiten und fördern. Im Gegensatz dazu haben Unterhaltungsmedien und -diskurse, wie sie insbesondere das Fernsehen verkörpert, die auf kurzfristige Befriedigung und die Vermittlung sensationeller Erfahrungen ausgerichtet sind, eher den gegenteiligen Effekt.

Seine Beispiele sind wirklich krass, sogar damals schon:

Der Widerspruch erfordert also, dass Aussagen und Ereignisse als zusammenhängende Aspekte eines kontinuierlichen und kohärenten Kontextes wahrgenommen werden. Fällt der Kontext weg oder wird er fragmentiert, verschwindet auch der Widerspruch. Dieser Punkt wird mir nirgendwo deutlicher als in Gesprächen mit meinen jüngeren Schülern über ihre Texte. „Sehen Sie hier“, sage ich. „In diesem Absatz hast du eine Sache gesagt. Und in diesem hast du das Gegenteil gesagt. Was soll es denn sein?“ Sie sind höflich und wollen gefallen, aber sie sind von der Frage genauso verblüfft wie ich von der Antwort. „Ich weiß“, werden sie sagen, „aber das ist dort und das ist hier“. Der Unterschied zwischen uns besteht darin, dass ich davon ausgehe, dass „dort“ und „hier“, „jetzt“ und „dann“, ein Absatz und der nächste zusammenhängen, dass sie kontinuierlich sind, dass sie Teil derselben kohärenten Gedankenwelt sind. Das ist die Art des typografischen Diskurses, und die Typografie ist das Universum, aus dem ich „komme“, wie man sagt. Aber sie kommen aus einer ganz anderen Welt des Diskurses: der „Jetzt … das“-Welt des Fernsehens. Die Grundannahme dieser Welt ist nicht Kohärenz, sondern Diskontinuität. Und in einer Welt der Diskontinuitäten ist der Widerspruch als Test für Wahrheit oder Wert nutzlos, weil es keinen Widerspruch gibt. Ich will damit sagen, dass wir uns inzwischen so sehr an die „Jetzt … dies“-Welt der Nachrichten gewöhnt haben – eine Welt der Fragmente, in der Ereignisse für sich allein stehen, losgelöst von jeglicher Verbindung zur Vergangenheit, zur Zukunft oder zu anderen Ereignissen -, dass alle Annahmen über Kohärenz verschwunden sind. Und damit zwangsläufig auch der Widerspruch. Im Kontext ohne Kontext, sozusagen, verschwindet er einfach. Welches Interesse könnte eine Auflistung dessen haben, was der Präsident heute sagt und was er damals gesagt hat, wenn es keinen Zusammenhang gibt? Es ist lediglich ein Aufguss alter Nachrichten, und das ist weder interessant noch unterhaltsam.

Das ist für die meisten von uns keine ungewohnte Situation. Eine ähnliche Erfahrung habe ich heute Morgen in einer versuchten Diskussion mit jemandem gemacht, der unglaublicherweise vier (!) verschiedene, miteinander unvereinbare Dinge im Rahmen von ein paar kurzen Absätzen behauptet hat, und er hat natürlich immer noch darauf bestanden, dass ich falsch liege. Sein Standpunkt umfasste die folgenden Thesen:

  • Überzeugungen sind absurd
  • Überzeugungen sollten nur aufgrund von akzeptablen Beweisen vertreten werden
  • Man kann an Überzeugungen festhalten, aus welchen Gründen man will
  • Überzeugungen sind per Definition in Emotionen und nicht in akzeptablen Beweisen verankert

Alle diese Aussagen sind buchstäblich unvereinbar mit jeder einzelnen anderen Aussage.

Es ist wie eine verschlungene Version des „Paradoxons des Lügners“. Wenn ich mit ihm übereinstimme, liege ich zwangsläufig falsch, und wenn ich ihm nicht zustimme, liege ich auch falsch. Aber im Gegensatz zu dem alten Gedankenexperiment, bei dem mein Fehler in der direkten Bejahung des Gegenteils einer Aussage liegt, gibt es hier buchstäblich keinen Weg, wie ich mich irren könnte, wenn ich entweder mit seiner Position übereinstimme oder sie ablehne, da sie in einem komplexen und nicht nur binären Sinne in sich inkohärent ist.

Man ist fast beeindruckt von der Intensität dieses diskursiven Mülleimers.

Wie die meisten von uns erkennen werden, spiegelt dieser Austausch zumindest bis zu einem gewissen Grad den epistemischen Charakter des zeitgenössischen öffentlichen Diskurses in der digitalen Sphäre wider. Die Kommunikation ist oft vereinfacht und unzusammenhängend, und wenn sie sich einem gewissen Grad an Komplexität nähert, führt sie fast sofort zu Widersprüchen, Irrelevanz oder tatsächlichem Unsinn wie oben.

Was bedeutet dies für das Wissen im Allgemeinen und insbesondere für die Qualität, den Erhalt und die Reproduktion des komplexen Wissens der menschlichen Kulturen, das in Traditionen wie der Wissenschaft oder den Geisteswissenschaften enthalten ist?

Zunächst einmal denke ich, dass eine Situation wie die unsere den Pool der verfügbaren Kandidaten für die schwierige und oft mühsame Arbeit der effektiven Verwaltung solcher Wissenstraditionen erheblich schrumpfen lässt, und zwar sowohl für sie selbst als auch für die Institutionen oder Organisationen, die zur Aufrechterhaltung der Traditionen erforderlich sind.

Es wird nicht viele Menschen geben, die in der Lage sind, einen „Faust“ oder „Common Sense“ dzu schreiben oder ein Kunstwerk zu schaffen, das die Fülle des Geistes, des Charakters und der Probleme der jeweiligen Zeit widerspiegelt. Und Sie werden nicht viele Menschen finden, die in der Lage wären, es zu verstehen, selbst wenn etwas in dieser Art produziert werden könnte.

Das Problem besteht darin, dass unser inkohärentes Zeitalter und seine Medientechnologien die Menschen nicht mit der Fähigkeit ausstatten, grundlegende abstrakte Prinzipien vollständig zu verstehen und den Kern von Erfahrungen und Erkenntnissen in einen anderen Kontext zu übertragen. Wir werden im Grunde nicht richtig mit den universellen Abstraktionen und Konzepten des gesunden Menschenverstands vertraut gemacht, die einen komplexen Diskurs und kritisches Denken möglich machen. Ohne diese Vertrautheit sind wir weniger in der Lage, neue und chaotische Situationen zu verstehen und die Verbindungen und Ähnlichkeiten zwischen verschiedenen Erfahrungen und Wissensformen zu erkennen. Die Vernunft als solche wird ausgehöhlt, wie Aquin es wahrscheinlich ausgedrückt hätte.

Das Wissen, das wir erhalten, ist spezialisiert, kommerzialisiert und instrumentalisiert, und obwohl es recht umfangreich sein kann, hat es einen insularen Charakter und ermöglicht kein kritisches Denken im abstrakten und allumfassenden Sinne. Es ist in etwa so, wie wenn jemand durch Auswendiglernen lernen könnte, einen Taschenrechner zuverlässig zu benutzen, ohne mehr als ein rudimentäres Verständnis von Mathematik zu haben. Er kann das Gerät bedienen, aber er ist kein souveräner Meister der betreffenden Disziplin(en). Er könnte niemals eine Rechenmaschine entwerfen und bauen.

„Der Mensch ist das Maß aller Dinge“, hat Platons Protagoras einmal gesagt, und damit meinte er wahrscheinlich nicht den Relativismus, sondern vielmehr die Tatsache, dass der Mensch in der Lage ist (oder sein sollte), alle Situationen und Zustände in der Welt vernünftig zu beurteilen.

Die verstärkenden Auswirkungen der heutigen KI

Es gäbe also noch eine ganze Menge über den Charakter und die Probleme des Wissens vor dem Hintergrund des Diskurses, der Medientechnologie und der kognitiven Anpassungen, in denen wir uns befinden, zu sagen, aber konzentrieren wir uns hier speziell auf die Beiträge der KI.

Die zeitgenössische KI ist eine Reihe von Mustererkennungssystemen, die zur Überwachung und Disziplinierung, zur Kontrolle des Informationsflusses und zur Massenproduktion von Warenersatz für kulturelle Inhalte in einem neoliberalen Rahmen entwickelt wurden.

Der Schaden, den solche Systeme anrichten können, wenn sie in die Wissensproduktion der Gesellschaft integriert werden, kann gar nicht hoch genug eingeschätzt werden. Nicht nur, dass sie die Probleme des Hintergrunds, den ich oben zu skizzieren versucht habe, massiv verschärfen, nämlich die einer sensationslüsternen digitalen Medienlandschaft, die fast gänzlich ohne Exposition auskommt und auf leicht befriedigende Unterhaltung ausgerichtet ist.

Der grundlegende Zweck des selbstlernenden, informationsbeschaffenden Algorithmus bestand immer darin, die Distanz zwischen dem Produkt und dem Verbraucher durch die Verstärkung erwünschter Verhaltensmuster zu minimieren. Mit anderen Worten, die Algorithmen werden in erster Linie dazu tendieren, Verhaltensweisen zu verstärken, die die Mehrwertgewinnung des Kapitals aus dem Arbeiter-Konsumenten effektiv unterstützen.

Dies ist ein Punkt, den man viele Male wiederholen könnte. Google ist keine Bibliothek. Es ist ein privates Unternehmen mit einem System, das darauf ausgerichtet ist, Informationen gewinnbringend zu vermarkten, und es hat weder eine Verpflichtung noch einen wirklichen Anreiz, Daten zu führen, die Ihnen wichtig sind oder die Sie wirklich brauchen.

Hinzu kommt, dass dieses und ähnliche Unternehmen in einem ständigen Verdrängungswettbewerb um die Vorherrschaft innerhalb einer fast vollständig zentralisierten Informationsarchitektur stehen, die fast jeden Menschen auf dem Planeten unmittelbar miteinander verbindet. Es ist wie bei den großen weißen Haien, die nicht aufhören können, sich zu bewegen, ohne zu ersticken.

Wir haben also ein perfektes System für die schnelle Entwicklung dieser Systeme zur Kommerzialisierung von Informationen mit dem Ziel des maximalen Profits entwickelt, das zudem mit einer zentralisierten Kommunikationsarchitektur zusammenfällt, die es ermöglicht, dass eine einzige Änderung eines Google-Algorithmus sich gleichzeitig auf fast jeden Menschen auf der Welt auswirkt.

Postmans Bedenken gegenüber dem Fernsehen erscheinen in der Tat altmodisch.

Daraus folgt, dass alle anderen Qualitäten des Informationsoutputs dieser Systeme außer denjenigen, die das profitable Verhalten des Verbrauchers kurzfristig verstärken (vgl. die Werbeindustrie), irrelevant werden. Sie sind bestenfalls sekundäre Prioritäten und werden, sofern sie mit der Profitrichtlinie kollidieren, aktiv unterdrückt. Darüber hinaus werden diese Prioritäten unmittelbare globale Auswirkungen haben.

Und diese digitalen Systeme zur Kommerzialisierung von Informationen in einem kapitalistischen Rahmen können nicht anders, sonst werden sie ersticken.

Wenn wir die KI zu der oben genannten Mischung hinzufügen, insbesondere die „generative“ Art, werden diese problematischen Prozesse einfach noch verschärft. KI in ihrer jetzigen Form wirkt wie ein Multiplikator für die Kommodifizierung von Informationen innerhalb der etablierten Wirtschaftsordnung und ihrer digitalen Tauschstrukturen. Selbstlernende Algorithmen rationalisieren den Informationsfluss und ermöglichen gezielte Werbung, Propaganda und narrative Kontrolle auf individueller Ebene mit unglaublicher Geschwindigkeit und Spezifität. Generative KI ermöglicht darüber hinaus die automatisierte Produktion von Informationsgütern, die unweigerlich auf die Ziele der Überwachung, des Marketings und der Verhaltensänderung zugeschnitten sind.

Oder die Haie werden ersticken.

Wir könnten uns also die Frage stellen, ob die Förderung von gut ausgebildeten, unabhängigen Denkern, die geistig reif sind, ihre eigenen Bedürfnisse befriedigen können und über einen inneren Kontrollmechanismus verfügen, die kurzfristigen Gewinnanreize des Kapitals unterstützt oder nicht.

Die Antwort auf diese Frage bestimmt die Tendenz der proprietären Algorithmen, die jetzt entwickelt werden, um eine umfassende Informationsdominanz zu erreichen.

Wissenschaft und akademische Forschung

Was hat das mit der Zukunft der Wissenschaft zu tun?

Nun, die Auswirkungen sind atemberaubend, und zwar anscheinend in allen Bereichen. Zum einen wird die Massenausbildung von eng spezialisierten Verbrauchern, die mit universellen Konzepten und Abstraktionen nicht vertraut und für kritisches Denken schlecht gerüstet sind, keine effektiven Verwalter und Erneuerer komplexer Wissenstraditionen hervorbringen, egal ob es sich um Teilchenphysik oder Volksmedizin handelt. Ohne die universellen Konzepte, ohne die Vertrautheit mit der Logik, mit den Prinzipien von Ursache und Wirkung, mit dem, was unabhängig von einem bestimmten Kontext einen vernünftigen Beweis darstellt, werden die Menschen immer weniger in der Lage sein, die Verbindungen zwischen verschiedenen Disziplinen zu erkennen und ihr eigenes kohärentes Weltbild zu verinnerlichen, das notwendig ist, um sich unabhängig zurechtzufinden. Die Menschen werden immer weniger in der Lage sein, sich in ungewohnten Situationen neues Wissen anzueignen und ihre konzeptionellen Schemata und Erfahrungen an unvorhergesehene Umstände anzupassen, und sie werden weniger selbständig sein. So wie der Taschenrechnerbediener aus obigem Beispiel, der die Bedienung auswendig lernte, nicht in der Lage sein wird, mit Stift und Papier zu rechnen, wenn die Maschine ausfällt.

Zur Schule zu gehen bedeutete, lesen zu lernen, denn ohne diese Fähigkeit konnte man nicht an den Unterhaltungen der Kultur teilnehmen. Aber die meisten Menschen konnten lesen und nahmen daran teil. Für diese Menschen war das Lesen sowohl ihre Verbindung zur Welt als auch ihr Modell der Welt. Die gedruckte Seite enthüllte die Welt, Zeile für Zeile, Seite für Seite, als einen ernsthaften, kohärenten Ort, der durch Vernunft gesteuert und durch logische und relevante Kritik verbessert werden kann. – Neil Postman

Aber abgesehen von den nachteiligen Auswirkungen auf unsere kognitiven Fähigkeiten, so schlecht sie auch sein mögen, gibt es einen bedeutenden Sinn, in dem generative KI und die gegenwärtige Iteration der fortgeschrittenen Digitalisierung die Natur und Qualität der Informationen und Erfahrungen, die unseren Wissenstraditionen innewohnen, strukturell untergraben können – sowohl die alten als auch die modernen.

Erinnern wir uns daran, dass die zentralisierte Informationsarchitektur aus unvermeidlichen strukturellen Gründen dazu tendieren wird, solche Informationen zu fördern, die das Verhalten verstärken, das wiederum die Extraktion des Mehrwerts durch das Kapital aus dem Arbeiter-Verbraucher unterstützt. Zuverlässigkeit, Objektivität und hundert andere Qualitätsmaßstäbe, die Sie oder ich vielleicht bevorzugen würden, sind fast völlig irrelevant. Das Profitmotiv und Nebenziele wie Propaganda, strategische Meinungsbildung und die Minimierung von störenden Diskursen haben oberste Priorität.

Und da der Output generativer KI, nicht zuletzt aufgrund der zentralisierten digitalen Architektur, beginnt, die Kommunikationskanäle und -modi sowie den Inhalt unserer Informationsspeicher zu dominieren, wird der Charakter des KI-Outputs einen erheblichen Einfluss auf die Qualität der Daten haben, die in den verbleibenden Wissenstraditionen erhalten bleiben. Mit anderen Worten: Inhalt und Funktionsweise der Wissenschaft als Wissenstradition werden sich an den Prioritäten orientieren, die den für die Kommerzialisierung von Informationen konzipierten Systemen eigen sind. Zur Verstärkung des profitablen Verbraucherverhaltens und der strategischen Meinungsbildung.

Ein Weg zu diesem schändlichen Ende ist die Einführung von generativer KI in den „publish-or-perish“-Rahmen der heutigen Wissenschaft. Sagen wir einfach, dass nicht nur Studenten chatGPT oder ähnliche Systeme nutzen werden, um zu sparen, und dass jeder, der einen MA oder mehr hat, sich von solchen Perversitäten fernhalten wird.

Weit gefehlt. Das derzeitige bibliometrische Modell des akademischen Wettbewerbs wird die Minderheit von uns, die sich weigert, dieses Zeug anzurühren, erheblich benachteiligen. Unser Output wird viel begrenzter sein im Vergleich zu Leuten, die mit Hilfe von maßgeschneiderten Tools der generatien KI vielleicht zwei brauchbare Forschungsartikel pro Tag herausbringen können. Sie mögen minderwertig und abgeleitet sein, aber das ist weitgehend ein Zahlenspiel.

Mehrere Mechanismen werden dann den Bekanntheitsgrad von KI-generiertem Material in der Wissenschaft erhöhen – nicht zuletzt die Tatsache, dass Leute, die ihren Lebenslauf mit dieser Art von Müll aufgefüllt haben, im Wettbewerb um Professuren, Stipendien und Forschungsstellen vorankommen werden, was andere zwingen wird, es ihnen gleichzutun. Die Zeitschriften werden diese Produktion ausnutzen, um den Durchsatz, den Bekanntheitsgrad und den Marktanteil mit roher Gewalt zu erhöhen, was wiederum die Konkurrenz unter Druck setzen wird, nachzuziehen. Kostengünstige Zeitschriften werden den Markt mit semi-generierten Inhalten überschwemmen.

Forscher und Wissenschaftler werden in naher Zukunft als glorifizierte „Souffleure“ enden.

Man könnte vielleicht etwas naiv annehmen, dass das Peer-Review-Verfahren immer noch in der Lage sein sollte, als zuverlässige Qualitätskontrolle zu fungieren und die schlimmsten Auswüchse einer Abwärtsspirale auszusortieren. Man würde sich irren.

Peer-Reviewer – diese merkwürdige Gruppe von Menschen, die bereit sind, mühsame und langweilige Arbeit ohne Entgelt zu leisten – werden natürlich mit einer Flut fader, minderwertiger, von KI generierter Artikel konfrontiert werden, da das Produktionsvolumen durch den Einsatz dieser Art von Werkzeugen vorhersehbar steigen wird. Und was ist die unvermeidliche Lösung für dieses kleine Rätsel?

Die KI soll natürlich auch die „Peer-Review“ übernehmen:

Es wird KI-Gutachter geben, die von Algorithmen verfasste Papiere überprüfen, die in Zeitschriften veröffentlicht werden, die niemand lesen kann. Außer vielleicht die KI selbst, die jetzt ihre eigenen Trainingsdaten in einer bösen informationellen Rückkopplungsschleife erzeugt, die voll von strukturell integrierten Halluzinationen sein wird.

Wo ist also die Qualitätskontrolle? Wie ist sie überhaupt denkbar? Wer wird die „Faktenüberprüfung“ der Flut von KI-generiertem Material vornehmen? Und in Bezug auf welche Daten? KI-generierte oder kuratierte Forschungsartikel, deren Informationen von Verlässlichkeit, Objektivität und Validität abgekoppelt wurden und nun mit dem Ziel produziert werden, profitables Konsumverhalten und strategische Meinungsbildung zu verstärken?

All dies birgt den Keim für ein wirklich böses Problem der Erkenntnistheorie – der grundlegenden Qualität der dem Menschen zugänglichen Evidenz. Wenn dies noch weiter geht, nähern wir uns nämlich einer völlig neuartigen Situation des menschlichen Wissens, in der die grundlegende Kette von Beweisaussagen unterbrochen wird. Man kann sich nicht mehr darauf verlassen, dass irgendeine Information, die man über die zentralisierte digitale Infrastruktur erhält, wirklich die Erfahrungen, Schlussfolgerungen oder Erkenntnisse eines tatsächlichen Menschen wiedergibt. Alles wird potenziell in Zweifel gezogen.

Alles.

Wenn ich also heutzutage in den frühen Morgenstunden herumsitze und ein kostenloses Peer-Review für eine obskure Fachzeitschrift durchführe und mich frage, ob sich das alles lohnt, dann denke ich einfach an diese KI-generierte Ratte, die mit ihrem riesigen Schwanz und ihren vier aufgeblähten Eiern durch das Peer-Review geht, und ich lächle vor mich hin und erinnere mich daran, dass Leiden sowohl fruchtbar als auch reinigend ist.

Der große Marsch der geistigen Zerstörung wird weitergehen.

Alles wird verleugnet werden. Alles wird zu einem Glaubensbekenntnis. Es wird ein vernünftiger Standpunkt sein, die Steine auf der Straße zu leugnen; es wird ein religiöses Dogma sein, sie zu behaupten. Es wird eine rationale These sein, daß wir alle träumen; es wird eine mystische Vernunft sein zu sagen, dass wir alle wach sind. Man wird Feuer entfachen, um zu bezeugen, dass zwei und zwei vier ergibt. Schwerter werden gezogen werden, um zu beweisen, dass die Blätter im Sommer grün sind.

Wir werden nicht nur die unglaublichen Tugenden und die Vernunft des menschlichen Lebens verteidigen müssen, sondern etwas noch Unglaublicheres, nämlich dieses riesige, unmögliche Universum, das uns ins Gesicht starrt. Wir werden für sichtbare Wunder kämpfen, als ob sie unsichtbar wären. Wir werden auf das unmögliche Gras und den Himmel mit einem seltsamen Mut blicken. Wir werden zu denen gehören, die gesehen und doch geglaubt haben.

– Gilbert Keith Chesteron, „Heretics“

Schreibe einen Kommentar