Die ganze Welt spielt verr\u00fcckt, seitdem OpenAI ChatGPT frei zug\u00e4nglich gemacht hat. Studenten freuen sich dar\u00fcber, nie mehr Hausarbeiten schreiben zu m\u00fcssen, motivierende selfmade Entrepreneurs feiern die neuesten Gesch\u00e4ftsfelder, die Gesellschaft macht sich \u00fcber die Bedeutung hoch entwickelter k\u00fcnstlicher Intelligenzen Gedanken, der Marktwert von OpenAI geht durch die Decke. Aber wie funktioniert ChatGPT eigentlich? Diese kurze \u00dcbersicht setzt die wichtigsten Lichtpunkte in einer hochkomplexen Technologie und stellt die wichtigsten Herausforderungen dar.<\/p>\n\n\n\n
Neben ChatGPT gibt es verschiedene Modelle zur Nachahmung menschlicher Sprachmuster, die auf \u00e4hnlichem Niveau agieren. Unter anderem T5 oder BERT. Im Gegensatz zu herk\u00f6mmlichen Natural Language Processing Modellen sind diese so verbl\u00fcffend gut, da sie sich auf eine neue theoretische Herangehensweise in der Code-Architektur st\u00fctzen. Die Transformer-Architektur ist ein Ansatz zur Verarbeitung von ganzen Sequenzen und stellt eine Spezialisierung des Deep Learnings dar. Die gro\u00dfe Neuerung liegt in der Self-Attention, also der Selbstaufmerksamkeit. Dieser Ansatz erm\u00f6glicht es dem Modell, innerhalb des neuronalen Netzwerkes direkt auf die gesamten Eingabesequenzen zu achten und sich nicht nur auf einzelne Teile zu fokussieren. So k\u00f6nnen gro\u00dfe Datensets, z. B. Texte, ganzheitlich betrachtet werden und m\u00fcssen nicht zur Verarbeitung in unabh\u00e4ngige Teile getrennt werden. Das l\u00e4sst eine spezifischere Analyse, die ebenso leicht Zusammenh\u00e4nge erkennen kann, zu.<\/p>\n\n\n\n
Die Basis dieser hoch entwickelten Programme ist maschinelles Lernen. Im Machine Learning werden Algorithmen entworfen, die es Computern m\u00f6glich macht, aus Daten zu lernen und Entscheidungen zu treffen, f\u00fcr die sie nicht explizit programmiert wurden. Hierzu werden Programme mit Trainingsdaten gef\u00fcttert, um Zusammenh\u00e4nge und Muster zu erkennen und diese anzuwenden. Dadurch k\u00f6nnen Vorhersagen oder Entscheidungen \u00fcber noch unbekannte Objekte getroffen werden. Konnte fr\u00fcher eine Software eine T\u00e4tigkeit besonders gut ausf\u00fchren, weil es z. B. alle Regeln eines Spiels kannte, so kann mittels Machine Learning ein Programm eine T\u00e4tigkeit besonders gut erlernen, ohne diese Regeln explizit zu kennen.<\/p>\n\n\n\n
Ein herk\u00f6mmliches primitives Programm w\u00fcrde zwischen einer Katze und einem Hund z. B. anhand der aufgestellten Regel, \u201eKatze = Spitze Ohren“, unterscheiden. Jedoch kann das Programm dadurch nicht zwischen einem Welsh Corgi (Hund mit spitzen abstehenden Ohren und langem Fell) und einer Katze unterscheiden. Und auch nach tausenden Benutzungen w\u00fcrde es immer noch denselben Fehler machen. Hier handelt es sich um eine einfache Ja\/Nein-Entscheidung.<\/p>\n\n\n\n
Ein maschinell lernendes Programm hingegen bekommt keine Regeln vorgegeben, sondern wird mit Trainingsdaten gef\u00fcttert. Beispielhaft das Bild einer Katze und dazu die richtige L\u00f6sung: \u201eDas ist eine Katze.\u201c Dies passiert viele Male, mit Katzen- und Hundefotos. Dadurch kann das Programm verschiedene Muster erkennen und w\u00fcrde so unterschiedliche Regeln festlegen. Eine Katze hat somit nicht mehr nur spitze Ohren, sondern ist auch deutlich kleiner als ein Hund und hat k\u00fcrzeres Fell. Dies f\u00fchrt dazu, dass der Algorithmus nach dem Training Entscheidungen treffen kann, die es nicht urspr\u00fcnglich erlernt hat und dies noch dazu differenzierter als das eingangs erl\u00e4uterte primitive Modell.<\/p>\n\n\n\n
Es werden also statistische Repr\u00e4sentationen verschiedener Muster erhoben. \u201e80 % aller Katzen sind kleiner als Hunde, haben kurzes Fell und spitze Ohren.\u201c Aufgrund dessen wird die Annahme getroffen, dass ein Objekt mit diesen Merkmalen eine Katze ist. Jedoch k\u00f6nnen auch hier Muster fehlschlagen, z. B. kann ein katzengro\u00dfer Hund mit spitzen Ohren und kurzem Fell als Katze erkannt werden (Chihuahua), obwohl dieser offensichtlich keine ist. Und zwar immer dann, wenn dem Modell ein ungew\u00f6hnliches Beispiel pr\u00e4sentiert wird, welches innerhalb der Daten unterrepr\u00e4sentiert ist.<\/p>\n\n\n\n
Eine Weiterentwicklung des maschinellen Lernens ist das Deep Learning. Dieses basiert auf dem Ansatz der neuronalen Netze, welches sich ganz \u00e4hnlich zu verschiedenen Prozessen in unserem Gehirn verh\u00e4lt. Aber dazu sp\u00e4ter mehr. Im Gegensatz zum Machine Learning durchl\u00e4uft hier jede Information unterschiedliche Ebenen der Informationsverarbeitung \u00fcber einzelne Neuronen hinweg. Jedes dieser Neuronen ist wiederum mit anderen Neuronen \u00fcber Gewichte verkn\u00fcpft. So sucht sich die Information durch das hierarchische Netz ihren Weg, sodass es nach vielen Schichten der Verarbeitung, von sehr spezifischen, zu immer abstrakteren Merkmalen, hin zu einer abschlie\u00dfenden Entscheidung kommt. <\/p>\n\n\n\n
Im Training des Modells w\u00fcrde das bedeuten, dass diese Neuronen zun\u00e4chst mit zuf\u00e4lligen Werten gewichtet sind. Werden sodann Informationen durch das System geleitet, wird das gefundene Ergebnis des Netzwerkes mit dem erwarteten Ergebnis verglichen. Tritt hier ein Fehler auf, f\u00fchrt dies zu einer Anpassung der Gewichte. Dadurch, dass die Gesamtentscheidung auf kleine Teile mit unterschiedlichen schrittweise angepassten Gewichten verlagert wird, k\u00f6nnen immer bessere Entscheidungen getroffen werden. Dies geschieht mit einer immensen Vielzahl an Variablen. So entsteht eine nahezu exakte Repr\u00e4sentation von Katzen.<\/p>\n\n\n\n
Deep Learning versucht demnach nicht, in Trainingsmaterialien feste Muster zu erkennen, sondern zerlegt zun\u00e4chst die pr\u00e4sentierte Information in kleinste Teile und analysiert diese nacheinander. Abstrakte Merkmale wie Form der Ohren oder Gr\u00f6\u00dfe des K\u00f6rpers sowie L\u00e4nge des Fells k\u00f6nnen somit anhand einer zutreffenden Kombination an kleinsten Teilen wie z. B. Pixeln erkannt werden. Erst zum Schluss und nach der Erkennung dieser Abstrakta entscheidet das System. <\/p>\n\n\n\n
Diese hierarchische Verarbeitung und die zus\u00e4tzliche Gewichtung der einzelnen Merkmale lassen zu, dass verschiedene Pfade mit unterschiedlichen Wahrscheinlichkeiten m\u00f6glich werden. Wird ein neues Objekt eingegeben, so durchl\u00e4uft dieses viele verschiedene Schichten an Neuronen. Anschlie\u00dfend wird aus den Informationen und deren Gewichtungen ein statistisches Ma\u00df berechnet, welches angibt, wie hoch die Wahrscheinlichkeit ist, dass das Objekt zu einer bestimmten Klasse, z. B. Katzen geh\u00f6rt.<\/p>\n\n\n\n
Betrachtet man diese einfachen Erkl\u00e4rungsversuche, so fallen einem zwei Dinge auf: Einerseits sind die Modelle in aufsteigender Reifung, von komplexeren statistischen Ma\u00dfen und Berechnungen abh\u00e4ngig, andererseits sind sie von den eingegebenen Trainingsdaten beeinflusst.<\/p>\n\n\n\n
F\u00fcr die Entwicklung aller Machine-Learning-Modelle werden eine gro\u00dfe Anzahl an Trainingsdaten ben\u00f6tigt. Umso besser und komplexer ein Modell funktionieren soll, umso qualitativ hochwertigere und zahlreichere Trainingsdaten werden ben\u00f6tigt. ChatGPT wurde zu Beginn mit circa 40 GB an Daten gef\u00fcttert, heute sind es bereits \u00fcber 500 GB, die verarbeitet werden k\u00f6nnen. Das ergibt insgesamt circa 175 Milliarden Parameter, basierend auf verschiedenen Faktoren wie Datenmenge, Model oder Architektur – eine Zahl, die f\u00fcr uns Menschen schier ungreifbar ist.<\/p>\n\n\n\n
Eine gro\u00dfe Menge an Daten und damit Verkn\u00fcpfungen verschiedener Parameter in den neuronalen Netzwerken garantiert allerdings noch keine verl\u00e4sslich funktionierende k\u00fcnstliche Intelligenz. Denn diese l\u00e4sst sich vereinfacht als ein Spiegel unserer Gesellschaft, beziehungsweise der Trainingsdaten betrachten. Auch wenn das manchmal schmerzlich erscheint, treten hierdurch unterschiedliche Biases auf. Diese Verzerrungen lassen sich als Verhaltensweisen der KI betrachten, die zwar durch die trainierten Daten als logisch stringent erscheinen, aber innerhalb unserer Vorstellung eines korrekt agierenden Agenten nicht inkludiert ist. So zum Beispiel Antwortverhalten, welches gesellschaftlich verp\u00f6nt, aber realit\u00e4tsabbildend. So konnte auch ChatGPT zu Beginn nicht gut gendern, beschrieb das biologische Geschlecht als zweidimensionales Konstrukt oder benachteiligte ethnische Minderheiten.<\/p>\n\n\n\n
Diese Biases resultieren unter anderem aus den Daten. Umso besser die Qualit\u00e4t dieser ist, umso wahrscheinlicher kann das Modell wie erw\u00fcnscht agieren. Aber was sind eigentlich gute Daten? Man kann unterschiedliche grundlegende Aspekte der Trainingssets beeinflussen, die zugleich auch \u00fcber deren Qualit\u00e4t Aussagekraft besitzen. Zum einen die Vollst\u00e4ndigkeit. So sollten das Set alle relevanten Informationen enthalten, die der Algorithmus ben\u00f6tigt, um seine Aufgabe nach unseren Vorstellungen auszuf\u00fchren. Zum zweiten sollten die Daten repr\u00e4sentativ f\u00fcr die jeweilige Aufgabe sein. Zum dritten Korrektheit besitzen und keine fehlerhaften oder irref\u00fchrenden Informationen enthalten.<\/p>\n\n\n\n
Was bedeutet das f\u00fcr unser vorher eingef\u00fchrtes Beispiel? Um gut zwischen Hunden und Katzen unterscheiden zu k\u00f6nnen, sollte zun\u00e4chst einmal die Repr\u00e4sentativit\u00e4t gegeben sein. Sprich, wir haben Bilder von Hunden und Katzen gleicherma\u00dfen gesammelt. Diese sind gleichwertig gewichtet und in \u00e4hnlicher Zahl und Qualit\u00e4t vorhanden. Weiter sollten sie in sich korrekt sein, sprich keine Katze als Hund und kein Hund als Katze gelabelt werden. Tats\u00e4chlich ist es auch notwendig, Katzen und Hunde in ihrer nat\u00fcrlichen Vollst\u00e4ndigkeit abzubilden. Ausschlie\u00dflich Bilder von Labradoren und von Kart\u00e4usern spiegeln nicht alle real vorkommenden Arten von Hunden und Katzen wider.<\/p>\n\n\n\n
Eine genaue Menge an guten Daten, die f\u00fcr ein funktionierendes Modell ben\u00f6tigt wird, ist kaum festzusetzen. Dies h\u00e4ngt von vielen verschiedenen Faktoren ab: dem genauen Anwendungsfall, den erwarteten Entscheidungen oder der gew\u00fcnschten Irrtumswahrscheinlichkeit. Generell l\u00e4sst sich jedoch festhalten, dass umso komplexer ein Modell ist, desto mehr Daten ben\u00f6tigt es. Eine hohe Menge und Qualit\u00e4t der Daten garantiert jedoch allein noch keine Bias-freie KI.<\/p>\n\n\n\n
Ist es also richtig, da realit\u00e4tsgetreu, mehr Katzen als Hunde abzubilden, Geparden als Katzen zu labeln, und was macht man eigentlich mit Mulis, wenn man zwischen Eseln und Pferden unterscheiden will? Wie festgestellt, gibt es wahrscheinlich Parallelen innerhalb der Daten, die je nach Standpunkt unterschiedlich betrachtet werden k\u00f6nnten. Denn hier kommt der Faktor Mensch ins Spiel. Nachdem eine KI nicht nur durch Daten ein Spiegelbild unserer selbst darstellt und daher auch unsere Facetten \u00fcbernimmt, ist es ebenso vom Menschen programmiert. Der Code ist vom Menschen gestaltet. Die Daten vom Menschen ausgew\u00e4hlt. Und genau diese humanoiden Faktoren bieten Angriffsfl\u00e4che f\u00fcr Biases oder Fehleranf\u00e4lligkeiten. So muss jemand entscheiden, ob eine Raubkatze eine Katze ist. Oder ein Muli, ein Esel, ein Pferd oder ein Pferdeesel? Weiter m\u00fcssen Daten qualitativ hochwertig gestaltet werden. Wer legt die Regeln fest? Hier kommen wir zu einem Paradoxon der KI. Zum einen k\u00f6nnen Biases bereits im Code durch den Menschen als Programmierer manifestiert werden. Gute Daten haben nicht ausreichend Einfluss, diese sodann zu beheben. Zum anderen k\u00f6nnen schlechte Daten auch gute Codes negativ beeinflussen. Und selbst die Auswahl qualitativ hochwertiger Trainingssets kann durch die alleinige Entscheidungsfindung Fehlerquelle sein. Sprich, in unterschiedlichen Kulturen m\u00fcssten KIs auch unterschiedliche Normen ber\u00fccksichtigen. Aber wer entscheidet, was in unserer Referenzgruppe erw\u00fcnscht ist? Die Demokratie, der Programmierer, die Gesellschaftsforschung? Fragen, die unbeantwortet bleiben. <\/p>\n\n\n\n
Zusammengefasst hat jeder, der an der Entwicklung k\u00fcnstlicher Intelligenzen beteiligt ist, eine hohe Verantwortung und einen hohen Einfluss. KI muss von Anfang an so gestaltet werden, dass sie Aufgaben nach unseren Vorstellungen erledigt. Bereits im Code, in den Daten und in der Datenauswahl k\u00f6nnen sich Verzerrungen manifestieren. Doch wer entscheidet, wie sich eine gute KI verhalten sollte?<\/p>\n\n\n\n
Wie kann man diese Probleme am besten umgehen? Ein Weg ist es, sogenannte Debiasing-Methoden oder Fairness Constraints zu verwenden. Die Idee umfasst \u00dcberlegungen, die im Allgemeinen spezifische Regeln enthalten, um sicherzustellen, dass etwaige Systeme nicht diskriminierend oder ungerecht agieren. Festgelegte Bedingungen treten in vielen verschiedenen Formen auf, zum Beispiel als moralische Leitlinien, Regeln in Algorithmen oder \u00dcberpr\u00fcfungsmechanismen von Output und Trainingsdaten. Die wohl bekanntesten Regeln, nicht nur aufgrund des Films I-Robot, sind die von Isaac Asimov formulierten drei Gesetze der Robotik (1941).<\/p>\n\n\n\n
Heutzutage gibt es viele verschiedene Arbeiten, die sich mit der Rolle von Mensch und Maschine besch\u00e4ftigen und Leitlinien formulieren, die deren Interaktion gestalten sollen, in unterschiedlichem Umfang, unterschiedlicher Komplexit\u00e4t und Restriktion. Zum Beispiel die „Ethics Guidelines for Trustworthy AI“ oder der „European Union’s Artificial Intelligence Act“, ausgearbeitet von der EU in Br\u00fcssel.<\/p>\n\n\n\n
Wie auch in unserem gesellschaftlichen Zusammenleben reicht es allerdings nicht allein, Regeln aufzustellen. Diese m\u00fcssen auch \u00fcberpr\u00fcft werden, tats\u00e4chlich nicht von einer Online-Polizei oder einer staatlichen Stelle, sondern meist im Eigeninteresse der Produktentwickler. So gibt es Anbieter, die sich auf qualitativ hochwertige Trainingsdatens\u00e4tze spezialisiert haben und sich diese teuer bezahlen lassen. Aber auch die besten qualitativen Daten k\u00f6nnen in Deep Learning Modellen zu unerw\u00fcnschten Verzerrungen der Outputs oder generell fehlerhaftem Antwortverhalten f\u00fchren. So muss eine unvorstellbar potenziell gef\u00e4hrliche Menge an Informationen kontrolliert werden, durchgef\u00fchrt von billig abgespeisten Clickworkern in Entwicklungsl\u00e4ndern wie Kenia. Diese Arbeiter verdienen weniger als zwei Euro die Stunde und m\u00fcssen daf\u00fcr teils traumatisierende Inhalte kategorisieren. So sind sie mit Schilderungen von sexuellem Kindesmissbrauch, Zoophilie, T\u00f6tungen, Suizid, Folter, Selbstverletzung und Inzest konfrontiert. Die Billigl\u00f6hner werden als Datenetikettierer eingesetzt. Das hei\u00dft, sie filtern abertausende als problematisch gekennzeichnete Inhalte auf deren \u00dcbereinstimmung mit den gesetzten Leitlinien und entfernen sie, wenn notwendig, aus den Datens\u00e4tzen. Dies f\u00fchrt zu neuen Regeln oder spezifisch unterbundenem Antwortverhalten.<\/p>\n\n\n\n
Wohl einer der Gr\u00fcnde, warum ChatGPT bei Fragen zu sensiblen Themen immer sehr phrasenhaft und schemenhaft zu reagieren scheint, ist, dass ein Ph\u00e4nomen besteht, das sich auch bei ethisch inkorrekten Fragestellungen zeigt. Teilweise werden Eingaben direkt unterbunden oder die Entwickler weisen auf die unterschiedlichen m\u00f6glichen Fehler bei den Ausgaben hin. So k\u00f6nnen diese zum Beispiel Falschinformationen erhalten, obwohl sie plausibel klingen, aber auch die Rechte von Minderheiten verletzen.<\/p>\n","protected":false},"excerpt":{"rendered":"
Die ganze Welt spielt verr\u00fcckt, seitdem OpenAI ChatGPT frei zug\u00e4nglich gemacht hat. Studenten freuen sich dar\u00fcber, nie mehr Hausarbeiten schreiben zu m\u00fcssen, motivierende selfmade Entrepreneurs feiern die neuesten Gesch\u00e4ftsfelder, die Gesellschaft macht sich \u00fcber die Bedeutung hoch entwickelter k\u00fcnstlicher Intelligenzen Gedanken, der Marktwert von OpenAI …<\/a><\/p>\n","protected":false},"author":1,"featured_media":722,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_post_was_ever_published":false},"categories":[12,11],"tags":[],"class_list":["post-720","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-alles","category-wissen"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t