What computers still cannot do
Buchvorstellung von Dreyfus "What Computers Still Cannot Do". Wissenschaftsphilosophische Kritik auf das Paradigma (den Glauben) hinter KI, Analyse wo Paradigma herkommt, Analyse der verschiedenen KI-Hypes. Phenomenologische Erklärungen einiger fundamentalen Probleme in der KI Entwicklung.
Der Vortrag von Rafael bei den Datenspuren 2023: media.ccc.de/v/ds23-210-what-computers-still-cannot-do
Hubert L. Dreyfus, What Computers Still Can't Do – A Critique of Artificial Reason mitpress.mit.edu/9780262540674/what-computers-still-cant-do/
Das Symposium "Datenspuren": datenspuren.de/2023/
- Musik Playlist
-
- XG, Woke Up youtube.com/watch?v=5sT20edl02I
- Oratrice Mecanique d'Analyse Cardinale youtube.com/watch?v=7SV0ZPdordk
- Transgender, Crystal Castles youtube.com/watch?v=EgKdyHcZJcs
- 东方红艳 VS 赵真, 火火的姑娘 youtube.com/watch?v=OMkIAeB787U
Transkription
Hallo, hier ist das politopia-magazin, euer gesellschaftspolitisches Magazin bei Radio X, dem Frankfurter Bürgerradio. Schön, dass ihr dabei seid, schön, dass ihr zuhört. Wir unterhalten uns heute wieder über künstliche Intelligenz.
In der Vergangenheit hatten wir ja schon ein paar Sendungen, wo wir uns dem Thema genähert haben und uns verschiedene Aspekte angeschaut haben. Was funktioniert, was funktioniert nicht, was ist der Zeitstand der Dinge, wo kann die Reise hingehen. Wir haben heute einen Vortrag mitgebracht von Raphael, den hat er gehalten bei den Datenspuren 2023.
Und zwar heißt sein Vortrag What Computers Still Cannot Do. Es handelt sich hier um die Präsentation eines Buches oder Diskussion eines Buches mit dem selben Titel von Dreifuss. Und in diesem Vortrag geht es ein bisschen um die wissenschaftsphilosophischen Überlegungen zum Verständnis von künstlicher Intelligenz, beziehungsweise am Ende dann auch um Probleme in der künstlichen Intelligenzentwicklung.
Hören wir also den Vortrag von Raphael What Computers Still Cannot Do bei den Datenspuren 2023. Die Präsentation wird global ungefähr gleich sein wie die Kapitel vom Buch. Also es fängt an mit einer kleinen Einleitung, in der ich auch meine eigenen Dinge noch erkläre, über den Hype würde ich mal sagen, den KI-Hype, den wir jetzt auch erfahren in den Medien.
Und dann erkläre ich, was Dreifuss in 1990 kritisiert hat an den damaligen Hypes, die es gab bezüglich KI. Und das macht er anhand von drei Thesen. Er meint, dass die KI-Entwickler, sage ich mal, oder von mir aus Forscher, drei Thesen hatten, von denen sie sehr stark ausgingen.
Nämlich eine biologische, eine epistemologische, also bezüglich der Logos des Wissens, und eine psychologische Annahme. Und dann erklärt er seine Kritik auf diese verschiedenen Annahmen. Und er endet auch in seinem Buch dann mit verschiedenen Forschungsvorschlägen, wie er denkt, dass es eigentlich weitergehen sollte, damals.
Genau, da gibt es noch irgendwelche Quellen. Das ist der Herr Dreifuss. Er ist, wie wir sehen, leider gestorben, 2017.
Und er war ein großer Fan von Heidegger. Er hat sehr viel von Heidegger gelesen, und das war eigentlich sein Lieblingsphilosoph. Und das ist auch der Grund, wie ich zu diesem Buch überhaupt gekommen bin.
Also ich bin nicht sehr lange Fachinformatiker. Ich bin jetzt vielleicht zwei, drei Jahre in der IT, mit Linux und Zeugs beschäftigt. Aber vorher habe ich Germanistik studiert, wie ein Niederländer.
Und da habe ich mich also mit Heidegger auseinandergesetzt. Und ich habe dann ganz schnell gemerkt, dass Heidegger komplett unlesbar ist, also jedenfalls für mich. Und dann gab es diesen Herrn hier, und der hat mir das auf Englisch erklärt, was Heidegger gemeint hat.
Und das war wie eine Befreiung für mich, das zu verstehen und zu lesen. Und dann habe ich auch angefangen zu verstehen, dass diese Philosophie, oder umgekehrt, dass ganz viel Computerzeugs, KI usw. also, sehr viel zu tun hat mit Philosophie.
Also ich meine, eigentlich, meiner Meinung nach, essenziell davon abhängig ist. Und da kommen wir jetzt dazu noch ein bisschen mehr. Genau, wie gesagt, es gibt Hypes in der KI.
Wir haben jetzt ja einen erfahren. Es gab rund 1972, ich schaue nachher noch gleich, nächster Slide kommt das, also davor gab es auch schon einen Hype. Es gab 1990 noch einen Hype.
Und wie wir sehen, hat Teil 1 gereagiert auf einen Hype, und Teil 2 hat auf den nächsten Hype reagiert. Und das werden wir uns jetzt mal genauer anschauen. Genau, da noch ein paar Bilder zur KI, das wissen ja alle.
KI hat also nicht nur, es hat auch in unserer Medienwelt und in unserem Denken, in unserem Mediendenken, vom Medien beeinflussten Denken, unsere Fantasie und alles einen riesen Einfluss. Also wenn wir irgendwelche 13-Jährigen fragen, was ist KI, dann wissen die eigentlich keine Antwort darauf zu geben. Weil sie, keine Ahnung, Star Wars geguckt haben oder irgendetwas.
Also es liegt allen Leuten sehr nahe. Darum ist vielleicht auch der Hype umso größer. Genau, zu den Hypes.
Also hier, 1956 war ein wichtiger Moment. Es gab in Dorfmouth College einen Talk, eigentlich eine organisierte Konferenz mit Workshops. Und dort ist auch der Term Artificial Intelligence zum ersten Mal gefallen.
Vielleicht. Also jedenfalls stellst du ein Buch. Und sehr wichtig war, dass es da einen Forscher gab, auf den kommen wir später noch zurück, der heisst Minsky.
Und ich würde mal sagen, der repräsentiert sozusagen eine typische Sorte von KI-Wissenschaftler. Also die Sorte Mensch, würde ich mal so sagen, die sehr davon ausgehen, dass alles machbar ist. Das hatte dann, es gab sehr viel Forschung und sehr viel Forschung war aber auch sozusagen in ihrer Anfangsphase.
Es war wie ein Startup. Also alle Leute dachten, die ersten Resultate von diesen Dingen, die sind ja großartig. Und dann haben die gedacht, dann werden die Resultate ganz schnell noch besser werden.
Und das, also es gab ganz viele Leute, die gesagt haben, ja und in zehn Jahren, dann können wir alles berechnen. Und in zehn Jahren, dann wissen wir alles und dann kann die KI alle unsere Arbeit übernehmen und so weiter. Das gab es da auch schon.
Und dann war das halt so, rund 1980 aber noch nicht der Fall. Aber es gab schon einige Systeme, die entwickelt worden sind. Und das waren die sogenannten Expertensysteme, die Expert Systems.
Da gehe ich nicht viel darauf ein, aber in Kürze. Expert Systems gehen davon aus, auf etwas wo ich noch tiefer darauf eingehen werde. Sie gehen davon aus, dass die Welt besteht aus sehr vielen Fakten.
Und diese Fakten sind alle wahr und super objektiv festgelegt und ändern sich nie. Und diese Fakten, die können wir alle logisch miteinander verbinden. Und dann können wir alles anhand dieser Fakten berechnen.
Die Welt ist also komplett berechenbar. Und sie haben angefangen das auch zu versuchen. Also sie haben Datenbanken gebaut und dann haben sie vollgehauen mit irgendwelchen Infos.
Und dann haben die einen Haufen Regeln, ganz viele If-Else-Statements stelle ich mir vor. Und dann haben die verschiedene Versuche durchzurattern und so Informationen, gute Antworten auf Chat-Prompts zu generieren und so weiter. Das ging so.
Ich glaube, es gab schon einige gute Programme, aber sie waren auch sehr brittle. Das bedeutet, man konnte anhand von einer Eingabe in so einem System, wenn es nicht genau richtig war, dann konnte es richtig böse Fehler machen. Das war damals das Problem.
Und darauf hat Dreyfus also in seinem Buch vor allem reagiert. Also der Größteil seines Buches kritisiert diese Sorte von Systemen, aber vor allem auch diese Sorte von Denken. Und das ist wichtig, weil wir immer noch so denken.
Obwohl wir jetzt ja neuronale Netze nutzen und so weiter. Dann gab es hier in so 1990 die Renaissance der neuralen Netzwerke. Ich weiß nicht, ob es eine Renaissance war, aber jedenfalls wurden sie da wirklich groß und wurden für vieles genutzt.
Diese Zeit blieb aber nicht. Das war richtig faszinierend für viele Leute, aber dieser Hype hatte so schnell eine Desillusionsphase und die Leute fanden es dann doch nicht mehr so cool, weil es damals einfach nicht genug Rechenkraft gab. Man konnte nicht so viel anfangen mit diesen Modellen, weil man nicht genug Power hatte, um sie alle auszuführen.
Der zweite Teil, das ist der Teil, den wir auch behandeln, der geht auch maßgeblich auf diesen Hype ein. Und dann kommen die anderen Hypes, also hier 2010. Dann wurden die neuralen Netzwerke sozusagen richtig eingesetzt und wurden super praktisch mit Speech Recognition und alles mögliche, was es da so gab.
Das war ein Riesending, das fanden alle supergeil und so weiter. Und dann gab es hier Language Models für GPT 2022 und das ist nochmal ein Riesending in den Medien geworden. So, nur mal um zu zeigen, dass genau diese gleichen Sorten von Sprüchen, die wir alle in den Medien lesen oder in irgendwelchen Filmen sehen, die gab es 1960 also auch schon.
Also hier, Newell & Simon, das sind Leute, die sehr viel mit der symbolischen KI gemacht haben. Machines will be capable within 20 years of doing any work that man can do. Naja, war nicht wahr, aber vielleicht wird es ja noch so sein, wer weiß.
Oder hier unten, da haben wir den Minsky, den ich schon genannt habe. Within a generation, few compartments of intellect will remain outside the machine's realm. The problem of creating artificial intelligence will be substantially solved.
Nicht wirklich, aber gut. Ja, bevor ich jetzt weitergehe, gibt es hier einen sehr wichtigen Punkt, der kam nicht im Buch vor, aber ich fand ihn sehr wichtig. Und ich fand, den muss ich unbedingt hier noch benennen.
Rund 1960, korrigiert mich, wenn ich es falsch habe. Ich habe auch ein Handout übrigens noch hochgeladen, da könnt ihr es noch genauer anschauen. Da habe ich auch noch extra Informationen hinzugeschrieben über diese Sachen und Quotes auch.
Und auch einen Link zu diesem Elisa-Skip. 1960 gab es einen Herrn Josef Weizbaum, ein sehr sympathischer Typ, muss ich sagen, der hat ein Programm geschrieben, ein Chatbot, einer der ersten. Und er hieß Elisa, also nein, er hieß eigentlich Doktor.
Aber er war basiert auf diesem Elisa-Skip. Und dieser Doktor-Chat, das war ein Chat, der war wie ein Psychiater. Also du konntest mit ihm schreiben und über deine Probleme schreiben und dann kam er diese Antwort zurück.
Sag mir mehr, wie fühlst du dich über das? Und so. Und er hat halt gedacht, es ist mehr ein bisschen ein Witz, hat er das Teil geschrieben. Aber das kam richtig gut an beim Publikum.
Die fanden das richtig super. Die fanden das sogar so cool, dass sie angefangen haben zu glauben, das Ding war lebendig. Also der Turing-Test war bei manchen Leuten sehr erfolgreich.
Obwohl dieses Skript, ich glaube wirklich, dass wir das schreiben können, alle hier im Saal. Im Ernst. Also es war richtig simpel.
Und ich habe im Handout auch noch den Link, da könnt ihr es selber versuchen und mal anschauen. Das ist einfach ein Parser. Also du tippelst da irgendwas ein und der guckt, ist das Wort da, ist das Wort da und das auch? Okay, dann stelle ich ihm halt irgendeine Random-Frage, die irgendwo in einer Liste gespeichert wurde.
Mehr ist es nicht. Also es ist super simpel. Und was ist jetzt interessant, die Leute, die haben angefangen zu glauben, dass das Ding lebt.
Dass da wirklich jemand dahinter steckt, dass es wirklich intelligent ist, dass es wirklich unglaublich ist. Und das hat er, diesen Effekt, dem hat er einen Namen gegeben, den Elisa-Effekt. Und der Elisa-Effekt beschreibt die Beziehungsdynamik von Menschen zu Computern.
Und ich weiß nicht, er selber ist nicht so viel darauf eingegangen. Aber man könnte das vielleicht auch als eine Art Animismus, vielleicht als Anthropomorphismus beschreiben. Also dass man tote Dinge anfängt wie lebendig zu behandeln.
Das sehen wir auch ganz viel bei Kindern, die ihre Kuscheltiere zum Beispiel Namen geben oder so. Aber auch bei Erwachsenen, die ihr Auto lieben, das Auto hat einen Namen und so weiter. Und wird für einen persönlich wichtig.
Übertragung, was ich da genannt habe, das kommt von Freud. Das bedeutet, dass wenn ich jetzt zum Beispiel mit einem von euch ins Gespräch gehe, dann habe ich schon eine Meinung über diese Person, obwohl ich diese Person gar nicht kenne. Und meine Meinung wurde nach Freud, glaube ich, ihr könnt mich gerne korrigieren.
Also hat er das damit zu tun, dass du die verschiedenen Beziehungen, die du mit anderen Menschen hattest früher, die projizierst du auf diese Person. Du hast darum schon eine Meinung. Oder die Erfahrungen, die du schon hattest mit anderen Menschen und so weiter.
Und es könnte ja sein, dass diese Leute, das waren ja auch nur relativ normale Menschen, die keine Ahnung hatten von Computern. Computern waren ja auch nicht so weit verbreitet in der Zeit. Die hatten halt das Gefühl, möglicherweise hatten die all diese Projizierungen auf diesem Gerät.
Und es war sehr schwer, diese Leute zu überzeugen davon, dass es wirklich nur ein Gerät war, dass es dumm war. Das ist interessant, weil bezüglich des Turing-Tests, die Bedeutung des Turing-Tests, so wie es erklärt wird, populär und in den Medien ist, fasse ich zusammen, wenn du einen Mensch verarschen kannst und dir denkst, du wärst auch ein Mensch, dann bist du intelligent. Ich würde vorschlagen, ich habe nicht genau gelesen, was Turing dazu sagt, aber das ist bestimmt komplizierter, aber ich würde sagen, wenn man eine Maschine nicht von einem Menschen unterscheiden kann, dann kann man eigentlich nur ein Ding sagen, nämlich, wir können nicht feststellen, dass diese Maschine nicht intelligent ist.
Das bedeutet etwas ganz anderes, als wenn wir sagen, nur weil sie uns verarscht, ist die Maschine intelligent. Ich finde das einen wichtigen Unterschied und ich glaube, dass der hiermit beim Elisa-Skip auch gezeigt wurde. Jetzt gibt es hauptsächlich wieder so einen Riesen-Hype und ganz viele Leute drehen völlig durch.
Es gibt zum Beispiel den Blake Lemoine, ich weiß nicht, wie schlau und genial er ist, kann ganz gut sein, dass er das auch wirklich ist, und ich glaube, er hat bestimmt mehr Wissen als ich in all diesen technischen Gebieten. Aber er wurde gefeuert in 2022, weil er angefangen hat, also ich finde das ziemlich ähnlich wie mit dem Elisa-Skip, angefangen hat zu glauben, dass der JetBot ein auf Gefühlsbasiertes Bewusstsein, ein Ding ist mit Bewusstsein. Dann gab es natürlich hier den Geoffrey Hinton, ein Schwergewicht, der maßgeblich viel an dem Backpropagation-Algorithmus gearbeitet hat.
Google ist er weggegangen und hat auch richtig tolle Interviews, die kann man sich auch online anschauen, richtig cool. Aber irgendwann am Ende von diesen Interviews, wenn man ihn dann anfängt zu fragen, ja und was denkst du über die Risikos und so, dann geht es sofort so richtig übertrieben los über, ach ja, die bringen uns alle um und weiß ich was. Und dann wundere ich mich halt immer, ja, du hattest am Anfang von deinem Interview, Geoffrey, hattest du so viele interessante Dinge zu erzählen und das war alles sehr wissenschaftlich und dann kommst du beim Ende plötzlich zu irgendwelchen Schlussfolgerungen und du behauptest einfach Dinge.
Es kann sein, dass das meine Meinung ist, ja wir können das am Ende auch wirklich noch diskutieren, aber so erfahre ich das. Und dann gibt es ja noch eine Menge andere Sachen, die wir alle kennen und generell habe ich jedenfalls, das ist meine Erfahrung, habe ich das Gefühl, dass es sehr wenig Kritik gibt bezüglich dieses Hypes in den Medien. Ich habe jetzt nur hier in New Scientist ein bisschen was gefunden.
Das hier ist eine Kritik, die meint, dass dieses ganze dystopische Zeug in den Medien bezüglich KI einfach ein guter Marketing-Trick ist und vielleicht ist es auch ein Ego-Trip, weil man kann da ja sagen, diese Maschinen, die werden uns alle töten. Und weißt du, wer denen zittert? Ich. Oder es gibt auch, das finde ich auch ziemlich gut, die sagen ja, es lenkt ab von den richtigen Problemen, dieses KI-Zeug, die richtigen Probleme wie, keine Ahnung, Umwelt, oder warum herrschen acht oder vier Big Tech-Billionäre, also ungefähr so riesig viele Infrastrukturen, das sind alles riesige große Probleme und das lenkt einfach davon ab.
Keine Ahnung, ich weiß es nicht, aber ich wollte das auch mal benennen. Dann, das ist wichtig, das hier ist ein Hype-Cycle. Und der wurde entwickelt von dem Gardner-Institut, das ist eine Consulting-Firma, die ganz viele Marketing-Analysen und so weiter für die ganzen Firmen bereitstellt und auch diese Leute, und das sind halt nicht solche, keine Ahnung, semi-linke Leute wie ich, das sind aber neoliberale Boys, die glauben also auch hier in solche Sachen und sehen das auch schon vorher, weil sie ja mit dem Investieren und Geldmachen aufpassen müssen, dass sie nichts verlieren.
Und dieser Gardner-Hype-Cycle, wie funktioniert ein Hype? Das funktioniert ungefähr so, man hat irgendwann einen Technology-Trigger, irgendwie, keine Ahnung, mega große Erfolge in KI-Forschung und dann hier Peak, keine Ahnung, Chachivity, und alle sind, oh mein Gott, das wird richtig krass, und dann, uh, doch nicht so geil, wie wir dachten. Und dann gibt es irgendwann ein Plateau für Productivity, wo das also irgendwie gar nicht mehr so besprochen wird in den Medien, aber es werden 590 Plugins dafür gebaut und alle nutzen es, so etwas. Hier ist noch einmal genau der gleiche Hype-Cycle, aber dann bezüglich KI, von Gardner entwickelt, und dann sehen wir hier, vor allem hier, bei Peak of Inflected Inspections Degenerative AI, also das ist jetzt Chachivity zum Beispiel, und nach deren Meinung, ich weiß ja nicht, wie die Zukunft aussehen wird, wird eine Disillusion folgen und irgendwann gibt es dann hier auch wieder ein Plateau für Productivity.
So, das war eine lange Einleitung. Wir kommen jetzt zu 3Foos wieder zurück. 3Foos kritisierte, wie gesagt, diese zwei Hypes sozusagen am Anfang, also in den 1970ern und in den 1990ern.
Einer seiner wichtigsten Kritikpunkte hat zu tun mit dem Wissenschaftsparadigma, mit der Frage, was ist Wissen, und vor allem mit der Frage, was nehmen wir als praktisch an? Vor allem als Wissenschaftler. Und er hat gemeint, also das ist auch ein gängiges wissenschaftsphilosophisches Denkmuster, dass es ein Wissenschaftsparadigma gibt, und das ist ein Bündel von Annahmen, also fast eine Ideologie sozusagen, die Wissenschaftler, Zeitgeist von mir aus, über längere Zeit vielleicht unbewusst als selbstverständlich erachten. Also sie gehen einfach davon aus, dass es wahr ist.
Und erst wenn es eine wissenschaftliche Revolution gibt, und irgendjemand beweist etwas Unerhörtes, und alle sind mega sauer, dann kann sich das wechseln und haben alle anderen Leute wieder eine neue Selbstverständlichkeit für sich erschaffen, und haben vielleicht sogar das Gefühl, dass es schon immer so war, die Welt und der wissenschaftliche Stand. Und Drengfus hat die Meinung, dass das wissenschaftliche Paradigma, das wir sozusagen nutzen, und was die KI-Forschung maßgeblich beeinflusst, dass das ein Wissenschaftsparadigma ist, das es schon sehr, sehr lange gibt. Dass es eigentlich schon aus der Antike stammt.
Und er verweist zuerstens auf Plato. Das machen ja viele. Und naja, Plato, zusammengefasst, im Rhythmus steht noch ein bisschen mehr darüber, hat die Welt gesehen als eine, wie gesagt, ich habe vorher schon darauf hingewiesen, als ein Haufen Fakten, und die Dinge haben Eigenschaften und stehen in logischen Beziehungen zueinander.
Er hat gemeint, dass echtes Wissen, also das ist sozusagen das Ziel, was die Erkenntnistheorie herausfinden möchte, was ist Wissen, wie können wir es erkennen? Plato hat gemeint, echtes Wissen ist formalisierbar. Wenn ich es nicht genau aufschreiben kann, dann weiß ich es nicht wirklich. Und ein hartes Beispiel dazu, formalisierbar ist auch rationalisierbar.
Ein Mensch, ein guter Koch, der auf Basis seiner Intuition oder ein Poet, der auf Basis seiner Inspiration irgendwelche geniale Dinge macht, das wird hier nicht als Intelligenz sozusagen erkannt. Das ist keine Intelligenz, nach dieser Formulierung. Das ist irgendein Gefummel.
Aber das ist kein formalistisch wertvolles Wissen. Plato war lange her, aber wir springen jetzt von Plato sofort in den 16. Jahrhundert zu Hobbes.
Und wie wir hier sehen, das ging noch einen Schritt weiter. Also Leute wie Hobbes haben angefangen zu sagen, nein, nein, es ist nicht Mythologie, es ist Rechnen. Echtes Denken und wertvolles Wissen, das wird durch Rechnen.
Durch Rechnen bekommt man das. Also ein Koch mit genialem Wissen hat hier keine Chance. Das ging dann noch weiter zu Leibniz, der ja das binäre System ausgedacht, jedenfalls bekannt gemacht hat.
Und der hat sogar Dinge geschrieben, so richtig interessant, also ich finde schon richtig in der Richtung von einem KI-Vorschläger. Der hat gemeint, we can assign to every object its determined characteristic number. Mit anderen Worten, wir können alles mit Nummern versehen.
Und dann können wir damit rumrechnen und die Welt bestimmen. Und er hat sogar in einigen Texten von ihm, gibt es richtig so Sachen, wo er schreibt, ich möchte gerne ein Gerät bauen, das dann diese Nummern sozusagen extrahiert aus der Welt und dann Dinge damit rumrechnet und damit macht. Und dann wird das genial für uns.
Oder irgendwie sowas. Es steht im Handout auch mehr dazu, kann ich jetzt nicht auswendig. Das passt ja eigentlich auch ganz gut zu, ich weiß nicht, ganz viele Leute, die verstehen das Gehirn ja auch als etwas, was rechnet.
Und sie denken, ich kenne einige Leute, die auch ganz schnell gedacht haben, ein Gehirn, das sei irgendwie so etwas ähnliches wie ein Computer. Naja, warum nicht, weil man sucht ja Vergleiche, man möchte ja gerne herausfinden, oder irgendwie Dinge in einen Kader bringen, das einem hilft, es besser zu verstehen. Und man kann Dinge ganz gut erklären, anhand der neuesten Technologie.
Also es gibt in der Zeit, wo die Dampfmaschinen ausgefunden wurden zum Beispiel, richtig viele Beschreibungen von wie der Kopf, unser Körper, wie eine Dampfmaschine funktioniert, mit Röhren und da geht dann die Energie durch und so weiter. Und ganz logisch habe ich ganz viele Vergleiche gesehen von Menschen, die das Gehirn sehen wie ein Dual Processor, linke und rechte Gehirnhälfte arbeiten zusammen oder sowas. Und das ist auch sowas, wovon Leute ganz schnell ausgehen, ohne dass sie eigentlich mal, also viele Leute jedenfalls, davon ausgehen und nicht so genau gucken, was ist das jetzt eigentlich? Ist das jetzt wirklich wahr, wovon ich jetzt hier ausgehe? Es ist wiederum verbunden auch mit der Psychologie.
Also es gibt den sogenannten Kognitivismus oder Intentionalismus und der geht sehr davon aus, dass die Welt, wie gesagt, ist eine Art brechenbares etwas, aber wir können eigentlich nur einem etwas vertrauen und das ist das in unserem Kopf. Also hier irgendwo im Kopf gibt es ein Prinzip, wovon wir ausgehen können und das ist, ich denke also bin ich. Und von da aus können wir dann anfangen, den Rest der Welt langsam formalistisch zu berechnen.
Das ist basiert auf der Philosophie von Descartes. Ich wiederhole es nochmal, Descartes dachte Kogito ergo sum, ich denke ich bin und das ist das Einzige, was ich weiß und vom Rest der Welt bin ich mir völlig unsicher. Es gibt nur irgendwelche Repräsentationen der Welt und diese Repräsentationen, das sind eigentlich wie Symbole, zum Beispiel hier dieser Tisch, das ist tja, was ist das jetzt eigentlich? Das sind eigentlich verschiedene Platten von Holz und ich verstehe das als das Symbol, das erkenne ich, das ist ein Tisch.
Und das steht in Verbindung hier zum Beispiel mit dem Boden, da gibt es irgendwelche, es gibt eine logische Verbindung irgendwie und so nehme ich die Welt wahr. Das heißt, der Kontext ist gar nicht wichtig, die Außenwelt ist eigentlich etwas, wogegen man skeptisch sein sollte. Das wurde ganz groß in der kognitivistischen Psychologie auch und wurde von, das wurde zusammen zu der sogenannten Cognitive Science.
Die gibt es immer noch und die ist auch groß und übrigens sehr interessant und die war am Anfang sehr beschäftigt mit der sehr involviert in was zur symbolischen KI wurde, also eine die alte KI, die klassische KI, die sich beschäftigt hat mit der Welt als einen Haufen Repräsentationen, Symbolen, die irgendwie logisch miteinander verbunden sind. Tja, und dann kommen wir halt zur Kritik von Dreifuss damals. Und seine Kritik war, ja, wie wir eigentlich schon wissen, eigentlich, und wie übrigens von Neumann auch schon gesagt hat damals, unsere Gehirne sind nicht digital.
Also gar nicht. Unsere Gehirne funktionieren analog. Es gibt ein bisschen Strom darin, okay, aber sogar das ist nicht digital.
Also es funktioniert auf Action Potentials. Das bedeutet, dass wenn eine Synapse, der andere Synapse sozusagen eine gewisse Frequenz oder eine gewisse Menge an Elektrizität schickt, dann kann sozusagen diese Menge, diese Menge von Elektrizität hat dann schon eine Bedeutung, die hier hat eine andere und die nächste noch ein bisschen mehr. Und dann hat noch eine noch wieder eine Bedeutung.
Also es wäre dann nicht binär, es wäre vielleicht tertiär oder noch viel mehr als nur zwei Optionen. Und weiter ist es so, dass es richtig wichtig ist, dass das Gehirnnetz sich ständig ändert. Und es kann ja sein, dass ich mich hier irre, aber soweit ich es verstehe, ist es so, dass CGPT wird zum Beispiel trainiert, generiert, es dauert eine Weile und so weiter, und dann wird es statisch ins Netz gehauen und später wieder mal rausgeholt und dann wieder reingehauen.
Während unser Gehirn real-time funktioniert. Wir funktionieren immer real-time. Dann ist es so, dass die, ja, er ist, Heidegger ist, Dreifuss ist ein Heideggerian, also er glaubt, wie gesagt, an Heidegger.
Und Heidegger war ein Philosoph, der Descartes kritisiert hat. Heidegger ging aus vom komplett Umgekehrten von Descartes. Descartes hat gemeint, wir sind gefangen in unserem Kopf und der Rest ist unklar.
Und Heidegger hat gemeint, wir wissen nur eins, wir sind in dieser Welt geschmissen, wir sind verwachsen mit dieser Welt und wir funktionieren unglaublich gut in dieser Welt, ohne dass wir es mit unserem hohen abstrakten rationalen Wissen selbst erkennen können. Und ich denke, das stimmt. Zum Beispiel ein Beispiel.
Ich bin ja hier jetzt ziemlich in meinem Kopf beschäftigt und rede mit euch, aber gleichzeitig stehe ich hier. Ich brauche nicht zu überlegen, warum ich hier stehe. Ich verstehe selber nicht mehr, wie ich es schaffe, dass ich hier stehe, aber ich kann es einfach.
Und so funktioniert ja auch sozusagen das meiste in der Welt. Es liegt für uns vor der Hand. Es ist für uns komplett selbstverständlich.
Wir sind in einem Kontext, in einer Welt geboren, in der wir verankert sind und mit der wir komplett verbunden sind. Darum hat er auch gemeint, dass Dinge ohne Kontext für einen Menschen überhaupt nicht funktionieren. Also wenn wir zum Beispiel das Experiment nehmen mit dem Brain in a Jar.
Ich weiß nicht, ob ihr das kennt, aber es gab ja Gedankenexperimente. Was passiert, wäre es möglich, dass wir das Gehirn vom Rest des Körpers separieren und sozusagen könnten wir dann leben? Herr Heidegger meint, nein. Wir sind fundamental abhängig von unserem motorischen und restlichen System, damit wir überhaupt etwas auch verstehen können.
Genau, und dann kommen hier ein paar Dinge, ich weiß nicht, ob ich das in der Zeit schaffe, ja. Das führt halt zu Problemen. Wenn wir also davon aufgehen, dass, wenn wir sagen, das mit dem Heidegger und das mit der ganzen Welt und damit verbunden sein, ist alles Schwachsinn, wir glauben nur an Descartes, wir finden, dass in unserem Gehirn da ist etwas Superrationales und den Rest der Welt können wir nicht vertrauen.
Und wir können aber die symbolischen Repräsentationen, die wir irgendwie wahrnehmen, von irgendwelchen Dingen, die können wir schon irgendwie bestimmen und dann können wir die logisch miteinander verbinden. Wenn wir die Welt so sehen und wir wollen einem Computer diese Welt erklären, das müssen wir ja dann machen, dann bekommen wir einen Haufen Schwierigkeiten. Und das wollte ich anhand dieses Beispiels zeigen.
Wir haben zum Beispiel das Konzept eines Bachelors und wir wollen jetzt ein Expertsystem, also eine klassische KI bauen, die versteht, was ein Bachelor ist. Und wir machen zum Beispiel ein Chatbot und wir sagen, wenn ich jetzt diesen Chatbot frage, was ist ein Bachelor, dann muss er mir die richtige Antwort geben. Dann bekommen wir halt Schwierigkeiten, weil es bedeutet mehrere Dinge.
Also es bedeutet ein Universitätsdiplom zum Beispiel, ein unverheirateter Mensch kann es bedeuten und ein Mensch, mit dem man sich verheiraten kann. Na, gehen wir mal davon aus, wir haben eine gute Database und wir stopfen das alles rein. Dann sind wir ja fertig, oder? Dann gibt es aber ein paar Ausnahmen.
Also müssen wir die Liste erweitern. Dann bekommen wir hier, ist ein Mönch ein Bachelor? Das ist eher eine doofe Frage eigentlich, aber dann müssen wir irgendwie irgendwelche Dinge da reinbauen, damit es auch das irgendwie versteht. Ist ein Mensch aus Burkina Faso, eine andere Kultur, mit zwei Frauen, ist das ein Bachelor? Ein Kind? 17 Jahre.
Ich glaube, das ist nur für Erwachsene, oder nicht? Na ja, und dann gibt es halt so richtig viele Schwierigkeiten. Und die Leute in den 90ern, also davor, mit der klassischen KI, die hatten auch richtig viele Schwierigkeiten. Und die hatten auch Stress.
Und Leute wie Dreyfus haben den auch, haben den diesen Leuten noch mehr Stress gemacht, weil so ein Unterfahrt, so eine, wenn man sowas machen will, dann braucht man ewig viel Zeit und es sieht danach aus, als ob es kein Ende gibt. Also ich meine, für jedes Wort und für jede Verbindung in allem muss man so anfangen, das zu formalisieren und es gibt einfach keinen Weg daraus. Also das ist, das wird nicht funktionieren.
Und das ist jetzt ganz interessant, weil wir haben ja jetzt neurale Netzwerke und die funktionieren ja auch einiges besser und die funktionieren auch auf eine ganz andere Basis. Also neurale Netzwerke sind inspiriert von unseren biologischen Systemen, während die symbolische KI inspiriert ist von unserer logischen Logischer Tradition, unser logisches Denken, in unserer logischen Tradition, oder wie wir das so gemacht haben früher. Genau, und dann sehen wir, dass auch die jetzige KI da Schwierigkeiten hat, obwohl die ziemlich gut ist.
Also ich bin schon, möchte nicht, nicht zu viel kritisieren, aber trotzdem glaube ich, dass es wichtig ist. Das ist jetzt ein englisches Beispiel, Entschuldigung, aber das ist auch interessant, weil dann sind die für uns vielleicht ein bisschen schwieriger. Ich habe mir jetzt gesagt, take the sentence, little John was looking for his toy box, finally he found it.
The box was in the pen. John was very happy. What does pen mean? Für englische Menschen, jedenfalls die, die ich kenne in England, die wissen, was ein Pen ist.
Und JGPT kommt auch ganz in der Nähe. Also Pen bedeutet tatsächlich teilweise, a small enclosed area, often used to contain animals. Bestimmt, aber es bedeutet auch, dieses, wie nennt man das auf deutsch eigentlich, also das ist so ein kleines Ding im Wohnzimmer, wo so Babys rumkrabbeln da drin.
Und ja, und da hat er halt seine Box. Und JGPT wusste das anscheinend nicht, okay, man kann das ja nachprogrammieren und schon wieder was reinstecken und dann kann man das ja fixen das Problem vielleicht. Aber er hat es nicht verstanden und braucht hier, without more context it is difficult to determine the exact type of pen being referred to.
Und dann, wenn man ihn aber weiterfragt, weil er die erste Antwort ja nicht wusste, dann merken wir, dass er noch mehr Kontextwissen fehlt. What age has John approximately? Naja, wir würden alle sagen 1, 2, 3 Jahre oder so. Ich meine, da müssen wir ja nicht nachdenken, das ist logisch.
Und er hat keine Ahnung. Also es ist, we cannot accurately determine, es ist immer so höflich, little John's age. We don't have any details about his age.
Also ich meine ja nur, wenn ich ihm jetzt ein bisschen mehr Info geben würde, würde er es schon verstehen. Also es ist schon ein krasses Ding. Aber ich meine nur, ihm fehlt Kontext.
Ihm fehlt Kontext. Vielleicht, weil er kein Körper hat und unsere Welt überhaupt nicht kennt und keinen Plan hat und nur Internet versteht. Genau, das bringt uns zum nächsten Problem, was ich ja vorher schon ein bisschen angefangen habe zu benennen.
Wir können das Problem fixen, also wir müssen dann wieder in das System reingehen und keine Ahnung, irgendwelche Weights ändern in diesem neuralen Netzwerk und es wieder ein bisschen verbessern und okay, dann klappt es oder so. Und dann bekommen wir halt das Symbol-Grounding-Problem. Obwohl das ja eigentlich nicht auf Symbole basiert ist, ne, bei Chatty Kitty.
Aber wir bekommen ein Grounding-Problem, würde ich sagen. Also auf Basis von welchem Kontext wollen wir hier Dinge verstehen, der Kontext fehlt. In einem symbolischen System müsste man den immer den Kontext extra rein programmieren.
Also wir müssen von außen wie Menschen kommen und das Ding fixen. Das Teil kann es nicht selber fixen. Es kann nicht selber entscheiden, dass es etwas nicht versteht.
Weil es ja völlig nicht verbunden ist mit der Umwelt, wie wir. Und Ja, dann gab es halt verschiedene Arten und Weisen, wie man gedacht hat damals mit der symbolischen KI, wie man das jetzt lösen könnte. Also man hat dann gedacht, okay, wir machen, wir fokussieren uns auf kleine Welten, weil die ganze Welt ist viel zu kompliziert, da kommen wir gar nicht raus.
Wir haben keine Zeit dafür und es ist viel zu kompliziert. Also wir fokussieren uns einfach nur mal auf ein Restaurant. Dann haben wir angefangen ein Skript zu schreiben und in diesem sind Theater-Skripte, die man hat versucht zu formalisieren und dann hat versucht den Computer sich daran zu gewöhnen.
Aber auch diese Dinger, das hört auch nicht auf. Also wenn man sogar ein Skript nimmt, ein Theaterstück und sagt und man optimiert hier eine symbolische KI, dass sie genau das hier funktioniert, dann gibt es aber nachher wieder ein Skript, weil, keine Ahnung, wir haben hier Szene 1 bis 6, aber leider hat hier der Customer seine Bankkarte vergessen, also kann ich nicht zahlen, muss Geld abholen. Also brauchen wir ein Skript, Geld abholen.
Also wie gesagt, die symbolische KI kommt in ein gigantisches, regressives Problem. Es kann diese gesamte Menge an Kontext niemals befassen, mit dieser logischen Art und Weise des Denkens. Chet Chibiti kann das natürlich viel besser und ist teilweise auch eine Lösung für das Problem.
Ein ähnliches Problem, was es bei Chet Chibiti aber auch jetzt noch und auch bei den symbolischen also bei den symbolischen KI und bei Chet Chibiti beides immer noch gibt, ein Problem, ist das Unterscheiden, was ist essentiell und inessentiell. Essentiell und inessentiell ist nicht nur abhängig von unserem Kontext der Welt, ist auch abhängig von unserer Kultur. Das ist auch, ich weiß nicht genau, ich mache einfach weiter.
Also es gibt zum Beispiel beim Schachspielen ein gutes Beispiel dafür, was drei Füße genau beschreibt. Er sagt, wenn wir Schach spielen, dann passiert ja was ganz interessantes eigentlich. Während ich so das angucke hier, das Feld, und ich sehe die verschiedenen Figuren, und wenn ich geübt bin in diesem Spiel, dann sehe ich plötzlich das Problem.
Ich sehe, ach, das ist irgendwie auffällig, da ist etwas nicht in Ordnung. Es ist wie eine Intuition, ich habe nichts gerechnet, ich habe keine logischen Dinge erklärt in meinem Kopf, ich habe nichts gemacht. Es erschien mir plötzlich so, und ich habe verstanden, oh, das ist irgendwie nicht in Ordnung, und dann fange ich an nachzudenken, ein bisschen mehr.
Ein PC muss alle Möglichkeiten durchchecken, von A bis Z, früher jedenfalls. Vielleicht gibt es, ich weiß nicht genau, wie die Schachmaschinen funktionieren, da kann mir jemand bestimmt mehr erklären. Aber, auch wenn es basiert auf einem neuralen Netz, ist die Art und Weise, wie das Problem gelöst wird von einem Computer, jedenfalls nehme ich an, fundamental anders, als wie wir es machen.
Ein Mensch muss auch nicht erklärt werden, was nicht essentiell ist. Das weiß er einfach, also manchmal wird er darauf hingewiesen. Das ist noch ein kleines Beispiel, was wir schon kennen, das wurde aber auch schon genannt damals, das ist jetzt aus Dreifuss seinem Buch, und das sind so die typischen Probleme, die man überall auch liest.
Hier wurde ein Netz getraint, das das Panzer erkennt im Wald, und das hat ganz gut funktioniert an so einigen Tagen, aber die haben vergessen, auf andere Parameter zu achten. Und an einem gewissen Tag hatten die dann andere Fotos mal getestet, und die waren schon ganz überzeugt davon, dass das Teil mega gut funktioniert, und dann haben sie gemerkt, holy shit, der erkennt gar nichts, der hat nichts entdeckt, und wir wissen nicht warum. Und dann, nach weiterer Forschung und so, haben die entdeckt, okay, auf dem einen Foto, war zwar auch ein sonniger Tag, aber die Schatten waren anders, und anscheinend wurde trainiert, dass er diese Schatten erkennt, und nicht die Panzer.
Und das ist halt wieder so ein Problem, was ist essentiell und nicht essentiell, und wie entklären wir das einer Maschine? Und da gibt es richtig viele Beispiele, ich weiß da noch eins von Amazon, ich glaube das war 2016, die wollten ihre eigene KI bauen, die für sie das Recruiting übernimmt, weil sie keinen Bock mehr hatten, Leute selber anzustellen. Und dann haben die das da entwickelt, und was kam daraus? Nachdem keine Ahnung wie viele Leute daran gearbeitet haben, und überall Crowdworkers, die diese Daten vorbereitet haben, und überall irgendwelche, und dann war das Teil fertig, und dann haben sie es versucht, und dann haben sie geguckt, was da so rauskommt, es mal getestet, und dann haben sie gemerkt, okay, das Teil nimmt nur weiße Männer zwischen 30 und 50 Jahren an. Weil es hat nur, logisch, es lernt halt nur die Daten, die es halt gefüttert bekommen hat, und es hat halt irgendwelche Dinge rausgepickt.
Und wir können bestimmt auch jetzt schon besser diese Probleme lösen, aber wir müssen halt dem Ding alles erklären von vornhinein. Wir müssen dem Ding immer von vornhinein alles erklären, also soviel wie es geht, und wir müssen ihn korrigieren, wenn er es falsch macht, weil er kann seine Probleme nicht lösen. Und das wird teilweise, nennt man das, das Homonunculus Problem, und das ist sozusagen das, in der KI steckt eigentlich auch ein ganz kleiner Mensch drin, der die Probleme löst eigentlich, die echten, wenn es darauf ankommt.
Es gibt halt schon ein paar Antworten dazu. Man kann Spiele gegen sich selber spielen lassen, und es gibt ganz viele mehr Möglichkeiten, um schon irgendwie KIs mit sich selber lernen können, dass man das irgendwie besser lösen kann. Aber das generelle Problem ist damit nicht gelöst.
Das generelle Problem ist nämlich, dass, wenn wir uns jedenfalls uns selber anschauen, wir sind, und das ist wieder sehr heidelgerianisch und sehr wie Dreifuss halt denkt, wir sind in eine Welt reingeworfen, und in dieser sind wir aufgewachsen, mit dieser sind wir verwachsen. Und auf Basis davon verstehen wir den Kontext, und auf Basis davon verstehen wir selber, was wir machen müssen, um Fehler zu behebeln, die wir machen. Und wir können das alles, ganz wichtig, ohne zu rechnen und ohne uns Mühe zu geben.
Wir brauchen keine Kraftwerke an Energie, die das machen. Es geht also vor allem über diese wiederseitige Abhängigkeit zwischen Körper und dem, was die Intelligenz, was auch immer das genau bedeutet, in uns generiert. Die Frage ist also, wie ist unser Bewusstsein mit unserem Körper verbunden, und wie können wir das Bessere herausfinden.
Und Dreifuss hat damals gemeint, dass man anfangen muss, auch andere konzeptuelle Frameworks zu nutzen, um das herauszufinden. Er hat vor allem gemeint, dass die Phänomenologie wirklich wichtig ist. Also, dass wir anfangen zu schauen, welche Welt möchten wir denn in den Computer reinprogrammieren? Beziehungsweise, was ist unsere Welt? Also, worin leben wir eigentlich? Oder noch tiefer gefragt, wer sind wir? Weil, wenn wir davon ausgehen, dass wir von der Welt komplett abhängig sind, dann stellt sich heraus, wenn wir fragen, wie ist die Welt, dann fragen wir eigentlich auch, wer sind wir? Und wie nehmen wir diese Welt wahr? Also, zum Beispiel, er hat halt auch gemeint, wir können manchmal Dinge ganz genau wahrnehmen, aber wir können manchmal auch Dinge kaum wahrnehmen, aber reagieren trotzdem drauf.
Ein Beispiel ist, wenn jetzt jemand hier zu mir kommt und er steht sich ganz nah an mir dran, dann gehe ich zum Beispiel sofort auf die Seite oder so. Also, das ist ein schlechtes Beispiel, aber ich meine nur, es ist eine Art Hintergrundbewusstsein, das auch funktioniert. Weil man auch, das auch vieles macht und das man vielleicht auch aus einer Art Intelligenz sehen kann.
Der Dreifuss kam jedenfalls in 1990 zu einer Schlussfolgerung bezüglich der symbolischen KI, bezüglich also der Idee, dass die Welt aus logischen Repräsentationen versteht, die wir alle komplett beherrschen können, wenn wir irgendwelche Algorithmen drüber schmeißen. Bezüglich dieses Systems hat er gemeint, das kann schlussendlich keine Artifizielle General Intelligence, das kann das nicht erreichen. Vielleicht liegt das schon mit Netzwerken.
Aber ich denke, dass es eine wichtige Schlussfolgerung ist trotzdem und jedenfalls eine, worüber wir nachdenken können. Möglicherweise sind nicht alle einverstanden. Aber wenn das so ist, dann bedeutet das, dass ein Teil unseres wissenschaftlichen Paradigmas, unseres Ausgangsdenkens revidiert werden muss.
Auch wenn wir diese Netzwerke haben, die neuralen Netzwerke. Weiter hat er folgende Vorschläge gehabt, die ich auch jetzt noch sehr spannend finde. Er hat gemeint, wir müssen eigentlich pragmatisch vorgehen.
Wir müssen gar nicht versuchen, eine allgemeine Intelligenz zu schaffen. Wir sollten fokussieren auf Wissenssoftware, Dinge, die praktisch sind für uns. Und wir sollten versuchen zu gucken, wie können wir KI nutzen, und das finde ich richtig schön, wie können wir es nutzen, um uns selber besser zu verstehen.
Also es geht gar nicht darum, dass wir irgendwelche Übermaschinen bauen, die irgendwelche genialen Dinge machen. Nein, wir können, wenn wir versuchen, uns selber nachzubauen, können wir vielleicht besser verstehen, wie wir selber funktionieren. Und er hat gemeint, wie gesagt, dass die phänomenologische Forschung, nachdem wie unsere Welt sich gestaltet und welche Welt wir in den Computer reinprogrammieren wollen, dass es dabei maßgeblich wichtig ist.
Embodiment also. Er meint, wenn man schon damit weitermachen möchte, mit KI entwickeln, wie so wird wie ein Mensch, dann müsste man versuchen, der KI einen Körper zu geben, damit sie wie ein Kind in der Welt aufwächst, verwächst mit der Welt, und erwachsen wird in unserer Kultur. Das sind doch ein paar Dinge von mir.
Also ich glaube, das Wort Intelligenz selber ist richtig schlimm. Also am liebsten würde ich es streichen, aber ich habe es schon sehr oft genutzt. Aber man könnte das, was auch immer man damit meint, das intelligente Verhalten und die Interaktion auch in der Umwelt untersuchen, zum Beispiel bezüglich Selbstorganisation von Bienen zum Beispiel, und dann anhand von schauen, was man darüber lernen kann, über das Verhalten und über Dinge, die uns als intelligent erscheinen.
Bei Bienen ist es zum Beispiel so, dass die anhand von sehr wenigen Regeln so ein sehr komplexes Verhalten erzeugen können und so weiter. Dann gibt es auch nonbinäre elektrische Systeme, auf die man weiter eingehen könnte, zum Beispiel auf intelligente, lebendige Netzwerke, wie zum Beispiel Gehirn natürlich, aber vor allem auch Myzele oder Flechten. Das sind lebendige Netzwerke.
Also das kann man sich kaum vorstellen, oder? Das ist ein Körper, der ein Netzwerk ist. Also du bist ein Netzwerk dann und lebst halt irgendwo im Boden. Man könnte also auch die Intelligenz bei Tieren untersuchen.
Und es gibt sogar Leute, die versuchen, diese Flechten hier anzuschließen auf Computern. Das finde ich auch richtig faszinierend. Das ist generell, was ich dazu denke.
Und somit wollte ich nur sagen, dass, obwohl der Hype ja ganz prima ist, und dass alle das alles super finden und Angst haben, dass die Welt untergeht und so weiter, denke ich doch, dass die Fragen und die Dinge, dass das nicht die richtigen sind. Ich glaube, wir müssen wirklich dann versuchen, wie auch Dreifuss meint, zu schauen, herauszufinden, wie wir mit der Welt verwachsen sind und wie wir das besser klären können. Wie wir besser verstehen können, wie unsere eigene Welt funktioniert und was wir in einen Computer reinprogrammieren wollen.
Das war jetzt der Vortrag von Raphael bei den Datenspuren 2023 mit dem Titel What Computers Still Cannot Do. Die Sendung könnt ihr auch nachhören auf unserer Webseite politopia-magazin.de. Dort haben wir alle unsere Sendungen versammelt. Und zu dieser Sendung gibt es auch wieder in den Shownotes, also in den Sendungsnotizen, weiterführende Links.
Ihr könnt euch das Material auch nochmal im Original angucken und könnt euch auch insgesamt schlau machen zu dem Thema. Wir freuen uns, dass ihr dabei wart. Hier ist das politopia-magazin bei Radio X. Ihr hört uns immer Mittwoch 16 Uhr.
Und wir hören uns auch wieder nächste Woche. Bis dann.