Blackbox Palantir

Hier ist das Politopia Magazin, euer gesellschaftspolitisches Magazin bei Radio X, dem Frankfurter Bürgerradio. Schön, dass ihr dabei seid, schön, dass ihr zuhört. Wir haben euch heute einen Vortrag mitgebracht mit dem Titel Black Box Palantir.

Gehalten haben den Constanze Kurz und Franziska Görlitz auf dem 39C3. Das ist der Chaos Communication Congress und der war neulich gewesen. Bei der Software von Palantir geht es um ein Analysewerkzeug, das dafür gedacht ist, für Polizeien verschiedene Datenbanken miteinander zu kombinieren und Erkenntnisse aus den Zusammenhängen in den Daten zu ziehen.

Die Gesellschaft für Freiheitsrechte beschreibt den Vortrag so. Wer nutzt in Deutschland Software von Palantir und wer hat das in naher Zukunft vor? Was sind die rechtlichen Voraussetzungen für den Einsatz solcher Analysewerkzeuge? Und was plant Innenminister Alexander Dobrindt in Sachen Palantir für die Polizeien des Bundes? Software von Palantir analysiert für Polizeien und Militär deren Daten. Dafür lizenzieren auch deutsche Polizeibehörden seit Jahren die Analysesoftware Gotham des US-Unternehmens.

Die Software verarbeitet strukturierte und unstrukturierte Informationen aus Polizeidatenbanken. Die genauen Funktionsweisen sind für die Öffentlichkeit, Gesetzgeber und Kontrollbehörden jedoch nicht einsehbar. Das US-Unternehmen ist hochumstritten und auch in Deutschland seit einigen Gesetzesinitiativen wieder umkämpft.

Wegen seiner intransparenten Analysemethoden, seiner Zusammenarbeit mit autoritären Staaten und seiner Nähe zur US-Regierung. Rechtlich ist der Einsatz von Analyse-Tools wie von Palantir in Deutschland ohnehin komplex. Denn das Bundesverfassungsgericht hat 2023 deutliche Grenzen für polizeiliche Datenanalysen gezogen.

Dennoch haben mehrere Bundesländer für ihre Polizeien Verträge oder streben diese an. Auch auf Bundesebene wird der Einsatz für das Bundeskriminalamt und die Bundespolizei hitzig diskutiert. Wie funktioniert Gotham und welche Gefahren gehen damit einher? Welche Entwicklungen sind im Bund und in den Ländern zu beobachten? Wie geht es weiter? Wir wollen über den Stand der Dinge in Bund und Ländern informieren und auch zeigen wie wir versuchen rechtliche Vorgaben durchzusetzen.

Denn die GFF und der CCC sind an Verfassungsbeschwerden beteiligt unter anderem in Hessen, Hamburg und zuletzt in Bayern. Soweit also die Beschreibung der Gesellschaft für Freiheitsrechte über den Vortrag den wir jetzt hören. Konstanze Kurz und Franziska Görlitz mit ihrem Vortrag Black Box Palantir.

Ja tatsächlich ist die Kombination aus juristischer Perspektive und juristischer Gegenwehr und der technischen Analyse dieser Systeme glaube ich hier ziemlich angebracht. Und genau das wollen wir auch machen. Wir wollen darüber berichten was juristisch läuft.

Also welche Verfassungsbeschwerden und generell juristische Gegenmaßnahmen in Deutschland gerade laufen. Wir wollen aber auch sozusagen von der anderen Seite berichten welche Bundesländer haben oder planen Rechtsgrundlagen für den Einsatz von Palantir oder Konkurrenten. Wir wollen uns darüber unterhalten wie die im Amtsdeutsch automatisierte Datenanalyse läuft, was sie praktisch kann, was deren Risiken sind und ein bisschen über die Zukunft sprechen.

Also was wird wohl uns hier in naher Zukunft auch beschäftigen. Wir haben vor zwei Jahren mit Simone und Jürgen von der GFF schon mal über Palantir gesprochen. Das war unmittelbar nach dem Bundesverfassungsgerichtsurteil was im Februar 2023 ergangen ist.

Aber seither hat sich eine ganze Menge getan und darüber wollen wir auch reden wie sich die Diskussion um Palantir und generell die automatisierte Datenanalyse verändert hat und wo wir 2026 schlicht weitermachen müssen. Was wollen wir machen und am Anfang wollen wir vor allen Dingen mal sagen was macht diese automatisierte Datenanalyse und was ist sie auch juristisch. Automatisierte Datenanalyse von der wir heute sprechen wollen.

Ganz einfach erklärt bedeutet wir haben Behörden in unserem Beispiel meist die Polizei und die hat sehr viel verschiedene Daten in verschiedenen Datenbanken. Die funktionieren manchmal gut manchmal schlecht miteinander. Man kann sie faktisch oder wenig zusammenverwenden und die Idee ist jetzt man führt all diese Daten zusammen und lässt da ein Computerprogramm drüber laufen.

Und dieses Computerprogramm das soll dann nicht nur Datenabgleiche ermöglichen also gucken Datenbank A und Datenbank B ist eine Übereinstimmung sondern es soll wirklich aus diesen Daten neues Wissen generiert werden. Hört sich jetzt sehr technisch an aber das bedeutet die Software die soll Verbindungen aufzeigen. Die soll vielleicht nochmal Erkenntnisse bringen die der Mensch so gar nicht gefunden hätte.

Die Software soll tatsächlich die Ermittlungsarbeit machen im Sachverhalt. Und das kann soweit gehen dass man wirklich von KI basierten Profilen Gefährlichkeitsprognosen Sachverhaltsbewertung entsprechen kann. Die sind da vorstellbar wo man wirklich sagt der Computer der wird im Prinzip Teil der Polizeiarbeit Teil der Ermittlungsarbeit zum Beispiel auch in Geheimdiensten wo auch immer eingesetzt wird.

Jetzt hört sich das erstmal ganz cool an denkt man sich ja ist doch voll praktisch soll doch der Computer machen bis man sich klar macht dass wenn wir über die Polizei sprechen in Polizeidatenbanken nicht nur Daten sind von Straftäterinnen und Straftätern. Der Begriff ist ja ohnehin fragwürdig aber sagen wir mal so in diesen Polizeidatenbanken da landet man ganz schön schnell. Zum Beispiel wenn man in einen Verkehrsunfall verwickelt wird wenn man Zeuge von einer Straftat wird oder betroffen ist von einer Straftat.

Wenn man als Whistleblowerin oder Whistleblower involviert ist oder zum Beispiel auch wenn man vermisst ist als Person dann landet man in sogenannten Vorgangs Datenbanken bei der Polizei. Da landet man im Prinzip schon immer da wenn irgendeine Form von Arbeitsvorgang bei der Polizei läuft und man als Person davon betroffen ist. Heißt in diesen Datenbanken landen auch Menschen die überhaupt gar keinen Anlass dafür geboten haben sicherheitsbehördlich überwacht zu werden.

Also wo es überhaupt keine Anhaltspunkte dafür gibt dass man die Person könnte gefährlich sein die könnte eine Straftat begehen. Was noch dazu kommt dass in diese Vorgangs Datenbanken aber auch in anderen Datenbanken riesige Datensätze liegen können die dann in ganz großem Umfang Daten von Menschen betreffen die bislang unbeteiligt waren. Auf der Folie steht jetzt Funkzellenabfragen.

Da macht man eine Funkzellenabfrage will eigentlich eine Handynummer und da sind tausende und weitere Mobiltelefone von völlig unbetroffenen Menschen sind auch die können in solchen Datenanalyse Tools landen. Das gleiche gilt für Telekommunikationsdaten. Auf der Folie steht jetzt Gefahr ohne Anlass ins staatliche Visier zu gelangen.

Das hört sich jetzt erstmal wenn man so an sich selber denkt vielleicht nicht so wahrscheinlich an dass man denkt ah jetzt wurde mir einmal mein Fahrrad gestohlen und ich habe da Anzeige erstattet. Jetzt wird die Analyse sagen du bist gefährlich. Das Risiko erhöht sich natürlich je mehr Daten von mir in so einer Datenbank sind und das betrifft zum einen natürlich Menschen die sich zum Beispiel politisch engagieren die dadurch viel in Kontakt mit den Sicherheitsbehörden kommen zum Beispiel auf Demonstrationen.

Es kann auch betreffen BerufsgeheimnisträgerInnen wie StrafverteidigerInnen und RechtsanwältInnen die sehr viel Kontakt mit Menschen haben die polizeilich beobachtet werden. Es kann aber auch andere Berufsgruppen betreffen die man vielleicht gar nicht so mitbedenkt zum Beispiel SozialarbeiterInnen. Ein ganz plastisches Beispiel wir haben einen Kläger der engagiert sich in der Fanhilfe beim Fußball und hat dadurch einfach durch dieses Ehrenamt sehr viel Kontakt mit gewaltbereiten Fußballfans.

Bedeutet auch der ist immer da wo die sind bei den Spielen und versucht zu deeskalieren und dadurch wird er häufiger Zeuge von Vorfällen wird vielfach erkennungsdienstlich erfasst. Risiko wenn so ein Tool nicht richtig programmiert ist und vielleicht falsche Schlüsse zieht womöglich auch diskriminierende Schlüsse. Dann droht am Ende dass das Tool Verbindungen und Gefahren prognostiziert die gar nicht da sind und so rutschen Menschen ins Visier allein durch so ein Tool.

Im schlimmsten Fall steht irgendwann die Polizei vor der Tür oder es folgen heimliche Ermittlungsmaßnahmen ohne dass man davon überhaupt etwas mitkriegt. Wir haben jetzt hier als Beispiele meistens so die großen polizeilichen Datenstrukturen. Also bei Funkzeilen Abfragen sind es natürlich irgendwie zehntausende Datensätze.

Aber es sind natürlich auch Datensätze die in diese automatisierte Datenanalyse einfließen könnten die aus ganz spezifischen Überwachungsmaßnahmen stammen. Etwa Wohnraumüberwachung Staatstrojaner wo man natürlich auch Gefahren hat dass man in die Intimsphäre von Menschen eingreift. Also es gibt noch mehr sehr viel weniger Datensätze die da auch einfließen.

Im Prinzip ist es die komplette heterogene polizeiinterne Datenlandschaft. Das ist alles noch unabhängig von Palantir und hat eigentlich ich muss es so ehrlich sagen immer sehr wenige Leute interessiert. Es ist schlicht immer so ein bisschen unter dem Radar gelaufen und das hat sich dieses Jahr fundamental verändert.

Für mich eine positive Überraschung. Da kommen wir gleich noch ein bisschen drauf ab wann sich das so verändert hat. Aber damit zu tun hat auf jeden Fall auch der Konzern Palantir der mit der deutschen automatisierten Datenanalyse Debatte zusammenhängt.

Weil wir eben Bundesländer haben die konkret Produkte dieses Konzerns einsetzen. Und was hat sich eigentlich bei dem Konzern an sich getan? Das eine ist sicherlich ich würde das mal jetzt nennen die geopolitische Gesamtsituation. Palantir hat sich in den USA als sehr oder auch mit einer starken Öffentlichkeitsarbeit des hier abgebildeten Chefs Alexander Korb in den politischen Diskurs und die Deportationen und die Datenbanken vom ICI eingemischt.

Also es war nicht nur, dass sie vertraglich unglaublich daran verdienen, sondern eben auch in der Öffentlichkeitsarbeit sehr stark daran mitgewirkt haben. Lange Zeit hat man von Alexander Korb wenig gehört. Die wichtigere Figur war immer eher Peter Thiel, der auch ein bisschen oder länger schon umstritten ist und so ein bisschen negative Image hat.

Während Korb immer so zwei Schritte dahinter war. Oft konnte man ihn bei Diskussionen sehen. Es gibt ein sehr interessantes Filmporträt über ihn.

Aber das hat sich fundamental verändert. Er hat große Interviews gegeben in mehreren Sprachen, wo er sehr offensiv auch diese Deportationspolitik verteidigt. Gleichzeitig aber auch sagt, dass er natürlich sein Code of Ethics, den es natürlich auch bei Palantir gibt, dass er dem immer folgen würde.

Aber darüber kann er natürlich öffentlich nicht sprechen. Ich empfehle die durchaus zur Lektüre, weil sie interessant sind, insbesondere das große Interview bei Wired. Ich fand die verhältnismäßig defensiv, also überraschend.

Aber sie waren eben auch zu großem Teil patriotisch nationalistisch geprägt. Im Zusammenhang mit dieser US-Politik und dem zunehmenden politischen Druck, der sich mit den US-Techkonzernen und den europäischen Datenpolitiken verbindet, hat es natürlich den Zungenschlag der Diskussion um den konkreten Einsatz dieser Software zur automatisierten Datenanalyse verändert. Und hinzu kommt natürlich auch noch, wir haben jetzt einen Koalitionsvertrag, da steht digitale Souveränität drin.

Wir haben Diskussionen in anderen Ländern Europas, die ebenfalls einigen der US-Techkonzern kritisch gegenüberstehen. Und wir haben vor allen Dingen eine besondere Art von Daten, denn es sind natürlich polizeiinterne Daten, die hoheitlich sind. Und deshalb glaube ich, die Debatte sich noch mal so ein bisschen gedreht hat.

Ich will vielleicht noch einen kleinen Satz sagen zu Peter Thiel, der irgendwie durch Europa getourt ist mit seiner Antichrist-Tour. Ich erspare euch aber da irgendwie Details, einige Journalisten haben sich ja in diese Workshops gesetzt. Also wer sich für akademische, interreligiöse Debatten interessiert, kann sich das ja durchlesen.

Offenbar, wenn man in die Millionärsriege aufsteigt, macht das irgendetwas mit dem Gehirn. Ich will mich wenig zu Peter Thiel äußern, weil er einfach mit dem Konzern und den Geschäftspraktiken relativ wenig zu tun hat. Er gehört aber zu der Lobhuldigungsgilde der US-Techkonzerne, die also irgendwie Trump die Füße küsst.

Da gehört er natürlich dazu, auch relativ offensiv. Aber auf die eigentliche Politik des Konzerns hat er wenig Einfluss. Die hat sich nämlich auch geändert.

Nicht nur, dass sie nach wie vor ihre Software, das ist hier die Werbung für Gossip, die auch in Deutschland zum Einsatz kommt, immer sehr militaristisch und patriotisch bewerben mit so langen Videos, die immer so die Ästhetik von First-Person-Shootern haben. Also ganz merkwürdige Ästhetik. Aber das ist eben auch die Ursuppe, aus der die kommen.

Also Verträge mit den Militärs und den Geheimdiensten, da kommen die her, da haben die 21 Jahre lang immer nur Geld bekommen. Sie haben nie Geld verdient. Aber das hat sich natürlich jetzt geändert.

Und darin ist natürlich auch die Trump-Regierung nicht ganz unschuldig, die die großen Multimillionenverträge auch rübergerückt hat. Vielleicht dazu noch. Wenn wir über Gossip sprechen, Palantir hat eine ganze Reihe von Produkten.

Gossip ist das Produkt für die Sicherheitsbehörden. Und es wird vielfach gefragt, was kann es eigentlich? Da widersprechen die Aussagen, je nachdem, in welchem Kontext man fragt. Auf Veranstaltungen heißt dann oft, das sei keine KI und es könne auch kein Predictive Policing.

Wenn man auf die Werbeseite guckt, dann steht da das. Und da steht auch irgendwie AI-Driven Superiority und so. Das bedeutet, ich kann nur jedem empfehlen, der es noch nicht gemacht hat, sich mal so einen Werbeclip auch anzugucken.

Da kriegt man nämlich einen Eindruck, was da zumindest nach eigener Konzernwerbung verkauft werden soll. Und das ist keine Datenabgleichmöglichkeit, sondern da geht es wirklich um extrem komplexe Predictive Policing, beziehungsweise Voraussage- und Analyse-Tools. Es wird jetzt hier niemand überraschen, dass natürlich mit dem Beginn 2022, dass jetzt alle KIs auch hier die Werbung umgestellt wurde.

Das ist natürlich auch alles AI jetzt. Letztlich, für mich haben sich diese Werbevideos wenig verändert. Ob es jetzt KI heißt oder Big Data, wie es vor fünf Jahren noch hieß, spielt ja keine Rolle.

Wichtig ist, glaube ich, dass sie sich so ein bisschen in Deutschland als Marktführer etabliert haben, was einige der Spitzenpolitiker vor allen Dingen in den Landesparlamenten auch wie die Papageien übernehmen. Aber wir wollen zu den Konkurrenten und was die zu dem angeblichen Marktführer sagen, später noch kommen. Es hat Franziska die allgemeinen Risiken der automatisierten Datenanalyse schon genannt.

Wir wollen die aber nochmal ganz konkret machen für den Einsatz von Palantir. Dadurch, dass es nun mal der Konzern ist, den wir jetzt ein bisschen umrissen haben, kommen ja dann ein paar neue Probleme dazu, die nicht unbedingt nur rechtlicher Natur sind. Genau, in dem Bereich.

Erster Punkt. Wir haben ja schon darüber gesprochen, wenn das jetzt wirklich so komplexe Analysesysteme sind, wo überhaupt nicht mehr nachvollziehbar ist, wie kommen die zu ihren Ergebnissen, dann haben wir so schon ein Transparenzproblem. Das heißt, dann stellt sich am Ende die Frage, okay, aber wie ist denn der Computer jetzt zu dem Ergebnis gekommen, dass da eine Verbindung besteht oder dass die Person gefährlich sein könnte.

Das besteht natürlich in total erhöhtem Maße. Wenn wir eine Software haben, wo wir nicht wissen, wie ist die programmiert worden, welche Daten sind da zugrunde gelegt, im besseren Fall macht sie Fehler, ist sie irgendwo diskriminierend, weil die Daten, die zum Training genutzt wurden, diskriminiert waren. Im schlimmsten Fall ist die Software manipuliert, sind irgendwelche Hintertüren drin, sind Datenabflüsse möglich.

Das ist natürlich nochmal schwerer zu überprüfen, wenn man so einen Code bekommt. Wenn wir über Palantir Gotham sprechen, müssen wir heute wahrscheinlich auch direkt darüber reden, heißt immer, ja, das ist ja geprüft worden vom Fraunhofer-Institut. Dazu zwei Punkte.

Der erste Punkt ist, die Prüfung war 2023. Einmal. So ein Tool wird natürlich geupdatet.

Das bedeutet, nur weil damals so nach Berichterstattung gesagt wurde, da sei keine Hintertür drin, heißt das nicht, dass da nicht heute eine drin sein kann. Das ist einfach nicht ausgeschlossen bei einer einmaligen Prüfung. Und zum anderen, die Prüfberichte, die sind nicht öffentlich.

Das bedeutet, wir haben die nicht gesehen und auch die Abgeordneten haben die nicht gesehen. Das bedeutet, uns wurde mitgeteilt, das sei das Ergebnis, die Berichte gesehen und im Prüfungsumfang beurteilt. Das können wir aber nicht.

Heißt, wir haben zuerst mal ein Intransparenzproblem und einfach ein Risiko, dass eine Nachvollziehbarkeit verloren geht und dass einfach Fehler, Diskriminierung, aber halt auch im schlimmsten Fall Manipulationen drohen. Aber Franziska, die Polizei Bayern hat gesagt, es sei ein außergewöhnlicher Vertrauensbeweis von Palantir, dass sie ihn in die Prüfung eingewilligt haben. Das steht tatsächlich so in der Pressemitteilung der Polizei Bayern.

Die haben sogar den Bericht als Verschlusssache stempeln lassen. Genau, also niemand von uns hat den gesehen. Und ich habe noch nie jemanden gesprochen, der mir dazu wirklich mehr sagen konnte.

Natürlich auch nicht die zuständigen Kontrollbehörden. Nächster Punkt, der aber vielleicht nochmal einen ganz anderen Punkt mit sich bringt, ist das Thema, gerade ist der Begriff digitale Souveränität gefallen. Wenn man sich abhängig macht von Software-Tools von anderen Staaten oder von privaten Unternehmen, dann droht, dass man die dann halt auch braucht für die eigene Arbeit.

Und das hören wir aktuell immer. Das heißt, das sei alternativlos. Wir brauchen die unbedingt.

Wir sind ohne die aufgeschmissen. Wir wissen gar nicht mehr, wie wir ohne arbeiten sollen. Das bringt natürlich Risiken.

Zum einen mit, dass der Preis dann vielleicht auch mal ein bisschen erhöht werden kann, wenn man weiß, die brauchen sie ja unbedingt. Ohne können sie offensichtlich nicht mehr arbeiten. Das kann aber natürlich auch ermöglichen, dass irgendwann Nutzungsbedingungen angepasst werden oder verändert werden, auch zum Nachteil.

Ich mache da immer das plastische Beispiel. Wir hören aktuell immer in den Bundesländern, Palantir läuft auf eigenen Servern. Es läuft nicht auf Servern von Palantir.

Es läuft nicht in irgendeiner Cloud. Ja, klar. Aber wenn man fünf Jahre als Bundesland oder als Polizei in dem Bundesland mit so einer Software arbeitet und da sind Ermittlungserkenntnisse der letzten fünf Jahre drin.

Und dann sagt der Anbieter, können wir jetzt leider technisch nicht mehr machen. Wir bräuchten jetzt doch die Cloud-Lösung. Dann besteht halt doch das Risiko, dass man das Tool einfach so dringend braucht, dass man so Nutzungsänderungen vielleicht auch mitgeht.

Ich muss da immer an die Wahlcomputer denken. Ich weiß nicht. Könnt ihr euch erinnern, am Ende der Wahlcomputer-Debatte in den Niederlanden hat der Softwarehersteller gesagt, nee, wir kooperieren nicht mehr.

Und irgendwie die Wahlen standen an. Also es war so ein glasklarer Erpressungsversuch. Nee, wir kooperieren nicht mehr.

Und das Problem ist natürlich hier ganz klar auch da. Denn die sind nicht interoperabel. Die wollen auch nicht interoperabel sein.

Selbstverständlich nicht. Das ist Teil ihrer proprietären Softwarestrategie. Das sind alle Geschäftsgeheimnisse, wie diese Software operiert.

Und entsprechend hätten die natürlich auch überhaupt kein Interesse, mit einem vielleicht Nachfolge-Software-Projekt zu kooperieren. Und dann besteht einfach das Risiko, wenn da wieder fünf Jahre Ermittlungsarbeit drin sind, die will man ja auch behalten, unabhängig davon, ob man wechseln könnte. Ich glaube, wir werden auch ausführlich über das Thema Übergangslösung, Interimslösung sprechen.

Aber was in dem Moment ja schon möglich gemacht wird, ist, ein privater Konzern kriegt einen Zugriff darauf, wie deutsche Polizeibehörden arbeiten. Jetzt jedenfalls. Und im schlimmsten Fall in irgendeiner Form möglicherweise Zugriff auf hochsensible Polizeidaten.

Und die sind einfach im höchsten Maß relevant für die Grundrechte der Betroffenen.

Wir machen jetzt nochmal einen kleinen Bogen zurück, weil wir jetzt darauf kommen wollen, wie ist denn die Situation in den einzelnen Bundesländern? Und sozusagen, wie lange geht denn diese Geschichte jetzt zurück? Das wird aber nur ganz kurz, einfach um klar zu machen, warum sich derzeit insbesondere die hessische, aber auch die Polizei NRW so als Palantir-Werbeperson ein bisschen präsentieren. Die sind halt einfach auch wirklich eine Generation nichts anderes mehr gewöhnt. Das ist jetzt fast, wir können darüber eigentlich hinweggehen, also das ist jetzt, es ist im Prinzip zehn Jahre gelebter Standard, wenn man jetzt noch die Pilotphasen davor nimmt.

Und das war auch einer der Gründe, zumindest habe ich das praktisch so empfunden bei der Anhörung beim Bundesverfassungsgericht, dass die hessische Polizei ganz deutlich gesagt hat, ja, wir sind irgendwie abhängig. Also das haben die auch sehr klar gemacht, dass sie bei genau diesem Produkt auch bleiben wollen. Sie sind damit rundherum zufrieden.

Und immer, wenn die Presse sozusagen beim hessischen LKA mal wieder Filme dreht, dann, ja, da stehen überall diese Aufsteller rum, die Palantir-Aufsteller. Und die lassen sich eben auch sehr gerne als Werbefiguren da filmen, immer wieder. Genau.

2017, 18 steht da auf der Folie, wir wollen den Weg machen zu dem Urteil, dem maßgeblichen bundesverfassungsgerichtlichen Urteil, dass es in dieser Sache gibt. 2017 und 18 wurden die Polizeigesetze in Hessen und Hamburg geändert und beide Bundesländer sind auf die Idee gekommen, in diese Polizeigesetze eine Grundlage für so Datenanalysen reinzuschreiben. Also man wollte der Polizei erlauben, diese automatisierten Datenanalysen durchzuführen.

Der Unterschied war, in Hamburg hat man zwar so eine Rechtsgrundlage geschaffen, also man hat im Gesetz erlaubt, das zu machen, hat sich aber nicht entschieden, es tatsächlich zu machen, zumindest soweit wir wissen, da gab es keine Lizenzverträge. Anders in Hessen. In Hessen hat man sich, wie Constanze schon gesagt hat, dazu entschieden, Hessendata einzusetzen.

Hessendata basiert auf der Software, über die wir gerade gesprochen haben, auf Palantir Gotham. In dem Zuge, weil die GFF sich damals diese Polizeigesetze insgesamt angeguckt hat, ist uns auch diese Rechtsgrundlage aufgefallen. Und wir haben gedacht, naja, das für die Grundrechte aus den oben genannten Gründen, also vor allem, weil da so viele Unbeteiligte ins Visier geraten könnten, ja, wohl schwierig.

Und haben auch diese beiden Normen in Hessen und Hamburg vor dem Bundesverfassungsgericht angegriffen. Ich sollte vielleicht dazusagen, erfolgreich angegriffen. 2023 war es dann soweit, 16.02. entscheidet das Bundesverfassungsgericht, kam das Urteil, das Datenanalyseurteil des Bundesverfassungsgerichts für die Nichtjuristinnen als harter Tobak, also nicht durchlesen, wenn man nicht das Gefühl hat, das brauche ich heute Abend.

Also lieber, kurze Eigenwerbung, mal so eine Fallseite der GFF dazu durchlesen. Wir geben uns größte Mühe, das zu übersetzen. Diese Urteile sind wahnsinnig lang.

Was hat das Bundesverfassungsgericht gemacht? Zum ersten Mal gibt es jetzt Standards vom Bundesverfassungsgericht. Wann geht so eine automatisierte Datenanalyse? Ganz oft liest man, ja, aber. Also das Bundesverfassungsgericht hat gesagt, ja, automatisierte Datenanalysen, das geht, aber unter folgenden Voraussetzungen.

Ich finde eigentlich besser zu sagen, je desto. Damit würde ich es mir merken. Das Bundesverfassungsgericht sagt nämlich, ja, das geht schon, aber was es dafür braucht, unter welchen Gründen es zulässig ist, das hängt davon ab, wie schwer, wie weitgehend die Analyse ist.

Je weitergehend die Analyse, desto strenger müssen die Voraussetzungen sein, die der Gesetzgeber vorsieht, damit das die Grundrechte nicht verletzt. Heißt, je mehr Daten einfließen, je mehr Menschen einfließen, die dafür gar keinen Anlass geboten haben. Zeuginnen, Whistleblower, Anzeigerstatterin, Vermisste Person.

Je komplexer und sensiblere Daten das sind, wir reden ja auch über biometrische Daten, über Videos, auch vielleicht Daten aus Social Media, aus dem Internet, das kann ja wahnsinnig weitgehend sein, Daten aus invasiven Überwachungsmaßnahmen können da einfließen, je sensibler die Daten sind, die da einfließen, und je mehr einfließen, und je komplexer die Methode ist, die man machen kann, desto schwerer wiegt die Datenanalyse. Methode kann bedeuten, naja, einfacher Datenabgleich, mit Liste A und Liste B gucken, sind da Übereinstimmungen, Methode kann aber auch bedeuten, KI-basierte, extrem potente Datenanalyse, wo überhaupt nicht mehr klar ist, wie kommt der Computer eigentlich am Ende zum Ergebnis, dass Franziska Görlitz gefährlich ist. Je komplexer, desto strenger sind die Voraussetzungen, sagt das Bundesverfassungsgericht.

In den Urteilen zu Hessen und Hamburg hat das Bundesverfassungsgericht bei beiden Normen gesagt, naja, das ist schon wahnsinnig weitgehend. Warum? Es reicht nicht, sich anzugucken, was in der Praxis tatsächlich passiert. Also wenn jetzt die Polizeibehörden sagen, ja, wir machen damit eigentlich nur Datenabgleich, das ist nicht entscheidend.

Entscheidend ist, hat der Gesetzgeber wirklich Einschränkungen in das Gesetz reingeschrieben, deswegen steht da das Wort Wesentlichkeitsvorbehalt, das bedeutet, das, was grundrechtswesentlich ist, das muss der Gesetzgeber selber reinschreiben, das müssen die Abgeordneten entscheiden, was darf da einfließen, wie darf analysiert werden. Und da war es bei beiden Normen so, da war halt fast nichts geregelt. Das bedeutet, da lief im Prinzip fast der ganze polizeiliche Datenbestand rein und was dann damit passiert ist, das war auch gesetzlich nicht so richtig festgelegt.

Bundesverfassungsgericht hat also gesagt, das ist ein sogenannter schwerwiegender Grundrechtseingriff, deswegen gelten strenge Voraussetzungen, man darf das nur unter ganz strengen Voraussetzungen machen, und die hatte das Gesetz nicht vorgesehen. Was noch dazu kommt, das Bundesverfassungsgericht sagt, naja, unabhängig davon, wie schwer der Eingriff ist, das ist ja schon ein eigener Grundrechtseingriff, wenn man solche Daten analysiert. Und deswegen ist es wichtig, dass wir Vorkehrungen treffen und mit wir meine ich den Gesetzgeber.

Dass der Gesetzgeber Vorkehrungen trifft, die Transparenz sicherstellen, die verhindern, dass es nicht zu Diskriminierung kommt, und die sicherstellen, dass dieses Tool und seine Anwendung regelmäßig kontrolliert wird, insbesondere damit es nicht zum Missbrauch kommt. Dahinter steht, jetzt kommt der spannende juristische Teil des Abends, der Grundsatz der Zweckbindung. Das bedeutet, deutsche Behörden dürfen Daten grundsätzlich nur zu dem Zweck benutzen, für den sie die haben.

Heißt, wenn man mich verdächtigt, einen Raubüberfall begangen zu haben, dafür hat man mein Telefon abgehört, dann hat man Daten bekommen, dann sind diese Daten grundsätzlich für diesen Zweck und nicht für andere. Es ist möglich, Daten zu anderen Zwecken zu finden, aber nur unter strengen Voraussetzungen, nämlich wenn der Gesetzgeber sagt, wie, und wenn es vergleichbar schwer ist, der Eingriff, man sagt, Grundsatz der hypothetischen Neuerhebung. Jetzt ist das Problem, wenn wir alle Daten gemeinsam in ein Datenanalyse-Tool werfen und sagen, okay, KI, mach mal, dann wird natürlich schwierig zu sagen, sicherzustellen, okay, ist jetzt hier die Zweckbindung gesichert oder werden die Daten zum möglichen Raubüberfall von Franziska Görlitz nicht vielleicht doch benutzt, um irgendwo anders was damit zu machen, was viel weniger gewichtig ist, wofür man die Daten hätte gar nicht benutzen dürfen.

Heißt, es muss, das Bundesverfassungsgericht gibt vor, es muss sichergestellt sein, dass die Zweckbindung von Taten, dass die tatsächlich gewahrt bleibt, und zwar nicht nur, indem der Gesetzgeber sagt, die Zweckbindung gilt übrigens, sondern auch, indem tatsächlich sichergestellt ist, dass es dazu bleibt, es bedeutet, dass eigentlich nur Daten in so ein Analyse-Tool einfließen dürfen, die gekennzeichnet sind. Damit man halt weiß, A, zu dem Zweck wurden die erhoben, das ist ein ziemlich schwerwiegender Zweck und eine ziemlich schwerwiegende Maßnahme gewesen, dann dürfen wir das jetzt nicht für jeden noch so kleinen Verstoß heranziehen, sondern nur für besonders Gewichtige. Problem, wenn die Daten erstmal in so einem Analyse-Tool sind und sie sind nicht gekennzeichnet, wie soll nachvollzogen werden, dass die Daten tatsächlich zweckbindungskonform eingesetzt werden? Dazu haben wir Vorgaben, wir werden gleich darüber sprechen, das sind Dinge, die wir auch bei den Rechtsgrundlagen jetzt immer noch bemängeln, dass das tatsächlich nicht sichergestellt wird.

Da waren natürlich so ein bisschen Heulen und Zähneklappern. Also das eine ist, dass nach dem Urteil total klar war, dass die große Menge an Hunderten von Polizeibeamten, die da drauf zugreifen können, reduziert werden muss. Und dass die Kennzeichnung irgendwie nachgeholt werden muss.

Also da war natürlich schon ein bisschen Ärger, aber auch glaube ich ein bisschen, zumindest nach meinem Eindruck, auch ein bisschen Entspannung darüber, dass es ihnen nicht aus den Händen geschlagen wurde, im Sinne von, das ist ja eigentlich jetzt nicht mehr praktisch umsetzbar. Also das war so ein bisschen mein Eindruck nach der Urteilsverkündung. Wir wollen jetzt mal darauf kommen, welche Bundesländer jetzt gerade was machen und welche noch in der Phase sind, dass sie den Einsatz planen und was sie da konkret sagen, ob sie Palantir wollen oder ob sie vielleicht auf eine andere Lösung setzen und wie generell so gerade die politische Gemengenlage ist.

Also wir haben es ja schon erwähnt, wir haben drei Bundesländer, die praktische Palantir Benutzer sind. NRW und Hessen, Nordrhein-Westfalen und Hessen natürlich am längsten. Und mit Hessendata würde ich auch sagen, der umstrittenste Fall juristisch.

Einfach, weil die ja nach dem Urteil updaten mussten. Und eben Bayern, wo die Verfassungsbeschwerden aller anderen anhängig sind. Und auch schon länger.

Also NRW ist jetzt 2022 und Bayern eben Juli 2025. Also wir wissen natürlich von keinem irgendeinen Zeitplan, also wann es behandelt wird. Dann haben wir den Fall Baden-Württemberg, wo wir gleich nochmal extra drauf kommen.

Der ist besonders toll, weil der sich anschließend nach der ganzen Debatte, die in so ein Sommerloch fiel. Also im Sommer war das so eine richtige, durch alle Zeitungen und viele Landesparlamente, also bis in den Herbst hineingetragene Debatte. Und Baden-Württemberg war irgendwie hinten dran und haben dann irgendwie so ein bisschen abgekriegt den Volkssohn.

Und die haben sozusagen einen großen Widerstand verspürt. Drei Bundesländer haben wir, die jetzt Rechtsgrundlagen dafür haben. Hamburg, Berlin und Rheinland-Pfalz.

Die aber unseres Wissens nach entweder nicht oder zumindest nicht Palantir Gotham nutzen für ihre Analysen. Zu NRW vielleicht noch ein kurzer Note. Da wurde jetzt in Reaktion auf das Datenanalysenurteil 23 das Polizeigesetz geändert.

Bedeutet, da dürfte es nochmal zu Verzögerungen kommen. Wir wollen nochmal kurz auf den Sonderfall Bayern hinweisen. Das ist der Wurstkönig und Karp.

Und Bayern ist deswegen interessant, weil Bayern diesen Rahmenvertrag gemacht hat. Warum ist dieser Rahmenvertrag von einer besonderen Bedeutung? Der Rahmenvertrag, den Bayern geschlossen hat, ermöglicht den anderen Landespolizeien und übrigens auch den Polizeien des Bundes, auf die wir gleich nochmal kommen wollen, einfach den Einstieg, ohne dass sie eine europaweite Ausschreibung machen müssten. Das erleichtert ihnen zeitlich, aber natürlich auch vom Aufwand her.

Und sie können natürlich so ein bisschen auf die Dienstleistungen von anderen Bundesländern zurückgreifen. Das hat auch Baden-Württemberg getan, die sich von Hessen helfen lassen, ganz praktisch, technisch helfen lassen und eben deren Rechenzentren mit benutzen können. Und sicherlich auch auf deren, würde ich mal sagen, Expertise zurückgreifen, was sie auch mehrfach betont haben in der Petitionsanhörung im baden-württembergischen Landtag.

Bayern hat sozusagen damit eine Tür geöffnet, über die aber schon in der Vorgängerregierung ordentlich gestritten wurde, weil, jemand erinnert sich vielleicht noch dran, Nancy Faeser aus Hessen, da war ja unsere Innenministerin, die hatte den Polizeien des Bundes nicht erlaubt, bis sozusagen die Ampel zusammenbrach. Und das wird sich vermutlich ändern und dafür ist sozusagen Bayern der Enabler. Aber Bayern ist auch aus anderer Hinsicht interessant, denn Bayern hat einfach mal was gemacht, was sich die anderen Bundesländer so nicht getraut haben.

Die haben wirklich monatelang Echtdaten von richtigen Menschen aus Bayern und übrigens nicht nur aus Bayern, das ist ein bundesweites Problem, weil in der Fächer der vielen polizeiinternen Datenbanken man landet hat, mit dem Bundesland reichlich wenig zu tun. Die haben die im Testbetrieb einfach mal benutzt, die haben nicht mal den bayerischen Datenschutzbeauftragten Thomas Petri informiert, der hat aus der Presse erfahren, dass die da mit Echtdaten den Testbetrieb laufen lassen und über viele Monate. Also die haben sozusagen ein interessantes Rechtsverständnis, also sie haben am Ende sozusagen, als Petri interveniert hat und gesagt hat, hier gibt es keine Rechtsgrundlage, sie haben dann damit aufgehört, denn die Rechtsgrundlage wurde ja quasi nachgeholt und da wollen wir vielleicht noch ganz am Ende drauf kommen, da schlagen jetzt einige andere Bundesländer andere rechtliche Wege ein, um das zu ermöglichen.

Zumindest ist es mein Eindruck. Und der zweite interessante Fall, den ihr vielleicht gehört habt, ist eben Baden-Württemberg, wo eine interessante politische Situation entstanden ist. Nachdem alle und jeder gesagt haben, also Entschuldigung, in der derzeitigen geopolitischen Situation sollten wir vielleicht nicht noch neue Polizeidaten an Palantir geben, hat Baden-Württemberg entschieden, den Vertrag zu machen, bevor sie überhaupt eine Rechtsgrundlage hatten.

Und dann ist hier Grün regiert. Aber die Grünen sind ja im Bund voll dagegen. Und übrigens auch in einigen anderen Bundesländern, wo sie in der Opposition sind.

Es war also ein interessanter Spagat zu sehen, ja wie machen die das nun, aber sie haben den tollen Deal mit irgendwie 1200 Hektar Nationalpark Schwarzwald Erweiterung gemacht und dafür haben sie dann irgendwie mit Bauchschmerzen Palantir zugestimmt. Aber macht euch keine Sorgen, es ist nur eine Interimslösung, eine Zwischenlösung, eine Weile. Das ist ein Argument, das hören wir immer wieder.

Das ganze Thema, das ist eine Übergangslösung. Wir brauchen das jetzt unbedingt, weil die Bedrohungen sind so hoch. Wir machen jetzt erst mal Palantir und dann machen wir was anderes.

Da stellt sich natürlich die Frage, über die wir vorhin schon gesprochen haben. Wenn man das Tool erstmal hat und dafür wahnsinnig viel Geld ausgibt, wie viel Anreiz besteht dann parallel, wenn es so wahnsinnig gut ist, wie das immer berichtet wird, sich dann nochmal nach was Neuem umzuschauen, wenn das dann so toll funktioniert. In Baden-Württemberg wurde ganz viel betont, aber auch gerade viele BefürworterInnen sagen immer wieder ganz deutlich, wir brauchen das jetzt, wir machen das zum Übergang und dann kümmern wir uns um was Eigenes.

Es gab durchaus Polizeiprogramme, P20 etc., wo eigentlich der Plan war, sich um Lösungen zu kümmern, wie die Polizei besser mit digitaler Infrastruktur ausgestattet werden könnte. P20, du meinst von 2016? In einem Jahrzehnt verkackten die eine eigene Lösung? Das ist wirklich kein Witz. Die haben sich das 2016 vorgenommen und wir sind 2025? P30.

P30, P40. Entschuldige, Franziska, ich habe dich unterbrochen. Nein, alles gut.

Wir hören immer wieder, das ist jetzt unvermeidbar, aber wir suchen uns dann was Neues. Es war offensichtlich die letzten Jahre nicht genug Geld da, nicht genug Willen und Geld, um sich um eine Eigenentwicklung zu kümmern. Jetzt gibt man das Geld für eine schnelle Übergangslösung aus.

Da ist natürlich wieder die Frage, wo soll das Geld dann herkommen? Woher soll in drei Jahren auf einmal die Eigenentwicklung kommen? Also wo du Geld ansprichst, also Billige sind jetzt auch nicht. Ich darf daran erinnern, dass ein urdeutsches Konsortium um den Konkurrenzanbieter Sekunet im Deutschen Bundestag, im Innenausschuss das Geld in den Wirkbetrieb bringen zu können. Irgendwie, ich glaube, die Anschubfinanzierung ist ausgefallen.

Aber Billige sind natürlich nicht. Die 25 Millionen, die Bayern jetzt gezahlt hat, ist nicht wenig. Also gut.

Wir lassen mal diesen Teil und kommen zu den Rechtsgrundlagen in den noch fehlenden Bundesländern. Denn Debatte hin oder her, in mehreren Landesparlamenten wurde auch die automatisierte Datenanalyse in der Novelle des jeweiligen Polizeigesetzes mit eingebaut. Das ist Sachsen, Sachsen-Anhalt, Thüringen, Niedersachsen und Schleswig-Holstein.

Die Debatten haben wir als, wie soll ich sagen, anders erlebt. Also oft waren die in den Ausschussanhörungen dort, wie soll ich denn, freundlich von minderer Qualität. Also die haben oft das Niveau, was eigentlich erreicht wurde und was sozusagen auch im Bundestag debattiert wird.

Und unter den Juristen, die sich mit der automatisierten Datenanalyse befassen und mit dem technischen Stand überhaupt nicht erreicht. Also es war wirklich erstaunlich dürre. Und zudem, was mir so aufgefallen ist, es gab sehr wenig lokale Berichterstattung.

Vielleicht hat es auch damit zu tun, dass in den Polizeigesetzen oftmals auch noch andere Regelungen drin waren, die umstritten waren, die aber vielleicht ein bisschen besser dargestellt werden können. Diese automatisierte Datenanalyse im komplexen technischen Feld. Also mir schien, dass in den unterschiedlichen Bundesländern nicht so richtig berichtet wurde.

Ich habe die mal alle abgefragt. Im März war das, glaube ich. Ich habe alle Landesinnenministerien gefragt, noch bevor teilweise diese Rechtsgrundlagen da waren.

Wer plant denn da eigentlich, Palantir einzusetzen? Wer wirklich in den Rahmenvertrag einsteigen will und wer kann eine Alternative nennen? Wollt ihr mal raten? Kein einziger Bundesland hat auch nur einen einzigen Konkurrenten nennen können. Null. Das war total klar, also bevor die Debatte losging, dass sie eigentlich alle bei Palantir einsteigen können.

Das ist jetzt nicht mehr der Fall. Mehrere von diesen Bundesländern sagen, also insbesondere Schleswig-Holstein sagt das, aber mit ein paar Einschränkungen auch Sachsen-Anhalt. Sie setzen auf eher eine Lösung, die digital souveräner wäre.

Und Sie haben auch versucht, das im Bundesrat noch mal so ein bisschen anzusprechen, zu sagen, wir wollen lieber eine Lösung, die den geopolitischen Gegebenheiten etwas besser entspricht. Sie haben es versucht, aber trotzdem finden wir den Trend eigentlich ungebrochen, zumindest erst mal die Rechtsgrundlagen zu schaffen und so ein bisschen abzuwarten. Mal gucken, was passiert.

Vielleicht baut ja doch einer noch mal eine andere Software. Was man zu den Rechtsgrundlagen, glaube ich, auch noch aussagen kann, ist, es ist ja jetzt schon, in gewisser Form klingt es vielleicht blöd, aber komfortabler, so ein Gesetz zu schreiben, weil jetzt gibt es dieses Bundesverfassungsgerichtsurteil. Es gibt ganz schön viel Anleitung.

Das muss man auch sagen, sieht man an den Normen schon. Das steht jetzt in der Gesetzesbegründung immer drin. Es gibt dieses Datenanalyse-Urteil, nach dem richten wir uns.

Zwei Dinge muss man dazu aber sagen. Erstens, man richtet sich zwar danach, aber sich dran halten ist dann nicht immer der Fall. Also wir sehen dann schon, dass man darüber hinausgeht, über das, was möglich ist.

Was man aber auf jeden Fall sagen kann, ist, zu beobachten ist nicht, dass das Bundesverfassungsgericht gesagt ist, die äußerste Grenze, dann lasst uns davon mal ein bisschen Abstand halten, sondern die Idee ist immer so, an die äußersten Grenzen möglichst dran und dann mal gucken, ob das noch geht. Insbesondere beim Thema, also sowohl beim Thema, wie viele Einschränkungen kann ich denn ins Gesetz schreiben? Ich habe ja schon gesagt, das muss im Gesetz stehen, damit die Voraussetzungen geringer sein können, muss im Gesetz eingeschränkt sein. Da ist man immer noch ziemlich hemdsärmlich.

Also es gibt immer noch Entwürfe, die erst mal sagen, dass wir das nicht organisieren und dann werden einzelne kleine Bereiche ausgeschlossen. Vorgangsdaten sind einfach überall im Prinzip komplett umfassend mit drin. Dann heißt es teilweise, Unbeteiligte sollen ausgeschlossen werden.

Wie, ist aber unklar. Und da ist es schon zu beobachten, es gibt eigentlich eine Anleitung. Es ist auch erkennbar, also es gibt jetzt keinen Entwurf, wo jetzt jemand sagt, das haben wir uns nicht angeschaut.

Aber es ist jetzt auch nicht so, dass wir jetzt sagen könnten, dass wir das nicht machen wollen. Sondern man sieht es auch an den Verfassungsbeschwerden, die wir jetzt anhängig haben in NRW immer noch, in Hessen zum zweiten Mal, wo wir gegen die Novelle nochmal Verfassungsbeschwerde einlegen mussten, weil der Entwurf sich einfach aus unserer Sicht nicht anders hielt, was das Bundesverfassungsgericht gesagt hat. Oder auch in Bayern, wo wir der Auffassung waren, naja, es gibt halt bundesverfassungsgerichtliche Vorgaben, die werden nicht eingehalten und irgendjemand muss dann halt vor den Gerichten durchsetzen.

Weswegen die Veröffentlichung der Verfassungsbeschwerde beim Juli, also mitten so eigentlich schon so beginnenden Sommer noch so einschlug, hat natürlich noch mit was anderem zu tun, nämlich natürlich mit der Politik im Bund, denn da läuft ja parallel eine Entwicklung, die ist so unter diesem Schlagwort Sicherheitspaket bekannt, schon im Koalitionsvertrag ist die automatisierte Datenanalyse drin, ja alle drei Parteien wollen die, aber irgendwie konnten die den Innenminister, der hier abgebildet ist, Alexander Dobrindt, nicht dazu kriegen, eine Aussage zu machen, ob er in den Rahmenvertrag einsteigen will. Das war ja eine Sache, die zu sagen, er hätte ändern können, denn seiner SPD-Vorgängerin hat das für die Polizei und des Bundes so verfügt, aber er lässt sich ja so nicht ein und das hat die Debatte eher noch ein bisschen bestärkt, weil er einfach nicht geantwortet hat. Nun muss ich sagen, so gut, wir wollen nicht spekulieren, denn es wird sehr bald kommen und er wird zwangsweise irgendwann Anfang nächsten Jahres, wenn er die konkreten Entwürfe dann vorlegt, auch sagen müssen, mit wem er zusammenarbeitet, wird er auf jeden Fall kommen und ich glaube, der Zeitpunkt ist noch schlechter, als hätte er zu sagen im Sommer oder Frühherbst sich dazu geäußert, denn ich glaube, das geht so ein bisschen in die No-Go-Area bei dem konkreten Konzern Palantir, nicht bei der Rechtsgrundlage für die automatisierte Datenanlyse, aber da scheint so ein bisschen über den Berg schon.

Wenn wir aber sehen, wir wissen ja, dass Dobrindt in vielen Dingen sehr schmerzfrei ist. Also im Kontext steht es vor allem für alle, die es jetzt im Bund vielleicht nicht zuordnen können, Bundespolizei und Bundeskriminalamt, das sind die beiden Behörden, bei denen der Bund die Möglichkeit hat zu entscheiden, diese Polizeibehörden könnten das bekommen und da liegt ein Sicherheitspaket auf das. Wir alle warten mit Rechtsgrundlagen, die eben genau diese Datenanalysen auch bei diesen Behörden ermöglichen.

Vielleicht ein Punkt noch erklärt, diese Gesetzesentwürfe enthalten in der Regel nicht einen Absatz 10, in dem steht, wir machen das mit Palantir Gotham oder wir machen das mit einer anderen Lösung, sondern die Gesetze sind in der Regel, das wird uns dann auch öfter gesagt, technologieoffen. Das bedeutet, wir entscheiden das nicht. Da kann man sich auch die Frage stellen, ich habe ja gerade Thema gesagt, Wesentlichkeitsvorbehalt.

Eigentlich sollten die grundrechtssensiblen Fragen vom Parlament entschieden werden, inwieweit es nicht vielleicht tatsächlich nötig wäre, dass das Parlament auch Entscheidungen trifft, wie muss denn so ein Anbieter aussehen und welche Standards muss der erfüllen, damit nicht nur durch die Rechtsgrundlage selber, sondern auch durch den Anbieter und die konkrete Software keine Grundrechtsgefahren drohen. Da sind wir leider, also da gibt es in dem Datenanalysenurteil noch nicht so viel Vorgaben. Wir haben diese Äußerung des Bundesverfassungsgerichts, dass es erhöhte Risiken gibt, wenn auf Lösungen privater Anbieter zurückgekommen wird.

Das Bundesverfassungsgericht spricht ja auch offen von Manipulations- und Datenleak-Risiken, aber so klare Vorgaben, dass man jetzt sagen könnte, das Bundesverfassungsgericht hat gesagt, es darf nur dieser und jener Anbieter sein, die haben wir noch nicht. Das bedeutet, da wäre zu wünschen, dass sich die Gesetzgeber in die Verantwortung stellen und sagen, wir sichern ab durch Gesetz, was der Anbieter erfüllen muss. Aktuell passiert das fast nicht.

Wir wollen jetzt noch mal so ein bisschen die Kurve kriegen zu den in naher Zukunft anstehenden Problemen, die aber auch schon teilweise eingetreten sind. Wir haben das vorhin schon so ein bisschen angedeutet. Man sieht sehr deutlich, dass jetzt mehrere Bundesländer versuchen, diese Probleme, die beim Pilotieren oder bei den Testverfahren aufgetreten sind, nämlich dass man die ohne Rechtsgrundlage nicht machen kann und dass letztlich der Grundrechtseingriff derselbe ist, wenn es ein Testbetrieb ist.

Das ist auch unter Juristen sehr unstrittig, dass sie das lösen, indem sie in die Polizeigesetze reinschreiben, dass ein Software-Training mit echten Polizeidaten schlicht ermöglicht wird. Ich habe das jetzt Software-Training genannt, heute steht ja immer KI und so drin, ich glaube aber letztlich ist es nicht spezifiziert, was für eine Art von Training es sein kann. Aber es kann eben auch ein Zusammenarbeiten mit privaten Anbietern sein.

Das ist über das Palantier-Problem hinaus ein Problem. Das kann natürlich auch, wenn man jetzt an biometrische oder Verhaltenserkennungssoftware und so was denkt, ein großes Problem sein, auch für Telekommunikationsmetadaten für alle mögliche, wo die Polizei zusammenarbeitet mit kommerziellen oder anderen privaten Anbietern. Das ist aus meiner Sicht ein ganz eigener, schwerwiegender Grundrechtseingriff, der natürlich auch den Betroffenen in der Regel nicht bekannt wird und eine sehr große Fülle, eine millionenfache Datensätze betrifft.

Ja, also ja, müssen wir mal sehen, möchtest du da vielleicht juristisch gegen vorgehen? Schauen wir uns die Rechtsgrundlagen mal an. Ich würde zu dem KI-Thema noch kurz nachschieben. In dem Datenanalyseurteil hat das Bundesverfassungsgericht noch nicht so viel gesagt zum Thema KI.

Hintergrund war das dazu, dass sich die Fragen in dem Verfahren nicht in dem gleichen Ausmaß stellten. Ich glaube in bestimmten Punkten war ihnen nicht genug vorgetragen. Was wir aber wissen, das Bundesverfassungsgericht knüpft für KI an, an Selbstlernend.

Also das Bundesverfassungsgericht sagt, künstliche Intelligenz ist für mich ein System des selbstständig Weiterlernens. Es gibt ja auch verschiedene juristische Definitionen, also die KI-Verordnung hat da ja auch zum Beispiel eine andere. Wichtig ist aber, was man hören muss, das Bundesverfassungsgericht sagt schon ziemlich deutlich, naja, aber solche Systeme, die sind schon krass invasiv.

Also wenn ihr so was macht, das hebt das Eingriffsgewicht extrem hoch und dann wird es schon schwierig, da muss man schon strenge Voraussetzungen schaffen, damit man das rechtfertigen kann. Zweiter Punkt, das Bundesverfassungsgericht sagt, naja, wenn du sowas benutzt und die Nachvollziehbarkeit gefährdet ist, dann musst du Schutzvorkehrungen schaffen als Gesetzgeber. Dazu haben wir jetzt noch keine Entscheidung, aber wir erhoffen uns, dass wir bald eine kriegen.

Warum? In Hessen in der Novellierung war zuerst ein Versuch, würde ich mal sagen, eines KI-Ausschlusses im Gesetz gestanden. Den hat man Ende letzten Jahres rausgestrichen. Jetzt ist das, womit man am Anfang versucht hat, künstliche Intelligenz einzudämmen, ist jetzt nicht mehr drin und man sagt auch explizit in der Begründung, nee, es geht schon darum, KI im Sinne der KI-Verordnung zuzulassen.

Bedeutet, wir hoffen, dass wir jetzt da vielleicht noch mal vom Bundesverfassungsgericht Vorgaben kriegen, wie viel muss der Gesetzgeber dann regeln und wie können denn dann Schutzvorkehrungen aussehen. Also was wäre möglich, was der Gesetzgeber regeln muss, dass es dazu mehr Grundrechtsschutz kommt. Das ist, glaube ich, schon ein Punkt neben dem Software-Training, was einfach ein total eigener Punkt ist, wo jetzt total viele Aufsprünge und Rechtsgrundlagen schaffen, wo wir hoffen, dass wir mit unseren Verfahren vielleicht noch mal einfach eine Frage beantworten können, die noch offen ist.

Ein anderer Problemfeld sind natürlich die Geheimdienste. Jetzt ist hier konkret der Verfassungsschutz in Nordrhein-Westfalen und Hessen angesprochen, wo es eine Rechtsgrundlage geben soll für die automatisierte Datenanalyse. Die sitzen natürlich auf eigenen Daten, die von den Polizeidaten in der Regel getrennt sind.

Aber hier geht es auch noch mal um das BND-Gesetz. Auch da gibt es ja noch keinen Referentenentwurf, aber da wird bald einer kommen. Da wird ja schon ordentlich über die Presse geleakt, wer da eventuell drinstehen könnte.

Also da haben wir noch mal ganz eigene Problembereiche, die auch eigene massenhafte Datensätze haben, die personenbezogen sind. Wir haben natürlich einen Herz-Militär-Bereich. Wir wissen, dass wir da noch viel weniger wissen.

Wir haben ja letztlich viele der Problemlagen, also gerade so in Bayern, aber auch in Nordrhein-Westfalen und in Hessen über journalistische Recherchen erfahren. Auch die Landesdatenschutz- haben dadurch sozusagen aus den Medien erfahren und beim Militär ist das ja eigentlich nicht so gang und gäbe. Also wir wissen wenig, was da die Planungen sind.

Wir kennen natürlich die Wunschlisten, die werden ja jetzt über die üblichen Verdächtigen unter den Journalisten gerade schon geleakt, wie die wohl aussehen werden. Und mich würde nicht wundern, wenn auch da die automatisierte Datenanalyse mit auf der Liste stünde. Davon würde ich fest ausgehen, zumindest bei einigen Geheimdiensten.

Letzter Punkt, für dazu auch noch mal. Das ist ja auch Steuergeld. Also nur, um das noch mal ganz klar zu benennen, das ist ja auch die Frage, wie viel Geld geben wir da wohin für diese Analyse-Tools? Das ist auch einfach, finde ich, ein Punkt, der manchmal unabhängig davon, dass das wahnsinnig viel Geld kostet und dieses Geld irgendwie Abhängigkeit bewirkt.

Da fließt einfach total viel Geld an Playerinnen und Player und man muss sich überlegen, wer soll denn das deutsche Steuergeld bekommen dafür, dass er uns ein Analyse-Tool baut, wenn wir schon eins brauchen. Da passt ganz wunderbar, dass wir zum Jahresende noch ein zweiteiliges Stück von dem Schweizerischen Magazin Republik hatten, die auf Grundlage von, bei uns heißt es Informationsfreiheit-Gesetz, ich habe leider gerade vergessen, wie es in der Schweiz heißt, aber so ähnlich, eine ganze Menge Dokumente rausgeholt haben und in einer sehr lesenswerten Analyse mal aufgeschrieben haben, wie Palantir sich wirklich jahrelang irgendwie an die Behörden herangewanzt hat und versucht hat, ihre Software da an den Mann zu bringen und irgendwie das nicht geschafft haben, ist ja auch super doof, denn Karp wohnt da und naja und so, aber interessant war oder aus meiner Sicht besonders interessant war ein Bericht der Schweizer Armee, den sie über die verschiedenen Softwareprodukte, vor allen Dingen aber auch über die Risiken und generell so ein bisschen den Informationsstand abgeliefert haben, den hat Republik dankenswerterweise, dankenswerterweise online gestellt, weswegen die alle lesen können und die Empfehlung der Schweizer Armee, die sie da abgeben, ist ganz klar, wir empfehlen, also die Gutachter der Schweizer Armee empfehlen, auf Lösungen des Unternehmens Palantir zu verzichten, aber das Interessante ist natürlich, mit welcher Argumentation und die haben mal so richtig so die ganze Problemlage, die wir jetzt so unterschiedlich aufgerissen haben, technologisch, geopolitisch, juristisch, ethisch, so richtig mal einmal so runtergeschrieben und sie haben auch Kosten-Nutzen drin, man müsste ja auch ein bisschen darüber nachdenken, wie man langfristig mit so Leistung, Nutzen, Kostenverhältnis umgeht, die haben da alles drin und ich wünschte sozusagen, dass wir das Niveau, was die da erreichen und im Übrigen auch die Empfehlung, die letztlich sehr klar gegen Palantir ausgeht, dass wir die auf diesem Niveau hier auch hätten. Viele von den Fragen hätte ich mir schon damals gewünscht, dass die in Karlsruhe besprochen wurden, aber da war vielleicht die Zeit, vielleicht war es noch ein bisschen früh dafür.

Der Punkt ist daran, weswegen ich den Bericht auch noch besonders spannend fand, als ich den ersten Blogbeitrag von Palantir hatte, die sich falsch verstanden fühlten durch das Schweizer Magazin. Die haben so eine Pressestrategie eigentlich nichts zu sagen. Die sagen auch der Deutschen Presseagentur nichts oder Reuters nichts.

Hier haben sie mal eine Ausnahme gemacht und eigentlich in Deutsch und in Englisch einen Blogbeitrag, den ich hups vergessen habe, hier abzubilden. Also wirklich, sie fühlen sich missverständlich. Sie haben doch die Journalisten extra eingeladen ins Büro, ein außergewöhnlicher Vertrauensbeweis.

Also man merkt schon, dass eine kritische Öffentlichkeit tatsächlich was macht. Das stört die bei den Abschlüssen ihrer Verträge und ich glaube, die sehen so ein bisschen in Europa, das ist nicht nur in der Schweiz, das ist auch in Frankreich, läuft es auch nicht so gut. Da sind so ein bisschen die Fälle weg und dann haben sie doch die ganzen Konkurrenten am Hintern.

Auch sehr unangenehm. Seit, ich würde sagen, Ende Juli, Anfang August melden die sich auch bei den Landes- und beim Bundesinnenministerium und sagen, hey, wir haben hier auch Softwareprodukte, guckt die euch doch mal an, wir sind billiger, schlauer und wir sind DSGVO-konform, wir kennen uns aus mit den europäischen Gegebenheiten. Also da schwimmen denen die Fälle weg.

Naja, natürlich haben in dem Bericht der Schweizer Armee auch so Fragen, muss man oder soll man bei hoheitlichen Daten Open Source setzen. Die haben natürlich auch ein bisschen Fokus auf Militärdaten. Die haben durchaus auch Vorteile, die diese Software hat im Blick.

Das ist kein nur negativer Bericht, aber die Empfehlung ist sehr klar und deutlich. Empfehle ich also jedem zur Lektüre. Wir müssen zu einem Fazit kommen.

Ja, wir haben das schon angedeutet. Also trotzdem eine breite Diskussion hier gab und zumindest diejenigen, die entscheiden sollen über die Rechtsgrundlagen und über den konkreten Einsatz dieser Firma, die den mitbekommen haben, den teilweise mitbestimmt haben, trotz der sehr breiten Debatte sehen wir eigentlich eine Normalisierung, zumindest was die Rechtsgrundlagen angeht. Klar, nicht alle von diesen Bundesländern haben sich auch entschieden, sich mit Palantir ins Bett zu legen, aber letztlich ist erst mal die Rechtsgrundlage da und die ist natürlich die Grundlage allen Handelns hier.

Wir haben so ein bisschen bemerkt, oder mir ist es so gegangen, vielleicht dir auch Franziska, in der Diskussion, wo man ja in der Regel wird, wenn man, weiß ich nicht, im Radio oder so oder auf einer Bühne darüber debattiert, immer mit den Polizeigewerkschaften konfrontiert, die reagieren total, also ich würde mal sagen, gereizt darauf, wenn man das Rasterfahndung nennt, also oder wenn man auch nur andeutet, dass vielleicht in Zukunft Palantir nicht mehr in vor allen Dingen Hessen oder NRW zum Einsatz kommen könnte, da sind die wirklich ziemlich ärgerlich. Und die haben auch nicht so richtig, oder zumindest war das mein Eindruck, die haben nicht so richtig Mühe auch über das Urteil komplette Lügen zu streuen. Das machen die.

Nun haben wir das Urteil sehr klar gelesen und wir wissen, was da drin steht, aber trotzdem sozusagen war mein Eindruck, dass die auch mit Desinformation in der Öffentlichkeit arbeiten. Vor allen Dingen wird diese angebliche Alternativlosigkeit immer betont. Also wo sich ja so ein bisschen der Hund in den Schwanz beißt, die Katze in den Schwanz beißt.

Nämlich wir haben ja diesen Rahmen, da könnten wir mal kurz einsteigen, die anderen können es ja nicht besser, dauert alles viel zu lange. Also da ist so ein Kreislauf entstanden, der diese angebliche Alternativlosigkeit natürlich stützt. Dazu noch zweites Argument, was man immer hört, Alternativlosigkeit und ich habe das Gefühl, jeder Stelle, die es schon nutzt, hat eine Anekdote oder einen Fall, wo es immer heißt, diesen Anschlag haben wir verhindert oder dieses Verbrechen haben wir aufgeklärt.

Ich finde immer wichtig, noch einmal zu sagen, es gibt keine Zahlen. Also es gibt keine Zahlen dazu, obwohl wir Bundesländer haben, die es schon ewig benutzen, dass uns ein Bundesland mal vorlegen könnte, unsere Gefahrenabwehr hat sich um 30 Prozent verbessert, seit wir dieses Tool nutzen. Die gibt es nicht.

Das heißt, es ist immer eine Geschichte, die einem erzählt wird. Ich sage gar nicht, dass die nicht stimmt, aber es gibt einfach für uns keine Zahlen, wo man uns sagen würde, es funktioniert, das erzählt man uns, aber die gibt es nicht. Es spielt auch oft nicht wirklich eine Rolle in Sachsen-Anhalt, habe ich zum Beispiel erlebt, da gab es ja den Magdeburg-Attentat.

Also man nimmt sich dann halt den Anlass, der in diesem Bundesland gerade da ist, obwohl ja total klar ist, gerade bei dem Magdeburg-Attentat, das ist ja auch im Untersuchungsausschuss in Sachsen-Anhalt sehr deutlich geworden, dass die Datenlage wirklich nicht das Problem war. Also man nimmt sich da auch gerade die Sau, die durchs Dorf getrieben wird, ist, ohne dass man ja wirklich Fakten schaffen muss. Das war übrigens auch in der Anhörung in Karlsruhe nicht der Fall, aber Palantir selbst ist da ja auch nicht befragt worden.

Also da kam sozusagen für Evaluationsdaten nichts rüber. Genau, nächster Punkt. Ich weiß nicht, wie werden ihr alle das letzte Mal mit einer Datenbank oder mit einer Datei gearbeitet habt, die nicht durchsuchbar ist und das ist grauenvoll.

Das ist, glaube ich, auch allen klar und ich finde mal total wichtig, dass noch mal gesagt wird, es gibt einen Unterschied zwischen wir machen, dass eine Datenbank, die es gibt, irgendwie technisch funktionabel ist, vielleicht auch mit einer anderen und zwischen wir schaffen Palantir Gotham an. Und es gibt einen Unterschied zwischen wir ermöglichen in einem ganz eng eingegrenzten Bereich, in einem grundrechtsschonenden Bereich, dass solche Daten auch automatisiert verarbeitet werden können oder man schafft Rechtsgrundlagen, wie wir sie aktuell sehen, die im Prinzip alles zulassen, super weitgehende Methoden, fast alle Daten, kaum Kontrolle vorgesehen, wenig, vor allem keine regelmäßigen externen, viel zu wenig Schutzvorkehrungen. Da gibt es einfach Unterschiede und für uns total zentral, es gibt Vorgaben vom Bundesverfassungsgericht und die müssen eingehalten werden.

Und wenn Rechtsgrundlagen geschaffen werden, dann muss Abstand gehalten werden von dem, was grundrechtlich vielleicht maximal das äußerste Limit wäre, sondern es muss eine Rechtsgrundlage geschaffen werden, die die Grundrechte in angemessenes Verhältnis bringt und die vor allem klar Abstand hält von Predictive Policing, von Profiling, von komplett automatisierten Sachverhaltsprognosen etc. Da muss Abstand gehalten werden und zwar ganz deutlich. Das wird euch jetzt hier nicht so sehr überraschen, dass das unsere Forderung ist, aber wir wollen natürlich auch noch einmal, deswegen haben wir diesen letzten Satz auf der Fazitfolie, das Problem heißt natürlich nicht, also ist nicht nur Palantir.

Ich glaube, dass es wichtig ist, das an diesem Konzern zu diskutieren, weil hier sich so wunderbar heraus schälen lässt, wie diese Abhängigkeitsprobleme, die Probleme mit der digitalen Souveränität, Umgang mit hoheitlichen polizeiinternen Daten, wie die sind, das kann man prima machen und jetzt haben sich diese Unternehmens, oder zumindest Alex Karp, auch noch auf eine Weise präsentiert, dass man das wunderbar machen kann, dass man die ganze Argumentation, die um die digitale Souveränität auf anderer Ebene läuft, hierfür verwenden kann. Aber das Problem heißt natürlich trotzdem eben nicht Palantir, sondern auch eine andere Software und deswegen haben wir, wollten wir sozusagen betonen, dass wir eine Beschränkung dieser Datenanalysen wollen. Jede andere oder auch eine selbst programmierte Lösung, die die Polizei ja vielleicht 2040 schaffen kann, würde die Probleme ja nicht aufheben.

Entsprechend, wir erleben natürlich auch bei anderen Urteilen aus Karlsruhe, dass die immer so ein bisschen als Kopiervorlage benutzt werden und die aller äußerste Grenze benutzt wird. Eigentlich würden wir uns wünschen, dass das so nicht weiter geschieht. Wir wissen aber natürlich, in welcher Regierung wir leben.

Von Dobrindt erwarten wir da wenig. Da wird wahrscheinlich auch wieder das Maximum ausgereizt werden. Aber ich glaube, wir haben die besseren Argumente.

Wir sollten sie vorbringen. Wir sollten uns neben der Frage, was für eine Art von automatisierter Datenanalyse zugelassen werden soll, eben auch immer gegen strukturelle Einflussmöglichkeiten von feindlichen ausländischen Unternehmen wehren. Da lohnt sich natürlich die Debatte um Palantir.

Das war der Vortrag Blackbox Palantir von Konstanze Kurz und Franziska Görlitz für die Gesellschaft für Freiheitsrechte. Gehalten haben sie den beim 39c3, dem Chaos Communication Congress. Ihr könnt diese Sendung nachhören auf unserer Webseite politopiamagazin.de. Dort haben wir auch in den Shownotes, also in den Sendungsnotizen, weitere Links versammelt.

Unter anderem könnt ihr auch das Originalvideo zu dem Vortrag sehen. Wir freuen uns, dass ihr dabei wart und dass ihr zugehört habt. Wir hören uns wieder nächste Woche, Mittwoch 16 Uhr, das politopiamagazin bei Radio X. Bis dann!