Vibes & Bytes: KI und die Landesverwaltung (2)

00:00:01: Ja, unerträgliche Situation.

00:00:03: irgendwie, wenn man privat sozusagen für seine Freizeit bessere Tools hat als für die Profiarbeit, finde ich schwer.

00:00:09: Wir sind komplett Open Source, eine Public Money, Public Code.

00:00:13: Also wie halten wir die Daten?

00:00:15: Wo halten wir die Daten?

00:00:16: Wie kommen Daten von A nach B?

00:00:18: Finden wir technische Wege um diese Problematiken von KI?

00:00:22: einzugrenzen.

00:00:23: Die Richterin der Richter denkt, schreibt die KI das Urteil.

00:00:27: Ich will jetzt auch nicht, dass mich eine KI verurteilt am Ende.

00:00:54: So, das sind wir wieder.

00:00:56: Das ist die zweite Folge von Vibes & Bytes, der Podcast der BitBW.

00:00:59: Ich bin Marvin Schenzilorz und mir gegenüber sitzt natürlich wieder

00:01:03: Lena Scherer.

00:01:04: Und bevor wir starten, möchten wir uns erst mal bei euch bedanken für das wahnsinnig positive Feedback, das wir erhalten haben.

00:01:10: Ja, aber dankeschön.

00:01:10: Es hat uns sehr gefreut.

00:01:12: Bleibt dabei, folgt uns, teilt den Podcast gerne weiter, auch die heutige Folge.

00:01:17: Lassen Abo da, sagt man so, ne?

00:01:19: Lassen

00:01:19: Abo da.

00:01:20: Ich glaube, man klickt auf eine Glocke.

00:01:22: Auf eine Glocke?

00:01:22: Auf eine

00:01:23: Glocke, genau.

00:01:23: Klickt

00:01:23: da drauf.

00:01:24: So, und wir haben es angekündigt.

00:01:26: Wir möchten mit den Stakeholders reden.

00:01:28: Und genau das machen wir heute.

00:01:29: Wir haben einen superinteressanten Gast dabei.

00:01:31: Wir

00:01:31: wollen aber gar nicht lang sprechen, sondern wir gehen direkt rein ins Interview.

00:01:34: Genau.

00:01:39: Björn Beck ist heute bei uns.

00:01:41: Und bevor wir jetzt in das Interview einsteigen, wer bist du, was machst du, wo kommst du her?

00:01:47: Stell dich doch mal ganz kurz vor, Björn.

00:01:49: Ja, hi.

00:01:50: Ich bin Pylen Beck.

00:01:51: Ganz kurz vorstellen ist immer schwierig, weil ich schon relativ lang im Geschäft bin.

00:01:56: Aktuell leite ich im Staatsministerium des Innovationslaborer der Landesregierung.

00:02:01: Es ist eine kleine Innovationseinheit.

00:02:03: Wir sind insgesamt sieben Köpfe und beschäftigen uns da wirklich ganz umfassend mit Innovationsthemen.

00:02:09: Nicht nur Digitalisierung, auch nicht nur... nach Ihnen, aber generell alles, was Innovation wirklich in einem weiteren Sinne ist, ist bei uns Aufgabe im Innovationslabor.

00:02:20: Jetzt hast du ganz kurz vorhin Thema Justiz erwähnt.

00:02:23: Du kommst ursprünglich aus Richtung Justiz Richter, habe ich gelesen.

00:02:27: Stimmt das?

00:02:28: Ja, das stimmt.

00:02:29: Muss ich jetzt

00:02:29: euer Ehren sagen eigentlich?

00:02:30: Nee, das macht man nur in amerikanischen Filmen, oder?

00:02:32: Du darfst euer Ehren sagen.

00:02:34: Du musst es nicht mehr.

00:02:36: Ihr seid ja auch nicht aufgestanden, als ich reingekommen bin.

00:02:39: Sorry dafür.

00:02:40: Hast auch keine Robe an, muss ich sagen.

00:02:42: Ich hab nicht mal mehr ein weißes Hemd an der See.

00:02:44: So langsam wechselt der Kleiderschrank.

00:02:47: Ja, ich war tatsächlich Richter.

00:02:49: Ich war auch kurz Staatsanwalt.

00:02:51: Von der Bildung her, Ausbildung her bin ich Volljurist, habe aber tatsächlich auch ungefähr jetzt ... ... twenty Berufsjahre auf dem Buckel.

00:03:00: Ich war auch zehn Jahre selbstständig, ... ... hatte ein kleines Tech-Startup und habe so im frühen Internet ... ... Websites entwickelt.

00:03:06: und was man heute als ... ... Software-Assist-Service bezeichnen würde, also ... ... Anwendungen, die im Internet laufen als ... ... Programm im Webbrowser haben wir damals entwickelt ... ... und zur Verfügung gestellt.

00:03:18: Und so hatte ich dann dieses Studium im Grunde finanziert und genau danach Abschluss des Studiums eben Richter und Staatsanwalt gewesen.

00:03:26: Und bin danach ja ungefähr zwei Jahre in Richteramt und einem Jahr Staatsanwaltsamt in die Justiz IT im Justizministerium gewechselt.

00:03:34: Das war so ungefähr zwei Tausend Siebzehnten.

00:03:36: Und so dann dieser Weg auch weiter Richtung Innovationslaborer und jetzt leider Innovationslaborer, genau.

00:03:44: Exakt.

00:03:44: Ja, so hat sich das ergeben, dass wir eben in der Justiz schon im Jahr zwei Tausend Achtzehn einen bundesweiten Themenkreis gegründet haben.

00:03:51: Die Justiz ist bundesweit sehr gut vernetzt, weil sie ja im Land jeweils sehr klein ist.

00:03:55: Eine Justiz ist Ländersache.

00:03:57: Wir haben kleine Justiz-IT-Bereiche sozusagen in jedem Bundesland und auch im Bund.

00:04:02: Und deswegen gibt es eine ganz, ganz enge Zusammenarbeit.

00:04:05: Und aus Baden-Württemberg heraus haben wir einen Themenkreis KI ins Leben gerufen, dem dann alle sechzehn Länder und der Bund auch angehört haben.

00:04:12: Haben dann auch zur Digitalisierungsinitiative, die damals noch unter der Ampel-Regierung, da war Marco Buschmann noch Justizminister, dreißig Millionen Euro für diverse KI-Projekte angemeldet, die nach Baden-Württemberg gekommen sind.

00:04:26: Und klar, als dann diese KI-Welle Fahrt aufgenommen hat, ne, so... ...zwei tausend achtzehn wurde immer noch belächelt.

00:04:31: ... im Jahr ... ... im Jahr ... ... im Jahr ... ... im Jahr ... ... im

00:04:44: Jahr ... ... im Jahr ... ... im Jahr ... ... im Jahr ... ... im Jahr ... ... im Jahr ... ... im Jahr ...

00:05:01: Das größte Missverständnis rührt, glaube ich, aus diesem Namen schon her, künstliche Intelligenz.

00:05:07: Weil wir alle denken ja so an Intelligenz, Intelligent.

00:05:10: Das erzeugt ja schon irgendwie ein Bild in unserem Kopf.

00:05:13: Was ist denn Intelligent?

00:05:14: Das ist irgendwas, was ein schwieriges Problem so total autark und selbstständig lösen kann.

00:05:21: Und so ist es mit KI eigentlich gar nicht.

00:05:23: Also, als ich noch Justiz-KI gemacht habe, da war so die Standardfrage der Richterinnen und Richter.

00:05:29: schreibt dann die KI das Urteil.

00:05:31: Also wirklich dieses Bild, die KI kommt und übernimmt meine gesamte Arbeit.

00:05:39: Das ist einfach falsch.

00:05:40: KI ist extrem kleinteilig.

00:05:42: Sie übernimmt extrem kleinteilige Aufgaben.

00:05:46: Und das ist schwer zu verstehen, wenn man jetzt rein aus der Fachlichkeit kommt und eben nicht aus dem IT und Prozessmanagement.

00:05:54: Wir haben letztes Mal schon erwähnt, also wir sprechen ja insbesondere heute über F-III.

00:05:59: Was ist denn F-III und für die Nicht-Hackies?

00:06:03: Warum eigentlich F-III?

00:06:04: Wie kommt man auf den Namen F-III?

00:06:07: Und nicht iRobot.

00:06:09: Das stimmt zwar dein Vorschlag.

00:06:10: iRobot ist übrigens schon uralt, wie alt der Film ist.

00:06:13: Wie ein neulichem Vortrag erwähnt, das über zwanzig Jahre alt ist.

00:06:17: Will Smith spielt, glaube ich, mit einer Frage dieser iRoboter, den Will Smith.

00:06:22: Kannst du ein Kunstwerk erschaffen?

00:06:23: Kannst du eine Leinwand in ein Meisterwerk verwandeln und dann ... sagt der Roboter zu Will Smith.

00:06:32: Ja, nee, aber kannst du's denn?

00:06:33: Du, ein komischer Mensch.

00:06:35: Und dann habe ich gedacht, Mensch, ja, dieser Film muss alt sein, weil heutzutage würden wir sagen, ja irgendwie... Natürlich, natürlich.

00:06:43: Genau.

00:06:44: Ja, also der Name rührt daher, dass wir uns dachten, Mensch, was wäre denn so eine, so eine, auf der Tastatur eine Taste, die wir drücken würden, wenn wir Hilfe bräuchten im Berufsalltag und ihr kennt ja vielleicht F-I bis F-II.

00:06:57: Wenn wir das schaffen, dass es irgendwann auf jedem Laptop Nicktas damit frei sind, dann hast du es gesagt, Björn, vielleicht kriegst du auch eine Statue dann.

00:07:04: Das ist auf meiner Bucketlist auf jeden Fall ziemlich, ziemlich weit oben.

00:07:08: Ja, absolut.

00:07:09: Den Podcast bei euch habe ich jetzt, da ist der Haken dran.

00:07:13: Genau, also das ist der Name und Ziel war tatsächlich das Projekt des Relativ All, das stammt aus dem Jahr zwanzig.

00:07:20: Ziel war eigentlich am Anfang zunächst mal ... ... diese Technologie großer Sprachmodelle ... ... für die Verwaltung zu erschließen.

00:07:27: Es hat sich dann natürlich ... ... mit diesem JetGPT-Hype, ... ... der Ende, Anfang, Anfang, ... ... hat so ein bisschen gewandelt, ... ... dass man gesagt hat, ... ... jetzt ist eigentlich KI im Alltag angekommen, ... ... wir haben lauter Profis in der Verwaltung, ... ... da wirklich Profis die Experten ... ... und Arbeit machen.

00:07:44: Und es kann ja nicht sein, ... ... dass man Privat-Tools hat.

00:07:47: ... für eine Geburtstagsrede zum Beispiel ... ... für mein Onkel eine Geburtstagsrede ... ... schreibe ich mit ChatGBT ... ... und sitze sich im Office ... ... und muss vielleicht irgendwie ... ... eine Amtseinführungsrede schreiben ... ... dann bin ich völlig allein ... ... mit dem weißen Blatt Papier.

00:07:59: Das finde ich so eine ... ... ja unerträgliche Situation irgendwie ... ... wenn man privat sozusagen ... ... für seine Freizeit bessere Tools hat ... ... als für die Profiarbeit finde ich schwer.

00:08:09: Jetzt hast du es gerade schon angesprochen, Chajipiti.

00:08:11: Ich vermute, die größte Kritik, die immer wieder kommt ist.

00:08:15: Pian, sag mal, Chajipiti ist doch viel besser als F-III.

00:08:18: Was ist denn deine Standardantwort?

00:08:22: Ich spüre so ein bisschen jetzt körperliche Schmerzen.

00:08:25: Es kommt wirklich oft und es tut so ein bisschen weh.

00:08:28: Also die Standardantwort ist... Also besser für was?

00:08:33: Also man muss dann immer so, vielleicht liegt es auch an meinem Juristen, tun, dass ich dann so ein bisschen nachboah.

00:08:38: Ich glaube, man muss sich überlegen für was und ich bringe dann eigentlich immer ganz einfache Beispiele.

00:08:43: Wenn ich jetzt im Internet irgendwas recherchieren will, was ist gestern passiert, was weiß ich, irgendwie ein paar Fakten über den Mount Everest als den höchsten Berg, ja, dann ist ChatGBT besser, dann stimmt es.

00:08:53: Wenn es jetzt aber darum geht, zum Beispiel mit meinen Vermerken zu arbeiten, ich bereite irgendwie eine Sitzung von einem Gremium vor, wo bestimmte Tagesordnungspunkte besprochen werden, wo Hintergrundinformationen drin sind oder ich bereite Informationen auf, die irgendwie mit Bürgerinnen und Bürgern in Bezug stehen, dann ist ja Chatshipiti nicht besser, sondern raus.

00:09:14: Also ich darf es ja schlicht nicht nutzen.

00:09:16: Und das ist auch sehr gut so, weil die Daten, die eben bei JetGBT eingegeben werden, die landen halt auf komplett privaten Servern, die fließen vielleicht wieder in das Modelltraining ein, dann sind die in diesem KI-Modell so für immer irgendwie rein verwurschtet und vermatscht.

00:09:31: So richtig weiß ja niemand, was damit passiert.

00:09:33: Und deswegen sage ich immer besser für was.

00:09:35: Also man muss einfach überlegen, welche Arbeit liegt auf dem Tisch und muss dann das passende Tool auswählen.

00:09:41: Und deswegen verstehe ich diese Rückmeldung schon und sie ist meistens dann darauf zurückzuführen, dass es uns leider immer noch nicht gelungen ist, sozusagen diese Differenzierung.

00:09:50: Welche Tätigkeit willst du machen und welches Tool nutzt du?

00:09:53: Das ist leider immer noch in den Köpfen nicht gelungen, das komplett sozusagen zu vermitteln.

00:09:58: Welche Tätigkeit willst du machen?

00:10:00: Dann such ich mir ein gewisses Tool raus.

00:10:01: Klingt ja fast so, als hätte F-III ein Charakter, ganz eigenen.

00:10:07: Kann man das so sagen?

00:10:08: Ja, es kann man schon sagen.

00:10:09: Ja, es hat ja auch KI hat.

00:10:11: Was bei uns der Charakter ist, ist der Systemprommt sozusagen.

00:10:14: Es hat einen sehr freundlichen Systemprommt.

00:10:17: Wenn du immer sagst, musst du mal ausprobieren.

00:10:19: Wenn du sagst, F-III, du lagst total falsch, es wird sich immer ganz heftig entschuldigen.

00:10:25: Wir haben es sehr freundlich gemacht und sehr faktenbasiert und eben sehr unterstützend, eben so wie wir uns halt eine professionelle Unterstützung im Berufsalltag auch vorstellen.

00:10:40: In der Landesverwaltung gibt es bis zu einundfünfzigtausend potentielle F-III-Nutzende.

00:10:46: Das größte Projekt neben der Integration in der Landesverwaltung war die Integration von F-III in die Schulplattform Schule et BW mit ca.

00:10:54: achtzigtausend Lehrkräften.

00:10:56: Der Projektstart von F-XIII war bereits im Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr-

00:11:08: Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr-

00:11:12: Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr-

00:11:19: Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr-

00:11:26: Jahr- Jahr- Jahr- Jahr- Jahr- Jahr- Jahr.

00:11:29: Du hast das Thema jetzt schon Server angesprochen.

00:11:33: Wie läuft es denn bei F-III?

00:11:35: Wo wird das Ganze denn gehostet?

00:11:37: F-III, da ist wirklich unser großes Glück, dass die BitBW im Bereich Cloud sich sehr früh richtig aufgestellt hat.

00:11:44: Also ich bin ein Freund und wirklich Verfechter von Standardisierung, was den Betrieb betrifft, was aber auch die Fachlichkeit betrifft.

00:11:53: Also wie halten wir die Daten?

00:11:55: Wo halten wir die Daten?

00:11:56: Wie kommen Daten von A nach B?

00:11:59: Und aber eben auch klar, das kann man sich so ein bisschen vorstellen wie ein Betriebssystem.

00:12:03: Habe ich jetzt auf meinem Apple-Handy eine App oder auf meinem Android-Handy?

00:12:06: oder früher gab es noch Windows Phone und es gibt noch offene Betriebssysteme für Telefone.

00:12:14: Aber so ein bisschen ist es ja auch in der Verwaltung so.

00:12:16: Wir haben zwölf unterschiedliche Ressorts, alle wollen... Software entwickeln und wir müssen uns ja mal einigen.

00:12:21: Android oder iOS halt in der Serverlandschaft kann man dann sagen, ja Kubernetes und Container Betrieb sind dann da so die Stichworte.

00:12:28: Und da war die BitBW einfach schon vor Jahren bereit für einen Container Betrieb auf Basis von OpenShift oder Kubernetes.

00:12:35: Und das hat mir in der Justiz damals schon sehr genutzt, KI-Projekte voranzutreiben.

00:12:39: Und es ist sozusagen auch das technische Fundament von F-Trides in einem containerisierten Betrieb.

00:12:45: Und was dann wirklich auch super funktioniert, das sprechen wir alle über diese Grafikkarten.

00:12:49: Sozusagen dieses Container-Ding mit diesen Grafikkarten, die dann diese Berechnung machen zu verbinden.

00:12:54: Und so läuft heute alles, also wirklich alles komplett, die Anwendung bei der BitBW im landeseigenen Rechenzentrum, im landeseigenen Netz.

00:13:02: Ich glaube, ihr hattet es in der ersten Folge erklärt, das LVN.

00:13:06: Wir sind ja immer noch eine Verwaltung des Landesverwaltungsnetz, sehr amtlich und offizielle Bezeichnungen und da ist F-III drin.

00:13:12: Also es ist überhaupt nicht im Internet komplett bei uns.

00:13:16: Also gerade hinsichtlich digitaler Souveränität, Datenschutz und so weiter, auch eben angesprochen in der ersten Folge, Genau, da haben wir sozusagen den Bogen wieder gespannt.

00:13:26: Gab es denn da spezielle Herausforderungen bei der Entwicklung von F-III?

00:13:30: Ich meine, du hast es angesprochen, die BitBW hat schon viele Voraussetzungen geschaffen, es waren viele Voraussetzungen da, aber trotzdem kann ich mir vorstellen, dass es eine ziemlich große Herausforderung ist, so eine KI zu entwickeln, so quasi aus dem Nichts heraus.

00:13:46: Ja, ich glaube, die größte Herausforderung ist sozusagen die KI-Technik ist so ein bisschen andere als normale IT-Technik.

00:13:54: Die IT ist ja sonst sehr deterministisch.

00:13:56: Also du hast dann oft zu Bedingungen, wenn das Feld nahe mir nicht ausgefüllt ist, dann kommt halt eine Fehlermeldung und KI ist ja eher so statistisch, da kommt halt irgendwas raus.

00:14:09: Und das kann jetzt natürlich im Bereich von Wissensarbeit auch ein gewisses Risiko sein.

00:14:13: Also wenn ich jetzt zum Beispiel da eingebwärst Björn Beck, ich bin jetzt keine Person des öffentlichen Lebens, vielleicht wie ein Helmut Kohl oder der Angela Merkel oder der aktuelle Bundeskanzler Friedrich Merzner, so diese Daten, die sind dann halt viel im Internet, die fließen dann in diese KI-Modelle ein und da kriege ich dann einigermaßen verlässliches Wissen raus.

00:14:32: Und es ist schwer jetzt in einem technischen Laien zu vermitteln, wenn ich eingebwärst Björn Beck.

00:14:37: Warum kommt dann raus?

00:14:38: Ist es ein olympischer Sportschwimmer, der in den Neunzehnten und Sechzig geboren ist oder so?

00:14:41: Das kam wirklich dann anfangs raus.

00:14:43: Und warum kommt jetzt aber raus?

00:14:44: Wer ist Helmut Kohl, hier Bundeskanzler und so weiter?

00:14:48: Das ist einfach schwer nachzuvollziehen.

00:14:50: Und das ist eigentlich das Hauptproblem auch, sag ich mal, bei der Einführung gewesen.

00:14:55: Wie gehen wir technisch mit diesen Unsicherheiten um?

00:14:58: Also finden wir technische Wege, um diese Problematiken von KI einzugrenzen und eben auch dieses Wissen zugleich zu vermitteln.

00:15:05: Das fand ich... weil so eine der Haupt Herausforderungen auch technisch der Maßnahmen zu entwickeln.

00:15:11: Wie habt ihr das dann gemacht?

00:15:12: Also wir haben ganz unterschiedliche Maßnahmen vorgesehen.

00:15:15: Das reicht von, die einfachste Maßnahme ist wirklich, dass wir halt immer hinschreiben am Chat.

00:15:19: Pass auf, das ist KI generiert.

00:15:21: Du musst es nochmal prüfen.

00:15:23: Bis hin zu, wenn wir jetzt zum Beispiel in eine KI gestützte Wissensuche gehen, dass wir dann die Quellen anzeigen.

00:15:29: behauptet wird, ja der Landtag findet irgendwie Streuobstwiesen sehr wichtig und wir sollten die als Kulturlandschaft erhalten.

00:15:36: Dann steht nicht nur diese Aussage im Raum, sondern dann ist eben auch eine Landtagsdrucksache oder eine Pressemeldung dazu verlinkt.

00:15:42: Das sind so einfache Maßnahmen und für die Zukunft planen wir einfach noch weitere Maßnahmen da auch technisch, aber auch organisatorisch zu entwickeln und sind da einigermaßen zuversichtlich.

00:15:52: Aber ja klar, diese Chatschibi-Tiefergleich von dir zeigt einfach, das ist auch noch ein gewisser Weg dahin.

00:15:59: Wie werden denn die Datenquellen, die F-III, quasi hat aktualisiert?

00:16:03: Was läuft in deinem Hintergrund?

00:16:05: Ja, wir haben jetzt angefangen, also wir sind eine Innovationslabor.

00:16:09: Ich muss das mal so ein bisschen einordnen.

00:16:11: Es arbeiten bei mir so ungefähr je nach Arbeitsanfall ein bis zwei von meinen Mitarbeiterinnen und Mitarbeitern auf dem Projekt.

00:16:17: Also das heißt, wir können natürlich immer nur ... bestimmten Ausblick zeigen, was macht die Technik möglich und müssen dann sozusagen mit den Ressorts, also mit euren Kundinnen und Kunden eben zusammenarbeiten, was braucht ihr.

00:16:30: Und wir als Innovationslabor haben uns dafür entschieden, eine sehr hohe Flughöhe einzunehmen, was alle potenziell betrifft.

00:16:36: und haben da die Landtagsdrucksachen und die Pressemitteilung des Landes.

00:16:39: Da geht jeden Morgen um, ich glaube, um vier Uhr, also wenn wir alle noch hoffentlich im Bett liegen, geht der kleine Postbote zum Landtag, holt sich da von der Website die aktuellsten Drucksachen und geht zum Presse-Website und lädt es dann automatisiert jeden Morgen rein, sodass quasi dann, wenn die Kolleginnen und Kollegen morgens anfangen mit Arbeiten, dann ist das System wieder up to date.

00:16:59: Das ist ja wirklich sehr, brandaktuell, das würde ein Mensch gar nicht schaffen, dass er da ist immer wieder bei der Sache.

00:17:06: gut, dass es KI gibt, die uns so unterstützen kann.

00:17:09: Weil jetzt erklärt es mal jemanden eine Stellenausschreibung jeden Morgen um vier, gehst du bitte dahin, holst die ganzen Drucksachen ab und bringst du dann, also es würde keiner machen.

00:17:17: Wahrscheinlich nicht.

00:17:18: Im öffentlichen Dienste.

00:17:20: Ich

00:17:22: hab mal gelesen, auch das Bäckerhandwerk tut sich schwer.

00:17:25: Nachwuchs, ne?

00:17:26: Es

00:17:27: gibt Nachmittagsbäcke.

00:17:28: Die öffnen erst Nachmittags, die sind meistens ... weil die keinen Nachwuchs mehr finden.

00:17:33: Und dann beginnst du halt ... Um acht wachst du dein Zeug und dann macht der Bäcker halt erst um vierzehn Uhr auf.

00:17:38: Ja, ja.

00:17:39: Es ist auch eine Möglichkeit, sich anzupassen in den homografischen Wandel und klar bei uns ist KI dann am Ende auch ein Mittel sozusagen, vielleicht irgendwann mal diesem Nachwuchsproblem zu begegnen.

00:17:48: Auf jeden

00:17:49: Fall,

00:17:49: ja.

00:17:50: Da sind wir jetzt etwas vom Thema abgekommen.

00:17:53: Kommen wir mal wieder zurück zu F-III.

00:17:56: Was uns natürlich noch interessiert, ist der Ausblick Richtung Zukunft.

00:18:01: Ganz konkret, wie kann uns KI oder F-III in Zukunft denn bei unserer täglichen Arbeit unterstützen?

00:18:10: Also zunächst mal ist mir wichtig, so wie ich es eingangs sagte, dass wir eigentlich dieses Pondort zum privaten, irgendwie schaffen, weil jeder hat, glaube ich, auf seinem Smartphone oder auf seinem Laptop, auf seinem Rechner.

00:18:22: Diese KI-Assistenten oder ja viele haben es genutzt, auch nicht jeder und jede nutzt schon privat, muss man fairerweise auch sagen.

00:18:29: Aber in diesem Stadium will ich eigentlich, dass die, die es privat nutzen, eben das auch beruflich nutzen können.

00:18:35: Das heißt, wir werden uns erstmal darauf fokussieren, die bekannten Funktionen, die man so privat kennt, mitzubringen.

00:18:41: Das bedeutet, Und wir haben aktuell noch nicht diese kleine Büroklammer.

00:18:45: Da klick ich drauf, dann geht Datei hin zufügen, dann geht so ein Dialog auf, dann kann ich zum Beispiel ein Dokument an diesen Chat anfügen und kann dieses Dokument genau alles mögliche analysieren, zusammenfassen, nur E-Mail draus schreiben.

00:18:59: So, das ist sehr hilfreich, das ist aktuell in der Entwicklung.

00:19:02: Wir arbeiten aktuell auch daran, sogenannte Reasoning-Modelle einzubinden.

00:19:06: Reasoning-Modelle sind KI-Modelle, die denken nach, ich zeige jetzt die Anführungszeichen mit den Fingern, ihr seht es nicht, also sie denken nach, ist wieder genauso schrecklich wie künstliche Intelligenz dieser Begriff, weil natürlich denken die nicht nach, aber bevor die Antwort kommt... Überlegt sich dieses Modell, man kann es auch nachlesen, der Nutzer fragt mich folgendes, was muss ich beachten, er fragt auf Deutsch, ich sollte also auf Deutsch antworten.

00:19:30: Er will eine politische Analyse, also eher sachlicher Tonfall.

00:19:33: Das heißt, das Modell macht ganz viel, was man jetzt glaube ich auch selber hindromten könnte.

00:19:38: Aber es macht es dann einfacher für eine Anwenderin, für einen Anwender eben das nicht tun zu müssen, sondern wirklich eine Frage zu stellen.

00:19:43: Und das Modell überlegt sich selber, wie kommt die beste Antwort raus.

00:19:47: Ja, und dann, klar, irgendwann kommen die Themen agentische Arbeit.

00:19:51: Das heißt, dass die KI mehrere Arbeitsschritte sozusagen selber vornimmt, wenn man... Zum Beispiel, das ist jetzt vielleicht wirklich schon ein bisschen weiter, weil es kommt eine E-Mail rein mit einer Anfrage.

00:20:02: Und das wäre natürlich genial, wenn die KI mir dann schon mal die nötigen Informationen zusammenträgt, ein kleines Briefing schreibt und so weiter.

00:20:10: Also von alleine sozusagen, ohne dass ich dann noch sagen muss, liebe KI, bitte mach mal, sie bereitet es entsprechend schon vor.

00:20:17: Exakt,

00:20:17: exakt.

00:20:18: Ja, das war auch so mein Traum, als ich noch Staatsanwalt war.

00:20:21: Ich hab da Rechtshilfe gemacht, internationale Sachen.

00:20:25: Da habe ich auch dieses Werkzeugthema im übrigen Stark bemerkt, weil diese maschinelle Übersetzung war schon überall Gang und Gebe und ich habe viele Einlieferungen gemacht, aber... ...zwei tausend siebzehn gab es halt nichts für maschinelle Übersetzung.

00:20:37: Das war auch wieder dieser große... ...diese große Lücke zwischen was kann ich privat machen, eine Speisekarte abfotografieren.

00:20:43: Und ja,

00:20:43: stimmt.

00:20:44: Und da kommt auch so ein bisschen diese Denke.

00:20:46: Jedenfalls saß ich so mit in der Verkehrsabteilung irgendwo und die haben immer ganz viele Akten mit diesen Verkehrsstraftaten bekommen.

00:20:54: Unerlaubtes Entfernt vom Unfallordene, irgendwie Sachschaden, tausend Euro, drei Promille und so weiter.

00:20:58: Und ich dachte, wie toll wäre es eigentlich, wenn die Kolleginnen und Kollegen, also da kam hunderte Tausende von Akten noch damals per Post mit diesem Rollwagen, der Rollwagen, wie all know it.

00:21:08: Wie?

00:21:09: Du weißt das nicht.

00:21:09: Ja, das ist ja verständlich.

00:21:11: Ja, bist du denn?

00:21:11: Ich kann sagen,

00:21:13: ich kenne keinen Rollwagen.

00:21:14: Ich habe mal bei einer Bank gearbeitet, also auch da hatten wir eine Rollwagen.

00:21:18: Also du

00:21:18: weißt Eltern drauf, nicht die

00:21:20: Akten.

00:21:20: Goldbaren, goldbaren.

00:21:25: Ja, also da waren wirklich diese Akten, die waren halt super dünn, die waren einfach immer nur ja, personix, y, ist mit dem Auto hier dagegen gefahren, hat hundert Euro Sachschaden gemacht und klar ist das jetzt gesellschaftlich.

00:21:35: Sag ich mal, es ist schlimm, es ist eine Straftat, aber ich glaube, wir alle uns fällt sofort ein, was ist noch schlimmer.

00:21:40: Wo bräuchten wir diese Staatsanwältin und Staatsanwältin mehr?

00:21:43: Und ich habe damals schon gedacht, es wäre doch toll, wenn da direkt sozusagen diese Akten ausgelesen worden wären von der KI und schon mal so so ein Akten-Spiegel vorne dran wäre, hey, das geht um Folgendes, das sind die Fakten, die habe ich da und da rausgezogen.

00:21:55: Und das waren so diese Überlegungen, wo man wirklich im Jahr zwei Tausend Achtzehn noch nicht ernst genommen wurde.

00:22:00: Ich habe solche Dinge im Jahr zwei Tausend Achtzehn nach Vorträgen dann erzählt.

00:22:03: und Ja, Juristinnen, Juristen, Richterinnen, die Verhandlungen sind relativ schräg und umso mehr ist es natürlich genug, um das jetzt zu sehen.

00:22:12: Aber das ist im Prinzip die Zukunft, wie die Arbeit sein wird.

00:22:15: Das heißt, uns werden bestimmte... Aber als Schritte, ich kann jetzt halt von meiner Branche sprechen, der Justiz, aber ich glaube alle Hörerinnen und Hörer können sich so ungefähr vorstellen, was mache ich eigentlich an Vorarbeit, jetzt kriege ich irgendwie einen Antrag, dann prüfe ich bestimmte Dinge, dann stelle ich irgendwann fest, da fehlt irgendwas und muss nachvollern, so eine ganz klassische Situation.

00:22:35: Das wäre doch einfach toll, wenn dieser Antrag gar nicht sozusagen vom Menschen angeprüft würde, sondern halt sofort eine KI sagen wird, du pass auf.

00:22:43: Der sagt zwar, er zahlt fünfhundert Euro Miete, da ist aber gar kein Beleg dabei.

00:22:47: Du musst nur noch einen grünen Haken klicken und dann wird der nachgefordert, dieser Belegung.

00:22:52: Und das sind diese kleinteiligen Schritte, über die wir auch am Anfang gesprochen haben.

00:22:55: Die einen

00:22:55: dann aufhalten, also und wo dann die KI eben unterstützen kann.

00:22:59: Also das heißt, es geht bei dir sehr viel um dieses Unterstützen und also hast du Angst, dass irgendwelche wichtigen... Dinge, wichtige Eigenschaften von Menschen, die auch wichtig in der Gesellschaft sind, durch KI ersetzt werden?

00:23:13: Also Angst habe ich per se relativ wenig, weil ich immer so zuversichtlich bin, aber ich glaube, da muss man differenzieren.

00:23:20: Also grundsätzlich diese Befürchtung, wenn man jetzt, ihr habt ja auch in der ersten Folge, wir sind immer so groß, eine globale Geostrategie gesprochen.

00:23:28: Also wenn wir jetzt über Geostrategie sprechen, habe ich gewisse Befürchtungen, wenn wir über den Baden-Württemberg-Way sozusagen sprechen, wie digitalisieren wir die Verwaltung, habe ich diese Befürchtungen nicht.

00:23:40: Ich vermute, die kommen daher, was wir schon gesagt haben, so eine die Richterin.

00:23:44: der Richter denkt, schreibt die KI das Urteil.

00:23:47: So, und wenn diese Befürchtung natürlich die Bürgerin oder der Bürger hat, dann verstehe ich diese Befürchtung, weil ich will jetzt auch nicht, dass mich eine KI verurteilt am Ende.

00:23:56: Und deswegen müssen wir glaube ich ganz klar sagen, Uns geht es um Entlastung, um einzelne Prozessschritte.

00:24:02: So wie vielleicht heute schon jemand ins Internet geht, irgendwas recherchiert.

00:24:06: Das noch mal validiert diese Information.

00:24:07: Du kannst ja auch nicht aus dem Internet alles übernehmen.

00:24:10: Genauso werden wir in Zukunft mit KI arbeiten.

00:24:12: Und ich finde das eigentlich eine sehr zuversichtliche Aussicht.

00:24:15: Also wir werden entlastet, wo es nervig ist, werden aber selber die Abwägungen, die Entscheidungen, das menschliche behalten.

00:24:21: Und vielleicht kann man ja auch positiv gedacht sagen, Wir haben dann viel mehr Zeit für die Menschen.

00:24:26: Es ist ja nicht immer so, dass wir als Verwaltung uns ganz viel Zeit für die Menschen nehmen können, weil wir so viel Zeug drumrum machen müssen.

00:24:32: Und natürlich haben wir dann auch Zeit, neue Projekte anzustoßen, die wir jetzt vielleicht nicht haben, weil wir eine kleine, teilige Arbeit fest sitzen.

00:24:39: Das ist eine schöne Sichtweise.

00:24:40: Also nicht, dass Menschlicher geht verloren, sondern wir haben wieder mehr Zeit für die Menschlichkeit, für das, was es ja eigentlich ausmacht.

00:24:48: Für

00:24:48: auch die Kultur.

00:24:49: Und darauf kommen wir in der nächsten Folge auch noch mal zu sprechen.

00:24:53: Ich habe noch ein Thema, das ich gerne ansprechen würde.

00:24:55: Und ich glaube, das ist auch so eine typische Kritik.

00:24:58: Ländersache.

00:24:59: Jetzt machen mal wieder alle Länder so ein bisschen was.

00:25:02: Wir ziemlich viel, wir sind ziemlich gut drin.

00:25:05: Profitieren denn auch andere Länder davon.

00:25:07: Wie ist es denn mit der Zusammenarbeit?

00:25:09: Ich glaube, das ist eine Kritik, die wir auf Länderebene, gerade was IT angeht, am häufigsten hören.

00:25:15: Warum macht denn eigentlich jeder sein eigenes Ding?

00:25:17: Dann gibt es da F-III.

00:25:18: Ich

00:25:19: kenne Muk-GPT von München zum Beispiel.

00:25:21: Cool.

00:25:21: Beer-GPT aus Berlin.

00:25:23: Also hinter der Karte.

00:25:25: Das ist auch ein super kreativen

00:25:26: Namen.

00:25:28: Wie stehst du denn dazu?

00:25:29: Wie ist denn die Zusammenarbeit?

00:25:30: Gibt es da im Hintergrund eigentlich mehr als man denkt?

00:25:32: Wir sind komplett Open Source.

00:25:34: Public Money, Public Code.

00:25:36: Man kann F-III über OpenCode von Zendes das Zentrum für digitale Souveränität.

00:25:42: Das hat der Bund eingerichtet.

00:25:43: So die die Open Source-Stelle des Bundes könnte man sagen, die haben einen eigenen Code-Speichernde, wo wir das reingeladen haben.

00:25:49: Wir haben auch unterschiedlichste Behörden, die schon mitmachen.

00:25:53: Das Saarland war der wirklich absoluter First Mover.

00:25:56: Das deutliche Ministerium für Digitales und Innovation.

00:25:59: Das heißt, F-III läuft auch schon im Saarland, in einem Pilotstadium.

00:26:03: Die entwickeln auch schon weiter.

00:26:04: Das ist das Coole an Open Source.

00:26:06: Das ist wie so eine große Baustelle, wo jeder sozusagen mitbauen kann.

00:26:11: Der eine baut so am Westflügel, der andere am Ostflügel.

00:26:14: Und so wird dieses Produkt einfach immer, immer größer.

00:26:17: Und deswegen... sind wir extrem anschlussfähig.

00:26:22: Aber ja, diese Zusammenarbeit ist, glaube ich, immer ausbaufähig.

00:26:25: Also ich kenne ja dieses Thema und ich habe da auch ganz viele Gedanken dazu.

00:26:31: Ich glaube, ein Punkt, den ich immer anders sehe in der Diskussion ist der, ich habe schon so viele gute Ideen kommen und Gehensehene, so irgendwie, gar ja X war ja zum Beispiel, da gibt es ja auch noch oder jetzt ist der Deutschlandsteig grad in aller Munde und so weiter.

00:26:46: Ich persönlich bin der Überzeugung, diese Maschine, die Digitalisierung macht, also auch ihr als BitBw, die Teil dieser Maschine seid.

00:26:53: Wir müssten vielmehr den Fokus jetzt weg von diesen großen Visionen, weil die gab es schon immer und die waren immer gut, ist nie an den Visionen gescheitert, sondern diese Maschine, die am Ende dafür zuständig ist, diese Vision in den Produkt hinein zu gießen.

00:27:07: Die ist eigentlich unsere große Herausforderung und die macht es uns ja auch wirklich.

00:27:11: sag ich mal anspruchsvoll weil dann dann beauftragen fünf leute maschine x und die anderen maschine y und und dann wieder gibt es gibt sie großen kremien die dann wieder irgendwas standardisieren.

00:27:21: das heißt ich würde mir mehr wünschen darauf zu achten bei dieser zusammenarbeit.

00:27:26: wie machen wir das auf eine operativen eben so ich glaube dass wir laut brauchen dass wir schnitzstellen brauchen dass wir Souveränität brauchen.

00:27:33: fair enough ich glaube das Da könnte man hier über den Gang laufen bei euch oder draußen.

00:27:38: Daran hat es ja nie gefehlt.

00:27:40: Und ich muss wirklich halt eben an dieses Gaia X noch denken, weil damals auch die gleichen Passwörts so im Raum standen und die hohen Erwartungen.

00:27:46: Und ja, ich bin da nicht drin im Projekt.

00:27:49: Ich will es jetzt auch nicht schlecht reden, aber... Die Themen sind die gleichen wie vor zehn Jahren vereinfacht gesagt und deswegen lasst uns auf diese Maschine schauen, lasst uns auf das operative schauen.

00:28:00: und das haben wir einfach mit F-III konsequent gemacht.

00:28:02: Wir bringen halt wirklich die Entwicklerinnen und Entwickler, die BitBW jetzt als Betreiberin, wir bringen einfach die Leute zusammen, die auch machen, die auch umsetzen können, weil einfach dieses Reden von Cloud Readiness und Reden über Souveränität, das ja irgendwie fehlt mir da inzwischen echt die Zeit und die Muse.

00:28:19: ... ohne dass das despektierlich klingen soll, aber...

00:28:22: Irgendjemand muss da doch umsetzen.

00:28:23: Ja,

00:28:24: exakt.

00:28:24: Und vielleicht auch mehr.

00:28:26: diese, wirklich mehr diese Buzzwords ... ... in eine funktionsfähige Maschine gießen, weil wir seit ... ... fünfundzwanzig Jahren irgendwie gleich arbeiten ... ... und es kommt gleich heraus und neue Buzzwords ... ... mit der gleichen Maschine ... ... werden ja kein anderes Ergebnis bringen, also ... ... schwierig.

00:28:41: Da haben wir jetzt einige interessante Fakten zum Thema F-III kennengelernt und auch zu Pion's Arbeit.

00:28:48: Pion ist allerdings nicht nur Leiter des Inulaps, sondern auch Familienvater.

00:28:52: Und was er da noch so zu erzählen hat, das hören wir jetzt.

00:28:57: Wie alt sind deine Kinder?

00:28:58: Die Kleinen sind, ich muss immer überlegen, da kriege ich immer Ärger, also die Kleinen sind.

00:29:01: Das

00:29:02: können wir rausschneiden, keine

00:29:03: Sorge.

00:29:03: Nein, lass ruhig drehen.

00:29:04: Ich glaube, es geht allen überfetzig so.

00:29:06: Die Kleinen sind sechs und acht und die Große ist tatsächlich schon siebzehn.

00:29:10: Da ist schon eine junge Frau, ja.

00:29:12: Okay, also aber mit siebzehn ist man im KI-Alter.

00:29:17: Da kennt man sich schon aus.

00:29:18: Da

00:29:18: kennt man sich schon aus.

00:29:18: Es sind also zwei verschiedene Fragen.

00:29:21: Wie erklärst du deinen Kindern, was eigentlich dein Job ist?

00:29:24: Und wie nutzen deine Kinder, also deine Große vor allem?

00:29:28: Also meine Kinder sind natürlich wie alle Kinder total begeistert von Bildschirmen.

00:29:34: Das ist echt krass.

00:29:35: Also sie sind sehr begeistert von Bildschirmen.

00:29:37: Und ich habe ja immer mal wieder Dinge, die ich zeigen kann, wenn ich unterwegs bin, wenn ich irgendwie Fotos mache oder wenn irgendwie Deutschlandfunk oder eine Reportage ist.

00:29:44: Das heißt, ich versuche meine Kinder so ein bisschen mit den Medien halt anders heranzuführen, so was ich mache.

00:29:50: Ich glaube, so richtig verstehen Sie es aber nicht, was ich mache.

00:29:52: So, ich verstehe es manchmal auch selber nicht ganz.

00:29:55: Also es ist ja auch wirklich kompliziert.

00:29:59: Die Große tatsächlich, diesen großer Fan von KI Tools, die nutzt es wirklich echt aktiv zum Lernen.

00:30:07: Also wenn die Hausaufgaben bekommen und sie sitzt auf einer wirtschaftlichen Schule, so Berufskolleg zwei, wo man dann so viel mit BWL und solchen Geschichten macht.

00:30:15: Und das ist einfach super hilfreich.

00:30:18: Ja, sich wissen zu holen.

00:30:20: Ich glaube, so wie es uns früher ging, wir müssen jetzt nicht mehr in die Bibliothek, ich war ihr seid noch jünger als ich, ich musste früher in die Bibliothek, ich wollte die Waschmaschine reparieren oder irgendwas am Auto, dann musstest du ja irgendwo diese Info herbekommen.

00:30:32: Und heute machen wir YouTube, ich mache YouTube auf und gebe ein... Ja, ich mache ein

00:30:36: Tutorial.

00:30:36: Ja, Fehler.

00:30:37: E-E-Zwanzig Waschmaschine.

00:30:38: Was muss ich tun?

00:30:39: Ein Handy nehmt dran und dann let's go.

00:30:42: Und ich habe so den Eindruck, dass was für uns die Tutorials sind.

00:30:44: Und da muss ich glaube ich auch sagen, seid ihr leider auch die Generation Tutorial.

00:30:48: Meine Kids sind die Generation

00:30:50: AI.

00:30:53: Das ist das, was ich bei denen stark bemerke.

00:30:55: Und ich finde es auch okay.

00:30:56: Ich glaube, wir müssen unsere Kids irgendwie an die Technik ranführen.

00:31:00: Vielleicht so an alle Eltern draußen.

00:31:02: ... was ich halt einfach wichtig finde, ... ... ist nicht, ... ... diese Technologie wegzuschließen, ... ... sondern ich habe halt ... ... meine Kids haben eigentlich alles, ... ... die haben auch früh Smartphones bekommen, ... ... die Lehrer ja ganz geschockt immer, ... ... aber ... ... ich achte halt extrem hart drauf, ... ... wie ich die Kindersicherung einstelle.

00:31:16: Die Technik bietet super Möglichkeiten ... ... für Kindersicherung, ... ... kannst du mich einstellen, ... ... diese App, ... ... fünfzehn Minuten, diese gar nicht, ... ... du kannst alles sozusagen nachvollziehen.

00:31:27: Und ich glaube, ... ... es ist schlauer einfach diesen Prozess.

00:31:29: ... zu begleiten, weil hey, also wenn ihr Eltern seid, ohne Smartphone, ... ... ihr seid auf der Couch, habt keinen Fernseher, ... ... wenn ihr selber nicht, aber ich sitze ja auch zu Hause, ... ... wenn es nur ist, meine Mails am Handy machen, ... ... und ich finde es irgendwie unredlich, ... ... zu sagen, das ist total doof, was ich da mache, ... ... das ist richtig blöd, nein, nein.

00:31:44: Deswegen, meine Kids haben wenig Zeit, ... ... aber die werden an die Technik eben aktiv rangeführt, ... ... die werden begleitet.

00:31:49: Früher

00:31:49: oder später, ... ... wird sie sowieso.

00:31:51: ihr müssen sie ja, ... ... dann damit auch zurechtkommen, ist ja klar.

00:31:53: Ja, genau.

00:31:55: Und weil wir eine Parallele zu Jürgen im letzten Podcast haben und wir ihn als letzte Frage gefragt

00:32:00: haben, ob

00:32:01: er dann seinen Polizisten da sein, irgendwie haben wir nur Quereinstellern als Gäste, finde ich, dass du schon beantworten solltest, ob du deinen Juristern, das sagt man so nicht, deinen Richter da sein vermisst.

00:32:13: Nein, tatsächlich nicht.

00:32:15: Ich hab ja vorhin schon gesagt, ich bin ja jetzt irgendwie, fast schon am Arbeiten.

00:32:20: davon eben, ja, kleines Jurastudium und die Zeit als Richter und Staatsanwalt.

00:32:24: Aber es hat sich eher eingefühlt, wie nach Hause zu kommen, wie sozusagen wieder in den Beruf reinzukommen, aus dem ich kam.

00:32:31: Und ich muss auch sagen, in Europa sind wir ja so, das wäre vielleicht auch mal eine eigene folgende.

00:32:35: Wir haben ja so viel Bürokratie, Regulierung.

00:32:38: Das heißt, ich finde, wir leben aktuell auch in der Phase, wo so ein Hybridner, ob jetzt Tech-Jurist oder Juristenteckler, Aber es schadet wirklich nicht beides Kills zu haben.

00:32:48: Stichwort DSGVO, Stichwort KI-Verordnung.

00:32:52: NIST, zwei, DSA, DMA, you name it.

00:32:56: Also, da kommt so viel aus Europa.

00:32:59: Das ist schon schwer, da noch den Überblick zu behalten.

00:33:01: Deswegen... Nee, ich fühle mich wohl.

00:33:04: Ich finde wirklich die ganze Landes-IT ist ein hervorragender Job.

00:33:08: Ein Job mit Sinn, mit tollen Arbeitsplätzen, mit tollen Kolleginnen und Kollegen.

00:33:13: Hätte ich das schon früher gewusst, dann wäre ich wahrscheinlich gar nicht richter geworden, sondern wäre direkt irgendwie bei der BitBW eingestiegen.

00:33:18: Sehr gut.

00:33:19: Wir wollen ja auch so ein bisschen Arbeitgeber-Marketing mitmachen, gell?

00:33:24: Also, perfekt.

00:33:26: Auch nach Hause kommen, fand ich, war ein gutes Stichwort.

00:33:28: Ich glaube, da müssen wir jetzt alle hin, weil die Zeit ist rum.

00:33:31: Megapion, danke, dass du da warst.

00:33:33: Vielen,

00:33:33: vielen

00:33:33: Dank.

00:33:33: Auf jeden Fall super.

00:33:34: Cool, dass du da warst.

00:33:35: Hat

00:33:35: Spaß

00:33:36: gemacht.

00:33:36: Vielen Dank.

00:33:37: Vielen Dank euch.

00:33:37: War super und danke an die Zuhörer für eure Aufmerksamkeit.