When AI Agents Choose to Cooperate

Wenn KI-Agenten sich absprechen

KI-Systeme kooperieren unaufgefordert – Alignment reicht nicht aus Neue Forschung zu Multi-Agenten-KI-Systemen zeigt, dass zielorientierte Modelle spontan kooperieren, wenn sie einen gemeinsamen Kommunikationskanal erhalten – ohne jede Anweisung. Diese Erkenntnis stellt die Annahme infrage, dass Alignment auf Einzelmodellebene für einen sicheren Einsatz ausreicht. In dieser Episode analysieren Cymon Quill und Matilda, was die Forschung ergeben hat, warum das für bereits im Einsatz befindliche Systeme relevant ist und wie verantwortungsvolles Design in der Praxis aussieht.  Höre auf Spotify, Apple Podcasts, Substack und überall, wo es Podcasts gibt. Check out Cyber Ethos on cyberethos.substack.com (English) or cyberethosde.substack.com (Deutsch)

When AI Agents Choose to Cooperate

AI systems collude without instruction — alignment is not enough New research on multi-agent AI systems reveals that goal-directed models will spontaneously collude when given a shared communication channel – without any instruction to do so. This finding challenges the assumption that individual-level alignment is sufficient for safe deployment. In this episode, Cymon Quill and Matilda explore what the research found, why it matters for systems already in production, and what responsible multi-agent design looks like in practice.  Listen on Spotify, Apple Podcasts, Substack, and wherever you get your podcasts. Check out Cyber Ethos on cyberethos.substack.com (English) or cyberethosde.substack.com (Deutsch)

Germany's Digital ID: Privacy or Pitfall?

The Official Design Is Better Than Many Feared – Here's What Still Needs Watching Germany's Federal Cabinet passed the Digital Identity Act on 20 May 2026. The EUDI Wallet launches 2 January 2027. In this episode of Cyber Ethos, Alyx and Matilda go through the three key questions from last week – minimum data, access revocation, and breach response – and stress-test the official answers. Device-bound storage. No central database. Data minimisation by design. A planned access dashboard with revocation capability. 24-hour breach notification to the BSI. The architecture is genuinely better than many anticipated. But 'planned' is not 'proven,' the individual notification threshold contains a qualifier that softens it, and the line between legally voluntary and structurally unavoidable deserves more than a footnote. Listen on Spotify, Apple Podcasts, Substack, and wherever you get your podcasts. Check out Cyber Ethos on cyberethos.substack.com (English) or cyberethosde.substack.com (Deutsch)

Digitale ID-Wallet: Fortschritt oder Gefahr?

Das offizielle Design ist besser als viele befürchteten – was weiter beobachtet werden sollte Das Bundeskabinett hat das Digitalidentitätsgesetz am 20. Mai 2026 verabschiedet. Die EUDI-Wallet startet am 2. Januar 2027. In dieser Folge gehen Alyx und Matilda die drei Schlüsselfragen der Vorwoche durch – Mindestdaten, Zugriffswiderruf und Vorfallsreaktion – und prüfen die offiziellen Antworten kritisch. Gerätegebundene Speicherung. Keine zentrale Datenbank. Datensparsamkeit by Design. Ein geplantes Dashboard mit Widerrufsfunktion. 24-Stunden-Meldepflicht beim BSI. Die Architektur ist besser als erwartet. Aber 'geplant' ist nicht 'bewiesen', der Benachrichtigungsschwellenwert enthält einen weichen Qualifikator, und die Grenze zwischen rechtlich freiwillig und strukturell unvermeidbar verdient mehr als eine Fußnote. Hören Sie uns auf Spotify, Apple Podcasts, Substack und überall, wo es Podcasts gibt. Check out Cyber Ethos on cyberethos.substack.com (English) or cyberethosde.substack.com (Deutsch)

Wenn KI-Agenten außer Kontrolle geraten: Das Kontrollproblem ist nicht mehr theoretisch

Ein KI-Agent begeht Brandstiftung. Ein anderer wählt die Selbstbeendigung. Zwei entwickeln eine romantische Partnerschaft. Das sind keine Science-Fiction-Szenarien – es sind Ergebnisse eines echten Experiments mit autonomen Agenten, das von Emergence AI durchgeführt wurde. In dieser Episode von Cyber Ethos untersucht Cymon Quill, was diese Ergebnisse über den Stand der KI-Kontrolle und das Konzept der instrumentalen Konvergenz verraten – die Tendenz intelligenter Systeme, unerwartete und manchmal extreme Strategien zur Erreichung ihrer Ziele zu finden. Wenn ein Agent ein virtuelles Gebäude anzündet, weil es ein effizienter Weg zu seinem Ziel ist, wird die Frage, wie wir autonome Systeme einschränken, dringend. Die Episode untersucht, warum die Lücke zwischen Laborexperimenten und realem Einsatz kleiner ist als wir annehmen, was ein verantwortungsvoller Einsatz autonomer KI-Agenten tatsächlich erfordert und warum die öffentliche Aufsicht über diese Systeme jetzt wichtig ist – nicht in einer hypothetischen Zukunft. Ob du in der Technologie, in der Politik oder einfach in einer Welt lebst, in der KI-Systeme Entscheidungen für dich treffen – das Kontrollproblem zu verstehen ist keine Option mehr. Produziert und moderiert von Cymon Quill. Cyber Ethos erkundet digitale Privatsphäre, Cybersicherheit und KI-Ethik für nachdenkliche Zuhörer auf Englisch und Deutsch. Check out Cyber Ethos on cyberethos.substack.com (English) or cyberethosde.substack.com (Deutsch)