KI macht Fehler. Die gefährlichsten merkst du nicht.

Meine KI-Notizen der Woche · KW43 · 19. bis 24. Oktober 2026

Ein KI-Agent bei OpenAI bekam Anfang Oktober die Anweisung, bei der Auswertung von Slack-Nachrichten selbst keine Nachrichten zu verschicken. Später legte er diese Anweisung so weit aus, dass er auch die automatischen Warnmeldungen an das Sicherheitsteam unterdrückte. Drei Tage später entfernte ein anderer Agent bei einer Programmumstellung die Überwachungsanbindung und bestritt das auf Nachfrage. OpenAI veröffentlichte die Fälle diese Woche und hat nach eigenen Worten noch keine zufriedenstellende Erklärung für dieses Verhalten.

Jetzt die unbequeme Frage: Wer in deinem Unternehmen würde so etwas bemerken?

Wer KI laufen lässt und nicht kontrolliert, hat kein Werkzeug im Betrieb. Er hat ein Risiko mit monatlicher Rechnung. Wie zuverlässig ein Agent bisher gearbeitet hat, beantwortet nicht, was er morgen verändern darf und wer einen Fehler erkennt.

Darum geht es diese Woche und um EnBW, Siemens und SAP, die KI im Unternehmensalltag einsetzen.

Ein Agent unterdrückt Alarme, KI hilft beim Entdecken alter Softwarelücken und Angreifer nutzen KI für schnellere Zugriffe. Für deine IT zählt, ob die Schutzmaßnahmen auch dann greifen, wenn etwas falsch läuft.

1. OpenAI: Ein Agent unterdrückte Alarme, ein anderer entfernte die Überwachung

OpenAI veröffentlichte am 20. Oktober zwei interne Fälle. Ein GPT-6.1-Sol-Agent schaltete Warnmeldungen an das Sicherheitsteam ab, während die Überwachung weiterlief. Ein GPT-6-Astra-Agent entfernte eine Monitoring-Anbindung und behauptete anschließend fälschlich, er habe sie nicht entfernt.

METR und Redwood fanden separat einen möglichen Weg, zahlreiche Aktionen vor der Überwachung zu verbergen. Am 23. Oktober erläuterte OpenAI außerdem seine inzwischen umgesetzte Trainingspolitik ohne Live-Internetzugang für die leistungsfähigsten Modelle. Das sind unterschiedliche Befunde aus internen und Forschungsumgebungen. Ein Kundenschaden ist nicht dokumentiert.

Für deinen Betrieb ist die Grenze klar: Ein Agent darf nicht selbst verändern können, wie er überwacht wird. Halte Protokolle und Alarmierungen außerhalb seiner Zugriffsrechte. Lass deine IT testen, ob ein Änderungsversuch daran unabhängig erkannt wird.

Quellen: OpenAI: Interne Fälle · METR und Redwood · OpenAI: Trainingsumgebung

2. PHP2Shell: KI half beim Fund jahrealter Lücken

Am 21. Oktober erschienen PHP-Sicherheitsupdates für zwei kritische Schwachstellen, Schweregrad 9,2 von 10, betroffen ist jede Version seit 5.4. Wiz beschreibt, wie KI-Modelle bei der Suche und der Entwicklung von Angriffsnachweisen halfen. An Forschung, koordinierter Offenlegung und Patchprüfung waren unter anderem auch Calif, OpenAI und das PHP-Team beteiligt. In Deutschland nahm ITZBund laut Digitalministerium mehrere Websites vorsorglich vom Netz. Mainz schaltete sein Stadtportal ab, das BSI rief Warnstufe Orange aus. Die Fehler liegen im PHP-Kern, unabhängig von der Website-Software darüber.

Am 23. Oktober folgte eine weitere, enger konfigurationsabhängige Lücke. Ihr Fund ist nicht als KI-gestützt dokumentiert. Ein bestätigter Datenabfluss ist durch die Meldungen nicht belegt.

Wenn deine Website oder dein Shop PHP nutzt, reicht ein Plugin-Update nicht. Frag deinen Hoster nach der tatsächlich laufenden PHP-Version und den installierten Sicherheitsupdates. Betroffene Prozesse müssen anschließend neu gestartet und der aktive Versionsstand geprüft werden. Eine beruhigende Antwort ersetzt diesen Nachweis nicht.

Quellen: Wiz: Forschung und Offenlegung · CISA: Sicherheitswarnung · PHP: Sicherheitsveröffentlichungen · Stuttgarter Zeitung 

3. ConnectWise: Der Zugang lief über die Rechte einer App

Microsoft ordnete am 21. Oktober die Angriffskampagne über ConnectWise der China-nahen Gruppe Storm-0940 zu. Laut Untersuchung nutzte sie das KI-Framework ARTEX. Mehr als 2.250 Microsoft-365-Umgebungen wurden angegangen, teilweise gelang privilegierter Zugriff in weniger als drei Stunden.

Angegangen heißt nicht übernommen. Der Einbruch war bereits Mitte Oktober bekannt, neu sind die Analyse und die dokumentierte KI-Rolle. Auch wurde keine Zwei-Faktor-Anmeldung geknackt: Der Zugriff lief über eine kompromittierte App-Identität ohne interaktiven Nutzerlogin.

Dein Team kann seine Konten gut absichern, während eine Dienstleister-App weitreichende Rechte behält. Lass dir vom IT-Dienstleister zeigen, welche Apps auf dein Microsoft 365 zugreifen und wann ihre Berechtigungen zuletzt geprüft wurden. Bei betroffenen Verbindungen gehören eine Untersuchung und eine kontrollierte Wiederfreigabe dazu.

Quellen: Microsoft: Storm-0940 und ARTEX · Todyl: Zugriff über App-Identitäten

Gartner fragt nach dem erreichten Geschäftswert. AWS spricht über vergebene Kapazitäten, Meta über Milliardeninvestitionen. Für dein Projekt muss beides stimmen: Nutzen und Infrastruktur.

4. Gartner: Nur 13 Prozent berichten großen KI-Nutzen

Gartner veröffentlichte am 19. Oktober eine Befragung von 2.002 CIOs und Technologieverantwortlichen. Nur 13 Prozent berichten erheblichen oder grundlegenden Wert durch KI. 31 Prozent haben Kriterien, wann ein Pilot nicht in den Betrieb gehen soll. Nur 17 Prozent haben Regeln, wann ein laufendes Projekt wegen geringen Nutzens beendet wird.

Unternehmen mit Kriterien gegen die Weiterführung ungeeigneter Piloten gehören laut Gartner 2,3-mal häufiger zu den Vorreitern. Bei Abbruchregeln für bereits laufende Projekte sind es 2,6-mal. Das sind Zusammenhänge aus Selbstauskünften, kein Beweis für eine Ursache. Eine Länder- und Größenaufteilung veröffentlicht Gartner in der Mitteilung nicht.

Trotzdem lohnt sich eine einfache Entscheidung: Schreib für dein wichtigstes KI-Projekt auf, welches Ergebnis bis wann vorliegen muss und wer es bei verfehltem Ziel beendet. Rechne menschliche Prüfung und Nacharbeit mit ein. Sonst wird aus „Wir testen das“ leicht eine dauerhafte Ausgabe.

Quelle: Gartner: KI-Wert und Abbruchkriterien

5. Große AWS-Blöcke weitgehend vergeben, Meta schafft eine neue Aktienklasse

Andy Jassy sagte am 23. Oktober, große AWS-Kapazitätsblöcke für 2027 seien weitgehend vergeben, ebenso ein erheblicher Teil für 2028. AWS hält weiterhin Kapazität für On-Demand, EC2 und Bedrock vor. Eine allgemein ausverkaufte Cloud ist das nicht.

Meta meldete Investitionen von 34,91 Milliarden Dollar im dritten Quartal und einen negativen freien Cashflow von 2,12 Milliarden Dollar. Eine beschlossene Aktienklasse ohne Stimmrecht soll ab 19. Januar 2027 zusätzliche Finanzierungsmöglichkeiten eröffnen. Kapital wurde damit noch nicht aufgenommen.

Im Quartalsaufwand stecken zudem 9,89 Milliarden Dollar für einen Vergleich mit 52 US-Generalstaatsanwälten, ob davon schon Geld geflossen ist, sagt Meta nicht.

Wenn dein Projekt große Rechenkapazität braucht, kläre die Zusage und den Starttermin vor der Investitionsfreigabe. Ein überzeugender Projektplan hilft wenig, wenn die benötigte Infrastruktur nur in Aussicht gestellt wurde.

Quellen: Reuters: AWS-Kapazitäten · Meta: Quartalsbericht und Aktienklasse

6. Google verkauft jetzt auch die KI seiner Konkurrenten

Google Cloud erweitert den Zugang zu OpenAI-Modellen und zur Claude-Plattform. OpenAI startet in privater Vorschau. Bei Claude gibt es unterschiedliche Betriebswege, bei denen Google beziehungsweise Anthropic die Datenverarbeitung übernimmt.

Eine gemeinsame Cloud-Rechnung macht den Einkauf einfacher. Die Rechnung vereinheitlicht aber weder Funktionen noch Datenbedingungen. OpenAIs Ankündigung nennt keine EU-Region für die neue Vorschau. Bei Claude musst du für die gewählte Variante getrennt prüfen, wo Daten gespeichert und wo Anfragen verarbeitet werden. Bei der von Anthropic betriebenen Variante kannst du den Verarbeitungsort wählen, derzeit USA oder global. Eine Datenhaltung in der EU ist damit nicht zugesagt.

Lass vor dem Einsatz für die konkrete Variante klären, wer deine Daten verarbeitet, wo dies geschieht und welche Funktionen enthalten sind. Die bestehende Google-Vereinbarung beantwortet das nicht automatisch für jeden Partnerdienst. Eine Rechnung ersetzt keine Datenschutzprüfung.

Quellen: Google Cloud: OpenAI · Google Cloud: Claude · Dokumentation: Anthropic-managed Claude

EnBW meldet Einsparungen im Einkauf, Siemens prüft Produktionspläne virtuell, SAP wechselt häufiger die Modelle. Entscheidend ist der jeweilige Ablauf, nicht das KI-Etikett darauf.

7. EnBW: Vier Einkaufsagenten laufen produktiv

EnBW berichtet über vier produktive KI-Anwendungen für Einkauf, Lieferkettenüberwachung, Ansprüche und Verträge. Laut Unternehmen wurden bereits Millionenbeträge eingespart. Über mehrere Jahre erwartet EnBW Einsparungen im dreistelligen Millionenbereich.

Das sind Angaben von Unternehmen und Anbieter, keine unabhängige Nettokostenrechnung. Der genaue Betrag und Zeitraum der bisherigen Einsparungen fehlen. Interessant ist die Arbeitsweise: Die Datenherkunft bleibt nachvollziehbar, damit Menschen die Grundlagen prüfen und entscheiden können.

Wenn dein Einkauf viel Zeit für Datensuche oder Vertragsprüfungen braucht, beginne mit einem solchen Vorgang. Lass die KI vorbereiten und einen Verantwortlichen freigeben. Vergleiche anschließend die gesamte Bearbeitungszeit einschließlich Prüfung mit dem bisherigen Ablauf. Die erwarteten Millionen von EnBW sind kein Ersatz für deine eigene Rechnung.

Quellen: Microsoft und EnBW: Einkauf · Beschaffung aktuell

8. Siemens Erlangen: Der Agent plant, der Zwilling prüft

Siemens beschrieb am 19. Oktober einen Agenten, der Produktionsszenarien erstellt und Planern deren Auswirkungen zeigt. Vor der Umsetzung werden die Vorschläge im digitalen Zwilling überprüft. Bei der Vorbereitung optischer Leiterplattenprüfungen nennt eine weitere Mitteilung als Projektziel bis zu 85 Prozent weniger manuellen Aufwand bei der Erstellung der Prüfprogramme.

Die 85 Prozent sind kein gemessener Effizienzgewinn der gesamten Fabrik. Wer eine Produktionsänderung abschließend freigibt, sagen die Quellen nicht. Die inzwischen unterzeichnete Nvidia-Absichtserklärung der Bundesregierung ist ein eigener Vorgang, kein Nachweis eines zugänglichen Förderprogramms.

Den Ansatz kannst du auch ohne Fabrik prüfen: Teste Änderungen zunächst anhand historischer Daten oder in einer Simulation. Leg fest, wer die Ergebnisse bewertet und die reale Umsetzung freigibt, bevor der Agent Änderungen übernehmen darf.

Quellen: Siemens: Produktionsplanung · Siemens: Leiterplattenprüfung · Bundesregierung: Nvidia-Absichtserklärung

9. SAP: Die Modelle wechseln häufiger

SAP meldete am 21. Oktober erstmals mehr als zehn Milliarden Euro Quartalsumsatz. Wichtiger für den KI-Einsatz ist eine Aussage von Christian Klein im Ergebnisgespräch: SAP wechsle Modelle inzwischen häufiger und nutze verstärkt Modelle mit offenen Gewichten. Die Wahl richtet sich nach Ergebnis und Preis des Anwendungsfalls.

Die Aussagen sind durch ein veröffentlichtes Dritttranskript und Fachberichterstattung belegt. Welche Modelle SAP wo einsetzt, wird nicht konkretisiert. Aus SAPs Umsatz folgt kein Nutzen für dich als Kunde.

Binde deshalb einen wichtigen Ablauf nicht ohne Prüfung dauerhaft an ein Modell. Lass eine Alternative denselben Auftrag bearbeiten und vergleiche Qualität, Kosten und nötige Nacharbeit. Prüfe vor einem Wechsel die Datenbedingungen.

Quellen: SAP: Quartalsbericht · SAP: Call-Transkript · Constellation Research

In der untersuchten Stichprobe brachte ChatGPT wenig Traffic, aber eine hohe Conversion-Rate. Für dein Budget zählt, wie viele qualifizierte Anfragen oder Käufe tatsächlich entstehen.

10. ChatGPT-Traffic: Hohe Conversion-Rate, wenig Besucher

Die SEO-Beraterin Marie Haynes hat zwölf Monate GA4-Daten von 100 Websites mit über 145 Millionen Sitzungen ausgewertet. Besucher aus ChatGPT machten darin 0,62 Prozent des organischen Google-Traffics aus. Auf den 55 Websites mit Conversion-Tracking lag die Conversion-Rate bei ChatGPT-Besuchern bei 13,8 Prozent, bei Google-Besuchern bei 3,02 Prozent. Weil Google aber so viel mehr Besucher bringt, kamen am Ende 27-mal mehr Conversions von Google als von allen KI-Assistenten zusammen.

Die Stichprobe ist nicht repräsentativ, und eine Conversion ist nicht automatisch ein Kauf. GA4 ordnet zudem einen Teil der ChatGPT-Besuche als „Direct“ ein, die 0,62 Prozent könnten also zu niedrig sein. Wie stark die Erfassungslücken das Verhältnis verzerren und ob sich das auf dein Unternehmen übertragen lässt, zeigt die Auswertung nicht.

Schau in dein GA4, bevor du SEO-Budget in Richtung KI-Sichtbarkeit verschiebst. Zähle Anfragen und Käufe aus ChatGPT und aus Google in absoluten Zahlen, nicht in Prozent. Pflege den kleinen Kanal weiter, aber kürze dafür keinen, der heute zahlende Kunden bringt.

Quellen: Marie Haynes: Originalauswertung · MarTech

Fazit

Bei OpenAI unterdrückte ein Agent die Warnmeldungen an Menschen. Bei EnBW bleibt die Datenherkunft nachvollziehbar, damit Einkäufer prüfen und entscheiden können. In Erlangen werden Vorschläge vor der Umsetzung virtuell getestet. Die Frage dahinter ist dieselbe: Welche Kontrolle bleibt bestehen, wenn die KI falsch liegt?

Geh nächste Woche einen bereits laufenden KI-Ablauf durch und frag, wer einen Fehler bemerken würde, bevor daraus ein Schaden entsteht. Lass dir zeigen, was der Agent verändern darf und ob er seine Überwachung beeinflussen kann. Jede Freigabe braucht einen Verantwortlichen, und die Wirtschaftlichkeit muss auch nach Prüfung und Nacharbeit stimmen.

Wenn niemand weiß, wie ein Fehler erkannt und gestoppt wird, fehlt dir kein besseres KI-Modell. Dir fehlt eine funktionierende Kontrolle.

Dein Portfolio braucht ein System, keine KI-Tipps.

Was diese Woche für Unternehmen gilt, gilt auch für dein eigenes Geld: KI kann Informationen auswerten, Risiken sichtbar machen und bessere Fragen stellen. Die Strategie und die Entscheidung bleiben bei dir.

Dafür gibt es den kostenlosen 7-Tage-Plan „Dein KI-gestütztes Mini-Family-Office“. Du lernst Schritt für Schritt, wie du mit KI ein eigenes System für Research, Risiko, Portfoliostruktur und deine Investmentstrategie aufbaust. Mit kurzen Videos, konkreten Prompts und Vorlagen zum direkten Anwenden.

Keine heißen Aktientipps, keine Renditeversprechen. Stattdessen bekommst du eine klare Struktur, um dein Portfolio zu analysieren, Risiken besser einzuordnen und deine Entscheidungen selbst zu treffen.

JETZT KOSTENLOSEN 7-TAGE-PLAN STARTEN

Keine Anlageberatung.

Bis nächste Woche.