Stand:
Arbeitsabläufe kontrollierbar halten
KI-Automatisierungen sicher planen: Zugriffe, Freigaben und Kontrolle
Sobald ein KI-System nicht nur antwortet, sondern Dateien liest, Nachrichten versendet oder Inhalte veröffentlicht, steigen Wirkung und Schadenspotenzial. Sicherheit beginnt bei begrenzten Rechten und einem klaren Rückfallweg.
- Fachlich geprüft: 19. August 2026
- Prüfrhythmus: vierteljährlich und bei Sicherheitswarnungen
Unterstützung, Vorbereitung und eigenständige Aktion unterscheiden
| Stufe | Beispiel | Kontrolle |
|---|---|---|
| Unterstützung | Das System schlägt eine Gliederung vor. | Inhaltliche Prüfung vor weiterer Nutzung. |
| Vorbereitung | Das System erstellt einen E-Mail-Entwurf aus freigegebenen Angaben. | Mensch prüft Empfänger, Daten und Inhalt vor dem Versand. |
| Begrenzte Aktion | Ein freigegebener Datensatz wird nach festen Regeln in ein internes System übertragen. | Enges Rechteprofil, Protokoll, Mengenbegrenzung und Rückfallweg. |
| Externe Wirkung | Das System veröffentlicht, versendet, bestellt, zahlt oder löscht selbst. | Besonders strenge Prüfung; regelmäßig echte menschliche Freigabe vor der Wirkung. |
„Human in the loop“ ist nur dann eine wirksame Kontrolle, wenn die Person die nötigen Informationen, Zeit und Befugnis hat, die Aktion zu verändern oder abzulehnen.
Welche Fehlerwege du vorab durchspielen solltest
- Das Modell versteht den Auftrag falsch oder erfindet eine notwendige Angabe.
- Eine fremde Webseite, E-Mail oder Datei enthält manipulierende Anweisungen.
- Das System erhält mehr Dateien, Kontakte oder Rechte als für die Aufgabe nötig.
- Eine Wiederholungsschleife sendet oder veröffentlicht denselben Vorgang mehrfach.
- Ein Anbieter, Modell oder Datenformat ändert sich unbemerkt.
- Protokolle speichern vertrauliche Inhalte oder Zugangsschlüssel.
- Ein Fehler lässt sich nicht zurücknehmen oder einer verantwortlichen Person zuordnen.
Die Bewertung betrachtet Wahrscheinlichkeit und mögliche Folge. Eine seltene Fehlfunktion kann trotzdem unvertretbar sein, wenn sie Zahlungen auslöst, personenbezogene Daten veröffentlicht oder unwiderruflich Dateien löscht.
Prompt-Injection: Fremder Inhalt kann zum versteckten Befehl werden
Das BSI warnt vor indirekten Prompt-Injections bei anwendungsintegrierten Sprachmodellen. Ein Angreifer kann Anweisungen in Webseiten oder Dokumenten platzieren, die ein verbundenes System später verarbeitet. Das Modell kann diese Inhalte mit dem eigentlichen Auftrag verwechseln.
Technische und organisatorische Schutzschichten
Minimale Rechte
Getrennte Konten und Schlüssel verwenden. Nur die benötigten Daten, Ordner, Aktionen und Laufzeiten freigeben.
Freigabepunkte
Vor Veröffentlichung, Versand, Zahlung, Vertragswirkung und Löschung eine klare Bestätigung mit Vorschau verlangen.
Begrenzungen
Anzahl, Betrag, Empfänger, Dateityp und Ausführungsdauer einschränken. Unerwartete Abweichungen stoppen.
Protokolle
Aktion, Zeitpunkt, Auslöser, Freigabe und Ergebnis nachvollziehbar erfassen, ohne unnötig sensible Inhalte zu speichern.
Rückfallweg
Abbruch, Wiederherstellung, Versionierung und eine manuelle Ersatzroutine vor dem Start testen.
Monitoring
Fehlerquote, ungewöhnliche Aktionen und Änderungen des Systems regelmäßig prüfen und Zuständigkeiten festlegen.
Datenschutz und Geheimnisse im Ablauf
Automatisierung ändert nichts an den Datenschutzgrundsätzen. Zweck, Rechtsgrundlage, Datenminimierung, Empfänger, Speicherfristen, Sicherheit und Betroffenenrechte müssen über den gesamten Datenfluss betrachtet werden. Werden externe Dienste verbunden, sind deren Rollen und mögliche Auftragsverarbeitung zu klären.
Zugangsschlüssel gehören in eine geeignete Geheimnisverwaltung und nicht in den Prompt oder Klartext eines Protokolls. Testsysteme arbeiten mit sicheren Beispieldaten. Erst nach erfolgreicher Prüfung werden eng begrenzte Produktivdaten freigegeben.
Freigabe vor dem Produktivstart
- Zweck und Grenze dokumentieren. Lege fest, was der Ablauf tun darf und ausdrücklich nicht tun darf.
- Datenfluss zeichnen. Erfasse Quelle, Verarbeitung, Empfänger, Speicher und Löschung.
- Rechte minimieren. Entferne jeden Zugriff, der nicht zwingend erforderlich ist.
- Normale und fehlerhafte Fälle testen. Prüfe leere, widersprüchliche, manipulierte und ungewöhnlich große Eingaben.
- Freigaben testen. Die verantwortliche Person muss Inhalt und Wirkung erkennen und wirklich ablehnen können.
- Stopp und Wiederherstellung erproben. Ein dokumentierter Notfallweg muss praktisch funktionieren.
- Monitoring starten. Definiere Warnwerte, Prüfintervall und Ansprechpartner.
- Änderungen neu bewerten. Modell-, Anbieter-, Plugin-, Daten- oder Rechteänderungen lösen einen erneuten Test aus.
Grenzen dieser Anleitung
Die beschriebenen Schutzschichten sind kein universelles Sicherheitskonzept. Technik, Risiko und Rechtsanforderungen hängen vom konkreten System ab. Automatisierungen mit Personal-, Kredit-, Gesundheits-, Sicherheits- oder vergleichbar erheblichen Entscheidungen benötigen eine gesonderte fachliche Prüfung.
