Sicherheit durch Vertrauen in KI existiert nicht. Sicherheit entsteht durch die Architektur des Harness im IT.I.M Framework, also der Schicht, die die KI umgibt und ihr Handeln begrenzt. Sie ist in Regeln und technisch erzwungenen Grenzen verankert. Deshalb standen diese Grenzen fest, bevor das erste System angebunden war.
Zwei Grenzen
Die erste und wichtigste Grenze trennt die zwei Welten auf der Infrastruktur selbst. Auf den Servern, dem Netzwerk, der Virtualisierung und so weiter hat die KI ausschliesslich Lesezugriff und diesen auch nur auf Bereiche, die keine Secrets enthalten. Die Werkzeuge, welche die KI dafür benutzt, sind selbst entwickelte oder angepasste MCP-Server. Diese MCP-Server habe ich von vornherein ohne jede Schreibfunktion entwickelt. Somit ist das Schreiben auf die Zielsysteme nicht als Regel verboten, es ist technisch gar nicht vorgesehen und nicht möglich.
Der Grund ist eine nüchterne Abwägung: Auf der Infrastruktur ist der Schaden einer falschen Aktion sofort real und schwer rückholbar, der Zeitgewinn durch KI-Schreibzugriff dagegen klein. Es sind ohnehin schmale, selbst entwickelte Werkzeuge, die genau definierte spezifische Funktionen haben, und keine offene Kommandozeile mit Generalvollmacht. Geschrieben wird nur eine Ebene höher, in Tasks und Wissensdatenbank, und selbst dort gibt es keine einzige Aktion ohne meine Freigabe.
Die zweite Grenze betrifft die Daten. Passwörter, Schlüssel und Personendaten gehen grundsätzlich nicht in den Chat, dafür gibt es getrennte Systeme. Das stand fest, bevor die erste Anbindung lief, denn eine durchsuchbare Wissensbasis funktioniert gerade deshalb, weil nichts Geheimes darin liegt. Technisch greift hier schon die erste Grenze, weil die KI in den Systemen gar nicht erst an die Bereiche mit Secrets kommt. Der Rest ist Regel: Was aus anderen Quellen in den Chat gelangt, entscheide ich.
Die Kontrollschicht
Der Kern des Ganzen ist eine Kontrollschicht. Zwischen der KI und jedem Schreibvorgang sitzt eine Instanz, welche die KI selbst nicht verändern kann, weil ihre Regeln das verbieten. Sie kennt zwei Antworten. Lesende Abfragen innerhalb des Frameworks laufen frei durch. In YouTrack ist das ausdrücklich gewollt, damit die KI die Informationen zu den Systemen aus der Doku im Kontext ihrer Arbeit berücksichtigt. Alles andere hält an und wird mir vorgelegt: Schreibvorgänge mit dem exakten Inhalt dessen, was geschrieben würde, und ebenso lesende Abfragen auf die Server und ins Web.
Bei den Serverabfragen will ich wissen, warum sie laufen. Manchmal setzt die KI eine Abfrage falsch an, und dann dauert sie ewig und liefert zudem die falschen Ergebnisse. Bei den Webabfragen will ich wissen, was hereingeholt wird, damit z. B. nicht ungeprüfte Inhalte aus fremden Repos in meiner Arbeit landen, deren Herkunft und Lizenz ich nicht kenne.
Das gilt auch im autonomen Modus: Die KI kann eine Stunde am Stück recherchieren und vorbereiten, aber beim ersten Schreibvorgang muss sie anhalten und den Inhalt zeigen, bevor geschrieben wird.
Zwei Momente haben dieses Prinzip geschärft. Einmal musste die Kontrollschicht selbst angepasst werden, weil eine Grenze zu eng gesteckt war und ich von Rückfragen überhäuft wurde. Die KI durfte die Änderung nur als vollständigen Vorschlag zeigen, Zeile für Zeile, eingetragen habe ich sie von Hand. Sonst wäre die Kontrollschicht keine mehr.
Ein anderes Mal bot die KI an, eine Änderung an einem zentralen System doch gleich selbst auszuführen, ganz regelkonform, mit Freigabe-Frage. Danach habe ich die Regel eine Stufe härter gezogen: Für solche Aktionen darf sie die Ausführung nicht einmal anbieten. Sie liefert den fertigen Befehl, die Hand an der Tastatur bleibt meine. Denn schon das Angebot erzeugt Druck, und den will ich an dieser Grenze nicht haben.
Warum die Kontrollen nicht lockerer werden
Man könnte meinen, dass die Kontrollen mit wachsendem Vertrauen lockerer werden. Das ist nicht passiert, und es hat mit Vertrauen wenig zu tun. Eine KI wird mit der Zeit nicht vorsichtiger, sie behandelt jeden Weg zum Ziel gleich. Nachgeschärft wird an der Kontrollschicht deshalb immer wieder, abgebaut wird sie nie. Über die Monate sind die autonomen Strecken länger geworden, mehr Instanzen parallel, grössere Vorhaben am Stück. Die Freigaben gelten aber weiterhin für alles, was Wirkung hat, wie am ersten Tag.
Grenzen der Architektur
Diese Sicherheitsarchitektur hat auch ihre Grenzen. Drei Dinge kann sie nicht.
Sie kontrolliert Aktionen, nicht Inhalte: Eine KI kann weiterhin falsch liegen, überzeugend falsch, und dagegen hilft kein Tor, nur der prüfende Mensch.
Die Klassifizierung, was die KI überhaupt sieht, trifft ein Mensch. Die Architektur kann ihm diese Entscheidung nicht abnehmen, und genau hier ist der Mensch gefordert.
Und die Sicherheitsarchitektur endet am eigenen Zaun: Wie das Modell im Inneren arbeitet, kann ich nicht kontrollieren. Ich kann aber kontrollieren und steuern, wie es sich in meiner Umgebung, also innerhalb meiner Grenzen, verhält und handelt.
Ein Restrisiko von null gibt es nicht. Es gibt benanntes, begrenztes und dokumentiertes Restrisiko, und genau das ist der Unterschied zwischen Sicherheitsgefühl und Sicherheitsarbeit.
Der Grundsatz hinter allem ist einfach: Ich entscheide, die KI arbeitet innerhalb gesetzter Grenzen. Und genau das macht mich bei der grösseren Vision ruhig. Je mehr KI im Betrieb übernimmt, desto wichtiger werden diese Grenzen, und desto mehr ist es wert, sie von Anfang an mitzuentwickeln.