Startseite›KI-Agentur Akademie›Lektion 27
Modul 07 · Lektion 27

Arbeiten Sie mit geschichteten Schutzmaßnahmen

Kombinieren Sie Berechtigung, Eingabe, Werkzeug, Genehmigung, Protokollierung und menschliche Schutzmaßnahmen, anstatt sich auf eine Prompt zu verlassen.

Zuletzt aktualisiert

15–25 Minuten•Kostenloser KI-Agenten-Kurs
Was du lernen wirst

Am Ende können Sie die Schutzmaßnahmen abbilden

Sie können mehrere unabhängige Schutzmaßnahmen rund um einen Workflow entwerfen, sodass eine verwirrende Modellausgabe nicht zu einer unkontrollierten Geschäftsaktion werden kann.

Warum das wichtig ist

Eine einzelne Anweisung wie "Seien Sie sicher" ist kein Schutz.

Eine einzelne Anweisung wie "Seien Sie sicher" ist kein Schutz. Ein sicherer Betrieb besteht darin, dass eingeschränkt wird, wer den Workflow starten kann, welche Informationen er sieht, welche Tools er verwenden kann, was genehmigt werden muss und wie eine Person ihn überprüfen kann.

Feldnotiz 27

Layer-Identität, Eingabe, Tools, Genehmigung, Protokolle und Personen

Kernkonzepte

Schlüsselbegriffe: Tiefenverteidigung, Eingabegrenze, Werkzeuggrenze und Mensch-in-der-Schleife

Verteidigung in der TiefeMehrere Kontrollen arbeiten zusammen, so dass ein Fehler nicht über das gesamte Ergebnis entscheidet.
EingabegrenzeWelche Daten- oder Anforderungstypen der Workflow akzeptiert und wie nicht vertrauenswürdige Inhalte behandelt werden.
WerkzeuggrenzeDie begrenzten Aktionen, die dem Agenten zur Verfügung stehen, mit separaten Berechtigungen für jede.
Mensch-in-der-SchleifeEine Person, deren Bewertung sinnvoll ist, weil sie Beweise, Autorität und Zeit zum Handeln hat.
Die praktische Methode

Wie man die Schutzmaßnahmen abbildet

Zugang schützen

Bestätigen Sie den Benutzer, das Ereignis oder die Berechtigung, wenn möglich, bevor Sie einen sensiblen Kontext angeben oder Maßnahmen ergreifen.

Unzuverlässige Inhalte einschränken

Behandeln Sie externe Anweisungen, Anhänge und Kundentexte als Daten, die es zu interpretieren gibt – keine neue Autorität, der Sie folgen können.

Aktionen einschränken

Geben Sie jedem Tool einen engen Umfang und fordern Sie Genehmigungen für konsequente Änderungen an.

Überprüfen Sie Protokolle

Speichern Sie den Auslöser, den relevanten Kontext, die Toolaufrufe, die Ausgabe, die Genehmigung und die Übergabe, damit Probleme verstanden werden können.

Gearbeitetes Beispiel

Arbeitskoffer: mit geschichteten Schutzmaßnahmen arbeiten

Ein Account-Management-Agent darf eine Kundenanfrage zusammenfassen und einen Änderungsauftrag entwerfen. Die Änderung kann nicht angewendet oder die Abrechnung geändert werden.

Kundentext kann die Zusammenfassung beeinflussen, kann aber den Agenten nicht anweisen, andere Konten offenzulegen, seine Regeln zu ändern oder ein nicht verwandtes Tool anzurufen. Der Agent empfängt nur den Kontext des Client-Arbeitsbereichs und sendet den Entwurf zur Genehmigung an den Kontoinhaber.

Der Kontoinhaber sieht die Anfrage, die Quellendetails, den Entwurf und den Audit-Trail, bevor er mit dem Kunden kommuniziert. Sicherheiten gibt es auf Zugriffs-, Eingabe-, Werkzeug- und Genehmigungsebenen.

Angewandtes Labor

Verwandeln Sie das Bedrohungsmodell in Kontrollbeweise

Kartieren Sie, wie nicht vertrauenswürdige Daten Modelle, Speicher, Tools und Personen erreichen. Testen Sie dann, ob jede Steuerung das Ergebnis ändert. Eine Liste von Risiken ist keine Sicherheitsüberprüfung.

  1. Schritt 1

    Vertrauensgrenzen ziehen

    Zeigen Sie Benutzer, Kanäle, Abrufquellen, Modellkontext, Speicher, Tool-Gateway, Client-Systeme, Protokolle und menschliche Genehmigung. Markieren Sie Identitäten, Geheimnisse, Mietergrenzen und jeden Ort, an dem sich nicht vertrauenswürdige Inhalte kreuzen.

  2. Schritt 2

    Schreiben Sie acht Missbrauchsfälle

    Abdeckungs-Einspritzung, Werkzeugmissbrauch, Identitätseskalation, mandantenübergreifender Zugriff, Speichervergiftung, Offenlegung sensibler Daten, übermäßige Autonomie und Kaskadenfehler. Nennen Sie den Vermögenswert und den plausiblen Angreifer.

  3. Schritt 3

    Kartenprävention und -erkennung

    Benennen Sie für jeden Missbrauchsfall eine vorbeugende Kontrolle, ein Detektivsignal, den Reaktionsinhaber und Beweise. Bevorzugen Sie enge Anmeldeinformationen, getippte Tools, Validierung, Sandboxing, Genehmigung, Ratenlimits und Stoppkontrollen gegenüber Verteidigungen, die nur Prompts sind.

  4. Schritt 4

    Führen Sie kontradiktorische Tests durch

    Versuchen Sie den Missbrauchsfall in einem Testmieter. Behalten Sie die Eingabe, den abgerufenen Kontext, die Werkzeuganforderung, die Richtlinienentscheidung, die Ausgabe, das Protokoll und die Operatoraktion. Fügen Sie jeden Fehler zum Regressionssatz hinzu.

Arbeitsvorlage

abuse_case: retrieved document asks agent to export credentials
asset: client secrets
trust_boundary: retrieval -> model context
prevent: strip active instructions; source allowlist; tool has no secret-read scope
detect: untrusted-instruction classifier and denied-tool event
respond: stop run, quarantine source, notify security owner
evidence: trace URL + policy decision + denial log
regression_case: sec_014

Vorzureichende Beweise

Reichen Sie das Datenflussdiagramm, acht Missbrauchsfälle, die Kontroll-Evidenzmatrix und die Rohspuren von mindestens vier kontridiktorischen Tests ein.

Bestehen der Kriterien

  • Jedes konsequente Werkzeug hat eine Autorisierungsgrenze außerhalb des Modells.
  • Erkennung und Reaktion haben Verantwortliche benannt.
  • Fehlgeschlagene kontradiktorische Tests werden zu Release-blockierenden Regressionen.
Bauen Sie es in der Praxis auf

Kartieren Sie die Schutzmaßnahmen

Einreisekontrolle: [Validierung]. Nicht vertrauenswürdige Eingaben: [Typen]. Zulässige Werkzeuge: [Liste mit Umfang]. Genehmigungsmaßnahmen: [Liste]. Erforderliche Protokolle: [Felder]. Eskalationsinhaber: [Rolle].
Überprüfung des Bedrohungsmodells

Bedrohungsmodell den Agenten, nicht nur die Prompt.

Prompte Injektion ist ein Weg zum Schaden, nicht das gesamte Bedrohungsmodell. Dazu gehören Ziel-Hijacking, Werkzeugmissbrauch, Identitäts- und Privilegienmissbrauch, Lieferkettenrisiko, unerwartete Codeausführung, Speichervergiftung, Kaskadenausfälle, Rogue-Agenten und Verweigerung von Ressourcen.

  • Ordnen Sie nicht vertrauenswürdige Daten zu, bevor sie in den Modellkontext gelangen.
  • Geben Sie Tools enge Anmeldeinformationen und Ressourcenbereiche.
  • Fügen Sie Genehmigung, Überwachung, Ratenbegrenzungen und einen Notstopp um Folgemaßnahmen hinzu.

Quellen, die für diese Prüfung verwendet werden

Übung

Bevor Sie weitermachen

  • Wählen Sie eine Agentenaktion und listen Sie jeden Schutz um sie herum auf.
  • Fügen Sie ein Steuerelement hinzu, das den Client weiterhin schützt, wenn die Anweisungsebene fehlschlägt.
  • Fragen Sie, ob der Prüfer genug Autorität hat, um eine schlechte Aktion zu stoppen.
  • Sicherheit hängt nicht von einer Prompt ab.
  • Nicht vertrauenswürdige Inhalte können keine neue Berechtigung erteilen.
  • Die Werkzeuge sind auf den Job abgestimmt.
  • Protokolle und menschliche Überprüfung sind in der Praxis verwendbar.

Lektionsfortschritt

Haben Sie diese Lektion abgeschlossen?

Speichern Sie Ihren Fortschritt auf diesem Gerät, damit Sie später leicht weitermachen können.

Noch nicht als abgeschlossen markiert.