Microsoft 365 Copilot: nová ochranná vrstva pro práci s nedůvěryhodným obsahem

S tím, jak organizace zapojují generativní AI do každodenní práce, čelí nové skupině bezpečnostních problémů, které tradiční modely řízení přístupu, identity ani ochrany dat plně nepokrývají. Jedním z nejvýznamnějších je nepřímý prompt injection: škodlivé instrukce vložené do jinak legitimního obsahu, například e-mailů, dokumentů nebo zpráv, které může systém AI zpracovávat při plnění úkolu.

Pokud se takový obsah dostane do modelu společně s důvěryhodnými prompty, systém může vložené instrukce považovat za příkazy místo za data. To může ovlivnit chování modelu a přispět například k nechtěnému zpřístupnění dat, nepřesným odpovědím nebo jiným škodám.

Tyto útoky mohou proběhnout zcela v mezích existujících oprávnění. Systém má k obsahu oprávněný přístup a tradiční ochranné mechanismy, jako je ověřování, správa přístupu nebo ochrana před únikem dat, mohou fungovat podle návrhu. Riziko vznikající při samotném zpracování modelem přesto zůstává neřešené.

Chybějící strukturální oddělení v systémech AI

Tradiční výpočetní systémy používají více vrstev strukturálních kontrol, například hardwarovou izolaci, privilegované instrukční sady a modely řízení přístupu. Tím omezují vystavení konkrétním typům útoků.

V mnoha architekturách generativní AI jsou instrukce i data reprezentovány jako tokeny v jediném vstupním proudu. Neuronové sítě na rozdíl od tradičních výpočetních systémů samy o sobě neposkytují srovnatelné strukturální oddělení instrukcí od dat. Tento architektonický rozdíl zásadně mění bezpečnostní model: škodlivé instrukce vložené do nedůvěryhodných podkladů se zpracovávají společně s původními instrukcemi.

Závažnost problému potvrzují i oborová doporučení. Přehled OWASP Top 10 for LLM Applications 2026 řadí prompt injection na první místo mezi bezpečnostními riziky na aplikační úrovni u aplikací využívajících velké jazykové modely. Existující opatření, například filtrování pomocí klasifikátorů, čištění vstupů nebo bezpečnostně posílené systémové prompty, mohou riziko nepřímého prompt injection omezit. Mnohé související zranitelnosti je však obtížné řešit dílčími opravami a při změně podoby útoku se mohou znovu projevit.

Tyto techniky riziko snižují, ale žádné jednotlivé opatření nezabrání všem pokusům o nepřímý prompt injection. Microsoft proto v rámci své strategie vícevrstvé obrany doplňuje stávající opatření o deterministickou vrstvu vynucování pravidel při inferenci, tedy při zpracování vstupu a generování odpovědi modelem.

Nový směr: deterministické kontroly podle důvěryhodnosti obsahu

Nedávný výzkum se zabýval architektonickými přístupy, které na obsah uplatňují předem definovaná omezení podle jeho původu. Nespoléhají se pouze na pravděpodobnostní detekci, ale zavádějí deterministické kontroly, které zachovávají jasné hranice důvěry. Přečtěte si výzkumnou práci.

Cílem tohoto přístupu je zavést v Microsoft 365 Copilot deterministickou vrstvu vynucování pravidel mezi načtený obsah, tedy výstupy nástrojů, a primární velký jazykový model. Tato vrstva vytváří hranici důvěry a zajišťuje zvláštní zpracování obsahu z nedůvěryhodných zdrojů ještě předtím, než vstoupí do kontextu modelu.

Jak funguje zpracování podle důvěryhodnosti

Rozlišení důvěryhodného a nedůvěryhodného obsahu

Když Microsoft 365 Copilot načítá podkladová data, systém pomocí deterministických signálů určuje, zda je obsah důvěryhodný, nebo nedůvěryhodný.

Například externí obsah, jako jsou e-maily přicházející zvenčí organizace, lze při překročení hranice důvěry organizace označit podle zásad za nedůvěryhodný. Tato klasifikace poskytuje praktický a škálovatelný signál, který může pomoci snížit riziko prompt injection.

Oddělení oprávnění pomocí karantény a omezeného zpracování

Nedůvěryhodný obsah se nepředává přímo primárnímu modelu. Místo toho prochází izolovaným zpracováním v karanténě s omezenými možnostmi. Tam se s ohledem na dotaz uživatele převádí do upravené reprezentace. Cílem této transformace je zachovat užitečné informace a odstranit škodlivý obsah. Omezením informací, které lze předat primárnímu modelu, se zmenšuje prostor pro útok.

Tím se omezuje prostor pro útočné instrukce i množství informací, které mohou vstoupit do následného uvažování modelu.

Zohlednění původu obsahu

Systém může přidat explicitní značky původu, které označují obsah z nedůvěryhodného zdroje. Zachování této informace umožňuje zohlednit původ obsahu při dalším zpracování a pomáhá tomu, aby odpovědi odrážely důvěryhodnost použitých vstupů.

Bezpečnější sestavení odpovědi

Primární model generuje odpovědi s využitím:

• důvěryhodného obsahu, který se předává beze změny;
• transformovaných, strukturovaných reprezentací nedůvěryhodného obsahu.

Primární model tak přichází do menšího kontaktu s nedůvěryhodnými vstupy. Snižuje se pravděpodobnost, že útočné instrukce ovlivní výsledek, a současně zůstávají zachovány informace potřebné pro splnění úkolu.

Příklad: prompt injection v e-mailu

Představte si běžný pracovní e-mail, který obsahuje skryté nebo vložené instrukce. Když uživatel požádá asistenta AI o shrnutí doručené pošty, systém e-mail načte a jeho obsah předá modelu společně se systémovými prompty. Vložené škodlivé instrukce pak mohou ovlivnit výstup modelu.

V takovém případě nedochází k porušení zásad přístupu ani k nesprávnému nakládání s daty. Systém funguje podle návrhu, ale při inferenci nemusí správně rozlišit data určená ke shrnutí od instrukcí, které má vykonat.

Jak deterministické kontroly snižují riziko nepřímého prompt injection

Tato architektura uplatňuje konzistentní kontroly v přesně definovaných místech orchestračního řetězce. Zatímco tradiční přístupy se snaží rozpoznat škodlivé chování ve společném vstupním prostoru, tento přístup omezuje způsob, jakým jím informace procházejí.

Vrstva vynucování pravidel zajišťuje:

• Deterministické signály: nedůvěryhodný obsah je pomocí deterministických signálů zachycen na pevně stanoveném místě orchestračního řetězce.
• Strukturované předání: nedůvěryhodný obsah se transformuje tak, aby byl škodlivý obsah odstraněn a neškodné informace zachovány s ohledem na prompt uživatele.

Omezením míry, v jaké se nedůvěryhodný vstup přenáší v původní podobě, i jeho možností ovlivňovat chování modelu tento přístup snižuje pravděpodobnost úspěchu nepřímých útoků prompt injection. Platí to i v situaci, kdy má systém k podkladovým datům oprávněný přístup.

Další vývoj a konfigurace ochrany

Microsoft zavádí do Microsoft 365 Copilot novou vrstvu vynucování pravidel. Počáteční práce se zaměřují na vysoce rizikový obsah včetně externí komunikace. Microsoft zkoumá rozšíření ochrany na další typy obsahu a zdroje i hlubší integraci s podnikovými signály a systémy zásad, která by umožnila podrobnější modely důvěry.

Chcete-li tuto ochranu nakonfigurovat ve Vašem tenantovi, povolte příslušné nastavení odesílatele v Outlooku používané k identifikaci nedůvěryhodného obsahu a prostudujte si pokyny ke konfiguraci pro CVE-2026-55145. Dostupnost a chování se mohou lišit podle stavu vydání a prostředí tenantu.

Nárůst nepřímých útoků prompt injection poukazuje na širší změnu v zabezpečení AI. Tento přístup přenáší základní bezpečnostní principy – explicitní hranice důvěry, omezené zpracování a deterministické vynucování pravidel – přímo do inferenční vrstvy AI.

S dalším vývojem generativní AI mohou tyto architektonické změny pomoci zajistit, aby podnikové systémy AI byly bezpečnější, spolehlivější a důvěryhodnější už ze svého návrhu.