Microsoft Copilot harness v Copilot Studio: vyšší úspěšnost složitých úloh

Abstrakt

Standard harness v Copilot Studio je navržený pro konverzaci: během jednoho konverzačního tahu provede několik samostatných volání modelu, odpoví během několika sekund a předá řízení zpět uživateli, jakmile některý krok vyžaduje jeho vstup. Mnoho podnikových úloh ale není pouhou výměnou otázek a odpovědí. Probíhají v mnoha tazích, pracují s tisíci záznamů a průběžně vyžadují kód, soubory i opakované pokusy. Microsoft proto implementoval Microsoft Copilot harness (prostředí pro řízení běhu agenta): jedinou agentní smyčku řízenou modelem, která běží v zabezpečeném kontejneru. K dispozici má nástroje pro příkazový řádek a práci se soubory i možnost ukládat rozsáhlé datové sady na disk, aby je model mohl postupně zpracovávat a analyzovat.

Studie popisuje obě architektury a měří rozdíly mezi nimi. Při stejných evaluačních úlohách a se stejnými modely provádí Microsoft Copilot harness dvojnásobný počet volání modelu na úlohu. Díky efektivnějšímu využití mezipaměti, u něhož studie uvádí průměrné zlepšení o 40 procentních bodů, přesto spotřeba tokenů vážená podle nákladů klesá o 15 až 21 %. Úspěšnost v evaluačních testech současně roste o 10,8 procentního bodu u GPT-5.5 Chat a o 22,1 procentního bodu u Opus 4.8. Latence jednotlivých volání se snižuje o 10 až 36 %.

V produkčním provozu agenti využívající Microsoft Copilot harness zpracovávají déle trvající úlohy s větším počtem volání nástrojů. Vestavěné nástroje kontejneru používají ve více než polovině konverzačních tahů. Po neúspěšném volání nástroje pokračují v práci v 84 až 91 % případů, zatímco u Standard harness je to méně než 7 %.

V benchmarku podnikových procesů dosáhl Microsoft Copilot harness skóre 65 % oproti 36 % u předního konkurenta. Postupná optimalizace chování jednotlivých nástrojů v produkci pak zvýšila úspěšnost konektoru Excel Online z 85,6 % na 96,3 %. Stačila k tomu jediná úprava založená na telemetrii, bez jakéhokoli zásahu tvůrce agenta.