16. listopadu 2026
FinanceBench: jak Microsoft průběžně zlepšuje Copilot v Excelu pro finanční práci
Microsoft popisuje, jak pomocí benchmarku FinanceBench a finančních expertů průběžně zlepšuje Copilot v Excelu. Testování se rozšiřuje také na Copilot Chat a Cowork a zahrnuje pracovní postupy propojující Excel, Word a PowerPoint.
Neoficiální české shrnutí a překlad článku Microsoftu. Web není oficiálním kanálem Microsoftu. Originál: FinanceBench: The loop that continually improves Copilot in Excel for Finance work (Microsoft Copilot Blog).
| „Raising the Bar“ je nová série článků o tom, jak důkladné vyhodnocování pomáhá Microsoftu průběžně zlepšovat Microsoft Copilot. První díl se podrobně věnuje FinanceBench a cyklu, na kterém stojí: poznávání skutečné práce ve financích, tvorbě reprezentativních testů, spolehlivému měření kvality a využívání výsledků ke zlepšování Copilot v Excelu. |
|---|
V dřívějším článku o testování Copilot v Excelu Microsoft vysvětlil, jak tuto funkci vyhodnocuje a jak výsledky využívá k jejímu zlepšování. Tentokrát se podrobněji věnuje FinanceBench, jednomu z více než 20 benchmarků používaných k měření kvality Copilot v Excelu, a souvisejícímu cyklu průběžného zlepšování. Microsoft čerpá ze zkušeností zákazníků, kteří Copilot používají pro finanční práci, vytváří odpovídající testovací případy, zvyšuje spolehlivost hodnocení, zapojuje odborný úsudek a výsledky využívá ke zlepšování benchmarku i samotného produktu.
FinanceBench: podrobný benchmark pro finanční úlohy
FinanceBench je benchmark sestavený z více než 1 000 testovacích případů z oblasti financí. Každý z nich vznikl a prošel kontrolou ve spolupráci s finančními odborníky. Případy odrážejí skutečnou práci analytiků, vedoucích finančního plánování a analýz (FP&A) či bankéřů, která vyžaduje více navazujících kroků: tvorbu nebo rozšíření modelu propojujícího tři finanční výkazy, ocenění metodou diskontovaných peněžních toků, srovnávací tržní analýzu, model odkupu financovaného dluhem, prognózu založenou na klíčových faktorech nebo sadu reportů pro vedení.
Tento typ práce patří na nejvyšší úroveň složitosti popsanou v červnovém článku. Správný výsledek zde vyžaduje propojení několika možností Excelu s odborným úsudkem z finanční praxe.
Tvorba a průběžná správa FinanceBench
Testovací případy ve FinanceBench pocházejí z několika hlavních zdrojů: přímo od finančních odborníků prostřednictvím specializovaných datových partnerů, ze spolupráce se zákazníky a techniky pracujícími přímo u nich, z uživatelského výzkumu a z analýzy signálů z produkčního provozu. Dohromady ukazují, které pracovní postupy jsou pro zákazníky nejdůležitější a jak dobře je Copilot aktuálně zvládá. Protože tyto zdroje průběžně přinášejí nové poznatky, může se dále vyvíjet i samotný benchmark.
Každý případ ve FinanceBench obsahuje čtyři základní části:
- Výchozí podklady: model z reálné praxe včetně jeho složitosti a zvláštností dat a případná další data poskytující potřebný kontext.
- Prompty: úloha nebo pracovní postup, který chce uživatel dokončit, včetně zadání v několika navazujících zprávách.
- Očekávané výstupy: sešit nebo jiné soubory, které představují ideální výsledek.
- Hodnoticí kritéria: podrobný seznam požadavků, podle nichž se výstup hodnotí.
Zlepšování Copilot v Excelu vyžaduje testy, které přesně odrážejí práci finančních odborníků. Každý testovací případ proto prochází dodatečnou kontrolou finančními specialisty i agenty, kteří ověřují jeho realističnost a správnost.
Vedle samotných finančních postupů Microsoft případy třídí také podle struktury sešitu, zdrojových dat, složitosti a použitých funkcí. Díky tomuto pokrytí může výsledky označovat štítky a vyhodnocovat vybrané skupiny. Systém například dokáže měřit kvalitu v konkrétním scénáři, jako je „shrnutí modelu prognózy tržeb ve velkých sešitech s kontingenčními tabulkami“.
Hodnoticí kritéria a vyhodnocování
Hodnoticí kritéria určují konkrétní požadavky, které musí odpověď vytvořená AI splnit. U úlohy zaměřené na model propojující tři finanční výkazy mohou například vyžadovat výpočet úrokových nákladů z průměrných zůstatků dluhu nebo jasné označení nevyrovnané rozvahy k následnému dořešení. Jeden testovací případ ve FinanceBench obvykle zahrnuje desítky takových kritérií.
Kritéria sledují různé rozměry kvality: správnost, dokončení úlohy, vizuální zpracování i dodržování osvědčených postupů pro Excel. FinanceBench jde dále a měří, zda výsledek splňuje požadavky konkrétní finanční úlohy, včetně vazeb mezi vzorci, konvencí modelu, propojení předpokladů s klíčovými faktory a možnosti výsledek auditovat.
Vytvořit kvalitní hodnoticí kritéria se často ukázalo jako obtížnější než připravit zbytek testovacího případu. Finanční experti vědí, jak vypadá kvalitní práce, ale převést tuto znalost do kritérií, která automatizovaný systém dokáže posuzovat konzistentně, není snadné. Microsoft narazil na oba typy problémů:
- Příliš konkrétní kritérium odmítne správné řešení: jedno z prvních kritérií vyžadovalo vyhledávání pomocí funkce XLOOKUP. Model použil kombinaci INDEX a MATCH, která funguje stejně dobře, ale hodnocení ji označilo za chybnou.
- Příliš obecné kritérium přijme nesprávné řešení: kontrola ověřila konečnou hodnotu, aniž by zjišťovala, zda ji vypočítává vzorec s odkazy, nebo zda byla do buňky zadána napevno. Kritéria správnosti proto musela ověřovat jak postup, tak výsledné hodnoty.
Způsob vyhodnocení závisí na typu kritéria. Deterministické kontroly, například zda buňka obsahuje očekávanou hodnotu nebo zda číslo vzniká výpočtem místo pevného zadání, provádí hodnoticí program. Ten sešit zkontroluje pomocí kódu a vrátí výsledek. Obecnější požadavky, například zda je finanční model přehledný nebo zda formátování odpovídá úloze, posuzuje hodnoticí agent. Jde o AI model, který prohlédne sešit a rozhodne, zda jsou jednotlivá kritéria splněna. Před výpočtem konečného skóre lze kritériím přiřadit různé váhy podle důležitosti, například vyšší váhu správnosti a formátování.
Zajištění kvality kritérií začíná u lidí. Finanční experti kontrolují každý případ v Excelu a odpovídají na dvě otázky: splňuje očekávaný výstup všechna kritéria a měří každé kritérium spravedlivě kvalitu práce? Microsoft pak kritéria upravuje tak, aby je bylo možné vyhodnocovat konzistentně. Zbývající problémy odhaluje opakovaným spouštěním úloh, při němž sleduje rozdíly mezi výsledky, a opakovaným hodnocením stejných výstupů, kterým ověřuje konzistenci hodnoticího systému. Kritéria, která stejnou práci posuzují pokaždé jinak, opravuje dříve, než ovlivní výsledné skóre. Jde o průběžný proces, nikoli jednorázovou kontrolu.
Lepší benchmark jako základ lepšího produktu
Od června do července úspěšnost Copilot v Excelu v benchmarku FinanceBench v2 dále rostla. Pokud je však benchmark příliš snadný, přestává ukazovat, co je potřeba opravit. Když úspěšnost překročila 80 % a dosáhla 85,1 %, Microsoft přistoupil k další verzi, která měla být náročnější, spolehlivější a bližší praxi.
Na základě signálů z produkčního používání u zákazníků a analýzy neúspěšných pokusů přidal Microsoft do FinanceBench v3 podrobnější kritéria pro vizuální zpracování a formátování. Zároveň prohloubil odbornou kontrolu více výstupů. Ta odhalila méně nápadné nedostatky v kvalitě, které se rovněž promítly do hodnoticích kritérií.
Copilot v Excelu od té doby zvýšil úspěšnost v náročnějším FinanceBench v3 o 31 procentních bodů díky kombinaci změn produktu, aktualizací modelů a optimalizace dovedností (skills). Úspěšnost je ale jen jedním rozměrem zlepšování. Microsoft měří také kvalitu odpovědí, latenci a spotřebu tokenů, aby mohl posoudit kompromisy mezi různými modely, dovednostmi a konfiguracemi produktu. Změna, která zvýší úspěšnost úloh, ale výrazně prodlouží dobu odezvy, nemusí být nejlepším řešením. Vyhodnocování umožňuje tyto kompromisy volit vědomě a vyvažovat kvalitu, výkon a efektivitu.
Microsoft nepovažuje benchmark za nikdy definitivně dokončený a už pracuje na verzi v4. Benchmark je užitečný pouze tehdy, pokud stále odhaluje prostor pro zlepšení a odměňuje správné vlastnosti výsledků. Je-li očekávaný výstup nebo hodnoticí kritérium chybné, může skóre růst směrem k nesprávné odpovědi. Při aktualizacích proto Microsoft dál kombinuje odborné kontroly s automatizovanými testy, aby udržel kvalitu celé sady. Každé kolo zlepšování podle Microsoftu pomohlo dosáhnout lepších výsledků pro zákazníky.
Příklad postupného zlepšování: dovednost pro model tří finančních výkazů
Jakmile má Microsoft dostatečně náročný benchmark, používá jej k postupné optimalizaci. Příkladem je zlepšování dovednosti pro tvorbu modelu propojujícího tři finanční výkazy, běžného finančního modelu, na kterém staví další finanční práce. Analýza neúspěšných testů a jednotlivých kroků řešení odhalila tyto problémy:
- Tvorba modelu po etapách: někteří zákazníci požadovali model po částech, například nejprve samotný model a později navazující pomocný výpočet. Microsoft proto zařadil případy, v nichž kritéria auditovatelnosti vyžadují, aby nedokončené položky zůstaly viditelné. Původní dovednost vedla k vynucenému vyrovnání rozvahy, takže agent dokončoval i části nad rámec požadované etapy. Microsoft dovednost upravil tak, aby rozpoznala postupné zadání, ponechala závislé buňky prázdné a zvýrazněné a uvedla, co zbývá dopracovat.
- Výpočty úroků: dovednost doporučovala používat počáteční zůstatky kvůli zamezení cyklickým odkazům, a to i tehdy, když zadání vyžadovalo průměrné zůstatky. Problém odhalila kritéria sledující dodržování konvencí sešitu. Microsoft proto dovednost změnil tak, aby respektovala konvenci použitou v sešitu nebo požadavek uživatele.
V úlohách s modelem tří finančních výkazů zvýšila aktualizovaná dovednost úspěšnost o 12 procentních bodů u GPT 5.6 a o 7 procentních bodů u Opus 5.5. Měření proběhlo na 114 případech FinanceBench.
Dovednosti jsou jen jedním z nástrojů pro zlepšování Copilot. Microsoft také ladí prompty, vytváří nástroje a aktualizuje i trénuje modely. Po každé změně spouští a sleduje testy a pokračuje v cyklu zlepšování.
Automatizované cykly zlepšování s agenty
Stále větší část práce na zlepšování probíhá v automatizovaných cyklech. Agenti pomáhají s analýzou a experimenty, zatímco lidští experti nadále určují, jak má kvalitní výstup vypadat. Většina práce se soustředí do tří cyklů:
- Poznatky ze skutečného používání: agenti pravidelně analyzují signály z produkčního provozu zpracovávané v souladu s požadavky na ochranu soukromí. Hledají situace, v nichž má Copilot potíže, například napravitelné chyby, opuštěné úlohy nebo opakující se známky nespokojenosti. Sledují průběh těchto neúspěšných pokusů krok za krokem, hledají pravděpodobné příčiny a ověřují, zda je pokrývají testy. Pokud produkční signály i testy ukazují na stejný problém, dostává jeho oprava přednost.
- Zlepšování hodnoticích kritérií: agenti každý případ několikrát zpracují, vyhodnotí výsledky a označí kritéria, která se jeví jako nespravedlivá nebo neúplná. Poté navrhnou úpravy, které zkontroluje odborník. Existující výstupy lze znovu vyhodnocovat tolikrát, kolikrát je potřeba, dokud se hodnocení systému neshoduje s lidským úsudkem.
- Automatizované experimentování se změnami: agenti analyzují neúspěšné pokusy, navrhují změny promptů či dovedností, vyhodnocují jejich dopad na kvalitu, latenci a efektivitu a ponechávají pouze změny, které výsledky zlepšují. Tento postup funguje nejlépe s nastavenými ochrannými mantinely a Microsoft každou změnu před nasazením kontroluje. Ne každý experiment přinese zlepšení; mnohé jej nepřinesou. I tak jsou užitečné, protože vyloučí některou z nefunkčních možností.
Tyto cykly se navzájem posilují. Produkční signály ukazují, co prozkoumat a zahrnout do testů, lepší kritéria zpřesňují měření a přesné měření odhaluje, zda opravy pomohly. Microsoft v celém procesu stále více využívá agenty. Automatizované cykly doplňují odborný úsudek a urychlují další iterace.
Další vývoj FinanceBench
Microsoft aktualizuje FinanceBench nejen v reakci na zlepšování produktu a modelů, ale také podle nových poznatků o práci finančních týmů. Benchmark začínal u finanční práce v Excelu, finanční postupy však mohou sahat i do dalších aplikací. Analytik například vytvoří model v Excelu a jeho výsledky použije pro prezentační materiály v PowerPointu nebo investiční memorandum ve Wordu. Tyto možnosti jsou nyní součástí Copilot a týmy mohou pomocí Cowork delegovat dlouhotrvající úlohy napříč těmito aplikacemi.
Cílem Microsoftu je, aby FinanceBench zůstal realistickým, důvěryhodným a náročným benchmarkem pro finanční práci. Jak pracovní postupy propojují více aplikací, musí testy sledovat celou práci, nikoli jen jednotlivou aplikaci. Microsoft proto FinanceBench rozšiřuje o další scénáře napříč aplikacemi i prostředími, ve kterých Copilot běží. Patří mezi ně postupy kombinující finanční analýzu v Excelu s dokumenty a prezentacemi i využití kontextu, paměti a personalizace z Microsoft 365.
FinanceBench nyní běží v Copilot v Excelu, Copilot Chat a Cowork, aby Microsoft mohl ověřovat kvalitu finanční práce a práce s tabulkami ve všech těchto prostředích. V celém procesu nadále zapojuje finanční experty, opakované kontroly a mechanismy zajištění kvality.
Závěr
FinanceBench je jednou ze součástí přístupu, kterým Microsoft zlepšuje finanční práci v Copilot. Stojí na průběžném cyklu: získávat poznatky ze zákaznické zpětné vazby a produkčního provozu, testovat to, na čem záleží, a výsledky využívat ke zlepšování Copilot i samotných testů.