Jak měřit přínos Cowork: od interakcí s AI k dokončené práci

Vaše organizace investovala do Copilot. Adopce roste, počet promptů se zvyšuje a přehledy jsou plné grafů využití. Vedení se ale stále ptá: Jak vyčíslit přínos AI, když pomáhá s tolika různými druhy práce?

Hodnotu softwaru bylo vždy obtížné přesně určit. Organizace proto používaly jako nepřímý ukazatel například trendy ve využití. V prostředí, kde byly produkty i jejich náklady jednoduché, dával tento přístup smysl. Stačilo předpokládat, že hodnota měsíčního využití produktu dosahuje alespoň výše jeho měsíčních nákladů. Počty aktivních uživatelů pak mohly sloužit jako ukazatel kladné návratnosti investice.

U AI je využití mnohem rozmanitější a vede k široké škále výstupů a výsledků – od jednoduchých po složité. Náklady se navíc mění podle spotřeby, takže dosavadní nepřímé ukazatele už u komplexnějších úloh nemusí stačit.

Většina dnešní asistence AI funguje jako jednotlivé interakce: člověk zadá prompt, přečte si odpověď a další krok provede sám. Copilot Cowork funguje jinak. Uživatel popíše požadovaný výsledek a Cowork pomáhá práci naplánovat, provést a dokončit napříč Microsoft 365. Kontrolní body přitom uživateli umožňují zachovat si kontrolu. Cowork může pracovat s e-maily, schůzkami, soubory, dokumenty, kalendáři i Teams a převádět záměr na dokončené akce, nikoli jen na jednu odpověď.

Praktický výchozí bod pro měření přínosu Cowork

Když AI přechází od odpovídání na otázky k dokončování práce, nelze její přínos měřit jen počtem promptů. Consumption Dashboard v Insights nyní používá Cowork assisted hours and value – orientační odhad času, který Cowork lidem uvolňuje tím, že pomáhá dokončovat širokou škálu úloh, včetně dlouhotrvající práce.

Metrika navazuje na ukazatel assisted hours a využívá metody podložené výzkumem, přizpůsobené různorodým výstupům Cowork. Stále jde o nepřímé ukazatele, nikoli přesné měření, a odhady jsou záměrně konzervativní. Nezahrnují například zlepšení kvality, rychlejší rozhodování, množství prostudovaných zdrojů, možnost zvládnout další práci nebo souběžně řešit úlohy napříč projekty. Skutečný přínos pro Vaše týmy tak může být podle dosažených výsledků vyšší.

Následující části vysvětlují, jak Microsoft metriku počítá a proč nabízí praktičtější pohled na přínos než samotné počty promptů. Tento způsob měření má sloužit jako výchozí bod pro diskusi o hodnotě AI. Microsoft jej bude dále rozvíjet s ohledem na nový výzkum, zpětnou vazbu zákazníků, telemetrii a nové možnosti produktu.

Od počítání promptů k pochopení vykonané práce

U běžného AI asistenta uživatel zadá prompt, zkontroluje odpověď a sám řídí další postup. Přenáší informace mezi aplikacemi, upravuje výstup a převádí ho do použitelné podoby. V tomto modelu jsou prompty užitečným nepřímým ukazatelem jednotlivých případů asistence.

Cowork se liší. Člověk určí záměr a Cowork řídí postup práce: plánuje, shromažďuje podklady, spouští nástroje a vytváří výstupy. Jednotkou přínosu je proto objem práce potřebný ke splnění cíle, nikoli jeden prompt.

Microsoft proto posouvá svůj přístup k měření od počítání interakcí k pochopení práce, kterou AI pomáhá dokončit.

Výchozím bodem je záměr uživatele

Microsoft nejprve seskupuje aktivitu podle toho, čeho chce uživatel dosáhnout. Vznikají tak samostatné úlohy vymezené cílem, nikoli počtem výměn v konverzaci nebo promptů.

Úlohou může být příprava nabídky pro zákazníka, analýza dokumentů, příprava na schůzku, návrh zprávy o aktuálním stavu pro zainteresované strany nebo vytvoření přehledu podkladů. Měření se tím více přibližuje skutečným obchodním výsledkům.

Kvůli konzistentnímu vyhodnocování Microsoft používá klasifikační model, který rozděluje úlohy do osmi běžných typů práce:

1. Analýza a rešerše
2. Tvorba dokumentů a obsahu
3. E-mailové pracovní postupy
4. Pracovní postupy spojené se schůzkami
5. Komunikační pracovní postupy
6. Specializované pracovní postupy
7. Psaní nebo ladění kódu
8. Obecná asistence

Organizace tak mohou zjistit nejen to, že se Cowork používal, ale také s jakou prací pomáhal.

Rozdělení úlohy na konkrétní činnosti

Dalším krokem je určení typických činností potřebných k dokončení každé úlohy.

Například tvorba dokumentů a obsahu může zahrnovat shromáždění zdrojových materiálů, pochopení kontextu, návrh struktury textu, vytvoření konceptu, úpravy, formátování a dokončení výstupu. Právě tuto práci Cowork vykonává. Model založený na úlohách proto vypovídá o přínosu více než model založený na počtu promptů.

Rozdělení práce na typické činnosti umožňuje srozumitelněji ukázat, kde AI pomáhá. Cílem není tvrdit, že všechny úlohy jsou stejné, ale opřít odhad o práci, kterou by člověk běžně musel vykonat sám.

Stejný princip se důsledně uplatňuje u všech osmi typů úloh. Díky tomu může vedení porovnávat přínos napříč velmi odlišnými druhy práce.

Metodika vychází z výzkumu a používá konzervativní odhady

Odhad je užitečný pouze tehdy, pokud mu lze důvěřovat. Metodika je proto záměrně konzervativní a má sloužit jako výchozí bod pro diskusi o přínosu.

Bez asistence musí člověk provést všechny kroky: přepínat mezi nástroji, hledat podklady, psát, upravovat, formátovat a připravovat konečný výstup. S Cowork určuje záměr a zachovává si kontrolu, zatímco Cowork řídí části pracovního postupu – shromažďuje podklady, vytváří výstupy, provádí akce a přenáší kontext mezi nástroji.

Aby bylo hodnocení této práce přiměřené, metodika opírá jednotlivé kategorie úloh o publikovaný výzkum produktivity ze Stanfordu, Microsoft Research, NBER a Forrester[1]. Úsporu času vyjadřuje v konzervativních, typických a optimistických rozmezích. Zákazníci tak mohou výsledky interpretovat podle vlastního prostředí a předpokladů. Každé rozmezí pro danou kategorii lze dohledat k podpůrnému výzkumu, takže můžete ověřit, odkud hodnota pochází, a porovnat ji s vlastní zkušeností.

Kategorie se hodnotí odlišně, protože se liší i samotná práce. Tvorba dokumentů může zahrnovat psaní návrhu, přepracování, formátování a závěrečné úpravy. Analýza a rešerše mohou naopak vyžadovat nastudování nových materiálů, posouzení důkazů, řešení problémů a formulování doporučení.

Úplná metodika je dostupná v dokumentu Cowork_Methodology.pdf.

Proč je to důležité pro vedení

Pro vedoucí pracovníky není klíčové jen to, jak často se AI používala, ale také jakou práci pomohla dokončit a jakou hodnotu to může představovat.

Přístup založený na úlohách pomáhá odpovídat na praktičtější otázky:

• Kde Cowork pomáhá se složitější prací, která má více kroků?
• Kolik pracovní kapacity může týmům uvolnit?
• Jak využití souvisí s náklady a spotřebou?
• Ve kterých oblastech by měla organizace adopci rozšířit, nastavit pravidla nebo optimalizovat?

Dashboard zobrazuje jednotlivé typy úloh, pro které se Cowork používá, podle assisted hours a spotřebovaných kreditů. Tento pohled může pomoci například při rozhodování, kde podpořit intenzivnější využití, aby organizace získala větší přínos.

Význam takového přehledu roste s tím, jak AI získává agentní schopnosti a náklady se více odvíjejí od využití. Pro rozhodování o nasazení, správě a investicích potřebují zákazníci posuzovat využití, náklady a přínos společně.

Zároveň je důležité přesně rozumět tomu, co metrika představuje. Assisted hours poskytují orientační odhad kapacity uvolněné lidem. Pomáhají organizacím nacházet příležitosti k vytváření hodnoty a doplňují jejich vlastní měření obchodních výsledků.

Další krok, nikoli konečná odpověď

Měření přínosu AI se musí vyvíjet společně s technologií. Microsoft bude tento přístup zpřesňovat podle kvalitnějších dat na úrovni úloh a zpětné vazby zákazníků. Směr je ale zřejmý: s přechodem od asistence k řízení pracovních postupů bude přínos méně záviset na počtu interakcí a více na práci, kterou AI pomáhá lidem dokončit.

V Consumption Dashboard v Insights můžete otevřít podrobnosti Cowork a zobrazit nejčastější úlohy i assisted hours. Další informace o novém reportu Cowork najdete v dokumentaci Microsoft Learn. Microsoft uvádí, že stejné přehledy budou brzy dostupné také v reportu Cowork v Microsoft 365 admin center.