Pilotaż agenta AI: ile spraw, cztery liczby i reguły stopu przed decyzją „wdrażamy albo kończymy”

Agent AI to system, który nie tylko odpowiada, ale też sam wykonuje czynności w systemach firmy — wyszukuje dokumenty, zapisuje dane, przygotowuje wiadomości. Jego pilotaż najczęściej zaczyna się od zdania „puśćmy go na kilka tygodni i zobaczymy, jak pójdzie”, a kończy wnioskiem „wygląda obiecująco”. Na podstawie takiego wniosku nie da się podjąć decyzji, bo nikt wcześniej nie ustalił, co miałoby ją rozstrzygnąć. Ten tekst opisuje pilotaż jako protokół spisany przed pierwszym dniem: dwa etapy na prawdziwych sprawach, liczbę spraw wynikającą z progu, cztery liczby, reguły stopu i jednostronicową decyzję dla każdej kategorii działań agenta. Na końcu jest wypełniony przykład agenta, który kompletuje dokumenty do reklamacji.

Trzech rzeczy tu nie powtarzamy. Gdzie w procesie stoi człowiek i dlaczego zaczyna się od zatwierdzania każdej sprawy — to czwarty krok wdrożenia AI; dlaczego nowy system najpierw działa obok dotychczasowej pracy — krok szósty w tym samym tekście. Jak zaprojektować sam ekran zatwierdzania, po czym poznać, że stał się klikaniem, i kiedy poluzować nadzór nad kategorią spraw już po uruchomieniu — to tekst o zatwierdzaniu przez człowieka. Tutaj zajmujemy się tym, co dzieje się pomiędzy: jak pilotaż zbiera liczby i jak z nich wynika decyzja „wdrażamy albo kończymy”. Gdzie pilotaż leży w całym projekcie i że może się skończyć odpowiedzią „nie warto”, opisujemy na stronie o metodyce wdrożenia.

Najpierw podziel działania agenta na kategorie

Ponieważ agent działa w systemach — czym różni się od chatbota, rozpisaliśmy w porównaniu agenta AI i chatbota — pilotaż agenta nie ocenia „agenta” w całości. Ocenia osobno każdą kategorię działań, bo każda niesie inne ryzyko, a uśredniony wynik ukrywa kategorię, która się myli. W praktyce wystarczą trzy:

Ostatni wiersz to zasada, a nie wynik pilotażu: w pierwszej wersji działania, które wychodzą poza firmę albo których nie da się cofnąć, zostają przy człowieku, nawet jeżeli agent nie pomylił się w nich ani razu. Tych nieodwracalnych nie oddajemy agentowi także w kolejnych wersjach. Ten sam podział na odczyt, zapis i operacje za zgodą człowieka opisujemy przy agencie AI, a na stronie o wdrożeniu agentów AI — jako pierwszą decyzję w projekcie.

Dwa etapy pilotażu i co się w nich mierzy

Pilotaż ma dwa etapy, a trzeci, który często się do niego dopisuje, jest w rzeczywistości jego wynikiem.

Etap 1: tryb cienia. Agent dostaje te same sprawy co pracownicy i czyta te same systemy, ale każde działanie zapisujące jest tylko rejestrowane: do dziennika trafia, co agent zamierzał zrobić i z jakimi danymi, a w systemie nic się nie zmienia. Ludzie pracują jak dotąd. Po każdej sprawie porównuje się zamiar agenta z tym, co zrobił człowiek. W tym etapie agent nie zmienia danych w systemach i nie wysyła wiadomości — ale nadal czyta prawdziwe dane klientów, więc dostęp do nich i to, gdzie trafiają, trzeba kontrolować tak samo jak później. Od pierwszego dnia etap ten daje zgodność z człowiekiem, odsetek wyjątków i koszt jednej sprawy. Jedno trzeba sprawdzić przed startem: że przechwytywanie zapisów działa niezależnie od modelu. Polecenie „nic nie zapisuj” w instrukcji dla modelu nie jest zabezpieczeniem, tylko prośbą. Z tego samego powodu przed pierwszą prawdziwą sprawą agent musi mieć listę dozwolonych narzędzi i miejsc, do których wolno mu wysyłać dane, sprawdzaną poza modelem — tryb cienia chroni przed zapisem, a nie przed odczytem i wysłaniem danych tam, gdzie ich nie powinno być.

Etap 2: agent proponuje, człowiek zatwierdza. Każde działanie zapisujące trafia do kolejki i wykonuje się dopiero po akceptacji. Pracownik nie robi już sprawy od zera, tylko sprawdza propozycję. Dochodzi czwarta liczba: jak często zatwierdzający coś poprawia albo odrzuca. Etap ten pokazuje też koszt, którego tryb cienia nie widzi — czas ludzi na zatwierdzanie.

Etap 3 nie należy do pilotażu. Przejście kategorii z zatwierdzania każdej sprawy na zatwierdzanie wyjątków dzieje się później, na danych z codziennej pracy i według progów opisanych w tekście o zatwierdzaniu przez człowieka. Pilotaż może najwyżej wskazać, które kategorie wewnętrzne i odwracalne są kandydatami do takiego przejścia. Sto spraw z pilotażu to za mało, żeby zdjąć z nich nadzór, a do tego zatwierdzanie w pilotażu jest zwykle staranniejsze niż w trzecim miesiącu codziennej pracy.

Ile spraw wystarczy: liczba wynika z progu, który ustalasz z góry

Na pytanie „ile spraw” nie ma jednej liczby, bo zależy ona od tego, co chcesz wykazać. Zacznij od zdania w rodzaju: „w tej kategorii agent myli się rzadziej niż w 5 na 100 spraw” — i to Ty ustalasz tę wartość przed startem, bo to decyzja o tym, ile pomyłek proces zniesie, a nie parametr techniczny. Przed startem ustalasz też, które sprawy wchodzą do oceny — wszystkie z danego okresu dla danej wersji agenta — oraz ile ich ma być albo do kiedy trwa ocena. Wynik sprawdza się raz, na końcu tego okresu. Zaglądanie co tydzień i kończenie oceny w pierwszym tygodniu, w którym granica akurat spadła poniżej progu, zawyża pewność wyniku. Potem liczba spraw wynika z rachunku.

Do liczenia górnej granicy używamy w całym tekście jednej metody — przedziału Wilsona, który podręcznik statystyczny NIST zaleca dla odsetków z próby; liczymy go dla dwustronnego przedziału 95%. Gdy w całej ocenianej próbie nie było ani jednego błędu, daje on prostą odpowiedź na pytanie, ile spraw trzeba ocenić:

Często spotkasz łagodniejszą „regułę trzech” (Hanley i Lippman-Hand, JAMA 1983): górna granica to mniej więcej 3 podzielone przez liczbę spraw, czyli 30, 60, 150 i 300 spraw dla tych samych progów. Daje mniejsze liczby, bo odpowiada granicy jednostronnej. Obie są uczciwe; ważne, żeby przy jednej decyzji nie mieszać metod — w tym tekście trzymamy się Wilsona.

Ta tabela nie pozwala czekać na „dobrą passę” i odrzucać wcześniejszych błędów. Błąd zostaje w wynikach tej wersji agenta; liczenie zaczyna się od nowa tylko po zmianie agenta, o czym niżej.

Gdy błędy się pojawiły, wynik bywa otrzeźwiający: przy dwóch błędach na 100 spraw zaobserwowany odsetek wynosi 2%, ale górna granica 95-procentowego przedziału — około 7%. Dlatego przy decyzji o wdrożeniu odsetek błędów porównuje się z progiem przez górną granicę, a nie przez surowy wynik.

Z tego wynikają trzy praktyczne reguły:

• Licz osobno dla każdej kategorii i każdego etapu. Sto spraw w pilotażu to sto spraw w kategorii, która występuje w każdej sprawie, ale może to być tylko dwadzieścia w kategorii, która pojawia się w co piątej sprawie. Do decyzji o codziennej pracy liczą się przy tym tylko sprawy z etapu 2 i tylko te, w których agent złożył propozycję — wyjątki tę liczbę jeszcze zmniejszają.
• Wolumen ogranicza to, co pilotaż może wykazać. Kategoria z 40 sprawami tygodniowo da w czterech tygodniach 160 spraw, ale jeżeli dwa z tych tygodni to tryb cienia, do decyzji o codziennej pracy zostaje około 70 propozycji — a to w najlepszym razie próg około 5 na 100. Kategoria z pięcioma sprawami tygodniowo da w dwóch tygodniach etapu 2 dziesięć spraw — nawet bez jednego błędu górna granica wyniesie wtedy około 28 na 100. Dlatego kilkadziesiąt spraw może wystarczyć do oceny działania, którego pomyłkę ktoś i tak poprawi przy kolejnym kroku, a nie wystarczy do działania, którego pomyłka kosztuje pieniądze — tam próg jest surowszy, a pilotaż zwykle nie zbierze tylu spraw.
• Liczy się każda sprawa z okresu, nie wybrane. Rachunek zakłada, że sprawy są porównywalne i nie wybiera ich nikt, kto wie, które są łatwe. Gdy błędy przychodzą seriami — na przykład wszystkie dotyczą jednego dostawcy — wynik jest zbyt optymistyczny.

Cztery liczby pilotażu

Wszystkie cztery liczby śledzi się osobno dla każdej kategorii, co tydzień. Górną granicę przedziału ufności porównuje się z progiem przy decyzji o wdrożeniu raz, na końcu ustalonego okresu oceny. Tygodniowe progi wyjątków, pułapy kosztu pojedynczej sprawy i pozostałe reguły stopu sprawdza się na bieżąco. Poniżej opisujemy, jak je liczyć; progi dla nich ustalamy z klientem przed startem, dobieramy je do procesu i nie są to normy rynkowe ani wzorcowe.

1. Zgodność z człowiekiem (etap 1). Odsetek spraw, w których działanie zamierzone przez agenta jest takie samo jak to, co zrobił pracownik. „Takie samo” trzeba zdefiniować przed startem — przy dokumentach zwykle pole po polu. Człowiek nie zawsze ma rację, dlatego każdą niezgodność ogląda trzecia osoba i przypisuje do jednej z trzech grup: myli się agent, myli się człowiek albo oba wyniki są dopuszczalne. Tylko pierwsza grupa liczy się jako błąd agenta i to odsetek błędów agenta porównuje się z progiem. Zgodność nie dowodzi poprawności — agent i pracownik mogą się pomylić tak samo — dlatego trzecia osoba ogląda też losową próbkę spraw zgodnych. Błąd znaleziony w tej próbce jest błędem agenta, nawet jeżeli pracownik pomylił się tak samo. Nie przeliczaj go na całą grupę i nie doliczaj jednego błędu: jeżeli audyt znajdzie choć jeden, przed decyzją sprawdź wszystkie sprawy zgodne i dopiero wtedy policz błędy agenta. Wynik audytu i wielkość próbki podaje się w raporcie osobno.
2. Odsetek korekt i odrzuceń (etap 2). Udział propozycji, które zatwierdzający poprawił albo odrzucił. Tę samą liczbę opisujemy w tekście o zatwierdzaniu; tam też wyjaśniamy, dlaczego sama niewiele mówi i trzeba ją czytać razem z czasem decyzji oraz z audytem losowej próbki zatwierdzonych spraw — osobno dla każdej kategorii — który robi ktoś inny niż zatwierdzający. Bez tego audytu zero korekt może znaczyć, że nikt nie czytał. Na potrzeby pilotażu oddziel korekty merytoryczne — zły dokument, brakujący wymóg — od kosmetycznych, takich jak szyk zdania.
3. Odsetek wyjątków (oba etapy). Udział spraw, których agent nie dokończył i które oddał człowiekowi bez propozycji: zabrakło danych, przekroczył limit czynności, jakie wolno mu wykonać w jednej sprawie, albo uznał, że nie jest pewny. Zbyt wysoki znaczy, że agent niczego nie przejmuje. Podejrzanie niski też jest sygnałem — sprawdź, czy agent oddaje sprawy wtedy, kiedy powinien, na przykład gdy w zgłoszeniu nie ma numeru faktury. W wyjątku agent nie składa propozycji, dlatego zgodność oraz odsetek korekt i odrzuceń liczy się tylko dla spraw z propozycją, a odsetek wyjątków i koszt — dla wszystkich spraw, razem z czasem obsługi wyjątków.
4. Koszt jednej sprawy (oba etapy). Składa się z dwóch części, które warto pokazywać osobno, bo złotówek i minut nie da się dodać bez stawki godzinowej. Pierwsza to opłaty za korzystanie z modelu AI razem z pętlami i ponowieniami — agent, który dziesięć razy szuka tego samego zamówienia, płaci za każde powtórzenie. Druga to średni czas ludzi na sprawę: zatwierdzanie plus obsługa wyjątków. Obie porównujesz z kosztem tej samej sprawy sprzed pilotażu, policzonym na samym początku (to drugi krok wdrożenia). Jak rozpisać koszty modelu i nadzoru, pokazujemy w tekście o tym, ile kosztuje agent AI. Ten koszt jednej sprawy rozstrzyga, czy agent się sprawdza w pracy; o opłacalności całego wdrożenia decyduje dopiero rachunek, który dolicza koszty stałe — platformę, monitorowanie i utrzymanie — rozpisane w tym samym tekście. Kategorie, które pracownik sprawdza jednym spojrzeniem, mogą mieć wspólny koszt; wtedy warunek kosztu sprawdza się dla nich razem i trzeba to zapisać przed startem.

Co musi się zgadzać, żeby kategoria przeszła z etapu na etap:

Przejście z etapu 1 do etapu 2 sprawdza się prościej — surowym wynikiem ze wszystkich propozycji od ostatniej zmiany agenta — bo w trybie cienia agent niczego nie wykonuje, a etap 2 i tak wszystko zatwierdza. Górną granicę liczy się przy decyzji o codziennej pracy. Próg na tę decyzję jest przede wszystkim progiem użyteczności: zatwierdzanie każdej sprawy ogranicza ryzyko, o ile człowiek rzeczywiście sprawdza propozycję, a jeżeli poprawia co trzecią, sprawdzanie zamienia się w pisanie od nowa i agent nie ma sensu.

Reguły stopu: zapisz je przed pierwszym dniem

Reguła stopu zatrzymuje pilotaż albo jedną kategorię bez narady i bez czekania na średnią z tygodnia. Spisuje się ją przed startem, razem z nazwiskiem osoby, która ma prawo zatrzymać, i z datą próbnego zatrzymania — zatrzymanie, którego nikt nie przećwiczył, często nie działa wtedy, kiedy jest potrzebne. Zestaw, od którego zaczynamy:

• Zapis, który się wykonał, choć nie powinien. W trybie cienia każda zmiana w systemie albo wiadomość, która naprawdę wyszła, zatrzymuje cały pilotaż. To błąd uprawnień, nie jakości, i żadna liczba spraw go nie równoważy.
• Dane w niewłaściwej sprawie. Dane jednego klienta w sprawie innego klienta zatrzymują pilotaż do wyjaśnienia przyczyny.
• Agent wykonał polecenie ukryte w treści. Gdy agent potraktował jak polecenie tekst z załącznika albo maila — o takim wstrzyknięciu polecenia piszemy przy agencie AI — pilotaż staje do czasu poprawki zabezpieczeń. To ostatnia linia obrony: podstawą są listy dozwolonych narzędzi i miejsc docelowych, sprawdzane przed wykonaniem każdej czynności.
• Przekroczony limit błędów w kategorii. Liczba błędów, po której kategoria wraca do etapu 1 albo kończy udział w pilotażu, ustalona z góry dla każdej kategorii.
• Wyjątki ponad próg przez pełny tydzień. Pauza i analiza listy wyjątków; zwykle przyczyna leży w danych albo w procesie, nie w modelu.
• Koszt sprawy ponad pułap. Pojedyncza sprawa ponad pułap kończy się przerwaniem i oddaniem człowiekowi z podaniem powodu; powtarzające się przekroczenia zatrzymują kategorię do poprawki.
• Czas zatwierdzania poniżej czasu czytania. Gdy mediana czasu decyzji spada poniżej czasu potrzebnego na samo przeczytanie propozycji, dane z etapu 2 przestają być wiarygodne — jak to policzyć, opisujemy w teście na klikanie.

Trzy sposoby, w jakie pilotaż oszukuje właściciela

Wybrane sprawy. Do pilotażu trafiają sprawy „czyste”, a trudne omijają agenta, bo ktoś chciał, żeby pierwsze wyniki wyglądały dobrze. Pilotaż mierzy wtedy łatwą część procesu. Lekarstwo: agent dostaje każdą sprawę z okresu, a jeżeli część celowo zostaje poza zakresem, raport podaje, ile ich było i dlaczego.

Zatwierdzający, który przestał czytać. Odsetek korekt spada do zera nie dlatego, że agent się poprawił, tylko dlatego, że nikt już nie patrzy. Z samego odsetka tego nie widać — trzeba go czytać razem z medianą czasu decyzji i audytem próbki, opisanymi w tekście o zatwierdzaniu.

Zmiany w agencie w trakcie pilotażu. Poprawka instrukcji, inny model albo nowe narzędzie to nowy agent. Sprawy sprzed zmiany nie mówią nic o tym, jak działa wersja po zmianie, więc wyniki dla dotkniętych kategorii liczy się od nowa. Zmiany są w pilotażu potrzebne — po to on jest — ale każda musi trafić do raportu z datą, a wyniki liczy się osobno dla każdej wersji. Ostateczną ocenę przed decyzją robi się na jednej, zamrożonej wersji i na świeżym, z góry ustalonym okresie. Poprawianie agenta po każdej nieudanej ocenie i zatrzymanie się na pierwszej wersji, która przeszła, zawyża szansę na fałszywe „wdrażamy” tak samo jak zaglądanie co tydzień.

Raport z pilotażu: jedna strona i decyzja dla każdej kategorii

Raport z pilotażu nie opowiada historii projektu. Odpowiada na pytanie, co dalej z każdą kategorią, i mieści się na jednej stronie:

1. Proces i okres — co agent robił, od kiedy do kiedy, ile spraw wpłynęło.
2. Wersje agenta — model, instrukcja, lista narzędzi i każda zmiana z datą.
3. Liczba spraw w każdej kategorii i na każdym etapie, z liczbą spraw wyłączonych i powodem.
4. Cztery liczby dla każdej kategorii obok progów zapisanych przed startem, z górną granicą tam, gdzie liczy się odsetek błędów.
5. Lista pomyłek z klasyfikacją: agent, człowiek, oba wyniki dopuszczalne.
6. Uruchomienia reguł stopu — co się stało, co poprawiono, kiedy wznowiono.
7. Koszt jednej sprawy obok kosztu sprzed pilotażu.
8. Decyzja dla każdej kategorii: wdrażamy z zatwierdzaniem każdej sprawy; wdrażamy i oznaczamy jako kandydata do zatwierdzania wyjątków po uruchomieniu; zostaje przy człowieku; kończymy.
9. Decyzja ogólna — wdrażamy albo kończymy — podejmowana wspólnie przez firmę i wykonawcę, z nazwiskiem osoby po stronie firmy, która ją zatwierdza.

Przykład: agent, który kompletuje dokumenty do reklamacji

Agenta kompletującego dokumenty do reklamacji opisaliśmy przy agencie AI: czyta zgłoszenie, historię zamówień, warunki gwarancji i załączniki, a potem wskazuje, czego brakuje. Liczby poniżej są ilustracyjne — pokazują, jak wypełnić protokół i raport, i nie pochodzą z żadnego wdrożenia.

Założenia: około 40 reklamacji tygodniowo, pilotaż na cztery tygodnie, dwa tygodnie w trybie cienia i dwa z zatwierdzaniem. Kategorie: odczyt (znalezienie zamówienia i faktury), notatka w zgłoszeniu z listą brakujących dokumentów (zapis wewnętrzny, odwracalny) i prośba do klienta o uzupełnienie (działanie na zewnątrz). Odczyt oceniamy osobno: agent zapisuje, z jakiego zamówienia i jakiej faktury skorzystał, a zatwierdzający sprawdza to razem z notatką — zła faktura może przecież dać taką samą listę braków. Agent przygotowuje prośbę do klienta zawsze wtedy, gdy notatka wskazuje braki, więc pominięta prośba oznacza notatkę bez braków, choć braki były; taką notatkę pracownik poprawia i liczy się ona jako korekta merytoryczna notatki. Decyzja o uznaniu reklamacji w ogóle nie należy do agenta. Progi zapisane przed startem przez kierownika działu reklamacji:

• błędy agenta w notatce w trybie cienia: najwyżej 10 na 100 notatek od ostatniej zmiany agenta (surowy wynik);
• błędny odczyt zamówienia lub faktury w trybie cienia: najwyżej 10 na 100 spraw z odczytem od ostatniej zmiany agenta (surowy wynik), a w etapie 2: górna granica poniżej 10 na 100;
• korekty merytoryczne notatki w etapie 2: górna granica poniżej 10 na 100;
• błędy agenta w prośbie do klienta w trybie cienia: najwyżej 20 na 100 przygotowanych próśb od ostatniej zmiany agenta (surowy wynik);
• korekty merytoryczne prośby do klienta w etapie 2: górna granica poniżej 25 na 100 — to próg użyteczności, nie samodzielności;
• audyt próbki zatwierdzonych propozycji osobno dla każdej kategorii — 20 losowo wybranych notatek (razem ze sprawdzeniem, czy agent skorzystał z właściwego zamówienia i faktury) i 10 losowo wybranych próśb — wykonany przez kogoś innego niż zatwierdzający: ani jednej błędnie zatwierdzonej; choćby jedna wstrzymuje decyzję o tej kategorii do wyjaśnienia przyczyny;
• wyjątki: najwyżej 15 na 100 spraw w każdym tygodniu;
• koszt, osobno dla odczytu z notatką (pracownik sprawdza je razem, więc mają wspólny koszt) i dla prośby: opłata za model poniżej ustalonego pułapu oraz czas pracownika niższy niż przed pilotażem. Przed pilotażem skompletowanie jednej reklamacji zajmowało średnio 15 minut: około 13 minut samo kompletowanie i około 5 minut napisanie prośby w tych sprawach, w których była potrzebna.

Okres oceny do decyzji o codziennej pracy też ustalono z góry: cały etap 2, czyli dwa tygodnie, z jednym sprawdzeniem wyniku po jego zakończeniu, na wersji agenta zamrożonej po tygodniu 1 — w etapie 2 nie wolno było jej zmieniać.

W etapie 2 powstało 71 notatek (80 spraw minus 9 wyjątków) i 2 z nich wymagały korekty merytorycznej; żadnej nie odrzucono. Zaobserwowany odsetek to około 2,8 na 100, ale górna granica metodą Wilsona wynosi około 9,7 na 100 — poniżej progu 10, ale bez zapasu. Gdyby w etapie 2 trafiła się trzecia taka korekta, warunek nie byłby spełniony. Odczyt był błędny w 1 z 71 spraw (górna granica około 7,6 na 100). Audyt nie znalazł żadnej błędnie zatwierdzonej propozycji ani wśród 20 notatek (w tym żadnej z błędnym odczytem), ani wśród 10 próśb, więc warunek audytu jest spełniony w obu kategoriach. Wynik czytamy razem z czasem decyzji; nie dowodzi on jakości całej kategorii ani tego, że zatwierdzający rzeczywiście sprawdzał każdą sprawę. W drugim tygodniu trybu cienia trzecia osoba obejrzała też 10 losowych spraw, w których agent i pracownik byli zgodni, i wszystkie były poprawne — gdyby znalazła błąd, przed decyzją trzeba by sprawdzić wszystkie 32. Agent przygotował prośbę do klienta w 30 sprawach etapu 2 (poza wyjątkami); w 2 z nich pracownik poprawił ją merytorycznie (brakujący dokument), w 3 tylko stylistycznie.

Koszt, osobno dla odczytu z notatką i dla prośby. Opłata za model w etapie 2 wynosiła średnio około 60% pułapu dla odczytu z notatką i około 30% pułapu dla prośby; pułap przekroczyły tylko dwie sprawy w tygodniu 1, kiedy pętla przy szukaniu zamówień zawyżyła koszt odczytu. Czas pracownika w etapie 2 z dziennika, razem z wyjątkami:

• odczyt z notatką: 71 sprawdzeń po średnio 3 minuty i 9 wyjątków skompletowanych od zera po 13 minut, czyli 330 minut na 80 spraw — około 4,1 minuty na sprawę wobec 13 przed pilotażem;
• prośba: 30 sprawdzeń po średnio 2,5 minuty i 4 prośby napisane od zera w wyjątkach po 5 minut, czyli 95 minut na 34 prośby — około 2,8 minuty na prośbę wobec 5 przed pilotażem.

Razem 425 minut na 80 spraw, czyli około 5,3 minuty na sprawę wobec 15 minut przed pilotażem.

Raport z tego pilotażu:

Kandydatura notatki nie oznacza poluzowania nadzoru — wymaga później spełnienia wszystkich warunków opisanych w tekście o zatwierdzaniu, już na sprawach z codziennej pracy. Najcenniejszy w tym raporcie jest jednak wiersz z tygodnia pierwszego. Gdyby pilotaż od razu ruszył z zatwierdzaniem, pętla przy zgłoszeniach bez numeru faktury kosztowałaby czas pracowników, a nie tylko opłaty za model w trybie cienia.

Co dalej

Zanim pilotaż ruszy, zapisz na jednej stronie cztery rzeczy: kategorie działań agenta z progiem dla każdej, liczbę spraw, którą ten próg wymusza przy Twoim wolumenie, reguły stopu z nazwiskiem osoby, która może zatrzymać, oraz ustalenia dotyczące danych. Agent dostaje tylko te dane, których naprawdę potrzebuje — zbędne dane osobowe i poufne usuwa się albo wyłącza z zakresu dostępu, zanim zostanie nadany. Zapisz też, gdzie dane są przetwarzane, jak długo się je przechowuje, kto ma do nich dostęp, kiedy się je usuwa, kto zatwierdza propozycje agenta i kto niezależnie sprawdza próbkę. Jeżeli któraś kategoria nie uzbiera spraw w planowanym czasie, wiesz to przed startem, a nie po nim. Jak taki projekt prowadzimy od uprawnień przez pilotaż po codzienną pracę, opisujemy na stronie o wdrożeniu agentów AI.

Opisz nam proces, który chcesz pilotować. Odpowiemy, jakie kategorie działań w nim widzimy, ile spraw potrzeba, żeby je ocenić, i czy przy Twoim wolumenie pilotaż w ogóle może coś rozstrzygnąć.

Źródła i stan na 12 października 2026 roku

• J. A. Hanley, A. Lippman-Hand, „If Nothing Goes Wrong, Is Everything All Right?”, JAMA 1983 — reguła trzech: gdy w próbie n spraw nie wystąpiło ani jedno zdarzenie, górna granica jednostronnego 95-procentowego przedziału ufności dla jego częstości wynosi około 3/n.
• NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4.1 „Confidence intervals” — przedział ufności Wilsona dla odsetka z próby; z jego wzoru dla dwustronnego przedziału 95% (z = 1,96) pochodzą górne granice dla 2 błędów na 100 spraw (około 7%), 2 błędów na 71 spraw (około 9,7%), 1 błędu na 71 spraw (około 7,6%) i 2 błędów na 30 spraw (około 21,3%). Przy zerze błędów górna granica upraszcza się do z² ÷ (n + z²) i stąd pochodzą liczby spraw w tabeli; odczyt 12 października 2026 r.