Agent AI od PoC do produkcji: spisany proces, dostęp do systemów i decyzja po testach
- Dla kogo:
- CTO, CIO, managerowie IT i architekci planujący PoC agentów AI przed decyzją o produkcji
- Czas czytania:
- 8 min
- Odcinek:
- 25 min
Po kliknięciu wideo załaduje się z YouTube (Google). Google może zapisać dane na Twoim urządzeniu i przetwarzać je także w USA. Więcej (PDF) · Obejrzyj na YouTube
Słuchaj też: Spotify · Apple Podcasts · RSS
W skrócie
Masz pomysł na agenta AI i musisz zdecydować, czy budować pełne rozwiązanie. Tę decyzję przygotowuje PoC. Przed nim zespół spisuje proces z wiedzy pracowników i sprawdza dostęp do systemów, a po testach ocenia wynik jako scale, iterate albo kill według kryteriów ustalonych wcześniej.
Kluczowe wnioski
- Zanim powstanie PoC, osoba, która wykonuje proces, spisuje w Wordzie, co robi i dlaczego, albo nagrywa ekran. Takie przygotowanie oszczędza dużo pracy, która nie powinna odbywać się w trybie debugowania.
- Ludzie z biznesu, którzy chcą coś przetestować, powinni dostać playground z tym samym gołym modelem, z którego powstanie agent, bo taki model zachowuje się inaczej niż ChatGPT.
- W większości PoC najwięcej problemów sprawia dostęp do danych i systemów, a sama budowa agenta to głównie żmudna praca integracyjna.
- Już na starcie trzeba ustalić, co uruchamia agenta i w którym momencie do procesu wchodzi człowiek. Macierz akceptacji wyznacza, co może się wykonać automatycznie. Bez człowieka mogą działać procesy, w których ewentualny problem jest bardzo mały i nie szkodzi ani reputacji, ani finansom.
- Kryteria sukcesu powstają przed testami. Testy idą prosto do celu: UI jest celowo brzydki, a log zapisuje przebieg, czas i decyzje agenta.
- Po testach zapada decyzja scale, iterate albo kill, a kill z dobrze spisanymi wnioskami chroni przed projektem, który i tak by nie działał.
PoC sprawdza agenta AI przed inwestycją w pełne rozwiązanie
Proof of concept (PoC) to studium wykonalności, które sprawdza, czy koncepcja zadziała i czy będzie działać powtarzalnie. W Protopii często nazywa się go też proof of value (PoV), bo ma sprawdzić, czy rozwiązanie wniesie wartość i czy da się je wykonać.
Jeden z klientów napisał, że prompt jest bardzo precyzyjny, ale odpowiedzi różnią się merytorycznie. Żeby PoC się udał, trzeba czasem nieco inaczej podejść do procesu i inaczej wykorzystać wiedzę biznesu niż wtedy, gdy po prostu wrzuca się zadanie do GPT, Copilota, Gemini czy Claude’a.

Pierwszym krokiem jest spisanie procesu z wiedzy pracowników
Przed PoC trzeba dokładnie wiedzieć, jak wygląda proces do automatyzacji: co ludzie robią dziś ręcznie i jak to przebiega w systemach. Protopia sadza osobę, która ma tę wiedzę, żeby w Wordzie spisała krok po kroku, co robi i dlaczego, albo nagrała ekran. Czasem robi to dwójka pracowników lub ekspertów.
Wiedza plemienna to wiedza ludzi, którzy na co dzień wykonują proces. Jej spisanie to pierwszy krok, który w projektach Protopii przynosi największy sukces. Instrukcji często nikt nie aktualizuje, gdy zmienią się warunki biznesowe, konfiguracja systemu albo podejście.
U jednego z klientów ubezpieczeniowych pracownik spisał, że najpierw bierze dane z systemu, potem szuka w internecie, kim naprawdę jest klient i co można mu zaproponować, a na końcu próbuje to dopasować i robi analizę. Taki dokument w Wordzie jest świetnym punktem wyjścia do planowania, bo pokazuje, co faktycznie się dzieje i co robi człowiek. Tydzień przygotowań i zbierania danych oszczędza naprawdę dużo pracy, która w ogóle nie powinna się odbywać w trybie debugowania.
Prawo Conwaya pokazuje, że proces odzwierciedla strukturę komunikacji w firmie, a nie logikę, którą powinien mieć. Spisanie procesu może więc być okazją, żeby sprawdzić, czy nie warto go uprościć i uporządkować.
Playground pokazuje biznesowi, jak naprawdę zachowuje się model
Po spisaniu procesu trzeba zbudować oczekiwania. Osoby nietechniczne powinny móc same sprawdzać, jak zachowują się agenci: na playgroundach, z których zespół potem buduje rozwiązanie, a nie w Copilocie czy ChatGPT. Protopia najczęściej pracuje z Azurem. Playground to miejsce podobne do czatu, które daje dostęp do gołego modelu językowego, a ten model potem trafia do agentów i aplikacji.
Goły model zachowuje się zupełnie inaczej niż ChatGPT w trybie agentowym. Na przykład w modelu OpenAI hostowanym dla Ciebie na Azure wyszukiwanie w internecie działa trochę inaczej: Bing Search pod spodem nie zachowuje się tak jak w publicznym, konsumenckim ChatGPT. Na playgroundzie biznes widzi, jak model faktycznie działa, także przy takim prompcie jak ten z wiadomości klienta.
Jeśli ludzie z biznesu chcą coś przetestować, powinni dostać dostęp do playgroundu, a nie blokadę narzędzi. Zbudują wtedy realistyczne oczekiwania i zaufanie. Te testy odbywają się jeszcze przed właściwym PoC, na etapie zabawy i odkrywania.
Analizę najbardziej utrudnia dostęp do systemów
Po testach na playgroundzie przychodzi analiza, najgorsza faza. W większości PoC Protopii automatyzacja i zachowanie agenta nie sprawiają problemów. Łukasz Kałużny: „Większość problemów to dostęp do systemów.”
Ktoś musi wykonać mrówczą pracę: ustalić, skąd pochodzą potrzebne dane, z jakiego systemu, jak uzyskać do niego dostęp i czy system ma API. Jeśli API nie ma, trzeba sprawdzić, czy da się zautomatyzować dostęp przez przeglądarkę albo czy wystarczy dostęp do bazy danych. To inwentaryzacja systemów, z których korzysta automatyzowany proces. Dziś najczęściej chodzi o pobranie danych i działanie na ich podstawie albo, trochę jak wcześniej w RPA (Robotic Process Automation), zapis do innego systemu lub wywołanie API.

Gdy proces jest już spisany, większość dalszej pracy technicznej to żmudna integracja. Budowa agentów to mocno programistyczna praca, a nie data science.
Wyzwalacz i miejsce człowieka ustala się na początku
Na początku trzeba odpowiedzieć na dwa pytania. Pierwsze: co uruchamia agenta. Agent sam się nie domyśli, więc jego pracę musi coś wyzwolić, na przykład mail w skrzynce, zdarzenie albo kliknięcie człowieka. Drugie to human in the loop: w którym momencie człowiek wchodzi do procesu, akceptuje pracę agenta albo z niej korzysta.
Macierz akceptacji to jasne reguły, kiedy coś może się wykonać automatycznie, a kiedy nie. To ona wyznacza miejsce człowieka w procesie. Protopia często radzi, żeby na końcu coś zaakceptować, i w wielu przypadkach to wystarcza.

| Proces | Co robi agent | Rola człowieka |
|---|---|---|
| Reklamacja lub zapytanie klienta | Przemiela sprawę, przygotowuje uzasadnienie i odpowiedź, skraca czas dostarczenia | Sprawdza to, co wychodzi do klienta, zanim zostanie wysłane; może nic nie zmienić i kliknąć „send” |
| PoC zbierający dane i przygotowujący analizę | Przygotowuje gotowy raport ze wszystkimi źródłami | Sam weryfikuje, czy raport jest w porządku |
| Wycena na podstawie wyszukiwania w internecie | Agent szuka i proponuje cenę; dodatkowy agent-sędzia Judge robi screenshoty stron źródłowych i przekazuje cenę dalej, gdy podstawowe informacje na stronach się zgadzają | Akceptuje wynik na końcu |
| Obsługa posprzedażowa otwartych szkoleń marki Patoarchitekci, należącej do Protopii (zaproszenie, dodanie do szkolenia) | Obsługuje zakup szkolenia | Brak człowieka, bo ewentualny problem jest bardzo mały i nie szkodzi ani reputacji, ani finansom |
Interpretację AI Act Protopia zawsze zostawia klientowi, bo to nie jej specjalizacja. Przy ustalaniu miejsca człowieka liczy się pojęcie systemów wysokiego ryzyka i to, jak zinterpretują je prawnicy i compliance firmy. Pierwszy pomysł może okazać się błędny i wyjdzie to w testach. Między innymi po to jest PoV.
Kryteria sukcesu spisuje się przed pierwszym testem
Właściwy PoV zaczyna się od jasnych kryteriów sukcesu. Protopia zwykle stara się w nim wstępnie zautomatyzować cały proces. Trzeba ustalić, co dokładnie zostanie przetestowane: na przykład najważniejsze i najbardziej problematyczne elementy albo cały proces bez edge case’ów i corner case’ów, czyli szczęśliwą ścieżkę z mało problematycznymi odgałęzieniami. Przykładowe kryterium brzmi: w fazie PoC 80% przypadków zostało obsłużonych poprawnie.
Wyniki takie jak raporty ocenia ekspert biznesowy klienta. Niektóre cechy jakości bardzo trudno zmierzyć: to, czy pismo jest językowo w porządku, zawsze zależy od ludzkiego odczucia i jest bardzo subiektywne.
Testy prowadzą prosto do celu, z brzydkim UI i logowaniem
Testy powinny iść prosto do celu i w większości przypadków nie skupiać się na sprawdzaniu technologii ani zabawie nowym frameworkiem. Protopia najczęściej daje do testów kawałek UI, zwykle jak najbrzydszy, żeby nikogo nie kusiło wdrożyć go następnego dnia na produkcję. Ten UI jest tylko minimalnie użyteczny.
Od początku potrzebne jest w miarę dobre logowanie w całym procesie: jak agent działał, ile to trwało, jakie decyzje podjął i co działo się dalej. W PoC wystarczy do tego plik tekstowy.
Logi są katalogiem błędów i roadmapą: pokazują, co trzeba poprawić, a czego nie poprawiać. Przykładem jest znaleziony edge case, który trzeba koniecznie naprawić, jeśli projekt pójdzie do pilotażu lub na produkcję, ale nie w tym momencie. Testy pokazują też czas działania. U jednego z klientów agent nie odpowie w ciągu 30 sekund, bo danych jest za dużo, i tego nie da się przeskoczyć. Generowanie raportu może trwać 5 minut, bo agent musi przejrzeć kilkadziesiąt stron, zanim podejmie decyzję. Takie ograniczenia są w porządku, bo pomagają zbudować oczekiwania i roadmapę, żeby przy decyzji o wejściu na produkcję nie było niespodzianek.
Po testach zapada jedna z trzech decyzji: scale, iterate albo kill
Protopia ocenia wynik testów trzema stanami.
| Stan | Kiedy | Co dalej |
|---|---|---|
| Scale | PoC spełnił swoje cele: osiągnął spisane kryteria sukcesu albo biznes subiektywnie potwierdził, że chce iść dalej | Pilotaż i produkcja; eksperyment staje się faktycznym projektem |
| Iterate | Wynik jest blisko sukcesu, a zespół wie, co poprawić i że potrzebuje na to czasu; samo przeczucie, że będzie dobrze, nie wystarcza | Kolejna iteracja i ponowne testy |
| Kill | Kryteria nie są osiągane, a zespół kręci się w kółko | Warto rozważyć zamknięcie inicjatywy; wnioski trzeba spisać |
W procesie wyceny iteracja polegała na dodaniu agenta-sędziego, który weryfikuje wynik. Ta zmiana i ponowne pełne testy wymagały jeszcze 3–4 dni.
Kill to najbardziej znienawidzony status, bo nie da się odtrąbić sukcesu. Jeśli wnioski są dobrze spisane, wiadomo, dlaczego się nie powiodło, i to też jest sukces. Łukasz Kałużny: „operacja została przeprowadzona z sukcesem. Pacjent zmarł.”
Powodem bywa pomysł, który nie był wart automatyzacji, albo brak dostępu do API. Zbyt wygórowane oczekiwania też się zdarzają, choć coraz rzadziej. Wreszcie dodanie automatyzacji w systemie może okazać się za drogie, gdy koszt dobudowania API pochłonie potencjalne zyski. Zamknięcie chroni zespół przed utopieniem się w projekcie, który i tak by nie działał.
Przy dobrej analizie większość takich PoC kończy się sukcesem, także wtedy, gdy po podsumowaniu kosztów okazuje się, że projekt nie ma sensu.
Rozmawiają

Łukasz Kałużny
Founder, Managing Partner, Technology Advisor.
Łukasz Kałużny jest współzałożycielem Protopii i Microsoft MVP w kategorii Microsoft Foundry. Współprowadzi Patoarchitekci od 2019 roku i rozmawia o architekturze IT, GenAI i agentach AI bez marketingowego szumu.
Wszystkie wpisy autora
Mikołaj Szczerbicki
Head of Sales & Business Development.
Mikołaj Szczerbicki jest Head of Sales & Business Development w Protopii i współprowadzi podcast Powered by Protopia. Ustala zakres i wycenę projektów, więc pyta o koszty, ryzyko i czas wdrożeń AI, Azure i Kubernetes.
Wszystkie wpisy autora
FAQ
Co, jeśli procedury są nieaktualne albo ich nie ma?
Wiedzę plemienną i tak trzeba zdobyć od ludzi. Znajdą się osoby, które powiedzą, że procedury powinny być aktualne, ale tak nie jest.
Czy kryteria sukcesu muszą być stałe?
Kryteria mogą się potem zmieniać i będą subiektywne, ale pokazują, do czego zespół zmierza.
Czy wynik iterate oznacza, że testy się nie udały?
Nie. Taki wynik pokazuje, nad czym jeszcze trzeba popracować i co przemyśleć, żeby rozwiązanie spełniło oczekiwania.
Pełna transkrypcja
00:00 Zapowiedź: dostęp do systemów i tydzień przygotowań
Łukasz Kałużny: Chodzi o to, że do tego procesu trzeba czasami ciutkę inaczej podejść, żeby miało to sens. Proces i spisana procedura czy instrukcja to jedno, a to, jak życie jest potem obsługiwane, to druga sprawa.
Mikołaj Szczerbicki: Życie pisze swoje scenariusze.
Łukasz Kałużny: Dokładnie. Większość problemów to dostęp do systemów. To jest zabicie tego eksperymentu, tej inicjatywy. Dlaczego mówię, że to jest sukces? Najważniejszy punkt: tydzień przygotowań i zebrania danych oszczędzi nam dużej ilości pracy, która w ogóle nie powinna się odbyć na zasadzie debugowania.
00:39 Skąd temat: precyzyjny prompt, różne odpowiedzi
Mikołaj Szczerbicki: Cześć! Witajcie w Powered by Protopia. Nazywam się Mikołaj Szczerbicki i dzisiaj jest ze mną Łukasz Kałużny.
Łukasz Kałużny: Dzień dobry wszystkim.
Mikołaj Szczerbicki: Łukasz, dzisiaj porozmawiamy o tym, jak budować agenta AI w organizacji, żeby ta inicjatywa zakończyła się sukcesem. Powiem Ci szczerze, że bardzo się cieszę, że mogę porozmawiać o tym z Tobą, bo wiem, jak duże masz doświadczenie. Jest ono prosto z placu boju, a nie oparte na slajdach marketingowych. Powiedz mi, dlaczego akurat dzisiaj poruszamy ten temat?
Łukasz Kałużny: Powody są dwa. Budujemy dużo takich PoC-ów, a na rynku jest teraz moment, w którym wszyscy eksperymentujemy, jak coś wyciągnąć z LLM-ów, z generative AI. Drugim zapalnikiem była pewna wiadomość od klienta. Cytując: prompt jest bardzo precyzyjny, ale odpowiedzi różnią się merytorycznie. Brzmi znajomo, kiedy coś wklepujemy w czat. Chodzi o to, że do tego procesu trzeba czasami ciutkę inaczej podejść, żeby miało to sens, i inaczej wykorzystać wiedzę biznesu, żeby PoC się udał, niż tylko wrzucić to w ChatGPT, Copilota, Gemini czy Claude'a.
01:57 Krok 1: spisz proces z wiedzy plemiennej
Mikołaj Szczerbicki: Dobrze, Łukasz. Skoro używamy słowa „proces”, to każdy proces ma swoje etapy. Jak to się mówi, first things first, zacznijmy od początku. Co według Ciebie powinno być krokiem numer jeden?
Łukasz Kałużny: Jeżeli budujemy PoC-e z generative AI, chcemy dojść do działającego rozwiązania. Trzeba też powiedzieć, że obok proof of concept często mówimy proof of value, bo koncepcję wypadałoby sprawdzić, zanim zainwestujemy w budowę pełnoprawnego rozwiązania. W organizacji jest bardzo dużo niewiadomych: czy to zadziała, czy nie, czy będzie działało powtarzalnie.
Mikołaj Szczerbicki: Z doświadczenia podejrzewam, że to zależy też od tego, jak zdefiniujemy sukces, ale do tego pewnie dojdziemy.
Łukasz Kałużny: Tak. Zanim w ogóle weźmiemy się za budowę rozwiązania, robimy PoC-a. A żeby zrobić PoC-a, najpierw potrzebujemy wiedzieć, jak wygląda proces, który chcemy zautomatyzować. To jest clou problemu. Powinniśmy dokładnie wiedzieć, co teraz jest robione ręcznie i jak to wygląda w systemach.
Mikołaj Szczerbicki: Dobrze, to jak to zweryfikować?
Łukasz Kałużny: Nasze podejście z klientami jest takie, żeby osobę, która ma wiedzę, posadzić do spisania swoich kroków po prostu w Wordzie. Dosłownie. Największy sukces mamy wtedy, kiedy taka osoba usiądzie i dokładnie spisze albo nagra ekran: co robi i dlaczego. Czyli spisujemy proces biznesowy z tak zwanej wiedzy plemiennej. Bo nie oszukujmy się, większość z Was, Ty, Mikołaj, też, wie z doświadczenia, jak to wygląda w życiu: proces i spisana procedura czy instrukcja to jedno, a to, jak życie jest potem obsługiwane, to druga sprawa.
Mikołaj Szczerbicki: Życie pisze swoje scenariusze.
Łukasz Kałużny: Dokładnie. Bardzo często instrukcja nie jest potem aktualizowana, jeżeli zmieniły się warunki biznesowe, konfiguracja systemu albo nasze podejście. Dlatego pierwszym krokiem, i to daje największy sukces, jest spisanie wiedzy plemiennej od ludzi, którzy tę pracę wykonują. Czasami wystarczy dwóch pracowników, dwóch ekspertów, którzy spiszą, co robią w systemie biznesowym. U jednego z klientów ubezpieczeniowych spisano na przykład: biorę dane z systemu X, potem robię research w internecie, kim naprawdę jest ten klient i co możemy mu zaproponować, a potem próbuję do tego dopasować ofertę i robię analizę. Taki Word jest świetnym punktem wyjścia do planowania, bo widać, co faktycznie się dzieje i co robił człowiek.
05:17 Procedury a rzeczywistość: prawo Conwaya
Mikołaj Szczerbicki: Dobrze. Jeżeli dobrze zrozumiałem, może to być jedna osoba, kilka osób albo warsztat biznesowy. Chodzi o to, żeby to, co chcemy zautomatyzować, przełożyć na papier: opisać, jak obecnie funkcjonuje i jakie mamy oczekiwania. A co w sytuacji, o której wspomniałeś: procedury nie są opisane, dokumentacji nie ma albo jest stara, czyli zostaje wiedza plemienna?
Łukasz Kałużny: Tę wiedzę plemienną po prostu trzeba zdobyć. Znajdą się ludzie, którzy powiedzą, że przecież procedury powinny być aktualne, ale tak nie jest. Przestańmy się oszukiwać w tym miejscu. Proces też nie zawsze jest intuicyjny. Dobrze pokazuje to prawo Conwaya: proces odzwierciedla strukturę komunikacyjną firmy, a nie logikę, którą powinien mieć. Być może to okazja, żeby zastanowić się, czy procesu nie warto uprościć i wysprzątać. Ale to już insight nie na ten odcinek.
Mikołaj Szczerbicki: Bardzo mnie tym zaciekawiłeś, bo zastanawiam się, jak często organizacje faktycznie biorą to pod uwagę. Jak często budowa jednego rozwiązania pociąga za sobą zmiany organizacyjne, czasem też zmiany kultury, i te zmiany są wdrażane? Skoro jednak to nie temat dzisiejszego odcinka, przejdźmy dalej. Jeżeli mamy wszystko spisane, co robimy dalej?
06:19 Krok 2: playground zamiast czatu konsumenckiego
Łukasz Kałużny: Kolejna rzecz to budowa oczekiwań. Wspomniałem o Copilocie i Gemini. Chodzi o to, żeby osobom nietechnicznym dać możliwość samodzielnego zbudowania oczekiwań, na przykład co do tego, jak zachowują się agenci, i miejsce do eksperymentowania, o którym mówiliśmy już w poprzednich odcinkach. Ważne jest to, żeby zamiast Copilotów i ChatGPT użyć playgroundów, z których potem sami będziemy korzystać przy budowie.
Mikołaj Szczerbicki: Łukasz, bardzo Cię proszę, rozwiń temat playgroundu, bo zabrzmiało to dosyć enigmatycznie.
Łukasz Kałużny: Każda z tych usług, a my najczęściej pracujemy z Azure, daje miejsce podobne do czatu, tylko z dostępem do gołego modelu językowego, który potem integrujemy w naszych agentach i aplikacjach. I to jest istotne: taki model zachowuje się zupełnie inaczej niż piękny, wybajerowany ChatGPT, który działa w trybie agentowym. Chodzi o to, żeby zobaczyć, jak zachowuje się podstawowy klocek Lego, z którego będziemy budować. Na przykład wyszukiwanie w internecie działa trochę inaczej w OpenAI hostowanym dla Ciebie na Azure. Bing Search, który jest pod spodem, zachowuje się inaczej niż to, co zobaczymy w publicznie dostępnym ChatGPT dla konsumentów.
Jeżeli osoby z biznesu chcą coś potestować, powinny dostać dostęp do takiego playgroundu, bo wtedy zbudują odpowiednie oczekiwania. Tak jak z promptem, o którym mówiłem na początku: zobaczą, jak to faktycznie działa. To buduje zaufanie, a po drugiej stronie powstają realistyczne oczekiwania. Dlatego nie mówię, że powinniśmy blokować te narzędzia i ich nie dawać. Trzeba dać to, z czego będziemy budować.
Mikołaj Szczerbicki: Playground jest więc naprawdę istotnym miejscem, żebyśmy nie mieli fałszywego obrazu tego, jak nasze narzędzie będzie działać. Czyli mamy teraz etap testowania.
Łukasz Kałużny: To testowanie przed faktycznym proof of conceptem. Jeszcze się bawimy i odkrywamy.
Mikołaj Szczerbicki: Dobrze, to jak przejść stąd do następnego kroku?
08:44 Krok 3: inwentaryzacja systemów i dostępów
Łukasz Kałużny: Kiedy już potestowaliśmy, mamy oczekiwania i wiemy, co chcemy osiągnąć, przechodzimy do najgorszej fazy, czyli analizy. Dlaczego najgorszej? W większości naszych PoC-ów, proof of value, nie mamy problemu z automatyzacją agentem ani z zachowaniem agenta. Większość problemów to dostęp do systemów. Kiedy już wiemy, co będziemy robić i jakie to są ekrany w systemie, ktoś musi wykonać mrówczą pracę: dowiedzieć się, skąd pozyskać potrzebne dane, z jakiego systemu, jak uzyskać do niego dostęp, czy ma API, a jeżeli nie ma, to czy da się to zautomatyzować przez przeglądarkę albo czy możemy dostać się do bazy danych i czy to będzie w porządku.
To jest inwentaryzacja w ramach procesu: jak będziemy pobierać dane z systemów, które automatyzujemy. Nie oszukujmy się, teraz najwięcej przypadków to pobranie danych i zrobienie czegoś na ich podstawie, a dalej, trochę jak wcześniej w RPA, czyli Robotic Process Automation, wrzucenie czegoś z powrotem do innego systemu albo wywołanie API. Pierwsze pytanie brzmi więc: czy mogę dostać się do tych danych, systemów i akcji?
Mikołaj Szczerbicki: Zwrócę się tutaj do osób, które nas oglądają. Mieliśmy już kilka odcinków o API Management i o tym, że API jest sercem platformy, która obsługuje agentów. Dlatego wiemy, że integracja to jeden z kluczowych elementów.
10:32 Integracja to 80% pracy; co uruchamia agenta
Łukasz Kałużny: Inaczej: po spisaniu procesu, tego, co robimy, to jest 80% sukcesu, a nawet 80% pracy już faktycznie technicznej. I to jest integracja. To może być zaskakujące. Dlatego podchodzę do tego tak, że budowanie robotów, nazwijmy je agentami, to bardzo mocno praca programistyczna. To nie jest data science, tylko w większości przypadków żmudna robota integracyjna, żeby wszystko dostarczać jak należy.
Patrzę jeszcze na notatki. Kolejnym problemem jest to, jak bardzo agent jest autonomiczny. Co go uruchamia: mail, który wpada na skrzynkę, zdarzenie, a może człowiek, który klika? Agenci się nie domyślą, coś musi wyzwolić ich pracę. Trzeba ustalić, co będzie ją wyzwalać. To pierwsza rzecz. Druga, która z tego wynika: czy mamy human in the loop? W którym momencie wchodzi człowiek, w którym akceptuje albo wykorzystuje pracę agenta? Na to trzeba sobie odpowiedzieć od razu na początku.
11:50 Human in the loop: macierz akceptacji, agent sędzia i AI Act
Mikołaj Szczerbicki: Łukasz, to dla mnie istotne, bo widzę na rynku bardzo różne opinie na ten temat. Powiedz nam jasno, czy human in the loop, czyli obecność człowieka w procesie, jest wymagana za każdym razem, czy to już ten magiczny moment, kiedy nie jest potrzebna? Osobiście uważam, że human touch powinien być, czyli człowiek powinien cały czas znajdować się w procesie. To chyba jeszcze nie ten moment, kiedy możemy aż tak zaufać agentom.
Łukasz Kałużny: Powiem, jakie są elementy. Weźmy draftowanie, czyli przygotowanie odpowiedzi do klienta.
Mikołaj Szczerbicki: No właśnie, na konkretnych przykładach.
Łukasz Kałużny: Przygotowanie odpowiedzi do klienta. Przychodzi reklamacja albo zapytanie od klienta, agent przemiela wszystko, przygotowuje uzasadnienie i odpowiedź. Człowiek na sam koniec to sprawdza i ocenia, czy jest w porządku. To jeden z takich elementów. W automatyzacji skracamy cały czas dostarczenia, ale niech człowiek sprawdzi to, co ma wyjść do klienta, zanim zostanie wysłane. Być może nic nie zmieni, po prostu kliknie „wyślij” i to też będzie w porządku. W innych przypadkach, jak w PoC-u, o którym wspominałem na początku, który zbierał dane i przygotowywał analizę, człowiek dostaje gotowy raport ze wszystkimi źródłami i sam musi zweryfikować, czy jest w porządku.
Mikołaj Szczerbicki: Dobrze, a powiedz mi jeszcze jedno. Chcielibyśmy, żeby procesy były jak najbardziej zautomatyzowane. Jak podjąć dobrą decyzję, w którym miejscu procesu powinien znaleźć się człowiek?
Łukasz Kałużny: Potrzebne są jasne reguły. Inaczej: trzeba zrobić macierz akceptacji i wyznaczyć, kiedy coś może być zrobione automatycznie, a kiedy nie. W jednym z przypadków agent wyszukiwał coś w internecie i na tej podstawie proponował wycenę. Wprowadziliśmy tam dodatkowego agenta sędziego, nazywał się Judge, który sprawdzał screenshoty stron. Brał źródła, robił zrzuty stron i jeżeli podstawowe informacje na stronach się zgadzały, przekazywał dalej, że jest taka cena, a na koniec trafiało to do człowieka. Dlatego często mówię: na końcu coś zaakceptuj. Zauważ, Mikołaj, że ciągle mówię „na końcu zaakceptuj” i w wielu przypadkach to będzie w porządku.
Weźmy z kolei naszą firmę i część z otwartymi szkoleniami w marce Patoarchitekci. W obsłudze posprzedażowej, kiedy wpada zakup otwartego szkolenia, agent zaprasza uczestników, dodaje ich do szkolenia i tak dalej. Tam w ogóle nie ma człowieka, bo nawet jeżeli wystąpi problem, jest on bardzo mały i nie szkodzi ani reputacyjnie, ani finansowo. Trzeba więc popatrzeć na to także z drugiej strony.
Jest jeszcze rzecz, która nie jest naszą specjalizacją i zawsze zostawiamy ją klientowi: jak jego firma interpretuje AI Act. Kluczowe jest tu całe pojęcie systemów wysokiego ryzyka i to, jak interpretują je prawnicy i compliance.
Mikołaj Szczerbicki: Czyli dobrze rozumiem, że nasz pierwszy pomysł na obecność człowieka w procesie nie musi być słuszny, a właściwe miejsce wyjdzie na etapie testów. Po to między innymi robimy testy, po to jest PoV. Dobra, co mamy dalej?
15:27 Krok 4: kryteria sukcesu przed testami
Łukasz Kałużny: Dobra, mamy już wszystko, można przejść do pracy: wiemy, skąd i jak, i zaczynamy PoV. Pierwszy faktyczny krok to jasne kryteria sukcesu. Przy PoV zwykle staramy się wstępnie zautomatyzować cały proces. Proof of value czy proof of concept sprawdza, czy nasza koncepcja zadziała. To jest, ładnie po polsku, studium wykonalności. Trzeba wyznaczyć, co tak naprawdę przetestujemy: najbardziej kluczowe albo najbardziej problematyczne elementy, a może cały proces bez wszystkich edge case'ów i corner case'ów, czyli tak zwaną szczęśliwą ścieżkę z mało problematycznymi odnogami, żeby sprawdzić najważniejsze elementy. I trzeba ustalić jasne kryteria. Na przykład: w fazie proof of concept 80% przypadków zostało obsłużonych poprawnie. To jasne kryterium tego, co jest dla nas sukcesem. I teraz zupełnie szczerze…
Mikołaj Szczerbicki: Łukasz, kiedy o tym mówisz, brzmi to niesamowicie łatwo. Jestem jednak przekonany, że dopiero z takim doświadczeniem jak Twoje, po tylu przypadkach, można w miarę jasno wyznaczyć takie kryteria. Komuś, kto zaczyna tę przygodę, wyznaczenie kryteriów sukcesu naprawdę nie przychodzi łatwo.
Łukasz Kałużny: Nie, i zwykle chcemy, żeby się udało. Dlatego trzeba podejść do tego realistycznie i zdobyć doświadczenie. Zupełnie uczciwie: my też często mamy takie pytanie. Weźmy raporty. Nasi klienci mają swoich ekspertów biznesowych i to taki ekspert naprawdę ocenia, czy wynik jest w porządku, czy nie. Bardzo trudno ocenić to mierzalnie. Ktoś mógłby się przyczepić, że da się to zmierzyć, ale to zawsze jest ludzkie odczucie, na przykład czy tekst pisma był językowo w porządku. Sam, pracując z tym na co dzień, wiesz, że coś…
Mikołaj Szczerbicki: Subiektywne.
Łukasz Kałużny: Jest bardzo subiektywne. Tak to wygląda w tej części.
Mikołaj Szczerbicki: Okej, czyli mamy wyznaczone kryteria sukcesu i przeprowadzamy testy.
17:54 Testy: brzydki UI i logowanie od początku
Łukasz Kałużny: Testy. W większości przypadków testy nie powinny skupiać się na testowaniu technologii i zabawie nowym frameworkiem, tylko iść prosto do celu. Zaczynamy implementację. Z naszej perspektywy najczęściej staramy się mieć kawałek UI, zazwyczaj jak najbrzydszy. Mówię „jak najbrzydszy”, żeby nikogo nie korciło, żeby następnego dnia było to na produkcji. Dajemy minimalną użyteczność, zostawiamy środowisko i po prostu zaczynamy testować agentów, ten kod.
Z doświadczenia technicznego jedna rzecz do zapamiętania: zrób w miarę dobre logowanie w całym procesie, żeby potem łatwo się ze wszystkiego rozliczyć: jak działało, ile trwało, jakie decyzje podjął agent i co działo się dalej. Tak jak przy dobrej aplikacji, observability trzeba zapewnić od początku.
Mikołaj Szczerbicki: Właśnie, chciałem wspomnieć, że kiedy słyszę „logowanie”, od razu przypominają mi się moje rozmowy z Szymonem o observability, do których obejrzenia gorąco zachęcam.
Łukasz Kałużny: Tak, warto je zobaczyć, tam można przyjrzeć się części produkcyjnej. Tutaj potrzebujemy mniej, bo wystarczy plik tekstowy. Ważne jest, po co to robimy. Logi będą naszym katalogiem błędów i roadmapą: co trzeba poprawić, a czego nie poprawiamy. Trzeba zdecydować, czy coś jest rzeczą na przyszłość. Na przykład znaleźliśmy edge case, który przy pilocie czy produkcji koniecznie trzeba naprawić, ale nie w tym momencie.
Im więcej takich rzeczy wyłapiemy w trakcie testów, tym lepiej. Zobaczymy też, ile będzie trwała automatyzacja. U innego klienta nie przeskoczymy tego, że agent nie odpowie w ciągu 30 sekund, bo danych jest za dużo, albo że raport będzie się generował 5 minut, bo agent musi przejrzeć kilkadziesiąt stron, żeby podjąć decyzję. To jest w porządku i pozwala zbudować odpowiednie oczekiwania oraz roadmapę, żeby nie było niespodzianek, jeżeli zdecydujemy się wejść na produkcję.
Mikołaj Szczerbicki: Dobrze, to powiedz mi, jak mamy interpretować wnioski z testów?
20:13 Scale, iterate, kill i dlaczego kill to sukces
Łukasz Kałużny: Mamy takie podejście, że są trzy stany. Pierwszy nazwijmy scale, czyli skaluj: idź dalej, rób pilota, rób produkcję. To oznacza, że proof of concept spełnił swoje cele i wiemy, co trzeba zrobić dalej. Osiągnęliśmy kryteria sukcesu, które spisaliśmy, albo subiektywnie usłyszeliśmy: tak, jest w porządku, chcemy z tym iść dalej. Jesteśmy świadomi, że wychodzimy z fazy eksperymentu do fazy faktycznego projektu. Drugi status, który możemy mieć przy tych decyzjach, to iterate, czyli kolejna iteracja.
Mikołaj Szczerbicki: Czyli próbuj dalej.
Łukasz Kałużny: Próbuj dalej. Ale nie dlatego, że czujemy, że będzie dobrze, tylko dlatego, że wiemy na przykład, że potrzebujemy czasu, żeby poprawić X, Y, Z. Takim przypadkiem była implementacja sędziego w procesie, o którym mówiłem. Pojawił się pomysł: w sumie możemy dodać agenta, który to zweryfikuje. Potrzebujemy na to jeszcze 3–4 dni, żeby zrobić jeszcze raz pełne testy.
Mikołaj Szczerbicki: Czyli testy zakończone tym statusem wcale nie są złe. To nie jest zły wynik testu, tylko dobry, bo pokazuje, nad czym jeszcze powinniśmy popracować i co przemyśleć, żeby rozwiązanie faktycznie spełniało nasze oczekiwania.
Łukasz Kałużny: I ostatni, najbardziej znienawidzony status, bo nie można odtrąbić sukcesu, choć ja uważam, że to jest sukces: kill, czyli zabicie eksperymentu, inicjatywy. Dlaczego mówię, że to sukces? Jeżeli dobrze to spisaliśmy, wiemy, dlaczego się nie powiodło. Przy proof of concept i proof of value celem jest sprawdzenie, czy rozwiązanie wniesie wartość i będzie wykonalne. Przeprowadziliśmy test. To trochę czarny humor, ale operacja została przeprowadzona z sukcesem. Pacjent zmarł.
Mikołaj Szczerbicki: Tak, właśnie, to dla mnie istotne. Powiedz, czy dobrze myślę: to nie był zły agent, tylko ta idea nie była warta automatyzacji.
Łukasz Kałużny: Tak, nie była warta automatyzacji. W niektórych miejscach być może zabrakło dostępów do API i dlatego się nie powiodło.
Mikołaj Szczerbicki: Może zbyt wygórowane oczekiwania.
Łukasz Kałużny: Też, choć na szczęście coraz rzadziej. Powiedziałbym raczej, że może się okazać, że dodanie automatyzacji w jakimś systemie będzie w firmie zbyt kosztowne. Na przykład koszty dobudowania API pochłoną potencjalne zyski. Na to też trzeba popatrzeć. Jeżeli dobrze spiszemy wnioski, dlaczego się nie powiodło, to był sukces. I kolejny sukces: nie utopiliśmy się w projekcie, który i tak by potem nie działał. To też istotna rzecz.
23:23 Podsumowanie: tydzień przygotowań oszczędza pracę
Mikołaj Szczerbicki: Z biznesowego punktu widzenia brzmi to naprawdę bardzo istotnie. Łukasz, mam wrażenie, że przeszliśmy przez wszystkie kroki takiego procesu. Czy możesz zrobić dla nas podsumowanie?
Łukasz Kałużny: Najważniejszy punkt: tydzień przygotowań i zebrania danych oszczędzi nam naprawdę dużo pracy, która w ogóle nie powinna się odbyć na zasadzie debugowania. To, co wie Ania, czyli przykładowo nasza pracownica, o tym, jak coś zrobić: trzeba z nią usiąść i to spisać. To będzie nasz wsad do analizy i do ustalenia, czego faktycznie potrzebujemy. Pierwsza rzecz to więc stara dobra analiza i od niej zacznijmy.
Druga rzecz to spisanie kryteriów sukcesu: co oznacza, że idziemy dalej. To może być potem płynne i subiektywne. Okej, ale wiemy, do czego zmierzamy. I ostatnia rzecz: z analizy może wyjść, że to już nie ma sensu. Jeżeli dobrze zrobimy analizę, większość takich PoC-ów zakończy się sukcesem. Wtedy zdecydujemy, czy iterujemy, idziemy dalej do fazy pilotażowej, czy może podsumujemy koszty i okaże się, że to nie miało sensu. Ale sukcesem tego PoC-a będzie to, że sprawdzimy, co faktycznie możemy osiągnąć. Dobre przygotowanie jest tu kluczem, a następnie pamiętanie o sprawdzaniu metryk i iterowaniu, jeżeli jesteśmy blisko sukcesu. Jeżeli nie osiągamy sukcesu, bo kręcimy się w kółko, to być może warto już zabić tę inicjatywę.
Mikołaj Szczerbicki: Łukasz, bardzo Ci dziękuję. Jak wspomniałem, dla kogoś, kto pierwszy raz próbuje zbudować agenta, to na pewno nie jest łatwe. Myślę jednak, że dzięki temu, co dzisiaj powiedziałeś, wielu osobom będzie znacznie łatwiej. Wszystkim bardzo dziękujemy i do zobaczenia w następnym odcinku. Cześć!
Łukasz Kałużny: Cześć!

