Asystent AI dla ponad 60 tys. pracowników: HR, integracje i wdrożenie etapami
- Dla kogo:
- CTO, CIO, architekci i managerowie IT wdrażający asystenta AI dla pracowników
- Czas czytania:
- 7 min
- Odcinek:
- 28 min
Po kliknięciu wideo załaduje się z YouTube (Google). Google może zapisać dane na Twoim urządzeniu i przetwarzać je także w USA. Więcej (PDF) · Obejrzyj na YouTube
Słuchaj też: Spotify · Apple Podcasts · RSS
W skrócie
Gdy pracownicy dużej firmy nie wiedzą, w którym systemie HR szukać odpowiedzi ani jaki ticket założyć, asystent AI może być jednym punktem wejścia do tych systemów. Z tego wdrożenia w globalnej firmie farmaceutycznej dowiesz się, jak zawęzić pierwszy zakres, kiedy asystent ma odesłać użytkownika do formularza, dlaczego najwięcej pracy pochłaniają integracje i tożsamość oraz jak mierzyć efekt, gdy asystent trafia do kolejnych grup pracowników.
Kluczowe wnioski
- Projekt ruszył, bo HR przyszedł do IT z problemem: pracownicy gubili się w rozproszonych systemach kadrowych.
- Asystent zna kraj, rolę i umowę użytkownika, a logika procesów zostaje w systemach źródłowych.
- Zakres rośnie etapami: najpierw odpowiedzi z baz wiedzy, potem pomoc w ticketach i plany roczne.
- Najbardziej złożone tickety asystent świadomie odsyła do formularza i od pierwszego kontaktu mówi, czego nie obsługuje.
- Najwięcej pracy pochłaniają tożsamość, integracje i identyfikacja API. Pierwsza przeszkoda: asystent może widzieć tylko dane, do których użytkownik ma prawo w systemie źródłowym.
- Wdrożenie obejmuje coraz większe grupy pracowników, a efekt mierzy się liczbą ticketów, powrotami użytkowników i feedbackiem.
Projekt zaczął się od problemu HR z rozproszonymi systemami
Asystent powstał z inicjatywy działu HR dużej globalnej firmy farmaceutycznej, która działa w kilkudziesięciu krajach. Sprawy kadrowe są w tej firmie rozproszone po wielu systemach, na przykład po bazach wiedzy, systemach wypłat i benefitów. Pracownicy nie wiedzieli, do którego systemu się zwrócić, co w nim znajdą i co mogą w nim zrobić.
HR chciał ograniczyć złożoność tego układu i postawił sprawę jasno: jeśli IT tego nie zrobi, HR znajdzie sposób i rozwiąże problem samodzielnie.
Rozmówcy dość często widzą u klientów odwrotną sytuację. Zarząd albo dyrektor mówi „potrzebujemy AI”, a IT zastanawia się, co może zrobić, i zwykle zaczyna od własnych baz wiedzy zamiast od discovery z biznesem. Stąd bierze się opinia, którą słychać na rynku: 90% wdrożeń AI kończy się porażką, bo nie przynosi żadnej wartości.
Gdy do wdrożenia dołączył zespół Protopii, projekt był już dość dobrze opisany, miał sponsora i opiekunów biznesowych, a w firmie działała platforma AI. Klient uznał, że potrzebuje kogoś z zewnątrz, kto widział już wdrożenia agentowe: w tych systemach doświadczenie można mieć rok, dwa lata, a problemy z kontekstem czy halucynacje prędzej czy później się pojawią.
Asystent wie, kim jest użytkownik
W tym projekcie asystent to frontend z chatbotem, który zna kontekst użytkownika i ułatwia mu procesy HR. Nazwa „asystent” odróżnia go od agenta, rozumianego jako autonomiczny element, który w tle łączy i automatyzuje procesy. Od klasycznego chatbota bez kontekstu różni go to, że wie, w jakim kraju pracuje użytkownik, w jakiej roli i na jakiej umowie: o pracę czy B2B. Od tego zależy, co ta osoba może zrobić w sprawach HR.
Asystent integruje się z systemami, które działają w korporacji od lat, na przykład z systemem ticketów HR. Przez tickety idą między innymi urlop macierzyński lub chorobowy, prośba o szkolenie, zmiana roli i przeniesienie pracownika. Wokół nich jest ogromna i rozproszona baza wiedzy (KB): część procedur jest lokalna, część globalna. Stąd pytania w rodzaju: czy menedżer, który ma pracowników w trzech różnych miejscach, ma dostęp do wszystkich KB, czy tylko do części z nich.
Zakres rośnie etapami według roadmapy
Asystent obejmuje kolejne obszary jeden po drugim, bo roadmapa produktu nie próbuje wrzucić wszystkiego naraz. Klient ma wiele systemów, więc zakres na start trzeba było zawęzić.
Na początek poszła integracja z bazami wiedzy, prawdopodobnie najpilniejsza potrzeba: asystent miał odpowiadać w kontekście użytkownika. Pytania brzmią na przykład: ile mam dni urlopu, czy przysługuje mi dany benefit, czy mogę dostać samochód służbowy. Użytkownik nie przeszukuje baz ręcznie. Asystent sięga do tych systemów i składa z nich odpowiedź w języku, w którym padło pytanie.
Drugi obszar to tickety. Asystent najpierw próbuje rozwiązać sprawę na podstawie KB. Gdy użytkownik dalej nie wie, co zrobić, albo wie już, że musi zgłosić ticket, asystent proponuje, że wypełni z nim właściwy ticket i wskaże, gdzie on jest. Typów ticketów jest dużo.
Trzeci obszar to plany roczne pracowników. Pracownik razem z menedżerem i asystentem formułuje plan z celami SMART i go weryfikuje. Dalsza roadmapa jest szeroka, na razie to zamiary: learning, rekrutacje, rozwój pracownika i awanse wewnątrz organizacji. Docelowo asystent ma być centralnym punktem wejścia, który spina systemy HR w całość.
Rozmówcy widzą, że klienci oczekują superagenta, który od pierwszego dnia na produkcji rozwiąże wszystkie problemy. Z doświadczenia wiedzą, że to nie działa. W tym projekcie praca jest iteracyjna, podzielona na zadania i osobnych agentów.
Asystent mówi wprost, czego nie obsługuje
Asystent od pierwszego kontaktu deklaruje, co jest możliwe, a co nie. Rozmówcy widzą, że klienci często boją się mówić, co agent umie, a czego nie umie. Tutaj przy każdym kolejnym wydaniu MVP organizacja robi duże spotkanie typu town hall i ogłasza pierwszym użytkownikom, co asystent potrafi.
Część typów ticketów ma złożone formularze z dynamicznymi, rozwijanymi menu i zbyt wiele zależności. Zespół zdecydował, że asystent ich nie obsługuje. Dla użytkownika efektywniej jest, gdy asystent mówi, że w tej sprawie nie pomoże, i daje link do formularza, który użytkownik wypełnia sam. Dzięki temu zespół unika halucynacji. W ticketach zadziałała zasada Pareto:
Marek Grabarz: „90% funkcjonalności jesteśmy w stanie ogarnąć w 10% wysiłku i odwrotnie.”

Asystent łączy systemy, a procesy zostają w źródle
Asystent orkiestruje procesy i nie musi ich powielać. Gdy proces jest bardzo złożony i zamknięty w systemie źródłowym, zespół opisuje go asystentowi ogólnie, bez instrukcji krok po kroku, a całe „mięso” procesu zostaje po stronie systemu.
Istniejące systemy, takie jak SAP czy SharePoint, nie integrują się w oczywisty sposób. Trzeba ustalić, jak się z nimi łączyć, gdzie są zespoły utrzymaniowe i gdzie w organizacji jest wiedza o systemach docelowych.
Przykładem problemu niskopoziomowego jest dostęp delegowany. Jeśli systemem jest na przykład SAP, użytkownik widzi w nim własne cele roczne i e-learning, a przełożony także dane i deklaracje swoich pracowników. Asystent może widzieć tylko te dane, do których dany użytkownik ma prawo, więc musi odwzorować role i uprawnienia z systemu źródłowego (RBAC). To była pierwsza ściana, którą zespół musiał pokonać z klientem.
Marek Grabarz: „Większość pracy to jest wokół tożsamości, wokół integracji, wokół identyfikacji tych API.”

Wdrożenie obejmuje coraz większe grupy użytkowników
Etap nazwany pierwszym rejsem pilotażowym to produkcja z ograniczonym zasięgiem. W chwili nagrania korzystało z niej ponad 1000 aktywnych, unikalnych użytkowników.
Prawdopodobnie dzień przed nagraniem zespół dostał zgodę na wejście na produkcję z pełnym zakresem opisanym wyżej. To nadal nie jest pełny rollout: kolejny etap obejmuje 10% pracowników, czyli tysiące osób. Docelowo, prawdopodobnie na początku lipca, asystent ma trafić do wszystkich krajów i wszystkich pracowników. W chwili nagrania nie było widać dużych przeszkód dla tego planu.

Sukces mierzą tickety, powroty użytkowników i feedback
Pierwsza miara to liczba ticketów, zwłaszcza user requestów, czyli pytań do HR w rodzaju „jak mam zrobić to czy tamto”. Asystent ma rozwiązać sprawę już na etapie bazy wiedzy, żeby nie kończyła się ticketem, a pracownicy HR nie odpowiadali na takie pytania na czatach. Zespół śledzi zmiany w liczbie ticketów i ich typach. Druga miara to powroty: czy użytkownicy chętnie wracają do asystenta. Trzecia to odpowiedź na pytanie, czy asystent naprawdę rozwiązuje problemy.
Do tego służy feedback wbudowany w platformę i w asystenta, mierzony w dwóch wymiarach: biznesowym i technicznym. Użytkownik ocenia, czy sesja rozwiązała jego problem i czy stało się to szybko, czy po wielu pytaniach i krokach. Z feedbacku zespół ustala przyczynę: problem po stronie asystenta, niezrozumienie, jak asystent działa, albo braki w bazach wiedzy. Bazy wiedzy na bieżąco poprawia osobny zespół, bo bywają w nich stare albo niepoprawne wersje treści. Błędy się zdarzają, ale dużo feedbacku brzmi: świetnie, tylko dodajcie kolejne funkcje.
Gdy pojawiają się błędy, zespół korzysta z platformy monitoringu z tracingiem. Na etapie pilotażu można wydobyć całą treść czatu, kontekst wywołań i wywołane funkcje, a identyfikator sesji zostaje zachowany. Po pilotażu śledzenie na produkcji będzie węższe, bo asystent obsługuje wrażliwe dane HR, czasem o wypłatach, czasem o zdrowiu.
Koszt to projekt i tokeny, a część korzyści trudno zmierzyć
Koszt rozwiązania agentowego to suma wielu pozycji, w tym kosztu projektu i tokenów, które zużywa cały system. Korzyści można próbować mierzyć efektywnością organizacji i zadowoleniem użytkowników, ale wielu takich procesów nie da się przeliczyć na pieniądze.
W dużej organizacji nie zawsze wiadomo, gdzie jest właściwy ticket i który trzeba założyć. To tak zwana wiedza plemienna. Na przykład analityk finansowy ze sprawą kadrową, zamiast czekać dniami, pisać maile i zagadywać kogoś na Microsoft Teams, może szybko załatwić ją z asystentem i wrócić do swojej pracy. Taki nieprzerwany czas pracy to korzyść, którą trudno zmierzyć.
Rozmawiają

Marek Grabarz
Founder, Managing Partner, Technology Advisor.
Marek Grabarz jest współzałożycielem Protopii i Microsoft MVP w kategorii Microsoft Azure. Współprowadzi podcast Powered by Protopia i rozmawia z liderami IT o API Management, integracjach i bezpiecznym wdrażaniu AI.
Wszystkie wpisy autora
Mikołaj Szczerbicki
Head of Sales & Business Development.
Mikołaj Szczerbicki jest Head of Sales & Business Development w Protopii i współprowadzi podcast Powered by Protopia. Ustala zakres i wycenę projektów, więc pyta o koszty, ryzyko i czas wdrożeń AI, Azure i Kubernetes.
Wszystkie wpisy autora
FAQ
Od czego zacząć, gdy zarząd oczekuje wdrożenia AI?
Od warsztatów z biznesem. Pomagają zrozumieć, na czym stoi firma, i znaleźć kilka use case'ów spoza IT.
Po co zewnętrzny zespół, skoro firma ma własny dział IT?
Dojrzałe działy IT znają procesy DevOps i chmurę, ale w systemach agentowych nikt nie ma wieloletniego doświadczenia. Dlatego klient uznał, że warto wesprzeć się kimś z zewnątrz, kto pokaże, jak to się robi.
Skąd brać wymagania na kolejne funkcje: od biznesu czy od użytkowników?
Feedback pokazuje, czego potrzebują użytkownicy. Ich głos i głos biznesu muszą się wzajemnie uzupełniać.
Pełna transkrypcja
00:00 Zapowiedź: dlaczego wdrożenia AI nie dają wartości
Marek Grabarz: 90% wdrożeń tematów AI kończy się porażką, bo nie przynoszą żadnej wartości.
Mikołaj Szczerbicki: Firmy oczekują, że pojawi się superagent, który od pierwszego dnia na produkcji rozwiąże im wszystkie problemy.
Marek Grabarz: A na koniec dnia asystent to tylko klej, crème de la crème, który w efektywny sposób łączy te systemy ze sobą. Większość wyzwań w realizacji takich projektów to wyzwania związane z integracją.
Mikołaj Szczerbicki: Cześć! Witajcie w Powered by Protopia. Nazywam się Mikołaj Szczerbicki, a dziś w studio jest ze mną Marek Grabarz.
Marek Grabarz: Cześć wszystkim!
Mikołaj Szczerbicki: Marek, dzisiaj konkretny projekt, konkretna firma, konkretne wyzwanie. Porozmawiamy o tym, jak zespół Protopii pod Twoim przewodnictwem bierze udział we wdrożeniu agenta AI w dużej globalnej firmie farmaceutycznej. Mówimy o kilkudziesięciu krajach i ponad 60 tysiącach pracowników. Chciałbym, żebyśmy porozmawiali dziś o aspektach biznesowych, koncepcyjnych i decyzyjnych. Kwestie techniczne omówisz z Szymonem w następnym odcinku.
Marek Grabarz: Zostawiamy je na później.
Mikołaj Szczerbicki: Tak jest. Zacznijmy jak zwykle od początku, czyli od genezy problemu. Co takiego pojawiło się u klienta, że postanowili pomyśleć o wdrożeniu procesu agentowego u siebie?
01:27 Geneza: HR przychodzi do IT z problemem
Marek Grabarz: Cały projekt, o którym dziś mówimy, to inicjatywa, która powstała w obszarze HR. Ten agent AI działa właśnie w obszarze HR. Jak to w dużych organizacjach bywa, mają masę rozproszonych systemów HR: systemy z bazami wiedzy, systemy związane z wypłatami, rzeczy związane z benefitami. Wszystko to jest rozproszone w wielu systemach, co skutkowało pewnym niezrozumieniem: do którego systemu się odwołać, co w którym systemie można znaleźć i co można w nim zrobić. Na pewnym etapie HR, czy też HR i IT, doszli do wniosku, że trzeba zrobić agenta, a właściwie nie tyle agenta, co asystenta. Na koniec dnia to frontend z chatbotem, który ułatwi te procesy. Inicjatywa wyszła z takiego poziomu, że HR mówi: hej, potrzebujemy rozwiązać ten problem, potrzebujemy ograniczyć złożoność tego całego ekosystemu.
Jeżeli nie zrobicie tego dla nas, to jakoś znajdziemy sposób i rozwiążemy ten problem samodzielnie.
Mikołaj Szczerbicki: Czyli inicjatywa wyszła od biznesu. To biznes poszedł do IT i zgłosił zapotrzebowanie, a nie było tak, że dział IT dostał zadanie budowania agentów AI i drapał się po głowie, do czego ci agenci mogliby się w organizacji przydać.
Marek Grabarz: Tak. Schemat, który opisujesz, widzimy dość często: pojawia się polecenie zarządu albo potrzeba dyrektorska, że potrzebujemy AI. IT drapie się po głowie i myśli: dobra, ale co my tu możemy zrobić? Zwykle IT próbuje wtedy ogarniać swoje bazy wiedzy i swoje tematy, zamiast zrobić discovery, jakieś warsztaty i zrozumieć, na czym stoi biznes tej konkretnej firmy. A potrzeby często powstają właśnie na poziomie biznesu. To chyba klucz, który staramy się realizować w Protopii: spotkać się z biznesem, zrobić warsztaty i znaleźć kilka przypadków użycia spoza IT. Oczywiście IT będzie je realizować, ale problemy są tak naprawdę w innym miejscu.
03:58 Dlaczego duża firma sięga po zewnętrznych ekspertów
Mikołaj Szczerbicki: Na szczęście ten przypadek to nie ten scenariusz. Dobrze, wiemy już, jaki był problem u tego klienta. Powiedz mi, w którym momencie projektu pojawiła się Protopia jako zespół?
Marek Grabarz: Dobre pytanie. W tym konkretnym przypadku nie byliśmy tam od samego początku. Inicjatywa i potrzeba już powstały. Projekt został dość dobrze rozpisany: co oni będą próbowali rozwiązać. Była też wdrożona platforma AI. Projekt wystartował, miał sponsora i odpowiednich opiekunów biznesowych. Pojawiliśmy się w miarę na początku, kiedy pierwszy szpadel został wbity w ziemię, a oni doszli do wniosku, że potrzebują kogoś z zewnątrz, kto już widział te procesy i zgłębił implementacje agentowe i obszary AI. Potrzebowali zastrzyku wiedzy eksperckiej.
Mikołaj Szczerbicki: Tu nasuwa mi się pytanie. Zewnętrzna firma ekspercka w organizacji o olbrzymiej skali, w globalnej firmie. Na pewno mają rozbudowany dział IT i wewnętrzne kompetencje, a jednak byli świadomi, że potrzebują zewnętrznego eksperta.
Marek Grabarz: Temat AI, choć jest na tapecie od dwóch, trzech lat, nadal wygląda tak, że ustabilizowane działy IT wiedzą, jak działają procesy DevOps, chmura i tego typu rzeczy. Natomiast wiedzy eksperckiej nie wniesie tu człowiek z dziesięcioletnim doświadczeniem, bo w systemach agentowych doświadczenie można mieć rok, dwa lata. Uznali, że warto wesprzeć się kimś z zewnątrz, kto pokaże, jak to się robi, i pomoże uniknąć problemów, które prędzej czy później wyjdą: problemów z kontekstem, halucynacji i tego typu rzeczy. Warto, żeby był ktoś, kto już widział te problemy i wie, jak je adresować.
Mikołaj Szczerbicki: I wtedy ten klient zgłosił się do…
Marek Grabarz: Zgłosił się do nas.
Mikołaj Szczerbicki: Jak najbardziej. W takim razie przejdźmy do najważniejszej części naszej rozmowy. Opowiedz, co tam budujecie.
06:31 Asystent zamiast agenta i zwykłego chatbota
Marek Grabarz: Budujemy, jak już wspomniałem, asystenta. Staram się używać słowa „asystent”, żeby odciąć się od słowa „agent”. Dla mnie agent to autonomiczny element, który w tle łączy procesy i je automatyzuje. W tym przypadku mówimy o czymś, co nazwałbym chatbotem. I znowu odgradzam się od klasycznego chatbota, który działa bez kontekstu, choć oczywiście ma podłączone różne rzeczy. Ten asystent przede wszystkim wie, kim jest użytkownik, z którym rozmawia. Wiemy, że rozmawiamy z Mikołajem, który pracuje w konkretnym kraju, w konkretnej roli, a jego kontrakt to umowa o pracę albo B2B. To przekłada się na to, co może, a czego nie może zrobić w organizacji z punktu widzenia HR. Z drugiej strony integrujemy się z najróżniejszymi systemami, które w tym korporacyjnym świecie istnieją od lat, na przykład z systemem do obsługi ticketów HR.
07:38 Tickety, bazy wiedzy i plany roczne
Marek Grabarz: Co mam na myśli? Na przykład zgłoszenie urlopu macierzyńskiego albo zwolnienia chorobowego, prośbę o szkolenie, zmianę roli, przeniesienie osoby. Różne rzeczy obsługuje się przez zgłoszenia, czyli tickety. Wokół tego istnieje ogromna baza wiedzy, w skrócie KB, czyli knowledge base. Bazy są rozproszone: niektóre dotyczą procedur lokalnych, inne globalnych. Pojawiają się zagadnienia w stylu: jestem menedżerem i mam pracowników w trzech różnych miejscach, więc czy mam dostęp do wszystkich tych baz, czy do części? To problemy, które asystent będzie rozwiązywał albo już dziś rozwiązuje. Do tego obszar rozwoju pracowników. Konkretnie wzięliśmy do implementacji plany roczne. Ktoś ma plan, realizuje go, ma cele SMART, które chciałby osiągnąć. Razem z menedżerem i asystentem może formułować te plany i odpowiednio je weryfikować.
Mikołaj Szczerbicki: Powiedziałeś w liczbie mnogiej, bo zakładam, że tych systemów jest mnóstwo. O integracji mówiłeś już w poprzednich odcinkach. Wiemy, że agent bez integracji niewiele zdziała, nie jest pełnowartościowym agentem. Musi mieć dostęp, a integracje muszą być zrobione poprawnie, żeby mógł pobierać i przetwarzać dane. Ale tych systemów jest u klienta na pewno wiele. Prawdopodobnie musieliście coś wybrać, żeby od czegoś zacząć, zawęzić zakres.
Marek Grabarz: Dokładnie tak.
Mikołaj Szczerbicki: Co wybraliście?
09:23 Roadmapa: trzy filary zamiast wszystkiego naraz
Marek Grabarz: Trochę wyprzedziłem odpowiedź na to pytanie. Kluczem jest moim zdaniem dobranie roadmapy produktu tak, żeby nie próbować wrzucić wszystkiego jednocześnie. Pierwsza i najbardziej paląca rzecz to integracja z bazami wiedzy, tak żeby w kontekście użytkownika uzyskiwać konkretne odpowiedzi. Ile mam dni urlopu, czy przysługuje mi taki a taki benefit, czy mogę dostać samochód służbowy i co się z tym wiąże: najróżniejsze pytania, na które odpowiedzi wylądowały w tych bazach. Zamiast zmuszać użytkownika, żeby ręcznie przeszukiwał bazy i próbował coś znaleźć, asystent dostaje się do tych systemów i robi syntezę, która odpowiada natywnie, w języku zadanego pytania. To pierwszy filar. Drugi filar to tickety. Staramy się rozwiązywać problemy użytkowników właśnie w oparciu o bazy wiedzy.
Jeżeli jednak użytkownik dochodzi do ściany i mówi: nadal nie wiem, jak to zrobić, albo już wiem i muszę zgłosić ticket, to drugi krok jest propozycją, żeby wspólnie z nim wypełnić odpowiedni ticket i wiedzieć dokładnie, gdzie on jest. A typów ticketów jest dużo.
Mikołaj Szczerbicki: Czyli żeby szybko i sprawnie przeprowadzić go przez ten proces.
Marek Grabarz: Tak. Trzecia rzecz to wspomniane plany roczne. Chęci i roadmapa produktu są jednak szerokie. Mówimy o nauce, o rekrutacjach, o wewnętrznym rozwoju pracownika, gdzie może znaleźć szansę, żeby się odnaleźć i awansować w organizacji, pionowo albo w poprzek. Możliwości jest dużo.
Mikołaj Szczerbicki: Pomysł jest taki, żeby to rozwiązanie pokryło wiele obszarów HR w tej korporacji.
Marek Grabarz: Żeby stało się centralnym punktem wejścia, który de facto integruje te systemy w całość. Istotna rzecz, którą powtarzamy cały czas: staramy się, żeby asystent nie replikował wartości tych systemów, tylko był punktem dostępu do nich.
11:59 Wdrożenie etapami: ponad 1000 użytkowników
Mikołaj Szczerbicki: Możesz zdradzić, na jakim etapie jesteście z tym projektem i z trzema przypadkami, o których opowiedziałeś?
Marek Grabarz: Wdrożenie tego asystenta nie jest „all in”. Pierwszy etap, który nazwaliśmy pierwszym rejsem pilotażowym, czyli pierwsza produkcja, ma ograniczony zasięg. Na tę chwilę aktywnych, unikalnych użytkowników jest już ponad 1000. To pierwszy element.
Mikołaj Szczerbicki: Myślę, że wiele firm chciałoby w ogóle mieć tylu pracowników, a to na razie mała część tego projektu.
Marek Grabarz: Dosłownie. Bodajże wczoraj dostaliśmy zgodę, żeby wejść na produkcję z pełnym zakresem, który opisuję. Ale to znowu nie jest pełny rollout: mówimy o 10% pracowników, czyli już o tysiącach osób. Docelowo, prawdopodobnie na początku lipca, nie widzę wielkich przeszkód, żeby asystent wyszedł na całą organizację. Wtedy mówimy już o pełnym zakresie: wszystkie kraje i wszyscy pracownicy będą mieli dostęp do asystenta.
13:10 Co działa: iteracja, potrzeba biznesu, jawne ograniczenia
Mikołaj Szczerbicki: Muszę Ci powiedzieć, że widzę pewien schemat, który często pojawia się u naszych klientów. W tym przypadku widzę, że część rzeczy przemyślano w odpowiednim momencie. Pierwsza sprawa: firmy oczekują, że pojawi się superagent, który od pierwszego dnia na produkcji rozwiąże im wszystkie problemy. Wiemy z doświadczenia, że to nie działa. Tutaj, na szczęście, podejście koncepcyjne…
Marek Grabarz: …jest oparte na roadmapie.
Mikołaj Szczerbicki: Dokładnie, jest zupełnie inne. Jest iteracyjne, rozbite na poszczególne zadania i poszczególnych agentów. Nie powstał jeden duży agent, który ma się zająć wszystkim i nagle rozwiązać wszystkie problemy. Druga kwestia: w tym przypadku to HR, czyli biznes, wyszedł z konkretną potrzebą. Przyszli do działu IT i powiedzieli: słuchajcie, mamy takie wyzwanie i musimy znaleźć sposób, żeby je rozwiązać, pomóżcie nam. Wspomniałeś na początku, że dziś każdy chce mieć AI u siebie, siada i myśli: dobra, zróbmy AI i zastanówmy się, do czego je przypiąć.
Marek Grabarz: Wtrącę się. Później kończy się to tym, że słyszymy na rynku, że 90% wdrożeń tematów AI kończy się porażką, bo nie przynoszą żadnej wartości.
Mikołaj Szczerbicki: Dokładnie tak. I trzecia rzecz, której nie powinniśmy się bać, a widzę u klientów taką obawę: mówić o tym, co konkretnie agent umie, a czego nie umie. Chodzi o transparentność agenta i o to, żeby już na początku komunikacji, w interfejsie, który widzi użytkownik docelowy, przedstawić, do czego ten agent faktycznie służy. Jak to wygląda w tym projekcie?
Marek Grabarz: W tym przypadku, kiedy pojawiają się kolejne edycje, wydania MVP, organizacja robi duże spotkania, korporacyjnie mówiąc town halle. Pierwszym użytkownikom, a docelowo pewnie wszystkim, ogłasza się, że pojawił się asystent i że umie to, to i tamto. Kiedy po raz pierwszy wchodzę z nim w interakcję, od razu widzę deklarację, co jest możliwe, a co nie. Dodatkowo, nawet wewnątrz procesów: wspieramy tworzenie ticketów, OK. Doszliśmy jednak do etapu, w którym uznaliśmy, że pewne typy ticketów są tak złożone, z dynamicznymi, rozwijanymi i zwijanymi menu, że nie chcemy implementować ich przez agenta. Dla użytkownika efektywniej będzie, gdy asystent powie: w tym przypadku Ci nie pomogę, tu jest link, wypełnij ten ticket osobiście, bo jest tam za dużo zależności.
16:28 Zasada 90/10 i orkiestracja zamiast replikacji
Marek Grabarz: Dzięki temu unikamy halucynacji i problemów, trochę zgodnie z zasadą Pareto. W przypadku ticketów to nie było 80/20, tylko raczej 90/10: 90% funkcjonalności jesteśmy w stanie ogarnąć w 10% wysiłku i odwrotnie. Pozostałe 10% to tak trudny orzech do zgryzienia, że wolimy nie poświęcać 90% czasu, żeby wdrożyć je na siłę. Po prostu ogłaszamy, że ten ticket niestety nie będzie obsługiwany przez asystenta.
Mikołaj Szczerbicki: To też wymaga wiedzy i doświadczenia w pracy z agentami i asystentami, żeby znać ich prawdziwe możliwości, a nie pchać ich wszędzie.
Marek Grabarz: Tak, i przekłada się na jeszcze jedną regułę, którą wzięliśmy pod rozwagę. Ten agent służy temu, żeby orkiestrować procesy, a niekoniecznie je replikować. Jeżeli dojdziemy do wniosku, że jakiś proces jest niezwykle skomplikowany i zamknięty w systemie źródłowym, nie chcemy mikrozarządzać agentem, dając mu instrukcje krok po kroku, co ma robić, jak i dlaczego. Staramy się ogarniać to generycznie i orkiestrować proces, a całe procesowe mięso zostawiamy po stronie systemu. Orkiestrujemy, łączymy kropki, a niekoniecznie zastępujemy te systemy.
17:57 Jak mierzyć sukces: tickety, powroty, feedback
Mikołaj Szczerbicki: Dobrze. Wiemy już, co budujecie i na jakim etapie jest projekt. Mnie osobiście bardzo ciekawi, co mierzycie i co sprawdzacie. W poprzednich odcinkach rozmawiałem z Łukaszem o mierzeniu sukcesu. Jak mierzyć sukces?
Marek Grabarz: Jak zmierzyć sukces? W tym przypadku można wyjść od różnych elementów, na przykład od głównego problemu, który asystent miał rozwiązać. Tu jest to liczba zgłoszeń, czyli ticketów, w szczególności tak zwanych user requestów, które są po prostu pytaniem do HR, jak zrobić to czy tamto. Chodzi o to, żeby osoby z HR nie były męczone na czatach i w requestach. Mierzymy więc liczbę ticketów, które rzeczywiście powstają. Staramy się, żeby asystent rozwiązał problem już na etapie bazy wiedzy, a niekoniecznie żeby kończyło się to ticketem. Różnice w liczbie ticketów i konkretnych typów ticketów to jedna z miar, które zdecydowanie mierzymy. Druga istotna miara to to, czy użytkownicy chętnie wracają do asystenta i czy widzimy z tego wartość. Trzecia rzecz: czy asystent rzeczywiście rozwiązuje problemy. Tu mamy mocno zaangażowany element feedbacku w ramach platformy i tego agenta.
Feedback możemy mierzyć w dwóch wymiarach: biznesowym i technicznym. W biznesowym prosimy: hej, tu kawałek feedbacku. Czy ta sesja z asystentem rozwiązała Twój problem? Czy rozwiązała go szybko, czy wymagała wielu iteracji, pytań i kroków? Dostajemy konkretny feedback: tak, rozwiązała, albo nie, bo pojawiły się rzeczy niezwiązane z tym, czego szukałem. Dzięki temu identyfikujemy, czy była to kwestia agenta, niezrozumienia, jak działa, czy braków w bazach wiedzy. Jest tam zespół, który cały czas naprawia bazy wiedzy, bo czasem trafia się stara albo niepoprawna wersja. Czasem oczywiście pojawiają się błędy, ale jest też dużo feedbacku w stylu: super, ale chciałbym albo chciałabym, żeby były tu jeszcze dodatkowe rzeczy.
Oczywiście zbieramy te informacje, bo dzięki nim wiemy, gdzie jest zapotrzebowanie użytkowników. To, co mówi biznes, i to, co mówią użytkownicy, to dwa elementy, które muszą się wzajemnie uzupełniać. Kiedy mamy błędy, pod spodem działa platforma monitoringowa, wręcz z tracingiem. Na produkcji nie będziemy chcieli mieć tego w takim zakresie, bo mamy tu wrażliwe dane HR, czasem związane z payrollem, czasem z problemami zdrowotnymi, więc nie zawsze chcemy wszystko śledzić. Na etapie pilotażowym jesteśmy jednak w stanie wydobyć całą treść rozmowy, kontekst wywołań i poszczególne funkcje, jak zostały wywołane. Dzięki temu wiemy dokładnie, co się wydarzyło, a co nie. Identyfikator sesji nadal gdzieś tam jest.
21:16 Wartość, której nie policzysz w pieniądzach
Mikołaj Szczerbicki: Muszę tu wtrącić jedną rzecz. Słuchając o tych procesach, widzę, że bardzo często nie da się ich zmierzyć miarą pieniądza. Patrzę z perspektywy biznesowej i zarządczej, kogoś, kto miałby za to płacić. Jest wiele procesów, których nie da się zmierzyć tak, żeby spojrzeć z jednej strony, ile będzie mnie kosztowało rozwiązanie agentowe i ile zje tokenów, bo to suma wielu kosztów, a z drugiej strony, co będzie korzyścią, i to zważyć. W tym przypadku nie da się tego zrobić, tak?
Marek Grabarz: Poza typowymi aspektami finansowymi: ile kosztowała realizacja projektu i ile, w dużym uproszczeniu, kosztuje w tokenach cały system. Oczywiście możemy próbować mierzyć efektywność organizacji: jak powstają tickety, ile ich powstaje, czy użytkownicy są zadowoleni. Ale jest też aspekt niemierzalny. Załóżmy, że pracuję w organizacji i potrzebuję rozwiązać jakiś problem. Zwykle albo zagaduję do kogoś, albo próbuję znaleźć magiczny sposób: przetrząsam bazę wiedzy, przetrząsam tickety, próbuję coś stworzyć. Kto pracował w dużej organizacji, ten wie, że nie zawsze wiadomo, gdzie jest ticket i jaki konkretnie ticket trzeba podnieść.
Mikołaj Szczerbicki: To tak zwana wiedza plemienna, jak mówi Łukasz.
Marek Grabarz: I wtedy nie odrywam się od swojej pracy. Załóżmy, że jestem analitykiem finansowym i mam jakiś problem HR. Zamiast czekać dniami, wysyłać maile i zagadywać kogoś na Teamsach, mogę z asystentem bardzo szybko ogarnąć problem i wrócić do pracy. Taką efektywność, mierzoną nieprzerwanym czasem pracy zamiast odrywania się, odpisywania na maile i czekania na skrzynce, trudno zmierzyć, ale moim zdaniem to też ogromna wartość.
23:35 Trzy rzeczy do przemyślenia i dostęp delegowany
Mikołaj Szczerbicki: Kto to przeżył, ten wie. Marek, zmierzając powoli do końca, mam prośbę. Podejrzewam, że wśród osób, które nas oglądają, są takie, które stoją przed podobnym wyzwaniem i zastanawiają się, jak podejść do takiego rozwiązania u siebie. Wymieniłbyś w paru krokach trzy najważniejsze rzeczy, które trzeba przemyśleć, zanim podejmie się takiego wyzwania?
Marek Grabarz: Myślę, że to dobre podsumowanie tego, co już powiedzieliśmy. Myśląc o takim agencie, warto podejść do tego iteracyjnie i procesowo. Zidentyfikować potrzeby, zrozumieć je i nie próbować zrobić wszystkiego naraz. Po prostu powiedzieć: hej, róbmy to krok po kroku. Integrujemy ten system, tamten system, rozszerzamy możliwości asystenta o taką a taką funkcję. To jedna rzecz. Do tego, jak mówiłem, nie próbujmy zastępować elementów, które identyfikujemy, tylko je orkiestrujmy. Starajmy się być punktem wejścia do tych systemów, a niekoniecznie replikować logikę, uprawnienia i wszystko, co da się zrobić w tych systemach. Druga rzecz, którą podkreślaliśmy wielokrotnie i podkreślę po raz kolejny: większość wyzwań w realizacji takich projektów to wyzwania związane z integracją. Okazuje się, że gdy mamy systemy, które już są, jakieś SAP-y, jakieś serwisy, SharePoint czy tego typu rzeczy, to nie jest oczywiste.
Oczywiście porozmawiamy o tym jeszcze z Szymonem w kolejnym odcinku: jakie wyzwania i problemy techniczne mogą się pojawić. Zdradzimy tam kilka smaczków. Musimy jednak zidentyfikować, jak się będziemy integrować, gdzie są zespoły utrzymaniowe i gdzie w organizacji jest wiedza o systemach docelowych, bo bardzo ważne jest, żeby mieć to upilnowane. I na koniec: kiedy budujemy asystenta, warto być w pętli, czyli angażować coraz więcej użytkowników i mierzyć, na ile agent jest efektywny w swojej pracy. Czy rzeczywiście przynosi wartość? Bo ostateczną korzyść z uruchomienia tego procesu da się zmierzyć tylko w ten sposób: czy asystent przynosi wartość, czy nie.
Mikołaj Szczerbicki: Czy robi swoją robotę?
Marek Grabarz: Czy robi robotę.
Mikołaj Szczerbicki: Dobrze, Marek. Na sam koniec poproszę Cię o małą zajawkę następnego odcinka, Twojej rozmowy z Szymonem o technicznych aspektach tego projektu. Powiedz nam proszę o jednym, największym wyzwaniu, z którym spotkałeś się podczas realizacji.
Marek Grabarz: W następnym odcinku nie będę dokładnie omawiał architektury tego rozwiązania, bo pewne szczegóły techniczne staram się trzymać poza wiedzą publiczną. Porozmawiamy za to o niskopoziomowych problemach, których pojawia się co niemiara. Przykładem jest dostęp delegowany. Mamy już asystenta i mamy system, dajmy na to SAP. W SAP jako użytkownik mam dostęp do tego czy tamtego, mogę dotknąć swoich celów rocznych, swoich e-learningów i swoich spraw. Jako przełożony mogę mieć dostęp do moich pracowników i ich deklaracji. Jak to technicznie upilnować? Jak sprawić, żeby asystent miał dostęp tylko do tych danych, czyli de facto replikował RBAC, role i uprawnienia z systemu źródłowego? To nie jest rzecz trywialna. To pierwsza ściana, na którą trafimy, i pierwsza ściana, którą musieliśmy z klientem pokonać.
I znowu gwiazdka, wielkie albo niewielkie zaskoczenie: większość pracy dotyczy tożsamości, integracji i identyfikacji tych API. A na koniec dnia asystent to tylko klej, crème de la crème, który łączy te systemy ze sobą i w efektywny sposób je wywołuje.
Mikołaj Szczerbicki: Dobrze, Marek, ja osobiście nie mogę się doczekać tego odcinka i tych wszystkich smaczków. A na dziś dziękujemy wszystkim bardzo i do zobaczenia w następnych odcinkach.
Marek Grabarz: Cześć, cześć!

