Jak okiełznać lokalne AI w rygorystycznych środowiskach?

Lokalna inferencja i twarde zasady bezpieczeństwa

Wdrażanie modeli językowych w sektorze bankowym wyklucza użycie publicznych rozwiązań SaaS, takich jak ChatGPT. Zespół Adama Witkowskiego rozwiązał ten problem, przenosząc całą maszynerię inżynieryjną do wewnątrz infrastruktury klientów w modelu Local AI. Agenci pisani w Javie i Kotlinie wykorzystują framework LangChain4j, współpracując z silnikami inferencyjnymi Ollama i serwerowym vLLM, który drastycznie lepiej radzi sobie z obsługą wielu wątków i sesji jednocześnie. Całość działa w odciętej od internetu sieci klienta na relatywnie tanich instancjach GPU z 16 GB VRAM. Efekt? Brak opłat za tokeny, zero ryzyka wycieku danych oraz pełna kontrola nad cyklem życia modeli, które komunikują się z infrastrukturą poprzez zestandaryzowany protokół MCP (Model Context Protocol).

Od BRD do gotowego kodu: armia agentów w topologii gwiazdy

Zamiast budować niezależne skrypty, architekci Capgemini postawili na modularną strukturę gwiazdy. Centralna biblioteka bazowa (core) dostarcza wszystkim agentom ujednolicone mechanizmy integracji z systemami kontroli wersji (Git, Azure DevOps) oraz warstwę AI. Nad czym pracują poszczególni agenci? Agent CODI pobiera kod projektu, automatycznie pisze testy jednostkowe, uruchamia je za pomocą Mavena, a w przypadku błędów kompilacji wchodzi w pętlę samonaprawiającą (self-healing), zwracając gotowy Pull Request. Z kolei User Story Agent skanuje potężne PDF-y ze specyfikacjami biznesowymi (BRD), przetwarza wykresy za pomocą modeli multimodalnych (Llava) i automatycznie generuje opisy zadań bezpośrednio w Azure Boards lub Jira. Wszystko to dzieje się przy zachowaniu żelaznej zasady Human in the Loop – żaden kod ani ticket nie trafi do produkcji bez ostatecznego zatwierdzenia przez człowieka.

Cięcie kodu ANTLR-em i nowa era testowania AI

Największym wyzwaniem przy uruchamianiu modeli on-premise na ograniczonym sprzęcie są limity kontekstu i błędy Out of Memory przy analizie wielkich plików źródłowych. Aby temu zapobiec, zespół Adama Witkowskiego wdrożył zaawansowany generator kompilatorów ANTLR. Zamiast przesyłać cały kod pliku metodą kopiuj-wklej, ANTLR buduje abstrakcyjne drzewo składniowe (AST), usuwając szum (komentarze, tabulatory) i precyzyjnie tnie kod na semantyczne fragmenty bez zrywania instrukcji logicznych (np. pętli czy warunków if).

Równie przełomowe podejście zastosowano w obszarze zapewnienia jakości. Testowanie niedeterministycznego oprogramowania, jakim są agenci, wymaga odrzucenia klasycznych testów regresji 1:1. Deweloperzy wykorzystują ilościowe benchmarki dla kodu (weryfikacja pokrycia testami mutacyjnymi) oraz strategię LLM-as-a-Judge dla danych tekstowych, gdzie potężniejszy model ocenia merytoryczną poprawność pracy mniejszych agentów przed ich wdrożeniem na serwery.

Chcesz tworzyć i wdrażać nowoczesne rozwiązania oparte o sztuczną inteligencję?

Zrozumienie, jak projektować asynchroniczne i bezpieczne systemy agentowe, to dziś jedna z najbardziej poszukiwanych kompetencji na rynku IT. Jeśli chcesz przenieść architekturę AI ze stadium prostych promptów na poziom produkcyjnych rozwiązań serwerowych:

• Szkolenia SO/DO: Zapisz się na nasze specjalistyczne warsztaty techniczne. Pod okiem architektów-praktyków dowiesz się, jak budować własną infrastrukturę.
• Meetupy SO/DO: Dołącz do największej społeczności inżynierów w Polsce. Przyjdź na nasze regularne spotkania i wymień się doświadczeniami z ekspertami takimi jak Adam Witkowski, dyskutując o kulisach wdrażania zaawansowanych projektów w rygorystycznych środowiskach enterprise.
• Webinary AINow Polska: Zapisz się na najbliższy webinar, gdzie skupiamy się na tym, co działa tu i teraz. Realne wdrożenia, brutalnie szczere reviews narzędzi, prompty i automatyzacje gotowe do produkcji w 48 godzin. Bez “AI Intro”. Bez hype’u.

Więcej szczegółów oraz aktualny kalendarz wydarzeń znajdziesz na naszej stronie: https://www.sysopspolska.pl/

Obejrzyj pełne nagranie z prelekcji: Server Side Agents – Adam Witkowski