Page 73 - XXIV Konferencja Automatyków Rytro 2026

8. Ryzyka stosowania AI w nadzorze nad operatorem

Pierwsze ryzyko to fałszywa pewność. Modele AI, a szczególnie LLM, potrafią formułować
odpowiedzi płynne, logiczne i przekonujące nawet wtedy, gdy są niepełne albo błędne. W biurze
może to być kłopotliwa pomyłka. W nastawni może to być źródło decyzji prowadzącej do
pogorszenia stanu instalacji. Dlatego każdy system generujący rekomendacje musi pokazywać
poziom niepewności, źródła danych, ograniczenia oraz rozróżnienie między faktem, hipotezą
i sugestią. W środowisku safety-critical brak tej transparentności jest wadą techniczną, a nie
kosmetycznym problemem interfejsu.

Drugie ryzyko wiąże się z dostrajaniem modeli. Badania nad bezpieczeństwem LLM pokazują,
że fine-tuning nawet na pozornie wąskich zadaniach może osłabiać wcześniejsze mechanizmy
bezpieczeństwa lub prowadzić do nieoczekiwanych zachowań modelu (Qi i in., 2024; Betley i in.,
2026). Dla przemysłu oznacza to, że model dostrojony do dokumentacji UR, alarmów i instrukcji
nie może być traktowany jak zwykła aplikacja biurowa. Każda aktualizacja modelu, danych RAG
lub promptów systemowych powinna podlegać zarządzaniu zmianą, testom regresyjnym
i walidacji na scenariuszach awaryjnych.
Trzecie ryzyko to zła kalibracja zaufania. Jeżeli model często pomaga, operator może zacząć
ufać mu nadmiernie. Jeżeli kilka razy się pomyli, załoga może go całkowicie odrzucić. Oba
scenariusze są niebezpieczne. Badania nad human-AI teaming podkreślają znaczenie
transparentności, wyjaśnialności i wspólnej świadomości sytuacyjnej (Endsley, 2023; Saghafian
i in., 2025). System powinien więc uczyć właściwego korzystania z AI: kiedy model jest pomocny,
kiedy wymaga potwierdzenia, a kiedy nie wolno na nim polegać.

Czwarte ryzyko jest organizacyjne i etyczne. Diagnostyka operatora może zostać odebrana
jako narzędzie kontroli pracowników, a nie jako narzędzie bezpieczeństwa. Jeżeli wdrożenie
będzie prowadzone bez udziału operatorów, bez jasnych zasad wykorzystania danych i bez
rozdzielenia diagnostyki technicznej od oceny personalnej, może wywołać opór i pogorszyć
kulturę bezpieczeństwa. Dlatego należy od początku komunikować, że celem OEDD jest
wykrywanie niebezpiecznych sekwencji i słabych punktów systemu pracy, a nie automatyczne
karanie ludzi.
Piąte ryzyko dotyczy cyberbezpieczeństwa. LLM podłączony do dokumentacji, historianów,
systemów alarmowych i raportów zmianowych staje się atrakcyjnym celem. Trzeba chronić go
przed prompt injection, manipulacją dokumentami źródłowymi, nieuprawnionym dostępem do
danych i wyciekiem informacji o instalacji. Model nie powinien mieć bezpośrednich uprawnień
wykonawczych, a jego odpowiedzi powinny być logowane, wersjonowane i możliwe do
odtworzenia po incydencie.

9. Jak wdrażać OEDD i AI rozsądnie

Rozsądne wdrożenie warto zacząć od mapy ryzyka operatorskiego. Nie należy próbować
objąć całego zakładu jednym projektem. Najpierw trzeba wybrać kilka sekwencji o wysokim
znaczeniu: rozruch, odstawienie, przełączenie trybów, reakcja na alarm krytyczny albo operacja
wykonywana rzadko, ale potencjalnie groźna. Dla każdej sekwencji należy opisać warunki
dopuszczenia, wymagane akcje, dopuszczalne czasy, oczekiwane potwierdzenia i możliwe skutki
błędu.

Paweł Wnuk, Diagnostyka operatora i AI str. 9
XXIV KONFERENCJA AUTOMATYKÓW RYTRO 2026 POLITECHNIKA WARSZAWSKA