AI Act

Nie każdy błąd sztucznej inteligencji będzie incydentem wymagającym zgłoszenia organom. AI Act wyznacza jednak granicę, po której problem nie może zostać potraktowany wyłącznie jako wewnętrzna awaria techniczna. Jeżeli działanie lub wadliwe funkcjonowanie systemu AI prowadzi bezpośrednio albo pośrednio do śmierci, poważnego uszczerbku na zdrowiu, poważnego naruszenia praw podstawowych, znacznej szkody w mieniu lub środowisku albo poważnego i nieodwracalnego zakłócenia infrastruktury krytycznej, uruchamiany jest szczególny mechanizm raportowania.

Pracownik kopiuje fragment umowy od prywatnego chatbota, analizuje dane klienta za pomocą bezpłatnego narzędzia AI albo zakłada konto w aplikacji, o której nie wie dział IT. Tak powstaje shadow AI – niekontrolowane wykorzystanie sztucznej inteligencji poza zatwierdzonym środowiskiem firmy. Problem nie sprowadza się do złamania wewnętrznego regulaminu. Organizacja może stracić kontrolę nad danymi, sposobem podejmowania decyzji i narzędziami rzeczywiście wykorzystywanymi do pracy.

Firmy korzystające z systemów sztucznej inteligencji wysokiego ryzyka nie będą mogły sprowadzić nadzoru człowieka do formalnego potwierdzania decyzji algorytmu. AI Act wymaga, aby osoba nadzorująca system miała odpowiednie kompetencje, szkolenie, uprawnienia i wsparcie. Musi także rozumieć ograniczenia AI, potrafić zakwestionować wynik, odrzucić rekomendację, zmienić decyzję, a w odpowiednich sytuacjach przerwać działanie systemu.