[Artykuł powstał na podstawie prezentacji Macieja Gawrońskiego o wyjaśnialności AI na etapie jej stosowania, będącej częścią webinaru Urzędu Ochrony Danych Osobowych i Kancelarii Prezesa Rady Ministrów z listopada 2022 r.]
Jednym z głównych zmartwień badaczy i praktyków w dziedzinie sztucznej inteligencji jest kwestia wyjaśnialności systemów AI. Chcemy nadążać za postępem AI, ale jednocześnie chcemy kontrolować, czy wyniki AI spełniają nasze oczekiwania. Nie chcemy i nie powinniśmy zadowalać się ogólnym „teraz jest lepiej niż wcześniej”. Powody są zarówno systemowe, jak i praktyczne. Brak zrozumienia, jak działa AI, oraz brak pomiaru jej wyników mogą prowadzić do sytuacji, w której AI „wymyka się spod kontroli” w zakresie braku zasadności jej działań względem mniej lub bardziej oczekiwanych i zdefiniowanych parametrów. Albo może być manipulowana w sposób ukryty przed opinią publiczną. Z drugiej strony eksperci już sygnalizują niemożność „nadzorowania” sposobu, w jaki różne systemy AI działają i podejmują decyzje.
W tym kontekście projektowane rozporządzenie Unii Europejskiej w sprawie sztucznej inteligencji przyjmuje podejście kompromisowe, które krótko przedstawimy. Rozporządzenie UE w sprawie sztucznej inteligencji będziemy nazywać AIA (Artificial Intelligence Act). System sztucznej inteligencji wysokiego ryzyka, o którym mowa w AIA, będziemy nazywać po prostu AI (sztuczna inteligencja).
Czym jest wyjaśnialność?
Zgodnie ze słownikiem Webstera z 1913 r. „explainable” oznacza możliwy do wyjaśnienia lub uczynienia zrozumiałym; możliwy do zinterpretowania. Wyjaśnianie z kolei oznacza czynienie czegoś zrozumiałym, podawanie tego przyczyn lub motywów. Według słownika Cambridge angielskie „explain” oznacza uczynienie czegoś jasnym lub łatwym do zrozumienia poprzez opisanie lub podanie informacji na ten temat. Wyjaśnialność rozumiem jako możliwość zrozumienia danej sekwencji przyczynowo-skutkowej, tj. wieloetapowej implikacji.
Wyjaśnialność można rozpatrywać jako aspekt przejrzystości rozumianej jako wiedza „że i jak” coś się dzieje (np. że stosowana jest AI) oraz „jak” to coś zachodzi, tj. jak przebiega proces poznawczo-decyzyjno-wykonawczy z udziałem AI.
Wyprzedzając nieco wywód, do wyjaśnialności AI moglibyśmy podejść dwojako, rozróżniając wyjaśnialność racjonalną i wyjaśnialność empiryczną.
Wyjaśnialność racjonalna AI powinna idealnie sprowadzać się do możliwości zrozumienia, jakie powiązania logiczne zachodzą między kolejnymi czynnościami systemu (rozumienie przyczyn i konsekwencji).
W przypadku wyjaśnialności empirycznej AI moglibyśmy z kolei brać pod uwagę wysoką skuteczność AI oraz możliwość optymalizacji skuteczności AI. Sceptycy mogą argumentować przeciwko wyjaśnialności empirycznej niedawno zdyskredytowanym „korelacja nie oznacza przyczynowości” oraz kwestią skali porównawczej. Niemniej wyjaśnialność AI może osuwać się w kierunku „a jednak się kręci”, jak pokazano w filmie „Raport mniejszości”.
Wyjaśnialność w RODO
Choć RODO nie posługuje się wprost pojęciem „wyjaśnialności”, to właśnie w RODO należy szukać źródła i wskazówek do rozumienia tego pojęcia.
Art. 5 ust. 1 lit. a RODO posługuje się sformułowaniem przetwarzania „rzetelnie i w sposób przejrzysty dla osoby, której dane dotyczą”. To najważniejsza zasada RODO - zasada zgodności z prawem, rzetelności i przejrzystości.
Pośrednio o wyjaśnialności traktuje art. 22 RODO. Przepis ten dotyczy zautomatyzowanego podejmowania decyzji o znaczeniu prawnym lub podobnym. Zgodnie z art. 22 RODO, jeżeli decyzja miałaby zostać podjęta wobec osoby w sposób zautomatyzowany (np. przez AI), osoba ta powinna mieć co najmniej prawo do uzyskania „interwencji ludzkiej ze strony administratora, do wyrażenia własnego stanowiska i do zakwestionowania tej decyzji”. Jak pisaliśmy w „Guide to the GDPR”, częścią praw osoby, wobec której zastosowano decyzję zautomatyzowaną, jest prawo do wyjaśnienia przyczyn tej decyzji[1].
Wreszcie, na mocy art. 13 ust. 2 lit. f RODO oraz bliźniaczego art. 14 ust. 2 lit. g RODO, administrator powinien podać osobie informacje o istnieniu zautomatyzowanego podejmowania decyzji, w tym profilowania, o którym mowa w art. 22 ust. 1 i 4 RODO, oraz - przynajmniej w tych przypadkach - istotne informacje o zasadach ich podejmowania, a także o znaczeniu i przewidywanych konsekwencjach takiego przetwarzania dla osoby, której dane dotyczą.
Z tych przepisów możemy wywieść obowiązek wyjaśnienia osobie, której dane dotyczą, przyczyn konkretnej decyzji zautomatyzowanej (a także poinformowania jej, że decyzja jest podejmowana automatycznie) - tam, gdzie decyzje miałyby wywoływać skutki prawne lub podobne.
Czy AI musi być wyjaśnialna
Pojęcie i problem wyjaśnialności AI są przedmiotem debaty ekspertów. Czy zatem AI musi być wyjaśnialna? Wydaje się, że AIA nie zawiera wprost wyrażonego wymogu wyjaśnialności AI. AIA używa terminu „wyjaśnialny” tylko raz, w motywie 38, w kontekście AI wykorzystywanej do ścigania przestępstw, i w połączeniu z terminem „przejrzysty”.
… Ponadto korzystanie z ważnych proceduralnych praw podstawowych, takich jak prawo do skutecznego środka prawnego i do rzetelnego procesu, a także prawo do obrony i domniemanie niewinności, mogłoby być utrudnione, w szczególności gdy takie systemy AI nie są wystarczająco przejrzyste, wyjaśnialne i udokumentowane.
Pojęcie „przejrzystości” jest w Akcie o AI używane częściej. Termin „przejrzystość” pojawia się w Akcie o AI piętnaście razy, w tym dziewięć razy w motywach, z czego siedem w omawianym przez nas kontekście. W tekście przepisów termin „przejrzystość” pojawia się sześć razy, a po wyłączeniu tytułu art. 13 Aktu o AI - „Przejrzystość i udostępnianie informacji użytkownikom” - pięć razy.
Należy odróżnić wyjaśnialność od przejrzystości w rozumieniu Aktu o AI, a nawet samo pojęcie „przejrzystości” ma swoje zawiłości, które omówimy dalej.
Odpowiednia przejrzystość
Potrzeba pewnego poziomu przejrzystości jest deklarowana w motywie 47 AIA.
Aby zaradzić [1] nieprzejrzystości, która może czynić niektóre systemy AI niezrozumiałymi lub zbyt złożonymi dla osób fizycznych, [2] należy wymagać pewnego stopnia [3] przejrzystości w przypadku systemów AI wysokiego ryzyka. Użytkownicy powinni [4] być w stanie interpretować wynik systemu i odpowiednio go wykorzystywać. Systemom AI wysokiego ryzyka powinny zatem towarzyszyć [5] odpowiednia dokumentacja i [6] instrukcje użytkowania oraz zawierać [7] zwięzłe i jasne informacje, w tym, w stosownych przypadkach, dotyczące możliwych zagrożeń dla praw podstawowych i dyskryminacji.
Z brzmienia motywu 47 możemy już wywnioskować, że AIA mocno relatywizuje pojęcie przejrzystości (a nawet nie wyjaśnialności) AI. Przejrzystość AI musi być jedynie „pewnego stopnia”. Oczywiście od razu nasuwa się pytanie, kto oceni ten „pewny” (a następnie rozwinięty w art. 13 AIA jako „wystarczający, odpowiedniego rodzaju i stopnia”) stopień przejrzystości. SPOILER - na etapie dopuszczenia do obrotu będzie to jednostka oceniająca zgodność.
Art. 13 AIA Przejrzystość i udostępnianie informacji użytkownikom
Przejrzystość AI jest wprost uregulowana w art. 13 AIA. Zgodnie z art. 13 ust. 1 AIA,
Systemy AI wysokiego ryzyka projektuje się i opracowuje w taki sposób, aby zapewnić, że ich działanie jest wystarczająco przejrzyste, by umożliwić użytkownikom interpretację wyniku systemu i odpowiednie jego wykorzystanie. Zapewnia się odpowiedni rodzaj i stopień przejrzystości w celu osiągnięcia zgodności z odpowiednimi obowiązkami użytkownika i dostawcy określonymi w rozdziale 3 niniejszego tytułu.
Art. 13 ust. 1 AIA nakłada, przede wszystkim na producentów, ogólny obowiązek projektowania i opracowywania systemów AI w sposób zapewniający wystarczającą, odpowiedniego stopnia i rodzaju, przejrzystość działania. Każde słowo w powyższym cytacie niesie istotny ładunek znaczeniowy. Zwróćmy uwagę, że art. 13 ust. 1 AIA oczekuje „wystarczającej” przejrzystości „odpowiedniego” „rodzaju” i „stopnia”. Są to sformułowania „zmiękczające”.
Art. 13 AIA wprost wymienia tylko jeden środek zapewnienia przejrzystości AI, mianowicie… instrukcję obsługi. Instrukcja AI powinna zawierać zwięzłe, kompletne, poprawne i jasne informacje[2], w tym:
- tożsamość dostawcy;
- cechy, możliwości i ograniczenia działania AI, w tym:
- przeznaczenie;
- poziom dokładności, solidności i cyberbezpieczeństwa […], względem którego AI została przetestowana i zwalidowana, oraz wszelkie znane i przewidywalne okoliczności, które mogą wpłynąć na ten oczekiwany poziom dokładności, solidności i cyberbezpieczeństwa;
- wszelkie znane lub przewidywalne okoliczności związane z wykorzystaniem AI zgodnie z jej przeznaczeniem lub w warunkach racjonalnie przewidywalnego niewłaściwego użycia, które mogą prowadzić do zagrożeń dla zdrowia i bezpieczeństwa lub praw podstawowych;
- jej działanie w odniesieniu do osób lub grup osób, wobec których system ma być wykorzystywany;
- w stosownych przypadkach, specyfikacje danych wejściowych lub wszelkie inne istotne informacje o zbiorach danych treningowych, walidacyjnych i testowych, z uwzględnieniem (zamierzonego) przeznaczenia systemu sztucznej inteligencji;
- zmiany w systemie AI i jego działaniu, które zostały z góry określone przez dostawcę w momencie pierwotnej oceny zgodności, o ile występują;
- środki nadzoru ze strony człowieka, o których mowa w art. 14 AIA, w tym środki techniczne wprowadzone w celu ułatwienia użytkownikom interpretacji wyników systemów AI;
- oczekiwany okres eksploatacji systemu AI wysokiego ryzyka oraz wszelkie niezbędne środki konserwacji i pielęgnacji zapewniające prawidłowe funkcjonowanie tego systemu AI, w tym w zakresie aktualizacji oprogramowania.
Biorąc pod uwagę dotychczasowy światowy dorobek w tworzeniu i stosowaniu instrukcji obsługi różnego rodzaju rozwiązań, w tym w zakresie tworzenia dokumentacji użytkowej i technicznej systemów IT, instrukcje AI będą z pewnością interesujące.
Większość wymogów przejrzystości AI wynika jednak z odesłania w art. 13 ust. 1 AIA do przepisów rozdziału 3 tytułu III AIA - SYSTEMY SZTUCZNEJ INTELIGENCJI WYSOKIEGO RYZYKA, tj. art. 16-29 AIA.
Art. 16-28 AIA opisują wymogi wobec dostawców AI. Z perspektywy przejrzystości AI w najszerszym znaczeniu istotne są tu wymogi: sporządzenia dokumentacji technicznej, prowadzenia automatycznych zapisów zdarzeń, stosowania systemu zarządzania ryzykiem, stosowania systemu zarządzania jakością, poddania AI procedurze oceny zgodności, reagowania na niezgodności, informowania organów państwowych o niezgodnościach. Wymogi te nie zapewniają wprost przejrzystości ani wyjaśnialności działania AI, ale powinny umożliwiać empiryczną weryfikację poprawności działania AI oraz ustalenie przyczyn jej nieprawidłowego działania. Mogą zatem przyczyniać się do owego „pewnego” stopnia przejrzystości.
Na marginesie warto zwrócić uwagę na art. 16 lit. j AIA, który wymaga od dostawców AI, na żądanie organów krajowych, wykazania zgodności systemu AI wysokiego ryzyka z wymogami określonymi w rozdziale 2 tytułu III AIA[3]. Przepis ten wydaje się rozwodnionym odpowiednikiem zasady rozliczalności z art. 5 ust. 2 RODO.
Dla użytkowników AI, oprócz wymogu niedokonywania istotnych zmian w AI zgodnie z art. 28 ust. 1 lit. c AIA (co z perspektywy AIA przekształca użytkownika w dostawcę), zastosowanie mają wymogi art. 29 AIA. Zgodnie z tym przepisem użytkownik AI jest obowiązany do (1) używania AI zgodnie z instrukcją, (2) zapewnienia adekwatności danych wejściowych, (3) monitorowania korzystania z AI w oparciu o instrukcję obsługi dotyczącą ryzyka, (4) przechowywania logów, (5) wykorzystania informacji z instrukcji obsługi do przeprowadzenia oceny skutków dla ochrony danych w rozumieniu art. 35 RODO.
Z perspektywy użytkownika AI wymogi art. 29 AIA dotyczące oceny przejrzystości korzystania z AI sprowadzają się do zrozumiałej i przystępnej instrukcji[4], korzystania z instrukcji, zapewnienia jakości danych (tam, gdzie to możliwe) oraz przechowywania logów. Ale to nie wszystko.
Gdzie jest wyjaśnialność?
Jak wynika - a przynajmniej powinno wynikać - z opisu art. 13 AIA, który rzekomo dotyczy przejrzystości, przepis ten zasadniczo sprowadza przejrzystość do instrukcji obsługi i dokumentacji. Podstawy pewnej dozy jasności możemy raczej znaleźć w art. 14 AIA - Nadzór ze strony człowieka. Art. 14 ust. 1 AIA stanowi, że:
„Systemy AI wysokiego ryzyka projektuje się i opracowuje w taki sposób, w tym za pomocą odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania mogły być skutecznie nadzorowane przez osoby fizyczne”.
Zgodnie z art. 14 ust. 2 AIA,
„Nadzór ze strony człowieka ma na celu zapobieganie ryzykom dla zdrowia, bezpieczeństwa lub praw podstawowych lub ich minimalizowanie, które mogą pojawić się, gdy system AI wysokiego ryzyka jest wykorzystywany zgodnie z przeznaczeniem lub w warunkach racjonalnie przewidywalnego niewłaściwego użycia[5], w szczególności gdy takie ryzyka utrzymują się mimo zastosowania innych wymogów określonych w niniejszym rozdziale”.
Z połączenia obu norm można wyciągnąć dwa wnioski. Po pierwsze, użytkownik AI powinien znać sposób działania AI - a raczej, jakie są wyniki działania AI - aby móc kontrolować system. Po drugie, prawodawca unijny zadowala się wspomnianą wyjaśnialnością empiryczną. Wnioski te potwierdza funkcjonalny opis środków nadzoru ze strony człowieka zawarty w art. 14 ust. 4 AIA. Środki nadzoru ze strony człowieka mają umożliwiać:
- pełne zrozumienie możliwości i ograniczeń systemu AI wysokiego ryzyka oraz właściwe monitorowanie jego działania, tak aby oznaki anomalii, nieprawidłowości i nieoczekiwanych wyników działania mogły być jak najszybciej wykryte i usunięte;
- świadomość możliwej tendencji do automatycznego polegania lub nadmiernego polegania na wynikach systemu AI wysokiego ryzyka („błąd automatyzacji”), w szczególności w przypadku systemów AI wysokiego ryzyka wykorzystywanych do dostarczania informacji lub rekomendacji dla decyzji podejmowanych przez osoby fizyczne;
- prawidłową interpretację wyniku systemu AI wysokiego ryzyka, z uwzględnieniem w szczególności cech systemu oraz dostępnych narzędzi i metod interpretacji;
- podjęcie w każdej konkretnej sytuacji decyzji o niekorzystaniu z systemu AI wysokiego ryzyka lub o zignorowaniu, unieważnieniu bądź odwróceniu wyniku systemu AI wysokiego ryzyka;
- interweniowanie w działanie systemu AI wysokiego ryzyka lub przerwanie działania systemu za pomocą przycisku „stop” lub podobnej procedury.
Skoro środki nadzoru (wbudowane w interfejsy AI albo opisane, zapewne, w instrukcji obsługi) powinny umożliwiać człowiekowi nadzorującemu AI pełne zrozumienie możliwości i ograniczeń AI, właściwe monitorowanie działania AI oraz prawidłową interpretację wyniku AI, oznacza to zapewne, że powinien zostać zapewniony pewien poziom wyjaśnialności działania AI.
Kto decyduje
Początkowo to jednostki oceniające zgodność mają decydować, czy działanie AI jest wystarczająco przejrzyste. AIA przewiduje również cały mechanizm sprzężenia zwrotnego w tytule VII Monitorowanie po wprowadzeniu do obrotu, wymiana informacji, nadzór rynku. Prawdopodobnie sprawność tego mechanizmu zadecyduje o kontroli działania AI w UE, a tym samym o wymaganiach co do poziomu wyjaśnialności AI.
Art. 52 nie na temat
AIA ma również art. 52 o wdzięcznym tytule Obowiązki w zakresie przejrzystości w odniesieniu do niektórych systemów sztucznej inteligencji. Jednak przepis ten (tradycyjnie), wbrew swojemu tytułowi, w znikomym stopniu dotyczy przejrzystości, a w istocie wcale nie dotyczy wyjaśnialności. Przepis ten wprowadza wymóg informowania nas w pewnych sytuacjach, że nie rozmawiamy z człowiekiem.
Podsumowanie
Wydaje się, że obecne brzmienie AIA co do zasady nie wymaga, aby AI była wyjaśnialna, w szczególności rozumiana jako możliwość prześledzenia rozumowania. Pomijając życzeniowe zaklęcia w stylu „zwięźle, ale wyczerpująco”, AIA wyznacza raczej ramy systemu tzw. checks and balances, w którym mierzona będzie skuteczność, a nie konkretna zdolność zrozumienia „myślenia” AI.
A to podejście uważamy nawet za rozsądne.
[1] „Guide to the GDPR” red. M. Gawroński, s. 182, Kluwer Law International B.V., 2019, https://law-store.wolterskluwer.com/s/product/guide-to-the-gdpr/01t0f00000J4I3FAAV
[2] Zwięzłe i kompletne i poprawne i jasne oczywiście wzajemnie się wykluczają. Nawiązując do popularnego żartu o „tanio, szybko, dobrze”, brakuje tylko informacji, że Rabat jest stolicą Maroka.
[3] Tajemnicą pozostaje, dlaczego nie ma już tego obowiązku względem wymogów rozdziału 3, skoro „wymóg wykazania zgodności” znajduje się na końcu listy wymogów art. 16 - pierwszego w rozdziale 3.
[4] W razie incydentu powodującego szkodę lub odpowiedzialność brak jasności instrukcji obsługi może być okolicznością dla obu stron - dostawcy i użytkownika AI.
[5] Innymi słowy, jeśli producent może przewidzieć, do czego jego AI może być wykorzystana, nawet jeśli niezgodnie z oferowanym przeznaczeniem, powinien opisać konsekwencje. W praktyce może to prowadzić producentów do ograniczania zakresu wykorzystania AI do tego, co w praktyce będzie nieprzydatne, w celu ograniczenia ich odpowiedzialności.