Żyjemy w czasach, gdy technologia rozwija się w zastraszającym tempie. Nowe technologie i modele matematyczne w coraz większym stopniu wpływają na nasze codzienne życie. Jednak czy ten wpływ jest zawsze pozytywny? Czy nowe technologie sprawiają, że nasz świat jest lepszy, wygodniejszy i bardziej sprawiedliwy, czy może wszystko idzie w odwrotnym kierunku? Te pytania pojawiają się podczas czytania książki Cathy O'Neil 'Broń matematycznej zagłady: jak algorytmy zwiększają nierówności i zagrażają demokracji".

Autorka jest doktorem matematyki i ekspertem w dziedzinie analizy rynków finansowych. Jej własne doświadczenia, obserwacje i badania doprowadziły ją do przekonania, że czasami algorytmy oparte na Big Data i uczeniu maszynowym mogą zwiększyć nierówności, a nawet zagrozić demokracji.

Dlaczego i w jaki sposób do tego dochodzi?

Komputery coraz częściej podejmują ważne decyzje wpływające na ludzkie życie. To, czy absolwent szkoły średniej zostanie zapisany na studia, kandydat zaproszony na rozmowę kwalifikacyjną, ten lub inny pracownik zwolniony, otrzyma pożyczkę lub nie, czy też ile będzie kosztować ubezpieczenie zdrowotne - takie decyzje są często podejmowane na podstawie modeli matematycznych.

Jednak każdy model (z definicji) jest rodzajem uproszczenia. O tym, co powinno być zawarte w modelu, a co powinno być odrzucone jako mało znaczące, decydują osoby tworzące model. Jak ujęła to Cathy O'Neil "Modele to opinie oparte na matematyce". Nie wszystkie modele są jednakowo dobre.

Jednym z ważniejszych problemów wspomnianych przez O'Neil jest użycie zmiennych zastępczych. Często nie można uzyskać danych o niektórych pożądanych właściwościach, i w tym przypadku można użyć zmiennych o wartościach, które korelują z taką niewiadomą zmienną.

Na przykład, pracodawca który szuka pracownika, chce określić na ile kandydat jest sumienny, odpowiedzialny i przyzwoity. Naprawdę ciężko jest zmierzyć tak ważne cechy osobiste... Wiele amerykańskich firm coraz częściej stosuje ocenę kredytową jako zmienną zastępczą - jest to wyrażenie liczbowe charakteryzujące zdolność kredytobiorcy do spłaty zadłużenia. Posiadanie dobrej historii kredytowej jest teraz niezbędne do uzyskania przyzwoitej pracy.

Wydaje się, że jest w tym zdrowy rozsądek: osoba sumienna prawdopodobnie płaci rachunki i wypełnia inne zobowiązania finansowe na czas. Jednak nie jest to tak oczywiste, jak się wydaje. Nawet osoba przyzwoita może się zadłużyć, a nawet zbankrutować. Na przykład, po utracie pracy (może się to zdarzyc z przyczyn niezależnych od osoby, szczególnie w okresie recesji), przeciętny Amerykanin traci również ubezpieczenie zdrowotne. Uraz lub nagła choroba może doprowadzić osobę do bankructwa, a większość bankructw w USA jest spowodowana ogromnymi kosztami leczenia.
W pewnym sensie taki model działa jak "samospełniające się proroctwo" - przez zepsutą historię kredytową trudniej jest znaleźć pracę, zadłużenie wzrasta, a znalezienie pracy staje się coraz trudniejsze. I cenny obywatel umiera z głodu gotówki.

Ponadto, zmienne zastępcze są używane nawet w przypadkach, gdy dostępne są bardziej wiarygodne dane. Na przykład, na Florydzie kwota ubezpieczenia samochodu zależy od historii kredytowej kierowcy nawet bardziej, niż od jego historii jazdy: doświadczeni kierowcy ze złą historią kredytową płacą średnio o 1552 dolary więcej, niż ci sami kierowcy z dobrą historią kredytową i wyrokiem za jazdę w stanie nietrzeźwym. Bardziej wiarygodny wskaźnik jest po prostu ignorowany. Czy istnieje tu uczciwość lub zdrowy rozsądek? To raczej retoryczne pytanie...

Innym przykładem podanym przez O'Neil w jej książce jest system punktacji nauczycieli, szeroko stosowany w wielu szkołach. Nauczyciele są oceniani w zależności od tego, w jakim stopniu ich uczniowie poprawili wyniki testów w przeciągu roku. Nauczyciele, których uczniowie nie osiągnęli wystarczająco dobrych wyników, zostają zwolnieni. Postęp edukacyjny uczniów jest mierzony na podstawie wyników ich testów pod koniec semestru.

Na pierwszy rzut oka takie podejście może wydawać się rozsądne. Jednak, jeśli pójść o krok dalej, staje się jasne, że wyniki uczniów nie zależą tylko od umiejętności zawodowych i cech osobistych nauczyciela i dość złożonym problemem jest odróżnienie wkładu nauczyciela od innych czynników. Pod względem statystycznym próba jest śmiesznie mała: nauczyciele byli oceniani na podstawie 25-30 ocen uczniów. To niewielka ilość. Aby analizować i porównywać wyniki nauczycieli w statystycznie rzetelny sposób, należy je oceniać na podstawie tysięcy lub nawet milionów losowo wybranych uczniów, jak zauważa Cathy O'Neil. Oczywiście, jest to po prostu niemożliwe. Sam wybrany model jest bardzo wątpliwy. Niemniej jednak, w oparciu o te wyniki, prawdziwi ludzie, prawdopodobnie całkiem dobrzy nauczyciele, zostają zwolnieni.

Inny skutek uboczny jest taki, że dane wejściowe mogą zostać sfałszowane, a oceniani ludzie mają ku temu dużą motywację. Właściwie, tak się właśnie dzieje. Oszustwa w okresowych wynikach testów zostały ujawnione w wielu amerykańskich szkołach. W ten sposób nauczyciele próbowali uchronić się przed zwolnieniem, a nawet uzyskać premie.

O'Neil porusza również temat spersonalizowanej reklamy. Na pierwszy rzut oka może wydawać się to niegroźną rzeczą. Co jest strasznego w tym, że jesteś zachęcany do zakupu czegoś, co ostatnio poszukiwałeś w google? Poza całkiem uzasadnionymi i akceptowanymi zastosowaniami, istnieją pewne nieuczciwe praktyki graniczące z oszustwami. Na przykład organizatorzy kampanii reklamowych w szczególnym stopniu zwracają uwagę na ubogie i podatne na wpływ grupy, oferując im wysokoprocentowe pożyczki gotówkowe (chociaż ludzie ci mogliby uzyskać znacznie bardziej korzystne pożyczki).

Według O'Neil, jeszcze bardziej niebezpieczne jest wykorzystywanie spersonalizowanych reklam podczas kampanii wyborczych. Dawno minęły czasy, kiedy kandydaci na prezydenta musieli przedstawić swoje programy wszystkim Amerykanom. Nowoczesne technologie umożliwiły wysyłanie spersonalizowanych wiadomości do każdego obywatela i obiecywanie w nich tego, co chciałby otrzymać. Inna wiadomość dla zaangażowanych w ochronę środowiska, jeszcze inna dla tych, którzy martwią się napływem imigrantów; jeden mail dla absolwentów szkół wyższych, inny dla rolników w podeszłym wieku... Nikt nie uzyskuje pełnego obrazu sytuacji. Nawet jeśli wchodzisz na oficjalną stronę internetową kandydata, nie oznacza to, że zobaczysz te same informacje, co twój sąsiad. W rzeczywistości istnieje nieograniczona możliwość manipulowania wyborcami.

W ostatnim rozdziale swojej książki O'Neil koncentruje się na ogromnych możliwościach oddziaływania na opinię publiczną takich internetowych gigantów jak Facebook i Google, którzy mogą kontrolować, co zobaczą użytkownicy w aktualnościach lub wynikach wyszukiwania. A co, jesli zechcą oni wpłynąć na wynik wyborów dla własnej korzyści? O'Neil nikogo nie obwinia, twierdząc, że nie ma dowodów, by sądzić, że już coś takiego zrobili. Lecz uważa, że istnieje taka możliwość. I trudno się nie zgodzić z jej opinią.

W mojej recenzji pojawił się tylko ułamek przykładów, a w samej książce zawarto znacznie więcej prawdziwych historii. Polecam przeczytanie całej książki :)

Victoria Slinyavchuk
Consultant on Software Testing