Zrozumienie instrumentów oceny ryzyka w sądownictwie karnym

Narzędzia algorytmiczne są dziś szeroko stosowane w całym systemie sądownictwa karnego. Predykcyjne algorytmy policyjne, w tym PredPol i HunchLab, informują policję o szacunkowych miejscach, w których przestępstwo jest najbardziej prawdopodobne.jedenPatternizr to narzędzie do rozpoznawania wzorców w Departamencie Policji w Nowym Jorku, które pomaga detektywom automatycznie wykrywać powiązane przestępstwa.dwaKomendy policji korzystają również z oprogramowania do rozpoznawania twarzy, aby zidentyfikować potencjalnych podejrzanych na podstawie materiału wideo.3Adwokaci okręgowi w Chicago i Nowym Jorku wykorzystali modele predykcyjne, aby skoncentrować wysiłki prokuratury na osobach wysokiego ryzyka.4W San Francisco prokurator okręgowy używa algorytmu, który ukrywa informacje o wyścigu w materiałach sprawy, aby zmniejszyć stronniczość przy podejmowaniu decyzji o oskarżeniu.5 6

Instrumenty oceny ryzyka

Jedna klasa narzędzi algorytmicznych, zwana instrumentami oceny ryzyka (RAI), ma na celu przewidywanie przyszłego ryzyka wykroczenia pozwanego. Prognozy te wpływają na decyzje sądowe o wysokiej stawce, takie jak decyzja o osadzeniu osoby w więzieniu przed rozprawą. Na przykład RAI o nazwie Ocena Bezpieczeństwa Publicznego (PSA) bierze pod uwagę wiek i historię wykroczeń danej osoby, wraz z innymi czynnikami, w celu uzyskania trzech różnych ocen ryzyka: ryzyko, że zostanie ona skazana za nowe przestępstwo, ryzyko, że zostanie zostaną skazani za nowe przestępstwo z użyciem przemocy i ryzyko, że nie stawią się w sądzie.7Ramy decyzyjne przekładają te oceny ryzyka na zalecenia dotyczące warunków uwolnienia, przy czym wyższe oceny ryzyka odpowiadają bardziej rygorystycznym warunkom uwolnienia. Sędziowie mogą zignorować te zalecenia, jeśli wydają się zbyt surowe lub zbyt pobłażliwe. Inne RAI wpływają na wiele różnych orzeczeń sądowych, w tym wyroki skazujące oraz wymogi dotyczące warunkowego zwolnienia i warunkowego zwolnienia.

Algorytmiczne RAI mogą zapewnić spójność, dokładność i przejrzystość orzeczeń sądowych. Na przykład Jung i in. symulował użycie prostego RAI w stylu listy kontrolnej, który uwzględniał jedynie wiek oskarżonego i liczbę wcześniejszych niepowodzeń w stawiennictwie.8Autorzy zauważyli, że sędziowie w niejawnej jurysdykcji mieli bardzo różne wskaźniki zwolnienia (od około 50% do prawie 90% zwolnionych osób). Autorzy stwierdzili, że gdyby sędziowie zastosowali zaproponowany przez siebie model w formie listy kontrolnej w celu ustalenia przedprocesowego zwolnienia, decyzje byłyby bardziej spójne we wszystkich sprawach i zatrzymaliby łącznie o 30% mniej oskarżonych bez odpowiedniego wzrostu przedprocesowego niewłaściwego postępowania. Inne badania wykazały dodatkowe dowody na to, że modele statystyczne konsekwentnie przewyższają podejmowanie decyzji podejmowanych przez ludzi bez pomocy.9W przeciwieństwie do nieprzejrzystości tradycyjnego procesu podejmowania decyzji przez ludzi, przejrzysty charakter modelu w formie listy kontrolnej, takiego jak ten zaproponowany przez Junga i in., umożliwiłby również sądom otwarte opisanie sposobu obliczania ryzyka.10Korzyści te — wraz z ogólnym przekonaniem, że ważne decyzje powinny być zakotwiczone w danych — zmusiły wiele jurysdykcji w całym kraju do wdrożenia RAI.



KOMPAS RAI

Równolegle z ekspansją w całym kraju, RAI stają się coraz bardziej kontrowersyjne. Krytycy skupili się na czterech głównych problemach związanych z RAI: ​​brakiem indywidualizacji, brakiem przejrzystości w zakresie roszczeń dotyczących tajemnic handlowych, możliwością stronniczości i pytaniami o ich prawdziwy wpływ.jedenaścieSprawa Sądu Najwyższego Wisconsin z 2016 r., Loomis przeciwko Wisconsin , borykał się z wieloma z tych problemów. Składający petycję, Eric Loomis, przedstawił kilka argumentów przeciwko wykorzystaniu w swojej decyzji o wyroku skazującym metody RAI zwanej Correctional Offender Management Profiling for Alternative Sanctions (COMPAS).12

Po pierwsze Loomis twierdził, że jego wyrok nie był zindywidualizowany. Zamiast tego twierdził, że był poinformowany o historycznych tendencjach grupowych do niewłaściwych zachowań, zgodnie z oceną COMPAS. Sąd nie zgodził się, argumentując, że decyzja sędziego nie została określona wyłącznie przez COMPAS, unikając obaw o indywidualizację Loomisa. Chociaż sąd dokonał tego rozróżnienia, warto zauważyć, że zarówno ludzie, jak i algorytmy uczą się na podstawie historycznych zachowań. Przewidywanie ryzyka dla danej osoby — czy to sędziego, czy RAI — jest w rezultacie zakotwiczone w historycznym zachowaniu podobnych osób.

Po drugie, Loomis argumentował, że firma, która stworzyła COMPAS, odmówiła ujawnienia wystarczających szczegółów na temat tego, w jaki sposób algorytm obliczył jego wynik ryzyka, uniemożliwiając mu sprawdzenie dokładności wszystkich informacji przedstawionych w jego wyroku. Wiele RAI potrafi dokładnie wyjaśnić, w jaki sposób podejmują decyzje, co ma przewagę nad tradycyjnym procesem podejmowania decyzji przez ludzi. Jednak komercyjni sprzedawcy, którzy sprzedają RAI, często ukrywają te szczegóły za roszczeniami dotyczącymi tajemnicy handlowej.13Chociaż sąd nie zgodził się ściśle z Loomisem – argumentując, że wystarczyło obserwować dane wejściowe i wyjściowe COMPAS – istnieją przekonujące powody do przejrzystości i możliwości interpretacji w tak ważnych kontekstach.

Na przykład, chociaż Loomis nie znał pełnej struktury modelu, wiedział, że uwzględnia on płeć jako czynnik i argumentował, że jest to dyskryminacja. Sąd nie zgodził się, podkreślając, że uwzględnienie płci w modelu pomogło zwiększyć jego dokładność. Wynika to z faktu, że biorąc pod uwagę podobne historie kryminalne, wskaźniki recydywizmu są statystycznie niższe dla kobiet niż dla mężczyzn.14Tak czy inaczej, wiedza Loomisa na temat wykorzystania płci w modelu pozwoliła mu zakwestionować jego włączenie, co jest przykładem tego, jak przejrzystość RAI może pomóc zainteresowanym stronom lepiej zrozumieć ten proces decyzyjny o wysokiej stawce.

Potencjalna dyskryminacja i problemy z RAI

Inne zarzuty o dyskryminację zostały postawione przeciwko RAI (i ogólnie algorytmom uczenia maszynowego), zauważając, że mogą one utrwalać i zaostrzać istniejące uprzedzenia w systemie sądownictwa karnego.piętnaścieByć może najbardziej godne uwagi twierdzenie pojawiło się w artykule ProPublica z 2016 roku na temat używania COMPAS wraz z decyzjami o tymczasowym aresztowaniu w Broward County na Florydzie.16W artykule stwierdzono, że COMPAS był stronniczy, ponieważ wypadł gorzej pod względem jednej miary wydajności (wskaźniki fałszywie dodatnie) dla osób czarnych w porównaniu z osobami białymi. Jednak inni badacze zauważyli istotną wadę statystyczną w odkryciach ProPublica: można je matematycznie wyjaśnić różnicami w podstawowych wskaźnikach wykroczeń dla każdej rasy bez konieczności stosowania tendencyjnego modelu.17Kiedy badacze stosują tradycyjną miarę rzetelności modelu — czy osoby z tym samym wynikiem ryzyka popełniają ponownie przestępstwa w tym samym tempie, niezależnie od rasy — dowody na dyskryminację rasową znikają.18

bezstronny przegląd prezydentury Obamy

Mimo to brak dowodów nie gwarantuje, że dyskryminacja jest nieobecna, a roszczenia te należy traktować poważnie. Jednym z najbardziej niepokojących możliwych źródeł stronniczości mogą być historyczne wyniki, które RAI uczy się przewidywać. Jeżeli te wyniki są wynikiem nieuczciwych praktyk, możliwe jest, że każdy model instrumentów pochodnych nauczy się je replikować, zamiast przewidywać rzeczywiste ryzyko związane z niewłaściwym postępowaniem. Na przykład, chociaż szacuje się, że grupy rasowe spożywają marihuanę w mniej więcej równym tempie, czarnoskórzy Amerykanie byli historycznie skazywani za posiadanie marihuany w wyższych wskaźnikach.19Model, który uczy się przewidywać wyroki skazujące za posiadanie marihuany na podstawie tych historycznych danych, niesprawiedliwie oceniłby czarnoskórych Amerykanów jako osoby o wyższym ryzyku, mimo że rzeczywiste wskaźniki używania są takie same we wszystkich grupach rasowych. Staranny dobór wyników, które odzwierciedlają rzeczywiste wskaźniki przestępczości leżące u podstaw, może uniknąć tego problemu. Na przykład model, który przewiduje wyroki skazujące za przestępstwa z użyciem przemocy, jest mniej stronniczy, ponieważ wyroki za przestępstwa z użyciem przemocy wydają się odzwierciedlać rzeczywiste wskaźniki wiktymizacji.dwadzieścia

[A] brak dowodów nie gwarantuje, że nie ma dyskryminacji, a te twierdzenia należy traktować poważnie.

Wielu twierdziłoby, że samo skupienie się na zachowaniu algorytmicznym jest zbyt ograniczone; że ważniejszym pytaniem jest, w jaki sposób RAI wpływają w praktyce na decyzje sądowe, w tym na wszelkie różnice w skutkach ze względu na rasę. Aby zilustrować ten punkt, warto pomyśleć o dwóch możliwych skrajnościach. Możemy nie być tak zaniepokojeni niedokładnym RAI, jeśli jest on kategorycznie ignorowany przez sędziów i nie wpływa na ich zachowanie. Z drugiej strony, całkowicie sprawiedliwy RAI może być powodem do niepokoju, jeśli jest selektywnie stosowany przez sędziów w celu uzasadnienia represyjnego traktowania społeczności kolorowych.

Chociaż wiele badań symulowało wpływ RAI, badania nad ich zastosowaniem w świecie rzeczywistym są ograniczone. Badanie RAI w Wirginii w latach 2012–2014 sugeruje, że niewłaściwe postępowanie przedprocesowe i uwięzienie można jednocześnie ograniczyć.dwadzieścia jedenW innym badaniu zbadano wdrożenie PSA w 2014 r. w hrabstwie Mecklenburg w Północnej Karolinie i stwierdzono, że jego wdrożenie zbiegło się z wyższymi wskaźnikami uwalniania, podczas gdy wskaźniki wykroczeń przedprocesowych pozostały niezmienione.22W trzecim badaniu przyjrzano się wdrażaniu RAI w stanie Kentucky w latach 2009–2016, znajdując ograniczone dowody na to, że narzędzie to zmniejszyło odsetek uwięzionych.23Badanie wykazało, że użycie RAI przez sędziego nie wpłynęło nierównomiernie na wyniki w różnych grupach rasowych.

Zalecenia

Każdy, w tym personel wykonawczy, planowania, zarządzania, analizy i tworzenia oprogramowania, biorąc pod uwagę zastosowanie algorytmów w sądownictwie karnym – lub w szerszym kontekście mającym wpływ – powinien wziąć pod uwagę te obawy podczas planowania polityk wykorzystujących algorytmy, w szczególności tych, które sterują decyzjami wymiaru sprawiedliwości w sprawach karnych.

Po pierwsze, decydenci powinni zachować ludzki nadzór i ostrożną dyskrecję podczas wdrażania algorytmów uczenia maszynowego. W kontekście RAI zawsze jest możliwe, że nietypowe czynniki mogą wpłynąć na prawdopodobieństwo niewłaściwego postępowania danej osoby. W rezultacie sędzia musi zachować możliwość uchylenia zaleceń RAI, nawet jeśli ta dyskrecja może zmniejszyć dokładność i spójność. Jednym ze sposobów na zrównoważenie tych konkurencyjnych priorytetów jest żądanie szczegółowego wyjaśnienia za każdym razem, gdy sędzia odstępuje od zaleceń RAI. Zachęciłoby to sędziów do świadomego motywowania swojej decyzji i zniechęciłoby do arbitralnych odstępstw od zaleceń RAI. Ogólnie rzecz biorąc, ostateczną decyzję powinni zawsze podejmować ludzie, a wszelkie odstępstwa wymagają wyjaśnienia i pewnego wysiłku ze strony sędziego.

Decydenci powinni zachować ludzki nadzór i ostrożną dyskrecję podczas wdrażania algorytmów uczenia maszynowego.

Po drugie, każdy algorytm stosowany w kontekście polityki wysokiej stawki, na przykład wyrok kryminalny, powinien być przejrzysty. Gwarantuje to, że każda zainteresowana strona może dokładnie zrozumieć, w jaki sposób dokonuje się określenia ryzyka, co stanowi wyraźną przewagę nad ludzkimi procesami decyzyjnymi. W ten sposób przejrzystość może pomóc w zbudowaniu zaufania i jest uznaniem roli, jaką te narzędzia odgrywają w podejmowaniu konsekwencji, skutecznych decyzji.

Po trzecie, algorytmy i dane wykorzystywane do generowania ich prognoz powinny być dokładnie zbadane pod kątem potencjalnej niesprawiedliwej szkody dla którejkolwiek grupy z powodu wyników. Sędziowie, prokuratorzy i analitycy danych powinni krytycznie przeanalizować każdy element danych dostarczonych do algorytmu – w szczególności przewidywane wyniki – aby zrozumieć, czy dane te są stronnicze w stosunku do jakiejkolwiek społeczności. Ponadto przewidywania modeli powinny być testowane, aby upewnić się, że osoby o podobnych ocenach ryzyka popełniają ponownie przestępstwa w podobnym tempie. Wreszcie, użycie możliwych do interpretacji modeli może pomóc w wykazaniu, że wyniki generowane przez każdy model wydają się sprawiedliwe iw dużej mierze zgodne z wiedzą dziedzinową na temat tego, co stanowi ryzyko.

Po czwarte, naukowcy zajmujący się danymi powinni pracować nad stworzeniem algorytmów ryzyka nowej generacji, które przewidują zmniejszenie ryzyka spowodowane interwencjami wspierającymi. Na przykład obecne RAI określają ryzyko niewłaściwego postępowania tylko w przypadku zwolnienia osoby bez wsparcia. Nie biorą pod uwagę wpływu wspierających interwencji — takich jak przypomnienia SMS-em o terminie rozprawy — nawet jeśli mogą one mieć wpływ na ryzyko niewłaściwego postępowania danej osoby. Wyobraź sobie osobę, która według tradycyjnego RAI będzie miała małe prawdopodobieństwo stawiennictwa w sądzie, jeśli zostanie zwolniona bez wsparcia. Mając tylko tę ocenę, sędzia prawdopodobnie zdecydowałby się na osadzenie danej osoby w więzieniu, aby zapewnić jej pojawienie się w sądzie. Jednak w przypadku RAI nowej generacji sędzia może również zauważyć, że przypomnienia w wiadomościach tekstowych znacznie zwiększają prawdopodobieństwo pojawienia się danej osoby. Mając te dodatkowe informacje, sędzia może zamiast tego zdecydować o zwolnieniu danej osoby i zapisaniu jej do przypomnienia. Algorytmy ryzyka nowej generacji, które szacują wpływ interwencji wspierających, mogą zachęcić sędziów i innych decydentów do unikania znacznych społecznych i finansowych kosztów działań karnych na rzecz bardziej humanitarnych alternatyw.

Wreszcie — i być może najważniejsze — algorytmy należy oceniać w miarę ich wdrażania. Możliwe, że uczestnicy dowolnego skomplikowanego systemu zareagują w nieoczekiwany sposób na nową politykę (np. selektywnie wykorzystując prognozy RAI do karania społeczności kolorowych). Biorąc pod uwagę to ryzyko, decydenci powinni uważnie monitorować zachowanie i wyniki w miarę wprowadzania każdego nowego algorytmu i powinni kontynuować rutynowe monitorowanie po ustanowieniu programu, aby zrozumieć skutki długoterminowe. Badania te będą ostatecznie kluczowe w ocenie, czy innowacje algorytmiczne generują skutki, do których dążą.

Obecnie RAI to tylko jedno z narzędzi algorytmicznych. Odrębne wyzwania dotyczą wykorzystania innych algorytmów. W szczególności organy wymiaru sprawiedliwości w sprawach karnych muszą wyjaśnić, w jaki sposób planują chronić prywatność i wolność jednostki podczas korzystania z rozpoznawania twarzy, publicznych baz danych DNA i innych nowych form inwigilacji. Ale jeśli są używane odpowiednio i ostrożnie, algorytmy mogą znacznie poprawić wpływowe decyzje, czyniąc je bardziej spójnymi i przejrzystymi dla każdego zainteresowanego interesariusza. Podobnie jak w przypadku każdej nowej polityki lub praktyki, wysiłki te muszą obejmować ciągłą ocenę i doskonalenie, aby zapewnić, że ich przyjęcie przyniesie z czasem skuteczne i sprawiedliwe wyniki.