IRATKOZZ FEL
CSATORNÁNKRA
Egy amerikai pénzügyi szabályozó nyomozást indított az Apple hitelkártyái után, miután kiderült, hogy azok különböző hitelkereteket biztosítanak a nőknek és a férfiaknak. A nyomozás azokon a panaszokon alapszik, melyek szerint a hitelkeretek megszabására használt algoritmus elfogult a nőkkel szemben.
A New York-i Pénzügyi Szolgáltatói Minisztérium (Department of Financial Services) felvette a kapcsolatot a Goldman Sachs-szel, az Apple Card működtetőjével. A DFS szerint bármilyen diszkrimináció, akár szándékos, akár nem, sérti a New York-i törvényeket.
A Bloomberg még november 9-én jelentette, hogy David Heinemeier Hansson arról panaszkodott, hogy az Apple Card 20-szor akkora hitelkeretet biztosított neki, mint feleségének, annak ellenére, hogy kettejük közül ő jobb rendelkezik hitelbírálati pontszámmal.
David tweetjére még Steve Wozniak, az Apple társalapítója is felszólalt a hitelkártyák ellen, állítása szerint ugyanis tízszer akkora hitelkeretet kapott, mint felesége.
Egyre több bank más hitelkibocsátó használ gépi tanulást a költségek csökkentésére és az ügyfelek számának fellendítésére.
„Jogszabálysértés”
Hansson szerint az eset rávilágít arra, hogy nem csak az emberek, hanem az algoritmusok is képesek diszkriminációra.
Az amerikai egészségügyi szupervállalat, a UnitedHealth Group után is nyomozás indult azzal az ürüggyel, hogy egyik algoritmusa előnyben részesítette a fehérbőrű pácienseket.
Hansson tweetjében a következőt írta:
„Az Apple Card egy akkora ****** szexista program. Nem az számít, hogy az Apple képviselőinek külön-külön milyen szándékai vannak, az számít, hogy milyen döntéseket hoz az az ALGORITMUS, amibe komplett bizalmukat fektették. És az algoritmus diszkriminál.”
Később elmondta, hogy amint felhívta a figyelmet a problémára, felesége hitelkeretét megemelték.
A DFS egy nyilatkozatában közölte, hogy „nyomozást indít, hogy megállapítsa, hogy a New York-i jogszabálysértés történt-e, és hogy biztosítsa, hogy minden ügyfél egyenlő bánásmódot kapjon, nemtől függetlenül”.
„Minden algoritmus, ami szándékosan, vagy nem szándékosan diszkriminatív bánásmódot eredményez a nőkkel vagy más védelem alatt álló osztályokkal szemben sérti a New York-i jogszabályokat.”
A Goldman Sachs a következőt nyilatkozta a Bloombergnek:
„Hiteldöntéseink az ügyfél hitelképességén alapszik, nem pedig olyan tényezőkön, mint a nem, rassz, kor, szexuális orientáció, vagy bármilyen más szempont, amit a törvény tilt.”
Az augusztusban megjelent Apple Card a Goldman Sachs első hitelkártyája. A Wall Street-i befektetési bank más termékeket is kínál a fogyasztóknak, úgymint személyi kölcsönöket és megtakarítási számlákat a Marcus online bankon keresztül.
Az Apple a következőképpen reklámozza hitelkártyáját saját webhelyén: „Egy újfajta hitelkártya. Az Apple-től, nem egy banktól.”
Mi történt valójában?
A Goldman Sachs rendszeréhez való hozzáférés nélkül lehetetlen megállapítani, hogy pontosan mi is áll a dolgok hátterében. Tény ugyan, hogy némi összefüggés észlelhető az ügyfelek neme és hitelkeretük között, de ez még nem feltétlenül jelenti azt, hogy az egyik kihatna a másikra. Ennek ellenére a gyanú szerint nem szándékos elfogultság került a rendszerbe.
Elképzelhető, hogy amikor az érintett algoritmusok még csak a fejlesztési fázisban jártak, egy olyan adathalmazzal tanították őket be, ami szerint a nők nagyobb hitelkockázatot jelentettek, mint a férfiak. Ha így történt, akkor ez egy lehetséges ok lehet, amiért az algoritmusok általánosságban alacsonyabb hitelkeretet rendelnek a nőkhöz, még akkor is, ha az adathalmaz nem egészen pontos.
Nem kizárt az sem, hogy az algoritmusnak biztosított aktuális adatok is hozzájárulnak az elfogultsághoz. Például a házaspárok közül a férfiak hajlamosabbak lehetnek nagyobb hiteleket felvenni saját névre ahelyett, hogy közösen tennék azt párjukkal, és az algoritmusokat talán nem állították be úgy, hogy figyelembe vegyék ezeket a döntéseket.
Tovább bonyolíthatja a helyzetet, hogy a hitelkeret kiszámításához számítógépes program egyfajta „fekete dobozként” működhet, ami azt jelenti, hogy lehetetlen visszafejteni, hogy pontosan milyen logika alapján határozott meg egy-egy keretet.
„Sok előrelépés történt az elmúlt öt-hat évben annak érdekében, hogy a gépi tanulás segítségével kideríthessük egy-egy döntés indokait” mondta Jonathan Williams az Mk2 Consulting munkatársa. „De bizonyos esetekben, még mindig nem működik olyan jól, mint ahogyan lehetne.”
Az Apple egyelőre szeretné, ha ezt a balhét a Goldman Sachs vinné el, annak ellenére, hogy marketingszövege szerint a kártyát ők készítették, nem pedig egy bank. A világ egyik leghatalmasabb szupervállalatának van egy bizonyos tekintélye, amit fent kell, hogy tartson, hiszen az emberek jobb minőségű szolgáltatásokat várnak el tőlük, mint bármely más kártyakibocsátótól.
