Переклала Віолетта Жихар
У 2015 році алгоритм Google Photo автоматично позначив двох чорношкірих друзів як «горил», що стало результатом недостатньої підготовки програми у розпізнаванні темношкірих облич. У тому ж році британській лікарці було відмовлено в доступі до жіночої роздягальні в спортзалі, тому що програмне забезпечення, яке використовували для управління системою членства, автоматично закодувало її форму звертання — «доктор» — як чоловічу. Приблизно в той же час молодий батько, зважуючи свого малюка віком два с половиною роки на «розумних» вагах, отримав від вбудованого додатка пораду не переживати через те, що він набрав вагу — він все ще може скинути ці кілограми!
Це лише кілька прикладів вбудованих упереджень, закодованих в наших технологіях. Їх описала у своїй новій книзі Сара Вахтер-Боетчер «Технічно неправильно: сексистські додатки, упереджені алгоритми та інші загрози токсичних технологій». Вахтер-Боетчер також описує більш тривожні приклади упереджених технологій, такі як програми прогнозування злочинності, які помилково позначають чорношкірих обвинувачених як таких, що мають більш високий ризик повторного скоєння злочину порівняно з білими обвинуваченими, а також структурні недоліки соціальних мереж, які роблять жінок і небілих людей легкими жертвами онлайн-переслідувань.
Майже всі ці приклади, пише вона, є результатом ізоляції технологічної галузі, де працюють переважно білі. Вони вбудували власні упередження в основи технологій, які ми використовуємо і від яких залежимо. «Протягом дуже довгого часу технологічні компанії процвітали завдяки аудиторії, яка не ставила складних питань, — сказала мені Вахтер-Боетчер під час недавнього телефонного інтерв’ю. — Я хочу, щоб люди почувалися менш спантеличеними від технологій і більш підготовленими до розмови про них».
Вахтер-Боетчер, веб-консультантка, яка допомагає компаніям поліпшувати користувацький досвід своєї аудиторії та свою контент-стратегію, каже, що вона написала книгу для читачів, далеких від галузі (тих, хто «вважає Фейсбук трохи моторошним, але не може чітко сформулювати, чому»), які, на її думку, мають право боротися з недоліками індустрії. Наведена нижче розмова між Вахтер-Боетчер і мною була дещо скорочена і відредагована для ясності.
У останньому розділі книги ви ставите питання, чи мають взагалі якесь значення всі ці розмови про додатки і алгоритми в цей «дивний момент в Америці». Ви пишете: «Кому яка різниця до технологій, коли ми стикаємося з депортаціями, пропагандою і загрозою другої Холодної війни?» То яка нам різниця?
Мені довелося написати це півроку тому, і виявилося, що з того часу мало що змінилося.
Я би сказала, що технології — це величезна та надзвичайно потужна індустрія. Це те, що зачіпає буквально всі аспекти нашого життя. Технології формують нашу культуру, і це впливає на те, як ми почуваємося. Ігноруючи технології або вважаючи їх нейтральними, ми тільки шкодимо собі.
Я розглядаю багато з цих упереджень як мікроагресію, дрібні порізи технологій. На індивідуальному рівні, може, і не є великою проблемою, що якась онлайн-анкета не приймає людей, які не ідентифікують себе як чоловіка або жінку. Але коли ви дивитеся на такі речі у тривалій перспективі, то бачите, що вони накопичуються. Це смерть від тисячі дрібних порізів, і я вважаю це важливим, тому що думати про людей — важливо.
Але інша причина, з якої ці маленькі речі є важливими, полягає в тому, що невеликі упередження та невеликі збої — це ознаки великих зловживань. Їх видно, тоді як самі алгоритми з упередженнями невидимі. Якщо технологічна компанія приділяє так мало уваги цінностям людей, що створює інтерфейс, який працює тільки в тому випадку, якщо ви гетеросексуальні та цисгендерні, або алгоритм для фотографій, який розпізнає вас, тільки якщо ви білий, чи захочете ви довірити цьому алгоритму інші аспекти свого життя? Якщо вони не можуть створити інтерфейс, який був би розрахований на вас, чи довірите ви їм створення алгоритму, який ви навіть не бачите?
Чи отримували ви негативні коментарі від індустрії технологій, коли представляли книгу?
Були, наприклад, такі: «Ой, ну, ви знаєте, ці проблеми розвинутих країн» або «О боже, у вас забагато вільного часу». Це була звичайна зневажливість. Я ще не отримала критики від тієї аудиторії, яка насправді цікавиться деталями. Книга ще не вийшла.
Я думаю, що існує багато людей з добрими намірами, які знехтували складною роботою з усвідомлення того, наскільки їхні погляди сформовані та керовані панівною расистською та сексистською культурою. Наш світогляд сформований, м’яко кажучи, безладною історією, і світогляд людей, які створюють технології, — не виняток. Існує багато людей, які прагнуть лише добра, але думають: «Ну, я точно не расист» — замість того, щоб подумати про системи та структури в основі суспільства. Ви не просто не допомагаєте позбутися упередженості, ви вбудовуєте її в речі, які ще переживуть вас.
Одна з дійсно страшних речей — це [нейронна мережа] Word2vec. Вона була створена дослідниками Google пару років тому для покращення обробки природної мови. Вони згодували їй величезну кількість текстів з новинних статей у Google, щоб дати їй матеріал для переварювання і навчання. Вона добре все засвоїла. Вона могла відповісти на аналогію, вона розуміла взаємодію між словами. Але, наприклад, якби ви запитали її: «Чоловік, порівняно з жінкою — це як дослідник комп’ютерів порівняно з …», вона відповіла б: «З домогосподаркою». Це всього лиш незначна технологія, яку можна використовувати для обробки мови. Але тут відбувається ось що: люди проводять дослідження і конструюють такий інструмент із вбудованими упередженнями.
Тобто програми та алгоритми таким чином створюють цикли соціального зворотного зв’язку, які можуть впливати на поведінку користувача?
У цьому, можна сказати, суть алгоритму. Алгоритм повинен бути налаштований на щось. Він робить низку кроків, і хтось вирішує, що це за кроки. Якщо ви поглянете на роботу, яка була проведена з програмним забезпеченням для прогнозування злочинності, то побачите, що, серед іншого, воно повідомляє: «Це район з високим рівнем злочинності» — і відправляє туди більше поліції, внаслідок чого більше поліцейських бачать більше злочинів, і район позначається як іще більш криміногенний. Якщо у вас висока чисельність чорношкірих людей, вони будуть оточені поліцією. Хоча показники злочинності аналогічні в чорних та білих районах, арештів в чорних кварталах більше, тому туди відправляють більш поліцейських — і коло замикається.
Одна з цілей розробників програмного забезпечення — вдавати, що вони можуть передбачати майбутнє. І справа тут не так у передбаченні майбутнього, як у в переписуванні минулого. Саме це й відбувається, якщо ви не завдасте собі клопоту спеціально вбудувати структурні запобіжники проти цього.
У яких сферах технологій упередження поширені найбільше?
Якщо ви хочете почати звертати більше уваги на технології, з якими ви взаємодієте щодня, я б порадила звертати увагу на ті області, де інтерфейс запитує у вас інформацію. Щоразу, коли він робить припущення або вгадує, хто ви або чого ви хочете, або щоразу, коли дизайн або контент певного технологічного продукту взаємодіє з вашим власним контентом. Усе, що пов’язано зі зміною фотографій, чи все, що передбачає розміщення їхніх копій поряд з тим, що ви створили. Це часто можна спостерігати, коли технологічні компанії намагаються збільшити залучення користувачів: вони намагаються робити розумні, смішні і милі речі — наприклад, піднімати пости з вашого минулого на Facebook.
Днями Фейсбук нагадав мені про мій власний день народження, так ніби я могла про це забути. Але в книзі ви даєте набагато більш дражливий приклад про батька, якому був показаний альбом «Огляд року», з усіма цими повітряними кульками і стримерами, де були фото його доньки, котра померла того року.
Коли технологічна компанія, така як Фейсбук, автоматично припускає, що у всіх, хто щось розмістив на її платформі, був хороший рік, вона, по суті, припускає, що знає вас краще, ніж ви самі. Більшість технологічних компаній рідко наймають людей, які мають освіту в області соціальних наук. До соціальних навичок, як правило, ставляться зневажливо, і в цій культурі, де здатність до емпатії та вміння спілкуватися не цінують, людям легко припускати, що вони розуміють вплив свого світу, і при цьому сліпо прогледіти свої далекосяжні припущення.
Я знала багатьох працівників Фейсбука, які мали великий вплив на одну дрібну функцію, але не ставили питання на більш високому рівні: «Чи нам узагалі варто це робити?».
Чи стикалися ви в ході дослідження з чимось, що вас по-справжньому здивувало?
Я не знайшла упереджень, про які я раніше не думала, але це могло статися через мої власні упередження. Я була здивована тим, наскільки викривленими можуть бути деякі технології. Я була трохи здивована, що FaceApp [додаток для редагування фотографій] цього року створив цілий алгоритм — фільтр «сексуальність» — тільки для білих людей. Цей алгоритм, по суті, навчався визначенню краси від білих людей. Якщо у вас небілий колір шкіри, і ви вирішили використати це налаштування, воно висвітлить вашу шкіру або звузить ніс. Схоже на те, що розробникам це просто не приходило в голову. Вони визнали, що проблема в наборі навчального матеріалу. Я була здивована, що їм вдалося подолати увесь цей шлях аж до виходу на ринок, і за цей час їм жодного разу не спало на думку, що їхній алгоритм абсолютно не підходить для небілих людей. Я не здивована, що технологічні компанії мають безліч упереджень на користь білого кольору шкіри. Мене здивувало, наскільки вони очевидні, наскільки кричущі.
Що можуть користувачі технологій зробити з цими упередженими алгоритмами?
Я думаю, що на індивідуальному рівні важко відчути, що ви можете щось зробити. Відповідь завжди одна: видаліть цю програму. Це хороший вибір, але я розумію, що є багато додатків, які ви не хочете видаляти. Є багато додатків, які і я не хочу видаляти. По-перше, потрібно більш критично дивитися на технології, які ви використовуєте. Коли певна технологія змушує вас почуватися відчужено або незручно, багато людей інстинктивно починають думати, що вони її «не розуміють». Щоразу, коли у вас з’являється це почуття, зупиніться і скажіть собі: «Стоп, можливо, річ не в мені. Можливо, річ у цьому продукті, і цей продукт поганий». Я справді думаю, що ми засвоюємо багато такого — замість того, щоб оцінювати продукт, з яким ми працюємо. Річ не в вас, а в технології.
Коли ви знаходите ці невеликі видимі приклади упередженості, я б радила публічно вказувати на них технологічним компаніям. Зв’яжіться з ними, розкажіть їм у соціальних мережах. Думаю, що їм уже надто довго все сходить з рук. Я справді вважаю, що їм потрібно відчути цей опір з боку людей. Зокрема коли ми маємо справу зі штучним інтелектом, усе йде до того, що треба буде створювати законодавство для регулювання цієї сфери. Але цього не станеться, якщо не буде великої кількості людей, які голосно критикуватимуть технології.
Джерело: Motherboard