はい、人工知能は人種差別主義者になることができます

Probéiert Eisen Instrument Fir Probleemer Ze Eliminéieren

Alexandria Ocasio-Cortezは、AIにバイアスがかかる可能性があると述べています。彼女は正しいです。

ゲッティイメージズ/ EyeEm

携帯電話で写真アプリを開いて犬を検索すると、犬の写真がすべて表示されます。これは簡単なことではありませんでした。お使いの携帯電話は犬がどのように見えるかを知っています。

この現代の驚異は、人工知能の一形態である機械学習の結果です。このようなプログラムは、何百万ものデータをくまなく調べ、世界についての相関関係と予測を行います。彼らの魅力は計り知れません。機械は冷たくて硬いデータを使用して、人間よりも正確な意思決定を行うことができます。

しかし、機械学習には暗い面があります。適切に使用されない場合、それは社会に存在する人種的偏見を永続させる決定を下す可能性があります。コンピューターが人種差別主義者だからではありません。それは、彼らが世界を本来あるべき姿ではなく、あるべき姿として見ることによって学ぶからです。

最近、新しく選出されたアレクサンドリアオカシオコルテス議員(D-NY)がこの点を 議論 ニューヨーク市のマーティンルーサーキングジュニアデーイベントで。

アルゴリズムはまだ人間によって作られています、そしてそれらのアルゴリズムはまだ基本的な人間の仮定に固定されています、と彼女は毎年恒例の作家タナハシコーツに言いました MLKNowイベント 。それらは単なる自動化された仮定です。そして、バイアスを修正しない場合は、バイアスを自動化するだけです。

翌日、保守的なWebサイトDailyWireは コメント

しかし、オカシオコルテスは正しいので、その理由を考える価値があります。

注意しないと、AIは私たちの世界に偏見を持ち続けます。コンピューターは、コンピューター科学者として、子供と同じように人種差別主義者、性差別主義者、偏見を抱く方法を学びます Aylin Caliskan 、現在ジョージワシントン大学にいる、2017年のインタビューで私に言った。コンピューターは、作成者である私たちから学びます。

当時プリンストンにいたカリスカン氏によると、多くの人が機械に偏りはないと考えているという。しかし、機械は人間のデータで訓練されています。そして、人間は偏見を持っています。

人工知能は公平だと思います。多くの場合、そうではありません。

ほぼすべての新しい消費者向けテクノロジーは、何らかの方法で機械学習を使用しています。 Google翻訳を利用する:ギリシャ語をフランス語に翻訳してから英語に翻訳する方法を学ぶようにソフトウェアに指示した人はいません。それは無数のテキストの連なりをくまなく調べ、それ自体で学びました。その他の場合、機械学習プログラムは、どの履歴書が成功する求職者を生み出す可能性が高いか、または患者が特定の薬にどのように反応するかについて予測を行います。

機械学習は、問題を解決するために数十億のデータポイントを選別するプログラムですが(写真で動物を特定できるなど)、そうではありません。 常に明確にする どうやって それは問題を解決しました。そして、これらのプログラムが私たちに気付かれることなく偏見や固定観念を生み出す可能性があることはますます明らかになっています。

2016年、ProPublica 公開 裁判所が予約後に別の犯罪を犯す可能性が高い人を予測するために使用する機械学習プログラムに関する調査。記者は、ソフトウェアが白人よりも黒人のリスクが高いことを評価したことを発見しました。

このようなスコア(リスク評価として知られている)は、全国の法廷でますます一般的になっています、ProPublica 説明 。これらは、公債額の割り当てから、被告の自由に関するさらに基本的な決定まで、刑事司法制度のあらゆる段階で誰を解放できるかについての決定を通知するために使用されます。

プログラムは、実際の投獄データから、誰が刑務所に入れられる可能性が最も高いかについて学びました。そして歴史的に、現実世界の刑事司法制度は黒人のアメリカ人にとって不公平でした。

この物語は、機械学習についての深い皮肉を明らかにしています。これらのシステムの魅力は、人間の偏見のない公平な決定を下せることです。コンピュータがどの被告人が新たな犯罪を犯す可能性が高いかを正確に予測できれば、刑事司法制度は誰がどのくらいの期間投獄されるかについてより公平でより選択的になる可能性があるとプロパブリカは書いている。

しかし、何が起こったのかというと、機械学習プログラムは私たちの偏見を大規模に永続させたということでした。それで、裁判官がアフリカ系アメリカ人に対して偏見を持っている代わりに、それはロボットでした。

他のケースはよりあいまいです。中国では、研究者 ペアリング 運転免許証の写真を見て、誰が犯罪者であるかを予測する機械学習を備えた顔認識技術。それは89.5パーセントの精度を持っていると主張しました。

多くの専門家は非常に 調査結果に懐疑的 。このプログラムは分析のためにどの顔の特徴を取り上げましたか?司法制度で差別されているのは、特定の民族グループの身体的特徴でしたか?それは、低社会経済的育成の兆候を拾い上げているのでしょうか? 印象を残す 私たちの顔に?

知るのは難しいかもしれません。 (Scarier:というスタートアップが1つあります ファセプション 顔を見るだけでテロリストや小児性愛者を検出できると主張している。)

あなたは非常に強力なアルゴリズムを手に入れましたが、同じように重要なのは、アルゴリズムをフィードして区別するように教えることです。プリンストンの心理学者で顔認知の専門家であるアレクサンダー・トドロフは、2017年のインタビューで、 物議を醸す論文 機械学習を使用して、顔から性的指向を予測します。あなたがそれをがらくたで養うならば、それは結局がらくたを吐き出します。

Caliskanがこの問題を調査するようになったのは、ProPublicaの調査のような話です。大学院のクラスで日常的に唯一の女性であった女性のコンピューター科学者として、彼女はこの主題に敏感です。

彼女は、たとえばGoogle翻訳など、多くの場合微妙な方法で機械学習に偏見が忍び寄るのを見てきました。

彼女の母国語の1つであるトルコ語には、性別の代名詞はありません。しかし、彼女がトルコ語のフレーズでGoogle翻訳を使用すると、それは常に性別の言語で「彼は医者」になると彼女は言いました。トルコの判決では、医者が男性か女性かはわかりませんでした。コンピューターは、あなたが医者について話しているのなら、それは男性だと思っていました。

ロボットが暗黙のバイアスを学習する方法

2017年、Caliskanと同僚 公開 の論文 化学 コンピューターが英語を教えていると、黒人のアメリカ人や女性に対して偏見を抱くようになります。

基本的に、彼らは一般的な機械学習プログラムを使用してインターネットをクロールし、8400億語を調べ、それらの単語の定義を自分自身に教えました。プログラムは、特定の単語が同じ文に現れる頻度を探すことによってこれを達成します。ボトルという言葉を取ります。コンピューターは、単語のコンテナーの横や、水や牛乳などの液体を暗示する単語の近くで単語がより頻繁に発生することに気付くことで、その単語の意味を理解し始めます。

ロボットに英語を教えるというこのアイデアは、実際には認知科学と子供たちが言語を学ぶ方法の理解から来ています。 2つの単語が一緒に現れる頻度は、それらの意味を解読する際の最初の手がかりです。

コンピューターが語彙を蓄積すると、Caliskanは暗黙の連想テストのバージョンを実行しました。

人間の場合、IATは、人々が単語を関連付けるのにかかる時間を確認することで、脳の微妙な偏見を明らかにすることを目的としています。人はすぐに男性とエンジニアという言葉を結びつけるかもしれません。しかし、人が女性とエンジニアを関連付けることに遅れをとっている場合、それはこれら2つの用語が心の中で密接に関連していないことを示しており、偏見を意味します。

ここでは、ラグタイムを調べる代わりに、Caliskanは、コンピューターが2つの用語がどれほど密接に関連していると考えているかを調べました。彼女は、プログラム内のアフリカ系アメリカ人の名前は、白人の名前よりも楽しいという言葉との関連性が低いことを発見しました。そして、女性の名前は男性の名前よりも家族に関連する言葉とより関連していた。 (人間のIATには信頼性の問題がいくつかあります。 ここについて読む 。奇妙なことに、IATは人間よりもコンピュータープログラムでの使用に適している可能性があります。人間は一貫性のない質問に答えるのに対し、コンピューターは毎回同じ答えを出すからです。)

子供のように、コンピューターは用語が一緒に現れる頻度によって語彙を構築します。インターネットでは、アフリカ系アメリカ人の名前は不快感を暗示する言葉に囲まれている可能性が高くなります。それはアフリカ系アメリカ人が不快だからではありません。インターネット上の人々がひどいことを言うからです。そしてそれは私たちの若いAIに印象を残します。

これはあなたが思うほど大きな問題です。

人種差別主義者、性差別主義者のAIの結果

Caliskan氏によると、求職者は履歴書の最初のパスを取得するために機械学習プログラムにますます依存しているという。また、チェックを外したままにすると、プログラムは意思決定においてジェンダーの固定観念を学び、それに基づいて行動することができます。

男性が看護師の職に応募しているとしましょう。マシンが独自の決定を下しているだけの場合、彼はそのポジションにあまり適していないことがわかるかもしれないと彼女は言った。そして、これはソフトウェア開発者やプログラマーのポジションに応募する女性にとっても同じかもしれません。 …これらのプログラムのほとんどすべてがオープンソースではなく、何が起こっているのかを正確に把握することはできません。したがって、彼らが不公平であるか偏見があるかを明らかにしようとすることについて、私たちは大きな責任を負っています。

そして、それは将来の挑戦になるでしょう。すでに、AIは医療システムに浸透しており、医師が患者に適切な治療方針を見つけるのに役立っています。 (それが役立つかどうかについての初期の研究があります メンタルヘルスの危機を予測する 。)

しかし、健康データも歴史的な偏見に満ちています。女性が得ることは長い間知られていました 男性よりも低い率での手術 。一つの理由は、主介護者としての女性は、手術後に世話をする人が少ないということです。

AIは、女性に対してより低いレートでの手術を推奨するでしょうか?気をつけるべきことです。

では、これらのプログラムは役に立たないのでしょうか?

必然的に、機械学習プログラムは人種や性別の偏見を反映する歴史的なパターンに遭遇するでしょう。そして、偏見とは何かと世界についての単なる事実との間に線を引くのは難しいかもしれません。

機械学習プログラムは、歴史を通じてほとんどの看護師が女性であったという事実に気付くでしょう。彼らはほとんどのコンピュータープログラマーが男性であることに気付くでしょう。 Caliskan氏によると、この情報を削除することをお勧めしているわけではありません。それは実際にソフトウェアを完全に壊すかもしれません。

代わりに、Caliskanは、より多くの保護手段が必要であると考えています。これらのプログラムを使用している人間は、常に尋ねる必要があります、なぜ私はこれらの結果を得るのですか?これらのプログラムの出力にバイアスがないか確認してください。彼らは、彼らが組み合わせているデータが歴史的な偏見を反映しているかどうかについて真剣に考える必要があります。 Caliskanは、AIの偏見に対抗する方法のベストプラクティスがまだ検討中であることを認めています。それには、コンピューターサイエンティスト、倫理学者、社会学者、心理学者のための長期的な研究課題が必要だと彼女は述べた。

しかし、少なくとも、これらのプログラムを使用する人々は、これらの問題を認識している必要があり、コンピューターが人間よりも偏りの少ない結果を生み出すことができることを当然のことと考えてはなりません。

そして全体として、覚えておくことが重要です。AIは世界がどのように学習するかを学びます されています。 それは現状の傾向を取り上げます。世界がどうやって すべきです することが。それは人間が決めることです。