アルゴリズムがつくる「公正さ」には、差別を助長する危険性が潜んでいる：伊藤穰一

［編註：記事は英語による『WIRED』US版への寄稿の日本語訳］

1967年夏、全米には人種暴動の嵐が吹き荒れていた。この年に起きた159件の“暴動”（視点を変えれば抗議行動と呼ぶこともできる）の大半は、インナーシティ［編註：都市内部で周辺地域から隔絶された特定の区域］に住む貧しいアフリカ系米国人と警察との対立に端を発する。

貧困層が住むこうしたエリアは暴動前から荒廃しており、そこに暴動によるダメージが加わったため、回復はほぼ不可能になった。一連の事態を理解するためには、「特定警戒地区指定（レッドライニング）」という言葉を知る必要がある。これは保険業界の専門用語で、保険を引き受けるにはリスクが高すぎることを示すために、地図上で赤線で囲まれた区域のことを指す。

ときの大統領リンドン・ジョンソンは68年、暴動で被害を受けた地域の保険問題に関する諮問委員会を設置した。インナーシティの復興に加え、レッドライニングが暴動の一因となった可能性があるかどうかを探るためだ。

この委員会の調査で、ある事実が明らかになった。レッドライニングによって、マイノリティーのコミュニティーと周囲との格差が助長され、金融や保険などの面で不平等が深まるというサイクルが生じる。つまり、地図の上に赤い線を引くことで、こうした地域が周囲と隔絶されてしまったそもそもの原因である貧困に拍車がかかるのだ。

保険会社とソーシャルメディアの共通項

保険会社は黒人やヒスパニック系といった人種的マイノリティーへの商品販売を拒んでいるわけではなかったが、業界ではレッドライニングを含む明らかに差別的な商慣行が許容されていた。そして、保険がなければ金融機関の融資は受けられないため、こうした地域に住む人は住宅購入や起業が実質的に不可能だった。

委員会の報告を受けて、レッドライニングの禁止とインナーシティ周辺への投資促進に向けた法律が制定されたが、この慣行はなくならなかった。保険会社は黒人への商品販売拒否を正当化するために、特定の地域における統計的リスクという言い訳をもち出した。つまり、レッドライニングは保険の引受リスクという純粋にテクニカルな問題であって、倫理的なこととは何も関係がないというのだ。

この議論は、一部のソーシャルネットワーク企業の言い分と非常によく似ている。SNS企業は、自分たちはアルゴリズムを駆使したプラットフォームを運営しているだけで、そこに掲載されるコンテンツとは関わりはないし、責任も負わないと主張する。

一方、現代社会の最も基本的な構成要素である金融システムの一端を担う保険会社は、市場における公平性と正確性に従っているだけだと述べる。数学的かつ専門的な理論に基づいてビジネスを展開しているのであり、結果が社会にどのような影響をもたらそうが知ったことではないというのが、その立ち位置だ。

「よい」リスクと「悪い」リスク

「保険数理的な公正」を巡る議論は、こうして始まった。公正さの確保という問題において、歴史的に重視されてきた社会道徳やコミュニティの基準より統計や個人主義的な考え方を重視するやり方については、さまざまな批判がある。一方で、こうした価値観は保険業界だけでなく、治安維持や保釈の判断、教育、人工知能（AI）などさまざまな分野に広がっている。

リスクの拡散は昔から保険の中心的なテーマだったが、リスク区分という概念はこれより歴史が浅い。リスクの拡散とは、コミュニティのメンバーに何かが起きたときに備えて一定の資源を担保しておくことで、その根本には連帯という原則がある。

これに対し、近代の保険システムは個人のリスク水準をその当人に割り当てる。いわば個人ベースのアプローチで、自分より危険性の高い他人のリスクを肩代わりする必要がなくなるのだ。この手法は東西冷戦で社会主義的な性格のものが敬遠された時代に広まっていったほか、保険市場の拡大にも貢献した。

保険会社はリスク区分を改良していけば「よい」リスクを選ぶことが可能になる。つまり、自社の保険金の支払いが減り、コストの高い「悪い」リスクは他人に押し付けられる。

保険数理学的な「公正」の発展

なお、この問題については、マサチューセッツ工科大学（MIT）メディアラボの研究者でアルゴリズムの公平性と保険数理を専門とするロドリゴ・オチガメが、MIT助教授で歴史学を教えるケイリー・ホランのことを教えてくれた。本稿はホランの研究に多くをよっている。彼女は近く『Insurance Era: The Privatization of Security and Governance in the Postwar United States（保険の時代：戦後の米国における安全と統治の民営化）』という本を上梓する予定だが、ここでは本稿で触れたことがさらに詳しく説明されている。

リスクの拡散と連帯の原則の根底には、リスクを分かち合うことで人々の結束が強まるという考え方がある。そこでは相互扶助と協力関係の構築が奨励される。ただ、20世紀の最後の10年間は、この精神が保険数理学的な公正に取って代わられてしまった。

レッドライニングは、完全に人種差別的なアイデアと間違った固定観念に基づいて始まったものだ。しかし、保険会社はこの差別が「公正」であると主張するために、一見それらしく見える数学的手法を編み出し、それを発展させていった。

女性は男性より平均寿命が長いのだから年金保険料を多く払うべきである、黒人コミュニティは犯罪の発生率が高いから黒人の損害保険料率を高く設定することは許される──というわけだ。

論点をすり替えた議論の末に

米国社会にはいまだに、こういったあからさまな人種差別や偏見が存在する。そして保険業界では、差別は複雑な数学や統計に包んでうまく隠されており、専門家でなければ理解して反論するのはほとんど不可能だ。

1970年代後半には、女性の活動家たちがレッドライニングやリスク評価における不公正と闘うための運動に加わった。彼女たちは、保険のリスク区分に性別という要素が加えられているのは性差別だと主張した。

保険会社はこれに対して、またもや統計と数理モデルをもち出した。リスク区分を決める際に性別を考慮するのは間違っていない、なぜなら保険の対象項目には実際に男女によってリスクの異なるものがあることが統計によって明らかになっているからだ──というのだ。

こうして、保険業界のやり方に批判的だった人たちの多くが、ある意味で論点をすり替えた議論に巻き込まれていった。公民権グループとフェミニストの活動家が保険業界との戦いに破れたのには、理由がある。

人々は、特定の統計やリスク区分が不正確だと保険会社を非難した。しかし本当の問題は、そもそも保険のように重要かつ基本的な社会システムを構築する上で、数学的に割り出した公正さ、つまり市場主導型の価格的な公平性を取り入れることが妥当なのかという点だ。

アルゴリズムに潜むバイアス

公正であることは、正確であることとは必ずしも一致しない。ジャーナリストのジュリア・アングウィンが、刑事司法制度で採用されているリスクスコア評価には非白人に対する偏見があると指摘したとき、評価システムのアルゴリズムを開発した企業は、システムは正確なのだから公正だと反論した。

リスク評価システムでは、非白人は再犯率が高いとの予測が出る。再犯率は犯罪者が釈放後に再び罪を犯す可能性のことで、過去の犯罪データを基に算出されるが、問題の根本はここにある。なぜなら、逮捕という行為そのものに警察当局のバイアスがかかっており（例えば、警察官は非白人や貧困層の居住区域を重点的にパトロールするだろう）、アルゴリズムは当然それを反映してしまうからだ。

再犯リスクは保釈金の金額や判決、仮釈放の有無といった決定を下す際に、判断材料のひとつになる。また、当局はこのデータを基に、犯罪の起こる可能性が高そうな場所に人員を割く。

ここまで書けばわかると思うが、特定の集団の未来を予測する上でリスクスコア評価を信じるのであれば、黒人だからという理由だけで量刑相場が上がるのは「公正」ということになる。数学的には「公正」なのだろうが、社会的、倫理的、かつ人種差別という観点から考えたときに公正でないことは明らかだ。

形成される「負のループ」

さらに、富裕層の住むエリアに逮捕者が少ないからといって、富裕層は貧困層と比べてマリファナを吸う頻度が低いということにはならない。これは単純に、こうしたエリアには警察が少ないというだけの話だ。当然のことだが、逆に警察が目を光らせている貧困地区に住んでいれば、再逮捕の可能性は高くなる。こうして負のループが形成されていく。

インナーシティに対するレッドライニングも、まったく同じように機能する。特定の地域での過剰な治安維持活動は、短期的に見れば「正確」なデータに基づいた「公正」なことなのかもしれない。しかし、長期的にはコミュニティに負の影響を及ぼし、さらなる貧困と犯罪の拡大につながることが明らかになっている。

独立系メディアサイト『プロパブリカ』に掲載されたアングウィンの調査報道記事によると、保険会社は規制があるにもかかわらず、いまだに非白人地域の居住者に白人地域に比べて高いプレミアムを課している。リスクが同じ場合でもそうだという。

『ボストン・グローブ』紙の調べでは、ボストン都市圏に住む白人世帯の純資産は平均で24万7,500ドル（約2,700万円）なのに対し、非移民の黒人世帯の純資産の中央値は8ドル（約900円）であることが明らかになっている。この格差は、レッドライニングとその結果としての住宅市場や金融サーヴィスへのアクセスの阻害によって引き起こされたものだ。

人々が関与できるメカニズムの重要性

レッドライニングはすでに法律で禁じられているが、別の例もある。アマゾンは「Amazonプライム」の当日配送無料サーヴィスを「最良の」顧客にのみ提供している。これは実質的にはレッドライニングと同じで、新しいアルゴリズム的な手法によって、過去に行われた不公正の結果を強化していくものだ。

保険会社と同じで、テクノロジーやコンピューターサイエンスの世界にも、倫理判断や価値基準といったものは排除した純粋に数学的な手法で「公正さ」を定義しようとする傾向がある。これは高度に専門的であると同時に、循環論法に陥りがちだ。

AIは再犯率のような差別的慣行の結果を利用して、身柄の拘束や治安維持強化の正当性を認めさせようとする。しかし、アルゴリズムによって下された判断そのものが、貧困、就職難、教育の欠如といった潜在的な犯罪の要因を生み出すことにつながる可能性があるのだ。

テクノロジーの力を借りて策定された政策については、それが長期的に社会にどのような影響を及ぼすのかを見極め、説明できるようなシステムを確立する必要がある。アルゴリズムがもつインパクトを理解する助けとなるようなシステムだ。アルゴリズムの利用や最適化の方法、どこで収集したデータがどのように使われているのかといったことについて情報を提供し、人々がそこに関与できるようなメカニズムを構築していかなければならない。

理想の未来か、過去の規範か

現代のコンピューターサイエンティストは、かつての保険数理士よりはるかに複雑なことに取り組んでいるし、実際に公正なアルゴリズムをつくろうと試行錯誤を重ねている。アルゴリズムにおける公正さは正確さとイコールではなく、公正さと正確さとの間に存在するさまざまなトレードオフによって定義される。

問題は、公正という概念は、それだけで完結するシンプルな数学的定義に落とし込むことはできないという点だ。公正さは社会的かつ動的であり、統計的なものではない。完全に達成することは不可能だし、民主主義の下での監視と議論によって常に改良されていくべきものなのだ。

過去のデータと、いまこの瞬間に「公正」とされることに頼るだけでは、歴史的な不公正を固定化してしまうだろう。既存のアルゴリズムとそれに基づいたシステムは、理想の未来ではなく過去の規範に従っている。これでは社会の進歩にはつながらず、むしろそれにブレーキをかけることになるはずだ。

伊藤穰一｜JOI ITO
1966年生まれ。起業家、ヴェンチャーキャピタリスト。『WIRED』US版アイデアズ・コントリビューターも務める。2011年よりマサチューセッツ工科大学（MIT）メディアラボ所長。著書にジェフ・ハフとの共著『9プリンシプルズ』〈早川書房〉、『教養としてのテクノロジー』〈NHK出版〉など。

伊藤穰一によるコラムのバックナンバー

• 仮想通貨とブロックチェーン、そしてICOの狂乱に思うこと
• 「説明できること」の先にある科学の未来
• 「ユニヴァーサル・ベーシックインカム」のパラドックス
• AIは未来を予測しない。いまを映す「鏡」である
• 代用肉の進化と、「細胞農業」がもたらす食の未来
• 「ニューロダイヴァーシティ」を受け入れるために、あるべき教育の姿を考える
• 学校の授業時間再編を巡る騒動から得た、人工知能にまつわる重要な視点
• 「3.11」の原発事故を教訓に、オープンデータの重要性を改めて考える
• 科学の未来のために、論文を「購読料の壁」から救い出せ

TEXT BY JOI ITO

TRANSLATION BY CHIHIRO OKA