So-net無料ブログ作成

No.240 - 破壊兵器としての数学 [社会]

No.237「フランスのAI立国宣言」で紹介した新井教授の新聞コラムに出てきましたが、マクロン大統領がパリで主催した「AI についての意見交換会」(2018年3月)に招かれた一人が、アメリカの数学者であるキャシー・オニールでした。彼女は、

Weapons of Math Destruction - How Big Data Increases Inequality and Threatens Democracy」(2016)

破壊兵器としての数学 - ビッグデータはいかに不平等を助長し民主主義をおびやかすか

という本を書いたことで有名です。Weapons of Mass Destruction(大量破壊兵器。WMDと略される)に Math(Mathematics. 数学)を引っかけた題名です(上の訳は新井教授のコラムのもの)。この本は日本語に訳され、2018年7月に出版されました。

キャシー・オニール 著(久保尚子訳)
「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」
(インターシフト 2018.7.10)

です(以下「本書」)。一言で言うと、ビッグデータを数式で処理した何らかの "結果" が社会に有害な影響を与えることに警鐘を鳴らした本で、まさに現代社会にピッタリだと言えるでしょう。今回はこの本の内容をざっと紹介したいと思います。なお、原題にある Weapons of Math Destruction は、そのまま直訳すると「数学破壊兵器」で、本書でも(題名以外は)そう訳してあります。


本書で扱っているテーマ


本書をこれから買おうと思っている方のために、2つの留意点を書いておきます。

 AIについての本ではない 

Weapons of Math Destruction.jpg
キャシー・オニール
(久保尚子訳)
「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」
(インターシフト)
まず注意すべきは、本書は題名とは違ってAIについての本ではないということです。原題が暗示するように "数学"(Math)が社会に与える影響、特に悪影響(ダークサイド。暗黒面)についての本です。もちろん AI も数学の一部なのですが、直接的にAIはほとんど出てきません。日本語の題名に原題には無い "AI" を入れたのは、本が売れやすいようにということだと思います。最近の各種メディアでは「なんでもかんでも AI というタイトルをつける」傾向にありますが、その風潮に乗っかった日本語題名と言えるでしょう。

数学が社会に与える影響と書きましたが、もっと詳しく言うと「数学モデル(数理モデル)が社会に与える影響」です。この数学モデルは人間が考え出したものであり、単純な数式のこともあれば、複雑な(数学的)アルゴリズムのこともあります。AIはその極めて複雑な部類です。この数学モデルにはデータ(ないしはビッグデータ)が入力されます。そして計算の結果として、

  評価、判断、分類、予測、グループ分け、ランキング(ランク付け、順位付け)、スコアリング(スコア付け、点数付け)、指数、指標

などが出力されます。その多くは個人に関するものですが、組織体(大学、高校、企業、自治体、国、・・・・・)について評価のこともあり、また「犯罪発生場所の予測」といった場所・地区に関する数値であったりもします。

最も単純な数学モデルの例は、本書でも出てくる BMI(Body Mass Index。ボディマス指数)でしょう。人の身長と体重を入力とし、"数学モデル" によって「肥満度の評価指標値」を出し、同時に人を「肥満・普通・痩せ」に分類します。この場合の "数学モデル" は、体重(kg)を身長(m)の2乗で割るという単純な数式です。

もちろん数学モデルの利用は近代科学が始まったときからの歴史があります。むしろ数学モデルを使うことで近代科学が生まれたと言えるでしょう。現代でも身近なところでは、気象の予測には膨大な計算を必要とする数学モデル(=物理モデルをもとにした数学モデル)が使われています。もちろん自然科学だけなく社会科学にも使われます。

この数学モデルが社会に悪影響を与えるとき、キャシー・オニールはそれを「数学破壊兵器 = WMD」と呼んでいるわけです。悪影響とは、たとえば差別を助長するとか、貧困を加速するとか、公正ではない競争を促進するとか、平等の原則を阻害するとかであり、その具体的な例は本書に出てきます。

 アメリカの事例 

2つめに留意すべきは、本書に取り上げられているのはアメリカでの事例だということです。日本では考えられないような実例がいろいろ出てきます。それらを単純に日本に当てはめることはできない。

しかし我々としてはアメリカでの数学破壊兵器の実態を反面教師とし、そこから学ぶことができます。かつ、本書に出てくるアメリカの巨大IT企業(フェイスブック、グーグル、アマゾンなど)は日本でもビジネス展開をしているわけで、我々も常時利用しています。もちろん、これらのIT企業が数学破壊兵器を使っていると言っているのではなく、その危険性があると指摘しているわけです。こういった知識を得ることも有用でしょう。


キャシー・オニールの経歴


Cath ONeil.jpg
キャシー・オニール
Cathy O'Neil
(site:www.barnesandnoble.com)
本書の内容を理解するためには、著者のキャシー・オニールの経歴に注目する必要があります。彼女は小さい時から数学マニア("オタク" が適当でしょう)だったようで、14歳のときには「数学キャンプ」に参加したとあります(そんなキャンプがある)。数学は現実世界から身を隠す「隠れ家」でもあったと、彼女は述懐しています。そしてハーバード大学で数学の博士号(代数的整数論)をとり、コロンビア大学で終身在職権付きの教授になりました。そしてその教授職を辞して、大手ヘッジファンド、D.E.ショーに転職し、クオンツとして働きました。クオンツとは数学的手法で分析や予測を行う、金融工学の専門家(データ・サイエンティスト)です。通常のヘッジファンドのクオンツはトレーダーの下働きですが、D.E.ショーではクオンツが最高位だったとあります。ちなみに D.E.ショー は金融工学(フィンテック)の先駆けとも言えるヘッジファンドで、アマゾンを創立する以前のジェフ・ベゾス氏が働いていたことでも知られています。

まさにキャシー・オニールは学者としてエリートであり、ヘッジファンドに転職というのも華麗な経歴です。ところが転職して1年あまりの2008年秋、世界経済は崩壊に直面しました(= リーマン・ショック)。彼女は次のように書いています。


かつて私を保護してくれた数学は、現実世界の問題と深く絡んでいるだけではなかった。数学が問題を大きくしてしまうことも多いという事実を、この経済崩壊はまざまざと見せつけてくれた。住宅危機、大手金融機関の倒産、失業率の上昇 ── いずれも、魔法の公式を巧みに操る数学者によって助長された。それだけではない。私が心から愛した数学は、壮大な力をもつがゆえに、テクノロジーを結びついてカオスや災難を何倍にも増幅させた。いまや誰もが欠陥があったと認めるようなシステムに、高い効率性と規模拡大性を与えたのも数学だった。

キャシー・オニール著
「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」
(久保尚子訳。インターシフト。2018.7.10)

本書の根幹にあるキャシー・オニールの "思い" とは、愛する数学が社会に災いをもたらすことへの危機感(ないしは "数学をもて遊ぶ人たち" への怒り)と、短期間とはいえ "災いをもたらす側で数学者として働いた" という自責の念、の2つでしょう。本書の第2章では「内幕」と題して2008年の前後の金融業界・ヘッジファンドの内情が生々しく語られています。

彼女はヘッジファンドを離職し、現在は企業が使うアルゴリズムを監査する会社(彼女自身が立ち上げたもの)のトップを努めています。もちろん彼女は数学モデルやアルゴリズム(AIもその一種)を否定しているのではありません。「盲信するな」と警告しているわけです。

そのようなスタンスは本書でも明らかです。本書には「明白な数学破壊兵器の例」もありますが、「数学破壊兵器になりかねないもの」や「有益なツールだが、使い方によっては数学破壊兵器になるもの」、「将来、数学破壊兵器へと発展しかねないリスクがあるもの」の例などが出てきます。幅広い見地から "数学の有害利用" を指摘しアラームをあげることによって、それを正そうとする本と言えるでしょう。



以下に本書にある多数の事例から3つの例だけを紹介します。教育と犯罪に関するものです。


教師評価システム


本書で最初にあげられている数学破壊兵器の例が、教師の評価スコアを算出するツールです。


2007年、新たにワシントンDC市長になったエイドリアン・フェンティは、学力水準の低い市内の学校の状況改善を決意し、身を粉にして働いた。当時、第9学年を終了して卒業まで漕ぎつける高校生は2人に1人、第8学年で数学の成績が学年水準に達している生徒はわずか 8% というあり様だった。フェンティは、新たにワシントンDC学区の教育総長という役職を設置して強い権限をもたせ、教育改革論者のミシェル・リーを起用した。学生の成績が十分でないのは教師の教え方が悪いからだ、という理論に立ち、2009年、リーは業績の低い教師を一掃する計画を実行に移した。

(中略)

リーは、IMPACTと呼ばれる教師評価ツールを考案し、2009~10年の学年度末に、評価スコアが学区内の下位 2% に入る教師を全員解雇した。翌年にはさらに、下位5% に相当する 206名が解雇された。

「本書」

ワシントンDCの教師だったサラ・ウィソッキーの例が出てきます。彼女はマクファーランド中学で第5学年(日本式に言うと中学1年)の受け持ちでした。彼女は子供たちに対するきめ細かい配慮で保護者からも高く評価されていました。ところが2009~10年の学年度末に、IMPACTによる評価の結果、下位5% に相当するとされ、他の205名とともに解雇されてしまったのです。

この原因は、2009~10年の学年度からIMPACTに新たに組み込まれた「付加価値モデル」で、彼女のこのスコアが著しく低かったのです。「付加価値モデル」は、教師が数学と英語を教える能力を評価しようとするもので、生徒の学力がどれほど向上したかで判定されます。この評価はIMPACTの評価の半分を占めていました。残りの半分は学校の経営陣からの評価や保護者からの評価などです。

サラ・ウィソッキーは自分の評価が不当だと思い、調べ始めました。「付加価値モデル」はワシントンDC学区と契約を結んだプリンストンの「政策数理研究所(Mathematical Policy Research)」が開発したモデルで、生徒の学習進捗度を測定した上で、学力の向上・低下についての教師の貢献度を評価しようとするものです。これは当然のことながら、多数の要因が関わる極めて複雑なものになります。サラ・ウィソッキーは自分の評価が低かった理由の説明を求めましたが、結局、誰からも説明を聞くことができませんでした。IMPACTを運用するワシントンDC学区の役員でさえ説明できないという「完全なブラックボックス」だったのです。

キャシー・オニールはこの「付加価値モデル」について2つ指摘しています。まずこの数学モデルを作ったときのサンプル数が少なすぎることです。わずか25~30名の生徒の学習進捗度調査がもとになっているといいます。学力の向上についての教師の貢献度というような複雑なテーマなら「無作為に抽出した生徒、数千~数百万のサンプル」が必要と書いています。必要数とともに "無作為抽出" がキーポイントです。

さらに、数学モデルで必須の "フィードバック" がないことが問題です。フィードバックの例としてアマゾンの商品のレコメンデーションを考えてみると、レコメンデーションのアルゴリズム(=数学モデル)が良いか悪いかは、レコメンドした商品を顧客がクリックしてくれるかどうかで測定できます。この測定をもとに、レコメンデーションのアルゴリズムがたえず調整されています。

ところが「付加価値モデル」にはフィートバックがありません。数学モデルが良いか悪いか、それを学習して修正する機会がありません。特に、教師を解雇してしまったらそれで終わりです。あとの追跡もできない。キャシー・オニールは次のように書いています。


数学破壊兵器の多くは、ワシントンDC学区の付加価値モデルも含めて、フィードバックがないまま有害な分析を続けている。自分勝手に「事実」を規定し、その事実を利用して、自分の出した結果を正当化する。このようなたぐいのモデルは自己永続的であり、極めて破壊的だ。そして、そのようなモデルが世間にはあふれている。

「本書」

サラ・ウィソッキーの話には続きがあります。彼女はマクファーランド中学の5年生(日本式に言うと中学1年)を受けもっていますが、入学してくる生徒の大半はバーナード小学校の出身でした。


マクファーランド中学で過ごした最後の年が始まる前、彼女は、自分がこれから受け持つことになる生徒について、前年度末の小学校の学力テストの点数が驚くほど良いことに気づき、喜んでいたのだ。サラが受け持つ生徒の大半は、バーナード小学校の出身だった。バーナード小学校では、学生の29%が「上級レベルの読む力」と評価されていた。これは、この学区の平均の5倍に相当する。

ところが、実際に授業を始めてみると、生徒の多くは簡単な文を読むにも苦労していた。ずいぶん後になって、ワシントン・ポスト紙やUSAトゥデイ紙の記者が明らかにしたところによると、この学区内の41校で、標準学力テストの回答用紙に答えを消した跡が大量に見つかり、その41校のなかにバーナード小学校も含まれていた。高い率で答えが修正されていたということは、不正行為が行われた可能性が高い。学校によっては、70%の教室で不正が疑われた。

「本書」

教師は生徒の学力テストの成績が悪ければ自分の職が危うくなることを知っています。逆に成績が良ければ最高 8000ドルの特別手当が支給される。ましてや、リーマンショック後の労働市場が大打撃を受けていた時期です。小学校の教師が生徒の回答を修正したのではないかと疑われるのです。

サラ・ウィソッキーはこのことを知って、自分が解雇されたことに合点がいきました。しかしワシントンDC学区の責任者は聞く耳をもちません。「回答用紙の消し跡は "示唆的" であって、彼女の受け持ったクラスの数値に誤りがあった可能性はある。しかし決定的証拠ではない。彼女に対する処遇は公正だった」というのが責任者の言い分でした。

このあたりが数学破壊兵器の怖いところです。数学モデルで算出されたということで、人間が聞く耳を持たなくなってしまうのです。一人の人生をひっくり返すような決定をしているにもかかわらず ・・・・・・。



教師を評価する「付加価値モデル」の別の例が出てきます。ニューヨーク州の中学の英語教師、ティム・クリフォードは勤続26年の教師ですが、ある年、ワシントンDC学区と類似の「付加価値モデル」で解雇の標的となりました。100点満点で6点という最悪の成績だったからです。幸い彼は終身雇用を保証されていたので解雇されませんでしたが、スコアの低い年が続けば教師の職に居づらくなります。

「付加価値モデル」はクリフォードに落第点をつけましたが、改善点についてのアドバイスをしたわけではありません。彼は今まで通りの教え方を続けましたが、翌年の彼の評価スコアは何と96点でした。教師の "能力" が1年で90ポイントも変動するというのは、要するにデタラメということにほかなりません。このデタラメが持ち込まれた理由について、キャシー・オニールは統計学的に分析していますが、次のところが最も重要でしょう。


クリフォードは、自分に対する評価を大きく変えた不透明な数学破壊兵器について、事実上、何の情報も与えられていなかったが、評価が大きく揺れた理由には、学生の多様性が関係しているものと推測していた。評価の低かった年について、「僕は成績優秀な学生を多く教えていましたが、特殊教育を必要とする学生も多く教えていました。貧窮する学生を担当したり、トップクラスの学生を担当したり、あるいはその両方を担当したりすると、問題が起きるのだと思います。貧窮する学生は学習上の問題を抱えているので、成績が上がりにくくなっています。また、トップクラスの学生も、元からほぼ満点なので、成績が上がる余地は限られ、スコアはあまり変化しません」と説明してくれた。

その翌年に彼が担当したクラスは、前年とは異なる構成で、大半は極端に優秀でもなく、極端に劣るわけでもなく、その中間に位置する学生だった。すると、問題教師から素晴らしく優秀な教師へと生まれ変わったような結果になった。

「本書」

クリフォードのような例は多く、ある分析では同じ科目を何年か連続して教えた教師の4人に1人で、評価スコアが40ポイント以上変動していたといいます。キャシー・オニールは次のように結論づけています。


これはつまり、評価データは実質的にランダムであり、場所を問わず通用するような教師の能力を示しているわけではないということだ。教師の評価スコアは、数学破壊兵器がデタラメに導き出した数字にすぎない。

「本書」

本書には、今も40の州とワシントンDCで「付加価値モデル」が使用されていると書かれています。

数学モデルには、それを作る側の「見解」が反映されます。どんなデータを収集するのか、何をアンケートで問いかけるのかにも、作り手の価値観や欲求・欲望が反映されます。さらにそこに、先入観や誤解、バイアス(偏見)が入り込む

教師を評価する「付加価値モデル」に関して言うと、その最大の誤解は人を教えるという教師の能力を数値で評価できるという考えそのものでしょう。


USニューズの "大学ランキング"


2つ目の例は、これも教育に関するもので、時事雑誌「USニューズ」が発表している大学ランキングです。


事の起こりは1983年。この年、経営不振に陥っていた時事雑誌『USニューズ & ワールド・レポート』は、野心的な取り組みを開始した。全米の大学1800校を評価し、ランキング化したのである。この取り組みは、うまくすれば、人生初の一大決心を迫られた大勢の若者の行く手を照らす便利なツールになったことだろう。多くの場合、そのたった1回の選択で、将来のキャリアパスも生涯の友との出会いも、人によっては生涯の伴侶との出会いまでもが決まってしまうのだから。

しかし、編集部が望んでいたのは、ただただ、大学ランキング特集が売店で大きな話題を呼ぶことだった。おそらく、その1週間の『USニューズ』の販売部数は、ライバル誌『タイム』と『ニューズウィーク』の合計に匹敵したのではないか。

「本書」

この最初のランキングは、大学総長などの意見をもとに評価点を決めました。雑誌の読者には好評でしたが、多くの大学経営陣を怒らせ、不公平だという声が殺到しました。

そこでUSニューズは、データをもとにランキングを決めようとしました。しかし大学の「教育の卓越性」を計る指標を作るなど無理です。大学が1人の学生に4年間でどれだけ影響を与えたかは定量化できないし、全米で数千万もいる学生に対する影響など計りようがありません。そのためUSニューズは、測定可能で「教育の卓越性」と関係がありそうなデータ = "代理データ" をもとにランキングを決めようとしました。代理データとは次のようなものです。★は少ないほど良い指標です。

合格率(入試の受験者数に対する合格者数の割合★)
学生の大学進学適性試験(SAT)の成績
2年生に進学した新入生の割合
6年以下で卒業できた学生の割合
教員1人当たりの学生数(★)
1クラス当たりの学生数(★)
常勤教員の比率
教員の給料
学生1人あたり大学が使った費用
存命の卒業生のうち、大学に寄付をした人の割合

大学の評価点の75%はこのような代理データ(計、14項目)をもとに、それぞれに重みをつけて算出されます。そして残りの25%は大学総長や学部長の外部評価(他大学の評価を問う質問票のスコア)で決まります。外部評価が最大の重みを与えられていますが、こうした評価は広く名が知られた有名校ほど有利になることに注意すべきです。この合計15項目を点数化し、その合計点で大学のランキングをつけるわけです。


こうしてUSニューズは、1988年に初めて、データに基づくランキングを発表した。結果は良識的だった。しかし、このランキングが全国標準へと成長していくと、悪質なフィードバックループが姿を現した。問題は、このランキングが自己を補強していくところにある。USニューズのランキングで順位が低かった大学は、評判が落ち、条件が悪化する。トップクラスの学生も、トップクラスの教授も、その大学を避けるようになる。卒業生は遠巻きにしながら抗議の声をあげ、寄付を渋るようになる。するとランキングはさらに下落する。つまり、ランキング結果が大学のその後の運命を決める。

(中略)

大学というのは、ジャンルの異なる音楽のようなもの、文化の異なる食事のようなものである。さまざまな意見があって当然であり、それぞれの立場から建設的な議論が重ねられてきた。それが今では、カレッジと総合大学の評判が息づく巨大な生態系のうえに、数字で表される単一の物差しが暗い影を落としている

大学総長たちは、この展開を心から悲しんでいることだろう。彼らの多くは、自分が大学で経験したあれやこれやを大切に思っているに違いない。それが、学問の世界で出世を目指そうと思った理由の1つにもなっているはずだ。それなのに、その世界の頂点まで登り詰めた今、彼らは二流の時事雑誌のジャーナリストが定めた15項目の評価を上げるために、膨大なエネルギーを費やしている。指導教官から高い評価を得ようと四苦八苦していた学生時代に逆戻りしたかのようだ。そう、彼らは、融通に利かないモデル ── 数学破壊兵器 ── に囚われてしまったのだ。

USニューズのランキングがほどほどの成功を収めていたのなら問題なかったのだが、実際には、強大な影響力をもつようになり、国内標準としての地位の急速に固めてしまった。以来、教育システムはがんじがらめになっている。大学経営陣も学生もランキングの言いなりにならざるをえず、自由度を失ったのだ。USニューズの大学ランキングは規模拡大性に優れており、損害の及ぶ範囲を広げながら、破壊的なフィードバックループによって終わりなき悪循環を生み出す。ほかの多くのモデルほど不透明ではないが、それでも、正真正銘の数学破壊兵器だ。

「本書」

ランキングを上げるために "捨て身の" 行動に出る大学も出てきました。ある大学は入学予定者にお金を払って大学進学適性試験(SAT)を再受験させていました(本書には書いていませんが、おそらくSATのスコアが悪かった入学予定者だと思います)。またUSニューズに嘘のデータを送る大学も出てきました(データはUSニューズからの調査票に回答する形で収集されます。回答しなかった大学についてはUSニューズが独自調査をします)。

さらに意図しない有害な状況も生まれてきました。ランキングの元になるデータの一つに合格率があります。これは低いほど(= 競争率が高いほど)良いとされる数値で、この数値を下げるためのまっとうなやり方は、大学の評判を高めて多くの入試受験者を呼び込むことです。しかしもう一つ、やり方があります。合格者数を少なくすればよいのです。

「滑り止め」の受験ということがあります。「滑り止め」にされる大学としては、合格しても入学を辞退する学生がいることが過去の経験からわかっているので、定員より一定数だけ多めに合格を出すのが普通です。これは合格率を上げることになります。そこで大学側としては「滑り止め」で受験したと推定できる学生をアルゴリズムで割り出し、その学生には合格を出さないという対応を始めました。今や「滑り止め」という概念は消えつつあり、そうなったのにはUSニューズのランキングが大きく影響しています。

これは受験生と大学の双方にとって不幸な状況です。受験生にとっては「滑り止め」が意味をなさなくなり、大学にとっては、たとえ「滑り止め」であっても入学してくれたかもしれない優秀な学生を失うことになるからです。

さらに、大学ランキングの大きな過ちは「入学金と授業料」がデータに含まれないことだと、キャシー・オニールは指摘しています。つまり「入学金と授業料は低いほど良い」という評価がされないのです。この理由を彼女は推測しています。つまり大学ランキングを作るときにUSニューズはハーバード大学、スタンフォード大学、プリンストン大学、イエール大学のような、誰しも認めるような一流大学を調べたのだろう。そのような大学では、学生のSATの点数が高く、滞りなく卒業し、卒業生の年収が高いため母校に高額の寄付をしている。一方、これらの大学は入学金と授業料が高いことでも有名だ。もし入学金と授業料が低いほど良いという評価を入れると、これらの一流大学がランキング上位に並ばない可能性も出てくる。これではランキングの信憑性を疑わせることになる ・・・・・・。

大学ランキングの数学モデルは、ハーバード大学、スタンフォード大学、プリンストン大学、イエール大学などが上位に並ぶべく設計されています。つまり、モデルを作った人の 見解 が反映されているのです。


大学ランキングが登場してから、大学の授業料は急騰している。1985~2013年のあいだに、高等教育にかかる費用は500%を越える上昇を示し、そのインフレ率は4倍に迫っている。トップ層の学生を惹きつけるために、各大学では、先のTCU(引用注:テキサス・クリスチャン大学)のように建築ブームが続きている。ガラズ張りの壁に囲まれた学生センターや贅沢な寮を建て、ジムにはフリークライミング用の壁と泡風呂を備えつける。こうしたことはすべて、学生にとって素晴らしいことだろうし、大学生活をより良いものにしてくれるのかもしれない ── だが、その費用を負担することになるのは学生たちだ。数十年かけて学費ローンを支払うことになる。

「本書」

USニューズはランキングを拡張し、医科大学や高校までに広げています。また、このランキングを上げるためのコンサルティング会社、適切な入学募集をするためのコンサルティング会社、入学見込みの高い学生を予測するシステムを販売する会社などがあり、大学ランキングは巨大なエコシステム(生態系)の様相を呈しています。



キャシー・オニールが指摘しているように大学ランキングの最大の問題点は、多様性を否定する単一の物差しということでしょう。それが広まってしまった結果、全ての大学経営陣がそれに囚われてしまい、この物差しに向けて大学経営を最適化するようになった。まさに "破壊兵器" と呼ぶにふさわしいものです。


犯罪予測モデル


アメリカの北部、中西部から大西洋岸にかけて "ラストベルト"(Rust Belt)と呼ばれる地域があります。rust はさびの意味なので、直訳すると "錆地帯" です。この地域はアメリカの製造業や重工業の中心ですが、グローバル化による工場の海外移転、製造業の競争力低下などで経済的不振に陥っています。トランプ大統領(2017年1月に就任)の誕生の原動力の一つが、ラストベルトの白人貧困層だと言われました。本書にはそのラストベルトにある都市の事例が出てきます。


ペンシルバニア州にあるレディングという小都市は、脱工業化時代を迎え、厳しい時期を過ごしている。フィラデルフィアから西に50マイル(80キロメートル)の緑の丘に位置するレディングは、鉄道、鋼鉄、石炭、織物で栄えた。しかし、ここ何十年かはこれらの産業が急激に衰え、この街は衰退している。2011年には、貧困率が国内最高の41.3%になった(翌年には、デトロイトに僅差で抜かれた)。2008年の市場崩壊後に押し寄せた不況の波が、レディングの経済を打ちのめした。税収入が急落し、警察官45名を解雇しなければならなかった ── 犯罪は一向に減らないのに。

レディングの警察署長ウィリアム・ハイムは、少ない人数でこれまでと同じレベルかそれ以上の治安維持活動を行う方法を考え出さなければならなかった。そこで2013年、カリフォルニア州サンタクルーズを拠点とするビッグデータ関連のスタートアップ企業、プレドポル社の犯罪予測システムを導入した。このシステムは、過去の犯罪データを処理し、犯罪が起きる可能性が高い場所を絶えず計算し続ける。レディングの街の警官たちは、このプログラムが出した結論を地図上の四角い区画として見ることができる。各区画は、フットボール場2個分ほどの大きさである。その区画を重点的にパトロールすれば、犯罪を抑止できる見込みが高い。そして1年後、ハイム署長は、住居侵入の件数が23%減少したと発表した。

「本書」

レディングにおける犯罪予測システムの導入は、やむにやまれぬ決断だったと言えるでしょう。しかし今や、このようなシステムの導入が大都市も含め全米に広まってきました。

プレドポル社はカリフォルニア大学ロサンジェルス校(UCLA)のジェフリー・ブランティンガム教授が創立した会社です。プレドポル社の犯罪予測システムには、人種や犯罪歴などの個人データはいっさい含まれていません。システムが照準を合わせるのは「区画」です。過去にどのような犯罪がどの区画でどの時刻に起こったというデータが基礎です。具体的な詳細は明らかにされていせんが、システムには区画の数々の特性データが入力されるのでしょう。ATMやコンビニなどの犯罪が起こりやすいポイントの存在も重要データのはずです。また、犯罪が起きる周期的なパターンにも注目していると言います。

この犯罪予測システムを使ったとしても、犯罪の実行前に警官が人々を逮捕・拘束するようなことはありません。あくまで犯罪の発生確率を区画ごとに予測するものであり、警官にその区画のパトロールを促すものです。そのような区画に警官が長く留まれば住居侵入や車上窃盗を阻止でき、地域住民のためになります。その意味で公平性は保たれていると考えられ、警察活動の効率性の観点から優れたシステムと考えられます。しかしキャシー・オニールはこの犯罪予測システムが「有害」になる危険性を次のように指摘しています。


しかし、ほとんどの犯罪は住居進入や重窃盗ほど重大な犯罪ではない。実はそのことが、深刻な問題を生んでいる。警察は、プレドポルのシステムの導入時に、1つの選択を迫られる。いわゆる重罪のみに特化する設定を選ぶこともできるのだ。重罪というのは、殺人罪、放火罪、暴行罪などの暴力的犯罪であり、これらの犯罪は、必ず警察に通報がくる。一方で、対象犯罪を非暴力的な犯罪にまで広げて設定することもできる。路上で生活する浮浪者、執拗な物乞い、少量の薬物の販売・使用などが該当する。このような、社会規範に反する迷惑行為の多くは、警官が現場で目撃しなければ、通報されることはない。

迷惑犯罪は、貧しい地区ならたいていの場所で見られる、地域特有の犯罪であり、地域によっては反社会的行動(ASB)と呼ばれている。残念ながら、このような軽犯罪までモデルに組み入れてしまうと、分析結果が歪む恐れがある。迷惑犯罪データが多発すれば、その区画に配備される警官の数は増える。すると、その区画で逮捕される人数はさらに増える。住居侵入や殺人、強姦を阻止するのが本来の目的だとしても、そちらはすぐに成果が出るわけではない。パトロールとはそういうものだ。巡回中に、16歳未満とおぼしき少年たちが鞄から瓶を取り出して煽るように飲むのを見かけたら、警官はその子たちを呼び止めるだろう。その程度の犯罪データまでモデルに次々に追加してしまうと、警官はその区画ばかりを巡回することになる。

こうして有害なフィードバックが生まれる。警察が巡回すればするほど、新たなデータが発生し、その場所を重点的に巡回することが正当化される。すると、「犠牲者なき犯罪」で有罪となった大勢の人で刑務所はあふれかえる。そのほとんどは貧しい地区の住人であり、黒人とヒスパニック系が大半を占める。そのため、モデルで人種を区別していなくても、結果は偏ることになる。人種ごとの住み分けがはっきりしている都市では、区画データは人種の代理データとして高い精度で機能する。区画を特定すれば人種を特定したのとほぼ同等の意味をもつのだ。

「本書」

自己成就じょうじゅ予言という言葉があります。たとえ根拠のない予言であっても、人々がその予言を信じて行動することで予言が現実のものとなることを言います。ある銀行が危ないという予言がされると人々が預金をおろす行動に出て、本当にその銀行が倒産するようなことを言います。

迷惑犯罪を組み込んだ犯罪予測システムも自己成就予言に似ています。もちろん予測には数学モデルにもとづく根拠があるのでしょうが、「予測することによって予測が確実になっていく」のは大変よく似ている。考えてみると、前の項に紹介したUSニューズの大学ランキングも自己成就予言の要素があります。ランキング下位の大学は、そのことによって「教育の卓越性」が失われていき(大学経営陣が対策を打たないと)、それがランキングをさらに下げる。

キャシー・オニールは「どのような犯罪に注目するかを選択しているのは警察である」と書いています。もちろん重犯罪を除く、軽犯罪・迷惑犯罪についてです。犯罪予測モデルを数学破壊兵器にしないためには、モデルから軽犯罪を除外することが必要なのです。


個人を分類し、スコアリングする


本書に取り上げられたトピックから、「教師評価モデル」「大学ランキング」「犯罪予測モデル」の3つを紹介しましたが、本書には他にも多数の事例が出てきます。この中でも特に印象的なのは「個人を分類しスコアリングする」技術や数学モデルです。

そのもとになるのは、ビッグデータとして収集される個人の「行動データ」です。これにはネットでの検索履歴、商品の購買履歴、Webサイトの閲覧、SNSなどでの情報発信、モバイル機器の位置情報などです。これらを数学モデルで分析し、個人が分類され、あるいは個人にスコアがつけられる。行動データから性別や年齢はもちろんのこと、年収、性格まで推定できると言います。(やろうと思えば)位置情報から住所や勤務地を容易に推定できます。

ターゲティング広告はそのような行動データに基づいています。その個人が興味を惹きそうな広告を個人ごとに提示する。これは日本でも一般的ですが、これが有害になることがあります。つまり意図的に貧困層の人、困り果てている人、無知な人を狙って大量のターゲティング広告をうち、詐欺まがいの商品やサービスを購入させて "収奪" することができる(略奪型広告と書いてあります)。いわゆる「弱みにつけこむ」というやつです。



個人の信用度をスコアリングする、信用スコア(クレジット・スコア)に関する問題も提起されています。アメリカではFICOと呼ばれるクレジット・スコアが広まっています。これは個人のクレジットカード、住宅ローン、携帯電話料金などの支払い履歴から計算されるスコアです。このスコアは支払い履歴のみから計算され、計算方法が公開されています。また個人が自分のスコアに疑問や不審をもったとき、そのデータの公開を請求できます。さらに企業がスコアをマーケティングに利用することは法律で禁じられています。これらは信用格付け会社が法律で規制されているからです(日本でもクレジット業界の与信審査では同様のスコアがある)。

その一方、法律の規制を受けない個人スコアが広まっていて、本書ではこれを "eスコア" と呼んでいます。それは個人のありとあらゆる行動履歴や郵便番号などから数学モデルで算出されるもので、法の規制を受けません。これが企業活動に使われる。こういった "eスコア" は有害だと、キャシー・オニールは指摘しています。象徴的には、治安の悪いとされる地区からアクセスして中古車を調べていた人物は "eスコア" が低くなり、ローンの金利が高くなるといった例です。



個人の健康度を計ろうとする動きも非常に気になるところです。すでに保険会社では独自の健康スコアを策定し、スコアに応じて健康保険料を変えるところが現れています。キャシー・オニールはこういった動きが一般的に広まることを懸念しています。


私が感じている不安は、さらに踏み込んだものだ。企業が従業員の健康に関するデータを大量に抱え込むようになれば、企業が健康スコアなるものを考案し、それを仕事上の候補者の選別に利用するのを誰も止められなくなる。歩数にせよ睡眠パターンにせよ、収集された代理データの大部分は、法律による保護を受けないため、理論上は完全に合法になる。しかも、合理的だ。これまで見てきたとおり、企業は日常的にクレジットスコアや適性検査に基づいて求職者を不採用にしている。恐ろしいことだが当然の流れとして、次は健康スコアに基づく選別が行われるだろう。

「本書」

血圧、血糖値、中性脂肪値、胴囲、コレステロール値など、健康を計る基礎値には事欠かないので、これらをもとに「健康スコア」が作られる可能性は高いわけです。その、すでに広まっているスコアの一つの例として、BMI(Body Mass Index。ボディマス指数)があります。


BMIは、2世紀も前にベルギー人数学者 ランベール=アドルフ=ジャック・ケトレーによって考案された公式に基づいて計算される。だたし、ケトレーは医療や人体についてほどんど何も知らない素人で、単に、大規模集団の肥満度を簡単に測定できる公式が欲しかったにすぎない。彼は、「平均的な男性」というものを想定して公式を組み上げた。

「本書」

BMIは「体重(kg)を身長(m)の2乗で割る」という数式で計算されます。そして日本では 25 以上が「肥満」、18.5以下が「痩せ」とされる。しかしこれは肥満度をおおまかに知るための粗い代理数値です。「平均的な男性」を基準にしているので、たとえば女性は太りすぎと判断されやすくなります。また筋肉は脂肪より重いので、体脂肪率の少ない筋肉隆々のアスリートのBMIは高くなります。

エンゼルスの大谷翔平選手の身長は193cm、体重は92kgですが、シーズンオフには97kg程度のこともあるようです。体重を92kg~97kgとすると、大谷選手のBMIは24.7~26.0となり、「もう少しで肥満 ~ 肥満」ということになります(日本基準)。これはどう考えてもおかしいわけです(もちろん大谷選手のことは本書にはありません)。

「健康スコア」によって人々が健康問題に向き合えるように後押しするのは、決して悪いことではありません。重要なのはそれが「提案」なのか「命令・強制」なのかです。企業や組織が健康スコアによって何らかの強制や差別をするようになると(キャシー・オニールはそれを懸念している)、それは個人の自由の侵害になるのです。


民主主義を脅かす危険性


Weapons of Math Destruction(Original).jpg
Cathy O'Neil
「Weapons of Math Destruction」
本書の原題は「破壊兵器としての数学 - ビッグデータはいかに不平等を助長し民主主義をおびやかすか」です。この「民主主義を脅かすか」の部分が本書の最終章に書かれています。それは、選挙に数学破壊兵器が持ち込まれるリスクです。

2010年のアメリカの中間選挙において、フェイスブックは「投票しました(I voted)」というボタンを設け、投票した人がボタンをクリックすると、友達ネットワークのニュースフィードを通してそれが拡散するようにしました。この結果、投票率が2%上昇したとフェイスブックは分析しています。

また2012年の大統領選挙(オバマ大統領が再選された)では、その3ヶ月前からフェイスブックのユーザ200万人(政治に関わる人)を対象に実験が行われました。ニュースフィードに流すニュースを選ぶアルゴリズムに手を加え、200万人に対しては政治のニュースを意図的に多く流すようにしたのです。後日、アンケートで投票行動を調べた結果、投票率は64%から67%に上昇したと推定しています。

わずか2%~3%の差ですが、これはSNSの巨大な影響力を示しています。投票率が上がることは、社会通念上は良いことです。フェイスブックの行為も善意からかもしれません。しかし投票率によって選挙の当落が左右される(ことがある)のは常識です。特に、投票率が特定の候補者や政党に影響することがある(日本でも雨天で投票率が悪いと特定の政党が有利だという話があります)。フェイスブックは膨大な個人情報を握っているわけで、例えば特定の地域の投票率が上がるように「投票しました(I voted)」を拡散させることは技術的に十分可能でしょう。フェイスブックがそういうことをやっているというのではなく、そういうリスクがあるということです。

Googleのような検索エンジンも、検索結果の上位に何をもってくるかは Googleが決めています。特定の候補、ないしは政党に有利(ないしいは不利)になる情報を上位にもってくることがアルゴリズムの工夫によって可能であり、ここにもリスクがあります。

さらにターゲッティング広告が既に一般化していることを考えると、ネットを選挙運動使うことにも危険性があります。個人の行動履歴から、その個人がどういう政治課題に関心があるかをプロファイリングできます(自然保護、治安強化、女性の地位向上 ・・・・・・)。すると候補者は、その課題解決を前面に押し出したメールを個人に配信することができる。別の関心事項をもつ個人には別の内容のメールを送る ・・・・・・。結局、候補者が当選後にどの公約を前面に押し出すのか、誰にも予想できません。本書はマイクロ・ターゲティングと言っていますが、ネット広告で既に行われているのだから「候補者を売り込む」のが目的の選挙でも可能です。数学モデルはこういったことを可能にし、それは民主主義をゆがめていくことになるのです。

もちろん、新聞やテレビも選挙の報道をします。候補者の政見を乗せるし、特定の政党を支持する社説を掲載する新聞もある。しかしそれらはオープンであり、どういう報道がされているかを誰もが眼にでき、検証できます。つまり透明性が確保されている。しかしネット上のマイクロ・ターゲティングは、誰が誰にどういう種類の情報やメッセージを流しているかは全く分かりません。つまり不透明です。

本書の最終章は「第10章 政治 - 民主主義の土台を壊す」と題されています。そういうリスクがあることは十分に認識しておくべきだと思います。


EUのGDPRの意味


以降は、本書を読んで思ったことです。No.237「フランスのAI立国宣言」で書いたように、2018年3月末、マクロン大統領は、

  人権と民主主義に貢献するAI
人間性のためのAI

を前面に押し出したAI国家戦略を発表しました。これはまさに本書の主張と軌を一にするものです。フランスがキャシー・オニールを招待したのは当然だったようです(もちろんフランスの戦略は、そのことによって自国を有利にしようとするものです)。

さらに思い出したのは2018年5月25日より施行された「EU 一般データ保護規則 - GDPR(General Data Protection Regulation)」です。これは欧州経済域(EEA。EU加盟28ヶ国+ノルウェー、アイスランド、リヒテンシュタイン)に居住する市民の個人データ、およびEEAを本拠として収集された個人データの管理と移転に関する規則で、個人データをEEA域外に移転することが原則禁止されます。さらに「データ主体に認められる8つの権利」が明文化されています。データ主体とは個人データを提供する(個人データを収集される)一般市民です。

8つの権利でも特に重要なのは「削除権」で、データ主体は自分に関する個人データを削除するよう、データ管理者に要求できます。いわゆる「忘れられる権利」です。

さらにデータ主体は「プロファイリングを含む自動処理によって個人についての決定がなされない権利」を持ちます。プロファイリングとは「個人データを自動処理することによって、個人のある側面、特に仕事の実績、経済状況、健康、嗜好、関心、行動、所在、移動などを分析・予測する」ことです。また「個人についての決定」とは法的な決定、ないしはそれと同等に個人にとって重要な決定です。本書には「教師評価システム」によって解雇された事例がありましたが(1番目に紹介した事例)、もしGDPRがアメリカにあったとしたらこのような解雇は無効になるに違いありません。

GDPRを本書の視点から見ると「数学破壊兵器の野放図な増殖を食い止めるための規制」というのが、その(一つの)意味でしょう。また、個人データを独占しているアメリカの巨大IT企業の活動を制限する意図が透けて見えます。

キャシー・オニールの本「破壊兵器としての数学 - ビッグデータはいかに不平等を助長し民主主義をおびやかすか」と、フランスの「AI立国宣言」、EUのGDPR(一般データ保護規則)の3つは、一つの水脈でつながっていると思いました。




nice!(0) 

nice! 0