悩む人に寄り添えないタイプのAIだった。
AIは爆速進化中で、気がつけばメールの文章をムードによって変換してくれるなんて機能も出てきています。
ムードとは、例えばきっちりビジネス風とか、和やかほんわかとか、申し訳ない雰囲気とかですね。
人間だっていろいろで、空気を読まない人もいれば、人の気持ちに敏感な人もいます。が、まったく人の悩みに寄り添えないタイプのAIが、まさか相談窓口担当になってしまうとは…。
アメリカの摂食障害協会（NEDA）が導入したAI相談員が、まさか｢痩せろ｣と言うなんて…。
人間の代わりに相談に乗った｢Tessa｣
NEDAがAIチャットbot相談員｢Tessa｣を発表したのは5月のこと。
今まで少人数のフルタイム相談員＋ボランティアで運営していた電話窓口を、完全にAIに移行するのが狙いでした（AI置き換えで解雇されたスタッフは、直前の労働組合結成を理由に不当解雇されたと申し立てしています）。
NEDAは、6月1日完全AI移行を目指していたのですが、そのXデーにたどり着く前にTessaを取り下げることになりました。
原因はTessaの不適切発言。NEDAは相談者に対して有害かつプログラムに無関係な不適切発言があったことを認め、5月末にTessaを取り下げました。
｢体型を測ってこい｣という暴言
取り下げ前に、米Gizmodo編集部が試してみたところ｢自分の体が嫌い｣とか｢なんとしても痩せたい｣という、いわゆる単純な呼びかけにすらTessaは反応してくれず…。
ボディポジティブ活動家のSharon Maxwell氏が、Tessaとの会話をSNSで共有しており、体重を減らす最悪なアドバイスをされたと語っています。
その内容は｢安全かつ持続的に｣週500グラムから1キロ体重を減らし、測径器を使って体型を測定しろというもの…むちゃくちゃすぎる。ちなみにTessaのこの発言は、Maxwell氏が摂食障害があると打ち明けた後のなので、血も涙もあったもんじゃありません。
さらに、Maxwell氏がこれをSNSでシェアすると、NEDA関係者から｢虚言はやめてくれ｣というコメントがつき炎上。
事実を証明するスクリーンショットを提供したところ、軽い謝罪と共にコメントは削除されたということですが、TessaだけでなくNEDAの対応にも誠意がないと感じた人が多く、NEDAに対して批判する声が高まっていました。
運営側の思い込み、技術的仕様変更
Maxwell氏に対して強気のコメントした背景には、Tessaがスクリプトに逸れた発言をするはずがないとNEDA側は思っていたから。
これについて、今日（6月8日）になってNEDAはSNS上で説明。
いわくTessaはボディポジティブの意識を広めるため、専門家によって開発されたプログラムであり、AIベースではなく、許可されたプロンプトだけを使う非公開プログラムなのだといいます。
が、ソフトウェア開発＆データ管理をするテック委託先が技術強化のため仕様変更を行なっており、その影響で指定したプロンプト以上のスクリプトに外れた発言をしていた、かつそれをNEDAは知らされていなかったということです。
また、不適切発言は2万8000件ほどのうち、10件から25件の比較的少ないものであったことも明かされています（とはいえ、許されることではないとNEDAも認めています）。
現在Tessaの発言を調査すると共に、専門家によるフルレビューが完了するまではTessaは表に出さないとも説明。人間からAIの相談員へ移行することも含め、NEDAは変換期にあるとして理解を求めています。
