会話から学ぶ人工知能として一般提供されたものの、初日から人種差別や陰謀論に染まってしまい、不規則発言で退場となったマイクロソフトの人工知能チャットボット「Tay」について。

開発したマイクロソフト・リサーチの幹部が「Tayの公開で学んだこと」と題して、謝罪と経緯の説明、今後の人工知能への取り組みについて語りました。



3月23日に一般提供された「Tay」は、Twitter や Kik などのサービスを介して文章で簡単な会話ができる人工知能チャットボット。機械学習技術により、人間と会話するほどに賢くなってゆくという触れ込みでした。

チャットサービスの主な利用者である18-24歳の若者に合わせた性格の若い女性に設定されており、人工知能による会話理解に向けた実験として、ちょっとした雑談相手をしながら多くの会話データを集めることが狙いです。

公開直後から多数のユーザーを集めて話し相手になるところまでは成功したものの、一部のユーザーが意図的に人種差別や性差別、陰謀論などを吹き込んで喋らせようとしたことから、またそうした言葉や文章を語彙として吸収しそのまま繰り返してしまったことから、「マイクロソフトの人工知能が差別思想に染まった」と問題になり、マイクロソフトは一日で提供停止に追い込まれました。

(念のため補足。「人工知能」といっても現在の技術では人間のような自意識や理解にはほど遠く、定型文やデータベースを組み合わせて表面上それらしいやりとりができるにすぎません。

Tayのバックグラウンドにあった技術について詳細は明かされていませんが、マイクロソフトの解説では自然言語のやりとりを機械学習してデータベース化することが主眼。つまり会話能力としては、不規則な入力から学べることを除けば昔ながらのオウム返し人工無脳に毛が生えた程度であって、対象を理解して差別意識をもったり、陰謀論を世界観として一貫して主張するほどの賢さはありません。)


Tayの炎上騒ぎを受けて、開発責任者であるマイクロソフト・リサーチのバイスプレジデント Peter Lee 氏は25日に「Learning from Tay's introduction」と題する文章を公開し謝罪と説明を試みています。

文章ではまず、Tayの「意図せざる、攻撃的で人を傷つけるツイート」について強い遺憾の意を述べるとともに、そうした発言はマイクロソフトの意見や価値観を反映するものではなく、Tayの設計意図を反映したものでもないと釈明。

Tayは多数のフィルタリング機能を備えていたうえ、さまざまな属性のユーザーグループに対し徹底した調査を実施するなど、どんな状況でもユーザーがTayとの会話で「ポジティブな体験」を得られるようテスト済みだったとしています。そのうえで、さらに改良するため膨大なユーザーと会話できる Twitter での提供を選んだとのこと。

そうした対策やテストにもかかわらずヘイトスピーチを繰り返すようになり、わずか一日でサービス停止という結果に終わった原因についての説明は、「一部のユーザーから、Tayの脆弱性を悪用した組織的な攻撃があったため」

さまざまな種類の悪用に対策を立てていたものの、この特定の「攻撃」に対しては致命的な見落としがあり、結果として極めて不適切で避難されるべき言葉や画像をツイートしてしまった、と説明しています。

しかし、この「攻撃」の具体的な手法や内容については説明していません。また実装した「多数のフィルタリング」や「多種多様な悪用対策」についても、実際にどのような対策だったのか言及はありません。

その一方で、Tay にわざと不適切な会話をさせて成功したという報告は、ちょっとした悪ふざけの範疇も含め、ネット上で無数に見つかります。

多数の対策をすり抜けた特定の攻撃と聞けばなにかサーバやプログラムといったレベルでのサイバー攻撃や、Tayのアルゴリズムを見ぬいて逆用した巧妙なハッキングのような印象も受けます。しかしツイッターや掲示板で話題になったのは、従来のシンプルな人工無脳に卑猥な言葉を覚えさせて喜ぶ程度の内容ばかり。

特にTayが格好のおもちゃとなった4chanなど海外掲示板では、特定の思想信条について教え込もう(あるいは「この世の真実に目覚めさせよう」)とした試みが逐一報告されており、現在もログがたどれます。しかしそちらも、特定の発言をオウム返しさせたり、暴力を示唆したコメントに適当に同意風のコメントを返させた報告も含め、通常想定されるテキストメッセージ送信の範疇を出ていません。



( Tay にはテキストで会話するほか、ユーザーに写真を送るように頼み、画像認識で顔に丸をつけて、ややふざけたコメントや冗談を書き込んで返す機能がありました。この機能もやはり、戦争や犯罪に関わる写真、暴力的な写真に政治家を書き込んだコラージュなどをユーザーが送り、何もわかっていない Tay が類型的なジョークを返した結果、非常に不適切な画像になった例などもあります。

最新の画像認識技術を持ってしても、被写体や文脈を人間のように理解はできない以上、リリースする前に悪用の危険性に気づきそうなものです。しかしマイクロソフトの善良なエンジニアも、一般公開前に「徹底したテスト」を実施したグループも、悪用されて「マイクロソフトの人工知能が書き込んだ」と言われれば問題になることを予期しなかったようです)。


(こちらは日本で運用中のボット「りんな」ちゃん。中国で活躍する先輩「小氷(Xiaoice)」さんも、特に炎上はしていません)

Peter Lee氏はTay の問題について、AI設計にあたって困難だがやりがいのある研究課題が見えた、技術的な悪用には可能なかぎりの対策をとるが、「人間によるインタラクティブなやりとりを通じた悪用についてあらゆる可能性を予期することは、失敗に学ばないかぎり不可能」としています。

(つまり、詳細不明の「組織的に悪用された、Tayの特定の脆弱性」とはまた別に、通常の会話を通じた悪用についても予期できていなかったというニュアンスです)

今後については、AIを正しく進歩させるには多数の人々と、時には公開の場所でのやりとりが必要であるとして、その過程で人を傷つけることがないよう厳重な注意を払い、一歩一歩改善を続けてゆくと明言しています。いわく、「今回のできごとや他の経験から学び、人間性の最悪の部分ではなく最良の部分を体現するインターネットに貢献できるよう、今後もたゆまぬ努力を続けてゆきます」。



Tayそのものについては、「われわれマイクロソフトの信条や価値観と対立する悪意に対して、より良く備えられたと確信して初めて」復帰させるとの説明です。

Tay本人は「また後でね」とこともなげに振舞っていますが、このように一度大きな注目を浴びてしまった以上、また悪意で「人聞きの悪い」回答をさせようと躍起になる相手に対して揚げ足をとらせず会話を続けるのは人間ですら難しいことを考えると、マイクロソフトがどんな対策を講じて復帰させる(のかさせない)のか興味深いところです。
人工知能 Tayの差別発言をマイクロソフトが謝罪。「脆弱性を突いた組織的攻撃」と説明
広告

0 コメント

広告