マイクロソフトが、公開したばかりの学習型人工知能会話ボット「Tay」を緊急停止させました。理由はTwitterでの会話を通じて人種差別や性差別、陰謀論を学習してしまい、極めて不適切な発言を連発するようになったため。

発言は直接引用するのも憚られますが、たとえば特定の人物について問われれば放送禁止レベルの差別語で罵倒したり、ヒトラーを礼賛してホロコーストはでっち上げと主張するといった発言が残っています。

(更新: 手違いにより一時的に消えた状態になっていた記事後半部分を復活させました。マイクロソフトによるコメントや技術的背景などを含みます。ご迷惑をお詫びいたします。)


「Tay」は会話を通じた理解の研究を目的として開発された人工知能チャットボット。Kik や GroupMe、TwitterといったメッセージングサービスやSNSでフレンドとして追加でき、ユーザーと会話すればするほど賢くなるはずでした。

ターゲットは、米国でチャットアプリを多用する年齢層である18歳から24歳。なんでもない会話や質問に冗談を交えて答えたり、ちょっとしたゲームをしたり、送られた写真にコメントを書き加えて返すことが基本機能です。Tay自身は設定上は女性。若者らしく俗語や省略綴り、絵文字も多用します。

またユーザー個人について性別や好み、居住地や恋人の有無などを学ぶことで、相手を理解したチャット相手になることも特徴です。このあたりはWindows 10標準のパーソナルアシスタントであるコルタナさんとも通じます。(注意書きによれば、収集したデータや会話は匿名化したうえでサービス向上のため最長一年間保持されることがあります)。

要は昔からある人工無脳チャットボットを機械学習やBingの知識データベースなど最新の技術で高度化し、膨大なユーザーの暇つぶし相手を通じて多くのデータを集め、自然な会話ができる人工知能を目指す実験です。似たような試みとしては、日本では同じくマイクロソフト製の仮想女子高生りんなちゃんがLINE公式アカウントとして話題になりました。 TayはSNSやチャットサービスを通じて話題を呼び人気になったものの、学習型ボットと見ればなんとか不謹慎な発言をさせようと躍起になるユーザーにも恰好のおもちゃとなってしまい、オウム返しも含めてとても擁護できない発言を繰り返すようになってしまったため、マイクロソフトは公開からわずか一日で停止に追い込まれました。

マイクロソフトではこの事態に対して、Tayはあくまで技術的な実験であると強調したうえで、「Tayの会話スキルを悪用して不適切な発言をさせようとする、一部のユーザーによる組織的な働きかけ」があったことから「調整」のためオフラインにした、と述べています。

「学習する人工知能をネットに放ったら、学んだのは偏見と陰謀論だった」といえば、いかにもネットの闇やら特定サービスのユーザー民度を反映したように聞こえますが、実際にはマイクロソフトも述べたとおり、悪意でわざと不適切な発言を繰り返すように仕向ける相手に対して脆弱だったのが実態です。

ボットと見れば不適切語を教えて喜び、大手企業のサービスと見ればなんとか悪用しようとするやからは、人工知能や機械学習どころか人工無脳の昔から常に存在します。「悪意も含めてネットの闇(大げさ)を正しく学習した結果」と言えないこともありませんが、より多くのターゲットユーザーから会話データを集めて研究に資する趣旨からは完全に失敗と言わざるを得ません。

そもそも、実験とはいえ多くのコミュニケーションサービスで即座にBANされるレベルの差別発言を重ねれば、社会的責任のあるグローバル企業として恥ずかしいどころではなく、法的リスクすらあり得ます。

といったことを、天下のマイクロソフトが分かっていなかったとはとても思えませんが、りんなちゃんの成功に油断したのか、それともフィルタなど何らかの対策が本来はあったけれど働かなかったのか、などは不明のまま。

技術的には、Tayは完全にまっさらの状態からスタートしたわけではなく、ネット上の公開情報を元にしたある程度の知識を備えていました。また即興芸のコメディアンを含むスタッフにより、明るく積極的な性格や当意即妙の返しをパターンとして与えられていたとされています。




更新:マイクロソフトの機械学習AI「Tay」、ネットで差別と陰謀論に染まって一日で公開停止(MSのコメント追記)
広告

0 コメント

広告