「ClubDB2 Watson:クイズ番組に挑戦した質問応答システム」に参加

過去に何度か参加したClub DB2 勉強会で IBM が開発した質疑応答システム”Watson” の開発話を聞けるということで、定時退職(少しフライング)して19時前になんとか渋谷のIBMイノベーション・センターへ。
好奇心旺盛な参加者が30人程度?集まり、質問が活発に飛び交い、なかなか面白かった。(発表者との距離感が非常によかった)
機械学習・統計・分散処理・NLPのテッキーな解説も聞きたかった気もするが、それはまたどこかで。

次の3つの動画を見れば、参加した気分になれるはず。特にプロジェクトの中心人物による1つ目の解説がおすすめ。



案内の概要

https://www.ibm.com/developerworks/wikis/display/clubdb2/131

2011年2月、米国のクイズ番組において、IBMのコンピューターと人間のチャンピオンとの対戦が実現し、コンピューターが勝利をおさめました。これは、IBMリサーチ(基礎研究部門)の「グランド・チャレンジ」と呼ばれる、成功の保証が無いような技術的に難しい課題への取り組みの一環です。
この講演では対戦の模様の一部をご覧いただき、IBMリサーチが解決した技術的な課題、システムで採用された自然言語処理技術と情報源、そしてグランド・チャレンジの意義と、その成功の秘訣について解説します。

IBM基礎研究所について

IBM は技術的に成功するかどうか分からない挑戦(グランド・チャレンジ)に過去に取り組んでおり、Kasparov を負かしたチェスコンピュータのの Deep Blue もこの一つ。
Watson はクイズ番組”Jeopardy!” で人間に勝利すべく開発された質問応答システム
プロジェクトは2006年から開始され、5年後の2011年2月に Jeopardy! 最強の人間チャンピオン Ken JenningsBrad Rutter に勝利を収めた。
世界に9つあるIBM基礎研究所のうちWatson(US)、Haifa(イスラエル)、China、Tokyo(日本)の4つの研究所が Watson の開発に参加。
スピーカーの金山氏は東京からは参加した2名のうちの1名、実質的に手足を動かしている唯一のメンバーであり、自然言語処理が専門。

Watson はIBMの創業者から名前を持ってきているのでかなり気合のはいったプロジェクト。
プロジェクトの参加メンバーは立候補制ではなく、研究員の得意分野によって選抜された。
USの研究所では、20数人の研究者が専属で従事

Jeopardy! について
Jeopardy!(ジョパディ!)はアメリカで中断をはさみつつも50年近く続く人気クイズ番組で夕方に放送されている。(アメリカは退社時間が早い)
質問”What is shoe?”の答えが”4-letter word for the iron fitting on the hoof of a horse or a card-dealing box in a casino”だとしたら、Jeopardy!では、司会者が答えを読み上げ、回答者が質問”What is shoe?”を答える。
分野は限定されておらず(オープンドメイン)、Yes/No でも答えられない(オープンクエスチョン)

日本でも、過去に「クイズグランプリ」というパクリ番組が放送されていた。

問題文は平叙文で聞かれるので、日本のクイズ番組でみられるように、問題前半の「てにをは」から解答を推測するのは難しい。
「アマゾン川で」と出題者が読みあげたただけで「ポロロッカ」と答えるようなことはできない。

課題の設定
研究所なので、純粋にJerpardy!で人間に勝つという目標だけでなく、技術的なテーマを設定しなければいけない。(問題設定)
Watson では次の5つの課題を設定。一つでも欠けると人間に勝てない。

  • 幅広い分野への対応
  • 問題文とカテゴリの解釈
  • 高い正解率での解答(クイズ王に競り勝つには9割近い正解率が必要)
  • 確信度の推定
  • 応答速度

DeepQA アーキテクチャ
300のコンポーネントに分割して開発。
JavaがメインだがCやProlog!も利用されている。

“Natural Language Processing With Prolog in the IBM Watson System”
http://www.cs.nmsu.edu/ALP/wp-content/uploads/2011/03/PrologAndWatson1.pdf

Deep Blue は専用のスーパーコンピュータを開発したが、Watson は普通に販売されているコンピュータ(Power Systems)で動作している。

事前に百科事典、聖書、歌詞などをメタ情報を付与してデータを構築する。(元データは画像/音声データなどを含まないため、70GB程度。メタ情報を持たせても5倍程度でオンメモリで持つ)

単純な検索エンジンのように文字列(字面)の一致度ではなく、コンテキストから意味を理解して一致度をスコア化。(例:400年前はいつなのか?同じものが別の単語で説明されていることもある)
学習データは再現性確保のために人間がノイズを省くといったようなことはやらず、メタデータ生成プログラムで完結

他の回答者のリアルタイムでの解答はINPUTできないが、正解データはその都度インプットされる。
そのため、他の回答者の誤答を繰り返す(人間ではありえない)一方で、問題が進むにつれ、(カテゴリ、問題、解答)データが蓄積されるため、解答の精度が向上する。

★処理速度について
開発時には、処理速度は度外視で実装した。
初期は2.6GH1台で1問に2時間かかっていたのが、並列処理により、数秒で答えがかえってくるようになった。
処理時間を20-30秒に伸ばしても、正解率はそれほど上がらない

(並列処理や機械学習・統計の話は(意図的なのかどうかしらないが)ほぼ話題に上がらず)

プロジェクト管理
プロジェクト開始から5年後に勝利するというゴールはあったが、最初から全工程表のようなものは存在しない。
ただし、1年ごとに目標正答率を掲げ、5年後にチャンピョンと張り合えるように目標設定した。
(IBMのボーナスは年度目標に対する達成率で決まる)
正答率確認の為の問題は、事前に学習させては意味がないので、5年で使い切るだけの問題を確保しておき、5年できっちり使い切った。

漠然と「Jeopardy!で人間に勝つ」と設定してはダメ。
本質的な課題に分解(技術要素を同定)し、具体的にマイルストーンを設定し、達成率を確認したからプロジェクトを成功できた。

その他
Watson はJeopardy!で人間に勝利する前から医療に応用されている。
最初から医療・コールセンターへの応用が見えていたわけではない。最初から応用を意識していると、夢のあるアグレッシブなプロジェクトはできない

実際のゲームでは人間に勝たないといけないので、解答するためにボタンを押すための閾値(Buzz Threshold)はゲームの進行状況により変動する。
有利なときは、無理に価値にいかなくてよいので、閾値を高めに設定し、確度が高いもののみ、回答をする
不利なときは、アグレッシブにスコアを獲得しないといけないので、閾値を低めに設定し、確信が持てなくても回答しに行く。
自分のスコアを賭けるときも同様。

自然言語処理

質問:英語ではなく日本語だったら、難易度はどのくらい増える?

回答:Watson はどの言語でも機能するように設計されている。
ただし、日本語の場合

  • 必要な情報源の少なさ
  • 文法の難しさ

から、同じような処理速度を確保するのは難しい

——

2011/11/02(水)には、金山博氏のボス?の武田浩一さんの講演がある

平成23年度統計数理研究所公開講演会
「クイズ番組に挑戦したコンピュータの開発から学んだこと」

——

Resources

Advertisements
Tagged with: , ,
Posted in nlp, report

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

Archives
  • RT @__apf__: How to write a research paper: a guide for software engineers & practitioners. docs.google.com/presentation/d… /cc @inwyrd 4 months ago
  • RT @HayatoChiba: 昔、自然と対話しながら数学に打ち込んだら何かを悟れるのではと思いたち、専門書1つだけ持ってパワースポットで名高い奈良の山奥に1週間籠ったことがある。しかし泊まった民宿にドカベンが全巻揃っていたため、水島新司と対話しただけで1週間過ぎた。 それ… 5 months ago
  • RT @googlecloud: Ever wonder what underwater fiber optic internet cables look like? Look no further than this deep dive w/ @NatAndLo: https… 5 months ago
  • @ijin UTC+01:00 な時間帯で生活しています、、、 10 months ago
  • RT @mattcutts: Google's world-class Site Reliability Engineering team wrote a new book: amazon.com/Site-Reliabili… It's about managing produc… 1 year ago
%d bloggers like this: