中国AlibabaとMicrosoftが、AIの読解力を試す基準の1つとして知らせる、スタンフォード大学のSQuAD(The Stanford Question Answering Dataset)で、人間を超える成績をマークしました。

SQuADは、Wikipediaの500件の記事に基づき、「スーパーボール50でAFC（アメリカンフットボールカンファレンス）を代表したのはどのチーム？」「ブロンコスがスーパーボウルに何回出場した？」などの設問に回答するというもの。

人間のハイスコアは82.305で、AIはこれを超えられていなかったそうですが、1月3日にMicrosoftが82.650、1月5日にはAlibabaが82.440と人間を超えるスコアを記録しました。

Alibabaの自然言語処理主任 Luo Siは、「雨の原因は何か？」といった客観的な質問に対して、AIが高精度に回答できるようになることを目指しており、顧客サービスや博物館の解説、患者からの医療に関する問い合わせに対するオンライン回答などに応用できると声明で述べています。

なお、先のSQuAD、AIは設問に答えることはできても、その意味を理解はしておらず、文字通り「機械的に」回答しているだけとのこと。とはいえ、意味はわからずとも質問の内容さえ認識できるのであれば、問題はないとも言えます。

こういう技術が進んでいくと、決まりきったフレーズにしか反応してくれないスマートスピーカーの音声認識も変わっていくのでしょうね。

(source Bloomberg)