特開 2023-142373 情報処理方法、情報処理プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023142373

(43)【公開日】2023-10-05

(54)【発明の名称】情報処理方法、情報処理プログラム及び情報処理装置

(51)【国際特許分類】

   G10L 13/00 20060101AFI20230928BHJP

   G10L 15/22 20060101ALI20230928BHJP

   G10L 13/08 20130101ALI20230928BHJP

   G10L 15/10 20060101ALI20230928BHJP

【ＦＩ】

G10L13/00 100M

G10L15/22 300Z

G10L13/08 124

G10L13/00 100S

G10L15/10 500Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022049257

(22)【出願日】2022-03-25

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

【国等の委託研究の成果に係る記載事項】（出願人による申告）２０２０年度、国立研究開発法人新エネルギー・産業技術総合開発機構「人と共に進化する次世代人工知能に関する技術開発事業／説明できるＡＩの基盤技術開発」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】100180758

【弁理士】

【氏名又は名称】荒木 利之

(72)【発明者】

【氏名】松山 洋一

(72)【発明者】

【氏名】佐伯 真於

(72)【発明者】

【氏名】鈴木 駿吾

(57)【要約】

【課題】評価者のレベルを考慮した質問をするとともに、評価者のレベル判定の正確性を向上する情報処理方法、情報処理プログラム及び情報処理装置を提供する。
【解決手段】情報処理装置１は、対話者である利用者４に対して予め定めた複数のレベルのうち一のレベルの質問を発話制御する発話制御手段１００と、利用者４の質問に対する回答を音声認識する音声認識手段１０３と、回答において利用者４のブレイクダウンを検出するブレイクダウン検出手段１０６と、少なくともブレイクダウンを検出したレベルに基づいて利用者４のレベルを判定する能力判定手段１０５とを有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータに、
対話者に対して予め定めた複数のレベルのうち一のレベルの質問を発話する発話制御ステップと、
前記回答において前記対話者のブレイクダウンを検出する検出ステップと、
少なくとも前記ブレイクダウンを検出したレベルに基づいて前記対話者のレベルを判定する判定ステップとを実行させる情報処理方法。

【請求項2】

前記判定ステップは、予め定めた前記回答の単位毎に前記対話者のレベルを判定し、当該レベルより上のレベルの質問を発話する請求項１に記載の情報処理方法。

【請求項3】

ブレイクダウンを検出した場合、前記複数のレベルの質問のうち当該ブレイクダウンを検出したレベル以外のレベルの質問を発話する請求項１又は２に記載の情報処理方法。

【請求項4】

前記判定ステップは、前記ブレイクダウンの検出に関わらず予め定めた前記回答の単位毎に前記対話者のレベルを判定し、
前記発話制御ステップは、前記判定ステップにおいて判定したレベルの質問を発話する請求項１から３のいずれか１項に記載の情報処理方法。

【請求項5】

前記発話制御ステップの発話に連動して動作するアバターを表示制御する表示制御ステップをさらに実行させる請求項１から４のいずれか１項に記載の情報処理方法。

【請求項6】

前記アバターに対して前記回答を傾聴する動作を付与する動作付与ステップをさらに実行させる請求項５に記載の情報処理方法。

【請求項7】

当該アバターに対して前記回答に応答する動作を付与する動作付与ステップをさらに実行させる請求項５に記載の情報処理方法。

【請求項8】

コンピュータを、
対話者に対して予め定めた複数のレベルのうち一のレベルの質問を発話制御する発話制御手段と、
前記回答において前記対話者のブレイクダウンを検出する検出手段と、
少なくとも前記ブレイクダウンを検出したレベルに基づいて前記対話者のレベルを判定する判定手段としてさらに機能させる情報処理プログラム。

【請求項9】

対話者に対して予め定めた複数のレベルのうち一のレベルの質問を発話制御する発話制御手段と、
前記回答において前記対話者のブレイクダウンを検出する検出手段と、
少なくとも前記ブレイクダウンを検出したレベルに基づいて前記対話者のレベルを判定する判定手段とを有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理プログラム及び情報処理装置に関する。

【背景技術】

【0002】

従来の技術として、質問に対する面接受験者の応答を評価して面接を採点する情報処理方法が提案されている（例えば、特許文献１参照）。

【0003】

特許文献１に開示された情報処理方法は、予め用意された質問から質問を選択して面接受験者に出力し、当該質問に対する応答を映像及び音声で解析し、当該応答の内容特徴と伝達特徴とを抽出し、応答を評価する。また、情報処理プログラムは、当該応答の評価を質問の選択に用いるとともに、すべての応答の評価を集計して面接を評価する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第１０６７１８８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記情報処理方法によると、各応答の評価に応じて質問を選択するものの、話の展開に応じて事前に決められた質問を行うものであるため、逐次的な面接受験者の評価に基づいて適切なレベルの質問を適応的に選定することができない、という問題があった。また、評価結果を検証する手段が用意されるものではなく、必ずしも正確な判定を行えるとは限らない、という問題があった。

【0006】

本発明の目的は、評価者のレベルを考慮した質問をするとともに、評価者のレベル判定の正確性を向上する情報処理方法、情報処理プログラム及び情報処理装置を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一態様は、上記目的を達成するため、以下の情報処理方法、情報処理プログラム及び情報処理装置を提供する。

【0008】

［１］コンピュータに、
対話者に対して予め定めた複数のレベルのうち一のレベルの質問を発話する発話制御ステップと、
前記回答において前記対話者のブレイクダウンを検出する検出ステップと、
少なくとも前記ブレイクダウンを検出したレベルに基づいて前記対話者のレベルを判定する判定ステップとを実行させる情報処理方法。
［２］前記判定ステップは、予め定めた前記回答の単位毎に前記対話者のレベルを判定し、当該レベルより上のレベルの質問を発話する前記［１］に記載の情報処理方法。
［３］ブレイクダウンを検出した場合、前記複数のレベルの質問のうち当該ブレイクダウンを検出したレベル以外のレベルの質問を発話する前記［１］又は［２］に記載の情報処理方法。
［４］前記判定ステップは、前記ブレイクダウンの検出に関わらず予め定めた前記回答の単位毎に前記対話者のレベルを判定し、
前記発話制御ステップは、前記判定ステップにおいて判定したレベルの質問を発話する前記［１］から［３］のいずれかに記載の情報処理方法。
［５］前記発話制御ステップの発話に連動して動作するアバターを表示制御する表示制御ステップをさらに実行させる前記［１］から［４］のいずれかに記載の情報処理方法。
［６］前記アバターに対して前記回答を傾聴する動作を付与する動作付与ステップをさらに実行させる前記［５］に記載の情報処理方法。
［７］当該アバターに対して前記回答に応答する動作を付与する動作付与ステップをさらに実行させる前記［５］に記載の情報処理方法。
［８］コンピュータを、
対話者に対して予め定めた複数のレベルのうち一のレベルの質問を発話制御する発話制御手段と、
前記回答において前記対話者のブレイクダウンを検出する検出手段と、
少なくとも前記ブレイクダウンを検出したレベルに基づいて前記対話者のレベルを判定する判定手段としてさらに機能させる情報処理プログラム。
［９］対話者に対して予め定めた複数のレベルのうち一のレベルの質問を発話制御する発話制御手段と、
前記回答において前記対話者のブレイクダウンを検出する検出手段と、
少なくとも前記ブレイクダウンを検出したレベルに基づいて前記対話者のレベルを判定する判定手段とを有する情報処理装置。

【0009】

本願発明によれば、評価者のレベルを考慮した質問をするとともに、評価者のレベル判定の正確性を向上することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る情報処理システムの構成の一例を示す概略図である。

【図2】図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。

【図3】図３は、実施の形態に係る端末の構成例を示すブロック図である。

【図4】図４は、端末のディスプレイに表示される画面例を示す概略図である。

【図5】図５は、情報処理装置の発話制御手段による質問と、利用者の回答の内容を示す概略図である。

【図6】図６は、情報処理装置の能力判定のレベルと時間経過の関係を示すグラフ図である。

【図7】図７は、情報処理装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0011】

［実施の形態］
（情報処理システムの構成）
図１は、実施の形態に係る情報処理システムの構成の一例を示す概略図である。

【0012】

この情報処理システムは、一例として、対話者としての利用者４と対話して外国語としての英会話能力を判定する情報処理装置１と、情報処理装置１において生成された情報を再生し、利用者４の応答を受け付けるための端末２とを、ネットワーク３によって互いに通信可能に接続することで構成される。なお、情報処理装置１と端末２とを一体に構成してもよく、その場合はネットワーク３を省略することができる。

【0013】

情報処理装置１は、サーバ型の情報処理装置であり、端末２を介した利用者４の要求に応じて動作するものであって、本体内に情報を処理するための機能を有するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や情報を記憶するための機能を有するフラッシュメモリ等の電子部品を備える。

【0014】

端末２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット、スマートフォン等の端末装置であって、本体内に情報を処理するための機能を有するＣＰＵやフラッシュメモリ、その他にスピーカー、マイク、カメラ等の電子部品を備える。

【0015】

ネットワーク３は、高速通信が可能な通信ネットワークであり、例えば、インターネット、イントラネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線又は無線の通信網である。

【0016】

上記構成において、一例として、英会話の能力を判定するため、情報処理装置１は、ネットワーク３を介して端末２の表示部にアバターを表示処理し、質問を発話させるとともにアバターに動作を付与する。情報処理装置１は端末２のマイクを介して利用者４の質問に対する回答を集音し、内容を音声認識して質問に対する会話能力を判定する。能力の判定は、話題毎や質問毎等のように予め定められた会話のまとまり毎に行われ、判定結果のレベルは適宜次の話題や質問の選択にフィードバックされる。また、レベルが判定されると、判定されたレベルを確信のあるものとするため、敢えて判定したレベルより高い質問を行い、利用者４が質問に対して不理解、非流暢性を有する回答をした場合、先に判定したレベルが正しいものと判断し、判定結果を出力する。以降、構成についてさらに詳しく説明する。

【0017】

（情報処理装置の構成）
図２は、実施の形態に係る情報処理装置１の構成例を示すブロック図である。

【0018】

情報処理装置１は、ＣＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワーク３を介して外部と通信する通信部１２とを備える。

【0019】

制御部１０は、後述する情報処理プログラムとしての能力判定プログラム１１０を実行することで、発話制御手段１００、表示制御手段１０１、動作付与手段１０２、音声認識手段１０３、映像認識手段１０４、能力判定手段１０５、ブレイクダウン検出手段１０６等として機能する。

【0020】

発話制御手段１００は、端末２における音声発話を制御する。発話制御手段１００は、主に予め用意した複数レベルの質問を含む質問情報１１１から利用者４のレベルに応じて質問を選択して発話する。なお、音声発話は、質問情報１１１に基づいた質問だけでなく、当該質問に対する利用者４に対する挨拶や利用者４の発話、回答に対する相槌等も含むものとする。

【0021】

表示制御手段１０１は、アバターの画像を定義するアバター情報１１２及びアバターの動作を定義する動作情報１１３を用いて端末２にアバターを動作を付与しつつ表示する。

【0022】

動作付与手段１０２は、表示制御手段１０１によって端末２に表示されるアバターに対して、発話制御手段１００、音声認識手段１０３、映像認識手段１０４の動作に応じて動作情報１１３を参照して動作を付与する。例えば、発話制御手段１００の動作に応じて発話に合わせてアバターに発話の動作を付与する。動作情報１１３の全ての動作は、例えば、ある発話文と紐付けられており、生成する動作の発話文と文章間距離が最も近いものが選択される。また、音声認識手段１０３の動作に応じてアバターに聴くしぐさ等の動作を付与し、映像認識手段１０４の動作に応じてアバターに利用者４の動作に反応する動作を付与する。なお、動作付与手段１０２は、能力判定手段１０５及びブレイクダウン検出手段１０６の動作に応じて動作を付与するものであってもよい。

【0023】

音声認識手段１０３は、端末２を介して受け付けた発話制御手段１００の質問等に対する利用者４の回答に伴う音声を認識し、回答情報１１４として記憶部１１に格納する。音声認識手段１０３は、認識した音声についてさらに言語理解の処理をするものであってもよいし、言語理解は能力判定手段１０５により行ってもよい。音声認識としては、例えば、ＧＭＭ－ＨＭＭ、ＤＮＮ－ＨＭＭ、Ｅｎｄ－ｔｏ－Ｅｎｄ ＤＮＮ等の手段を採用でき、言語理解としては、キーワード抽出、決定木、ニューラルネットワーク等の手段を採用できる。

【0024】

映像認識手段１０４は、端末２を介して受け付けた利用者４の回答に伴う仕草や目線、ジェスチャー等を含む映像を認識し、回答情報１１４として記憶部１１に格納する。映像認識としては、例えば、ニューラルネットワーク等の手段を採用できる。

【0025】

能力判定手段１０５は、回答情報１１４の内容に基づいて利用者４の能力を判定して判定結果情報１１５として記憶部１１に格納する。判定基準として、例えば、ＣＥＦＲ（Ｃｏｍｍｏｎ Ｅｕｒｏｐｅａｎ Ｆｒａｍｅｗｏｒｋ ｏｆ Ｒｅｆｅｒｅｎｃｅ ｆｏｒ Ｌａｎｇｕａｇｅｓ）が用いられる。具体的なレベルとしてＡ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２が用意され、当該並順でレベルが上がる。能力判定としては、例えば、線形回帰、決定木、ニューラルネットワーク等の手段を用いて判定することができる。

【0026】

また、能力判定手段１０５は、ブレイクダウン検出手段１０６がブレイクダウンを検出した場合に、発話制御手段１００に暫定的に判定したレベルをフィードバックし、発話制御手段１００に当該レベルに応じた質問を選択させて発話させる。当該フィードバック動作については後に詳細に説明する。また、能力判定手段１０５は、複数の質問の回答が得られた後、利用者４のレベルを総合的に判定する。

【0027】

ブレイクダウン検出手段１０６は、音声認識手段１０３及び映像認識手段１０４が認識した利用者４の回答に不理解又は非流暢性、文法正確性の低下が検出された場合、これをブレイクダウンとして検出する。なお、本実施の形態は英会話の能力判定のケースを前提に上記のようにブレイクダウンの定義をしているが、判定内容が異なる場合や判定と異なる用途の場合は、当該判定内容や当該用途に合わせてブレイクダウンの定義を変更してもよい。より上位概念で定義するのであれば、情報処理装置１の発信する内容に対して利用者４の応答の内容が正常時の応答の分布から逸脱し，その結果対話的な破綻が生じることをブレイクダウンとする。

【0028】

ブレイクダウン検出手段１０６は、発話の繰り返しを要求している状態、又は混乱若しくは理解しようと考え込んで黙った状態等から不理解の検出を行う。後者については、ユーザの不理解時に発生する特徴的な動作として、例えば、視線を逸らす、顔を近づける、瞬きが多い、横をむく、視線を激しく動かす、頭部を激しく動かす、無言になる、発話の音量が小さくなる、の８つが音声認識手段１０３又は映像認識手段１０４により検出された場合に混乱若しくは理解しようと考え込んで黙った状態であると判断する。

【0029】

また、ブレイクダウン検出手段１０６は、語彙・文法・発音といった言語知識の想起がうまくいかず、発話産出が停滞する状態から非流暢性の検出を行う。特に、沈黙の位置が文や節の途中に生じる場合に発話産出が停滞する状態と判断する。これは文や節の始め又は終わりに沈黙が生じる場合は、背景知識の不足や、効果的な談話構造の計画失敗など、内容想起を起因とすると考えられるためである。

【0030】

記憶部１１は、制御部１０を上述した各手段１００－１０６として動作させる能力判定プログラム１１０、質問情報１１１、アバター情報１１２、動作情報１１３、回答情報１１４、判定結果情報１１５等を記憶する。

【0031】

（端末２の構成）
図３は、実施の形態に係る端末２の構成例を示すブロック図である。

【0032】

端末２は、ＣＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部２０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部２１と、ネットワーク３を介して外部と通信する通信部２２と、入力される利用者４の音声を電気信号に変換するマイク２３と、制御部２０から入力される信号を音声に変換して出力するスピーカー２４と、利用者４を撮像して映像信号を出力するカメラ２５と、画像、映像、文字等を表示するＬＣＤ等のディスプレイ２６を備える。その他、端末２は、利用者４から操作を受け付ける図示しない操作部（キーボード、マウス、トラックパッド、タッチパネル）等を備える。

【0033】

なお、情報処理装置１と端末２とをそれぞれ別装置として説明するが、端末２に情報処理装置１の手段の一部又は全部を設けてもよく、発明の趣旨を逸脱しない範囲で適宜設計を変更してよい。

【0034】

（情報処理装置の動作）
次に、本実施の形態の作用を、（１）基本動作、（２）導入動作、（３）レベルチェック動作、（４）突き上げ動作に分けて説明する。

【0035】

（１）基本動作
まず、利用者４は、例えば、英会話の能力の判定を要求すべく端末２を操作する。端末２は、情報処理装置１とネットワーク３を介して通信し、情報処理装置１に英会話の能力判定を要求する。

【0036】

情報処理装置１は、端末２から英会話の能力判定の要求を受け付けると、発話制御手段１００、表示制御手段１０１、動作付与手段１０２に指示を出して、図４に示すように、端末２のディスプレイ２６にアバターを表示処理する。

【0037】

図４は、端末２のディスプレイ２６に表示される画面例を示す概略図である。

【0038】

画面１０１ａは、利用者４を端末２のカメラ２５で撮影した映像を表示する領域１０１ａ_１と、アバターを表示する領域１０１ａ_２とを有する。領域１０１ａ_１は、主に利用者４の参照用に表示されるが、表示しないものであってもよい。

【0039】

領域１０１ａ_２に表示されるアバターは、表示制御手段１０１、動作付与手段１０２により動作が付与されるとともに、発話制御手段１００によりスピーカー２４から音声が出力される。

【0040】

また、ディスプレイ２６に表示される画面１０１ａ及びスピーカー２４から出力される音声に対する利用者４の反応（声や表情や動作等）は、端末２のマイク２３及びカメラ２５を介して情報処理装置１に入力され、それぞれ情報処理装置１の音声認識手段１０３及び映像認識手段１０４によって認識される。

【0041】

以降の「（２）導入動作」、「（３）レベルチェック動作」、「（４）突き上げ動作」を説明する前に、情報処理装置１の各手段の基本動作を説明する。

【0042】

情報処理装置１の発話制御手段１００は、端末２におけるアバターの音声発話を制御する。発話制御手段１００は、主に予め用意した複数レベルの質問を含む質問情報１１１から利用者４のレベルに応じて質問を選択して発話する。

【0043】

また、情報処理装置１の表示制御手段１０１は、アバターの画像を定義するアバター情報１１２及びアバターの動作を定義する動作情報１１３を用いて端末２にアバターを表示するとともに、情報処理装置１の動作付与手段１０２は、表示制御手段１０１によって端末２に表示されるアバターに対して、発話制御手段１００、音声認識手段１０３、映像認識手段１０４の動作に応じて動作情報１１３を参照して動作を付与する。音声認識手段１０３の動作に応じてアバターに聴くしぐさ等の動作（傾聴動作）を付与し、映像認識手段１０４の動作に応じてアバターに利用者４の動作に反応する動作（リアクション）を付与する。これらの動作により利用者４の自己開示を促す。

【0044】

また、情報処理装置１の音声認識手段１０３は、端末２を介して受け付けた発話制御手段１００の質問等に対する利用者４の回答に伴う音声を認識し、回答情報１１４として記憶部１１に格納する。音声認識手段１０３は、認識した音声についてさらに言語理解の処理をする。

【0045】

また、情報処理装置１の映像認識手段１０４は、端末２を介して受け付けた利用者４の回答に伴う仕草や目線、ジェスチャー等を含む映像を認識し、回答情報１１４として記憶部１１に格納する。

【0046】

また、情報処理装置１の能力判定手段１０５は、回答情報１１４の内容に基づいて利用者４の能力を判定して判定結果情報１１５として記憶部１１に格納する。

【0047】

また、情報処理装置１のブレイクダウン検出手段１０６は、音声認識手段１０３及び映像認識手段１０４が認識した利用者４の回答に不理解又は非流暢性が検出された場合、これをブレイクダウンとして検出する。

【0048】

以降、上記アバターを表示しつつ、利用者４の英会話の能力を判定するための情報処理装置１の具体的な動作を以下に説明する。

【0049】

（２）導入動作
図５は、情報処理装置１の発話制御手段１００による質問（Ｓ１～Ｓ１０）と、利用者４の回答（Ｕ１～Ｕ９）の内容例を示す概略図である。フェーズ１は導入動作時の質問及び回答、フェーズ２はレベルチェック動作時の質問及び回答、フェーズ３は突き上げ動作時の質問及び回答の内容を示す。また、図６は、情報処理装置１の能力判定のレベルと時間経過の関係を示すグラフ図である。また、図７は、情報処理装置１の動作例を示すフローチャートである。

【0050】

まず、情報処理装置１は、利用者４に対して挨拶やスモールトーク等の比較的簡単な会話を行い、緊張感を解すとともに大まかなレベルを把握する導入動作を行うべく、発話制御手段１００、表示制御手段１０１、動作付与手段１０２によりアバターに動作をつけつつ、例えば、レベルＡ１の質問を発話させ（Ｓ１００）、音声認識手段１０３、映像認識手段１０４により利用者４の回答及び表情や動作を認識しつつ、能力判定手段１０５により利用者４の能力を判定する（Ｓ１０１）（図６のフェーズ１）。

【0051】

具体的には発話制御手段１００、表示制御手段１０１、動作付与手段１０２により、図５のフェーズ１に示すように、アバターにより、例えば、「Ｗｈａｔ ｉｓ ｙｏｕｒ ｆａｖｏｒｉｔｅ ｓｅａｓｏｎ？」（Ｓ１）といった内容のトピック導入質問を行う。

【0052】

これに対して利用者４が、例えば、「Ｍｙ ｆａｖｏｒｉｔｅ ｓｅａｓｏｎ ｉｓ ｗｉｎｔｅｒ．」（Ｕ１）と回答した場合、音声認識手段１０３、映像認識手段１０４により利用者４の回答及び表情や動作を認識する。同時に能力判定手段１０５により利用者４の能力を判定する。例えば、ＣＥＦＲ Ａ２レベルと判定されたものとする。

【0053】

次に、利用者４が確実にＡ２レベルの会話を行えることを確認するために、発話制御手段１００、表示制御手段１０１、動作付与手段１０２により「Ａｒｅ ｔｈｅｒｅ ａｎｙ ａｃｔｉｖｉｔｉｅｓ ｙｏｕ ｌｉｋｅ ｔｏ ｄｏ ｉｎ ｗｉｎｔｅｒ？」（Ｓ２）といった内容の追加質問を行う。

【0054】

これに対して利用者４が、例えば、「Ｕｈ ．．． Ｓｋｉ ａｎｄ ｍａｋｉｎｇ ｓｎｏｗｍａｎ．」（Ｕ２）と回答した場合、さらに「Ｔｈａｔ ｓｏｕｎｄｓ ｌｉｋｅ ａ ｌｏｔ ｏｆ ｆｕｎ． Ｃｏｕｌｄ ｙｏｕ ｔｅｌｌ ｍｅ ｍｏｒｅ ａｂｏｕｔ ｉｔ？」（Ｓ３）といった内容の継続依頼を行う。ここで利用者４は「Ｉ ｌｉｋｅ ｓｋｉｉｎｇ ｗｉｔｈ ｆａｍｉｌｙ． Ｉ ｇｏ ｅｖｅｒｙ ｙｅａｒ．」（Ｕ３）と回答したものとする。

【0055】

なお、当該追加質問の回数は、能力判定手段１０５が判定結果を確認できれば０回でもよいし、１回でも複数回でもよい。

【0056】

（３）レベルチェック動作
次に、発話制御手段１００、表示制御手段１０１、動作付与手段１０２により、図５のフェーズ１に示すように、アバターにより、例えば、「Ａｌｒｉｇｈｔ． Ｗｈａｔ ｄｉｄ ｙｏｕ ｅａｔ ｆｏｒ ｂｒｅａｋｆａｓｔ ｔｈｉｓ ｍｏｒｎｉｎｇ？」（Ｓ４）といった内容で、ステップＳ１０１で判定された能力であるＡ２レベルに応じてトピック導入質問を行う（Ｓ１０２）。

【0057】

これに対して利用者４が、例えば、「Ｉ ａｔｅ ｕｈ．．． Ｓａｎｄｗｉｃｈ ｉｔ ｉｓ ｃｈｉｃｋｅｎ ａｎｄ ｓａｌａｄ ｉｔ ｉｓ ｖｅｒｙ ｄｅｌｉｃｉｏｕｓ．」（Ｕ４）と回答した場合、音声認識手段１０３、映像認識手段１０４により利用者４の回答及び表情や動作を認識する。同時に能力判定手段１０５により利用者４の能力を判定する（Ｓ１０３）（図６のフェーズ２）。例えば、ＣＥＦＲ Ａ２レベルと判定されたものとする。ステップＳ１０２及びＳ１０３は一度でもよいが、利用者４が確実にＡ２レベルの会話を行えることを確認するために、本実施の形態では追加質問を複数回行って能力を判定するものとする。なお、１の質問毎に能力判定を行ってもよいし、複数の質問毎、話題毎等の予め定めた単位毎に能力判定を行ってもよい。

【0058】

例えば、発話制御手段１００、表示制御手段１０１、動作付与手段１０２により「Ｄｏ ｙｏｕ ｕｓｕａｌｌｙ ｅａｔ ｂｒｅａｋｆａｓｔ？」（Ｓ５）といった内容の追加質問を行う。

【0059】

これに対して利用者４が、例えば、「Ｕｈ ｙｅｓ Ｉ ａｌｗａｙｓ ｅａｔ ｂｒｅａｋｆａｓｔ．」（Ｕ５）と回答した場合、さらに「Ｉ ｓｅｅ ｗｈａｔ ｔｉｍｅ ｄｏ ｙｏｕ ｕｓｕａｌｌｙ ｅａｔ ｂｒｅａｋｆａｓｔ．」（Ｓ６）といった内容の追加質問を行う。ここで利用者４は「Ｕｈ ｓｅｖｅｎ Ａ．Ｍ． Ｉ ｗａｋｅ ｕｐ ａｎｄ Ｉ ｇｏ ｔｏ ｋｉｔｃｈｅｎ ａｎｄ Ｉ ｅａｔ ｂｒｅａｋｆａｓｔ．」（Ｕ６）と回答したものとする。

【0060】

上記会話において、音声認識手段１０３、映像認識手段１０４により利用者４の回答及び表情や動作を認識した結果、回答が問題なく行われているため、能力判定手段１０５は利用者４の能力をＣＥＦＲ Ａ２レベルと暫定的に判定する（Ｓ１０３）。厳密に記載すると、レベルが確定したわけではないため、ＣＥＦＲ Ａ２レベル以上（つまり、下限のレベルがＡ２）と判定する。

【0061】

（４）突き上げ動作
次に、上記レベルチェック動作において判定した判定結果が正しいことを検証するため、発話制御手段１００、表示制御手段１０１、動作付与手段１０２により、ステップＳ１０３の判定結果のレベルよりレベルを上げて、ＣＥＦＲ Ｂ１レベルのトピック導入質問を行う（Ｓ１０４）。具体的には、図５のフェーズ３に示すように、アバターにより、例えば、「Ｈａｖｅ ｙｏｕ ｅｖｅｒ ｂｅｅｎ ｔｏ ａ ｆｏｒｅｉｇｎ ｃｏｕｎｔｒｙ？」（Ｓ７）といった内容の質問を行う。なお、レベルを１上げる場合に限らず２以上上げてもよいし、回答次第で上げるレベルの度合いを変更してもよく、さらには目的に応じてレベルを下げるものであってもよい。

【0062】

これに対して利用者４が、例えば、「Ｕｈ ｎｏ． Ｉ ｎｅｖｅｒ ｇｏ ｔｏ ｆｏｒｅｉｇｎ ｃｏｕｎｔｒｙ．」（Ｕ７）と回答した場合、音声認識手段１０３、映像認識手段１０４により利用者４の回答及び表情や動作を認識する。ブレイクダウン検出手段１０６は、認識した利用者４の回答に不理解又は非流暢性が検出されないため（Ｓ１０５；Ｎｏ）、本来であればさらにレベルを上げて質問する（Ｓ１０６）が、本実施の形態では利用者４が確実にＢ１レベルの会話を行えることを確認するために、Ｂ１レベルで複数回追加質問を行うものとする。

【0063】

次に、利用者４が確実にＢ１レベルの会話を行えることを確認するために、発話制御手段１００、表示制御手段１０１、動作付与手段１０２により「Ｏｋ． ｗｈｉｃｈ ｃｏｕｎｔｒｙ ｗｏｕｌｄ ｙｏｕ ｌｉｋｅ ｔｏ ｖｉｓｉｔ ｉｎ ｔｈｅ ｆｕｔｕｒｅ？」（Ｓ８）といった内容の追加質問を行う。

【0064】

これに対して利用者４が、例えば、「Ｉ ｗｏｕｌｄ ｌｉｋｅ ｖｉｓｉｔ ．．． Ｓｉｎｇａｐｏｒｅ．」（Ｕ８）と回答した場合、ブレイクダウン検出手段１０６は非流暢性を検出するが、これが正しいか確かめるためにさらに「Ｗｈｙ ｉｓ ｔｈａｔ？」（Ｓ８）といった内容の継続依頼を行う。

【0065】

これに対して利用者４が、例えば、「Ｂｅｃａｕｓｅ Ｉ ｗａｎｔ ｖｉｓｉｔ ．．． Ｉ ｌｉｋｅ ｇｏ ｔｏ ｎｉｃｅ ．．． ａｈ ｎｉｃｅ ．．．」（Ｕ９）といった回答をした場合、ブレイクダウン検出手段１０６は、認識した利用者４の回答に非流暢性が検出されたため、ブレイクダウンが検出されたと判断し（Ｓ１０５；Ｙｅｓ）、当該回答に対して「Ｔｈａｔ’ｓ ｏｋ． Ｌｅｔ’ｓ ｍｏｖｅ ｏｎ．」（Ｓ１０）といった発話をする。

【0066】

能力判定手段１０５は、ブレイクダウン検出手段１０６がブレイクダウンを検出した場合に（Ｓ１０５；Ｙｅｓ）、利用者４の能力がＣＥＦＲ レベルＢ１ではなくレベルＡ２であると判定する（Ｓ１０７）（図６のフェーズ３）。また、能力判定手段１０５は、判定結果を利用者４に対し、又は利用者４以外の任意の管理者等に対して出力する（Ｓ１０８）。

【0067】

一方、複数回のレベルＢ１での質問に対し、ブレイクダウン検出手段１０６がブレイクダウンを検出しなかった場合に（Ｓ１０５；Ｎｏ）、ステップＳ１０３における判定結果を訂正してレベルをＢ２に上げ（Ｓ１０６）、ステップＳ１０２～Ｓ１０６を繰り返して、最終的に能力を判定する（Ｓ１０７）。

【0068】

また、能力判定手段１０５は、上記ステップＳ１０７によって判定されたレベルを発話制御手段１００に暫定的な判定結果としてフィードバックし、再度当該レベルに応じた質問を選択させて発話させてもよい（Ｓ１０２）。この場合、能力判定手段１０５は、上記ステップＳ１０２～Ｓ１０７を複数回繰り返してから、利用者４のレベルを総合的に判定してもよい。つまり、「（３）レベルチェック動作」、「（４）突き上げ動作」を複数繰り返してからレベルＡ２と判断してもよい（図６の２回目のフェーズ２、フェーズ３）。また、能力判定が完了した後にクールダウンのフェーズをさらに設けてもよい（図６のフェーズ３の後、Ｃｏｏｌ ｄｏｗｎ）。

【0069】

（実施の形態の効果）
上記した実施の形態によれば、能力判定手段１０５により利用者４の能力を判定し、判定した能力を検証するためにレベルを上げた質問を行い、当該質問に対する回答においてブレイクダウン検出手段１０６がブレイクダウンを検出した場合、上げたレベルではなく予め判定した能力が正しそうであると判定し、ブレイクダウンを検出しなかった場合は、レベルをさらに上げて動作を継続することにより利用者４の能力を判定するようにしたため、能力判定中の利用者４（被評価者）のレベルを考慮した質問をすることができ、他のレベルを試してみることで正確でかつ確信をもってレベルを判定することができる。

【0070】

また、能力判定を行う前に挨拶やスモールトーク等の比較的簡単な会話を行う導入動作を採用したため、利用者４をウォームアップして以降の能力判定動作にスムーズに移行することができる。

【0071】

また、アバターにより発話の際、回答受付の際にジェスチャー動作（傾聴動作、リアクション）を付与するようにしたため、より自然な質問及び回答動作が可能となり、ひいては利用者の自己開示を促し、情報を引き出すことができる。

【0072】

また、会話、話題等を単位として暫定的にレベルを判定し、当該レベルに応じて質問を選択するようにしたため、暫定的にレベルを判定しない場合のように手当たり次第に全ての質問をしなくていいため、質問に要する時間の点で効率性が向上する。

【0073】

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

【0074】

英会話以外の能力判定、例えば、就職面接、精神状態判定、プレゼン能力判定等の能力判定に用いてもよい。さらに能力判定以外の用途、例えば、レストランにおけるメニュー選定、観光案内における観光地選定等のガイド用途に応用することができる。この場合、具体的に能力判定手段１０５を嗜好判定手段に置き換え、利用者の嗜好を利用者の発言、しぐさ、表情等から判定し、レベルをメニューや観光地に置き換えることで達成される。

【0075】

上記実施の形態では制御部１０の各手段１００～１０６の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

【0076】

また、情報処理装置１の制御部１０の各手段１００～１０６の機能は、必ずしも情報処理装置１上で実現する必要はなく、本発明の要旨を変更しない範囲内で、端末２上で実現してもよい。また、同様に端末２の各機能は、必ずしも端末２上で実現する必要はなく、本発明の要旨を変更しない範囲内で、情報処理装置１上で実現してもよい。

【符号の説明】

【0077】

１ ：情報処理装置
２ ：端末
３ ：ネットワーク
４ ：利用者
１０ ：制御部
１１ ：記憶部
１２ ：通信部
２０ ：制御部
２１ ：記憶部
２２ ：通信部
２３ ：マイク
２４ ：スピーカー
２５ ：カメラ
２６ ：ディスプレイ
１００ ：発話制御手段
１０１ ：表示制御手段
１０２ ：動作付与手段
１０３ ：音声認識手段
１０４ ：映像認識手段
１０５ ：能力判定手段
１０６ ：ブレイクダウン検出手段
１１０ ：能力判定プログラム
１１１ ：質問情報
１１２ ：アバター情報
１１３ ：動作情報
１１４ ：回答情報
１１５ ：判定結果情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】