知財求人 - 知財ポータルサイト「IP Force」
特開2023-123999人物の間の関係構築を促進する方法及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023123999
(43)【公開日】2023-09-06
(54)【発明の名称】人物の間の関係構築を促進する方法及びコンピュータプログラム
(51)【国際特許分類】
G06F 16/90 20190101AFI20230830BHJP
G06F 40/56 20200101ALI20230830BHJP
G10L 15/22 20060101ALI20230830BHJP
G10L 15/10 20060101ALI20230830BHJP
G10L 13/00 20060101ALI20230830BHJP
G06F 3/01 20060101ALI20230830BHJP
G06F 3/16 20060101ALI20230830BHJP
G06N 3/004 20230101ALI20230830BHJP
【ＦＩ】
G06F16/90 100
G06F40/56
G10L15/22 300U
G10L15/10 200W
G10L13/00 100M
G06F3/01 510
G06F3/16 650
G06F3/16 690
G06N3/00 140
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022027523
(22)【出願日】2022-02-25
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業 特別重点期間「複数人の人間と自然に対話できるアンドロイドシステムの実現（石黒共生ヒューマンロボットインタラクションプロジェクト）」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(74)【代理人】
【識別番号】100099933
【弁理士】
【氏名又は名称】清水 敏
(72)【発明者】
【氏名】船山 智
(72)【発明者】
【氏名】港 隆史
(72)【発明者】
【氏名】境 くりま
(72)【発明者】
【氏名】内田 貴久
【テーマコード（参考）】
5B091
5B175
5E555
【Ｆターム（参考）】
5B091CB32
5B175EA01
5B175GA04
5E555AA46
5E555AA76
5E555BA02
5E555BA88
5E555BB02
5E555BC13
5E555CA47
5E555CB64
5E555EA14
5E555EA19
5E555FA00
(57)【要約】
【課題】ロボットにより容易に人物の間の関係構築を促進できるような方法を提供する。
【解決手段】人物の間の関係構築を促進する方法は、コンピュータが、ロボットを制御して、第１の人物に向かって、所定の方法により定められる話題に関する意見を促す発話を行うステップ２３２と、コンピュータが、第１の人物が意見を述べるまで待機する第１待機ステップと、コンピュータが、ロボットを制御して、第１の人物と異なる第２の人物に対して、第１の人物が述べた意見に関する説明を求めるための発話を行うステップ２４６とを含む。
【選択図】図５
【解決手段】人物の間の関係構築を促進する方法は、コンピュータが、ロボットを制御して、第１の人物に向かって、所定の方法により定められる話題に関する意見を促す発話を行うステップ２３２と、コンピュータが、第１の人物が意見を述べるまで待機する第１待機ステップと、コンピュータが、ロボットを制御して、第１の人物と異なる第２の人物に対して、第１の人物が述べた意見に関する説明を求めるための発話を行うステップ２４６とを含む。
【選択図】図５
【特許請求の範囲】
【請求項1】
コンピュータが、ロボットを制御して、第１の人物に向かって、所定の方法により定められる話題に関する意見を促す発話を行うステップと、
コンピュータが、前記第１の人物が意見を述べるまで待機する第１待機ステップと、
コンピュータが、前記ロボットを制御して、前記第１の人物と異なる第２の人物に対して、前記第１の人物が述べた前記意見に関する説明を求めるための発話を行うステップとを含む、人物の間の関係構築を促進する方法。
コンピュータが、前記第１の人物が意見を述べるまで待機する第１待機ステップと、
コンピュータが、前記ロボットを制御して、前記第１の人物と異なる第２の人物に対して、前記第１の人物が述べた前記意見に関する説明を求めるための発話を行うステップとを含む、人物の間の関係構築を促進する方法。
【請求項2】
コンピュータが、予め定められたシナリオに従って、前記話題を特定するステップをさらに含む、請求項１に記載の方法。
【請求項3】
コンピュータが、前記第１待機ステップに続き、前記第１の人物の発話の中に所定の品詞の単語があるか否かを判定するステップと、
コンピュータが、前記第１の人物の発話の中に前記単語があるか否かにしたがって、どのような聞き返し処理をするかを決定するステップと、
コンピュータが、前記決定するステップにおいて決定された前記聞き返し処理を行うよう前記ロボットを制御するステップとをさらに含む、請求項１又は請求項２に記載の方法。
コンピュータが、前記第１の人物の発話の中に前記単語があるか否かにしたがって、どのような聞き返し処理をするかを決定するステップと、
コンピュータが、前記決定するステップにおいて決定された前記聞き返し処理を行うよう前記ロボットを制御するステップとをさらに含む、請求項１又は請求項２に記載の方法。
【請求項4】
前記決定するステップは、前記第１の人物の発話の中に前記単語があると判定されたか否かに従って、コンピュータが、前記単語を含む聞き返し文を発話する処理と、既定の聞き返し行動を行う処理とのいずれを前記ロボットが実行するかを決定するステップを含む、請求項３に記載の方法。
【請求項5】
前記既定の聞き返し行動は、前記ロボットが前記第１の人物に対する聞き返しを省略する行動を含む、請求項４に記載の方法。
【請求項6】
前記既定の聞き返し行動は、前記ロボットが既定の聞き返し文を前記第１の人物に対して発話することを含む、請求項４に記載の方法。
【請求項7】
コンピュータが、前記第２の人物が前記意見に関する説明を述べるまで待機する第２待機ステップと、
コンピュータが、前記第２待機ステップに続き、前記第１の人物の前記意見を理解したことを示す行動を行うよう、前記ロボットを制御するステップとをさらに含む、請求項１から請求項６のいずれか１項に記載の方法。
コンピュータが、前記第２待機ステップに続き、前記第１の人物の前記意見を理解したことを示す行動を行うよう、前記ロボットを制御するステップとをさらに含む、請求項１から請求項６のいずれか１項に記載の方法。
【請求項8】
コンピュータが、前記ロボットを制御して、所定の方法により定められる新たな話題に関する意見を前記第２の人物に求めるステップと、
コンピュータが、前記第２の人物が意見を述べるまで待機する第３待機ステップと、
コンピュータが、前記ロボットを制御して、前記第１の人物に対して、前記第２の人物が述べた前記意見に関する説明を求めるための発話を行うステップとをさらに含む、請求項７に記載の方法。
コンピュータが、前記第２の人物が意見を述べるまで待機する第３待機ステップと、
コンピュータが、前記ロボットを制御して、前記第１の人物に対して、前記第２の人物が述べた前記意見に関する説明を求めるための発話を行うステップとをさらに含む、請求項７に記載の方法。
【請求項9】
前記第１の人物が前記第２の人物の前記意見に関する説明を述べるまで待機する第４待機ステップと、
前記第４待機ステップに続き、コンピュータが、前記第２の人物の前記意見を理解したことを示す行動を行うよう、前記ロボットを制御するステップとをさらに含む、請求項８に記載の方法。
前記第４待機ステップに続き、コンピュータが、前記第２の人物の前記意見を理解したことを示す行動を行うよう、前記ロボットを制御するステップとをさらに含む、請求項８に記載の方法。
【請求項10】
前記意見を促す発話を行うステップに先立って、前記ロボットを基点とする前記第１の人物の方向を特定するステップをさらに含み、
前記意見を促す発話を行うステップは、
前記ロボットが前記第１の人物の方向を向くように、コンピュータが前記ロボットを制御するステップと、
前記話題に関する意見を促すための質問を発話するよう、コンピュータが前記ロボットを制御するステップとを含む、請求項１から請求項９のいずれか１項に記載の方法。
前記意見を促す発話を行うステップは、
前記ロボットが前記第１の人物の方向を向くように、コンピュータが前記ロボットを制御するステップと、
前記話題に関する意見を促すための質問を発話するよう、コンピュータが前記ロボットを制御するステップとを含む、請求項１から請求項９のいずれか１項に記載の方法。
【請求項11】
前記意見に関する説明を求めるステップに先立って、コンピュータが、前記ロボットを基点とする前記第２の人物の方向を特定するステップをさらに含み、
前記意見に関する説明を求めるための発話を行うステップは、
前記ロボットが前記第２の人物の方向を向くように、コンピュータが前記ロボットを制御するステップと、
前記第１の人物が述べた前記意見に関する説明を求める発話を行うよう、コンピュータが前記ロボットを制御するステップとを含む、請求項１から請求項１０のいずれか１項に記載の方法。
前記意見に関する説明を求めるための発話を行うステップは、
前記ロボットが前記第２の人物の方向を向くように、コンピュータが前記ロボットを制御するステップと、
前記第１の人物が述べた前記意見に関する説明を求める発話を行うよう、コンピュータが前記ロボットを制御するステップとを含む、請求項１から請求項１０のいずれか１項に記載の方法。
【請求項12】
コンピュータを、請求項１から請求項１１のいずれか１項に記載の方法を実行するよう機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、人物の間の関係構築を促進する方法に関し、特に、ロボットにより初対面の人物の間の関係構築を促進する方法及びそのためのコンピュータプログラムに関する。
【背景技術】
【0002】
初対面の人間にとって、互いに対話を始めることには、目に見えない障壁がある。英語にも「ｂｒｅａｋ ｔｈｅ ｉｃｅ」という言い回しがあるとおり、この障壁は言語、人種、国籍の壁を超えて存在する。こうした障壁があるために、初対面の人間が対話を初め、互いの間に関係を構築するのは難しい。
【0003】
他者との関係構築は、人々の充足感及び幸福感にとって重要である。他者との良好な関係を求めること（所属欲求）は、適応有利だとされている。孤立、他者からの拒絶などは不安感を引き起こす。つまり、他者との関係構築は、人間が充実した生活を送るために重要である。
【0004】
一方、ロボットの場合、相手が初対面でも上記したような障壁は存在しない。また人間にとっても、ロボットに対しては初対面でも相手が人間のときのような障壁は感じないと考えられる。
【0005】
ロボットのこうした性質を利用し、人同士の関係構築を促進する研究が行われている。この場合、その性格上、対話の最小単位はロボット１体と２人の人間とを含む３者のグループとなる。
【0006】
この３者の対話パターンとして、図１に示す、第１パターン５０、第２パターン５２、及び第３パターン５４の３つが考えられる。第１パターン５０は、ロボットＲと第１人物Ｈ１のみが対話する状況である。第２パターン５２は、ロボットＲと第１人物Ｈ１、ロボットＲと第２人物Ｈ２がそれぞれ対話するという状況である。第３パターン５４は、ロボットＲと第１人物Ｈ１及び第２人物Ｈ２がそれぞれ相互に対話するという状況である。図１において、左から右に行くほど第１人物Ｈ１及び第２人物Ｈ２の関係を促進する効果が高くなり、ロボットに求められる対話能力も高くなる。第３パターン５４のような状況における対話をロボットに行わせるための研究として、後掲の非特許文献１に開示のものがある。非特許文献１においては、初対面の人同士を仲介するエージェントによるコミュニケーション場として４つの状態を定める。４つの状態は、挨拶状態と、話題提供状態と、話題掘り下げ状態と、会話促し状態である。なお、文献１に開示のエージェントは一種のロボットである。
【0007】
挨拶状態においては、エージェントが２人の初対面者に対して別々に発話誘導を行う。話題提供状態においては、エージェントは、初対面者の２人の情報を相互に伝え、共通の話題について２人に意見を述べさせる。その後、互いに向かい合って対話するよう初対面者の２人を誘導する。話題掘り下げ状態においては、エージェントは初対面者の２人に質問を投げかけて２人の初対面者のコミュニケーションに参入する。会話促し状態においては、エージェントは、初対面者の会話に同調して会話を盛り上げることを目指す。初対面者の会話が終了すると、話題提供状態に遷移する。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】笹間 亮平 外４名、「コミュニケーション活性度に基づいて発話制御を行う初対面紹介エージェント」、研究報告ヒューマンコンピュータインタラクション、日本、情報処理学会、２００９年５月８日、ｐｐ．１－８
【発明の概要】
【発明が解決しようとする課題】
【0009】
文献１に開示された技術は、図１の第３パターン５４に相当する状態を目指すものである。しかし、この第３パターン５４を実現するためにはロボットが高度な対話能力を持つ必要がある。また初対面同士の人間の場合、互いを知らないことによる心理的障壁、及び対話のきっかけが少ないことから、人間同士が自発的に対話を開始することは難しい。文献１には、上記４つの状態の各々においてエージェントがどのような動作をすべきかについての開示はあるものの、人間同士が自発的に対話を開始するために文献１に開示の状況においてエージェトが実現すべき機能は高度であり、そのような機能を持つエージェント（ロボット）を実現することはむずかしい。
【0010】
それ故にこの発明は、ロボットにより容易に人物の間の関係構築を促進できるような方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
この発明の第１の局面に係る人物の間の関係構築を促進する方法は、コンピュータが、ロボットを制御して、第１の人物に向かって、所定の方法により定められる話題に関する意見を促す発話を行うステップと、コンピュータが、第１の人物が意見を述べるまで待機する第１待機ステップと、コンピュータが、ロボットを制御して、第１の人物と異なる第２の人物に対して、第１の人物が述べた意見に関する説明を求めるための発話を行うステップとを含む。
【0012】
好ましくは、この方法は、コンピュータが、予め定められたシナリオに従って、話題を特定するステップをさらに含む。
【0013】
より好ましくは、この方法は、コンピュータが、第１待機ステップに続き、第１の人物の発話の中に所定の品詞の単語があるか否かを判定するステップと、コンピュータが、第１の人物の発話の中に所定の品詞の単語があるか否かに従って、どのような聞き返し処理をするかを決定するステップと、コンピュータが、決定するステップにおいて決定された聞き返し処理を行うようロボットを制御するステップとをさらに含む。
【0014】
さらに好ましくは、決定するステップは、第１の人物の発話の中に所定の品詞の単語があると判定されたか否かに従って、コンピュータが、単語を含む聞き返し文を発話する処理と、既定の聞き返し行動を行う処理とのいずれをロボットが実行するかを決定するステップを含む。
【0015】
好ましくは、既定の聞き返し行動は、ロボットが第１の人物に対する聞き返しを省略する行動を含む。
【0016】
より好ましくは、既定の聞き返し行動は、ロボットが既定の聞き返し文を第１の人物に対して発話することを含む。
【0017】
さらに好ましくは、この方法は、コンピュータが、第２の人物が意見に関する説明を述べるまで待機する第２待機ステップと、コンピュータが、第２待機ステップに続き、第１の人物の意見を理解したことを示す行動を行うよう、ロボットを制御するステップとをさらに含む。
【0018】
好ましくは、この方法は、コンピュータが、ロボットを制御して、所定の方法により定められる新たな話題に関する意見を第２の人物に求めるステップと、コンピュータが、第２の人物が意見を述べるまで待機する第３待機ステップと、コンピュータが、ロボットを制御して、第１の人物に対して、第２の人物が述べた意見に関する説明を求めるための発話を行うステップとをさらに含む。
【0019】
好ましくは、この方法は、第１の人物が第２の人物の意見に関する説明を述べるまで待機する第４待機ステップと、第４待機ステップに続き、コンピュータが、第２の人物の意見を理解したことを示す行動を行うよう、ロボットを制御するステップとをさらに含む。
【0020】
さらに好ましくは、この方法は、意見を促す発話を行うステップに先立って、ロボットを基点とする第１の人物の方向を特定するステップをさらに含み、意見を促す発話を行うステップは、ロボットが第１の人物の方向を向くように、コンピュータがロボットを制御するステップと、話題に関する意見を促すための質問を発話するよう、コンピュータがロボットを制御するステップとを含む。
【0021】
好ましくは、この方法は、意見に関する説明を求めるステップに先立って、コンピュータが、ロボットを基点とする第２の人物の方向を特定するステップをさらに含み、意見に関する説明を求めるための発話を行うステップは、ロボットが第２の人物の方向を向くように、コンピュータがロボットを制御するステップと、第１の人物が述べた意見に関する説明を求める発話を行うよう、コンピュータがロボットを制御するステップとを含む。
【0022】
この発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの方法の各ステップを実行するよう機能させる。
【0023】
この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0024】
【発明を実施するための形態】
【0025】
以下の説明及び図面においては、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰り返さない。
【0026】
第１ 課題及びその解決手段
初対面の人同士を含む３者対話において問題となるのは、人間同士が対話しないことである。そのため、人間同士の関係構築が促進されにくい。そこでこの実施形態においては、実際は人間同士が対話していなくても、ロボットの介在により人間同士の関係構築が促進されるような対話戦略を採用する。
初対面の人同士を含む３者対話において問題となるのは、人間同士が対話しないことである。そのため、人間同士の関係構築が促進されにくい。そこでこの実施形態においては、実際は人間同士が対話していなくても、ロボットの介在により人間同士の関係構築が促進されるような対話戦略を採用する。
【0027】
人間の選好に対してロボットが平等な場合のほうが、不平等な場合よりも初対面の人間同士の印象を良くするとされている。一方、そのような対話において、人間の選好について互いの価値観をすり合わせると、人間同士の予測性を高めて互いの信頼感を構築することにつながると考えられる。すなわち、人間同士の関係を構築するためには、互いの選好を確認した後の対話設計が重要である。だとすれば、人間同士の選好の一致・不一致に依存せず、ロボットを交えた３者対話において人間関係の構築を促進する対話戦略が必要である。
【0028】
また、ロボットが人間同士の関係構築を推進することを目的とする場合、ロボット自身に関する発話（例えば人間と同様の事項に関する選好など）を行うことは必ずしも必要ではないと考えられる。一方、ロボットに関する情報を開示しない場合、ロボットに対する興味、関心、対話意欲などが喚起されない可能性がある。個人的な情報を他者に知らせる行為（自己開示）は、人間同士の親密化において重要である。３者対話においても、ロボットが自己開示を行うことによって、３者対話に参加する人間の対話満足度及びシステムに対する親しみが向上するという報告もある。したがってこの実施形態においては、ロボットが自身の選好を持ち、それを人間に対して示しながら人間同士の関係構築を促進する対話戦略を採用する。そこで、この実施形態においては、人間同士が直接に対話せずに、ロボットとの１対１対話を繰り返すことにより３者対話を実現する手法を採用する。その際、ロボットが自己の選好を相手に開示する。
【0029】
すなわち、図２を参照して、この実施形態においては、図１に示す第２パターン５２と同じような手法を用いながら、第１人物Ｈ１及び第２人物Ｈ２が実質的に対話しているかのような第２パターン６０を図１に示す第２パターン５２に代えて実現する。この手法においては、ロボットＲは一次には第１人物Ｈ１又は第２人物Ｈ２としか対話しない。そのため、非特許文献１に開示されたもの（第３パターン５４）と比較すれば、この実施形態でロボットに要求される対話能力は高くない。
【0030】
この第２パターン６０に採用したような手法により人同士の関係を構築するためには、第１人物Ｈ１及び第２人物Ｈ２が互いに共感し合うことが必要である。そのためには、第１人物Ｈ１及び第２人物Ｈ２が互いに視点を共有することが有効と考えられる。そのため、以下に説明するように、この実施形態においては、例えばロボットＲが第１人物Ｈ１に対して行った質問に対する第１人物Ｈ１の意見について、第２人物Ｈ２にその代弁（説明又は要約）をロボットＲが求める、という手法を採用する。
【0031】
より具体的には、図３を参照して、第１ステップ１００において、ロボット１１０が第１人物１１２に対して質問し、第１人物１１２がその質問に対する意見１３０を述べる、という対話１２０を行う。このとき第２人物１１４は対話１２０には参加しない。次に第２ステップ１０２において、ロボット１１０が第１人物１１２の意見について理解できないというふりをして、第２人物１１４に対して第１人物１１２の意見に対する代弁（説明、要約）を求める質問１３２をする。この質問１３２に対して第２人物１１４が第１人物１１２の視点に立った思考１３４に基づいてロボット１１０に対して第１人物１１２を代弁する回答１３６を行う。すなわちロボット１１０及び第２人物１１４が対話１２２を行う。この対話１２２には第１人物１１２は参加しない。しかし、第２人物１１４の回答１３６を聞いた第１人物１１２は、第２人物１１４が第１人物１１２の立場になって考えているという印象１３８を持つ。こうして、第１人物１１２と第２人物１１４とは直接には対話しないが、あたかも互いに対話したかのような経験をする。こうした経験を繰り返すことにより、第１人物１１２及び第２人物１１４は互いを理解し、共感して自然な対話を始めることが期待される。
【0032】
後述するように、このような手法を採用することにより初対面の人物同士の関係構築を強化できるという効果が得られることが実験により確認できた。
【0033】
第２ シナリオ
以下、上記した手法を実現する具体的な実施形態について説明する。図４は、上記したシナリオに沿った会話の流れを示す。ロボットは概略このシナリオに沿って２人の人物と対話する。なお、このシナリオは、ロボットの動作を制御するスクリプトとして準備される。
以下、上記した手法を実現する具体的な実施形態について説明する。図４は、上記したシナリオに沿った会話の流れを示す。ロボットは概略このシナリオに沿って２人の人物と対話する。なお、このシナリオは、ロボットの動作を制御するスクリプトとして準備される。
【0034】
図４を参照して、この会話のシナリオは、ロボットが挨拶をするステップ２００と、ロボットを含む３者が互いに自己紹介するような発話を行うステップ２０２とを含む。
【0035】
このシナリオはさらに、ロボットが３者対話の双方の参加者に対して最初の質問を行うステップ２０４を含む。このステップ２０４においては、ロボットは話題に対する参加者の選好を聞く。この実施形態においては、ここでは詳細には述べないが、話題に対する参加者の選好の組み合わせにより後に参加者に行う質問のパターンが異なってくる。したがってステップ２０４における参加者の回答をこの段階において理解し、記憶しておくことが必要である。
【0036】
このシナリオはさらに、ロボットが話題の対象に対するロボットの選好について開示するステップ２０６を含む。このような開示は、前述したとおり、ロボットが自己開示を行うことによって、３者対話に参加する人間の対話満足度及びシステムに対する親しみを向上させるためである。
【0037】
このシナリオはさらに、ロボットが参加者の一方（第１人物）に対して、第２の質問をするステップ２０８を含む。ここにおける第２の質問はステップ２０４において行うものと関連した質問である。ただし、ステップ２０８における質問は、ステップ２０４において第１人物が行った回答に応じて異なったものとなる。
【0038】
このシナリオはさらに、ステップ２０８における質問に対する第１人物の回答に基づいて第１の対話の発展を行うステップ２１０と、さらにステップ２１０の結果に基づいて、第２の対話の発展を行うステップ２１２と、最後に終わりの挨拶を行って３者対話を終了させるステップ２１４とを含む。ステップ２１０おいて、ロボットは例えば、第１人物の回答に対してその理由を尋ね、その理由が分からないという行動を行う。ステップ２１２においては、ロボットは、第２の人物の方を向いて、第１人物が述べた理由について、その代弁（説明、要約）を求める。すなわち、このシナリオは、ステップ２０８、２１０、及び２１２において、ロボットが第１人物と第２人物とに対し個別に対話しているにもかかわらず、あたかも第１人物と第２人物とが対話しているかのような効果を得ることをねらっている。
【0039】
図５に、図４のシナリオにしたがったロボットの動作の具体的な流れをフローチャート形式により示す。実際にはこのロボットの動作は、非常に短い一定時間を周期として繰り返されるプログラムの、各時間におけるリアルタイムな動作の積み重ねにより実現される。
【0040】
まずステップ２３０においてロボットは第１人物の方向を向く。この第１人物の方向とは、ロボットを基点とした第１人物の顔の中心を向いた方向である。ロボットにこのような動作をさせるためには、ロボットの制御回路は、ロボットの位置及び姿勢と、第１人物の位置（及び第２人物の位置）とを知り、ロボットの姿勢を所望の状態に変化させる必要がある。それら情報を得てロボットを制御するための構成、及び以下に述べる各ステップを実現するために必要な構成については後述する。
【0041】
続くステップ２３２においては、ロボットは第１人物に最初の質問をし、第１人物が回答するのを待機する。このときには、ロボットの制御回路は、発するべき質問のテキストを生成する自然言語処理回路と、そのテキストを音声信号に変換し、さらに音声として発話する発話回路とを備える必要がある。
【0042】
ステップ２３４においてロボットは、最初の質問に対する第１人物の回答を聞き、その理由を尋ねる。この時点においてロボットが必要とするのは、音声を音声信号に変換し音声認識してテキストに変換する仕組み、そのテキストから質問に対する回答を抽出する自然言語処理のための機構、そして回答に基づいて回答の理由を作成し発話する自然言語処理及び発話処理のための機構である。
【0043】
多くの場合、最初の質問はＹＥＳ／ＮＯにより答えられる質問を想定している。そうした質問であれば、例えば肯定又は否定を表す単語を回答中から抽出、それをもともとの質問に基づいて解釈することにより第１人物の回答が分かる。しかし、場合によっては、同じ肯定でも単純な肯定ではない形による回答だったり、肯定と否定とにおいて質問に対する回答としてその意味するところが反転したりする場合がある。そうした場合に備えて、この実施形態においては、後述するように局所的肯定否定認識を採用している。なお、ステップ２３４においてロボットが行う質問は、予め定められたシナリオにしたがい、予め準備された発話テンプレートに、第１人物の回答に従って所定のキーワードを挿入することにより生成される。以下においてロボットが行う質問の多くは同様に生成される。
【0044】
なお、ステップ２３４でロボットが第１人物に理由を尋ねた後、ロボットは第１人物が回答するまで待機する。
【0045】
続くステップ２３６においては、ステップ２３４における質問に対する第１人物の回答を聞き、分からないふりをして、最初の回答に対する理由についてさらに深掘りした質問をし、質問に対する回答があるまで待機する。もっとも、このステップは必須というわけではない。ステップ２３６をすることなく次のステップ２３８に遷移してもよい。この場合のロボットの行動はあくまで予めプログラムされていた筋書きに沿ったものとなる。
【0046】
さらに続くステップ２３８においてロボットは、ステップ２３６において行った深掘り質問（又はステップ２３４において行った質問）に対する第１人物の回答を待機する。回答があれば、ステップ２４０において、ロボットは、第１人物の回答がわからなかったふりをする。
【0047】
さらにステップ２４２においては、ロボットは第２人物の方を向く。さらにステップ２４６においてロボットは、第２人物に対し、第１人物の言っている事が分かるか聞く。これが本実施形態において重要な点である。なぜなら第２人物は、このロボットからの質問に対し、第１人物が何を考えていたかを想像し、第１人物の視点から、第１人物の考えを代弁するための回答を考えるからである。質問した後、ロボットは第２人物の回答があるまで待機する。
【0048】
続くステップ２４８においてロボットは、第２人物の回答を聞き、第１人物の回答について納得したかのような動作をし、処理を終了する。このように第２人物の回答を聞いて第１人物の回答に納得したかのような動作をすることにより、第１人物と第２人物との間に共感が生じ、あたかも両者の間に対話があったかのような効果を得ることができる。
【0049】
以上の処理を第１人物と第２人物とを入れ替えて繰り返すことによりさらに大きな効果が得られる。
【0050】
図６に、後述する実験において用いられたシナリオを示す。ロボットは、ステップ３００において挨拶し、ステップ３０２において３者の自己紹介を実行する。さらにステップ３０４においてロボットは第１人物及び第２人物に対してお酒が好きかどうかについての質問をし、両者の回答を得てその内容を記憶する。さらに、後の処理は、第１人物及び第２人物の回答によって変化する。したがって、ここでは両者の回答に従って適切なシナリオを選択する。例えば第１人物と第２人物との回答が、お酒について好き／好き、好き／嫌い（嫌い／好き）、及び嫌い／嫌いのいずれかによって後の質問などの内容が変わってくる。
【0051】
さらにステップ３０６においてロボットは、飲み会が好きではないという自己開示を行う。あくまでこれは実験におけるシナリオであり、飲み会が好きだという自己開示も同様にあり得る。なお、実験において飲み会を話題に選んだのは、好き嫌いが人によって分かれやすいためである。実験においては、対話相手に他者の意見を代弁させる必要があるため、話題の内容も、対話の参加者の意見が明確に現れるようなものが望ましいという理由による。
【0052】
続くステップ３１０において、ロボットは飲み会についての愚痴に関する対話を試み、ステップ３１２において飲み会に参加すべきか否かの葛藤についての対話を試みる。最後にステップ３１４において、ロボットは終わりの挨拶をする。
【0053】
上記したシナリオによれば、ステップ３０８、３１０及び３１２のいずれかにおいて上記した深掘り質問、他者に対する代弁の依頼を行うことができる。実験においては、ステップ３０４における対話参加者の回答の組み合わせに基づいて、以下のように深掘り質問と代弁の依頼とを行うようにした。
【0054】
好き／好き→ステップ３０８及び３１２
好き／嫌い→ステップ３０８及び３１２
嫌い／嫌い→ステップ３１０及び３１２
シナリオは、上記３つの場合に分けて予め準備しておき、第１人物及び第２人物からの回答により適切なシナリオを選択すればよい。以下の説明においては、理解を容易にするよう、第１人物と第２人物との選好が好き／好きな場合を想定する。
好き／嫌い→ステップ３０８及び３１２
嫌い／嫌い→ステップ３１０及び３１２
シナリオは、上記３つの場合に分けて予め準備しておき、第１人物及び第２人物からの回答により適切なシナリオを選択すればよい。以下の説明においては、理解を容易にするよう、第１人物と第２人物との選好が好き／好きな場合を想定する。
【0055】
第３ 構成
図７に、この実施形態に係る方法を実行する会話ロボットシステム３５０のハードウェア構成をブロック図形式により示す。図７を参照して会話ロボットシステム３５０は、ロボット３６０と、予め準備されたシナリオを実現するプログラムに従ってロボット３６０の各アクチュエータなどを制御してロボット３６０を動作させるための動作制御ＰＣ３６２とを含む。動作制御ＰＣ３６２はネットワーク３６４に接続される。
図７に、この実施形態に係る方法を実行する会話ロボットシステム３５０のハードウェア構成をブロック図形式により示す。図７を参照して会話ロボットシステム３５０は、ロボット３６０と、予め準備されたシナリオを実現するプログラムに従ってロボット３６０の各アクチュエータなどを制御してロボット３６０を動作させるための動作制御ＰＣ３６２とを含む。動作制御ＰＣ３６２はネットワーク３６４に接続される。
【0056】
会話ロボットシステム３５０はさらに、ネットワーク３６４を介して動作制御ＰＣ３６２と通信可能であり、対話の相手となる人物の発話に対する音声認識を行って文字列に変換し、テキスト形式により動作制御ＰＣ３６２に送信するための音声認識ＰＣ３６８と、音声認識ＰＣ３６８に接続され、音声を音声信号に変換して音声認識ＰＣ３６８に入力するためのマイクロフォン３６６とを含む。マイクロフォン３６６はロボット３６０の近傍に設置されている。マイクロフォン３６６は実際には複数設けられてマイクロフォンアレイを形成しており、動作制御ＰＣ３６２は、これらマイクロフォン３６６からの音声信号に基づいて、第１人物１１２及び第２人物１１４の音声を区別できる。
【0057】
会話ロボットシステム３５０はさらに、ネットワーク３６４に接続され、ネットワーク３６４を介して動作制御ＰＣ３６２から受信した発話テキストに基づいて音声合成を行い、音声信号を出力するための音声合成ＰＣ３７２と、音声合成ＰＣ３７２から出力される音声信号を音声に変換するためのスピーカ３７０とを含む。スピーカ３７０は理想的にはロボット３６０の頭部に設けられるが、ロボット３６０の近傍に配置するようにしてもよい。
【0058】
会話ロボットシステム３５０はさらに、第１人物１１２及び第２人物１１４の位置を検出するための人位置センサ３７４と、人位置センサ３７４の出力に基づいて、第１人物１１２及び第２人物１１４の位置を検出し、ネットワーク３６４を介して検出信号を動作制御ＰＣ３６２に送信するための人位置認識ＰＣ３７６とを含む。この実施形態においては、人位置センサ３７４としては、テレビゲームの入力装置として利用されることが多い市販のものを利用する。またロボット１１０と対話する人物が第１人物１１２と第２人物１１４との２人であること、またロボット１１０がこれら２人の人物と対話するためには、ロボット１１０を基点とする第１人物１１２と第２人物１１４との方向を知る必要があることに鑑み、会話ロボットシステム３５０は２台の人位置センサ３７４を使用して第１人物１１２と第２人物１１４との双方の位置を別々に検出する。
【0059】
図８を参照して、図７に示す各要素の間のデータの流れについて簡単に説明する。図７に示す音声認識ＰＣ３６８は、マイクロフォン３６６の出力に基づいて、第１人物１１２及び第２人物１１４の発話に対する音声認識４０２を行い、認識結果を出力する。図７に示す人位置認識ＰＣ３７６は、人位置センサ３７４の出力に基づいて第１人物１１２及び第２人物１１４の人位置認識４００を行い、認識結果を出力する。
【0060】
図７に示す動作制御ＰＣ３６２は、前述したシナリオに従った対話制御４０４を実行している。動作制御ＰＣ３６２は、人位置認識４００及び音声認識４０２からの認識結果に基づいて対話制御４０４を実行し、シナリオに従って発話するためのテキスト及び発話の指令を図７の音声合成ＰＣ３７２に、また同様にシナリオに従ってロボット３６０の各部を制御するための指令及び動作のためのパラメータを図７の人位置認識ＰＣ３７６に、それぞれ与える。
【0061】
音声合成ＰＣ３７２は、対話制御４０４からの指令に従って、与えられたテキストに対する音声合成４０６を行い、音声信号をスピーカ３７０に出力する。動作制御４０８は、対話制御４０４から与えられる指令に従い、対話制御４０４から与えられるパラメータを用いてロボット３６０の各アクチュエータを制御し、ロボット３６０に対してシナリオに従った動作を行わせる。
【0062】
図９に簡単なシナリオの例を示す。図９に示すシナリオ４５０は、例えば図６のステップ３０４の冒頭におけるロボット３６０の動きを制御するためのものである。このシナリオは、開始ノード４６０と終了ノード４７２とに配置された複数のノード４６２、４６４、４６６、４６８及び４７０を含む。これら各ノードにはそれぞれ機能が割り当てられる。シナリオ４５０はさらに、シナリオに従ってロボット３６０が所定の順序により動作するようにノードを連結する１又は複数のエッジを含む。
【0063】
例えばノード４６２は発話ブロックである。この発話ブロックは、発話内容、発話中のロボットの動作及び感情などに関する情報を含む。ノード４６４は質問ブロックである。この質問ブロックは、質問の相手、質問内容、質問時のロボット３６０の動作などに関する情報を含む。ここにおける質問は基本的にＹＥＳ／ＮＯにより回答可能なものを想定している。ノード４６６は音声認識ブロックである。このノードにおいては、ノード４６４においてロボット３６０が発話した質問に対する人物（例えば第１人物１１２）の回答に対する音声認識が行われる。ノード４６６においてはさらに、音声認識した結果に基づき、第１人物１１２の回答が質問に対する肯定の回答か、否定の回答かに関する判定が行われる。その結果が、後続するノード４６８に与えられる。ノード４６６においてはさらに、第１人物１１２の回答に基づいてロボット３６０がどのような反応をすべきかが決定され、そのためにロボット３６０の各アクチュエータを制御するためのパラメータが決定される。これらパラメータはノード４７０に与えられる。
【0064】
ノード４６８の処理及びノード４７０の処理は並列に行われる。ロボット３６０が発話するときには、顔の各部と体の各部を制御する必要がある。発話中のロボット３６０の頭部、特に口については細かい制御が必要である。この例においては、ノード４６８における発話とノード４７０によるロボット３６０の制御とが同期するように、経時的な動きが４６６において計算され、ノード４６８及び４７０に与えられる。ノード４６８における発話及びノード４７０におけるロボットの動作が終了するとこのシナリオの実行が終了する。
【0065】
この実施形態においては、以上のようなシナリオは、図９に示すようなグラフ形式により定義される。グラフの各ノードの実行時に、そのノードに関する情報を解釈することによりスクリプトが生成される。しかし、逆にスクリプトからその制御の経過を図９に示すようなグラフ形式により視覚的に理解できるように表してもよい。グラフとスクリプトとの間でシナリオの作成が交代的に行われるようにしてもよい。
【0066】
図１０は、図８に示す対話制御４０４の機能的構成を説明するための図である。図１０を参照して、対話制御４０４は図７に示す動作制御ＰＣ３６２により実現される処理である。対話制御４０４は、動作制御ＰＣ３６２のハードディスク又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などにより実現される、対話シナリオを定義する対話シナリオデータを記憶した記憶装置５１０と、記憶装置５１０から対話シナリオデータ５３０を読み出し、ノードごとに処理内容を解釈して、ロボット３６０の感情状態５３２及び音声合成のためのパラメータ指令５３４を算出する対話シナリオ制御５１２とを含む。
【0067】
対話制御４０４はさらに、対話シナリオ制御５１２から感情状態５３２を受けてロボット３６０の感情状態を管理し、ロボット３６０の感情状態に応じた音声合成のためのパラメータ指令５１５とロボット３６０の表情を変化させるアクチュエータなどを制御するための表情指令５３８とを出力するための感情状態管理５１４と、対話シナリオ制御５１２から音声合成のためのパラメータ指令５３４を、感情状態管理５１４から感情状態に応じたパラメータ指令５１５を、それぞれ受けて最終的な音声合成を制御する音声合成指令５４０を出力する音声合成パラメータ制御５１６とを含む。
【0068】
音声合成パラメータ制御５１６からの音声合成指令５４０は図７に示す音声合成ＰＣ３７２において動作している音声合成モジュール５０４に与えられる。音声合成モジュール５０４はこの音声合成指令５４０に従って、シナリオとロボット３６０の感情状態とに応じた音声合成を行う。対話シナリオ制御５１２からの視線・動作指令５３６及び感情状態管理５１４からの表情指令５３８はいずれも図７の動作制御ＰＣ３６２において動作している動作制御モジュール５０２に与えられる。動作制御モジュール５０２は、これら指令に基づいてロボット３６０の各アクチュエータを制御し、ロボット３６０をシナリオに従って動作させる。
【0069】
図１１は、図５のステップ２３４に関する説明において言及した、局所的肯定否定認識を実現するプログラムの制御構造を示す。この実施形態においては、ロボット３６０が行った質問に対する、ユーザ発話が質問に対する肯定の応答か否定の応答かによりシナリオの進行が定まる。この実施形態においては、ユーザ発話はスクリプトに沿ったキーワードマッチングにより判定している。したがって、ロボット３６０がユーザ発話を聞き取れない場合には、ロボット３６０が聞き返すなどのリカバリーのためのシステムを組み込んである。
【0070】
また、ロボット３６０の質問に対するユーザ発話が肯定か否定かを認識する場合、ユーザが「はい」又は「そうです」など、肯定及び否定を表すものとして汎用的に使用される単語（汎用的肯定否定ワード）を使用する場合だけではない。例えば「…とおもいますか？」という質問に対して「思います」という応答は肯定であり、「思いません。」という応答は否定である。つまり、ユーザは汎用的肯定否定ワードだけではなく、相手の発話文という局所的情報に応じ、相手の発話文に対して動詞の変化を含めた局所的肯定否定ワードを使用する場合がある。図１１のプログラムはそのような局所的肯定否定ワードを認識するためのものである。
【0071】
図１１を参照して、局所的肯定否定認識においては、まずユーザ発話の音声認識結果の文字列中に肯定キーワードがあるか否かを判定する（ステップ５６２）。この場合の肯定キーワードとは、文脈に応じて各ノードにおいて質問ごとに準備されている単語である。
【0072】
ステップ５６２における判定が肯定の場合、ステップ５６４において発話文中に否定語が含まれているか否かを判定する。否定語が含まれている場合にはステップ５７４においてユーザ発話が質問に対する否定の応答だと判定しこの処理を終了する。ステップ５６４における判定が否定の場合にはステップ５７２においてユーザ発話が質問に対する肯定の応答だと判定しこの処理を終了する。
【0073】
ステップ５６２における判定が否定の場合、ステップ５６６において発話文中に否定キーワードがあるか否かを判定する。否定キーワードがあればステップ５６８においてさらに発話文中に否定語が含まれているか否かを判定する。判定が否定ならステップ５７４においてユーザ発話が質問に対する否定の応答だと判定してこの処理を終了する。ステップ５６８における判定が肯定なら、否定の否定ということで、ステップ５７２においてユーザ発話が質問に対する肯定の応答だと判定してこの処理を終了する。
【0074】
ステップ５６６における判定が否定のときには、ステップ５７０において発話文中に局所的肯定否定のキーワードがないと判定してこの処理を終了する。
【0075】
こうした処理をロボットが質問した後のユーザ発話を分析するときに処理として組み込んでおく。その結果、ユーザが汎用的肯定否定キーワードを使用せずに質問に対する応答をしたときにもロボット３６０はその応答の肯定否定を正しく判定できる。したがって、後の処理をシナリオに従ってスムーズに実行できる。
【0076】
図１２は、図４のステップ２０８、図５のステップ２３６、図６のステップ３０８などにおいて、ロボット３６０がした質問に対する第１人物１１２の応答を聞いたときにロボット３６０が実行する、第１人物１１２の発話に対する発話文解析の流れを示すフローチャートである。まずロボット３６０は第１人物１１２の発話に対する音声認識処理を実行する（ステップ６００）。さらにロボット３６０は、音声認識処理により得られた文字列に対して形態素解析を行う（ステップ６０２）。さらにロボット３６０は、質問がその回答として形容詞を想定したものか否かを判定し、その結果に応じて制御の流れを分岐させる（ステップ６０４）。このステップ６０４は、話題によって、また質問の仕方によって、回答が主として形容詞が想定される場合と、主として名詞が想定される場合とが存在するためである。すなわち、シナリオによって、このステップ６０４の判定結果が異なってくる。
【0077】
ステップ６０４の判定が肯定のときには、形容詞の回答を想定した第１の発話文解析処理が実行される（ステップ６０６）。ステップ６０４の判定が否定のときには、後述するように名詞の回答を想定した第２の発話文解析が実行される（ステップ６０８）。ステップ６０６及びステップ６０８においては、基本的にはいずれも聞き返し文が生成される。続くステップ６１０においては、生成された聞き返し文を第１人物１１２に対して発することになる。ただし、場合によっては聞き返し文が生成されないこともある。そうした場合には、所定のデフォルトの聞き返し文を使用したり、聞き返しを行わなかったりする場合もあり得る。
【0078】
図１３は、図１２のステップ６０６における処理の流れをより詳細に示す。図１３を参照して、形容詞を回答として想定したときの発話文解析においては、最初に発話文中に形容詞があるか否かを判定する（ステップ６３２）。発話文中に形容詞があれば、その形容詞の中に「楽しい」があるか否かを判定する（ステップ６３４）。これは、上記した図６に示したように３者対話の話題として飲み会を選択したため、高い頻度をもって使用される形容詞として特別に挿入した判定である。形容詞の中に「楽しい」があれば、「楽しい」を聞き返しワード（聞き返し用の質問発話文テンプレート中に挿入される単語）に設定する（ステップ６３６）。そして、予め準備された聞き返し用の質問発話文テンプレートの、聞き返しワード用のスロットに聞き返しワードを挿入して質問発話文を生成する（ステップ６４６）。ステップ６４６の後、この処理を終了する。
【0079】
ステップ６３４の判定が否定のとき、すなわち第１人物１１２の発話文中に「楽しい」がないときは、発話文中の形容詞のうち、最もＩＤＦ（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）値が高い形容詞を聞き返しワードに設定する（ステップ６３８）。この後、ステップ６４６の処理を実行する。ＩＤＦ値は、単語が使用される頻度が低いか否かを示す尺度と考えられる。ＩＤＦ値が高いということは、使用される頻度が低いということであり、ありふれた単語ではないということである。したがってＩＤＦ値が高い単語を使用して質問発話文を作ることにより、後に第２人物１１４に第１人物１１２の意見を代弁させるときに、第２人物１１４が第１人物１１２の視点から考えるという効果が強く得られると考えられる。
【0080】
なお、この処理を行うためにはＩＤＦ値を単語ごとに記憶しておく必要がある。この実施形態においては、例えば図７に示す動作制御ＰＣ３６２がこのＩＤＦ値のテーブルを記憶している。
【0081】
ステップ６３２の判定が否定のときには、発話文中に動詞があるか否かを判定する（ステップ６４０）。動詞があればその動詞のうち、最もＩＤＦ値が高いものを聞き返しワードに設定し（ステップ６４２）、ステップ６４６において聞き返しワードを使用した質問発話文を生成して処理を終了する。
【0082】
なおこの実施形態においては、ステップ６４０の判定が否定のときには聞き返し質問なしとし（ステップ６４４）、ロボット３６０が第１人物１１２に対して聞き返し質問はしないものとする。
【0083】
図１４は、図１２のステップ６０８における処理の流れをより詳細に示す。図１４を参照して、名詞を回答として想定したときのこの発話文解析においては、まずステップ６６２において発話文中に名詞があるか否かを判定する。判定が肯定のときにはステップ６６４において、その名詞のうち最もＩＤＦ値が高い名詞を聞き返しワードに設定する。その後、ステップ６７２において、その聞き返しワードを使用した質問発話文を生成してこの処理を終了する。ステップ６７２の処理は、図１３のステップ６４６と実質的に同じ処理である。
【0084】
ステップ６６２の判定が否定のとき、すなわち発話文中に名詞が存在しないときには、ステップ６６６において発話文中に動詞があるか否かを判定する。発話文中に動詞があるときには、ステップ６６８においてその動詞のうち最もＩＤＦ値が高い動詞を聞き返しワードに設定する。その後、ステップ６７２においてその聞き返しワードを使用した質問発話文を生成しこの処理を終了する。
【0085】
ステップ６６６の判定が否定のとき、すなわち発話文中に名詞も動詞もないときには、ステップ６７０が実行される。ステップ６７０においては、聞き返しワードを持たないデフォルトの質問発話文を使用することに決定し、この処理を終了する。
【0086】
図１５は、図１３のステップ６４６及び図１４のステップ６７２における処理の流れを示すフローチャートである。図１５を参照して、この処理においては、まず、ステップ７０２において、ロボット１１０が発話した質問が、相手の回答として名詞を想定したものか否かを判定する。この判定が肯定のときには制御はステップ７０４に進む。ステップ７０４においては、聞き返しワードが名詞か否かが判定される。この聞き返しワードは、図１３又は図１４の処理において決定された単語である。この判定が肯定であれば処理はステップ７１４に進む。ステップ７１４においては、予め準備されていた名詞用の質問テンプレートに、聞き返しワードを当てはめてこの処理を終了する。質問テンプレートとは、質問文の一部に、聞き返しワードが挿入されるスロットが設けられたものである。このスロットに聞き返しワードを挿入することにより質問発話文が生成できる。
【0087】
一方、ステップ７０４における判定が否定のときには処理はステップ７０８に進む。ステップ７０８において行われる処理については後述する。
【0088】
ステップ７０２の判定が否定のときには制御はステップ７０６に進む。ステップ７０６においては、想定された聞き返しワードが形容詞か否かが判定される。判定が肯定なら、ステップ７１０において、予め準備されていた形容詞用の質問テンプレートに、聞き返しワードを当てはめることにより質問発話文が生成され、この処理を終了する。ステップ７０６の判定が否定のときには処理はステップ７０８に進む。
【0089】
ステップ７０８においては、聞き返しワードが動詞か否かを判定する。判定が肯定のときには処理はステップ７１２に進み、否定のときには処理はステップ７１６に進む。ステップ７１２においては動詞用の質問テンプレートに聞き返しワードを当てはめて質問発話文を生成し、この処理を終了する。ステップ７１６においては質問発話文なしとしてこの処理を終了する。質問発話文なしの場合には、ロボット１１０は聞き返しをしない。
【0090】
第４ 動作
以上のように構成された会話ロボットシステム３５０（図７）は以下のように動作する。なお、各ロボットの動作の制御の詳細は公知なので以下では繰り返さない。
以上のように構成された会話ロボットシステム３５０（図７）は以下のように動作する。なお、各ロボットの動作の制御の詳細は公知なので以下では繰り返さない。
【0091】
図４を参照して、ステップ２００において、ロボット１１０は、第１人物１１２及び第２人物１１４とともに互いに挨拶をする。ステップ２０２において、ロボット１１０は最初に自分の自己紹介の発話を行い、さらに第１人物１１２及び第２人物１１４に自己紹介を促す。
【0092】
互いの自己紹介が終わると、ロボット１１０は、ステップ２０４以下において第１人物１１２と第２人物１１４との間の関係を促進するための処理を行う。まずステップ２０４において第１ステップ１００（図３）は、第１人物１１２及び第２人物１１４に対して最初の質問を行う。この質問は、話題に対する参加者の選好を聞くものである。例えば図６のステップ３０４に示すように、ロボット１１０は参加者がお酒を好きか否かについて聞き、第１人物１１２と第２人物１１４との双方についてその回答を聞きその情報を記憶する。前述したように、話題に対する参加者の選好の組み合わせにより後に参加者に行う質問のパターンが異なってくる。したがってロボット１１０は、ステップ２０４における参加者の回答をここで理解し、記憶しておく。このとき、ロボット１１０は、第１人物１１２と第２人物１１４の各々の回答について、図１１に示した局所的肯定否定認識を行い、それぞれの回答を正しく理解する。以下の説明においては、第１人物１１２及び第２人物１１４の双方がお酒を好きと回答したものとする。
【0093】
次に、ロボット１１０は、ステップ２０６においてお酒に関するロボットの選好について開示する。ここではロボット１１０は例えばお酒は飲めないこと、飲み会などが苦手なことを開示する。この開示の後、ロボット１１０はステップ２０８以降において、第１人物１１２及び第２人物１１４の関係構築を促進するための処理を実行する。その具体的な例について、図５を参照して説明する。
【0094】
図５を参照して、まずステップ２３０においてロボット１１０は第１人物１１２の方を向く。この動作によりロボット１１０が第１人物１１２に対して質問しようとしていることが第１人物１１２（ここでは「Ａさん」と呼ぶものとする。）及び第２人物１１４に分かる。続くステップ２３２において、ロボット１１０は、第１人物１１２に対して、第２の質問をする。この例における第２の質問は、例えば「Ａさんはお酒が好きだそうですけれど、やっぱり飲み会とか、好きですか？」のような質問である。ただし図４に示すステップ２０４において第１人物１１２の回答が「否定」のときには、ここでの質問は予め準備された別のものとなる。どのような質問を使用するかについてはシナリオにより予め準備されている。第１人物１１２はこの質問に対して回答する。第１人物１１２の回答としては例えば「はい好きです。」のようなものである。このときもロボット１１０は、第１人物１１２の回答に対して局所的肯定否定認識を行う。ステップ２３４においては、ロボット１１０はさらに、第１人物１１２に対してその理由を聞く質問（例えば「そうなんですか？なんでですか？」）をする。この質問も予めシナリオにより準備されていたものであり、回答として形容詞を含むものを想定している。この質問に対して第１人物１１２は何らかの回答をする。
【0095】
第１人物１１２の回答が例えば「楽しいからです」だったものとする。すると、ステップ２３６においてロボット１１０はこの回答に対し、回答が分からないふりをしてさらに理由について深掘り質問をする。
【0096】
より具体的には、このときロボット１１０は、図１２に示される処理を実行する。すなわち、図１２を参照して、ロボット１１０はステップ６００において第１人物１１２の回答に対して音声認識をする。さらにロボット１１０は、ステップ６０２において音声認識により得られた文字列に対して形態素解析をする。その結果、ロボット１１０は認識された発話中に「楽しい」という形容詞を検出する。もとの質問が回答として形容詞を想定したものだったため、ステップ６０４の判定は肯定となり、ステップ６０６において第１の発話文解析が行われる。
【0097】
図１３を参照して、第１の発話文解析のステップ６３２の判定は肯定であり、ステップ６３４の判定も肯定である。したがってステップ６３８が実行される。この例においては第１人物１１２の発話には形容詞が１つしか含まれていない。したがって発話に含まれていたただ１つの形容詞である「楽しい」が聞き返しワードに設定される。さらにステップ６４６においては、この聞き返しワードである「楽しい」を使用した質問発話文が生成される。ここでは、例えば「うん、＜スロット＞？何が＜スロット＞ですか？」が質問テンプレートとして準備されていたものとする。
【0098】
ステップ６４６においては図１５の処理が行われる。より具体的には、この例においてはステップ７０２、７０６、７１０がこの順序により実行される。その結果、ロボット１１０の聞き返し質問発話は「うん、楽しい？何が楽しいんですか？」というものとなる。
【0099】
図１２に戻り、ステップ６１０においてロボット１１０は第１人物１１２に対して「うん、楽しい？何が楽しいんですか？」という聞き返しを実行する。この「何が楽しいんですか？」という質問は、回答として名詞を想定した質問である。そして、それに対して第１人物１１２が何らかの回答、例えば「会話が楽しいからです。」のような回答をすることになる。
【0100】
再び図５を参照して、ロボット１１０は、ステップ２３６における深掘り質問に対する第１人物１１２の回答をステップ２３８において聞き、ステップ２４０においてその回答を聞いてもわからないようなふりをする。例えばロボット１１０が首を横に振る動作をしながら、第１人物１１２の発言が理解できないような発話をする。
【0101】
このとき、ロボット１１０はステップ２３６における処理と同様、第１人物１１２の発話に対して図１２に示す処理を実行する。すなわちロボット１１０は、まず第１人物１１２の発話に対する音声認識を行い（ステップ６００）、形態素解析をして（ステップ６０２）、第１人物１１２の発話に含まれる単語とその品詞を特定する。ステップ２３６において行われた深掘り質問は、名詞を想定したものである。したがって、ステップ６０４の判定は否定となり、ステップ６０８の処理が実行される。
【0102】
ステップ６０８においては、図１４の処理が行われる。図１４を参照して、この例においてはステップ６６２の判定が肯定となる。したがってステップ６６４が実行される。第１人物１１２の発話に含まれる名詞は１つだけ（「会話」）なので「会話」が聞き返しワードに設定される。ステップ６７２において聞き返しワードを使用した質問発話文が生成される。
【0103】
図１５において実行される処理については繰り返さない。ここでは、質問発話文が「会話？うーーーん。ちょっとよくわからないんですけど、」というものだとする。第１人物１１２の回答を聞いてもよく理解できないことを強調するために、質問発話文の前に「うんうん。えーーー？」のような発話を挿入してもよい。この後、図１２に戻り、ステップ６１０において聞き返しが実行される。
【0104】
再び図５に戻り、ステップ２４０において第１人物１１２の回答を来てもわからなかったふりをした後、ステップ２４２においてロボット１１０は第２人物１１４の方を向く。この動作の結果、ロボット１１０が今度は第２人物１１４に話しかけることが第２人物１１４に分かる。
【0105】
続くステップ２４６においてロボット１１０は、第２人物１１４（「Ｂさん」とする。）に対して、第１人物１１２の言っていることが分かるか聞く。ロボット１１０のこのときの発話は、例えば単に「Ｂさん、分かりますか？」のようなものでよい。
【0106】
こうした処理の結果、第２人物１１４がロボット１１０の問に対して、第１人物１１２の発話についての意味を第１人物１１２の視点から考え、ロボット１１０に対して説明をする。ロボット１１０は、第２人物１１４の回答を聞いて、第１人物１１２の発話について納得した動作をする。
【0107】
こうした一連の処理が終了した後、図４に示すステップ２１４の処理が実行され、３者対話が終了する。
【0108】
５ 要素技術
上記実施形態を実現するためには、ロボットの制御において細かい技術が必要である。以下、主な技術について説明する。
上記実施形態を実現するためには、ロボットの制御において細かい技術が必要である。以下、主な技術について説明する。
【0109】
上記実施形態においては、必要な認識を行うために用いたセンサは、実際には、アンドロイドや対話する人間の周囲に設置した複数の深度センサ、マイクロフォンアレイ、カメラを含む。これらセンサからの情報を統合することにより、人間検出、追跡、話者認識、話者ごとの音声分離・音声認識を実現している。なお、上記実施形態においては人間の位置が検知できるのであればカメラは必須ではない。しかし、ロボットと人間との対話をする上ではカメラを用いた方が好ましい。
【0110】
ロボット１１０の発話音声について、感情的な発話を行う際に音声のピッチと速度を指定している。具体的には、速度については、ネガティブな感情の場合でもポジティブな感情の場合でも覚醒度が高まっている様子を表現するため速くしている。ピッチについては、ネガティブな感情の場合は低くし、ポジティブな感情の場合は高くしている。また、ロボット１１０の表情については、ポジティブな感情の場合は笑顔、ネガティブな感情の場合は「悲しみ」「嫌悪」などを表現する表情を生成する。感情に基づく表情生成については既存のものを使用した。
【0111】
今回のシナリオにおいては、ロボット１１０について以下のような感情状態を想定した。つまり、好きではない飲み会について話す際はネガティブな感情、飲み会が好きではない人物に共感し（必然的に、相手が２人共飲み会好きの場合、ポジティブな感情は出ない）話す際はポジティブな感情となる。
【0112】
上記実施形態においては、３者による対話を行うため、視線対象の切り替えが必要になる。ロボット１１０が２人に向かって話しかける場合、１個又は２個の発話区切りをもって視線をいずれかの相手に切り替え、どちらかに向かって話しかける場合、その人の方を向いて話す。
【0113】
ロボット１１０の動作生成においては、意識的動作と無自覚的動作、自動的動作を実現している。意識的動作においては、注意や指示の対象位置を指定することにより動きを生成する。今回の対話スクリプトにおいては、初対面の相手に名前を聞く際に、２人のうちどちらに聞いているのかを明示するために、対象者を向くとともに対象者に手を差し出すようなジェスチャを生成した。無自覚的動作においては、ロボットの感情状態を指定することによりそれらを表出する姿勢、表情、及び動きを生成する。自動的動作においては、身体的な拘束により自動的に生ずる動作を自動生成する。具体的には、ロボットの発話に伴う自動的な口唇や頭部動作、生理的に生じる動作（瞬きなど）である。
【0114】
第５ 実験と効果
この発明の効果を確認するために以下のような実験を行った。この実験の目的は、一方の人間の意見について、他方の人間に代弁を求めることにより、人間同士の関係構築が促進されるかを検証することである。具体的には、ロボットしては人によく似たアンドロイドを用い、シナリオとしては図６に示すシナリオを用いた。そのために、実験においては、上記実施の形態に従った対話を行う実施形態条件と、意見を聞いた相手に直接聞き返すコントロール条件の２条件を用意した。
この発明の効果を確認するために以下のような実験を行った。この実験の目的は、一方の人間の意見について、他方の人間に代弁を求めることにより、人間同士の関係構築が促進されるかを検証することである。具体的には、ロボットしては人によく似たアンドロイドを用い、シナリオとしては図６に示すシナリオを用いた。そのために、実験においては、上記実施の形態に従った対話を行う実施形態条件と、意見を聞いた相手に直接聞き返すコントロール条件の２条件を用意した。
【0115】
すなわち、図１６を参照して、実施形態条件７４０においては、まず第１パターン７５０においてアンドロイド７８０が被験者７８２と対話７９０する。その後、被験者７８２からの意見について第２パターン７５２においてアンドロイド７８０が実験者７８４と対話７９２して被験者７８２の代弁を求める。さらに対話を進め、第ｎ－１パターン７５４においてはアンドロイド７８０が実験者７８４と対話７９４し、続く第ｎパターン７５６においてアンドロイド７８０が被験者７８２と対話７９６して第ｎ－１パターン７５４における実験者７８４の意見の代弁を求めるようにした。
【0116】
一方、コントロール条件７４２の第１パターン７６０は実施形態条件７４０の第１パターン７５０と同じとし、第ｎ－１パターン７６４は実施形態条件７４０の第ｎ－１パターン７５４と同じとした。ただしコントロール条件７４２の第２パターン７６２においては、第１パターン７６０における被験者７８２の意見に関してアンドロイド７８０が被験者７８２とさらに対話８００してその説明を求めるようにした。またコントロール条件７４２の第ｎパターン７６６においては、アンドロイド７８０が実験者７８４とさらに対話８０２してその説明を求めるようにした。
【0117】
なお、被験者と実験者との選好が好き／好き、好き／嫌い、嫌い／嫌いのいずれかに応じて、深掘り質問を行う場面をステップ３０８及び３１２、ステップ３０８及び３１２、並びにステップ３１０及び３１２に設定した。ステップ３０８、３１０及び３１２においける、深掘り質問が可能な質問は以下のとおりである。
【0118】
ステップ３０８：どうして飲み会好き？
ステップ３１０：飲み会で嫌だったことは何？
ステップ３１２：どうして飲み会で仲良くなった？
５－１ 実験手順
この実験においては、アンドロイド１体を用い、人間２人（被験者１名と実験者１名）の計３名により３者対話を行う。この実験には、２２名の被験者（男性７名、女性１５名、平均年齢３９．６歳、標準偏差１２．３）が参加した。被験者間計画とし、実施形態条件に１１名、コントロール条件に１１名を割り当てた。話題は上において説明したような「飲み会」に対する選好と設定した。被験者には、もう一方の人間の対話参加者も、同じように採用された被験者であることを伝えた。これは、片方が実験者であることを知った状態で被験者が対話すると、実際の状況と異なる思考により対話する可能性があり、これを排除するためである。実験が終了した後、もう一方の対話参加者は、実際には実験者であることを開示した。被験者はまず、アンドロイドと実験者との対話を行う。その後、被験者は質問紙に記載された各質問に回答する。
ステップ３１０：飲み会で嫌だったことは何？
ステップ３１２：どうして飲み会で仲良くなった？
５－１ 実験手順
この実験においては、アンドロイド１体を用い、人間２人（被験者１名と実験者１名）の計３名により３者対話を行う。この実験には、２２名の被験者（男性７名、女性１５名、平均年齢３９．６歳、標準偏差１２．３）が参加した。被験者間計画とし、実施形態条件に１１名、コントロール条件に１１名を割り当てた。話題は上において説明したような「飲み会」に対する選好と設定した。被験者には、もう一方の人間の対話参加者も、同じように採用された被験者であることを伝えた。これは、片方が実験者であることを知った状態で被験者が対話すると、実際の状況と異なる思考により対話する可能性があり、これを排除するためである。実験が終了した後、もう一方の対話参加者は、実際には実験者であることを開示した。被験者はまず、アンドロイドと実験者との対話を行う。その後、被験者は質問紙に記載された各質問に回答する。
【0119】
被験者への教示として、実験実施者は、「これから他の被験者の方といっしょにロボットと会話をしていただきます。ロボットから好き嫌いについて質問されることがあるかもしれませんが、できるだけ好きか嫌いかのどちらかでお答えください。どちらでもない、興味がない場合でも強いて言えばどちらかでお答えください。座ったらロボットから話しかけて来ます。」という文章を読み上げた。
【0120】
実験者の話し方に関する注意事項として、名前は「山田」とし、好き嫌いについてはどちらを答えてもかまわないこととした。また、好き嫌いのどちらにしても、実験者は曖昧ではなくはっきりとした意見を持って答えることとした。アンドロイドにもうひとりの意見について聞かれた際は、何でもよいので自分の考え・意見を言うこと、よくわからないといった回答はしないようにした。また、アンドロイドからの質問であってＹＥＳ／ＮＯで答えられるような質問には、実験者はＹＥＳと答えるようにした。
【0121】
５－２ 評価項目（質問紙）
実験においては、対話に関する印象を評価する質問紙と、アンドロイド自体の印象を評価する質問紙の２種類を用意した。ただしここでは対話に関する印象を評価する質問についてのみ紹介する。
実験においては、対話に関する印象を評価する質問紙と、アンドロイド自体の印象を評価する質問紙の２種類を用意した。ただしここでは対話に関する印象を評価する質問についてのみ紹介する。
【0122】
対話に関する評価を行うために、下記１２個の質問項目を用意した。１～４はアンドロイドとの対話に関する評価、５～９はもう一人の人間に関する評価、１０～１２は３者による対話全体に関する評価である。
質問１．アンドロイドは自分の言ったことを理解していると感じましたか？（アンドロイドの理解力）
質問２．アンドロイドと盛り上がったと感じましたか？ （アンドロイドとの対話満足度）
質問３．アンドロイドと仲良くなったと感じましたか？ （アンドロイドとの関係構築）
質問４．アンドロイドとまた話したいと感じましたか？ （アンドロイドとの対話意欲）
質問５．もうひとりの被験者は自分の言ったことを理解していると感じましたか？（人間の理解力）
質問６．もうひとりの被験者と盛り上がったと感じましたか？ （人間との対話満足度）
質問７．もうひとりの被験者と仲良くなったと感じましたか？ （人間との関係構築）
質問８．もうひとりの被験者と会話したと感じましたか？ （人間と対話した感覚）
質問９．もうひとりの被験者とまた話したいと感じましたか？ （人間との対話意欲）
質問１０．三人で盛り上がったと感じましたか？ （３者での対話満足度）
質問１１．三人で会話したと感じましたか？ （３者で対話した感覚）
質問１２．三人でまた話したいと感じましたか？（３者での対話意欲）
これら質問に対して、「１（まったくそう思わない）～７（とてもそう思う）」の７段階により被験者に選択させた。
質問１．アンドロイドは自分の言ったことを理解していると感じましたか？（アンドロイドの理解力）
質問２．アンドロイドと盛り上がったと感じましたか？ （アンドロイドとの対話満足度）
質問３．アンドロイドと仲良くなったと感じましたか？ （アンドロイドとの関係構築）
質問４．アンドロイドとまた話したいと感じましたか？ （アンドロイドとの対話意欲）
質問５．もうひとりの被験者は自分の言ったことを理解していると感じましたか？（人間の理解力）
質問６．もうひとりの被験者と盛り上がったと感じましたか？ （人間との対話満足度）
質問７．もうひとりの被験者と仲良くなったと感じましたか？ （人間との関係構築）
質問８．もうひとりの被験者と会話したと感じましたか？ （人間と対話した感覚）
質問９．もうひとりの被験者とまた話したいと感じましたか？ （人間との対話意欲）
質問１０．三人で盛り上がったと感じましたか？ （３者での対話満足度）
質問１１．三人で会話したと感じましたか？ （３者で対話した感覚）
質問１２．三人でまた話したいと感じましたか？（３者での対話意欲）
これら質問に対して、「１（まったくそう思わない）～７（とてもそう思う）」の７段階により被験者に選択させた。
【0123】
５－３ 結果
この実験において得られた結果は以下のとおりである。
この実験において得られた結果は以下のとおりである。
【0124】
実験者の発言について被験者にその代弁をするよう尋ねた際、代弁できないと述べた被験者はいなかった。被験者と実験者の選好の分布について、「好き・好き」（８）、「好き・嫌い」（６）、「嫌い・好き」（３）、「嫌い・嫌い」（５）の４パターンが考えられる。ただし、（）内の数字は実験における分布を示す。この実験においては、被験者の選好によって必ずしも選好のパターンをコントロールできない（例えば、「好き・好き」を想定しても被験者が「嫌い」と言った場合は、想定通りにならない）。しかし、これらのバランスが可能な限り取れるように実験者の選好をコントロールした。
【0125】
対話に関する印象評価の結果を図１７に示す。図１７においてハッチングをしたグラフが実施形態条件の結果を示し、白抜きのグラフがコントロール条件の結果を示す。図１７において各グラフ対の上に示す「＊」は両者の間にｐ＜０．０５で有意差があることを示し、「†」はｐ＜０．１で有意差があることを示す。各グラフのエラーバーは標準誤差を示す。
【0126】
ｔ検定を各質問項目に対して行った結果、アンドロイドとの対話満足度（ｐ＝０．０１９）、アンドロイドとの対話意欲（ｐ＝０．０２２）、人間との対話満足度（ｐ＝０．０３１）、人間との関係構築（ｐ＝０．０４３）、人間との対話意欲（ｐ＝０．０３３）、３者での対話満足度（ｐ＝０．００６）、３者での対話した感覚（ｐ＝０．０４９）、３者での対話意欲（ｐ＝０．００７）において有意差が確認された。一方、ｐ＜０．０５では、アンドロイドの理解能力（ｐ＝０．０７８）、人間の理解能力（ｐ＝０．０６６）、人間と対話した感覚（ｐ＝０．０５４）に関し、有意差は確認されなかった。
【0127】
実験の結果、まず、アンドロイドとの対話に対する印象評価について、実施形態による手法はアンドロイドとの対話を盛り上げ（対話満足度）、また話したい（対話意欲）という印象を有意に向上させることができた。また、もう一人の被験者（実際は実験者）との対話に対する印象評価について、実施形態による手法はもう一人の被験者（実験者）との対話を盛り上げ（対話満足度）、仲良くなった（関係構築）という印象を有意に向上させることができた。そして、３人での対話に対する印象について、実施形態による手法は対話の盛り上がり（対話満足度）、会話した感覚、また話したい（対話意欲）という印象を向上させることができた。
【0128】
第６ コンピュータのハードウェア構成
図１８は、例えば図７に示す動作制御ＰＣ３６２として動作するコンピュータシステムの外観図である。図１９は、図１８に示すコンピュータシステムのハードウェアブロック図である。図７に示す音声認識ＰＣ３６８、音声合成ＰＣ３７２、及び人位置認識ＰＣ３７６についても動作制御ＰＣ３６２とほぼ同様の構成のコンピュータシステムにより実現できる。ここでは動作制御ＰＣ３６２の構成についてのみ述べることとし、他のＰＣの構成の詳細については述べない。
図１８は、例えば図７に示す動作制御ＰＣ３６２として動作するコンピュータシステムの外観図である。図１９は、図１８に示すコンピュータシステムのハードウェアブロック図である。図７に示す音声認識ＰＣ３６８、音声合成ＰＣ３７２、及び人位置認識ＰＣ３７６についても動作制御ＰＣ３６２とほぼ同様の構成のコンピュータシステムにより実現できる。ここでは動作制御ＰＣ３６２の構成についてのみ述べることとし、他のＰＣの構成の詳細については述べない。
【0129】
図１８を参照して、このコンピュータシステム９５０は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１００２を有するコンピュータ９７０と、いずれもコンピュータ９７０に接続された、ユーザと対話するためのキーボード９７４、マウス９７６、及びモニタ９７２とを含む。もちろんこれらはユーザ対話が必要となったときのための構成の一例であって、ユーザ対話に利用できる一般のハードウェア及びソフトウェア（例えばタッチパネル、音声入力、ポインティングデバイス一般）であればどのようなものも利用できる。
【0130】
図１９を参照して、コンピュータ９７０は、ＤＶＤドライブ１００２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９０と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９２と、ＣＰＵ９９０、ＧＰＵ９９２、ＤＶＤドライブ１００２に接続されたバス１０１０と、バス１０１０に接続され、コンピュータ９７０のブートアッププログラムなどを記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）９９６と、バス１０１０に接続され、プログラムを構成する命令、システムプログラム、及び作業データなどを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９９８と、バス１０１０に接続された不揮発性メモリであるＳＳＤ１０００とを含む。ＳＳＤ１０００は、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラム、並びにＣＰＵ９９０及びＧＰＵ９９２が実行するプログラムが使用するデータなどを記憶するためのものである。コンピュータ９７０はさらに、他端末との通信を可能とするネットワーク９８６（図７に示すネットワーク３６４）への接続を提供するネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１００８と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ９８４が着脱可能で、ＵＳＢメモリ９８４とコンピュータ９７０内の各部との通信を提供するＵＳＢポート１００６とを含む。
【0131】
コンピュータ９７０はさらに、マイクロフォン９８２及びスピーカ９８０とバス１０１０とに接続され、ＣＰＵ９９０により生成されＲＡＭ９９８又はＳＳＤ１０００に保存された音声信号、映像信号及びテキストデータをＣＰＵ９９０の指示に従って読み出し、アナログ変換及び増幅処理をしてスピーカ９８０を駆動したり、マイクロフォン９８２からのアナログの音声信号をデジタル化し、ＲＡＭ９９８又はＳＳＤ１０００の、ＣＰＵ９９０により指定される任意のアドレスに保存したりする機能を持つ音声Ｉ／Ｆ１００４を含む。
【0132】
上記実施形態においては、動作制御ＰＣ３６２、音声認識ＰＣ３６８、音声合成ＰＣ３７２、及び人位置認識ＰＣ３７６などの機能を実現するプログラムなどは、いずれも例えば図１９に示すＳＳＤ１０００、ＲＡＭ９９８、ＤＶＤ９７８又はＵＳＢメモリ９８４、若しくはネットワークＩ／Ｆ１００８及びネットワーク９８６を介して接続された図示しない外部装置の記憶媒体などに格納される。典型的には、これらのデータ及びパラメータなどは、例えば外部からＳＳＤ１０００に書込まれコンピュータ９７０の実行時にはＲＡＭ９９８にロードされる。
【0133】
このコンピュータシステムを、図７に示す動作制御ＰＣ３６２、音声認識ＰＣ３６８、音声合成ＰＣ３７２、及び人位置認識ＰＣ３７６並びにその各構成要素の機能を実現するよう動作させるためのコンピュータプログラムは、ＤＶＤドライブ１００２に装着されるＤＶＤ９７８に記憶され、ＤＶＤドライブ１００２からＳＳＤ１０００に転送される。又は、これらのプログラムはＵＳＢメモリ９８４に記憶され、ＵＳＢメモリ９８４をＵＳＢポート１００６に装着し、プログラムをＳＳＤ１０００に転送する。又は、このプログラムはネットワーク９８６を通じてコンピュータ９７０に送信されＳＳＤ１０００に記憶されてもよい。
【0134】
プログラムは実行のときにＲＡＭ９９８にロードされる。もちろん、キーボード９７４、モニタ９７２及びマウス９７６を用いてソースプログラムを入力し、コンパイルした後のオブジェクトプログラムをＳＳＤ１０００に格納してもよい。上記実施形態のようにスクリプト言語の場合には、キーボード９７４などを用いて入力したスクリプトをＳＳＤ１０００に格納してもよい。仮想マシン上において動作するプログラムの場合には、仮想マシンとして機能するプログラムを予めコンピュータ９７０にインストールしておく必要がある。音声認識及び音声合成などにはニューラルネットワークが使用される。訓練済のニューラルネットワークを使用してもよいし、会話ロボットシステム３５０において訓練を行ってもよい。
【0135】
ＣＰＵ９９０は、その内部のプログラムカウンタと呼ばれるレジスタ（図示せず）により示されるアドレスに従ってＲＡＭ９９８からプログラムを読み出して命令を解釈し、命令の実行に必要なデータを命令により指定されるアドレスに従ってＲＡＭ９９８、ＳＳＤ１０００又はそれ以外の機器から読み出して命令により指定される処理を実行する。ＣＰＵ９９０は、実行結果のデータを、ＲＡＭ９９８、ＳＳＤ１０００、ＣＰＵ９９０内のレジスタなど、プログラムにより指定されるアドレスに格納する。アドレスによってはロボットのアクチュエータへの指令、音声信号などとしてコンピュータから出力される。このとき、プログラムカウンタの値もプログラムによって更新される。コンピュータプログラムは、ＤＶＤ９７８から、ＵＳＢメモリ９８４から、又はネットワーク９８６を介して、ＲＡＭ９９８に直接にロードしてもよい。なお、ＣＰＵ９９０が実行するプログラムの中で、一部のタスク（主として数値計算）については、プログラムに含まれる命令により、又はＣＰＵ９９０による命令実行時の解析結果に従って、ＧＰＵ９９２にディスパッチされる。
【0136】
コンピュータ９７０により上記した実施形態に係る各部の機能を実現するプログラムは、それら機能を実現するようコンピュータ９７０を動作させるように記述され配列された複数の命令を含む。この命令を実行するのに必要な基本的機能のいくつかはコンピュータ９７０上において動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、コンピュータ９７０にインストールされる各種ツールキットのモジュール又はプログラムの実行環境により提供される場合もある。したがって、このプログラムはこの実施形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方によって適切な機能又はモジュールなどを静的にリンクすることにより、又は動的に呼出すことにより、上記した各装置及びその構成要素としての動作を実行する命令のみを含んでいればよい。そのためのコンピュータ９７０の動作方法は周知なので、ここでは繰り返さない。
【0137】
なお、ＧＰＵ９９２は並列処理を行うことが可能であり、機械学習に伴う多量の計算を同時並列的又はパイプライン的に実行できる。例えばプログラムのコンパイル時にプログラム中に発見された並列的計算要素、又はプログラムの実行時に発見された並列的計算要素は、随時、ＣＰＵ９９０からＧＰＵ９９２にディスパッチされ、実行され、その結果が直接に、又はＲＡＭ９９８の所定アドレスを介してＣＰＵ９９０に返され、プログラム中の所定の変数に代入される。
【0138】
第７ 変形例
上記実施形態においては、会話ロボットシステム３５０が複数のＰＣを含み、互いにネットワークを介して通信している。しかしこの発明はそのような実施形態には限定されない。例えば十分に高い性能を持つＰＣであれば１台のみにより会話ロボットシステム３５０を実現することも可能である。また小型のコンピュータなら、必要な１又は複数のコンピュータを全てロボットの本体に組み込むこともできる。上記実施形態では、３者対話により初対面の人間の関係構築を試みている。しかしこの発明はそのような実施形態には限定されない。４者以上の場合であっても、ロボットを中心とする３者対話を核として組み合わせれば、３者対話と同様の効果を得ることができると考えられる。
上記実施形態においては、会話ロボットシステム３５０が複数のＰＣを含み、互いにネットワークを介して通信している。しかしこの発明はそのような実施形態には限定されない。例えば十分に高い性能を持つＰＣであれば１台のみにより会話ロボットシステム３５０を実現することも可能である。また小型のコンピュータなら、必要な１又は複数のコンピュータを全てロボットの本体に組み込むこともできる。上記実施形態では、３者対話により初対面の人間の関係構築を試みている。しかしこの発明はそのような実施形態には限定されない。４者以上の場合であっても、ロボットを中心とする３者対話を核として組み合わせれば、３者対話と同様の効果を得ることができると考えられる。
【0139】
また、上記実験ではロボットとしてアンドロイドを用いた。アンドロイドは人間にそっくりであり、したがって３者対話に適したものと考えられる。しかし、ロボットはアンドロイドに限定されるわけではない。例えば小型で人型のエージェントロボットを使用してもよい。またロボットとしては人型に限らず、動物の形をしたものでもよい。さらに、広い意味で、映像として実現されモニタに表示される人物、アンドロイド、エージェント等もロボットと同様のものと考えることができる。
【0140】
さらに、上記実施形態及び実験では、ロボットは聞き返しを１度だけ行っている。しかしこの発明はそのような実施形態には限定されない。聞き返しを２度以上行ってもよい。
【0141】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【0142】
Ｒ、１１０、３６０ ロボット
３５０ 会話ロボットシステム
３６２ 動作制御ＰＣ
３６４、９８６ ネットワーク
３６６、９８２ マイクロフォン
３６８ 音声認識ＰＣ
３７０、９８０ スピーカ
３７２ 音声合成ＰＣ
３７４ 人位置センサ
３７６ 人位置認識ＰＣ
４００ 人位置認識
４０２ 音声認識
４０４ 対話制御
４０６ 音声合成
４０８ 動作制御
４５０ シナリオ
５０２ 動作制御モジュール
５０４ 音声合成モジュール
５１０ 記憶装置
５１２ 対話シナリオ制御
５１４ 感情状態管理
５１６ 音声合成パラメータ制御
３５０ 会話ロボットシステム
３６２ 動作制御ＰＣ
３６４、９８６ ネットワーク
３６６、９８２ マイクロフォン
３６８ 音声認識ＰＣ
３７０、９８０ スピーカ
３７２ 音声合成ＰＣ
３７４ 人位置センサ
３７６ 人位置認識ＰＣ
４００ 人位置認識
４０２ 音声認識
４０４ 対話制御
４０６ 音声合成
４０８ 動作制御
４５０ シナリオ
５０２ 動作制御モジュール
５０４ 音声合成モジュール
５１０ 記憶装置
５１２ 対話シナリオ制御
５１４ 感情状態管理
５１６ 音声合成パラメータ制御
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】