特開 2024-138697 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138697

(43)【公開日】2024-10-09

(54)【発明の名称】情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法

(51)【国際特許分類】

   G06F 3/16 20060101AFI20241002BHJP

   G10L 15/10 20060101ALI20241002BHJP

   G06F 3/01 20060101ALI20241002BHJP

   G05D 1/00 20240101ALI20241002BHJP

   G06T 13/20 20110101ALI20241002BHJP

【ＦＩ】

G06F3/16 650

G10L15/10 500N

G06F3/16 690

G06F3/01 510

G05D1/00 B

G06T13/20 500

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023049306

(22)【出願日】2023-03-27

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「企業連携実証実験基盤の開発・運営と企業コンソーシアム活動支援」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。／ 令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「利用者モニタリングと経験管理の研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。

(71)【出願人】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】西村 祥吾

(72)【発明者】

【氏名】宮下 敬宏

(72)【発明者】

【氏名】内海 章

(72)【発明者】

【氏名】太田 陽

【テーマコード（参考）】

5B050

5E555

5H301

【Ｆターム（参考）】

5B050BA08

5B050BA12

5B050CA07

5B050EA09

5B050EA24

5B050EA27

5B050FA02

5B050FA05

5B050FA10

5E555AA61

5E555AA72

5E555BA87

5E555BA88

5E555BB08

5E555BD07

5E555BE15

5E555CA42

5E555CA47

5E555CB64

5E555CB67

5E555DA01

5E555DA23

5E555EA05

5E555EA22

5E555EA23

5E555EA28

5E555FA00

5H301AA01

5H301AA10

5H301BB14

5H301CC03

5H301CC06

5H301DD06

5H301DD17

5H301GG08

5H301GG09

5H301GG10

5H301GG17

5H301HH10

(57)【要約】

【課題】 対話エージェントの好みに合わせた応対が可能である。
【解決手段】 情報処理システム１０では、ネットワーク１４によって、サーバ１２、操作者端末１６およびロボット１８が連係する。ロボットは、表示装置３０に操作者のアバター画像２８を表示し、操作者であるサービスユーザに所定のサービスを提供する。このとき、操作者は、ロボットを通して対話エージェントと対話する。対話エージェントについての顧客情報は、この対話エージェントのアバターに関する嗜好情報を少なくとも含み、操作者端末に表示される。操作者は、対話エージェントの顧客情報を見て応対し、対話エージェントの反応に応じて顧客情報に含まれる個別情報の重要度を更新する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

ロボットまたはコンピュータグラフィックスのアバター、
前記アバターの動作および発話を制御する操作者が使用する操作者端末、および
前記アバターおよび前記操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムであって、
前記情報処理装置は、
前記アバターに対面し、前記操作者と対話する対話相手についての情報であって少なくとも前記アバターに関する嗜好情報を含む対話相手情報をデータベースから取得する対話相手情報取得手段、
前記対話相手情報取得手段によって取得された対話相手情報を前記操作者端末に送信する第１送信手段、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、
前記第１受信手段によって受信された前記操作者発話内容に基づいて前記アバターに発話させるアバター音声を生成するアバター音声生成手段、
前記制御信号および前記アバター音声の少なくとも一方を前記アバターに送信する第２送信手段、
前記対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信手段、
前記第２受信手段によって受信された前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第３送信手段、
前記第２受信手段によって受信された前記対話相手の映像および音声の少なくとも一方に基づいて前記アバター音声に対する前記対話相手の反応を検出する反応検出手段、
最新の対話履歴から前記対話相手情報に含まれる個別情報を抽出する個別情報抽出手段、および
前記個別情報抽出手段によって抽出された個別情報および前記アバターに設定された個別情報についての重要度を、前記反応検出手段によって検出された前記対話相手の反応に基づいて更新する更新手段を備え、
前記操作者端末は、
前記第１送信手段によって送信された前記対話相手情報を受信する第３受信手段、
前記第３受信手段によって受信された前記対話相手情報を表示する対話相手情報表示手段、
前記操作者によって入力された前記アバターの動作を制御する前記制御信号を検して前記情報処理装置に送信する第４送信手段、
前記操作者によって入力された前記アバターの発話を制御する発話内容を検出して前記情報処理装置に送信する第５送信手段、
前記第２送信手段によって送信された前記対話相手の映像および音声の少なくとも一方を受信する第４受信手段、
前記第４受信手段によって受信された前記対話相手の映像を表示する対話相手映像表示手段、および
前記第４受信手段によって受信された前記対話相手の音声を出力する出力手段を備え、
前記アバターは、
前記第２送信手段によって送信された前記制御信号および前記アバター音声の少なくとも一方を受信する第５受信手段、
前記第５受信手段によって受信された前記制御信号に従う動作を実行する動作実行手段、
前記第５受信手段によって受信された前記アバター音声を出力するアバター音声出力手段、および
前記対話相手の映像および音声の少なくとも一方を検出して前記情報処理装置に送信する第６送信手段を備える、情報処理システム。

【請求項2】

前記対話者情報は少なくとも前記対話相手の前記アバターに関する嗜好についての個別情報を含む、請求項１記載の情報処理システム。

【請求項3】

前記反応検出手段は、前記対話相手の映像および音声の少なくとも一方に基づいて前記アバター音声に対する前記対話相手の感情を検出し、
前記更新手段は、前記対話相手の感情に基づいて、前記個別情報抽出手段によって抽出された個別情報についての重要度を更新する、請求項１または２記載の情報処理システム。

【請求項4】

前記更新手段は、前記対話相手の感情が喜びである場合に、前記個別情報抽出手段によって抽出された個別情報についての重要度を上昇させ、前記対話相手の感情が悲しみまたは怒りである場合に、前記個別情報についての重要度を下降させる、または、更新しない、請求項３記載の情報処理システム。

【請求項5】

ロボットまたはコンピュータグラフィックスのアバター、および前記アバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置であって、
前記アバターに対面し、前記操作者と対話する対話相手についての情報であって少なくとも前記アバターに関する嗜好情報を含む対話相手情報をデータベースから取得する対話相手情報取得手段、
前記対話相手情報取得手段によって取得された対話相手情報を前記操作者端末に送信する第１送信手段、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、
前記第１受信手段によって受信された前記操作者発話内容に基づいて前記アバターに発話させるアバター音声を生成するアバター音声生成手段、
前記制御信号および前記アバター音声の少なくとも一方を前記アバターに送信する第２送信手段、
前記対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信手段、
前記第２受信手段によって受信された前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第３送信手段、
前記第２受信手段によって受信された前記対話相手の映像および音声の少なくとも一方に基づいて前記アバター音声に対する前記対話相手の反応を検出する反応検出手段、
最新の対話履歴から前記対話相手情報に含まれる個別情報を抽出する個別情報抽出手段、および
前記個別情報抽出手段によって抽出された個別情報および前記アバターに設定された個別情報についての重要度を、前記反応検出手段によって検出した前記対話相手の反応に基づいて更新する更新手段を備える、情報処理装置。

【請求項6】

ロボットまたはコンピュータグラフィックスのアバター、および前記アバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置の情報処理プログラムであって、
前記情報処理装置のプロセッサに、
前記アバターに対面し、前記操作者と対話する対話相手についての情報であって少なくとも前記アバターに関する嗜好情報を含む対話相手情報をデータベースから取得する対話相手情報取得ステップ、
前記対話相手情報取得ステップにおいて取得した対話相手情報を前記操作者端末に送信する第１送信ステップ、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信ステップ、
前記第１受信ステップにおいて受信した前記操作者発話内容に基づいて前記アバターに発話させるアバター音声を生成するアバター音声生成ステップ、
前記制御信号および前記アバター音声の少なくとも一方を前記アバターに送信する第２送信ステップ、
前記対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信ステップ、
前記第２受信ステップにおいて受信した前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第３送信ステップ、
前記第２受信ステップにおいて受信した前記対話相手の映像および音声の少なくとも一方に基づいて前記アバター音声に対する前記対話相手の反応を検出する反応検出ステップ、
最新の対話履歴から前記対話相手情報に含まれる個別情報を抽出する個別情報抽出ステップ、および
前記個別情報抽出ステップにおいて抽出した個別情報および前記アバターに設定された個別情報についての重要度を、前記反応検出ステップにおいて検出した前記対話相手の反応に基づいて更新する更新ステップを実行させる、情報処理プログラム。

【請求項7】

ロボットまたはコンピュータグラフィックスのアバター、
前記アバターの動作および発話を制御する操作者が使用する操作者端末、および
前記アバターおよび前記操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムの情報処理方法であって、
前記情報処理装置は、
前記アバターに対面し、前記操作者と対話する対話相手についての情報であって少なくとも前記アバターに関する嗜好情報を含む対話相手情報をデータベースから取得し、
取得した対話相手情報を前記操作者端末に送信し、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信し、
受信した前記操作者発話内容に基づいて前記アバターに発話させるアバター音声を生成し、
前記制御信号および前記アバター音声の少なくとも一方を前記アバターに送信し、
前記対話相手の映像および音声の少なくとも一方を前記アバターから受信し、
受信した前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信し、
受信した前記対話相手の映像および音声の少なくとも一方に基づいて前記アバター音声に対する前記対話相手の反応を検出し、
最新の対話履歴から前記対話相手情報に含まれる個別情報を抽出し、
抽出した個別情報および前記アバターに設定された個別情報についての重要度を、検出した前記対話相手の反応に基づいて更新し、
前記操作者端末は、
前記情報処理端末から前記対話相手情報を受信し、
受信した前記対話相手情報を表示し、
前記操作者によって入力された前記アバターの動作を制御する前記制御信号を検出して前記情報処理装置に送信し、
前記操作者によって入力された前記アバターの発話を制御する発話内容を検出して前記情報処理装置に送信し、
前記情報処理装置から前記対話相手の映像および音声の少なくとも一方を受信し、
受信した前記対話相手の映像を表示し、
受信した前記対話相手の音声を出力し、
前記アバターは、
前記情報処理装置から前記制御信号および前記アバター音声の少なくとも一方を受信し、
受信した前記制御信号に従う動作を実行し、
受信した前記アバター音声を出力し、
前記対話相手の映像および音声の少なくとも一方を検出して前記情報処理装置に送信する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法に関し、特にたとえば、操作者のアバターとして機能するロボットを用いた所定のサービスを提供する、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法に関する。

【背景技術】

【0002】

この種の従来の情報処理システムの一例が特許文献１に開示されている。この特許文献１に開示された対話支援システムは、ユーザと対面するロボットと、対話支援情報を管理するデータベースサーバと、オペレータによって操作される端末装置とを備える。オペレータは端末装置を操作し、ユーザはロボットと対面する。また、オペレータとユーザとの間で対話を行うにあたって、データベースサーバによってデータベースから抽出された対話支援情報が、端末装置を通してオペレータに提示される。オペレータが対話支援情報を参照して発したメッセージは、ロボットを通してユーザに伝えられる。また、ユーザがロボットに向けて発したメッセージは、端末装置を通してオペレータに伝えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４７９８５７７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の特許文献１では、オペレータは対話支援情報を参照し、ユーザはロボットと向き合うため、オペレータ主導の活発な対話が実現されるが、ロボットの見た目やロボットを用いたオペレータの応対の仕方がユーザの好みに合っているかどうかは不明である。このため、対話支援情報の内容および提示の仕方については改善の余地がある。

【0005】

それゆえに、この発明の主たる目的は、新規な、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法を提供することである。

【0006】

また、この発明の他の目的は、対話エージェントの好みに合わせた応対が可能である、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法を提供することである。

【課題を解決するための手段】

【0007】

第１の発明は、ロボットまたはコンピュータグラフィックスのアバター、アバターの動作および発話を制御する操作者が使用する操作者端末、およびアバターおよび操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムであって、情報処理装置は、アバターに対面し、操作者と対話する対話相手についての情報であって少なくともアバターに関する嗜好情報を含む対話相手情報をデータベースから取得する対話相手情報取得手段、対話相手情報取得手段によって取得された対話相手情報を操作者端末に送信する第１送信手段、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、第１受信手段によって受信された操作者発話内容に基づいてアバターに発話させるアバター音声を生成するアバター音声生成手段、制御信号およびアバター音声の少なくとも一方をアバターに送信する第２送信手段、対話相手の映像および音声の少なくとも一方をアバターから受信する第２受信手段、第２受信手段によって受信された対話相手の映像および音声の少なくとも一方を操作者端末に送信する第３送信手段、第２受信手段によって受信された対話相手の映像および音声の少なくとも一方に基づいてアバター音声に対する対話相手の反応を検出する反応検出手段、最新の対話履歴から対話相手情報に含まれる個別情報を抽出する個別情報抽出手段、および個別情報抽出手段によって抽出された個別情報およびアバターに設定された個別情報についての重要度を、反応検出手段によって検出された対話相手の反応に基づいて更新する更新手段を備え、操作者端末は、第１送信手段によって送信された対話相手情報を受信する第３受信手段、第３受信手段によって受信された対話相手情報を表示する対話相手情報表示手段、操作者によって入力されたアバターの動作を制御する制御信号を検して情報処理装置に送信する第４送信手段、操作者によって入力されたアバターの発話を制御する発話内容を検出して情報処理装置に送信する第５送信手段、第２送信手段によって送信された対話相手の映像および音声の少なくとも一方を受信する第４受信手段、第４受信手段によって受信された対話相手の映像を表示する対話相手映像表示手段、および第４受信手段によって受信された対話相手の音声を出力する出力手段を備え、アバターは、第２送信手段によって送信された制御信号およびアバター音声の少なくとも一方を受信する第５受信手段、第５受信手段によって受信された制御信号に従う動作を実行する動作実行手段、第５受信手段によって受信されたアバター音声を出力するアバター音声出力手段、および対話相手の映像および音声の少なくとも一方を検出して情報処理装置に送信する第６送信手段を備える、情報処理システムである。

【0008】

第２の発明は、第１の発明に従属し、対話者情報は少なくとも対話相手のアバターに関する嗜好についての個別情報を含む。

【0009】

第３の発明は、第１または第２の発明に従属し、反応検出手段は、対話相手の映像および音声の少なくとも一方に基づいてアバター音声に対する対話相手の感情を検出し、更新手段は、対話相手の感情に基づいて、個別情報抽出手段によって抽出された個別情報についての重要度を更新する。

【0010】

第４の発明は、第３の発明に従属し、更新手段は、対話相手の感情が喜びである場合に、個別情報抽出手段によって抽出された個別情報についての重要度を上昇させ、対話相手の感情が悲しみまたは怒りである場合に、個別情報についての重要度を下降させる、または、更新しない。

【0011】

第５の発明は、ロボットまたはコンピュータグラフィックスのアバター、およびアバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置であって、アバターに対面し、操作者と対話する対話相手についての情報であって少なくともアバターに関する嗜好情報を含む対話相手情報をデータベースから取得する対話相手情報取得手段、対話相手情報取得手段によって取得された対話相手情報を操作者端末に送信する第１送信手段、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、第１受信手段によって受信された操作者発話内容に基づいてアバターに発話させるアバター音声を生成するアバター音声生成手段、制御信号およびアバター音声の少なくとも一方をアバターに送信する第２送信手段、対話相手の映像および音声の少なくとも一方をアバターから受信する第２受信手段、第２受信手段によって受信された対話相手の映像および音声の少なくとも一方を操作者端末に送信する第３送信手段、第２受信手段によって受信された対話相手の映像および音声の少なくとも一方に基づいてアバター音声に対する対話相手の反応を検出する反応検出手段、最新の対話履歴から対話相手情報に含まれる個別情報を抽出する個別情報抽出手段、および個別情報抽出手段によって抽出された個別情報およびアバターに設定された個別情報についての重要度を、反応検出手段によって検出した対話相手の反応に基づいて更新する更新手段を備える、情報処理装置である。

【0012】

第６の発明は、ロボットまたはコンピュータグラフィックスのアバター、およびアバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置の情報処理プログラムであって、情報処理装置のプロセッサに、アバターに対面し、操作者と対話する対話相手についての情報であって少なくともアバターに関する嗜好情報を含む対話相手情報をデータベースから取得する対話相手情報取得ステップ、対話相手情報取得ステップにおいて取得した対話相手情報を操作者端末に送信する第１送信ステップ、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信ステップ、第１受信ステップにおいて受信した操作者発話内容に基づいてアバターに発話させるアバター音声を生成するアバター音声生成ステップ、制御信号およびアバター音声の少なくとも一方をアバターに送信する第２送信ステップ、対話相手の映像および音声の少なくとも一方をアバターから受信する第２受信ステップ、第２受信ステップにおいて受信した対話相手の映像および音声の少なくとも一方を操作者端末に送信する第３送信ステップ、第２受信ステップにおいて受信した対話相手の映像および音声の少なくとも一方に基づいてアバター音声に対する対話相手の反応を検出する反応検出ステップ、最新の対話履歴から対話相手情報に含まれる個別情報を抽出する個別情報抽出ステップ、および個別情報抽出ステップにおいて抽出した個別情報およびアバターに設定された個別情報についての重要度を、反応検出ステップにおいて検出した対話相手の反応に基づいて更新する更新ステップを実行させる、情報処理プログラムである。

【0013】

第７の発明は、ロボットまたはコンピュータグラフィックスのアバター、アバターの動作および発話を制御する操作者が使用する操作者端末、およびアバターおよび操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムの情報処理方法であって、情報処理装置は、アバターに対面し、操作者と対話する対話相手についての情報であって少なくともアバターに関する嗜好情報を含む対話相手情報をデータベースから取得し、取得した対話相手情報を操作者端末に送信し、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信し、受信した操作者発話内容に基づいてアバターに発話させるアバター音声を生成し、制御信号およびアバター音声の少なくとも一方をアバターに送信し、対話相手の映像および音声の少なくとも一方をアバターから受信し、受信した対話相手の映像および音声の少なくとも一方を操作者端末に送信し、受信した対話相手の映像および音声の少なくとも一方に基づいてアバター音声に対する対話相手の反応を検出し、最新の対話履歴から対話相手情報に含まれる個別情報を抽出し、抽出した個別情報およびアバターに設定された個別情報についての重要度を、検出した対話相手の反応に基づいて更新し、操作者端末は、情報処理端末から対話相手情報を受信し、受信した対話相手情報を表示し、操作者によって入力されたアバターの動作を制御する制御信号を検出して情報処理装置に送信し、操作者によって入力されたアバターの発話を制御する発話内容を検出して情報処理装置に送信し、情報処理装置から対話相手の映像および音声の少なくとも一方を受信し、受信した対話相手の映像を表示し、受信した対話相手の音声を出力し、アバターは、情報処理装置から制御信号およびアバター音声の少なくとも一方を受信し、受信した制御信号に従う動作を実行し、受信したアバター音声を出力し、対話相手の映像および音声の少なくとも一方を検出して情報処理装置に送信する、情報処理方法である。

【発明の効果】

【0014】

この発明によれば、対話エージェントの好みに合わせた応対が可能である。

【0015】

この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0016】

【図1】図１はこの発明の一実施例の情報処理システムを示す図である。

【図2】図２は図１に示すサーバの電気的な構成の一例を示すブロック図である。

【図3】図３は図１に示す操作者端末の電気的な構成の一例を示すブロック図である。

【図4】図４は図１に示すロボットの電気的な構成の一例を示すブロック図である。

【図5】図５は操作者端末に表示される制御画面の一例を示す図である。

【図6】図６は操作者端末に表示される顧客情報画面の一例を示す図である。

【図7】図７は顧客情報ＤＢに記憶される顧客情報の一例を示す図である。

【図8】図８は図２に示すサーバのＲＡＭのメモリマップの一例を示す図である。

【図9】図９は図３に示す操作者端末のＲＡＭのメモリマップの一例を示す図である。

【図10】図１０は図４に示すロボットのＲＡＭのメモリマップの一例を示す図である。

【図11】図１１は図２に示すサーバのＣＰＵの所定のサービスの実行中における情報処理の一例の第１の一部を示すフロー図である。

【図12】図１２は図２に示すサーバのＣＰＵの所定のサービスの実行中における情報処理の一例の第２の一部であって、図１１に後続するフロー図である。

【図13】図１３は図２に示すサーバのＣＰＵの所定のサービスの実行中における情報処理の一例の第３の一部であって、図１２に後続するフロー図である。

【図14】図１４は図２に示すサーバのＣＰＵの所定のサービスの実行中における情報処理の一例の第４の一部であって、図１１に後続するフロー図である。

【図15】図１５は図２に示すサーバのＣＰＵの所定のサービスの実行中における情報処理の一例の第５の一部であって、図１４に後続するフロー図である。

【図16】図１６は図２に示すサーバのＣＰＵの所定のサービスの実行中における情報処理の一例の第６の一部であって、図１５に後続するフロー図である。

【図17】図１７は図２に示すサーバのＣＰＵの所定のサービスの実行中における情報処理の一例の第７の一部であって、図１１および図１６に後続するフロー図である。

【図18】図１８は図３に示した操作者端末のＣＰＵの情報処理の一例の第１の一部を示すフロー図である。

【図19】図１９は図３に示した操作者端末のＣＰＵの情報処理の一例の第２の一部であって、図１８に後続するフロー図である。

【図20】図２０は図３に示した操作者端末のＣＰＵの情報処理の一例の第３の一部であって、図１９に後続するフロー図である。

【図21】図２１は図４に示したロボットのＣＰＵの制御処理の一例の一部を示すフロー図である。

【図22】図２２は図４に示したロボットのＣＰＵの制御処理の一例の他の一部であって、図２１に後続するフロー図である。

【発明を実施するための形態】

【0017】

図１を参照して、この実施例の情報処理システム１０はサーバ１２を含み、サーバ１２は、ネットワーク１４を介して、複数の操作者端末１６およびロボット１８に通信可能に接続される。

【0018】

複数の操作者端末１６は、それぞれ、操作者によって操作され、主として、ロボット１８を遠隔操作するために使用される。この実施例では、操作者は、サーバ１２によって提供されるアバターを用いた所定のサービスを利用する者（サービスユーザ）である。ロボット１８は、操作者のアバターとして機能する。この実施例の情報処理システム１０では、複数の操作者端末１６のうちの１台の操作者端末１６およびロボット１８がネットワーク１４を介して連係して、その１台の操作者端末１６の操作者が、ロボット１８を通して、後述する対話エージェントと対話する。ただし、ロボット１８と連係する操作者端末１６は、サーバ１２にログインして、当該ロボット１８を使用することを割り当てられた操作者端末１６である。

【0019】

所定のサービスは、所定の環境（たとえば、企業のオフィス、店舗、博物館、美術館、水族館または科学館など）に配置されるロボット１８を、遠隔に存在する操作者のアバターとして機能させ、アバターすなわちロボット１８が所定の環境内を自由に動き回って利用されるサービスである。ただし、ロボット１８は、受付サービスを行う場合には、所定の環境内の所定の場所に固定的に配置されてもよい。

【0020】

この場合、操作者は、ロボット１８を通して、オフィス内に存在する人間と対話する。また、操作者は、ロボット１８を通して、店舗、博物館、美術館、水族館または科学館などに存在する案内人である人間の説明を聞いたり、案内人である人間と対話したりする。つまり、操作者と対話する人間は、操作者の対話相手（すなわち、対話エージェント）である。

【0021】

なお、図１では、１台のロボット１８を示してあるが、実際には、複数のロボット１８が設けられる。操作者が所定のサービスを利用する場合に、サーバ１２によって、当該操作者（操作者端末１６）に対して１台のロボット１８が割り当てられる。以下、１台のロボット１８を用いて説明するが、同じ内容が他のロボット１８にも当てはまる。

【0022】

サーバ１２は、情報処理装置の一例であり、汎用のサーバを用いることができる。この実施例では、サーバ１２は、アバターを用いた所定のサービスを提供するウェブサイトを運営する。履歴データベース（以下、「履歴ＤＢ」という）１２ａおよび顧客情報データベース（以下「顧客情報ＤＢ」という）１２ｂがサーバ１２に接続されている。

【0023】

履歴ＤＢ１２ａは、操作者端末１６とロボット１８の間で、サーバ１２を介して送受信される、対話エージェントの画像データおよび音声データと、操作者の発話データおよび操作者が指示した動作コマンドの履歴を記憶する。

【0024】

顧客情報ＤＢ１２ｂは、各対話エージェントについての情報（以下、「顧客情報」という）を記憶する。この実施例では、顧客情報（「対話相手情報」に相当する）は、複数の個別情報を含み、複数の個別情報は、個人属性、社会属性、嗜好情報および重要な対話に分類されている。顧客情報については、後で詳細に説明することにする。

【0025】

なお、履歴ＤＢ１２ａおよび顧客情報ＤＢ１２ｂは、サーバ１２に内蔵されるＨＤＤに設けてもよいし、ネットワーク１４を介して通信可能に設けてもよい。

【0026】

ネットワーク１４は、インターネットを含むＩＰ網（または、ＩＰネットワーク）と、このＩＰ網にアクセスするためのアクセス網（または、アクセスネットワーク）とから構成される。アクセス網としては、公衆電話網、携帯電話網、有線ＬＡＮ、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等を用いることができる。

【0027】

複数の操作者端末１６の各々は、サーバ１２とは異なる他の情報処理装置であり、一例として、デスクトップ型ＰＣである。他の例では、操作者端末１６として、スマートフォン、タブレットＰＣまたはノート型ＰＣなどの汎用の端末を用いることもできる。各操作者端末１６は、同じ種類または異なる種類の情報処理装置である。

【0028】

ロボット１８は、自律行動可能な、いわゆるテレプレゼンス（または、テレイグジステンス）ロボットであり、市販の移動型のロボットを用いることができる。一例として、ロボット１８としては、Double Robotics, Incが販売するロボットDouble 3を使用することができる。ただし、ロボット１８は、このような特定のロボットに限られることなく、特開２０２０－００４１８２号に開示されるようなロボットも利用可能である。

【0029】

ロボット１８を自律行動させる方法としては、一例として、特開２００９－１３１９１４号に開示された方法を採用することができる。ただし、自律行動とは、ロボット１８が、操作者の操作によらないで、移動を含む動作および発話の少なくとも一方を含むコミュニケーション行動を行うことを意味する。この実施例では、ロボット１８の役割または提供する所定のサービスに応じて生成されたシナリオに従うコミュニケーション行動が行われる。また、この実施例では、サーバ１２によってコミュニケーション行動が決定され、サーバ１２がコミュニケーション行動についての動作コマンドおよび音声データ（後述する、「アバター音声データ」）の少なくとも一方をロボット１８に送信する。ロボット１８を自律行動させる方法として公知の技術を用いる場合には、そのために必要な回路コンポーネントおよびデータが適宜サーバ１２に設けられる。また、この実施例では、操作者が居ない場合には、ロボット１８はサーバ１２の制御で自律行動を行う。

【0030】

また、ロボット１８は、操作者によって遠隔操作することもできる。この実施例においては、操作者は、操作者端末１６を操作して、ロボット１８にタスク（動作）を実行させるためのコマンド（以下、「動作コマンド」という）を、サーバ１２を介してロボット１８に送信する。

【0031】

また、操作者端末１６は、操作者の音声をマイク８２で検出し、検出した音声を、サーバ１２を介してロボット１８に送信する。この実施例では、ロボット１８のスピーカ１１２から操作者の音声に基づく音声が出力される。操作者の音声に基づく音声は、予め決定された男性の声、女性の声またはロボットらしい声に変換された操作者の音声である。ただし、操作者の音声をそのままロボット１８のスピーカ１１２から出力することもできる。

【0032】

ロボット１８は、所定のＣＧ(Computer Graphics)キャラクタの画像を表示装置３０に表示する。この実施例では、ＣＧキャラクタの顔を含む上三身分または上半身の画像が表示装置３０に表示される。一例として、ＣＧキャラクタは、複数用意されており、男性、女性およびロボットのいずれかの姿形を有している。

【0033】

一方、ロボット１８は、対話エージェントを含む画像をカメラ１２２で撮影し、撮影した画像（以下、「ロボット画像」という）を、サーバ１２を介して操作者端末１６に送信する。したがって、操作者端末１６では、ロボット１８から見た画像すなわち対話エージェントの画像が表示装置８０に表示される。また、ロボット１８は、対話エージェントの音声を含む周囲の音をマイク１１０で検出し、検出した音声を、サーバ１２を介して操作者端末１６に送信する。したがって、操作者端末１６のスピーカ１１２から対話エージェントの音声を含む音が出力される。

【0034】

したがって、操作者は、対話エージェントの顔を見ながら対話したり、環境を見ながらロボット１８を操作したりすることができる。

【0035】

また、ロボット１８は、ベース２０を含み、このベース２０の正面には移動用センサの１つである超音波センサ２２が設けられる。このベース２０の両端には車輪（左車輪）２４Ｌおよび車輪（右車輪）２４Ｒが回転自在に設けられる。

【0036】

ベース２０の上面には、上方に延びるポール２６が設けられ、そのポール２６の上端には、操作者に対応する画像（以下、「アバター画像」という）２８（上述した、ＣＧキャラクタの画像）を表示する表示装置３０が設けられる。

【0037】

なお、この表示装置３０には、タッチパネル、カメラ、マイクおよびスピーカ等が設けられるが、詳細は図４に示すブロック図を参照して説明する。また、このロボット１８は、バッテリ駆動型のロボットであり、バッテリはたとえばポール２６の中に収容されている。

【0038】

図２は図１に示したサーバ１２の電気的な構成を示すブロック図である。図２に示すように、サーバ１２はＣＰＵ５０を含み、ＣＰＵ５０は、内部バスを介して、ＲＡＭ５２、通信部５４および入出力インタフェース（以下、「入出力Ｉ／Ｆ」という）５６に接続される。

【0039】

ＣＰＵ５０は、サーバ１２の全体的な制御を司る。ただし、ＣＰＵ５０に代えて、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）を設けてもよい。ＲＡＭ５２は、サーバ１２の主記憶装置（メインメモリ）であり、ＣＰＵ５０のワーク領域およびバッファ領域として用いられる。

【0040】

図示は省略するが、サーバ１２は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。

【0041】

通信部５４は、ＣＰＵ５０の制御の下、ネットワーク１４を介して、操作者端末１６およびロボット１８などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部５４としては、有線ＬＡＮのみならず、無線ＬＡＮまたはBluetooth（登録商標）等を使用することもできる。

【0042】

入出力Ｉ／Ｆ５６には、入力装置５８および表示装置６０が接続されている。入力装置５８として、キーボードおよびコンピュータマウスが用いられる。表示装置６０は、ＬＣＤまたは有機ＥＬディスプレイである。

【0043】

入出力Ｉ／Ｆ５６は、入力装置５８から入力された操作データ（または、操作情報）をＣＰＵ５０に出力するとともに、ＣＰＵ５０によって生成された画像データを表示装置６０に出力して、画像データに対応する画面を表示装置６０に表示させる。

【0044】

なお、図２に示すサーバ１２の電気的な構成は一例であり、限定される必要はない。

【0045】

図３は図１に示した操作者端末１６の電気的な構成を示すブロック図である。図３に示すように、操作者端末１６はＣＰＵ７０を含み、ＣＰＵ７０は、内部バスを介して、ＲＡＭ７２、通信部７４および入出力Ｉ／Ｆ７６に接続される。

【0046】

ＣＰＵ７０は、操作者端末１６の全体的な制御を司る。ただし、ＣＰＵ７０に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。ＲＡＭ７２は、操作者端末１６の主記憶装置であり、ＣＰＵ７０のワーク領域およびバッファ領域として用いられる。

【0047】

図示は省略するが、操作者端末１６は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。

【0048】

通信部７４は、ＣＰＵ７０の制御の下、ネットワーク１４を介して、サーバ１２およびロボット１８などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部７４としては、有線ＬＡＮのみならず、無線ＬＡＮまたはBluetooth（登録商標）等を使用することもできる。

【0049】

入出力Ｉ／Ｆ７６には、入力装置７８および表示装置８０、マイク８２およびスピーカ８４が接続されている。入力装置７８として、キーボードおよびコンピュータマウスが用いられる。さらに、タッチパネルが設けられる場合もある。表示装置８０は、ＬＣＤまたは有機ＥＬディスプレイである。

【0050】

ただし、操作者端末１６として、スマートフォンが用いられる場合には、入力装置７８は、タッチパネルおよびハードウェアのボタンである。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。

【0051】

入出力Ｉ／Ｆ７６は、マイク８２で検出された操作者の音声をデジタルの音声データ（以下、「操作者音声データ」という）に変換してＣＰＵ７０に出力するとともに、ＣＰＵ７０によって出力される音声データをアナログの音声信号に変換してスピーカ８４から出力させる。ただし、実施例では、ＣＰＵ５０から出力される音声データは、サーバ１２を介してロボット１８から受信した音声データ（以下、「ロボット音声データ」という）である。また、入出力Ｉ／Ｆ７６は、入力装置７８から入力された操作データ（または、操作情報）をＣＰＵ７０に出力するとともに、ＣＰＵ７０によって生成された画像データを表示装置８０に出力して、画像データに対応する画面または画像を表示装置８０に表示させる。ただし、この実施例では、表示装置８０に表示される制御画面２００（図５参照）には、サーバ１２を介してロボット１８から受信したロボット画像データも出力される。ただし、ロボット画像データは、ロボット１８のカメラ１２２で撮影された画像（動画像または静止画像）の画像データである。

【0052】

また、操作者端末１６は、センサＩ／Ｆ８６およびカメラ８８を備えている。ＣＰＵ７０は、バスおよびセンサＩ／Ｆ８６を介してカメラ８８に接続される。カメラ８８は、ＣＣＤまたはＣＭＯＳのような撮像素子を用いたカメラである。図示は省略するが、カメラ８８は、表示装置８０の近傍に設けられ、表示装置８０の前方の所定範囲（画角で決まる範囲）を撮影する。したがって、カメラ８８は、表示装置８０に対面する操作者を撮影することができる。

【0053】

なお、図３に示す操作者端末１６の電気的な構成は一例であり、限定される必要はない。上述したように、各操作者端末１６が異なる種類の情報処理装置である場合には、電気的な構成も異なる場合がある。

【0054】

また、操作者端末１６がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この実施例では、そのような通話は行わないため、図示は省略してある。

【0055】

図４は図１に示したロボット１８の電気的な構成を示すブロック図である。図４に示すように、ロボット１８はＣＰＵ１００を含み、ＣＰＵ１００は、内部バスを介して、ＲＡＭ１０２、通信部１０４および入出力Ｉ／Ｆ１０６に接続される。

【0056】

ＣＰＵ１００は、ロボット１８の全体的な制御を司る。ただし、ＣＰＵ１００に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。ＲＡＭ５２は、操作者端末１６の主記憶装置であり、ＣＰＵ１００のワーク領域およびバッファ領域として用いられる。

【0057】

図示は省略するが、ロボット１８は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。

【0058】

通信部１０４は、ＣＰＵ１００の制御の下、ネットワーク１４を介して、サーバ１２および操作者端末１６などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部１０４としては、無線ＬＡＮまたはBluetooth（登録商標）等を使用することができる。

【0059】

入出力Ｉ／Ｆ１０６には、入力装置１０８および表示装置３０、マイク１１０およびスピーカ１１２が接続されている。入力装置１０８として、緊急停止用のハードウェアのボタンなどが設けられる。さらに、入力装置１０８として、表示装置３０の表示面に重ねてタッチパネルが設けられる。表示装置３０は、ＬＣＤまたは有機ＥＬディスプレイである。一例として、タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。

【0060】

入出力Ｉ／Ｆ１０６は、マイク１１０で検出された対話エージェントの音声をデジタルの音声データに変換してＣＰＵ１００に出力するとともに、ＣＰＵ１００によって出力される音声データをアナログの音声信号に変換してスピーカ１１２から出力させる。

【0061】

ただし、実施例では、ＣＰＵ１００から出力される音声データは、サーバ１２から受信した音声データである。サーバ１２は、操作者端末１６から受信した発話データ（以下、「操作者発話データ」という）に基づいて音声データを生成し、ロボット１８に送信する。この実施例では、操作者発話データは、操作者の音声、または、操作者が入力した発話コマンドに従って発話される発話内容のテキストのデータである。

【0062】

また、入出力Ｉ／Ｆ１０６は、入力装置１０８から入力された操作データ（または、操作情報）をＣＰＵ１００に出力するとともに、ＣＰＵ１００によって生成（または、出力）された画像データを表示装置３０に出力して、画像データに対応する画面または画像を表示装置３０に表示させる。

【0063】

ただし、この実施例では、サーバ１２から送信された動作コマンドに応じた動作を行う所定のＣＧキャラクタについてのアバター画像２８の画像データがロボット１８によって生成され、生成された画像データに対応するアバター画像２８が表示装置３０に表示される。

【0064】

動作コマンドに応じた動作には、無意識に行う動作（以下、「無意識動作」という）も含まれる。無意識動作は、瞬きや呼吸のような生理的な動作および髪や顔を触るなどの癖による動作を意味する。また、動作コマンドは、ロボット１８が自律行動を行う場合にはサーバ１２から送信され、ロボット１８が操作者によって遠隔操作される場合には操作者端末１６からサーバ１２を介して送信される。

【0065】

また、ロボット１８は、モータドライバ１１４を備え、モータドライバ１１４はバスを介してＣＰＵ１００に接続される。モータドライバ１１４は、ＣＰＵ１００の命令に従って、ロボット１８の右車輪２４Ｒを回転させる右車輪モータ１１６の駆動を制御するとともに、ロボット１８の左車輪２４Ｌを回転させる左車輪モータ１１８の駆動を制御する。

【0066】

また、ロボット１８は、センサＩ／Ｆ１２０、カメラ１２２、レーザ距離計（ＬＲＦ）１２４、ＬＲＦ１２６、超音波センサ２２および慣性計測ユニット１２８を備えている。

【0067】

ＣＰＵ１００は、バスおよびセンサＩ／Ｆ１２０を介して、カメラ１２２、ＬＲＦ１２４、ＬＲＦ１２６、超音波センサ２２および慣性計測ユニット１２８にそれぞれ接続される。

【0068】

カメラ１２２は、ＣＣＤまたはＣＭＯＳのような撮像素子を用いたカメラである。図１では省略したが、カメラ１２２は、表示装置３０の上端部または下端部に設けられ、ロボット１８の前方の所定範囲（画角で決まる範囲）を撮影する。したがって、カメラ１２２は、ロボット１８に対面し、ロボット１８を通して操作者と対話する対話エージェントまたは／およびロボット１８が配置されたり移動したりする環境を撮影する。

【0069】

ＬＲＦ１２４は、一般に、レーザ光を照射し、それが対象（物体や人体など）で反射して戻ってくるまでの時間から距離を計測する。この実施例のＬＲＦ１２４（後述する、ＬＲＦ１２６も同じ）は、軸の周りをたとえば±４５度の範囲で回転するミラー（図示せず）を含み、レーザ光の進路をこの回転ミラーでたとえば０．６度ずつ変化させながら計測を行う（レーザ光でスキャンする）ことができる。以下では、ＬＲＦ１２４によってレーザ光でスキャン（走査）される平面をスキャン面と呼ぶ。また、ＬＲＦ１２４で計測可能な距離は、レーザ光が人間の目に影響を与えないよう、所定距離Ｒ（たとえば１５ｍ）以下に制限されている。このため、ＬＲＦ１２４の計測領域（すなわち、スキャン面）は、たとえば扇形、つまり所定距離Ｒの半径で中心角９０度の扇形となる。なお、スキャン面（扇形）の中心角は９０度とは限らず、たとえば１８０度や３６０度などでもよい。

【0070】

この実施例では、ＬＲＦ１２４は、特定の人間を追跡するためなどの目的で設けられるものである。ＬＲＦ１２６は、このロボット１８の自律移動のためのものである。ＬＲＦ１２４は、ＬＲＦ１２６と兼用されてもよい。つまり、ロボット１８の移動中と、ロボット１８の移動を停止してアバターの画像（以下、「アバター画像」という）２８による対話中とで、１つのＬＲＦを使い分けるようにしてもよい。

【0071】

ロボット１８は、ＬＲＦ１２４の出力に基づいて、ロボット１８またはＬＲＦ１２４に対する対象物までの距離および向きを検出することができる。したがって、ロボット１８は、検出した自身の現在位置と、ＬＲＦ１２４を用いて検出される対象物までの距離および向きに基づいて、対象物の現在位置を検出（算出）することができる。

【0072】

また、ロボット１８は、ＬＲＦ１２６の出力に基づいて、ＳＬＡＭ（Simultaneous Localization and Mapping）により、ロボット１８が移動する環境の地図を作成するとともに、作成する環境の地図内における現在位置を推定し、それらに基づいて自身のナビゲーションを行う。この実施例では、ＬＲＦ１２６は水平方向における障害物との距離を計測するため、ロボット１８の周辺の障害物についての２次元の地図が作成される。したがって、ロボット１８が作成する環境の地図は、ロボット１８（ＬＲＦ１２６）を真上方向から見た２次元の地図である。以下、ロボット１８が作成する環境の地図を「作成地図」と呼ぶことにする。また、ロボット１８は、自身が配置される環境について予め作成された環境の地図（この実施例では、「設定地図」）を記憶している。作成地図における原点と設定地図における原点を合わせるとともに、作成地図における方位と設定地図における方位を合わせておくことにより、設定地図（または、作成地図）におけるロボット１８の現在位置が推定される。

【0073】

超音波センサ２２は、超音波を用いた汎用の距離センサである。超音波センサ２２は、ロボット１８の前方に存在する対象物（人間または物）までの距離を計測する。一例として、超音波センサ２２の水平方向における検知範囲は１０度－４５度であり、計測可能な距離は５ｍ－１５ｍである。上記のとおり、ＬＲＦ１２８が設けられるため、超音波センサ２２は設けなくてもよい。

【0074】

慣性計測ユニット１２８は３次元の慣性運動（直交３軸方向の並進運動および回転運動）を検出する装置であって、加速度センサによって並進運動を検出し、角速度(ジャイロ)センサによって回転運動を検出する。

【0075】

なお、図４に示すロボット１８の電気的な構成は一例であり、限定される必要はない。

【0076】

上述したように、ロボット１８は、自律行動可能であり、配置された環境において予め決定されたスタート地点（移動開始地点）からゴール地点（目標地点）まで経路探索を行いながら移動することができる。ただし、スタート地点とゴール地点の間に、１または複数の経由地点が設定されてもよい。また、経路探索の方法としては、標準的な方法、すなわち、ウォーシャルフロイド法、ダイクストラ法、Ａ＊アルゴリズム、ポテンシャル法、RRT (Rapidly exploring Random Tree)などを用いることができる。スタート地点、ゴール地点および１または複数の経由地点は、サーバ１２の管理者または操作者によって予め指定されている。

【0077】

また、ロボット１８は、操作者の遠隔操作に従って、配置された環境において自由に移動することも可能である。操作者端末１６でロボット１８の移動等を操作することは既に周知であり、ここではその遠隔操作についての詳細な説明は省略する。

【0078】

図５に示す制御画面２００は、ロボット１８を遠隔操作するための画面である。制御画面２００には、表示領域２０２、２０４、２０６および２０８が設けられる。また、制御画面２００には、表示領域２０６および２０８の下方に、表示領域２５０およびボタン２５２が設けられ、これらの下方に、ボタン２６０がさらに設けられる。

【0079】

表示領域２０２は、ロボット１８に設けられたカメラ１２４で撮影された映像（動画像または静止画像）を表示するための領域である。

【0080】

表示領域２０４は、ロボット１８の移動を制御するコマンド(すなわち、動作コマンド)を入力するための複数のボタンを表示する。この実施例では、表示領域２０４には、ボタン２１０、２１２、２１４、２１６および２１８が表示される。ボタン２１０は、ロボット１８を前進させるためのボタンである。ボタン２１２は、ロボット１８を左折または左旋回させるためのボタンである。ボタン２１４は、ロボット１８を右折または右旋回させるためのボタンである。ボタン２１６は、ロボット１８を停止させるためのボタンである。ボタン２１８は、ロボット１８を後進させるためのボタンである。

【0081】

詳細な説明は省略するが、ボタン２１０またはボタン２１８がオンされている状態で、ボタン２１２がオンされと、ロボット１８は前進または後進しながら左に曲がる。また、ボタン２１０またはボタン２１８がオンされている状態で、ボタン２１４がオンされると、ロボット１８は前進または後進しながら右に曲がる。ロボット１８が停止している状態で、ボタン２１２がオンされると、ロボット１８は反時計回りに進行方向を変える。また、ロボット１８が停止している状態で、ボタン２１４がオンされると、ロボット１８は時計回りに進行方向を変える。

【0082】

この実施例では、表示領域２０４に表示されたボタン２１０、２１２、２１４、２１６および２１８などが操作されると、各ボタン２１０、２１２、２１４、２１６および２１８に割り当てられた動作コマンドがサーバ１２に送信される。

【0083】

表示領域２０６は、ロボット１８のコミュニケーション行動を制御する動作コマンドを入力するための複数のボタンを表示する。この実施例では、表示領域２０６には、ボタン２２０、２２２、２２４、２２６および２２８などが表示される。ボタン２２０は、ロボット１８を頷かせるためのボタンである。ボタン２２２は、ロボット１８に首を振らせるためのボタンである。ボタン２２４は、ロボット１８にお辞儀させるためのボタンである。ボタン２２６は、ロボット１８に手を振らせるためのボタンである。ボタン２２８は、ロボット１８に右手を挙げさせるためのボタンである。

【0084】

ただし、この実施例のロボット１８は、手腕に相当する部位を有しておらず、また、腰および首に相当する関節も有していないため、アバター画像２８を動作させることで、頷かせる、首を振らせる、お辞儀させる、手を振らせる、右手を挙げさせるなどのコミュニケーション行動が実行される。

【0085】

図示は省略するが、他のコミュニケーション行動を制御する動作コマンドを入力するための他の複数のボタンが設けられ、他の複数のボタンは表示領域２０６をスクロールすることで表示される。

【0086】

この実施例では、表示領域２０６に表示されたボタン２２０、２２２、２２４、２２６および２２８などが操作されると、各ボタン２２０、２２２、２２４、２２６および２２８に割り当てられた動作コマンドがサーバ１２に送信される。

【0087】

表示領域２０８は、ロボット１８の発話を制御するコマンド（すなわち、発話コマンド）を入力するための複数のボタンを表示する。表示領域２０８に表示された（設けられた）複数のボタンには、挨拶および呼び掛けなどの定型の言葉または文をロボット１８に発話させるための発話コマンドが割り当てられる。この実施例では、表示領域２０８には、ボタン２３０、２３２、２３４、２３６および２３８などが表示される。ボタン２３０は、ロボット１８に挨拶“おはよう”を発話させるためのボタンである。ボタン２３２は、ロボット１８に挨拶“こんにちは”を発話させるためのボタンである。ボタン２３４は、ロボット１８に挨拶“お久ぶりです”を発話させるためのボタンである。ボタン２３６は、ロボット１８に呼び掛け“検温をお願いします”を発話させるためのボタンである。ボタン２３８は、ロボット１８に呼び掛け“アルコール消毒をお願いします”を発話させるためのボタンである。ボタン２３０－２３８などがオンされると、オンされたボタン（２３０－２３８など）に割り当てられた定型の言葉または文についてテキストおよび当該テキストをロボット１８に発話させることがサーバ１２に指示される。

【0088】

図示は省略するが、他の発話を制御する発話コマンドを入力するための複数の他のボタンが設けられ、複数の他のボタンは表示領域２０８をスクロールすることで表示される。

【0089】

この実施例では、表示領域２０８に表示されたボタン２３０、２３２、２３４、２３６および２３８などが操作されると、各ボタン２３０、２３２、２３４、２３６および２３８に割り当てられた発話コマンドがサーバ１２に送信される。

【0090】

また、表示領域２５０は、定型の言葉および文以外の発話内容をテキストで入力するための領域である。ボタン２５２は、表示領域２５０に入力または表示された発話内容すなわちテキストの内容をロボット１８に発話させる発話コマンドを入力するためのボタンである。

【0091】

この実施例では、ボタン２５２が操作されると、表示領域２５０に表示されたテキストの内容をロボット１８に発話させる発話コマンドがサーバ１２に送信される。

【0092】

ボタン２６０は、ロボット１８の遠隔操作の終了を指示するためのボタンである。一例として、ボタン２６０がオンされると、制御画面２００が表示された操作者端末１６の操作者がロボット１８の遠隔操作を終了することがサーバ１２に指示（または、通知）される。

【0093】

図６は顧客情報画面３００の一例を示す図である。この顧客情報画面３００は、上記の制御画面２００と並んで表示される。また、顧客情報画面３００は、ロボット１８に対面する顧客すなわち対話エージェントについての顧客情報を表示するための画面である。

【0094】

図６に示すように、顧客情報画面３００には、表示領域３０２、３０４、３０６および３０８が設けられる。また、顧客情報画面３００の下端には、入力欄（表示領域）３１０、ボタン３１２およびボタン３１４が設けられる。

【0095】

表示領域３０２は、顧客すなわち対話エージェントの顔画像を表示するための領域である。表示領域３０４は、対話エージェントの基本情報を表示する領域である。基本情報は、対話エージェントについての個人属性および社会属性などの情報である。表示領域３０６は、対話エージェントの応対情報を表示する領域である。応対情報は、対話エージェントについての嗜好についての情報である。表示領域３０８は、重要な対話履歴を表示する領域である。

【0096】

入力欄３１０は、重要な対話履歴を入力する欄または表示領域である。ボタン３１２は、入力欄３１０に入力または表示された内容すなわち重要な対話履歴のテキストを顧客情報の重要な対話として登録するためのボタンである。ボタン３１４は、入力欄３１０に入力または表示された内容すなわち重要な対話履歴のテキストを顧客情報の重要な対話から削除するためのボタンである。

【0097】

この実施例では、サーバ１２は、ロボット１８から送信されたロボット画像データに基づいて対話エージェントを認証し、認証に成功した対話エージェントの顧客情報を顧客情報ＤＢ１２ｂから取得し、取得した顧客情報をロボット１８を遠隔操作する操作者端末１６に送信する。操作者端末１６は、サーバ１２から受信した顧客情報に基づいて上記の顧客情報画面３００を表示する。この実施例では、サーバ１２は、ロボット画像データに含まれる顔画像と一致する顔画像を有する顧客情報が顧客情報ＤＢ１２ｂに登録されているかどうかを判断することで、対話エージェントを認証する。サーバ１２は、ロボット画像データに含まれる顔画像と一致する顔画像を有する顧客情報が顧客情報ＤＢ１２ｂに登録されている場合には、認証に成功したと判断する。

【0098】

ただし、サーバ１２は、認証した結果、対話エージェントの顧客情報が顧客情報ＤＢ１２ｂに登録されていない場合には、認証に失敗したと判断し、新規顧客として当該対話エージェントの顧客情報を登録するとともに、登録した顧客情報を操作者端末１６に送信する。サーバ１２は、新規顧客として対話エージェントを登録する場合、顧客ＩＤを発行し、発行した顧客ＩＤに対応付けた、顔画像を含む顧客情報を生成し、顧客情報ＤＢ１２ｂに登録する。新規に登録される顧客情報に含まれる顔画像は、ロボット画像データに含まれる顔画像である。

【0099】

図７に示すように、顧客情報は、顧客すなわち対話エージェント毎に、個人属性、社会属性、嗜好情報および重要な対話に分類された複数の個別情報を含む。また、各顧客情報には、顧客すなわち対話エージェントの識別情報（以下、「顧客ＩＤ」という）が付加されている。上述したように、顧客ＩＤは、新規顧客についての顧客情報を登録するときに、サーバ１２によって発行される。

【0100】

個人属性は、顧客すなわち対話エージェントについての個人に関する個別情報であり、顔画像、氏名、性別、年齢、交通手段、居住地、訪問先、前回訪問日（対話履歴の最新の日付）などを含む。

【0101】

社会情報は、顧客すなわち対話エージェントについての所属先および社会的地位に関する個別情報であり、所属する組織名と分類、役職名などを含む。

【0102】

嗜好情報は、顧客すなわち対話エージェントについてのアバターに関するまたはアバターを用いた操作者の応対に関する嗜好についての個別情報であり、呼ばれ方の嗜好、声の嗜好、方言の嗜好、服装の嗜好などを含む。

【0103】

ただし、嗜好情報については、１つの嗜好情報について複数の個別情報を有する場合がある。たとえば、呼ばれ方の嗜好としては、さん付け、様付けおよび役職名などの個別情報がある。したがって、呼ばれ方の嗜好として、さん付けと、様付けと、役職名とはそれぞれ別の個別情報として登録される。他の嗜好情報についても同様である。声の嗜好としては、男性の声、女性の声およびロボットらしい声などの個別情報がある。方言の嗜好としては、関東方言、近畿方言などの個別情報に加え、標準語の個別情報がある。服装の嗜好としては、制服、私服などの個別情報がある。

【0104】

重要な対話の履歴は、顧客すなわち対話エージェントとの対話の履歴のうち、重要な対話についての個別情報である。この実施例では、重要な対話は、操作者によって登録されたり、削除されたりする。

【0105】

なお、顧客情報およびその詳細は一例であり、限定される必要はない。顧客情報はさらに別の個別情報を含んでもよい。たとえば、別の分類として生体情報が設けられ、生体情報としては、対話エージェントの健康状態、音の聞こえやすさ、感情などの個別情報が含まれる。個別情報を増加させることで、対話エージェントにより適切に応対することができると考えられる。ただし、生体情報を含める場合には、ロボット１８またはロボット１８が配置される環境内に健康状態や音の聞こえやすさを検出するセンサを設けたり、検出した値から健康状態や音の聞こえやすさを解析するためのプログラムをロボット１８またはサーバ１２に適宜設けたりする必要がある。

【0106】

この実施例では、ロボット１８を用いて所定のサービスを提供し、対話エージェントと対話する場合に、対話エージェントについての顧客情報に基づいて応対するようにしてある。

【0107】

また、各顧客情報には重要度が付加されている。重要度は、対話エージェントが、対応する個別情報についての関心の度合である。ロボット１８は、自律行動する場合、高い重要度を有する個別情報に従ってコミュニケーション行動をサーバ１２によって制御される。また、ロボット１８は、遠隔操作される場合、操作者に高い重要度を有する個別情報を優先して提示することで、高い重要度を有する個別情報に従う制御を促す。

【0108】

ただし、顔画像は顧客情報画面３００の表示領域３０２に必ず表示される情報であるため、この顔画像には重要度は設定されていない。また、重要な対話は、重要であるため、重要度は設定されていない。

【0109】

また、上述したように、新規顧客の顧客情報が登録されるときには、顔画像のみを含むため、この実施例では、他の個別情報については、自律行動または遠隔操作によりロボット１８を用いて対話エージェントに応対し、その場合の対話した内容から抽出した個別情報および対話時に設定されたアバターの嗜好に関する個別情報が顧客情報に追加（登録）される。このとき、各個別情報には重要度（この実施例では、初期値＝１）が付加される。

【0110】

対話した内容から個別情報を抽出し、分類する方法としては、一例として、次の方法を採用することができる。対話した内容のテキストを形態素解析して形態素に分離し、予め登録してある分類のための辞書データを参照して、形態素の文字列が分類される。

【0111】

ただし、対話が音声データである場合には、音声認識することでテキストに変換される。対話エージェントの音声および操作者の音声を音声認識する場合には、後述する特開２０２１－１５７１４５号に開示された推論器を用いることができる。

【0112】

また、分類のための辞書データは、予め個別情報として登録されることが決定されている複数の文字列が、それぞれ、顧客情報における分類と個別情報の種類を対応付けて記憶されたデータである。

【0113】

なお、分類するための辞書データに氏名を含めると、データ量が膨大になってしまうため、氏名については、自律行動するロボット１８がシナリオに従って質問し、または、遠隔操作する操作者が質問し、それに対して対話エージェントが発話した音声を音声認識して、個別情報である氏名を抽出し、個人属性に分類するようにしてある。

【0114】

また、対話した内容から個別情報を抽出する方法としては、特開２０２０－０７１６７５号に開示された方法のような公知の方法を採用することもできる。また、抽出した個別情報を分類する方法としては、特開２０２１－０１８４８９号に開示された方法のような公知の方法を採用することもできる。対話した内容から個別情報を抽出したり分類したりする方法として公知の技術を用いる場合には、そのために必要な回路コンポーネントおよびデータが適宜サーバ１２に設けられる。

【0115】

さらに、対話の履歴は、履歴ＤＢ１２ａに登録されるため、情報処理システム１０またはサーバ１２の管理者または操作者によって個別情報を追加（登録）するようにしてもおい。

【0116】

ロボット１８が遠隔操作に従ってコミュニケーション行動する場合（以下、「遠隔モード」という）には、上述したように、ロボット１８から送信されるロボット画像データおよびロボット音声データがサーバ１２を介して、ロボット１８を遠隔操作する操作者が使用する操作者端末１６で受信され、この操作者端末１６でロボット画像データおよびロボット音声データが出力されることにより、操作者は、ロボット１８の周囲を見たり、ロボット１８の周囲の状況を把握したり、ロボット１８の表示装置３０に対面している対話エージェントと対話したりすることができる。

【0117】

ただし、ロボット画像データおよびロボット音声データには、ロボット１８の識別情報（ロボットＩＤ）が付加されている。したがって、サーバ１２は、ロボット画像データおよびロボット音声データに付加されたロボットＩＤから当該ロボットＩＤを付与されたロボット１８を特定するとともに、当該ロボット１８を操作する操作者およびこの操作者が使用する操作者端末１６を特定する。

【0118】

同様に、操作者発話データには、操作者の識別情報（操作者ＩＤ）が付加されている。したがって、サーバ１２は、操作者発話データに付加された操作者ＩＤから操作者を特定する。

【0119】

サーバ１２では、ロボット１８と操作者を特定することで、画像データ、音声データまたは操作者発話データおよび動作コマンドをＲＡＭ５２に記憶する場合に、対話中の対話エージェントについての画像データ、対話中の対話エージェントの音声データおよび操作者発話データ、および、対話中に指示された動作コマンドをまとめた履歴として履歴ＤＢ１２ａに記録することができる。ただし、対話中の対話エージェントの画像データおよび音声データは、特定されたロボット１８から送信されるロボット画像データおよびロボット音声データである。

【0120】

この実施例では、上述したように、操作者すなわちサービスユーザが所定のサービスを利用する場合に、対話エージェントと操作者は対話する。つまり、所定のサービスは、対話エージェントと操作者がロボット１８を介して対話するサービス（対話サービス）を含む。また、サーバ１２は、対話エージェントと操作者の対話の履歴、操作者の操作（この実施例では、動作コマンド）の履歴、対話エージェントおよび操作者の画像の履歴を履歴ＤＢ１２ａに記憶する。

【0121】

一例として、対話の履歴、操作の履歴、対話エージェントの画像の履歴は、操作者が対話エージェントに応対している場合に記録される。これは、自律行動または遠隔操作で操作者またはロボットと対話エージェントが対話した対話内容に含まれる個別情報を抽出し、抽出した個別情報を登録するのみならず、抽出した個別情報の重要度を更新するためである。

【0122】

また、この実施例では、上述したように、ロボット１８は、操作者によらないで自律行動する場合（以下、「自律モード」という）または遠隔モードで動作等を行う。自律モードまたは遠隔モードは、サーバ１２によって設定される。

【0123】

サーバ１２は、所定のサービスを提供するロボット１８を遠隔操作する操作者が居ない場合に、自律モードを設定する。この場合、サーバ１２は、自律モードで動作等を行うことをロボット１８に指示する。したがって、ロボット１８は、自律モードで動作等を行う。

【0124】

自律モードでは、サーバ１２は、ロボット画像データに含まれる顔画像から対話エージェントを認証（または、特定）し、認証した対話エージェントについての顧客情報を顧客情報ＤＢ１２ｂから取得し、取得した顧客情報を用いて、サーバ１２は、ロボット１８の移動およびコミュニケーション行動を自動で制御する。

【0125】

一例として、自律モードでは、顧客情報のうちの重要度が高い情報を用いてアバターが制御される。サーバ１２は、個人情報、社会情報、嗜好情報のうち、重要度が高い情報を用いて対話するようにロボット１８を制御する。このとき、嗜好情報に含まれる、声の嗜好に従う音響モデルが用いられること、方言の嗜好に従う発話内容についてのテキストが用いられること、および、服装の嗜好に従う服装のアバターを表示することが設定される。ただし、この実施例では、アバター画像２８はロボット１８が生成するため、声の嗜好が示す性別等に応じたアバーであって、服装の嗜好に従う服装のアバターを表示することはロボット１８に指示される。他の個別情報については、アバター音声データを生成する場合に、テキストに反映される。

【0126】

なお、この実施例では、自律モードにおいては、重要な対話履歴を記憶したり、削除したりしないようにしてあるが、限定される必要はない。ロボット音声データから重要な対話を抽出して、重要な対話履歴として記憶することもできる。一例として、対話から重要な対話履歴を抽出する方法としては、特開２０２０－０７１６７５号に開示される方法を用いることができる。対話から重要な対話履歴を抽出する手法として公知の技術を用いる場合には、そのために必要な回路コンポーネントおよびデータが適宜サーバ１２に設けられる。

【0127】

また、サーバ１２は、所定のサービスを提供するロボット１８を遠隔操作する操作者を当該ロボット１８に割り当てると、遠隔モードを設定する。ただし、操作者は、自身の操作者端末を用いてサーバ１２にログインし、所定のサービスを利用することを選択した操作者である。

【0128】

上述したように、遠隔モードでは、サーバ１２は、ロボット画像データに含まれる顔画像から対話エージェントを認証（または、特定）し、認証した対話エージェントについての顧客情報を顧客情報ＤＢ１２ｂから取得し、取得した顧客情報を操作者端末１６に送信する。操作者端末１６では、顧客情報を用いて顧客情報画面３００を表示する。このとき、顧客情報に含まれる個別情報は、重要度の高い順に表示される。操作者は顧客情報画面３００を参照して、ロボット１８を制御する。サーバ１２は、ロボット１８を遠隔操作することを割り当てた操作者の操作者端末１６から送信される動作コマンドに従ってロボット１８の動作を制御し、操作者端末１６から送信される操作者発話データに従ってロボット１８の発話を制御し、操作者端末１６から送信される操作者画像データに従ってアバター画像２８の表示を制御する。

【0129】

一例として、遠隔モードでは、顧客情報のうちの重要度が高い個別情報を用いてアバターを制御することができる。顧客情報に従ってアバターを制御するか否かは操作者に委ねられる。ただし、この実施例では、重要度が高い顧客情報が優先的に顧客情報画面３００に表示されるため、顧客情報に従ってアバターを制御した場合には、対話エージェントに円滑に応対することができると考えられる。

【0130】

遠隔モードでは、サーバ１２は、操作者の操作に従ってロボット１８を制御する。このとき、対話エージェントの嗜好情報に含まれる、声の嗜好に従う音響モデルが用いられること、方言の嗜好に従う発話内容についてのテキストが用いられること、および、服装の嗜好に従う服装のアバターを表示することが操作者端末１６から指示されると、声の嗜好に従う音響モデルが用いられること、方言の嗜好に従う発話内容についてのテキストが用いられること、および、服装の嗜好に従う服装のアバターを表示することが設定される。ただし、これらすべてが同時に設定される必要はない。いずれか１つ以上が設定されればよい。ただし、この実施例では、アバター画像２８はロボット１８が生成するため、声の嗜好に従う性別等のアバターであって、服装の嗜好に従う服装のアバターを表示することがロボット１８に指示される。他の顧客情報については、アバター音声データを生成する場合に、テキストに反映される。

【0131】

詳細な説明および図示は省略するが、操作者は、操作者端末１６に顧客情報画面３００が表示されている場合に、オプションを選択することで、対話エージェントの嗜好情報に含まれる、声の嗜好に従う音響モデルが用いられること、方言の嗜好に従う発話内容についてのテキストが用いられること、および、服装の嗜好に従う服装のアバターを表示することを個別に指示（または、選択）することができる。また、指示（または、選択）した内容を解除することできる。

【0132】

また、上述したように、声の嗜好は、男性の声、女性の声またはロボットらしい声であり、サーバ１２は、声の嗜好に応じた音声でロボット１８に発話させる場合には、この嗜好に応じた音声についての音響モデルを用いて合成音声を生成する。この合成音声は、一例として、特開２０２１－１５７１４５号に開示された学習済みの推論器を用いて生成される。この学習済みの推論器では、入力されたテキストから合成音声が生成される。したがって、遠隔モードにおいては、操作者発話データが操作者音声データである場合には、操作者音声データに対応する操作者音声を音声認識した結果であるテキストが推論器に入力される。

【0133】

なお、推論器の学習は、特開２０２１－１５７１４５号に開示された方法を用いることができる。また、この推論器を用いることで操作者音声を音声認識することもできる。

【0134】

また、アバター画像２８は、サーバ１２から送信されるアバター音声データに基づいて音声を出力するとき、リップシンクされる。

【0135】

この実施例では、上述したように、各顧客情報に含まれる個別情報の重要度は更新される。一例として、個別情報は、自律モードまたは遠隔モードでロボット１８が発話した場合の対話エージェントの反応に応じて更新される。この実施例では、サーバ１２は、ロボット１８が発話した後に受信したロボット画像データに含まれる対話エージェントの顔画像から対話エージェントの感情を推定（または、検出）する。対話エージェントの感情が肯定的である場合には、最新の対話に含まれる１または複数の個別情報およびアバターに設定されている個別情報に含まれる１または複数の個別情報の各々の重要度を所定値だけ上昇させる。一方、対話エージェントの感情が否定的である場合には、最新の対話に含まれる１または複数の個別情報およびアバターに設定されている個別情報に含まれる１または複数の個別情報の各々の重要度を所定値だけ下降させる、または、更新しない。

【0136】

ただし、この実施例では、最新の対話とは、履歴ＤＢ１２ａに記憶される最新の対話履歴であり、最新の対話履歴は、対話エージェントの音声データおよびこれに対する操作者の音声データ、または、操作者の音声データのみである。

【0137】

重要度は１から１０の間の数値で設定され、上昇または下降させる所定値は０．２である。また、重要度は、個別情報が顧客情報に登録されたときに初期値（たとえば、１）に設定される。さらに、重要度は、最大値（１０）および最小値（１）を超えて上昇または下降されない。

【0138】

推定される感情は、喜び、恐れ、悲しみ、嫌悪および怒りのいずれかであり、このうちの喜びが肯定的な感情であり、それ以外の恐れ、悲しみ、嫌悪および怒りが否定的な感情である。

【0139】

なお、操作者の顔画像から感情を推定する方法としては、公知の技術を用いることができる。たとえば、「小林 宏、原 文雄：ニューラルネットワークによる人の基本表情認識、計測自動制御学会論文集 Vol.29, No.1, 112/118(1993)」、「小谷中陽介、本間経康、酒井正夫、阿部健一：ニューラルネットワークを用いた顔表情認識、東北大医保健学科紀要 13(1):23～32, 2004」および「西銘 大喜、遠藤 聡志、當間 愛晃、山田 孝治、赤嶺 有平：畳み込みニューラルネットワークを用いた表情表現の獲得と顔特徴量の分析、人工知能学会論文誌 ３２巻５号ＦＺ（２０１７年）」などに開示された技術を用いることができる。

【0140】

また、他の公知の技術では、顔画像から抽出した特徴点に基づいて人間の感情を推定する手法としては、特開２０２０－１６３６６０号公報に開示された技術を用いることもできる。

【0141】

また、音声から人間の感情を推定することもできる。音声から人間の感情を推定する手法としては、公知の技術を用いることができる。たとえば、特開２０２１－１２２８５号および「森 大毅：音声から感情・態度の理解、電子情報通信学会誌 Vol. 101, No. 9, 2018」などに開示された技術を用いることができる。

【0142】

ただし、顔画像または音声に基づいて感情を推定する手法として公知の技術を用いる場合には、そのために必要な回路コンポーネントおよびデータが適宜サーバ１２に設けられる。ただし、顔画像または音声に基づいて感情を推定する装置（以下、「推定装置」という）をクラウド上に設けて、推定装置に顔画像または音声を送信し、感情の推定結果を推定装置から受け取るようにしてもよい。

【0143】

なお、この実施例では、対話エージェントの反応として、対話エージェントの感情を推定するようにようにしたが、これに限定される必要はない。対話エージェントの反応として、対話エージェントがロボット１８に視線を向けている時間の長さと視線を逸らしている時間の長さを検出してもよい。この場合、視線を向けている時間が長い程、重要度を上昇させ、視線を逸らしている時間が長い程、重要度を下降させることができる。ただし、視線を逸らしている時間が長くても、重要度を更新しなくてもよい。

【0144】

図８はサーバ１２に内蔵されるＲＡＭ５２のメモリマップ４００の一例を示す。図８に示すように、ＲＡＭ５２は、プログラム記憶領域４０２およびデータ記憶領域４０４を含む。プログラム記憶領域４０２には、この実施例のサーバ１２で実行される情報処理プログラムが記憶されている。

【0145】

情報処理プログラムは、通信プログラム４０２ａ、認証プログラム４０２ｂ、顧客情報送信プログラム４０２ｃ、履歴記憶プログラム４０２ｄ、動作モード設定プログラム４０２ｅ、感情推定プログラム４０２ｆ、個別情報登録プログラム４０２ｇおよび重要度更新プログラム４０２ｈなどを含む。

【0146】

通信プログラム４０２ａは、外部の機器、この実施例では、操作者端末１６およびロボット１８とネットワーク１４を介して通信（データの送信および受信）するためのプログラムである。

【0147】

認証プログラム４０２ｂは、対話エージェントの顧客情報が顧客情報ＤＢ１２ｂに登録されているかどうかを認証するためのプログラムである。この実施例では、認証プログラム４０２ｂは、ロボット画像データの顔画像と一致する顔画像を有する顧客情報が顧客情報ＤＢ１２ｂに登録されているかどうかを判断し、登録されている場合には、認証成功と判断する。ただし、認証プログラム４０２ｂは、対話エージェントの顧客情報が顧客情報ＤＢ１２ｂに登録されていない場合には、認証失敗と判断し、顧客ＩＤを発行し、発行した顧客ＩＤに対応付けた、顔画像のデータを含む顧客情報データ４０４ｆを生成し、新規顧客として、生成した顧客情報データ４０４ｆを顧客情報ＤＢ１２ｂに登録する。また、認証プログラム４０２ｂは、生成した顧客情報データ４０４ｆを操作者端末１６に送信する。

【0148】

顧客情報送信プログラム４０２ｃは、遠隔モードの場合に、認証プログラム４０２ｂによって認証された対話エージェントについての顧客情報または新規顧客の顧客情報を操作者端末１６に送信するためのプログラムである。

【0149】

履歴記憶プログラム４０２ｄは、操作者毎の応対履歴を記憶するためのプログラムである。この実施例では、応対履歴として、対話エージェントに応対している場合の動作コマンド、操作者発話データ、ロボット画像データおよびロボット音声のデータが時系列に従って記憶される。

【0150】

なお、詳細な説明は省略するが、情報処理システム１０またはサーバ１２の管理者が、対話履歴に基づいて、顧客情報を生成および更新することもできる。

【0151】

動作モード設定プログラム４０２ｅは、ロボット１８の動作モードを設定および管理するためのプログラムである。この実施例では、遠隔操作する操作者が居ない場合には、動作モードとして自律モードが設定され、遠隔操作する操作者が割り当てられた場合には、遠隔モードが設定される。ただし、遠隔モードにおいて操作者端末１６がログアウトした場合、すなわち、いずれの操作者端末１６もログインしていない場合には、遠隔操作する操作者が居ないため、動作モードとして自律モードが設定される。

【0152】

感情推定プログラム４０２ｆは、ロボット画像データ４０４ａに含まれる顔画像から対話エージェントの感情を推定するためのプログラムである。個別情報登録プログラム４０２ｇは、ロボット音声データ４０４ｂに含まれる対話エージェントの発話内容から個別情報を抽出し、抽出した個別情報が対話エージェントの顧客情報に含まれていない場合に、当該個別情報を登録するためのプログラムである。個別情報が登録される場合、当該個別情報の重要度は１に設定される。

【0153】

重要度更新プログラム４０２ｈは、自律モードまたは遠隔モードにおいてアバターが発話されたときの対話エージェントの反応（この実施例では、感情）に応じて、最新の対話に含まれる個別情報およびアバターに設定された個別情報（たとえば、声の嗜好、方言の嗜好、服装の嗜好）についての重要度を更新するためのプログラムである。

【0154】

なお、顧客情報データ４０４ｆやアバター音声データ４０４ｈを送信する場合には、通信プログラム４０２ａも実行される。

【0155】

図示は省略するが、プログラム記憶領域４０２には、サーバ１２のオペレーティングシステムおよびミドルウェアとは別に所定のサービスを提供するために必要な他のプログラムも記憶される。

【0156】

また、データ記憶領域４０４には、ロボット画像データ４０４ａ、ロボット音声データ４０４ｂ、操作者発話データ４０４ｃ、動作コマンドデータ４０４ｄ、動作モードデータ４０４ｅ、顧客情報データ４０４ｆ、アバター設定データ４０４ｇ、アバター音声データ４０４ｈおよび重要な対話データ４０４ｉなどが記憶される。

【0157】

ロボット画像データ４０４ａは、ロボット１８に設けられたカメラ１２４で撮影され、ロボット１８から受信したカメラ画像のデータである。ロボット画像データ４０４ａは、操作者端末１６に送信された後にＲＡＭ５２から消去される。

【0158】

ロボット音声データ４０４ｂは、ロボット１８に設けられたマイク１１０で検出され、ロボット１８から受信した音声のデータである。この音声には、対話エージェントの音声が含まれる。ロボット音声データ４０４ｂは、操作者端末１６に送信された後にＲＡＭ５２から消去される。

【0159】

操作者発話データ４０４ｃは、ロボット１８を遠隔操作している操作者が使用する操作者端末１６に設けられたマイク８２で検出され、この操作者端末１６から受信した音声のデータ、または、操作者端末１６の表示装置８０に表示された制御画面２００を用いて発話することが指示されたテキストのデータである。ただし、音声のデータは、基本的には、ロボット１８を遠隔操作している操作者の音声のデータすなわち操作者音声データである。

【0160】

動作コマンドデータ４０４ｄは、遠隔モードでは、操作者端末１６から受信した、ロボット１８を遠隔操作している操作者によって入力された動作コマンドのデータである。また、動作コマンドデータ４０４ｄは、自律モードでは、サーバ１２で決定したコミュニケーション行動に含まれる動作の動作コマンドまたは無意識動作についての動作コマンドのデータである
動作モードデータ４０４ｅは、ロボット１８の動作モードを識別するためのデータであり、この実施例では、自律モードまたは遠隔モードの別を示すデータである。

【0161】

顧客情報データ４０４ｆは、顧客情報ＤＢ１２ｂから取得した、対話エージェントの顧客情報についてのデータである。

【0162】

アバター設定データ４０４ｇは、サーバ１２自身によって、または、操作者の指示に従ってアバターに設定された個別情報についてのデータである。この実施例では、声の嗜好、方言の嗜好および服装の嗜好が該当する。また、アバター設定データ４０４ｇに声の嗜好または／および服装の嗜好のデータが含まれる場合には、声の嗜好に従う性別等のアバターを表示すること、または／および、服装の嗜好に従う服装のアバターを表示すること（すなわち、アバターの種類）がロボット１８に指示される。

【0163】

アバター音声データ４０４ｈは、アバター画像２８に発話させる合成音声のデータである。ただし、合成音声は、自律モードにおいては、デフォルトで設定された音響モデルを用いて生成され、遠隔モードにおいては、ロボット１８を遠隔操作している操作者によって指示されたアバターの声に応じて設定された音響モデルを用いて生成される。

【0164】

重要な対話データ４０４ｉは、対話エージェントに対する重要な対話であって、操作者によって登録することが指示された重要な対話についてのテキストデータである。

【0165】

図示は省略するが、データ記憶領域４０４には、個別情報を分類するための辞書データなどの情報処理を実行するために必要な他のデータが記憶されたり、情報処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。

【0166】

図９は操作者端末１６に内蔵されるＲＡＭ７２のメモリマップ５００の一例を示す。図９に示すように、ＲＡＭ７２は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。プログラム記憶領域５０２には、この実施例の操作者端末１６で実行される情報処理プログラムが記憶されている。

【0167】

情報処理プログラムは、通信プログラム５０２ａ、操作検出プログラム５０２ｂ、画像表示プログラム５０２ｃ、音検出プログラム５０２ｄおよび音出力プログラム５０２ｅなどを含む。

【0168】

通信プログラム５０２ａは、外部の機器、この実施例では、サーバ１２およびロボット１８と有線または無線で通信（データの送信および受信）するためのプログラムである。

【0169】

操作検出プログラム５０２ｂは、操作者の操作に従って入力装置７８から入力される操作データを検出し、データ記憶領域５０４に記憶するためのプログラムである。

【0170】

ただし、制御画面２００に設けられたボタン２１０－２３８、２５２および２６０が操作された場合には、操作されたボタン２１０－２３８、２５２および２６０に割り当てられた操作情報（動作コマンドを含む）のデータが操作データとして検出される。

【0171】

同様に、顧客情報画面３００に設けられたボタン３１２およびボタン３１４が操作された場合には、操作されたボタン３１２または３１４に割り当てられた操作情報のデータが操作データとして検出される。

【0172】

また、顧客情報画面３００において、オプションを選択したり、対話エージェントの嗜好情報に含まれる、声の嗜好に従う音響モデルが用いられること、方言の嗜好に従う発話内容についてのテキストが用いられること、および、服装の嗜好に従う服装のアバターを表示することを個別に指示（または、選択）したりした操作情報のデータが操作データとして検出される。

【0173】

画像表示プログラム５０２ｃは、各種の画面（この実施例では、制御画面２００、顧客情報画面３００）の表示画像データを生成し、生成した表示画像データを表示装置８０に出力するためのプログラムである。ただし、制御画面２００の表示画像データには、サーバ１２から受信したロボット画像データ５０４ｄも含まれる。また、顧客情報画面３００の表示画像データには、サーバ１２から受信した顧客情報データ５０４ｃも含まれる。

【0174】

音検出プログラム５０２ｄは、マイク８２から入力される操作者の音声を検出し、検出した音声に対応する操作者発話データ５０４ｆをデータ記憶領域５０４に記憶するためのプログラムである。

【0175】

音出力プログラム５０２ｅは、サーバ１２から受信したロボット音声データ５０４ｅをスピーカ８４に出力するためのプログラムである。また、音出力プログラム５０２ｅは、操作者発話データ５０４ｆをサーバ１２に送信（または、出力）するためのプログラムでもある。このとき、通信プログラム５０２ａも実行される。ただし、音出力プログラム５０２ｅは、ボタン２５２がオンされた場合に、表示領域２５０に表示されたテキストに対応する操作者発話データ５０４ｆもサーバ１２に送信（または、出力）する。

【0176】

図示は省略するが、プログラム記憶領域５０２には、操作者端末１６のオペレーティングシステム、任意のミドルウェアおよび任意のアプリケーションを実行するためのプログラムも記憶される。

【0177】

また、データ記憶領域５０４には、操作データ５０４ａ、画像生成データ５０４ｂ、顧客情報データ５０４ｃ、ロボット画像データ５０４ｄ、ロボット音声データ５０４ｅ、操作者発話データ５０４ｆ、動作コマンドデータ５０４ｇおよび重要な対話データ５０４ｈなどが記憶される。

【0178】

操作データ５０４ａは、操作検出プログラム５０２ｂに従って検出された操作データである。操作データ５０４ａは、サーバ１２に送信されたり、操作者端末１６の処理に利用されたりした後に消去される。

【0179】

画像生成データ５０４ｂは、表示装置８０に表示する画面（この実施例では、図５に示した制御画面２００および図６に示した顧客情報画面３００）を生成および表示するための画像データである。

【0180】

顧客情報データ５０４ｃは、サーバ１２から受信した、応対中の対話エージェントについての顧客情報のデータである。

【0181】

ロボット画像データ５０４ｄは、サーバ１２から受信したロボット画像データである。ロボット画像データ５０４ｄは、ＣＰＵ７０の処理に使用された後に消去される。

【0182】

ロボット音声データ５０４ｅは、サーバ１２から受信したロボット音声データである。ロボット音声データ５０４ｅは、ＣＰＵ７０の処理に使用された後に消去される。

【0183】

操作者発話データ５０４ｆは、マイク８２で検出された音声データまたは入力された発話コマンドのデータであり、サーバ１２に送信された後に消去される。

【0184】

動作コマンドデータ５０４ｇは、入力された動作コマンドのデータであり、サーバ１２に送信された後に消去される。

【0185】

重要な対話データ５０４ｈは、入力された重要な対話についてのテキストであり、顧客情報データ５０４ｃに追加または顧客情報データ５０４ｃから削除されるとともに、サーバ１２に送信された後に消去される。

【0186】

図示は省略するが、データ記憶領域５０４には、情報処理を実行するために必要な他のデータが記憶されたり、情報処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。

【0187】

図１０はロボット１８に内蔵されるＲＡＭ１０２のメモリマップ６００の一例を示す。図１０に示すように、ＲＡＭ１０２は、プログラム記憶領域６０２およびデータ記憶領域６０４を含む。プログラム記憶領域６０２には、この実施例のロボット１８で実行される制御プログラムが記憶されている。

【0188】

制御プログラムは、通信プログラム６０２ａ、移動制御プログラム６０２ｂ、撮影画像取得プログラム６０２ｃ、アバター画像生成プログラム６０２ｄ、画像表示プログラム６０２ｅ、音検出プログラム６０２ｆおよび音出力プログラム６０２ｇなどを含む。

【0189】

通信プログラム６０２ａは、外部の機器、この実施例では、サーバ１２および操作者端末１６と無線で通信（データの送信および受信）するためのプログラムである。

【0190】

移動制御プログラム６０２ｂは、サーバ１２から受信した移動についての動作コマンドデータ６０４ｅに従って環境内を移動および停止するためのプログラムである。

【0191】

撮影画像取得プログラム６０２ｃは、カメラ１２２で撮影された撮影画像データを取得するためのプログラムである。

【0192】

アバター画像生成プログラム６０２ｄは、画像生成データ６０４ａを用いて、サーバ１２から受信したアバターの種類および動作コマンドデータ６０４ｅに従ってアバター画像データ６０４ｆを生成するためのプログラムである。

【0193】

画像表示プログラム６０２ｅは、アバター画像生成プログラム６０２ｄに従って生成したアバター画像データ６０４ｆに対応するアバター画像２８を表示装置３０に出力するためのプログラムである。

【0194】

音検出プログラム６０２ｆは、マイク１１０から入力される対話エージェント等の音声を検出し、検出した音声に対応するロボット音声データ６０４ｃをデータ記憶領域６０４に記憶するためのプログラムである。

【0195】

音出力プログラム６０２ｇは、サーバ１２から受信したアバター音声データ６０４ｄをスピーカ１１２に出力するためのプログラムである。また、音出力プログラム６０２ｇは、音検出プログラム６０２ｆで検出したロボット音声データ６０４ｃをサーバ１２に送信（または、出力）するためのプログラムでもある。このとき、通信プログラム６０２ａも実行される。

【0196】

図示は省略するが、プログラム記憶領域６０２には、ロボット１８のオペレーティングシステムおよび任意のミドルウェアに加えて、距離を検出するプログラムおよび慣性情報を検出するプログラムも記憶される。

【0197】

また、データ記憶領域６０４には、画像生成データ６０４ａ、ロボット画像データ６０４ｂ、ロボット音声データ６０４ｃ、アバター音声データ６０４ｄ、動作コマンドデータ６０４ｅおよびアバター画像データ６０４ｆなどが記憶される。

【0198】

画像生成データ６０４ａは、デフォルトのアバター、男性のアバター、女性のアバターについてのアバター画像２８を生成するためのポリゴンデータおよびテクスチャデータなどのデータである。

【0199】

ロボット画像データ６０４ｂは、ロボット１８が備えるカメラ１２２で撮影されたカメラ画像のデータである。ロボット画像データ６０４ｂは、サーバ１２に送信された後に消去される。

【0200】

ロボット音声データ６０４ｃは、ロボット１８が備えるマイク１１０で検出された対話エージェント等の音声のデータである。ロボット音声データ６０４ｃは、サーバ１２に送信された後に消去される。

【0201】

アバター音声データ６０４ｄは、サーバ１２から受信したアバター音声データである。アバター音声データ６０４ｄは、ＣＰＵ１００の処理に使用された後に消去される。

【0202】

動作コマンドデータ６０４ｅは、サーバ１２から受信した動作コマンドのデータである。この動作コマンドに従ってロボット１８の移動およびアバター画像２８の動作が制御される。動作コマンドデータ６０４ｅは、ＣＰＵ１００の処理に使用された後に消去される。

【0203】

アバター画像データ６０４ｆは、アバター画像生成プログラム６０２ｄに従って生成されたアバター画像２８の画像データである。

【0204】

図示は省略するが、データ記憶領域６０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。

【0205】

図１１－図１７は図２に示したサーバ１２のＣＰＵ５０の所定のサービス実行時における情報処理の一例を示すフロー図である。図示は省略するが、サーバ１２のＣＰＵ５０は、操作者端末１６からの要求に応じて、操作者端末１６または操作者のログインおよびログアウトの処理を、情報処理と並行して実行する。

【0206】

図１１に示すように、ＣＰＵ５０は、情報処理を開始すると、ステップＳ１で、ロボット１８の動作モードが自律モードであるかどうかを判断する。ここでは、ＣＰＵ５０は、動作モードデータ４０４ｅを参照して、動作モードとして自律モードが設定されているかどうかを判断する。

【0207】

なお、ＣＰＵ５０は、ロボット１８を操作する操作者が居ない場合に、つまり、いずれの操作者端末１６もログインしていない場合に、自律モードを設定する。また、ＣＰＵ５０は、自律モードを設定した場合には、デフォルトのアバター画像２８を表示することをロボット１８に指示する。

【0208】

ただし、ＣＰＵ５０は、情報処理を開始したときに、ロボット１８を遠隔操作する操作者が既に割り当てられている場合には、動作モードとして遠隔モードを設定する。

【0209】

ステップＳ１で“ＮＯ”であれば、つまり、動作モードが自律モードでなければ、図１４に示すステップＳ５１に進む。一方、ステップＳ１で“ＹＥＳ”であれば、つまり、動作モードが自律モードであれば、ステップＳ３で、ロボット１８が待機中であるかどうかを判断する。ここでは、ＣＰＵ５０は、ロボット１８が対話エージェントに応対していないかどうかを判断する。一例として、ＣＰＵ５０は、ロボット１８から音声データを受信しない状態が一定時間以上継続しているかどうかを判断する。

【0210】

ステップＳ３で“ＹＥＳ”であれば、つまり、ロボット１８が待機中であれば、ステップＳ５で、無意識動作を実行するかどうかを判断する。ここでは、ＣＰＵ５０は、ロボット１８を自律行動させるプログラムに従ってアバター（アバター画像２８）が視線の向きを変えたり、顔を左または右に向けたりするタイミングであるかどうかを判断する。

【0211】

ステップＳ５で“ＮＯ”であれば、つまり、無意識動作を実行しない場合には、図１７に示すステップＳ１１７に進む。一方、ステップＳ５で“ＹＥＳ”であれば、つまり、無意識動作を実行する場合には、ステップＳ７で、無意識動作についての動作コマンドデータをロボット１８に送信してステップＳ１１７に進む。

【0212】

上述したように、ステップＳ３で“ＮＯ”であれば、図１２に示すステップＳ９で、ロボット画像データを受信したかどうかを判断する。ステップＳ９で“ＮＯ”であれば、つまり、ロボット画像データを受信していなければ、図１３に示すステップＳ２７に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまり、ロボット画像データを受信していれば、ステップＳ１１で、ロボット画像データ４０４ａをＲＡＭ５２に記憶し、さらに、ステップＳ１３で、ロボット画像データ４０４ａを履歴ＤＢ１２ａに記憶する。

【0213】

次のステップＳ１５では、対話エージェントを認識する。ここでは、ＣＰＵ５０は、ロボット画像データ４０４ａにおいて人間の顔画像を認識し、顧客情報ＤＢ１２ｂを参照して、認識した顔画像と一致する顔画像を含む顧客情報が登録されているかどうかを検索する。

【0214】

続いて、ステップＳ１７で、対話エージェントの顧客情報が登録されているかどうかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり、対話エージェントの顧客情報が登録されていなければ、ステップＳ１９で、対話エージェントを新規顧客として顧客情報ＤＢ１２ｂに登録して、ステップＳ２７に進む。このステップＳ１９では、ＣＰＵ５０は、顧客ＩＤを発行し、ステップＳ１５で認識した顔画像を含む顧客情報に、発行した顧客ＩＤを対応づけて顧客情報ＤＢ１２ｂに登録する。このことは、後述するステップＳ７１においても同じである。

【0215】

一方、ステップＳ１７で“ＹＥＳ”であれば、対話エージェントの顧客情報が登録されていれば、ステップＳ２１で、対話エージェントの変更かどうかを判断する。つまり、ＣＰＵ５０は、応対している対話エージェントが変わったかどうかを判断する。ただし、ＣＰＵ５０は、情報処理を開始した当初では、ロボット１８が１人目の対話エージェントに応対する場合には、対話エージェントの変更でないと判断する。

【0216】

ステップＳ２１で“ＹＥＳ”であれば、つまり、対話エージェントの変更であれば、ステップＳ２５に進む。一方、ステップＳ２１で“ＮＯ”であれば、つまり、対話エージェントの変更でなければ、ステップＳ２３で、顧客情報の取得済みであるかどうかを判断する。

【0217】

ステップＳ２３で“ＹＥＳ”であれば、つまり、顧客情報の取得済みであれば、ステップＳ２７に進む。一方、ステップＳ２３で“ＮＯ”であれば、つまり、顧客情報の取得済みでなければ、ステップＳ２５で、ステップＳ１５で認識した対話エージェントの顧客情報を顧客情報ＤＢ１２ｂから取得して、顧客情報データ４０４ｆをＲＡＭ５２に記憶して、ステップＳ２７に進む。

【0218】

図１３に示すように、ステップＳ２７では、ロボット音声データを受信したかどうかを判断する。ステップＳ２７で“ＮＯ”であれば、つまり、ロボット音声データを受信していなければ、ステップＳ３３に進む。図示は省略するが、ロボット音声データを受信していない場合には、その時間が計測される。一方、ステップＳ２７で“ＹＥＳ”であれば、つまり、ロボット音声データを受信していれば、ステップＳ３９で、ロボット音声データ４０４ｂをＲＡＭ５２に記憶して、ステップＳ３３に進む。

【0219】

ステップＳ３３では、対話エージェントの感情を推定する。対話エージェントの感情を推定する方法は上述したとおりである。次のステップＳ３５では、最新の対話に含まれる個別情報およびアバターに設定された個別情報を抽出（または、取得）する。

【0220】

次のステップＳ３７では、抽出した個別情報が対話エージェントの顧客情報に登録されているかどうかを判断する。ステップＳ３７で“ＮＯ”であれば、つまり、抽出した個別情報が対話エージェントの顧客情報に登録されていなければ、ステップＳ３９で、抽出した個別情報およびその重要度（ここでは、初期値＝１）を対話エージェントの顧客情報に登録して、ステップＳ４３に進む。

【0221】

一方、ステップＳ３７で“ＹＥＳ”であれば、つまり、抽出した個別情報が対話エージェントの顧客情報に登録されていれば、ステップＳ４１で、抽出した個別情報の重要度を更新して、ステップＳ４３に進む。個別情報の重要度を更新する方法は上述したとおりである。また、ステップＳ３５で、複数の個別情報が抽出されている場合には、ステップＳ３７－Ｓ４１の処理は、複数の個別情報の各々について実行される。

【0222】

ステップＳ４３では、ロボット１８のコミュニケーション行動を決定する。ただし、コミュニケーション行動の決定は、上述した特開２００９－１３１９１４号に開示された方法に従って行われる。

【0223】

次のステップＳ４５では、ステップＳ４３で決定されたコミュニケーション行動に含まれる身振りすなわち動作についての動作コマンドデータをロボット１８に送信する。ただし、コミュニケーション行動に動作が含まれない場合には、動作コマンドデータは送信されない。

【0224】

続くステップＳ４７では、ステップＳ４３で決定されたコミュニケーション行動に含まれる発話内容に対応するアバター音声データをロボット１８に送信する。ただし、コミュニケーション行動に発話が含まれない場合には、アバター音声データは送信されない。

【0225】

そして、ステップＳ４９で、動作コマンドデータおよびアバター音声データを履歴ＤＢ１２ａに記憶して、ステップＳ１１７に進む。ただし、コミュニケーション行動に動作が含まれない場合には、ステップＳ４９で、動作コマンドデータは記憶されない。また、コミュニケーション行動に発話が含まれない場合には、ステップＳ４９で、アバター音声データは記憶されない。

【0226】

上述したように、ステップＳ１で“ＮＯ”であれば、つまり、遠隔モードでは、図１４に示すステップＳ５１で、操作者端末１６から操作者発話データを受信したかどうかを判断する。ステップＳ５１で“ＮＯ”であれば、つまり、操作者発話データを受信していなければ、ステップＳ５９に進む。一方、ステップＳ５１で“ＹＥＳ”であれば、つまり、操作者発話データを受信すれば、ステップＳ５３で、操作者発話データ４０４ｃをＲＡＭ５２に記憶し、ステップＳ５５で、操作者発話データ４０４ｃに基づくアバター音声データ４０４ｈをロボット１８に送信し、ステップＳ５７で、操作者発話データ４０４ｃを履歴ＤＢ１２ａに記憶して、ステップＳ５９に進む。

【0227】

ステップＳ５９では、ロボット１８からロボット画像データを受信したかどうかを判断する。ステップＳ５９“ＮＯ”であれば、つまり、ロボット画像データを受信していなければ、図１５に示すステップＳ６７に進む。一方、ステップＳ５９で“ＹＥＳ”であれば、つまり、ロボット画像データを受信すれば、ステップＳ６１で、ロボット画像データ４０４ａをＲＡＭ５２のデータ記憶領域４０４に記憶し、ステップＳ６３で、ロボット画像データ４０４ａを操作者端末１６に送信し、ステップＳ６５で、ロボット画像データ４０４ａを履歴ＤＢ１２ａに記憶して、ステップＳ６７に進む。

【0228】

図１５に示すステップＳ６７では、対話エージェントを認識し、ステップＳ６９で、対話エージェントの顧客情報が登録されているかどうかを判断する。ステップＳ６９で“ＮＯ”であれば、つまり、対話エージェントの顧客情報が登録されていなければ、ステップＳ７１で、対話エージェントを新規顧客として顧客情報ＤＢ１２ｂに登録して、ステップＳ７９に進む。

【0229】

一方、ステップＳ６９で“ＹＥＳ”であれば、対話エージェントの顧客情報が登録されていれば、ステップＳ７３で、対話エージェントの変更かどうかを判断する。

【0230】

ステップＳ７３で“ＹＥＳ”であれば、つまり、対話エージェントの変更であれば、ステップＳ７７に進む。一方、ステップＳ７３で“ＮＯ”であれば、つまり、対話エージェントの変更でなければ、ステップＳ７５で、顧客情報の送信済みであるかどうかを判断する。

【0231】

ステップＳ７５で“ＹＥＳ”であれば、つまり、顧客情報の送信済みであれば、図１６に示すステップＳ８１に進む。一方、ステップＳ７５で“ＮＯ”であれば、つまり、顧客情報の送信済みでなければ、ステップＳ７７で、ステップＳ６７で認識した対話エージェントの顧客情報を顧客情報ＤＢ１２ｂから取得し、ステップＳ７９で、対話エージェントの顧客情報を操作者端末１６に送信して、ステップＳ８１に進む。

【0232】

図１６に示すように、ステップＳ８１では、ロボット１８からロボット音声データを受信したかどうかを判断する。ステップＳ８１で“ＮＯ”であれば、つまり、ロボット音声データを受信していなければ、ステップＳ８９に進む。一方、ステップＳ８１で“ＹＥＳ”であれば、つまり、ロボット音声データを受信すれば、ステップＳ８３で、ロボット音声データ４０４ｂをデータ記憶領域４０４に記憶し、ステップＳ８５で、ロボット音声データ４０４ｂを操作者端末１６に送信し、ステップＳ８７で、ロボット音声データ４０４ｂを履歴ＤＢ１２ａに記憶して、ステップＳ８９に進む。

【0233】

ステップＳ８９では、対話エージェントの感情を推定する。対話エージェントの感情を推定する方法は上述したとおりである。次のステップＳ９１では、最新の対話およびアバターに設定された応対情報から個別情報を抽出（または、取得）する。

【0234】

次のステップＳ９３では、抽出した個別情報が対話エージェントの顧客情報に登録されているかどうかを判断する。ステップＳ９３で“ＮＯ”であれば、つまり、抽出した個別情報が対話エージェントの顧客情報に登録されていなければ、ステップＳ９５で、抽出した個別情報およびその重要度（ここでは、初期値＝１）を対話エージェントの顧客情報に登録して、ステップＳ９９に進む。つまり、新規顧客の対話エージェントについての顧客情報が登録される。

【0235】

一方、ステップＳ９３で“ＹＥＳ”であれば、つまり、抽出した個別情報が対話エージェントの顧客情報に登録されていれば、ステップＳ９７で、抽出した個別情報の重要度を更新して、ステップＳ９９に進む。つまり、個別情報の重要度が更新されることによって、当該個別情報を含む顧客情報が更新される。ただし、個別情報の重要度を更新する方法は上述したとおりである。また、ステップＳ９１で、複数の個別情報が抽出されている場合には、ステップＳ９３－Ｓ９７の処理は、複数の個別情報の各々について実行される。

【0236】

ステップＳ９９では、更新または登録された顧客情報を操作者端末１６に送信して、図１７に示すステップＳ１０１に進む。したがって、操作者端末１６では、登録された顧客情報を用いた顧客情報画面３００が表示されたり、更新された顧客情報を用いた顧客情報画面３００が表示（更新）されたりする。したがって、操作者は、顧客情報画面３００において、個別情報がほとんど表示されていない場合に、新規顧客またはほとんど対話したことのない対話エージェントに応対ししていることを知ることができる。また、対話中に個別情報が更新されることで、常に新しい顧客情報を参照しながら対話エージェントに応対することができる。つまり、対話エージェントに対して適切に応対することができる。

【0237】

図１７に示すように、ステップＳ１０１では、操作者端末１６から動作コマンドデータを受信したかどうかを判断する。ステップＳ１０１で“ＮＯ”であれば、つまり、動作コマンドデータを受信していなければ、ステップＳ１１７に進む。一方、ステップＳ１０１で“ＹＥＳ”であれば、つまり、動作コマンドデータを受信すれば、ステップＳ１０３で、動作コマンドデータ４０４ｄをＲＡＭ５２のデータ記憶領域４０４に記憶し、ステップＳ１０５で、動作コマンドデータ４０４ｄをロボット１８に送信し、ステップＳ１０７で、動作コマンドデータ４０４ｄを履歴ＤＢ１２ａに記憶する。

【0238】

続くステップＳ１０９では、操作者端末１６から重要な対話の登録指示が有るかどうかを判断する。ステップＳ１０９で“ＹＥＳ”であれば、つまり、重要な対話の登録指示が有れば、ステップＳ１１１で、重要な対話を顧客情報データ４０４ｆおよび顧客情報ＤＢ１２ｂに記憶された対話エージェントの顧客情報データに登録して、ステップＳ１１７に進む。一方、ステップＳ１０９で“ＮＯ”であれば、つまり、重要な対話の登録指示が無ければ、ステップＳ１１３で、重要な対話の削除指示が有るかどうかを判断する。

【0239】

ステップＳ１１３で“ＹＥＳ”であれば、つまり、重要な対話の削除指示が有れば、ステップＳ１１５で、削除指示された重要な対話を、顧客情報データ４０４ｆおよび顧客情報ＤＢ１２ｂに記憶された対話エージェントの顧客情報データから削除して、ステップＳ１１７に進む。一方、ステップＳ１１３で“ＮＯ”であれば、つまり、重要な対話の削除指示が無ければ、ステップＳ１１７で、サービスの終了かどうかを判断する。ここでは、ＣＰＵ５０は、サービスの終了時刻になったり、サービスの提供をすべて終了したりしたかどうかを判断する。

【0240】

ステップＳ１１７で“ＮＯ”であれば、つまり、サービスの終了でなければ、ステップＳ１に戻る。一方、ステップＳ１１７で“ＹＥＳ”であれば、つまり、サービスの終了であれば、ステップＳ１１９で、サービスの終了通知を操作者端末１６およびロボット１８に送信して、情報処理を終了する。

【0241】

図１８－図２０は図３に示した操作者端末１６のＣＰＵ７０の情報処理の一例を示すフロー図である。なお、図示は省略するが、操作者端末１６のＣＰＵ７０は、操作データ５０４ａを検出したり、操作者発話データ５０４ｆを取得したりして、各データをサーバ１２に送信する処理（すなわち、送信処理）を実行したり、サーバ１２から送信されたロボット画像データ４０４ａおよびロボット音声データ４０４ｂを受信する処理（すなわち、受信処理）を実行したりする。

【0242】

図１８に示すように、ＣＰＵ７０は、情報処理を開始すると、ステップＳ２０１で、サーバ１２と接続状態を確立する。次のステップＳ２０３で、図５に示したような制御画面２００を表示装置８０に表示（または、更新）する。ただし、情報処理を開始した当初では、ロボット画像データを受信していないため、表示領域２０２には何も画像が表示されない。また、このとき、動作モードとして遠隔モードが設定される。

【0243】

次のステップＳ２０５では、サーバ１２から顧客情報を受信したかどうかを判断する。ステップＳ２０５で“ＮＯ”であれば、つまり、サーバ１２から顧客情報を受信していなければ、ステップＳ２０９に進む。一方、ステップＳ２０５で“ＹＥＳ”であれば、つまり、サーバ１２から顧客情報を受信していれば、ステップＳ２０７で、図６に示したような顧客情報画面３００を表示装置８０に表示（または、更新）して、ステップＳ２０９に進む。上述したように、顧客情報画面３００は、制御画面２００に並べて表示される。

【0244】

ステップＳ２０９では、動作コマンドの入力が有るかどうかを判断する。ここでは、ＣＰＵ７０は、ボタン２１０－２２４、２２０－２２８…が操作されたかどうかを判断する。

【0245】

ステップＳ２０９で“ＮＯ”であれば、つまり、動作コマンドの入力が無ければ、ステップＳ２１３に進む。一方、ステップＳ２０９で“ＹＥＳ”であれば、つまり、動画コマンドの入力が有れば、ステップＳ２１１で、動作コマンドデータ５０４ｇをサーバ１２に送信して、ステップＳ２１３に進む。

【0246】

ステップＳ２１３では、発話が有るかどうかを判断する。ここでは、ＣＰＵ７０は、操作者の音声が入力されたり、発話コマンドが入力されたりしたかどうかを判断する。

【0247】

ステップＳ２１３で“ＹＥＳ”であれば、つまり、発話が有れば、ステップＳ２１５で、操作者発話データをサーバ１２に送信して、図１９に示すステップＳ２１７に進む。一方、ステップＳ２１３で“ＮＯ”であれば、つまり、発話が無ければ、ステップＳ２１７に進む。

【0248】

図１９に示すように、ステップ２１７では、サーバ１２から対話データを受信したかどうかを判断する。ステップＳ２１７で“ＮＯ”であれば、つまり、サーバから対話データを受信していなければ、ステップＳ２２７に進む。一方、ステップＳ２１７で“ＹＥＳ”であれば、つまり、サーバ１２から対話データを受信すれば、ステップＳ２１９で、ロボット音声データが有るかどうかを判断する。

【0249】

ステップＳ２１９で“ＹＥＳ”であれば、つまり、ロボット音声データ５０４ｅが有れば、ステップＳ２２１で、ロボット音声データ５０４ｅを出力し、ステップＳ２２３で、ロボット画像データ５０４ｄを出力して、ステップＳ２２７に進む。したがって、ロボット１８を通して操作者と対話する対話エージェントの音声が操作者端末１６のスピーカ８４から出力され、ロボット１８を通して操作者と対話する対話エージェント等を含むカメラ画像が制御画面２００の表示領域２０２に表示される。

【0250】

一方、ステップＳ２１９で“ＮＯ”であれば、つまり、ロボット音声データ５０４ｅが無ければ、ステップＳ２２５で、ロボット画像データ５０４ｄを出力して、ステップＳ２２７に進む。

【0251】

ステップＳ２２７では、発話内容のテキスト入力かどうかを判断する。ステップＳ２２７で“ＮＯ”であれば、つまり、発話内容のテキスト入力でなければ、ステップＳ２３１に進む。一方、ステップＳ２２７“ＹＥＳ”であれば、つまり、発話内容のテキスト入力であれば、ステップＳ２２９で、入力されたテキストを表示領域２５０に表示して、ステップＳ２３１に進む。

【0252】

ステップＳ２３１では、重要な対話の登録かどうかを判断する。ここでは、ＣＰＵ７０は、入力欄３１０にテキストが入力（表示）された状態でボタン３１２がオンされたかどうかを判断する。

【0253】

ステップＳ２３１で“ＮＯ”であれば、つまり、重要な対話の登録でなければ、図２０に示すステップＳ２３５に進む。一方、ステップＳ２３１で“ＹＥＳ”であれば、つまり、重要な対話の登録であれば、ステップＳ２３３で、重要な対話の登録指示をサーバ１２に送信して、ステップＳ２３５に進む。ただし、ステップＳ２３３では、登録指示と重要な対話のテキストデータがサーバ１２に送信される。図示は省略するが、このとき、重要な対話のテキストデータが、重要な対話に分類されて顧客情報データ５０４ｃに追加される。したがって、その後、顧客情報画面３００を表示すると（Ｓ２０７）、追加された重要な対話が表示される。

【0254】

図２０に示すように、ステップＳ２３５では、重要な対話の削除かどうかを判断する。ここでは、ＣＰＵ７０は、入力欄３１０にテキストが入力（表示）された状態でボタン３１４がオンされたかどうかを判断する。

【0255】

ステップＳ２３５で“ＮＯ”であれば、つまり、重要な対話の削除でなければ、ステップＳ２３９に進む。一方、ステップＳ２３５で“ＹＥＳ”であれば、つまり、重要な対話の削除であれば、ステップＳ２３７で、重要な対話の削除指示をサーバ１２に送信して、ステップＳ２３９に進む。ただし、ステップＳ２３７では、削除指示と重要な対話のテキストデータがサーバ１２に送信される。図示は省略するが、このとき、重要な対話のテキストデータが、顧客情報データ５０４ｃから削除される。したがって、その後、顧客情報画面３００を表示すると（Ｓ２０７）、削除された重要な対話が非表示される。

【0256】

ステップＳ２３９では、重要な対話のテキスト入力かどうかを判断する。ステップＳ２３９で“ＮＯ”であれば、つまり、重要な対話のテキスト入力でなければ、ステップＳ２４３に進む。一方、ステップＳ２３９で“ＹＥＳ”であれば、つまり、重要な対話のテキスト入力であれば、ステップＳ２４１で、入力されたテキストを入力欄３１０に表示して、ステップＳ２４３に進む。

【0257】

ステップＳ２４３では、サービスの終了かどうかを判断する。ここでは、ＣＰＵ７０は、サーバ１２からサービスの終了通知を受信したかどうかを判断する。ステップＳ２４３で“ＹＥＳ”であれば、つまり、サービス終了であれば、情報処理を終了する。

【0258】

一方、ステップＳ２４３で“ＮＯ”であれば、つまり、サービス終了でなければ、ステップＳ２４５で、ログアウトするかどうかを判断する。ここでは、ＣＰＵ７０は、操作者がログアウトを指示したかどうかを判断する。ステップＳ２４５で“ＮＯ”であれば、つまり、ログアウトしない場合には、ステップＳ２０３に戻る。一方、ステップＳ２４５で“ＹＥＳ”であれば、つまり、ログアウトする場合には、ステップＳ２４７で、ログアウトの指示をサーバ１２に送信して、情報処理を終了する。

【0259】

図２１および図２２は図４に示したロボット１８のＣＰＵ１００の制御処理の一例を示すフロー図である。なお、図示は省略するが、ロボット１８のＣＰＵ１００は、ロボット画像データ６０４ｂを検出したり、ロボット音声データ６０４ｃを検出したり、各データをサーバ１２に送信する送信処理を実行したり、サーバ１２から送信されたアバター音声データ６０４ｄおよび動作コマンドデータ６０４ｇを受信する受信処理を実行したりする。

【0260】

図２１に示すように、ＣＰＵ１００は、制御処理を開始すると、ステップＳ３０１で、サーバ１２と接続状態を確立する。次のステップＳ３０３では、アバター画像データを生成および出力する。つまり、アバター画像２８が表示装置３０に表示される。

【0261】

ただし、表示するアバター画像２８は、サーバ１２から指示された種類（男性、女性またはロボット１８らしい姿形）の画像である。このことは、後述するステップＳ３１７およびＳ３１９においても同じである。

【0262】

図示は省略するが、ＣＰＵ１００は、制御処理の実行中に、サーバ１２からアバターの種類を変更することが指示されると、指示された種類のアバター画像２８を表示する。

【0263】

続いて、ステップＳ３０５では、サービス終了であるかどうかを判断する。ここでは、ＣＰＵ１００は、サーバ１２からサービスの終了通知を受信したかどうかを判断する。ステップＳ３０５で“ＹＥＳ”であれば、つまり、サービス終了であれば、制御処理を終了する。一方、ステップＳ３０５で“ＮＯ”であれば、つまり、サービス終了でなければ、ステップＳ３０７で、サーバ１２から対話データを受信したかどうかを判断する。

【0264】

ステップＳ３０７で“ＮＯ”であれば、つまり、サーバ１２から対話データを受信していなければ、図２２に示すステップＳ３２３に進む。一方、ステップＳ３０７で“ＹＥＳ”であれば、つまり、サーバ１２から対話データを受信すれば、ステップＳ３０９で、アバター音声データ６０４ｄが有るかどうかを判断する。

【0265】

ステップＳ３０９で“ＮＯ”であれば、つまり、アバター音声データ６０４ｄが無ければ、図２２に示すステップＳ３１３に進む。ステップＳ３０９で“ＹＥＳ”であれば、つまり、アバター音声データ６０４ｄが有れば、ステップＳ３１１で、アバター音声データ６０４ｄをスピーカ１１２に出力して、ステップＳ３１３に進む。

【0266】

図２２に示すように、ステップＳ３１３では、動作コマンドデータ６０４ｇが有るかどうかを判断する。ステップＳ３１３で“ＮＯ”であれば、つまり、動作コマンドデータ６０４ｇが無ければ、ステップＳ３１７に進む。一方、ステップＳ３１３で“ＹＥＳ”であれば、つまり、動作コマンドデータ６０４ｇが有れば、ステップＳ３１５で、動作コマンドデータ６０４ｇが移動の指示を含むかどうかを判断する。

【0267】

ステップＳ３１５で“ＮＯ”であれば、つまり、動作コマンドデータ６０４ｇが移動の指示を含まない場合には、ステップＳ３１７で、画像生成データ６０４ａを用いて、動作コマンドデータ６０４ｇに従う動作を行うアバター画像データ６０４ｈを生成および出力して、ステップＳ３２３に進む。一方、ステップＳ３１５で“ＹＥＳ”であれば、つまり、動作コマンドデータ６０４ｇが移動を含む場合には、ステップＳ３１９で、画像生成データ６０４ａを用いて、動作コマンドデータ６０４ｇに従う動作を行うアバター画像データ６０４ｈを生成および出力し、ステップＳ３２１で、動作コマンドデータ６０４ｇに従って移動処理を実行して、ステップＳ３２３に進む。

【0268】

ステップＳ３２３では、音声の入力が有るかどうかを判断する。ステップＳ３２３で“ＹＥＳ”であれば、つまり、音声の入力が有れば、ステップＳ３２５で、ロボット画像データ６０４ｂとロボット音声データ６０４ｃをサーバ１２に送信して、ステップＳ３０５に戻る。一方、ステップＳ３２３で“ＮＯ”であれば、つまり、音声の入力が無ければ、ステップＳ３２７で、ロボット画像データ６０４ｂをサーバ１２に送信して、ステップＳ３０５に戻る。

【0269】

この実施例によれば、顧客情報に含まれる個別情報を登録するとともに、対話に含まれる個別情報およびアバターに設定された個別情報の重要度を対話エージェントの反応に基づいて更新するので、個別情報を用いることで対話エージェントの好みに合わせて応対することができる。

【0270】

また、この実施例によれば、個別情報には、重要な対話履歴を含むので、異なる操作者が応対した場合であっても、重要な対話について適切に応対することができる。

【0271】

なお、この実施例では、表示装置にアバター画像が表示されたロボットを用いるようにしたが、これに限定される必要はない。

【0272】

本件出願人が販売等を行うコミュニケーションロットのロボビー（登録商標）を使用することができる。かかる場合には、手の動き、頭部（首）の動きは、ロボットによって実現することができる。ただし、見た目（服装および性別）を変えることはできない。

【0273】

また、本件出願人が販売等を行うアンドロイド（登録商標）のエリカを使用することもできる。かかる場合には、手の動き、頭部（首）の動き、顔の表情および口の動きは、ロボットによって実現することができる。ただし、見た目（服装および性別）を変えることはできない。

【0274】

したがって、実施例で説明したロボット、他のロボットは提供するサービスの種類によって使い分けされてもよい。

【0275】

なお、この実施例では、対話履歴として、画像データと音声データを記憶するようにしたが、音声データのみを記憶するようにしてもよい。かかる場合には、音声データに基づいて対話エージェントの感情が推定される。

【0276】

また、この実施例では、ロボットが発話した場合に、最新の対話に含まれる個別情報について重要度を更新するようにしたが、対話エージェントの応対をすべて終えた後に、全部の対話に含まれる個別情報について重要度を更新するようにしてもよい。

【0277】

さらに、この実施例では、操作者端末は、操作者音声データおよび動作コマンドデータを、サーバに送信し、サーバで声の嗜好に応じたアバター音声データを生成するようにしたが、これに限定される必要はない。操作者端末またはロボットで、声の嗜好に応じたアバター音声データを生成するようにしてもよい。

【0278】

操作者端末で声の嗜好に応じたアバター音声データを生成する場合には、当該操作者端末において、声の嗜好に応じた音響モデルに変換したアバター音声データが生成され、ロボット１８に送信される。

【0279】

また、ロボットで声の嗜好に応じたアバター音声データを生成する場合には、当該ロボットにおいて、操作者端末から受信した操作者発話データから声の嗜好に応じた音響モデルに変換したアバター音声データが生成される。

【0280】

また、この実施例では、アバター画像２８として、所定のＣＧのキャラクタを表示するようにしたが、操作者の映像を表示するようにしてもよい。かかる場合には、操作者端末が備えるカメラで撮影された操作者の映像がサーバを介してロボットに送信され、表示装置に出力される。

【0281】

また、この実施例では、ロボットのアバターを用いた対話サービスについて説明したが、ＣＧのアバターを用いた対話サービスにも適用可能である。かかる場合には、ロボットに代えて、ＣＧのアバターを表示する表示装置を備えるとともに、カメラ、マイクおよびスピーカをさらに備えるコンピュータが設けられる。一例として、コンピュータとしては、汎用のＰＣ、スマートフォン、タブレットＰＣなどを用いることができる。この場合、ＣＧのアバターは、操作者によって動作および発話を制御される。

【0282】

また、上述の実施例で示したフロー図の各ステップは同じ結果が得られる場合には、処理する順番を変更することが可能である。

【0283】

さらに、上述の実施例で挙げた各種の画面、具体的数値はいずれも単なる例示であり、必要に応じて適宜変更可能である。

【符号の説明】

【0284】

１０ …情報処理システム
１２ …サーバ
１４ …ネットワーク
１６ …操作者端末
１８ …ロボット
５０、７０、１００ …ＣＰＵ
５２、７２、１０２ …ＲＡＭ
５４、７４、１０４ …通信Ｉ／Ｆ
５６、７６、１０６ …入出力Ｉ／Ｆ
５８、７８、１０８ …入力装置
３０、６０、８０ …表示装置
８２、１１０ …マイク
８４、１１２ …スピーカ
８６、１２０ …センサＩ／Ｆ
８８、１２２ …カメラ
１２４、１２６ …ＬＲＦ
１２８ …慣性計測ユニット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】