知財求人 - 知財ポータルサイト「IP Force」
特開2024-135494情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135494
(43)【公開日】2024-10-04
(54)【発明の名称】情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
(51)【国際特許分類】
G10L 13/047 20130101AFI20240927BHJP
G06F 3/16 20060101ALI20240927BHJP
G06F 3/01 20060101ALI20240927BHJP
G10L 15/22 20060101ALI20240927BHJP
【ＦＩ】
G10L13/047 Z
G06F3/16 540
G06F3/01 510
G10L15/22 300U
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023046205
(22)【出願日】2023-03-23
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「企業連携実証実験基盤の開発・ 運営と企業コンソーシアム活動支援」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。／ 令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「利用者モニタリングと経験管理の研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。
(71)【出願人】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(74)【代理人】
【識別番号】100090181
【弁理士】
【氏名又は名称】山田 義人
(72)【発明者】
【氏名】西村 祥吾
(72)【発明者】
【氏名】宮下 敬宏
(72)【発明者】
【氏名】内海 章
(72)【発明者】
【氏名】太田 陽
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA16
5E555AA27
5E555AA71
5E555AA80
5E555BA11
5E555BA15
5E555BA38
5E555BA87
5E555BB15
5E555BB38
5E555BD01
5E555BD07
5E555CA47
5E555CB64
5E555DA23
5E555DB32
5E555DB57
5E555FA00
(57)【要約】
【課題】 操作者が交代してもアバターを用いたサービスを円滑に提供することができる。
【解決手段】 情報処理システム１０では、ネットワーク１４によって、サーバ１２、操作者端末１６およびロボット１８が連係する。ロボットは、表示装置３０に操作者のアバター画像２８を表示し、操作者であるサービスユーザに所定のサービスを提供する。このとき、操作者は、ロボットを通して対話エージェントと対話する。操作者の発話内容および対話エージェントの音声はサーバを介してロボットまたは操作者端末から出力される。他の操作者の個性を反映する場合には、この他の操作者の音響モデルを用いた合成音声が生成され、ロボットから出力され、他の操作者の癖動作がロボットによって実行される。
【選択図】 図１
【解決手段】 情報処理システム１０では、ネットワーク１４によって、サーバ１２、操作者端末１６およびロボット１８が連係する。ロボットは、表示装置３０に操作者のアバター画像２８を表示し、操作者であるサービスユーザに所定のサービスを提供する。このとき、操作者は、ロボットを通して対話エージェントと対話する。操作者の発話内容および対話エージェントの音声はサーバを介してロボットまたは操作者端末から出力される。他の操作者の個性を反映する場合には、この他の操作者の音響モデルを用いた合成音声が生成され、ロボットから出力され、他の操作者の癖動作がロボットによって実行される。
【選択図】 図１
【特許請求の範囲】
【請求項1】
ロボットまたはコンピュータグラフィックスのアバター、
前記アバターの動作および発話を制御する操作者が使用する操作者端末、および
前記アバターおよび前記操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムであって、
前記情報処理装置は、
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定手段、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、
前記設定手段によって設定された個性情報に含まれる音響モデルを用いて、前記第１受信手段によって受信された前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成手段、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信する第１送信手段、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信手段、および
前記第２受信手段によって受信された記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第２送信手段を備え、
前記アバターは、
前記第１送信手段によって送信された前記制御信号および前記他者音声発話内容の少なくとも一方を受信する第３受信手段、
前記第３受信手段によって受信された前記制御信号に従う動作を実行する動作実行手段、
前記第３受信手段によって受信された前記他者音声発話内容を出力するアバター音声出力手段、および
前記操作者の対話相手の映像および音声の少なくとも一方を検出して前記情報処理装置に送信する第３送信手段を備え、
前記操作者端末は、
前記操作者によって入力された前記アバターの動作を制御する前記制御信号を検出して前記情報処理装置に送信する第４送信手段、
前記操作者によって入力された前記アバターの発話を制御する発話内容を検出して前記情報処理装置に送信する第５送信手段、
前記第２送信手段によって送信された前記対話相手の映像および音声の少なくとも一方を受信する第４受信手段、
前記第４受信手段によって受信された前記対話相手の映像を表示する表示手段、および
前記第４受信手段によって受信された前記対話相手の音声を出力する出力手段を備える、情報処理システム。
前記アバターの動作および発話を制御する操作者が使用する操作者端末、および
前記アバターおよび前記操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムであって、
前記情報処理装置は、
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定手段、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、
前記設定手段によって設定された個性情報に含まれる音響モデルを用いて、前記第１受信手段によって受信された前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成手段、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信する第１送信手段、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信手段、および
前記第２受信手段によって受信された記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第２送信手段を備え、
前記アバターは、
前記第１送信手段によって送信された前記制御信号および前記他者音声発話内容の少なくとも一方を受信する第３受信手段、
前記第３受信手段によって受信された前記制御信号に従う動作を実行する動作実行手段、
前記第３受信手段によって受信された前記他者音声発話内容を出力するアバター音声出力手段、および
前記操作者の対話相手の映像および音声の少なくとも一方を検出して前記情報処理装置に送信する第３送信手段を備え、
前記操作者端末は、
前記操作者によって入力された前記アバターの動作を制御する前記制御信号を検出して前記情報処理装置に送信する第４送信手段、
前記操作者によって入力された前記アバターの発話を制御する発話内容を検出して前記情報処理装置に送信する第５送信手段、
前記第２送信手段によって送信された前記対話相手の映像および音声の少なくとも一方を受信する第４受信手段、
前記第４受信手段によって受信された前記対話相手の映像を表示する表示手段、および
前記第４受信手段によって受信された前記対話相手の音声を出力する出力手段を備える、情報処理システム。
【請求項2】
複数の操作者の各々についての個性情報を記憶する記憶手段を備え、
前記情報処理装置の前記設定手段は、前記操作者端末からの指示に応じて、前記記憶手段に記憶された複数の個性情報のうちから選択した１の前記他の操作者についての個性情報を設定する、請求項１記載の情報処理システム。
前記情報処理装置の前記設定手段は、前記操作者端末からの指示に応じて、前記記憶手段に記憶された複数の個性情報のうちから選択した１の前記他の操作者についての個性情報を設定する、請求項１記載の情報処理システム。
【請求項3】
前記複数の操作者の各々が使用する複数の前記操作者端末をさらに備え、
前記情報処理装置の前記設定手段は、前記アバターの動作および発話を制御する前記操作者が他の操作者が使用する他の前記操作者端末に変更された場合に、設定されている前記個性情報を変更しない、請求項２記載の情報処理システム。
前記情報処理装置の前記設定手段は、前記アバターの動作および発話を制御する前記操作者が他の操作者が使用する他の前記操作者端末に変更された場合に、設定されている前記個性情報を変更しない、請求項２記載の情報処理システム。
【請求項4】
前記個性情報は、前記操作者が前記アバターの動作および発話を制御している場合の癖動作の情報をさらに含み、
前記情報処理装置の前記第１送信手段は、前記癖動作についての制御信号を前記アバターにさらに送信し、
前記アバターの前記第３受信手段は、前記第１送信手段によって送信された前記癖動作についての前記制御信号をさらに受信し、
前記動作実行手段は、前記第３受信手段によって受信された前記癖動作についての前記制御信号に従う動作を実行する、請求項１から３までのいずれかに記載の情報処理システム。
前記情報処理装置の前記第１送信手段は、前記癖動作についての制御信号を前記アバターにさらに送信し、
前記アバターの前記第３受信手段は、前記第１送信手段によって送信された前記癖動作についての前記制御信号をさらに受信し、
前記動作実行手段は、前記第３受信手段によって受信された前記癖動作についての前記制御信号に従う動作を実行する、請求項１から３までのいずれかに記載の情報処理システム。
【請求項5】
ロボットまたはコンピュータグラフィックスのアバター、および前記アバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置であって、
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定手段、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、
前記設定手段によって設定された個性情報に含まれる音響モデルを用いて、前記第１受信手段によって受信された前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成手段、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信する第１送信手段、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信手段、および
前記第２受信手段によって受信された前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第２送信手段を備える、情報処理装置。
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定手段、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、
前記設定手段によって設定された個性情報に含まれる音響モデルを用いて、前記第１受信手段によって受信された前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成手段、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信する第１送信手段、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信手段、および
前記第２受信手段によって受信された前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第２送信手段を備える、情報処理装置。
【請求項6】
ロボットまたはコンピュータグラフィックスのアバター、および前記アバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置の情報処理プログラムであって、
前記情報処理装置のプロセッサに、
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定ステップ、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信ステップ、
前記設定ステップにおいて設定した個性情報に含まれる音響モデルを用いて、前記第１受信ステップにおいて受信した前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成ステップ、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信する第１送信ステップ、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信ステップ、および
前記第２受信ステップにおいて受信した前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第２送信ステップを実行させる、情報処理プログラム。
前記情報処理装置のプロセッサに、
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定ステップ、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信ステップ、
前記設定ステップにおいて設定した個性情報に含まれる音響モデルを用いて、前記第１受信ステップにおいて受信した前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成ステップ、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信する第１送信ステップ、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信する第２受信ステップ、および
前記第２受信ステップにおいて受信した前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信する第２送信ステップを実行させる、情報処理プログラム。
【請求項7】
ロボットまたはコンピュータグラフィックスのアバター、
前記アバターの動作および発話を制御する操作者が使用する操作者端末、および
前記操作者端末および前記操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムの情報処理方法であって、
前記情報処理装置は、
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定し、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信し、
設定された個性情報に含まれる音響モデルを用いて、前記操作者端末から受信した前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成し、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信し、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信し、
受信した前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信し、
前記アバターは、
前記情報処理装置から送信された前記制御信号および前記他者音声発話内容の少なくとも一方を受信し、
受信した前記制御信号に従う動作を実行し、
受信した前記他者音声発話内容を出力し、
前記操作者の対話相手の映像および音声の少なくとも一方を検出して前記情報処理装置に送信し、
前記操作者端末は、
前記操作者によって入力された前記アバターの動作を制御する前記制御信号を検出して前記情報処理装置に送信し、
前記操作者によって入力された前記アバターの発話を制御する発話内容を検出して前記情報処理装置に送信し、
送信した前記対話相手の映像および音声の少なくとも一方を受信し、
受信した前記対話相手の映像を表示し、
受信した前記対話相手の音声を出力する、情報処理方法。
前記アバターの動作および発話を制御する操作者が使用する操作者端末、および
前記操作者端末および前記操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムの情報処理方法であって、
前記情報処理装置は、
前記アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定し、
前記操作者端末からの制御信号および前記操作者の発話内容である操作者発話内容の少なくとも一方を受信し、
設定された個性情報に含まれる音響モデルを用いて、前記操作者端末から受信した前記操作者発話内容を、前記他の操作者の音声の発話内容である他者音声発話内容として生成し、
前記制御信号および前記他者音声発話内容の少なくとも一方を前記アバターに送信し、
前記操作者の対話相手の映像および音声の少なくとも一方を前記アバターから受信し、
受信した前記対話相手の映像および音声の少なくとも一方を前記操作者端末に送信し、
前記アバターは、
前記情報処理装置から送信された前記制御信号および前記他者音声発話内容の少なくとも一方を受信し、
受信した前記制御信号に従う動作を実行し、
受信した前記他者音声発話内容を出力し、
前記操作者の対話相手の映像および音声の少なくとも一方を検出して前記情報処理装置に送信し、
前記操作者端末は、
前記操作者によって入力された前記アバターの動作を制御する前記制御信号を検出して前記情報処理装置に送信し、
前記操作者によって入力された前記アバターの発話を制御する発話内容を検出して前記情報処理装置に送信し、
送信した前記対話相手の映像および音声の少なくとも一方を受信し、
受信した前記対話相手の映像を表示し、
受信した前記対話相手の音声を出力する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法に関し、特にたとえば、操作者のアバターとして機能するロボットまたはＣＧキャラクタを用いた所定のサービスを提供する、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法に関する。
【背景技術】
【0002】
この種の従来の情報処理システムの一例が特許文献１に開示されている。この特許文献１に開示された移動ロボットは、動作部と、第１の動作基準を適用して動作部を自律的に動作させるロボットモードと第２の動作基準を適用して動作部を遠隔操作者からの操作指示に基づいて動作させるアバターモードとを表出させて、ロボットモード、アバターモードおよびサービス利用者の三者間のコミュニケーションを調停するコミュニケーション調停部とを備える。移動ロボットは、アバターモードであるときには、遠隔操作者の操作指示に基づいて動作する。このとき、動作部は、第２の動作基準を記述したルックアップテーブル（第２テーブル）に従って移動ロボットを動作させる。
【0003】
また、この種の従来の情報処理システムの他の例が特許文献２に開示されている。この特許文献２に開示されたロボットシステムは、身体動作を実行するロボットを含み、モーションキャプチャシステムを用いて操作者の動作を計測し、ロボット制御装置により操作者の動作をロボットに再現させる。分解済動作ＤＢは各人間に対応付けて、特定動作を複数の人間に共通の動作成分から構成される一般動作と或る人間に特有の動作成分から構成される癖動作とに分解して記憶している。ロボットの遠隔操作を行うときには、操作者は、分解済動作ＤＢに記憶した人間の中から、癖動作を使用する人間を指定する。ロボット制御装置は、操作者の動作に対応する一般動作と指定された人間の癖動作とを合成した動作をロボットの動作コマンドに変換し、その動作コマンドをロボットに送信する。ロボットは送信された動作コマンドに基づいて自身の身体動作を制御する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－０６７７９９号
【特許文献2】特開２００８－０８０４３１号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献１では、アバターモードでは、遠隔操作者自身に設定された第２の動作基準を適用するだけであり、他の遠隔操作者に設定された第２の動作基準を適用することは何ら考慮されていない。したがって、途中で遠隔操作者が交代した場合に、第２の動作基準も変更される。このため、利用者は同じ移動ロボットを介して遠隔操作者と対話しているにも関わらず、移動速度やジェスチャーの大きさが変化し、利用者は違和感を覚える可能性がある。また、遠隔操作者の声音が転送される場合には、声音の変化によって遠隔操作者が交代したことを利用者が認識する。
【0006】
この点、特許文献２では、他人の個性を選択することができる。このため、仮に、操作者が交代した場合であっても、直前にロボットを操作していた操作者の個性を選択することで、ロボットの癖動作が変化することはない。このため、ロボットとコミュニケーションを取る人間がロボットの身体動作によって操作者が変わったことを認識することはほとんど無いと考えられる。ただし、特許文献２では、操作者の発話はロボットのスピーカから出力されるため、ロボットとコミュニケーションを取る人間は、ロボットの癖動作が変化しなくても、音声の違いで操作者が交代したことを認識する。
【0007】
このように、背景技術では、利用者等は、音声の変化により、操作者が交代したことを認識するため、交代したことを利用者等に気づかせずにロボットが提供するサービスを継続することができない。したがって、改善の余地がある。
【0008】
それゆえに、この発明の主たる目的は、新規な、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法を提供することである。
【0009】
また、この発明の他の目的は、操作者が交代してもアバターを用いたサービスを円滑に提供することができる、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法を提供することである。
【課題を解決するための手段】
【0010】
第１の発明は、ロボットまたはコンピュータグラフィックスのアバター、アバターの動作および発話を制御する操作者が使用する操作者端末、およびアバターおよび操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムである。情報処理装置は、アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定手段、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、設定手段によって設定された個性情報に含まれる音響モデルを用いて、第１受信手段によって受信された操作者発話内容を、他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成手段、制御信号および他者音声発話内容の少なくとも一方をアバターに送信する第１送信手段、操作者の対話相手の映像および音声の少なくとも一方をアバターから受信する第２受信手段、および第２受信手段によって受信された対話相手の映像および音声の少なくとも一方を操作者端末に送信する第２送信手段を備える。アバターは、第１送信手段によって送信された制御信号および他者音声発話内容の少なくとも一方を受信する第３受信手段、第３受信手段によって受信された制御信号に従う動作を実行する動作実行手段、第３受信手段によって受信された他者音声発話内容を出力するアバター音声出力手段、および操作者の対話相手の映像および音声の少なくとも一方を検出して情報処理装置に送信する第３送信手段を備える。操作者端末は、操作者によって入力されたアバターの動作を制御する制御信号を検出して情報処理装置に送信する第４送信手段、操作者によって入力されたアバターの発話を制御する発話内容を検出して情報処理装置に送信する第５送信手段、第２送信手段によって送信された対話相手の映像および音声の少なくとも一方を受信する第４受信手段、第４受信手段によって受信された対話相手の映像を表示する表示手段、および第４受信手段によって受信された対話相手の音声を出力する出力手段を備える。
【0011】
第２の発明は、第１の発明に従属し、複数の操作者の各々についての個性情報を記憶する記憶手段を備え、情報処理装置の設定手段は、操作者端末からの指示に応じて、記憶手段に記憶された複数の個性情報のうちから選択した１の他の操作者についての個性情報を設定する。
【0012】
第３の発明は、第２の発明に従属し、複数の操作者の各々が使用する複数の操作者端末をさらに備え、情報処理装置の設定手段は、アバターの動作および発話を制御する操作者が他の操作者が使用する他の操作者端末に変更された場合に、設定されている個性情報を変更しない。
【0013】
第４の発明は、第１から第３の発明までのいずれかに従属し、個性情報は、操作者がアバターの動作および発話を制御している場合の癖動作の情報をさらに含み、情報処理装置の第１送信手段は、癖動作についての制御信号をアバターにさらに送信し、アバターの第３受信手段は、第１送信手段によって送信された癖動作についての制御信号をさらに受信し、動作実行手段は、第３受信手段によって受信された癖動作についての制御信号に従う動作を実行する。
【0014】
第５の発明は、ロボットまたはコンピュータグラフィックスのアバター、およびアバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置であって、アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定手段、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信手段、設定手段によって設定された個性情報に含まれる音響モデルを用いて、第１受信手段によって受信された操作者発話内容を、他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成手段、制御信号および他者音声発話内容の少なくとも一方をアバターに送信する第１送信手段、操作者の対話相手の映像および音声の少なくとも一方をアバターから受信する第２受信手段、および第２受信手段によって受信された対話相手の映像および音声の少なくとも一方を操作者端末に送信する第２送信手段を備える、情報処理装置である。
【0015】
第６の発明は、ロボットまたはコンピュータグラフィックスのアバター、およびアバターの動作および発話を制御する操作者が使用する操作者端末の各々と通信可能に接続される情報処理装置の情報処理プログラムであって、情報処理装置のプロセッサに、アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定する設定ステップ、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信する第１受信ステップ、設定ステップにおいて設定した個性情報に含まれる音響モデルを用いて、第１受信ステップにおいて受信した操作者発話内容を、他の操作者の音声の発話内容である他者音声発話内容として生成するアバター音声生成ステップ、制御信号および他者音声発話内容の少なくとも一方をアバターに送信する第１送信ステップ、操作者の対話相手の映像および音声の少なくとも一方をアバターから受信する第２受信ステップ、および第２受信ステップにおいて受信した対話相手の映像および音声の少なくとも一方を操作者端末に送信する第２送信ステップを実行させる、情報処理プログラムである。
【0016】
第７の発明は、ロボットまたはコンピュータグラフィックスのアバター、アバターの動作および発話を制御する操作者が使用する操作者端末、および操作者端末および操作者端末の各々と通信可能に接続される情報処理装置を備える、情報処理システムの情報処理方法であって、情報処理装置は、アバターの動作および発話を制御する操作者とは異なる他の操作者の少なくとも音響モデルを含む個性情報を設定し、操作者端末からの制御信号および操作者の発話内容である操作者発話内容の少なくとも一方を受信し、設定された個性情報に含まれる音響モデルを用いて、操作者端末から受信した操作者発話内容を、他の操作者の音声の発話内容である他者音声発話内容として生成し、制御信号および他者音声発話内容の少なくとも一方をアバターに送信し、操作者の対話相手の映像および音声の少なくとも一方をアバターから受信し、受信した対話相手の映像および音声の少なくとも一方を操作者端末に送信し、アバターは、情報処理装置から送信された制御信号および他者音声発話内容の少なくとも一方を受信し、受信した制御信号に従う動作を実行し、受信した他者音声発話内容を出力し、操作者の対話相手の映像および音声の少なくとも一方を検出して情報処理装置に送信し、操作者端末は、操作者によって入力されたアバターの動作を制御する制御信号を検出して情報処理装置に送信し、操作者によって入力されたアバターの発話を制御する発話内容を検出して情報処理装置に送信し、送信した対話相手の映像および音声の少なくとも一方を受信し、受信した対話相手の映像を表示し、受信した対話相手の音声を出力する、情報処理方法である。
【発明の効果】
【0017】
この発明によれば、操作者が交代してもアバターを用いたサービスを円滑に提供することができる。
【0018】
この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
図１を参照して、この実施例の情報処理システム１０はサーバ１２を含み、サーバ１２は、ネットワーク１４を介して、複数の操作者端末１６およびロボット１８に通信可能に接続される。
【0021】
複数の操作者端末１６は、それぞれ、操作者によって操作され、主として、ロボット１８を遠隔操作するために使用される。この実施例では、操作者は、サーバ１２によって提供されるアバターを用いた所定のサービスを利用する者（サービスユーザ）である。ロボット１８は、操作者のアバターとして機能する。この実施例の情報処理システム１０では、複数の操作者端末１６のうちの１台の操作者端末１６およびロボット１８がネットワーク１４を介して連係して、その１台の操作者端末１６の操作者が、ロボット１８を通して、後述する対話エージェントと対話する。ただし、ロボット１８と連係する操作者端末１６は、サーバ１２にログインして、当該ロボット１８を使用することを割り当てられた操作者端末１６である。
【0022】
所定のサービスは、所定の環境（たとえば、企業のオフィス、店舗、博物館、美術館、水族館または科学館など）に配置されるロボット１８を、遠隔に存在する操作者のアバターとして機能させ、アバターすなわちロボット１８が所定の環境内を自由に動き回って利用されるサービスである。ただし、ロボット１８は、受付サービスを行う場合には、所定の環境内の所定の場所に固定的に配置されてもよい。
【0023】
この場合、操作者は、ロボット１８を通して、オフィス内に存在する人間と対話する。また、操作者は、ロボット１８を通して、店舗、博物館、美術館、水族館または科学館などに存在する案内人である人間の説明を聞いたり、案内人である人間と対話したりする。つまり、操作者と対話する人間は、操作者の対話相手（すなわち、対話エージェント）である。
【0024】
なお、図１では、１台のロボット１８を示してあるが、実際には、複数のロボット１８が設けられる。操作者が所定のサービスを利用する場合に、サーバ１２によって、当該操作者（操作者端末１６）に対して１台のロボット１８が割り当てられる。以下、１台のロボット１８を用いて説明するが、同じ内容が他のロボット１８にも当てはまる。
【0025】
サーバ１２は、情報処理装置の一例であり、汎用のサーバを用いることができる。この実施例では、サーバ１２は、アバターを用いた所定のサービスを提供するウェブサイトを運営する。履歴データベース（以下、「履歴ＤＢ」という）１２ａおよび個性情報データベース（以下「個性情報ＤＢ」という）１２ｂがサーバ１２に接続されている。
【0026】
履歴ＤＢ１２ａは、操作者端末１６とロボット１８の間で、サーバ１２を介して送受信される、対話エージェントの画像データおよび音声データと、操作者の画像データ、発話データおよび操作者が指示した動作コマンドの履歴を記憶する。
【0027】
個性情報ＤＢ１２ｂは、操作者毎の個性についてのデータすなわち個性情報を記憶する。この実施例では、個性についてのデータすなわち個性データは、音響モデルのパラメータのデータ、視線情報のデータ、頷き情報のデータ、顔の表情情報のデータおよび顔画像情報のデータを含む。個性データは、各操作者の識別情報（操作者ＩＤ）に対応して、操作者毎に個性情報ＤＢ１２ｂに記憶される。音響モデル、視線情報、頷き情報、表情情報および顔画像情報は、ロボット１８を操作する操作者の固有の情報であって、ロボット１８を操作するときの操作者の個性ないし特徴である。音響モデル、視線情報、頷き情報、表情情報および顔画像情報については、後で詳細に説明することにする。
【0028】
なお、履歴ＤＢ１２ａおよび個性情報ＤＢ１２ｂは、サーバ１２に内蔵されるＨＤＤに設けてもよいし、ネットワーク１４を介して通信可能に設けてもよい。
【0029】
ネットワーク１４は、インターネットを含むＩＰ網（または、ＩＰネットワーク）と、このＩＰ網にアクセスするためのアクセス網（または、アクセスネットワーク）とから構成される。アクセス網としては、公衆電話網、携帯電話網、有線ＬＡＮ、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等を用いることができる。
【0030】
複数の操作者端末１６の各々は、サーバ１２とは異なる他の情報処理装置であり、一例として、デスクトップ型ＰＣである。他の例では、操作者端末１６として、スマートフォン、タブレットＰＣまたはノート型ＰＣなどの汎用の端末を用いることもできる。各操作者端末１６は、同じ種類または異なる種類の情報処理装置である。
【0031】
ロボット１８は、自律行動可能な、いわゆるテレプレゼンス（または、テレイグジステンス）ロボットであり、市販の移動型のロボットを用いることができる。一例として、ロボット１８としては、Double Robotics, Incが販売するロボットDouble 3を使用することができる。ただし、ロボット１８は、このような特定のロボットに限られることなく、特開２０２０－００４１８２号に開示されるようなロボットも利用可能である。
【0032】
ロボット１８を自律行動させる方法としては、一例として、特開２００９－１３１９１４号に開示された方法を採用することができる。ただし、自律行動とは、ロボット１８が、操作者の操作によらないで、移動を含む動作および発話の少なくとも一方を含むコミュニケーション行動を行うことを意味する。また、この実施例では、サーバ１２によってコミュニケーション行動が決定され、サーバ１２がコミュニケーション行動についての動作コマンドおよび音声データ（後述する、「アバター音声データ」）の少なくとも一方をロボット１８に送信する。コミュニケーション行動を決定する方法として公知の技術を用いる場合には、そのために必要な回路コンポーネントおよびデータが適宜サーバ１２に設けられる。また、この実施例では、操作者が居ない場合には、ロボット１８はサーバ１２の制御で自律行動を行う。
【0033】
また、ロボット１８は、操作者によって遠隔操作することもできる。この実施例においては、操作者は、操作者端末１６を操作して、ロボット１８にタスク（動作）を実行させるためのコマンド（以下、「動作コマンド」という）を、サーバ１２を介してロボット１８に送信する。
【0034】
また、操作者端末１６は、操作者の音声をマイク８２で検出し、検出した音声を、サーバ１２を介してロボット１８に送信する。したがって、ロボット１８のスピーカ１１２から操作者の音声が出力される。ただし、操作者の音声は、他の操作者の音声に変換されて出力されてもよい。また、操作者の音声に対応する音声データは後述する操作者発話データに含まれる。
【0035】
さらに、操作者端末１６は、操作者の画像（以下、「操作者画像」という）をカメラ８８で撮影し、撮影した操作者画像を、サーバ１２に送信する。この実施例では、操作者画像は、操作者の顔を含む動画像（静止画像でもよい）である。サーバ１２は、操作者画像に含まれる操作者の顔画像から操作者の感情を推定し、推定した感情に応じた顔の表情を表現するためのデータ（顔の表情についてのデータ）を生成し、ロボット１８に送信する。
【0036】
ロボット１８は、所定のＣＧ(Computer Graphics)キャラクタの画像を表示装置３０に表示する。この実施例では、ＣＧキャラクタの顔を含む上三身分または上半身の画像が表示装置３０に表示される。この場合、ＣＧキャラクタの顔画像は、操作者自身の顔画像または他の操作者の顔画像を用いて表示することができる。また、ＣＧキャラクタの顔の表情は、サーバ１２から送信された顔の表情についてのデータ（後述する、アバター表情データ）に従って制御される。
【0037】
なお、操作者の顔画像から感情を推定する方法としては、公知の技術を用いることができる。たとえば、「小林 宏、原 文雄：ニューラルネットワークによる人の基本表情認識、計測自動制御学会論文集 Vol.29, No.1, 112/118(1993)」、「小谷中陽介、本間経康、酒井正夫、阿部健一：ニューラルネットワークを用いた顔表情認識、東北大医保健学科紀要 13(1):23～32, 2004」および「西銘 大喜、遠藤 聡志、當間 愛晃、山田 孝治、赤嶺 有平：畳み込みニューラルネットワークを用いた表情表現の獲得と顔特徴量の分析、人工知能学会論文誌 ３２巻５号ＦＺ（２０１７年）」などに開示された技術を用いることができる。
【0038】
また、他の公知の技術では、顔画像から抽出した特徴点に基づいて人間の感情を推定する手法としては、特開２０２０－１６３６６０号公報に開示された技術を用いることもできる。
【0039】
また、音声から人間の感情を推定することもできる。音声から人間の感情を推定する手法としては、公知の技術を用いることができる。たとえば、特開２０２１－１２２８５号および「森 大毅：音声から感情・態度の理解、電子情報通信学会誌 Vol. 101, No. 9, 2018」などに開示された技術を用いることができる。
【0040】
顔画像または音声に基づいて感情を推定する手法として公知の技術を用いる場合には、そのために必要な回路コンポーネントおよびデータが適宜サーバ１２に設けられる。ただし、顔画像または音声に基づいて感情を推定する装置（以下、「推定装置」という）をクラウド上に設けて、推定装置に顔画像または音声を送信し、感情の推定結果を推定装置から受け取るようにしてもよい。
【0041】
一方、ロボット１８は、対話エージェントを含む画像をカメラ１２２で撮影し、撮影した画像（以下、「ロボット画像」という）を、サーバ１２を介して操作者端末１６に送信する。したがって、操作者端末１６では、ロボット１８から見た画像すなわち対話エージェントの画像が表示装置８０に表示される。また、ロボット１８は、対話エージェントの音声を含む周囲の音をマイク１１０で検出し、検出した音声を、サーバ１２を介して操作者端末１６に送信する。したがって、操作者端末１６のスピーカ１１２から対話エージェントの音声を含む音が出力される。
【0042】
したがって、操作者は、対話エージェントの顔を見ながら対話したり、環境を見ながらロボット１８を操作したりすることができる。
【0043】
また、ロボット１８は、ベース２０を含み、このベース２０の正面には移動用センサの１つである超音波センサ２２が設けられる。このベース２０の両端には車輪（左車輪）２４Ｌおよび車輪（右車輪）２４Ｒが回転自在に設けられる。
【0044】
ベース２０の上面には、上方に延びるポール２６が設けられ、そのポール２６の上端には、操作者に対応する画像（以下、「アバター画像」という）２８（上述した、ＣＧキャラクタの画像）を表示する表示装置３０が設けられる。人間（ここでは、操作者）の顔画像を用いてＣＧキャラクタの顔画像すなわちアバター画像２８の顔画像を生成する方法としては、特許第７２００４３９号に開示された公知の技術を用いることができる。アバター画像２８の顔画像を生成する手法として公知の技術を用いる場合には、そのために必要な回路コンポーネントおよびデータが適宜ロボット１８に設けられる。
【0045】
なお、この表示装置３０には、タッチパネル、カメラ、マイクおよびスピーカ等が設けられるが、詳細は図４に示すブロック図を参照して説明する。また、このロボット１８は、バッテリ駆動型のロボットであり、バッテリはたとえばポール２６の中に収容されている。
【0046】
図２は図１に示したサーバ１２の電気的な構成を示すブロック図である。図２に示すように、サーバ１２はＣＰＵ５０を含み、ＣＰＵ５０は、内部バスを介して、ＲＡＭ５２、通信部５４および入出力インタフェース（以下、「入出力Ｉ／Ｆ」という）５６に接続される。
【0047】
ＣＰＵ５０は、サーバ１２の全体的な制御を司る。ただし、ＣＰＵ５０に代えて、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）を設けてもよい。ＲＡＭ５２は、サーバ１２の主記憶装置（メインメモリ）であり、ＣＰＵ５０のワーク領域およびバッファ領域として用いられる。
【0048】
図示は省略するが、サーバ１２は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0049】
通信部５４は、ＣＰＵ５０の制御の下、ネットワーク１４を介して、操作者端末１６およびロボット１８などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部５４としては、有線ＬＡＮのみならず、無線ＬＡＮまたはBluetooth（登録商標）等を使用することもできる。
【0050】
入出力Ｉ／Ｆ５６には、入力装置５８および表示装置６０が接続されている。入力装置５８として、キーボードおよびコンピュータマウスが用いられる。表示装置６０は、ＬＣＤまたは有機ＥＬディスプレイである。
【0051】
入出力Ｉ／Ｆ５６は、入力装置５８から入力された操作データ（または、操作情報）をＣＰＵ５０に出力するとともに、ＣＰＵ５０によって生成された画像データを表示装置６０に出力して、画像データに対応する画面を表示装置６０に表示させる。
【0052】
なお、図２に示すサーバ１２の電気的な構成は一例であり、限定される必要はない。
【0053】
図３は図１に示した操作者端末１６の電気的な構成を示すブロック図である。図３に示すように、操作者端末１６はＣＰＵ７０を含み、ＣＰＵ７０は、内部バスを介して、ＲＡＭ７２、通信部７４および入出力Ｉ／Ｆ７６に接続される。
【0054】
ＣＰＵ７０は、操作者端末１６の全体的な制御を司る。ただし、ＣＰＵ７０に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。ＲＡＭ７２は、操作者端末１６の主記憶装置であり、ＣＰＵ７０のワーク領域およびバッファ領域として用いられる。
【0055】
図示は省略するが、操作者端末１６は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0056】
通信部７４は、ＣＰＵ７０の制御の下、ネットワーク１４を介して、サーバ１２およびロボット１８などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部７４としては、有線ＬＡＮのみならず、無線ＬＡＮまたはBluetooth（登録商標）等を使用することもできる。
【0057】
入出力Ｉ／Ｆ７６には、入力装置７８および表示装置８０、マイク８２およびスピーカ８４が接続されている。入力装置７８として、キーボードおよびコンピュータマウスが用いられる。さらに、タッチパネルが設けられる場合もある。表示装置８０は、ＬＣＤまたは有機ＥＬディスプレイである。
【0058】
ただし、操作者端末１６として、スマートフォンが用いられる場合には、入力装置７８は、タッチパネルおよびハードウェアのボタンである。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。
【0059】
入出力Ｉ／Ｆ７６は、マイク８２で検出された操作者の音声をデジタルの音声データ（以下、「操作者音声データ」という）に変換してＣＰＵ７０に出力するとともに、ＣＰＵ７０によって出力される音声データをアナログの音声信号に変換してスピーカ８４から出力させる。ただし、実施例では、ＣＰＵ５０から出力される音声データは、サーバ１２を介してロボット１８から受信した音声データ（以下、「ロボット音声データ」という）である。また、入出力Ｉ／Ｆ７６は、入力装置７８から入力された操作データ（または、操作情報）をＣＰＵ７０に出力するとともに、ＣＰＵ７０によって生成された画像データを表示装置８０に出力して、画像データに対応する画面または画像を表示装置８０に表示させる。ただし、この実施例では、表示装置８０に表示されるＵＩ画面２００（図５参照）には、サーバ１２を介してロボット１８から受信したロボット画像データも出力される。ただし、ロボット画像データは、ロボット１８のカメラ１２２で撮影された画像（動画像または静止画像）の画像データである。
【0060】
また、操作者端末１６は、センサＩ／Ｆ８６およびカメラ８８を備えている。ＣＰＵ７０は、バスおよびセンサＩ／Ｆ８６を介してカメラ８８に接続される。カメラ８８は、ＣＣＤまたはＣＭＯＳのような撮像素子を用いたカメラである。図示は省略するが、カメラ８８は、表示装置８０の近傍に設けられ、表示装置８０の前方の所定範囲（画角で決まる範囲）を撮影する。したがって、カメラ８８は、表示装置８０に対面する操作者を撮影する。
【0061】
なお、図３に示す操作者端末１６の電気的な構成は一例であり、限定される必要はない。上述したように、各操作者端末１６が異なる種類の情報処理装置である場合には、電気的な構成も異なる場合がある。
【0062】
また、操作者端末１６がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この実施例では、そのような通話は行わないため、図示は省略してある。
【0063】
図４は図１に示したロボット１８の電気的な構成を示すブロック図である。図４に示すように、ロボット１８はＣＰＵ１００を含み、ＣＰＵ１００は、内部バスを介して、ＲＡＭ１０２、通信部１０４および入出力Ｉ／Ｆ１０６に接続される。
【0064】
ＣＰＵ１００は、ロボット１８の全体的な制御を司る。ただし、ＣＰＵ１００に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。ＲＡＭ５２は、操作者端末１６の主記憶装置であり、ＣＰＵ１００のワーク領域およびバッファ領域として用いられる。
【0065】
図示は省略するが、ロボット１８は、ＨＤＤおよびＲＯＭのような補助記憶装置も備える。ただし、ＨＤＤおよびＲＯＭに代えて、または、ＨＤＤおよびＲＯＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0066】
通信部１０４は、ＣＰＵ１００の制御の下、ネットワーク１４を介して、サーバ１２および操作者端末１６などの外部のコンピュータとの間で、制御信号（動作コマンドを含む）およびデータの送受信を行う。ただし、通信部１０４としては、無線ＬＡＮまたはBluetooth（登録商標）等を使用することができる。
【0067】
入出力Ｉ／Ｆ１０６には、入力装置１０８および表示装置３０、マイク１１０およびスピーカ１１２が接続されている。入力装置１０８として、緊急停止用のハードウェアのボタンなどが設けられる。さらに、入力装置１０８として、表示装置３０の表示面に重ねてタッチパネルが設けられる。表示装置３０は、ＬＣＤまたは有機ＥＬディスプレイである。一例として、タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。
【0068】
入出力Ｉ／Ｆ１０６は、マイク１１０で検出された対話エージェントの音声をデジタルの音声データに変換してＣＰＵ１００に出力するとともに、ＣＰＵ１００によって出力される音声データをアナログの音声信号に変換してスピーカ１１２から出力させる。
【0069】
ただし、実施例では、ＣＰＵ１００から出力される音声データは、サーバ１２から受信した音声データである。サーバ１２は、操作者端末１６から受信した発話データ（以下、「操作者発話データ」という）に基づいて音声データを生成し、ロボット１８に送信する。この実施例では、操作者発話データは、操作者の音声、または、操作者が入力した発話コマンドに従って発話される発話内容のテキストのデータである。
【0070】
また、入出力Ｉ／Ｆ１０６は、入力装置１０８から入力された操作データ（または、操作情報）をＣＰＵ１００に出力するとともに、ＣＰＵ１００によって生成（または、出力）された画像データを表示装置３０に出力して、画像データに対応する画面または画像を表示装置３０に表示させる。
【0071】
ただし、この実施例では、デフォルトで設定されている表情を表現するロボット１８の顔画像、また、操作者端末１６の操作者または他の操作者の感情に応じた顔の表情を表現する顔画像を含み、サーバ１２から送信される動作コマンドに応じた動作を行うアバター画像２８の画像データがロボット１８で生成され、画像データに対応するアバター画像２８が表示装置３０に表示される。
【0072】
ただし、動作コマンドに応じた動作には、操作者の癖に応じた動作（以下、「癖動作」という）も含まれる。また、サーバ１２から送信される動作コマンドとしては、サーバ１２自身によってロボット１８に送信される動作コマンドと、サーバ１２が操作者端末１６から受信してロボット１８に送信される動作コマンドがある。
【0073】
また、ロボット１８は、モータドライバ１１４を備え、モータドライバ１１４はバスを介してＣＰＵ１００に接続される。モータドライバ１１４は、ＣＰＵ１００の命令に従って、ロボット１８の右車輪２４Ｒを回転させる右車輪モータ１１６の駆動を制御するとともに、ロボット１８の左車輪２４Ｌを回転させる左車輪モータ１１８の駆動を制御する。
【0074】
また、ロボット１８は、センサＩ／Ｆ１２０、カメラ１２２、レーザ距離計（ＬＲＦ）１２４、ＬＲＦ１２６、超音波センサ２２および慣性計測ユニット１２８を備えている。
【0075】
ＣＰＵ１００は、バスおよびセンサＩ／Ｆ１２０を介して、カメラ１２２、ＬＲＦ１２４、ＬＲＦ１２６、超音波センサ２２および慣性計測ユニット１２８にそれぞれ接続される。
【0076】
カメラ１２２は、ＣＣＤまたはＣＭＯＳのような撮像素子を用いたカメラである。図１では省略したが、カメラ１２２は、表示装置３０の上端部または下端部に設けられ、ロボット１８の前方の所定範囲（画角で決まる範囲）を撮影する。したがって、カメラ１２２は、ロボット１８に対面し、ロボット１８を通して操作者と対話する対話エージェントまたは／およびロボット１８が配置されたり移動したりする環境を撮影する。
【0077】
ＬＲＦ１２４は、一般に、レーザ光を照射し、それが対象（物体や人体など）で反射して戻ってくるまでの時間から距離を計測する。この実施例のＬＲＦ１２４（後述する、ＬＲＦ１２６も同じ）は、軸の周りをたとえば±４５度の範囲で回転するミラー（図示せず）を含み、レーザ光の進路をこの回転ミラーでたとえば０．６度ずつ変化させながら計測を行う（レーザ光でスキャンする）ことができる。以下では、ＬＲＦ１２４によってレーザ光でスキャン（走査）される平面をスキャン面と呼ぶ。また、ＬＲＦ１２４で計測可能な距離は、レーザ光が人間の目に影響を与えないよう、所定距離Ｒ（たとえば１５ｍ）以下に制限されている。このため、ＬＲＦ１２４の計測領域（すなわち、スキャン面）は、たとえば扇形、つまり所定距離Ｒの半径で中心角９０度の扇形となる。なお、スキャン面（扇形）の中心角は９０度とは限らず、たとえば１８０度や３６０度などでもよい。
【0078】
この実施例では、ＬＲＦ１２４は、特定の人間を追跡するためなどの目的で設けられるものである。ＬＲＦ１２６は、このロボット１８の自律移動のためのものである。ＬＲＦ１２４は、ＬＲＦ１２６と兼用されてもよい。つまり、ロボット１８の移動中と、ロボット１８の移動を停止してアバターの画像（以下、「アバター画像」という）２８による対話中とで、１つのＬＲＦを使い分けるようにしてもよい。
【0079】
ロボット１８は、ＬＲＦ１２４の出力に基づいて、ロボット１８またはＬＲＦ１２４に対する対象物までの距離および向きを検出することができる。したがって、ロボット１８は、検出した自身の現在位置と、ＬＲＦ１２４を用いて検出される対象物までの距離および向きに基づいて、対象物の現在位置を検出（算出）することができる。
【0080】
また、ロボット１８は、ＬＲＦ１２６の出力に基づいて、ＳＬＡＭ（Simultaneous Localization and Mapping）により、ロボット１８が移動する環境の地図を作成するとともに、作成する環境の地図内における現在位置を推定し、それらに基づいて自身のナビゲーションを行う。この実施例では、ＬＲＦ１２６は水平方向における障害物との距離を計測するため、ロボット１８の周辺の障害物についての２次元の地図が作成される。したがって、ロボット１８が作成する環境の地図は、ロボット１８（ＬＲＦ１２６）を真上方向から見た２次元の地図である。以下、ロボット１８が作成する環境の地図を「作成地図」と呼ぶことにする。また、ロボット１８は、自身が配置される環境について予め作成された環境の地図（この実施例では、「設定地図」）を記憶している。作成地図における原点と設定地図における原点を合わせるとともに、作成地図における方位と設定地図における方位を合わせておくことにより、設定地図（または、作成地図）におけるロボット１８の現在位置が推定される。
【0081】
超音波センサ２２は、超音波を用いた汎用の距離センサである。超音波センサ２２は、ロボット１８の前方に存在する対象物（人間または物）までの距離を計測する。一例として、超音波センサ２２の水平方向における検知範囲は１０度－４５度であり、計測可能な距離は５ｍ－１５ｍである。上記のとおり、ＬＲＦ１２８が設けられるため、超音波センサ２２は設けなくてもよい。
【0082】
慣性計測ユニット１２８は３次元の慣性運動（直交３軸方向の並進運動および回転運動）を検出する装置であって、加速度センサによって並進運動を検出し、角速度(ジャイロ)センサによって回転運動を検出する。
【0083】
なお、図４に示すロボット１８の電気的な構成は一例であり、限定される必要はない。
【0084】
上述したように、ロボット１８は、自律行動可能であり、配置された環境において予め決定されたスタート地点（移動開始地点）からゴール地点（目標地点）まで経路探索を行いながら移動することができる。ただし、スタート地点とゴール地点の間に、１または複数の経由地点が設定されてもよい。また、経路探索の方法としては、標準的な方法、すなわち、ウォーシャルフロイド法、ダイクストラ法、Ａ＊アルゴリズム、ポテンシャル法、RRT (Rapidly exploring Random Tree)などを用いることができる。スタート地点、ゴール地点および１または複数の経由地点は、サーバ１２の管理者または操作者によって予め指定されている。
【0085】
また、ロボット１８は、操作者の遠隔操作に従って、配置された環境において自由に移動することも可能である。操作者端末１６でロボット１８の移動等を操作することは既に周知であり、ここではその遠隔操作についての詳細な説明は省略する。
【0086】
図５に示すＵＩ画面２００は、ロボット１８を遠隔操作するための画面である。ＵＩ画面２００には、表示領域２０２、２０４、２０６および２０８が設けられる。また、ＵＩ画面２００には、表示領域２０６および２０８の下方に、表示領域２５０およびボタン２５２が設けられ、これらの下方に、ボタン２５４、２５６ａ、２５６ｂおよび２５８がさらに設けられる。
【0087】
表示領域２０２は、ロボット１８に設けられたカメラ１２４で撮影された映像（動画像または静止画像）を表示するための領域である。
【0088】
表示領域２０４は、ロボット１８の移動を制御するコマンド(すなわち、動作コマンド)を入力するための複数のボタンを表示する。この実施例では、表示領域２０４には、ボタン２１０、２１２、２１４、２１６および２１８が表示される。ボタン２１０は、ロボット１８を前進させるためのボタンである。ボタン２１２は、ロボット１８を左折または左旋回させるためのボタンである。ボタン２１４は、ロボット１８を右折または右旋回させるためのボタンである。ボタン２１６は、ロボット１８を停止させるためのボタンである。ボタン２１８は、ロボット１８を後進させるためのボタンである。
【0089】
詳細な説明は省略するが、ボタン２１０またはボタン２１８がオンされている状態で、ボタン２１２がオンされと、ロボット１８は前進または後進しながら左に曲がる。また、ボタン２１０またはボタン２１８がオンされている状態で、ボタン２１４がオンされると、ロボット１８は前進または後進しながら右に曲がる。ロボット１８が停止している状態で、ボタン２１２がオンされると、ロボット１８は反時計回りに進行方向を変える。また、ロボット１８が停止している状態で、ボタン２１４がオンされると、ロボット１８は時計回りに進行方向を変える。
【0090】
この実施例では、表示領域２０４に表示されたボタン２１０、２１２、２１４、２１６および２１８などが操作されると、各ボタン２１０、２１２、２１４、２１６および２１８に割り当てられた動作コマンドがサーバ１２に送信される。
【0091】
表示領域２０６は、ロボット１８のコミュニケーション行動を制御する動作コマンドを入力するための複数のボタンを表示する。この実施例では、表示領域２０６には、ボタン２２０、２２２、２２４、２２６および２２８などが表示される。ボタン２２０は、ロボット１８を頷かせるためのボタンである。ボタン２２２は、ロボット１８に首を振らせるためのボタンである。ボタン２２４は、ロボット１８にお辞儀させるためのボタンである。ボタン２２６は、ロボット１８に手を振らせるためのボタンである。ボタン２２８は、ロボット１８に右手を挙げさせるためのボタンである。
【0092】
ただし、この実施例のロボット１８は、手腕に相当する部位を有しておらず、また、腰および首に相当する関節も有していないため、アバター画像２８を動作させることで、頷かせる、首を振らせる、お辞儀させる、手を振らせる、右手を挙げさせるなどのコミュニケーション行動が実行される。
【0093】
図示は省略するが、他のコミュニケーション行動を制御する動作コマンドを入力するための他の複数のボタンが設けられ、他の複数のボタンは表示領域２０６をスクロールすることで表示される。
【0094】
この実施例では、表示領域２０６に表示されたボタン２２０、２２２、２２４、２２６および２２８などが操作されると、各ボタン２２０、２２２、２２４、２２６および２２８に割り当てられた動作コマンドがサーバ１２に送信される。
【0095】
表示領域２０８は、ロボット１８の発話を制御するコマンド（すなわち、発話コマンド）を入力するための複数のボタンを表示する。表示領域２０８に表示された（設けられた）複数のボタンには、挨拶および呼び掛けなどの定型の言葉または文をロボット１８に発話させるための発話コマンドが割り当てられる。この実施例では、表示領域２０８には、ボタン２３０、２３２、２３４、２３６および２３８などが表示される。ボタン２３０は、ロボット１８に挨拶“おはよう”を発話させるためのボタンである。ボタン２３２は、ロボット１８に挨拶“こんにちは”を発話させるためのボタンである。ボタン２３４は、ロボット１８に挨拶“お久ぶりです”を発話させるためのボタンである。ボタン２３６は、ロボット１８に呼び掛け“検温をお願いします”を発話させるためのボタンである。ボタン２３８は、ロボット１８に呼び掛け“アルコール消毒をお願いします”を発話させるためのボタンである。ボタン２３０－２３８などがオンされると、オンされたボタン（２３０－２３８など）に割り当てられた定型の言葉または文についてテキストおよび当該テキストをロボット１８に発話させることがサーバ１２に指示される。
【0096】
図示は省略するが、他の発話を制御する発話コマンドを入力するための複数の他のボタンが設けられ、複数の他のボタンは表示領域２０８をスクロールすることで表示される。
【0097】
この実施例では、表示領域２０８に表示されたボタン２３０、２３２、２３４、２３６および２３８などが操作されると、各ボタン２３０、２３２、２３４、２３６および２３８に割り当てられた発話コマンドがサーバ１２に送信される。
【0098】
また、表示領域２５０は、定型の言葉および文以外の発話内容をテキストで入力するための領域である。ボタン２５２は、表示領域２５０に入力または表示された発話内容すなわちテキストの内容をロボット１８に発話させる発話コマンドを入力するためのボタンである。
【0099】
この実施例では、ボタン２５２が操作されると、表示領域２５０に表示されたテキストの内容をロボット１８に発話させる発話コマンドがサーバ１２に送信される。
【0100】
ボタン２５４は、他の操作者の個性を選択および決定するためのボタンである。一例として、ボタン２５４がオンされると、他の操作者を選択および決定するための選択画面３００（図６参照）がＵＩ画面２００の前面に、または、ＵＩ画面２００に代えて表示され、操作者が決定した他の操作者の個性を反映することがサーバ１２に指示される。他の操作者の個性を反映することについては後で詳細に説明することにする。
【0101】
ボタン２５６ａは、ロボット１８を半自動で制御する状態（以下、「半自動モード」という）に設定することを指示するためのボタンである。一例として、ボタン２５６ａがオンされると、半自動モードの設定指示がサーバ１２に送信される。ロボット１８は、半自動で制御される場合、自動で動作すなわち移動、コミュニケーション行動および癖動作を行い、操作者によって入力される音声または発話コマンドすなわち操作者発話データに基づいて発話を行う。また、ボタン２５６ｂは、ロボット１８を半自動で制御することを解除し、遠隔操作で制御することを指示するためのボタンである。一例として、ボタン２５６ｂがオンされると、半自動モードの解除指示がサーバ１２に送信される。
【0102】
ただし、半自動モードが設定されている場合には、ボタン２５６ａはオンできない状態にされ、半自動モードが設定されている場合には、ボタン２５６ｂはオンできない状態にされる。一例として、オンできない状態においては、ボタン２５６ａおよびボタン２５６ｂは、それぞれ、グレーアウトされる。
【0103】
ボタン２５８は、ロボット１８の遠隔操作の終了を指示するためのボタンである。一例として、ボタン２５８がオンされると、ＵＩ画面２００が表示された操作者端末１６の操作者がロボット１８の遠隔操作を終了することがサーバ１２に指示（または、通知）される。
【0104】
図６は選択画面３００の一例を示す図である。選択画面３００には、複数（図６では、８個）のボタン３０２が２列に並んで表示され、複数のボタン３０２の下方に、ボタン３１０およびボタン３１２が横に並んで表示される。
【0105】
複数のボタン３０２の各々は、他の操作者を選択するためのボタンである。一例として、ボタン３０２には、他の操作者の名称または識別情報（操作者ＩＤ）が記載される。ただし、図６では、他の操作者の名称等に代えて、アルファベット（Ａ－Ｈ）を用いて、操作者Ａ、操作者Ｂ、…、操作者Ｈなどと記載してある。
【0106】
なお、選択画面３００では、他の操作者を選択および決定するため、操作者自身を選択するためのボタンは設けられない。
【0107】
ボタン３１０は、選択した操作者の個性を反映することを決定するためのボタンである。操作者が、選択画面３００を用いて、所望の他の操作者の名称等が記載されたボタン３０２をオンし、さらに、ボタン３１０をオンすると、オンされた状態のボタン３０２に割り当てられた他の操作者の個性を反映することがサーバ１２に指示される。
【0108】
なお、オンされた状態のボタン３０２が再度オンされると、当該ボタン３０２はオフされる（つまり、選択されていない状態にされる）。
【0109】
ボタン３１２は、操作者の選択を中断（または、キャンセル）するためのボタンである。操作者がボタン３１２をオンすると、選択画面３００が非表示され、ＵＩ画面２００が表示される。
【0110】
ロボット１８が半自動でコミュニケーション行動する場合（すなわち、半自動モード）および遠隔操作に従ってコミュニケーション行動する場合（以下、「遠隔モード」という）には、上述したように、ロボット１８から送信されるロボット画像データおよびロボット音声データがサーバ１２を介して、ロボット１８を遠隔操作する操作者が使用する操作者端末１６で受信され、この操作者端末１６でロボット画像データおよびロボット音声データが出力されることにより、操作者は、ロボット１８の周囲を見たり、ロボット１８の周囲の状況を把握したり、ロボット１８の表示装置３０に対面している対話エージェントと対話したりすることができる。
【0111】
ただし、ロボット画像データおよびロボット音声データには、ロボット１８の識別情報（ロボットＩＤ）が付加されている。したがって、サーバ１２は、ロボット画像データおよびロボット音声データに付加されたロボットＩＤから当該ロボットＩＤを付与されたロボット１８を特定するとともに、当該ロボット１８を操作する操作者およびこの操作者が使用する操作者端末１６を特定する。
【0112】
同様に、操作者の画像データ（以下、「操作者画像データ」という）および操作者発話データには、操作者の識別情報（操作者ＩＤ）が付加されている。したがって、サーバ１２は、操作者画像データおよび操作者発話データに付加された操作者ＩＤから操作者を特定する。
【0113】
サーバ１２では、ロボット１８と操作者を特定することで、画像データ、音声データまたは操作者発話データおよび動作コマンドをＲＡＭ５２に記憶する場合に、対話中の対話エージェントおよび操作者についての画像データ、対話中の対話エージェントの音声データおよび操作者発話データ、および、対話中に指示された動作コマンドをまとめた履歴として履歴ＤＢ１２ａに記録することができる。ただし、対話中の対話エージェントの画像データおよび音声データは、特定されたロボット１８から送信されるロボット画像データおよびロボット音声データである。
【0114】
この実施例では、上述したように、操作者すなわちサービスユーザが所定のサービスを利用する場合に、対話エージェントと操作者は対話する。つまり、所定のサービスは、対話エージェントと操作者がロボット１８を介して対話するサービス（対話サービス）を含む。また、サーバ１２は、対話エージェントと操作者の対話の履歴、操作者の操作（この実施例では、動作コマンド）の履歴、対話エージェントおよび操作者の画像の履歴を履歴ＤＢ１２ａに記憶する。
【0115】
一例として、対話の履歴、操作の履歴、対話エージェントおよび操作者の画像の履歴は、操作者が対話エージェントに応対している場合に記録される。これは、操作者がロボット１８を遠隔操作している場合の癖動作を抽出するためである。たとえば、操作者の癖動作は、対話エージェントに応対している場合に、視線（または、顔の向き）を変化させる方向および時間間隔、対話エージェントの話を聞く場合に頷く時間間隔のおよび顔の表情（表出する感情）である。
【0116】
なお、対話の履歴および画像の履歴には、対話エージェントの音声および画像を含めなくてもよい。
【0117】
また、この実施例では、ロボット１８は、操作者によらないで自律行動する場合（以下、「完全自律モード」という）、半自動モードまたは遠隔モードで動作等を行う。完全自律モード、半自動モードまたは遠隔モードは、サーバ１２によって設定される。
【0118】
サーバ１２は、所定のサービスを提供するロボット１８を遠隔操作する操作者が居ない場合に、完全自律モードを設定する。この場合、サーバ１２は、完全自律モードで動作等を行うことをロボット１８に指示する。したがって、ロボット１８は、完全自律モードで動作等を行う。
【0119】
完全自律モードでは、情報処理システム１０またはサーバ１２の管理者によって設定された他の操作者の個性を反映させることができる。完全自律モードにおいて他の操作者の個性が反映される場合には、サーバ１２は、ロボット１８の移動およびコミュニケーション行動を自動で制御し、この他の操作者の顔およびこの他の操作者の顔の表情でアバター画像２８を表示するとともに、この他の操作者の癖動作を行うようにアバター画像２８を制御し、この他の操作者の音声でロボット１８の発話を自動で制御する。
【0120】
なお、完全自律モードでは、情報処理システム１０またはサーバ１２の管理者によって他の操作者の個性を反映することが設定されていない場合には、ロボット１８は、デフォルトで設定されているロボット１８の顔画像のアバター画像２８が表示装置３０に表示され、デフォルトで設定されているロボット１８の音声で発話される。ただし、デフォルトで設定されているロボット１８の顔画像は所定の表情で表現されている。また、この場合、サーバ１２は、デフォルトの顔画像を用いることをロボット１８に指示する。
【0121】
なお、完全自律モードにおいては操作者が居ないため、厳密には、「他の操作者の個性が反映」される訳ではないが、説明の便宜上、この明細書においては、遠隔モードおよび半自動モードの場合と同様に「他の操作者の個性が反映」されると記載することとする。
【0122】
完全自律モードにおいて、他の操作者の個性が反映される場合には、他の操作者の音声でロボット１８が発話するため、対話エージェントに、他の操作者が操作していると認識させることができる。さらに、他の操作者の顔およびその表情のアバター画像２８を表示するとともに、癖動作をアバター画像２８に行わせるため、音声だけでなく、顔およびその表情と癖動作も他の操作者と同じにさせるので、より他の操作者が操作している状態に近似させることができる。したがって、円滑に対話することができる。これらのことは遠隔モードおよび半自動モードについても同様である。
【0123】
また、サーバ１２は、所定のサービスを提供するロボット１８を遠隔操作する操作者を当該ロボット１８に割り当てると、遠隔モードを設定する。ただし、操作者は、自身の操作者端末を用いてサーバ１２にログインし、所定のサービスを利用することを選択した操作者である。遠隔モードでは、他の操作者の個性が反映されない場合には、サーバ１２は、ロボット１８を遠隔操作することを割り当てた操作者の操作者端末１６から送信される動作コマンドに従ってロボット１８の動作を制御し、操作者端末１６から送信される操作者発話データに従ってロボット１８の発話を制御し、操作者端末１６から送信される操作者画像データに従ってアバター画像２８の表示を制御する。つまり、サーバ１２は、アバター画像２８の顔の表情、顔の向きおよび手腕の動きを制御する。ただし、他の操作者の個性が反映されない場合には、サーバ１２は、ロボット１８を遠隔操作することを割り当てた操作者の顔画像データを個性情報ＤＢ１２ｂから読み出し、ロボット１８に送信する。したがって、ロボット１８は、ロボット１８を遠隔操作することを割り当てた操作者の顔画像データを用いてアバター画像２８の顔画像を生成する。また、遠隔モードでは、他の操作者の個性が反映されない場合には、操作者の音声またはロボット１８の音声（合成音声）がロボット１８のスピーカ１１２から出力される。また、遠隔モードでは、アバター画像２８は操作者画像データに従って顔の表情および頭部または首の動きを制御される。
【0124】
ただし、アバター画像２８は、音声を出力するとき、リップシンクされる。また、操作者画像データから顔の表情を推定する方法は上述したとおりである。さらに、アバター画像２８の顔の各パーツの動きおよび頭部または首の動きを制御するための動作コマンドは、一例として、MediaPipe Holisticのような画像処理ライブラリを用いて生成することができる。他の例では、特開２０２１－５６９４０号に開示された方法を用いることもできる。
【0125】
遠隔モードにおいて、他の操作者の個性が反映される場合には、サーバ１２は、他の操作者の個性が反映されない場合と同様に、ロボット１８を遠隔操作することを割り当てた操作者の操作者端末１６から送信される動作コマンドに従ってロボット１８の動作を制御する。ただし、この場合、サーバ１２は、この他の操作者の顔およびこの他の操作者の顔の表情でアバター画像２８を表示するとともに、この他の操作者の癖動作を行うようにアバター画像２８を制御し、この他の操作者の音声でロボット１８の発話を制御する。
【0126】
さらに、サーバ１２は、遠隔モードにおいて、操作者によって半自動モードを設定することが指示されると、半自動モードを設定する。この場合、サーバ１２は、ロボット１８を半自動で制御する。上述したように、半自動モードでは、サーバ１２は、ロボット１８の移動およびコミュニケーション行動を自動で制御し、操作者発話データに基づいてロボット１８の発話を制御する。半自動モードにおいては、上述したように、操作者の指示に応じて、他の操作者の個性を反映することができる。
【0127】
半自動モードにおいて他の操作者の個性が反映されない場合には、サーバ１２は、ロボット１８の移動およびコミュニケーション行動を自動で制御し、遠隔モードにおいてロボット１８を遠隔操作することを割り当てた操作者の顔画像データを個性情報ＤＢ１２ｂから読み出し、ロボット１８に送信する。したがって、ロボット１８は、当該ロボット１８を遠隔操作することを割り当てた操作者の顔画像データを用いてアバター画像２８の顔画像を生成する。また、この場合、サーバ１２は、この操作者の顔の表情でアバター画像２８を表示するとともに、この操作者の癖動作を行うようにアバター画像２８を制御する。また、半自動モードでは、他の操作者の個性が反映されない場合には、操作者の音声またはロボット１８の音声（合成音声）がロボット１８のスピーカ１１２から出力される。
【0128】
また、半自動モードにおいて他の操作者の個性が反映される場合には、サーバ１２は、他の操作者の個性が反映されない場合と同様に、ロボット１８の移動およびコミュニケーション行動を自動で制御する。ただし、この場合、サーバ１２は、この他の操作者の顔およびこの他の操作者の顔の表情でアバター画像２８を表示するとともに、この他の操作者の癖動作を行うようにアバター画像２８を制御し、この他の操作者の音声でロボット１８の発話を制御する。この場合、サーバ１２は、操作者発話データに従ってロボット１８の発話を制御する。
【0129】
サーバ１２は、他の操作者の音声でロボット１８に発話させる場合には、この他の操作者の音響モデルを用いて合成音声を生成する。この合成音声は、一例として、特開２０２１－１５７１４５号に開示された学習済みの推論器を用いて生成される。この学習済みの推論器では、入力されたテキストから合成音声が生成される。したがって、遠隔モードおよび半自動モードにおいては、操作者発話データが操作者音声データである場合には、操作者音声データに対応する操作者音声を音声認識した結果であるテキストが推論器に入力される。
【0130】
なお、推論器の学習は、特開２０２１－１５７１４５号に開示された方法を用いることができる。また、この推論器を用いることで操作者音声を音声認識することもできる。
【0131】
遠隔モードおよび半自動モードで他の操作者の個性を反映してロボット１８を制御するために、個性情報ＤＢ１２ｂには、各操作者についての個性情報が記憶されており、記憶された個性情報を用いて他の操作者の個性が、操作者が遠隔操作するロボット１８すなわちアバターの制御に反映される。
【0132】
図７は個性情報ＤＢ１２ｂに記憶された個性情報の限定しない一例を示す。図７に示すように、個性情報は、操作者ＩＤを含み、操作者ＩＤに対応して、音響モデル、視線情報、頷き情報、表情情報および顔画像情報が記憶される。
【0133】
操作者ＩＤは、操作者の識別情報であり、図７では３文字の同じアルファベットで示される。これは一例であり、操作者ＩＤは操作者の名称でもよい。
【0134】
音響モデルは、操作者ＩＤの操作者について学習された音響モデルのパラメータセットである。上述した推論器を用いて操作者毎に音響モデルが学習され、学習済みの音響モデルのパラメータセットが操作者ＩＤに対応して記憶される。
【0135】
視線情報は、操作者ＩＤの操作者が顔または視線を変化させる方向および時間間隔（つまり、周期）についての情報である。視線情報は、履歴ＤＢ１２ａに記憶された操作者画像データを解析することで生成される。
【0136】
頷き情報は、操作者ＩＤの操作者が対話エージェントの話を聞く場合に頷く時間間隔（つまり、周期）についての情報である。頷き情報は、履歴ＤＢ１２ａに記憶された操作者画像データを解析することで生成される。
【0137】
顔の表情情報は、操作者ＩＤの操作者が対話エージェントに応対するときの平均的な顔の表情についての情報である。ただし、顔の表情は、操作者が発話する場合および対話エージェントの話を聞く場合の各々に分けて記憶されてもよい。また、顔の表情は、上述したように、顔画像または音声に基づいて推定される。
【0138】
顔画像情報は、操作者ＩＤの操作者自身の顔画像である。一例として、顔画像は、操作者自身の顔を正面から撮影した静止画像である。
【0139】
この実施例では、上述したように、ロボット１８は、完全自律モード、遠隔モードまたは半自動モードのいずれかの動作モードで制御される。したがって、ロボット１８が所定のサービスの提供中に、動作モードが変化したり、操作者端末１６すなわち操作者が交代したりした場合に、ロボット１８から出力される音声が変化すると、対話エージェントは違和感を覚える可能性がある。したがって、この実施例では、他の操作者の個性を反映することが設定されている場合には、所定のサービスの動作モードが変化したり、操作者が交代したりしても、この他の操作者の個性を反映することの設定を変更（または、解除）しないようにしてある。また、操作者が交代した場合に、交代前に、他の操作者の個性を反映することが設定されていない場合には、直前の他の操作者についての個性を反映することが自動的に設定される。
【0140】
図８はサーバ１２に内蔵されるＲＡＭ５２のメモリマップ４００の一例を示す。図８に示すように、ＲＡＭ５２は、プログラム記憶領域４０２およびデータ記憶領域４０４を含む。プログラム記憶領域４０２には、この実施例のサーバ１２で実行される情報処理プログラムが記憶されている。
【0141】
情報処理プログラムは、通信プログラム４０２ａ、履歴記憶プログラム４０２ｂ、動作モード設定プログラム４０２ｃ、個性設定プログラム４０２ｄ、感情推定プログラム４０２ｅおよび音声変換プログラム４０２ｆなどを含む。
【0142】
通信プログラム４０２ａは、外部の機器、この実施例では、操作者端末１６およびロボット１８とネットワーク１４を介して通信（データの送信および受信）するためのプログラムである。
【0143】
履歴記憶プログラム４０２ｂは、操作者毎の応対履歴を記憶するためのプログラムである。この実施例では、応対履歴として、対話エージェントに応対している場合の動作コマンド、操作者画像データおよび操作者発話データと、ロボット画像データおよびロボット音声のデータが時系列に従って記憶される。詳細な説明は省略するが、情報処理システム１０またはサーバ１２の管理者が、対話履歴に基づいて、対応する操作者の個性データすなわち個性情報を生成および更新する。
【0144】
動作モード設定プログラム４０２ｃは、ロボット１８の動作モードを設定および管理するためのプログラムである。この実施例では、遠隔操作する操作者が居ない場合には、動作モードとして完全自律モードが設定され、遠隔操作する操作者が割り当てられた場合には、遠隔モードが設定され、さらに、遠隔モードにおいて操作者端末１６から半自動モードを設定することが指示された場合には、動作モードとして半自動モードが設定される。また、半自動モードにおいて操作者端末１６から半自動モードを解除することが指示された場合には、動作モードとして遠隔モードが設定される。ただし、遠隔モードまたは半自動モードにおいて操作者端末１６がログアウトした場合、すなわち、いずれの操作者端末１６もログインしていない場合には、遠隔操作する操作者が居ないため、動作モードとして完全自律モードが設定される。
【0145】
個性設定プログラム４０２ｄは、操作者の要求に応じて、要求された他の操作者に対応する個性データを、要求元の操作者が遠隔操作するロボット１８の表示装置３０に表示されるアバター画像２８、ロボット１８の動作および発話に反映することを設定するためのプログラムである。この場合、個性設定プログラム４０２ｄは、要求された他の操作者の顔画像データをロボット１８に送信するためのプログラムでもある。
【0146】
また、この実施例では、個性設定プログラム４０２ｄは、他の操作者の個性を反映することが要求（または、設定）されていない場合には、ロボット１８を遠隔操作する操作者を割り当てたときに、この操作者の個性データに含まれる顔画像データを個性情報ＤＢ１２ｂから読み出してロボット１８に送信するためのプログラムでもある。
【0147】
感情推定プログラム４０２ｅは、操作者の感情を推定するためのプログラムである。この実施例では、感情推定プログラム４０２ｅは、操作者の感情を推定し、推定した感情を表現する顔の表情についてのデータ（後述する、アバター表情データ４０４ｈ）をロボット１８に送信するためのプログラムである。
【0148】
音声変換プログラム４０２ｆは、他の操作者の個性を反映することが指示されている場合に、当該他の操作者の音響モデルを用いて操作者の発話内容についての合成音声のデータ（後述する、アバター音声データ４０４ｉ）を生成し、ロボット１８に送信するためのプログラムである。
【0149】
なお、顔画像データ、アバター表情データ４０４ｈおよびアバター音声データ４０４ｉを送信する場合には、通信プログラム４０２ａも実行される。
【0150】
図示は省略するが、プログラム記憶領域４０２には、サーバ１２のオペレーティングシステムおよびミドルウェアとは別に所定のサービスを提供するために必要な他のプログラムも記憶される。
【0151】
また、データ記憶領域４０４には、ロボット画像データ４０４ａ、ロボット音声データ４０４ｂ、操作者画像データ４０４ｃ、操作者発話データ４０４ｄ、動作コマンドデータ４０４ｅ、動作モードデータ４０４ｆ、個性データ４０４ｇ、アバター表情データ４０４ｈおよびアバター音声データ４０４ｉなどが記憶される。
【0152】
ロボット画像データ４０４ａは、ロボット１８に設けられたカメラ１２４で撮影され、ロボット１８から受信したカメラ画像のデータである。ロボット画像データ４０４ａは、操作者端末１６に送信された後にＲＡＭ５２から消去される。
【0153】
ロボット音声データ４０４ｂは、ロボット１８に設けられたマイク１１０で検出され、ロボット１８から受信した音声のデータである。この音声には、対話エージェントの音声が含まれる。ロボット音声データ４０４ｂは、操作者端末１６に送信された後にＲＡＭ５２から消去される。
【0154】
操作者画像データ４０４ｃは、ロボット１８を遠隔操作している操作者が使用する操作者端末１６に設けられたカメラ８８で撮影され、この操作者端末１６から受信した操作者の画像のデータである。
【0155】
操作者発話データ４０４ｄは、ロボット１８を遠隔操作している操作者が使用する操作者端末１６に設けられたマイク８２で検出され、この操作者端末１６から受信した音声のデータ、または、操作者端末１６の表示装置８０に表示されたＵＩ画面２００を用いて発話することが指示されたテキストのデータである。ただし、音声のデータは、基本的には、ロボット１８を遠隔操作している操作者の音声のデータすなわち操作者音声データである。
【0156】
動作コマンドデータ４０４ｅは、遠隔モードでは、操作者端末１６から受信した、ロボット１８を遠隔操作している操作者によって入力された動作コマンドのデータである。また、動作コマンドデータ４０４ｅは、完全自律モードまたは半自動モードでは、サーバ１２で決定したコミュニケーション行動に含まれる動作の動作コマンドまたは癖動作についての動作コマンドのデータである。
【0157】
動作モードデータ４０４ｆは、ロボット１８の動作モードを識別するためのデータであり、この実施例では、完全自律モード、半自動モードまたは遠隔モードの別を示すデータである。
【0158】
個性データ４０４ｇは、ロボット１８を遠隔操作している操作者によって指示（または、要求）された他の操作者すなわち個性を反映することが設定された他の操作者についての個性データ、または、他の操作者についての個性を反映することが設定されていない場合に、ロボット１８を遠隔操作することが割り当てられた操作者についての個性データであって、個性情報ＤＢ１２ｂから読み出される。
【0159】
アバター表情データ４０４ｈは、アバター画像２８の顔の表情を制御するためのデータである。
【0160】
アバター音声データ４０４ｉは、アバター画像２８に発話させる合成音声のデータである。ただし、合成音声は、ロボット１８を遠隔操作している操作者によって指示された他の操作者についての音響モデルを用いて生成される。
【0161】
図示は省略するが、データ記憶領域４０４には、情報処理を実行するために必要な他のデータが記憶されたり、情報処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。
【0162】
図９は操作者端末１６に内蔵されるＲＡＭ７２のメモリマップ５００の一例を示す。図９に示すように、ＲＡＭ７２は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。プログラム記憶領域５０２には、この実施例の操作者端末１６で実行される情報処理プログラムが記憶されている。
【0163】
情報処理プログラムは、通信プログラム５０２ａ、操作検出プログラム５０２ｂ、撮影画像取得プログラム５０２ｃ、画像表示プログラム５０２ｄ、音検出プログラム５０２ｅおよび音出力プログラム５０２ｆなどを含む。
【0164】
通信プログラム５０２ａは、外部の機器、この実施例では、サーバ１２およびロボット１８と有線または無線で通信（データの送信および受信）するためのプログラムである。
【0165】
操作検出プログラム５０２ｂは、操作者の操作に従って入力装置７８から入力される操作データを検出し、データ記憶領域５０４に記憶するためのプログラムである。ただし、ＵＩ画面２００に設けられたボタン２１０－２３８、２５２－２５８が操作された場合には、操作されたボタン２１０－２３８、２５２－２５８に割り当てられた操作情報（動作コマンドを含む）のデータが操作データとして検出される。同様に、選択画面３００に設けられた複数のボタン３０２、ボタン３１０およびボタン３１２が操作された場合には、操作されたボタン３０２、３１０または３１２に割り当てられた操作情報のデータが操作データとして検出される。
【0166】
撮影画像取得プログラム５０２ｃは、カメラ８８で撮影された操作者画像データ５０４ｅを取得し、取得した操作者画像データ５０４ｅをデータ記憶領域５０４に記憶するためのプログラムである。
【0167】
画像表示プログラム５０２ｄは、各種の画面（この実施例では、ＵＩ画面２００、選択画面３００）の表示画像データを生成し、生成した表示画像データを表示装置８０に出力するためのプログラムである。ただし、ＵＩ画面２００の表示画像データには、サーバ１２から受信したロボット画像データ５０４ｃも含まれる。
【0168】
音検出プログラム５０２ｅは、マイク８２から入力される操作者の音声を検出し、検出した音声に対応する操作者発話データ５０４ｆをデータ記憶領域５０４に記憶するためのプログラムである。
【0169】
音出力プログラム５０２ｆは、サーバ１２から受信したロボット音声データ５０４ｄをスピーカ８４に出力するためのプログラムである。また、音出力プログラム５０２ｆは、操作者発話データ５０４ｆをサーバ１２に送信（または、出力）するためのプログラムでもある。このとき、通信プログラム５０２ａも実行される。ただし、音出力プログラム５０２ｆは、ボタン２５２がオンされた場合に、表示領域２５０に表示されたテキストに対応する操作者発話データ５０４ｆもサーバ１２に送信（または、出力）する。
【0170】
図示は省略するが、プログラム記憶領域５０２には、操作者端末１６のオペレーティングシステム、任意のミドルウェアおよび任意のアプリケーションを実行するためのプログラムも記憶される。
【0171】
また、データ記憶領域５０４には、操作データ５０４ａ、ＵＩ画面データ５０４ｂ、ロボット画像データ５０４ｃ、ロボット音声データ５０４ｄ、操作者画像データ５０４ｅ、操作者発話データ５０４ｆおよび動作コマンドデータ５０４ｇなどが記憶される。
【0172】
操作データ５０４ａは、操作検出プログラム５０２ｂに従って検出された操作データである。操作データ５０４ａは、サーバ１２に送信されたり、操作者端末１６の処理に利用されたりした後に消去される。
【0173】
【0174】
ロボット画像データ５０４ｃは、サーバ１２から受信したロボット画像データである。ロボット画像データ５０４ｃは、ＣＰＵ７０の処理に使用された後に消去される。
【0175】
ロボット音声データ５０４ｄは、サーバ１２から受信したロボット音声データである。ロボット音声データ５０４ｄは、ＣＰＵ７０の処理に使用された後に消去される。
【0176】
操作者画像データ５０４ｅは、カメラ８８から取得した撮影画像データであり、サーバ１２に送信された後に消去される。
【0177】
操作者発話データ５０４ｆは、マイク８２で検出された音声データまたは入力された発話コマンドのデータであり、サーバ１２に送信された後に消去される。
【0178】
動作コマンドデータ５０４ｇは、入力された動作コマンドのデータであり、サーバ１２に送信された後に消去される。
【0179】
図示は省略するが、データ記憶領域５０４には、情報処理を実行するために必要な他のデータが記憶されたり、情報処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。
【0180】
図１０はロボット１８に内蔵されるＲＡＭ１０２のメモリマップ６００の一例を示す。図１０に示すように、ＲＡＭ１０２は、プログラム記憶領域６０２およびデータ記憶領域６０４を含む。プログラム記憶領域６０２には、この実施例のロボット１８で実行される制御プログラムが記憶されている。
【0181】
制御プログラムは、通信プログラム６０２ａ、移動制御プログラム６０２ｂ、撮影画像取得プログラム６０２ｃ、アバター画像生成プログラム６０２ｄ、画像表示プログラム６０２ｅ、音検出プログラム６０２ｆおよび音出力プログラム６０２ｇなどを含む。
【0182】
通信プログラム６０２ａは、外部の機器、この実施例では、サーバ１２および操作者端末１６と無線で通信（データの送信および受信）するためのプログラムである。
【0183】
移動制御プログラム６０２ｂは、サーバ１２から受信した移動についての動作コマンド６０４ｇに従って環境内を移動および停止するためのプログラムである。
【0184】
撮影画像取得プログラム６０２ｃは、カメラ１２２で撮影された撮影画像データを取得するためのプログラムである。
【0185】
アバター画像生成プログラム６０２ｄは、画像生成データ６０４ａを用いて、サーバ１２から受信したアバター表情データ６０４ｅおよび動作コマンドデータ６０４ｇに従ってアバター画像データ６０４ｈを生成するためのプログラムである。
【0186】
画像表示プログラム６０２ｅは、アバター画像生成プログラム６０２ｄに従って生成したアバター画像データ６０４ｈに対応するアバター画像２８を表示装置３０に出力するためのプログラムである。
【0187】
音検出プログラム６０２ｆは、マイク１１０から入力される対話エージェント等の音声を検出し、検出した音声に対応するロボット音声データ６０４ｃをデータ記憶領域６０４に記憶するためのプログラムである。
【0188】
音出力プログラム６０２ｇは、サーバ１２から受信したアバター音声データ６０４ｆをスピーカ１１２に出力するためのプログラムである。また、音出力プログラム６０２ｇは、音検出プログラム６０２ｆで検出したロボット音声データ６０４ｃをサーバ１２に送信（または、出力）するためのプログラムでもある。このとき、通信プログラム６０２ａも実行される。
【0189】
図示は省略するが、プログラム記憶領域６０２には、ロボット１８のオペレーティングシステムおよび任意のミドルウェアに加えて、距離を検出するプログラムおよび慣性情報を検出するプログラムも記憶される。
【0190】
また、データ記憶領域６０４には、画像生成データ６０４ａ、ロボット画像データ６０４ｂ、ロボット音声データ６０４ｃ、顔画像データ６０４ｄ、アバター表情データ６０４ｅ、アバター音声データ６０４ｆ、動作コマンドデータ６０４ｇおよびアバター画像データ６０４ｈなどが記憶される。
【0191】
画像生成データ６０４ａは、アバター画像２８を生成するためのポリゴンデータおよびテクスチャデータなどのデータである。この画像生成データ６０４ａはデフォルトの顔画像データを含み、完全自律モードにおいて、他の操作者の個性を反映することが設定されていない場合に、この顔画像データを用いてアバター画像２８の顔画像が生成される。
【0192】
ロボット画像データ６０４ｂは、ロボット１８が備えるカメラ１２２で撮影されたカメラ画像のデータである。ロボット画像データ６０４ｂは、サーバ１２に送信された後に消去される。
【0193】
ロボット音声データ６０４ｃは、ロボット１８が備えるマイク１１０で検出された対話エージェント等の音声のデータである。ロボット音声データ６０４ｃは、サーバ１２に送信された後に消去される。
【0194】
顔画像データ６０４ｄは、アバター画像２８の顔画像を生成するための操作者の顔画像のデータである。具体的には、顔画像データ６０４ｄは、他の操作者の個性を反映することが設定されている場合には、当該他の操作者についての顔画像データである。顔画像データ６０４ｄは、遠隔モードにおいて、他の操作者の個性を反映することが設定されていない場合には、ロボット１８を遠隔操作する操作者についての顔画像データである。
【0195】
アバター表情データ６０４ｅは、サーバ１２から受信したアバター表情データである。この実施例では、アバター表情データ６０４ｅは、アバター画像２８の顔の各部位のパラメータについてのデータである。アバター表情データ６０４ｅは、ＣＰＵ１００の処理に使用された後に消去される。各部位のパラメータは、目、鼻、口および眉毛の位置、目および口の開き具合、目、口角および眉毛の上り（または、下がり）具合などを意味する。
【0196】
アバター音声データ６０４ｆは、サーバ１２から受信したアバター音声データである。アバター音声データ６０４ｆは、ＣＰＵ１００の処理に使用された後に消去される。
【0197】
動作コマンドデータ６０４ｇは、サーバ１２から受信した動作コマンドのデータである。この動作コマンドに従ってロボット１８の移動およびアバター画像２８の動作が制御される。動作コマンドデータ６０４ｇは、ＣＰＵ１００の処理に使用された後に消去される。
【0198】
アバター画像データ６０４ｈは、アバター画像生成プログラム６０２ｄに従って生成されたアバター画像２８の画像データである。
【0199】
図示は省略するが、データ記憶領域６０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。
【0200】
図１１－図１７は図２に示したサーバ１２のＣＰＵ５０の所定のサービス実行時における情報処理の一例を示すフロー図である。図示は省略するが、サーバ１２のＣＰＵ５０は、操作者端末１６からの要求に応じて、操作者端末１６または操作者のログインおよびログアウトの処理を、情報処理と並行して実行する。
【0201】
図１１に示すように、ＣＰＵ５０は、情報処理を開始すると、ステップＳ１で、ロボット１８の動作モードが完全自律モードであるかどうかを判断する。ここでは、ＣＰＵ５０は、動作モードデータ４０４ｆを参照して、動作モードとして完全自律モードが設定されているかどうかを判断する。
【0202】
なお、ＣＰＵ５０は、ロボット１８を操作する操作者が居ない場合に、つまり、いずれの操作者端末１６もログインしていない場合に、完全自律モードを設定する。また、ＣＰＵ５０は、完全自律モードを設定した場合に、他の操作者の個性を反映することが設定されていない場合には、デフォルトの顔画像を使用することをロボット１８に指示する。
【0203】
ただし、ＣＰＵ５０は、情報処理を開始したときに、ロボット１８を遠隔操作する操作者が既に割り当てられている場合には、動作モードとして遠隔モードを設定する。
【0204】
動作モードとして完全自律モードおよび遠隔モードのいずれが設定された場合にも、他の操作者の個性を反映することが設定されている場合には、ＣＰＵ５０は、この他の操作者についての個性データ４０４ｇを個性情報ＤＢ１２ｂから読み出し、ＲＡＭ５２に書き込む（または、更新する）。また、ＣＰＵ５０は、個性データ４０４ｇに含まれる顔画像データをロボット１８に送信する。
【0205】
また、動作モードとして遠隔モードが設定された場合に、他の操作者の個性を反映することが設定されていない場合には、ＣＰＵ５０はロボット１８を遠隔操作することが割り当てられた操作者の個性データに含まれる顔画像データを個性情報ＤＢ１２ｂから読み出してロボット１８に送信する。
【0206】
さらに、いずれの動作モードが設定されている場合にも、他の操作者の個性を反映することが設定されていない場合には、ＣＰＵ５０は個性データをＲＡＭ５２に記憶しない、または、消去する。
【0207】
ステップＳ１で“ＮＯ”であれば、つまり、動作モードが完全自律モードでなければ、図１３に示すステップＳ２５に進む。一方、ステップＳ１で“ＹＥＳ”であれば、つまり、動作モードが完全自律モードであれば、ステップＳ３で、ロボット１８が待機中であるかどうかを判断する。ここでは、ＣＰＵ５０は、ロボット１８が対話エージェントに応対していないかどうかを判断する。一例として、ＣＰＵ５０は、ロボット１８から音声データを受信しない状態が一定時間以上継続しているかどうかを判断する。
【0208】
ステップＳ３で“ＹＥＳ”であれば、つまり、ロボット１８が待機中であれば、ステップＳ５で、癖動作を実行するかどうかを判断する。ここでは、ＣＰＵ５０は、設定されている他の操作者の個性データに基づいて、アバター（アバター画像２８）が視線の向きを変えるタイミングであるかどうかを判断する。ただし、他の操作者の個性を反映することが設定されていない場合には、ロボット１８を自律行動させるプログラムに従ってアバターが視線を変えるタイミングであるかどうかを判断する。
【0209】
ステップＳ５で“ＮＯ”であれば、つまり、癖動作を実行しない場合には、図１６に示すステップＳ７９に進む。一方、ステップＳ５で“ＹＥＳ”であれば、つまり、癖動作を実行する場合には、ステップＳ７で、癖動作についての動作コマンドデータをロボット１８に送信してステップＳ７９に進む。
【0210】
上述したように、ステップＳ３で“ＮＯ”であれば、図１２に示すステップＳ９で、ロボット画像データを受信したかどうかを判断する。ステップＳ９で“ＮＯ”であれば、つまり、ロボット画像データを受信していなければ、ステップＳ１３に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまり、ロボット画像データを受信していれば、ステップＳ１１で、ロボット画像データ４０４ａをＲＡＭ５２に記憶して、ステップＳ１３に進む。
【0211】
ステップＳ１３では、ロボット音声データを受信したかどうかを判断する。ステップＳ１３で“ＮＯ”であれば、つまり、ロボット音声データを受信していなければ、ステップＳ１６に進む。図示は省略するが、ロボット音声データを受信していない場合には、その時間が計測される。一方、ステップＳ１３で“ＹＥＳ”であれば、つまり、ロボット音声データを受信していれば、ステップＳ１５で、ロボット音声データ４０４ｂをＲＡＭ５２に記憶して、ステップＳ１６に進む。
【0212】
ステップＳ１６では、ロボット１８のコミュニケーション行動を決定する。ただし、コミュニケーション行動の決定は、上述した特開２００９－１３１９１４号に開示された方法に従って行われる。
【0213】
次のステップＳ１７では、他の操作者の個性を反映するかどうかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり、他の操作者の個性を反映しない場合には、ステップＳ１８で、ステップＳ１６で決定されたコミュニケーション行動に含まれる身振りすなわち動作についての動作コマンドデータをロボット１８に送信する。ただし、コミュニケーション行動に動作が含まれない場合には、動作コマンドデータは送信されない。
【0214】
続くステップＳ１９では、ステップＳ１６で決定されたコミュニケーション行動に含まれる発話のアバター音声データをロボット１８に送信して、ステップＳ７９に進む。ただし、ステップＳ１９では、アバター音声データは、デフォルトで設定されたロボット１８の音声の音響モデルを用いて、コミュニケーション行動に含まれる発話のテキストから生成した合成音声のデータである。
【0215】
一方、ステップＳ１７で“ＹＥＳ”であれば、つまり、他の操作者の個性を反映する場合には、ステップＳ２０で、他の操作者の表情に基づくアバター表情データをロボット１８に送信し、ステップＳ２１で、ステップＳ１６で決定されたコミュニケーション行動に含まれる身振りすなわち動作についての動作コマンドデータをロボット１８に送信する。ただし、コミュニケーション行動に動作が含まれない場合には、動作コマンドデータは送信されない。
【0216】
続いて、ステップＳ２２で、ステップＳ１６で決定されたコミュニケーション行動に含まれる発話に、設定された他の操作者の個性を反映する。つまり、個性を反映することが設定された他の操作者の音響モデルを用いて、アバター音声データが生成される。
【0217】
そして、ステップＳ２３で、アバター音声データをロボット１８に送信してステップＳ７９に進む。
【0218】
ただし、コミュニケーション行動に発話が含まれない場合には、アバター音声データは生成および送信されない。
【0219】
上述したように、ステップＳ１で“ＮＯ”であれば、図１３に示すステップＳ２５で、操作者端末１６から操作者画像データを受信したかどうかを判断する。ステップＳ２５で“ＮＯ”であれば、つまり、操作者画像データを受信していなければ、ステップＳ３５に進む。
【0220】
一方、ステップＳ２５で“ＹＥＳ”であれば、つまり、操作者画像データを受信すれば、ステップＳ２６で、操作者画像データ４０４ｃをＲＡＭ５２のデータ記憶領域４０４に記憶し、ステップＳ２７で、他の操作者の個性を反映するかどうかを判断する。ステップＳ２７で“ＹＥＳ”であれば、つまり、他の操作者の個性を反映する場合には、ステップＳ２８で、他の操作者の感情に基づくアバター表情データ４０４ｈをロボット１８に送信して、ステップＳ３３に進む。
【0221】
一方、ステップＳ２７で“ＮＯ”であれば、つまり、他の操作者の個性を判定しない場合には、ステップＳ２９で、操作者の感情を推定し、ステップＳ３１で、アバター表情データ４０４ｈをロボット１８に送信し、ステップＳ３３で、操作者画像データを履歴ＤＢ１２ａに記憶して、ステップＳ３５に進む。
【0222】
ステップＳ３５では、動作モードデータ４０４ｆを参照して、ロボット１８の動作モードが半自動モードであるかどうかを判断する。ステップＳ３５で“ＮＯ”であれば、つまり、ロボット１８の動作モードが半自動モードでなければ、図１４に示すステップＳ４１に進む。
【0223】
一方、ステップＳ３５で“ＹＥＳ”であれば、つまり、ロボット１８の動作モードが半自動モードであれば、ステップＳ３７で、癖動作の実行かどうかを判断する。ここでは、ＣＰＵ５０は、個性を反映することが設定された他の操作者の視線の向きの変更または頷きのタイミングであるかどうかを判断する。
【0224】
ステップＳ３７で“ＮＯ”であれば、つまり、癖動作の実行でなければ、ステップＳ４１に進む。一方、ステップＳ３７で“ＹＥＳ”であれば、つまり、癖動作の実行であれば、ステップＳ３９で、実行させる癖動作の動作コマンドデータをロボット１８に送信して、ステップＳ４１に進む。
【0225】
図１４に示すように、ステップＳ４１では、操作者端末１６から操作者発話データを受信したかどうかを判断する。ステップＳ４１で“ＮＯ”であれば、つまり、操作者発話データを受信していなければ、図１５に示すステップＳ５５に進む。一方、ステップＳ４１で“ＹＥＳ”であれば、つまり、操作者発話データを受信すれば、ステップＳ４３で、操作者発話データ４０４ｄをＲＡＭ５２のデータ記憶領域４０４に記憶し、ステップＳ４５で、他の操作者の個性を反映するかどうかを判断する。
【0226】
ステップＳ４５で“ＮＯ”であれば、つまり、他の操作者の個性を反映しない場合には、ステップＳ４７で、操作者発話データをアバター音声データ４０４ｉとしてロボット１８に送信し、ステップＳ５３で、操作者発話データ４０４ｄを履歴ＤＢ１２ａに記憶して、ステップＳ５５に進む。
【0227】
一方、ステップＳ４５で“ＹＥＳ”であれば、つまり、他の操作者の個性を反映する場合には、ステップＳ４９で、操作者発話データに他の操作者の個性を反映する。つまり、操作者によって入力された発話が他の操作者の音響モデルに変換され、他の操作者の合成音声についてのアバター音声データ４０４ｉが生成される。次のステップＳ５１では、アバター音声データ４０４ｉをロボット１８に送信して、ステップＳ５３に進む。
【0228】
図１５に示すように、ステップＳ５５で、ロボット１８からロボット画像データを受信したかどうかを判断する。ステップＳ５５“ＮＯ”であれば、つまり、ロボット画像データを受信していなければ、ステップＳ６３に進む。一方、ステップＳ５５で“ＹＥＳ”であれば、つまり、ロボット画像データを受信すれば、ステップＳ５７で、ロボット画像データ４０４ａをＲＡＭ５２のデータ記憶領域４０４に記憶し、ステップＳ５９で、ロボット画像データ４０４ａを操作者端末１６に送信し、ステップＳ６１で、ロボット画像データ４０４ａを履歴ＤＢ１２ａに記憶して、ステップＳ６３に進む。
【0229】
ステップＳ６３では、ロボット１８からロボット音声データを受信したかどうかを判断する。ステップＳ６３で“ＮＯ”であれば、つまり、ロボット音声データを受信していなければ、図１６に示すステップＳ７１に進む。一方、ステップＳ６３で“ＹＥＳ”であれば、つまり、ロボット音声データを受信すれば、ステップＳ６５で、ロボット音声データ４０４ｂをデータ記憶領域４０４に記憶し、ステップＳ６７で、ロボット音声データ４０４ｂを操作者端末１６に送信し、ステップＳ６９で、ロボット音声データ４０４ｂを履歴ＤＢ１２ａに記憶して、ステップＳ７１に進む。
【0230】
図１６に示すように、ステップＳ７１では、操作者端末１６から動作コマンドデータを受信したかどうかを判断する。ステップＳ７１で“ＮＯ”であれば、つまり、動作コマンドデータを受信していなければ、ステップＳ７９に進む。一方、ステップＳ７１で“ＹＥＳ”であれば、つまり、動作コマンドデータを受信すれば、ステップＳ７３で、動作コマンドデータ４０４ｅをＲＡＭ５２のデータ記憶領域４０４に記憶し、ステップＳ７５で、動作コマンドデータ４０４ｅをロボット１８に送信し、ステップＳ７７で、動作コマンドデータ４０４ｅを履歴ＤＢ１２ａに記憶して、ステップＳ７９に進む。
【0231】
ステップＳ７９では、操作者が交代したかどうかを判断する。ステップＳ７９で“ＮＯ”であれば、つまり、操作者が交代していなければ、図１７に示すステップＳ８５に進む。一方、ステップＳ７９で“ＹＥＳ”であれば、つまり、操作者が交代すれば、ステップＳ８１で、他の操作者の個性を反映することが設定されているかどうかを判断する。
【0232】
ステップＳ８１で“ＹＥＳ”であれば、つまり、他の操作者の個性を反映することが設定されていれば、ステップＳ８５に進む。ステップＳ８１で“ＮＯ”であれば、つまり、他の操作者の個性を反映することが設定されていなければ、ステップＳ８３で、直前の他の操作者の個性を反映することを設定して、ステップＳ８５に進む。
【0233】
したがって、操作者が交代しても、先の操作者によって設定されていた、または、完全自律モードのロボット１８に設定されていた他の操作者の個性を反映する。また、操作者が交代した場合に、交代前に、他の操作者の個性を反映することが設定されていない場合には、直前の他の操作者についての個性を反映することが自動的に設定される。したがって、交代後の操作者が個性を反映する他の操作者を変更しない限り、同一の操作者が対応していると対話エージェントに認識（または錯覚）させることができる。
【0234】
図示は省略するが、操作者が交代した場合には、交代後の操作者の操作者端末１６に現在の動作モード、すなわち、遠隔モードまたは半自動モードと、他の操作者の個性を反映することが設定されていることを通知するようにしてもよい。このようにすれば、交代後の操作者は動作モードおよび他の操作者の個性を反映することが設定されていることを認識して、適切に対話エージェントに応対することができる。
【0235】
図１７に示すように、ステップＳ８５では、操作者端末１６から他の操作者の個性を反映する指示が有るかどうかを判断する。ステップＳ８５で“ＮＯ”であれば、つまり、操作者端末１６から他の操作者の個性を反映する指示が無ければ、ステップＳ８９に進む。
【0236】
一方、ステップＳ８５で“ＹＥＳ”であれば、つまり、操作者端末１６から他の操作者の個性を反映する指示が有れば、ステップＳ８７で、指示された他の操作者の個性を反映することを設定して、ステップＳ９７に進む。ステップＳ８７では、ＣＰＵ５０は、指示された他の操作者の個性についての個性データ４０４ｇを個性情報ＤＢ１２ｂから読み出し、ＲＡＭ５２に書き込む、または、更新する。このとき、ＣＰＵ５０は、書き込まれた、または、更新された個性データ４０４ｇに含まれる顔画像データをロボット１８に送信する。
【0237】
ステップＳ８９では、操作者端末１６から半自動モードの設定指示が有るかどうかを判断する。ステップＳ８９で“ＮＯ”であれば、つまり、操作者端末１６から半自動モードの設定指示が無ければ、ステップＳ９３に進む。
【0238】
一方、ステップＳ８９で“ＹＥＳ”であれば、つまり、操作者端末１６から半自動モードの設定指示が有れば、ステップＳ９１で、動作モードとして半自動モードを設定して、ステップＳ９７に進む。
【0239】
ステップＳ９３では、操作者端末１６から半自動モードの解除指示が有るかどうかを判断する。ステップＳ９３で“ＮＯ”であれば、つまり、操作者端末１６から半自動モードの解除指示が無ければ、ステップＳ９７に進む。
【0240】
一方、ステップＳ９３で“ＹＥＳ”であれば、つまり、操作者端末１６から半自動モードの解除指示が有れば、ステップＳ９５で、動作モードとして遠隔モードを設定して、ステップＳ９７に進む。ただし、ステップＳ９５で遠隔モードが設定された場合には、他の操作者の個性を反映することの設定が解除される。
【0241】
ステップＳ９７では、サービスの終了かどうかを判断する。ここでは、ＣＰＵ５０は、サービスの終了時刻になったり、サービスの提供をすべて終了したりしたかどうかを判断する。ステップＳ９７で“ＮＯ”であれば、つまり、サービスの終了でなければ、ステップＳ１に戻る。一方、ステップＳ９７で“ＹＥＳ”であれば、つまり、サービスの終了であれば、ステップＳ９９で、サービスの終了通知を操作者端末１６およびロボット１８に送信して、情報処理を終了する。
【0242】
図１８－図２０は図３に示した操作者端末１６のＣＰＵ７０の情報処理の一例を示すフロー図である。なお、図示は省略するが、操作者端末１６のＣＰＵ７０は、操作データ５０４ａを検出したり、操作者画像データ５０４ｅを検出したり、操作者発話データ５０４ｆを取得したりして、各データをサーバ１２に送信する処理（すなわち、送信処理）を実行したり、サーバ１２から送信されたロボット画像データ４０４ａおよびロボット音声データ４０４ｂを受信する処理（すなわち、受信処理）を実行したりする。
【0243】
図１８に示すように、ＣＰＵ７０は、情報処理を開始すると、ステップＳ２０１で、サーバ１２と接続状態を確立する。次のステップＳ２０３で、図５に示したようなＵＩ画面２００を表示装置８０に表示する。ただし、情報処理を開始した当初では、ロボット画像データを受信していないため、表示領域２０２には何も画像が表示されない。また、このとき、動作モードとして遠隔モードが設定される。
【0244】
次のステップＳ２０５では、動作コマンドの入力が有るかどうかを判断する。ここでは、ＣＰＵ７０は、ボタン２１０－２２４、２２０－２２８…が操作されたかどうかを判断する。
【0245】
ステップＳ２０５で“ＮＯ”であれば、つまり、動作コマンドの入力が無ければ、ステップＳ２０９に進む。一方、ステップＳ２０５で“ＹＥＳ”であれば、つまり、動画コマンドの入力が有れば、ステップＳ２０７で、動作コマンドデータ５０４ｇをサーバ１２に送信して、ステップＳ２０９に進む。
【0246】
ステップＳ２０９では、発話が有るかどうかを判断する。ここでは、ＣＰＵ７０は、操作者の音声が入力されたり、発話コマンドが入力されたりしたかどうかを判断する。
【0247】
ステップＳ２０９で“ＹＥＳ”であれば、つまり、発話が有れば、ステップＳ２１１で、操作者画像データおよび操作者発話データをサーバ１２に送信して、図１９に示すステップＳ２１５に進む。
【0248】
一方、ステップＳ２０９で“ＮＯ”であれば、つまり、発話が無ければ、ステップＳ２１３で、操作者画像データをサーバ１２に送信して、ステップＳ２１５に進む。
【0249】
図１９に示すように、ステップ２１５では、サーバ１２から対話データを受信したかどうかを判断する。ステップＳ２１５で“ＮＯ”であれば、つまり、サーバ１２から対話データを受信していなければ、ステップＳ２２５に進む。一方、ステップＳ２１５で“ＹＥＳ”であれば、つまり、サーバ１２から対話データを受信すれば、ステップＳ２１７で、ロボット音声データが有るかどうかを判断する。
【0250】
ステップＳ２１７で“ＹＥＳ”であれば、つまり、ロボット音声データ５０４ｄが有れば、ステップＳ２１９で、ロボット音声データ５０４ｄを出力し、ステップＳ２２１で、ロボット画像データ５０４ｃを出力して、ステップＳ２２５に進む。したがって、ロボット１８を通して操作者と対話する対話エージェントの音声が操作者端末１６のスピーカ８４から出力され、ロボット１８を通して操作者と対話する対話エージェント等を含むカメラ画像がＵＩ画面２００の表示領域２０２に表示される。
【0251】
一方、ステップＳ２１７で“ＮＯ”であれば、つまり、ロボット音声データ５０４ｄが無ければ、ステップＳ２２３で、ロボット画像データ５０４ｃを出力して、ステップＳ２２５に進む。
【0252】
ステップＳ２２５では、個性を反映する他の操作者の選択かどうかを判断する。ここでは、ＣＰＵ７０は、ＵＩ画面２００において、ボタン２５４がオンされたかどうかを判断する。
【0253】
ステップＳ２２５で“ＮＯ”であれば、つまり、個性を反映する他の操作者の選択でなければ、図２０に示すステップＳ２３５に進む。一方、ステップＳ２２５で“ＹＥＳ”であれば、つまり、個性を反映する他の操作者の選択であれば、ステップＳ２２７で、図６に示したような選択画面３００を表示装置８０に表示する。
【0254】
次のステップＳ２２９では、決定かどうかを判断する。ここでは、ＣＰＵ７０は、ボタン３０２（他の操作者）のいずれかがオン（選択）された状態で、ボタン３１０がオンされたかどうかを判断する。
【0255】
ステップＳ２２９で“ＮＯ”であれば、つまり、決定でなければ、ステップＳ２３１で、その他の処理を実行して、ステップＳ２２９に戻る。その他の処理では、操作者の操作に従ってボタン３０２がオンまたはオフされる。図示は省略するが、ボタン３１２がオンされた場合には、ＣＰＵ７０は、操作者の選択を中断（または、キャンセル）し、選択画面３００を非表示して、ＵＩ画面２００を表示する。
【0256】
一方、ステップＳ２２９で“ＹＥＳ”であれば、つまり、決定であれば、ステップＳ２３３で、選択画面３００で選択された他の操作者の個性の反映をサーバ１２に指示して、ステップＳ２３５に進む。
【0257】
図２０に示すように、ステップＳ２３５では、動作モードを半自動モードに設定するかどうかを判断する。ここでは、ＣＰＵ７０は、ボタン２５６ａがオンされたかどうかを判断する。
【0258】
ステップＳ２３５で“ＮＯ”であれば、つまり、動作モードを半自動モードに設定しない場合には、ステップＳ２３９に進む。一方、ステップＳ２３５で“ＹＥＳ”であれば、つまり、動作モードを半自動モードに設定する場合には、ステップＳ２３７で、半自動モードの設定指示をサーバ１２に送信して、ステップＳ２４７に進む。
【0259】
ステップＳ２３９では、半自動モードを解除するかどうかを判断する。ここでは、ＣＰＵ７０は、ボタン２５６ｂがオンされたかどうかを判断する。ステップＳ２３９で“ＮＯ”であれば、つまり、半自動モードを解除しない場合には、ステップＳ２４３に進む。一方、ステップＳ２３９で“ＹＥＳ”であれば、つまり、半自動モードを解除する場合には、ステップＳ２４１で、半自動モードの解除指示をサーバ１２に送信して、ステップＳ２４７に進む。
【0260】
ステップＳ２４３では、発話内容のテキスト入力かどうかを判断する。ステップＳ２４３で“ＮＯ”であれば、つまり、発話内容のテキスト入力でなければ、ステップＳ２４７に進む。一方、ステップＳ２４３で“ＹＥＳ”であれば、つまり、発話内容のテキスト入力であれば、ステップＳ２４５で、入力されたテキストを表示領域２５０に表示して、ステップＳ２４７に進む。
【0261】
ステップＳ２４７では、サービスの終了かどうかを判断する。ここでは、ＣＰＵ７０は、サーバ１２からサービスの終了通知を受信したかどうかを判断する。ステップＳ２４７で“ＹＥＳ”であれば、つまり、サービス終了であれば、情報処理を終了する。
【0262】
一方、ステップＳ２４７で“ＮＯ”であれば、つまり、サービス終了でなければ、ステップＳ２４９で、ログアウトするかどうかを判断する。ここでは、ＣＰＵ７０は、操作者がログアウトを指示したかどうかを判断する。ステップＳ２４９で“ＮＯ”であれば、つまり、ログアウトしない場合には、ステップＳ２０３に戻る。一方、ステップＳ２４９で“ＹＥＳ”であれば、つまり、ログアウトする場合には、ステップＳ２５１で、ログアウトの指示をサーバ１２に送信して、情報処理を終了する。
【0263】
図２１および図２２は図４に示したロボット１８のＣＰＵ１００の制御処理の一例を示すフロー図である。なお、図示は省略するが、ロボット１８のＣＰＵ１００は、ロボット画像データ６０４ｂを検出したり、ロボット音声データ６０４ｃを検出したり、各データをサーバ１２に送信する送信処理を実行したり、サーバ１２から送信された顔画像データ６０４ｄ、アバター表情データ６０４ｅ、アバター音声データ６０４ｆおよび動作コマンドデータ６０４ｇを受信する受信処理を実行したりする。
【0264】
図２１に示すように、ＣＰＵ１００は、制御処理を開始すると、ステップＳ３０１で、サーバ１２と接続状態を確立する。次のステップＳ３０３では、アバター画像データを生成および出力する。つまり、アバター画像２８が表示装置３０に表示される。
【0265】
ただし、サーバ１２からデフォルトの顔画像を使用することが指示された場合には、画像生成データ６０４ａに含まれる顔画像データを用いてアバター画像２８の顔画像が生成される。
【0266】
また、サーバ１２から受信した顔画像データ６０４ｄがＲＡＭ１０２に記憶されている場合には、顔画像データ６０４ｄに基づいてアバター画像２８の顔画像が生成される。
【0267】
これらのことは、後述するステップＳ３１７およびＳ３１９においても同じである。
【0268】
なお、制御処理を開始した当初では、アバター表情データ６０４ｅを受信していないため、アバター画像２８の表情は初期状態の表情（たとえば、笑顔または無表情）に設定される。
【0269】
図示は省略するが、ＣＰＵ１００は、制御処理の実行中に、サーバ１２から送信された顔画像データ６０４ｄを受信すると、ＲＡＭ１０２の顔画像データ６０４ｄを更新する。また、ＣＰＵ１００は、制御処理の実行中に、サーバ１２からデフォルトの顔画像を使用することが指示された場合には、ＲＡＭ１０２の顔画像データ６０４ｄを消去する。
【0270】
続いて、ステップＳ３０５では、サービス終了であるかどうかを判断する。ここでは、ＣＰＵ１００は、サーバ１２からサービスの終了通知を受信したかどうかを判断する。ステップＳ３０５で“ＹＥＳ”であれば、つまり、サービス終了であれば、制御処理を終了する。一方、ステップＳ３０５で“ＮＯ”であれば、つまり、サービス終了でなければ、ステップＳ３０７で、サーバ１２から対話データを受信したかどうかを判断する。
【0271】
ステップＳ３０７で“ＮＯ”であれば、つまり、サーバ１２から対話データを受信していなければ、図２２に示すステップＳ３２３に進む。一方、ステップＳ３０７で“ＹＥＳ”であれば、つまり、サーバ１２から対話データを受信すれば、ステップＳ３０９で、アバター音声データ６０４ｆが有るかどうかを判断する。
【0272】
ステップＳ３０９で“ＮＯ”であれば、つまり、アバター音声データ６０４ｆが無ければ、図２２に示すステップＳ３１３に進む。ステップＳ３０９で“ＹＥＳ”であれば、つまり、アバター音声データ６０４ｆが有れば、ステップＳ３１１で、アバター音声データ６０４ｆをスピーカ１１２に出力して、ステップＳ３１３に進む。
【0273】
図２２に示すように、ステップＳ３１３では、動作コマンドデータ６０４ｇが有るかどうかを判断する。ステップＳ３１３で“ＮＯ”であれば、つまり、動作コマンドデータ６０４ｇが無ければ、ステップＳ３１７に進む。一方、ステップＳ３１３で“ＹＥＳ”であれば、つまり、動作コマンドデータ６０４ｇが有れば、ステップＳ３１５で、動作コマンドデータ６０４ｇが移動の指示を含むかどうかを判断する。
【0274】
ステップＳ３１５で“ＮＯ”であれば、つまり、動作コマンドデータ６０４ｇが移動の指示を含まない場合には、ステップＳ３１７で、画像生成データ６０４ａに含まれる顔画像データまたは顔画像データ６０４ｄ、アバター表情データ６０４ｅと動作コマンドデータ６０４ｇに従う動作を行うアバター画像データ６０４ｈを生成および出力して、ステップＳ３２３に進む。一方、ステップＳ３１５で“ＹＥＳ”であれば、つまり、動作コマンドデータ６０４ｇが移動を含む場合には、ステップＳ３１９で、画像生成データ６０４ａに含まれる顔画像データまたは顔画像データ６０４ｄ、アバター表情データ６０４ｅと動作コマンドデータ６０４ｇに従う動作を行うアバター画像データ６０４ｈを生成および出力し、ステップＳ３２１で、動作コマンドデータ６０４ｇに従って移動処理を実行して、ステップＳ３２３に進む。
【0275】
ステップＳ３２３では、音声の入力が有るかどうかを判断する。ステップＳ３２３で“ＹＥＳ”であれば、つまり、音声の入力が有れば、ステップＳ３２５で、ロボット画像データ６０４ｂとロボット音声データ６０４ｃをサーバ１２に送信して、ステップＳ３０５に戻る。一方、ステップＳ３２３で“ＮＯ”であれば、つまり、音声の入力が無ければ、ステップＳ３２７で、ロボット画像データ６０４ｂをサーバ１２に送信して、ステップＳ３０５に戻る。
【0276】
この実施例によれば、他の操作者の個性を反映して操作者のアバターであるロボットを操作するので、他の操作者として対話エージェントに応対することができる。したがって、たとえば、操作者が交代しても対話エージェントは同じ操作者が応対していると認識するため、アバターを用いたサービスを円滑に提供することができる。
【0277】
また、この実施例によれば、操作者が交代した場合に、他の操作者の個性を反映することが既に設定されている場合には、その設定を解除しないため、対話エージェントに操作者が交代したことを認識し難い。したがって、操作者が交代したとしても円滑に対話することができる。
【0278】
さらに、この実施例によれば、ロボットが完全自律モードで動作する場合にも他の操作者の個性を反映するので、操作者が交代してもアバターを用いたサービスを円滑に提供することができる。
【0279】
なお、この実施例では、他の操作者の個性を反映することが設定されている場合には、この他の操作者の音響モデルを使用した合成音声を生成して、ロボットから出力するようにしたが、定型の言葉または文については、予め録音しておいた当該他の操作者の音声を再生するようにしてもよい。
【0280】
また、この実施例では、反映する他の操作者の個性として、音声の他に、視線の切り替え、頷き、顔の表情および顔画像について説明したが、反映する個性の数および内容について限定される必要はない。たとえば、視線の切り替え、頷き、顔の表情および顔画像の少なくとも１つ反映されればよい。また、視線の切り替え、頷き、顔の表情および顔画像の全部または一部に代えて、あるいは、それらに追加して他の個性が反映されてもよい。他の個性としては、瞬き、対話エージェントに応対する場合の反応速度および手の動きも該当する。反応速度は、たとえば、対話エージェントが発話した場合に、それに対して応答するまでの時間間隔である。また、手の動きとしては、たとえば、手を振る、手招きする、顔を触る、髪をかき上げる、頭を掻くなどが考えられる。
【0281】
なお、この実施例では、表示装置にアバター画像が表示されたロボットを用いるようにしたが、これに限定される必要はない。
【0282】
本件出願人が販売等を行うコミュニケーションロットのロボビー（登録商標）を使用することができる。かかる場合には、手の動き、頭部（首）の動きは、ロボットによって実現することができる。ただし、操作者の顔画像からアバター画像の顔画像を生成することと顔の表情については表現することができない。
【0283】
また、本件出願人が販売等を行うアンドロイド（登録商標）のエリカを使用することもできる。かかる場合には、手の動き、頭部（首）の動き、顔の表情および口の動きは、ロボットによって実現することができる。ただし、操作者の顔画像からアバター画像の顔画像を生成することと移動することができない。
【0284】
したがって、実施例で説明したロボット、他のロボットは提供するサービスの種類によって使い分けされてもよい。
【0285】
なお、この実施例では、対話の履歴として、画像データと音声データを記憶するようにしたが、音声データのみを記憶するようにしてもよい。かかる場合には、音声データに基づいて操作者の感情が推定される。
【0286】
また、この実施例では、操作者端末は、操作者画像データ、操作者音声データおよび動作コマンドデータを、サーバに送信し、サーバで他の操作者の個性を反映するようにしたが、これに限定される必要はない。操作者端末またはロボットで、他の操作者の個性を反映するようにしてもよい。この場合、他の操作者の個性データは、操作者端末またはロボットからの指示で、サーバから操作者端末またはロボットに送信される。
【0287】
操作者端末で他の操作者の個性を反映する場合には、当該操作者端末において、操作者発話データから他の操作者の音響モデルに変換したアバター音声データが生成されるとともに、癖動作についての動作コマンドに対応する動作コマンドデータが発行され、アバター音声データおよび癖動作についての動作コマンドデータが操作者端末からロボットに送信される。また、操作者端末は、サーバから取得した他の操作者の個性データに含まれる表情情報すなわちアバター表情データおよび顔画像データをロボットに送信する。
【0288】
また、ロボットで他の操作者の個性を反映する場合には、当該ロボットにおいて、操作者端末から受信した操作者発話データから他の操作者の音響モデルに変換したアバター音声データが生成されるとともに、癖動作についての動作コマンドをロボット自身が発行し、アバター音声データを出力するとともに、癖動作についての動作コマンドを実行する。
【0289】
また、操作者端末またはロボットで他の操作者の個性を反映する場合には、操作者の応対の履歴を記憶するために、操作者端末から、操作者画像データ、操作者発話データおよび動作コマンドデータはサーバにも送信される。
【0290】
なお、この実施例では、他の操作者の個性を反映することを設定することができる場合について説明したが、他の操作者の個性を反映することを解除することができるようにしてもよい。他の操作者の個性を反映することを解除した場合には、完全自律モードでは、デフォルトで設定された顔画像のアバター画像がロボットの表示装置に表示され、ロボットの合成音声がロボットのスピーカから出力される。また、他の操作者の個性を反映することを解除した場合には、半自動モードおよび遠隔モードでは、ロボットを遠隔操作する操作者の顔画像データから生成されたアバター画像がロボットの表示装置に表示され、ロボットを遠隔操作する操作者の音声がロボットのスピーカから出力される。
【0291】
また、この実施例では、デフォルトで設定されたロボット１８の顔画像、操作者自身の顔画像または他の操作者の顔画像を用いてアバター画像の顔画像を生成するようにしてあるが、予め用意された１種類の顔画像を用いてアバター画像の顔画像を生成するようにしてもよい。
【0292】
また、この実施例では、ロボットのアバターを用いた対話サービスについて説明したが、ＣＧのアバターを用いた対話サービスにも適用可能である。かかる場合には、ロボットに代えて、ＣＧのアバターを表示する表示装置を備えるとともに、カメラ、マイクおよびスピーカをさらに備えるコンピュータが設けられる。一例として、コンピュータとしては、汎用のＰＣ、スマートフォン、タブレットＰＣなどを用いることができる。この場合、ＣＧのアバターは、操作者によって動作および発話を制御される。
【0293】
また、上述の実施例で示したフロー図の各ステップは同じ結果が得られる場合には、処理する順番を変更することが可能である。
【0294】
さらに、上述の実施例で挙げた各種の画面、具体的数値はいずれも単なる例示であり、必要に応じて適宜変更可能である。
【符号の説明】
【0295】
１０ …情報処理システム
１２ …サーバ
１４ …ネットワーク
１６ …操作者端末
１８ …ロボット
５０、７０、１００ …ＣＰＵ
５２、７２、１０２ …ＲＡＭ
５４、７４、１０４ …通信Ｉ／Ｆ
５６、７６、１０６ …入出力Ｉ／Ｆ
５８、７８、１０８ …入力装置
３０、６０、８０ …表示装置
８２、１１０ …マイク
８４、１１２ …スピーカ
８６、１２０ …センサＩ／Ｆ
８８、１２２ …カメラ
１２４、１２６ …ＬＲＦ
１２８ …慣性計測ユニット
１２ …サーバ
１４ …ネットワーク
１６ …操作者端末
１８ …ロボット
５０、７０、１００ …ＣＰＵ
５２、７２、１０２ …ＲＡＭ
５４、７４、１０４ …通信Ｉ／Ｆ
５６、７６、１０６ …入出力Ｉ／Ｆ
５８、７８、１０８ …入力装置
３０、６０、８０ …表示装置
８２、１１０ …マイク
８４、１１２ …スピーカ
８６、１２０ …センサＩ／Ｆ
８８、１２２ …カメラ
１２４、１２６ …ＬＲＦ
１２８ …慣性計測ユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】