特開 2022-147921 疑似的接触提示システム、制御プログラムおよび制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022147921

(43)【公開日】2022-10-06

(54)【発明の名称】疑似的接触提示システム、制御プログラムおよび制御方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220929BHJP

【ＦＩ】

G06F3/01 560

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021049390

(22)【出願日】2021-03-24

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「ソーシャルタッチの計算論的解明とロボットへの応用に向けた研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。

(71)【出願人】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】塩見 昌裕

(72)【発明者】

【氏名】住岡 英信

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555BA02

5E555BB02

5E555BD01

5E555BE17

5E555DA08

5E555DA27

5E555DB32

5E555DC85

5E555FA00

(57)【要約】

【課題】 疑似的接触を提示する新しい疑似的接触提示システムを提供することができる。
【解決手段】 疑似的接触提示システム（１０）は、コミュニケーションロボット１２およびＨＭＤ２０を含み、ＨＭＤに複数の仮想エージェント（７０）を表示し、個別にまたは同時に所定の動作を行うアニメーションを表示する。所定の動作に関連して、仮想エージェントに対応するロボットのアームを動作させる。つまり、疑似的接触提示システムは、ＨＭＤを装着したユーザ６０に対して、視覚刺激を提示するとともに、これに関連した接触刺激を提示する。したがって、ユーザは、仮想エージェントに接触している体感を得る。つまり、ユーザに疑似的接触が提示される。
【選択図】 図４

【特許請求の範囲】

【請求項1】

ユーザに対して作用して前記ユーザに接触刺激を与える複数の刺激提示部を備える接触刺激提示装置、
前記複数の刺激提示部のうちの２つ以上の前記刺激提示部の各々に仮想エージェントを割り当てる割当手段、および
前記ユーザの頭部に装着され、前記割当手段によって割り当てられた複数の仮想エージェントを表示し、前記複数の仮想エージェントのうちの一部または全部を動作させて前記ユーザに視覚刺激を提示する頭部装着型表示装置を備え、
前記接触刺激提示装置は、前記複数の仮想エージェントのうちの一部または全部の動作に関連して、前記複数の刺激提示部のうちの２つ以上の前記刺激提示部の各々を動作させる、疑似的接触提示システム。

【請求項2】

前記視覚刺激提示装置は前記複数の仮想エージェントのうちの一部または全部について前記ユーザに対する動作を示すアニメーションで表示し、
前記刺激提示部は可動部を含み、前記接触刺激提示部は、前記可動部の動きで前記複数の仮想エージェントのうちの一部または全部についての動作のアニメーションに関連して変化するように前記可動部を動作させて前記接触刺激を前記ユーザに提示する、請求項１記載の疑似的接触提示システム。

【請求項3】

ユーザに対して作用して前記ユーザに接触刺激を与える複数の刺激提示部を有する接触刺激提示装置および前記ユーザの頭部に装着される頭部装着型表示装置を備える、疑似的接触提示システムのコンピュータによって実行される制御プログラムであって、前記コンピュータを、
前記接触刺激提示装置の前記複数の刺激提示部を制御して前記ユーザに接触刺激を提示させる可動部制御部、
前記複数の刺激提示部のうちの２つ以上の前記刺激提示部の各々に仮想エージェントを割り当てる割当手段、および
前記割当手段によって割り当てられた複数の仮想エージェントのうちの一部または全部を表示する表示部として機能させ、
前記複数の仮想エージェントを前記頭部装着型表示装置で表示することによって前記ユーザに対して視覚刺激を提示するとともに、前記可動部制御部によって、前記複数の仮想エージェントのうちの一部または全部の動作に関連して、前記複数の刺激提示部のうちの２つ以上の前記刺激提示部の各々を動作させる、感覚刺激提示プログラム。

【請求項4】

ユーザに対して作用して前記ユーザに接触刺激を与える複数の刺激提示部を有する接触刺激提示装置および前記ユーザの頭部に装着される頭部装着型表示装置を備える、疑似的接触提示システムの制御方法であって、
前記接触刺激提示装置の前記複数の刺激提示部を制御して前記ユーザに接触刺激を提示させるステップ、
前記複数の刺激提示部のうちの２つ以上の前記刺激提示部の各々に仮想エージェントを割り当てるステップ、および
前記割当手段によって割り当てられた複数の仮想エージェントのうちの一部または全部を表示するステップを含み、
前記複数の仮想エージェントを前記頭部装着型表示装置で表示することによって前記ユーザに対して視覚刺激を提示するとともに、前記接触刺激提示装置で、前記複数の仮想エージェントのうちの一部または全部の動作に関連して、前記複数の刺激提示部のうちの２つ以上の前記刺激提示部の各々を動作させる、制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、疑似的接触提示システム、制御プログラムおよび制御方法に関し、特にたとえば、ユーザに接触による刺激を提示する作用体と当該ユーザに対して視覚による刺激を提示するヘッドマウントディスプレイを用いる、疑似的接触提示システム、制御プログラムおよび制御方法に関する。

【背景技術】

【0002】

この種の従来の疑似的接触提示システムの一例が特許文献１に開示されている。特許文献１に開示される疑似的接触提示システムによれば、コミュニケーションロボットは、ユーザの背中に回せるほどの長さの腕でユーザをハグするなどして、ユーザに接触刺激を提示する。ユーザの頭部に装着したＨＭＤ（Head Mounted Display）には、コミュニケーションロボットのハグ動作と実質的に同期して状態が変化される仮想エージェントが表示される。コミュニケーションロボットがユーザを抱き返すことによって接触刺激が当該ユーザに与えられ、さらにＨＭＤの仮想エージェントによって視覚刺激が当該ユーザに与えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－４５９２８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の特許文献１に開示される疑似的接触提示システムでは、１つのコミュニケーションロボットに対応して１つの仮想エージェントを割り当て、コミュニケーションロボットの動作に仮想エージェントの動作を同期させるようにしてある。つまり、コミュニケーションロボットおよび仮想エージェントを用いた接触による刺激をユーザに提示する構成が簡単である。この特許文献１では、複数の仮想エージェントの接触による刺激をユーザに提示することについては考慮されていなかった。

【0005】

それゆえに、この発明の主たる目的は、新規な、疑似的接触提示システム、制御プログラムおよび制御方法を提供することである。

【0006】

また、この発明の他の目的は、複雑な接触刺激を提供することができる、疑似的接触提示システム、制御プログラムおよび制御方法を提供することである。

【課題を解決するための手段】

【0007】

第１の発明は、ユーザに対して作用してユーザに接触刺激を与える複数の刺激提示部を備える接触刺激提示装置、複数の刺激提示部のうちの２つ以上の刺激提示部の各々に仮想エージェントを割り当てる割当手段、およびユーザの頭部に装着され、割当手段によって割り当てられた複数の仮想エージェントを表示し、複数の仮想エージェントのうちの一部または全部を動作させてユーザに視覚刺激を提示する頭部装着型表示装置を備え、接触刺激提示装置は、複数の仮想エージェントのうちの一部または全部の動作に関連して、複数の刺激提示部のうちの２つ以上の刺激提示部の各々を動作させる、疑似的接触提示システムである。

【0008】

第２の発明は、第１の発明に従属し、視覚刺激提示装置は複数の仮想エージェントのうちの一部または全部についてユーザに対する動作を示すアニメーションで表示し、刺激提示部は可動部を含み、接触刺激提示部は、可動部の動きで複数の仮想エージェントのうちの一部または全部についての動作のアニメーションに関連して変化するように可動部を動作させて接触刺激をユーザに提示する。

【0009】

第３の発明は、ユーザに対して作用してユーザに接触刺激を与える複数の刺激提示部を有する接触刺激提示装置およびユーザの頭部に装着される頭部装着型表示装置を備える、疑似的接触提示システムのコンピュータによって実行される制御プログラムであって、コンピュータを、接触刺激提示装置の複数の刺激提示部を制御してユーザに接触刺激を提示させる可動部制御部、複数の刺激提示部のうちの２つ以上の刺激提示部の各々に仮想エージェントを割り当てる割当手段、および割当手段において割り当てた複数の仮想エージェントのうちの一部または全部を表示する表示部として機能させ、複数の仮想エージェントを頭部装着型表示装置で表示することによってユーザに対して視覚刺激を提示するとともに、可動部制御部によって、複数の仮想エージェントのうちの一部または全部の動作に関連して、複数の刺激提示部のうちの２つ以上の刺激提示部の各々を動作させる、感覚刺激提示プログラムである。

【0010】

第４の発明は、ユーザに対して作用してユーザに接触刺激を与える複数の刺激提示部を有する接触刺激提示装置およびユーザの頭部に装着される頭部装着型表示装置を備える、疑似的接触提示システムの制御方法であって、接触刺激提示装置の複数の刺激提示部を制御してユーザに接触刺激を提示させるステップ、複数の刺激提示部のうちの２つ以上の刺激提示部の各々に仮想エージェントを割り当てるステップ、および割り当てた複数の仮想エージェントのうちの一部または全部を表示するステップを含み、複数の仮想エージェントを頭部装着型表示装置で表示することによってユーザに対して視覚刺激を提示するとともに、接触刺激提示装置で、複数の仮想エージェントのうちの一部または全部の動作に関連して、複数の刺激提示部のうちの２つ以上の刺激提示部の各々を動作させる、制御方法である。

【発明の効果】

【0011】

この発明によれば、ユーザの頭部に装着された頭部装着型表示装置に表示された複数の仮想エージェントのうちの一部または全部に動作させ、その動作に関連して、複数の仮想エージェントのうちの一部または全部に対応する刺激提示部を動作させるので、仮想エージェントの動作による視覚刺激を提示するとともに、これに関連して、刺激提示部による接触刺激を提示することができる。つまり、仮想エージェントに接触しているかのような体感を得ることができる。よって、疑似的な接触を提示する、新しい、疑似的接触提示システム、制御プログラムおよび制御方法を提示することができる。

【0012】

この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0013】

【図1】図１はこの発明の一実施例の疑似的接触提示システムの電気的な構成を示すブロック図である。

【図2】図２は図１に示すロボットの外観構成を正面から見た図である。

【図3】図３は図１に示すロボットの電気的な構成を示すブロック図である。

【図4】図４は図１に示す疑似的接触提示システムを使用する状態の一例を横から見た図である。

【図5】図５は図１に示すＨＭＤに表示される２体の仮想エージェントの一例を示す図である。

【図6】図６は図１に示すＨＭＤに表示される３体の仮想エージェントの一例を示す図である。

【図7】図７は図１に示すＨＭＤに表示される２体の仮想エージェントの他の例を示す図である。

【図8】図８は図１に示すＨＭＤに表示される３体の仮想エージェントの他の例を示す図である。

【図9】図９は図１に示すサーバに内蔵されるＲＡＭのメモリマップの一例を示す図である。

【図10】図１０は図１に示すサーバに内蔵されるＣＰＵの第１疑似接触処理の一例の一部を示すフロー図である。

【図11】図１１は図１に示すサーバに内蔵されるＣＰＵの第１疑似接触処理の他の一部であって、図１０に後続するフロー図である。

【図12】図１２は図１に示すサーバに内蔵されるＣＰＵの第２疑似接触処理の一例の一部を示すフロー図である。

【図13】図１３は図１に示すサーバに内蔵されるＣＰＵの第２疑似接触処理の他の一部であって、図１２に後続するフロー図である。

【発明を実施するための形態】

【0014】

図１を参照して、この実施例の疑似的接触提示システム（以下、「システム」という）１０は、ユーザ（人ないし参加者）に対して物理的または身体的な刺激、つまりユーザの触覚に与える刺激または接触によりユーザに与える刺激（以下、「接触刺激」という）を提示するためのロボット１２を含む。ロボット１２は、この実施例では、接触刺激を提示する動作を含み、必要に応じて、音声を発生するコミュニケーションロボットである。

【0015】

図２は図１の実施例に用いる接触刺激提示装置としてのロボット１２を正面から見た場合の外観構成の一例を示す。ただし、他の外観、構造を持つ任意の接触刺激提示装置が利用可能である。

【0016】

ロボット１２は、棒状の３本のフレーム１２０ａ、１２０ｂ、１２０ｃを含む。フレーム１２０ａ、１２０ｂ、１２０ｃは、たとえばアルミニウムのような金属でも、繊維強化プラスチックまたはエンジニアリングプラスチックのような樹脂でもよく、基本的に、安全な強度が得られる断面形状や太さで設計される。たとえば、角柱または角筒のフレームが利用され得る。

【0017】

フレーム１２０ａは、ロボット１２の底部を構成し、水平方向に延びて床または床面に据え付けられる。フレーム１２０ｂは、ロボット１２の胴体部を構成し、垂直方向に延びて配置され、下端部をフレーム１２０ａの中央またはほぼ中央に固定される。フレーム１２０ｃは、ロボット１２の肩部を構成し、水平方向に延びて配置され、フレーム１２０ｂの上部に固定される。

【0018】

フレーム１２０ｃには、それの両端から延びるロボットアーム（以下、単に「アーム」という）１２２、１２４および１２６が設けられる。アーム１２２、１２４および１２６は、それぞれ、人間の腕を模した構造であり、それぞれ、肘関節および肩関節に相当する関節を有している。したがって、以下の説明においては、便宜上、人間の腕についての部位の名称を用いることがある。

【0019】

アーム１２２および１２４は、ロボット１２を正面から見た場合のフレーム１２０ｃの左側の端部に設けられ、アーム１２６は、ロボット１２を正面から見た場合のフレーム１２０ｃの右側の端部に設けられる。以下、ロボット１２およびその一部について方向を用いて説明する場合には、ロボット１２を正面から見た場合の上下左右を用いることにする。

【0020】

アーム１２２は、前腕に相当するフレーム１２２ａと上腕に相当するフレーム１２２ｂを含み、さらに、フレーム１２２ａとフレーム１２２ｂを連結する関節（肘関節に相当する）１２２ｃ、および、フレーム１２２ｂとフレーム１２０ｃを連結する関節（肩関節に相当する）１２２ｄを含む。

【0021】

アーム１２４は、前腕に相当するフレーム１２４ａと上腕に相当するフレーム１２４ｂを含み、さらに、フレーム１２４ａとフレーム１２４ｂを連結する関節（肘関節に相当する）１２４ｃ、および、フレーム１２４ｂとフレーム１２０ｃを連結する関節（肩関節に相当する）１２４ｄを含む。

【0022】

ただし、図２からも分かるように、アーム１２２は、フレーム１２０ｃの左側端部の下面に連結され、アーム１２４は、フレーム１２０ｃの左側端部の上面に連結される。

【0023】

アーム１２６は、前腕に相当するフレーム１２６ａと上腕に相当するフレーム１２６ｂを含み、さらに、フレーム１２６ａとフレーム１２６ｂを連結する関節（肘関節に相当する）１２６ｃ、および、フレーム１２６ｂとフレーム１２０ｃを連結する関節（肩関節に相当する）１２６ｄを含む。このアーム１２６は、フレーム１２０ｃの右側端部の下面に連結される。

【0024】

一例として、関節１２２ｃ、１２４ｃおよび１２６ｃは、それぞれ、前腕を上腕に対して最大９０°開くことができる。したがって、関節１２２ｃ、１２４ｃおよび１２６ｃの角度を制御することによって、アーム１２２、１２４および１２６をそれぞれ曲げたり延ばしたりすることができる。

【0025】

また、一例として、関節１２２ｄ、１２４ｄおよび１２６ｄは、それぞれ、上腕を、各関節１２２ｄ、１２４ｄおよび１２６ｄがフレーム１２０ｃと連結された面に対して最大１５０°開くことができる。ただし、上腕を構成するフレーム１２２ｂ、１２４ｂおよび１２６ｂが、関節１２２ｄ、１２４ｄおよび１２６ｄがフレーム１２０ｃと連結されている面に対して垂直となる場合の角度を０°としてある。したがって、関節１２２ｄ、１２４ｄおよび１２６ｄの角度を制御することによって、アーム１２２、１２４および１２６をそれぞれ上げ下げする、または、前後に出すことができる。

【0026】

さらに、この実施例では、ロボット１２がアーム１２２、１２４および１２６の各々でユーザ６０（図４参照）と握手できるように、関節１２２ｃ、１２２ｄ、１２４ｃ、１２４ｄ、１２６ｃおよび１２６ｄにアクチュエータを組み込んでいる。

【0027】

接触刺激提示装置すなわちロボット１２は、インターネットや電話通信回線のようなネットワーク１４を介してサーバ１６に接続される。サーバ１６は、ＰＣ、ＰＤＡ、スマートフォン、タブレット端末のような汎用のコンピュータである。

【0028】

図示は省略するが、サーバ１６には、タッチパネルまたは／およびキーボードのような入力装置が含まれ、オペレータがそのような入力装置を操作することができる。このようなサーバ１６の動作を制御するためのプログラムおよびデータは、サーバ１６に内蔵しているメモリ（たとえば、ＨＤＤおよびＲＡＭ）１６ｂに記憶されており、同じく内蔵のＣＰＵ１６ａによってサーバ１６の全体的な動作が制御される。このＣＰＵ１６ａは、上述のオペレータの操作に従って、ロボット１２のＣＰＵ３６（後述）を通して、ロボット１２の動作および発話を制御し、さらには後述のＨＭＤ２０による仮想エージェントの表示を制御する。このため、サーバ１６は通信モジュール１６ｃを備えており、ＣＰＵ１６ａは通信モジュール１６ｃを介して、ネットワーク１４すなわちロボット１２およびＨＭＤ２０と、有線で、または無線で、通信可能に接続される。

【0029】

また、図１のシステム１０は頭部装着型表示装置であるＨＭＤ２０を含み、このＨＭＤ２０はロボット１２による接触刺激の提示を受けるユーザ６０の頭部６４に装着される（図４参照）。実施例では、このＨＭＤ２０として、Oculus社製のOculus Rift（商品名）を使用し、このＨＭＤ２０の位置すなわちユーザ６０の頭部位置を精度よく検出するために、Oculus sensor（商品名）のような位置検出装置１８ａを利用した。

【0030】

つまり、サーバ１６には、位置検出装置１８ａの出力が与えられる。位置検出装置１８ａは、頭部位置計測部として機能するが、この位置検出装置１８ａとして利用されるOculus sensorは、ジャイロセンサと加速度を組み合わせることで、ＨＭＤ２０（Oculus Rift）の位置を追跡することによって、ユーザ６０の頭部６４の位置を精度よく検出することができる。

【0031】

上記のとおり、ロボット１２は床に固定されており、ロボット１２に対するＨＭＤ２０の初期位置を設定または登録することにより、実空間におけるＨＭＤ２０の位置すなわちユーザ６０の頭部位置を検出することができる。したがって、この実施例では、ＣＰＵ１６ａは、実空間におけるロボット１２とユーザ６０の頭部位置の位置関係を用いて、仮想空間における仮想エージェントおよび視点（仮想のカメラ）の位置を制御する。ＨＭＤ２０はいわゆる一人称視点の画像（この実施例では、仮想エージェント）を表示するため、仮想のカメラの位置は仮想空間におけるユーザ６０の頭部位置に相当する。また、仮想のカメラの注視点は、仮想空間におけるロボット１２の所定の位置に設定する。たとえば、所定の位置は、仮想空間におけるロボット１２の中心に設定される。これは一例であり、様々な大きさの仮想エージェントがＨＭＤ２０に表示される画像に収まれば、他の位置が採用されてもよい。

【0032】

ただし、仮想空間においてロボット１２自体が描画されることはなく、仮想エージェントを仮想空間に配置したり、仮想空間における仮想のカメラの位置を決定したりする場合に、ロボット１２の位置等が用いられるだけである。たとえば、ロボット１２の位置（フレーム１２０ａの中心の位置）が３次元の仮想空間における原点に設定され、ロボット１２のフレーム１２０ａおよび１２０ｃと平行な方向がＸ軸の方向に設定され、フレーム１２０ｂと平行な方向がＺ軸の方向に設定され、Ｘ軸およびＺ軸の両方に垂直な方向がＹ軸の方向に設定される。

【0033】

サーバ１６には、さらに環境音やユーザ６０の声を収集するマイク１８ｂおよび環境画像やユーザ６０の画像を取得するカメラ１８ｃなどが接続される。マイク１８ｂが収集した音声データがサーバ１６に入力され、サーバ１６はその音声データを用いて音声認識をすることができる。カメラ１８ｃからの画像データがサーバ１６に入力され、サーバ１６はその画像データを処理して、たとえば個人同定をすることができる。

【0034】

この実施例では、ロボット１２はユーザ６０と対話することができるようにされている。そのために、サーバ１６のメモリ１６ｂには、そのようなユーザ６０との対話に必要な話題およびその話題に応じたシナリオが予め設定される。ただし、先に説明したように、サーバ１６を通して遠隔オペレータがユーザ６０と対話することもできる。

【0035】

上述のＨＭＤ２０は、たとえば９０Ｈｚのリフレッシュレートで１１０°視野の高解像度の立体画像を表示することができる。

【0036】

ＨＭＤ２０は、サーバ１６から送信される画像データによって、後述の図５－図８に示すような仮想エージェント７０（７０ａ、７０ｂ、７０ｃ）を表示する。このことにより、ユーザ６０の視覚または／および聴覚に対する刺激（視覚刺激）を付与する。

【0037】

そのため、サーバ１６のメモリ１６ｂには、性別や年代の異なる複数の仮想エージェント７０の画像データを予め設定している。画像データは、仮想エージェント７０が直立している静止画のデータのみならず、所定の動作（この実施例では、挨拶、握手および歩行）を行う場合のアニメーションのデータを含む。

【0038】

そして、サーバ１６は、ロボット１２と協働する（インタラクションする）ユーザ６０を同定した後、同定したユーザ６０に適合する性別や年代の仮想エージェント７０を選択して、その画像データを、ネットワーク１４を介して、ＨＭＤ２０に送る。これによって、ＨＭＤ２０がユーザ６０に適合した仮想エージェント７０を表示することができる。ただし、仮想エージェント７０は、ユーザ６０によって登録されるようにしてもよい。

【0039】

この実施例では、ロボット１２には、複数の仮想エージェント７０を割り当てることができる。この実施例では、ロボット１２に割り当てる仮想エージェント７０の数は、ロボット１２のアームの数以下である。したがって、ロボット１２の３つのアーム１２２、１２４および１２６に対応して、１体、２体または３体の仮想エージェント７０が割り当てられる。

【0040】

ロボット１２に対して何体の仮想エージェント７０を割り当てるかは、ユーザ６０が決定することができる。ただし、このシステム１０をゲームなどの任意のアプリケーションに適用する場合には、当該アプリケーションのシナリオに応じて固定的にまたは動的に決定することができる。

【0041】

１体の仮想エージェント７０がロボット１２に割り当てられる場合には、１体の仮想エージェント７０がアーム１２２および１２６に割り当てられる。２体の仮想エージェント７０がロボット１２に割り当てられる場合には、２体のうちの一方の仮想エージェント７０がアーム１２２に割り当てられ、２体のうちの他方の仮想エージェント７０がアーム１２６に割り当てられる。３体の仮想エージェント７０がロボット１２に割り当てられる場合には、３体のうちの１体の仮想エージェント７０がアーム１２２に割り当てられ、残り２体のうちの一方の仮想エージェント７０がアーム１２４に割り当てられ、残り２体のうちの他方の仮想エージェント７０がアーム１２６に割り当てられる。

【0042】

ただし、これは一例であり限定される必要はない。また、割り当てられた複数の仮想エージェント７０は、互いに重ならないようにＨＭＤ２０に表示される。

【0043】

なお、１体の仮想エージェント７０がロボット１２に割り当てられる場合については、本願発明の本質的な内容ではなく、また、出願人が先に出願し、既に公開された特開２０１９－４５９２８号に開示された内容と重複するため、詳細な説明については省略する。

【0044】

図２では省略するが、ロボット１２の上部（たとえば、フレーム１２０ｂの上端部）にはスピーカおよびマイクが取り付けられており、ロボット１２は、ユーザ６０に対して発話したり、ユーザ６０の発話を聞き取ったりすることができる。発話のための音声合成ソフトウェアとしては、XIMERA（ＡＴＲ音声言語研究所：商品名）を採用した。

【0045】

図３はロボット１２の電気的な構成の一例を示すブロック図である。図３に示すように、ロボット１２は、ロボット１２の全体制御を司るＣＰＵ３６を備える。ＣＰＵ３６は、バス３８を通して通信モジュール４０に接続され、したがって、ＣＰＵ３６は通信モジュール４０を介して、ネットワーク１４すなわちサーバ１６と、有線で、または無線で、通信可能に接続される。

【0046】

ＣＰＵ３６はまた、バス３８を通してメモリ４２にアクセスでき、このメモリ４２に設定されているプログラムやデータに従って、バス３８を通してアクチュエータ制御回路４４に指令値を与え、各アクチュエータＡ１‐Ａｎの動作を制御する。アクチュエータ制御回路４４は、ＣＰＵ３６から与えられる指令値に応じた数のパルス電力を生成し、それを該当するステッピングモータに与えることによって、各アクチュエータＡ１‐Ａｎを駆動する。

【0047】

ただし、アクチュエータとしてはこのようなステッピングモータを用いるものの他、サーボモータを用いるアクチュエータ、流体アクチュエータなど任意のアクチュエータが利用可能である。

【0048】

ここで、アクチュエータＡ１‐Ａｎは関節１２２ｃ、１２２ｄ、１２４ｃ、１２４ｄ、１２６ｃおよび１２６ｄのアクチュエータ（ステッピングモータ）である。したがって、アクチュエータ制御回路４４は関節制御部としても機能する。

【0049】

センサＩ／Ｆ（インタフェース）４６は、バス３８を介して、ＣＰＵ３６に接続され、触覚センサ４８およびカメラ５０からのそれぞれの出力を受ける。

【0050】

触覚センサ４８は、たとえばタッチセンサであり、ロボット１２の触覚の一部を構成する。つまり、触覚センサ４８は、人間や他の物体等がロボット１２に触れたか否かを検出する。たとえば、触覚センサ４８がロボット１２のアーム１２２、１２４および１２６の前腕（フレーム１２２ａ、１２４ａおよび１２６ａ）にそれぞれ設けられ、ユーザ６０の手がロボット１２のアーム１２２、１２４、１２６に触れたかどうかを検知することができる。

【0051】

触覚センサ４８はさらに感圧センサとしても機能する。このような触覚センサ４８は、一例として、たとえば高分子ピエゾセンサシートで形成され、たとえば腕２８の内面側に、複数のセンサシートが適宜分散して設けられる。このような触覚センサ４８は、ユーザ６０と握手したロボット１２の前腕（フレーム１２２ａ、１２４ａ、１２６ａ）に掛かる圧力を検知することができる。

【0052】

触覚センサ４８からの出力（検出データ）は、センサＩ／Ｆ４６を介してＣＰＵ３６に与えられる。したがって、ＣＰＵ３６は、人間や他の物体等がロボット１２に触れたこと（およびその強弱ないし圧力）および人間や他の物体等がロボット１２から離れたことを検出することができる。

【0053】

さらに、触覚センサ４８が検出した圧力データはＣＰＵ３６から出力され、通信モジュール４０およびネットワーク１４を介してサーバ１６に与えられる。

【0054】

カメラ５０は、イメージセンサであり、ロボット１２の視覚の一部を構成する。つまり、カメラ５０は、ロボット１２の眼から見た画像ないし画像を検出するために用いられる。この実施例では、カメラ５０の撮影画像（動画ないし静止画）に対応するデータ（画像データ）は、センサＩ／Ｆ４６を介してＣＰＵ３６に与えられる。ＣＰＵ３６は、撮影画像の変化を検出するのみならず、その画像データを、通信モジュール４０およびネットワーク１４（図１）を介してサーバ１６に送信する。そして、サーバ１６は、受信した画像データをモニタ（図示せず）に出力する。したがって、カメラ５０の撮影画像がモニタに表示される。

【0055】

また、スピーカ５４およびマイク５６は、入出力Ｉ／Ｆ５２に接続される。スピーカ５４は、ロボット１２が発話を行う際に音声を出力する。サーバ１６の操作者ないしオペレータ（以下、「遠隔オペレータ」ということがある。）が直接発話を行う場合、ネットワーク１４、通信モジュール４０および入出力Ｉ／Ｆ５２を通して当該音声が出力される。具体的には、遠隔オペレータがマイク５６を通して発話すると、対応する音声データがサーバ１６からネットワーク１４を介してＣＰＵ３６に与えられる。そして、ＣＰＵ３６は、その音声データを、入出力Ｉ／Ｆ５２を介してスピーカ５４から出力する。

【0056】

マイク５６は、音センサであり、ロボット１２の聴覚の一部を構成する。このマイク５６は、指向性を有し、主として、ロボット１２と対話（コミュニケーション）するユーザ６０（人）の音声を検出するために用いられる。

【0057】

ロボット１２のメモリ４２は、たとえばＲＡＭおよびＨＤＤであり、音声認識プログラムおよび上述のXIMERAのような音声合成プログラムが予め設定されている。音声認識プログラムは、マイク５６を通して入力される、人間がロボット１２に対して発話した内容をＣＰＵ３６が認識するためのプログラムであり、ＣＰＵ３６は、たとえばＤＰマッチングや隠れマルコフ法（Hidden Markov Model：ＨＭＭ）により、人間の発話内容を音声認識する。

【0058】

ＣＰＵ３６は、その音声認識プログラムに従って、遠隔オペレータがマイク５６を通して入力した発話を認識する。たとえば、上述のＨＭＭ法やディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）のような音響モデルを用いて発話音声を検出できる。

【0059】

遠隔オペレータの音声を直接スピーカ５４から出力する外に、ロボット１２から合成音声によって発話させることができる。ＣＰＵ３６は、サーバ１６から合成音声によってスピーカ５４から発話する指示が入力されたとき、このサーバ１６から与えられる合成音声データに従って合成音声をスピーカ５４に出力する。

【0060】

この実施例では基本的に、ロボット１２のすべての動作は、オペレータ（図示せず）が操作するサーバ１６から与えられる。そのために、ＣＰＵ３６は、センサＩ／Ｆ４６を通して取得するセンサデータや、入出力Ｉ／Ｆ５２を通して取得する音声データや画像データを、通信モジュール４０からネットワーク１４を経由して、サーバ１６のＣＰＵ１６ａに与える。サーバ１６は、それらのデータを得て、ロボット１２の状態を知ることができる。

【0061】

ただし、サーバ１６は、位置検出装置１８ａからの位置情報と圧力情報を使用して、仮想エージェント７０とロボット１２の両方の動作を自律的に制御することもできる。

【0062】

図４はユーザ６０がシステム１０を使用する場合の状態を横から見た場合の一例を示す。図４に示すように、ユーザ６０はＨＭＤ２０を装着し、ロボット１２の前方に正対して立つ。つまり、ロボット１２とユーザ６０は向かい合っている。ロボット１２とユーザ６０は対話ないし会話することができる。また、ユーザ６０がロボット１２に近づき、ロボット１２とユーザ６０の距離ｄが所定距離ｄｆ以下になると、ロボット１２はアーム１２２、１２４および１２６でユーザ６０に触れることができる。この場合、ユーザ６０がロボット１２のアーム１２２、１２４および１２６の少なくとも１つに触れることができる。一例として、所定距離ｄｆは、７０ｃｍ－１ｍであり、アーム１２２、１２４および１２６の長さによって決定される。

【0063】

上述したように、ロボット１２には、複数の仮想エージェント７０を割り当てることができる。２体の仮想エージェント７０がロボット１２に割り当てられる場合には、一方の仮想エージェント７０がロボット１２のアーム１２２に重なる位置に配置され、他方の仮想エージェント７０がロボット１２のアーム１２６に重なる位置に配置される。図５に示す例では、仮想エージェント７０ａの左腕がアーム１２２に重なり、仮想エージェント７０ｂの右腕がアーム１２６に重なるように、仮想エージェント７０ａおよび７０ｂが仮想空間に配置される。つまり、２体の仮想エージェント７０がロボット１２に割り当てられる場合には、ロボット１２のアーム１２２が仮想エージェント７０ａの左腕に対応し、ロボット１２のアーム１２６が仮想エージェント７０ｂの右腕に対応する。

【0064】

また、３体の仮想エージェント７０がロボット１２に割り当てられる場合には、３体のうちの１体の仮想エージェント７０がロボット１２のアーム１２２に重なる位置に配置され、残りの２体のうちの一方の仮想エージェント７０ｂがロボット１２のアーム１２６に重なる位置に配置され、残りの２体のうちの他方の仮想エージェント７０ｃがロボット１２のアーム１２４に重なる位置に配置される。図６に示す例では、仮想エージェント７０ａの右腕がロボット１２のアーム１２２に重なる位置に配置され、仮想エージェント７０ｂの右腕がロボット１２のアーム１２６に重なる位置に配置され、仮想エージェント７０ｃの左腕がロボット１２のアーム１２４に重なる位置に配置される。つまり、３体の仮想エージェント７０がロボット１２に割り当てられる場合には、ロボット１２のアーム１２２が仮想エージェント７０ａの右腕に対応し、ロボット１２のアーム１２４が仮想エージェント７０ｃの左腕に対応し、ロボット１２のアーム１２６が仮想エージェント７０ｂの右腕に対応する。

【0065】

したがって、サーバ１６のＣＰＵ１６ａは、ロボット１２に接近するユーザ６０（人ないし参加者）６０に対して、複数の仮想エージェント７０の各々が、個別にユーザ６０に対して第１の所定の動作を行うとともに、ユーザ６０に対して第１の所定の動作を行う仮想エージェント７０に同期して、当該仮想エージェント７０が割り当てられたアーム１２２、１２４または１２６を動作させる処理（以下、「第１疑似接触処理」という）を実行することができる。ただし、アーム１２２、１２４または１２６の動作は、第１の所定の動作に応じた動作である。

【0066】

また、サーバ１６のＣＰＵ１６ａは、仮想空間において、複数の仮想エージェント７０を仮想空間内のユーザ６０に近づけて、複数の仮想エージェント７０がユーザ６０に対して同時に第２の所定の動作を行うとともに、複数の仮想エージェント７０が割り当てられたアーム１２２およびアーム１２４、または、アーム１２２、１２４および１２６を動作させる処理（以下、「第２疑似接触処理」という）を実行することができる。ただし、アーム１２２、１２４および１２６の動作は、第２の所定の動作に応じた動作である。

【0067】

この実施例では、第１の所定の動作および第２の所定の動作は握手である。一例として、第１疑似接触処理は、仮想空間に設定された握手会の会場において、ユーザ６０が、アイドルである複数の仮想エージェント７０と個別に握手するような状況において実行される。一方、第２疑似接触処理は、ユーザ６０がアイドルであり、複数のファンである複数の仮想エージェント７０に囲まれ、各仮想エージェント７０から握手を求められている状況において実行される。

【0068】

したがって、第１疑似接触処理および第２疑似接触処理のうち、いずれの処理を実行するかは、サーバ１６の操作者ないし遠隔オペレータが決定したり、システム１０が適用されるアプリケーションのシナリオ（文脈）によって決定されたりする。ただし、アプリケーションのシナリオは、ユーザ６０がどの選択肢を選んだかに応じて可変的に決定されることがある。

【0069】

たとえば、第１疑似接触処理では、ユーザ６０はロボット１２に割り当てられた１体、２体または３体の仮想エージェント７０と対話し、ユーザ６０がロボット１２と握手できる所定距離ｄｆまで接近すると、サーバ１６のＣＰＵ１６ａは、仮想エージェント７０とロボット１２の両方に信号を送信し、ＨＭＤ２０に仮想エージェント７０の握手のアニメーションを表示させるとともに、ロボット１２に握手を開始させる。つまり、ユーザ６０に対する接触動作が実行される。したがって、ユーザ６０は、ロボット１２のアーム１２２、１２４または１２６を握って握手することができ、握ったアーム１２２、１２４または１２６に割り当てられた仮想エージェント７０と握手している体感を得る。つまり、疑似的な接触がユーザ６０に提示される。ただし、複数の仮想エージェント７０のうち、握手のアニメーションが表示されるのは、ユーザ６０との距離が最も近いアーム１２２、１２４または１２６に割り当てられた仮想エージェント７０のみである。

【0070】

たとえば、２体の仮想エージェント７０がロボット１２に割り当てられている場合において、ユーザ６０が仮想エージェント７０ａに近づくと、図７に示すように、仮想エージェント７０ａが握手を行い、これに関連（または、同期）して、仮想エージェント７０ａに対応するアーム１２２が動作される。つまり、ロボット１２はアーム１２２を用いて握手を行う。したがって、ユーザ６０は、ＨＭＤ２０で仮想エージェント７０ａが握手する様子を見ながら、ロボット１２のアーム１２２を握って握手する。つまり、ＨＭＤ２０に表示された仮想エージェント７０のアニメーションによる視覚刺激がユーザ６０に提示されるとともに、ロボット１２の動作による接触刺激がユーザ６０に与えられる。

【0071】

図示は省略するが、カメラ１８ｃの画像などからユーザの手の動きを検出可能にしておくことにより、ユーザが握手を行う場合に、ユーザの手の画像もＨＭＤ２０に表示することができる。ただし、ユーザの手の動きを検出しない場合であっても、ユーザの手等がロボット１２のアームに触れたことは触覚センサ４８の出力から知ることができるため、ユーザ手等がロボット１２のアームに触れたことが検知された場合に、ユーザの手の画像をＨＭＤ２０に表示するようにしてもよい。以下、ユーザが握手する場合について同様である。

【0072】

また、図示は省略するが、第１疑似接触処理では、３体の仮想エージェント７０がロボット１２に割り当てられた場合も、同様に、仮想空間において、ユーザ６０（視点）が最も近づいた仮想エージェント７０が握手を行い、ロボット１２は、当該仮想エージェント７０に対応するアーム１２２、１２４または１２６を用いて握手の動作を実行する。

【0073】

なお、第１疑似接触処理では、１体の仮想エージェント７０がロボット１２に割り当てられた場合には、仮想空間において、ユーザ６０（視点）が当該仮想エージェント７０に近づくと、当該仮想エージェント７０は握手を行い、ロボット１２は、当該仮想エージェント７０が対応するアーム１２２または１２４を用いて握手の動作を実行する。

【0074】

また、この実施例では、ユーザ６０と各仮想エージェント７０の親密度が設定されており、第１疑似接触処理においては、ユーザ６０が仮想エージェント７０と握手すると、当該ユーザ６０に対する当該仮想エージェント７０の親密度が向上される。たとえば、握手をしたことが無い仮想エージェント７０の親密度は０に設定され、握手をする度に、親密度が１加算される。たとえば、親密度は、仮想エージェント７０を選択する際の条件として使用することができ、また、挨拶するときの発話内容の決定に使用することができる。仮想エージェント７０を選択する場合に、親密度が高いまたは低い仮想エージェント７０を選択することができる。また、親密度が０のユーザ６０に対しては“はじめまして”と挨拶し、親密度が１以上のユーザ６０に対しては“こんにちは”または“久しぶり”と挨拶することができる。これらは一例であり、親密度は他の用途に使用されてもよい。

【0075】

また、第１疑似接触処理では、複数の仮想エージェント７０のうちの少なくとも１つの仮想エージェント７０がユーザ６０に対して挨拶したり、複数の仮想エージェント７０はユーザ６０と個別に対話したりする。仮想エージェント７０がユーザ６０に挨拶することで、ユーザ６０はロボット１２に近づくように誘導される。また、ユーザ６０が複数の仮想エージェント７０と個別に対話する場合には、一例として、複数の仮想エージェント７０は、順番にユーザ６０に話しかけ、複数の仮想エージェント７０の発話が終了すると、次にユーザ６０が発話する。

【0076】

なお、本件は、ロボット１２の動作によって、ユーザ６０に、仮想エージェント７０の動作を疑似的に体感させる、つまり、疑似的接触を提示することが目的であるため、ユーザ６０と仮想エージェント、７０は対話しなくてもよい。

【0077】

また、第１疑似接触処理は、ユーザ６０がロボット１２から離れる、ロボット１２に対して手を振る、またはユーザ６０がＨＭＤ２０を外すなどの特定の動作を行ったり、ユーザ６０が「さようなら」または「ばいばい」などの特定の内容を発話したりした場合に、第１疑似接触処理は終了される。このことは、第２疑似接触処理を終了する場合についても同様である。なお、ユーザ６０がＨＭＤ２０を外したことはカメラ１８ｃの画像に基づいて検出することができる。

【0078】

第２疑似接触処理では、ロボット１２に割り当てられた１体、２体および３体の仮想エージェント７０がユーザ６０に近づき、ユーザ６０はロボット１２に割り当てられた１体、２体または３体の仮想エージェント７０と握手する。ユーザ６０がロボット１２と握手できる所定距離ｄｆまで接近すると、サーバ１６のＣＰＵ１６ａは、第２疑似接触処理を開始する。このようにするのは、第２疑似接触処理では、仮想空間において、仮想エージェント７０をユーザ６０（視点）に近づけて握手するため、ユーザ６０はロボット１２と握手できる距離に近づいている必要があるからである。

【0079】

なお、第２疑似接触処理では、仮想エージェント７０をユーザ（視点）に近づけるように移動させるため、この実施例では、サーバ１６は、第２疑似接触処理を開始したときに、１または複数の仮想エージェント７０を描画する場合には、実空間のロボット１２とユーザ６０の位置関係よりも、１または複数の仮想エージェント７０を視点から離した位置に配置（描画）する。

【0080】

第２疑似接触処理が開始されると、ロボット１２に割り当てられた１体、２体または３体の仮想エージェント７０は次第にユーザ６０（仮想のカメラ）に近づけられる。ロボット１２に割り当てられた１体、２体または３体の仮想エージェント７０とロボット１２の各々に信号を送信し、ロボット１２に割り当てられたすべての仮想エージェント７０の握手のアニメーションをＨＭＤ２０に表示させるとともに、ロボット１２に握手を開始させる。つまり、ユーザ６０に対する接触動作が実行される。ただし、第２疑似接触処理では、ロボット１２に割り当てられたすべての仮想エージェント７０が同時に握手を行うため、ロボット１２が握手を行う場合には、ロボット１２に割り当てられたすべての仮想エージェント７０に対応するアームが動作される。つまり、１体の仮想エージェント７０および２体の仮想エージェント７０がロボット１２に割り当てられている場合には、アーム１２２および１２６が動作される。また、３体の仮想エージェント７０がロボット１２に割り当てられている場合には、アーム１２２、１２４および１２６が動作される。したがって、ユーザ６０は、ロボット１２のアーム１２２、１２４および１２６のうちのいずれか１つまたは２つを握って握手することができ、ロボット１２に割り当てられた１体、２体または３体のすべての仮想エージェント７０と握手している体感を得る。つまり、疑似的な接触がユーザ６０に提示される。

【0081】

たとえば、３体の仮想エージェント７０がロボット１２に割り当てられている場合において、仮想空間において、３体の仮想エージェント７０がユーザ６０（視点）に近づくと、図８に示すように、３体の仮想エージェント７０（７０ａ、７０ｂ、７０ｃ）が握手を行い、これに関連（または、同期）して、３体の仮想エージェント７０の各々に対応するアーム１２２、１２４および１２６が動作される。つまり、ロボット１２はアーム１２２、１２４および１２６を用いて握手を行う。したがって、ユーザ６０は、ＨＭＤ２０で３体の仮想エージェント７０が握手する様子を見ながら、ロボット１２のアーム１２２、１２４および１２６のうちの１つまたは２つを握って握手する。つまり、ＨＭＤ２０に表示された仮想エージェント７０のアニメーションによる視覚刺激がユーザ６０に提示されるとともに、ロボット１２の動作による接触刺激がユーザ６０に与えられる。

【0082】

図示は省略するが、第２疑似接触処理では、２体の仮想エージェント７０がロボット１２に割り当てられた場合も、同様に、仮想空間において、２体の仮想エージェント７０がユーザ６０（視点）に近づくと、当該２体の仮想エージェント７０が握手を行い、ロボット１２は、当該２体の仮想エージェント７０に対応するアーム１２２および１２６を用いて握手の動作を実行する。

【0083】

なお、第２疑似接触処理では、１体の仮想エージェント７０がロボット１２に割り当てられた場合には、仮想空間において、１体の仮想エージェント７０がユーザ６０（視点）に近づくと、当該１体の仮想エージェント７０は握手を行い、ロボット１２は、当該１体の仮想エージェント７０が対応するアーム１２２を用いて握手の動作を実行する。

【0084】

なお、詳細な説明は省略するが、ロボット１２はアーム１２２、１２４、１２６のフレーム１２２ａ、１２４ａ、１２６ａにそれぞれ触覚センサ４８を備えるため、第１疑似接触処理および第２疑似接触処理において、ロボット１２が握手を行っている場合には、ユーザ６０の手等が触れたことを検出すると、アーム１２２、１２４、１２６を上下に反復移動させるようにしてもよい。

【0085】

また、アーム１２２、１２４、１２６の動きが仮想エージェント７０の動きに関連して変化するが、サーバ１６には、そのような関連性をより高めることができるように、ロボット１２の動作（状態遷移）と、ＨＭＤ２０での仮想エージェント７０の動作（状態遷移）とを同期させることができるプログラムが設定されている。

【0086】

そのプログラムでは、仮想エージェント７０の腕および肩の関節の角度と一致するように、ロボット１２の関節１２２ｃ、１２２ｄ、１２４ｃ、１２４ｄ、１２６ｃ、１２６ｄの関節角（各関節を制御するアクチュエータＡ１－Ａｎで検出され、モータ制御にフィードバックされる）が制御される。

【0087】

ただし、ロボット１２の動作と仮想エージェント７０の動作とは必ずしも同期させる必要はない。ロボット１２の動作とＨＭＤ２０に表示される仮想エージェント７０の動作とが多少時間的に前後しても、ある程度のずれであれば問題がないことを確認している。

【0088】

ロボット１２の動作と仮想エージェント７０の動作とを同期させる場合には、ロボット１２の動作の遅延時間を予め検出しておき、その遅延時間を考慮して、仮想エージェント７０のアニメーションの再生を行えば良い。

【0089】

図９はサーバ１６に内蔵されるメモリ（ここでは、ＲＡＭ）１６ｂのメモリマップ３００の一例を示す。図９に示すように、メモリ１６ｂは、プログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、この実施例の制御プログラムが記憶されている。

【0090】

制御プログラムは、通信プログラム３０２ａ、割当プログラム３０２ｂ、センサ値検出プログラム３０２ｃ、画像生成プログラム３０２ｄおよびロボット制御プログラム３０２ｅなどを含む。

【0091】

通信プログラム３０２ａは、外部の機器、この実施例では、ロボット１２およびＨＭＤ２０のそれぞれと有線または無線で通信するためのプログラムである。

【0092】

割当プログラム３０２ｂは、ユーザの操作等に従って設定された仮想エージェント７０の数に応じて、ロボット１２に１または複数の仮想エージェント７０を割り当てるためのプログラムである。

【0093】

センサ値検出プログラム３０２ｃは、各種のセンサ（この実施例では、触覚センサ４８、カメラ５０およびマイク５６）からの出力を検出するためのプログラムである。

【0094】

画像生成プログラム３０２ｄは、ＨＭＤ２０に表示する画像データを生成するためのプログラムである。この実施例では、ロボット１２に割り当てられた１または複数の仮想エージェント７０の静止画および動画（アニメーション）についての画像データが生成される。

【0095】

ロボット制御プログラム３０２ｅは、ロボット１２に割り当てられた１または複数の仮想エージェント７０が所定の第１の動作および第２の動作（この実施例では、第１の動作および第２の動作は、握手）する場合に、各仮想エージェント７０に対応するアーム（１２２および１２４、または、１２２、１２４および１２６）を、所定の第１の動作および第２の動作に同期して動作させる動作データと、必要に応じて、ロボット１２の発話内容に対応する音声データをロボット１２に送信するためのプログラムである。

【0096】

図示は省略するが、プログラム記憶領域３０２には、ロボット１２の制御および仮想エージェント７０の制御を行うための他のプログラムも記憶される。

【0097】

また、データ記憶領域３０４には、センサ値データ３０４ａ、アーム制御データ３０４ｂ、発話データ３０４ｃおよび画像データ３０４ｄが記憶される。

【0098】

センサ値データ３０４ａは、各種のセンサから出力されたデータであり、センサ値検出プログラム３０２ｃに従って検出されたデータである。アーム制御データ３０４ｂは、ロボット１２のアーム１２２、１２４および１２６を制御するためのデータであり、具体的には、アクチュエータを駆動するためのデータである。

【0099】

発話データ３０４ｃは、ロボット１２に割り当てられた仮想エージェント７０が発話する内容の合成音声のデータである。ただし、発話（対話）コンテンツは予めデータベース（たとえば、サーバ１６のメモリ１６ｂ）に設定しておいたコンテンツを利用したり、ウェブ上のＡＰＩ（Application Programming Interface）などを利用したりすることができる。

【0100】

画像データ３０４ｄは、仮想エージェント７０をＨＭＤ２０に表示するための画像データであり、画像生成プログラム３０２ｄに従って生成される。ただし、画像データ３０４ｄは、仮想エージェント７０の静止画のデータおよび仮想エージェント７０の動作についてのアニメーションのデータを含む。

【0101】

図示は省略するが、データ記憶領域３０４には、ロボット１２の制御および仮想エージェント７０の制御を行うために必要な他のデータが記憶されたり、タイマ（カウンタ）およびフラグが設けられたりする。

【0102】

図１０および図１１は、図１に示したサーバ１６に内蔵されるＣＰＵ１６ａの第１疑似接触処理のフロー図である。図１２および図１３は、図１に示したサーバ１６に内蔵されるＣＰＵ１６ａの第２疑似接触処理のフロー図である。以下、第１疑似接触処理および第２疑似接触処理について説明するが、一度説明した処理と同じ処理については簡単に説明することにする。また、第１疑似接触および第２疑似接触の動作は、この実施例では、サーバ１６のＣＰＵ１６ａがメモリ１６ｂに設定されている制御プログラムに従って実行する。つまり、サーバ１６のＣＰＵ１６ａがロボット１２のＣＰＵ３６（図３）に指令信号を送ることによって、サーバ１６が間接的にロボット１２の動作も制御する。

【0103】

図１０に示すように、ＣＰＵ１６ａは、第１疑似接触処理を開始すると、ステップＳ１で、カメラ１８ｃからの画像データを検出し、ステップＳ３で、ステップＳ１で検出した画像データに基づいて、ユーザ６０が誰であるかを同定する。

【0104】

ただし、カメラ１８ｃからの画像データではなく、たとえばＲＦＩＤ（radio frequency identifier）など他の手段を利用してユーザ６０の個人同定を行うようにしてもよい。この場合、ＣＰＵ１６ａは、ステップＳ１では、ＲＦＩＤを検出する。

【0105】

なお、ユーザ６０が予め登録されておらず、ステップＳ１で誰であるかを同定できなかったユーザ６０に対しては、匿名のＩＤを暫定的に割り当てることによって処理を継続することもできる。

【0106】

続くステップＳ５では、仮想エージェント７０の数を設定する。上述したように、仮想エージェント７０の数は、ロボット１２が備えるアームの本数以内で、ユーザの操作等に従って設定することができ、この実施例では、１－３のいずれかに設定される。

【0107】

続くステップＳ７では、仮想エージェント７０の数が１であるかどうかを判断する。ステップＳ７で“ＹＥＳ”であれば、つまり、仮想エージェント７０の数が１であれば、ステップＳ９で、ＨＭＤ２０に１体の仮想エージェント７０を表示して、図１１に示すステップＳ１７に進む。

【0108】

ただし、ステップＳ９では、ステップＳ３で同定したユーザ６０に応じて選択された１体の仮想エージェント７０が、その右腕がアーム１２２と重なり、かつ、その左腕がアーム１２４と重なる位置に描画された画像データがＨＭＤ２０に送信される。

【0109】

この場合、サーバ１６は、ユーザ６０と同性または異性の仮想エージェント７０の候補からランダムに選択してもよいし、ユーザ６０が自分のために予め登録している仮想エージェント７０を手動的に選択するようにしてもよい。

【0110】

ただし、上述の匿名ＩＤを持つユーザ６０に対しては、特定の仮想エージェント７０を手動的に選択してもよい。

【0111】

このように仮想エージェント７０を手動的に選択させる場合には、たとえばＨＭＤ２０に選択スイッチ（図示せず）を設け、その選択スイッチの操作に応じて、サーバ１６が仮想エージェント７０の候補の画像を順次ＨＭＤ２０に表示し、所望の仮想エージェント７０が表示されるとその選択スイッチの操作を停止すればよい。

【0112】

なお、ロボット１２とユーザ６０との距離ｄは、予め決定されているロボット１２の位置と、位置検出装置１８ａからの位置情報に基づいて算出され、仮想空間において、視点（仮想のカメラ）とロボット１２の距離が現実空間における距離ｄに相当する距離に設定され、仮想エージェント７０が描画される。また、上述したように、仮想のカメラの注視点は、仮想空間におけるロボット１２の中心である。以下、仮想エージェント７０を描画して画像データを生成する場合について同様である。

【0113】

一方、ステップＳ７で“ＮＯ”であれば、つまり、仮想エージェント７０の数が１でなければ、ステップＳ１１で、仮想エージェント７０の数が２であるかどうかを判断する。

【0114】

ステップＳ１１で“ＹＥＳ”であれば、つまり、仮想エージェント７０の数が２であれば、ステップＳ１３で、ＨＭＤ２０に２体の仮想エージェント７０を表示して、ステップＳ１７に進む。

【0115】

ただし、ステップＳ１３では、ステップＳ３で同定したユーザ６０に応じて選択された２体の仮想エージェント７０が、そのうちの一方の１体の左腕がアーム１２２と重なり、かつ、そのうちの他方の１体の右腕がアーム１２４と重なり、横並びで描画された画像データがＨＭＤ２０に送信される。

【0116】

一方、ステップＳ１１で“ＮＯ”であれば、つまり、仮想エージェント７０の数が３であれば、ステップＳ１５で、ＨＭＤ２０に３体の仮想エージェント７０を表示して、ステップＳ１７に進む。

【0117】

ただし、ステップＳ１５では、ステップＳ３で同定したユーザ６０に応じて選択された３体の仮想エージェント７０が、そのうちの１体の右腕がアーム１２２と重なり、残りの２体のうちの一方の１体の右腕がアーム１２４と重なり、かつ、残りの２体のうちの他方の１体の左腕がアーム１２６と重なり、横並びで描画された画像データがＨＭＤ２０に送信される。

【0118】

図１１に示すように、ステップＳ１７では、話題を選択し、対話を開始する。このとき、ユーザ６０が対話のテーマを選択してもよいし、サーバ１６に蓄積している各ユーザ６０の対話履歴に基づいて特定のテーマを自動的に選択するようにしてもよい。また、ステップＳ１７では、対話を開始するに際して、挨拶についての発話内容の合成音声データをロボット１２およびＨＭＤ２０に送信する。ただし、挨拶に代えて、ユーザ６０をロボット１２に近づけたり、対話を誘導したりする発話内容であってもよい。さらに、複数の仮想エージェント７０がロボット１２に割り当てられている場合には、複数の仮想エージェント７０の各々についての発話内容の合成音声データが所定の順番でロボット１２およびＨＭＤ２０に送信される。ただし、これは一例であり、いずれか１体の仮想エージェント７０の発話内容の合成音声データのみが送信されてもよい。ただし、仮想エージェント７０の種類に応じて合成音声の音高（周波数）が変化される。

【0119】

続く、ステップＳ１９では、ロボット１２のすべてのアーム１２２、１２４および１２６を初期位置に戻す。つまり、ＣＰＵ１６ａは、ロボット１２に、アーム１２２、１２４および１２６を初期位置に戻す制御データを送信する。

【0120】

続いて、ステップＳ２１で、一定時間（たとえば、２～３秒）待機する。ここでは、ロボット１２およびすべての仮想エージェント７０の移動および動作を一定時間停止させる。そして、ステップＳ２３で、ユーザ６０（視点）が仮想エージェント７０と握手できる距離に近づいたかどうかを判断する。ただし、複数の仮想エージェント７０がロボット１２に割り当てられている場合には、いずれか１体の仮想エージェント７０と握手できる距離に近づいたかどうかを判断する。つまり、現実空間において、ユーザ６０と、仮想エージェント７０が割り当てられたロボット１２のアーム１２２、１２４、１２６との距離が所定距離ｄｆ以下であるかどうかを判断する。具体的には、ＣＰＵ１６ａは、ネットワーク１４を通してロボット１２から受信したカメラ５０からの画像データに基づいて、ユーザ６０が、アーム１２２、１２４および１２６の少なくとも１つと握手可能な位置まで近づいてきたかどうか判断する。

【0121】

ただし、カメラ５０からの画像データをモニタ（図示せず）上で確認し、オペレータが判断するようにしてもよい。

【0122】

なお、このステップＳ２３の判断のためには、実施例ではカメラ５０の画像データを解析するようにしたが、たとえばロボット１２を置いている床または天井のような環境に設置しているカメラ１８ｃ、先に説明したレーザ距離計（Oculus Sensors）、マットセンサのようなユーザ６０位置検知システムを利用するようにしてもよい。

【0123】

ステップＳ２３で“ＮＯ”であれば、つまり、ユーザ６０が仮想エージェント７０と握手できる距離に近づいていなければ、ステップＳ２１に戻る。一方、ステップＳ２３で“ＹＥＳ”であれば、つまり、ユーザ６０が仮想エージェント７０と握手できる距離に近づいていれば、ステップＳ２５で、ユーザ６０に最も近い仮想エージェント７０の腕をユーザ６０（視点）に近づけて握手する。ここでは、ＣＰＵ１６ａは、ユーザ６０に最も近い仮想エージェント７０の腕を仮想空間における視点の方向に近づけて握手するアニメーションを再生する。

【0124】

続くステップＳ２７で、ユーザ６０に最も近い仮想エージェント７０に対応するロボット１２のアーム１２２、１２４または１２６をユーザ６０に近づけて握手する。ステップＳ２７では、ＣＰＵ１６ａは、アクチュエータ制御回路４４を通して関節（１２２ｃと１２２ｄ、１２４ｃと１２４ｄ、または、１２６ｃと１２６ｄ）のアクチュエータを制御することで、ユーザ６０に最も近い仮想エージェント７０に対応するロボット１２のアーム１２２、１２４または１２６を、上腕（フレーム１２２ｂ）に対する前腕（フレーム１２２ａ）の角度、上腕（フレーム１２４ｂ）に対する前腕（フレーム１２４ａ）の角度、または、上腕（フレーム１２６ｂ）に対する前腕（フレーム１２６ａ）の角度を７０°に設定した状態で、ユーザ６０が存在する方向に少し上げる（または、前に出す）。

【0125】

続いて、ステップＳ２９で、当該仮想エージェント７０の親密度を向上させ、ステップＳ３１で、話題に応じた対話を実行する。ここでは、ＣＰＵ１６ａは、ステップＳ１７で選択した話題に応じた対話を実行する。ただし、対話の履歴を記憶しておくことにより、選択した話題について過去に対話したことが有る場合には、重複しない発言内容が選択される。

【0126】

また、発言とともに、仮想エージェント７０が動作を行う場合には、この仮想エージェント７０が割り当てられたアーム１２２、１２４または１２６も仮想エージェント７０の動作に同期して動作される。

【0127】

そして、ステップＳ３３では、ユーザ６０が対話終了を希望しているかどうかを判断する。ここでは、ＣＰＵ１６ａは、上記のようなユーザ６０の特定の動作を検出したり、上記のようなユーザ６０の特定の内容についての発話を検出したりした場合に、ユーザ６０が対話終了を希望していると判断する。このことは、後述するステップＳ８１の処理についても同様である。

【0128】

ステップＳ３３で“ＮＯ”であれば、つまり、ユーザ６０が対話終了を希望していない場合にはステップＳ３１に戻って対話を続行する。一方、ステップＳ３３で“ＹＥＳ”であれば、つまり、ユーザ６０が対話終了を希望している場合には、第１疑似接触処理を終了する。

【0129】

また、図１２に示すように、ＣＰＵ１６ａは、第２疑似接触処理を開始すると、ステップＳ５１で、カメラ１８ｃからの画像データを検出し、ステップＳ５３で、ステップＳ５１で検出した画像データに基づいて、ユーザ６０が誰であるか同定する。

【0130】

ただし、第２疑似接触処理では、仮想エージェント７０がユーザ６０に近づくように、ＨＭＤ２０に画像を表示するため、上述したように、この第２疑似接触処理は、ユーザ６０がロボット１２と握手可能な位置に近づいたことを前提として開始される。

【0131】

続くステップＳ５５で、仮想エージェント７０の数を設定し、ステップＳ５７で、仮想エージェント７０の数が１であるかどうかを判断する。ステップＳ５７で“ＹＥＳ”であれば、ステップＳ５９で、ＨＭＤ２０に１体の仮想エージェント７０を表示して、図１３に示すステップＳ６７に進む。

【0132】

一方、ステップＳ５７で“ＮＯ”であれば、ステップＳ６１で、仮想エージェント７０の数が２であるかどうかを判断する。ステップＳ６１で“ＹＥＳ”であれば、ステップＳ６３で、ＨＭＤ２０に２体の仮想エージェント７０を表示して、ステップＳ６７に進む。一方、ステップＳ６１で“ＮＯ”であれば、ステップＳ６５で、ＨＭＤ２０に３体の仮想エージェント７０を表示して、ステップＳ６７に進む。

【0133】

なお、第２疑似接触処理では、上述したように、仮想エージェント７０をユーザ（視点）に近づけるように移動させるため、ＣＰＵ１６ａは、ステップＳ５９、Ｓ６３およびＳ６５において１または複数の仮想エージェント７０を描画する場合には、実空間のロボット１２とユーザ６０の位置関係よりも、１または複数の仮想エージェント７０を視点から離した位置に配置（描画）する。

【0134】

図１３に示すように、ステップＳ６７では、ロボット１２のすべてのアーム１２２、１２４および１２６を初期位置に戻す。続いて、ステップＳ６９で、一定時間待機する。次のステップＳ７１では、すべての仮想エージェント７０をユーザ６０に接近させる。たとえば、ＣＰＵ１６ａは、仮想空間において、すべての仮想エージェント７０を視点に向けて所定距離（たとえば、７０ｃｍ）移動させた場合の画像データを生成し、ＨＭＤ２０に送信する。

【0135】

そして、ステップＳ７３で、すべての仮想エージェント７０がユーザ６０と握手できる距離に近づいたかどうかを判断する。ここでは、仮想空間において、すべての仮想エージェント７０と視点の距離が、それぞれ、所定距離ｄｆ以下になったかどうかを判断する。

【0136】

ステップＳ７３で“ＮＯ”であれば、つまり、すべての仮想エージェント７０がユーザ６０と握手できる距離に近づいていなければ、ステップＳ６９に戻る。一方、ステップＳ７３で“ＹＥＳ”であれば、つまり、すべての仮想エージェント７０が握手できる距離に近づいていれば、ステップＳ７５で、すべての仮想エージェント７０の腕をユーザ６０に近づけて握手する。ここでは、ＣＰＵ１６ａは、すべての仮想エージェント７０の腕を仮想空間における視点の方向に近づけて握手するアニメーションを再生する。ただし、仮想エージェント７０が１体の場合には、当該仮想エージェント７０のアニメーションが再生される。仮想エージェント７０が２体の場合には、当該２体の仮想エージェント７０の各々のアニメーションが再生される。仮想エージェント７０が３体の場合には、当該３体の仮想エージェント７０のアニメーションの各々が再生される。

【0137】

続くステップＳ７７では、すべての仮想エージェント７０に対応するロボット１２のアームをユーザ６０に近づけて握手する。ステップＳ７７では、ＣＰＵ１６ａは、すべての仮想エージェント７０に対応するロボット１２のアームを、上腕に対する前腕の角度を７０°に設定した状態で、ユーザ６０が存在する方向に少し上げる（または、前に出す）。ただし、仮想エージェント７０が１体の場合には、アーム１２２の動作が制御される。仮想エージェント７０が２体の場合には、アーム１２２および１２４の動作が制御される。仮想エージェント７０が３体の場合には、アーム１２２、１２４および１２６の動作が制御される。

【0138】

続いて、ステップＳ７９で、一定時間（たとえば、２～３秒）待機し、ステップＳ８１で、ユーザ６０が握手終了を希望しているかどうかを判断する。ステップＳ８１で“ＮＯ”であれば、つまり、ユーザ６０が握手終了を希望していない場合には、ステップＳ７９に戻る。一方、ステップＳ８１で“ＹＥＳ”であれば、つまり、ユーザ６０が握手終了を希望している場合には、第２疑似接触処理を終了する。

【0139】

この実施例によれば、ＨＭＤを利用して複数の仮想エージェントを用いた任意の視覚刺激を提示しながら、複数の仮想エージェントが割り当てられたロボットの複数のアームから接触刺激を提示するので、仮想エージェントに接触している体感を得ることができる。つまり、新しい疑似的接触提示システムを提供することができる。

【0140】

また、この実施例によれば、視覚刺激提示装置すなわちＨＭＤが複数の仮想エージェントの動作を表示し、この動作に関連して、接触刺激提示装置の可動部すなわちロボットの複数のアームを動かすことよって接触刺激をユーザに提示するので、視覚刺激と接触刺激の一体感を高めることができる。

【0141】

なお、この実施例の第２疑似接触処理では、３体の仮想エージェントがロボットに割り当てられている場合には、３体の仮想エージェントをユーザ（視点）に近づけて動作を行うようにしたが、３体のうちの２体の仮想エージェントをユーザに近づけて動作を行うようにしてもよい。この場合、３体のうちの２体の仮想エージェントはランダムなどの所定のルールに従って、または、ユーザによって選択される。

【0142】

また、この実施例では、ロボットのアームは肘関節と肩関節に相当する関節を有する構成であるが、肘関節または肩関節のみを有する構成でもよい。肘関節のみを有する場合には、上腕を動かすことで握手を行うことができ、肩関節のみを有する場合には、腕全体を動かすことで握手を行うことができる。

【0143】

さらに、この実施例では、ロボットのアームを３本設けるようにしたが、アームは２本以上であれば、４本以上設けることも可能である。アームを４本以上設ける場合には、さらに多数の仮想エージェントをＨＭＤに表示し、各仮想エージェントと個別にまたは同時にインタラクションすることができる。

【0144】

さらにまた、この実施例では、ユーザは仮想エージェントと握手する場合について説明したが、所定の動作は握手に限定される必要はなく、タッチであってもよい。

【0145】

なお、上述の実施例では、サーバが１台でシステムの各要素を制御するようにしたが、ロボット、サーバおよびＨＭＤをそれぞれ別のコンピュータで制御するようにしてもよいし、任意の台数のコンピュータでシステムを管理および制御することができる。

【0146】

また、上述の実施例で示したＨＭＤに表示する仮想エージェントとしては、３Ｄのコンピュータグラフィクスエージェントであればどのようなキャラクタを用いてもよい。そのため、ユーザに応じて、見た目や性別、服装、種族（人、動物、擬人化キャラクタなど）、リアルさ（アニメ調、実写調など）を変更してもよい。

【0147】

なお、上述の実施例で挙げた角度などの具体的数値はいずれも単なる例示であり、必要に応じて適宜変更可能である。

【符号の説明】

【0148】

１０ …疑似的接触提示システム
１２ …コミュニケーションロボット
１６ …サーバ
２０ …ＨＭＤ
６０ …ユーザ
７０ …仮想エージェント
１２２、１２４、１２６ …ロボットアーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】