特開 2024-43332 アバタ制御装置、アバタ制御プログラムおよびアバタ制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043332

(43)【公開日】2024-03-29

(54)【発明の名称】アバタ制御装置、アバタ制御プログラムおよびアバタ制御方法

(51)【国際特許分類】

   B25J 13/00 20060101AFI20240322BHJP

【ＦＩ】

B25J13/00 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022148458

(22)【出願日】2022-09-16

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「抱擁型生命感ＣＡの研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】塩見 昌裕

(72)【発明者】

【氏名】飯尾 尊優

(72)【発明者】

【氏名】木本 充彦

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707CS08

3C707HS27

3C707JS03

3C707KS31

3C707KS36

3C707KS39

3C707KT01

3C707KT04

3C707KW01

3C707MS07

3C707MS14

3C707WA03

3C707WA16

3C707WM07

(57)【要約】

【課題】 操作者の咳やくしゃみに応じて、咳エチケットの動作をアバタに実行させることができる、アバタシステムを提供する。
【解決手段】 アバタシステム（10）は、ネットワーク（11）で連係された操作者端末（12）、アバタとしてのロボット（14）およびサーバ（16）を含み、操作者端末（12）に関連して、カメラ（32）、マイク（34）およびモーションキャプチャ（36）が設けられる。これらからの音声データや映像データあるいはモーションデータに基づいて、操作者端末（12）は操作者（13）が咳やくしゃみをしたことを検出したとき、操作者端末（12）は、ロボット（14）（アバタ）を制御して、いわゆる咳エチケットの動作を行わせる。たとえば、顔を人の顔から背けさせる、胴体を人とは違う方向に向けさせる、腕または手によって口に相当する部分を押さえさせる等である。
【選択図】 図８

【特許請求の範囲】

【請求項1】

操作者が操作することによってアバタを遠隔制御するアバタ制御装置であって、
前記操作者の状態を検知する状態検知手段、
前記状態検知手段が検知した前記操作者の状態に基づいて前記操作者の咳および／またはくしゃみを検出する咳くしゃみ検出手段、および
前記咳くしゃみ検出手段が前記操作者の咳および／またはくしゃみを検出したとき、前記アバタに咳エチケット動作をさせるように、前記アバタを制御するアバタ制御手段を備える、アバタ制御装置。

【請求項2】

前記アバタは顔を有し、
前記アバタ制御手段は、前記アバタの前記顔を前記アバタの面前の人の顔から背けさせる顔背け手段を含む、請求項１記載のアバタ制御装置。

【請求項3】

前記アバタは上半身または胴体を有し、
前記アバタ制御手段は、前記アバタの前記胴体を前記アバタの面前の人とは違う方向に向けさせ、または移動させる上半身または胴体制御手段を含む、請求項１記載のアバタ制御装置。

【請求項4】

前記アバタは腕または手および口に相当する部分を有し、
前記アバタ制御手段は、前記アバタの前記腕または手によって前記口に相当する部分を押さえさせる口押え手段を含む、請求項１記載のアバタ制御装置。

【請求項5】

操作者が操作することによってアバタを遠隔制御するアバタ制御装置のアバタ制御プログラムであって、前記アバタ制御プログラムは前記アバタ制御装置のＣＰＵを、
前記操作者の状態を検知する状態検知手段、
前記状態検知手段が検知した前記操作者の状態に基づいて前記操作者の咳および／またはくしゃみを検出する咳くしゃみ検出手段、および
前記咳くしゃみ検出手段が前記操作者の咳および／またはくしゃみを検出したとき、前記アバタに咳エチケット動作をさせるように、前記アバタを制御するアバタ制御手段として機能させる、アバタ制御プログラム。

【請求項6】

操作者が操作することによってアバタを遠隔制御するアバタ制御装置のアバタ制御方法であって、
前記操作者の状態を検知し、
前記操作者の状態に基づいて前記操作者の咳および／またはくしゃみを検出し、そして
前記操作者の咳および／またはくしゃみを検出したとき、前記アバタに咳エチケット動作をさせるように、前記アバタを制御する、アバタ制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明はアバタ制御装置、アバタ制御プログラムおよびアバタ制御方法に関し、特にたとえば、操作者に対面するアバタに「咳エチケット」を行わせる、新規なアバタ制御装置、アバタ制御プログラムおよびアバタ制御方法に関する。

【背景技術】

【0002】

アバタ（バーチャルエージェントやロボット）を遠隔操作して操作者と対話する仮想空間であっても、咳動作が対人距離を増加させ、心理的印象を損ねることが明らかになっていることから、それらの印象を緩和するための仕組みが必要である。

【0003】

特許文献１に開示された背景技術では咳を音声から検出し、その音が発生した場所を画像から推定してさらに精度よく咳動作を推定する。

【0004】

また、特許文献２に開示された背景技術では、自律動作型アンドロイド（アンドロイド：登録商標）のジェスチャを発話単語の音声情報から生成する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－００３１８１号公報

【特許文献1】特開２０２０－００６４８２号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

特許文献１に検出した咳動作を遠隔操作のアバタの制御に活用する提案はなく、特許文献２に咳エチケットを考慮した動作をロボットに生成させる提案はない。

【0007】

それゆえに、この発明の主たる目的は、新規な、アバタ制御装置、アバタ制御プログラムおよびアバタ制御方法を提供することである。

【0008】

この発明の他の目的は、操作者の咳やくしゃみに応じて、咳エチケットの動作をアバタに実行させることができる、アバタ制御装置、アバタ制御プログラムおよびアバタ制御方法を提供することである。

【課題を解決するための手段】

【0009】

この発明は、上記の目的達成のために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

【0010】

第１の実施例は、操作者が操作することによってアバタを遠隔制御するアバタ制御装置であって、操作者の状態を検知する状態検知手段、状態検知手段が検知した操作者の状態に基づいて操作者の咳および／またはくしゃみを検出する咳くしゃみ検出手段、および咳くしゃみ検出手段が操作者の咳および／またはくしゃみを検出したとき、アバタに咳エチケット動作をさせるように、アバタを制御するアバタ制御手段を備える、アバタ制御装置である。

【0011】

第１の実施例では、アバタ制御装置（１０：例において相当する部分を例示する参照符号。ただし、限定を意図しない。以下同様。）は、たとえばマスク（３２）、カメラ（３４）あるいはモーションキャプチャ（３６）のような、操作者（１３）の状態を検知する状態検知手段を備える。咳くしゃみ検出手段（１８、６４ｄ、Ｓ７）は、状態検知手段が検知した操作者の状態に基づいて、操作者の咳および／またはくしゃみを検出する。アバタ制御手段（１８、６４ｃ、Ｓ１３）は、咳くしゃみ検出手段が操作者の咳および／またはくしゃみを検出したとき、アバタ（１４）に咳エチケット動作をさせるように、アバタを制御するアバタ制御手段を備える、咳くしゃみ検出手段が操作者の咳および／またはくしゃみを検出したとき、アバタに咳エチケット動作をさせるように、アバタを制御する。ただし、「咳エチケット」とは、たとえば、咳やくしゃみの飛沫により感染する感染症を他人に感染させないための動作である。

【0012】

第１の実施例によれば、操作者が咳やくしゃみをしたとき、アバタに咳エチケットの動作をさせるので、咳動作に起因する対人距離の増加や心理的印象の悪化を緩和することができるし、ユーザ（人）に与える不快感を軽減させることができる。

【0013】

第２の実施例は、第１の実施例に従属するアバタ制御装置であって、アバタは顔を有し、アバタ制御手段は、アバタの顔をアバタの面前の人の顔から背けさせる顔背け手段を含む。

【0014】

第２の実施例では、アバタ（１４）は、頭部（１３０）すなわち顔を有し、アバタ制御手段（１８、６４ｃ、Ｓ１３）は、顔背け手段（１８、Ｓ２３）は、アバタの面前の人の顔から背けさせる。

【0015】

第２の実施例によれば、咳エチケットの動作として、アバタの顔をユーザ（人）の顔から背けさせるので、操作者の咳やくしゃみによるユーザ（人）に与える不快感を軽減させることができる。

【0016】

第３の実施例は、第１の実施例に従属するアバタ制御装置であって、アバタは上半身または胴体を有し、アバタ制御手段は、アバタの上半身または胴体をアバタの面前の人とは違う方向に向けさせ、または移動させる上半身または胴体制御手段を含む。

【0017】

第３の実施例では、アバタ（１４）は、上半身または胴体（１０６）を有し、アバタ制御手段（１８、６４ｃ、Ｓ１３）は、胴体制御手段（１８、Ｓ２７）は、アバタの上半身または胴体をアバタの面前の人とは違う方向に向けさせる。

【0018】

第３の実施例によれば、咳エチケットの動作として、アバタの上半身または胴体を面前のユーザ（人）とは違う方向に向けさせ、または移動させるので、操作者の咳やくしゃみによるユーザ（人）に与える不快感を軽減させることができる。

【0019】

第４の実施例は、第１の実施例に従属するアバタ制御装置であって、アバタは腕または手および口に相当する部分を有し、アバタ制御手段は、アバタの腕または手によって口に相当する部分を押さえさせる口押え手段を含む。

【0020】

第４の実施例では、アバタ（１４）は腕（１１８Ｒ－１２２Ｒ、１１８Ｌ－１２２Ｌ）または手（１２４Ｒ、１２４Ｌ）および口に相当する部分（１３２）を有し、アバタ制御手段（１８、６４ｃ、Ｓ１３）は、口押え手段（１８、Ｓ３１）は、腕または手によって口に相当する部分（１３２）を押さえさせる。

【0021】

第４の実施例では、咳エチケットの動作として、アバタの腕または手によって口に相当する部分を押さえさせるので、操作者の咳やくしゃみによるユーザ（人）に与える不快感を軽減させることができる。

【0022】

第５の実施例は、操作者が操作することによってアバタを遠隔制御するアバタ制御装置のアバタ制御プログラムであって、アバタ制御プログラムはアバタ制御装置のＣＰＵを、操作者の状態を検知する状態検知手段、状態検知手段が検知した操作者の状態に基づいて操作者の咳および／またはくしゃみを検出する咳くしゃみ検出手段、および咳くしゃみ検出手段が操作者の咳および／またはくしゃみを検出したとき、アバタに咳エチケット動作をさせるように、アバタを制御するアバタ制御手段として機能させる、アバタ制御プログラムである。

【0023】

第６の実施例は、操作者が操作することによってアバタを遠隔制御するアバタ制御装置のアバタ制御方法であって、操作者の状態を検知し、操作者の状態に基づいて操作者の咳および／またはくしゃみを検出し、そして操作者の咳および／またはくしゃみを検出したとき、アバタに咳エチケット動作をさせるように、アバタを制御する、アバタ制御方法である。

【0024】

第５の実施例および第６の実施例によっても、第１の実施例と同様の効果が期待できる。

【発明の効果】

【0025】

この発明によれば、操作者の咳やくしゃみに応じて、咳エチケットの動作をアバタに実行させることができるので、咳動作に起因する対人距離の増加や心理的印象の悪化を緩和することができる。つまり、遠隔操作されるアバタが、操作者が行う咳やくしゃみに対して適切なマナー動作を自動的に行うことで、ユーザ（人）に与える不快感を軽減させることができる。

【0026】

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0027】

【図1】図１はこの発明の一実施例のアバタ装置を示すブロック図である。

【図2】図２は図１実施例の操作者端末の一例をブロック図である。

【図3】図３は図１実施例のアバタ（ロボット）を示す図解図である。

【図4】図４は図３に示すロボットの電気的な構成を示すブロック図である。

【図5】図５は図１実施例のサーバの一例をブロック図である。

【図6】図６は操作者端末の記憶部のメモリマップの一例を示す図解図である。

【図7】図７はサーバの記憶部のメモリマップの一例を示す図解図である。

【図8】図８は操作者端末によるアバタ制御処理を示すフロー図である。

【図9】図９はアバタに咳エチケットを実行させる咳エチケット動作処理の一例を示すフロー図である。

【発明を実施するための最良の形態】

【0028】

図１を参照して、この発明の一実施例のアバタ装置１０では、たとえばインタネットなどのネットワーク１１に有線または無線で接続される操作者端末１２を含む。操作者端末１２は、操作者１３が操作して、アバタとして行動するコミュニケーションロボット（以下、単に「ロボット」と言うことがある。）１４を制御する。そのため、操作者端末１２は、アバタ制御装置として機能する。

【0029】

ロボット１４も、アバタデータサーバ（以下、単に「サーバ」ということがある。）１６とともに、ネットワーク１１に接続される（無線または有線）。

【0030】

操作者端末１２は、汎用のコンピュータであり、図２に示すように、ＣＰＵ１８を含む。ＣＰＵ１８は、プロセサなどとも呼ばれ、このＣＰＵ１８には、バス１９を介して、記憶部２０、通信部２２、入力制御回路２４、表示制御回路２６等が接続される。

【0031】

ＣＰＵ１８は、操作者端末１２の全体的な制御を司る。記憶部２０は、ＣＰＵ１８の主記憶部として機能し、ワーク領域およびバッファ領域として用いられるＲＡＭや、ＣＰＵ１８が操作者端末１２の各コンポーネントの動作を制御するための制御プログラムおよび各種データなどを記憶する補助記憶装置、たとえばＳＳＤまたはＨＤＤなどのメモリを含む。

【0032】

通信部２２は、ネットワーク１１に接続するための通信回路であり、ＣＰＵ１８からの指示に従って、ネットワーク１１を介して、ロボット１４やサーバ１６等の外部端末と通信する。

【0033】

入力制御回路２４には入力装置２８が接続され、表示制御回路２６にはディスプレイ３０が接続される。

【0034】

入力装置２８は、操作者１３による入力操作を受け付けるための装置であり、周知のように、たとえばテンキーやマウスさらにはタッチパネル等の入力操作部である。タッチパネルは、ディスプレイ３０の表示面上に設けられてもよい。

【0035】

入力制御回路２４からは、入力装置２８の操作に応じた操作信号ないし操作データを出力し、それがＣＰＵ１８に取り込まれる。表示制御回路２６は、ＣＰＵ１８の指示の下、記憶部２０に記憶された映像生成データを用いて表示映像データを生成し、生成した表示映像データをディスプレイ３０に出力する。

【0036】

操作者端末１２には、マイク３２、カメラ３４およびモーションキャプチャ３６が関連して設けられ、マイク３２で収音した音声信号は、ＣＰＵ１８によって取り込まれ、記憶部２０に記憶される。同様に、カメラ３４で撮影した映像信号は、ＣＰＵ１８によって取り込まれ、記憶部２０に記憶される。モーションキャプチャ３６で取得した操作者１３の動作のデータ（モーションデータ）はＣＰＵ１８によって取り込まれ、記憶部２０に記憶される。これらのマイク３２、カメラ３４およびモーションキャプチャ３６は、操作者１３の状態（発声や動作ま所作）を検知する状態検知手段として機能する。

【0037】

さらに、操作者端末１２には、スピーカ３８が設けられ、ＣＰＵ１８が音声処理回路（図示せず）に音声信号を出力することによって、スピーカ３５からその音声信号に基づいて音声を出力することができる。

【0038】

ここで、図３を参照して、実施例で用いられるロボット１４を説明するが、アバタとして機能するためには、ロボット１４は、後述のすべての構成や機能を持っている必要はないことを予め指摘しておく。

【0039】

ロボット１４は台車１００を含み、台車１００の下面にはロボット１４を自律移動させる複数（たとえば３個または４個）の車輪１０２が設けられる。台車１００は、前後左右の任意方向（全方位）に移動可能な所謂全方位移動型の台車である。車輪１０２は車輪モータ１０４（図４参照）によってそれぞれ独立に駆動され、台車１００すなわちロボット１４を前後左右の任意方向に動かすことができる。車輪１０２としては、メカナムホイールまたはオムニホイール等を用いることができる。したがって、ロボット１４は、配置された環境内を自律制御によって移動可能である。

【0040】

台車１００の上には、胴体１０６が直立するように設けられる。また、胴体１０６の前方中央上部（人の胸に相当する位置）には、たとえば赤外線距離センサや超音波距離センサのような距離センサ１０８が設けられる。この距離センサ１０８は、ロボット１４の周囲の物体（人間や障害物など）との距離を測定するものであり、ロボット１４の前方の主として人間との距離を計測する。

【0041】

また、胴体１０６には、その側面側上端部のほぼ中央から伸びる支柱１１０が設けられ、支柱１１０の上には、全方位カメラ１１２が設けられる。全方位カメラ１１２は、ロボット１４の周囲を撮影するものであり、後述する眼カメラ１１４とは区別される。この全方位カメラ１１２としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら距離センサ１０８および全方位カメラ１１２の設置位置は、当該部位に限定されず適宜変更され得る。

【0042】

胴体１０６の両側面上端部（人の肩に相当する位置）には、それぞれ、肩関節１１６Ｒおよび肩関節１１６Ｌによって、上腕１１８Ｒおよび上腕１１８Ｌが設けられる。図示は省略するが、肩関節１１６Ｒおよび肩関節１１６Ｌは、それぞれ、直交する３軸の自由度を有する。一例として、肩関節１１６Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕１１８Ｒの角度を制御できる。肩関節１１６Ｒの或る軸（ヨー軸）は、上腕１１８Ｒの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節１１６Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕１１８Ｌの角度を制御できる。肩関節１１６Ｌの或る軸（ヨー軸）は、上腕１１８Ｌの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。

【0043】

また、上腕１１８Ｒおよび上腕１１８Ｌのそれぞれの先端には、肘関節１２０Ｒおよび肘関節１２０Ｌを介して、前腕１２２Ｒおよび前腕１２２Ｌが設けられる。図示は省略するが、肘関節１２０Ｒおよび肘関節１２０Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸回りにおいて前腕１２２Ｒおよび前腕１２２Ｌの角度を制御できる。

【0044】

前腕１２２Ｒおよび前腕１２２Ｌのそれぞれの先端には、人間の手に酷似した形状であり、指や掌の機能を持たせた右手１２４Ｒおよび左手１２４Ｌがそれぞれ設けられる。ただし、指や掌の機能が不要な場合には、前腕１２２Ｒおよび前腕１２２Ｌのそれぞれの先端に人の手に相当する球体を設けることも可能である。

【0045】

また、図示は省略するが、胴体１０６の前面、肩関節１１６Ｒと肩関節１１６Ｌとを含む肩に相当する部位、上腕１１８Ｒ、上腕１１８Ｌ、前腕１２２Ｒ、前腕１２２Ｌ、右手１２４Ｒおよび左手１２４Ｌには、それぞれ、接触センサ１２６（図２で包括的に示す）が設けられる。胴体１０６の前面の接触センサ１２６は、胴体１０６への人間や他の障害物の接触を検知する。したがって、ロボット１４は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪１０２の駆動を停止してロボット１４の移動を急停止させることができる。また、その他の接触センサ１２６は、当該各部位に触れたかどうかを検知する。なお、接触センサ１２６の設置位置は、当該部位に限定されず、適宜な位置（人の頭、胸、腹、脇、背中および腰に相当する位置）に設けられてもよい。

【0046】

胴体１０６の中央上部（人の首に相当する位置）には首関節１２８が設けられ、さらにその上には頭部１３０が設けられる。図示は省略するが、首関節１２８は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１４の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。

【0047】

頭部１３０には、人の口に相当する位置に、スピーカ１３２が設けられる。スピーカ１３２は、ロボット１４が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク１３４Ｒおよびマイク１３４Ｌが設けられる。以下、右のマイク１３４Ｒと左のマイク１３４Ｌとをまとめてマイク１３４ということがある。マイク１３４は、周囲の音、とりわけコミュニケーションを実行する対象（以下、「コミュニケーション対象」ということある）である人間の声を取り込む。さらに、人の目に相当する位置には、眼球部１３６Ｒおよび眼球部１３６Ｌが設けられる。眼球部１３６Ｒおよび眼球部１３６Ｌは、それぞれ眼カメラ１１４Ｒおよび眼カメラ１１４Ｌを含む。以下、右の眼球部１３６Ｒと左の眼球部１３６Ｌとをまとめて眼球部１３６ということがある。また、右の眼カメラ１１４Ｒと左の眼カメラ１１４Ｌとをまとめて眼カメラ１１４ということがある。

【0048】

眼カメラ１１４は、ロボット１４に接近した人間の顔または人間の他の部分或いは物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ１１４は、上述した全方位カメラ１１２と同様のカメラを用いることができる。たとえば、眼カメラ１１４は、眼球部１３６内に固定され、眼球部１３６は、眼球支持部（図示せず）を介して頭部１３０内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部１３０の上に向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部１３０の正面側（顔）が向く方向に直行する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部１３６ないし眼カメラ１１４の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ１３２、マイク１３４および眼カメラ１１４の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。

【0049】

このように、この実施例のロボット１４は、肩関節１１６の３自由度（左右で６自由度），肘関節１２０の１自由度（左右で２自由度），首関節１２８の３自由度および眼球支持部の２自由度（左右で４自由度）の合計１５自由度を有する。

【0050】

図４はロボット１４の電気的な構成を示すブロック図である。この図４を参照して、ロボット１４は、ＣＰＵ１３８を含む。ＣＰＵ１３８は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス１３９を介して、記憶部２０、モータ制御ボード１４２、センサ入力／出力ボード１４４および音声入力／出力ボード１４６に接続される。

【0051】

記憶部２０は、図示は省略をするが、ＲＯＭ、ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、ロボット１４の行動を制御（タスクを実行）するための制御プログラム（ロボット制御プログラム）が予め記憶される。たとえば、ロボット制御プログラムは、各センサの出力（センサ情報）を検知するための検知プログラムや、他のロボットおよび操作者の端末などの外部コンピュータとの間で必要なデータおよびコマンドを送受信するための通信プログラムなどを含む。また、ＲＡＭは、ＣＰＵ１３８のワークメモリおよびバッファメモリとして用いられる。

【0052】

さらに、この実施例では、ロボット１４は、人間とのコミュニケーションをとるために発話したり、ジェスチャしたりできるように構成されているが、記憶部２０に、このような発話およびジェスチャのための辞書（発話／ジェスチャ辞書）のデータが記憶されている。

【0053】

モータ制御ボード１４２は、たとえばＤＳＰで構成され、各腕や首関節などの各軸モータの駆動を制御する。すなわち、モータ制御ボード１４２は、ＣＰＵ１３８からの制御データを受け、肩関節１１６Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節１２０Ｒの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ１４８」と示す）の回転角度を制御する。同様にして、モータ制御ボード１４２は、ＣＰＵ１３８からの制御データを受け、肩関節１１６Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節１２０Ｌの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ１５０」と示す）の回転角度を制御する。

【0054】

さらに、モータ制御ボード１４２は、ＣＰＵ１３８からの制御データを受け、首関節１２８の直交する３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ１５２」と示す）の回転角度を制御する。そして、モータ制御ボード１４２は、ＣＰＵ１３８からの制御データを受け、車輪１０２を駆動する２つのモータ（図３では、まとめて「車輪モータ１０４」と示す）の回転角度を制御する。

【0055】

なお、この実施例では、車輪モータ１０４を除くモータは、制御を簡素化するためにステッピングモータ（すなわち、パルスモータ）を用いる。ただし、車輪モータ１０４と同様に直流モータを用いるようにしてもよい。また、ロボット１４の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更された、たとえば、他の実施例では、エアアクチュエータが適用されてもよい。

【0056】

センサ入力／出力ボード１４４は、モータ制御ボード１４２と同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ１３８に与える。すなわち、距離センサ１０８からの距離に関するデータ（たとえば反射時間のデータ）がこのセンサ入力／出力ボード１４４を通じてＣＰＵ１３８に入力される。また、全方位カメラ１１２からの映像信号が、必要に応じてセンサ入力／出力ボード１４４で所定の処理を施してからＣＰＵ１３８に入力される。眼カメラ１１４からの映像信号も、同様にして、ＣＰＵ１３８に入力される。また、上述した複数の接触センサ１２６（図３では、まとめて「接触センサ１２６」と示す）からの信号がセンサ
入力／出力ボード１４４を介してＣＰＵ１３８に与えられる。

【0057】

音声入力／出力ボード１４６もまた、同様に、ＤＳＰで構成され、ＣＰＵ１３８から与えられる音声合成データに従った音声または声がスピーカ１３２から出力される。また、マイク１３４からの音声入力が、音声入力／出力ボード１４６を介してＣＰＵ１３８に与えられる。

【0058】

また、ＣＰＵ１３８は、バス１３９を介して通信部１５４に接続される。通信部１５４は、ＣＰＵ１３８から与えられた送信データを外部コンピュータに送信し、また、外部コンピュータからデータを受信し、受信したデータ（受信データ）をＣＰＵ１３８に与える。

【0059】

また、ＣＰＵ１３８は、バス１３９を介して、２次元距離計測装置１５６および３次元距離計測装置１５８に接続される。図１では省略したが、２次元距離計測装置１５６および３次元距離計測装置１５８は、ロボット１４の台車１００、センサ取り付けパネル（図示せず）または胴体１０６の適宜の位置に取り付けられる。

【0060】

２次元距離計測装置１５６は、水平方向にレーザを照射し、物体（人間も含む）に反射して戻ってくるまでの時間から当該物体までの距離を計測するものである。また、３次元距離計測装置１５８は、水平方向を基準（０°）として上下４０°の検知角度（垂直視野角）を有する３次元全方位レーザ距離計である。

【0061】

サーバ１６は、汎用のコンピュータであり、図５に示すように、サーバ１６はＣＰＵ４０を含む。ＣＰＵ４０は、コンピュータないしはプロセッサなどとも呼ばれ、このＣＰＵ４０には、バス３９を介して、記憶部４２、通信部４４、入力制御回路４６、表示制御回路４８等が接続される。

【0062】

ＣＰＵ４０は、サーバ１６の全体的な制御を司る。記憶部４２は、ＣＰＵ４０の主記憶部として機能し、ワーク領域およびバッファ領域として用いられるＲＡＭや、ＣＰＵ４０がサーバ１６の各コンポーネントの動作を制御するための制御プログラムおよび各種データなどを記憶する補助記憶装置、たとえばＳＳＤまたはＨＤＤなどのメモリを含む。

【0063】

この記憶部４２にはまた、アバタとして動作するロボット１４や他のアバタを制御するために必要な情報を格納している。前述したように操作者１３がアバタを選択したとき、ＣＰＵ４０は、その選択されたアバタを制御するための情報を操作者端末１２へ送ることになる。

【0064】

したがって、操作者は、操作者端末１２を用いてロボット１４にコマンドを送信することにより、遠隔でロボット１４を操作することもできる。

【0065】

通信部４４は、ネットワーク１１に接続するための通信回路であり、ＣＰＵ４０からの指示に従って、ネットワーク１１を介して、操作者端末１２や他の外部コンピュータ（外部端末）と通信する。

【0066】

入力制御回路４６には入力装置５０が接続され、表示制御回路４８にはディスプレイ５２が接続される入力制御回路４６は、入力装置５０の操作に応じた操作信号ないし操作データをＣＰＵ４０に出力する。表示制御回路４８は、ＣＰＵ４０の指示の下、記憶部４２に記憶された映像生成データを用いて表示映像データを生成し、生成した表示映像データをディスプレイ５２に出力する。

【0067】

なお、図１実施例のアバタ装置１０では、アバタの遠隔操作中に操作者端末１２の操作者１３が咳やくしゃみをしたときにユーザに対面しているアバタに咳エチケットの動作を行わせる。ただし、「咳エチケット」とは、咳やくしゃみの飛沫により感染する感染症を他人に感染させないためのマナーであって、咳やくしゃみの際には、周りの人から顔を背ける、手や肘を使って口や鼻を押さえる、などの動作を言う。

【0068】

図１実施例のアバタ装置１０のアバタとしては、上で例示したロボット１４以外の別のアバタに対応することもある。たとえば、アバタ装置１０は複数の種類のアバタに対応可能に設計されていて、そのときの利用環境、空港、駅、地下街、ショッピングモール、イベント会場、遊園地および美術館などの不特定多数の人間が存在する環境または日常空間（まとめて「環境」）に配置される。そして、そのような個々の環境に配置されたアバタに対応できるように、アバタのタイプ（種類）を選択できるようにしている。それぞれのアバタは、必ずしも同じ自由度を持っているわけではなく、自由度の数も違うし、自由度を設定されている部位（箇所）も違う。

【0069】

ここで、表１に従って、アバタの種類とそれらのアバタによって実現できる咳エチケットの動作を説明する。

【0070】

【表1】

【0071】

アバタタイプ１に属するアバタは、人と同じような身体を持つ人型バーチャルエージェントないしロボットである。たとえばRobovie（ロボビー：商品名）やGeminoid（ジェミノイド：商品名）など。

【0072】

アバタタイプ２に属するアバタは、顔と手だけの簡易な人型バーチャルエージェントである。

【0073】

アバタタイプ３に属するアバタは、手や足を持たないバーチャルエージェントである。たとえば、しば犬（商品名）など。

【0074】

アバタタイプ４に属するアバタは、自律移動可能なディスプレイだけを持つロボットである。テレプレゼンス（または、テレイグジステンス）ロボットと呼ばれる。たとえばDouble 3（商品名：Double Robotics, Inc.（ダブルロボティクス社））など。

【0075】

アバタタイプ５に属するアバタは、据え置き型で上半身だけ人と同じような身体を持つロボットである。たとえばSota（ソータ：商品名）やCommU（コミュー：商品名）など。

【0076】

アバタタイプ６に属するアバタは、スマートスピーカ（対話型の音声操作に対応したＡＩアシスタント機能を持つスピーカ）である。たとえばAlexa（アレクサ：商品名）など。

【0077】

このような各種のアバタ１－６がどのような咳エチケットの動作を実行できるか、ここで簡単に説明する。

【0078】

（Ａ）顔を背ける動作
この動作は、人のいない方向であってかつ若干下を向く動作である。ただし、どの方向にも人がいる場合は正面下を向くだけの動作とする。

【0079】

この動作を実行させることができるアバタは、タイプ１、２、３および５に属するアバタであって、タイプ４および６に属するアバタでは、現状では対応できない。

【0080】

（Ｂ）上半身または胴体を向ける動作（移動での制御も含む）
この動作は、人のいない方向に体（上半身）を向ける動作である。ただし、どの方向にも人がいる場合は正面のまま少し後退し、あるいは移動して体の方向を変えてもよい。

【0081】

この動作を実行させることができるアバタは、タイプ１、２、３および５に属するアバタである。タイプ４に属するアバタでは体の方向は変えられないので、台車を使って、人のいない方にディスプレイを向ける。ただし、どの方向にも人がいる場合は正面のまま、少し後退する。タイプ６に属するアバタでは、現状では対応できない。

【0082】

（Ｃ）音の出る部分を押える動作
この動作は、手または肘を使って口を隠す動作である。手がある場合、ハンカチなどを持ってもよい。

【0083】

この動作を実行させることができるアバタは、タイプ１、２および４に属するアバタである。タイプ３、５および６に属するアバタでは現状では対応できない。

【0084】

このように、図１実施例のアバタ装置１０では、３つの咳エチケットの動作（Ａ）
（Ｂ）および（Ｃ）が想定されているが、タイプ６に属するアバタとしてスマートスピーカを一例として挙げたが、これでは、咳エチケットの動作をすることができないことが分かった。

【0085】

図６は図２に示した操作者端末１２の記憶部２０（ＲＡＭ）のメモリマップを示す図解図である。図６に示すように、記憶部２０は、プログラム記憶領域６０およびデータ記憶領域６２を含む。プログラム記憶領域６０には、基本的なプログラムたとえばＯＳ（Operating System）が記憶されるほか、アバタ選択プログラム６４ａ、アバタ情報取得プログラム６４ｂ、アバタ制御プログラム６４ｃ、咳くしゃみ検出プログラム６４ｄおよび通信プログラム６４ｅ等が記憶されている。

【0086】

アバタ選択プログラム６４ａは、前述したアバタタイプ１－５のいずれかを操作者１３に選択させるためのプログラムである。たとえば、操作者端末１２のディスプレイ３０にアバタタイプ１－５に対応するアイコン（図示せず）を含むＧＵＩ（グラフィカルユーザインタフェース）を表示し、操作者１３がどれかのアイコンを選択することによって、アバタタイプ１－５のずれかを選択させる。

【0087】

アバタ情報取得プログラム６４ｂは、上記ＧＵＩでアバタタイプを選択したとき、サーバ１６から、選択したアバタの制御のためのアバタ情報を取得する。そのアバタ情報に基づいて、操作者端末１２が、アバタ制御プログラム６４ｃに従って、咳エチケット動作を含めてアバタの動作を制御する。

【0088】

咳くしゃみ検出プログラム６４ｄは、操作者１３が咳および／またはくしゃみをしたことを検出するためのプログラムである。咳やくしゃみを検出する１つの方法は、マイク３２（図２）から収集した操作者１３の音声情報を用いる。たとえば、その音声の周波数や音量（音量変化を含む）を検出し、それらを予め学習させておいた咳やくしゃみのパターンに類似しているかどうかで、操作者１３が咳および／またはくしゃみをしたことを検出する。

【0089】

音声から咳を検出する方法としては、先に挙げた特許文献１に開示された方法が用いられてもよい。

【0090】

他の方法としては、カメラ３４からの操作者１３の映像情報を用いる。たとえば、その映像データが示す操作者１３の動作が、予め学習させておいた咳やくしゃみをするときの動作パターンに類似しているかどうかで、操作者１３が咳および／またはくしゃみをしたことを検出する。

【0091】

操作者１３の動作パターンが咳やくしゃみを示すかどうかを判断するためには、モーションキャプチャ３６（図２）が示すモーションデータをも利用するようにしてもよい。たとえば、そのモーションデータが示す操作者１３の動作が、予め学習させておいた咳やくしゃみをするときの動作パターンに類似しているかどうかで、操作者１３が咳および／またはくしゃみをしたことを検出することができる。

【0092】

なお、カメラ３４からの映像またはモーションキャプチャ３６からのモーションデータを用いる場合には、操作者１３の咳および／またはくしゃみの予兆を検出することができるので、咳および／またはくしゃみを予測するようにしてもよい。

【0093】

通信プログラム６４ｅは、ロボット１４およびサーバ１６、さらには他の外部コンピュータと通信するためのプログラムである。

【0094】

データ記憶領域６２は、アバタ情報取得プログラム６４ｂに従ってサーバ１６から取得したアバタ情報のデータ（アバタ情報データ）を記憶する領域６６ａを含む。

【0095】

図示は省略するが、データ記憶領域６２には、他のデータが記憶されたり、アバタ制御に必要なフラグおよび／またはタイマ（カウンタ）が設けられたりする。

【0096】

図７は図５に示したサーバ１６の記憶部４２（ＲＡＭ）のメモリマップを示す図解図である。図７に示すように、記憶部４２は、プログラム記憶領域６８およびデータ記憶領域７０を含む。プログラム記憶領域６０は、基本的なプログラムたとえばＯＳを記憶するほか、通信プログラム７２ａおよびアバタ情報送信プログラム７２ｂ等を記憶している。

【0097】

通信プログラム７２ａは、操作者端末１２およびロボット１４、さらには他の外部コンピュータと通信するためのプログラムである。

【0098】

アバタ情報送信プログラム７２ｂは、操作者端末１２からのアバタ選択結果を受けて、そのアバタのための制御情報（アバタ情報）を送信するためのプログラムである。

【0099】

データ記憶領域７０は、操作者端末１２へ送信するためのそれぞれのアバタに固有の制御情報のデータ（アバタ情報データ）を記憶する領域７４ａを含む。

【0100】

図８は、図２に示した操作者端末１２のＣＰＵ１８のアバタ制御処理を示すフロー図である。この実施例は、操作者端末１２によって操作者１３が選択したアバタが図３および図４に示すロボット１４である場合について以下説明する。

【0101】

最初のステップＳ１で、操作者端末１２のＣＰＵ１８は、上述したアバタ選択プログラム６４ａに従ってディスプレイ３０にアバタ選択画面（ＧＵＩ）を表示して、操作者１３にアバタを選択させる。この実施例では、選択されるアバタは、ロボット１４である。

【0102】

ステップＳ１での選択に応じて、ＣＰＵ１８は、ステップＳ３において、通信プログラム６４ｅおよびアバタ情報取得プログラム６４ｂに従って、そのアバタ、実施例ではロボット１４の制御データを含むアバタ情報の送信要求を、ネットワーク１１を通してサーバ１６に送る。その送信要求に応じて、サーバ１６は、通信プログラム７２ａおよびアバタ情報送信プログラム７２ｂに従って、データ記憶領域７０の領域７４ａ（図７）に予め設定されているロボット１４のアバタ情報データを操作者端末１２に送信する。このアバタ情報データは操作者端末１２のデータ記憶領域６２の領域６６ａに記憶される。

【0103】

操作者端末１２のＣＰＵ１８は、そのアバタ情報データを用いて、アバタとしてのロボット１４の遠隔操作を開始する。

【0104】

その遠隔操作中に、ＣＰＵ１８は、ステップＳ７において、操作者１３が咳および／またはくしゃみをしたかどうか判断する。この判断は、先に説明した咳くしゃみ検出プログラム６４ｄに従って、マイク３２からの音声、カメラ３４からの映像および／またはモーションキャプチャ３６からのモーションデータに基づいて、実行する。

【0105】

なお、咳くしゃみ検出プログラム６４ｄに従って、このステップＳ７を実行するＣＰＵ１８は、咳くしゃみ検出手段ということができる。

【0106】

このステップＳ７データ“ＮＯ”を判断したときには、ＣＰＵ１８は、ステップＳ１１の遠隔操作を終了するかどうかの判断で“ＹＥＳ”を判断するまで、そのままロボット１４の遠隔操作を継続する。遠隔操作を終了するかどうかの判断は、ロボット１４のアバタとしての活動を終了するかどうかに基づいて、判断する。

【0107】

ステップＳ７で“ＹＥＳ”を判断したとき、つまり、ロボット１４の遠隔操作中に咳やくしゃみを検出したとき、ステップＳ１３で、ステップＳ１で選択したアバタに応じた咳エチケットの動作をアバタに実行させる（図９）。

【0108】

図９のステップＳ２１では、ＣＰＵ１８は、データ記憶領域６２（図６）の領域６６ａに記憶しているアバタ情報データに基づいて、アバタは顔を動かす自由度を持っているかどうか判断する。

【0109】

ステップＳ２１で“ＹＥＳ”が判断されるということは、そのときのアバタがアバタタイプ１、２、３または５に属するアバタであることを意味する。実施例のロボット１４は先に説明したように、タイプ１に属するアバタであるので、ステップＳ２３で、先に説明した動作（Ａ）を実行させる。具体的には、ＣＰＵ１８は、データ記憶領域６２（図６）の領域６６ａに記憶しているアバタ情報データに基づいて、アバタ制御プログラム６４ｃに従って、たとえば頭部モータ１５２（図４）を制御して、頭部１３０（図３）を、人に対面している状態から、人に対面する方向ではない方向（非対面方向）へ回転させる。そのとき、頭部１３０が若干下を向くように、頭部モータ１５２を制御するようにしてもよい。動作である。ただし、ロボット１４の周りのどの方向にも人がいる場合は、頭部１３０が正面下を向くだけの動作とする。

【0110】

アバタ制御プログラム６４ｃに従って、このステップＳ２３を実行するＣＰＵ１８は、顔背け手段ということができる。

【0111】

ステップＳ２１で“ＮＯ”を判断したとき、ＣＰＵ１８は、続くステップＳ２５で、データ記憶領域６２（図６）の領域６６ａに記憶しているアバタ情報データに基づいて、アバタは上半身または胴体を動かす自由度、または移動する自由度があるかどうかを判断する。

【0112】

ステップＳ２５で“ＹＥＳ”が判断されるということは、そのときのアバタは、タイプ１、２、３および５に属するアバタであることを意味する。ただし、タイプ４に属するアバタでも、体の方向は変えられけれども、台車を使って、人のいない方にディスプレイを向けることかできるので、そのときのアバタがタイプ４に属するアバタであても、ここでは“ＹＥＳ”と判断されてもよい。

【0113】

実施例のアバタであるロボット１４は、このステップＳ２５でも“ＹＥＳ”と判断される可能性があるが、ロボット１４の場合には既に先のステップＳ２１で“ＹＥＳ”が判断され、ステップＳ２３で動作（Ａ）を実行しているので、このステップＳ２５の判断の対象ではない。

【0114】

ステップＳ２１で“ＮＯ”となる、ステップＳ２５で“ＹＥＳ”となるアバタの場合ステップＳ２７では、ＣＰＵ１８は、先に説明した動作（Ｂ）を実行するように、アバタを制御する。具体的には、アバタの体（上半身）が、人のいない方向に体（上半身）を向くように、アバタを制御する。ただし、アバタの周囲のどの方向にも人がいる場合は、アバタを、正面のまま少し後退させ、あるいは移動させて体の方向を変えさせる。

【0115】

ステップＳ２７での対象外であるが、ロボット１４の場合、このステップＳ２７では、ＣＰＵ１８は、胴体１０６が台車１００上で回転することはできないので、データ記憶領域６２（図６）の領域６６ａに記憶しているアバタ情報データに基づいて、車輪モータ１０４を制御して車輪１０２を回転させることによって、台車１００を回転させて、胴体１０６の向きを変えさせる。その結果、ロボット１４の体を、人のいない方向に向かせることができる。ただし、ロボット１４の周囲のどの方向にも人がいる場合は、車輪モータ１０４を制御して車輪１０２によって、台車１００を後退させればよい。

【0116】

なお、ロボット１４の場合ステップＳ２７の対象外としたが、ロボット１４の場合であってもステップＳ２７を実行させるようにしてもよい。

【0117】

また、アバタ制御プログラム６４ｃに従って、このステップＳ２７を実行するＣＰＵ１８は、胴体制御手段ということができる。

【0118】

ステップＳ２３を経た後、あるいはステップＳ２７を経た後、さらにはステップＳ２５で“ＮＯ”を判断したとき、ＣＰＵ１８は、データ記憶領域６２（図６）の領域６６ａに記憶しているアバタ情報データに基づいて、次のステップＳ２９で、アバタには発声（音声）を抑制する（停止を含む）自由度が備えられているかどうか判断する。

【0119】

このステップＳ２９で“ＹＥＳ”と判断されるアバタタイプは１、２および４であり、実施例のロボット１４も当該機能を備えているので、ステップＳ２９では“ＹＥＳ”が判断され、続くステップＳ３１において、ＣＰＵ１８は、先に説明した動作（Ｃ）を実行するように、ロボット１４を制御する。

【0120】

具体的には、ＣＰＵ１８は、データ記憶領域６２（図６）の領域６６ａに記憶しているアバタ情報データに基づいて、右手１２４Ｒまたは左手１２４Ｌ（図３）がスピーカ１３２に対応する口の位置にもたらされるように、右腕モータ１４８または左腕モータ１５０を制御する。

【0121】

ただし、手１２４Ｒまたは１２４Ｌを口の位置にもたらす以外に、同じようにデータ記憶領域６２（図６）の領域６６ａに記憶しているアバタ情報データに基づいて右腕モータ１４８または左腕モータ１５０を制御して、右手１２４Ｒまたは左手１２４Ｌの肘（上腕と前腕の間の肘関節１２０Ｒまたは１２０Ｌの部分）が口の位置にもたらされるようにしてもよい。

【0122】

また、アバタ制御プログラム６４ｃに従って、このステップＳ３１を実行するＣＰＵ１８は、口押え手段ということができる。

【0123】

上で説明した実施例では、マイク３２の音声に基づいて操作者１３の咳やくしゃみを検出したとき、その咳やくしゃみに応じて咳エチケット動作をさせることによって、遠隔操作されるアバタが、操作者の咳やくしゃみに対して適切な動作を自動的に行うことで、ユーザ（人）に与える不快感を軽減させることができる
ただし、カメラ３４からの映像データやモーションキャプチャ３６からのモーションデータに基づいて、操作者１３の咳やくしゃみの予兆を検出して咳やくしゃみが予測できる場合には、その予測に応じて、アバタの音声出力部分を制御して、アバタから咳やくしゃみの音声そのものが出力されるのを防止することができる（動作（Ｄ））。

【0124】

実施例のロボット１４においては、音声入力／出力ボード１４６のスピーカ１３２への音声回路を遮断することができる。

【0125】

上述の実施例における動作（Ａ）では、ロボット１４（アバタ）の顔を対面する人の顔から背けるようにするが、顔認識機能などを用いて相手の顔と自分の顔の位置関係が既知の場合に、相手の顔が正面にならないようにすることが考えられる。

【0126】

同様に、動作（Ｂ）においても、顔認識機能などを用いて相手の顔と自分の顔の位置関係が既知の場合に、相手の顔の正面にならないように、上半身または胴体を回転させることができる。

【符号の説明】

【0127】

１０ …アバタシステム
１２ …操作者端末（アバタ制御装置）
１３ …操作者
１４ …ロボット（アバタ）
１６ …サーバ
３２ …マイク
３４ …カメラ
３６ …モーションキャプチャ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】