特許 6647711 ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6647711

(24)【登録日】2020年1月17日

(45)【発行日】2020年2月14日

(54)【発明の名称】ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム

(51)【国際特許分類】

   A63H 11/00 20060101AFI20200203BHJP

   A63H 3/00 20060101ALI20200203BHJP

   A63H 3/36 20060101ALI20200203BHJP

   A63H 5/00 20060101ALI20200203BHJP

   A63H 33/22 20060101ALI20200203BHJP

   B25J 5/00 20060101ALI20200203BHJP

   B25J 13/00 20060101ALI20200203BHJP

【ＦＩ】

   A63H11/00 Z

   A63H3/00 M

   A63H3/36 G

   A63H5/00 C

   A63H33/22 A

   B25J5/00 E

   B25J13/00 Z

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2016-53021(P2016-53021)

(22)【出願日】2016年3月16日

(65)【公開番号】特開2017-164319(P2017-164319A)

(43)【公開日】2017年9月21日

【審査請求日】2019年2月21日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度 国立研究開発法人科学技術振興機構 研究成果展開事業 大学発新産業創出プログラム 産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】長井 隆行

(72)【発明者】

【氏名】阿部 香澄

(72)【発明者】

【氏名】裴 雅超

(72)【発明者】

【氏名】張 亭芸

(72)【発明者】

【氏名】日永田 智絵

【審査官】 宇佐田 健二

(56)【参考文献】

【文献】 特開２０１５−０９３３５３（ＪＰ，Ａ）

【文献】 特開２００４−２６１９４１（ＪＰ，Ａ）

【文献】 特開２０１１−０９７５３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／００５５６７７（ＵＳ，Ａ１）

【文献】 特開２００４−１７３９２８（ＪＰ，Ａ）

【文献】 特開平０２−１２１６８７（ＪＰ，Ａ）

【文献】 特開平０４−０９９５０４（ＪＰ，Ａ）

【文献】 特開平１１−１１４２２１（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１５９５６１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｈ １／００−３７／００

Ｂ２５Ｊ ５／００，９／００，１３／００

Ｇ０６Ｆ １３／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構と、
前記ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供するビデオチャット部と、
前記ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する制御部と
を備えたことを特徴とするビデオチャットロボットシステム。

【請求項2】

前記ロボットにおいて物品の載置が検出された場合に前記端末装置に対して通知を行い、前記端末装置において物品を示す映像を合成し、
前記端末装置において返却指示が行われた場合に前記ロボットに通知を行い、前記端末装置において物品を示す映像を消去する
ことを特徴とする請求項１に記載のビデオチャットロボットシステム。

【請求項3】

ビデオチャットを仲介するサーバを備え、
前記ロボットにおいて物品の載置が検出された場合に前記サーバに対して通知を行い、前記サーバにおいて物品を示す映像を合成し、
前記端末装置において返却指示が行われた場合に前記サーバを介して前記ロボットに通知を行い、前記サーバにおいて物品を示す映像を消去する
ことを特徴とする請求項１に記載のビデオチャットロボットシステム。

【請求項4】

前記端末装置において合成して表示された物品の画像に対して移動指示が行われた場合、物品の画像の合成位置を変更する
ことを特徴とする請求項１乃至３のいずれか一項に記載のビデオチャットロボットシステム。

【請求項5】

ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供し、
前記ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構に対し、該ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する、
処理をコンピュータが実行することを特徴とする手渡し遊び制御方法。

【請求項6】

ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供し、
前記ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構に対し、該ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する、
処理をコンピュータに実行させることを特徴とする手渡し遊び制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラムに関する。

【背景技術】

【0002】

子育てをしている家庭においては、例えば家事の間だけでも誰かに子供の相手をしてもらえたら助かるという状況が多々ある。一方で、祖父母（子供から見て）は子供とのコミュニケーションを欲している場合が多いが、遠方に住んでいる場合には頻繁にやってくるわけにもいかないというのが現実である。そこで、昨今のＩＴ（情報通信技術）を活用した解決が望まれる。

【0003】

特許文献１には、気軽にベビーシッターを利用できることをひとつの目標として、遠く離れたところにいても対面型のコミュニケーションをとることができる見守りシステムが開示されている。しかし、ベビーシッターと子供の間のビデオチャットや、クイズやゲームのコンテンツにより子供の相手をするものであるため、ある程度、年齢の高い子供にしか使えない面があり、乳幼児に適用するのは困難であると考えられる。

【0004】

乳幼児はビデオチャット機器の前にじっとしていられず、呼びかけてもビデオチャット機器の近くに来てくれるとは限らない。見守りシステム以外でも、ビデオチャットを利用したものでは同様の問題が発生し、３０分も子供を引きつけていられないと予想される。

【0005】

乳幼児がビデオチャット機器の前に長く滞在できない問題の解決には、テレプレゼンスロボットが有効であると考えられる。テレプレゼンスロボットは、簡潔に言えば移動できるビデオチャット機器であり、操作者が遠く離れた場所から操作し、まるでその場にいるかのように動き回ることができ、相手に近づいて会話を行うことができる（非特許文献１−８）。

【0006】

しかし、既存のテレプレゼンスロボットは、いずれも乳幼児と遊ぶことを想定していない。非特許文献１−５に示されるロボットは背が高すぎ、乳幼児と同じ目線で遊ぶことができない。また、乳幼児と長く遊ぶためには、身体を使う遊びや、絵本の読み聞かせなど、乳幼児の楽しめる遊びができなければならないが、スマートフォンサイズのロボット（非特許文献６、７）では、乳幼児に合った多様な遊びを行うことができない。非特許文献８に示される機器は、高さの点では乳幼児との遊びに適しているが、移動することができない。

【0007】

また、発明者らの既存研究として、遠くの場所から乳幼児とコミュニケーションするためのテレプレゼンスロボットがある（非特許文献９）。しかし、子供が相手と対面しているかのような感覚を得ながら遊ぶには不十分であり、子供の興味を引き付けて長くビデオチャットを続けることは難しいと考えられる。

【0008】

一方、特許文献２にはビデオチャット機能を備えた人形型のデバイスが開示されており、乳幼児を対象としたものであるが、親からの介入や監督を必要とせずに本人の意志で遊ぶことを志向したものであり、方向性が異なる。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００６−２３５９７８号公報

【特許文献2】特表２０１４−５１５５７１号公報

【非特許文献】

【0010】

【非特許文献1】Double、Double Robotics社、http://www.doublerobotics.com/

【非特許文献2】Beam、Suitable Technologies社、https://www.suitabletech.com/

【非特許文献3】Anybots QB、BizzwithBuzz社、https://www.anybots.com/

【非特許文献4】Telemba、https://www.kickstarter.com/projects/frtp/telemba

【非特許文献5】Avatar Robot for Party（パーティー専用遠隔操作ロボット）、smilerobotics社、http://smilerobotics.com/wordpress/

【非特許文献6】Botiful、https://www.kickstarter.com/projects/1452620607/botiful-telepresence-robot-for-android

【非特許文献7】Romo、ロモティブ社、http://www.romotive.com/

【非特許文献8】JIBO、Jibo.com社、http://www.myjibo.com/

【非特許文献9】K. Abe, et al., "Telepresence Childcare Robot for Playing with Children from a Remote Location," ICAM 2015, 1P1-11, Tokyo, 2015

【発明の概要】

【発明が解決しようとする課題】

【0011】

上述したように、従来、遠隔地から効果的に乳幼児の相手を行う仕組が存在せず、有効な手法が要望されていた。

【0012】

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することにある。

【課題を解決するための手段】

【0013】

上記の課題を解決するため、本発明にあっては、ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構と、前記ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供するビデオチャット部と、前記ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する制御部とを備える。

【発明の効果】

【0014】

本発明にあっては、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態にかかるシステムの構成例を示す図である。

【図2】ビデオチャットロボットの外観構成例を示す図である。

【図3】ハンドの構成例を示す図（その１）である。

【図4】ハンドの構成例を示す図（その２）である。

【図5】ハンドの構成例を示す図（その３）である。

【図6】ハンドの構成例を示す図（その４）である。

【図7】ハンドの構成例を示す図（その５）である。

【図8】ビデオチャットロボットの情報処理にかかるハードウェア構成例を示す図である。

【図9】実施形態の処理例を示すシーケンス図（その１）である。

【図10】手渡し遊びの操作例を示す図（その１）である。

【図11】手渡し遊びの操作例を示す図（その２）である。

【図12】手渡し遊びの操作例を示す図（その３）である。

【図13】手渡し遊びの操作例を示す図（その４）である。

【図14】実施形態の処理例を示すシーケンス図（その２）である。

【発明を実施するための形態】

【0016】

以下、本発明の好適な実施形態につき説明する。

【0017】

＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、主に乳幼児が使用するビデオチャットロボット１と、主に祖父母等の通信相手が使用する端末装置２とが、インターネット等のネットワーク３を介して接続可能になっている。また、必要に応じて、ネットワーク３にはサーバ４が接続可能になっている。

【0018】

ビデオチャットロボット１は、ビデオチャット部１１とハンド制御部１２と映像制御部１３とを備えている。ビデオチャット部１１は、ビデオチャットロボット１側でのビデオチャットについての処理を実行する機能を有している。ハンド制御部１２は、ビデオチャットロボット１に備えられたハンド（後述）を制御する機能を有している。映像制御部１３は、ハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。なお、ハンドの制御に連動したビデオチャット上の映像の制御を端末装置２側またはサーバ４側で行う場合には、映像制御部１３は不要となる。

【0019】

端末装置２は、ビデオチャット部２１と映像制御部２２とを備えている。ビデオチャット部２１は、端末装置２側でのビデオチャットについての処理を実行する機能を有している。映像制御部２２は、ビデオチャットロボット１のハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。なお、ビデオチャットロボット１のハンドの制御に連動したビデオチャット上の映像の制御をビデオチャットロボット１側またはサーバ４側で行う場合には、映像制御部２２は不要となる。ビデオチャットロボット１の映像制御部１３と端末装置２の映像制御部２２とで、連携してビデオチャット上の映像の制御を行ってもよい。

【0020】

サーバ４は、ビデオチャット制御部４１と映像制御部４２とログ取得部４３とを備えている。ビデオチャット制御部４１は、ビデオチャットロボット１と端末装置２の間のビデオチャットを制御する機能を有している。映像制御部４２は、ビデオチャットロボット１のハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。ログ取得部４３は、ビデオチャットロボット１と端末装置２の動作ログを取得する機能を有している。

【0021】

図２はビデオチャットロボット１の外観構成例を示す図である。図２において、ビデオチャットロボット１は、頭部筐体１０１と胴部筐体１０６とを備えている。頭部筐体１０１には、前面に画面部１０２が設けられるとともに、画面部１０２の上部にはカメラ１０３が設けられ、画面部１０２の両側にはスピーカ１０４が設けられ、下部にはマイク１０５が設けられている。胴部筐体１０６には、手を模し、物品が載置可能な状態と、物品が取り込まれて隠された状態とを有するハンド１０７が設けられている。また、ビデオチャットロボット１には、利用者（子供）に追従して利用者の正面を向くための自走機構や回転機構を設けることができる。利用者の認識は、カメラ１０３やその他のセンサによる顔認識や色認識等で行うことができる。

【0022】

図３はハンド１０７の構成例を示す図であり、図２のビデオチャットロボット１を右側方から見た図である。図３（ａ）において、ハンド１０７は、上方に向かって湾曲した受皿部１０７−１が支点１０７−２で揺動自在に保持されており、駆動部１０７−３により、受皿部１０７−１が上方向に振り上がるようになっている。図３（ｂ）は受皿部１０７−１が上がりきった状態を示している。これにより、図３（ａ）の状態で受皿部１０７−１に載置された物品ＯＢＪが、図３（ｂ）の状態では隠されて見えない状態になる。

【0023】

図４はハンド１０７の他の構成例を示す図である。図４（ａ）において、ハンド１０７は、円弧状の断面を有し、上方に向かって湾曲した受皿部１０７−４が、駆動部１０７−５によって円弧の中心を維持しながら回転して、せり出し可能となっている。図４（ｂ）はせり出しきった状態を示している。これにより、図４（ａ）の状態で受皿部１０７−４に載置された物品ＯＢＪが、図４（ｂ）の状態では隠されて見えない状態になる。

【0024】

図５はハンド１０７の他の構成例を示す図である。図５（ａ）において、ハンド１０７は、断面が略Ｌ字形の受け部１０７−６が駆動部１０７−８により、胴部筐体１０６に設けられた空洞部１０７−７に向かって後退可能になっている。図５（ｂ）は後退しきった状態を示している。これにより、図５（ａ）の状態で受け部１０７−６に載置された物品ＯＢＪが、図５（ｂ）の状態では隠されて見えない状態になる。

【0025】

図６はハンド１０７の他の構成例を示す図である。図６（ａ）において、ハンド１０７は、断面が略Ｌ字形で、固定されたハンド受部１０７−９に対し、断面が略逆Ｌ字状のハンド押さえ部１０７−１０が駆動部１０７−１１により下方に移動し、ハンド受部１０７−９と噛み合うようになっている。図６（ｂ）はかみあった状態を示している。これにより、図６（ａ）の状態でハンド受部１０７−９に載置された物品ＯＢＪが、図６（ｂ）の状態では隠されて見えない状態になる。

【0026】

図７はハンド１０７の他の構成例を示す図であり、ビデオチャットロボット１を正面から見た図である。図７（ａ）において、ハンド１０７は、胴部筐体１０６の両端付近にヒンジ止めされた、いわゆる観音開きの右側ハンド１０７−１２と左側ハンド１０７−１３とを備え、胴部筐体１０６の中央に空洞部１０７−１４を備えている。そして、右側ハンド１０７−１２と左側ハンド１０７−１３が開いた状態から、内部の駆動部により右側ハンド１０７−１２と左側ハンド１０７−１３が内側に閉じられるようになっている。図７（ｂ）は右側ハンド１０７−１２と左側ハンド１０７−１３が閉じられた状態を示している。これにより、図７（ａ）の状態で空洞部１０７−１４に載置された物品ＯＢＪが、図７（ｂ）の状態では隠されて見えない状態になる。

【0027】

図８はビデオチャットロボット１の情報処理にかかるハードウェア構成例を示す図である。図８において、ビデオチャットロボット１は、バス１０００を介して相互に接続されたＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）１００４、接続Ｉ／Ｆ（Interface）１００５、通信Ｉ／Ｆ１００６を備えている。

【0028】

ＣＰＵ１００１は、ＲＡＭ１００３をワークエリアとしてＲＯＭ１００２またはＨＤＤ／ＳＳＤ１００４等に格納されたプログラムを実行することで、ビデオチャットロボット１の動作を統括的に制御する。接続Ｉ／Ｆ１００５は、カメラ１００７、マイク１００８、スピーカ１００９、センサ１０１０、モータ１０１１とのインタフェースである。通信Ｉ／Ｆ１００６は、ネットワークを介して他の情報処理装置（端末装置２、サーバ４等）と通信を行うためのインタフェースである。図１で説明したビデオチャットロボット１の機能は、ＣＰＵ１００１において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

【0029】

センサ１０１０はビデオチャットロボット１に物品が載置されたか否かを検出するためのものであり、
・触覚センサを用いる場合
・加重センサを用いる場合
・カメラを用いる場合
・ＲＦＩＤタグリーダを用いる場合
・ＶＲマーカリーダを用いる場合
・操作者の操作による場合
といった、いくつかのヴァリエーションがある。なお、センサ１０１０は、物品がハンド１０７に載置されたことの検出と、載置された物品の特定（合成する物品の画像の特定）とを行うためのものであり、上述のヴァリエーションを複数組み合わせることもできる。

【0030】

触覚センサを用いる場合、触覚センサは物品が載置される部分に配置され、物品の載置による接触で、物品の載置を検出する。加重センサを用いる場合、加重センサは物品が載置される部分に配置され、物品の載置による加重変化で、物品の載置を検出する。加重センサとしては、歪ゲージを用いることもできるし、モータ（ハンド駆動用モータ）の負荷変化を利用することもできる。カメラを用いる場合、カメラは物品が載置される部分を撮影可能な位置に配置される。ビデオチャットに用いるカメラと兼用することもできる。カメラを用いる場合、物品が載置されていない状態の背景画像と、撮影画像との差分をとることで、物品の載置を検出することができる。また、検出した物品の画像をそのまま合成に用いる場合には、更に物品を特定することは不要となる。

【0031】

ＲＦＩＤタグリーダを用いる場合、ＲＦＩＤタグリーダは物品が載置される部分に設けられ、物品に予め貼り付けられたＲＦＩＤタグを近接検出することで、物品の載置の検出と物品の特定を行うことができる。ＶＲマーカリーダを用いる場合、物品に予め貼り付けられたＶＲマーカを検出することで、物品の載置の検出と物品の特定を行うことができる。ＶＲマーカリーダは、物品が載置される位置を撮影するカメラと、カメラ画像からＶＲマーカを検出する処理部とにより構成することができる。操作者の操作による場合、所定のボタン等に操作が行われたことで、物品の載置を検出することができる。この場合、物品の種類毎にボタン等を設けることも考えられるが、ボタンを１つとする場合、物品の特定は他の手法を併用することが望ましい。

【0032】

なお、検出の安定性を増すために、物品の載置に対応する所定の閾値以上の反応が所定の時間以上継続した場合に物品の載置を検出したとすることが望ましい。

【0033】

端末装置２とサーバ４のハードウェア構成も図８に示したものと同様であるが、端末装置２にはセンサ１０１０、モータ１０１１等は不要であり、サーバ４にはカメラ１００７、マイク１００８、スピーカ１００９、センサ１０１０、モータ１０１１等は不要である。

【0034】

＜動作＞
図９は上記の実施形態の処理例を示すシーケンス図であり、乳幼児等の子供と祖父との間でビデオチャットを介した物品の手渡し遊びを行う例である。なお、ビデオチャットロボット１のハンド１０７の制御に連動したビデオチャット上の映像の制御を端末装置２側で行う場合について示している。

【0035】

図９において、ビデオチャットロボット１と端末装置２の間で、一般的な手順に従ってビデオチャットが開始されているとする（ステップＳ１０１）。

【0036】

その後、ビデオチャットロボット１において、子供がハンド１０７に物品を載置するものとする（ステップＳ１０２）。図１０（ａ）は、子供ＣＨがビデオチャットロボット１のハンド１０７に物品ＯＢＪを載置しようとしている状態を示している。図１０（ｂ）は、その際の祖父ＧＦ側の端末装置２において表示される画面例を示しており、主画面には物品ＯＢＪを持った子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像（ビデオチャットロボット１側に表示されている映像）が表示されている。

【0037】

図９に戻り、ビデオチャットロボット１のハンド制御部１２が物品の載置を検出すると（ステップＳ１０３）、ハンド制御部１２はハンド１０７を開状態から閉状態に制御する（ステップＳ１０４）。図１１はビデオチャットロボット１においてハンド１０７が閉状態となったことで、物品が隠され、見えなくなった状態を示している。

【0038】

次いで、図９に戻り、ハンド制御部１２は、ハンド１０７が閉状態となったこと（載置された物品が隠されたこと）を確認した後、端末装置２に対して物品載置通知を行う（ステップＳ１０５）。この物品載置通知には、物品の画像または物品を識別する情報が伴われる。

【0039】

端末装置２の映像制御部２２は、物品載置通知を受け付けると、端末装置２側で撮影されるビデオチャットの映像に、載置された物品の画像を合成する（ステップＳ１０６）。物品載置通知に物品の画像が伴われる場合はその画像を合成し、物品を識別する情報が伴われる場合は、その情報に対応する画像を取得して合成する。

【0040】

合成が行われた映像はビデオチャットに反映される。図１２（ａ）は、ビデオチャットロボット１の画面部１０２に祖父ＧＦとともに物品ＯＢＪの画像（合成画像）が表示された状態を示している。子供ＣＨは、自分が渡した物品ＯＢＪが祖父ＧＦに渡ったと認識する。また、図１２（ｂ）は、その際の祖父ＧＦ側の端末装置２において表示される画面例を示しており、主画面には子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像と物品ＯＢＪの画像が表示されている。

【0041】

図９に戻り、端末装置２側で、マウスやキーボード等により、合成された物品の画像の位置を変更する操作を行い（ステップＳ１０７）、それを映像制御部２２が検出すると（ステップＳ１０８）、映像制御部２２は、合成する物品の画像の位置を変更する（ステップＳ１０９）。合成位置の変更が行われた映像はビデオチャットに反映される。これにより、例えば、端末装置２を操作する祖父は、物品が食べ物の玩具である場合、口の近くに持って行って「もぐもぐ 美味しいね」といった発話を行い、子供を喜ばすことができる。

【0042】

次いで、端末装置２側で、合成された物品を返却する操作を行うものとする（ステップＳ１１０）。返却の操作は、マウスやキーボード等により物品の画像を副画面外に移動したり、返却のボタンを押す等により行うことができる。そして、映像制御部２２が物品返却操作を検出すると（ステップＳ１１１）、映像制御部２２は、ビデオチャットロボット１に対して物品返却通知を行う（ステップＳ１１２）。これとほぼ同時に、端末装置２の映像制御部２２は、端末装置２側で撮影されるビデオチャットの映像への物品の合成を停止する（ステップＳ１１３）。合成の停止が行われた映像はビデオチャットに反映される。

【0043】

ビデオチャットロボット１のハンド制御部１２は、物品返却通知を受け取ると、ハンド１０７を閉状態から開状態に制御する（ステップＳ１１４）。図１３（ａ）は、祖父ＧＦ側の端末装置２において表示される画面例を示しており、主画面には子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像が表示されている。図１３（ｂ）は、ビデオチャットロボット１のハンド１０７が開状態となって、物品ＯＢＪが再び見えるようになった状態を示している。

【0044】

ビデオチャットロボット１のハンド１０７の制御に連動したビデオチャット上の映像の制御を端末装置２側で行う場合について説明したが、ビデオチャットの映像そのものには加工を行わず、画面表示される映像についてビデオチャットロボット１側と端末装置２側で物品の映像の合成および合成停止を行うようにしてもよい。なお、ビデオチャットの映像への物品ＯＢＪの合成の停止とハンド１０７の閉状態から開状態への制御とが子供ＣＨに不信感を抱かせないタイミングで行われれば、つまり、ビデオチャットロボット１のビデオチャットの映像に物品ＯＢＪが映っており、かつハンド１０７が開状態となり載置された物品ＯＢＪが視認できるということが無ければ、ステップＳ１１２〜Ｓ１１４はどのような順番で処理が行われてもよい。

【0045】

図１４は実施形態の他の処理例を示すシーケンス図であり、サーバ４を介して制御を行うようにした例である。

【0046】

図１４において、ビデオチャットロボット１と端末装置２の間で、サーバ４を介し、一般的な手順に従ってビデオチャットが開始されているとする（ステップＳ２０１、Ｓ２０２）。

【0047】

その後、ビデオチャットロボット１において、子供がハンド１０７に物品を載置し（ステップＳ２０３）、ビデオチャットロボット１のハンド制御部１２が物品の載置を検出すると（ステップＳ２０４）、ハンド制御部１２はハンド１０７を開状態から閉状態に制御する（ステップＳ２０５）。

【0048】

次いで、ハンド制御部１２は、ハンド１０７が閉状態となったこと（載置された物品が隠されたこと）を確認した後、サーバ４に対して物品載置通知を行う（ステップＳ２０６）。この物品載置通知には、物品の画像または物品を識別する情報が伴われる。

【0049】

サーバ４の映像制御部４２は、物品載置通知を受け付けると、端末装置２側で撮影されるビデオチャットの映像に、載置された物品の画像を合成する（ステップＳ２０７）。物品載置通知に物品の画像が伴われる場合はその画像を合成し、物品を識別する情報が伴われる場合は、その情報に対応する画像を取得して合成する。合成が行われた映像はビデオチャットに反映される。

【0050】

その後、端末装置２側で、マウスやキーボード等により、合成された物品の画像の位置を変更する操作を行い（ステップＳ２０８）、それを映像制御部２２が検出すると（ステップＳ２０９）、映像制御部２２は、サーバ４に対して物品位置変更通知を行う（ステップＳ２１０）。

【0051】

サーバ４の映像制御部４２は、物品位置変更通知を受け付けると、合成する物品の画像の位置を変更する（ステップＳ２１１）。合成位置の変更が行われた映像はビデオチャットに反映される。

【0052】

次いで、端末装置２側で、合成された物品を返却する操作を行うものとする（ステップＳ２１２）。返却の操作は、マウスやキーボード等により物品の画像を副画面外に移動したり、返却のボタンを押す等により行うことができる。そして、映像制御部２２が物品返却操作を検出すると（ステップＳ２１３）、映像制御部２２は、サーバ４に対して物品返却通知を行う（ステップＳ２１４）。サーバ４の映像制御部４２は、物品返却通知を受け付けると、ビデオチャットロボット１に対して物品返却通知を行う（ステップＳ２１５）。これとほぼ同時に、サーバ４の映像制御部４２は、端末装置２側で撮影されるビデオチャットの映像への物品の合成を停止する（ステップＳ２１６）。合成の停止が行われた映像はビデオチャットに反映される。

【0053】

ビデオチャットロボット１のハンド制御部１２は、物品返却通知を受け取ると、ハンド１０７を閉状態から開状態に制御する（ステップＳ２１７）。

【0054】

なお、上記の図９の処理例と同様、ビデオチャットの映像への物品ＯＢＪの合成の停止とハンド１０７の閉状態から開状態への制御とが子供ＣＨに不信感を抱かせないタイミングで行われれば、ステップＳ２１４〜Ｓ２１７はどのような順番で処理が行われてもよい。

【0055】

＜総括＞
以上説明したように、本実施形態によれば、物品の手渡し遊びを実現することで、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することができる。

【0056】

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

【符号の説明】

【0057】

１ ビデオチャットロボット
１１ ビデオチャット部
１２ ハンド制御部
１３ 映像制御部
１０１ 頭部筐体
１０２ 画面部
１０３ カメラ
１０４ スピーカ
１０５ マイク
１０６ 胴部筐体
１０７ ハンド
２ 端末装置
２１ ビデオチャット部
２２ 映像制御部
３ ネットワーク
４ サーバ
４１ ビデオチャット制御部
４２ 映像制御部
４３ ログ取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】