特開 2018-81631 遠隔遊び支援システム、心的状態・性格推定システム、遊び推定システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-81631(P2018-81631A)

(43)【公開日】2018年5月24日

(54)【発明の名称】遠隔遊び支援システム、心的状態・性格推定システム、遊び推定システム、方法およびプログラム

(51)【国際特許分類】

   G06N 5/04 20060101AFI20180420BHJP

   H04N 7/14 20060101ALI20180420BHJP

   G06N 5/02 20060101ALI20180420BHJP

   G06N 99/00 20100101ALI20180420BHJP

   G06F 17/30 20060101ALI20180420BHJP

【ＦＩ】

   G06N5/04

   H04N7/14 110

   G06N5/02 120

   G06N99/00 153

   G06F17/30 220Z

   G06F17/30 340A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2016-225250(P2016-225250)

(22)【出願日】2016年11月18日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度 国立研究開発法人科学技術振興機構 研究成果展開事業 大学発新産業創出プログラム 産業技術力強化法第１９条の適用を受ける特許出願

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】長井 隆行

(72)【発明者】

【氏名】阿部 香澄

(72)【発明者】

【氏名】濱田 侑輝

(72)【発明者】

【氏名】日永田 智絵

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA09

5C164UB41P

5C164VA04P

5C164VA06P

5C164YA12

(57)【要約】

【課題】子供と大人がビデオチャットでコミュニケーションする場合に、長く遊びを続けられるよう、遊びの提案を行えるようにする。
【解決手段】ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得する特徴量取得手段と、振る舞いと心的状態および性格との関係を機械学習した第１のデータに基づいて、前記特徴量から心的状態および性格を推定する第１の識別手段と、心的状態および性格と遊び種類との関係を機械学習した第２のデータに基づいて、前記第１の識別手段により推定された心的状態および性格から遊び種類を推定する第２の識別手段と、前記第２の識別手段により推定された遊び種類を前記ビデオチャットロボットの通信相手の端末装置に表示する遊び提案手段とを備える。
【選択図】図７

【特許請求の範囲】

【請求項1】

ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得する特徴量取得手段と、
振る舞いと心的状態および性格との関係を機械学習した第１のデータに基づいて、前記特徴量から心的状態および性格を推定する第１の識別手段と、
心的状態および性格と遊び種類との関係を機械学習した第２のデータに基づいて、前記第１の識別手段により推定された心的状態および性格から遊び種類を推定する第２の識別手段と、
前記第２の識別手段により推定された遊び種類を前記ビデオチャットロボットの通信相手の端末装置に表示する遊び提案手段と
を備えたことを特徴とする遠隔遊び支援システム。

【請求項2】

子供の振る舞いの特徴量のデータと、該振る舞いに際しての観察者による心的状態および性格の評価のデータとに基づき、振る舞いと心的状態および性格との関係を機械学習して前記第１のデータを生成し、
子供の遊び内容のデータと、該遊び内容に際しての観察者による心的状態および性格の評価のデータとに基づき、心的状態および性格と遊び種類との関係を機械学習して前記第２のデータを生成する、
機械学習手段
を備えたことを特徴とする請求項１に記載の遠隔遊び支援システム。

【請求項3】

前記機械学習手段は、ビデオチャットの運用に際して取得された子供の遊び内容のデータと、該遊び内容に際して前記第１の識別手段により推定された心的状態および性格のデータとに基づき、心的状態および性格と遊び種類との関係を機械学習し直して前記第２のデータを更新する
ことを特徴とする請求項２に記載の遠隔遊び支援システム。

【請求項4】

ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得し、
振る舞いと心的状態および性格との関係を機械学習した第１のデータに基づいて、前記特徴量から心的状態および性格を推定し、
推定された心的状態および性格から、心的状態および性格と遊び種類との関係を機械学習した第２のデータに基づいて、遊び種類を推定し、
推定された遊び種類を前記ビデオチャットロボットの通信相手の端末装置に表示する、
処理をコンピュータが実行することを特徴とする遠隔遊び支援方法。

【請求項5】

ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得し、
振る舞いと心的状態および性格との関係を機械学習した第１のデータに基づいて、前記特徴量から心的状態および性格を推定し、
推定された心的状態および性格から、心的状態および性格と遊び種類との関係を機械学習した第２のデータに基づいて、遊び種類を推定し、
推定された遊び種類を前記ビデオチャットロボットの通信相手の端末装置に表示する、
処理をコンピュータに実行させることを特徴とする遠隔遊び支援プログラム。

【請求項6】

ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得する特徴量取得手段と、
振る舞いと心的状態および性格との関係を機械学習したデータに基づいて、前記特徴量から心的状態および性格を推定する第１の識別手段と
を備えたことを特徴とする心的状態・性格推定システム。

【請求項7】

ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得し、
振る舞いと心的状態および性格との関係を機械学習したデータに基づいて、前記特徴量から心的状態および性格を推定する、
処理をコンピュータが実行することを特徴とする心的状態・性格推定方法。

【請求項8】

ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得し、
振る舞いと心的状態および性格との関係を機械学習したデータに基づいて、前記特徴量から心的状態および性格を推定する、
処理をコンピュータに実行させることを特徴とする心的状態・性格推定プログラム。

【請求項9】

心的状態および性格から、心的状態および性格と遊び種類との関係を機械学習したデータに基づいて、遊び種類を推定する識別手段
を備えたことを特徴とする遊び推定システム。

【請求項10】

心的状態および性格から、心的状態および性格と遊び種類との関係を機械学習したデータに基づいて、遊び種類を推定する、
処理をコンピュータが実行することを特徴とする遊び推定方法。

【請求項11】

心的状態および性格から、心的状態および性格と遊び種類との関係を機械学習したデータに基づいて、遊び種類を推定する、
処理をコンピュータに実行させることを特徴とする遊び推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔遊び支援システム、心的状態・性格推定システム、遊び推定システム、方法およびプログラムに関する。

【背景技術】

【0002】

子育てをしている家庭においては、例えば家事の間だけでも誰かに子供（乳幼児）の相手をしてもらえたら助かるという状況が多々ある。一方で、祖父母（子供から見て）は子供（孫）とのコミュニケーションを欲している場合が多いが、遠方に住んでいる場合には頻繁に会いに行くわけにもいかないというのが現実である。そこで、昨今のＩＴ（情報通信技術）を活用した解決が望まれる。

【0003】

本発明者は、ビデオチャット等を用いた、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を研究してきているが、乳幼児を考慮した工夫だけではなく、遠隔から相手をする祖父母等に対する支援も必要であることが判明してきた。

【0004】

例えば、祖父の中には、自分自身の子育て期には多忙で子供と遊ぶ経験をもてず、孫とどう遊んでいいかわかならい人もいる。実際、孫と遊びたい祖父母は多いが、祖父の多くは、祖母よりも孫と長く遊ぶのが苦手である（非特許文献１等を参照）。子供との遊び方を知りたいといったニーズにこたえるために、市場には子供との遊び方のノウハウ本や遊び方講座などが存在する。しかし、子供と遊んでいる最中にコツを再確認できるわけではない。実際に子供と遊んでいて遊びが滞ってしまい、どうしたらよいか正に悩んでいるときに、適切なアドバイスを得ることはできない。また、対面状況では遊びが得意な祖母でも、ビデオチャット等を介しての遠隔での遊びには慣れておらず、遊び続けるのが難しいという場合もある。このような「長く遊べない」「遊び方がわからない」という状況に対し、遊びの継続を支援する技術が必要とされる。

【0005】

一方、軽度認知症患者同士でテレビ電話を行う際に対話を持続させる技術が開示されているが（特許文献１等を参照）、乳幼児等の子供を対象としたものではなく、子供と祖父母等によるビデオチャット等に適用することはできない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−９７５３１号公報

【非特許文献】

【0007】

【非特許文献1】ミーテＷＥＢアンケート「祖父母と絵本」、調査期間：２０１２年７月、回答数：２８０件（０〜６歳児をもつ親、８４％が核家族）、http://mi-te.jp/contents/cafe/11-7-1837/

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述したように、子供と大人がビデオチャットでコミュニケーションする場合に、大人側に対する遊びの支援が望まれるが、従来そのような技術は存在しなかった。

【0009】

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、子供と大人がビデオチャットでコミュニケーションする場合に、長く遊びを続けられるよう、遊びの提案を行えるようにすることにある。

【課題を解決するための手段】

【0010】

上記の課題を解決するため、本発明にあっては、ビデオチャットロボットを使用する子供を監視する各種センサの信号に基づいて子供の振る舞いの特徴量を取得する特徴量取得手段と、振る舞いと心的状態および性格との関係を機械学習した第１のデータに基づいて、前記特徴量から心的状態および性格を推定する第１の識別手段と、心的状態および性格と遊び種類との関係を機械学習した第２のデータに基づいて、前記第１の識別手段により推定された心的状態および性格から遊び種類を推定する第２の識別手段と、前記第２の識別手段により推定された遊び種類を前記ビデオチャットロボットの通信相手の端末装置に表示する遊び提案手段とを備える。

【発明の効果】

【0011】

本発明にあっては、子供と大人がビデオチャットでコミュニケーションする場合に、長く遊びを続けられるよう、遊びの提案を行うことができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態にかかるシステムの構成例を示す図である。

【図2】ビデオチャットロボットの外観構成例を示す図である。

【図3】ビデオチャットロボットの情報処理にかかるハードウェア構成例を示す図である。

【図4】手渡し遊びの操作例を示す図（その１）である。

【図5】手渡し遊びの操作例を示す図（その２）である。

【図6】手渡し遊びの操作例を示す図（その３）である。

【図7】各装置の機能構成例を示す図である。

【図8】特徴量データおよび遊び状況データの構造例を示す図である。

【図9】遊び一覧テーブルの例を示す図である。

【図10】学習結果データの構造例を示す図である。

【図11】心的状態評価データおよび性格評価データの構造例を示す図である。

【図12】実施形態の処理例を示すシーケンス図（その１）である。

【図13】実施形態の処理例を示すシーケンス図（その２）である。

【図14】端末装置に表示される画面例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の好適な実施形態につき説明する。

【0014】

＜システム構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、主に子供（乳幼児）が使用するビデオチャットロボット１と、学習フェーズにおいて子供の父母等が評価内容を入力する端末装置２と、主に祖父母等の通信相手が使用する端末装置３とが、インターネット等のネットワークＮを介して接続可能になっている。なお、父母等による評価内容をオフラインで取得する場合には、端末装置２は不要となる。また、学習フェーズにおいて、ビデオチャットロボット１および端末装置２から情報を取得して機械学習を行い、ビデオチャットロボット１で使用される識別用データを生成する識別用データ生成サーバ４がネットワークＮに接続されている。更に、必要に応じて、ビデオチャットロボット１と端末装置３との間のビデオチャットを中継する運用サーバ５がネットワークＮに接続される。

【0015】

なお、学習フェーズにおいて用いられるビデオチャットロボット１および端末装置３と、実際の運用フェーズにおいて用いられるそれらを区別なく示しているが、学習の際には開発側の協力者ユーザ（父母、子供、祖父母等）がビデオチャットロボット１および端末装置３を使用し、運用時には一般のユーザがそれらを使用することとなる。

【0016】

図２はビデオチャットロボット１の外観構成例を示す図である。図２において、ビデオチャットロボット１は、頭部筐体１１と胴部筐体１６とを備えている。頭部筐体１１には、前面に画面部１２が設けられるとともに、画面部１２の上部にはカメラ１３が設けられ、画面部１２の両側にはスピーカ１４が設けられ、下部にはマイク１５が設けられている。胴部筐体１６には、手を模し、物品が載置可能な状態と、物品が取り込まれて隠された状態とを有するハンド１７が設けられている。また、画面部１２には操作入力のためのタッチパネルを設けることができるとともに、筐体には周囲の人や物との距離を検出する距離センサや筐体への接触を検出するタッチセンサ等を備えることもできる。更に、ビデオチャットロボット１には、利用者（子供）に追従して利用者の正面を向くための自走機構や回転機構を設けることができる。利用者の認識は、カメラ１３やその他のセンサによる顔認識や色認識等で行うことができる。

【0017】

図３はビデオチャットロボット１の情報処理にかかるハードウェア構成例を示す図である。図３において、ビデオチャットロボット１は、バス１０００を介して相互に接続されたＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）１００４、接続Ｉ／Ｆ（Interface）１００５、通信Ｉ／Ｆ１００６を備えている。

【0018】

ＣＰＵ１００１は、ＲＡＭ１００３をワークエリアとしてＲＯＭ１００２またはＨＤＤ／ＳＳＤ１００４等に格納されたプログラムを実行することで、ビデオチャットロボット１の動作を統括的に制御する。接続Ｉ／Ｆ１００５は、カメラ１００７、距離センサ１００８、マイク１００９、スピーカ１０１０、タッチパネル１０１１、タッチセンサ１０１２、載置センサ１０１３、モータ１０１４とのインタフェースである。通信Ｉ／Ｆ１００６は、ネットワークを介して他の情報処理装置（端末装置３、識別用データ生成サーバ４、運用サーバ５等）と通信を行うためのインタフェースである。ビデオチャットロボット１の機能は、ＣＰＵ１００１において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

【0019】

ビデオチャットロボット１によれば、音声と映像によるビデオチャットにより、普通の会話のほか、歌（いっしょに歌を歌う）、本（本を読み聞かせる）、おいでおいで、かくれんぼ等の遊びを行うことができる。また、ビデオチャットロボット１に特別に設けられたハンド等の機構により手渡し遊びを行うことができる。

【0020】

図４〜図６はビデオチャットロボット１による手渡し遊びの操作例を示す図である。図４（ａ）は、子供ＣＨがビデオチャットロボット１のハンド１７に物品ＯＢＪを載置しようとしている状態を示している。図４（ｂ）は、その際の祖父ＧＦ側の端末装置３において表示される画面例を示しており、主画面には物品ＯＢＪを持った子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像（ビデオチャットロボット１側に表示されている映像）が表示されている。

【0021】

図５（ａ）は、ビデオチャットロボット１においてハンド１７がそれまでの開状態から閉状態となったことで、物品ＯＢＪが隠されて見えなくなり、画面部１２に祖父ＧＦとともに物品ＯＢＪの画像（合成画像）が表示された状態を示している。これにより、子供ＣＨは、自分が渡した物品ＯＢＪが祖父ＧＦに渡ったと認識する。また、図５（ｂ）は、その際の祖父ＧＦ側の端末装置３において表示される画面例を示しており、主画面には子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像と物品ＯＢＪの画像が表示されている。

【0022】

図６（ａ）は、祖父ＧＦが物品返却の操作（該当ボタンの押下等）を行ったことで、祖父ＧＦ側の端末装置３の副画面から物品ＯＢＪが消えた状態を示している。また、図６（ｂ）は、ビデオチャットロボット１のハンド１７が開状態となって、物品ＯＢＪが再び見えるようになった状態を示している。これにより、子供ＣＨは、物品ＯＢＪが祖父ＧＦから戻ってきたと認識する。

【0023】

図７は図１に示した各装置の機能構成例を示す図である。図７において、ビデオチャットロボット１は、ビデオチャット部１０１とハンド制御部１０２と映像制御部１０３と特徴量算出部１０４と遊び状況判定部１０５とデータ送信部１０６とデータ受信部１０７と学習結果データ１０８、１０９と第１の識別部１１０と第２の識別部１１１と目標値生成部１１２と遊び提案部１１３とを備えている。

【0024】

ビデオチャット部１０１は、ビデオチャットロボット１側でのビデオチャットについての処理を実行する機能を有している。ハンド制御部１０２は、ビデオチャットロボット１に備えられたハンド１７（図２）を制御する機能を有している。映像制御部１０３は、ハンド１７の制御に連動してビデオチャット上の映像を制御するとともに、遊びの提案の表示を制御する機能を有している。なお、ハンドの制御等に連動したビデオチャット上の映像の制御を端末装置３側または運用サーバ５側で行う場合には、映像制御部１０３は不要となる。

【0025】

特徴量算出部１０４は、各種の入力デバイス（図３に示したカメラ１００７、距離センサ１００８、マイク１００９、スピーカ１０１０、タッチパネル１０１１、タッチセンサ１０１２、載置センサ１０１３等）からの信号に応じ、ビデオチャットロボット１の前にいる子供の振る舞いの特徴量を算出し、特徴量データを出力する機能を有している。特徴量は、子供が現時点で遊びに満足しているか（満足度）や、相手の祖父母等に対して親密さを感じているか（親密度）といった心的状態と、適した遊びを見つけるための子供の性格を判断するために用いられる。満足度は遊びに対して短期的に影響が出るが、親密度は中長期的に影響が出る。例えば、ある時点でそのときにやっている遊びに満足はしていないが（満足度は低い）、親密度が高ければ、また遊んでくれる可能性が高い。また、ここでの性格は、子供の定性的なものではなく、その時々の気分により変化するものとして扱っている。

【0026】

特徴量データとしては、例えば、ビデオチャットロボット１の前にいる子供のビデオチャットロボット１からの距離の値やその変動幅、時間的な変動傾向等の距離特徴量と、子供のビデオチャットロボット１方向を基準とした視線方向やその変動幅、時間的な変動傾向等の視線特徴量と、子供の表情から認識される笑顔度やその変動幅、時間的な変動傾向等の笑顔特徴量とを用いている。なお、特徴量算出部１０４は、遊び状況判定部１０５で判定される遊び状況を考慮して特徴量の算出を行う。例えば、遊び状況が「かけっこ」の最中には子供とビデオチャットロボット１との距離は必然的に遠くなり、満足度・親密度や性格を判断するには適当でないため、距離の情報を対象から除外するといった処理を行う。図８（ａ）は特徴量データの構造例を示しており、計測したビデオチャットロボット１を識別するためのロボットＩＤと、計測日時を示すタイムスタンプと、距離特徴量と、視線特徴量と、笑顔特徴量とを含んでいる。

【0027】

図７に戻り、遊び状況判定部１０５は、各種の入力デバイス（図３に示したカメラ１００７、距離センサ１００８、マイク１００９、スピーカ１０１０、タッチパネル１０１１、タッチセンサ１０１２、載置センサ１０１３等）からの信号に応じ、遊び状況（何の遊びが行われているか、あるいは何も行われていないか）を判定する機能を有している。遊びの状況の判定は、子供の周囲にいる操作者や遠隔の祖父母等による操作入力（例えば、前述した手渡し遊びを選んだ、終了を選んだという情報等）、ビデオチャットロボット１の周辺を写すカメラ画像に基づく情報（一般物体認識による付近のおもちゃの有無や子供の存在等）、タッチセンサからの情報（子供やおもちゃがビデオチャットロボット１に触れているかどうか等）等により行われる。各種の遊びを行っている際や遊びをしていない際に得られる各種の入力デバイスの信号の状態と、観察者が判定した遊びの種類の情報を取得し、機械学習により学習データを取得し、その学習データに基づいて識別器により判定を行うようにしてもよい。図８（ｂ）は遊び状況データの構造例を示しており、判定を行ったビデオチャットロボット１を識別するためのロボットＩＤと、判定日時を示すタイムスタンプと、遊びの種類を識別する遊びＩＤとを含んでいる。遊びＩＤは、図９に示すような、予め定義された遊びの種類に対応した識別情報である。

【0028】

図７に戻り、データ送信部１０６は、学習フェーズにおいて、特徴量算出部１０４から出力される特徴量データと遊び状況判定部１０５から出力される遊び状況データとを、所定期間（例えば、１０分）毎または所定のタイミング（収集終了時に一括等）で、識別用データ生成サーバ４に送信する機能を有している。また、データ送信部１０６は、運用フェーズにおいて、再学習のためのデータ（遊び状況判定部１０５から出力される特徴量データと第１の識別部１１０から出力される推定結果データ）とを識別用データ生成サーバ４に送信する機能も有している。

【0029】

データ受信部１０７は、識別用データ生成サーバ４で機械学習により生成された識別用の学習結果データを受信し、学習結果データ１０８、１０９としてビデオチャットロボット１内に保存する機能を有している。なお、識別用データ生成サーバ４からオンラインで受信する場合に限らず、メモリデバイス等を用いたオフラインによるデータの受け渡しとしてもよい。学習結果データ１０８は、特徴量データにより表される振る舞いから、心的状態および性格を推定するためのデータであり、第１の識別部１１０により使用される。学習結果データ１０９は、心的状態および性格から遊び（遊びの状況、遊びの種類）を推定するためのデータであり、第２の識別部１１１により使用される。図１０（ａ）は振る舞いから心的状態および性格を推定するための学習結果データの構造例を示し、図１０（ｂ）は心的状態および性格から遊びを推定するための学習結果データの構造例を示している。いずれも、入力となる変数を出力の値に写像するための関数の係数等が含まれている。

【0030】

図７に戻り、第１の識別部１１０は、運用フェーズにおいて、学習結果データ１０８を使用し、特徴量算出部１０４の出力である特徴量データから心的状態および性格を推定して出力する機能を有している。出力される心的状態は、学習時に用いられる心的状態評価データに対応し、満足度または親密度を示す値（例えば、最も小さい「１」から最高の「３」までの３段階の値）を用いる。なお、満足度または親密度は、いずれか一方を用いてもよいし、両者を混合したものとしてもよい。また、満足度または親密度を別々に学習して２組の学習結果データを生成しておき、運用フェーズにおいていずれかの学習結果データを選択可能としてもよい。出力される性格は、学習時に用いられる性格評価データに対応し、例えば、BigFive（性格の主要５因子）における外向性得点を示す値（例えば、最も小さい「１」から最高の「３」までの３段階の値）を用いる。

【0031】

第２の識別部１１１は、運用フェーズにおいて、学習結果データ１０９を使用し、第１の識別部１１０の出力（推定結果）である心的状態および性格の値と、目標値生成部１１２の出力する目標値とから、遊びを推定して出力する機能を有している。後述するように、振る舞いから心的状態および性格への学習は、各所定時間内の特徴量データと各所定時間経過時の父母等による評価とから行われるが、心的状態および性格から遊びへの学習は、ある時点の父母等による評価と、それから所定時間経過時の父母等による評価と、所定時間内の遊び状況とから行われる。そのため、遊びを推定するためには、現時点の心的状態および性格の値と、所定時間経過後の目標とする心的状態および性格の値とを与える。目標値生成部１１２は、第１の識別部１１０の出力（推定結果）である心的状態および性格の値に対し、例えば、心的状態の満足度や親密度を高い値（３段階の場合は「２」以上の値）に変更して目標値を生成する。

【0032】

遊び提案部１１３は、第１の識別部１１０により推定された心的状態から満足度等が低い場合に、第２の識別部１１１により推定された遊びをビデオチャットの相手方である祖父母等に提案する機能を有している。ここでは、映像制御部１０３またはビデオチャット部１０１に提案内容を通知することで、相手方の端末装置３に遊びの提案のための表示を行うようにしている。また、遊び提案部１１３は、遊びの提案を行う頻度を状況に応じて変化させることができる。例えば、操作者の音声入力があまりなく、操作入力が少なく、子供の満足度が低い場合、操作者が何をして遊べばいいのかわからず戸惑っている状態と考えられる。そのため、遊びを高頻度で提案する。反対に、子供の満足度が高い場合は、操作者が上手に遊べているため、遊びを低頻度で提案する。このように提案頻度を変化させることで、操作者が遊び提案を利用して子供と遊ぶうちに、自然と遊び方を会得し、遊びの提案がなくても遊べるようになることが期待される。更に、操作者の遊び慣れを加速するために、利用履歴等に基づいて利用経験が増えるに応じ、遊びの提案のタイミングを遅らせたり、遊びの提案を行うべきタイミングであってもランダムに提案を行わないといった制御を行ってもよい。

【0033】

一方、評価入力用の端末装置２は、心的状態評価入力部２１と性格評価入力部２２とデータ送信部２３とを備えている。心的状態評価入力部２１は、学習フェーズにおいて、子供を観察している父母等から、ビデオチャットをしている子供の心的状態（満足度、親密度等）の評価（例えば、３段階）を所定時間（例えば、１０分）毎に入力する機能を有している。性格評価入力部２２は、学習フェーズにおいて、子供を観察している父母等から、ビデオチャットをしている子供の性格の評価（例えば、３段階）を所定時間（例えば、１０分）毎に入力する機能を有している。データ送信部２３は、学習フェーズにおいて、心的状態評価入力部２１および性格評価入力部２２で入力されたデータを、所定期間（例えば、１０分）毎または所定のタイミング（収集終了時に一括等）で、識別用データ生成サーバ４に送信する機能を有している。図１１（ａ）は心的状態評価データの構造例を示しており、観察対象の子供が使用しているビデオチャットロボット１を識別するためのロボットＩＤと、評価日時を示すタイムスタンプと、心的状態評価値とを含んでいる。図１１（ｂ）は性格評価データの構造例を示しており、観察対象の子供が使用しているビデオチャットロボット１を識別するためのロボットＩＤと、評価日時を示すタイムスタンプと、性格評価値とを含んでいる。

【0034】

図７に戻り、ビデオチャット用の端末装置３は、ビデオチャット部３１と映像制御部３２とを備えている。ビデオチャット部３１は、端末装置３側でのビデオチャットについての処理を実行する機能を有している。映像制御部３２は、ビデオチャットロボット１のハンドの制御に連動してビデオチャット上の映像を制御するとともに、遊びの提案の表示を制御する機能を有している。なお、ビデオチャットロボット１のハンドの制御に連動したビデオチャット上の映像の制御等をビデオチャットロボット１側または運用サーバ５側で行う場合には、映像制御部３２は不要となる。ビデオチャットロボット１の映像制御部１０３と端末装置３の映像制御部３２とで、連携してビデオチャット上の映像の制御を行ってもよい。

【0035】

一方、識別用データ生成サーバ４は、データ受信部４１とデータ蓄積部４２と機械学習部４３と学習結果データ４４、４５とデータ送信部４６とを備えている。データ受信部４１は、学習フェーズにおいて、ビデオチャットロボット１のデータ送信部１０６から特徴量データと遊び状況データとを受信してデータ蓄積部４２に格納するとともに、端末装置２のデータ送信部２３から心的状態評価データと性格評価データを受信してデータ蓄積部４２に格納する機能を有している。また、データ受信部４１は、運用フェーズにおいて、ビデオチャットロボット１のデータ送信部１０６から再学習のためのデータ（遊び状況判定部１０５から出力される特徴量データと第１の識別部１１０から出力される推定結果データ）とを受信して識別用データ生成サーバ４に格納する機能を有している。データ蓄積部４２には、受信されたそれらのデータ（データ構造については上述）がそのまま格納される。

【0036】

機械学習部４３は、学習フェーズにおいて、１つまたは複数のビデオチャットロボット１における種々の状況下での複数（多数）のデータが蓄積された後の所定のタイミングで、データ蓄積部４２からデータを読み出して２種類の機械学習を行い、振る舞いから心的状態および性格を推定するための学習結果データ４４と、心的状態および性格から遊びを推定するための学習結果データ４５とを生成する機能を有している。また、運用フェーズにおいて、機械学習部４３は、再学習のために、データ蓄積部４２からデータを読み出し、心的状態および性格から遊びを推定するための学習結果データ４５を再生成する機能も有している。機械学習の処理内容については後述する。学習結果データ４４、４５は、図１０に示したものと同様である。

【0037】

図７に戻り、データ送信部４６は、生成された学習結果データ４４、４５をオンラインまたはオフラインでビデオチャットロボット１のデータ受信部１０７に受け渡す機能を有している。

【0038】

運用サーバ５は、ビデオチャット制御部５１と映像制御部５２とログ取得部５３とを備えている。ビデオチャット制御部５１は、ビデオチャットロボット１と端末装置３の間のビデオチャットを制御する機能を有している。映像制御部５２は、ビデオチャットロボット１のハンドの制御に連動してビデオチャット上の映像を制御するとともに、遊びの提案の表示を制御する機能を有している。ログ取得部５３は、ビデオチャットロボット１と端末装置３の動作ログを取得する機能を有している。

【0039】

なお、端末装置２、端末装置３、識別用データ生成サーバ４、運用サーバ５は一般的なコンピュータのハードウェア構成を備えている。また、ビデオチャット用の端末装置３は、カメラ、マイク、モニタ、スピーカ等の映像・音声の入出力機能を備えている。

【0040】

＜動作＞
図１２は上記の実施形態の学習フェーズにおける処理例を示している。図１２において、学習の協力者である父母の観察下で子供が使用するビデオチャットロボット１と祖父母等が使用する端末装置３との間で、一般的な手順に従ってビデオチャットが開始されているとする（ステップＳ１０１）。なお、運用サーバ５を介在しない場合について説明するが、運用サーバ５を介在する場合は、ビデオチャットが運用サーバ５により中継される点と、ビデオチャット上の映像への表示の制御がどの装置で行うかが異なる。

【0041】

その後、ビデオチャットロボット１において、所定時間（例えば、１０分）毎に、特徴量算出部１０４は特徴量を算出して特徴量データを出力し、遊び状況判定部１０５は遊び状況を判定して遊び状況データを出力する（ステップＳ１０２）。

【0042】

また、並行して、端末装置２において、同じ所定時間毎に、心的状態評価入力部２１および性格評価入力部２２は、父母等から心的状態と性格の評価を入力する（ステップＳ１０３）。なお、端末装置２を用いずに、回答シート等に記入する態様としてもよい。この場合、回答シート等の回収後に担当者がデータ化し、識別用データ生成サーバ４に入力することとなる。

【0043】

その後、ビデオチャットロボット１のデータ送信部１０６は、特徴量算出部１０４から出力される特徴量データと遊び状況判定部１０５から出力される遊び状況データとを、所定期間毎または所定のタイミング（収集終了時に一括等）で、識別用データ生成サーバ４に送信する（ステップＳ１０４）。識別用データ生成サーバ４のデータ受信部４１は、受信したデータをデータ蓄積部４２に格納する（ステップＳ１０５）。

【0044】

また、端末装置２のデータ送信部２３は、心的状態評価入力部２１および性格評価入力部２２で入力されたデータを、所定期間毎または所定のタイミング（収集終了時に一括等）で、識別用データ生成サーバ４に送信する（ステップＳ１０６）。識別用データ生成サーバ４のデータ受信部４１は、受信したデータをデータ蓄積部４２に格納する（ステップＳ１０７）。

【0045】

その後、識別用データ生成サーバ４の機械学習部４３は、１つまたは複数のビデオチャットロボット１における種々の状況下での複数（多数）のデータが蓄積された後の所定のタイミングで、データ蓄積部４２からデータを読み出す（ステップＳ１１１）。

【0046】

そして、機械学習部４３は、２種類の機械学習を行い、振る舞いから心的状態および性格を推定するための学習結果データ４４と、心的状態および性格から遊びを推定するための学習結果データ４５とを生成する（ステップＳ１１２）。すなわち、機械学習部４３は、各所定時間内の特徴量データと各所定時間経過時の父母等による心的状態評価データおよび性格評価データとから、心的状態評価データおよび性格評価データを正解ラベル（推定される側の変数に対応）にして機械学習を行い、振る舞いから心的状態および性格への学習結果データ４４を生成する。また、機械学習部４３は、ある時点の父母等による心的状態評価データおよび性格評価データと、それから所定時間経過時の父母等による心的状態評価データおよび性格評価データと、その所定時間内の遊び状況データとから遊び状況データを正解ラベルにして機械学習を行い、心的状態および性格から遊びへの学習結果データ４５を生成する。

【0047】

そして、データ送信部４６は、生成された学習結果データ４４、４５をオンラインまたはオフラインでビデオチャットロボット１のデータ受信部１０７に受け渡す（ステップＳ１１３）。ビデオチャットロボット１のデータ受信部１０７は、受け渡されたデータを学習結果データ１０８、１０９としてビデオチャットロボット１内に登録する（ステップＳ１１４）。

【0048】

次に、図１３は上記の実施形態の運用フェーズにおける処理例を示している。図１３において、一般ユーザの子供が使用するビデオチャットロボット１と祖父母等が使用する端末装置３との間で、一般的な手順に従ってビデオチャットが開始されているとする（ステップＳ２０１）。

【0049】

その後、ビデオチャットロボット１において、所定時間（例えば、１０分）毎に、特徴量算出部１０４は特徴量を算出して特徴量データを出力し、遊び状況判定部１０５は遊び状況を判定して遊び状況データを出力する（ステップＳ２０２）。なお、遊びの推定および提案のリアルタイム性を向上させるために、処理可能な時間毎に過去の所定時間（例えば、１０分）についての特徴量の算出と遊び状況の判定を逐次に行うようにしてもよい。

【0050】

次いで、第１の識別部１１０は、学習結果データ１０８を使用し、特徴量算出部１０４の出力である特徴量データから心的状態および性格を推定して出力する（ステップＳ２０３）。

【0051】

次いで、第２の識別部１１１は、学習結果データ１０９を使用し、第１の識別部１１０の出力（推定結果）である心的状態および性格の値と、目標値生成部１１２の出力する目標値とから、遊びを推定して出力する（ステップＳ２０４）。

【0052】

そして、遊び提案部１１３は、第１の識別部１１０により推定された心的状態から満足度等が低いか否かにより、遊び提案の可否を判断する（ステップＳ２０５）。

【0053】

そして、遊び提案部１１３は、満足度等が低く、遊び提案が必要であると判断した場合、映像制御部１０３により遊び提案内容をビデオチャット部１０１のビデオチャットの映像に合成する（ステップＳ２０６）。これにより、推定された遊びがビデオチャットの相手方である祖父母等の使用する端末装置３において表示される（ステップＳ２０７）。図１４は端末装置３に表示される画面例を示す図であり、子供ＣＨの映像（主画面）と祖父ＧＦの映像（副画面）の他に、画面の左上に「歌」「本」といった遊び提案表示ＡＤが行われている。なお、遊びを示すアイコンと文字による遊び名とを示しているが、いずれか一方でもよい。表示する順序は推定の確度が高い順にしてもよいし、上位所定数の遊びについて推定の確度を考慮せずに表示してもよい。祖父母等は、この中から好きな任意の遊びを選択することができる。また、提案される遊びは一定時間が経過するか、現在の遊びの状況が替わると、新たに算出されて表示される。

【0054】

図１３に戻り、データ送信部１０６は、再学習のためのデータ（遊び状況判定部１０５から出力される特徴量データと第１の識別部１１０から出力される推定結果データ）を識別用データ生成サーバ４に送信する（ステップＳ２０８）。識別用データ生成サーバ４のデータ受信部４１は、受信したデータを識別用データ生成サーバ４に格納する（ステップＳ２０９）。

【0055】

その後、識別用データ生成サーバ４の機械学習部４３は、再学習のために、データ蓄積部４２からデータを読み出し（ステップＳ２１１）、心的状態および性格から遊びを推定するための学習結果データ４５を再生成する（ステップＳ２１２）。

【0056】

なお、運用フェーズにおいて、新たな遊びを遊び一覧テーブル（図９）に追加した上でデータ収集を行い、上記の再学習を行うことで、追加した新たな遊びに対応した遊びの提案を行えるようにすることができる。

【0057】

そして、データ送信部４６は、再生成された学習結果データ４５をオンラインまたはオフラインでビデオチャットロボット１のデータ受信部１０７に受け渡す（ステップＳ２１３）。ビデオチャットロボット１のデータ受信部１０７は、受け渡されたデータを学習結果データ１０９としてビデオチャットロボット１内に登録する（ステップＳ２１４）。

【0058】

＜変形例＞
上述した実施形態では、「学習」（学習結果データの生成）については識別用データ生成サーバ４側で行い、「運用」（目標値生成およびそれに基づく遊びの提案）はビデオチャットロボット１側で行う場合について説明したが、これに限られない。例えば、ビデオチャットロボット１側で「学習」を行う構成としてもよい。この場合、機械学習部４３がビデオチャットロボット１に設けられることになる。また、評価に用いられる端末装置２や、ビデオチャットの相手方で用いられる端末装置３で「学習」を行う構成としてもよい。また、「運用」における識別についても、ビデオチャットロボット１側ではなく、運用サーバ５側で行ってもよい。

【0059】

＜総括＞
以上説明したように、本実施形態によれば、子供と大人がビデオチャットでコミュニケーションする場合に、長く遊びを続けられるよう、遊びの提案を行うことができる。

【0060】

単純な物の受け渡しなどが子供とは"遊び"になるが、これに慣れず、遊び方に困る人がいる。あるいは、対面では子供と遊び慣れている人でも、ビデオチャットを使った遠隔保育では慣れないという人も出てくる。「子供との遊び方がよくわからない」あるいは「対面でなく、ビデオチャットを通しての遊びは難しい」という操作者でも、遊び提案機能によって次に行う遊びの例が示されるので、それを選んで行っていけば、次にいったい何をすればいいかと迷うことなく、スムーズに、長く子供と遊び続けることが可能である。

【0061】

また、子供の振る舞いを表す特徴量データと、父母等による評価データとに基づいて、振る舞いと心的状態および性格との関係の機械学習を行うため、ビデオチャットロボットの前で動き回りながら遊ぶ子供についても正確な推定を行うことができる。

【0062】

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

【符号の説明】

【0063】

１ ビデオチャットロボット
１１ 頭部筐体
１２ 画面部
１３ カメラ
１４ スピーカ
１５ マイク
１６ 胴部筐体
１７ ハンド
１０１ ビデオチャット部
１０２ ハンド制御部
１０３ 映像制御部
１０４ 特徴量算出部
１０５ 遊び状況判定部
１０６ データ送信部
１０７ データ受信部
１０８、１０９ 学習結果データ
１１０ 第１の識別部
１１１ 第２の識別部
１１２ 目標値生成部
１１３ 遊び提案部
２ 端末装置
２１ 心的状態評価入力部
２２ 性格評価入力部
２３ データ送信部
３ 端末装置
３１ ビデオチャット部
３２ 映像制御部
４ 識別用データ生成サーバ
４１ データ受信部
４２ データ蓄積部
４３ 機械学習部
４４、４５ 学習結果データ
４６ データ送信部
５ 運用サーバ
５１ ビデオチャット制御部
５２ 映像制御部
５３ ログ取得部
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】