特許 6888096 ロボット、サーバおよびヒューマン・マシン・インタラクション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6888096

(24)【登録日】2021年5月21日

(45)【発行日】2021年6月16日

(54)【発明の名称】ロボット、サーバおよびヒューマン・マシン・インタラクション方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210603BHJP

   G10L 15/10 20060101ALI20210603BHJP

   G10L 15/00 20130101ALI20210603BHJP

   B25J 13/00 20060101ALI20210603BHJP

   G06F 3/16 20060101ALI20210603BHJP

   G06T 7/00 20170101ALI20210603BHJP

【ＦＩ】

   G06F3/01 510

   G10L15/10 500N

   G10L15/00 200H

   B25J13/00 Z

   G06F3/16 610

   G06F3/16 620

   G06T7/00 660Z

【請求項の数】21

【全頁数】19

(21)【出願番号】特願2019-536067(P2019-536067)

(86)(22)【出願日】2017年12月27日

(65)【公表番号】特表2020-507835(P2020-507835A)

(43)【公表日】2020年3月12日

(86)【国際出願番号】CN2017119107

(87)【国際公開番号】WO2018121624

(87)【国際公開日】20180705

【審査請求日】2019年8月14日

(31)【優先権主張番号】201611267452.1

(32)【優先日】2016年12月31日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】▲孫▼ 文▲華▼

(72)【発明者】

【氏名】傅 佳莉

(72)【発明者】

【氏名】廖 衡

(72)【発明者】

【氏名】▲張▼ 慧▲敏▼

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 特開２０１１−２５３３８９（ＪＰ，Ａ）

【文献】 特開２０１６−０１２３４２（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１０３８８１（ＷＯ，Ａ１）

【文献】 国際公開第２００５／０１４２４２（ＷＯ，Ａ１）

【文献】 特開２０１１−２３７９７０（ＪＰ，Ａ）

【文献】 特開２００６−１２３１３６（ＪＰ，Ａ）

【文献】 Phoebe Liuほか，Data-Driven HRI: Learning Social Behaviors by Example From Human-Human Interaction，IEEE TRANSACTIONS ON ROBOTICS，IEEE，２０１８年 ８月３１日，Vol32, No.4，pp.988-1008

【文献】 薮下 剛史，対話事例に基づく機械学習を用いた同調的表情を提示する対話エージェント，［ｏｎｌｉｎｅ］，日本，情報処理学会，２０１７年 ９月１１日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｂ２５Ｊ １３／００

Ｇ０６Ｆ ３／１６

Ｇ０６Ｔ ７／００

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／１０

(57)【特許請求の範囲】

【請求項1】

ヒューマン・マシン・インタラクション方法であって、前記方法は、
対象オブジェクトのコンパニオンオブジェクトの感覚情報と、前記対象オブジェクトが前記コンパニオンオブジェクトと対話するときに取得される前記対象オブジェクトの感情情報とを検出および収集するステップであって、前記感覚情報は、視覚情報と音声情報のうちの少なくとも1つを含み、前記感情情報は、視覚情報と音声情報のうちの少なくとも1つを含む、ステップと、
前記感情情報に基づいて、感情特徴量を抽出し、前記感情特徴量に基づいて、前記コンパニオンオブジェクトと対話したときに前記対象オブジェクトによって使用された感情パターンを決定し、前記感情パターンに基づいて、前記コンパニオンオブジェクトへの前記対象オブジェクトの関心度を決定し、前記関心度に基づいて、前記感覚情報から前記コンパニオンオブジェクトの行動データを抽出し、前記行動データをスクリーニングして、シミュレートオブジェクトデータを取得するステップであって、前記シミュレートオブジェクトデータは、前記コンパニオンオブジェクトをシミュレートするためにロボットによって使用され、前記シミュレートオブジェクトデータは、前記コンパニオンオブジェクトを記述するために使用される、ステップとを含むヒューマン・マシン・インタラクション方法。

【請求項2】

前記行動データをスクリーニングして、シミュレートオブジェクトデータを取得する前記ステップは、
前記行動データをスクリーニングして、行動キー特徴を抽出し、前記行動キー特徴を使用することによって前記シミュレートオブジェクトデータを生成するステップを含み、
前記行動データは身体動作を含み、前記行動キー特徴は、身体キーポイントまたは身体動作ユニットを含み、前記行動キー特徴は、統計学習または機械学習を介して生成され、または、前記行動データは表情を含み、前記行動キー特徴は、部分顔キーポイントまたは顔動作ユニットを含み、前記行動キー特徴は、事前指定または機械学習を介して生成され、または、前記行動データはトーンを含み、前記行動キー特徴は、前記コンパニオンオブジェクトの音声入力における音響信号特徴を含み、前記行動キー特徴は、事前指定または機械学習を介して生成される、請求項1に記載のヒューマン・マシン・インタラクション方法。

【請求項3】

前記方法は、
前記感覚情報および前記感情情報をサービスサーバに送信するステップをさらに含み、
前記感情情報に基づいて、感情特徴量を抽出し、前記感情特徴量に基づいて、前記コンパニオンオブジェクトと対話したときに前記対象オブジェクトによって使用された感情パターンを決定し、前記感情パターンに基づいて、前記コンパニオンオブジェクトへの前記対象オブジェクトの関心度を決定し、前記関心度に基づいて、前記感覚情報から前記コンパニオンオブジェクトの行動データを抽出し、前記行動データをスクリーニングして、シミュレートオブジェクトデータを取得する前記ステップは、
前記シミュレートオブジェクトデータを前記サービスサーバから取得するステップであって、前記シミュレートオブジェクトデータは、前記サービスサーバが、前記感情情報に基づいて、前記感情特徴量を抽出した後に取得され、前記感情特徴量に基づいて、前記コンパニオンオブジェクトと対話したときに前記対象オブジェクトによって使用された前記感情パターンを決定し、前記感情パターンに基づいて、前記コンパニオンオブジェクトへの前記対象オブジェクトの前記関心度を決定し、前記関心度に基づいて、前記感覚情報から前記コンパニオンオブジェクトの前記行動データを抽出し、前記行動データをスクリーニングするステップを含む、請求項1に記載のヒューマン・マシン・インタラクション方法。

【請求項4】

前記行動データをスクリーニングして、シミュレートオブジェクトデータを取得する前記ステップは、
前記行動データをシミュレーション制約条件と照合し、前記シミュレーション制約条件を満たす行動データを使用することによって、前記シミュレートオブジェクトデータを生成するステップを含む、請求項1、2または3に記載のヒューマン・マシン・インタラクション方法。

【請求項5】

前記行動データをスクリーニングして、シミュレートオブジェクトデータを取得する前記ステップは、
前記行動データをデータ端末に送信し、前記データ端末から選択指示を受信し、前記選択指示に基づいて、前記シミュレートオブジェクトデータを生成するステップを含む、請求項1、2または3に記載のヒューマン・マシン・インタラクション方法。

【請求項6】

前記方法は、
環境情報を検出および収集し、または、前記対象オブジェクトの感情情報を再び収集し、現在の対話シナリオを決定するステップと、
前記現在の対話シナリオに基づいて、シミュレートオブジェクトデータベースから、現在の対話において使用されるシミュレートオブジェクトデータを選択するステップと、
前記現在の対話において使用される前記シミュレートオブジェクトデータに基づいて、対応するコンパニオンオブジェクトをシミュレートして、前記対象オブジェクトと対話するステップとをさらに含む、請求項1乃至5のいずれか1項に記載のヒューマン・マシン・インタラクション方法。

【請求項7】

前記コンパニオンオブジェクトは、視聴覚データをさらに含み、前記感覚情報は、前記視聴覚データのビューであり、
前記感情パターンに基づいて、前記コンパニオンオブジェクトへの前記対象オブジェクトの関心度を決定する前記ステップは、
前記感情パターンに基づいて、前記視聴覚データにおける映画およびテレビの役割または映画およびテレビの音への関心度を決定するステップを含む、請求項1に記載のヒューマン・マシン・インタラクション方法。

【請求項8】

前記対象オブジェクトが前記コンパニオンオブジェクトと対話するときに取得される前記対象オブジェクトの感情情報を検出および収集する前記ステップは、
前記対象オブジェクトの顔画像またはビデオを検出および収集するステップを含み、
前記感情情報に基づいて、感情特徴量を抽出し、前記感情特徴量に基づいて、前記コンパニオンオブジェクトと対話したときに前記対象オブジェクトによって使用された感情パターンを決定する前記ステップは、
前記顔画像または前記ビデオから視覚的特徴を抽出し、顔アニメーションパラメータを視覚的感情特徴として取得し、前記抽出された視覚的特徴を視覚的感情特徴データベースと照合して、前記対象オブジェクトの感情特徴を識別し前記感情パターンを決定するステップを含む、請求項1乃至7のいずれか1項に記載のヒューマン・マシン・インタラクション方法。

【請求項9】

コンパニオンロボットであって、前記ロボットは、
対象オブジェクトのコンパニオンオブジェクトの感覚情報と、前記対象オブジェクトが前記コンパニオンオブジェクトと対話するときに取得される前記対象オブジェクトの感情情報とを検出および収集するように構成されるセンサモジュールであって、前記感覚情報は、視覚情報と音声情報のうちの少なくとも1つを含み、前記感情情報は、少なくとも1つおよび視覚情報または音声情報を含む、センサモジュールと、
前記感情情報に基づいて、感情特徴量を抽出し、前記感情特徴量に基づいて、前記コンパニオンオブジェクトと対話したときに前記対象オブジェクトによって使用された感情パターンを決定し、前記感情パターンに基づいて、前記コンパニオンオブジェクトへの前記対象オブジェクトの関心度を決定し、前記関心度に基づいて、前記感覚情報から前記コンパニオンオブジェクトの行動データを抽出し、前記行動データをスクリーニングして、シミュレートオブジェクトデータを取得し、前記シミュレートオブジェクトデータに基づいて、動作指示を生成するように構成されるプロセッサと、
前記プロセッサの前記動作指示を受信し、前記対象オブジェクトと対話するように構成される行動実行モジュールとを含むコンパニオンロボット。

【請求項10】

前記プロセッサは、具体的には、
前記行動データをスクリーニングして、行動キー特徴を抽出し、前記行動キー特徴を使用することによって前記シミュレートオブジェクトデータを生成するように構成され、前記行動データは身体動作を含み、前記行動キー特徴は、身体キーポイントまたは身体動作ユニットを含み、前記行動キー特徴は、統計学習または機械学習を介して生成され、または、前記行動データは表情を含み、前記行動キー特徴は、部分顔キーポイントまたは顔動作ユニットを含み、前記行動キー特徴は、事前指定または機械学習を介して生成され、または、前記行動データはトーンを含み、前記行動キー特徴は、前記コンパニオンオブジェクトの音声入力における音響信号特徴を含み、前記行動キー特徴は、事前指定または機械学習を介して生成される、請求項9に記載のコンパニオンロボット。

【請求項11】

前記ロボットは、
前記シミュレートオブジェクトデータを記録するシミュレートオブジェクトデータベースを記憶するように構成されるメモリをさらに含み、
前記プロセッサは、現在の対話シナリオに基づいて、前記シミュレートオブジェクトデータベースから、現在の対話において使用されるシミュレートオブジェクトデータを選択し、前記シミュレートオブジェクトデータに基づいて、前記行動実行モジュールを制御するようにさらに構成される、請求項9または10に記載のコンパニオンロボット。

【請求項12】

前記ロボットは、
前記対象オブジェクトの前記コンパニオンオブジェクトの前記感覚情報と、前記対象オブジェクトが前記コンパニオンオブジェクトと対話するときに取得される前記対象オブジェクトの前記感情情報とを、サービスサーバに送信し、前記サービスサーバによって送信された前記シミュレートオブジェクトデータを受信するように構成される通信モジュールをさらに含む、請求項9乃至11のいずれか1項に記載のコンパニオンロボット。

【請求項13】

前記プロセッサは、具体的には、前記行動データをシミュレーション制約条件と照合することによって、前記行動データをスクリーニングし、前記シミュレーション制約条件を満たす行動データを使用することによって、前記シミュレートオブジェクトデータを生成するように構成される、請求項9に記載のコンパニオンロボット。

【請求項14】

前記センサモジュールは、環境情報を検出および収集するようにさらに構成され、
前記プロセッサは、前記環境情報および前記感情情報に基づいて、現在の対話シナリオを決定するようにさらに構成される、請求項9または10に記載のコンパニオンロボット。

【請求項15】

コンパニオンロボットであって、前記ロボットは、
対象オブジェクトのコンパニオンオブジェクトの感覚情報と、前記対象オブジェクトが前記コンパニオンオブジェクトと対話するときに取得される前記対象オブジェクトの感情情報とを検出および収集するように構成されるセンサモジュールであって、前記感覚情報は、視覚情報と音声情報のうちの少なくとも1つを含む、センサモジュールと、
前記対象オブジェクトの前記コンパニオンオブジェクトの前記感覚情報と、前記対象オブジェクトが前記コンパニオンオブジェクトと対話するときに取得される前記対象オブジェクトの前記感情情報とを、サービスサーバに送信し、前記サービスサーバによって送信されたシミュレートオブジェクトデータを受信するように構成される通信モジュールであって、前記シミュレートオブジェクトデータは、前記感覚情報および前記感情情報に基づいて、前記サービスサーバによって生成され、前記コンパニオンオブジェクトを記述するために使用される、通信モジュールと、
前記シミュレートオブジェクトデータを取得し、前記シミュレートオブジェクトデータに基づいて、動作指示を生成するように構成されるプロセッサと、
前記プロセッサの前記動作指示を受信し、前記対象オブジェクトと対話するように構成される行動実行モジュールとを含むコンパニオンロボット。

【請求項16】

前記ロボットは、
前記シミュレートオブジェクトデータを記録するシミュレートオブジェクトデータベースを記憶するように構成されるメモリをさらに含み、
前記プロセッサは、現在の対話シナリオに基づいて、前記シミュレートオブジェクトデータベースから、現在の対話において使用されるシミュレートオブジェクトデータを選択し、前記シミュレートオブジェクトデータに基づいて、前記行動実行モジュールを制御するようにさらに構成される、請求項15に記載のコンパニオンロボット。

【請求項17】

前記センサモジュールは、環境情報を検出および収集するようにさらに構成され、
前記プロセッサは、前記環境情報および前記感情情報に基づいて、現在の対話シナリオを決定するようにさらに構成される、請求項15または16に記載のロボット。

【請求項18】

サーバであって、前記サーバは、
対象オブジェクトのコンパニオンオブジェクトの感覚情報と、前記対象オブジェクトが前記コンパニオンオブジェクトと対話するときに取得される前記対象オブジェクトの感情情報とを受信し、シミュレートオブジェクトデータをロボットに送信するように構成される信号トランシーバであって、前記感覚情報および前記感情情報は、前記ロボットによって送信され、前記感覚情報は、視覚情報と音声情報のうちの少なくとも1つを含み、前記シミュレートオブジェクトデータは、前記コンパニオンオブジェクトをシミュレートするために前記ロボットによって使用され、仮想シミュレートオブジェクトデータは前記コンパニオンオブジェクトを記述するために使用される、信号トランシーバと、
前記感情情報から、感情特徴量を抽出し、前記感情特徴量に基づいて、前記コンパニオンオブジェクトと対話したときに前記対象オブジェクトによって使用された感情パターンを決定し、前記感情パターンに基づいて、前記コンパニオンオブジェクトへの前記対象オブジェクトの関心度を決定し、前記関心度に基づいて、前記感覚情報から前記コンパニオンオブジェクトの行動データを抽出し、前記行動データをスクリーニングして、シミュレートオブジェクトデータを取得するように構成されるプロセッサとを含むサーバ。

【請求項19】

前記プロセッサが、具体的には、前記行動データをスクリーニングして、前記シミュレートオブジェクトデータを取得することは、
前記行動データをスクリーニングして、行動キー特徴を抽出し、前記行動キー特徴を使用することによって前記シミュレートオブジェクトデータを生成することを含み、前記行動データは身体動作を含み、前記行動キー特徴は、身体キーポイントまたは身体動作ユニットを含み、前記行動キー特徴は、統計学習または機械学習を介して生成され、または、前記行動データは表情を含み、前記行動キー特徴は、部分顔キーポイントまたは顔動作ユニットを含み、前記行動キー特徴は、事前指定または機械学習を介して生成され、または、前記行動データはトーンを含み、前記行動キー特徴は、前記コンパニオンオブジェクトの音声入力における音響信号特徴を含み、前記行動キー特徴は、事前指定または機械学習を介して生成される、請求項18に記載のサーバ。

【請求項20】

前記サーバは、
前記シミュレートオブジェクトデータを記録するシミュレートオブジェクトデータベースを記憶するように構成されるメモリをさらに含み、
前記プロセッサは、現在使用されているシミュレートオブジェクトデータを前記シミュレートオブジェクトデータベースから取得するか、または、現在使用されているシミュレートオブジェクトデータに基づいて動作指示を生成するようにさらに構成され、
前記信号トランシーバは、前記現在使用されているシミュレートオブジェクトデータまたは前記動作指示を前記ロボットに送信するようにさらに構成される、請求項18または19に記載のサーバ。

【請求項21】

前記プロセッサは、具体的には、前記行動データをシミュレーション制約条件と照合することによって、前記行動データをスクリーニングし、前記シミュレーション制約条件を満たす行動データを使用することによって、前記シミュレートオブジェクトデータを生成するように構成される、請求項19または20に記載のサーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能デバイスに関し、詳細には、学習能力を有する教育コンパニオンロボットに関する。

【背景技術】

【0002】

業界における既存のインテリジェントロボットは、社会的感情認識および表現能力を有し、クラウドコンピューティング、ロボット学習技術および音声認識および顔認識等の技術を使用することによって、人々の特徴および感情について学習して、人々との、娯楽的対話の実行、感情の表現、感情の交換等を行う。人工知能の発展および社会的要求は、子供教育ロボットおよびコンパニオンロボットの出現を伴う。しかしながら、ほとんどの現在の子供ロボットは、例えば、単純な動き、会話または読み聞かせ等の単純な音声または行動の対話を実行し、子供に興味を持たせるオブジェクトのための機械学習を実行することはできない。ロボットが、子供達と感情的に対話し、成長を支援することは困難である。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の実施形態は、コンパニオンロボット、特に子供達用の教育ロボットを提供する。本発明の実施形態で提供されるロボットは、長時間の学習を介して、子供の興味および習慣について学習することができ、成長過程において子供の嗜好が絶えず変化することに基づいて、子供が好むコンテンツを適応的に選択して、子供と対話する。さらに、ロボットは、親または保護者によって制御されてよく、親によって承認されたコンテンツを選択して、子供と対話してもよい。ロボットは、子供および親の要求を読み、子供の成長を助け、子供に興味を持たせるオブジェクトを子供と共有することができる。本発明の本実施形態では、ロボットが伴うオブジェクトはまた、コンパニオン対象または対象オブジェクトと呼ばれ、子供であってもよい。実生活においては、対象オブジェクト（子供）の介護者または保護者は、対象オブジェクト（子供）のコンパニオンオブジェクトと呼ばれる。本発明の本実施形態によると、コンパニオンロボットは、子供が反応した周囲のイベントおよびコンパニオンオブジェクトを画像から抽出し、適切なデータをスクリーンアウトし、シミュレートオブジェクトデータを分類する。シミュレートオブジェクトデータは、デジタルヒューマンまたはデジタルヒューマンリソースと呼ばれてよい。シミュレートオブジェクトデータは、コンパニオンオブジェクトをシミュレートまたは記述するために使用される。ロボットは、シミュレートオブジェクトデータを使用することによって、コンパニオンオブジェクトをシミュレートして、実際に子供の保護者または親をシミュレートし、子供と対話する。本発明の本実施形態におけるコンパニオンロボットは、子供と感情を交換し、成長教育を支援することができる。

【0004】

本発明の本実施形態におけるコンパニオンロボットは、最初に、対象オブジェクトのコンパニオンオブジェクトの感覚情報と、対象オブジェクトがコンパニオンオブジェクトと対話するときに取得される対象オブジェクトの感情情報とを検出および収集する。センサモジュールは、ロボット上に配置される。センサモジュールは、カメラ、加速度センサおよびジャイロスコープ等の様々な適切なセンサを含んでよい。センサモジュールは、カメラまたは別のセンサを使用することによって、コンパニオンオブジェクトの画像、ビデオまたは音を収集して、コンパニオンオブジェクトの感覚情報を取得してよく、環境画像またはビデオをさらに収集して、感覚画像を充実させてもよい。センサモジュールは、カメラまたは別のセンサを使用することによって、対象オブジェクトの画像、ビデオ等を収集して、対象オブジェクトの感情情報内にコンテンツを記録する。

【0005】

ロボットは、感情情報に基づいて、感情特徴量を抽出し、感情特徴量に基づいて、コンパニオンオブジェクトと対話するために対象オブジェクトによって使用される感情パターンを決定し、感情パターンに基づいて、コンパニオンオブジェクトへの対象オブジェクトの関心度を決定し、関心度に基づいて、感覚情報からコンパニオンオブジェクトの行動データを抽出し、行動データをスクリーニングして、シミュレートオブジェクトデータを取得する。シミュレートオブジェクトデータは、コンパニオンオブジェクトを記述するために使用される。

【0006】

可能な実施では、対象オブジェクト（子供）がコンパニオンオブジェクト（親）と対話するとき、ロボットは、対象オブジェクト（子供）の感情と、子供に笑う、怒る等させる親の行動または音声を取得してよい。ロボットは、対象オブジェクトの感情情報を使用することによって、愉悦、喜び、恐怖または嫌悪等の対象の感情パターンを決定してよく、分析を介して、対象オブジェクトの感情変化プロセス等をさらに取得してよい。例えば、ロボットは、子供を幸せにする行動方式をキャプチャして、この行動方式の行動データを取得してよく、子供に嫌悪感を感じさせる行動方式をキャプチャして、この行動方式の行動データを取得してよく、子供にわずかな反応を起こさせる行動方式をキャプチャして、この行動方式の行動データを取得してよい。ロボットは、子供の興味が変化するプロセスまたは包括的な反応態度に基づいて、人、物または行動への子供の関心度を決定する。ロボットは、対象オブジェクトの感情を使用することによって、対象が対話オブジェクトに興味があるかどうかを判定し、関心度を記録してよい。ロボットは、関心度に基づいて、コンパニオンオブジェクトの行動データから行動データをスクリーンアウトする。行動データは、表情、身体動作、トーン等を含んでよい。例えば、ロボットは、対象オブジェクトに興味を持たせる行動をスクリーンアウトし、行動を記述するために使用される行動データを使用することによって、シミュレートオブジェクトデータを生成してよい。その後、ロボットは、仮想シミュレートオブジェクトに基づいて、対話オブジェクトをシミュレートしてよい。

【0007】

可能な実施では、行動データは、関心度に基づいてスクリーンアウトされる必要はなく、ロボットは、感情パターンに基づいて、感覚情報からコンパニオンオブジェクトの行動データを抽出する。このようにして、子供が特定の感情に入るようにするために使用されるシミュレートオブジェクトデータが生成されることができる。この方式では、ロボットは、人または物への子供の関心度を全体的に評価するのではなく、代わりに、ロボットは、子供が感情に入るようにするシミュレートオブジェクトデータを直接作成し、子供を直接なだめ、または子供を教育する。ロボットは、シミュレートオブジェクトデータに基づいて、現実に人または物をシミュレートする。

【0008】

ロボットは、シミュレートオブジェクトデータに基づいて、コンパニオンオブジェクトをシミュレートしてよく、例えば、特に子供の母親が一時的にいないときに、子供の母親を直接シミュレートして、子供と対話してよい。あるいは、子供が特定の漫画人形に特に興味があるとき、ロボットは、漫画人形に対応するシミュレートオブジェクトデータを作成し、漫画人形をシミュレートして、子供と対話してよい。あるいは、ロボットは、特定のタスクをシミュレートし、子供と対話するときに子供を教育し、子供の成長または知識学習を支援してよい。

【0009】

本発明の本実施形態におけるコンパニオンロボットは、データ処理部をサーバにさらに配分してよい。ロボットは、対象オブジェクトのコンパニオンオブジェクトの感覚情報と、対象オブジェクトがコンパニオンオブジェクトと対話するときに取得される対象オブジェクトの感情情報とを収集し、感覚情報および感情情報をサービスサーバに送信することを担当する。サービスサーバは、情報分析を完了して、シミュレートオブジェクトデータを生成する。次いで、シミュレートオブジェクトデータは、ロボットに送信される。シミュレートオブジェクトデータを取得した後、ロボットは、シミュレートオブジェクトデータに基づいてコンパニオンオブジェクトをシミュレートして、コンパニオン対象と対話する。

【0010】

本発明の本実施形態におけるロボットは、子供が好むコンテンツを適応的に選択して、子供と対話することができ、対話中に子供の感情に基づいて適切なコンパニオンオブジェクトを選択してシミュレートすることができる。

【0011】

様々な適切な実施では、行動データをスクリーニングして、シミュレートオブジェクトデータを取得するステップの可能な実施は、行動データをスクリーニングして、行動キー特徴を抽出し、キー特徴を使用することによってシミュレートオブジェクトデータを生成するステップを含んでよく、ここで、行動データは身体動作を含み、行動キー特徴は、身体キーポイントまたは身体動作ユニットを含み、キー特徴は、統計学習または機械学習を介して生成され、または、行動データは表情を含み、行動キー特徴は、部分顔キーポイントまたは顔動作ユニットを含み、キー特徴は、事前指定または機械学習を介して生成され、または、行動データはトーンを含み、行動キー特徴は、コンパニオンオブジェクトの音声入力における音響信号特徴を含み、キー特徴は、事前指定または機械学習を介して生成される。

【0012】

行動データをスクリーニングして、シミュレートオブジェクトを取得するステップの可能な実施は、サービス、保護者またはシステムによって、シミュレーション制約条件を事前に決定し、行動データをシミュレーション制約条件と照合し、シミュレーション制約条件を満たす行動データを使用することによって、シミュレートオブジェクトデータを生成するステップであってよい。実際には、対話中に子供に興味を持たせたり、または、子供を比較的幸せに感じさせる、物、音声/ビデオ素材等は、子供の成長にとって有益でない場合があり、従って、子供がデータに興味があったとしても除去される必要があるいくつかのデータは、制約条件を使用することによるスクリーニングを介して除去される。あるいは、子供はその行動データにあまり興味を持たないかもしれないが、そのデータが子供の成長に有益であり、または、子供の誤った認識を正すことができ、従って、子供の関心度が低い行動データは、制約条件を使用することによって、シミュレートオブジェクトデータを生成するために使用されるソースデータ内に置かれ得る。より直接的な方式では、行動データは、データ端末に送信され、データ端末の選択指示が受信され、選択指示に基づいて、シミュレートオブジェクトデータが生成される。データ端末は、スマートフォンまたはスマートフォン上のアプリケーションであってよい。親または保護者は、データ端末に対する操作を直接実行し、データ端末によって送信された選択命令を使用することによってシミュレートオブジェクトデータを生成する。

【0013】

可能な実施では、データ端末はロボットと通信してよい。データ端末は、ロボットに指示を直接送信し、子供と対話する特定のオブジェクトまたは方式をシミュレートしてよい。ロボットが指示を受信して動作するモードが入力される。このようにして、データ端末ホルダ（親または別の保護者）は、より具体的な要件に基づいて、ロボットが子供と対話することを可能にすることができる。

【0014】

可能な実施では、ロボットは、シミュレートオブジェクトデータを記憶して、シミュレートオブジェクトデータベースを生成し、または、シミュレートオブジェクトデータをサービスサーバに送信して、サービスサーバ上にシミュレートオブジェクトデータベースを作成してよい。新たなシミュレートデータは、シミュレートオブジェクトデータベースに絶えず追加されてよい。ロボットが特定のコンパニオンオブジェクトをシミュレートする必要があるとき、ロボットは、シミュレートオブジェクトデータベースから適切な、または対応するシミュレートオブジェクトデータを直接選択して、コンパニオンシミュレ―ションを実行してよい。

【0015】

ロボットと子供との間の対話中、現在のシナリオまたは要件に基づいて、ロボットは、人または物を適応的に選択してシミュレートしてよく、または、音声/ビデオ素材を能動的に再生するように適応的に選択してよい。すなわち、ロボットは、対象オブジェクトの感情情報を再び収集し、または、子供の現在の感情、現在の環境等を絶えず収集し、現在の対話シナリオを決定し、現在の対話シナリオに基づいて、シミュレートオブジェクトデータベースから、現在の対話において使用されるシミュレートオブジェクトデータを選択し、現在の対話において使用されるシミュレートオブジェクトデータに基づいて、対応するコンパニオンオブジェクトをシミュレートして、対象オブジェクトと対話する。

【0016】

本発明の実施形態は、サービスサーバをさらに提供する。サーバは、処理能力および処理機能を有するプロセッサを含み、前述の解決手段におけるロボットとの対話における各方法ステップまたは機能を実行する。

【0017】

本発明の実施形態は、前述の発明内容に基づく、コンパニオンロボット、サーバおよびヒューマン・マシン・インタラクション方法を提供する。ロボットは、コンパニオン対象が反応する周囲のイベントを画像から抽出し、適切なデータをスクリーンアウトし、適切なデータを対話のために子供に表示または再生し、感情的知覚に基づいて、対象オブジェクトと対話するコンテンツをスクリーンアウトする。従って、よりインテリジェントなコンパニオン機能が実施される。

【図面の簡単な説明】

【0018】

本発明の実施形態における技術的解決手段をより明確に説明するために、以下では、実施形態を説明するために必要とされる添付図面を簡潔に説明する。明らかに、以下の説明における添付図面は、単に、本発明のいくつかの実施形態を示し、当業者は、創造的努力無しにこれらの添付図面から他の図面をさらに導出することができる。

【0019】

【図1】図1は、本発明の実施形態に係る、使用環境のコンパニオンロボットおよびシステムアーキテクチャの概略図である。

【図2】図2は、本発明の実施形態に係る、コンパニオンロボットの製品形状の概略図である。

【図3】図3は、本発明の実施形態に係る、コンパニオンロボットの構成要素の概略図である。

【図4】図4は、本発明の実施形態に係る、ヒューマン・マシン・インタラクション方法のフローチャートである。

【図5】図5は、本発明の実施形態に係る、サービスサーバの概略構成図である。

【発明を実施するための形態】

【0020】

本発明の実施形態の目的、技術的解決手段および利点をより明確にするために、以下では、本発明の実施形態における添付図面を参照して、本発明の実施形態の技術的解決手段を詳細にさらに説明する。明らかに、説明される実施形態は、本発明の実施形態の単なる一部であるが、その全てではない。

【0021】

図1は、本発明の使用環境のコンパニオンロボットおよびシステムアーキテクチャを示す。図1における使用環境は、任意のシナリオ（例えば、コミュニティ、道路、行政区、州、国、国を越えたシナリオ、または、さらにグローバルなシナリオ）に適用可能であり、以下のユニット：少なくとも1人の子供303、子供対話ロボット302および少なくとも1つの屋内無線アクセスネットワーク304を含む家族または保育施設301；親306（父親または母親、肉親者、別の保護者等）および親のポータブルインテリジェント端末305；インテリジェント端末305に遠隔無線ネットワークアクセスサービスを提供する屋外無線アクセスネットワーク307；保育サービスのための専門的なデータサービスを提供し、子育てクラウドサーバ317、子育てモデルデータベース308および保育知識ベース309を含む保育サービス施設316、天気予報、医療施設のリスト、感染症状況情報、緊急通知等を含むがこれらに限定されない、保育サービスのための政府公共データサポートを提供し、社会公共サービスクラウドサーバ311および社会公共サービスクラウドデータベース312を含む、社会公共サービス施設310；インスタントメッセージング、保育サービスソーシャルアプリケーション、ネットワーク音声/ビデオサービス、オンラインショッピング、支払および物流追跡またはコミュニティおよび医療機関へのコメントおよび投票等の洗練された専門的なネットワーククラウドデータサービスを提供し、サードパーティネットワークサービスクラウドサーバ314およびサードパーティネットワークサービスクラウドデータベース315を含む、少なくとも1つのサードパーティネットワーククラウドサービス施設312を含む。使用環境のシステムアーキテクチャは、ネットワークサービスを提供するためにネットワークオペレータによって使用されるインターネット320をさらに含む。

【0022】

本発明の実施形態において実施される製品形状が図2における400として示され、対象オブジェクトにグラフィック画像情報を表示し、ユーザからタッチ制御信号を受信するように構成されるタッチディスプレイスクリーン401；対象オブジェクトに音出力信号を提供するように構成されるスピーカーモジュール407；音、表情または行動等の、対象オブジェクトの特徴を検出するように構成されるマイクロフォンアレイおよびセンサモジュール402；対象オブジェクトに簡単な操作指示を提供し、緊急の場合にはユーザの割込み指示に応答するように構成される開始/一時停止/緊急ボタン403；マイクロフォンアレイおよびセンサモジュール402によって入力されるユーザ状態信号、ボタン403のユーザ操作指示、ネットワークからの世話されている子供の保護者要求情報、ネットワークからの保育サービス施設のサービス指示、サードパーティネットワーククラウドサービスデータ等に基づいて、保育ロボットへの制御指示を計算および出力するように構成される処理および操作モジュール404を含む。保育ロボットは、音、画像、身体動作および動き等を出力する。保育ロボットは、クローラタイプ/ホイールタイプのモバイル機械装置405および機械式アーム406をさらに含む。

【0023】

本発明では、実行可能な製品形状はロボットである。図3は、メインボード510および別の周辺機能構成要素を含む、ロボットのコア構成要素「処理および操作モジュール」404の実行可能な実施を示す。センサモジュール501およびボタン502の両方は、メインボード510のI/Oモジュールに接続されている。マイクロフォンアレイ503は、メインボード510の音声/ビデオ符号化/復号化モジュールに接続されている。メインボード510のタッチディスプレイコントローラは、タッチディスプレイスクリーン504のタッチ入力を受信し、ディスプレイ駆動信号を提供する。モータサーボコントローラは、プログラム命令に基づいてモータおよびエンコーダ507を駆動し、クローラタイプ/ホイールタイプモバイル機械装置405および機械式アーム406を駆動して、ロボットの動きおよび身体言語を形成する。音声/ビデオ符号化/復号化モジュールの出力が、電力増幅器を使用することによって、スピーカ508にプッシュされた後に音が取得される。ハードウェアシステムは、メインボード510上にプロセッサおよびメモリをさらに含む。アルゴリズム、実行プログラムおよびロボットの設定ファイルに加えて、メモリはまた、ロボットがケアを実行するときに必要とされる音声、ビデオ、画像ファイル等を記録し、プログラム実行中に生成されるいくつかの一時ファイルをさらに含む。メインボード510の通信モジュールは、ロボットと外部ネットワークとの間の通信の機能を提供し、Bluetooth（登録商標）モジュールまたはWiFiモジュール等の近距離通信モジュールであってよい。メインボード510は、バッテリの充電および放電、ならびに、接続された電力システム505を使用することによるデバイスのエネルギー節約管理を実施するように構成される電力管理モジュールをさらに含む。プロセッサは、最もコアな構成要素であり、操作および処理能力を有し、別の構成要素との協調を管理および制御する。

【0024】

ロボットのセンサモジュール501は、対象オブジェクトのコンパニオンオブジェクトの感覚情報と、対象オブジェクトがコンパニオンオブジェクトと対話するときに取得される対象オブジェクトの感情情報とを検出および収集する。感覚情報は、視覚情報と音声情報のうちの少なくとも1つを含み、感情情報は、視覚情報と音声情報のうちの少なくとも1つを含む。音声、ビデオまたは画像はカメラによってキャプチャされてよく、検出および収集は、代替的に、別のセンサによって完了されてよく、または、別のセンサとの協調を介して完了されてよい。プロセッサは、感情情報に基づいて、感情特徴量を抽出し、感情特徴量に基づいて、コンパニオンオブジェクトと対話するために対象オブジェクトによって使用される感情パターンを決定し、感情パターンに基づいて、コンパニオンオブジェクトへの対象オブジェクトの関心度を決定し、関心度に基づいて、感覚情報からコンパニオンオブジェクトの行動データを抽出し、行動データをスクリーニングして、シミュレートオブジェクトデータを取得し、シミュレートオブジェクトデータに基づいて、動作指示を生成する。行動実行モジュールは、プロセッサの動作指示を受信し、対象オブジェクトと対話するように構成される。行動実行モジュールは、クローラタイプ/ホイールタイプモバイル機械装置405、機械式アーム406およびタッチディスプレイスクリーン401およびマイクロフォン等、外部と対話することができる構成要素を含んでよい。

【0025】

さらに、別の実施では、ロボットのプロセッサは、単純な処理機能のみを有し、シミュレートオブジェクトデータは、サービスサーバによって処理される。通信モジュールは、ロボット上にさらに配置され、アンテナおよびサービスサーバを使用することによって、インテリジェント端末等と通信する。通信モジュールは、対象オブジェクトのコンパニオンオブジェクトの感覚情報と、対象オブジェクトがコンパニオンオブジェクトと対話するときに取得される対象オブジェクトの感情情報とを、サービスサーバに送信し、サービスサーバによって送信されたシミュレートオブジェクトデータを受信する。次いで、プロセッサは、シミュレートオブジェクトデータを取得し、シミュレートオブジェクトデータに基づいて、動作指示を生成する。

【0026】

ロボット上にはメモリがさらに配置され、メモリは、シミュレートオブジェクトデータベースを格納して、シミュレートオブジェクトデータを記録する。

【0027】

図4を参照すると、図4は、本発明の実施形態に係る、ロボットと対象オブジェクトとの間の対話のための方法のフローチャートである。例を使用して説明が提供される。例えば、対象オブジェクトは子供である。

【0028】

S101. 対象オブジェクトのコンパニオンオブジェクトの感覚情報と、対象オブジェクトがコンパニオンオブジェクトと対話するときに取得される対象オブジェクトの感情情報とを検出および収集する。

【0029】

感覚情報は、視覚情報と音声情報のうちの少なくとも1つを含み、感情情報は、視覚情報と音声情報のうちの少なくとも1つを含む。カメラは、機械を使用することによって開始されてよく、子供の日常を監視し、子供の表情、心拍、目の表情等を監視し、子供の感情を決定し、子供の感情情報を取得するためにその感情に対応する瞬間に画像をさらにキャプチャする。

【0030】

ロボットは、子供の行動（表情、動作等）に基づいて現在の瞬間に画像またはビデオをキャプチャしてよい。キャプチャされた画像は、1つの画像であってよく、またはいくつかの画像、ある期間におけるビデオ等であってよい。画像コンテンツは、子供の行動、周囲の環境、子供に興味を与えるイベント等を含んでよい。キャプチャされた画像は、ロボット上にローカルに記憶されてよく、または、クラウドサーバにアップロードされてよい。

【0031】

S102. 感情情報に基づいて、感情特徴量を抽出し、感情特徴量に基づいて、コンパニオンオブジェクトと対話するために対象オブジェクトによって使用される感情パターンを決定し、感情パターンに基づいて、コンパニオンオブジェクトへの対象オブジェクトの関心度を決定し、関心度に基づいて、感覚情報からコンパニオンオブジェクトの行動データを抽出し、行動データをスクリーニングして、シミュレートオブジェクトデータを取得する。

【0032】

シミュレートオブジェクトデータは、コンパニオンオブジェクトをシミュレートするためにロボットによって使用され、シミュレートオブジェクトデータは、コンパニオンオブジェクトを記述するために使用される。シミュレートオブジェクトデータは、デジタルヒューマンデータまたはデジタルヒューマンリソースであると考えられ得る。シミュレートオブジェクトデータが取得されたとき、データからデジタルヒューマン画像が取得されることができる。

【0033】

さらに、実施では、行動データをスクリーニングして、シミュレートオブジェクトデータを取得するステップは、行動データをスクリーニングして、行動キー特徴を抽出し、キー特徴を使用することによってシミュレートオブジェクトデータを生成するステップであってよい。行動データは身体動作を含み、行動キー特徴は、身体キーポイントまたは身体動作ユニットを含み、キー特徴は、統計学習または機械学習を介して生成され、または、行動データは表情を含み、行動キー特徴は、部分顔キーポイントまたは顔動作ユニットを含み、キー特徴は、事前指定または機械学習を介して生成され、または、行動データはトーンを含み、行動キー特徴は、コンパニオンオブジェクトの音声入力における音響信号特徴を含み、キー特徴は、事前指定または機械学習を介して生成される。

【0034】

例えば、感覚情報（例えば、ビデオまたは画像）から視覚的特徴を抽出するための方法は、顔の83個のキー特徴ポイントが最初に制約付きベイジアン形状モデル方法を使用することによって追跡され、次いで、頭の三次元剛体運動と三次元柔軟顔変形が最小エネルギー関数法を使用することによって推定されることである。形成された三次元グリッド画像について、7個の行動単位ベクトル（AUV）、AUV6-目を閉じる、AUV3-眉が垂れる、AUV5-眉の外側が上がる、AUV0-上唇が上がる、AUV2-唇を伸ばす、およびAUV14-口唇角が垂れる、が使用される。各AUVは、ユニットの全てのグリッド頂点の座標変位を含む列ベクトルである。ビデオシーケンスが、Candide-3顔モデルを使用することによるフィッティングを介して入力される一方で、これらのAUVのアニメーションパラメータもまた取得され得る。従って、ビデオ内の各画像について、7次元の顔アニメーションパラメータが視覚的感情特徴として最終的に得られる。

【0035】

感情特徴次元縮小は、主成分分析（PCA）および線形判別分析（LDA）等の線形次元縮小方法およびIsomapおよび局所線形埋込み（LLE）等の非線形多様次元縮小方法を含み、その結果、低次元空間における特徴は、高次元空研における特徴の幾何学的関係をより良く維持する。

【0036】

連続的感情記述空間の理論的方法は、連続的感情記述において、異なる感情は徐々に滑らかに変化し、感情的状態は、特定の次元数を有する空間座標点と一対一で対応していると考えられることを示す。比較的一般的な連続感情記述モデルは、感情ホイール（Emotion Wheel）理論および三次元興奮-喜び-制御度記述を含む。感情ホイール理論は、感情が循環構造で分布すると考える。構造中心は自然の起源、すなわち、様々な感情的要因を有する状態である。しかしながら、これらの感情的要因は、この時点では非常に力が弱いため、反映されることができない。自然の起源は、異なる感情を明らかにするために異なる方向に拡張し、同じタイプの感情のレベルは、感情的な強さの変化としてさらに分類される。加えて、同じタイプの感情における強度の変化が説明のために第3の次元として使用され、感情ホイール概念は、三次元空間に拡張される。二次元（三次元）感情空間および感情ホイールの記述に基づいて、ビデオ内の感情関連特徴は空間とマッチングされ、その結果、感情は効果的に記述または分類されることができる。

【0037】

抽出された特徴は、視覚的感情特徴データベース、例えば、Cohn-Kanadeビデオ感情データベースと照合されて、子供の対応する感情的特徴を識別する。

【0038】

物は、ロボットによってキャプチャされた画像またはビデオから抽出され、子供に興味を持たせるオブジェクトは、感情的特徴を使用することによって識別されて、シミュレートオブジェクトデータを生成する。ロボットは、シミュレートオブジェクトデータに基づいてオブジェクトに関するデータをシミュレートし、次いで、子供と対話する。

【0039】

物は、既存の画像/ビデオ認識アルゴリズムを使用することによって抽出されてよい。操作は、ロボットによってローカルに実行されてよく、または、画像またはビデオは、サーバにアップロードされてよく、サーバは操作を実行する。子供が見ているコンテンツ、子供と対話している人物等が抽出されることができる。

【0040】

子供に興味を持たせ、子供と対話する人の表情、音声、行動などが抽出される。ロボットは、学習を介して適切なデータを取得して、子供と対話する。子供に興味を持たせる人（コンパニオンオブジェクトB）について、ロボットは、コンパニオンオブジェクトBの会話内容、身体動作、表情およびトーンを取得する。ロボットは、コンパニオンオブジェクトBの身体動作、表情およびトーンに対して実行される機械学習およびトレーニングを介して、子供と対話するために使用されるモデルを生成する。

【0041】

表情の対話が例として使用され、具体的には、子供Aが興味を示したとき、第1のオブジェクトの表情を収集するステップと、子供に興味を持たせるか、または興味を持たせない表情の各顔動作を抽出するステップと、SVM、RFまたはディープラーニング等の分類アルゴリズムを使用することによって、顔動作を、子供に興味を持たせる顔動作、または子供に興味を持たせない顔動作に分類するステップと、ロボットの表情合成のために、子供に興味を持たせる顔動作を選択するステップと、学習された表情を使用することによって、ロボットによって、子供と対話するステップとを含んでよい。

【0042】

具体的には、顔の表情データが抽出され学習されてよい。例えば、眉の内側が上がっている、眉の外側が上がっている、眉が垂れている、上瞼が上がっている、頬が上がっている、瞼が収縮している、瞼が引き締まっている、鼻が上がっている、上唇が上がっている、口角が引いている、口角が収縮している、口角の下部が上がっている、口が引いている、口が開いている、顎が下がっている、を含む顔動作の14個のグループがある。

【0043】

音声対話が例として使用され、具体的には、子供Aが興味を示すときに、第1のオブジェクトの音声信号を収集するステップと、子供Aに興味を持たせる音声信号の各音響信号を抽出するステップと、子供Aに興味を持たせる音響信号の特徴に関する統計を収集するステップと、子供Aに興味を持たせる音響信号の特徴を使用することによって、ロボット音声を合成するステップと、学習された音声を使用することによって、ロボットによって、子供と対話するステップとを含んでよい。

【0044】

具体的には、基本周波数、話速、および無声音と有声音の比等の情報を含む音響データが、抽出されて学習されてよい。例えば、基本周波数信号は、全ての有声フレームの基本周波数の合計を計算し、次いで、その合計を有声フレームの数で割ることによって取得される。異なる感情的状態において、3つの統計パラメータ：基本周波数の平均、範囲および分散は、極めて類似した分布傾向を有する。驚きは最大基本周波数平均を有し、次に喜びと怒りが続き、悲しみは、最低基本周波数平均を有する。無声音と有声音の比は、有声セグメントと無声セグメントの時間比である。喜び、怒りおよび驚きは、平穏よりも、わずかに高い無声音と有声音の比を有し、平穏は、恐怖および悲しみよりもわずかに高い無声音と有声音の比を有する。話速は、単語数と文章に対応する音声信号期間の比によって表される。怒りと驚きの場合の話速は最も高く、次に喜びと平穏が続き、恐怖と悲しみの場合の話速が最も低い。従って、異なる感情は、前述の音響信号を使用することによって識別されることができる。

【0045】

身体動作の対話が例として使用され、具体的には、子供Aが興味を示したとき、または興味を示さなかったとき、第1のオブジェクトの身体動作を収集するステップと、子供に興味を持たせるか、または興味を持たせない表情のケースにおける各身体動作ユニットを抽出するステップと、SVM、RFまたはディープラーニング等の分類アルゴリズムを使用することによって、身体動作ユニットを、子供に興味を持たせる身体動作ユニットおよび子供に興味を持たせない身体動作ユニットに分類するステップと、ロボットの身体動作合成のために、子供に興味を持たせる身体動作ユニットを選択するステップと、学習された身体動作を使用することによって、ロボットによって、子供と対話するステップとを含んでよい。

【0046】

具体的には、身体動作データが抽出されて学習されることができる。例えば、身体を前方に傾ける、頭が揺れ動く、うなずく、頭を振る、手を挙げる、手をたたく、掴む、歩く、しゃがむ等を含む動作ユニットの20個のグループがある。頭（4）、胸腹部（7）および腕（各側6個、合計で12個）、および脚（各側6個、合計で12個）を含む35個のキーポイントがある。

【0047】

子供に興味を持たせる映画の中のピクチャ/ビデオが取られる。ロボットは、学習を介して適切なデータを取得して、子供と対話する。さらに、日常生活において、ロボットは、子供の行動情報を検出および収集して、ここで使用される方式は、子供の感情情報の収集の前述の方式と同じであってよい。具体的には、同じ検出および収集プロセスが使用され、または同じ収集元がある。子供の感情を決定すること、および子供のコンパニオンオブジェクトに関して学習することに加えて、ロボットは、子供の現在の状態を決定するために収集された情報をさらに分析し、現在の対話シナリオ、例えば、子供が現在一人で遊んでいるか、または現在親を伴っているかを決定してよい。ロボットは、現在の対話シナリオに基づくシミュレートオブジェクトデータベースから、現在の対話において使用されるシミュレートオブジェクトデータを選択し、現在の対話において使用されるシミュレートオブジェクトデータに基づいて、対応するコンパニオンオブジェクトをシミュレートして、子供と対話してよい。例えば、子供が現在、子供が母親を恋しがっているが、母親がいないと言っている場合、ロボットは、母親に関する以前の学習を介して生成された、母親に対応するシミュレートオブジェクトデータに基づいて、母親をシミュレートして、子供と対話することができる。あるいは、子供が親と対話しているプロセスにおいて、子供が特定の知識または特定の現象に興味を示すとき、ロボットは、関連するシミュレートオブジェクトデータを選択して、対応するコンパニオンオブジェクトをシミュレートして、子供と対話してよい。

【0048】

サーバまたはロボットは、映画内の受信されたピクチャ/ビデオに基づく分析を介して、子供が見ている映画の名前を取得し、子供の動作のピクチャ/ビデオ/音声に基づく分析を介して、子供が映画内の人物を好むかどうかを取得し、その結果、サーバまたはロボットは、子供が見ている映画の名前、子供のアイドルの名前および子供のアイドルの断片でさえも取得する。例えば、ロボットは、分析を介して、子供が「アナと雪の女王（Frozen）」を見ることが好きであり、王女エルサを好きであることを取得する。サーバは、映画の名前およびアイドルの名前の情報に基づいて、インターネット上でアイドル情報を問い合わせて、アイドル情報に基づいてそのアイドルをモデル化し、その結果、ロボットは、子供に興味を持たせるアイドルをシミュレートすることができる。

【0049】

ロボットによってシミュレートされるオブジェクトのデータ処理は、子供に興味を持たせるオブジェクトが、ロボットのローカルデータベースに記憶されてよいことである。子供に興味を持たせないオブジェクトについては、子供の年齢に適したポジティブな物が選択され、子供が見るために再生またはシミュレートされる。

【0050】

子供の異なる表情でキャプチャされた画像は、異なる方式で操作される。子供が喜び、驚き等の表情を示すとき、子供が現在の物に興味を持っていることを示すが、物は、子供にとって必ずしも適しているわけではない。この場合、適切なデータが、子供との対話のために選択される必要がある。子供が怒りや嫌悪等の表情を示すとき、子供は現在の物を好きでないことを示すが、現在の物は子供の成長にとって有益であり得る。この場合、ロボットは、子供の成長を導くために、物のデータを使用することによって、子供と対話する必要がある。例えば、子供に興味を持たせる物については、物が歴史的に興味を持たれているかどうかが判定される。物が歴史的に興味を持たれている場合、ロボットは、関連データについてローカルデータベースを直接検索してよく、子供の年齢に合ったデータを選択して、次いで、子供と対話してよい。

【0051】

例えば、画像から、子供が「星の王子さま（The Little Prince）」を読んでいると検出されたとき、ロボットは、「星の王子さま」に関するデータについてローカルデータベースを検索する。ロボットがコンテンツを見つけることができた場合、「星の王子さま」は歴史的に興味を持たれていたことを示し、ロボットは、ローカルデータベース内のデータ（「星の王子さま」のイラスト、アニメビデオ、ストーリーボイス等）を子供が見るために直接再生またはシミュレートしてよい。

【0052】

物が初めて出現した（ローカルデータベース内に関連情報がない）場合、ロボットは、その物によって、子供に及ぼされた影響を判定する必要があり、ポジティブな情報を選択する。具体的な方法は、ネットワークサーバを使用することによる検索を介して、物の素材または紹介を取得し、物の特徴を決定することであってよい。例えば、画像において、子供がアニメ映画「コナン」を見ていると検出され、ロボットが、ネットワークサーバを使用することによって、この映画が6歳未満の子供には適さないいくつかの暴力的な内容を有するとわかったとき、ロボットはそのコンテンツを無視する。画像において、子供がアニメ映画「シーヤンヤンとホイタイラン（Pleasant Goat and Big Big Wolf）」を見ていると検出され、ロボットが、ネットワークサーバを使用することによって、この映画が5歳未満の子供に適していることがわかったとき、ロボットは、「シーヤンヤンとホイタイラン」に関するデータをローカルにダウンロードして、いつでも子供と対話する。

【0053】

ロボットは、物が子供と対話するために使用されることができるかどうかを親と直接確認する。親からの承認を得た後、ロボットは、ネットワークサーバから関連データを直接ダウンロードして、子供と対話することができる。

【0054】

子供が好まない物については、物が子供の成長にとって有益であるかどうかが判定される。判定方式は、親と確認するか、または、ネットワークサーバを使用することによって確認することであってよい。具体的な方式は、前述のステップと同様である。物が子供の成長にとって有益であると判定された場合、ロボットは、子供と徐々に対話してよい。

【0055】

ロボットは、物（表情/音声/動作等）を直接再生またはシミュレートしてよく、カメラを使用することによって、その物に対する子供の反応を同時に検出してよい。

【0056】

子供が好むデータ（喜びの表情等）については、ロボットは、関連データをローカルデータベース内に記憶する。子供が好まないデータ（嫌悪の表情等）については、そのデータがローカルデータベース内に記憶されている場合、ロボットは、そのデータをローカルデータベースから直接削除してよく、または、親と確認した後に、そのデータを削除するかどうかを決定してよく、そのデータがローカルデータベース内に記憶されていない場合、ロボットは、そのデータを直接記憶しなくてよく、または、親と確認した後、そのデータを記憶するかどうかを決定してよい。

【0057】

本発明の実施形態は、サービスサーバをさらに提供し、これは、サードパーティクラウドサーバ、子育てサーバまたは社会公共クラウドサーバであってよい。サーバは、前述の解決手段におけるロボットとの対話のための各方法ステップまたは機能を実行する、処理および計算能力および機能を有するプロセッサを含む。図5を参照すると、サーバ70は、プロセッサ705、別のデバイスと通信する信号トランシーバ702およびデータ、プログラム等を記憶するメモリ706を含む。サーバ70は、ディスプレイ704および入力/出力デバイス（図示せず）等の、様々な適切な構成要素をさらに含んでよい。様々な構成要素は、バス707を使用することによって接続され、プロセッサによって制御および管理されている。

【0058】

サーバは、ロボットと協調し、ロボットのためのシミュレートオブジェクトデータを分類し、シミュレートオブジェクトデータを記憶する。信号トランシーバ702は、対象オブジェクトのコンパニオンオブジェクトの感覚情報と、対象オブジェクトがコンパニオンオブジェクトと対話するときに取得される対象オブジェクトの感情情報とを受信する。感覚情報および感情情報はロボットによって送信される。上述のように、感覚情報は、視覚情報と音声情報のうちの少なくとも1つを含む。信号トランシーバ702は、ロボットに、プロセッサによって生成されたシミュレートオブジェクトデータを送信する。プロセッサ705は、感情情報から、感情特徴量を抽出し、感情特徴量に基づいて、コンパニオンオブジェクトと対話するために対象オブジェクトによって使用される感情パターンを決定し、感情パターンに基づいて、コンパニオンオブジェクトへの対象オブジェクトの関心度を決定し、関心度に基づいて、感覚情報からコンパニオンオブジェクトの行動データを抽出し、行動データをスクリーニングして、シミュレートオブジェクトデータを取得する。上述のように、シミュレートオブジェクトデータは、コンパニオンオブジェクトをシミュレートするためにロボットによって使用され、仮想シミュレートオブジェクトはコンパニオンオブジェクトを記述するために使用される。サーバ上のメモリは、シミュレートオブジェクトデータベースを格納して、シミュレートオブジェクトデータを記録するように構成される。

【0059】

任意の適切な実施と結合された可能な実施では、親はデータ端末を有し、データ端末に対するシミュレーション制約条件を直接作成することができる。データを取得した後、ロボットまたはサーバは、データをシミュレーション制約条件と照合し、シミュレーション制約条件を満たす行動データを使用することによって、シミュレートオブジェクトデータを生成する。あるいは、親は、データ端末またはサーバを使用することによって、ロボットの行動を直接指示する。データ端末は、ロボットに適合する遠隔制御デバイスであってよく、または、関連するアプリケーションがインストールされているインテリジェント端末であってよい。データ端末によって送信された選択指示は、ロボットのトランシーバまたはサーバの信号トランシーバを使用することによって受信されることができる。

【0060】

機能がソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用されるとき、機能は、コンピュータ可読記憶媒体に記憶され得る。このような理解に基づいて、本発明の技術的解決手段は、本質的に、または従来技術に貢献する部分または技術的解決手段のうちのいくつかは、ソフトウェア製品の形態で実施されてよい。ソフトウェア製品は、記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバまたはネットワークデバイスであってよい）に、本発明の実施形態で説明された方法のステップの全てまたは一部を実行するように指示するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読出し専用メモリ（ROM, Read-Only Memory）、ランダムアクセスメモリ（RAM, Random Access Memory）、磁気ディスクまたは光ディスク等の、プログラムコードを記憶することができる任意の媒体を含む。

【符号の説明】

【0061】

502 ボタン
503 マイクロホンアレイ
504 タッチディスプレイスクリーン
505 電力入力
507 クローラタイプ/ホイールタイプモバイル装置
702 信号トランシーバ
704 ディスプレイ
705 プロセッサ
706 メモリ

【図1】

【図2】

【図3】

【図4】

【図5】