特許 6594646 ロボット及びロボット制御方法並びにロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6594646

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】ロボット及びロボット制御方法並びにロボットシステム

(51)【国際特許分類】

   B25J 13/00 20060101AFI20191010BHJP

【ＦＩ】

   B25J13/00 Z

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2015-81032(P2015-81032)

(22)【出願日】2015年4月10日

(65)【公開番号】特開2016-198859(P2016-198859A)

(43)【公開日】2016年12月1日

【審査請求日】2018年3月5日

(73)【特許権者】

【識別番号】500433373

【氏名又は名称】ヴイストン株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】特許業務法人白坂

(72)【発明者】

【氏名】大和 信夫

【審査官】 臼井 卓巳

(56)【参考文献】

【文献】 特開２００３−１１１９８１（ＪＰ，Ａ）

【文献】 特開２００８−１０４７０７（ＪＰ，Ａ）

【文献】 特開２００４−１６７６２７（ＪＰ，Ａ）

【文献】 国際公開第２００４／０３１８７８（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／００８４６５５（ＵＳ，Ａ１）

【文献】 特開２００１−３１０２８３（ＪＰ，Ａ）

【文献】 特開２００３−１５７２２１（ＪＰ，Ａ）

【文献】 特開２００５−１８４３０４（ＪＰ，Ａ）

【文献】 特開２００５−３４２８６２（ＪＰ，Ａ）

【文献】 特開２００７−０４４７９８（ＪＰ，Ａ）

【文献】 特開２００７−１１０１９９（ＪＰ，Ａ）

【文献】 特開２００９−２６８０２８（ＪＰ，Ａ）

【文献】 特開２０１４−２３５５３３（ＪＰ，Ａ）

【文献】 米国特許第０８９５８６６２（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １３／００

Ｇ０６Ｆ ３／０１−１５／００

(57)【特許請求の範囲】

【請求項1】

ユーザの有する携帯端末と通信可能なロボットであって、
前記ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶部と、
前記携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信部と、
前記メッセージに含まれる指示情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する選択部と、
前記選択されたアプリケーションに基づいて、前記ロボットに動作させるための機構を制御する制御部とを備え、
前記指示情報は、前記ユーザが前記ロボットに送信したイラスト情報又は画像情報に付帯する情報であり、かつ、ユーザからの感情を示唆する情報を含むものであり、
前記付帯する情報は、前記イラスト情報に付帯する意味情報を含むものであり、
前記ロボットは、
前記イラスト情報又は前記意味情報に基づいて、ユーザの感情を感情情報として認識する感情認識部と、
前記示唆する情報に基づいて、ユーザの感情を感情パターン情報として分類する感情分類部とを備え、
前記記憶部は、前記感情パターン情報と、所定の時間内に認識した前記感情情報とを対応付けて記憶し、
前記選択部は、前記認識したユーザの感情情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択し、
さらに、前記感情情報に対応付けられた前記感情パターン情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する
ことを特徴とするロボット。

【請求項2】

前記付帯する情報は、前記画像情報に付帯する日付及び位置に関する付帯情報、であって、
前記ロボットは、
前記画像情報及び前記付帯情報に基づいて、ユーザの居場所を居場所情報として認識する画像認識部とを備えるものであって、
前記選択部は、前記居場所情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択することを特徴とする請求項１に記載のロボット。

【請求項3】

前記ロボットは、
前記示唆する情報に基づいて、ユーザの感情を感情パターン情報として分類する感情分類部とを備えるものであって、
前記記憶部は、前記感情パターン情報と、所定の時間内に認識した前記居場所情報とを対応付けて記憶することと、
前記選択部は、前記居場所情報に対応付けられた前記感情パターン情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択することを特徴とする請求項２に記載のロボット。

【請求項4】

前記指示情報は、ユーザからの所定の著名人を指定する情報を含むものであって、
前記受信部は、前記ユーザからの所定の著名人を指定する情報に基づいて、ネットワークを介して前記指定した著名人の動作情報を提供するデータベースサーバから前記動作情報を受信することと、
前記選択部は、前記動作情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択することを特徴とする請求項１に記載のロボット。

【請求項5】

前記動作情報は、インターネット上での出現数が上位から一定の順位以内にある前記著名人に係る動作情報であることを特徴とする請求項４に記載のロボット。

【請求項6】

ユーザの有する携帯端末と通信可能なロボットによる制御方法であって、
前記ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶ステップと、
前記携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信ステップと、
前記メッセージに含まれる指示情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する選択ステップと、
前記選択されたアプリケーションに基づいて、前記ロボットに動作させるための機構を制御する制御ステップとを含み、
前記指示情報は、前記ユーザが前記ロボットに送信したイラスト情報又は画像情報に付帯する情報であり、かつ、ユーザからの感情を示唆する情報を含むものであり、
前記付帯する情報は、前記イラスト情報に付帯する意味情報を含むものであり、
前記ロボットによる制御方法は、
前記イラスト情報又は前記意味情報に基づいて、ユーザの感情を感情情報として認識する感情認識ステップと、
前記示唆する情報に基づいて、ユーザの感情を感情パターン情報として分類する感情分類ステップとを備え、
前記記憶ステップは、前記感情パターン情報と、所定の時間内に認識した前記感情情報とを対応付けて記憶し、
前記選択ステップは、前記認識したユーザの感情情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択し、
さらに、前記感情情報に対応付けられた前記感情パターン情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する
ことを特徴とするロボット制御方法。

【請求項7】

ユーザの有する携帯端末と、該携帯端末と通信可能なロボット、複数のアプリケーションを提供するアプリマーケットサーバを含むロボットシステムであって、
前記アプリマーケットサーバは、前記ロボットにロボットの動きを制御する１又は複数のアプリケーションを提供する提供手段とを備え、
前記ロボットは、
前記提供されたアプリケーションを予め記憶する記憶手段と、
前記携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信手段と、
前記メッセージに含まれる指示情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する選択手段と、
前記選択されたアプリケーションに基づいて、前記ロボットに動作させるための機構を制御する制御手段とを備え、
前記指示情報は、前記ユーザが前記ロボットに送信したイラスト情報又は画像情報に付帯する情報であり、かつ、ユーザからの感情を示唆する情報を含むものであり、
前記付帯する情報は、前記イラスト情報に付帯する意味情報を含むものであり、
前記ロボットは、
前記イラスト情報又は前記意味情報に基づいて、ユーザの感情を感情情報として認識する感情認識手段と、
前記示唆する情報に基づいて、ユーザの感情を感情パターン情報として分類する感情分類手段とを備え、
前記記憶手段は、前記感情パターン情報と、所定の時間内に認識した前記感情情報とを対応付けて記憶し、
前記選択手段は、前記認識したユーザの感情情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択し、
さらに、前記感情情報に対応付けられた前記感情パターン情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する
ことを特徴とするロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット及びロボット制御方法並びにロボットシステムに関し、特に、ユーザの携帯端末から送信されたメッセージを用いたロボット及びロボット制御方法並びにロボットシステムに関する。

【背景技術】

【0002】

従来から、ユーザとのコミュニケーションを図ることを目的として、ロボットがユーザと会話する技術がある。これらの技術の多くは、ユーザの発した音声の音声認識に基づいて、ロボットの動作パターンを選択し、選択した動作パターンに基づいて、ロボットが音声を発したり、手足部を動かしたりすることで会話を行う。

【0003】

特許文献１には、上記音声認識に関する技術が開示されている。この技術は、会話ロボットが、ユーザが発生した音声を分析して感情パラメータを算出し、算出した感情パラメータに応じて定められた発話、表情又は動作シナリオに基づいて、音声出力等を行う技術に関するものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−１０７６７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術では、ユーザの入力した音声中の微小の高周波と低周波の出現頻度からパラメータを算出することで感情パラメータを算出するため、ユーザの感情ごとの表現のバラつきに一律対応することは困難であり、ユーザの感情認識率に問題があった。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、ユーザとロボットの会話において、ユーザの感情認識率を向上させるため、メッセージをやり取りすることで、ロボットの会話における動作を制御することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係るロボットは、ユーザの有する携帯端末と通信可能なロボットであって、ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶部と、携帯端末から送信されたロボットとの会話を目的としたメッセージを受信する受信部と、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択部と、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御部とを備え、指示情報は、ユーザがロボットに送信したイラスト情報又は画像情報に付帯する情報であるものである。

【0008】

さらに、本発明に係るロボットにおいて、付帯する情報は、イラスト情報又はイラスト情報に付帯する意味情報を含むものであって、ロボットは、イラスト情報又は意味情報に基づいて、ユーザの感情を感情情報として認識する感情認識部とを備えるものであって、選択部は、認識したユーザの感情情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。

【0009】

また、本発明に係るロボットにおいて、付帯する情報は、画像情報、画像情報に付帯する日付及び位置に関する付帯情報、であって、ロボットは、画像情報及び付帯情報に基づいて、ユーザの居場所を居場所情報として認識する画像認識部とを備えるものであって、選択部は、居場所情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。

【0010】

さらに、本発明に係るロボットにおいて、指示情報は、ユーザからの感情を示唆する情報を含むものであって、ロボットは、示唆情報に基づいて、ユーザの感情を感情パターン情報として分類する感情分類部とを備えるものであって、記憶部は、感情パターン情報と、所定の時間内に認識した感情情報又は居場所情報とを対応付けて記憶することと、選択部は、感情情報又は居場所情報に対応付けられた感情パターン情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。

【0011】

また、本発明に係るロボットにおいて、指示情報は、ユーザからの所定の著名人を指定する情報を含むものであって、受信部は、指定情報に基づいて、ネットワークを介して指定した著名人の動作情報を提供するデータベースサーバから動作情報を受信することと、選択部は、動作情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。

【0012】

さらに、本発明に係るロボットにおいて、動作情報は、インターネット上での出現数が上位から一定の順位内にある著名人に係る動作情報であってもよい。

【0013】

本発明に係るロボット制御方法は、ユーザの有する携帯端末と通信可能なロボットによる制御方法であって、ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶ステップと、携帯端末から送信されたロボットとの会話を目的としたメッセージを受信する受信ステップと、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択ステップと、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御ステップとを含み、指示情報は、ユーザがロボットに送信したイラスト情報又は画像情報に付帯する情報であるものである。

【0014】

本発明に係るロボットシステムは、ユーザの有する携帯端末と、携帯端末と通信可能なロボット、複数のアプリケーションを提供するアプリマーケットサーバを含むネットワークシステムであって、アプリマーケットサーバは、ロボットにロボットの動きを制御する１又は複数のアプリケーションを提供する提供手段とを備え、ロボットは、提供されたアプリケーションを予め記憶する記憶手段と、携帯端末から送信されたロボットとの会話を目的としたメッセージを受信する受信手段と、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択手段と、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御手段とを備え、指示情報は、ユーザがロボットに送信したイラスト情報又は画像情報に付帯する情報であるものである。

【発明の効果】

【0015】

本発明のロボット、ロボット制御方法及びロボットシステムによれば、ユーザの携帯端末から、ロボットとの会話を目的としたメッセージを送信することで、メッセージの中のイラスト情報及び画像情報の付帯情報に基づいて、ユーザの感情認識を直接的に行うことができる。したがって、ユーザの感情認識をより的確に行うことができるため、ユーザの感情認識率の向上を図ることができる。

【図面の簡単な説明】

【0016】

【図1】ロボットシステムのシステム構成を示すシステム図

【図2】ロボットの機能構成を示すブロック図

【図3】ロボットとユーザとの会話のやり取りを説明するための模式図

【図4】ロボットの動作を説明するための模式図

【図5】感情パターン情報と居場所情報及び感情情報の対応付けの一例を説明するためのデータ構成図

【図6】ロボットの動作を示すフローチャート

【発明を実施するための形態】

【0017】

以下、本発明の一実施態様について、図面を参照しながら説明する。
＜実施の形態＞
＜概要＞
図１は、ロボットシステムのシステム構成を示すシステム図である。

【0018】

図１に示すように、ロボットシステム６００は、アプリマーケットサーバ２００、データベースサーバ３００、ユーザの携帯端末４００及びロボット１００を含み、アプリマーケットサーバ２００及びデータベースサーバ３００は、ネットワーク５００を介して、ユーザの携帯端末４００及びロボット１００と通信接続される。

【0019】

ユーザの携帯端末４００とロボット１００は、一般的なインスタントメッセージングシステムを用いてメッセージのやり取り、いわゆるチャットを行うことができるシステムを構成する。ロボット１００は、ユーザの携帯端末４００が送信したメッセージを、ネットワーク５００を介して受信する。受信したメッセージに含まれる指示情報に基づき、アプリケーションを選択し、選択したアプリケーションに基づいて、ロボットが動作する。当該アプリケーションは、アプリマーケットサーバ２００からユーザの要求に応じて、ユーザの携帯端末４００にダウンロード及びインストールできるため、汎用性のあるロボットの動作を実現することができる。

【0020】

＜構成＞
以下、ロボット１００の構成について詳細に説明する。
図２は、ロボット１００の機能構成を示すブロック図である。図２に示すように、ロボット１００は、受信部１１０と、送信部１１５と、選択部１２０と、感情認識部１３５と、感情分類部１３０と、画像認識部１２５と、記憶部１４０と、アプリケーション１４５と、制御部１５０と、音声入力部１５５と、音声出力部１６０、インタフェース１６５、電源部１７０と、撮影部１７５を含んで構成される。

【0021】

受信部１１０は、ネットワーク５００を介して、ユーザの携帯端末４００、アプリマーケットサーバ２００又はデータベースサーバ３００と通信を実行し、ユーザの携帯端末４００等から送信されるメッセージ、アプリケーション、その他各種情報を受信する機能を有する。通信は、有線、無線のいずれで実行されてもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。

【0022】

ここで、受信部１１０が受信するメッセージには、ロボット１００に対する指示情報が含まれる。ここで、指示情報とは、記憶部１４０に記憶される複数のアプリケーション１４５に対し、指示対象のアプリケーション１４５を指定する情報と、指定したアプリケーション１４５の処理を行うための入力情報をいう。入力情報には、イラスト情報又はイラスト情報に付帯する意味情報、画像情報、画像情報に付帯する日付及び位置に関する付帯情報、ユーザの感情を示唆する情報又は所定の著名人を指定する情報が含まれる。

【0023】

イラスト情報とは、ユーザの携帯端末４００等からロボット１００に送られてきたイラスト情報をいう。典型的には、インスタントメッセージングシステムで用いられるスタンプをいう。また、イラスト情報に付帯する意味情報は、例えば、スタンプに付与されているスタンプを意味するテキスト情報をいう。ハートのイラストであった場合、当該テキスト情報は、好き、嬉しい、愛している等といったイラストから観念される意味を示した文字列となる。

【0024】

画像情報とは、ユーザの携帯端末４００からロボット１００に送られてきた写真データ等をいう。写真データは、携帯端末４００で撮影された画像であってもよいし、カメラや他の携帯端末で撮影された画像であってもよい。また、当該画像情報に付帯する日付に関する付帯情報は、当該写真データの撮影時の日付、時刻に関する情報をいう。また、位置に関する付帯情報とは、撮影時の位置情報であって、例えば、緯度及び経度情報等をいう。

【0025】

ユーザの感情を示唆する情報とは、ユーザが感じた、嬉しい、悲しい等の感情を表した情報をいう。当該感情を表した情報は、感情に基づいてユーザが入力したテキスト情報であってもよいし、あるいは、ユーザが発した音声を入力した音声情報であってもよい。

【0026】

所定の著名人を指定する情報とは、著名人の動作情報を取得するために、著名人の名前又は通称の全部又は一部等を用いて、対象の著名人を示す情報をいう。ここで、所定の著名人とは、具体的には、タレント、アーティスト、スポーツ選手等、複数のファンがいる人物のうち、データベースサーバ３００に登録されている人物をいう。また、所定の著名人の動作情報は、著名人が過去に実施した身体の動きの特徴であってもよいし、あるいは、著名人が過去に発言した言葉の特徴であってもよい。また、それらの中でも、インターネット上での出現数が上位から一定の順位以内にある特徴を含むものであってもよい。

【0027】

ここで、身体の動きの特徴及び言葉の特徴は、データベースサーバ３００が、著名人が過去に行った身体の動き及び発した言葉の情報を一定の期間蓄積し、蓄積した情報から、意味を持つ最小単位での最大公約数を求めることで算出してもよい。

【0028】

送信部１１５は、ユーザの携帯端末４００、アプリマーケットサーバ２００又はデータベースサーバ３００と通信を実行し、ユーザの携帯端末４００、アプリマーケットサーバ２００又はデータベースサーバ３００に画像情報又はメッセージを送信する機能を有する。通信は、受信部１１０と同じである。

【0029】

選択部１２０は、指示情報に基づいて、複数のアプリケーション１４５から一つのアプリケーション１４５を選択するものである。また、選択部１２０は、感情情報又は居場所情報に対応づけられた感情パターン情報に基づいて、アプリケーション１４５を選択するものである。選択の際、一つの感情情報に対応付けられた感情パターン情報が複数あった場合には、最も数の多い感情パターン情報を採用してもよい。さらに、一つの感情情報に対応付けられた感情パターン情報が複数及びそれぞれの数が同じであった場合は、いずれも採用しない、又は、感情パターン情報に優先順位を付与し、当該優先順位に基づいて採用してもよい。

【0030】

画像認識部１２５は、画像情報、画像情報に付帯する日付及び位置に関する付帯情報に基づいて、ユーザの居場所を居場所情報として認識する機能を有する。なお、画像情報の認識については、例えば、パターンマッチング、統計的識別法、構造識別法等を用いればよい。

【0031】

感情分類部１３０は、ユーザの感情を示唆する情報から、ユーザの感情を感情パターン情報として分類する機能を有する。感情分類部１３０は、具体的には、当該示唆する情報を文字列情報として認識し、記憶部１４０に記憶した感情パターン情報とパターンマッチングを行う。マッチングに成功したときは、マッチングした感情パターン情報を設定することで分類する。ここで、感情パターン情報は、人の嬉しい、怒り、悲しい、楽しい等といった感情を、パターン化したものであってもよいし、動的に変化させたものであってもよい。

【0032】

感情認識部１３５は、イラスト情報又はイラスト情報に付帯する意味情報から、ユーザの感情を感情情報として認識する機能を有する。感情認識部１３５は、具体的には、記憶部１４０に記憶した感情情報とマッチングを行う。マッチングに成功したときは、記憶した感情であると判定する。記憶した感情情報は、例えば、嬉しい、怒り、悲しい、楽しい等といった文字列情報であってもいいし、嬉しい、怒り、悲しい、楽しい等といった感情を意味した画像パターン情報であってもよい。

【0033】

記憶部１４０は、ロボットが動作するうえで必要とするアプリケーション１４５を記憶する機能を有する。また、記憶部１４０は、感情パターン情報と所定の時間内に認識した居場所情報又は感情情報との対応付けを記憶している。さらに、記憶部１４０は、ロボット１００を制御するために用いられる各種プログラム及びデータを記憶する。記憶部１４０は、例えば、フラッシュメモリ等の小型の記録媒体により実現される。

【0034】

アプリケーション１４５は、メッセージに含まれる指示情報に基づいて、ロボット１００を動作させるための処理を行い、制御部１５０に命令を出力する。なお、図２において、説明を簡単にするためにアプリケーション１４５は２つだけ示してあるが、これ以上存在してもよいことは言うまでもない。

【0035】

また、アプリケーション１４５は、アプリマーケットサーバ２００に登録されているアプリケーションでもある。アプリマーケットサーバ２００は、アプリケーションの流通を目的としたオンラインサービスを提供する。アプリマーケットサーバ２００は、具体的には、開発者が作成したアプリケーションを登録することができ、登録されたアプリケーションをユーザの要求に応じて、ロボット１００にダウンロードすることができる。アプリマーケットサーバ２００のオンラインサービスの利用の料金体系は、ダウンロード毎の課金制にしてもよいし、定額制にしてもよい。

【0036】

制御部１５０は、ロボット１００を動作させるための各機構を制御する機能を有するプロセッサである。制御部１５０は、具体的には、記憶部１４０に記憶されているアプリケーション１４５から出力された命令を受信し、当該命令に基づいて、各機構を動かすよう制御する。ここで、各機構とは、ロボットが備える胴体部、腕部、首部、眼球部、瞼部又は口部等の自由度のある駆動装置を備える構造部や音声を出力する音声出力部１６０等の構造部をいう。

【0037】

音声入力部１５５は、ロボット１００がユーザの発声する音声を初めとした周囲の音を取得する機能を有する。音声入力部１５５は、具体的には、モノラルマイク又はステレオマイク等により実現される。

【0038】

音声出力部１６０は、ロボット１００が音声を出力する機能を有する。当該音声は、音声合成による音声出力であっても、声優が吹き込んだ音声による音声出力であってもよい。

【0039】

インタフェース１６５は、他の端末又は媒体と、無線又は有線による接続を行うものである。インタフェース１６５は、具体的には、ＷｉＦｉ（Wireless Fidelity）、ＨＤＭＩ（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）、電源コネクタ、Ｉ２Ｃ（Inter-Integrated Circuit）等の接続装置をいう。

【0040】

電源部１７０は、ロボット１００の電気を供給するものである。

【0041】

撮影部１７５は、ロボット１００がレンズ越しに捉えている周囲の人又は景色等の静止画又は動画を記録する機能を有する。
以上が、ロボット１００の機能構成についての説明である。

【0042】

次に、ユーザの携帯端末４００において、ロボット１００と会話を目的としたメッセージを送信し、当該メッセージに基づいてロボットが動作する一態様について、図３及び図４を用いて説明する。

【0043】

図３は、ユーザとロボット１００の会話における、ユーザの携帯端末４００の表示部に表示される画面の一例である。ユーザは、ユーザの携帯端末４００にインストールしたインスタントメッセージングシステムを利用しており、当該メッセージングシステム上で、自分の現在の居場所をロボット１００に伝えるため、自分の居たお店の外観をユーザの携帯端末４００等で撮影した写真データ４１０をロボット１００に送信する。写真データ４１０に付帯する日時及び位置に関する付帯情報から、ロボット１００が、ユーザがお店に居た日付及び時刻並びに居た場所の位置を直接的に認識することができる。

【0044】

また、ユーザは、そのお店に居たときの楽しい感情をロボット１００に伝えるため、当該感情に合わせた音符の記号が表記されたイラスト４２０を、ロボット１００に送信する。例えば、イラスト４２０に付帯する意味情報が「楽しい」であった場合、ロボット１００は、当該意味情報に基づいて、直接的にユーザが楽しいと感じている感情を認識することができる。

【0045】

さらに、画像情報４１０及びイラスト情報４２０に加えて、所定の時間内に自身の感情を示唆する情報として、テキストメッセージ４３０をロボット１００に送信する。ここで、所定の時間は、ロボット１００が当該示唆する情報を受信した前後３０秒でも、１分でも、５分であってもよい。

【0046】

ロボット１００が、画像情報４１０、イラスト情報４２０及びテキストメッセージ４３０を受信すると、画像情報４１０に係る居場所情報及びイラスト情報４２０に係る感情情報と、感情を示唆する情報を対応付けて記憶する。当該記憶により、ロボット１００は、画像情報４１０に係る居場所情報に居るときにユーザが楽しいと感じること、また、イラスト情報４２０を送るときには、ユーザが楽しいと感じていることといった感情の傾向を認識することができる。当該認識により、ロボット１００は、それ以降、同じイラスト情報又は同じ場所の画像情報を受信すると、ユーザの感情に合わせた動作を自ら行うことができる。

【0047】

また、ロボット１００は、受信したイラスト４２０又はテキストメッセージ４３０に基づいて、ユーザの携帯端末４００に「楽しいのは良かったね！」といったイラスト４２０又はテキストメッセージ４３０に基づいて認識したユーザの感情に合わせたメッセージを送信する。

【0048】

また、ロボット１００は、ロボット１００の撮影部１７５により撮影する静止画又は動画、若しくは所定の時間内に送られた画像情報に係る居場所情報より、ユーザが近くに居ないと判定したときはメッセージを送信し、一方、ユーザが近くに居ると判定したときはメッセージ送信に加えて、又はメッセージ送信ではなく、メッセージを音声出力部１６０から音声出力し、直接ユーザにメッセージを伝えてもよい。

【0049】

図４は、ロボットとユーザとの会話のやり取りを説明するための模式図である。
ユーザの携帯端末４００から送信されたメッセージに基づいて、ユーザは、ロボット１００の近くに居ても遠隔に居ても、ロボット１００がメッセージ送信や音声出力や身振り手振り等の動作を行い、ロボット１００と会話をすることができる。これにより、ユーザがロボット１００にメッセージを送信すると、ロボット１００からそれに対応する動作が返ってくるため、あたかも人や生き物と会話しているような感覚をユーザに与えて、ロボット１００とコミュニケーションを図ることができる。

【0050】

また、このとき、所定の著名人を指定するメッセージを過去に送信した場合には、さらに、所定の著名人の動作情報に合わせた動きをすることもできる。これにより、ユーザは、例えば自分がファンであるタレントの動きや言葉の特徴に合わせたロボット１００の動作や音声を見る又は聞くことで、ロボット１００とのコミュニケーションを通じて、自分好みの相手とコミュニケーションを図っている感覚を持つことができる。

【0051】

＜データ＞
ここで、本実施の形態において、ロボット１００で用いられる感情パターン情報と居場所情報及び感情情報の対応付けについて説明する。
図５は、ロボット１００の記憶部１４０に記憶されている対応付け情報５００の例を示すデータ概念図である。

【0052】

図５に示すように、対応付け情報７００は、感情パターン情報７０１と、居場所情報７０２と、居場所情報７０２のうち日時情報７０３と位置情報７０４と、感情情報７０５と、感情情報７０５のうちイラスト情報７０６と意味情報７０７とが対応付けられた情報である。対応付け情報７００は、ロボット１００を利用するユーザの居場所及び感情を特定し得る情報であればどのような情報であってもよく、これ以外の情報を含んでもよいことは言うまでもない。

【0053】

感情パターン情報５０１は、感情のパターンを示すものであれば、どのような形で表現されてもよく、例えば、数字、ひらがな、カタカナ、漢字、アルファベット、記号等を用いて表現されてよい。

【0054】

日時情報５０３は、感情パターン情報に係る感情を示唆する情報を受信した時刻から、所定の時間内に受信した画像に付帯する日時情報である。日時を示すものであればどの様な形で表現されてもよい。

【0055】

位置情報５０４は、感情パターン情報に係る感情示唆情報を受信した時刻から、所定の時間内に受信した画像に付帯する位置情報である。位置を示すものであれば、どのような形で表現されてもよく、例えば、緯度及び経度情報等をいう。

【0056】

イラスト情報７０６は、感情パターン情報に係る感情示唆情報を受信した時刻から、所定の時間内に受信したイラストの画像データである。なお、当該画像データは、静止画であってもよいし、動画であってもよい。

【0057】

意味情報７０７は、感情パターン情報に係る感情示唆情報を受信した時刻から、所定の時間内に受信したイラストの意味情報である。

【0058】

＜動作＞
本実施の形態に係る通信システムの動作を説明する。

【0059】

図６を用いて、ロボット１００の動作を説明する。
図６は、ロボット１００の動作を示すフローチャートである。
記憶部１４０は、予めロボットの動きを制御する複数のアプリケーション１４５を記憶する（ステップＳ６０１）。

【0060】

受信部１１０は、ユーザの携帯端末４００から送信された会話のためのメッセージを受信する（ステップＳ６０２）。受信部１１０は、受信したメッセージに含まれる指示情報を、選択部１２０、画像認識部１２５、感情分類部１３０又は感情認識部１３５に伝達する。

【0061】

感情認識部１３５は、伝達された指示情報がイラスト情報又はイラスト情報に付帯する意味情報であった場合（ステップＳ６０３のＹＥＳ）には、イラスト情報又は意味情報に基づいて、記憶部１４０に記憶した感情情報とマッチングを行う。マッチングに成功したときは、記憶した感情であると判定し、感情情報を認識する（ステップＳ６０５）。認識した感情情報は、選択部１２０に伝達する。

【0062】

画像認識部１２５は、伝達された指示情報が画像情報、画像情報に付帯する日付及び位置に関する付帯情報であった場合（ステップＳ６０４のＹＥＳ）には、画像情報及び付帯情報に基づいて、ユーザの居場所情報を認識する（ステップＳ６０７）。認識した居場所情報は、選択部１２０に伝達する。

【0063】

感情分類部１３０は、伝達された指示情報が感情を示唆する情報であった場合（ステップＳ６０６のＹＥＳ）には、当該示唆する情報を文字列情報として認識し、記憶部１４０に記憶した感情パターン情報とパターンマッチングを行う。マッチングに成功したときは、マッチングした感情パターン情報を設定することで分類する。（ステップＳ６０９）。そして、感情分類部１３０は、分類した感情パターン情報と、所定の時間内に認識された感情情報又は居場所情報とを対応付けて記憶する（ステップＳ６１０）。記憶した対応付けは、選択部１２０に伝達する。

【0064】

受信部１１０は、伝達された指示情報が所定の著名人を指定する情報であった場合（ステップＳ６０８のＹＥＳ）には、データベースサーバ３００に指定した著名人の動作情報を要求する。そして、受信部１１０は、当該動作情報を、データベースサーバ３００から受信する（ステップＳ６１１）。

【0065】

選択部１２０は、伝達されたアプリケーションを指定する情報と、認識情報及び記憶情報等の入力情報に基づいて、記憶部１４０に記憶された複数のアプリケーション１４５から一つのアプリケーション１４５を選択する（ステップＳ６１２）。選択されたアプリケーション１４５は、入力情報に基づいて処理を行う。

【0066】

制御部１５０は、選択されたアプリケーション１４５の処理結果に基づいて、ロボット１００を動作させるための機構を制御して（ステップＳ６１３）、終了する。
以上が、ロボット１００の動作である。
＜まとめ＞

【0067】

本実施の形態に係るロボット、ロボット制御方法及びロボットシステムによれば、ロボットの動作に汎用性を持たせつつ、ユーザの携帯端末から、ロボットとの会話を目的としたメッセージを送信することで、ユーザの感情認識を直接的に行い、ロボットの会話における音声出力や手足部を動かす等といった動作を制御することができる。したがって、ユーザの感情認識をより的確に行い、あたかも人や生き物と会話しているような感覚をユーザに与えて、ロボットとの会話をすることができる。

【0068】

本発明を実施形態と図面に基づき説明してきたが、代表的な実施形態の例を示したものであって、本発明はこの実施形態に限定されるものではない。

【0069】

＜補足＞
本発明に係る一実施態様は、ユーザの有する携帯端末と通信可能なロボットプログラムであって、ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶機能と、携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信機能と、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択機能と、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御機能とを備え、指示情報は、ユーザが前記ロボットに送信したイラスト情報又は画像情報に付帯する情報であるロボットプログラムであってもよい。

【符号の説明】

【0070】

１００ ロボット
１１０ 受信部
１１５ 送信部
１２０ 選択部
１２５ 画像認識部
１３０ 感情分類部
１３５ 感情認識部
１４０ 記憶部
１４５ アプリケーション
１５０ 制御部
１５５ 音声入力部
１６０ 音声出力部
１６５ インタフェース
１７０ 電源部
１７５ 撮影部
２００ アプリマーケットサーバ
３００ データベースサーバ
４００ ユーザの携帯端末
５００ ネットワーク
６００ ロボットシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】