特表-19065305IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ 本田技研工業株式会社の特許一覧
再表2019-65305情報提供システム、情報提供方法および情報提供システム用管理装置
<>
  • 再表WO2019065305-情報提供システム、情報提供方法および情報提供システム用管理装置 図000003
  • 再表WO2019065305-情報提供システム、情報提供方法および情報提供システム用管理装置 図000004
  • 再表WO2019065305-情報提供システム、情報提供方法および情報提供システム用管理装置 図000005
  • 再表WO2019065305-情報提供システム、情報提供方法および情報提供システム用管理装置 図000006
  • 再表WO2019065305-情報提供システム、情報提供方法および情報提供システム用管理装置 図000007
  • 再表WO2019065305-情報提供システム、情報提供方法および情報提供システム用管理装置 図000008
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年4月4日
【発行日】2020年11月26日
(54)【発明の名称】情報提供システム、情報提供方法および情報提供システム用管理装置
(51)【国際特許分類】
   H04N 21/218 20110101AFI20201030BHJP
   H04N 21/24 20110101ALI20201030BHJP
   H04N 21/232 20110101ALI20201030BHJP
   G06F 3/01 20060101ALI20201030BHJP
   A63H 11/00 20060101ALI20201030BHJP
   A63H 30/04 20060101ALI20201030BHJP
   A63H 30/02 20060101ALI20201030BHJP
【FI】
   H04N21/218
   H04N21/24
   H04N21/232
   G06F3/01 515
   A63H11/00 Z
   A63H30/04
   A63H30/02 C
【審査請求】有
【予備審査請求】未請求
【全頁数】18
【出願番号】特願2019-544587(P2019-544587)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年9月14日
(31)【優先権主張番号】特願2017-189799(P2017-189799)
(32)【優先日】2017年9月29日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100154380
【弁理士】
【氏名又は名称】西村 隆一
(74)【代理人】
【識別番号】100081972
【弁理士】
【氏名又は名称】吉田 豊
(72)【発明者】
【氏名】蛭田 茂憲
(72)【発明者】
【氏名】村松 大輔
(72)【発明者】
【氏名】北村 史郎
(72)【発明者】
【氏名】仲山 修司
【テーマコード(参考)】
2C150
5C164
5E555
【Fターム(参考)】
2C150CA01
2C150CA02
2C150EF33
2C150EF34
5C164MA02S
5C164SA21P
5C164SB31P
5C164SB36S
5C164SB41P
5C164YA21
5E555AA11
5E555BA04
5E555BA83
5E555BB04
5E555BC09
5E555BC17
5E555BD01
5E555CA45
5E555CB82
5E555CC03
5E555DA08
5E555DB54
5E555DD07
5E555EA08
5E555FA00
(57)【要約】
情報提供システムは、ロボットの撮像部により取得された画像データを、情報取得部により取得された位置情報および時刻情報に関連付けて記憶する記憶部と、記憶された画像データの中から、ユーザにより指令された時刻および位置に対応する画像データを抽出するデータ抽出部と、抽出された画像データに基づき画像を表示する表示部とを備える。記憶部は、第1ユーザとともに移動する第1ロボットの撮影部により取得された画像データと、第2ユーザとともに移動する第2ロボットの撮像部により取得された画像データとを記憶する。データ抽出部は、記憶部に記憶された第1ロボットにより取得された画像データの中に、第1ユーザにより指令された時刻および位置に対応する画像データが存在しないとき、記憶部に記憶された第2ロボットにより取得された画像データの中から、第1ユーザにより指令された時刻および位置に対応する画像データを抽出する。
【特許請求の範囲】
【請求項1】
画像データを取得する撮影部を有し、ユーザとともに移動するロボットと、
前記ユーザまたは前記ロボットの位置情報を時刻情報とともに取得する情報取得部と、
前記撮影部により取得された画像データを、前記情報取得部により取得された位置情報および時刻情報に関連付けて記憶する記憶部と、
前記記憶部に記憶された画像データの中から、前記ユーザにより指令された時刻および位置に対応する画像データを抽出するデータ抽出部と、
前記データ抽出部で抽出された画像データに基づき画像を表示する表示部と、を備え、
前記ロボットは、第1ユーザとともに移動する第1ロボットと、第2ユーザとともに移動する第2ロボットとを含み、
前記記憶部は、前記第1ロボットの前記撮影部により取得された画像データと前記第2ロボットの前記撮影部により取得された画像データとを記憶し、
前記データ抽出部は、前記記憶部に記憶された前記第1ロボットの前記撮影部により取得された画像データの中に、前記第1ユーザにより指令された時刻および位置に対応する画像データが存在しないとき、前記記憶部に記憶された前記第2ロボットの前記撮影部により取得された画像データの中から、前記第1ユーザにより指令された時刻および位置に対応する画像データを抽出することを特徴とする情報提供システム。
【請求項2】
請求項1に記載の情報提供システムにおいて、
前記データ抽出部は、前記第1ユーザにより指令された時刻および位置に対応する前記第1ユーザまたは前記第1ロボットの位置情報および時刻情報が前記記憶部に記憶されていないとき、前記記憶部に記憶された前記第2ロボットの前記撮影部により取得された画像データの中から、前記第1ユーザにより指令された時刻および位置に対応する画像データを抽出することを特徴とする情報提供システム。
【請求項3】
請求項2に記載の情報提供システムにおいて、
前記データ抽出部は、前記第1ユーザにより指令された時刻における前記記憶部に記憶された前記第1ユーザまたは前記第1ロボットの位置が、前記第1ユーザにより指令された位置から所定距離内であることを条件として、前記記憶部に記憶された前記第2ロボットの前記撮影部により取得された画像データの中から、前記第1ユーザにより指令された時刻および位置に対応する画像データを抽出することを特徴とする情報提供システム。
【請求項4】
請求項1〜3のいずれか1項に記載の情報提供システムにおいて、
前記ロボットは、歩行可能に構成されることを特徴とする情報提供システム。
【請求項5】
画像データを取得する撮影部を有するとともにユーザとともに移動するロボットを介して情報を提供する情報提供方法であって、
前記ユーザまたは前記ロボットの位置情報を時刻情報とともに取得し、
前記撮影部により取得された画像データを、取得された位置情報および時刻情報に関連付けて記憶部に記憶し、
前記記憶部に記憶された画像データの中から、前記ユーザにより指令された時刻および場所に対応する画像データを抽出し、
抽出された画像データに基づき画像を表示することを含み、
前記ロボットは、第1ユーザとともに移動する第1ロボットと、第2ユーザとともに移動する第2ロボットとを含み、
前記画像データを記憶することは、前記第1ロボットの前記撮影部により取得された画像データと前記第2ロボットの前記撮影部により取得された画像データとを記憶することを含み、
前記画像データを抽出することは、前記記憶部に記憶された前記第1ロボットの前記撮影部により取得された画像データの中に、前記第1ユーザにより指令された時刻および位置に対応する画像データが存在しないとき、前記記憶部に記憶された前記第2ロボットの前記撮影部により取得された画像データの中から、前記第1ユーザにより指令された時刻および位置に対応する画像データを抽出することを含むことを特徴とする情報提供方法。
【請求項6】
ユーザとともに移動するロボットにより取得された画像データと位置情報とを時刻情報とともに取得する情報取得部と、
前記情報取得部により取得された画像データを、位置情報および時刻情報に関連付けて記憶する記憶部と、
前記ユーザにより指令が入力される入力部と、
前記記憶部に記憶された画像データの中から、前記入力部により指令された時刻および位置に対応する画像データを抽出するデータ抽出部と、
前記データ抽出部で抽出された画像データに基づき画像を表示する表示部と、を備え、
前記ロボットは、第1ユーザとともに移動する第1ロボットと、第2ユーザとともに移動する第2ロボットとを含み、
前記記憶部は、前記第1ロボットにより取得された画像データと前記第2ロボットにより取得された画像データとを記憶し、
前記データ抽出部は、前記記憶部に記憶された前記第1ロボットにより取得された画像データの中に、前記第1ユーザにより指令された時刻および位置に対応する画像データが存在しないとき、前記記憶部に記憶された前記第2ロボットにより取得された画像データの中から、前記第1ユーザにより指令された時刻および位置に対応する画像データを抽出することを特徴とする情報提供システム用管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットを介して取得した情報をユーザに提供する情報提供システム、情報提供方法および情報提供システム用管理装置に関する。
【背景技術】
【0002】
この種のシステムとして、従来、旅行者が携帯するロボットを介して旅行者が見た映像や会話のデータを取得するとともに、これら取得したデータをサーバに保存するようにしたシステムが知られている(例えば特許文献1参照)。このシステムによれば、旅行先での映像や会話のデータがロボットを介してサーバに保存されるので、ユーザ(旅行者)が後でそのデータを再生することができる。
【先行技術文献】
【特許文献】
【0003】
特許文献1:特開2017−104532号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1記載のシステムでは、何らかの理由によりロボットが映像や会話のデータを取得し損ねると、ユーザに再生可能なデータを提供することができない。
【課題を解決するための手段】
【0005】
本発明の一態様である情報提供システムは、画像データを取得する撮影部を有し、ユーザとともに移動するロボットと、ユーザまたはロボットの位置情報を時刻情報とともに取得する情報取得部と、撮影部により取得された画像データを、情報取得部により取得された位置情報および時刻情報に関連付けて記憶する記憶部と、記憶部に記憶された画像データの中から、ユーザにより指令された時刻および位置に対応する画像データを抽出するデータ抽出部と、データ抽出部で抽出された画像データに基づき画像を表示する表示部と、を備える。ロボットは、第1ユーザとともに移動する第1ロボットと、第2ユーザとともに移動する第2ロボットとを含み、記憶部は、第1ロボットの前記撮影部により取得された画像データと第2ロボットの前記撮影部により取得された画像データとを記憶し、データ抽出部は、記憶部に記憶された第1ロボットの撮影部により取得された画像データの中に、第1ユーザにより指令された時刻および位置に対応する画像データが存在しないとき、記憶部に記憶された第2ロボットの撮影部により取得された画像データの中から、第1ユーザにより指令された時刻および位置に対応する画像データを抽出する。
【0006】
本発明の他の態様は、画像データを取得する撮影部を有するとともにユーザとともに移動するロボットを介して情報を提供する情報提供方法であり、ユーザまたはロボットの位置情報を時刻情報とともに取得し、撮影部により取得された画像データを、取得された位置情報および時刻情報に関連付けて記憶部に記憶し、記憶部に記憶された画像データの中から、ユーザにより指令された時刻および場所に対応する画像データを抽出し、抽出された画像データに基づき画像を表示することを含む。ロボットは、第1ユーザとともに移動する第1ロボットと、第2ユーザとともに移動する第2ロボットとを含み、画像データを記憶することは、第1ロボットの撮影部により取得された画像データと第2ロボットの撮影部により取得された画像データとを記憶することを含み、画像データを抽出することは、記憶部に記憶された第1ロボットの撮影部により取得された画像データの中に、第1ユーザにより指令された時刻および位置に対応する画像データが存在しないとき、記憶部に記憶された第2ロボットの撮影部により取得された画像データの中から、第1ユーザにより指令された時刻および位置に対応する画像データを抽出することを含む。
【0007】
本発明のさらなる他の態様である情報提供システム用管理装置は、ユーザとともに移動するロボットにより取得された画像データと位置情報とを時刻情報とともに取得する情報取得部と、情報取得部により取得された画像データを、位置情報および時刻情報に関連付けて記憶する記憶部と、ユーザにより指令が入力される入力部と、記憶部に記憶された画像データの中から、入力部により指令された時刻および位置に対応する画像データを抽出するデータ抽出部と、データ抽出部で抽出された画像データに基づき画像を表示する表示部と、を備える。ロボットは、第1ユーザとともに移動する第1ロボットと、第2ユーザとともに移動する第2ロボットとを含み、記憶部は、第1ロボットにより取得された画像データと第2ロボットにより取得された画像データとを記憶し、データ抽出部は、記憶部に記憶された第1ロボットにより取得された画像データの中に、第1ユーザにより指令された時刻および位置に対応する画像データが存在しないとき、記憶部に記憶された第2ロボットにより取得された画像データの中から、第1ユーザにより指令された時刻および位置に対応する画像データを抽出する。
【発明の効果】
【0008】
本発明によれば、何らかの理由によりロボットが画像データを取得し損ねた場合であっても、ロボットを介してユーザに十分な再生可能な画像データを提供することができる。
【図面の簡単な説明】
【0009】
図1】本発明の実施形態に係る情報提供システムの全体構成を概略的に示す図。
図2図1のユーザ機器の構成を示す図。
図3図1のロボットの構成を示す図。
図4図1の管理サーバの概略構成を示すブロック図。
図5図4の演算部で実行される処理の一例を示すフローチャート。
図6】本発明の実施形態に係る情報提供システムの動作の一例を示す図。
【発明を実施するための形態】
【0010】
以下、図1図6を参照して本発明の実施形態について説明する。本発明の実施形態に係る情報提供システムは、ユーザと行動を共にするロボットにより取得された情報を、管理サーバに保存するとともに、管理サーバに保存された情報をユーザに提供可能とするものである。
【0011】
図1は、本発明の実施形態に係る情報提供システム100の全体構成を概略的に示す図である。図1に示すように、本実施形態に係る情報提供システム100は、A地点に位置するユーザ1Aに装着されたユーザ機器10と、B地点に位置するユーザ1Bと行動を共にする第1ロボット20Aと、C地点に位置するユーザ1Cと行動を共にする第2ロボット20Bと、管理サーバ30とを含んで構成される。
【0012】
これらユーザ機器10と、第1ロボット20Aと、第2ロボット20Bと、管理サーバ30とは、インターネット回線等の無線通信網を含むネットワーク2で通信可能に接続される。なお、第1ロボット20Aと第2ロボット20Bとは互いに同一構成であり、以下ではこれらロボット20A,20Bを共通の符号20で表すこともある。
【0013】
B地点はA地点から見て遠隔地である。すなわち、A地点とB地点とは互いに離れた地点、例えば互いに異なる地域、あるいは互いに異なる国である。B地点の第1ロボット20Aは、A地点のユーザ1Aにより遠隔操作される。ユーザ1Aとユーザ1Bとは例えば家族であり、ユーザ1Aがユーザ1Bと一緒に外出(例えば旅行)することが困難な場合に、ユーザ1Aの代わりに第1ロボット20Aがユーザ1Bとともに旅行し、そのときに第1ロボット20Aが得た情報を、ユーザ1Aに提供するように情報提供システム100を構成する。これによりユーザ1Aは、例えば自宅にいながら、あたかもユーザ1Bと一緒に旅行している気分を味わうことができる。なお、C地点のユーザ1Cとともに行動する第2ロボット20Bも、図示しない他のユーザ(例えばユーザ1Cの家族)により遠隔操作される。
【0014】
B地点とC地点とは、同一地域内、例えば同一の観光地域内に位置する。したがって、B地点とC地点との間の距離は所定距離内である。なお、所定距離は、例えば数m〜数十mでもよく、数km程度であってもよい。
【0015】
第1ロボット20Aは、B地点またはB地点の近傍の店舗3からレンタルされる。すなわち、第1ロボット20Aは、店舗3に赴いたユーザ1Bによりレンタルされ、B地点でユーザ1Bとともに行動する。第2ロボット20Bは、C地点またはC地点の近傍の店舗(例えばB地点の店舗3)からレンタルされる。すなわち、第2ロボット20Bは、ユーザ1Cによりレンタルされ、C地点でユーザ1Cとともに行動する。各ロボット20A,20Bは、各地点での旅行が終了するとユーザ1B,1Cにより店舗3に返却される。
【0016】
店舗3の各ロボット20には、予め固有の識別ID(ロボットID)が付される。ロボット20をレンタルするユーザには、ユーザを識別するためのユーザIDが付される。ロボットIDにユーザIDが対応付けられて、ロボット20のレンタル情報、すなわちどのロボット20がどの期間にどのユーザにレンタルされるかの情報が管理サーバ30に記憶される。
【0017】
図2は、ユーザ機器10の構成を示す図である。図2に示すようにユーザ機器10は、例えば全体が略ヘルメット形状を呈するウェアラブルコンピュータであり、ユーザの頭部に装着される。ユーザ機器10は、ユーザの脳波や脳磁波、脳血流の状態等の脳活動を検出する複数のセンサ11を備える。すなわち、ユーザ機器10は、ユーザの思考ないし意図を脳活動信号から検出し、身体を使うことなく機械操作を実現する、いわゆるブレインマシンインタフェース(BMI)を備える。
【0018】
さらにユーザ機器10は、ディスプレイ12と、マイク13と、スピーカ14と、入力装置15と、コントローラ16と、無線ユニット17とを有する。ディスプレイ12は、例えば非透過型のヘッドマウントディスプレイであり、ユーザの顔面を覆うように配置され、ロボット20により取得されたカメラ画像が表示される。表示されるカメラ画像には、ロボット20により現在取得された現時点のカメラ画像と、ロボット20により過去に取得された過去時点のカメラ画像とが含まれる。
【0019】
マイク13は、ユーザの口元に配置され、ユーザの発話による音声信号を入力する。スピーカ14は、ユーザの耳元に配置され、音声を出力する。入力装置15は、ユーザにより操作されるスイッチやタッチパネル等により構成され、入力装置15を介して各種情報を入力することができる。例えば、ディスプレイ12に表示するカメラ画像を特定するための情報、すなわち撮影の日時と場所とを入力することができる。
【0020】
コントローラ16は、CPU,ROM,RAM等を有するマイクロコンピュータを含み、無線ユニット17を制御して管理サーバ30との間で通信する。例えばコントローラ16は、センサ11とマイク13とからの信号を管理サーバ30に送信するとともに、管理サーバ30からの信号に基づきディスプレイ12やスピーカ14などに制御信号を出力する。
【0021】
さらにコントローラ16は、入力装置15を介して入力された指令に応じて、管理サーバ30に記憶された画像データを読み込み、この画像データに基づきディスプレイ12に制御信号を出力して、画像を表示させる。すなわち、コントローラ16は、過去にロボット20により取得されたカメラ画像を再生する機能を有する。
【0022】
図3は、ロボット20の構成を示す図である。図3に示すようにロボット20は、頭、胴体、2つの腕部、2つの脚部を有する人型ロボットであり、二足歩行によりロボット自身で移動することができる。ロボット20の高さは、成人の身長に近く、例えば140〜160cm程度である。
【0023】
ロボット20は、外界を感知するための人の感覚機能である五感に対応した検出機能を有する複数のセンサ、すなわち視覚センサ211と、聴覚センサ212と、触覚センサ213と、臭覚センサ214と、味覚センサ215とを有する。これらセンサ211〜215は、人の五感に対応した信号(五感信号)を検出信号として出力する。
【0024】
より具体的には、視覚センサ211はカメラにより構成され、ロボット20の目の位置に設けられたCMOSセンサやCCDセンサ等の画像センサとレンズとを有する撮影部と、撮影部を上下左右に駆動する駆動部と、被写体を拡大縮小するズーム機構とを有し、ロボット20の周囲の画像(動画)を取得する。聴覚センサ212は、例えばロボット20の耳の位置に設けられたマイクにより構成され、ロボット20の周囲の音声を取得する。触覚センサ213は、例えばロボット20のハンドの位置等に設けられた力覚センサにより構成され、ロボット20のハンドに作用する外力を検出する。臭覚センサ214は、ロボット20の鼻の位置に設けられ、臭いを検出する。味覚センサ215は、ロボット20の口の位置に設けられ、味を検出する。
【0025】
さらにロボット20は、アクチュエータ22と、スピーカ23と、入力装置24と、GPSセンサ25と、コントローラ26と、無線ユニット27とを有する。アクチュエータ22は、例えばロボット20の関節部に設けられた複数のサーボモータ等により構成され、アクチュエータ22の駆動によりロボット20が動作する。スピーカ23は、ロボット20の口の位置に設けられ、音声を出力する。入力装置24は、電源スイッチ等の各種スイッチを備える。GPSセンサ25は、GPS衛星からのGPS信号を受信する。GPSセンサ25が受信した信号に基づきロボット20の位置を検出することができる。
【0026】
コントローラ26は、CPU,ROM,RAM等を有するマイクロコンピュータを含み、無線ユニット27を制御して管理サーバ30との間で通信する。例えばコントローラ26は、五感信号を出力するセンサ211〜215とGPSセンサ25とからの信号を管理サーバ30に送信する。さらにコントローラ26は、管理サーバ30からの信号に基づきアクチュエータ22やスピーカ23などに制御信号を出力する。
【0027】
図4は、管理サーバ30の概略構成の一例を示すブロック図である。図4に示すように、管理サーバ30は、入力装置31と、表示装置32と、無線ユニット33と、コントローラ34とを有する。なお、入力装置31と表示装置32とは、省略することができる。なお、無線ユニット33はユーザ機器10とロボット20とを通信接続される構成(通信接続部)であれば良い。
【0028】
コントローラ34は、CPU等の演算部35と、ROM,RAM,ハードディスク等の記憶部36と、その他の周辺回路とを有し、無線ユニット33を制御してユーザ機器10およびロボット20との間で通信する。演算部35は、機能的構成として、情報取得部37と、データ抽出部38と、ロボット制御部39と、ユーザ機器制御部40とを有する。なお、以下では、便宜上、複数のユーザと複数のロボットとを、必要に応じて図1に示すように区別して説明する。
【0029】
情報取得部37は、ユーザ機器10(図2のセンサ11やマイク13や入力装置15等)から送信されたデータおよび第1ロボット20A(図3のセンサ211〜215やGPSセンサ25等)から送信されたデータを、無線ユニット33を介して取得する。第1ロボット20Aから送信されたデータのうち、視覚センサ211により取得された画像データと聴覚センサ212により取得された音声データは、第1ロボット20AのロボットID、および第1ロボット20Aと行動を共にするユーザ1BのユーザIDを付して、記憶部36に記憶される。
【0030】
記憶部36は、機能的構成として自己データ記憶部361と他者データ記憶部362とを有する。自己データ記憶部361には、自己(ユーザ1B)のユーザIDが付された画像データと音声データとが記憶される。他者データ記憶部362には、他者(ユーザ1C)のユーザIDが付された画像データと音声データとが記憶される。なお、他者データ記憶部362には、ユーザ1A〜1C以外の複数のユーザのユーザIDが付された画像データと音声データも記憶される。自己データ記憶部361には、GPSセンサ25により取得された第1ロボット20Aの位置情報も、その位置情報に対応する時刻情報とともに記憶される。他者データ記憶部362には、GPSセンサ25により取得された第2ロボット20Bの位置情報も、その位置情報に対応する時刻情報とともに記憶される。
【0031】
データ抽出部38は、自己データ記憶部361に記憶された自己(ユーザ1B)のユーザIDに対応する画像データおよび音声データの中から、ユーザ機器10の入力装置15を介して入力された時刻(目標時刻)および位置(目標位置)に対応するデータを抽出する。つまりユーザ1Bが再生を欲する目標時刻および目標位置の画像データと音声データとを抽出する。なお、目標時刻は、例えば○月○日○時〜△月△日△時等、所定の時間的範囲を含んで入力装置15により指定することができる。目標位置も、番地を含む厳密な住所で指定するのではなく、単に地名等、所定の地理的範囲を含んで入力装置15により指定することができる。
【0032】
データ抽出部38は、ユーザ機器10の入力装置15を介して入力された目標時刻および目標位置に対応するデータが自己データ記憶部361に保存されていないとき、自己データ記憶部361に記憶された自己(ユーザ1B)のユーザIDが付された第1ロボット20Aの位置情報と時刻情報とに基づき、目標時刻における第1ロボット20Aの実位置(目標位置とは異なる位置)を特定する。そして、入力装置15を介して入力された目標位置が、第1ロボット20Aの実位置から所定距離内であるか否かを判定する。この判定は、目標位置と第1ロボット20Aの実位置とが、互いに同一の地域(例えば同一の観光地)内にあるか否かの判定であり、所定距離は、例えば数十m〜数km程度に設定される。
【0033】
データ抽出部38は、入力装置15を介して入力された目標位置が第1ロボット20Aの実位置から所定距離内にあると判定すると、他者データ記憶部362に記憶された他者(ユーザ1C)のユーザIDに対応する画像データおよび音声データ(第2ロボット20Bにより取得された画像データおよび音声データ)の中から、入力装置15を介して入力された時刻および位置に対応するデータを抽出する。一方、データ抽出部38は、入力装置15を介して入力された目標位置が第1ロボット20Aの実位置から所定距離内にないと判定すると、データ抽出不可の信号を出力する。
【0034】
ロボット制御部39は、ユーザ機器10から送信された第1ロボット20Aに対する動作指令、すなわちユーザ1Aの脳活動による動作指令に基づいて、第1ロボット20Aのアクチュエータ22に対する動作信号を生成する。そして、この動作信号を、無線ユニット33を介して第1ロボット20Aに送信する。第1ロボット20Aのコントローラ26は、この動作信号に応じてアクチュエータ22に制御信号を出力する。これにより、ユーザ1Aの意図に従い、ユーザ1Aの身代わりとして第1ロボット20Aを動作させることができる。ロボット制御部39は、ユーザ機器10のマイク13からの信号に基づく音声を、第1ロボット20Aのスピーカ23から出力させることもできる。
【0035】
ユーザ機器制御部40は、第1ロボット20Aのセンサ211〜215からの信号(五感信号)に基づいて、ユーザ機器10に対する動作信号を生成する。そして、この動作信号を、無線ユニット33を介してユーザ機器10に送信する。例えば視覚センサ211により検出された信号に基づき画像信号を送信する。ユーザ機器10のコントローラ16は、この画像信号に応じてディスプレイ12に制御信号を出力し、ディスプレイ12に視覚センサ211から得られた三次元画像を表示させる。これによりユーザ1Aはロボット20の周囲の状況をリアルタイムで的確に把握できる。ユーザ機器制御部40は、聴覚センサ212からの信号に基づく音声を、ユーザ機器10のスピーカ14から出力させることもできる。
【0036】
さらにユーザ機器制御部40は、データ抽出部38により抽出された画像データと音声データとを、無線ユニット33を介してユーザ機器10に送信する。
【0037】
図5は、予め記憶部36に記憶されたプログラムに従い演算部35で実行される処理、特にユーザ機器10の画像表示に係る処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばユーザ1Bが自宅にてユーザ機器10(入力装置15)を介して画像再生の指令を入力すると開始される。
【0038】
まずS1(S:処理ステップ)で、入力装置15を介して入力された指令、すなわち再生画像を特定する目標時刻と目標位置の指令を読み込む。次いで、S2で、自己データ記憶部361に記憶された自己のユーザIDに対応する画像データおよび音声データの中に、目標時刻と目標位置に対応するデータが存在するか否か、すなわち自己データ記憶部361からデータ抽出が可能か否かを判定する。S2で肯定されるとS3に進み、自己データ記憶部361から目標時刻と目標位置に対応した画像データと音声データとを抽出する。次いで、S8で、抽出したデータをユーザ機器10に送信する。
【0039】
一方、S2で否定されるとS4に進み、自己データ記憶部361に記憶された時刻情報と位置情報とに基づき、目標時刻における自己のユーザIDが付された第1ロボット20Aの実位置を特定する。次いで、S5で、目標位置が第1ロボット20Aの実位置から所定距離内であるか否かを判定する。S5で肯定されるとS6に進み、他者データ記憶部362に記憶された他者(ユーザ1C)のユーザIDに対応する画像データおよび音声データの中に、目標時刻と目標位置に対応するデータが存在するか否か、すなわち他者データ記憶部362からデータ抽出が可能か否かを判定する。S6で肯定されるとS7に進み、他者データ記憶部362から目標時刻と目標位置に対応した画像データと音声データとを抽出する。次いで、S8で、抽出したデータをユーザ機器10に送信する。
【0040】
S5で否定、またはS6で否定されるとS9に進む。S9では、記憶部36から目標時刻と目標位置とに対応したデータを抽出することが不可能であることを示す信号(抽出不可信号)をユーザ機器10に送信する。
【0041】
本実施形態に係る情報提供システム100の主要な動作をより具体的に説明する。例えば図1に示すように第1ロボット20Aと行動を共にしていたユーザ1Bが、外出先から帰宅後に、第1ロボット20Aにより取得された画像および音声のデータを、ユーザ機器10を用いて再生する場合を想定する。このとき、ユーザ1Bは、入力装置15を介して目標時刻と目標位置とを指令する。
【0042】
目標位置および目標時刻として、例えばユーザ1Bが過去に旅行した地点Bとそのときの時刻とが指定されると、データ抽出部38は、自己データ記憶部361から対応する画像データと音声データとを抽出し(S3)、ユーザ機器制御部40は、これらのデータをユーザ機器10に送信する(S8)。これにより図6に示すように、ユーザ1Bが装着するユーザ機器10のディスプレイ12に、地点Bの過去の画像51が表示される。その結果、ユーザ1Bは、過去に旅行した地点Bのシーンを回想して楽しむことができる。
【0043】
何らかの理由(例えばトラブル)により、過去に旅行したB地点のデータが自己データ記憶部361に記憶されていないとき、データ抽出部38は、他者データ記憶部362から対応する画像データと音声データとを抽出し(S7)、ユーザ機器制御部40は、これらのデータをユーザ機器10に送信する(S8)。これにより、第1ロボット20Aがカメラ画像を取得し損なった場合であっても、ユーザ1Bは過去に旅行した地点Bのシーンを回想して楽しむことができる。
【0044】
一方、目標位置として、例えばユーザ1Bが過去に地点Bを旅行したときに訪れることのできなかった地点Bの近傍の地点Cが指定されると、データ抽出部38は、他者データ記憶部362から対応する画像データと音声データとを抽出し(S7)、ユーザ機器制御部40は、これらのデータをユーザ機器10に送信する(S8)。これにより図6に示すように、ユーザ1Bが装着するユーザ機器10のディスプレイ12に、地点Cの過去の画像52が表示される。この場合、ユーザ1Bが実際に訪れた地点Bと訪れることのできなかった地点Cとは、所定距離内にあって同一地域内に位置する。このため、C地点の画像データをユーザ1Bにとっての補完データとして用いることができ、ユーザ1BはB地点の旅行に関連付けてC地点の再生画像を楽しむことができる。
【0045】
本実施形態によれば以下のような作用効果を奏することができる。
(1)本実施形態に係る情報提供システム100は、画像データを取得する視覚センサ211を有し、ユーザとともに移動するロボット20と、ロボット20の位置情報を時刻情報とともに取得する情報取得部37と、視覚センサ211により取得された画像データを、情報取得部37により取得された位置情報および時刻情報に関連付けて記憶する記憶部36と、記憶部36に記憶された画像データの中から、ユーザにより指令された目標時刻および目標位置に対応する画像データを抽出するデータ抽出部38と、データ抽出部38で抽出された画像データに基づき画像を表示するディスプレイ12と、を備える(図1〜4)。ロボット20は、ユーザ1Bとともに移動する第1ロボット20Aと、ユーザ1Cとともに移動する第2ロボット20Bとを含む(図1)。記憶部36は、第1ロボット20Aの視覚センサ211により取得された画像データを記憶する自己データ記憶部361と、第2ロボット20Bの視覚センサ211により取得された画像データを記憶する他者データ記憶部362とを有する(図4)。データ抽出部38は、自己データ記憶部361に記憶された第1ロボット20Aの視覚センサ211により取得された画像データの中に、ユーザ1Bにより指令された目標時刻および目標位置に対応する画像データが存在しないとき、他者データ記憶部362に記憶された第2ロボット20Bの視覚センサ211により取得された画像データの中から、ユーザ1Bにより指令された目標時刻および目標位置に対応する画像データを抽出する(図5)。このように、自己データ記憶部361に目標時刻および目標位置に対応する画像データが存在しないとき、他者データ記憶部362に記憶された画像データの中から目標時刻および目標位置に対応する画像データを抽出するので、何らかの理由により第1ロボット20Aが画像データを取得し損ねた場合であっても、ユーザに再生可能な所望の画像データを提供することができる。
【0046】
(2)データ抽出部38は、ユーザ1Bにより指令された目標時刻および目標位置に対応する第1ロボット20Aの位置情報および時刻情報が自己データ記憶部361に記憶されていないとき、すなわち、ユーザ1Bが目標時刻に目標位置を訪れなかったとき、他者データ記憶部362に記憶された第2ロボット20Bの視覚センサ211により取得された画像データの中から、目標時刻および目標位置に対応する画像データを抽出する(図5)。これにより、ユーザ1Bが訪れることのできなった場所の画像データを、ユーザ1Bに対し提供することができる。
【0047】
(3)データ抽出部38は、ユーザ1Bにより指令された目標時刻における自己データ記憶部361に記憶された第1ロボット20Aの実位置が、ユーザ1Bにより指令された目標位置から所定距離内であることを条件として、他者データ記憶部362に記憶された第2ロボット20Bの視覚センサ211により取得された画像データの中から、ユーザ1Bにより指令された目標時刻および目標位置に対応する画像データを抽出する(図5)。このため、ユーザ2Bが第1ロボット20Aと共に訪れたことのある場所と同一地域の場所の画像データが抽出されるため、抽出された画像データを画像再生時の補完データとして用いることができ、ユーザ1Bにとって有用な情報を提供できる。
【0048】
(4)ロボット20は、歩行可能に構成される(図3)。これによりロボット20は、ユーザ1Bが携帯しなくてもユーザ1Bと共に行動することができ、ユーザ1Bの周囲の画像データを容易に取得することができる。
【0049】
(5)本実施形態に係る情報提供方法は、画像データを取得する視覚センサ211を有するとともにユーザとともに移動するロボット20を介して情報を提供するものであり、ロボット20の位置情報を時刻情報とともに取得し、視覚センサ211により取得された画像データを、取得された位置情報および時刻情報に関連付けて記憶部36に記憶し、記憶部36に記憶された画像データの中から、ユーザにより指令された時刻および場所に対応する画像データを抽出し、抽出された画像データに基づき画像を表示することを含む(図5)。ロボット20は、ユーザ1Bとともに移動する第1ロボット20Aと、ユーザ1Cとともに移動する第2ロボット20Bとを含む(図1)。画像データを記憶することは、第1ロボット20Aの視覚センサ211により取得された画像データと第2ロボット20Bの視覚センサ211により取得された画像データとを記憶することを含む。画像データを抽出することは、記憶部36に記憶された第1ロボット20Aの視覚センサ211により取得された画像データの中に、ユーザ1Bにより指令された目標時刻および目標位置に対応する画像データが存在しないとき、記憶部36に記憶された第2ロボット20Bの視覚センサ211により取得された画像データの中から、目標時刻および目標位置に対応する画像データを抽出することを含む(S7)。これにより第1ロボット20Aが画像データを取得し損ねた場合であっても、ユーザに目標時刻および目標位置に対応する画像データを提供することができる。
【0050】
上記実施形態は種々の変形が可能である。以下、変形例について説明する。上記実施形態では、二足歩行可能な人型ロボット20を用いたが、画像データを取得する視覚センサ211等の撮影部を有するとともに、ユーザとともに移動するのであれば、ロボットの構成は上述したものに限らない。上記実施形態では、ユーザ1Aからの指令によりロボット20を移動させるようにしたが、例えばロボット自身が周囲の状況を判断してユーザ1Bに追従するようにロボットを構成してもよい。上記実施形態では、第1ロボット20Aと第2ロボット20Bとを含んで情報提供システム100を構成したが、これより多くのロボットが情報提供システムに含まれてもよい。これらのロボットには、ユーザが指定した目標位置から所定距離内に位置するロボットだけでなく、所定距離を越えて位置するロボットが含まれてもよい。
【0051】
上記実施形態では、情報取得部37がGPSセンサ25からの信号を取得することでロボット20の位置情報と時刻情報とを取得するようにしたが、ロボット20とユーザ1Bとは一緒に行動するので、ロボット20の位置情報と時刻情報に代えて、ユーザ1Bの位置情報と時刻情報とを取得するようにしてもよい。例えば、GPSセンサ等の位置情報取得機能を有するユーザ1Bが携帯する携帯端末からの信号を、情報取得部37が取得するようにしてもよい。上記実施形態では、データ抽出部38が、目標位置と目標時刻とに対応する画像データと音声データとを記憶部36から抽出するようにしたが、少なくとも画像データを抽出するのであれば抽出するデータはいかなるものでもよく、データ抽出部の構成は上述したものに限らない。上記実施形態では、ヘッドマウントディスプレイとしてのユーザ機器10のディスプレイ12に画像を表示するようにしたが、表示部の構成はこれに限らない。
【0052】
上記実施形態におけるユーザ機器10およびロボット20のコントローラ16,26の機能の一部を、管理サーバ30が担うようにしてもよく、管理サーバ30の機能の一部をコントローラ16,26が担うようにしてもよい。上記実施形態では、ユーザ機器10およびロボット20が、管理サーバ30を介して互いに通信するようにしたが、管理サーバ30を介さずに直接通信するようにしてもよい。
【0053】
上記実施形態では、ロボット20を店舗3でレンタルするようにしたが、例えばユーザが自宅に所有するロボットを用いても、本発明は、同様に構成することができる。管理サーバ30と店舗3の端末とを通信可能に構成し、ロボット20のレンタル予約の申し込み、レンタル料金の支払い等を、管理サーバ30を介して行うようにしてもよい。
【0054】
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の1つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
【符号の説明】
【0055】
10 ユーザ機器、12 ディスプレイ、16 コントローラ、20 ロボット、20A 第1ロボット、20B 第2ロボット、26 コントローラ、30 管理サーバ、36 記憶部、37 情報取得部、38 データ抽出部、40 ユーザ機器制御部、100 情報提供システム、211 視覚センサ
図1
図2
図3
図4
図5
図6
【国際調査報告】