(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024094366
(43)【公開日】2024-07-09
(54)【発明の名称】ロボットならびにその制御方法および制御プログラム
(51)【国際特許分類】
G05D 1/656 20240101AFI20240702BHJP
G05D 1/244 20240101ALI20240702BHJP
G05D 1/43 20240101ALN20240702BHJP
【FI】
G05D1/656
G05D1/244
G05D1/43
【審査請求】有
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2024065822
(22)【出願日】2024-04-15
(62)【分割の表示】P 2020532436の分割
【原出願日】2019-07-24
(31)【優先権主張番号】P 2018140781
(32)【優先日】2018-07-26
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】515337268
【氏名又は名称】GROOVE X株式会社
(72)【発明者】
【氏名】林 要
(72)【発明者】
【氏名】南地 秀哉
(72)【発明者】
【氏名】深谷 泰士
(72)【発明者】
【氏名】吉岡 直人
(57)【要約】
【課題】
特定の報知対象者に対して情報の報知をすることができる、ロボットを提供する。
【解決手段】
ロボットは、報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実行情報取得部と、実行情報取得部において取得された実行情報に基づき、報知対象者を探索する探索部と、探索部において探索された報知対象者に対して、実行情報に基づき報知動作を実行する報知動作実行部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実行情報取得部と、
前記実行情報取得部において取得された前記実行情報に基づき、前記報知対象者を探索する探索部と、
前記探索部において探索された前記報知対象者に対して、前記実行情報に基づき前記報知動作を実行する報知動作実行部と
を備える、ロボット。
【請求項2】
前記実行情報取得部は、利用者によって指定された場所に係る場所情報を前記実行情報として取得する、請求項1に記載のロボット。
【請求項3】
前記実行情報取得部は、前記利用者が操作する利用者端末において表示された地図を前記利用者が操作することによって指定された前記場所情報を前記利用者端末から取得する、請求項2に記載のロボット。
【請求項4】
前記探索部は、周囲の空間を撮影した撮影画像にさらに基づき前記報知対象者を探索する、請求項1から3のいずれか一項に記載のロボット。
【請求項5】
前記探索部は、前記撮影画像に含まれる人物を認識することにより前記報知対象者を探索する、請求項4に記載のロボット。
【請求項6】
移動機構を制御する移動制御部さらに備え、
前記探索部は、前記実行情報に基づき前記移動機構による移動経路を算出し、
前記移動制御部は、前記探索部において算出された移動経路に基づき前記移動機構を制御する、請求項1から5のいずれか一項に記載のロボット。
【請求項7】
前記探索部は、前記移動機構による移動を制限するための制限情報にさらに基づき前記移動経路を算出する、請求項6に記載のロボット。
【請求項8】
周囲の空間を撮影した撮影画像に含まれる所定のマーカを認識するマーカ認識部をさらに備え、
前記移動制御部は、前記マーカ認識部において認識された前記マーカに基づき前記移動機構を制御する、請求項6または7に記載のロボット。
【請求項9】
前記探索部において探索された前記報知対象者の状態に係る状態情報を取得する状態情報取得部をさらに備え、
前記報知動作実行部は、前記状態情報取得部において取得された前記状態に応じて前記報知動作を変更する、請求項1から8のいずれか一項に記載のロボット。
【請求項10】
前記状態情報取得部は、前記報知対象者が睡眠中であるかまたは起床中であるかの前記状態を取得し、
前記報知動作実行部は、前記報知動作として、
前記状態が睡眠中である場合には前記報知対象者を目覚めさせる目覚動作を実行し、
前記状態が起床中である場合には前記報知対象者に対する挨拶動作を実行する、請求項9に記載のロボット。
【請求項11】
前記実行情報取得部は、前記報知対象者に関連付けられた前記実行情報を取得し、
前記報知動作実行部は、探索された前記報知対象者に関連付けられた前記報知動作を実
行する、請求項1から10のいずれか一項に記載のロボット。
【請求項12】
前記実行情報取得部は、前記報知対象者と前記ロボットとの親密度の高低を示す親密度情報を前記実行情報として取得し、
前記報知動作実行部は、前記実行情報取得部において取得された前記親密度情報における親密度が所定の親密度条件を充足する場合に、他のロボットと協働して前記報知動作を実行する、請求項1から11のいずれか一項に記載のロボット。
【請求項13】
前記実行情報取得部は、複数の前記報知対象者に関連付けられた前記実行情報を取得し、
前記報知動作実行部は、複数の前記報知対象者に対してそれぞれ関連付けられた前記報知動作を平行して実行する、請求項1から12のいずれか一項に記載のロボット。
【請求項14】
前記実行情報取得部は、前記報知動作を実行する時間に係る時間情報を前記実行情報として取得し、
前記報知動作実行部は、前記時間情報に基づき前記報知動作を実行する、請求項1から13のいずれか一項に記載のロボット。
【請求項15】
マイクに入力された音声を認識して言語データに変換する音声認識部をさらに備え、
前記実行情報取得部は、変換された前記言語データによって前記実行情報を特定する、請求項1から14のいずれか一項に記載のロボット。
【請求項16】
前記報知動作実行部は、取得した前記実行情報に前記報知動作を実行する時間に係る時間情報が含まれない場合に、前記実行情報を取得した時点から所定時間が経過した時点で、前記報知動作を実行する請求項15に記載のロボット。
【請求項17】
前記実行情報取得部は、前記実行情報に場所情報が含まれない場合に、前記音声を入力した前記マイクの所在場所を場所情報とする請求項15または16に記載のロボット。
【請求項18】
前記報知動作を実行した後に、前記報知対象者を撮影する撮影部と、
撮影した前記報知対象者の画像データを利用者端末へ送信する送信部とをさらに備える請求項1から17のいずれか一項に記載のロボット。
【請求項19】
前記撮影部は、前記報知対象者と前記ロボットとの親密度に応じて、前記報知対象者を撮影する条件を変更する請求項18に記載のロボット。
【請求項20】
前記報知動作を実行した後に、前記報知対象者の状態に係る状態情報を取得する状態情報取得部と、
取得した前記状態情報を利用者端末へ送信する送信部とをさらに備える請求項1から19のいずれか一項に記載のロボット。
【請求項21】
ロボットの利用者宛のメッセージを受信するメッセージ受信部と、
受信した前記メッセージの宛先によって報知対象者を特定する報知対象者特定部と、
前記メッセージによって指定された場所又は前記報知対象者に対応して特定される場所において、前記報知対象者を探索する探索部と、
前記探索部において探索された前記報知対象者に対して、前記メッセージの読み上げまたは前記メッセージで指示された報知動作を行う報知部と
を備える、ロボット。
【請求項22】
ロボットにおいて、
報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実行情報取得ステップと、
前記実行情報取得ステップにおいて取得された前記実行情報に基づき、前記報知対象者を探索する探索ステップと、
前記探索ステップにおいて探索された前記報知対象者に対して、前記実行情報に基づき前記報知動作を実行する報知動作実行ステップと
を含む、ロボット制御方法。
【請求項23】
ロボットに、
報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実行情報取得処理と、
前記実行情報取得処理において取得された前記実行情報に基づき、前記報知対象者を探索する探索処理と、
前記探索処理において探索された前記報知対象者に対して、前記実行情報に基づき前記報知動作を実行する報知動作実行処理と
を実行させるための、ロボット制御プログラム。
【請求項24】
ロボットにおいて、
前記ロボットの利用者宛のメッセージを受信するメッセージ受信ステップと、
受信した前記メッセージの宛先によって報知対象者を特定する報知対象者特定ステップと、
前記メッセージによって指定された場所又は前記報知対象者に対応して特定される場所において、前記報知対象者を探索する探索ステップと、
前記探索ステップにおいて探索された前記報知対象者に対して、前記メッセージの読み上げまたは前記メッセージで指示された報知動作を行う報知ステップと
を含む、ロボット制御方法。
【請求項25】
ロボットに、
前記ロボットの利用者宛のメッセージを受信するメッセージ受信処理と、
受信した前記メッセージの宛先によって報知対象者を特定する報知対象者特定処理と、
前記メッセージによって指定された場所又は前記報知対象者に対応して特定される場所において、前記報知対象者を探索する探索処理と、
前記探索処理において探索された前記報知対象者に対して、前記メッセージの読み上げまたは前記メッセージで指示された報知動作を行う報知処理と
を実行させるための、ロボット制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットならびにその制御方法および制御プログラムに関する。
【背景技術】
【0002】
従来から、家屋内を自律的に移動しながらカメラで画像を撮影し、撮影画像から屋内の空間を認識し、認識している空間に基づき移動経路を設定して屋内を移動するロボットがある。ロボット移動経路の設定は、ロボットが移動する経路を定めたマップを利用者が予め作成することにより行われる。ロボットは作成されたマップに基づき定められた経路を移動することができる(例えば、特許文献1を参照)。
【0003】
また、所定の時間にアラームを出力することができるロボットがある(例えば、特許文献2を参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016-103277号公報
【特許文献2】特開2017-119320号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、従来のロボットは、アラーム等の情報を報知すべき特定の対象者がロボット近傍に存在していない場合、当該対象者に対する情報の報知ができない場合があった。
【0006】
本発明は上記事情に鑑みてなされたものであり、1つの実施形態において、特定の報知対象者に対して情報の報知をすることができる、ロボットならびにその制御方法および制御プログラムを提供することを一つの目的とする。
【課題を解決するための手段】
【0007】
(1)上記の課題を解決するため、実施形態のロボットは、報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実行情報取得部と、実行情報取得部において取得された実行情報に基づき、報知対象者を探索する探索部と、探索部において探索された報知対象者に対して、実行情報に基づき報知動作を実行する報知動作実行部とを備える。
【0008】
(2)また、実施形態のロボットにおいて、実行情報取得部は、利用者によって指定された場所に係る場所情報を実行情報として取得する。
【0009】
(3)また、実施形態のロボットにおいて、実行情報取得部は、利用者が操作する利用者端末において表示された地図を利用者が操作することによって指定された場所情報を利用者端末から取得する。
【0010】
(4)また、実施形態のロボットにおいて、探索部は、周囲の空間を撮影した撮影画像にさらに基づき報知対象者を探索する。
【0011】
(5)また、実施形態のロボットにおいて、探索部は、撮影画像に含まれる人物を認識することにより報知対象者を探索する。
【0012】
(6)また、実施形態のロボットにおいて、移動機構を制御する移動制御部さらに備え、探索部は、実行情報に基づき移動機構による移動経路を算出し、移動制御部は、探索部において算出された移動経路に基づき移動機構を制御する。
【0013】
(7)また、実施形態のロボットにおいて、探索部は、移動機構による移動を制限するための制限情報にさらに基づき移動経路を算出する。
【0014】
(8)また、実施形態のロボットにおいて、周囲の空間を撮影した撮影画像に含まれる所定のマーカを認識するマーカ認識部をさらに備え、移動制御部は、マーカ認識部において認識されたマーカに基づき移動機構を制御する。
【0015】
(9)また、実施形態のロボットにおいて、探索部において探索された報知対象者の状態に係る状態情報を取得する状態情報取得部をさらに備え、報知動作実行部は、状態情報取得部において取得された状態に応じて報知動作を変更する。
【0016】
(10)また、実施形態のロボットにおいて、状態情報取得部は、報知対象者が睡眠中
であるかまたは起床中であるかの状態を取得し、報知動作実行部は、報知動作として、状態が睡眠中である場合には報知対象者を目覚めさせる目覚動作を実行し、状態が起床中である場合には報知対象者に対する挨拶動作を実行する。
【0017】
(11)また、実施形態のロボットにおいて、実行情報取得部は、報知対象者に関連付けられた実行情報を取得し、報知動作実行部は、探索された報知対象者に関連付けられた報知動作を実行する。
【0018】
(12)また、実施形態のロボットにおいて、実行情報取得部は、報知対象者とロボットとの親密度の高低を示す親密度情報を実行情報として取得し、報知動作実行部は、実行情報取得部において取得された親密度情報における親密度が所定の親密度条件を充足する場合に、他のロボットと協働して報知動作を実行する。
【0019】
(13)また、実施形態のロボットにおいて、実行情報取得部は、複数の報知対象者に関連付けられた実行情報を取得し、報知動作実行部は、複数の報知対象者に対してそれぞれ関連付けられた報知動作を平行して実行する。
【0020】
(14)また、実施形態のロボットにおいて、実行情報取得部は、報知動作を実行する時間に係る時間情報を実行情報として取得し、報知動作実行部は、時間情報に基づき報知動作を実行する。
【0021】
(15)また、実施形態のロボットにおいて、マイクに入力された音声を認識して言語データに変換する音声認識部をさらに備え、実行情報取得部は、変換された言語データによって実行情報を特定する。
【0022】
(16)また、実施形態のロボットにおいて、報知動作実行部は、取得した実行情報に報知動作を実行する時間に係る時間情報が含まれない場合に、実行情報を取得した時点から所定時間が経過した時点で、報知動作を実行する。
【0023】
(17)また、実施形態のロボットにおいて、実行情報取得部は、実行情報に場所情報が含まれない場合に、音声を入力したマイクの所在場所を場所情報とする。
【0024】
(18)また、実施形態のロボットにおいて、報知動作を実行した後に、報知対象者を撮影する撮影部と、撮影した報知対象者の画像データを利用者端末へ送信する送信部とをさらに備える。
【0025】
(19)また、実施形態のロボットにおいて、撮影部は、報知対象者とロボットとの親密度に応じて、報知対象者を撮影する条件を変更する。
【0026】
(20)また、実施形態のロボットにおいて、報知動作を実行した後に、報知対象者の状態に係る状態情報を取得する状態情報取得部と、取得した状態情報を利用者端末へ送信する送信部とをさらに備える。
【0027】
(21)上記の課題を解決するため、ロボットは、ロボットの利用者宛のメッセージを受信するメッセージ受信部と、受信したメッセージの宛先によって報知対象者を特定する報知対象者特定部と、メッセージによって指定された場所又は報知対象者に対応して特定される場所において、報知対象者を探索する探索部と、探索部において探索された報知対象者に対して、メッセージの読み上げまたはメッセージで指示された報知動作を行う報知部とを備える。
【0028】
(22)上記の課題を解決するため、実施形態のロボット制御方法は、ロボットにおいて、報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実行情報取得ステップと、実行情報取得ステップにおいて取得された実行情報に基づき、報知対象者を探索する探索ステップと、探索ステップにおいて探索された報知対象者に対して、実行情報に基づき報知動作を実行する報知動作実行ステップとを含む。
【0029】
(23)上記の課題を解決するため、実施形態のロボット制御プログラムは、ロボットに、報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実行情報取得処理と、実行情報取得処理において取得された実行情報に基づき、報知対象者を探索する探索処理と、探索処理において探索された報知対象者に対して、実行情報に基づき報知動作を実行する報知動作実行処理とを実行させる。
【0030】
(24)上記の課題を解決するため、ロボット制御方法は、ロボットにおいて、ロボットの利用者宛のメッセージを受信するメッセージ受信ステップと、受信したメッセージの宛先によって報知対象者を特定する報知対象者特定ステップと、メッセージによって指定された場所又は報知対象者に対応して特定される場所において、報知対象者を探索する探索ステップと、探索ステップにおいて探索された報知対象者に対して、メッセージの読み上げまたはメッセージで指示された報知動作を行う報知ステップとを含む。
【0031】
(25)上記の課題を解決するため、ロボット制御プログラムは、ロボットに、ロボットの利用者宛のメッセージを受信するメッセージ受信処理と、受信したメッセージの宛先によって報知対象者を特定する報知対象者特定処理と、メッセージによって指定された場所又は報知対象者に対応して特定される場所において、報知対象者を探索する探索処理と、探索処理において探索された報知対象者に対して、メッセージの読み上げまたはメッセージで指示された報知動作を行う報知処理とを実行させる。
【発明の効果】
【0032】
一つの実施形態によれば、ロボットならびにその制御方法および制御プログラムは、報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得し、取得された実行情報に基づき報知対象者を探索し、さらに探索された報知対象者に対して、実行情報に基づき報知動作を実行することにより、特定の報知対象者に対して情報の報知をすることが可能となる。
【図面の簡単な説明】
【0033】
【
図1】実施形態における自律行動型ロボットのソフトウェア構成の一例を示すブロック図である。
【
図2】実施形態における自律行動型ロボットのハードウェア構成の一例を示すブロック図である。
【
図3】実施形態における自律行動型ロボット制御プログラムの動作の第1の例を示すフローチャートである。
【
図4】実施形態における自律行動型ロボット制御プログラムの動作の第2の例を示すフローチャートである。
【
図5】実施形態における自律行動型ロボット制御プログラムが報知動作として目覚まし動作を実行する際のフローチャートである。
【
図6】実施形態における実行情報の一例を示す図である。
【
図7】実施形態における実行情報の設定方法の一例を示す図である。
【
図8】音声入力による実行情報取得に係る自律行動型ロボットのモジュール構成例を示す図である。
【
図9】取付型デバイスの取付場所の特定に係るデータ提供装置のモジュール構成例を示す図である。
【
図10】利用者端末の所在場所の特定に係るデータ提供装置のモジュール構成例を示す図である。
【
図11】ロボットの所在場所の特定に係るデータ提供装置のモジュール構成例を示す図である。
【
図12】報知動作を実行した後の撮影画像及び状態情報を提供する自律行動型ロボットのモジュール構成例を示す図である。
【
図13】2台のロボットが協働する報知動作の第1具体例を示す図である。
【
図14】2台のロボットが協働する報知動作の第2具体例を示す図である。
【
図15】2台のロボットが協働する報知動作の第3具体例を示す図である。
【
図16】メッセージ受信による報知動作を示すフローチャートである。
【発明を実施するための形態】
【0034】
以下、図面を参照して本発明の一実施形態における自律行動型ロボットならびにその制御方法および制御プログラムについて詳細に説明する。
【0035】
先ず、
図1を用いて、自律行動型ロボット1のソフトウェア構成を説明する。
図1は、実施形態における自律行動型ロボット1のソフトウェア構成の一例を示すブロック図である。
【0036】
図1において、自律行動型ロボット1は、データ提供装置10およびロボット2を有する。データ提供装置10とロボット2は通信にて接続されて、自律行動型ロボット1として機能する。ロボット2は、撮影部21、マーカ認識部22、移動制御部23、状態情報取得部24、探索部25、報知動作実行部26、報知部27および移動機構29の各機能部を有する移動式ロボットである。データ提供装置10は、第1通信制御部11、点群データ生成部12、空間データ生成部13、可視化データ生成部14、撮影対象認識部15および第2通信制御部16の各機能部を有する。第1通信制御部11は、撮影画像取得部111、空間データ提供部112および指示部113の各機能部を有する。第2通信制御部16は、可視化データ提供部161、指定取得部162および実行情報取得部163の各機能部を有する。本実施形態における自律行動型ロボット1のデータ提供装置10の上記各機能部は、データ提供装置10を制御するデータ提供プログラム(ソフトウェア)によって実現される機能モジュールであるものとして説明する。また、ロボット2の、マーカ認識部22、移動制御部23、状態情報取得部24、探索部25、報知動作実行部26の各機能部は、自律行動型ロボット1におけるロボット2を制御するプログラムによって実現される機能モジュールであるものとして説明する。
【0037】
自律行動型ロボット1における機能は、機能モジュールを追加、削除または変更(追加等)することにより、追加等することができる。自律行動型ロボット1における基本的な機能を「基本機能」、自律行動型ロボット1における追加的な機能を「追加機能」として説明する。以下の説明においては、データ提供装置10における、第1通信制御部11、点群データ生成部12、空間データ生成部13、可視化データ生成部14、撮影対象認識部15および第2通信制御部16(可視化データ提供部161、指定取得部162)、ならびに、ロボット2における、撮影部21、マーカ認識部22および移動制御部23を「基本機能」として説明する。また、データ提供装置10における実行情報取得部163、ならびにロボット2における、状態情報取得部24、探索部25および報知動作実行部26を「追加機能」として説明する。
【0038】
[基本機能]
データ提供装置10は、自律行動型ロボット1の機能の一部を実行することができる装置であって、例えば、ロボット2と物理的に近い場所に設置され、ロボット2と通信し、ロボット2の処理の負荷を分散させるエッジサーバである。なお、本実施形態において自
律行動型ロボット1は、データ提供装置10とロボット2とにおいて構成される場合を説明するが、データ提供装置10の機能は、ロボット2の機能に含まれるものであってもよい。また、ロボット2は、空間データに基づき移動可能なロボットであって、空間データに基づき移動範囲が定められるロボットの一態様である。データ提供装置10は、1つの筐体において構成されるものであっても、複数の筐体から構成されるものであってもよい。
【0039】
第1通信制御部11は、ロボット2との通信機能を制御する。ロボット2との通信方式は任意であり、例えば、無線LAN(Local Area Network)、Bluetooth(登録商標)、または赤外線通信等の近距離無線通信、もしくは有線通信等を用いることができる。第1通信制御部11が有する、撮影画像取得部111、空間データ提供部112および指示部113の各機能は、第1通信制御部11において制御される通信機能を用いてロボット2と通信する。
【0040】
撮影画像取得部111は、ロボット2の撮影部21により撮影された撮影画像を取得する。撮影部21は、ロボット2に設けられて、ロボット2の移動に伴い撮影範囲を変更することができる。ここで、ロボット2の撮影部21、マーカ認識部22、移動制御部23、状態情報取得部24、探索部25、報知動作実行部26、報知部27および移動機構29について説明する。
【0041】
撮影部21は、ロボット2の周囲の空間を撮影して空間要素を含む撮影画像を生成する。空間要素とは、ロボット2の周囲の空間に存在して空間を構成する要素であって、例えば、部屋の壁、段差、扉、部屋に置いてある家具、家電、荷物、観葉植物等である。撮影部21は、1台または複数台のカメラで構成することができる。例えば、撮影部21が2台のカメラで構成されるステレオカメラである場合、撮影部21は撮影対象である空間要素を異なる撮影角度から立体的に撮影することが可能となる。撮影部21が複数台のカメラで構成される場合、撮影画像はそれぞれのカメラで撮影された複数の画像データであっても、複数の画像データを合わせた1つの画像データであってもよい。撮影部21は、例えば、CCD(Charge-Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子を用いたビデオカメラである。2台のカメラ(ステレオカメラ)で空間要素を撮影することにより、空間要素の形状を測定することができる。また、撮影部21は、ToF(Time of Flight)技術を用いたカメラであってもよい。ToFカメラにおいては、変調された赤外光を空間要素に照射して、空間要素までの距離を測定することにより、空間要素の形状を測定することができる。また、撮影部21は、ストラクチャードライトを用いるカメラであってもよい。ストラクチャードライトは、ストライプ、または格子状のパターンの光を空間要素に投影するライトである。撮影部21は、ストラクチャードライトと別角度から空間要素を撮影することにより、投影されたパターンの歪みから空間要素の形状を測定することができる。撮影部21は、これらのカメラのいずれか1つ、または2つ以上の組合せであってもよい。
【0042】
また、撮影部21は、ロボット2に取付けられてロボット2の移動に合わせて移動するものである。しかし、撮影部21は、ロボット2とは分離して設置されるものであってもよい。
【0043】
撮影部21で撮影された撮影画像は、第1通信制御部11に対応する通信方式において撮影画像取得部111に対して提供される。撮影された撮影画像は、ロボット2の記憶部に一時的に記憶されて、撮影画像取得部111は、リアルタイムにまたは所定の通信間隔で一時記憶された撮影画像を取得する。
【0044】
マーカ認識部22は、撮影部21において撮影された撮影画像に含まれる所定のマーカを認識する。マーカとは、ロボット2の移動の制限を示す空間要素である。移動の制限とは、ロボット2の移動に伴う動作を制限することであり、例えば、ロボット2の移動速度を制限すること、ロボット2の進入を禁止すること、または移動中におけるロボットの所定の動作(例えばロボット2からの音の発生)を禁止すること等である。マーカは、撮影画像から認識可能な物品の形状、模様もしくは色彩又はこれらの結合である。利用者がロボット2の移動を制限する位置にマーカを設置することにより、ロボット2が撮影部21で空間を撮影したときに、家具等とともに撮影される。マーカは、平面的な物品であっても立体的な物品であってもよい。マーカは、例えば、二次元コードまたは特定の色の組合せもしくは形状が印刷されたシールまたは用紙等である。また、マーカは特定の色や形状の置物または敷物等であってもよい。このように、印刷物や身の回りにある物をマーカとして利用することにより、利用者はマーカの電源を確保したり、設置場所を確保したりする必要がない。また、部屋の雰囲気を損なうこと無く、利用者の意思でロボットの移動を制限できる。また、利用者もマーカを視認できるので、移動制限範囲を直観的に把握でき、制限範囲の変更も容易にできる。マーカは利用者によって、例えば壁や家具に貼付され、または床に載置されることにより設置される。マーカ認識部17は、撮影画像に含まれるマーカの画像を認識することにより、ロボット2の移動が制限されることを認識することができる。
【0045】
マーカ認識部22は、マーカの視覚的な特徴を予め記憶しておく。例えば、マーカ認識部22は、マーカとして認識すべき二次元コードや立体物を予め記憶しておく。マーカ認識部22は、利用者によって予め登録された物をマーカとして認識するようにしてもよい。例えば、利用者が利用者端末3のカメラで撮影した植木鉢をマーカとして登録した場合、廊下等に設置された植木鉢をマーカとして認識することができる。したがって、利用者はマーカを設置する場所において違和感が無い物をマーカとして設置することが可能となる。なお、マーカ認識部22は、物以外の空間要素をマーカとして認識するようにしてもよい。例えば、マーカ認識部22は、利用者が腕を体の正面でクロスさせる等の利用者のジェスチャをマーカとして認識するようにしてもよい。マーカ認識部22は、利用者がジェスチャをした位置をマーカの設置位置として認識する。
【0046】
マーカ認識部22は、マーカが貼付されまたは設置等された位置(以下、「設置位置」という。)を認識する。設置位置とは、空間データにおけるマーカが設置された空間の中の位置である。設置位置は、例えば、ロボット2が認識している空間データに基づき、ロボット2の現在位置と撮影されたマーカとの距離において認識することができる。例えば、マーカの大きさが予め分かっている場合、マーカ認識部22は、撮影画像に含まれるマーカ画像の大きさから、ロボット2とマーカの距離を算出し、ロボット2の現在位置と撮影方向(例えば、図示しない方位計による方位)に基づき、マーカの設置位置を認識することができる。また、設置位置は空間における位置が既に分かっている空間要素からマーカまでの相対的な位置から認識するようにしてもよい。例えば、ドアの位置が既に分かっている場合、マーカ認識部22は、マーカとドアの相対的な位置から設置位置を認識するようにしてもよい。また、撮影画像がデプスカメラにおいて撮影されたものである場合、設置位置はデプスカメラで撮影されたマーカの撮影深度に基づき認識することが可能となる。
【0047】
移動制御部23は、移動機構29を制御する。移動制御部23は、探索部25において算出された移動経路(後述)に基づき移動機構29を制御することができる。移動制御部23は、移動機構29を制御することにより、ロボット2の移動方向および移動速度を制御する。移動制御部23は、ロボット2が認識している空間データに基づき、ロボット2の現在位置を認識することができる。移動制御部23は、移動経路における現在位置から移動機構29を制御して、ロボット2を移動させることができる。移動制御部23は、例
えば、壁や廊下等の空間要素から現在位置を適宜補正して移動経路を移動するようにしてもよい。
【0048】
また、移動制御部23は、マーカ認識部22において認識されたマーカに基づき移動機構29を制御してもよい。例えば、移動制御部23は、マーカ認識部22において認識されたマーカの設置位置に基づき移動機構29による移動を制限する。マーカの設置位置とは、1つまたは複数のマーカの設置位置に基づき設定される点、線、面または空間を含む。
【0049】
空間データ提供部112は、ロボット2に対して空間データ生成部13において生成された空間データを提供する。空間データは、ロボット2が存在している空間において、ロボットが認識している空間要素をデータ化したものである。ロボット2は、空間データに定められた範囲内において移動することができる。すなわち、空間データはロボット2において移動可能範囲を定めるための地図として機能する。ロボット2は、空間データ提供部112から空間データを提供される。例えば、空間データには、ロボット2が移動できない壁、家具、電化製品、段差等の空間要素の位置データを含めることができる。ロボット2は、提供された空間データに基づき、自身が移動できる場所か否かの判断をすることができる。また、ロボット2は、空間データの中に未生成の範囲が含まれるか否かを認識できるようにしてもよい。未生成の範囲が含まれるか否かは、例えば、空間データの一部に空間要素がない空間が含まれているか否かで判断することができる。
【0050】
指示部113は、ロボット2に対して、空間データ生成部13において生成された空間データに基づく撮影を指示する。空間データ生成部13は、撮影画像取得部111において取得された撮影画像に基づき空間データを作成するため、例えば、室内の空間データを作成する場合、撮影されていない部分については空間データが未作成の部分を含む場合がある。また、撮影画像が不鮮明等であると、作成された空間データにノイズが含まれてしまい空間データに不正確な部分が含まれてしまう場合がある。指示部113は、空間データに未生成の部分がある場合、未生成の部分についての撮影指示をするようにしてもよい。また、指示部113は、空間データが不正確な部分が含まれている場合、不正確な部分についての撮影指示をするようにしてもよい。指示部113は、空間データに基づき、自発的に撮影を指示してもよい。なお、指示部113は、空間データに基づき生成された可視化データ(後述)を確認した利用者からの明示的な指示に基づき、撮影を指示してもよい。利用者は、可視化データに含まれる領域を指定して、ロボット2に対して、撮影を指示することにより、空間を認識して空間データを生成させることができる。
【0051】
指示部113は、領域に設置されたマーカの撮影を指示するものであってもよい。空間データの作成が指示された領域における撮影は、例えば、ロボット2(撮影部21)の座標位置、撮影部21の撮影方向、解像度等の撮影条件を含んでいてもよい。空間データ生成部13は、作成が指示された空間データが未生成の領域に関するものである場合、既存の空間データに新たに作成された空間データを追加し、空間データ生成部13は、作成が指示された空間データが再作成に係るものである場合、既存の空間データを更新した空間データを生成する。また、撮影画像にマーカが含まれていた場合、認識されたマーカを含む空間データを生成するようにしてもよい。
【0052】
点群データ生成部12は、撮影画像取得部111において取得された撮影画像に基づき空間要素の三次元の点群データを生成する。点群データ生成部12は、撮影画像に含まれる空間要素を所定の空間における三次元の点の集合に変換して点群データを生成する。空間要素は、上述のように、部屋の壁、段差、扉、部屋に置いてある家具、家電、荷物、観葉植物等である。点群データ生成部12は、空間要素の撮影画像に基づき点群データを生成するため、点群データは撮影された空間要素の表面の形状を表すことになる。撮影画像
は、ロボット2の撮影部21が、所定の撮影位置において所定の撮影角度で撮影することにより生成される。したがって、ロボット2が正面の位置から家具等の空間要素を撮影した場合、撮影されていない家具の裏側等の形状については点群データを生成することができず、家具の裏側にロボット2が移動可能な空間があったとしても、ロボット2はそれを認識することができない。一方、ロボット2が移動して側面の撮影位置から家具を撮影すると、家具等の空間要素の裏側の形状について点群データを生成することができるので、空間を正しく把握することが可能となる。
【0053】
空間データ生成部13は、点群データ生成部12において生成された空間要素の点群データに基づきロボット2の移動可能範囲を定める空間データを生成する。空間データは空間における点群データに基づき生成されるため、空間データに含まれる空間要素に関しても三次元の座標情報を有している。座標情報には、点の位置、長さ(高さを含む)、面積、または体積の情報が含まれていてもよい。ロボット2は、生成された空間データに含まれる空間要素の位置情報に基づき、移動が可能な範囲を判断することが可能となる。例えば、ロボット2が床面を水平移動する移動機構29を有するものである場合、ロボット2は、空間データにおいて空間要素である床面からの段差が所定の高さ以上(例えば、1cm以上)である場合移動が不可能であると判断することができる。一方、空間データにおいて、空間要素であるテーブルの天板またはベッド等が床面から所定の高さを有する場合、ロボット2は、床面からの高さが所定の高さ以上(例えば、60cm以上)の範囲を自身の高さとのクリアランスを考慮して移動可能な範囲として判断する。また、ロボット2は、空間データにおいて、空間要素である壁と家具の隙間が所定の幅以上(例えば、40cm以上)である範囲を自身の幅とのクリアランスを考慮して移動可能な範囲として判断する。
【0054】
空間データ生成部13は、空間における所定のエリアについて属性情報を設定してもよい。属性情報とは、所定のエリアについてロボット2の移動条件を定めた情報である。移動条件とは、例えば、ロボット2が移動可能な空間要素とのクリアランスを定めた条件である。例えば、ロボット2が移動可能な通常の移動条件が、クリアランスが30cm以上である場合、所定のエリアについてのクリアランスを例外的に5cm以上とした属性情報を設定することができる。また、属性情報において設定する移動条件は、ロボットの移動を制限する情報を設定してもよい。移動の制限とは、例えば、移動速度の制限、または進入の禁止等である。例えば、クリアランスが小さいエリアや人が存在しているエリアにおいて、ロボット2の移動速度を落とした属性情報を設定してもよい。また、属性情報において設定する移動条件は、エリアの床材によって定められるものであってもよい。例えば、属性情報は、床がクッションフロア、フローリング、畳、またはカーペットにおいて移動機構29の動作(走行速度または走行手段等)の変更を設定するものであってもよい。また、属性情報には、ロボット2が移動して充電できる充電スポット、ロボット2の姿勢が不安定になるため移動が制限される段差またはカーペットの端等における移動条件を設定できるようにしてもよい。なお、属性情報を設定したエリアは、後述する可視化データにおいて表示方法を変更する等、利用者が把握できるようにしてもよい。
【0055】
空間データ生成部13は、点群データ生成部12において生成された点群データを、例えば、ハフ変換して、点群データにおいて共通する直線や曲線等の図形を抽出し、抽出された図形により表現される空間要素の輪郭によって空間データを生成する。ハフ変換は、点群データを特徴点とした場合、特徴点を最も多く通過する図形を抽出する座標変換方法である。点群データは、部屋に置いてある家具等の空間要素の形状を点群において表現するものであるため、利用者は、点群データで表現される空間要素が何なのかの判別(例えば、テーブル、椅子、壁等の認識)をするのが困難な場合がある。空間データ生成部13は、点群データをハフ変換することにより、家具等の輪郭を表現することができるので、利用者が空間要素を判別しやすくすることができる。なお、空間データ生成部13は、点
群データ生成部12において生成された点群データを、画像認識において認識された空間要素(例えば、テーブル、椅子、壁等)における基本形状に変換して空間データを生成してもよい。テーブル等の空間要素は、画像認識でテーブルであることが認識されることにより、空間要素の一部の点群データ(例えば、テーブルを正面から見たときの点群データ)からテーブルの形状を正確に予測することができる。空間データ生成部13は、点群データと画像認識を組み合わせることにより、空間要素を正確に把握した空間データを生成することが可能となる。
【0056】
空間データ生成部13は、ロボット2の移動した位置から所定の範囲に含まれる点群データに基づき空間データを生成する。ロボット2の移動した位置からの所定の範囲とは、ロボット2が実際に移動した位置を含み、例えば、ロボット2が実際に移動した位置から30cm等の距離にある範囲であってもよい。点群データは、ロボット2の撮影部21により撮影された撮影画像に基づき生成されるため、撮影画像にはロボット2から離れた位置にある空間要素が含まれる場合がある。撮影部21から空間要素までが離れている場合、撮影されていない部分が存在し、または撮影されていない障害物の存在によって実際にはロボット2が移動できない範囲が存在する場合がある。また、廊下等のように撮影部21から遠い位置にある空間要素が撮影画像に含まれる場合、特徴点において抽出された空間要素が歪んでしまう場合がある。また、撮影距離が大きい場合、撮影画像に含まれる空間要素が小さくなるため、点群データの精度が低くなる場合がある。空間データ生成部13は、大きく離れている特徴点を無視することにより、精度が低い空間要素、または歪んだ空間要素を含まない空間データを生成するようにしてもよい。空間データ生成部13は、ロボット2の移動した位置から所定の範囲の外側にある点群データを削除して空間データを生成することにより、実際にはデータが存在しない飛び地が発生することを防ぎ、ロボット2が移動できない範囲を含まず、またデータ精度の高い空間データを生成することが可能となる。また、空間データから生成される可視化データにおいて飛び地状の描画を防ぐことができ、視認性を向上させることができる。
【0057】
空間データ生成部13は、マーカ認識部22においてマーカが認識された場合、生成した空間データに対して制限範囲を設定する。空間データに対して制限範囲を設定することにより、制限範囲を可視化データの一部として可視化することが可能となる。また、空間データ生成部13は、状態情報取得部24において状態情報が取得された場合、空間データに対して状態情報を設定する。空間データに対して状態情報を設定することにより、状態情報を可視化データの一部とすることが可能となる。
【0058】
可視化データ生成部14は、空間データ生成部13において生成された空間データに基づいて、空間に含まれる空間要素を人が直観的に判別できるように可視化した可視化データを生成する。
【0059】
一般的に、ロボットは、カメラやマイク等の様々なセンサを有し、それらのセンサから得られる情報を総合的に判断することで周囲の状況を認識する。ロボットが移動するためには、空間に存在する種々の物体を認識し、空間データにおいて移動ルートを判断する必要があるが、物体を正しく認識できないために移動ルートが適切で無いことがある。誤認識が原因となり、例えば、人が十分に広い空間があると思っても、ロボットは障害物があり狭い範囲しか動けないとして認識してしまう場合がある。このように人とロボットとの間に認識の齟齬が生じると、人の期待に反した行動をロボットがおこなうことになり、人はストレスを感じる。本実施形態における自律型行動ロボット1は、人とロボットの認識の齟齬を減らすために、自身の認識状態である空間データを可視化して人に提供するとともに、人に指摘された箇所に対して再度認識処理をおこなうことができる。
【0060】
空間データは、自律行動型ロボット1が認識している空間要素を含むデータであるのに
対して、可視化データは、自律行動型ロボット1が認識している空間要素を利用者が視認するためのデータである。空間データには、誤認識された空間要素が含まれる場合がある。空間データを可視化することにより、自律行動型ロボット1における空間要素の認識状態(誤認識の有無等)を人が確認し易くなる。
【0061】
可視化データは、表示装置において表示可能なデータである。可視化データは、いわゆる間取りであり、壁として認識された空間要素に囲まれた領域の中に、テーブル、椅子、ソファー等として認識された空間要素が含まれる。可視化データ生成部14は、ハフ変換によって抽出された図形において形成される家具等の形状を、例えばRGBデータで表現される可視化データとして生成する。空間データ生成部13は、空間要素の三次元における平面の方向に基づき、平面の描画方法を変更した可視化データを生成する。空間要素の三次元における平面の方向とは、例えば、点群データ生成部12において生成された点群データをハフ変換して、点群データにおいて生成された図形で形成される平面の法線方向である。可視化データ生成部14は、法線方向に応じて平面の描画方法を変更した可視化データを生成する。描画方法とは、例えば、平面に付与する色相、明度または彩度等の色属性、平面に付与する模様、またはテクスチャ等である。例えば、可視化データ生成部14は、平面の法線が垂直方向(平面が水平方向)である場合、平面の明度を高くして明るい色で描画する。一方、可視化データ生成部14は、平面の法線が水平方向(平面が垂直方向)である場合、平面の明度を低くして暗い色で描画する。平面の描画方法を変更することにより、家具等の形状を立体的に表現することが可能となり、利用者が家具等の形状を確認しやすくすることができる。また、可視化データは、空間データに含まれる各空間要素の座標情報と対応づけられた可視化データにおける座標情報(「可視化座標情報」という。)を含んでいてもよい。可視化座標情報は、座標情報と対応付けられているため、可視化座標情報における点は実際の空間における点に対応し、また、可視化座標情報における面は実際の空間における面に対応している。したがって、利用者が可視化データにおいてある点の位置を特定すると、それに対応した実際の部屋における点の位置が特定できることになる。また、座標系を変換するための変換関数を用意し、可視化データにおける座標系と、空間データにおける座標系とを相互に変換できるようにしてもよい。もちろん、可視化データにおける座標系と、実際の空間における座標系とを相互に変換できるようにしてもよい。
【0062】
可視化データ生成部14は、可視化データを立体的(3D(Dimensions))データで生成する。また、可視化データ生成部14は、可視化データを平面的(2D)データで生成してもよい。可視化データを3Dで生成することにより、利用者が家具等の形状を確認しやすくすることができる。可視化データ生成部14は、空間データ生成部13において、可視化データを3Dで生成するために十分なデータが生成された場合に可視化データを3Dで生成するようにしてもよい。可視化データ生成部14は、利用者によって指定された3Dの視点位置(視点高さ、視点仰俯角等)によって可視化データを3Dで生成するようにしてもよい。視点位置を指定可能とすることにより、利用者が家具等の形状を確認しやすくすることができる。また、可視化データ生成部14は、部屋の壁または天井については、奥側の壁についてのみ着色し、手前側の壁または天井を透明にした(着色しない)可視化データを生成してもよい。手前側の壁を透明にすることにより、利用者が手前側の壁の先(室内)に配置された家具等の形状を確認しやすくすることができる。
【0063】
可視化データ生成部14は、撮影画像取得部111において取得された撮影画像に応じた色属性を付与した可視化データを生成する。例えば、可視化データ生成部14は、撮影画像に木目調の家具が含まれ、木目の色(例えば、茶色)を検出した場合、抽出された家具の図形に検出した色に近似した色を付与した可視化データを生成する。撮影画像に応じた色属性を付与することにより、利用者が家具等の種別を確認しやすくすることができる。
【0064】
可視化データ生成部14は、固定されている固定物と、移動する移動物との描画方法を変更した可視化データを生成する。固定物とは、例えば、部屋の壁、段差、固定されている家具等である。移動物とは、例えば、椅子、ごみ箱、キャスター付き家具等である。また、移動物には、例えば、荷物やカバン等の一時的に床に置かれた一時物を含んでいてもよい。描画方法とは、例えば、平面に付与する色相、明度または彩度等の色属性、平面に付与する模様、またはテクスチャ等である。
【0065】
固定物、移動物または一時物の区分は、その場所に存在している期間によって識別することができる。例えば、空間データ生成部13は、点群データ生成部12において生成された点群データの経時的な変化に基づき、空間要素が固定物、移動物または一時物の区分を識別して空間データを生成する。空間データ生成部13は、例えば、第1の時刻において生成した空間データと、第2の時刻において生成した空間データの差分から、空間要素が変化していない場合に空間要素が固定物であると判断する。また、空間データ生成部13は、空間データの差分から、空間要素の位置が変化している場合に空間要素が移動物であると判断してもよい。また、空間データ生成部13は、空間データの差分から、空間要素が無くなっている場合または出現した場合に空間要素が一時物であると判断してもよい。可視化データ生成部14は、空間データ生成部13において識別された区分に基づき描画方法を変更する。描画方法の変更とは、例えば、色分け、ハッチングの追加または所定のマークの追加等である。例えば、空間データ生成部13は、固定物を黒で表示し、移動物を青で表示し、または、一時物を黄で表示するようにしてもよい。空間データ生成部13は、固定物、移動物または一時物の区分を識別して空間データを生成する。可視化データ生成部14は、空間データ生成部13において識別された区分に基づき描画方法を変更した可視化データを生成してもよい。また、空間データ生成部13は、画像認識で認識された空間要素の描画方法を変更した可視化データを生成してもよい。
【0066】
可視化データ生成部14は、複数に区分されたエリアにおける可視化データを生成することができる。例えば、可視化データ生成部14は、リビングルーム、寝室、ダイニングルーム、廊下等の壁で仕切られた空間をひとつの部屋としてそれぞれ可視化データを生成する。部屋毎に可視化データを生成することにより、例えば、空間データまたは可視化データの生成を部屋ごとに分けて行うことが可能となり、空間データ等の生成が容易になる。また、ロボット2が移動する可能性があるエリアのみについて空間データ等を作成することが可能となる。可視化データ提供部161は、利用者がエリアを選択可能な可視化データを提供する。可視化データ提供部161は、例えば、利用者が選択したエリアの可視化データを拡大して、または利用者が選択したエリアの詳細な可視化データを提供するようにしてもよい。
【0067】
撮影対象認識部15は、撮影画像取得部111において取得された撮影画像に基づき、空間要素を画像認識する。空間要素の認識は、例えば機械学習において蓄積された画像認識結果に基づき空間要素が何であるかを判断する画像認識エンジンを用いることにより実行することができる。空間要素の画像認識は、例えば、空間要素の形状、色、模様等において、認識することができる。撮影対象認識部15は、例えば図示しないクラウドサーバにおいて提供される画像認識サービスを利用することにより空間要素を画像認識できるようにしてもよい。可視化データ生成部14は、撮影対象認識部15において画像認識された空間要素に応じて描画方法を変更した可視化データを生成する。例えば、画像認識された空間要素がソファーであった場合、可視化データ生成部14は、空間要素に布の質感を有するテクスチャを付与した可視化データを生成する。また、画像認識された空間要素が壁であった場合、可視化データ生成部14は、壁紙の色属性(例えば白色)を付与した可視化データを生成してもよい。このような可視化処理を施すことで、利用者はロボット2における空間の認識状態を直観的に把握できる。
【0068】
第2通信制御部16は、利用者が所有する利用者端末3との通信を制御する。利用者端末3は、例えば、スマートフォン、タブレットPC、ノートPC、デスクトップPC等である。利用者端末3との通信方式は任意であり、例えば、無線LAN、Bluetooth(登録商標)、または赤外線通信等の近距離無線通信、もしくは有線通信を用いることができる。第2通信制御部16が有する、可視化データ提供部161、指定取得部162および実行情報取得部163の各機能は、第2通信制御部16において制御される通信機能を用いて利用者端末3と通信する。
【0069】
可視化データ提供部161は、可視化データ生成部14において生成された可視化データを利用者端末3に対して提供する。可視化データ提供部161は、例えば、Webサーバであり、利用者端末3のブラウザに対してWebページとして可視化データを提供する。可視化データ提供部161は、複数の利用者端末3に対して可視化データを提供するようにしてもよい。利用者は利用者端末3に表示された可視化データを視認することにより、ロボット2が移動可能な範囲を2D又は3Dの表示として確認することができる。可視化データには、家具等の形状が所定の描画方法において描画されている。利用者は利用者端末3を操作することにより、例えば、2D表示と3D表示の切り替え、可視化データのズームインもしくはズームアウト、または3D表示における視点の移動を行うことができる。
【0070】
利用者は、利用者端末3に表示された可視化データを視認し、空間データの生成状態やエリアの属性情報を確認することができる。利用者は可視化データの中から空間データが生成されていない領域を指定して、空間データの作成を指示することができる。また、利用者は、利用者端末3に表示された可視化データを視認し、家具等の空間要素の形状が不自然である等、空間データが不正確であると思われる領域があれば、その領域を指定して、空間データの再生成を指示することができる。上述のように、可視化データにおける可視化座標情報は、空間データの座標情報と対応付けられているため、利用者によって再生成が指定された可視化データにおける領域は、空間データにおける領域に一意に特定できる。再生成された空間データに基づいて可視化データ生成部14において可視化データが再生成されて可視化データ提供部161から提供される。なお、再生成された可視化データにおいても空間要素が誤認識されている等、空間データの生成状態が変化しない場合がある。その場合、利用者は、ロボット2の動作パラメータを変化させることにより、空間データの生成を指示するようにしてもよい。動作パラメータとは、例えば、ロボット2における撮影部21における撮影条件(露光量またはシャッター速度等)、図示しないセンサの感度、ロボット2の移動を許可する際のクリアランス条件等である。動作パラメータは、例えばエリアの属性情報として空間データに含めるようにしてもよい。
【0071】
可視化データ生成部14は、例えば、空間データの作成(「再作成」を含む。)を指示するボタンの表示を含む可視化データを生成する。利用者端末3は、表示されたボタンを利用者が操作することにより、自律行動型ロボット1に対して空間データの作成の指示を送信することができる。利用者端末3から送信された空間データの作成指示は、指定取得部162において取得される。
【0072】
指定取得部162は、可視化データ提供部161において提供された可視化データに基づき利用者に指定された領域の空間データの作成の指示を取得する。指定取得部162は、エリアの属性情報を設定(変更を含む)する指示を取得してもよい。また、指定取得部162は、領域の位置と、ロボットがその領域にアプローチする際の方向、つまり撮影すべき方向を取得する。作成の指示の取得は、例えば可視化データ提供部161において提供されたWebページの操作において実行することができる。これにより、利用者は、ロボット2がどのように空間を認識しているのかを把握し、認識状態に応じて、認識処理の
やり直しをロボット2に指示することができる。
【0073】
[追加機能]
状態情報取得部24は、探索部25において探索された報知対象者の状態に係る状態情報を取得する。報知対象者の状態とは、報知対象者の動作の状態であり、例えば、睡眠中の状態、起床中の状態、座った状態、立っている状態、歩行している状態、または、調理もしくは掃除等の作業中の状態等である。報知対象者の状態として、報知対象者の健康状態又は精神状態などが取得されてもよい。状態情報取得部24は、例えば、撮影部21で撮影された報知対象者の撮影画像に基づき、報知対象者の状態を判断する。状態情報取得部24は、図示しないマイクで集音した報知対象者が発する音声、放射温度計で計測された報知対象者の熱分布、照度計で計測された部屋の照度、近接センサで検出された報知対象者の動き、報知対象が身につけている心拍数計から取得する心拍数等に基づき、報知対象者の状態を判断してもよい。例えば、状態情報取得部24は、これらの情報から報知対象者の睡眠状態を判断してもよい。睡眠状態とは、例えば、人の心拍数、身体の動き等から測定できる、レム睡眠、ノンレム睡眠、睡眠の深さ等の状態である。
【0074】
状態情報取得部24は、例えば、撮影部21で撮影された報知対象者の撮影画像、報知対象者の熱分布、または近接センサで検出された報知対象者における報知対象者の動きが、予め定められた時間および動作範囲において動きが小さいと判断した場合、報知対象者は睡眠中の状態であると判断する。また、状態情報取得部24は、報知対象者の動きが、予め定められた時間および動作範囲において報知対象者の動作量(例えば、時間当たりの報知対象者の移動量の積算値又は平均値)が所定の動作量よりも大きいと判断した場合、報知対象者は起床中の状態であると判断してもよい。所定の動作量は、例えば、実験などにより定めれられた値であってもよい。また、状態情報取得部24は、報知対象者の姿勢、または、椅子等の空間要素と報知対象者の位置関係から報知対象者が座った状態であると判断してもよい。また、状態情報取得部24は、報知対象者の姿勢から報知対象者が立った状態であると判断してもよい。また、状態情報取得部24は、報知対象者の空間における位置が移動している場合、報知対象者は歩行中の状態であると判断してもよい。また、状態情報取得部24は、撮影画像における報知対象者の動作と予め学習されている動作パターンとの比較から報知対象者の作業内容を判断して作業中であると判断してもよい。
【0075】
また、状態情報取得部24は、照明の点灯状態、ドアの開閉状態に基づき、報知対象者の状態を判断するようにしてもよい。例えば、状態情報取得部24は、照度計で計測された部屋の照度から照明が消された状態であると判断した場合、報知対象者は睡眠中の状態であると判断してもよい。
【0076】
探索部25は、実行情報取得部163において取得された実行情報に基づき、報知対象者を探索する。報知動作実行部26は、探索部25において探索された報知対象者に対して、実行情報に基づき報知動作を実行する。
【0077】
実行情報とは、報知対象者に対して実行すべき情報の報知動作を実行するための情報であり、利用者によって自律行動型ロボット1に対して設定される情報である。実行情報は、例えば、報知動作を実行すべき報知対象者を特定するための報知対象者の情報、報知対象者を探索する場所の情報、報知動作の情報、報知動作を実行する時刻の情報を含む。実行情報は、例えば利用者によって予め設定されて、実行情報取得部163に対して提供される。
【0078】
<報知対象者の情報>
報知対象者の情報は、報知対象者を特定するための情報であって、例えば、報知対象者の氏名、ID(Identification)、身体的な特徴を示す情報、所持品、服
装、またはロボット2との親密度(後述)等の情報である。報知対象者の身体的な特徴を示す情報とは、例えば、報知対象者の顔を認識(顔認識)するための情報、報知対象者の指紋を認識(指紋認識)するための情報、報知対象者の体格を認識(形状認識)するための情報である。報知対象者の所持品もしくは服装等の情報とは、例えば、報知対象者が所有する無線タグの情報、または報知対象者の服装の特徴を示す情報等である。探索部25は、報知対象者の情報に基づき、報知対象者であるか否かを判断することによって報知対象者を特定することができる。例えば、複数の人が1つの部屋に存在している場合、探索部25は、報知対象者の情報に基づき報知対象者を特定することができる。報知対象者の情報は、例えば、報知対象者を特定するIDとともに自律行動型ロボット1に予め記憶しておき、実行情報においてIDのみを指定するようにしてもよい。
【0079】
また、実行情報には、一または複数の報知対象者の情報を含めるようにしてもよい。実行情報に複数の報知対象者の情報を含めることにより、ロボット2は、複数の報知対象に対して順次報知動作を実行することが可能となる。なお、報知対象者の情報に報知対象者が含まれている場合、それぞれの報知対象者に対して予め設定された報知動作が実行される。また、複数の報知対象者に対する報知動作の実行順序(優先順位)を実行情報に設定できるようにしてもよい。
【0080】
<探索場所の情報>
報知対象者を探索する場所(探索場所)の情報は、報知対象者が存在していると予想される場所の情報(場所情報)であり、例えば、ロボット2が移動して報知対象者を探索するための移動先である。場所情報は、例えば、空間における点、線もしくは範囲を示す位置情報、または空間における位置情報が予め登録されている部屋の情報等である。探索部25は、実行情報に含まれる場所情報に基づき移動機構29による移動経路を算出する。移動経路は、ロボット2の現在位置と探索場所から算出することができる。例えば、探索部25は、移動機構29による移動可能な範囲を予め記憶しておき、移動可能な範囲において現在位置から探索場所に最短距離で移動可能な移動経路を算出することができる。探索部25は、移動経路における移動速度を移動経路に含めて算出してもよい。例えば、探索部25は、廊下における移動速度と室内における移動速度を変えて移動するように移動経路を算出することができる。移動制御部23は、探索部25において算出された移動経路に基づき移動機構29を制御してロボット2を移動させる。
【0081】
また、探索部25は、マーカ認識部22において認識されたマーカにおいて移動が制限されている移動制限範囲に基づき移動経路を算出するようにしてもよい。例えば、マーカに基づき進入禁止の範囲が設定されている場合、探索部25は、進入禁止の範囲を避けるように移動経路を算出する。また、マーカに基づき移動速度が制限されている場合、探索部25は、制限速度を考慮した移動が最短時間になるように移動経路を算出してもよい。
【0082】
場所情報は、利用者によって指定されてもよい。例えば、利用者は、利用者が操作する利用者端末3において表示される地図において探索場所を指定することによって場所情報を指定する。実行情報取得部163は、利用者端末3から利用者によって指定された場所情報を取得することができる。探索部25は、利用者端末3から利用者によって指定された場所情報に基づき移動機構29による移動経路を算出する。探索部25は、例えば、ロボット2が充電のために戻るホームポジションから探索場所までの移動経路を算出する。探索部25は、算出した移動経路において移動を制限しているマーカや階段等が存在する場合、利用者端末3においてアラートが表示されるようにしてもよい。すなわち、探索部25は、ロボット2が探索場所に移動する時(移動直前または移動中)に移動経路を算出するようにしてもよく、または、利用者における実行情報の設定時に移動経路を算出するようにしてもよい。
【0083】
実行情報には、一または複数の探索場所の情報を含めるようにしてもよい。実行情報に複数の探索場所の情報を含めることにより、ロボット2は、例えば、最初に指定された探索場所において報知対象者が探索(発見)できない場合、指定された他の探索場所において報知対象者を探索することが可能となる。
【0084】
<報知動作の情報>
報知動作の情報は、報知対象者に対して実行される報知動作の内容を示す情報である。報知動作実行部26は、探索部25において探索された報知対象者に対して、報知動作の情報に基づき報知動作を実行する。報知動作とは、報知部27を用いた報知情報を報知対象者に対して報知する動作である。すなわち、報知動作実行部26は、報知部27を介して報知動作を実行することができる。報知動作の情報には、報知動作を実行する時刻情報が含まれる。探索部25は、時刻情報に応じて報知対象者の探索をする。
【0085】
報知部27は、例えば、スピーカ、表示器またはアクチュエータ等の出力機器である。スピーカは音(音声を含む)によって報知対象者の聴覚に対する情報を報知する。表示器は例えば、ディスプレイまたはライト等であり、表示器に表示される情報(文字、画像または光等)によって報知対象者の視覚に対する情報を報知する。アクチュエータは、例えば、ロボットハンド、振動発生機または圧搾空気出力バルブ等の可動部であり、報知対象者の触覚に対する情報を報知する。なお、報知部27は、報知対象者の嗅覚または味覚に対する情報を報知するものであってもよい。報知動作は、例えば、報知対象者に対するスピーカからの音の出力、もしくは表示器からの表示情報の出力、またはロボットハンドによる報知対象者に対する接触等である。報知動作は、これらの報知動作を組み合わせたものであってもよい。報知動作は、利用者によって指定することができる。報知動作は、例えば、「目覚まし動作」、または「時刻報知動作」等の報知の目的を指定するものであってもよい。また、報知動作実行部26は、報知対象者の情報に応じて報知動作を実行してもよい。例えば、報知対象者の情報として報知対象者の寝起きの良さが記憶されている場合、報知動作実行部26は、報知対象者の寝起きの良さに応じて報知動作を実行する。寝起きの良さは、報知動作を実行してから、報知対象者の状態が睡眠状態以外になるまでの時間に基づいて評価されうる。例えば、報知対象者の情報として報知対象者の寝起きが悪い(例えば、報知動作を実行してから、報知対象者の状態が睡眠状態以外になるまでの時間の平均値が寝起き閾値よりも大きい)と記憶されている場合、報知動作実行部26は、所定の音量以上の音で報知動作を実行してもよい。また、報知動作実行部26は、音量を大きくすることに代えて又は加えて、音を出力する時間を長くなるように制御してもよい。また、報知動作実行部26は、これらに代えて又は加えて、音の種類が第1の種類の音となるように制御してもよい。また、報知動作実行部26は、これらに代えて又は加えて、時間当たりの音量の増加量が比較的大きくなるように制御してもよい。また、報知対象者の寝起きが良い(例えば、報知動作を実行してから、報知対象者の状態が睡眠状態以外になるまでの時間の平均値が寝起き閾値よりも小さい)と記憶されている場合、報知動作実行部26は、報知対象者を驚かせないように、所定の音量以下の音で報知動作を実行するようにしてもよい。また、報知動作実行部26は、音量を大きくすることに代えて又は加えて、音を出力する時間を短くなるように制御してもよい。また、報知動作実行部26は、これらに代えて又は加えて、音の種類が第1の種類の音とは異なる第2の種類の音となるように制御してもよい。また、報知動作実行部26は、これらに代えて又は加えて、時間当たりの音量の増加量が比較的小さくなるように制御してもよい。また、報知動作実行部26は、報知対象者との親密度(後述)に応じて報知動作を変えてもよく、また、過去のデータに基づいて報知動作を変えてもよい。
【0086】
[目覚まし動作]
「目覚まし動作」とは、時刻情報に基づき睡眠中の報知対象者を起床させるための報知動作である。「目覚まし」の報知動作において報知動作実行部26は報知部27のスピー
カから目覚まし用の音を出力し、表示器に現在時刻を表示し、またはロボットアームによって報知対象者に接触することによって、報知対象者を起床させる。報知動作実行部26は、探索部25において探索された報知対象者が睡眠中である場合、目覚まし動作を実行させる。報知対象者が睡眠中であるか否かは、状態情報取得部24において判断することができる。報知動作実行部26は、報知対象者が起床するまで目覚まし動作を繰り返すようにしてもよい。報知対象者が起床したか否かは、状態情報取得部24において判断することができる。なお、報知対象者が起床するとは、報知対象者が二度寝(一旦起床した後に再び睡眠中になること)しないこととしてもよい。報知動作実行部26は、状態情報取得部24が二度寝を判断した場合、目覚まし動作を繰り返すようにしてもよい。
【0087】
[時刻報知動作]
「時刻報知動作」とは、報知対象者に対して予め指定された時刻を報知する動作である。報知対象者に対する時刻報知動作は、例えばテレビ放送の開始時刻を報知する動作である。報知動作実行部26は、予め設定された時刻になったときに、報知対象者に対してテレビの視聴を促す音声を出力してもよい。また、報知動作実行部26は、予め設定された時刻になったときに、テレビの電源を入れるようにしてもよい。報知動作実行部26は、報知対象者がテレビを視聴していない場合、テレビ番組を録画するようにしてもよい。報知対象者がテレビを視聴しているか否かは、状態情報取得部24が、報知対象者がテレビを視聴する場所に座っているか否かを判断することにより判断することができる。
【0088】
また、報知対象者に対する時刻報知動作は、報知対象者の外出時刻を報知する動作であってもよい。報知動作実行部26は、予め設定された時刻になったときに、報知対象者に対して外出を促す音声を出力してもよい。また、報知動作実行部26は、予め設定された時刻の後に報知対象者が外出した場合、戸締まりを実行するようにしてもよい。報知対象者が外出したか否かは、状態情報取得部24が、玄関から出たことを判断することにより判断することができる。
【0089】
<報知動作の完了条件>
報知動作の情報には、報知動作の完了条件が含まれていてもよい。報知動作の完了条件とは、報知対象に対する報知動作が完了したものとみなす条件である。また、報知動作の完了条件には完了条件が満たされない場合の動作を含めてもよい。例えば、報知動作実行部26は、完了条件が満たされない場合、完了条件が満たされるまで報知動作を継続しまたは繰り返してもよい。完了条件を報知動作の情報に含めることにより、報知対象者の状況に応じた報知動作を実行することが可能となる。報知動作の完了条件は、報知動作の情報として自律行動型ロボット1に提供されてもよく、また、自律行動型ロボット1に予め設定しておくようにしてもよい。報知動作が目覚まし動作であった場合の完了条件を以下に例示する。
【0090】
例えば、完了条件を、「探索場所において報知対象者が起床したと判断した場合」としてもよい。探索場所において報知対象者が起床したと判断した場合、報知動作の目的は達成されたため、報知動作を完了することができる。報知対象者が起床したか否かは、上述のように状態情報取得部24において判断することができる。
【0091】
また、完了条件を、「探索場所において報知対象者を探索できない場合」としてもよい。探索場所において報知対象者を探索できない場合、報知対象者は既に起床しているものとみなすことができるため、報知動作を完了することができる。探索場所において報知対象者を探索できたか否かは、状態情報取得部24において判断することができる。
【0092】
また、完了条件を、「探索場所以外の場所において報知対象者を発見した場合」としてもよい。探索場所以外の場所とは、例えば、ロボット2の移動経路における場所である。
探索場所以外の場所において報知対象者を発見した場合、報知対象者は既に起床しているものとみなすことができるため、報知動作を完了することができる。報知対象者の発見は、例えば、状態情報取得部24において、撮影画像に対する報知対象者の画像認識、または報知対象者からロボット2に対する声掛け音声に対する音声認識等をすることによって実行することができる。
【0093】
また、完了条件を、「報知対象者からの快行為が検出された場合」としてもよい。快行為とは、あらかじめ定められた種類の報知対象者の行為であり、例えば、報知対象者がロボット2を「撫でる」行為、またはロボット2に対して「お礼を言う」行為もしくは「挨拶をする」行為等である。報知対象者からの快行為が検出された場合、報知対象者は既に起床しているものとみなすことができるため、報知動作を完了することができる。報知対象者からの快行為の検出は、例えば、状態情報取得部24において実行することができる。
【0094】
<報知動作の責任レベル>
報知動作の情報には、報知動作の責任レベルが含まれていてもよい。報知動作の責任レベルとは、報知対象者に対する報知動作の重要度を示す情報である。例えば、責任レベルが高レベルである場合、報知動作実行部26は、報知対象者の状態が所定の状態になるまで報知動作を繰り返して実行する。例えば、目覚まし動作において責任レベルが高レベルである場合、報知動作実行部26は、報知対象者が起床するまで目覚まし動作を継続する。責任レベルが高レベルである場合、ロボット2は、早めに報知対象者の探索を開始して、設定された時刻において確実に目覚まし動作を実行できるようにしてもよい。また、責任レベルが前記高レベルよりも低い中レベルである場合、報知動作実行部26は、予め設定された回数において目覚まし動作を実行するようにしてもよい。責任レベルが中レベルの場合、ロボット2は、設定された時刻から予め定められた時間の前において報知対象者の探索を開始してもよい。また、責任レベルが前記中レベルよりも低い低レベルである場合、報知動作実行部26は、1回のみ目覚まし動作を実行するようにしてもよい。責任レベルが低レベルの場合、ロボット2は、他の報知動作(例えば、他の報知対象に対する目覚まし動作)の実行が終了してから報知対象者の探索を開始してもよい。
【0095】
<報知対象者とロボットの親密度>
報知対象者とロボット2の親密度とは、報知対象者がロボット2に対して感じる主観的な感情を指数化した情報である。例えば、報知対象者は、ロボット2の形状(例えば、人型または動物型等の形状)、ロボット2が出力する音声、ロボット2の動作等によってロボット2に対して親しみの感情を持つ場合がある。また、報知対象者は、ロボット2との過去の触れ合い等による経験に基づき親しみの感情を持つ場合がある。親密度は、報知対象者の感情に基づき、例えば、百分率(0~100%)または複数レベル(S、A、BおよびCレベル)等で表現される。自律行動型ロボット1は、親密度を記憶し、さらに報知対象者の過去の行動や意見に応じて更新するようにしてもよい。例えば、自律行動型ロボット1は、報知対象がロボット2に対して快行為を行った場合、親密度を高くするように更新してもよい。
【0096】
複数の報知対象者が存在する場合、親密度は報知対象者毎に設定されてもよい。また、複数のロボット2が存在する場合、親密度はロボット2毎に設定されてもよい。例えば、報知対象者Aの1名が存在し、ロボット2がロボット2a~ロボット2bの2台存在する場合、ロボット2aとロボット2bのそれぞれが、報知対象者Aとの親密度を設定できる。
【0097】
実行情報に基づく報知動作は、報知対象者とロボット2の親密度に応じて実行されるようにしてもよい。例えば、上述の報知対象者Aに対する報知動作において、親密度が高い
ロボット2aが報知対象者に対する接触を含む報知動作を実行するのに対して、親密度が低いロボット2bが報知対象者に対する音声出力の報知動作のみを実行するようにしてもよい。また、親密度が低いロボット2bに対する報知動作が設定された場合、親密度が高いロボット2aが報知動作をロボット2bと共同して、またはロボット2に代替して実行するようにしてもよい。また、ロボット2aの親密度とロボット2bの親密度がともに高い場合、ロボット2aとロボット2bが共同してまたは競い合うように報知動作を実行するようにしてもよい。親密度に応じて報知動作を実行することにより、報知対象者に応じた報知動作を実行することが可能となる。
【0098】
実行情報取得部163は、報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する。実行情報取得部163は、実行情報を利用者端末3から取得することができる。実行情報取得部163は、利用者端末3を操作する利用者の操作によって利用者端末3から送信される実行情報を受信することで実行情報を取得してもよい。また、実行情報取得部163は、利用者端末3の記憶部に記憶された実行情報をダウンロードすることにより実行情報を取得してもよい。また、実行情報取得部163は、実行情報を図示しないデータサーバから取得するようにしてもよい。
【0099】
また、実行情報取得部163は、可視化データ提供部161において提供された可視化データに基づき利用者に提供された可視化データに基づき、利用者端末3において表示された地図を利用者が操作することによって指定された場所情報を利用者端末から取得することができる。
【0100】
なお、上述のように、
図1では自律行動型ロボット1は、データ提供装置10とロボット2とが分離されて構成される場合を説明したが、データ提供装置10の機能は、ロボット2の機能に含まれるものであってもよい。例えば、ロボット2は、データ提供装置10の機能を全て含むものであってもよい。データ提供装置10は、例えば、ロボット2において処理能力が不足する場合に、一時的に機能を代替するものであってもよい。
【0101】
また、本実施形態において「取得」とは、取得する主体が能動的に取得するものであってもよく、また、取得する主体が受動的に取得するものであってもよい。例えば、指定取得部162は、利用者が利用者端末3から送信した空間データの作成の指示を受信することにより取得してもよく、また、利用者が図示しない記憶領域(不図示)に記憶させた空間データの作成の指示を記憶領域から読み出すことにより取得してもよい。
【0102】
また、データ提供装置10が有する、第1通信制御部11、点群データ生成部12、空間データ生成部13、可視化データ生成部14、撮影対象認識部15、第2通信制御部16、撮影画像取得部111、空間データ提供部112、指示部113、可視化データ提供部161、指定取得部162および実行情報取得部163の各機能部は、本実施形態における自律行動型ロボット1の機能の一例を示したものであり、自律行動型ロボット1が有する機能を限定したものではない。例えば、自律行動型ロボット1は、データ提供装置10が有する全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、自律行動型ロボット1は、上記以外の他の機能部を有していてもよい。また、ロボット2が有する、マーカ認識部22、移動制御部23、状態情報取得部24、探索部25、報知動作実行部26の各機能部は、本実施形態における自律行動型ロボット1の機能の一例を示したものであり、自律行動型ロボット1が有する機能を限定したものではない。例えば、自律行動型ロボット1は、ロボット2が有する全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。
【0103】
また自律行動型ロボット1が有する上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし、自律行動型ロボット1が有する上記機能の中
で少なくとも1つ以上の機能は、ハードウェアによって実現されるものであっても良い。
【0104】
また、自律行動型ロボット1が有する上記何れかの機能は、1つの機能を複数の機能に分割して実施してもよい。また、自律行動型ロボット1が有する上記何れか2つ以上の機能を1つの機能に集約して実施してもよい。すなわち、
図1は、自律行動型ロボット1が有する機能を機能ブロックで表現したものであり、例えば、各機能がそれぞれ別個のプログラムファイルで構成されていることを示すものではない。
【0105】
また、自律行動型ロボット1は、1つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、自律行動型ロボット1は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、仮想的な装置によって実現するものであってもよい。すなわち、自律行動型ロボット1は、上記各機能のうち、少なくとも1以上の機能を他の装置において実現するようにしてもよい。また、自律行動型ロボット1は、タブレットPC等の汎用的なコンピュータであってもよく、また機能が限定された専用の装置であってもよい。
【0106】
また、自律行動型ロボット1は、その機能の一部または全部をロボット2または利用者端末3において実現するものであってもよい。
【0107】
次に、
図2を用いて、自律行動型ロボット1(ロボット2の制御部)のハードウェア構成を説明する。
図2は、実施形態における自律行動型ロボット1のハードウェア構成の一例を示すブロック図である。
【0108】
自律行動型ロボット1は、CPU(Central Processing Unit)101、RAM(Random Access Memory)102、ROM(Read Only Memory)103、タッチパネル104、通信I/F(Interface)105、センサ106および時計107を有する。自律行動型ロボット1は、
図1で説明した自律行動型ロボット制御プログラムを実行する装置である。
【0109】
CPU101は、RAM102またはROM103に記憶された自律行動型ロボット制御プログラムを実行することにより、自律行動型ロボット1の制御を行う。自律行動型ロボット制御プログラムは、例えば、自律行動型ロボット制御プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ROM103にインストールされ、CPU101から読出されて実行される。
【0110】
タッチパネル104は、操作入力機能と表示機能(操作表示機能)を有する。タッチパネル104は、自律行動型ロボット1の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態における自律行動型ロボット1は操作表示機能を有するタッチパネル104を用いる場合を説明するが、自律行動型ロボット1は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネル104の表示画面は表示装置の表示画面、タッチパネル104の操作は操作入力装置の操作として実施することができる。なお、タッチパネル104は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。
【0111】
通信I/F105は、通信用のI/Fである。通信I/F105は、例えば、無線LAN、有線LAN、赤外線等の近距離無線通信を実行する。
図2において通信用のI/Fは通信I/F105のみを図示するが、自律行動型ロボット1は複数の通信方式においてそれぞれの通信用のI/Fを有するものであってもよい。通信I/F105は、図示しない
撮影部21を制御する制御部または移動機構29を制御する制御部との通信を行うものであってもよい。
【0112】
センサ106は、撮影部21のカメラ、TOFもしくはサーモカメラ等のハードウェア、マイク、温度計、照度計、または近接センサ等のハードウェアである。これらのハードウェアによって取得されたデータは、RAM102に記憶されて、CPU101で処理される。
【0113】
時計107は、時刻情報を取得するための内部時計である。時計107で取得された時刻情報は、例えば、報知動作を実行する時刻の確認に使用される。マイク108は、周囲の音を集音する。マイク108は、例えば、報知対象者の音声を集音する。
【0114】
スピーカ109a、表示器109bおよびアクチュエータ109cは、
図1において説明した報知部27の具体的なハードウェア例である。スピーカ109aは、音を出力し、表示器109bは表示データを出力し、またアクチュエータ109cは可動部である。なお、報知部27は、スピーカ109a、表示器109bおよびアクチュエータ109c以外のハードウェアを有していてもよい。
【0115】
次に、
図3を用いて、ロボット制御プログラムの可視化データ提供に係る動作を説明する。
図3は、実施形態におけるロボット制御プログラムの動作の第1の例を示すフローチャートである。以下のフローチャートの説明において、動作の実行主体は自律行動型ロボット1であるものとして説明するが、それぞれの動作は、上述した自律行動型ロボット1の各機能において実行される。
【0116】
図3において、自律行動型ロボット1は、撮影画像を取得したか否かを判断する(ステップS11)。撮影画像を取得したか否かの判断は、撮影画像取得部111がロボット2から、撮影画像を取得したか否かで判断することができる。撮影画像を取得したか否かの判断は、撮影画像の処理単位で判断される。例えば、撮影画像が動画である場合、動画はロボット2から連続して送信されるため、撮影画像を取得したか否かの判断は、取得された動画のフレーム数またはデータ量等が所定の値に達したか否かで行うことができる。撮影画像の取得は、移動式ロボットが主体となって撮影画像を送信するものであっても、撮影画像取得部111が主体となって移動式ロボットから撮影画像を引き取るものであってもよい。撮影画像を取得していないと判断した場合(ステップS11:NO)、自律行動型ロボット1は、ステップS11の処理を繰返し、撮影画像が取得されるのを待機する。
【0117】
一方、撮影画像を取得したと判断した場合(ステップS11:YES)、自律行動型ロボット1は、点群データを生成する(ステップS12)。点群データの生成は、点群データ生成部12が、例えば、撮影画像中の輝度の変化が大きい点を特徴点として検出し、検出された特徴点に対して三次元の座標を与えることにより実行することができる。特徴点の検出は、例えば、撮影画像に対して微分処理を行い撮影画像の階調の変化を検出し、階調の変化の大きい部分を検出するようにしてもよい。また、特徴点に対する座標の付与は、異なる撮影角度から撮影された同一の特徴点を検出することにより実行してもよい。ステップS11における撮影画像の取得の有無の判断は、複数の方向から撮影された撮影画像を取得したか否かで判断することができる。
【0118】
ステップS12の処理を実行した後、自律行動型ロボット1は、空間データを生成し、マーカを認識する(ステップS13)。空間データの生成は、空間データ生成部13が、例えば、点群データをハフ変換することにより実行することができる。なお、ステップS13の詳細は
図4において説明する。
【0119】
ステップS13の処理を実行した後、自律行動型ロボット1は、生成した空間データをロボット2に対して提供する(ステップS14)。ロボット2に対する空間データの提供は、
図3に示すように空間データ生成の都度、逐次提供するようにしてもよく、また、ステップS11~ステップS18で示す処理とは非同期に提供するようにしてもよい。空間データを提供されたロボット2は、空間データに基づき移動可能範囲を把握することが可能となる。
【0120】
ステップS14の処理を実行した後、自律行動型ロボット1は、空間要素を認識するか否かを判断する(ステップS15)。空間要素を認識するか否かの判断は、例えば、撮影対象認識部15に対して空間要素を認識するか否かの設定を行うことにより実行することができる。なお、空間要素を認識すると判断した場合であっても、認識に失敗した場合は、空間要素を認識しないと判断するようにしてもよい。
【0121】
空間要素を認識すると判断した場合(ステップS15:YES)、自律行動型ロボット1は、第1可視化データを生成する(ステップS16)。第1可視化データの生成は、可視化データ生成部14において実行することができる。第1可視化データとは、撮影対象認識部15が空間要素を認識した上で生成される可視化データである。例えば、撮影対象認識部15が空間要素をテーブルであると判断した場合、可視化データ生成部14は、テーブルの上面が撮影されておらず点群データを有さない場合であっても、テーブルの上面は平らであるものとして可視化データを生成することができる。また、空間要素が壁であると判断された場合、可視化データ生成部14は、撮影されていない部分も平面であるとして可視化データを生成することができる。
【0122】
空間要素を認識しないと判断した場合(ステップS15:NO)、自律行動型ロボット1は、第2可視化データを生成する(ステップS17)。第2可視化データの生成は、可視化データ生成部14において実行することができる。第2可視化データとは、撮影対象認識部15が空間要素を認識しないで、すなわち、撮影画像から生成された点群データ及び空間データに基づき生成される可視化データである。自律行動型ロボット1は、空間要素の認識処理を行わないことで、処理負荷を軽減することができる。
【0123】
ステップS16の処理またはステップS17の処理を実行した後、自律行動型ロボット1は、可視化データを提供する(ステップS18)。可視化データの提供は、可視化データ生成部14において生成された可視化データを可視化データ提供部161が利用者端末3に提供することにより実行される。自律行動型ロボット1は、例えば利用者端末3からの要求に応じて可視化データを生成して提供するようにしてもよい。ステップS18の処理を実行した後、自律行動型ロボット1は、フローチャートで示した動作を終了する。
【0124】
次に、
図4を用いて、ロボット制御プログラムの空間データ生成に係る動作を説明する。
図4は、実施形態におけるロボット制御プログラムの動作の第2の例を示すフローチャートである。
【0125】
図4において、自律行動型ロボット1は、空間データを生成する(ステップS131)。空間データの生成は、空間データ生成部13が、例えば、点群データをハフ変換することにより実行することができる。ステップS131を実行した後、自律行動型ロボット1は、マーカを認識したか否かを判断する(ステップS132)。マーカを認識したか否かは、マーカ認識部22が、撮影部21において撮影された撮影画像の中にマーカの画像を認識したか否かで判断することができる。ロボット2は、データ提供装置10に対してマーカの認識結果を通知することができる。
【0126】
マーカを認識したと判断した場合(ステップS132:YES)、自律行動型ロボット
1は、ステップS121において生成した空間データに移動が制限される制限範囲を設定する(ステップS133)。
【0127】
ステップS133の処理を実行した後、またはマーカを認識していないと判断した場合(ステップS132:NO)、自律行動型ロボット1は、フローチャートで示したステップS13の提供データ生成の動作を終了する。
【0128】
次に、
図5を用いて、ロボット制御プログラムの報知動作を説明する。
図5は、実施形態における自律行動型ロボット制御プログラムが報知動作として目覚まし動作を実行する際のフローチャートである。
【0129】
図5において、自律行動型ロボット1は、実行情報を取得したか否かを判断する(ステップS21)。実行情報を取得したか否かの判断は、実行情報取得部163が利用者端末3から実行情報を取得したか否かで判断することができる。実行情報を取得していないと判断した場合(ステップS21:NO)、自律行動型ロボット1は、ステップS21の処理を繰返し、実行情報が取得されるのを待機する。
【0130】
一方、実行情報を取得したと判断した場合(ステップS21:YES)、自律行動型ロボット1は、移動経路を算出する(ステップS22)。移動経路の算出は、探索部25が実行情報に含まれる場所情報に基づき算出することで実行することができる。
【0131】
ステップS22の処理を実行した後、自律行動型ロボット1は、報知対象者の探索を開始して、また算出された移動経路による移動を開始する(ステップS23)。報知対象者の探索は、探索部25において実行することができる。また、移動は、移動機構29を移動制御部23が制御することにより実行することができる。なお、ステップS23における探索の開始は時刻情報に基づき実行され、自律行動型ロボット1は、指定された実行時刻より前に移動を開始する。例えば、実行時刻が午前6時に設定された場合、自律行動型ロボット1は、実行時刻に報知動作が実行出来るように、移動経路における移動時間を考慮して、午前6時前の時刻にロボット2の移動を開始する。移動を開始する時刻は、自律行動型ロボット1が時刻情報に基づき自動的に判断してもよく、また利用者によって手動的に設定されてもよい。
【0132】
ステップS23の処理を実行した後、自律行動型ロボット1は、探索場所として指定された場所にロボット2が到達したか否かを判断する(ステップS24)。探索場所に到達したか否かは、例えば、移動制御部23が探索場所とロボット2の現在位置(座標位置)を比較することによって判断することができる。探索場所に到達していないと判断した場合(ステップS24:NO)、自律行動型ロボット1は、ステップS24の処理を繰返し、ロボット2が探索場所に到達するのを待機する。
【0133】
一方、探索場所に到達したと判断した場合(ステップS24:YES)、自律行動型ロボット1は、報知対象者を発見したか否かを判断する(ステップS25)。報知対象者を発見したか否かは、例えば、探索部25が、実行情報に含まれる報知対象者の情報に基づき判断することができる。なお、報知対象者を発見したか否かは、例えば探索場所において人が存在していた場合、その人を報知対象者であると見做して判断するようにしてもよい。報知対象者を発見していないと判断した場合(ステップS25:NO)、自律行動型ロボット1は、ステップS23の処理に戻り、次の探索場所に対する移動を開始する。すなわち、自律行動型ロボット1は、指定された複数の探索場所を順次探索していき、報知対象者を発見することができる。なお、指定された探索場所において報知対象者が発見出来なかった場合、図示するフローチャートにおける探索動作を終了し、報知対象者が発見出来なかった旨を記録し、または利用者端末3に通知するようにしてもよい。
【0134】
一方、報知対象者を発見したと判断した場合(ステップS25:YES)、自律行動型ロボット1は、状態情報を取得する(ステップS26)。状態情報の取得は、状態情報取得部24において実行することができる。図示するフローチャートでは、状態情報として、報知対象者が睡眠中であるか起床中であるかの情報を取得するものとする。
【0135】
ステップS26の処理を実行した後、自律行動型ロボット1は、報知対象者が睡眠中であるか否かを判断する(ステップS27)。報知対象者が睡眠中であるか否かは、状態情報取得部24において判断することができる。報知対象者が睡眠中であると判断した場合(ステップS27:YES)、自律行動型ロボット1は、報知動作として目覚まし動作を実行する(ステップS28)。目覚まし動作の実行は、報知動作実行部26において実行することができる。報知動作実行部26は、現在時刻が予め指定された実行時刻になったことを契機に目覚まし動作を実行する。すなわち、自律行動型ロボット1は、実行時刻より前に探索場所に着いたときは、実行時刻になるまで待機する。また、実行時刻に遅れて探索場所に着いたときは、自律行動型ロボット1は即座に目覚まし動作を実行する。目覚まし動作は、例えば、報知対象者の睡眠状態を状態情報取得部24において判断して、報知対象者が所定の睡眠状態である場合に実行するようにしてもよい。
【0136】
ステップS28の処理を実行した後、自律行動型ロボット1は、再びステップS27の処理を実行し、報知対象者が睡眠中であるか否かを判断する。ステップS27の処理の再実行は、例えば5分、10分または15分等、一定の時間が経過してから実行されてもよい。
【0137】
一方、報知対象者が睡眠中ではない(起床中である)と判断した場合(ステップS27:NO)、自律行動型ロボット1は、挨拶動作を実行して(ステップS29)、フローチャートで示す動作を終了する。挨拶動作とは、例えば、「おはようございます」等の定形文章、または現在時刻等の音声出力等である。挨拶動作を実施するか否かは、実行情報において予め設定できるようにしてもよい。
【0138】
なお、本実施形態で説明したロボット制御プログラムの動作(ロボット制御方法)における各ステップにおける処理は、実行順序を限定するものではない。
【0139】
次に、
図6を用いて、実行情報を説明する。
図6は、実施形態における実行情報の一例を示す図である。
【0140】
図6において、実行情報1000は、「報知対象者」および「報知動作」のデータ項目を有する。実行情報1000は、利用者端末3において設定されて、実行情報取得部163において取得することができる。
【0141】
「報知対象者」は、報知動作を行う報知対象者を特定するための情報である。図は、「報知対象者」のIDにおいて「A」、「B」および「C」の3名が指定されているが、報知対象者の人数は1以上の任意の数である。なお、それぞれの報知対象者を特定するための身体的特徴等は、自律行動型ロボット1に予め登録しておくようにしてもよい。
【0142】
「報知動作」は、報知対象者に対して実行する報知動作の情報である。報知動作は1人の報知対象者に対して複数を設定できるようにすることができる。図は、それぞれの報知対象者に対して、「報知動作1」および「報知動作2」の2つの報知動作が設定されていることを示している。それぞれの報知対象者に対するそれぞれの報知動作には、優先順位を設定出来るようにしてもよい。
【0143】
「報知動作」は、「探索場所」、「報知動作」および「時刻」のデータ項目を有する。「探索場所」は、報知対象者を探索する探索場所を示す情報である。図は、探索場所として、「子供部屋」、「寝室」、「洋室」または「リビング」等の部屋を指定する場合を示している。それぞれの部屋の情報は、可視化データ提供部161から利用者端末3に提供されて、自律行動型ロボット1と利用者端末3において共有しておくことができる。利用者は、利用者端末3に表示された地図から部屋を選択することにより探索場所を指定することができる。
【0144】
「報知動作」は、報知対象者に対して実行する報知動作を示す情報である。「報知動作」には、「目覚まし動作」、または「放送時刻報知」等の報知動作が設定される。それぞれの報知動作には、責任レベルを設定することができる。責任レベルとは、自律行動型ロボット1が報知対象者に対して実行する報知動作の重要度を示す情報である。自律行動型ロボット1は、設定された責任レベルに応じて報知動作を変更することができる。例えば、自律行動型ロボット1は、責任レベルに応じて、報知動作の実行順序(優先順位)、報知動作における音声出力の大きさ、音声の内容、報知動作の実行回数、または報知動作の終了条件等を変更してもよい。例えば、自律行動型ロボット1は、複数の報知動作を実行する場合、責任レベルの高い報知動作を優先して実行する。また、自律行動型ロボット1は、責任レベルの高い報知動作における音声出力を大きくし、または実行回数を増やすことにより、報知対象者に対して高い確率で報知動作を認識させることが可能となる。図は、責任レベルとして「高レベル」、「中レベル」及び「低レベル」の3段階のレベルを設定する場合を例示している。自律行動型ロボット1は、「高レベル」の報知動作を「中レベル」の報知動作に優先し、さらに「中レベル」の報知動作を「低レベル」の報知動作に優先して実行するようにしてもよい。
【0145】
「目覚まし動作」は、「挨拶あり」または「挨拶なし」を設定することができる。
図5においては、「挨拶あり」の場合の動作を説明した。「放送時刻報知」は、テレビ放送等の開始を報知する動作である。「外出時刻報知」は、報知対象者に対して外出時刻を報知する動作である。
【0146】
「時刻」は報知動作を実行する時刻情報である。「時刻」には、1回のみ実行される報知動作に対する時刻を設定する。また、「時刻」には、毎日繰り返される報知動作に対する時刻を設定してもよい。
【0147】
なお、図は報知対象3名に対してそれぞれ2つの報知動作を1つの実行情報として示したが、例えば、実行情報取得部163は、それぞれの実行情報を個別に取得して、実行情報をマージすることにより、複数の実行情報における報知動作の優先順位、実行時間の干渉による実行の可否などを考慮して報知動作をスケジュールするようにしてもよい。
【0148】
次に、
図7を用いて、実行情報の設定方法を説明する。
図7は、実施形態における実行情報の設定方法の一例を示す図である。
【0149】
図7において、利用者端末3の表示画面には、実行情報設定画面30が表示されている。実行情報設定画面30は、報知対象者設定部311、時刻設定部312、報知動作設定部313、および探索場所設定部32を含む。実行情報設定画面30は、例えば、利用者端末3のアプリケーションプログラム(アプリ)において表示される。
【0150】
報知対象者設定部311は、報知対象者を選択するためのプルダウンメニューである。図は、報知対象者として報知対象者Aが選択されていることを示している。時刻設定部312は、報知動作を実行する時刻情報を選択するためのプルダウンメニューである。報知動作設定部313は、報知動作を選択するためのプルダウンメニューである。図では、報
知動作として目覚まし動作が選択されていることを示している。
【0151】
探索場所設定部32は、例えば、可視化データ提供部161から提供された可視化データに基づき自宅の部屋の配置の平面図を表示して、報知対象者を探索する探索場所を平面図から設定するための表示である。図は、探索場所設定部32に、ロボット2が充電のために戻るホームポジション321、子供部屋322、寝室323および洋室324が表示されていることを示している。利用者は、探索場所設定部32において、子供部屋322、寝室323または洋室324の少なくともいずれか1つの部屋をタッチすることにより選択場所を設定する。
【0152】
例えば、利用者が子供部屋322を探索場所として設定した場合、探索場所設定部32は移動経路325を表示する。移動経路325は、例えば、探索部25において算出されて、利用者端末3に提供される。図は、ホームポジション321から子供部屋322までの移動経路325が破線表示されていることを示している。なお、探索場所設定部32は、移動経路において移動が制限される場合、移動に問題があることを表示するようにしてもよい。例えば、子供部屋322の入口に段差があってロボット2が移動できない場合、その旨を移動経路325にX印で表示するようにしてもよい。
【0153】
なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0154】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現するもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0155】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更(変形例)も含まれる。
【0156】
こうした変形例として、例えば、利用者端末3が存在する場所を探索場所として設定し、または探索場所として探索動作を実行するようにしてもよい。利用者端末3が存在する場所は、例えば、図示しない無線LAN通信の基地局と利用者端末3の位置関係によって把握することができる。また、利用者端末3が存在する場所は、ロボット2と利用者端末
3の間の近距離無線通信の電波強度において把握することができる。利用者端末3の存在場所に基づき、報知対象者を探索することにより、利用者は利用者端末を探索場所に持ち込むだけで探索場所を設定することができるため、報知動作の設定を簡単にすることが可能となる。
【0157】
また、利用者端末3のアプリは、報知動作を実行する所定の時刻においてロボット2を呼び寄せ、報知動作実行部26に報知動作を実行させるようにしてもよい。例えば、利用者端末3のアプリは、利用者が利用者端末3の目覚まし機能においてタイマを設定したときに、タイマの設定時刻にロボット2を呼び寄せて報知動作を実行させるようにしてもよい。すなわち、利用者端末3のアプリは、利用者端末3における一般的な目覚まし機能とロボット2とを連携させることができる。例えば、目覚まし機能には、いったんアラームを止めても、所定の時間経過後に所定の繰り返し回数において再びアラームが鳴り出す「スヌーズ」機能がある。利用者端末3のアプリは、スヌーズ機能によりアラームが鳴り出したことを契機にロボット2を呼び寄せて報知動作を実行させてもよい。また、利用者端末3のアプリは、スヌーズの繰り返し回数が終了したことを契機にロボット2を呼び寄せて報知動作を実行させてもよい。
【0158】
また、実行情報の設定は、マーカの設置によって行うようにしてもよい。例えば、部屋の入口に探索場所または報知対象者を示すマーカを設置することにより、マーカが設置された部屋を探索場所として設定し、または、報知対象者を設定できるようにしてもよい。例えば、報知動作を希望する者は、部屋のドアノブに報知動作を希望する旨のマーカを設定することにより、ロボット2がマーカを認識し、ロボット2による報知動作を受けるようにしてもよい。また、報知動作を希望しない者は、部屋のドアノブに報知動作を希望しない旨のマーカ(「Don't Disturb」表示等)を設定することにより、ロボット2による報知動作を忌避するようにしてもよい。
【0159】
また、実行情報の設定は、実施された報知動作によって行うようにしてもよい。例えば、報知対象者が報知動作を実行したロボット2に対して、「明日も同じ時間におこして」等と伝えることにより実行情報が設定されてもよい。実施された報知動作によって実行情報を設定することにより、実行情報の設定を容易にすることができる。
【0160】
また、ロボット2は、報知対象者から不快行為をされたことをセンサなどを介して検出した場合、次回の報知動作の実行を嫌がるようなモーションを実行してもよい。不快行為とは、快行為とは異なる行為であり、例えば、ロボット2を叩く、ロボット2を叱る等の行為である。報知動作の実行を嫌がるモーションを実行するロボット2に対して報知対象者が謝罪する等の行為を行ったことをロボット2がセンサなどを介して検出した場合、ロボット2は、機嫌を直して報知動作の実行を引き受けるようなモーションを実行してもよい。このように、不快行為に対する反応を行うことにより、ロボット2とのコミュニケーションを深めることが可能となる。
【0161】
また、報知対象者が居る部屋のドアが閉まっていることで、ロボット2が部屋の内側に移動出来ない場合が想定される。この場合、ロボット2は、ドアの手前で停止し、実行時間になったときに報知動作を実行してもよい。報知動作実行部26は、ドアが閉じている場合に限らず、障害物や、進入禁止エリアなどが原因で、探索場所に到達できない場合、その場にとどまり、実行時間になったときに報知動作を実行してもよい。報知動作実行部26は、探索場所に到達出来たときに発する音量より大きな音量で報知動作を実行してもよい。つまり、報知動作実行部26は、探索場所として指定された場所から離れていることを考慮し、報知対象者が気付くように、通常より大きな音量で報知行動を行う。報知行動としては、単に音を発生するだけで無く、ドアや壁にロボット2の身体を軽くぶつけることで音を発生させてもよい。また、ロボット2は、ドアが開くことより、ドアや人に衝
突しない位置で報知動作を行ってもよい。そのため、報知動作実行部26は、ドアの開閉範囲を認識する。そして、報知動作実行部26は、その範囲の外側にロボット2を移動させ、ドアの開閉範囲外に位置しているときに報知動作を実行する。これにより、報知対象者が報知に気付き、ドアを開けて出てきたときに、ロボット2とドアの接触を防ぐことができる。また、探索部25は、報知動作のために移動しているときに限り、マーカで指定された進入禁止のルールを破り、進入禁止範囲を通過して、報知対象者の居る探索場所に移動してもよい。
【0162】
<音声入力による実行情報の取得>
自律行動型ロボット1は、実行情報を音声入力によって取得してもよい。音声入力によって実行情報を取得する処理の概要について説明する。
【0163】
図8は、音声入力による実行情報取得に係る自律行動型ロボット1のモジュール構成例を示す図である。自律行動型ロボット1は、マイク108、音声認識部201、実行情報取得部163及び実行情報記憶部204を有する。自律行動型ロボット1は、上述したようにロボット2とデータ提供装置10の2つの装置によるシステムとして構成される。
図8は、「音声入力による実行情報の取得」に関わる機能を抽出して示すものである。また、マイク108、音声認識部201、実行情報記憶部204および実行情報取得部163それぞれの機能がロボット2,データ提供装置10、あるいは、他の装置のいずれによって実現されるかは自律行動型ロボット1の仕様に基づいて任意に設計されればよい。
【0164】
マイク108は、利用者の音声を入力する。マイク108は、ロボット2とデータ提供装置10のいずれに設けられていてもよい。また、マイク108は、自律行動型ロボット1の外に設けられていてもよい。例えばロボット2が行動する屋内に設置されているマイクが用いられてもよい。あるいは、利用者端末3のマイクが用いられてもよい。実行情報を音声で入力する場合、利用者はマイクに向かって実行情報を特定するための句や文などの言語表現を音声で発する。この例では、妻である利用者が夫である利用者を起床させるために、「7時に寝床のお父さんを起こしなさい。」という命令文を音声で発したものと想定する。音声認識部201は、マイク108で入力した音声データを認識して、音声データを言語データに変換する。
【0165】
実行情報取得部163は、実行情報特定部202及び変換ルール記憶部203を有する。実行情報特定部202は、変換ルール記憶部203に記憶されている変換ルールを参照して、言語データに基づく実行情報を特定する。変換ルールは、実行情報のパラメータと言語表現を対応付けている。変換ルール記憶部203は、具体的には報知動作の種類に対応する動作表現、報知対象者IDに対応する人物表現、及び子供部屋や寝室などの屋内の場所に対応する場所表現を記憶している。例えば報知動作「目覚まし/挨拶あり」に「起こしなさい」という動作表現が対応付けられ、報知対象者ID「A」に「お父さん」という人物表現が対応付けられ、場所「寝室」に「寝床」という場所表現が対応付けられている。変換ルールは、時刻に対応する時間表現を対応付けてもよい。例えば時刻「12時」に「お昼」という時間表現が対応付けられてもよい。
【0166】
実行情報特定部202は、言語データの中に、報知動作の種類に対応する動作表現が含まれている場合に、その動作表現に対応する報知動作の種類を特定する。また、実行情報特定部202は、言語データの中に、報知対象者IDに対応する人物表現が含まれている場合に、その人物表現に対応する報知対象者IDを特定する。さらに、実行情報特定部202は、言語データの中に、屋内の場所に対応する場所表現が含まれている場合に、その場所表現に対応する屋内の場所を特定する。特定された屋内の場所は、探索場所に相当する。実行情報特定部202は、言語データの中に、例えば「7時」のような時刻表現が含まれている場合にはその時刻を特定し、時刻に対応する時間表現が含まれている場合には
、その時間表現に対応する時刻を特定する。特定した時刻は、報知時刻に相当する。実行情報特定部202は、報知対象者ID、探索場所、報知動作の種類及び報知時刻を含む実行情報を特定する。この例では、報知対象者ID「A」、探索場所「寝室」、報知動作の種類「目覚まし/挨拶あり」及び報知時刻「7時」を含む実行情報が特定される。実行情報記憶部204は、特定された実行情報を記憶する。
【0167】
以下に、自律行動型ロボット1が音声入力によって実行情報を取得する実装例を8つ示す。第1実装例では、データ提供装置10において
図8に示したすべてのモジュールの機能を実現する。つまり、データ提供装置10に設けられたマイク108において利用者の音声を入力し、データ提供装置10において音声認識の処理と実行情報特定の処理を行なう。
【0168】
データ提供装置10は、マイク108、音声認識部201、実行情報特定部202、変換ルール記憶部203及び実行情報記憶部204を有する。データ提供装置10の音声認識部201は、データ提供装置10のマイク108から音声データを受け取り、言語データに変換する。データ提供装置10の実行情報特定部202は、データ提供装置10の変換ルール記憶部203を参照して、言語データに基づく実行情報を特定する。データ提供装置10の実行情報記憶部204は、特定された実行情報を記憶する。
【0169】
第1実装例において特定された実行情報に場所情報が含まれない場合に、実行情報特定部202は、音声を入力したマイク108の所在場所、つまりデータ提供装置10が設置されている場所を、実行情報における場所情報としてもよい。
【0170】
第2実装例では、ロボット2が行動する屋内に取り付けられている取付型デバイス4とデータ提供装置10によって、
図8に示したモジュールの機能を実現する。つまり、取付型デバイス4に含まれるマイク108において利用者の音声を入力し、データ提供装置10において音声認識の処理と実行情報特定の処理を行なう。そのために、取付型デバイス4からデータ提供装置10へ音声データが伝送される。1以上の取付型デバイス4はIDにより識別され、データ提供装置10は各取付型デバイス4の設置場所(屋内における位置座標)をあらかじめ登録しておく。
【0171】
取付型デバイス4は、異なる場所に複数取り付けられてもよい。取付型デバイス4は、有線通信と無線通信の何れか一方又は両方によってデータ提供装置10との間でデータを伝送できる。無線通信の方式は、例えば、無線LAN、Bluetooth(登録商標)、または赤外線通信等の近距離無線通信、もしくは有線通信等でもよい。有線通信の方式は、たとえば有線LANでもよい。
【0172】
取付型デバイス4は、マイク108及び音声データ送信部(不図示)を有する。音声データ送信部は、取付型デバイス4のマイク108で入力した音声データをデータ提供装置10へ送信する。データ提供装置10は、音声データ受信部(不図示)、音声認識部201、実行情報特定部202、変換ルール記憶部203及び実行情報記憶部204を有する。音声データ受信部は、取付型デバイス4から送られた音声データを受信する。データ提供装置10の音声認識部201は、音声データ受信部が受信した音声データを言語データに変換する。データ提供装置10の実行情報特定部202は、変換ルール記憶部203を参照して、言語データに基づく実行情報を特定する。データ提供装置10の204は、特定された実行情報を記憶する。
【0173】
第2実装例において特定された実行情報に場所情報が含まれない場合に、実行情報取得部163は、音声を入力したマイク108の所在場所、つまり取付型デバイス4が取り付けられている場所を、実行情報における場所情報としてもよい。例えば寝室に取り付けら
れたマイク108で「30分後に起こしてください。」という音声を入力した場合に、寝室を実行情報における場所情報としてもよい。尚、この例文は、利用者が単独であって報知対象者IDを省略できる場合を想定している。また、実行情報特定部202は、「30分後」という時間表現に基づいて現在時刻に30分を加えて報知する時間を特定する。更に、実行情報特定部202は、動作表現「起こしてください」によって報知動作の種類「目覚まし/挨拶なし」を特定するものとする。
【0174】
図9は、取付型デバイス4の取付場所の特定に係るデータ提供装置10のモジュール構成例を示す図である。いいかえれば、
図9は第2実装例に対応したデータ提供装置10の、特に、音声を拾った取付型デバイス4(マイク108)の場所特定機能に関するモジュール構成例を示す。データ提供装置10の実行情報取得部163は、場所特定部211及び取付場所記憶部212を有する。取付場所記憶部212は、屋内の所定場所に取り付けられている各取付型デバイス4の取付場所を記憶している。つまり、取付場所記憶部212は、各取付型デバイス4のIDに対応付けて取付場所を記憶している。第2実装例において、実行情報特定部202で実行情報が特定された後に、場所特定部211は、実行情報に場所情報が含まれているか否かを判定する。実行情報に場所情報が含まれている場合には、場所特定部211はそのまま処理を終える。実行情報に場所情報が含まれていない場合には、場所特定部211は音声データ受信部から音声データの送信元である取付型デバイス4のIDを得る。そして、場所特定部211は、取付場所記憶部212を参照して、送信元の取付型デバイス4のIDに対応する取付場所を特定し、特定した取付場所を探索場所として実行情報記憶部204に書き込む。つまり、実行情報における場所情報として取付型デバイス4の取付場所が記憶される。
【0175】
第3実装例では、利用者端末3とデータ提供装置10によって、
図8に示したモジュールの機能を実現する。ここでいう利用者端末3は、スマートフォンやラップトップPCなどの任意のコンピュータ端末であればよい。第3実装例においては利用者端末3が内蔵するマイク108を活用する。利用者端末3のマイク108において利用者の音声を入力し、データ提供装置10において音声認識の処理と実行情報特定の処理を行なう。そのために、利用者端末3からデータ提供装置10へ音声データが伝送される。
【0176】
第4実装例における利用者端末3は、マイク108及び音声データ送信部(不図示)を有する。音声データ送信部は、利用者端末3のマイク108で入力した音声データをデータ提供装置10へ送信する。データ提供装置10のモジュール構成については、第2実装例の場合と同様である。すなわち、第3実装例においては、固定型かつ専用品としての取付型デバイス4ではなく、移動可能な汎用品としての利用者端末3を利用する点において第2実装例と相違する。
【0177】
第4実装例も、利用者端末3とデータ提供装置10によって、
図8に示したモジュールの機能を実現する。利用者端末3において利用者の音声を入力するとともに、音声認識の処理を行なう。データ提供装置10は、実行情報特定の処理を行なう。そのために、利用者端末3からデータ提供装置10へ言語データが伝送される。第4実装例においては、利用者端末3において音声取得だけでなく音声認識も行う点において第3実装例と相違する。
【0178】
第4実装例における利用者端末3は、マイク108、音声認識部201及び言語データ送信部(不図示)を有する。利用者端末3の音声認識部201は、利用者端末3のマイク108で入力した音声データを言語データに変換する。言語データ送信部は、変換された言語データをデータ提供装置10へ送信する。データ提供装置10は、言語データ受信部(不図示)、実行情報特定部202、変換ルール記憶部203及び実行情報記憶部204を有する。言語データ受信部は、利用者端末3から送られた言語データを受信する。デー
タ提供装置10の実行情報特定部202は、データ提供装置10の変換ルール記憶部203を参照して、受信した言語データに基づく実行情報を特定する。データ提供装置10の実行情報記憶部204は、特定された実行情報を記憶する。
【0179】
第5実装例も、利用者端末3とデータ提供装置10によって、
図8に示したモジュールの機能を実現する。利用者端末3において利用者の音声を入力するとともに、音声認識の処理と実行情報特定の処理を行なう。そして、利用者端末3からデータ提供装置10へ実行情報が伝送される。第5実装例においては、利用者端末3において、音声取得、音声認識に加えて、実行情報の特定も行う点において第4実装例と相違する。
【0180】
第5実装例における利用者端末3は、マイク108、音声認識部201、実行情報特定部202、変換ルール記憶部203及び実行情報送信部(不図示)を有する。利用者端末3の音声認識部201は、利用者端末3のマイク108で入力した音声データを言語データに変換する。実行情報特定部202は、変換ルール記憶部203を参照して、変換された言語データに基づく実行情報を特定する。実行情報送信部は、特定された実行情報をデータ提供装置10へ送信する。データ提供装置10は、実行情報受信部(不図示)と実行情報記憶部204を有する。実行情報受信部は、利用者端末3から送られた実行情報を受信する。データ提供装置10の実行情報記憶部204は、受信した実行情報を記憶する。
【0181】
第3実装例から第5実装例までにおいて、音声入力によって取得した実行情報に場所情報が含まれない場合に、実行情報取得部163は、音声を入力したマイク108の所在場所、つまり利用者端末3の所在場所を実行情報における場所情報としてもよい。上述したように、第3実装例から第5実装例は、利用者端末3において取得された音声データを起点として処理を開始する点において共通する。
【0182】
図10は、利用者端末3の所在場所の特定に係るデータ提供装置10のモジュール構成例を示す図である。いいかえれば、
図10は第3実装例から第6実装例に対応した利用者端末3およびデータ提供装置10に関して、特に利用者端末3(移動可能なマイク108)の場所特定機能に関するモジュール構成例を示す。利用者端末3は、位置測定部221及び端末位置送信部222を有する。位置測定部221は、例えば屋内の所定位置に取り付けられた複数のビーコン発信器から発信されるビーコン信号に基づいて利用者端末3の現在位置を測定する。この方式の場合、利用者端末3は、ビーコン受信器を備え、所定の位置に設置されたビーコン発信器が発信するビーコン信号をビーコン受信器において受信し、ビーコン発信器のIDを特定する。位置測定部221は、受信したビーコン信号の電波強度と、IDで特定されるビーコン発信器と利用者端末3の間隔との関係を分析することによって、利用者端末3の現在位置を特定する。ビーコン発信器は、取付型デバイス4に含まれてもよいし、取付型デバイス4とは別個に設けられてもよい。
【0183】
端末位置送信部222は、利用者端末3の現在位置をデータ提供装置10へ送信する。第3実装例の場合に、端末位置送信部222は、例えば音声データ送信部における音声データの送信の前又は後に利用者端末3の現在位置を送信する。第4実装例の場合に、端末位置送信部222は、例えば言語データ送信部における言語データの送信の前又は後に利用者端末3の現在位置を送信する。第5実装例の場合に、端末位置送信部222は、例えば実行情報送信部における実行情報の送信の前又は後に利用者端末3の現在位置を送信する。
【0184】
データ提供装置10は、端末位置受信部223、場所特定部224、間取りデータ記憶部225及び実行情報記憶部204を有する。場所特定部224及び間取りデータ記憶部225は、実行情報取得部163に含まれてもよい。間取りデータ記憶部225は、屋内の場所毎に場所の範囲を記憶している。ここでいう場所とは、子供部屋や寝室のような屋
内エリアのことである。端末位置受信部223は、利用者端末3から利用者端末3の現在位置を受信する。実行情報特定部202で実行情報が特定された後に、場所特定部224は実行情報に場所情報が含まれているか否かを判定する。実行情報に場所情報が含まれている場合には、場所特定部224は処理を終える。実行情報に場所情報が含まれていない場合には、場所特定部224は端末位置受信部223から利用者端末3の現在位置を得る。そして、場所特定部224は、間取りデータ記憶部225を参照して、利用者端末3の現在位置を含む場所を、実行情報記憶部204に記憶されている実行情報における場所情報として書き込む。実行情報における場所情報は探索場所を示すので、ロボット2の現在位置を含む場所において探索が行なわれることを意味する。以上で、
図10の説明を終える。
【0185】
第6実装例では、ロボット2とデータ提供装置10によって、
図8に示したモジュールの機能を実現する。ロボット2のマイク108において利用者の音声を入力し、データ提供装置10において音声認識の処理と実行情報特定の処理を行なう。そのために、ロボット2からデータ提供装置10へ音声データが伝送される。
【0186】
ロボット2は、マイク108及び音声データ送信部(不図示)を有する。音声データ送信部は、ロボット2のマイク108で入力した音声データをデータ提供装置10へ送信する。データ提供装置10については、第2実装例の場合と同様である。
【0187】
第7実装例も、ロボット2とデータ提供装置10によって、
図8に示したモジュールの機能を実現する。ロボット2において利用者の音声を入力するとともに、音声認識の処理を行なう。データ提供装置10は、実行情報特定の処理を行なう。そのために、ロボット2からデータ提供装置10へ言語データが伝送される。
【0188】
ロボット2は、マイク108、音声認識部201及び言語データ送信部(不図示)を有する。ロボット2の音声認識部201は、ロボット2のマイク108で入力した音声データを言語データに変換する。言語データ送信部は、変換された言語データをデータ提供装置10へ送信する。データ提供装置10については、第4実装例の場合と同様である。
【0189】
第8実装例も、ロボット2データ提供装置10によって、
図8に示したモジュールの機能を実現する。ロボット2において利用者の音声を入力するとともに、音声認識の処理と実行情報特定の処理を行なう。そして、ロボット2からデータ提供装置10へ実行情報が伝送される。
【0190】
ロボット2は、マイク108、音声認識部201、実行情報特定部202、変換ルール記憶部203及び実行情報送信部(不図示)を有する。ロボット2の音声認識部201は、ロボット2のマイク108で入力した音声データを言語データに変換する。実行情報特定部202は、変換ルール記憶部203を参照して、変換された言語データに基づく実行情報を特定する。実行情報送信部は、特定された実行情報をデータ提供装置10へ送信する。データ提供装置10については、第5実装例の場合と同様である。
【0191】
第6実装例から第8実装例までにおいて、音声入力によって取得した実行情報に場所情報が含まれない場合に、実行情報取得部163は、音声を入力したマイク108の所在場所、つまりロボット2がある場所を実行情報における場所情報としてもよい。上述したように、第6実装例から第8実装例は、ロボット2において取得された音声データを起点として処理を開始する点において共通する。
【0192】
図11は、ロボット2の所在場所の特定に係るデータ提供装置10のモジュール構成例を示す図である。いいかえれば、
図11は第6実装例から第8実装例に対応したロボット
2およびデータ提供装置10に関して、特にロボット2(移動可能なマイク108)の場所特定機能に関するモジュール構成例を示す。ロボット2は、移動制御部23およびロボット位置送信部231を有する。ロボット位置送信部231は、移動制御部23からロボット2の現在位置を取得して、ロボット2の現在位置をデータ提供装置10へ送信する。移動制御部23は、所定の位置に設置された無線通信デバイスから受信する電波に基づいて現在位置を測定してもよいし、撮影画像に基づいて現在位置を測定してもよい。移動制御部23は、例えば屋内の所定位置に取り付けられた複数のビーコン発信器から発信されるビーコン信号に基づいてロボット2の現在位置を測定する。この方式の場合、ロボット2は、ビーコン受信器を備え、所定の位置に設置されたビーコン発信器が発信するビーコン信号をビーコン受信器において受信し、ビーコン発信器のIDを特定する。移動制御部23は、受信したビーコン信号の電波強度と、IDで特定されるビーコン発信器とロボット2の間隔との関係を分析することによって、ロボット2の現在位置を特定する。或いは、移動制御部23は、自己位置の推定と環境地図の作成を同時に行うSLAM(Simultaneous Localization and Mapping)技術を用いて、現在位置を特定してもよい。
【0193】
第6実装例の場合に、ロボット位置送信部231は、例えば音声データ送信部における音声データの送信の前又は後にロボット2の現在位置を送信する。第7実装例の場合に、ロボット位置送信部231は、例えば言語データ送信部における言語データの送信の前又は後にロボット2の現在位置を送信する。第8実装例の場合に、ロボット位置送信部231は、例えば実行情報送信部における実行情報の送信の前又は後にロボット2の現在位置を送信する。
【0194】
データ提供装置10は、上述した場所特定部224及び間取りデータ記憶部225の他に、ロボット位置受信部232を有する。ロボット位置受信部232は、ロボット2からロボット2の現在位置を受信する。実行情報特定部202で実行情報が特定された後に、場所特定部224は実行情報に場所情報が含まれているか否かを判定する。実行情報に場所情報が含まれている場合には、場所特定部224は処理を終える。実行情報に場所情報が含まれていない場合には、場所特定部224は端末位置受信部223からロボット2の現在位置を得る。そして、場所特定部224は、間取りデータ記憶部225を参照して、ロボット2の現在位置を含む場所を、実行情報記憶部204に記憶されている実行情報における場所情報として書き込む。実行情報における場所情報は探索場所を示すので、ロボット2の現在位置を含む場所において探索が行なわれることを意味する。
【0195】
報知動作実行部26は、第1実装例から第8実装例までの各例において取得した実行情報に、報知動作を実行する時間に係る時間情報が含まれない場合に、実行情報を取得した時点ですぐに報知動作を実行してもよい。または、報知動作実行部26は、実行情報取得部163において取得した実行情報に、報知動作を実行する時間に係る時間情報が含まれない場合に、実行情報を取得した時点から所定時間(例えば1分)が経過した時点で、報知動作を実行してもよい。所定時間は、ロボット2のキャラクタが利用者からの指示を理解して反応すると想定した場合に、キャラクタがその理解と反応に要したとイメージされる程度の時間長である。以上で、音声入力による実行情報の取得に関する説明を終える。
【0196】
<報知後の報知対象者に関する情報提供>
次に、報知後の報知対象者に関する情報提供について説明する。報知動作を実行した後にロボット2が報知対象者の姿を撮影して、データ提供装置10から利用者端末3へ撮影画像を提供してもよい。更に、報知動作を実行した後にロボット2が報知対象者の状態情報を取得して、データ提供装置10から利用者端末3へ状態情報を提供してもよい。
【0197】
例えば、夫である利用者を報知対象者としてロボット2が目覚まし動作を行った場合に、目覚まし動作に続けてロボット2が、ロボット2が有するカメラで夫である利用者を撮
影する。ロボット2は、カメラから得られるプレビュー画像に利用者が写っていることを確認してから、本撮影を行う。従って、本撮影によってロボット2のカメラに記録される撮影画像には、目覚まし動作後における夫である利用者の姿が写っている。撮影画像は、静止画像でもよいし、動画画像でもよい。撮影画像は、データ提供装置10へ送られて保存される。一方、妻である利用者が、利用者端末3のアプリケーションにおいて撮影画像の閲覧を指示すると、利用者端末3のアプリケーションからデータ提供装置10へ目覚まし動作後の撮影画像の要求が送られる。データ提供装置10は、この要求に応じて、保存している撮影画像を利用者端末3のアプリケーション宛に送る。利用者端末3のアプリケーションは、受信した撮影画像を利用者端末3の表示装置に表示させる。このようにすれば、妻である利用者は、ロボット2が目覚まし動作を行った後に夫である利用者が起床したかどうかを、利用者端末3の表示装置に表示された撮影画像によって確認できる。
【0198】
図12は、報知動作を実行した後の撮影画像及び状態情報を提供する自律行動型ロボット1のモジュール構成例を示す図である。
図12はロボット2およびデータ提供装置10に関して、特に情報提供機能に関するモジュール構成例を示す。まず、撮影画像の提供に関して説明する。ロボット2は、撮影部21及び撮影画像送信部241を有する。ロボット2が報知動作を実行した後に、撮影部21は報知対象者を被写体として撮影を行い、報知動作を実行した後の撮影画像を生成する。撮影部21は、例えば顔認識処理によってライブビュー画像に報知対象者の顔が写っていることを確認してから本撮影を行う。撮影画像送信部241は、報知動作を実行した後の撮影画像をデータ提供装置10へ送信する。
【0199】
データ提供装置10は、撮影画像受信部242、撮影画像記憶部243及び撮影画像提供部244を有する。ロボット2が報知動作を実行した後に、撮影画像受信部242は、ロボット2から送られた撮影画像を受信し、撮影画像記憶部243は、受信した撮影画像を記憶する。撮影画像提供部244は、利用者端末3のアプリケーションから報知動作を実行した後の撮影画像を要求された場合に、撮影画像記憶部243に記憶している撮影画像を読み出して、利用者端末3のアプリケーション宛に送信する。このようにすれば、利用者端末3のアプリケーションにおいて、報知動作を実行した後の報知対象者が写っている撮像画像を閲覧できる。また、データ提供装置10において、報知動作を実行した後の撮影画像を報知対象者の反応の記録として蓄えることもできる。
【0200】
続いて、状態情報の提供に関して説明する。例えば、夫である利用者を報知対象者としてロボット2が目覚まし動作を行った場合に、目覚まし動作に続けてロボット2が、夫である利用者について睡眠中又は起床中を示す状態情報を取得する。状態情報は、データ提供装置10へ送られて保存される。一方、妻である利用者が、利用者端末3のアプリケーションにおいて状態情報の閲覧を指示すると、利用者端末3のアプリケーションからデータ提供装置10へ目覚まし動作後の状態情報の要求が送られる。データ提供装置10は、この要求に応じて、保存している状態情報を利用者端末3のアプリケーション宛に送る。利用者端末3のアプリケーションは、受信した状態情報によって夫である利用者が睡眠中であるか或いは起床中であるかを示すメッセージを利用者端末3の表示装置に表示させる。状態情報が睡眠中であれば、例えば「お父さんはまだ寝ています。」というメッセージが表示される。状態情報が起床中であれば、例えば「お父さんはもう起きました。」というメッセージが表示される。このようにすれば、妻である利用者は、ロボット2が目覚まし動作を行った後に夫である利用者が起床したかどうかを、利用者端末3の表示装置に表示されたメッセージによって確認できる。
【0201】
ロボット2は、状態情報取得部24及び状態情報送信部251を有する。ロボット2が報知動作を実行した後に、状態情報取得部24は、報知対象者の状態に係る状態情報を取得する。前述の通り状態情報は、例えば睡眠中あるいは起床中などを示す。状態情報送信部251は、報知動作を実行した後の状態情報をデータ提供装置10へ送信する。
【0202】
データ提供装置10は、状態情報受信部252、状態情報記憶部253及び状態情報提供部254を有する。ロボット2が報知動作を実行した後に、状態情報受信部252は、ロボット2から送られた状態情報を受信し、状態情報記憶部253は、受信した状態情報を記憶する。状態情報提供部254は、利用者端末3のアプリケーションから報知動作を実行した後の報知対象者の状態情報を要求された場合に、状態情報記憶部253に記憶している状態情報を読み出して、利用者端末3のアプリケーション宛に送信する。このようにすれば、利用者端末3のアプリケーションにおいて、報知動作を実行した後の報知対象者の状態に係る状態情報を閲覧できる。例えば妻である利用者端末3の利用者は、ロボット2が目覚まし動作を行った後に夫である報知対象者が起床したかを、利用者端末3の表示装置に表示された状態情報によって確認できる。また、データ提供装置10において、報知動作を実行した後の状態情報を報知対象者の反応の記録として蓄えることもできる。
【0203】
撮影画像提供部244と状態情報提供部254は、利用者端末3へ撮影画像と状態情報を併せて送信してもよい。例えば、妻である利用者が、利用者端末3のアプリケーションにおいて撮影画像と状態情報の閲覧を指示すると、利用者端末3のアプリケーションからデータ提供装置10へ目覚まし動作後の撮影画像と状態情報の要求が送られる。データ提供装置10は、この要求に応じて、保存している撮影画像と状態情報を利用者端末3のアプリケーション宛に送る。利用者端末3のアプリケーションは、撮影画像とともに、受信した状態情報によって夫である利用者が睡眠中であるか或いは起床中であるかを示すメッセージを利用者端末3の表示装置に表示させる。夫である利用者が睡眠中である場合には、寝ている夫の姿が写っている撮影画像と「お父さんはまだ寝ています。」というメッセージが同時に表示される。夫である利用者が起床中である場合には、起きている夫の姿が写っている撮影画像と「お父さんはもう起きています。」というメッセージが同時に表示される。
【0204】
また、現時点の撮影画像と状態情報が、データ提供装置10から利用者端末3のアプリケーションへ自動的に送られ、利用者端末3において即時閲覧可能になるライブモードを設けてもよい。ライブモードは、利用者端末3のアプリケーションにおける利用者の操作によって設定される。利用者端末3のアプリケーションにおいてライブモードが設定されると、ライブモードの設定指示がデータ提供装置10へ送られる。データ提供装置10がライブモードの設定指示を受けると、撮影画像の即時伝送を行う。つまり、撮影画像提供部244は、ロボット2から受信して撮影画像記憶部243に記憶された撮影画像を、すぐに利用者端末3のアプリケーションへ伝送する。利用者端末3のアプリケーションは、受信した撮影画像をすぐに利用者端末3の表示装置に表示させる。また、ライブモードの場合、利用者端末3のアプリケーションにおいて報知対象者の現時点における状態情報を表すメッセージが表示されるようにしてもよい。そのため、状態情報提供部254は、ロボット2から受信して状態情報記憶部253に記憶された状態情報を、すぐに利用者端末3のアプリケーションへ伝送してもよい。利用者端末3のアプリケーションは、受信した状態情報を表すメッセージをすぐに利用者端末3の表示装置に表示させてもよい。
【0205】
目覚まし動作に関するライブモードにおいて、報知対象者の状態情報が睡眠中から起床中に切り替わった時点で、撮影画像提供部244は、撮影画像の送信を停止してもよい。また、同時点で、状態情報提供部254は、状態情報の送信を停止してもよい。このようにすれば、無用なデータの伝送処理が省かれる。
【0206】
撮影部21は、報知動作を実行した後に報知対象者を撮影する際に、報知対象者とロボットとの親密度に応じて報知対象者を撮影する条件を変更してもよい。報知対象者とロボットとの親密度と撮影時間の間に正の相関を持たせてもよい。つまり、報知対象者とロボットとの親密度が高いほど動画像の撮影時間が長くなり、同じく親密度が低いほど撮影時
間が短くなるように動画像の撮影時間が設定されてもよい。また、報知対象者とロボットとの親密度と撮影距離の間に負の相関を持たせてもよい。つまり、報知対象者とロボットとの親密度が高いほど撮影距離が短くなり、同じく親密度が低いほど撮影距離が長くなるように撮影距離が設定されてもよい。尚、移動制御部23は、ロボット2と報知対象者との間隔が撮影距離となる位置を求めて、その位置へロボット2が移動するように移動機構29を制御する。
【0207】
<報知対象者とロボットの親密度に関する補足>
前述の「報知対象者とロボットの親密度」の項において、親密度が所定の親密度条件を充足する場合に、他のロボット2と協働して報知動作を実行することについて説明した。この点について以下に補足する。
【0208】
所定の親密度条件は、親密度が基準値以上であるという条件であってもよい。所定の親密度条件は、親密度が基準未満であるという条件であってもよい。また、他のロボット2と報知対象者との親密度との関係を含む条件であってもよい。例えば本ロボット2aと報知対象者の親密度Aが、他のロボット2bと報知対象者の親密度Bに所定の比率を乗じた値以上であることを親密度条件としてもよい。つまり、複数のロボット2の一部又は全部に対して重み付けが行われた親密度を比較した結果を親密度条件としてもよい。
【0209】
<2台のロボット2が協働する報知動作>
2台のロボット2が協働する報知動作の具体例を3つ示す。いずれの具体例でもロボット2aとロボット2bが同じ屋内で動作する。
【0210】
図13は、2台のロボット2が協働する報知動作の第1具体例を示す図である。第1具体例では、報知対象者を発見したロボット2aが発見場所をロボット2bへ通知し、通知を受けたロボット2bが発見場所へ移動して報知動作を行う。つまり、ロボット2aが報知動作を行うときにロボット2bを呼び寄せて、呼び寄せられたロボット2bもロボット2aと共に報知動作を行うように演出する。
【0211】
例えば、ロボット2aが、寝室で寝ている報知対象者を発見して、報知対象者に対して目覚まし動作を行おうとするときに、ロボット2bに対して、寝室で報知対象者を発見したことを通知する。その後、ロボット2aは、報知対象者に対する目覚まし動作を開始する。一方、ロボット2bは、寝室で報知対象者が発見されたという通知を受けると、寝室への移動を開始する。ロボット2bは、寝室へ着くと、ロボット2aとともに報知対象者に対する目覚まし動作を始める。従って、目覚まし動作を行うロボット2が1台から2台に増えて、報知対象者に対する目覚ましの効果が途中から強まる。よって、報知対象者の眠りが深く、簡単に起きない場合でも、報知対象者を起こしやすくできる。
【0212】
ロボット2aは、報知対象者を発見した場所の通知、つまり発見場所の通知をロボット2bへ送信する発見場所通知送信部(不図示)を有し、ロボット2bは、ロボット2aから発見場所の通知を受信する発見場所通知受信部(不図示)を有する。
【0213】
ステップS31において、
図5のステップS21及び「音声入力による実行情報の取得」の項で説明した通り、ロボット2aの実行情報取得部163が実行情報を取得すると、ステップS32において、
図5のステップS22で説明した通り、ロボット2aの探索部25が、探索場所への移動経路を算出する。そして、ステップS33において、
図5のステップS23で説明した通り、ロボット2aの探索部25が、報知対象者の探索を開始し、ロボット2aの移動制御部23が移動機構29を制御して探索場所への移動を開始する。
【0214】
ステップS34において、
図5のステップS24で説明した通り、ロボット2aの移動制御部23が、探索場所にロボット2aが到達したと判断し、更にステップS35において、
図5のステップS25で説明した通り、ロボット2aの探索部25が報知対象者を発見すると、ロボット2aの発見場所通知送信部は、発見場所の通知をロボット2bへ送信する(ステップS36)。そして、ステップS37において、
図5のステップS27からステップS29までに例示したように、ロボット2aの報知動作実行部26は、報知動作を行う。
【0215】
ロボット2bの発見場所通知受信部がロボット2aから発見場所の通知を受信すると、ロボット2bの探索部25が、発見場所への移動経路を算出する(ステップS41)。そして、ロボット2bの移動制御部23が移動機構29を制御して発見場所への移動を開始する(ステップS42)。ロボット2bの移動制御部23が、発見場所にロボット2bが到達したと判断すると(ステップS43)、ロボット2bの報知動作実行部26は、報知動作を行う(ステップS44)。
【0216】
図13の例では、ロボット2aのみが探索を行ない、ロボット2bは探索を行なわない例を示したが、ロボット2bがロボット2aと同時に探索を行なってもよい。そして、ロボット2bが先に報知対象者を発見した場合に、
図13の例とは反対にロボット2bがロボット2aへ発見場所通知を送信し、発見場所通知を受信したロボット2aが発見場所へ移動して、報知動作を行ってもよい。そのために、ロボット2bは、更に発見場所通知送信部を有し、ロボット2aは、更に発見場所通知受信部を有してもよい。
【0217】
発見場所通知は、データ提供装置10を介して伝送されてもよい。たとえば、ロボット2aの発見場所通知送信部は、データ提供装置10へ発見場所通知を送信し、データ提供装置10の発見場所通知転送部(不図示)は、発見場所接近通知を受信し、受信した発見場所通知をロボット2bへ転送してもよい。ロボット2bの発見場所通知受信部は、転送された発見場所通知を受信してもよい。
【0218】
図14は、2台のロボット2が協働する報知動作の第2具体例を示す図である。第2具体例では、ロボット2aと2bの両方が、報知対象者と所定基準以下の距離まで近づいた場合に、ロボット2aと2bが同期して報知動作を行う。以下では、報知対象者と所定基準以下の距離まで近づくことを、「報知対象者に接近する」と表現する。
【0219】
図14の例では、先に報知対象者に接近したロボット2aが、ロボット2bが報知対象者に接近するまで待つ。ロボット2bが報知対象者に接近すると、ロボット2aと2bがタイミングを合わせて報知動作を行うように演出する。
【0220】
例えば、ロボット2aは、寝室で寝ている報知対象者を発見すると、報知対象者に近づく。そして、ロボット2aは、ロボット2bに対して、自身が報知対象者に接近したことを通知する。ロボット2aは、ロボット2bが報知対象者に接近するまで、目覚まし動作を行わずにそのまま待機する。一方、ロボット2bも、寝室で寝ている報知対象者を発見して、報知対象者に近づく。そして、ロボット2aとロボット2bが、共に報知対象者に接近した状態になると、ロボット2aとロボット2bは一斉に報知対象者に対する目覚まし動作を始める。従って、目覚ましの効果が強く、報知対象者を起こしやすくできる。また、ロボット2aと2bが揃って、いたずらを仕掛ける様子を演出することもできる。
【0221】
ロボット2aは、報知対象者に接近したことの通知(以下、「接近通知」という。)を他方のロボット2bへ送信する接近通知送信部(不図示)と、他方のロボット2bから接近通知を受信する接近通知受信部(不図示)とを有する。ロボット2bも同様に、接近通知送信部と接近通知受信部とを有する。
【0222】
図14のステップS51からステップS54までに示したロボット2aの処理は、
図13のステップS31からステップS34までに示したロボット2aの処理の場合と同様である。ロボット2aの探索部25が、報知対象者を発見し、報知対象者に接近したと判断すると(ステップS55)、接近通知送信部は、接近通知をロボット2bへ送信する(ステップS56)。そして、ロボット2aは、ロボット2bから接近通知を受信するまで待機する。
【0223】
図14のステップS61からステップS63までに示したロボット2bの処理は、
図13のステップS31からステップS33までに示したロボット2aの処理の場合と同様である。ロボット2bは、探索場所に到着する前に、ロボット2aから接近通知を受信すると想定する。従って、ロボット2bの接近通知受信部が、ロボット2aから接近通知を受信した後に、ロボット2bの移動制御部23が、探索場所にロボット2aが到達したと判断する(ステップS64)。更にロボット2bの探索部25が報知対象者を発見し、報知対象者に接近したと判断すると(ステップS65)、ロボット2bの接近通知送信部は、接近通知をロボット2aへ送信する(ステップS66)。ロボット2bの報知動作実行部26は、所定の協働条件を満たしたと判定して、報知動作を行う。所定の協働条件とは、他方のロボット2aから接近通知を受信し、且つ自らのロボット2bが報知対象者に接近したことである。
【0224】
ロボット2aの接近通知受信部がロボット2bから接近通知を受信すると、ロボット2aの報知動作実行部26は、所定の協働条件を満たしたと判定して、報知動作を行う。所定の協働条件とは、他方のロボット2bから接近通知を受信し、且つ自らのロボット2aが報知対象者に接近したことである。
【0225】
接近通知は、データ提供装置10を介して伝送されてもよい。たとえば、ロボット2aの接近通知送信部は、データ提供装置10へ接近通知を送信し、データ提供装置10の接近通知転送部(不図示)は、接近通知を受信し、受信した接近通知をロボット2bへ転送してもよい。ロボット2bの接近通知受信部は、転送された接近通知を受信してもよい。
【0226】
図15は、2台のロボット2が協働する報知動作の第3具体例を示す図である。第3具体例では、ロボット2aによる報知動作のタイミングと、ロボット2bによる報知動作のタイミングをずらす。したがって、2台のロボット2aと2bによる報知動作のタイミングは重ならない。たとえば、ロボット2aの音声出力とロボット2bの音声出力とが同時に行われることがないので、騒がしくなく且つ音声の内容を聞き取りやすい。
【0227】
第3具体例は、ロボット2aと2bの両方が報知動作を行う段階の制御に関する。つまり、第1具体例で
図13のステップS44に示した報知動作を開始するタイミング以降、あるいは第2具体例で
図14のステップS57に示した報知動作及びステップS67に示した報知動作を開始するタイミング以降の制御に関する。
【0228】
ロボット2aは、自ら報知動作を行ったことの通知(以下、「動作通知」という。)を他方のロボット2bへ送信する動作通知送信部(不図示)と、他方のロボット2bから動作通知を受信する動作通知受信部(不図示)とを有する。ロボット2bも同様に、動作通知送信部と動作通知受信部とを有する。
【0229】
図15の例では、最初にロボット2aが報知動作を行ない、その後ロボット2bと交代しながら、それぞれ2回の報知動作を行う。まず、ロボット2aの報知動作実行部26が報知動作を行う(ステップS71)。報知動作を終えると、ロボット2aの動作通知送信部は、動作通知をロボット2bへ送信する(ステップS72)。そして、ロボット2aは
、ロボット2bから動作通知を受信するまで待機する。
【0230】
ロボット2bの動作通知受信部がロボット2aから動作通知を受信すると(ステップS81)、所定時間待機して、ロボット2bの報知動作実行部26が報知動作を行う(ステップS82)。待機する所定時間は、畳み掛けることなく、ロボット2aと2bとが報知対象者の様子を伺いながら報知を繰り返している印象を持たせる程度の間隔(例えば、1秒~5秒)である。報知動作を終えると、ロボット2bの動作通知送信部は、動作通知をロボット2aへ送信する(ステップS83)。そして、ロボット2bは、ロボット2aから動作通知を受信するまで待機する。
【0231】
その後、ロボット2aの動作通知受信部がロボット2bから動作通知を受信すると(ステップS73)、所定時間待機して、ロボット2aの報知動作実行部26が報知動作を行う(ステップS74)。報知動作を終えると、ロボット2aの動作通知送信部は、動作通知をロボット2bへ送信する(ステップS75)。そして、ロボット2aは全体の処理を終える。
【0232】
ロボット2bは、ステップS81からS83までの処理の場合と同様の処理を繰り返して(ステップS84~S86)、全体の処理を終える。
【0233】
例えば報知動作が目覚まし動作である場合に、報知対象者の状態情報が起床中であると判断したタイミングで、ロボット2aと2bが共に第3具体例の処理を終えるようにしてもよい。
【0234】
例えば、ロボット2aによる1回目の目覚まし動作の後に、ロボット2bによる1回目の目覚まし動作が行われ、更にロボット2aによる2回目の目覚まし動作が行われたときに、報知対象者が起床すれば、ロボット2bによる2回目の目覚まし動作は行われない。つまり、既に起床した報知対象者に対して、無用な目覚まし動作は行われない。
【0235】
<メッセージ受信による報知動作>
自律行動型ロボット1が利用者宛のメッセージを受信した場合に、その利用者を報知対象者として報知動作を行ってもよい。以下に、メッセージ受信による報知動作の方式例を4つ示す。
【0236】
まず、第1方式の具体例を説明する。親の利用者端末3から、本文に「冷蔵庫の中のケーキ食べていいわよ。」というメッセージを設定した電子メールを、子供である利用者宛に送信することによって、所定の探索場所「子供部屋」にいる子供に対するメッセージの読み上げをロボット2に行わせることができる。この例では、子供の利用者情報として、予め子供の電子メールアドレスと子供の探索場所「子供部屋」が設定されているものとする。
【0237】
親によって子供の電子メールアドレスが宛先に設定され、本文に「冷蔵庫の中のケーキ食べていいわよ。」というメッセージが設定された電子メールを、利用者端末3が送信すると、自律行動型ロボット1においてこの電子メールが受信される。
【0238】
自律行動型ロボット1は、宛先の電子メールアドレスから報知対象者が子供であると判断し、ロボット2は、子供の探索場所である「子供部屋」へ移動して、子供を探索する。ロボット2は子供を発見すると、電子メールアドレスの本文「冷蔵庫の中のケーキ食べていいわよ。」を読み上げる。
【0239】
このように第1方式では、電子メールアドレスに基づいて報知対象者が特定され、報知
対象者の利用者情報に基づいて報知対象者の探索場所が特定される。そして、報知動作として電子メールの本文の読み上げが行われる。
【0240】
次に、第2方式の具体例を説明する。妻の利用者端末3から、本文に「@寝床」という場所表現を設定した電子メールを、夫である利用者宛に送信することによって、寝室にいる夫に対する所定の報知動作「目覚まし動作」をロボット2に行わせることができる。この例では、「@」の後に探索場所を指定する場所表現が記述されるというメッセージ記述ルールがあるものとする。この例では、夫の利用者情報として、予め夫の電子メールアドレスと夫に対する報知動作「目覚まし動作」が設定されているものとする。
【0241】
妻によって夫の電子メールアドレスが宛先に設定され、本文に「@寝床」という場所表現が設定された電子メールを、妻の利用者端末3が送信すると、自律行動型ロボット1においてこの電子メールが受信される。
【0242】
自律行動型ロボット1は、宛先の電子メールアドレスから報知対象者が夫であると判断し、電子メールアドレスの本文から場所表現「@寝床」に対応する探索場所「寝室」を特定する。更に自律行動型ロボット1は、夫の利用者情報に基づいて夫に対する報知動作「目覚まし動作」を特定する。そして、ロボット2は、探索場所である「寝室」へ移動して、夫を探索する。ロボット2は夫を発見すると、夫に対して報知動作「目覚まし動作」を行う。
【0243】
このように第2方式では、電子メールアドレスに基づいて報知対象者が特定され、電子メールの本文から探索場所が特定され、報知対象者の利用者情報に基づいて報知対象者に対する報知動作が特定される。
【0244】
次に、第3方式の具体例を説明する。妻の利用者端末3から、本文に「電話ください。@寝床」というメッセージを設定した電子メールを、夫である利用者宛に送信することによって、寝室にいる夫に対するメッセージ「電話ください。」の読み上げをロボット2に行わせることができる。第2具体例と同様に、「@」の後に探索場所を指定する場所表現が記述されるというメッセージ記述ルールがあるものとする。ロボット2は、「@」の前までの文言を読み上げ、場所表現を読み上げない。この例では、夫の利用者情報として、予め夫の電子メールアドレスが設定されているものとする。
【0245】
妻によって夫の電子メールアドレスが宛先に設定され、本文に「電話ください。@寝床」というメッセージが設定された電子メールを、妻の利用者端末3が送信すると、自律行動型ロボット1においてこの電子メールが受信される。
【0246】
自律行動型ロボット1は、宛先の電子メールアドレスから報知対象者が夫であると判断し、電子メールアドレスの本文の場所表現「@寝床」に対応する探索場所「寝室」を特定する。そして、ロボット2は、探索場所である「寝室」へ移動して、夫を探索する。ロボット2は夫を発見すると、電子メールアドレスの本文のうち場所表現「@寝床」を除く文言「電話ください。」を読み上げる。
【0247】
このように第3方式では、電子メールアドレスに基づいて報知対象者が特定され、電子メールの本文から探索場所が特定される。そして、報知動作として電子メールの本文の読み上げが行われる。
【0248】
最後に、第4方式の具体例を説明する。妻の利用者端末3から、電子メールを夫である利用者宛に送信することによって、所定の探索場所「寝室」にいる夫に対する所定の報知動作「目覚まし動作」をロボット2に行わせることができる。この例では、ロボット2が
報知動作を行うに当たって、電子メールの本文を参照しないので、電子メールの本文は任意である。電子メールの本文は、空でもよい。この例では、夫の利用者情報として、予め夫の電子メールアドレスと夫の探索場所「寝室」と夫に対する報知動作「目覚まし動作」が設定されているものとする。
【0249】
妻によって夫の電子メールアドレスが宛先に設定された電子メールを、妻の利用者端末3が送信すると、自律行動型ロボット1においてこの電子メールが受信される。
【0250】
自律行動型ロボット1は、宛先の電子メールアドレスから報知対象者が夫であると判断する。更に自律行動型ロボット1は、夫の利用者情報に基づいて、夫の探索場所「寝室」と夫に対する報知動作「目覚まし動作」を特定する。そして、ロボット2は、探索場所である「寝室」へ移動して、夫を探索する。ロボット2は夫を発見すると、夫に対して報知動作「目覚まし動作」を行う。
【0251】
このように第4方式では、電子メールアドレスに基づいて報知対象者が特定され、報知対象者の利用者情報に基づいて報知対象者の探索場所と報知対象者に対する報知動作が特定される。
【0252】
尚、メッセージの伝送方式は、限定されない。電子メール以外の方式でメッセージが伝送されてもよい。例えば、メッセージ交換アプリによってメッセージが伝送されてもよい。
【0253】
続いて、メッセージ受信による報知動作の詳細について説明する。以下では、先に第1方式から第4方式までを包括的に説明し、後に各方式の特徴にも及ぶ。
【0254】
利用者情報は、例えば利用者端末3のアプリケーションによって設定される。設定された利用者情報は、利用者端末3のアプリケーションにおける利用者情報送信部(不図示)によって、データ提供装置10に送信される。
【0255】
データ提供装置10は、利用者情報受信部(不図示)、利用者情報記憶部(不図示)、メッセージ受信部(不図示)及び報知対象者特定部(不図示)を有する。利用者情報受信部が受信した利用者情報は、利用者情報記憶部に記憶される。利用者情報記憶部は、利用者に対応付けて、メッセージ通信用の利用者識別情報、探索場所、報知動作の種類などの利用者情報を記憶する。メッセージ通信用の利用者識別情報は、たとえば電子メールアドレスやメッセージ交換アプリIDである。また、利用者情報記憶部は、利用者情報として、利用者の氏名、利用者の身体的な特徴を示す情報、所持品、服装、ロボット2との親密度等の利用者に関する情報を記憶してもよい。利用者の身体的な特徴を示す情報とは、例えば報知対象者の顔を認識するための情報、報知対象者の指紋を認識するための情報、報知対象者の体格を認識するための情報などである。尚、利用者情報受信部、利用者情報記憶部、メッセージ受信部及び報知対象者特定部を、ロボット2が有してもよい。その場合、利用者端末3のアプリケーションにおける利用者情報送信部は、利用者情報をロボット2へ送信してもよい。
【0256】
図16は、メッセージ受信による報知動作を示すフローチャートである。メッセージ受信部が、ロボット2の利用者宛のメッセージを受信すると(ステップS71)、報知対象者特定部は、利用者情報記憶部を参照して、メッセージの宛先に設定されているメッセージ通信用の利用者識別情報に対応する利用者を、報知対象者として特定する(ステップS72)。
【0257】
探索部25は、利用者情報記憶部を参照して、報知対象者である利用者に対応する探索
場所を特定する(ステップS73)。探索部25は、受信したメッセージに含まれる場所表現によって探索場所を特定してもよい。たとえば「@寝床」という場所表現がメッセージに含まれる場合に、探索部25は、探索場所として「寝室」を特定してもよい。
【0258】
ステップS74において、
図5のステップS22で説明した通り、探索部25が探索場所への移動経路を算出する。そして、ステップS75において、
図5のステップS23で説明した通り、探索部25が報知対象者の探索を開始し、移動制御部23が移動機構29を制御して探索場所への移動を開始する。
【0259】
ステップS76において、
図5のステップS24で説明した通り、移動制御部23が、探索場所にロボット2が到達したと判断し、更にステップS77において、
図5のステップS25で説明した通り、探索部25が報知対象者を発見すると、ステップS78において、報知動作実行部26が報知動作を行う。この例における報知動作は、例えば受信したメッセージの読み上げである。報知動作の種類は、受信したメッセージで指示されてもよい。報知動作実行部26は、利用者情報記憶部を参照して、報知対象者である利用者に対応する報知動作の種類を特定してもよい。
【0260】
第1方式の場合には、ステップS73において、探索部25は、利用者情報記憶部を参照して、報知対象者である利用者に対応する探索場所を特定する。更にステップS78において、報知動作実行部26は、受信したメッセージの読み上げを行う。
【0261】
第2方式の場合には、ステップS73において、探索部25は、受信したメッセージに含まれる場所表現によって探索場所を特定する。更にステップS78において、報知動作実行部26は、利用者情報記憶部を参照して、報知対象者である利用者に対応する報知動作の種類を特定する。
【0262】
第3方式の場合には、ステップS73において、探索部25は、受信したメッセージに含まれる場所表現によって探索場所を特定する。更にステップS78において、報知動作実行部26は、受信したメッセージの読み上げを行う。
【0263】
第4方式の場合には、ステップS73において、探索部25は、利用者情報記憶部を参照して、報知対象者である利用者に対応する探索場所を特定する。更にステップS78において、報知動作実行部26は、利用者情報記憶部を参照して、報知対象者である利用者に対応する報知動作の種類を特定する。
【0264】
尚、第1方式から第4方式を任意に組み合わせてもよい。例えば、第1方式と第2方式を組み合わせてもよい。第1方式と第3方式を組み合わせてもよい。第1方式と第4方式を組み合わせてもよい。第2方式と第3方式を組み合わせてもよい。第2方式と第4方式を組み合わせてもよい。第3方式と第4方式を組み合わせてもよい。第1方式と第2方式と第3方式を組み合わせてもよい。第1方式と第2方式と第4方式を組み合わせてもよい。第1方式と第3方式と第4方式を組み合わせてもよい。第2方式と第3方式と第4方式を組み合わせてもよい。第1方式と第2方式と第3方式と第4方式を組み合わせてもよい。
【0265】
上述した方式の組み合わせに関連して、ステップS73において、探索部25は、受信したメッセージに場所表現が含まれる場合には、場所表現によって探索場所を特定し、受信したメッセージに場所表現が含まれない場合には、利用者情報記憶部を参照して、報知対象者である利用者に対応する探索場所を特定してもよい。ステップS78において、報知動作実行部26は、受信したメッセージの内容が空である場合に、利用者情報記憶部を参照して、報知対象者である利用者に対応する報知動作の種類を特定し、受信したメッセージの内容が空でない場合には、受信したメッセージの読み上げを行うようにしてもよい。
【手続補正書】
【提出日】2024-05-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
報知対象者に対して実行すべき情報の報知動作を実行するための実行情報を取得する実
行情報取得部と、
前記報知対象者に対して、前記報知動作を実行する報知動作実行部と、
前記報知動作を実行した後に、前記報知対象者を撮影する撮影部とを備え、
前記撮影部は、前記報知対象者と前記ロボットとの親密度に応じて、前記報知対象者を
撮影する条件を変更するロボット。
【請求項2】
撮影した前記報知対象者の画像データを利用者端末へ送信する送信部を備える
請求項1に記載のロボット。