特開 2024-20582 ロボットおよびその制御方法、ならびにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020582

(43)【公開日】2024-02-14

(54)【発明の名称】ロボットおよびその制御方法、ならびにプログラム

(51)【国際特許分類】

   G05D 1/244 20240101AFI20240206BHJP

   G05D 1/617 20240101ALI20240206BHJP

   G05D 1/43 20240101ALN20240206BHJP

【ＦＩ】

G05D1/244

G05D1/617

G05D1/43

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023202283

(22)【出願日】2023-11-29

(62)【分割の表示】P 2020525643の分割

【原出願日】2019-06-13

(31)【優先権主張番号】P 2018113083

(32)【優先日】2018-06-13

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】515337268

【氏名又は名称】ＧＲＯＯＶＥ Ｘ株式会社

(72)【発明者】

【氏名】林 要

(72)【発明者】

【氏名】小川 博教

(72)【発明者】

【氏名】南地 秀哉

(72)【発明者】

【氏名】深谷 泰士

(72)【発明者】

【氏名】松浦 芳樹

(72)【発明者】

【氏名】高田 浩平

(72)【発明者】

【氏名】吉岡 直人

(57)【要約】      （修正有）

【課題】利用者がロボットの移動を制御できる、ロボットおよびその制御方法、ならびにプログラムを提供する。
【解決手段】ロボットは、移動機構と、周囲の空間を撮影する撮影部と、撮影部において撮影された撮影画像に含まれる所定のマーカを認識するマーカ認識部と、認識されたマーカに基づき移動機構による移動を制御する移動制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動機構と、
周囲の空間を撮影する撮影部と、
前記撮影部において撮影された撮影画像に含まれる所定のマーカを認識するマーカ認識部と、
認識された前記マーカに基づき前記移動機構による移動を制御する移動制御部と
を備える、ロボット。

【請求項2】

前記移動制御部は、認識された前記マーカに基づき前記移動による進入を禁止する、請求項１に記載のロボット。

【請求項3】

前記移動制御部は、認識された前記マーカに基づき前記移動の速度を制限する、請求項１又は２に記載のロボット。

【請求項4】

前記移動制御部は、認識された前記マーカの設置位置に基づき前記移動を制御する、請求項１から３のいずれか一項に記載のロボット。

【請求項5】

前記移動制御部は、前記設置位置に基づく制限範囲を設定し、前記制限範囲における前記移動を制限する、請求項４に記載のロボット。

【請求項6】

前記移動制御部は、前記設置位置より奥側、又は前記設置位置の周囲における所定の範囲を前記制限範囲として設定する、請求項５に記載のロボット。

【請求項7】

前記移動制御部は、認識された前記マーカが複数である場合、認識された複数の前記設置位置に基づき前記移動を制限する、請求項４から６のいずれか一項に記載のロボット。

【請求項8】

前記移動制御部は、認識された第１マーカの設置位置と認識された第２マーカの設置位置とを結ぶ線分に基づき前記移動を制限する、請求項７に記載のロボット。

【請求項9】

前記移動制御部は、認識された前記マーカの種類に基づき前記移動を制御する、請求項１から８のいずれか一項に記載のロボット。

【請求項10】

前記移動制御部は、記録されているマーカに基づき前記移動を制御する、請求項１から９のいずれか一項に記載のロボット。

【請求項11】

前記移動制御部は、前記撮影画像において前記マーカが認識されない場合、前記記録されているマーカに基づき前記移動を制御する、請求項１０に記載のロボット。

【請求項12】

前記撮影部において撮影された撮影画像に基づいて、前記空間を認識した空間データを生成する空間データ生成部と、
生成された前記空間データに基づいて、前記空間に含まれる空間要素を可視化した可視化データを生成する可視化データ生成部と、
生成された前記可視化データを利用者端末に対して提供する可視化データ提供部と
をさらに備える、請求項１から１１のいずれか一項に記載のロボット。

【請求項13】

提供された前記可視化データに含まれる領域の指定を前記利用者端末から取得する指定取得部をさらに備え、
前記空間データ生成部は、取得された前記指定に係る領域において再撮影された前記撮影画像に基づいて前記空間を再認識する、請求項１２に記載のロボット。

【請求項14】

前記移動における移動先の状態を示す状態情報を取得する状態情報取得部をさらに備え、
前記移動制御部は、前記状態情報にさらに基づき前記移動を制御する、請求項１から１３のいずれか一項に記載のロボット。

【請求項15】

前記マーカの位置を記憶するマーカ情報記憶部と、
第１イベントを検出する第１イベント検出部と、
第２イベントを検出する第２イベント検出部と、
アクションを実行するアクション実行部と
をさらに備え、
前記第１イベントが検出されると、前記マーカの前記位置の付近へ移動し、前記第２イベントが検出されると、前記マーカ、前記第１イベント及び前記第２イベントのうちの少なくとも１つに対応する前記アクションを実行する、請求項１から１４のいずれか一項に記載のロボット。

【請求項16】

周囲の空間を撮影する撮影ステップと、
前記撮影ステップにおいて撮影された撮影画像に含まれる所定のマーカを認識するマーカ認識ステップと、
認識された前記マーカに基づき移動機構による移動を制御する移動制御ステップと
を含む、ロボット制御方法。

【請求項17】

コンピュータに、
周囲の空間を撮影する撮影機能と、
前記撮影機能において撮影された撮影画像に含まれる所定のマーカを認識するマーカ認識機能と、
認識された前記マーカに基づき移動機構による移動を制御する移動制御機能と
を実現させるための、ロボット制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットおよびその制御方法、ならびにプログラムに関する。

【背景技術】

【0002】

従来から、家屋内を自律的に移動しながらカメラで画像を撮影し、撮影画像から屋内の空間を認識し、認識している空間に基づき移動経路を設定して屋内を移動するロボットがある。ロボット移動経路の設定は、ロボットが移動する経路を定めたマップを利用者が予め作成することにより行われる。ロボットは作成されたマップに基づき定められた経路を移動することができる（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１０３２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、自律行動型ロボットにおいては、ロボットが空間を自律的に移動できるため、例えば、利用者が進入して欲しくない範囲やロボットが移動すると危険な範囲にロボットが進入することがある。

【0005】

また、自律的な移動だけでなく、所定の場所へロボットを移動させて、所定のアクションを行わせたいこともある。

【0006】

本発明は上記事情に鑑みてなされたものであり、１つの実施形態において、利用者がロボットの移動を制御できる、ロボットおよびその制御方法、ならびにプログラムを提供することを一つの目的とする。

【課題を解決するための手段】

【0007】

（１）上記の課題を解決するため、実施形態のロボットは、移動機構と、周囲の空間を撮影する撮影部と、前記撮影部において撮影された撮影画像に含まれる所定のマーカを認識するマーカ認識部と、認識された前記マーカに基づき前記移動機構による移動を制御する移動制御部とを備える。

【0008】

（２）また、実施形態のロボットにおいて、前記移動制御部は、認識された前記マーカに基づき前記移動による進入を禁止する。

【0009】

（３）また、実施形態のロボットにおいて、前記移動制御部は、認識された前記マーカに基づき前記移動の速度を制限する。

【0010】

（４）また、実施形態のロボットにおいて、前記移動制御部は、認識された前記マーカの設置位置に基づき前記移動を制御する。

【0011】

（５）また、実施形態のロボットにおいて、前記移動制御部は、前記設置位置に基づく制限範囲を設定し、前記制限範囲における前記移動を制限する。

【0012】

（６）また、実施形態のロボットにおいて、前記移動制御部は、前記設置位置より奥側、又は前記設置位置の周囲における所定の範囲を前記制限範囲として設定する。

【0013】

（７）また、実施形態のロボットにおいて、前記移動制御部は、認識された前記マーカが複数である場合、認識された複数の前記設置位置に基づき前記移動を制限する。

【0014】

（８）また、実施形態のロボットにおいて、前記移動制御部は、認識された第１マーカの設置位置と認識された第２マーカの設置位置とを結ぶ線分に基づき前記移動を制限する。

【0015】

（９）また、実施形態のロボットにおいて、前記移動制御部は、認識された前記マーカの種類に基づき前記移動を制御する。

【0016】

（１０）また、実施形態のロボットにおいて、前記移動制御部は、記録されているマーカに基づき前記移動を制御する。

【0017】

（１１）また、実施形態のロボットにおいて、前記移動制御部は、前記撮影画像において前記マーカが認識されない場合、前記記録されているマーカに基づき前記移動を制御する。

【0018】

（１２）また、実施形態のロボットにおいて、前記撮影部において撮影された撮影画像に基づいて、前記空間を認識した空間データを生成する空間データ生成部と、生成された前記空間データに基づいて、前記空間に含まれる空間要素を可視化した可視化データを生成する可視化データ生成部と、生成された前記可視化データを利用者端末に対して提供する可視化データ提供部とをさらに備える。

【0019】

（１３）また、実施形態のロボットにおいて、提供された前記可視化データに含まれる領域の指定を前記利用者端末から取得する指定取得部をさらに備え、前記空間データ生成部は、取得された前記指定に係る領域において再撮影された前記撮影画像に基づいて前記空間を再認識する。

【0020】

（１４）また、実施形態のロボットにおいて、前記移動における移動先の状態を示す状態情報を取得する状態情報取得部をさらに備え、前記移動制御部は、前記状態情報にさらに基づき前記移動を制御する。

【0021】

（１５）また、実施形態のロボットにおいて、前記マーカの位置を記憶するマーカ情報記憶部と、第１イベントを検出する第１イベント検出部と、第２イベントを検出する第２イベント検出部と、アクションを実行するアクション実行部とをさらに備え、前記第１イベントが検出されると、前記マーカの前記位置の付近へ移動し、前記第２イベントが検出されると、前記マーカ、前記第１イベント及び前記第２イベントのうちの少なくとも１つに対応する前記アクションを実行する。

【0022】

（１６）上記の課題を解決するため、実施形態のロボット制御方法は、周囲の空間を撮影する撮影ステップと、前記撮影ステップにおいて撮影された撮影画像に含まれる所定のマーカを認識するマーカ認識ステップと、認識された前記マーカに基づき移動機構による移動を制御する移動制御ステップとを含む。

【0023】

（１７）上記の課題を解決するため、実施形態のロボット制御プログラムは、コンピュータに、周囲の空間を撮影する撮影機能と、前記撮影機能において撮影された撮影画像に含まれる所定のマーカを認識するマーカ認識機能と、認識された前記マーカに基づき移動機構による移動を制御する移動制御機能とを実現させる。

【発明の効果】

【0024】

一つの実施形態によれば、利用者がロボットの移動を制御できる、ロボットおよびその制御方法、ならびにプログラムを提供することができる。

【図面の簡単な説明】

【0025】

【図1】実施形態１における自律行動型ロボットのソフトウェア構成の一例を示すブロック図である。

【図2】実施形態１における自律行動型ロボットのハードウェア構成の一例を示すブロック図である。

【図3】実施形態１における自律行動型ロボット制御プログラムの動作の一例を示すフローチャートである。

【図4】実施形態１における自律行動型ロボット制御プログラムの動作の他の一例を示すフローチャートである。

【図5】実施形態１における進入禁止ラインの設定方法を示す図である。

【図6】実施形態１における利用者端末の表示の一例を示す図である。

【図7】実施形態１における利用者端末の表示の一例を示す図である。

【図8】実施形態２におけるロボットのモジュール構成の一例を示すブロック図である。

【図9】実施形態２におけるデータ提供装置のモジュール構成の一例を示すブロック図である。

【図10】実施形態２におけるイベント情報記憶部のデータ構成の一例を示すブロック図である。

【図11】実施形態２におけるマーカ情報記憶部のデータ構成の一例を示すブロック図である。

【図12】図１２（Ａ）は、実施形態２のマーカ登録フェーズにおける処理手順を示すフローチャートである。図１２（Ｂ）は、実施形態２のアクションフェーズにおける処理手順を示すフローチャートである。

【図13】図１３（Ａ）は、実施例１のマーカ登録フェーズにおける処理手順を示すフローチャートである。図１３（Ｂ）は、実施例１のアクションフェーズにおける処理手順を示すフローチャートである。

【図14】図１４（Ａ）は、実施例２のマーカ登録フェーズにおける処理手順を示すフローチャートである。図１４（Ｂ）は、実施例２のアクションフェーズにおける処理手順を示すフローチャートである。

【図15】図１５（Ａ）は、実施例３のマーカ登録フェーズにおける処理手順を示すフローチャートである。図１５（Ｂ）は、実施例３のアクションフェーズにおける処理手順を示すフローチャートである。

【図16】図１６（Ａ）は、実施例４のマーカ登録フェーズにおける処理手順を示すフローチャートである。図１６（Ｂ）は、実施例４のアクションフェーズにおける処理手順を示すフローチャートである。

【図17】図１７（Ａ）は、実施例５のマーカ登録フェーズにおける処理手順を示すフローチャートである。図１７（Ｂ）は、実施例５のアクションフェーズにおける処理手順を示すフローチャートである。

【図18】図１８（Ａ）は、実施例６のマーカ登録フェーズにおける処理手順を示すフローチャートである。図１８（Ｂ）は、実施例６のアクションフェーズにおける処理手順を示すフローチャートである。

【発明を実施するための形態】

【0026】

以下、図面を参照して本発明の実施形態における自律行動型ロボット、データ提供装置およびデータ提供プログラムについて詳細に説明する。

【0027】

［実施形態１］
先ず、図１を用いて、自律行動型ロボット１のソフトウェア構成を説明する。図１は、実施形態における自律行動型ロボット１のソフトウェア構成の一例を示すブロック図である。

【0028】

図１において、自律行動型ロボット１は、データ提供装置１０およびロボット２を有する。データ提供装置１０とロボット２は通信にて接続されて、自律行動型ロボット１として機能する。ロボット２は、撮影部２１、マーカ認識部２２、移動制御部２３、状態情報取得部２４および移動機構２９の各機能部を有する移動式ロボットである。データ提供装置１０は、第１通信制御部１１、点群データ生成部１２、空間データ生成部１３、可視化データ生成部１４、撮影対象認識部１５および第２通信制御部１６の各機能部を有する。第１通信制御部１１は、撮影画像取得部１１１、空間データ提供部１１２および指示部１１３の各機能部を有する。第２通信制御部１６は、可視化データ提供部１６１、指定取得部１６２の各機能部を有する。本実施形態における自律行動型ロボット１のデータ提供装置１０の上記各機能部は、データ提供装置１０を制御するデータ提供プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。また、ロボット２の、マーカ認識部２２、移動制御部２３および状態情報取得部２４の各機能部は、自律行動型ロボット１におけるロボット２を制御するプログラムによって実現される機能モジュールであるものとして説明する。

【0029】

データ提供装置１０は、自律行動型ロボット１の機能の一部を実行することができる装置であって、例えば、ロボット２と物理的に近い場所に設置され、ロボット２と通信し、ロボット２の処理の負荷を分散させるエッジサーバである。なお、本実施形態において自律行動型ロボット１は、データ提供装置１０とロボット２とにおいて構成される場合を説
明するが、データ提供装置１０の機能は、ロボット２の機能に含まれるものであってもよい。また、ロボット２は、空間データに基づき移動可能なロボットであって、空間データに基づき移動範囲が定められるロボットの一態様である。データ提供装置１０は、１つの筐体において構成されるものであっても、複数の筐体から構成されるものであってもよい。

【0030】

第１通信制御部１１は、ロボット２との通信機能を制御する。ロボット２との通信方式は任意であり、例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または赤外線通信等の近距離無線通信、もしくは有線通信等を用いることができる。第１通信制御部１１が有する、撮影画像取得部１１１、空間データ提供部１１２および指示部１１３の各機能は、第１通信制御部１１において制御される通信機能を用いてロボット２と通信する。

【0031】

撮影画像取得部１１１は、ロボット２の撮影部２１により撮影された撮影画像を取得する。撮影部２１は、ロボット２に設けられて、ロボット２の移動に伴い撮影範囲を変更することができる。ここで、ロボット２の撮影部２１、マーカ認識部２２、移動制御部２３、状態情報取得部２４および移動機構２９について説明する。

【0032】

撮影部２１は、１台または複数台のカメラで構成することができる。例えば、撮影部２１が２台のカメラで構成されるステレオカメラである場合、撮影部２１は撮影対象である空間要素を異なる撮影角度から立体的に撮影することが可能となる。撮影部２１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を用いたビデオカメラである。２台のカメラ（ステレオカメラ）で空間要素を撮影することにより、空間要素の形状を測定することができる。また、撮影部２１は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）技術を用いたカメラであってもよい。ＴｏＦカメラにおいては、変調された赤外光を空間要素に照射して、空間要素までの距離を測定することにより、空間要素の形状を測定することができる。また、撮影部２１は、ストラクチャードライトを用いるカメラであってもよい。ストラクチャードライトは、ストライプ、または格子状のパターンの光を空間要素に投影するライトである。撮影部２１は、ストラクチャードライトと別角度から空間要素を撮影することにより、投影されたパターンの歪みから空間要素の形状を測定することができる。撮影部２１は、これらのカメラのいずれか１つ、または２つ以上の組合せであってもよい。

【0033】

また、撮影部２１は、ロボット２に取付けられてロボット２の移動に合わせて移動するものである。しかし、撮影部２１は、ロボット２とは分離して設置されるものであってもよい。

【0034】

撮影部２１で撮影された撮影画像は、第１通信制御部１１に対応する通信方式において撮影画像取得部１１１に対して提供される。撮影された撮影画像は、ロボット２の記憶部に一時的に記憶されて、撮影画像取得部１１１は、リアルタイムにまたは所定の通信間隔で一時記憶された撮影画像を取得する。

【0035】

マーカ認識部２２は、撮影部２１において撮影された撮影画像に含まれる所定のマーカを認識する。マーカとは、ロボット２の移動の制限を示す空間要素である。マーカは、撮影画像から認識可能な物品の形状、模様若しくは色彩若しくは物品に付された文字若しくは図形又はこれらの結合である。利用者がロボット２の移動を制限する位置にマーカを設置することにより、ロボット２が撮影部２１で空間を撮影したときに、家具等とともに撮影される。マーカは、平面的な物品であっても立体的な物品であってもよい。マーカは、例えば、２次元コードまたは特定の色の組合せもしくは形状が印刷されたシールまたは用
紙等である。また、マーカは特定の色や形状の置物または敷物等であってもよい。このように、印刷物や身の回りにある物をマーカとして利用することにより、利用者はマーカの電源を確保したり、設置場所を確保したりする必要がない。また、部屋の雰囲気を損なうこと無く、利用者の意思でロボットの移動を制限できる。また、利用者もマーカを視認できるので、移動制限範囲を直観的に把握でき、制限範囲の変更も容易にできる。マーカは利用者によって、例えば壁や家具に貼付され、または床に載置されることにより設置される。マーカ認識部１７は、撮影画像に含まれるマーカの画像を認識することにより、ロボット２の移動が制限されることを認識することができる。

【0036】

ここで、マーカが平面的である場合、壁や家具への貼付等が可能となるため、省スペースでの設置が可能となる。マーカが平面的である場合、マーカの平面を水平方向から撮影すると（撮影角度が小さいとき）、撮影画像におけるマーカが歪んでしまうため認識が難くなる。一方、マーカの平面を垂直方向から撮影すると（撮影角度が大きいとき）、マーカを認識しやすくなる。したがって、例えばマーカを廊下に貼付した場合、マーカから遠い位置では撮影角度が小さいためロボット２にマーカを認識させないようにすることができる。ロボットが廊下を移動してマーカに近付くと撮影角度が大きくなるため、マーカが認識される。このため、平面的なマーカにおいては、マーカの設置位置（後述）とロボットがマーカを認識できる位置を近づけることが可能となるため、マーカの設置位置をロボットが正確に把握することが可能となる。また、マーカが立体的である場合、部屋の中央等への設置が容易となる。マーカが立体的である場合、マーカは様々な撮影角度から認識可能になる。したがって、立体的なマーカを設置することにより、マーカの設置位置から遠い位置にあるロボット２にマーカを認識させることが可能となる。

【0037】

マーカ認識部２２は、マーカの視覚的な特徴を予め記憶しておく。例えば、マーカ認識部２２は、マーカとして認識すべき２次元コードや立体物を予め記憶しておく。マーカ認識部２２は、利用者によって予め登録された物をマーカとして認識するようにしてもよい。例えば、利用者が利用者端末３のカメラで撮影した植木鉢をマーカとして登録した場合、廊下等に設置された植木鉢をマーカとして認識することができる。したがって、利用者はマーカを設置する場所において違和感が無い物をマーカとして設置することが可能となる。なお、マーカ認識部２２は、物以外の空間要素をマーカとして認識するようにしてもよい。例えば、マーカ認識部２２は、利用者が腕を体の正面でクロスさせる等の利用者のジェスチャーをマーカとして認識するようにしてもよい。マーカ認識部２２は、利用者がジェスチャーをした位置をマーカの設置位置として認識する。

【0038】

マーカ認識部２２は、マーカが貼付されまたは設置等された位置（以下、「設置位置」という。）を認識する。設置位置とは、空間データにおけるマーカが設置された空間の中の位置である。設置位置は、例えば、ロボット２が認識している空間データに基づき、ロボット２の現在位置と撮影されたマーカとの距離において認識することができる。例えば、マーカの大きさが予め分かっている場合、マーカ認識部２２は、撮影画像に含まれるマーカ画像の大きさから、ロボット２とマーカの距離を算出し、ロボット２の現在位置と撮影方向（例えば、図示しない方位計による方位）に基づき、マーカの設置位置を認識することができる。また、設置位置は空間における位置が既に分かっている空間要素からマーカまでの相対的な位置から認識するようにしてもよい。例えば、ドアの位置が既に分かっている場合、マーカ認識部２２は、マーカとドアの相対的な位置から設置位置を認識するようにしてもよい。また、撮影画像がデプスカメラにおいて撮影されたものである場合、設置位置はデプスカメラで撮影されたマーカの撮影深度に基づき認識することが可能となる。

【0039】

また、マーカ認識部２２は、撮影画像に含まれる複数のマーカを認識するようにしてもよい。例えば、移動を制限する範囲を直線で設定したい場合、利用者は第１マーカと第２
マーカからなる、２つのマーカの対（ペア）で構成されるマーカを設置することができる。マーカ認識部２２は、第１マーカの設置位置（始点）と第２マーカの設置位置（終点）を認識することにより、始点と終点を結ぶ線分（直線又は曲線）の位置を認識してもよい。マーカ認識部２２は、第１マーカと第２マーカの位置を空間データにマッピングすることにより空間データにおける線分の位置を認識することができる。利用者は、マーカを所定の位置に設置等することにより、移動を制限する線分を簡単に設定することが可能となる。マーカの設置は３つ以上を可能としてもよい。例えば、マーカが３つ以上であった場合、マーカ認識部２２は、それぞれのマーカの設置位置に基づき、折れ線または多角形（エリア）を認識することができる。

【0040】

移動制御部２３は、マーカ認識部２２において認識されたマーカの設置位置に基づき移動を制限する。移動制御部２３は、認識されたマーカの設置位置に応じて移動を制限する制限範囲を設定する、制限範囲設定部２３１を有する。移動制御部２３は、制限範囲設定部２３１に設定された制限範囲に対するロボット２の移動を制限する。マーカの設置位置とは、１つまたは複数のマーカの設置位置に基づき設定される点、線、面または空間である。制限範囲設定部２３１は、マーカの設置位置を、例えば、空間データにおける座標データとして認識することにより、制限範囲を設定することができる。制限範囲設定部２３１は、設置位置に基づく制限範囲を設定し、制限範囲における移動を制限してもよい。例えば、制限範囲設定部２３１は、１つのマーカの設置位置に基づき、廊下等の空間要素を区切る線分、またはマーカを中心とした空間における円もしくは球体のエリアを、移動を制限する制限範囲として設定することができる。つまり、制限範囲設定部２３１は、矩形、円、直線などの幾何学的に決められる範囲をマーカの設置位置に基づいて空間に配置することで制限範囲を設定する。例えば、円状に範囲を設定するのであれば、制限範囲設定部２３１はマーカの設置位置を中心とし、所定の半径の円状の範囲を制限範囲としてもよい。また、矩形状に範囲を設定するのであれば、制限範囲設定部２３１はマーカの設置位置を矩形の一辺の中央になるように配置することで矩形状の制限範囲を決めてもよい。制限範囲は、例えば、マーカから１～３ｍ程度であり、マーカ認識部２２がマーカを認識できる範囲より狭い範囲である。制限範囲は、マーカ毎に予め決められていてもよいし、後述のアプリケーションを利用することで利用者が任意に調整できてもよい。

【0041】

また、制限範囲設定部２３１は、複数のマーカによって設定される線、面または空間を制限範囲として設定してもよい。例えば、制限範囲設定部２３１は、マーカ認識部２２がマーカを認識したときのロボット２の位置を基準として、マーカの設置位置より奥側、又は設置位置の周囲における所定の範囲を制限範囲として設定してもよい。制限範囲設定部２３１が線状に制限範囲を設定した場合、移動制御部２３はその線を越えないようにロボット２の移動を制限する。このように、制限範囲設定部２３１は、マーカの設置位置を基準として予め定められたルールに基づいて制限範囲を設定してもよい。

【0042】

また、制限範囲設定部２３１は、マーカ周辺の空間的な特徴を認識し、空間的な特徴に応じて制限範囲を設定してもよい。言い換えれば、制限範囲設定部２３１は、間取りを認識し、間取りに応じて制限範囲を設定してもよい。例えば、制限範囲設定部２３１は、マーカが通路の入口周辺（所定範囲内）にあれば、その通路を制限範囲として設定するようにしてもよい。また、制限範囲設定部２３１は、部屋の中央（壁から所定距離離れている）にマーカが配置されている場合は、そのマーカを中心とする円形状の範囲を制限範囲として設定してもよい。また、制限範囲設定部２３１は、マーカが壁に貼り付けられており、周辺にドアがなければ、壁から所定範囲を制限範囲として設定してもよい。

【0043】

マーカには種類が設定されてもよい。例えば、マーカが視認できるときだけ移動を制限するマーカ（「一時マーカ」という）と、マーカの位置を記憶し、マーカが視認できなくても恒久的に移動を制限するマーカ（「恒久マーカ」という）とをマーカの種類として設
定する。恒久マーカを視認した場合、ロボット２は、マーカの位置を記憶部（図示せず）に記憶して、マーカがその場所から無くなった場合でも、記憶したマーカの位置に基づいて移動が制限される。また、一時マーカを視認した場合、ロボット２は、一時マーカの位置を記憶しないため、一時マーカが撤去されれば制限範囲は解除される。

【0044】

マーカ認識部２２は、設定されたマーカの種類を認識する。マーカの種類は、例えば、マーカの形状、模様、色彩、文字若しくは図形又はこれらの結合によって予め区分されるようにしておくことができる。また、マーカの種類は、マーカの設置個数、またはマーカの設置方法（例えば、マーカの上下方向を変えた設置）等において区分されてもよい。マーカが２次元コードを含む場合、２次元コードの情報にマーカの種類を特定する情報が書き込まれる。この場合、マーカ認識部２２は、２次元コードを読み込むことで、一時マーカか恒久マーカかを特定できる。また、２次元コードに、マーカを特定する識別情報（「マーカ識別情報」という）が書き込まれてもよい。この場合、マーカ認識部２２は、２次元コードからマーカ識別情報を読み込み、予め用意されたテーブルを参照して、マーカ識別情報に対応付けられたマーカの種類を特定する。

【0045】

すなわち、マーカ認識部２２は、２次元コードのようにマーカ自体に付帯する情報が含まれている場合にマーカ自体から付帯する情報を読み込むように構成されてもよい。また、マーカ認識部２２は、マーカからマーカ識別情報を読み込み、マーカ識別情報をキーとしてテーブルを参照することにより付帯する情報を読み込むように構成されてもよい。本実施の形態では、マーカ認識部２２は、マーカ識別情報に対応付けて、マーカの付帯情報を保持するマーカ情報格納部（図示せず）を有し、マーカ情報格納部を参照することでマーカ毎の付帯情報を取得できるように構成される場合を例示している。マーカ認識部２２は、マーカ識別情報を２次元コードから読み込んでもよいし、一般的な物体認識によりマーカを特定することで、マーカ識別情報を取得してもよい。

【0046】

このように、マーカに付帯する情報を管理できるよう構成することで、単にマーカの周囲に制限範囲を設定し、ロボット２の移動を制限するだけでなく、利用者の希望に応じて様々な条件でロボット２の行動を制限（「行動制限」という。）することができる。例えば、浴室を使う時間帯にロボット２を脱衣所に進入させたくない場合に、マーカに進入禁止の時間帯を関連付けておく。また、キッチンを使っているときにロボット２をキッチンに進入させたくないのであれば、人がいる場合（人を検出した場合）は進入を禁止する条件をマーカに関連付けておく。また、ロボットの進入を禁止するのではなく、進入を許可する場合であっても、制限範囲内では行動を抑制し静かにしなければならない、音を発してはならない、または、ゆっくり走行しなければならない等のロボットの行動を制限する指示を付帯情報として関連付けてもよい。つまり、付帯情報には、マーカの種類を特定する情報、または制限範囲におけるロボットの振る舞いを規定する情報を含めるようにしてもよい。振る舞いを規定する情報は、ロボットの行動を制限するための情報であり、制限範囲内での移動を禁止するのであれば、禁止することの他に、禁止の時間帯を指定する情報等が含まれてもよい。付帯する情報には、制限範囲内での移動を条件付きで許可するのであれば、許可することの他に、その条件を指定する情報（「行動条件」という。）などが含まれてもよい。

【0047】

移動制御部２３は、マーカ認識部２２においてマーカが認識されなかった場合、記憶された設置位置に基づき移動を制限してもよい。例えば、マーカによるコマンドが恒久的な制限を設定する恒久的なマーカを設定するものである場合、移動制御部２３は、マーカが撤去されて撮影画像から認識できない場合であってもマーカに基づく移動を恒久的に制限する。なお、制限範囲設定部２３１において設定されたマーカは、例えば、利用者端末３からの指示により消去、位置の変更またはコマンドの変更等のマーカを編集できるようにしてもよい。例えば、利用者端末３は、マーカを編集することができる不図示のアプリケ
ションプログラム（以下、「アプリ」という。）を有するものであってもよい。例えば、アプリは、上述した利用者端末３の表示画面にマーカを選択可能に表示して、利用者が選択したマーカを編集するようにしてもよい。また、アプリは、マーカが一時マーカである場合、マーカを恒久マーカに変更できるようにしてもよい。これにより、利用者は、設置された一時マーカを撤去することにより制限範囲を解除することができるとともに、アプリで一時マーカを恒久マーカに変更することにより、設置されたマーカを撤去した後においても制限範囲を維持させることが可能となる。なお、アプリは、上述した利用者端末３のカメラで撮影した空間要素をマーカとして登録する登録機能を有していてもよい。また、アプリは、制限範囲の調整、または上述した行動制限の内容を設定もしくは変更する機能を有していてもよい。アプリは、ロボット２が有するマーカ情報格納部に接続し、マーカ毎の行動制限や行動条件を参照し、更新する機能を有してもよい。

【0048】

なお、マーカにより設定されるロボット２の移動の制限は、後述する状態情報による制限範囲の設定と併存させることができる。例えば、廊下への進入禁止エリアの設定をマーカの設置によって行うことができるとともに、脱衣所への立ち入り禁止を状態情報によって行うことができるようにしてもよい。また、移動が制限されるエリアの設定をマーカで行うとともに、状態情報によって当該エリアにおける制限の内容（例えば、進入が制限される時間等の条件）を設定できるようにしてもよい。

【0049】

状態情報取得部２４は、移動における移動先の状態を示す状態情報を取得する。状態情報とは、ロボット２が検出した移動先の状態に応じてロボット２の移動を制限するための情報である。移動先の状態とは、例えば、移動範囲に係る、人の有無、ペットの有無、部屋の温度もしくは湿度、ドアの施錠状態、または照明の点灯状態等であり、時間、曜日、天候等の状態を含んでいてもよい。状態情報は、例えば、移動範囲に人を検知したときに、そのエリア（範囲）における移動速度を制限するための情報である。また、状態情報は、所定の曜日または時間において、そのエリアにおける進入を禁止し、ドアが施錠されているときにそのドアを通過する移動を禁止し、または照明が点灯されているエリアにおいて撮影を禁止するものであってよい。状態情報は、空間データと併せて提供することができる。

【0050】

再び、データ提供装置１０について説明する。空間データ提供部１１２は、ロボット２に対して空間データ生成部１３において生成された空間データを提供する。空間データは、ロボット２が存在している空間において、ロボットが認識している空間要素をデータ化したものである。ロボット２は、空間データに定められた範囲内において移動することができる。すなわち、空間データはロボット２において移動可能範囲を定めるための地図として機能する。ロボット２は、空間データ提供部１１２から空間データを提供される。例えば、空間データには、ロボット２が移動できない壁、家具、電化製品、段差等の空間要素の位置データを含めることができる。ロボット２は、提供された空間データに基づき、自身が移動できる場所か否かの判断をすることができる。また、ロボット２は、空間データの中に未生成の範囲が含まれるか否かを認識できるようにしてもよい。未生成の範囲が含まれるか否かは、例えば、空間データの一部に空間要素がない空間が含まれているか否かで判断することができる。

【0051】

指示部１１３は、ロボット２に対して、空間データ生成部１３において生成された空間データに基づく撮影を指示する。空間データ生成部１３は、撮影画像取得部１１１において取得された撮影画像に基づき空間データを作成するため、例えば、室内の空間データを作成する場合、撮影されていない部分については空間データが未作成の部分を含む場合がある。また、撮影画像が不鮮明等であると、作成された空間データにノイズが含まれてしまい空間データに不正確な部分が含まれてしまう場合がある。指示部１１３は、空間データに未生成の部分がある場合、未生成の部分についての撮影指示をするようにしてもよい
。また、指示部１１３は、空間データが不正確な部分が含まれている場合、不正確な部分についての撮影指示をするようにしてもよい。指示部１１３は、空間データに基づき、自発的に撮影を指示してもよい。なお、指示部１１３は、空間データに基づき生成された可視化データ（後述）を確認した利用者からの明示的な指示に基づき、撮影を指示してもよい。利用者は、可視化データに含まれる領域を指定して、ロボット２に対して、撮影を指示することにより、空間を認識して空間データを生成させることができる。

【0052】

点群データ生成部１２は、撮影画像取得部１１１において取得された撮影画像に基づき空間要素の三次元の点群データを生成する。点群データ生成部１２は、撮影画像に含まれる空間要素を所定の空間における三次元の点の集合に変換して点群データを生成する。空間要素は、上述のように、部屋の壁、段差、扉、部屋に置いてある家具、家電、荷物、観葉植物等である。点群データ生成部１２は、空間要素の撮影画像に基づき点群データを生成するため、点群データは撮影された空間要素の表面の形状を表すことになる。撮影画像は、ロボット２の撮影部２１が、所定の撮影位置において所定の撮影角度で撮影することにより生成される。したがって、ロボット２が正面の位置から家具等の空間要素を撮影した場合、撮影されていない家具の裏側等の形状については点群データを生成することができず、家具の裏側にロボット２が移動可能な空間があったとしても、ロボット２はそれを認識することができない。一方、ロボット２が移動して側面の撮影位置から家具を撮影すると、家具等の空間要素の裏側の形状について点群データを生成することができるので、空間を正しく把握することが可能となる。

【0053】

空間データ生成部１３は、点群データ生成部１２において生成された空間要素の点群データに基づきロボット２の移動可能範囲を定める空間データを生成する。空間データは空間における点群データに基づき生成されるため、空間データに含まれる空間要素に関しても三次元の座標情報を有している。座標情報には、点の位置、長さ（高さを含む）、面積、または体積の情報が含まれていてもよい。ロボット２は、生成された空間データに含まれる空間要素の位置情報に基づき、移動が可能な範囲を判断することが可能となる。例えば、ロボット２が床面を水平移動する移動機構２９を有するものである場合、ロボット２は、空間データにおいて空間要素である床面からの段差が所定の高さ以上（例えば、１ｃｍ以上）である場合移動が不可能であると判断することができる。一方、空間データにおいて、空間要素であるテーブルの天板またはベッド等が床面から所定の高さを有する場合、ロボット２は、床面からの高さが所定の高さ以上（例えば、６０ｃｍ以上）の範囲を自身の高さとのクリアランスを考慮して移動可能な範囲として判断する。また、ロボット２は、空間データにおいて、空間要素である壁と家具の隙間が所定の幅以上（例えば、４０ｃｍ以上）である範囲を自身の幅とのクリアランスを考慮して移動可能な範囲として判断する。

【0054】

空間データ生成部１３は、空間における所定のエリアについて属性情報を設定してもよい。属性情報とは、所定のエリアについてロボット２の移動条件を定めた情報である。移動条件とは、例えば、ロボット２が移動可能な空間要素とのクリアランスを定めた条件である。例えば、ロボット２が移動可能な通常の移動条件が、クリアランスが３０ｃｍ以上である場合、所定のエリアについてのクリアランスが５ｃｍ以上とした属性情報を設定することができる。また、属性情報において設定する移動条件は、ロボットの移動を制限する情報を設定してもよい。移動の制限とは、例えば、移動速度の制限、または進入の禁止等である。例えば、クリアランスが小さいエリアや人が存在しているエリアにおいて、ロボット２の移動速度を落とした属性情報を設定してもよい。また、属性情報において設定する移動条件は、エリアの床材によって定められるものであってもよい。例えば、属性情報は、床がクッションフロア、フローロング、畳、またはカーペットにおいて移動機構２９の動作（走行速度または走行手段等）の変更を設定するものであってもよい。また、属性情報には、ロボット２が移動して充電できる充電スポット、ロボット２の姿勢が不安定
になるため移動が制限される段差またはカーペットの端等における以上条件を設定できるようにしてもよい。なお、属性情報を設定したエリアは、後述する可視化データにおいて表示方法を変更する等、利用者が把握できるようにしてもよい。

【0055】

空間データ生成部１３は、点群データ生成部１２において生成された点群データを、例えば、ハフ変換して、点群データにおいて共通する直線や曲線等の図形を抽出し、抽出された図形により表現される空間要素の輪郭によって空間データを生成する。ハフ変換は、点群データを特徴点とした場合、特徴点を最も多く通過する図形を抽出する座標変換方法である。点群データは、部屋に置いてある家具等の空間要素の形状を点群において表現するものであるため、利用者は、点群データで表現される空間要素が何なのかの判別（例えば、テーブル、椅子、壁等の認識）をするのが困難な場合がある。空間データ生成部１３は、点群データをハフ変換することにより、家具等の輪郭を表現することができるので、利用者が空間要素を判別しやすくすることができる。なお、空間データ生成部１３は、点群データ生成部１２において生成された点群データを、画像認識において認識された空間要素（例えば、テーブル、椅子、壁等）における基本形状に変換して空間データを生成してもよい。テーブル等の空間要素は、画像認識でテーブルであることが認識されることにより、空間要素の一部の点群データ（例えば、テーブルを正面から見たときの点群データ）からテーブルの形状を正確に予測することができる。空間データ生成部１３は、点群データと画像認識を組み合わせることにより、空間要素を正確に把握した空間データを生成することが可能となる。

【0056】

空間データ生成部１３は、ロボット２の移動した位置から所定の範囲に含まれる点群データに基づき空間データを生成する。ロボット２の移動した位置からの所定の範囲とは、ロボット２が実際に移動した位置を含み、例えば、ロボット２が移動した位置から３０ｃｍ等の距離にある範囲であってもよい。点群データは、ロボット２の撮影部２１により撮影された撮影画像に基づき生成されるため、撮影画像にはロボット２から離れた位置にある空間要素が含まれる場合がある。撮影部２１から空間要素までが離れている場合、撮影されていない部分が存在し、または撮影されていない障害物の存在によって実際にはロボット２が移動できない範囲が存在する場合がある。また、廊下等のように撮影部２１から遠い位置にある空間要素が撮影画像に含まれる場合、特徴点において抽出された空間要素が歪んでしまう場合がある。また、撮影距離が大きい場合、撮影画像に含まれる空間要素が小さくなるため、点群データの精度が低くなる場合がある。空間データ生成部１３は、大きく離れている特徴点を無視することにより、精度が低い空間要素、または歪んだ空間要素を含まない空間データを生成するようにしてもよい。空間データ生成部１３は、ロボット２の移動した位置から所定の範囲の外側にある点群データを削除して空間データを生成することにより、実際にはデータが存在しない飛び地が発生することを防ぎ、ロボット２が移動できない範囲を含まず、またデータ精度の高い空間データを生成することが可能となる。また、空間データから生成される可視化データにおいて飛び地状の描画を防ぐことができ、視認性を向上させることができる。

【0057】

空間データ生成部１３は、マーカ認識部２２においてマーカが認識された場合、生成した空間データに対して制限範囲を設定する。空間データに対して制限範囲を設定することにより、制限範囲を可視化データの一部として可視化することが可能となる。また、空間データ生成部１３は、状態情報取得部２４において状態情報が取得された場合、空間データに対して状態情報を設定する。空間データに対して状態情報を設定することにより、状態情報を可視化データの一部とすることが可能となる。

【0058】

可視化データ生成部１４は、空間データ生成部１３において生成された空間データに基づいて、空間に含まれる空間要素を人が直観的に判別できるように可視化した可視化データを生成する。

【0059】

一般的に、ロボットは、カメラやマイク等の様々なセンサを有し、それらのセンサから得られる情報を総合的に判断することで周囲の状況を認識する。ロボットが移動するためには、空間に存在する種々の物体を認識し、空間データにおいて移動ルートを判断する必要があるが、物体を正しく認識できないために移動ルートが適切で無いことがある。誤認識が原因となり、例えば、人が十分に広い空間があると思っても、ロボットは障害物があり狭い範囲しか動けないとして認識してしまう場合がある。このように人とロボットとの間に認識の齟齬が生じると、人の期待に反した行動をロボットがおこなうことになり、人はストレスを感じる。本実施形態における自立型行動ロボットは、人とロボットの認識の齟齬を減らすために、自身の認識状態である空間データを可視化して人に提供するとともに、人に指摘された箇所に対して再度認識処理をおこなうことができる。

【0060】

空間データは、自律行動型ロボット１が認識している空間要素を含むデータであるのに対して、可視化データは、自律行動型ロボット１が認識している空間要素を利用者が視認するためのデータである。空間データには、誤認識された空間要素が含まれる場合がある。空間データを可視化することにより、自律行動型ロボット１における空間要素の認識状態（誤認識の有無等）を人が確認し易くなる。

【0061】

可視化データは、表示装置において表示可能なデータである。可視化データは、いわゆる間取りであり、壁として認識された空間要素に囲まれた領域の中に、テーブル、椅子、ソファー等として認識された空間要素が含まれる。可視化データ生成部１４は、ハフ変換によって抽出された図形において形成される家具等の形状を、例えばＲＧＢデータで表現される可視化データとして生成する。空間データ生成部１３は、空間要素の三次元における平面の方向に基づき、平面の描画方法を変更した可視化データを生成する。空間要素の三次元における平面の方向とは、例えば、点群データ生成部１２において生成された点群データをハフ変換して、点群データにおいて生成された図形で形成される平面の法線方向である。可視化データ生成部１４は、法線方向に応じて平面の描画方法を変更した可視化データを生成する。描画方法とは、例えば、平面に付与する色相、明度または彩度等の色属性、平面に付与する模様、またはテクスチャ等である。例えば、可視化データ生成部１４は、平面の法線が垂直方向（平面が水平方向）である場合、平面の明度を高くして明るい色で描画する。一方、可視化データ生成部１４は、平面の法線が水平方向（平面が垂直方向）である場合、平面の明度を低くして暗い色で描画する。平面の描画方法を変更することにより、家具等の形状を立体的に表現することが可能となり、利用者が家具等の形状を確認しやすくすることができる。また、可視化データは、空間データに含まれる各空間要素の座標情報と対応づけられた可視化データにおける座標情報（「可視化座標情報」という。）を含んでいてもよい。可視化座標情報は、座標情報と対応付けられているため、可視化座標情報における点は実際の空間における点に対応し、また、可視化座標情報における面は実際の空間における面に対応している。したがって、利用者が可視化データにおいてある点の位置を特定すると、それに対応した実際の部屋における点の位置が特定できることになる。また、座標系を変換するための変換関数を用意し、可視化データにおける座標系と、空間データにおける座標系とを相互に変換できるようにしてもよい。もちろん、可視化データにおける座標系と、実際の空間における座標系とを相互に変換できるようにしてもよい。

【0062】

可視化データ生成部１４は、可視化データを立体的（３Ｄ（Ｄｉｍｅｎｓｉｏｎｓ））データで生成する。また、可視化データ生成部１４は、可視化データを平面的（２Ｄ）データで生成してもよい。可視化データを３Ｄで生成することにより、利用者が家具等の形状を確認しやすくすることができる。可視化データ生成部１４は、空間データ生成部１３において、可視化データを３Ｄで生成するために十分なデータが生成された場合に可視化データを３Ｄで生成するようにしてもよい。可視化データ生成部１４は、利用者によって
指定された３Ｄの視点位置（視点高さ、視点仰俯角等）によって可視化データを３Ｄで生成するようにしてもよい。視点位置を指定可能とすることにより、利用者が家具等の形状を確認しやすくすることができる。また、可視化データ生成部１４は、部屋の壁または天井については、奥側の壁についてのみ着色し、手前側の壁または天井を透明にした（着色しない）可視化データを生成してもよい。手前側の壁を透明にすることにより、利用者が手前側の壁の先（室内）に配置された家具等の形状を確認しやすくすることができる。

【0063】

可視化データ生成部１４は、撮影画像取得部１１１において取得された撮影画像に応じた色属性を付与した可視化データを生成する。例えば、可視化データ生成部１４は、撮影画像に木目調の家具が含まれ、木目の色（例えば、茶色）を検出した場合、抽出された家具の図形に検出した色に近似した色を付与した可視化データを生成する。撮影画像に応じた色属性を付与することにより、利用者が家具等の種別を確認しやすくすることができる。

【0064】

可視化データ生成部１４は、固定されている固定物と、移動する移動物との描画方法を変更した可視化データを生成する。固定物とは、例えば、部屋の壁、段差、固定されている家具等である。移動物とは、例えば、椅子、ごみ箱、キャスター付き家具等である。また、移動物には、例えば、荷物やカバン等の一時的に床に置かれた一時物を含んでいてもよい。描画方法とは、例えば、平面に付与する色相、明度または彩度等の色属性、平面に付与する模様、またはテクスチャ等である。

【0065】

固定物、移動物または一時物の区分は、その場所に存在している期間によって識別することができる。例えば、空間データ生成部１３は、点群データ生成部１２において生成された点群データの経時的な変化に基づき、空間要素が固定物、移動物または一時物の区分を識別して空間データを生成する。空間データ生成部１３は、例えば、第１の時刻において生成した空間データと、第２の時刻において生成した空間データの差分から、空間要素が変化していない場合に空間要素が固定物であると判断する。また、空間データ生成部１３は、空間データの差分から、空間要素の位置が変化している場合に空間要素が移動物であると判断してもよい。また、空間データ生成部１３は、空間データの差分から、空間要素が無くなっている場合または出現した場合に空間要素が一次物であると判断してもよい。可視化データ生成部１４は、空間データ生成部１３において識別された区分に基づき描画方法を変更する。描画方法の変更とは、例えば、色分け、ハッチングの追加または所定のマークの追加等である。例えば、空間データ生成部１３は、固定物を黒で表示し、移動物を青で表示し、または、一時物を黄で表示するようにしてもよい。空間データ生成部１３は、固定物、移動物または一時物の区分を識別して空間データを生成する。可視化データ生成部１４は、空間データ生成部１３において識別された区分に基づき描画方法を変更した可視化データを生成してもよい。また、空間データ生成部１３は、画像認識で認識された空間要素の描画方法を変更した可視化データを生成してもよい。

【0066】

可視化データ生成部１４は、複数に区分されたエリアにおける可視化データを生成することができる。例えば、可視化データ生成部１４は、リビングルーム、寝室、ダイニングルーム、廊下等の壁で仕切られた空間をひとつの部屋としてそれぞれ可視化データを生成する。部屋毎に可視化データを生成することにより、例えば、空間データまたは可視化データの生成を部屋ごとに分けて行うことが可能となり、空間データ等の生成が容易になる。また、ロボット２が移動する可能性があるエリアのみについて空間データ等を作成することが可能となる。可視化データ提供部１６１は、利用者がエリアを選択可能な可視化データを提供する。可視化データ提供部１６１は、例えば、利用者が選択したエリアの可視化データを拡大して、または利用者が選択したエリアの詳細な可視化データ提供するようにしてもよい。

【0067】

撮影対象認識部１５は、撮影画像取得部において取得された撮影画像に基づき、空間要素を画像認識する。空間要素の認識は、例えば機械学習において蓄積された画像認識結果に基づき空間要素が何であるかを判断する画像認識エンジンを用いることにより実行することができる。空間要素の画像認識は、例えば、空間要素の形状、色、模様、空間要素に付された文字または図形等において、認識することができる。撮影対象認識部１５は、例えば図示しないクラウドサーバにおいて提供される画像認識サービスを利用することにより空間要素を画像認識できるようにしてもよい。可視化データ生成部１４は、撮影対象認識部１５において画像認識された空間要素に応じて描画方法を変更した可視化データを生成する。例えば、画像認識された空間要素がソファーであった場合、可視化データ生成部１４は、空間要素に布の質感を有するテクスチャを付与した可視化データを生成する。また、画像認識された空間要素が壁であった場合、可視化データ生成部１４は、壁紙の色属性（例えば白色）を付与した可視化データを生成してもよい。このような可視化処理を施すことで、利用者はロボット２における空間の認識状態を直観的に把握できる。

【0068】

第２通信制御部１６は、利用者が所有する利用者端末３との通信を制御する。利用者端末３は、例えば、スマートフォン、タブレットＰＣ、ノートＰＣ、デスクトップＰＣ等である。利用者端末３との通信方式は任意であり、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または赤外線通信等の近距離無線通信、もしくは有線通信を用いることができる。第２通信制御部１６が有する、可視化データ提供部１６１および指定取得部１６２の各機能は、第２通信制御部１６において制御される通信機能を用いて利用者端末３と通信する。

【0069】

可視化データ提供部１６１は、可視化データ生成部１４において生成された可視化データを利用者端末３に対して提供する。可視化データ提供部１６１は、例えば、Ｗｅｂサーバであり、利用者端末３のブラウザに対してＷｅｂページとして可視化データを提供する。可視化データ提供部１６１は、複数の利用者端末３に対して可視化データを提供するようにしてもよい。利用者は利用者端末３に表示された可視化データを視認することにより、ロボット２が移動可能な範囲を２Ｄ又は３Ｄの表示として確認することができる。可視化データには、家具等の形状が所定の描画方法において描画されている。利用者は利用者端末３を操作することにより、例えば、２Ｄ表示と３Ｄ表示の切り替え、可視化データのズームインもしくはズームアウト、または３Ｄ表示における視点の移動を行うことができる。

【0070】

利用者は、利用者端末３に表示された可視化データを視認し、空間データの生成状態やエリアの属性情報を確認することができる。利用者は可視化データの中から空間データが生成されていない領域を指定して、空間データの作成を指示することができる。また、利用者は、利用者端末３に表示された可視化データを視認し、家具等の空間要素の形状が不自然である等、空間データが不正確であると思われる領域があれば、その領域を指定して、空間データの再生成を指示することができる。上述のように、可視化データにおける可視化座標情報は、空間データの座標情報と対応付けられているため、利用者によって再生成が指定された可視化データにおける領域は、空間データにおける領域に一意に特定できる。の座標情報に対応付けられる。再生成された空間データは可視化データ生成部１４において可視化データが再生成されて可視化データ提供部１６１から提供される。なお、再生成された可視化データにおいても空間要素が誤認識されている等、空間データの生成状態が変化しない場合がある。その場合、利用者は、ロボット２の動作パラメータを変化させることにより、空間データの生成を指示するようにしてもよい。動作パラメータとは、例えば、ロボット２における撮影部２１における撮影条件（露光量またはシャッター速度等）、図示しないセンサの感度、ロボット２の移動を許可する際のクリアランス条件等である。動作パラメータは、例えばエリアの属性情報として空間データに含めるようにしてもよい。

【0071】

可視化データ生成部１４は、例えば、空間データの作成（「再作成」を含む。）を指示するボタンの表示を含む可視化データを生成する。利用者端末３は、表示されたボタンを利用者が操作することにより、自律行動型ロボット１に対して空間データの作成の指示を送信することができる。利用者端末３から送信された空間データの作成指示は、指定取得部１６２において取得される。

【0072】

指定取得部１６２は、可視化データ提供部１６１において提供された可視化データに基づき利用者に指定された領域の空間データの作成の指示を取得する。指定取得部１６２は、エリアの属性情報を設定（変更を含む）する指示を取得してもよい。また、指定取得部１６２は、領域の位置と、ロボットがその領域にアプローチする際の方向、つまり撮影すべき方向を取得する。作成の指示の取得は、例えば可視化データ提供部１６１において提供されたＷｅｂページの操作において実行することができる。これにより、利用者は、ロボット２がどのように空間を認識しているのかを把握し、認識状態に応じて、認識処理のやり直しをロボット２に指示することができる。

【0073】

指示部１１３は、空間データの作成が指示された領域における撮影をロボット２に対して指示する。指示部１１３は、領域に設置されたマーカの撮影を指示するものであってもよい。空間データの作成が指示された領域における撮影は、例えば、ロボット２（撮影部２１）の座標位置、撮影部２１の撮影方向、解像度等の撮影条件を含んでいてもよい。空間データ生成部１３は、作成が指示された空間データが未生成の領域に関するものである場合、既存の空間データに新たに作成された空間データを追加し、空間データ生成部１３は、作成が指示された空間データが再作成に係るものである場合、既存の空間データを更新した空間データを生成する。また、撮影画像にマーカが含まれていた場合、認識されたマーカを含む空間データを生成するようにしてもよい。

【0074】

なお、上述のように、図１では自律行動型ロボット１は、データ提供装置１０とロボット２とにおいて構成される場合を説明したが、データ提供装置１０の機能は、ロボット２の機能に含まれるものであってもよい。例えば、ロボット２は、データ提供装置１０の機能を全て含むものであってもよい。データ提供装置１０は、例えば、ロボット２において処理能力が不足する場合に、一時的に機能を代替するものであってもよい。

【0075】

また、本実施形態において「取得」とは、取得する主体が能動的に取得するものであってもよく、また、取得する主体が受動的に取得するものであってもよい。例えば、指定取得部１６２は、利用者が利用者端末３から送信した空間データの作成の指示を受信することにより取得してもよく、また、利用者が図示しない記憶領域（不図示）に記憶させた空間データの作成の指示を記憶領域から読み出すことにより取得してもよい。

【0076】

また、データ提供装置１０が有する、第１通信制御部１１、点群データ生成部１２、空間データ生成部１３、可視化データ生成部１４、撮影対象認識部１５、第２通信制御部１６、撮影画像取得部１１１、空間データ提供部１１２、指示部１１３、可視化データ提供部１６１、指定取得部１６２の各機能部は、本実施形態における自律行動型ロボット１の機能の一例を示したものであり、自律行動型ロボット１が有する機能を限定したものではない。例えば、自律行動型ロボット１は、データ提供装置１０が有する全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、自律行動型ロボット１は、上記以外の他の機能部を有していてもよい。また、ロボット２が有する、マーカ認識部２２、移動制御部２３、制限範囲設定部２３１および状態情報取得部２４の各機能部は、本実施形態における自律行動型ロボット１の機能の一例を示したものであり、自律行動型ロボット１が有する機能を限定したものではない。例えば、自律行動型ロボット１は、ロボット２が有する全ての機能部を有している必要はなく、一部の機能部を有する
ものであってもよい。

【0077】

また自律行動型ロボット１が有する上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし、自律行動型ロボット１が有する上記機能の中で少なくとも１つ以上の機能は、ハードウェアによって実現されるものであっても良い。

【0078】

また、自律行動型ロボット１が有する上記何れかの機能は、１つの機能を複数の機能に分割して実施してもよい。また、自律行動型ロボット１が有する上記何れか２つ以上の機能を１つの機能に集約して実施してもよい。すなわち、図１は、自律行動型ロボット１が有する機能を機能ブロックで表現したものであり、例えば、各機能がそれぞれ別個のプログラムファイルで構成されていることを示すものではない。

【0079】

また、自律行動型ロボット１は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、自律行動型ロボット１は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、仮想的な装置によって実現するものであってもよい。すなわち、自律行動型ロボット１は、上記各機能のうち、少なくとも１以上の機能を他の装置において実現するようにしてもよい。また、自律行動型ロボット１は、タブレットＰＣ等の汎用的なコンピュータであってもよく、また機能が限定された専用の装置であってもよい。

【0080】

また、自律行動型ロボット１は、その機能の一部または全部をロボット２または利用者端末３において実現するものであってもよい。

【0081】

次に、図２を用いて、自律行動型ロボット１（ロボット２の制御部）のハードウェア構成を説明する。図２は、実施形態における自律行動型ロボット１のハードウェア構成の一例を示すブロック図である。

【0082】

自律行動型ロボット１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、タッチパネル１０４、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５、センサ１０６および時計１０７を有する。自律行動型ロボット１は、図１で説明した自律行動型ロボット制御プログラムを実行する装置である。

【0083】

ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に記憶された自律行動型ロボット制御プログラムを実行することにより、自律行動型ロボット１の制御を行う。自律行動型ロボット制御プログラムは、例えば、自律行動型ロボット制御プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＲＯＭ１０３にインストールされ、ＣＰＵ１０１から読出されて実行される。

【0084】

タッチパネル１０４は、操作入力機能と表示機能（操作表示機能）を有する。タッチパネル１０４は、自律行動型ロボット１の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態における自律行動型ロボット１は操作表示機能を有するタッチパネル１０４を用いる場合を説明するが、自律行動型ロボット１は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネル１０４の表示画面は表示装置の表示画面、タッチパネル１０４の操作は操作入力装置の操作として実施することができる。なお、タッチパネル１０４は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。

【0085】

通信Ｉ／Ｆ１０５は、通信用のＩ／Ｆである。通信Ｉ／Ｆ１０５は、例えば、無線ＬＡＮ、有線ＬＡＮ、赤外線等の近距離無線通信を実行する。図２において通信用のＩ／Ｆは通信Ｉ／Ｆ１０５のみを図示するが、自律行動型ロボット１は複数の通信方式においてそれぞれの通信用のＩ／Ｆを有するものであってもよい。通信Ｉ／Ｆ１０５は、図示しない撮影部２１を制御する制御部または移動機構２９を制御する制御部との通信を行うものであってもよい。

【0086】

センサ１０６は、撮影部２１のカメラ、ＴＯＦもしくはサーモカメラ等のハードウェア、マイク、温度計、照度計、または近接センサ等のハードウェアである。これらのハードウェアによって取得されたデータは、ＲＡＭ１０２に記憶されて、ＣＰＵ１０１で処理される。

【0087】

時計１０７は、時刻情報を取得するための内部時計である。時計１０７で取得された時刻情報は、例えば、進入を禁止する時間帯の確認に使用される。

【0088】

次に、図３を用いて、ロボット制御プログラムの可視化データ提供に係る動作を説明する。図３は、実施形態におけるロボット制御プログラムの動作の一例を示すフローチャートである。以下のフローチャートの説明において、動作の実行主体は自律行動型ロボット１であるものとして説明するが、それぞれの動作は、上述した自律行動型ロボット１の各機能において実行される。

【0089】

図３において、自律行動型ロボット１は、撮影画像を取得したか否かを判断する（ステップＳ１１）。撮影画像を取得したか否かの判断は、撮影画像取得部１１１がロボット２から、撮影画像を取得したか否かで判断することができる。撮影画像を取得したか否かの判断は、撮影画像の処理単位で判断される。例えば、撮影画像が動画である場合、動画はロボット２から連続して送信されるため、撮影画像を取得したか否かの判断は、取得された動画のフレーム数またはデータ量等が所定の値に達したか否かで行うことができる。撮影画像の取得は、移動式ロボットが主体となって撮影画像を送信するものであっても、撮影画像取得部１１１が主体となって移動式ロボットから撮影画像を引き取るものであってもよい。撮影画像を取得していないと判断した場合（ステップＳ１１：ＮＯ）、自律行動型ロボット１は、ステップＳ１１の処理を繰返し、撮影画像が取得されるのを待機する。

【0090】

一方、撮影画像を取得したと判断した場合（ステップＳ１２：ＮＯ）、自律行動型ロボット１は、点群データを生成する（ステップＳ１２）。点群データの生成は、点群データ生成部１２が、例えば、撮影画像中の輝度の変化が大きい点を特徴点として検出し、検出された特徴点に対して三次元の座標を与えることにより実行することができる。特徴点の検出は、例えば、撮影画像に対して微分処理を行い、階調変化の大きい部分を検出するようにしてもよい。また、特徴点に対する座標の付与は、異なる撮影角度から撮影された同一の特徴点を検出することにより実行してもよい。ステップＳ１１における撮影画像の取得の有無の判断は、複数の方向から撮影された撮影画像を取得したか否かで判断することができる。

【0091】

ステップＳ１２の処理を実行した後、自律行動型ロボット１は、空間データを生成する（ステップＳ１３）。空間データの生成は、空間データ生成部１３が、例えば、点群データをハフ変換することにより実行することができる。なお、ステップＳ１３の詳細は図４において説明する。

【0092】

ステップＳ１３の処理を実行した後、自律行動型ロボット１は、生成した空間データをロボット２に対して提供する（ステップＳ１４）。ロボット２に対する空間データの提供は、図３に示すように空間データ生成の都度、逐次提供するようにしてもよく、また、ス
テップＳ１１～ステップＳ１８で示す処理とは非同期に提供するようにしてもよい。空間データを提供されたロボット２は、空間データに基づき移動可能範囲を把握することが可能となる。

【0093】

ステップＳ１４の処理を実行した後、自律行動型ロボット１は、空間要素を認識するか否かを判断する（ステップＳ１５）。空間要素を認識するか否かの判断は、例えば、撮影対象認識部１５に対して空間要素を認識するか否かの設定を行うことにより実行することができる。なお、空間要素を認識すると判断した場合であっても、認識に失敗した場合は、空間要素を認識しないと判断するようにしてもよい。

【0094】

空間要素を認識すると判断した場合（ステップＳ１５：ＹＥＳ）、自律行動型ロボット１は、第１可視化データを生成する（ステップＳ１６）。第１可視化データの生成は、可視化データ生成部１４において実行することができる。第１可視化データとは、撮影対象認識部１５が空間要素を認識した上で生成される可視化データである。例えば、撮影対象認識部１５が空間要素をテーブルであると判断した場合、可視化データ生成部１４は、テーブルの上面が撮影されておらず点群データを有さない場合であっても、テーブルの上面は平らであるものとして可視化データを生成することができる。また、空間要素が壁であると判断された場合、可視化データ生成部１４は、撮影されていない部分も平面であるとして可視化データを生成することができる。

【0095】

空間要素を認識しないと判断した場合（ステップＳ１５：ＮＯ）、自律行動型ロボット１は、第２可視化データを生成する（ステップＳ１７）。第２可視化データの生成は、可視化データ生成部１４において実行することができる。第２可視化データとは、撮影対象認識部１５が空間要素を認識しないで、すなわち、撮影画像から生成された点群データ及び空間データに基づき生成される可視化データである。自律行動型ロボット１は、空間要素の認識処理を行わないことで、処理負荷を軽減することができる。

【0096】

ステップＳ１６の処理またはステップＳ１７の処理を実行した後、自律行動型ロボット１は、可視化データを提供する（ステップＳ１８）。可視化データの提供は、可視化データ生成部１４において生成された可視化データを可視化データ提供部１６１が利用者端末３に提供することにより実行される。自律行動型ロボット１は、例えば利用者端末３からの要求に応じて可視化データを生成して提供するようにしてもよい。ステップＳ１８の処理を実行した後、自律行動型ロボット１は、フローチャートで示した動作を終了する。

【0097】

次に、図４を用いて、ロボット制御プログラムの空間データ生成に係る動作を説明する。図４は、実施形態におけるロボット制御プログラムの動作の他の一例を示すフローチャートである。

【0098】

図４において、自律行動型ロボット１は、空間データを生成する（ステップＳ１２１）。空間データの生成は、空間データ生成部１３が、例えば、点群データをハフ変換することにより実行することができる。ステップＳ１３１を実行した後、自律行動型ロボット１は、マーカを認識したか否かを判断する（ステップＳ１２２）。マーカを認識したか否かは、マーカ認識部２２が、撮影部２１において撮影された撮影画像の中にマーカの画像を認識したか否かで判断することができる。ロボット２は、データ提供装置１０に対してマーカの認識結果を通知することができる。

【0099】

マーカを認識したと判断した場合（ステップＳ１２２：ＹＥＳ）、自律行動型ロボット１は、ステップＳ１２１において生成した空間データに移動が制限される制限範囲を設定する（ステップＳ１２３）。

【0100】

マーカを認識していないと判断した場合（ステップＳ１２２：ＮＯ）、自律行動型ロボット１は、状態情報が取得されているか否かを判断する（ステップＳ１２４）。状態情報が取得されているか否かは、状態情報取得部２４において状態情報が取得されているか否かで判断することができる。状態情報が取得されていると判断した場合（ステップＳ１２４：ＹＥＳ）、自律行動型ロボット１は取得された状態情報を空間データに対応させて設定する（ステップＳ１２５）。なお、設定された状態情報は、可視化データ提供部１６１から可視化データに対応させて提供される。

【0101】

一方、状態情報が取得されていない判断した場合（ステップＳ１２４：ＮＯ）、ステップＳ１２３の処理を実行した後、またはステップＳ１２５の処理を実行した後、自律行動型ロボット１は、フローチャートで示したステップＳ１２の提供データ生成の動作を終了する。

【0102】

なお、本実施形態で説明したロボット制御プログラムの動作（ロボット制御方法）における各ステップにおける処理は、実行順序を限定するものではない。

【0103】

次に、図５を用いて、ペアのマーカの設置による進入禁止ラインの設定方法を説明する。図５は、実施形態における進入禁止ラインの設定方法を示す図である。

【0104】

＜ペアのマーカによる通路への進入禁止ラインの設置＞
図５において、壁１と壁２の間、および壁１と壁３の間には、ロボット２が移動可能な通路（出入口）が存在しているものとする。利用者は、壁１と壁２の間において、壁１側に第１マーカとしてマーカ１ａを設置し、さらに壁２側に第２マーカとしてマーカ１ｂを設置する。マーカ１ａとマーカ１ｂはマーカ認識部２２によってペアのマーカであると認識される。制限範囲設定部２３１は、マーカ１ａとマーカ１ｂを直線で結んだ線を進入禁止ライン１として設定する。進入禁止ライン１を設定することにより、利用者はロボット２が進入禁止ライン１を越えて移動することを制限することができる。

【0105】

＜単独のマーカによる通路への進入禁止ラインの設置＞
利用者は、壁１と壁３の間の通路において、通路の近くの壁１側にマーカ２を設置する。マーカ２はマーカ認識部２２によって単独のマーカであると認識される。制限範囲設定部２３１は、マーカ２の近くに通路があるか否かを確認する。通路がある場合、制限範囲設定部２３１は、マーカ２の設置位置と通路の位置から、通路上の直線を進入禁止ライン２として設定する。制限範囲設定部２３１がマーカ２の付近に通路があるか否かを確認することができるので、利用者は、単独のマーカにおいても通路へのロボットの進入を禁止することが可能となる。

【0106】

＜単独のマーカによる第１進入禁止エリアの設置＞
利用者は、壁３にマーカ３を貼り付ける。マーカ３はマーカ認識部２２によって単独のマーカであると認識される。制限範囲設定部２３１は、マーカ３の近くに通路があるか否かを確認する。通路がない場合、制限範囲設定部２３１は、マーカ２の設置位置から所定の範囲（例えば、マーカ３の設置位置を中心とした半円形）を第１進入禁止エリアとして設定する。

【0107】

＜単独のマーカによる第２進入禁止エリアの設置＞
利用者は、部屋の中央部にマーカ４を設置する。マーカ４は、例えば、立体的なマーカである。マーカ４はマーカ認識部２２によって単独のマーカであると認識される。制限範囲設定部２３１は、マーカ４の周囲の所定の範囲（例えば、マーカ４の設置位置を中心とした円形）を第２進入禁止エリアとして設定する。

【0108】

次に、図６から図７を用いて、自律行動型ロボット１が提供する利用者端末３における制限範囲の設定を説明する。図６から図７は、実施形態における利用者端末３の表示の一例を示す図である。図６から図７は、可視化データ提供部１６１から可視化データとして提供されたＷｅｂページを、利用者端末３として例示するスマートフォンのタッチパネルにおいて表示した表示例である。

【0109】

図６において、利用者端末３には、ロボット２において撮影されたリビングルームの撮影画像に基づき、可視化データ生成部１４において生成された２Ｄの表示データが表示される。可視化データ生成部１４は、点群データがハフ変換されて抽出された線分（直線または曲線）をラスタライズし、壁や家具等の空間要素の境界線を２Ｄで描画している。可視化データ生成部１４は、マーカ認識部２２で認識されたペアのマーカ画像または状態情報取得部２４で取得された状態情報に基づき、進入禁止ライン３６を表示している。進入禁止ライン３６は、始点と終点を指定することにより設定することができる。始点と終点の設定は、ペアのマーカの設置、または利用者端末３からの設定によって行うことができる。進入禁止ライン３６の中央部には進入禁止のマークが表示されている。進入禁止のマークを押下すると削除ボタン３７が表示される。削除ボタン３７を押下すると一度設定した進入禁止ライン３６を消去することができる。なお、図示する家型のアイコンｈは、ロボット２が充電のために帰巣するホームポジションを表している。

【0110】

図６は、進入禁止ライン３６より右側は空間データが未作成なエリアである。利用者は進入禁止ライン３６を利用者端末３に表示された可視化データから設定し、確認し、または削除することができる。すなわち、自律行動型ロボット１は、撮影部２１で撮影された画像からロボット２が移動可能な範囲を定めた可視化されたマップを生成できるとともに、ロボット２が進入できない進入禁止エリアを利用者端末３から設定することを可能にする。なお、利用者端末３は、ロボット２の移動を制限する条件を設定できるようにしてもよい。例えば、利用者端末３は、利用者に対して、ロボット２の進入を禁止する時間帯、人の有無に対する移動の制限の内容、移動を制限するときの照明の状態等を設定できるようにしてもよい。例えば、利用者端末３は、人が食事の準備をする朝夕の時間帯においてキッチンへの進入を禁止したり、照明が消えている場合において書斎への侵入を禁止したりするように条件を設定できるようにしてもよい。

【0111】

図７において、利用者端末３には、図６と同様にロボット２において撮影されたリビングルームの撮影画像に基づき、可視化データ生成部１４において生成された２Ｄの可視化データが表示される。進入禁止ライン３６の右側には洋室の可視化データが表示され、進入禁止ライン３６によってロボット２が洋室３８に進入が禁止されていることが確認できる。例えば、洋室３８の撮影画像に基づき洋室３８の空間データが生成された後に洋室３８を進入禁止に設定したい場合がある。利用者はペアの進入禁止のためのマーカを洋室３８の入り口に設置することにより、または利用者端末３から進入禁止ライン３６を設定することにより、洋室３８を進入禁止のエリアに設定することが可能となる。また、洋室３８は既に空間データが生成されているため、利用者は、進入禁止ライン３６を削除することにより、ロボット２を洋室３８に移動できることが確認できる。なお、利用者は、利用者端末３のタッチパネルをピンチインまたはピンチアウトすることにより、表示の拡大縮小を行うことができる。

【0112】

実施形態１の変形例として、例えば、図１の可視化データ提供部１６１は、可視化データとともに、その元となった画像を利用者端末３に提供してもよい。例えば、利用者が利用者端末３に表示されている間取りの一部を指定することで、そこを撮影した画像が表示されるようにしてもよい。すなわち、空間要素毎にその特定に用いた画像が蓄積され、利用者が空間要素を指定した際は、その空間要素に対応付けられた画像が提供される。これにより、利用者は可視化データから認識状態を判断できないときに、画像を用いて認識状
態を判断できる。

【0113】

更に別の変形例として、図６を用いて説明した進入禁止の制限範囲の指定方法として、利用者端末３のタッチパネルの画面に対して、指先で円を描く要領で指先を滑らせる操作でよく、制限範囲を囲むように指先を動かすことで指定する。この操作に連動して、画面には指先の軌跡が描かれ、可視化データに重ねるように指先の軌跡が可視化される。

【0114】

また、マーカが平面的である場合、上述のようにマーカの撮影角度によっては、マーカの認識ができない場合がある。例えば、道路標識の場合は、車の走行に対して運転者が視認しやすいように走行方向と略直角になるように設置される。しかし、ロボット２が移動する経路においては壁にマーカが貼り付けられる場合があり、カメラの撮影方向によってはマーカが見落とされる可能性がある。例えば、図５で示したマーカ２は壁１に貼り付けられるため、ロボット２が壁３沿いにマーカ３に向かって移動した場合、マーカを確認する前に通路に進入してしまう可能性がある。そこで、本実施形態の変形例として、ロボット２が進入可能な空間（例えば、壁に設けられた通路）を発見した場合、空間の入り口近くにマーカが設置されていないか否かの積極的な確認動作を行うようにする。例えば、空間の入り口が壁の間に設けられた通路である場合、マーカは通路の入り口近くの壁に貼り付けられている可能性がある。ロボット２は通路の入り口の壁に設置されている可能性があるマーカを視認しやすい位置、例えば通路正面の位置に移動して、壁を撮影する積極的な確認動作を行うことによりマーカの見落としを防止することが可能となる。なお、マーカの積極的な確認動作は、環境条件が異なるエリアの発見時またはそのエリアへの侵入時に行うようにしてもよい。環境条件とは、例えば、ロボット２が移動する空間の照度、温度、湿度もしくは騒音レベル等であり、環境条件の変化には壁の色等の空間要素の変化等を含んでいてもよい。

【0115】

また、制限範囲設定部２３１は、マーカが設置されている設置位置の空間データの代わりに、マーカが設置されている周辺の特徴点に基づき制限範囲を設定するようにしてもよい。周辺の特徴点とは、例えば、床に配置されたケーブル、段差等の空間要素である。マーカが設置されている特徴点を学習することにより、マーカが設置されていない他の同様な特徴点を有する場所においても移動を制限する学習効果を得ることが可能となる。

【0116】

また、ロボットが複数台存在する場合、移動の制限の内容をロボット毎に異なる内容で設定するようにしてもよい。例えば、同じマーカを認識した場合、ロボットによって制限される進入禁止エリアを異なるように設定してもよい。ロボット毎に制限内容を変えて設定することにより、ロボットの用途（例えば、掃除用ロボット、目覚まし用ロボット等）に応じた制限を設定することが可能となる。

【0117】

また、ロボットは、マーカによって一度設定された制限の内容を学習するようにしてもよい。例えば、ロボットは一時マーカによって進入禁止エリアが設定されたことを学習することにより、その後、マーカが撤去された後においても進入頻度を低くするようにしてもよい。これを実現するため、マーカ認識部２２は、一時マーカや恒久マーカの位置を、それぞれマーカ種類を特定する情報に対応付けて記憶する。このように、一時マーカの位置も記憶しておくことで、ロボットは、一時マーカが設置されていたエリアへの進入をためらう振る舞いをしたり、エリアへの進入頻度を低くしたりする等の動作を実行することが可能となる。

【0118】

［実施形態２］
実施形態１では進入禁止の場所を自律行動型ロボット１に認識させるためにマーカを用いる例を示したが、任意の場所を自律行動型ロボット１に認識させるためにマーカを用いてもよい。つまり、住居や施設における任意の場所にマーカを設置し、自律行動型ロボッ
ト１に当該マーカが設置された場所の位置を認識させるようにしてもよい。

【0119】

住宅には、玄関、子供部屋や寝室のように任意のエリアが含まれる。施設には、受付カウンター、休憩所や非常口などの任意のエリアが含まれる。これらのエリアに対応付けられたエリア種別（例えば、後述する玄関タイプや受付カウンタータイプ）を識別可能なマーカを用いる。マーカは、形状、模様、色彩若しくはそのマーカに付された文字若しくは図形又はこれらの組み合わせなど、画像認識によりエリア種別が識別可能な特徴を有していれば、どのようなものであってもよい。例えば、汎用的な変換方式（バーコード方式あるいは２次元バーコード方式など）でエリア種別のコードを図形化した図形コードをマーカとして用いてもよい。この場合には、マーカ認識部２２は、当該変換方式によって図形コードからエリア種別のコードを読み取ることができる。あるいは、独自にデザイン化した図形をマーカとして用いてもよい。この場合には、マーカ認識部２２は、撮影画像に含まれる図形の形状が所定の形状である場合にその図形の種類を特定し、特定した図形の種類に対応するエリア種別を特定するようにしてもよい。データ提供装置１０又はロボット２において、図形の種類とエリア種別を対応付けるデータを記憶しておくものとする。つまり、実施形態２におけるマーカは、いずれかのエリア種別を特定し得る。

【0120】

このようなマーカを、エリア種別によって識別されるエリアに設置しておけば、自律行動型ロボット１は、マーカの設置場所がエリア種別で識別されるエリアに該当すると認識できる。例えば、玄関に玄関タイプのマーカを設置しておけば、自律行動型ロボット１は玄関タイプのマーカの設置場所が玄関であると認識できる。

【0121】

実施形態２では、自律行動型ロボット１において、所定イベントとエリア種別とを対応付けるマーカ情報を記憶している。自律行動型ロボット１が所定イベントを検出すると、ロボット２は、所定イベントに対応するエリア種別のマーカが設置されている場所（マーカ設置場所という。）へ移動する。ロボット２が、マーカ設置場所へ移動する契機となる所定イベントを第１イベントという。第１イベントは、ロボット２で検出される場合とデータ提供装置１０で検出される場合とがある。

【0122】

さらに、ロボット２がマーカ設置場所へ移動した後に、自律行動型ロボット１が別の所定イベントを検出すると、ロボット２は所定のアクションを実行する。ロボット２が、所定のアクションを実行する契機となるイベントを第２イベントという。第２イベントは、ロボット２で検出される場合とデータ提供装置１０で検出される場合とがある。実行されるアクションは、第１イベント、エリア種別及び第２イベントのうちの少なくとも１つに対応する。実施形態２では、自律行動型ロボット１において、第１イベント、エリア種別及び第２イベントのうち少なくとも１つとアクションとを対応付けるイベント情報を記憶している。ロボット２において、当該イベント情報を記憶してもよい。

【0123】

図８は、実施形態２におけるロボット２のモジュール構成の一例を示すブロック図である。図８は、後述する実施例１～６に関する機能部についても示している。ロボット２は、マーカ認識部２２、位置測定部２５、移動制御部２３、通信制御部２６、第１イベント検出部２１０、第２イベント検出部２２０及びアクション実行部２３０の各機能部を有する。実施形態２におけるロボット２の上記各機能部は、ロボット２を制御するプログラムによって実現される機能モジュールであるものとして説明する。

【0124】

マーカ認識部２２は、撮影画像に含まれるマーカを認識し、マーカが示すエリア種別を特定する。位置測定部２５は、ロボット２の現在位置及び方向を測定する。位置測定部２５は、撮影画像に基づいて現在位置及び方向を測定してもよいし、所定の位置に設置された無線通信デバイスから受信する電波に基づいて現在位置を測定してもよい。現在位置を測定する方法は、従来技術であってもよい。位置測定部２５は、自己位置の推定と環境地
図の作成を同時に行うＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いてもよい。移動制御部２３は、ロボット２の移動を制御する。移動制御部２３は、目的地までの経路を設定し、移動機構２９を駆動して経路を辿って目的地へ自らを移動させる。通信制御部２６は、データ提供装置１０との通信を行う。

【0125】

第１イベント検出部２１０は、第１イベントを検出する。第１イベント検出部２１０は、音声認識や画像認識などの認識処理の結果に基づいて第１イベントを検出してもよい。つまり、第１イベント検出部２１０は、ロボット２が備えるマイクで入力した音が所定音声に該当すると推測される特性が含まれると判断した場合に、第１イベントを検出してもよい。第１イベント検出部２１０は、例えば予めサンプルとなる所定音声を録音して、その音声を分析して周波数分布、抑揚や音量が高まる周期などの特徴データを抽出しておく。そして、第１イベント検出部２１０は、マイクで入力した音に対しても同様の分析を行い、周波数分布、抑揚や音量が高まる周期などの特徴データがサンプルの場合と一致又は近似する場合に、マイクで入力した音が所定音声に該当すると推測してもよい。

【0126】

また、第１イベント検出部２１０は、撮影部２１で撮影した画像に任意の人、所定の人あるいは所定の物が写っていると推測される場合に、第１イベントを検出してもよい。第１イベント検出部２１０は、例えば予めサンプルとなる任意の人、所定の人あるいは所定の物を撮影部２１で撮影し、その撮影画像を分析して被写体の大きさ、形状及びパーツの配置などの特徴データを抽出しておく。そして、第１イベント検出部２１０は、撮影部２１で撮影した画像を分析して、サンプルに大きさ、形状及びパーツの配置などの特徴データが共通又は近似する被写体が含まれると判定した場合に、撮影した画像に任意の人、所定の人あるいは所定の物が写っていると推測してもよい。

【0127】

第１イベント検出部２１０は、温度センサ、接触センサあるいは加速度センサなどの各種センサの計測結果に基づいて第１イベントを検出してもよい。第１イベント検出部２１０は、センサの計測値が所定の下限値を下回った場合、センサの計測値が所定の範囲に収まった場合、センサの計測値が所定の範囲から外れた場合、あるいはセンサの計測値が所定の上限値を上回った場合に、第１イベントを検出してもよい。第１イベント検出部２１０は、例えば温度センサによって人の体温に相当する温度を計測したときに第１イベントを検出してもよい。第１イベント検出部２１０は、例えば接触センサによって人のタッチに相当する接触を計測したときに第１イベントを検出してもよい。第１イベント検出部２１０は、交通事故の衝撃や地震などの大きな揺れに相当する加速度の変化を加速度センサによって計測したときに第１イベントを検出してもよい。

【0128】

第１イベント検出部２１０は、通信処理における通信状態に基づいて第１イベントを検出してもよい。第１イベント検出部２１０は、例えば無線通信における電波強度、所定の通信相手との通信時間あるいは所定時間当たりの伝送量などの通信状態を示す特性値が下限値を下回った場合、通信状態を示す特性値が所定の範囲に収まった場合、通信状態を示す特性値が所定の範囲から外れた場合、あるいは通信状態を示す特性値が所定の上限値を上回った場合に、第１イベントを検出してもよい。

【0129】

第１イベント検出部２１０は、データ提供装置１０、利用者端末３あるいは他の外部装置から受信したデータに基づいて、第１イベントを検出してもよい。第１イベント検出部２１０は、例えばデータ提供装置１０や他の外部装置から所定の通知を受信した場合に、第１イベントを検出してもよい。第１イベント検出部２１０は、利用者端末３から利用者による所定の要求を受け付けた場合に、第１イベントを検出してもよい。

【0130】

音声認識部２１１、電波状態検出部２１３、見回りイベント検出部２１５及び起床イベント検出部２１７は、第１イベント検出部２１０の例である。音声認識部２１１について
は、実施例２（子守の応用例）で説明する。電波状態検出部２１３については、実施例４（通話サポートの応用例）で説明する。見回りイベント検出部２１５については、実施例５（警備の応用例）で説明する。起床イベント検出部２１７については、実施例６（目覚ましの応用例）で説明する。

【0131】

第２イベント検出部２２０は、第２イベントを検出する。第２イベント検出部２２０は、第１イベント検出部２１０の場合と同様に、音声認識や画像認識などの認識処理の結果に基づいて第２イベントを検出してもよい。第２イベント検出部２２０は、第１イベント検出部２１０の場合と同様に、温度センサ、接触センサあるいは加速度センサなどの各種センサの計測結果に基づいて第２イベントを検出してもよい。第２イベント検出部２２０は、第１イベント検出部２１０の場合と同様に、通信処理における通信状態に基づいて第２イベントを検出してもよい。第２イベント検出部２２０は、第１イベント検出部２１０の場合と同様に、データ提供装置１０、利用者端末３あるいは他の外部装置から受信したデータに基づいて、第２イベントを検出してもよい。

【0132】

利用者認識部２２１、通話要求受付部２２３、人認識部２２５及び体位認識部２２７は、第２イベント検出部２２０の例である。利用者認識部２２１については、実施例１（出迎えの応用例）で説明する。通話要求受付部２２３については、実施例４（通話サポートの応用例）で説明する。人認識部２２５については、実施例５（警備の応用例）で説明する。体位認識部２２７については、実施例６（目覚ましの応用例）で説明する。

【0133】

アクション実行部２３０は、第２イベントを契機とするアクションを実行する。アクション実行部２３０は、ロボット２自身の動きを伴うアクションを実行してもよい。アクション実行部２３０は、ロボット２における画像、音声あるいは通信などの入力処理を伴うアクションを実行してもよい。アクション実行部２３０は、ロボット２における画像、音声あるいは通信などの出力処理を伴うアクションを実行してもよい。

【0134】

姿勢制御部２３１、音声出力部２３２、リモートコントロール部２３３、メッセージ出力部２３５及び電話通信部２３７は、アクション実行部２３０の例である。また、移動制御部２３が、アクション実行部２３０として機能することもある。移動制御部２３がアクション実行部２３０として機能する場合、移動制御部２３は、移動機構２９を制御して、ロボット２の移動に関するアクションを行う。姿勢制御部２３１は、ロボット２の姿勢に関するアクションを行う。ロボット２が人や仮想キャラクタを模した形体を有し、首や腕をアクチュエータで動かすことができるものであれば、姿勢制御部２３１は、アクチュエータを駆動してロボット２に種々のポーズをとらせたり、種々のジェスチャーを行わせたりしてもよい。ロボット２が四足の動物を模した形体を有し、関節部分に設けられたアクチュエータで各足を動かすことができるものであれば、姿勢制御部２３１は、アクチュエータを駆動してロボット２に種々のポーズをとらせたり、種々のジェスチャーを行わせたりしてもよい。

【0135】

リモートコントロール部２３３については、実施例２（子守の応用例）及び実施例６（目覚ましの応用例）で説明する。メッセージ出力部２３５については、実施例３（接客の応用例）で説明する。電話通信部２３７については、実施例４（通話サポートの応用例）で説明する。

【0136】

図９は、実施形態２におけるデータ提供装置１０のモジュール構成の一例を示すブロック図である。図９は、後述する実施例１～６に関する機能部についても示している。ロボット２は、第１通信制御部１１、第２通信制御部１６、マーカ登録部１１０、第１イベント検出部１２０、第２イベント検出部１３０及びアクション選択部１４０の各機能部を有する。実施形態２におけるデータ提供装置１０の上記各機能部は、データ提供装置１０を
制御するプログラムによって実現される機能モジュールであるものとして説明する。

【0137】

第１通信制御部１１は、ロボット２との無線通信を制御する。第２通信制御部１６は、利用者端末３や他の外部機器などとの無線通信あるいは有線通信を制御する。マーカ登録部１１０は、後述するマーカ情報記憶部１５３にマーカの位置及び向きを含むマーカ情報を登録する。

【0138】

第１イベント検出部１２０は、第１イベントを検出する。第１イベント検出部１２０は、ロボット２の第１イベント検出部２１０の場合と同様に、音声認識や画像認識などの認識処理の結果に基づいて第１イベントを検出してもよい。第１イベント検出部１２０は、ロボット２の第１イベント検出部２１０の場合と同様に、ロボット２の温度センサ、接触センサあるいは加速度センサなどの各種センサの計測結果に基づいて第１イベントを検出してもよい。第１イベント検出部１２０は、ロボット２の第１イベント検出部２１０の場合と同様に、通信処理における通信状態に基づいて第１イベントを検出してもよい。第１イベント検出部１２０は、ロボット２の第１イベント検出部２１０の場合と同様に、利用者端末３あるいは他の外部装置から受信したデータに基づいて、第１イベントを検出してもよい。第１イベント検出部１２０は、ロボット２から受信したデータに基づいて、第１イベントを検出してもよい。

【0139】

帰宅イベント検出部１２１及び来客イベント検出部１２３は、第１イベント検出部１２０の例である。帰宅イベント検出部１２１については、実施例１（出迎えの応用例）で説明する。来客イベント検出部１２３については、実施例３（接客の応用例）で説明する。

【0140】

第２イベント検出部１３０は、第２イベントを検出する。第２イベント検出部１３０は、ロボット２の第１イベント検出部２１０の場合と同様に、音声認識や画像認識などの認識処理の結果に基づいて第２イベントを検出してもよい。第２イベント検出部１３０は、ロボット２の第１イベント検出部２１０の場合と同様に、ロボット２の温度センサ、接触センサあるいは加速度センサなどの各種センサの計測結果に基づいて第２イベントを検出してもよい。第２イベント検出部１３０は、ロボット２の第１イベント検出部２１０の場合と同様に、通信処理における通信状態に基づいて第２イベントを検出してもよい。第２イベント検出部１３０は、ロボット２の第１イベント検出部２１０の場合と同様に、利用者端末３あるいは他の外部装置から受信したデータに基づいて、第２イベントを検出してもよい。第２イベント検出部１３０は、ロボット２から受信したデータに基づいて、第２イベントを検出してもよい。

【0141】

空き室イベント検出部１３１は、第２イベント検出部１３０の例である。空き室イベント検出部１３１については、実施例３（接客の応用例）で説明する。アクション選択部１４０は、第１イベント、エリア種別及び第２イベントのうちの少なくとも１つに対応するアクションを選択する。以下では、主に第１イベントと第２イベントの組み合わせに対応するアクションを選択する例を示す。

【0142】

ロボット２は、さらにイベント情報記憶部１５１及びマーカ情報記憶部１５３を有する。イベント情報記憶部１５１は、第１イベントに対応するエリア種別、第２イベント及びアクションを含むイベント情報を記憶する。イベント情報記憶部１５１については、図１０に関連して後述する。マーカ情報記憶部１５３は、エリア種別とマーカの位置及び向きを対応付けるマーカ情報を記憶する。マーカ情報記憶部１５３については、図１１に関連して後述する。

【0143】

図１０は、実施形態２におけるイベント情報記憶部１５１のデータ構成の一例を示すブロック図である。図１０の各レコードは、第１イベントが検出された場合に、第１イベン
トに対応するエリア種別のマーカが設置されている場所へロボット２が移動することを定めている。さらに図１０の各レコードは、第２イベントが検出された場合に、例えば第１イベントと第２イベントの組み合わせに対応するアクションをロボット２が実行することを定めている。各レコードの詳細については、実施例１～６で説明する。イベント情報は、デフォルトとして設定されていてもよいし、利用者端末３のアプリケーションで利用者が設定してもよい。

【0144】

図１１は、実施形態２におけるマーカ情報記憶部１５３のデータ構成の一例を示すブロック図である。図１１の各レコードには、エリア種別に対応付けて当該エリア種別のマーカの位置及び向きが設定される。

【0145】

予め利用者は、住宅や施設の任意の位置にその位置の付近のエリアを識別するエリア種別のマーカを貼り付けておく。そして、マーカ登録フェーズにおいて、ロボット１が未知のマーカを検出すると、データ提供装置１０がマーカ情報を登録する。

【0146】

図１２（Ａ）は、実施形態２のマーカ登録フェーズにおける処理手順を示すフローチャートである。例えばロボット２が自律的に移動しているときに未知のマーカを検出することがある（Ｓ２１）。具体的には、ロボット２のマーカ認識部２２は、撮影部２１で撮影した画像に含まれるマーカを認識し、当該マーカが示すエリア種別を特定する。マーカ認識部２２は、過去に検出したことがあるマーカを記憶しており、記憶されているマーカと検出されたマーカとを比較することで、未検出のマーカを判別できる。

【0147】

マーカ認識部２２は、未検出のマーカを認識したと判断した場合に、画像認識によってロボット２とマーカの相対的な位置関係と方向を特定する。マーカ認識部２２は、撮影画像に含まれるマーカの大きさによって、ロボット２とマーカの距離を求める。また、マーカ認識部２２は、撮影画像に含まれるマーカのゆがみ方によって、ロボット２に対するマーカの向きを判断する。そして、マーカ認識部２２は、位置測定部２５で測定したロボット２の現在位置及び方向を基準として、マーカの位置及び向きを求める。通信制御部２６は、エリア種別と当該エリア種別のマーカの位置及び向きを含むマーカ情報をデータ提供装置１０へ送信する。

【0148】

データ提供装置１０の第１通信制御部１１がマーカ情報を受信すると、マーカ登録部１１０は、エリア種別に対応付けて当該エリア種別のマーカの位置及び向きをマーカ情報記憶部１５３に登録する（ステップＳ２２）。

【0149】

マーカ登録フェーズを終えると、アクションフェーズにおいて、第１イベントを契機としてロボット２がマーカ設置場所へ移動して、第２イベントを契機としてロボット２が所定のアクションを行う。

【0150】

図１２（Ｂ）は、実施形態２のアクションフェーズにおける処理手順を示すフローチャートである。ロボット２の第１イベント検出部２１０又はデータ提供装置１０の第１イベント検出部１２０が第１イベントを検出すると（Ｓ２３）、データ提供装置１０のアクション選択部１４０は、第１イベントに対応するマーク種別を特定し、マーク種別のマークの位置への移動をロボット２へ指示する。ロボット２の移動制御部２３は、移動の指示に従ってマーク位置への経路を設定して移動機構２９を制御する。移動機構２９の動作によって、ロボット２はマーク付近へ移動する（Ｓ２４）。

【0151】

ロボット２の第２イベント検出部２２０又はデータ提供装置１０の第２イベント検出部１３０が第２イベントを検出すると、データ提供装置１０のアクション選択部１４０は、例えば第１イベントと第２イベントの組み合わせに対応するアクションを選択し、選択し
たアクションをロボット２に指示する。そして、ロボット２は、指示されたアクションを実行する（Ｓ２６）。以下、実施形態２に関する実施例１～６について説明する。

【0152】

［実施例１］
自律行動型ロボット１による出迎えの応用例について説明する。出迎えの応用例では、ユーザが帰宅したときに、ロボット２が玄関へ向かい、ユーザを出迎えるようにする。エリアとして玄関を識別するエリア種別のマーカを玄関に設置しておけば、自律行動型ロボット１はそのマーカの設置場所が玄関であると認識できる。玄関を識別するエリア種別を玄関タイプという。

【0153】

利用者が帰宅するタイミングは、利用者が保持する利用者端末３のＧＰＳ装置（Global Positioning System）が計測した位置が自宅に近づいたことによって判断できる。例えば、利用者端末３の位置と玄関（又はデータ提供装置１０）の距離が基準長よりも短くなった場合に、利用者が帰宅するタイミングであると判断される。利用者が帰宅するタイミングを判断するためのイベントを、利用者帰宅イベントという。つまり、利用者帰宅イベントが、出迎えの応用例における第１イベントに相当する。

【0154】

玄関に着いたロボット２は、撮影部２１で撮影した画像によって利用者を認識すると、利用者の帰宅に反応するアクションを行う。ロボット２が利用者を認識するイベントを、利用者認識イベントという。また、利用者の帰宅に反応するアクションを、出迎えアクションという。利用者認識イベントは、出迎えアクションを行う契機となる。利用者認識イベントは、出迎えの応用例における第２イベントに相当する。

【0155】

出迎えアクションでは、例えば音声出力部２３２が、ロボット２が備えるスピーカから音声を出力する。出力する音声は、「おかえり」のような自然言語であってもよいし、歓声のような非言語であってもよい。移動制御部２３は、出迎えアクションとして移動機構２９を制御して、ロボット２を小刻みに前後させたり、回転させたりするアクションを行ってもよい。ロボット２が人や仮想キャラクタを模した形体を有し、腕をアクチュエータで動かすことができるものであれば、姿勢制御部２３１が、アクチュエータを駆動して腕を上げ下げしてもよい。ロボット２が首をアクチュエータで動かすことができるものであれば、姿勢制御部２３１が、アクチュエータを駆動して首を振ってもよい。ロボット２が四足の動物を模した形体を有し、関節部分に設けられたアクチュエータで各足を動かすことができるものであれば、姿勢制御部２３１は、出迎えアクションとして後足だけで立ち上がるポーズをとらせてもよい。これにより、ロボット２が利用者の帰宅を喜んでいることを演出できる。利用者は、自分を待っていてくれるロボット２に親近感を持ち、愛着を深めるようになる。

【0156】

図９に示したデータ提供装置１０の帰宅イベント検出部１２１は、上述のとおり利用者端末３の位置情報に基づいて利用者が自宅に近づいたと判断したときに利用者帰宅イベントを検出する。帰宅イベント検出部１２１は、利用者端末３が玄関に設置されたビーコン発信器と通信を行ったことを示す通知を利用者端末３から受信したときに利用者帰宅イベントを検出してもよい。帰宅イベント検出部１２１は、カメラ付きインターフォンで撮影された画像や入力した音声に基づいて利用者を認識したときに利用者帰宅イベントを検出してもよい。また、帰宅イベント検出部１２１は、利用者端末３から帰宅予告のメールを受信したときに利用者帰宅イベントを検出してもよい。

【0157】

図８に示したロボット２の利用者認識部２２１は、例えば撮影画像に含まれる顔部分の認識や入力した音声の認識によって、利用者を検出する。利用者認識部２２１は、例えば予めサンプルとして利用者の顔を撮影部２１で撮影し、その撮影画像を分析して大きさ、形状及びパーツ（目、鼻や口などの部位）の配置などの特徴データを抽出しておく。そし
て、人認識部２２５は、撮影部２１で撮影した画像を分析して、大きさ、形状及びパーツの配置などの特徴データがサンプルと共通又は近似する被写体が含まれると判定した場合に、撮影した画像に利用者の顔が写っていると推測してもよい。また、利用者認識部２２１は、例えば予めサンプルとなる利用者の声を録音して、その利用者の声を分析して周波数分布や抑揚などの特徴データを抽出しておく。そして、利用者認識部２２１は、マイクで入力した音に対しても同様の分析を行い、周波数分布や抑揚などの特徴データが利用者の声のサンプルの場合と一致又は近似する場合に、マイクで入力した音が利用者の声に該当すると推測してもよい。

【0158】

図１０に示したイベント情報記憶部１５１のデータ構成における第１レコードは、出迎えの応用例に関して、第１イベントとして利用者帰宅イベントが検出された場合に、エリア種別が玄関タイプであるマーカが設置されている場所（つまり、玄関）へロボット２が移動することを定めている。第１レコードは、さらに第２イベントとして利用者認識イベントが検出された場合に、ロボット２が出迎えアクションを行うことを定めている。エリア種別が玄関タイプであるマーカを玄関マーカという。

【0159】

図１１に示したマーカ情報記憶部１５３のデータ構成における第１レコードには、出迎えの応用例に関して、エリア種別の玄関タイプに対応付けて玄関マーカの位置及び向きが設定される。

【0160】

図１３（Ａ）は、実施例１のマーカ登録フェーズにおける処理手順を示すフローチャートである。例えばロボット２が自律的に移動しているときにマーカ認識部２２が玄関マーカを検出すると（ステップＳ３１）、通信制御部２６は、エリア種別の玄関タイプと玄関マーカの位置及び向きを含む玄関マーカ情報をデータ提供装置１０へ送信する。

【0161】

データ提供装置１０の第１通信制御部１１が玄関マーカ情報を受信すると、マーカ登録部１１０は、エリア種別の玄関タイプに対応付けて玄関マーカの位置及び向きをマーカ情報記憶部１５３に登録する（ステップＳ３２）。

【0162】

図１３（Ｂ）は、実施例１のアクションフェーズにおける処理手順を示すフローチャートである。データ提供装置１０の帰宅イベント検出部１２１は、利用者帰宅イベントを検出すると（ステップＳ３３）、イベント情報記憶部１５１を参照して利用者帰宅イベントに対応するエリア種別の玄関タイプを特定する。帰宅イベント検出部１２１は、さらにマーカ情報記憶部１５３を参照してエリア種別の玄関タイプに対応する玄関マーカの位置と向きを特定する。第１通信制御部１１は、玄関マーカの位置と向きを含む玄関への移動指示をロボット２へ送信する。このとき、帰宅イベント検出部１２１は、アクション選択部１４０へ利用者帰宅イベントを通知しておく。

【0163】

ロボット２の通信制御部２６が玄関マーカの位置と向きを含む玄関への移動指示を受信すると、ロボット２の移動制御部２３が移動機構２９を制御して、ロボット２は玄関へ移動する（ステップＳ３４）。ロボット２は、玄関マーカの位置の手前に少なくとも第１所定時間留まる。第１所定時間は、利用者帰宅イベントが検出されてからユーザ認識イベントが検出されるまでの想定間隔の上限値に相当する。第１所定時間を経過した時点で、利用者認識イベントが検出されていなければ、実施例１のアクションフェーズにおける処理を中断してもよい。

【0164】

利用者が扉を開けて入ってくると、ロボット２は利用者を認識する。具体的には、利用者認識部２２１が、撮影部２１で撮影した画像に含まれる利用者の顔を認識し、あるいはマイクで入力した音を音声認識して、利用者認識イベントを検出する（ステップＳ３５）。ロボット２の利用者認識部２２１が利用者認識イベントを検出すると、通信制御部２６
は利用者認識イベントをデータ提供装置１０へ送信する。

【0165】

データ提供装置１０の第１通信制御部１１が利用者認識イベントを受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して第２イベントの利用者認識イベントに対応する第１イベントの利用者帰宅イベントを特定する。アクション選択部１４０は、イベント情報記憶部１５１を参照して第１イベントの利用者帰宅イベントと第２イベントの利用者認識イベントの組み合わせに対応する出迎えアクションを選択する。第１通信制御部１１は、選択された出迎えアクションの指示をロボット２へ送信する。

【0166】

ロボット２の通信制御部２６が出迎えアクションの指示を受信すると、ロボット２のアクション実行部２３０は、出迎えアクションを実行する（ステップＳ３６）。

【0167】

［実施例２］
自律行動型ロボット１による子守の応用例について説明する。子守の応用例では、子供部屋で幼児が泣き出したときに、ロボット２が子供部屋へ向かい幼児をあやすようにする。エリアとして子供部屋を識別するエリア種別のマーカを子供部屋に設置しておけば、自律行動型ロボット１はそのマーカの設置場所が子供部屋であると認識できる。子供部屋を識別するエリア種別を子供部屋タイプという。

【0168】

子守の応用例では、幼児が泣き声をあげたときに、ロボット２が子供部屋へ移動して幼児を心配する様子を演出する。幼児の泣き声は、ロボット２が備えるマイクに入力された音の分析によって検出される。つまり、幼児泣き声の検出が、子守の応用例における第１イベントに相当する。このイベントを、幼児泣き声イベントという。

【0169】

子供部屋に大人がいなければ、ロボット２が幼児をあやすように振舞う。幼児をあやす振る舞いを、あやしアクションという。大人の不在は、撮影部２１で撮影した画像の認識によって検出される。大人の不在の検出は、子守の応用例における第２イベントに相当する。このイベントを、大人不在イベントという。

【0170】

あやしアクションでは、例えばロボット２が備えるスピーカから乳幼児の泣きやませに有効な音（例えば、あやし声、笑い声、紙袋をカサカサさせる音）が出力される。あやしアクションは、音声等の出力に加えて、ロボット２が頭を傾げたり、腕を上げ下げさせたりするような、ロボット２の構成要素を動かす振る舞いでもよいし、乳幼児の泣きやませに有効な画像などの所定の画像をディスプレイに表示するようなアクションであってもよい。あやしアクションは、近くテレビを起動させたり、オーディオ装置に音楽を出力させたりするなどの、ロボット２とは異なる機器を制御するリモートコントロールでもよい。あやしアクションによってロボット２が幼児を落ち着かせれば、親である利用者は安心する。

【0171】

図８に示したロボット２の音声認識部２１１は、マイクに入力された音が幼児の泣き声であると判断した場合に幼児泣き声イベントを検出する。音声認識部２１１は、例えば予めサンプルとなる幼児泣き声を録音して、その幼児泣き声を分析して周波数分布や音量が高まる周期などの特徴データを抽出しておく。そして、音声認識部２１１は、マイクに入力された音に対しても同様の分析を行い、周波数分布や音量が高まる周期などの特徴データが幼児泣き声のサンプルの場合と一致又は近似する場合に、マイクに入力された音が幼児泣き声に該当すると推測してもよい。

【0172】

図８に示したロボット２の人認識部２２５は、撮影部２１で撮影した画像に大人が写っていないと認識した場合に大人不在イベントを検出する。人認識部２２５は、例えば予めサンプルとして性別や体型の異なる複数の大人の映像を撮影部２１で撮影し、その撮影画
像を分析して大きさや形状などの特徴データを抽出しておく。そして、人認識部２２５は、撮影部２１で撮影した画像を分析して、サンプルと大きさや形状などの特徴データが共通又は近似する被写体が含まれると判定した場合に、撮影した画像に大人が写っていると推測してもよい。図８に示したロボット２のリモートコントロール部２３３は、リモートコントロールの無線信号を送信して、近くのテレビを起動させたり、オーディオ装置に音楽を出力させたりの、ロボット２とは異なる機器を制御するリモートコントロールを行う。

【0173】

図１０に示したイベント情報記憶部１５１のデータ構成における第２レコードは、子守の応用例に関して、第１イベントとして幼児泣き声イベントが検出された場合に、エリア種別が子供部屋タイプであるマーカが設置されている場所（つまり、子供部屋）へロボット２が移動することを定めている。第２レコードは、さらに第２イベントとして大人不在イベントが検出された場合に、ロボット２があやしアクションを行うことを定めている。エリア種別が子供部屋タイプであるマーカを子供部屋マーカという。

【0174】

図１１に示したマーカ情報記憶部１５３のデータ構成における第２レコードには、子守の応用例に関して、エリア種別の子供部屋タイプに対応付けて子供部屋マーカの位置及び向きが設定される。

【0175】

図１４（Ａ）は、実施例２のマーカ登録フェーズにおける処理手順を示すフローチャートである。例えばロボット２が自律的に移動しているときにマーカ認識部２２が子供部屋マーカを検出すると（ステップＳ４１）、通信制御部２６は、エリア種別の子供部屋タイプと子供部屋マーカの位置及び向きを含む子供部屋マーカ情報をデータ提供装置１０へ送信する。

【0176】

データ提供装置１０の第１通信制御部１１が子供部屋マーカ情報を受信すると、マーカ登録部１１０は、エリア種別の玄関タイプに対応付けて玄関マーカの位置及び向きをマーカ情報記憶部１５３に登録する（ステップＳ４２）。

【0177】

図１４（Ｂ）は、実施例２のアクションフェーズにおける処理手順を示すフローチャートである。ロボット２の音声認識部２１１が幼児泣き声イベントを検出すると（ステップＳ４３）、通信制御部２６は、データ提供装置１０へ幼児泣き声イベントを通知する。

【0178】

データ提供装置１０の第１通信制御部１１が幼児泣き声イベントの通知を受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して幼児泣き声イベントに対応付けられているエリア種別の子供部屋タイプを特定する。アクション選択部１４０は、さらにマーカ情報記憶部１５３を参照してエリア種別の子供部屋タイプに対応する子供部屋マーカの位置と向きを特定する。第１通信制御部１１は、子供部屋マーカの位置と向きを含む子供部屋への移動指示をロボット２へ送信する。

【0179】

ロボット２の通信制御部２６が子供部屋マーカの位置と向きを含む子供部屋への移動指示を受信すると、移動制御部２３は移動機構２９を制御して、ロボット２は子供部屋へ移動する（ステップＳ４４）。ロボット２は、子供部屋マーカの位置の手前に少なくとも第２所定時間留まる。第２所定時間は、ロボット２が子供部屋に入ってから大人の不在を認識するまでに要する想定時間の上限値に相当する。第２所定時間を経過した時点で、大人不在イベントが検出されていなければ、実施例２のアクションフェーズにおける処理を中断してもよい。

【0180】

人認識部２２５が大人不在イベントを検出すると（ステップＳ４５）、通信制御部２６は大人不在イベントをデータ提供装置１０へ送信する。

【0181】

データ提供装置１０の第１通信制御部１１が大人不在イベントを受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して第２イベントの大人不在イベントに対応する第１イベントの幼児泣き声イベントを特定する。アクション選択部１４０は、イベント情報記憶部１５１を参照して第１イベントの幼児泣き声イベントと第２イベントの大人不在イベントの組み合わせに対応するあやしアクションを選択する。第１通信制御部１１は、選択されたあやしアクションの指示をロボット２へ送信する。

【0182】

ロボット２の通信制御部２６があやしアクションの指示を受信すると、ロボット２のアクション実行部２３０は、あやしアクションを実行する（ステップＳ４６）。

【0183】

［実施例３］
自律行動型ロボット１による接客の応用例について説明する。接客の応用例は、例えば客室で飲食サービスを提供する店舗を想定している。店舗を利用する客が入店したときに、ロボット２が受付カウンターへ向かい、客室へ案内する。エリアとして受付カウンターを識別するエリア種別のマーカを受付カウンターに設置しておけば、自律行動型ロボット１はそのマーカの設置場所が受付カウンターであると認識できる。受付カウンターを識別するエリア種別を受付カウンタータイプという。

【0184】

接客の応用例では、来客を検知したときに、ロボット２が受付カウンターへ移動して客に応対する様子を演出する。来客は、店舗の入り口に設けられたカメラで撮影した画像に入店する客が写っていることによって検出される。つまり、来客の検出が、接客の応用例における第１イベントに相当する。このイベントを、来客イベントという。

【0185】

空き室があれば、ロボット２が客を空き室へ案内するように振舞う。客を空き室へ案内する振る舞いを、案内アクションという。空き室の情報は、客室管理システム（図示せず）から得られる。空き室の検出は、接客の応用例における第２イベントに相当する。このイベントを、空き室イベントという。

【0186】

案内アクションでは、例えばロボット２が空き室まで客を先導する。あるいは、メッセージ出力部２３５が、「○号室へお入りください。」の案内メッセージを音声出力してもよいし、ロボット２が備える表示装置に表示してもよい。ロボット２が接客すれば、客は人的サービスにはない趣向を感じる。無人化を図ることで、コストを軽減できる面もある。

【0187】

図９に示したデータ提供装置１０の来客イベント検出部１２３は、例えば店舗の入り口に設けられたカメラで撮影した画像で入店する客を認識したときに、来客イベントを検出する。図９に示したデータ提供装置１０の空き室イベント検出部１３１は、客室管理システム（図示せず）に客室の状況を問い合わせて、空いている客室があれば空き室イベントを検出する。図８に示したロボット２の移動制御部２３は、ゆっくりと客室へ移動するように移動機構２９を駆動させる。ロボット２は、ロボット２の撮影部２１で撮影した客の姿によって客との間合いを計りながら、客との距離を一定に保つように移動の速さを制御してもよい。また、図９に示したデータ提供装置１０のメッセージ出力部２３５が、「○号室へお入りください。」の案内メッセージを音声出力し、あるいはロボット２が備える表示装置に表示するように、出力デバイスにおいて案内メッセージを出力する。

【0188】

図１０に示したイベント情報記憶部１５１のデータ構成における第３レコードは、接客の応用例に関して、第１イベントとして来客イベントが検出された場合に、エリア種別が受付カウンタータイプであるマーカが設置されている場所（つまり、受付カウンター）へロボット２が移動することを定めている。第３レコードは、さらに第２イベントとして空
き室イベントが検出された場合に、ロボット２が案内アクションを行うことを定めている。エリア種別が受付カウンタータイプであるマーカを受付カウンターマーカという。

【0189】

図１１に示したマーカ情報記憶部１５３のデータ構成における第３レコードには、接客の応用例に関して、エリア種別の受付カウンタータイプに対応付けて受付カウンターマーカの位置及び向きが設定される。

【0190】

図１５（Ａ）は、実施例３のマーカ登録フェーズにおける処理手順を示すフローチャートである。例えばロボット２が自律的に移動しているときにマーカ認識部２２が受付カウンターマーカを検出すると（ステップＳ５１）、通信制御部２６は、エリア種別の受付カウンタータイプと受付カウンターマーカの位置及び向きとを含む受付カウンターマーカ情報をデータ提供装置１０へ送信する。

【0191】

データ提供装置１０の第１通信制御部１１が受付カウンターマーカ情報を受信すると、マーカ登録部１１０は、エリア種別の受付カウンタータイプに対応付けて受付カウンターマーカの位置及び向きをマーカ情報記憶部１５３に登録する（ステップＳ５２）。

【0192】

図１５（Ｂ）は、実施例３のアクションフェーズにおける処理手順を示すフローチャートである。データ提供装置１０の来客イベント検出部１２３は、来客イベントを検出すると（ステップＳ５３）、イベント情報記憶部１５１を参照して来客イベントに対応付けられているエリア種別の受付カウンタータイプを特定する。来客イベント検出部１２３は、さらにマーカ情報記憶部１５３を参照してエリア種別の受付カウンタータイプに対応する受付カウンターマーカの位置と向きを特定する。第１通信制御部１１は、受付カウンターマーカの位置と向きを含む受付カウンターへの移動指示をロボット２へ送信する。このとき、来客イベント検出部１２３は、アクション選択部１４０へ来客イベントを通知しておく。

【0193】

ロボット２の通信制御部２６が受付カウンターマーカの位置と向きを含む受付カウンターへの移動指示を受信すると、移動制御部２３は移動機構２９を制御して、ロボット２は受付カウンターへ移動する（ステップＳ５４）。ロボット２は、受付カウンターマーカの位置の手前に少なくとも第３所定時間留まる。第３所定時間は、ロボット２に代わって店員が客に応対するまでの切替り時間の上限値に相当する。第３所定時間を経過した時点で、空き室イベントが検出されていなければ、実施例３のアクションフェーズにおける処理を中断してもよい。

【0194】

データ提供装置１０の空き室イベント検出部１３１が空き室イベントを検出すると（ステップＳ５５）、アクション選択部１４０は、イベント情報記憶部１５１を参照して第２イベントの空き室イベントに対応する第１イベントの来客イベントを特定する。アクション選択部１４０は、イベント情報記憶部１５１を参照して第１イベントの来客イベントと第２イベントの空き室イベントの組み合わせに対応する接客アクションを選択する。第１通信制御部１１は、選択された接客アクションの指示をロボット２へ送信する。

【0195】

ロボット２の通信制御部２６が接客アクションの指示を受信すると、ロボット２のアクション実行部２３０は、接客アクションを実行する（ステップＳ５６）。

【0196】

［実施例４］
自律行動型ロボット１による通話サポートの応用例について説明する。この例では、ロボット２が電話機能を有しているものとする。また、ロボット２が置かれている住居や施設の中で、電話機能で使用する無線通信の電波が届きやすいところと、届きにくいところがあると想定する。ロボット２は、電波の状態が悪い場所から電波の状態が良い場所（以
下、電波良好の場所という。）へ移動して、通話要求に応じて通話を開始させる。エリアとして電波良好の場所を識別するエリア種別のマーカを電波良好の場所に設置しておけば、自律行動型ロボット１はそのマーカの設置場所が電波良好の場所であると認識できる。電波良好の場所を識別するエリア種別を電波良好タイプという。

【0197】

通話サポートの応用例では、電波の状態が悪化したときにロボット２が電波良好の場所へ移動して無線通信に支障がないようにする。つまり、電波悪化の検出が、通話サポートの応用例における第１イベントに相当する。このイベントを、電波悪化イベントという。

【0198】

ロボット２は利用者から通話要求を受け付ければ、通話を開始する。通話を開始する処理動作を通話開始アクションという。通話要求の受付は、「電話をかけてください。」のような音声を認識したり、撮影画像から電話をかけるジェスチャーやポーズを認識したりするなどの認識処理によって検知される。通話要求の受付は、通話サポートの応用例における第２イベントに相当する。このイベントを、通話要求イベントという。

【0199】

図８に示したロボット２の電波状態検出部２１３は、電話機能で使用する無線通信の電波の状態を監視し、電波の強度が許容基準以下になった場合に、電波悪化イベントを検出する。図８に示したロボット２の通話要求受付部２２３は、「電話をかけてください。」の発話を音声認識したり、撮影画像によって電話をかけるジェスチャーやポーズを認識したりすることで、利用者から通話の要求を受け付ける。通話要求受付部２２３は、音声認識によって電話番号や通話の相手を特定してもよい。図８に示したロボット２の電話通信部２３７は、電話の通信を制御し、通話処理を行う。

【0200】

図１０に示したイベント情報記憶部１５１のデータ構成における第４レコードは、通話サポートの応用例に関して、第１イベントとして電波悪化イベントが検出された場合に、エリア種別が電波良好タイプであるマーカが設置されている場所（つまり、電波良好の場所）へロボット２が移動することを定めている。第４レコードは、さらに第２イベントとして通話要求イベントが検出された場合に、ロボット２が通話を開始することを定めている。エリア種別が電波良好タイプであるマーカを電波良好マーカという。

【0201】

図１１に示したマーカ情報記憶部１５３のデータ構成における第４レコードには、通話サポートの応用例に関して、エリア種別の電波良好タイプに対応付けて電波良好マーカの位置及び向きが設定される。

【0202】

図１６（Ａ）は、実施例４のマーカ登録フェーズにおける処理手順を示すフローチャートである。例えばロボット２が自律的に移動しているときにマーカ認識部２２が電波良好マーカを検出すると（ステップＳ６１）、通信制御部２６は、エリア種別の電波良好タイプと電波良好マーカの位置及び向きを含む電波良好マーカ情報をデータ提供装置１０へ送信する。

【0203】

データ提供装置１０の第１通信制御部１１が電波良好マーカ情報を受信すると、マーカ登録部１１０は、エリア種別の電波良好タイプに対応付けて電波良好マーカの位置及び向きをマーカ情報記憶部１５３に登録する（ステップＳ６２）。

【0204】

図１６（Ｂ）は、実施例４のアクションフェーズにおける処理手順を示すフローチャートである。ロボット２の電波状態検出部２１３が電波悪化イベントを検出すると（ステップＳ６３）、通信制御部２６は、データ提供装置１０へ電波悪化イベントを通知する。

【0205】

データ提供装置１０の第１通信制御部１１が電波悪化イベントの通知を受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して電波悪化イベントに対応
付けられているエリア種別の電波良好タイプを特定する。アクション選択部１４０は、さらにマーカ情報記憶部１５３を参照してエリア種別の電波良好タイプに対応する電波良好マーカの位置と向きを特定する。第１通信制御部１１は、電波良好マーカの位置と向きを含む電波良好の場所への移動指示をロボット２へ送信する。

【0206】

ロボット２の通信制御部２６が電波悪化マーカの位置と向きを含む電波良好の場所への移動指示を受信すると、移動制御部２３は移動機構２９を制御して、ロボット２は電波良好の場所へ移動する（ステップＳ６４）。ロボット２は、電波良好マーカの位置の手前に少なくとも第４所定時間留まる。第４所定時間は、利用者に通話を要求されると想定される期間の上限長に相当する。第４所定時間を経過した時点で、通話要求イベントが検出されていなければ、実施例４のアクションフェーズにおける処理を中断してもよい。

【0207】

通話要求受付部２２３が通話要求イベントを検出すると（ステップＳ６５）、通信制御部２６は通話要求イベントをデータ提供装置１０へ送信する。

【0208】

データ提供装置１０の第１通信制御部１１が通話要求イベントを受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して第２イベントの通話要求イベントに対応する通話開始アクションを選択する。第１通信制御部１１は、選択された通話開始アクションの指示をロボット２へ送信する。従って、先に電波悪化イベントが通知されているか否かに関わらず、通話開始アクションが送信される。

【0209】

ロボット２の通信制御部２６が通話開始アクションの指示を受信すると、ロボット２の電話通信２３７は、通話開始アクションを実行する（ステップＳ６６）。電話通信部２３７が発呼して通話状態になれば、ロボット２が備えるマイクの入力音声を変換した信号が送信され、受信した信号から変換された相手音声がマイクロフォンから出力される。

【0210】

［実施例５］
自律行動型ロボット１による警備の応用例について説明する。警備の応用例では、金庫が置かれている住居や施設において金庫荒らしを警戒することを想定し、ロボット２が見回りを行う。エリアとして金庫置き場を識別するエリア種別のマーカを金庫置き場に設置しておけば、自律行動型ロボット１はそのマーカの設置場所が金庫置き場であると認識できる。金庫置き場を識別するエリア種別を金庫タイプという。

【0211】

警備の応用例では、見回りを指示されたロボット２が、金庫付近へ移動して状況を把握するように振舞う。見回り指示の受付は、例えば「金庫を見て来い」などの音声の認識や、撮影画像から所定のポーズやジェスチャーを認識するなどの認識処理によって行われてもよい。データ提供装置１０が利用者端末３のアプリケーションから見守り指示を受信してロボット２へ転送し、ロボット２が見守り指示を受信するようにしてもよい。所定時刻になったときに、データ提供装置１０が自動的に見回り指示をロボット２へ発信し、ロボット２が見守り指示を受信するようにしてもよい。警備の応用例では、ロボット２に対する見回り指示が第１イベントに相当する。このイベントを、見回りイベントという。

【0212】

撮影画像の認識によって金庫の近くに人の姿を捉えたときに、ロボット２は警戒アクションを実行する。つまり警備の応用例で、金庫付近における人の認識は、第２イベントに相当する。このイベントを、人認識イベントという。金庫付近にいる人は、不審者である可能性があると想定する。警戒アクションとして、通信制御部２６は、ロボット２は撮影部２１で撮影した映像（動画あるいは静止画）をデータ提供装置１０へ送信する。この処理に関して通信制御部２６は、アクション実行部２３０の例である。データ提供装置１０は、受信した映像を証拠として記録してもよい。また、データ提供装置１０は、利用者端末３のアプリケーションへ警告メッセージを送信したり、ロボット２から受信した映像を
転送したりして、利用者端末３のアプリケーションへのデータ送信を行ってもよい。警戒アクションとして、ロボット２の音声出力部２３２は、警報音を発してもよい。

【0213】

図８に示したロボット２の見回りイベント検出部２１５は、上述の認識処理で見回り指示を受け付けたときやデータ提供装置１０から見回り指示を受信したときに、見回りイベントを検出する。図８に示したロボット２の人認識部２２５は、撮影画像に含まれる人の姿を認識する。人の話し声を音声認識することによって人の存在を認識してもよい。人認識部２２５は、マイクに入力された音から標準的な人の声に相当する周波数を抽出した場合に、人の話し声であると判定してもよい。

【0214】

図１０に示したイベント情報記憶部１５１のデータ構成における第５レコードは、警備の応用例に関して、第１イベントとして見回りイベントが検出された場合に、エリア種別が金庫タイプであるマーカが設置されている場所（つまり、金庫置き場）へロボット２が移動することを定めている。第５レコードは、さらに第２イベントとして人認識イベントが検出された場合に、ロボット２が警戒アクションを行うことを定めている。エリア種別が金庫タイプであるマーカを金庫マーカという。

【0215】

図１１に示したマーカ情報記憶部１５３のデータ構成における第５レコードには、警備の応用例に関して、エリア種別の金庫タイプに対応付けて金庫マーカの位置及び向きが設定される。

【0216】

図１７（Ａ）は、実施例５のマーカ登録フェーズにおける処理手順を示すフローチャートである。例えばロボット２が自律的に移動しているときにマーカ認識部２２が金庫マーカを検出すると（ステップＳ７１）、通信制御部２６は、エリア種別の金庫タイプと金庫マーカの位置及び向きを含む金庫マーカ情報をデータ提供装置１０へ送信する。

【0217】

データ提供装置１０の第１通信制御部１１が金庫マーカ情報を受信すると、マーカ登録部１１０は、エリア種別の金庫タイプに対応付けて金庫マーカの位置及び向きをマーカ情報記憶部１５３に登録する（ステップＳ７２）。

【0218】

図１７（Ｂ）は、実施例５のアクションフェーズにおける処理手順を示すフローチャートである。ロボット２の見回りイベント検出部２１５が見回りイベントを検出すると（ステップＳ７３）、通信制御部２６は、データ提供装置１０へ見回りイベントを通知する。

【0219】

データ提供装置１０の第１通信制御部１１が見回りイベントの通知を受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して見回りイベントに対応付けられているエリア種別の金庫タイプを特定する。アクション選択部１４０は、さらにマーカ情報記憶部１５３を参照してエリア種別の金庫タイプに対応する金庫マーカの位置と向きを特定する。第１通信制御部１１は、金庫マーカの位置と向きを含む金庫置き場への移動指示をロボット２へ送信する。

【0220】

ロボット２の通信制御部２６が金庫マーカの位置と向きを含む金庫置き場への移動指示を受信すると、移動制御部２３は移動機構２９を制御して、ロボット２は金庫付近へ移動する（ステップＳ７４）。ロボット２は、金庫マーカの位置の手前に少なくとも第５所定時間留まる。第５所定時間は、ロボット２が金庫付近に移動してから人を認識するまでに要する想定時間の上限値に相当する。第５所定時間を経過した時点で、人認識イベントが検出されていなければ、実施例５のアクションフェーズにおける処理を中断してもよい。

【0221】

人認識部２２５が人認識イベントを検出すると（ステップＳ７５）、通信制御部２６は人認識イベントをデータ提供装置１０へ送信する。

【0222】

データ提供装置１０の第１通信制御部１１が人認識イベントを受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して第２イベントの人認識イベントに対応する第１イベントの見回りイベントを特定する。アクション選択部１４０は、イベント情報記憶部１５１を参照して第１イベントの見回りイベントと第２イベントの人認識イベントの組み合わせに対応する警戒アクションを選択する。第１通信制御部１１は、選択された警戒アクションの指示をロボット２へ送信する。

【0223】

ロボット２の通信制御部２６が警戒アクションの指示を受信すると、ロボット２のアクション実行部２３０は、警戒アクションを実行する（ステップＳ７６）。

【0224】

［実施例６］
自律行動型ロボット１による目覚ましの応用例について説明する。例えば、朝に寝室で寝ている利用者を、ロボット２が起こす。エリアとして寝室を識別するエリア種別のマーカを寝室に設置しておけば、自律行動型ロボット１はそのマーカの設置場所が寝室であると認識できる。寝室を識別するエリア種別を寝室タイプという。

【0225】

目覚ましの応用例では、利用者を起床させるタイミングで、ロボット２が寝室へ移動して目覚ましアクションを行う。利用者を起床させるタイミングは、例えば予定の起床時刻によって判断される。あるいは、利用者の家族が発する「お父さん（利用者）を起こしてきてください。」のような音声の認識、撮影画像から所定のポーズやジェスチャーを認識するなどの認識処理によって、利用者を起床させるタイミングを判断してもよい。つまり、利用者を起床させるタイミングの判断が、目覚ましの応用例における第１イベントに相当する。このイベントを、起床イベントという。

【0226】

寝室のベッドの上で利用者が横になっている状態（臥位）を認識したときに、ロボット２は目覚ましアクションを実行する。ベッドの上に利用者がいない場合や利用者が既に起きている場合など利用者が臥位でないときには、ロボット２は目覚ましアクションを実行しない。つまり、目覚ましの応用例でベッド上の臥位の利用者を検出することは、第２イベントに相当する。このイベントを、利用者臥位イベントという。目覚ましアクションとして、たとえば音声出力部２３２は、スピーカから目覚まし音や呼びかけなどの音声を出力する。目覚ましアクションとして、リモートコントロール部２３３がテレビを起動させたり、オーディオ装置に音楽を出力させたりなど、外部機器に音声を出力させてもよい。リモートコントロール部２３３は、照明機器を点灯させてもよい。あるいは、移動制御部２３が移動機構２９を制御して、ロボット２がベッドの周囲を激しく動き回るようにしてもよい。

【0227】

図８に示したロボット２の起床イベント検出部２１７は、上述のように予定の起床時刻に至り、あるいは上述した認識処理などによって起床イベントを検出する。図８に示したロボット２の体位認識部２２７は、寝室のベッドの上で寝ている人（実際には、利用者であるとみなす）の体位を認識する。体位認識部２２７は、ベッドに寝ている人が臥位であれば、利用者臥位イベントを検出する。体位認識部２２７は、例えば予めサンプルとなる臥位の利用者の姿を撮影部２１で撮影し、その撮影画像を分析して臥位の利用者の大きさ、形状及びパーツ（頭、手や足などの部位）の配置などの特徴データを抽出しておく。そして、体位認識部２２７は、撮影部２１で撮影した画像を分析して、大きさ、形状及びパーツの配置などの特徴データがサンプルと共通又は近似する被写体が含まれると判定した場合に、撮影した画像に臥位の利用者が写っていると判定してもよい。

【0228】

図１０に示したイベント情報記憶部１５１のデータ構成における第６レコードは、目覚ましの応用例に関して、第１イベントとして起床イベントが検出された場合に、エリア種
別が寝室タイプであるマーカが設置されている場所（つまり、寝室）へロボット２が移動することを定めている。第６レコードは、さらに第２イベントとして利用者臥位イベントが検出された場合に、ロボット２が目覚ましアクションを行うことを定めている。寝室タイプであるマーカを寝室マーカという。

【0229】

図１１に示したマーカ情報記憶部１５３のデータ構成における第６レコードには、目覚ましの応用例に関して、エリア種別の寝室タイプに対応付けて寝室マーカの位置及び向きが設定される。

【0230】

図１８（Ａ）は、実施例６のマーカ登録フェーズにおける処理手順を示すフローチャートである。例えばロボット２が自律的に移動しているときにマーカ認識部２２が寝室マーカを検出すると（ステップＳ８１）、通信制御部２６は、エリア種別の寝室タイプと寝室マーカの位置及び向きを含む寝室マーカ情報をデータ提供装置１０へ送信する。

【0231】

データ提供装置１０の第１通信制御部１１が寝室マーカ情報を受信すると、マーカ登録部１１０は、エリア種別の寝室タイプに対応付けて寝室マーカの位置及び向きをマーカ情報記憶部１５３に登録する（ステップＳ８２）。

【0232】

図１８（Ｂ）は、実施例６のアクションフェーズにおける処理手順を示すフローチャートである。ロボット２の起床イベント検出部２１７が起床イベントを検出すると（ステップＳ８３）、通信制御部２６は、データ提供装置１０へ起床イベントを通知する。

【0233】

データ提供装置１０の第１通信制御部１１が起床イベントの通知を受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して起床イベントに対応付けられているエリア種別の寝室タイプを特定する。アクション選択部１４０は、さらにマーカ情報記憶部１５３を参照してエリア種別の寝室タイプに対応する寝室マーカの位置と向きを特定する。第１通信制御部１１は、寝室マーカの位置と向きを含む寝室への移動指示をロボット２へ送信する。

【0234】

ロボット２の通信制御部２６が寝室マーカの位置と向きを含む寝室への移動指示を受信すると、移動制御部２３は移動機構２９を制御して、ロボット２は寝室へ移動する（ステップＳ８４）。ロボット２は、寝室マーカの位置の手前に少なくとも第６所定時間留まる。第６所定時間は、ロボット２が寝室に入ってから利用者臥位イベントを検出するまでに要する想定時間の上限値に相当する。第６所定時間を経過した時点で、利用者臥位イベントが検出されていなければ、実施例６のアクションフェーズにおける処理を中断してもよい。

【0235】

体位認識部２２７が利用者臥位イベントを検出すると（ステップＳ８５）、通信制御部２６は利用者臥位イベントをデータ提供装置１０へ送信する。

【0236】

データ提供装置１０の第１通信制御部１１が利用者臥位イベントを受信すると、アクション選択部１４０は、イベント情報記憶部１５１を参照して第２イベントの利用者臥位イベントに対応する第１イベントの起床イベントを特定する。アクション選択部１４０は、イベント情報記憶部１５１を参照して第１イベントの起床イベントと第２イベントの利用者臥位イベントの組み合わせに対応する目覚ましアクションを選択する。第１通信制御部１１は、選択された目覚ましアクションの指示をロボット２へ送信する。

【0237】

ロボット２の通信制御部２６が目覚ましアクションの指示を受信すると、ロボット２のアクション実行部２３０は、目覚ましアクションを実行する（ステップＳ８６）。

【0238】

上述の実施例１～６において、ロボット２の第１イベント検出部２１０で行うと説明した処理を、データ提供装置１０の第１イベント検出部１２０で行ってもよい。ロボット２の第２イベント検出部２２０で行うと説明した処理を、データ提供装置１０の第２イベント検出部１３０で行ってもよい。データ提供装置１０の第１イベント検出部１２０で行うと説明した処理を、ロボット２の第１イベント検出部２１０で行ってもよい。データ提供装置１０の第２イベント検出部１３０で行うと説明した処理を、ロボット２の第２イベント検出部２２０で行ってもよい。

【0239】

以上述べた実施形態２では、所定のタイミングにおいてロボット２を所定の場所に移動させ、さらに所定の条件を満たす場合に所定のアクションを実行する。マーカを所定の場所に設置することにより、このような一連の動作を簡単に実現できるので便利である。

【0240】

［実施形態３］
ロボット２がマーカを認識したときにそのマーカによって指示されたアクションを、ロボット２が実行するようにしてもよい。そのために、アクションの識別子を図形化したマーカを用いる。例えば、汎用的な変換方式（バーコード方式あるいは２次元バーコード方式など）でアクションの識別子を図形化した図形コードをマーカとして用いてもよい。この場合には、マーカ認識部２２は、当該変換方式によって図形コードからアクションの識別子を読み取ることができる。あるいは、独自にデザイン化した図形をマーカとして用いてもよい。この場合には、マーカ認識部２２は、撮影画像に含まれる図形の形状が所定の形状である場合にその図形の種類を特定し、特定した図形の種類に対応するアクションの識別子を特定するようにしてもよい。マーカ認識部２２において、図形の種類とアクションの識別子を対応付けるデータを記憶しておくものとする。つまり、実施形態３におけるマーカは、いずれかのアクションの識別子を特定し得る。

【0241】

例えば、子供部屋の入り口に、アクションとしてリビングルームへの移動を指示するマーカを設置しておけば、ロボット２が子供部屋の前でマーカを認識した段階で、子供部屋の中へ立ち入ることなく、直ぐにリビングルームへ移動する。

【0242】

マーカによって指示されるアクションは、別の所定マーカの探索であってもよい。マーカＡによって指示されるアクションがマーカＢの探索であれば、ロボット２は、マーカＡを認識した段階でマーカＢを探して移動を始める。さらに、マーカＢによって指示されるアクションがマーカＣの探索であれば、ロボット２は、マーカＢを認識した段階でマーカＣを探して移動を始める。順次マーカを探索するように指示する一連のマーカを経路上のポイントに配置すれば、ロボット２に一連のマーカを順にめぐる経路を探索させることになる。このようにすれば、オリエンテーリングを模した屋内ゲームを子供とロボット２で競わせる遊び方もできる。また、複数台のロボット２を走行させて、屋内レースを行わせることもできる。

【0243】

上述の屋内ゲームや屋内レースのような屋内プレイを行う場合に、利用者が利用者端末３のアプリケーションから自律行動型ロボット１に対して、ロボット２が最初にマーカＡを探すように指示してもよい。ロボット２が、「始めろ」や「探せ」のような利用者の掛け声を音声認識し、利用者の掛け声を検出したイベントを契機としてマーカの探索を始めるようにしてもよい。ロボット２が、撮影画像から利用者がスタートを指示するポーズやジェスチャーを画像認識して、ポーズやジェスチャーを検出したイベントを契機としてマーカの探索を始めるようにしてもよい。あるいは、利用者が利用者端末３のアプリケーションから自律行動型ロボット１に対してスタート時刻を設定し、ロボット２は、スタート時刻に至ったことを契機として起点となるマーカの探索を始めるようにしてもよい。

【0244】

以上述べた実施形態３では、マーカを所定の場所に設置することにより、その場所にお
けるロボット２のアクションを簡単に指示することができる。

【0245】

［実施形態４］
接近禁止を指示するマーカを用いて、接近してはならない物品をロボット２に認識させるようにしてもよい。例えば装飾品や精密機器のように壊れやすい物品に接近禁止のコードを図形化したマーカを設置する。上述したように、汎用的な変換方式（バーコード方式あるいは２次元バーコード方式など）で接近禁止のコードを図形化した図形コードをマーカとして用いてもよい。あるいは、独自にデザイン化した図形をマーカとして用いてもよい。この場合、マーカ認識部２２は、接近禁止に相当する図形の種類を記憶しており、撮影画像から特定した図形の種類が接近禁止に該当すると判定する。ロボット２のマーカ認識部２２は、認識したマーカとの間隔を測定する。移動制御部２３は、マーカとの間隔が第１基準距離よりも短くなったと判定した場合に、マーカから遠ざかる方向へロボット２を移動させるように、移動機構２９を制御する。第１基準距離は、ロボット２が方向を転換して、ロボット２の移動によってマーカの位置に到達しないように制御するために必要な距離である。このようにすれば、ロボット２が壊れやすい物品に衝突するリスクを減らせる。

【0246】

また、バランスボールや掃除機本体のように移動する可能性が高い物品に接近禁止を指示するマーカを設置して、移動する可能性が高い物品をロボット２に認識させるようにしてもよい。移動制御部２３は、マーカとの間隔が第２基準距離よりも短くなったと判定した場合に、マーカから遠ざかる方向へロボット２を移動させるように、移動機構２９を制御する。第２基準距離は、物品が移動してロボット２の位置に到達する前に、ロボット２が物品との距離を広げるように制御するために必要な距離である。このようにすれば、物品が移動してロボット２に衝突するリスクを減らせる。

【0247】

マーカによって物品の種類を識別し、物品の種類に応じてロボット２の接近を規制してもよい。物品の種類を示すマーカを用いてもよいし、マーカＩＤと物品の種類を対応付ける物品管理データをデータ提供装置１０で保持するようにしてもよい。物品の種類を示すマーカを用いる場合には、マーカ認識部２２がマーカを認識した段階で物品の種類も検出する。マーカ認識部２２は、マーカＩＤと物品の種類を対応付ける物品管理データを記憶している。マーカ認識部２２は、マーカからマーカＩＤを検出し、物品管理データを参照してマーカＩＤに対応する物品の種類を特定する。物品管理データは、利用者が利用者端末３のアプリケーションから設定するようにしてもよい。

【0248】

さらに、マーカ認識部２２が、物品の種類毎にロボット２の接近可否が設定された接近制御データを記憶し、マーカＩＤによって特定した物品の種類に関する接近可否を判定するようにしてもよい。接近制御データにおいて、例えばテーブルや椅子のように壊れにくく且つ移動する可能性が低い物品に対して接近許可が設定され、装飾品や精密機器のように壊れやすい物品及びバランスボールや掃除機本体のように移動する可能性が高い物品に対して接近禁止が設定されている。掃除機本体は常に前方に移動し、後方に移動することは無いので、掃除機本体の後方への接近を許可してもよい。つまり、掃除機本体の前方への接近のみを禁止すれば足りる。マーカの向きで掃除機本体の前後を認識できるようにすれば、掃除機本体の前方への接近のみを禁止してもよい。マーカが矢印を含み、矢印の先が掃除機の前方を指すようにマーカを貼り付ければ、ロボット２はマーカを基準として接近が禁止される範囲を判断することができる。矢印が指す先を接近禁止とするというルールが設けられていれば、マーカを貼り付ける段階でマーカの向きに注意すれば運用上問題がない。矢印が指す先に限らず接近禁止の範囲を設ける場合には、接近制御データに矢印を基準とした接近禁止の範囲を設定しておいてもよいし、利用者端末３のアプリケーションから同様の接近禁止の範囲を設定してもよい。

【0249】

以上述べた実施形態４では、壊れやすい物品や移動する可能性がある物品などロボット２との衝突のリスクがある物品にマークを設置することにより、ロボット２と物品との衝突を回避しやすくする。

【0250】

［その他の変形例］

【0251】

実施形態２に関して、マーカ認識部２２は、マーカＩＤとエリア種別を対応付けるマーカ定義情報を記憶し、マーカからマーカＩＤを検出し、マーカＩＤに対応するエリア種別を特定するようにしてもよい。マーカＩＤとエリア種別の対応付けは、利用者が利用者端末３のアプリケーションから設定してもよい。

【0252】

実施形態２に関して、第１イベントは上述した例に限らない。第１イベントは、任意である。ロボット２の第１イベント検出部２１０及びデータ提供装置１０の第１イベント検出部１２０は、利用者以外の人を認識したときに第１イベントを検出してもよい。ロボット２の第１イベント検出部２１０及びデータ提供装置１０の第１イベント検出部１２０は、認識したことがない未知の人を初めて認識したときに第１イベントを検出してもよい。ロボット２の第１イベント検出部２１０及びデータ提供装置１０の第１イベント検出部１２０は、過去に認識したことがある既知の人を改めて認識したときに第１イベントを検出してもよい。ロボット２の第１イベント検出部２１０及びデータ提供装置１０の第１イベント検出部１２０は、所定時間以内に同じ人を繰り返し認識した場合に第１イベントを検出してもよい。ロボット２の第１イベント検出部２１０及びデータ提供装置１０の第１イベント検出部１２０は、所定時間以内に認識していなかった人を認識したときに第１イベントを検出してもよい。さらに、ロボット２の第１イベント検出部２１０及びデータ提供装置１０の第１イベント検出部１２０は、撮影画像において認識した人とマーカとの位置関係や向きが所定の条件を満たすと判断したときに第１イベントを検出してもよい。

【0253】

実施形態２に関して、第２イベントは上述した例に限らない。第２イベントは、任意である。ロボット２の第２イベント検出部２２０及びデータ提供装置１０の第２イベント検出部１３０は、利用者以外の人を認識したときに第２イベントを検出してもよい。ロボット２の第２イベント検出部２２０及びデータ提供装置１０の第２イベント検出部１３０は、認識したことがない未知の人を初めて認識したときに第２イベントを検出してもよい。ロボット２の第２イベント検出部２２０及びデータ提供装置１０の第２イベント検出部１３０は、過去に認識したことがある既知の人を改めて認識したときに第２イベントを検出してもよい。ロボット２の第２イベント検出部２２０及びデータ提供装置１０の第２イベント検出部１３０は、所定時間以内に同じ人を繰り返し認識した場合に第２イベントを検出してもよい。ロボット２の第２イベント検出部２２０及びデータ提供装置１０の第２イベント検出部１３０は、所定時間以内に認識していなかった人を認識したときに第２イベントを検出してもよい。さらに、ロボット２の第２イベント検出部２２０及びデータ提供装置１０の第２イベント検出部１３０は、撮影画像において認識した人とマーカとの位置関係や向きが所定の条件を満たすと判断したときに第２イベントを検出してもよい。

【0254】

実施形態２に関して、第１イベント及び第２イベントは、複数段階のイベントの組み合わせであってもよい。例えば実施例１で説明した出迎えの応用例において、データ提供装置１０の帰宅イベント検出部１２１は、利用者端末３の位置が自宅に近づいたときに第１段階のイベントを検出し、利用者端末３が玄関に設置されたビーコン発信器と通信を行ったときに第２段階のイベントを検出してもよい。そして、帰宅イベント検出部１２１は、第１段階のイベントと第２段階のイベントの両方を検出した場合に、第１イベントを検出したと判断してもよい。

【0255】

実施形態２に関して、アクション選択部１４０が第１イベントと第２イベントの組み合
わせに対応するアクションを選択する例を説明したが、アクション選択部１４０は、第２イベントに対応するアクションを選択してもよい。アクション選択部１４０は、エリア種別に対応するアクションを選択してもよい。アクション選択部１４０は、第１イベントに対応するアクションを選択してもよい。アクション選択部１４０は、エリア種別と第２イベントの組み合わせに対応するアクションを選択してもよい。アクション選択部１４０は、第１イベントとエリア種別の組み合わせに対応するアクションを選択してもよい。アクション選択部１４０は、第１イベントとエリア種別と第２イベントの組み合わせに対応するアクションを選択してもよい。

【0256】

実施形態２に関して、アクション実行部２３０は、特定の人を対象としたアクションを行ってもよい。例えば実施例３で説明した接客の応用例において、アクション実行部２３０は、特定の客に対して空き室を案内してもよい。また、アクション実行部２３０が実行するアクションの内容は、利用者が利用者端末３のアプリケーションから設定してもよい。

【0257】

実施形態２に関して、ロボット２の第１イベント検出部２１０は、通信制御部２６において他のロボット２と通信した場合に、第１イベントを検出してもよい。ロボット２の第２イベント検出部２２０は、通信制御部２６において他のロボット２と通信した場合に、第２イベントを検出してもよい。ロボット２の第１イベント検出部２１０及びデータ提供装置１０の第１イベント検出部１２０は、利用者端末３や他の外部装置から所定の指示やデータ受け付けたときに第１イベントを検出してもよい。ロボット２の第２イベント検出部２２０及びデータ提供装置１０の第２イベント検出部１３０は、利用者端末３や他の外部装置から所定の指示やデータ受け付けたときに第２イベントを検出してもよい。例えば実施例３で説明した接客の応用例において、データ提供装置１０の来客イベント検出部１２３は、受付用タブレット端末において来店人数や禁煙等の客室条件を受け付けたことを、受付用タブレット端末から通知されたときに第１イベントを検出してもよい。

【0258】

実施形態２に関して、第１イベント及び第２イベントの検出条件は、複数のロボット２毎に異なってもよい。例えば特定のロボット２に限って、通常第１イベント又は第２イベントを検出するタイミングよりも遅らせて第１イベント又は第２イベントを検出するようにしてもよい。第１イベント又は第２イベントの検出タイミングを遅くすれば、ロボット２の消極的な性格を演出することができる。逆に特定のロボット２に限って、通常第１イベント又は第２イベントを検出するタイミングよりも早く第１イベント又は第２イベントを検出するようにしてもよい。第１イベント又は第２イベントの検出タイミングを早くすれば、ロボット２の積極的な性格を演出することができる。尚、第１イベント及び第２イベントの内容は、利用者が利用者端末３のアプリケーションから設定してもよい。

【0259】

実施形態２に関して、イベント情報記憶部１５１において、ロボット２毎に異なるイベント情報を設定してもよい。つまり、特定のロボット２に限って適用されるイベント情報を設けてもよい。例えば２台のロボット２を動作させる家庭で、一方のロボットにだけ出迎えアクションを行わせ、他方のロボットにだけ子守アクションを行わせるように、イベント情報を設定してもよい。

【0260】

複数台のロボット２を動作させる場合には、一方のロボット２が認識したマーカ情報を、他方のロボット２に通知するようにしてもよい。そのようにすれば、エリア種別、マーカの位置及び向きを、早く共有できるようになる。

【0261】

ロボット２は、ＳＬＡＭ技術において検出される特徴点や特徴形状をマーカとみなしてもよい。また、マーカとして発光するデバイスを用いてもよい。ロボット２が備える蓄電池に給電するための充電ステーションにマーカを設置して、ロボット２がマーカに基づい
て充電ステーションとの位置関係と向きを検出するようにしてもよい。ロボット２は、自動連結のために充電ステーションに近づくときに、マーカによって検出した充電ステーションの位置関係と向きを用いてもよい。

【0262】

マーカ認識部２２は、同じマーカについて複数回位置を計測し、それらの位置に関する平均値を求めるようにしてもよい。マーカ認識部２２がマーカの位置の平均値を用いれば、マーカの位置の計測における誤差の影響を軽減できる。同様にマーカ認識部２２は、同じマーカについて複数回向きを計測し、それらの向きに関する平均値を求めるようにしてもよい。マーカ認識部２２がマーカの向きの平均値を用いれば、マーカの位置の計測における誤差の影響を軽減できる。

【0263】

利用者端末３のアプリケーションは、利用者端末3の出力装置に、マーカの位置や向きを表示してもよい。利用者端末３のアプリケーションから利用者が、利用者端末３の入力装置を介して、マーカの内容（進入禁止、エリア種別、アクションの識別子又は接近禁止など）、マーカの位置や向きを設定し、あるいは修正できるようにしてもよい。

【0264】

ロボット２は、ビーコン受信器を備え、所定の位置に設置されたビーコン発信器が発信するビーコン信号をビーコン受信器において受信し、ビーコン発信器のＩＤを特定してもよい。ロボット２は、さらにビーコン分析部を備え、ビーコン分析部においてビーコン信号の電波強度を分析することによってビーコン発信器の位置を特定してもよい。従って、自律行動型ロボット１は、ビーコン発信器のＩＤをマーカＩＤとみなし、ビーコン発信器の位置をマーカの位置とみなして、上述の実施形態に適用してもよい。

【0265】

なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0266】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【0267】

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2023-12-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

利用者端末と、ロボットとを備えるシステムであって、
前記利用者端末は、ユーザの操作に応じて空間要素の登録を受けつけるように構成され、
前記ロボットは、
移動機構と、
周囲の空間を撮影する撮影部と、
前記利用者端末を介して登録された空間要素に基づいて、前記撮影部において撮影された撮影画像に
含まれる所定のマーカを認識するマーカ認識部と、
認識された前記マーカに基づき前記移動機構による移動を制御する移動制御部と
を備えるシステム。

【請求項2】

前記移動制御部は、認識された前記マーカに基づき前記移動による進入を禁止する、請求
項1に記載のシステム。

【請求項3】

前記移動制御部は、認識された前記マーカに基づき前記移動の速度を制限する、請求項1
又は2に記載のシステム。

【請求項4】

前記移動制御部は、認識された前記マーカの設置位置に基づき前記移動を制御する、請求
項1から3のいずれか一項に記載のシステム。

【請求項5】

前記移動制御部は、前記設置位置に基づく制限範囲を設定し、前記制限範囲における前記
移動を制限する、請求項4に記載のシステム。

【請求項6】

前記移動制御部は、前記設置位置より奥側、又は前記設置位置の周囲における所定の範囲
を前記制限範囲として設定する、請求項5に記載のシステム。

【請求項7】

前記移動制御部は、認識された前記マーカが複数である場合、
認識された複数の前記設置位置に基づき前記移動を制限する、請求項4から6のいずれか一
項に記載のシステム。

【請求項8】

前記移動制御部は、認識された第1マーカの設置位置と認識された第2マーカの設置位置と
を結ぶ線分に基づき前記移動を制限する、請求項7に記載のシステム。

【請求項9】

前記移動制御部は、認識された前記マーカの種類に基づき前記移動を制御する、請求項1
から8のいずれか一項に記載のシステム。

【請求項10】

前記移動制御部は、記録されているマーカに基づき前記移動を制御する、請求項1から9の
いずれか一項に記載のシステム。

【請求項11】

前記移動制御部は、前記撮影画像において前記マーカが認識されない場合、前記記録され
ているマーカに基づき前記移動を制御する、請求項10に記載のシステム。

【請求項12】

前記撮影部において撮影された撮影画像に基づいて、前記空間を認識した空間データを生
成する空間データ生成部と、
生成された前記空間データに基づいて、前記空間に含まれる空間要素を可視化した可視化
データを生成する可視化データ生成部と、
生成された前記可視化データを利用者端末に対して提供する可視化データ提供部と
をさらに備える、請求項1から11のいずれか一項に記載のシステム。

【請求項13】

提供された前記可視化データに含まれる領域の指定を前記利用者端末から取得する指定取
得部をさらに備え、
前記空間データ生成部は、取得された前記指定に係る領域において
再撮影された前記撮影画像に基づいて前記空間を再認識する、請求項12に記載のシステム。

【請求項14】

前記移動における移動先の状態を示す状態情報を取得する状態情報取得部をさらに備え、
前記移動制御部は、前記状態情報にさらに基づき前記移動を制御する、請求項1から13の
いずれか一項に記載のシステム。