(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012975
(43)【公開日】2024-01-31
(54)【発明の名称】移動装置、移動装置の制御装置、移動装置の制御方法、移動システム、および移動型作業ロボット
(51)【国際特許分類】
G05D 1/43 20240101AFI20240124BHJP
【FI】
G05D1/02 K
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022114849
(22)【出願日】2022-07-19
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 公開日:令和3年12月8日 集会名:第23回 インターフェックス Week 東京
(71)【出願人】
【識別番号】000236160
【氏名又は名称】株式会社テクノ菱和
(71)【出願人】
【識別番号】511019281
【氏名又は名称】株式会社システムクラフト
(74)【代理人】
【識別番号】100081961
【弁理士】
【氏名又は名称】木内 光春
(74)【代理人】
【識別番号】100112564
【弁理士】
【氏名又は名称】大熊 考一
(74)【代理人】
【識別番号】100163500
【弁理士】
【氏名又は名称】片桐 貞典
(74)【代理人】
【識別番号】230115598
【弁護士】
【氏名又は名称】木内 加奈子
(72)【発明者】
【氏名】唐木 千岳
(72)【発明者】
【氏名】武石 義人
(72)【発明者】
【氏名】菅田 大助
(72)【発明者】
【氏名】滝口 陽介
(72)【発明者】
【氏名】南 茂
【テーマコード(参考)】
5H301
【Fターム(参考)】
5H301EE08
5H301EE13
5H301EE28
5H301FF06
5H301FF15
5H301FF27
5H301GG09
(57)【要約】 (修正有)
【課題】移動装置の使用者が容易かつ迅速に走行ルートの設定を行うことができる移動装置、移動装置の制御装置、移動装置の制御方法、移動システム、および移動型作業ロボットを提供する。
【解決手段】カラー画像を撮像する撮像部10と、装置本体を移動させる走行部を有する移動装置であって、移動装置の制御部20は、マーカの色に関する情報と、マーカの配置に関する情報と、を記憶するマーカ情報記憶部21と、マーカの配置に関する情報に基づいて、移動装置の走行経路を決定する走行経路決定部22と、撮像部10が撮像したカラー画像から、マーカの色に関する情報に基づいてマーカを検出する画像処理部24と、画像処理部24が検出したマーカに基づいて、走行部を駆動する制御条件を計算する駆動情報演算部27と、を含み、マーカの色に関する情報は、単色で構成されるマーカを検出するための情報である。
【選択図】
図3
【特許請求の範囲】
【請求項1】
カラー画像を撮像する撮像部と、装置本体を移動させる走行部を有する移動装置であって、
前記移動装置の制御部は、
マーカの色に関する情報と、前記マーカの配置に関する情報と、を記憶するマーカ情報記憶部と、
前記マーカの配置に関する情報に基づいて、前記移動装置の走行経路を決定する走行経路決定部と、
前記撮像部が撮像した前記カラー画像から、前記マーカの色に関する情報に基づいて前記マーカを検出する画像処理部と、
前記画像処理部が検出した前記マーカに基づいて、前記走行部を駆動する制御条件を計算する駆動情報演算部と、を含み、
前記マーカの色に関する情報は、単色で構成される前記マーカを検出するための情報である移動装置。
【請求項2】
前記マーカの配置に関する情報とは、前記マーカの行列情報、前記マーカの個数情報、前記移動装置のスタート位置情報が含まれ、
前記走行経路決定部は、行列状に配置された各マーカにおける、前記移動装置の走行動作を決定する、請求項1記載の移動装置。
【請求項3】
前記撮像部は、前記マーカまでの距離を測定する深度センサ、をさらに含み、
前記制御部は、前記移動装置から、前記画像処理部が検出した前記マーカまでの距離と、前記移動装置からの前記マーカの中心座標の角度と、を計算するターゲット位置演算部をさらに含み、
前記駆動情報演算部は、前記ターゲット位置演算部が計算した前記マーカの距離と角度に関する情報に基づいて、前記走行部を駆動する制御条件を計算する、請求項1または2記載の移動装置。
【請求項4】
前記画像処理部は、
前記マーカ情報記憶部に記憶されている前記マーカの色に関する情報を用いて、マスク画像を作成するマスク画像作成部と、
前記マスク画像作成部が作成した前記マスク画像を用いて、前記カラー画像をフィルタリングするフィルタリング処理部と、
前記フィルタリング処理部によりフィルタリングされた画像をエッジ画像に変換するエッジ画像変換部と、
前記エッジ画像から図形の輪郭を取得する輪郭取得部と、
前記輪郭取得部が取得した図形の輪郭から、図形の外接形状を取得し、前記マーカを検出するマーカ検出部と、を含む、請求項1または2記載の移動装置。
【請求項5】
前記画像処理部は、
前記マーカ情報記憶部に記憶されている前記マーカの色に関する情報を用いて、マスク画像を作成するマスク画像作成部と、
前記マスク画像作成部が作成した前記マスク画像を用いて、前記カラー画像をフィルタリングするフィルタリング処理部と、
前記フィルタリング処理部によりフィルタリングされた画像をエッジ画像に変換するエッジ画像変換部と、
前記エッジ画像から図形の輪郭を取得する輪郭取得部と、
前記輪郭取得部が取得した図形の輪郭から、図形の外接形状を取得し、前記マーカを検出するマーカ検出部と、を含み、
前記マーカ検出部は、
前記輪郭取得部が取得した図形の輪郭から、図形の前記外接形状を取得する外接形状取得部と、
前記外接形状取得部が取得した前記外接形状の中心座標に基づいて、当該外接形状が対象領域の所定位置に存在するか否かを判定するマーカ位置判定部と、
前記マーカ位置判定部により所定位置に存在すると判断された前記マーカのサイズが、所定のサイズ内にあるか否かを判定するマーカサイズ判定部と、を含む、請求項3記載の移動装置。
【請求項6】
前記マーカ検出部は、前記マーカサイズ判定部がサイズが許容範囲内であると判断した外接矩形以前に、マーカサイズが許容範囲内であった外接矩形がある場合に、両者の面積を比較するマーカサイズ比較部、をさらに含む、請求項5記載の移動装置。
【請求項7】
前記マーカの色に関する情報は、RGBの抽出範囲である、請求項1又は2記載の移動装置。
【請求項8】
カラー画像を撮像する撮像部と、装置本体を移動させる走行部を有する移動装置の制御装置であって、
前記制御装置は、
マーカの色に関する情報と、前記マーカの配置に関する情報と、を記憶するマーカ情報記憶部と、
前記マーカの配置に関する情報に基づいて、移動装置の走行経路を決定する走行経路決定部と、
前記撮像部が撮像した前記カラー画像から、前記マーカの色に関する情報に基づいて前記マーカを検出する画像処理部と、
前記画像処理部が検出した前記マーカに基づいて、前記走行部を駆動する制御条件を計算する駆動情報演算部と、を含み、
前記マーカの色に関する情報は、単色で構成される前記マーカを検出するための情報である移動装置の制御装置。
【請求項9】
カラー画像を撮像する撮像部と、装置本体を移動させる走行部を有する移動装置を、コンピュータまたは電子回路で制御する方法であって、
前記コンピュータまたは電子回路が、
マーカの色に関する情報と、前記マーカの配置に関する情報と、を記憶するマーカ情報記憶処理と、
前記マーカの配置に関する情報に基づいて、前記移動装置の走行経路を決定する走行経路決定処理と、
前記撮像部が撮像した前記カラー画像から、前記マーカの色に関する情報に基づいて前記マーカを検出する画像処理と、
前記画像処理により検出した前記マーカに基づいて、前記走行部を駆動する制御条件を計算する駆動情報演算処理と、を実行し、
前記マーカの色に関する情報は、単色で構成される前記マーカを検出するための情報である移動装置の制御方法。
【請求項10】
請求項1または2記載の移動装置と、
単色で構成されるマーカを備えた移動システムであって、
前記移動装置が、前記マーカ情報記憶部に記憶された前記マーカの色に関する情報に基づいて、前記走行経路決定部が決定した前記走行経路に配置された前記マーカを検出するように構成された、移動システム。
【請求項11】
請求項1又は2に記載の移動装置と、
前記移動装置に載置された所定の作業を行うロボットと、を含み、
前記制御部および前記ロボットは、それぞれ通信部を有し、
前記制御部は、前記マーカごとに前記ロボットに作業開始信号を送信し、
前記ロボットは、前記制御部に作業終了信号を送信するよう構成されている移動型作業ロボット。
【請求項12】
前記ロボットが、環境測定を行う測定ユニットである、請求項11記載の移動型作業ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象領域を移動する移動装置、移動装置の制御装置、移動装置の制御方法、移動システム、および移動型作業ロボットに関する。
【背景技術】
【0002】
近年、対象空間の掃除、管理対象に対するロボットによる作業、荷物の運搬、またはサービス業務などにおいて、無人で目的の移動を達成する移動装置の開発が進んでいる。このような移動装置では、室内における自装置の位置を把握して移動するために、予め対象室内の地図が記録されている。または、マッピング等により対象領域の地図を作成する移動装置も知られている。
【0003】
地図を用いない場合、移動装置を対象領域の所定のルートに従って磁気誘導を用いて移動させるために、対象領域に磁気テープを事前に設置することがある。この場合には、移動装置は、固定された走行ルート上を自動走行する。
【0004】
他にも、移動装置の制御において、停止や回転などの移動装置の動作に関する情報を含むマーカを対象室内に適宜配置することもある。移動装置は、搭載されたカメラなどの撮像部でそのマーカを撮像し、マーカに含まれる情報に基づいて移動装置の動作を制御する。このようなマーカの一つとしては、対象領域に設置される旗状のサインポストがあげられる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005‐275899号公報
【特許文献2】特開2014-021624号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
対象領域の地図を用いた移動装置の制御においては、地図情報の入力などにおいてロボット技術者や熟練した使用者による作業が必要となる。特に、初めて対象領域において移動装置を走行させる場合には、ロボット技術者と使用者の打ち合わせが不可欠となり手間と時間がかかる。すなわち、移動装置の使用者が、単独で所望の走行ルートを迅速かつ容易に設定することは難しい。また、地図を用いた移動装置では、無線通信を用いた測位を行う場合、精度に誤差が生じてしまう。ビーコン方式を用いるにしても、地図データの入力に加え、固定器の位置の設定などの手間が生じる。
【0007】
磁気テープを用いた走行ルートの設定では、磁気テープの事前設置が不可欠であり、また走行ルートが固定されてしまう。例えばクリーンルーム等の清浄空間においては、磁気テープの設置自体が難しい場合もある。サインポストを用いて走行ルートの設定を行う場合には、走行ルートに沿って多数のサインポストを設置する必要があり、使用者に各サインポストの動作内容と使用方法を理解する負担が生じる。また、サインポストそのものが、移動装置の障害物となる可能性も否定できない。
【0008】
本発明は、上述したような従来技術の問題点を解決するために提案されたものである。その目的は、移動装置の使用者が容易かつ迅速に走行ルートの設定を行うことができる移動装置、移動装置の制御装置、移動装置の制御方法、移動システム、および移動型作業ロボットを提供することにある。
【課題を解決するための手段】
【0009】
上記の目的を達成するために、本発明の移動装置は、以下のような特徴を有している。
(1)カラー画像を撮像する撮像部と、装置本体を移動させる走行部を有する移動装置であって、前記移動装置の制御部は、マーカの色に関する情報と、前記マーカの配置に関する情報と、を記憶するマーカ情報記憶部と、前記マーカの配置に関する情報に基づいて、前記移動装置の走行経路を決定する走行経路決定部と、前記撮像部が撮像した前記カラー画像から、前記マーカの色に関する情報に基づいて前記マーカを検出する画像処理部と、
前記画像処理部が検出した前記マーカに基づいて、前記走行部を駆動する制御条件を計算する駆動情報演算部と、を含み、前記マーカの色に関する情報は、単色で構成される前記マーカを検出するための情報である。
【0010】
(2) 前記マーカの配置に関する情報とは、前記マーカの行列情報、前記マーカの個数情報、前記移動装置のスタート位置情報が含まれ、前記走行経路決定部は、行列状に配置された各マーカにおける、前記移動装置の走行動作を決定しても良い。
【0011】
(3)前記撮像部は、前記マーカまでの距離を測定する深度センサ、をさらに含み、前記制御部は、前記移動装置から、前記画像処理部が検出した前記マーカまでの距離と、前記移動装置からの前記マーカの中心座標の角度と、を計算するターゲット位置演算部をさらに含み、前記駆動情報演算部は、前記ターゲット位置演算部が計算した前記マーカの距離と角度に関する情報に基づいて、前記走行部を駆動する制御条件を計算しても良い。
【0012】
(4)前記画像処理部は、前記マーカ情報記憶部に記憶されている前記マーカの色に関する情報を用いて、マスク画像を作成するマスク画像作成部と、前記マスク画像作成部が作成した前記マスク画像を用いて、前記カラー画像をフィルタリングするフィルタリング処理部と、前記フィルタリング処理部によりフィルタリングされた画像をエッジ画像に変換するエッジ画像変換部と、前記エッジ画像から図形の輪郭を取得する輪郭取得部と、前記輪郭取得部が取得した図形の輪郭から、図形の外接形状を取得し、前記マーカを検出するマーカ検出部と、を含んでいても良い。
【0013】
(5)前記画像処理部は、前記マーカ情報記憶部に記憶されている前記マーカの色に関する情報を用いて、マスク画像を作成するマスク画像作成部と、前記マスク画像作成部が作成した前記マスク画像を用いて、前記カラー画像をフィルタリングするフィルタリング処理部と、前記フィルタリング処理部によりフィルタリングされた画像をエッジ画像に変換するエッジ画像変換部と、前記エッジ画像から図形の輪郭を取得する輪郭取得部と、前記輪郭取得部が取得した図形の輪郭から、図形の外接形状を取得し、前記マーカを検出するマーカ検出部と、を含み、前記マーカ検出部は、前記輪郭取得部が取得した図形の輪郭から、図形の前記外接形状を取得する外接形状取得部と、前記外接形状取得部が取得した前記外接形状の中心座標に基づいて、当該外接形状が対象領域の所定位置に存在するか否かを判定するマーカ位置判定部と、前記マーカ位置判定部により所定位置に存在すると判断された前記マーカのサイズが、所定のサイズ内にあるか否かを判定するマーカサイズ判定部と、を含んでいても良い。
【0014】
(6)前記マーカ検出部は、前記マーカサイズ判定部がサイズが許容範囲内であると判断した外接矩形以前に、マーカサイズが許容範囲内であった外接矩形がある場合に、両者の面積を比較するマーカサイズ比較部、をさらに含んでいても良い。
【0015】
(7)前記マーカの色に関する情報は、RGBの抽出範囲であっても良い。
【0016】
また、上記の発明は、移動装置の制御装置および移動装置制御方法の発明としての態様を含む。また、以下の移動システムおよび移動型作業ロボットの態様を含み得る。
【0017】
(1)上記の移動装置と、単色で構成されるマーカを備えた移動システムであって、
前記移動装置が、前記マーカ情報記憶部に記憶された前記マーカの色に関する情報に基づいて、前記走行経路決定部が決定した前記走行経路に配置された前記マーカを検出するように構成されていても良い。
【0018】
(2)上記の移動装置と、前記移動装置に載置された所定の作業を行うロボットと、を含み、前記制御部および前記ロボットは、それぞれ通信部を有し、前記制御部は、前記マーカごとに前記ロボットに作業開始信号を送信し、前記ロボットは、前記制御部に作業終了信号を送信するよう構成されていても良い。
【0019】
(3)前記ロボットが、環境測定を行う測定ユニットであっても良い。
【発明の効果】
【0020】
本発明によれば自動走行装置の使用者が容易かつ迅速に走行ルートの設定を行うことができる移動装置、移動装置の制御装置、移動装置の制御方法、移動システム、および移動型作業ロボットを提供することができる。
【図面の簡単な説明】
【0021】
【
図1】第1の実施形態にかかる移動システムに含まれるマーカの例を示す構成図である。
【
図2】第1の実施形態にかかる移動装置の外観を示す側面図であり、かつ他の実施形態の作業ロボットの外観を示す側面図である。
【
図3】第1の実施形態にかかる移動装置の構成例を示すブロック図である
【
図4】走行経路の決定を説明するための模式図であり、(a)は3×4の行列状に配置されたマーカ、(b)はスタート位置が左に決定された場合の走行経路、(c)はスタート位置が右に決定された場合の走行経路である。
【
図5】第1の実施形態の画像処理部の詳細な構成の一例を示すブロック図である
【
図6】撮像部の撮像範囲を説明するための模式図である。
【
図7】移動のターゲットとなるマーカに対する移動装置の角度がθ°、マーカと移動装置の間の距離がXmである場合の移動装置の制御を説明するための模式図である。
【
図8】使用者がRGBの抽出範囲を設定するユーザインタフェースの一例を示す表示画面である。
【
図9】使用者がマーカの配置に関する情報を設定するユーザインタフェースの一例を示す表示画面である。
【
図10】マーカ検出部の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0022】
[第1の実施形態]
[移動システム概要]
本発明に係る移動システムの実施形態について図面を参照しつつ説明する。移動システムは、被検出体としてのマーカMと、このマーカMを読み取ることで、装置本体の移動を実行する移動装置1を含み構成されている。
【0023】
[マーカ]
移動システムに含まれるマーカMについて、
図1を参照して説明する。
図1(a)に示す通り、マーカMは、単一の色で構成された単色マーカである。単一の色で構成されるとは、例えばRGB(0、89、189)というように、固定された一つのRGB値を有する色のみにて構成されることを意味する。すなわち、マーカMは一色のみで構成され、他の色味を含まない。よって、マーカMはその色により特定可能なマーカMであると言える。
【0024】
対象領域に複数配置するマーカMは、所定の形状とすることが好ましい。例えば、マーカMを矩形や円形のマーカMとすることができるが、形状は適宜変更可能である。ただし、例えば矩形のマーカMにおいて中心座標が抽出可能なように、所定位置の座標を抽出できる形状が好ましい。
図1(b)のように、真円状のマーカMを使用すると、マーカMを対象領域に配置する際にマーカMの角度を気にする必要がなくて良い。マーカMは、色に加えて、形状からも特定可能なマーカMとすることができる。
【0025】
図1(c)および(d)に示すように、例えば紙PにマーカMを印刷して用いることもできる。この場合には紙Pの色が露出している部分はマーカMには含まれない。また、
図1(d)に示すようにマーカMをリング状とすることもできる。この場合には、紙Pの色が露出している部分として、リング状のマーカMの内周を外周とする円の部分があるが、この円の部分もマーカMには含まれない。上記の通り、移動システムのマーカMは単一の色で構成される。そのため、仮にマーカMの周囲に複数の色が存在してマーカMを構成しているように見える場合であっても、マーカMは常に単一の色で構成されており、この単一の色以外を有する部分はマーカMとして捉えない。
【0026】
マーカMは、単一の色を有する、樹脂、プラスチック、ポリプロピレンの平板とすることができる。ただし、上記の通り、紙などに単一の色を印刷してマーカMとしても良い。移動装置1がマーカMの色を確定しやすくするために、マーカMは、照明などの光を反射しない素材を用いることが好ましい。マーカMに、表面加工を施しても良い。例えば、マーカMを樹脂などの平板とする場合には、表面にエンボス加工を行うと良い。例えば、紙にマーカMを印刷する場合には、マットコート印刷を用いたり、低反射ラミネートマットでラミネート加工しても良い。
【0027】
また、対象領域内に含まれる壁面や床面に、塗料等でマーカMを描いても良い。他にも、対象領域の床面に、他の床面の色と異なる単一の色のタイルを埋め込むことにより、このタイルをマーカMとしても良い。このように、マーカMは床置きとしたり、床面や壁面の一部としたりすることが可能であるため、マーカMが移動装置1の移動の障害物とならず良い。マーカMは、例えばマーカMが正方形の場合には30×30cm程度の大きさとすると良い。ただし、移動装置1がマーカMを検出可能な大きさであればよく、マーカMの寸法は適宜変更可能である。
【0028】
[移動装置]
移動装置1は、例えば室内等において、予め設定された対象領域を自律走行する装置である。移動装置1は、装置本体を移動させる走行部を有する。移動装置1は移動以外の動作を行うように構成できる。例えば、対象領域内を移動しつつ、対象領域の環境測定を行うように構成しても良い。他にも、対象領域の掃除、荷物の積み降ろし、バルブの開閉等、様々な動作を行うロボットと組み合わせ得る。
【0029】
図2は、移動装置1の外観を示す側面図である。
図3は、移動装置1の構成例を示すブロック図である。
図2に示す通り、移動装置1は、箱型の筐体100を有する。筐体100は、移動装置1の構成部を収容する箱型の筐体100aと、移動装置1に搭載されるロボットを収容する箱型の筐体100bを含んでいても良い。以下の説明では、筐体100aおよび筐体100bを併せて、筐体100と表現する場合もある。筐体100aの下面側に設けられた一対の駆動輪である走行部101がモータ102により回転駆動されることにより自走可能に構成されている。
図3に示す通り、移動装置1は、撮像部10および制御部20を有する。
【0030】
(撮像部)
図2に示す通り、撮像部10は、本実施形態では筐体100の外面に取り付けられている。ただし、筐体100の内部に収容し、筐体100に穴を設けて対象領域を撮像する構成としても良い。また、本実施形態では、撮像部10は対象領域の床面に置かれたマーカMを撮像することを想定している。そのため、撮像部10は、対象領域の床面を鳥瞰するように、筐体100の上面に取り付けられている。
【0031】
図3に示す通り、撮像部10は、RGBカメラ11と深度センサ12を含む。RGBカメラ11は、マーカMのカラー画像を撮像するカメラである。深度センサ12は、マーカMの深度情報を検出するセンサである。撮像部10で得られたカラー画像および深度情報は、後述する制御部20の画像処理部24に出力される。
【0032】
RGBカメラ11は、図示は省略するが、マーカMが反射した光が入射する入射光学系、入射光を撮像素子に結像させる結像光学系、及び撮像素子を備える。撮像素子としては、CCDやCMOS等があり、RGBカラーフィルターが配置される。この構成により、RGBカメラ11は、の諧調値を画素値として含むカラー画像を撮像する。なお、RGBカメラ11は、マーカMのカラー画像が取得できれば良く、他の撮像装置で代替可能である。
【0033】
RGBカメラ11の仕様の一例を、以下の表1に示す。
【表1】
【0034】
また、RGBカメラ11の取り付け仕様の一例を、以下の表2に示す。表2の仕様は、床面に配置されたマーカMを撮像する際の取り付け条件の一例である。RGBカメラ11の取り付け仕様は、撮像対象となるマーカMの配置に合わせて適宜変更可能である。
【表2】
【0035】
深度センサ12は、例えば、マーカMの深度画像を撮像することにより、深度センサ12からマーカMまでの深度(距離)を検出するように構成されている。例えば、深度センサ12は、検出したマーカMの中心座標までの距離を検出するよう構成できる。本実施形態では、深度センサ12としてステレオカメラ方式の深度センサ12を用いる。ステレオカメラ方式の深度センサ12の一例としては、2つのカメラを有するものがある。深度センサ12は、深度センサ12が有する2つのカメラが撮影した画像の視差情報から深度を算出可能に構成されている。ただし、赤外線などのレーザー光をマーカMに当て、はね返ってくるまでの時間で対象物との距離を計測するTime-of-Flightカメラ方式の深度センサ12を用いても良い。
【0036】
(制御部)
図3に示す通り、制御部20は、入力部Iや出力部Oが接続された、CPUやメモリを含み所定のプログラムで動作するコンピュータや専用の電子回路で構成されている。この制御部20は、移動装置1の制御装置として捉えることができる。また、制御部20の処理をコンピュータが実行する移動装置1の制御方法として捉えることもでき、制御方法の各処理をコンピュータに実行させる移動装置1の制御プログラムとして捉えても良い。なお、ハードウェアでの処理範囲や、プログラムを含むソフトウェアでの処理範囲に関しても適宜設定可能であり、特定の態様に限定されない。
【0037】
制御部20は、撮像部10に接続されており、撮像部10のRGBカメラ11が撮像したカラー画像や深度センサ12が検出した深度情報を取得可能に構成されている。制御部20は、マーカ情報記憶部21、走行経路決定部22、移動情報記憶部23、画像処理部24、ターゲット位置演算部25、ターゲット情報記憶部26、駆動情報演算部27、モータ制御部28、を含む。
【0038】
(マーカ情報記憶部)
マーカ情報記憶部21は、入力部Iを介して入力されたマーカ情報を記憶する記憶部である。マーカ情報とは、マーカMの色に関する情報と、マーカMの配置に関する情報を含む。マーカMの色に関する情報としては、例えば、RGBの抽出範囲がある。RGBの抽出範囲は、RGBカメラ11により撮像されたカラー画像から、単色で構成されるマーカMを検出するために用いられる。
【0039】
例えば、マーカMがRGB(0、89、189)である場合のRGBの抽出範囲の一例を、以下の表3に示す。
【表3】
マーカ情報記憶部21は、例えば表3に記載のRGB抽出範囲を、青色のマーカMを用いる場合のデフォルト値として記憶することもできる。このように、複数の所定の色のマーカMに対するRGB抽出範囲をそれぞれのデフォルト値として記憶する構成としても良い。
【0040】
マーカMの配置に関する情報としては、例えば、格子状に配置されるマーカMの行列情報、マーカMの個数情報、移動装置1のスタート位置情報が含まれる。マーカMの行列情報とは、例えば、3×4の行列にマーカMが配置される、という情報である。マーカMの個数情報としては、例えば12個のマーカMが配置される、という情報である。ただし、例えば3×4の行列にマーカMが配置される場合に、マーカMの総数が11個である、という入力も可能である。この場合には、走行経路の最後に位置するマーカMが1つ除かれるように、11個のマーカMを3×4の行列上に配置する。
【0041】
移動装置1のスタート位置情報とは、走行開始時に移動装置1が左側または右側のどちらに進むかを示す情報である。ただし、移動装置1のスタート位置情報は、走行経路決定部22が最短時間で走行可能な経路をシミュレーションして、自動的に決定することもできる。マーカ情報記憶部21に記憶されるマーカMの配置に関する情報の一例を、以下の表4に示す。
【表4】
【0042】
(走行経路決定部)
走行経路決定部22は、マーカ情報記憶部21に記憶されたマーカMの配置に関する情報に基づいて、移動装置1の走行経路を決定する処理部である。走行経路決定部22は、マーカMの行列情報、マーカMの個数情報、移動装置1のスタート位置情報を用いて、移動装置1の進行方向を含めた対象領域内の走行経路を決定する。具体的には、走行経路決定部22は、行列状に配置された各マーカMにおける移動装置1の走行動作を決定する。走行経路決定部22が決定する移動装置1の走行動作には、以下の表5に記載の4つの動作が含まれる。
【表5】
【0043】
図4は、走行経路決定部22が決定する走行経路を示す図である。例えば、表4に記載のマーカMの配置に関する情報に基づくと、
図4(a)に示すように、3×4の行列で12個のマーカMが配置される。まず、走行経路決定部22は、12個のマーカMにける走行動作内容を、全て「1(前進)」に設定する。
【0044】
次に、走行経路決定部22は、行数×奇数倍と行数×奇数倍+1のマーカMに、以下の走行動作内容を設定する。
スタート位置が左の場合:「2(右に90度旋回し前進)」
スタート位置が右の場合:「3(左に90度旋回し前進)」
【0045】
そして、走行経路決定部22は、行数×偶数倍と行数×偶数倍+1のマーカMに、以下の走行動作内容を設定する。
スタート位置が左の場合:「3」
スタート位置が右の場合:「2」
最後に、行列における最後のマーカMに、走行動作内容「4」設定する。
【0046】
具体的には、表4のマーカMの配置に関する情報ではスタート位置が左に設定されているため、
図4(b)に示す通り、走行経路決定部22は、3個目、4個目、9個目、10個目のマーカMに、「2」を設定する。そして、走行経路決定部22は、6個目および7個目のマーカMに、「3」を設定する。最後に、12番目のマーカMに、「4」を設定する。
【0047】
仮に、表4の情報において、スタート位置が右に設定されていた場合、
図4(c)に示す通り、走行経路決定部22は、3個目、4個目、9個目、10個目のマーカMに、「3」を設定する。そして、走行経路決定部22は、6個目および7個目のマーカMに、「2」を設定する。最後に、12番目のマーカMに、「4」を設定する。
図4(b)および(c)には、理解を助けるために、移動装置1の実際の走行経路を破線の矢印で示している。
【0048】
なお、移動装置1にロボットを搭載して作業を行う場合には、各マーカMに到着した際にロボットに対する動作指示を出力するよう設定すると良い。そして、ロボットから動作終了信号を受信した後に、移動装置1の走行動作内容を実行する構成とすることができる。以上のように、走行経路決定部22は、マーカMの配置に関する情報に基づいて、移動装置1が各マーカMを順次移動できるように、各マーカMにおける走行動作内容を決定する。走行経路決定部22は、決定した各マーカMにおける走行動作内容を移動情報記憶部23に出力する。
【0049】
(移動情報記憶部)
移動情報記憶部23は、移動装置1の対象領域における走行経路に関する情報を記憶する記憶部である。移動情報記憶部23には、走行経路決定部22が決定した各マーカMにおける移動装置1の走行動作内容が保存される。
【0050】
(画像処理部)
画像処理部24は、マーカ情報記憶部21のマーカMの色に関する情報と、撮像部10が出力したカラー画像と深度情報を用いて、対象領域に設置されたマーカMを検出する処理部である。画像処理部24は、移動装置1が移動情報記憶部23に記憶されている走行経路に関する情報に基づいて走行動作を行うたびに、撮像部10からカラー画像と深度情報を取得して画像処理を行うように構成されている。
【0051】
図5は、画像処理部24の詳細な構成の一例を示すブロック図である。
図5に示す通り、画像処理部24は、マスク画像作成部24a、フィルタリング処理部24b、グレースケール変換部24c、ノイズ除去部24d、エッジ画像変換部24e、輪郭取得部24f、マーカ検出部24g、描画部24hを含む。
【0052】
マスク画像作成部24aは、マーカ情報記憶部21に記憶されているマーカMの色に関する情報を用いて、マスク画像を作成する。マスク画像とは、例えば表3に記載のRGB抽出範囲内にあるカラー画像のみを抽出できるように、RGBカメラ11が撮像したカラー画像をフィルタリングするための画像である。フィルタリング処理部24bは、マスク画像作成部24aが作成したマスク画像を用いて、カラー画像をフィルタリングする処理部である。このフィルタリング処理により、カラー画像からRGB抽出範囲内にあるカラー画像が抽出される。
【0053】
グレースケール変換部24cは、フィルタリング処理部24bで抽出されたカラー画像をグレースケール画像に変換する処理部である。ノイズ除去部24dは、グレースケール変換部24cで変換されたグレースケール画像に対して、メディアンフィルタによりノイズを除去する処理部である。グレースケール変換部24cおよびノイズ除去部24dによる処理により、RGB抽出範囲で抽出されたカラー画像内に含まれるエッジ部分を残したまま、画像内のノイズが除去される。
【0054】
エッジ画像変換部24eは、ノイズ除去部24dでノイズが除去された画像に対して、エッジ検出を行う処理部である。エッジ画像変換部24eは、ノイズ除去部24dから入力されたグレースケール画像を二値化画像に変換し、Canny法でエッジ画像に変換する。輪郭取得部24fは、エッジ画像変換部24eが作成したエッジ画像から、図形の輪郭を取得する処理部である。この輪郭取得部24fは、エッジ画像内にある全ての図形の輪郭を取得するため、仮にRGB抽出範囲内の色味を有する物体と、マーカMとを含むカラー画像が撮像された場合には、この物体とマーカMの輪郭が取得される。また、複数のマーカMが撮像されたカラー画像が撮像された場合には、複数のマーカMの輪郭が取得される。
【0055】
マーカ検出部24gは、輪郭取得部24fが取得した図形の輪郭から、移動装置1の直近のマーカMを検出するための処理部である。マーカ検出部24gは、外接形状取得部g1、マーカ位置判定部g2、マーカサイズ判定部g3、マーカサイズ比較部g4、マーカ記憶部g5を含む。
【0056】
外接形状取得部g1は、輪郭取得部24fが取得した図形の輪郭から、図形の外接形状を取得する処理部である。外接形状取得部g1が取得する外接形状は、使用されるマーカMの形状に合わせて、適宜設定可能である。例えば、矩形のマーカMを用いる場合には、外接形状取得部g1は、輪郭取得部24fが取得した図形の輪郭から、外接矩形を取得するよう構成される。また、外接矩形の回転角度を検出し、所定の回転角度範囲内のものを処理対象としても良い。外接形状取得部g1は、取得した図形の中心座標と、図形の面積と、を取得する構成とすることができる。
【0057】
マーカ位置判定部g2は、外接形状取得部g1が取得した外接形状の中心座標に基づいて、この外接形状が対象領域の所定位置に存在するか否かを判定する判断部である。例えば、矩形のマーカMが床面に配置されている場合には、矩形中心座標から計算される床面とカメラの間の距離Aが、深度センサ12が測定した測定距離をBとした場合に、B-α<A<B+αを満たす場合には、マーカMが床面にあると判断することができる。ここで、αは測定誤差や計算誤差を含み、例えば0.1m程度と考えることができる。マーカ位置判定部g2の判定条件は、マーカMの外接形状および配置位置において適宜変更可能である。
【0058】
マーカサイズ判定部g3は、マーカ位置判定部g2により所定位置に存在すると判断されたマーカMのサイズが、所定のサイズ内にあるか否かを判定する判断部である。例えば、矩形のマーカMが床面に配置されている場合には、矩形サイズCが、深度センサ12で測定した矩形の中心座標とカメラとの距離に対応した矩形の高さと幅に基づく矩形サイズをDとした場合に、D-β<C<D+βを満たす場合には、マーカMのサイズが許容範囲内であると判断する。ここで、βは測定誤差や計算誤差を含み、例えばD×0.3程度と考えることができる。すなわち、計算した矩形サイズ(D)の±30%をβとすることができる。マーカサイズ判定部g3の判定条件は、マーカMの外接形状および配置位置において適宜変更可能である。
【0059】
マーカサイズ比較部g4は、マーカサイズ判定部g3がサイズが許容範囲内であると判断した外接矩形以前に、マーカサイズが許容範囲内であった外接矩形がある場合に、両者の面積を比較する比較部である。マーカサイズ比較部g4は、後述のマーカ記憶部g5から過去の外接矩形を取得し、今回の外接矩形と面積を比較する。マーカサイズ比較部g4により、面積が最大と判断された矩形が、移動装置1に最も近いマーカMであると判断できる。マーカMのサイズの比較には、外接矩形から計算された面積を用いても良いし、深度センサ12が測定した、マーカMの中心座標までの距離を用いても良い。距離を用いる場合には、移動装置1に最も近い外接矩形の面積が最大であると判断できる。
【0060】
マーカサイズ比較部g4が、今回の外接矩形の面積が、過去の外接矩形の面積を上回ると判断した場合に、今回の矩形が検出対象のマーカMであると判断する。その場合、マーカサイズ比較部g4は、今回の外接矩形の情報をマーカ記憶部g5に出力する。マーカ記憶部g5は、マーカサイズ比較部g4により検出対象のマーカMであると判断したマーカMと、その面積に関する情報を記憶する記憶部である。
【0061】
描画部24hは、マーカ記憶部g5に記憶されている検出対象のマーカMに対して、RGBカメラ11のカラー画像に赤枠を描画する処理部である。すなわち、描画部24hは、検出対象のマーカMの周縁を囲うように、カラー画像に赤枠を描画する。
【0062】
(ターゲット位置演算部)
図3に示すターゲット位置演算部25は、移動装置1から画像処理部24により検出対象のマーカMであると判断されたマーカMまでの距離と、移動装置1からのマーカMの中心座標の角度と、を計算する演算部である。具体的には、ターゲット位置演算部25は、移動装置1の深度センサ12とマーカMの間の距離に基づいて、移動装置1からマーカMまでの距離と進行方向(角度)とを計算により求める。なお、
図6に、撮像部10の撮影範囲について理解を助けるために、撮影範囲の模式図を示す。
【0063】
撮像部10の画像範囲については、縦方向の撮像部10からの範囲を(d1、d2)、横方向の範囲を(w1、w2)とした場合、以下の式で求めることができる。
<数1>
d1=h0×tan(a0-av/2)
d2=h0×tan(a0+av/2)
w1=2×√(h0×h0+d1×d1)×tan(ah/2)
w2=2×√(h0×h0+d2×d2)×tan(ah/2)
ここで、ここで、ahは撮像部10の水平方向の画角(°)、avは撮像部10の垂直方向の画角(°)、h0は撮像部10の取付位置の高さ(m)、a0は撮像部10の取付位置の角度(°)である。
【0064】
ターゲット位置演算部25の演算処理について以下に説明する。まず、マーカMの中心座標(x,y)から移動装置1の中心までの距離(td)は、以下の式で求めることができる。
<数2>
td=h0×tan(a0-ah/2+(h-y)×av/h)
ここで、hはカメラの解像度の高さである。
【0065】
マーカMの中心座標(x,y)から撮像部10までの距離(td’)は、以下の式で求めることができる。
<数3>
td’=√(td×td+h0×h0)/cos(x×ah/w-ah/2)
ここで、wはカメラの解像度の幅である。
【0066】
移動装置1の中心から、マーカMの中心への角度(ta)は、以下の式で求めることができる。
<数4>
ta=tan-1(((x-w/2)×td’×tan(ah/2)/(w/2))/td’)
ターゲット位置演算部25は、計算したマーカMの距離と角度に関する情報を、ターゲット情報記憶部26に出力する。
【0067】
(ターゲット情報記憶部)
ターゲット情報記憶部26は、ターゲット位置演算部25が計算したマーカMの距離と角度に関する情報を記憶する記憶部である。これらの情報は、駆動情報演算部27により取得される。
【0068】
(駆動情報演算部)
駆動情報演算部27は、移動情報記憶部23に記憶されている対象領域における走行経路に関する情報と、ターゲット情報記憶部26に記憶されているマーカMの距離と角度に関する情報に基づいて、モータ102を駆動する制御条件を計算する演算部である。駆動情報演算部27が制御条件を決定する処理を、
図7を参照して説明する。
図7は、移動のターゲットとなるマーカMに対する移動装置1の角度がθ°、マーカMと移動装置1の間の距離がXmである場合の移動装置1の制御を説明するための模式図である。
【0069】
図7のNo.1に示すように、移動のターゲットとなるマーカMに対する移動装置1の角度がθ°の場合、駆動情報演算部27はこのθ°が、移動装置1の最少移動範囲内であるか否かを判断する。最小移動範囲とは、例えばθ°が±3°以下であるというように、移動装置1の傾きを修正せず直進したとしても、移動装置1がマーカM上に到達できる角度の範囲を意味する。駆動情報演算部27は、θ°が最少範囲内である場合には、移動装置1をXm前進走行するように駆動条件を決定する。
【0070】
駆動情報演算部27は、θ°が最少範囲外である場合には、移動装置1を旋回させる方向と度数を決定する。
図7の例の場合には、No.2に示すように移動装置1を右にθ°回転してから、No.3に示すように移動装置1をXm前進走行するように駆動条件を決定する。駆動情報演算部27は、前進走行の駆動条件を、走行開始時より緩やかな加速でマーカMに接近し、マーカMが近づくと緩やかな減速でXmの距離分を走行後、停止するように設定する。
【0071】
緩やかな加速とは、例えば、速度0m/sの状態から、0.3m/sに約2秒で至る程度の加速を意味する。すなわち、加速度は0.15m/s2程度とすることができる。また、緩やかな減速とは、例えば、速度0.3m/sの状態から、速度0m/sに約2秒で至る程度の減速を意味する。すなわち、減速度(負の加速度)は0.15m/s2程度とすることができる。減速後は、走行距離を確認しながら停止するように構成すれば良い。駆動情報演算部27は、決定したモータ102の駆動条件をモータ制御部28に出力する。
【0072】
(モータ制御部)
モータ制御部28は、駆動情報演算部27が決定した制御条件に基づいて、モータ102を制御する処理部である。モータ制御部28は、制御条件に基づいて、モータ102に駆動信号を出力する。
【0073】
[動作]
本実施形態の移動システムの動作を以下に説明する。以下の説明では、移動システムの使用者による移動装置1の設定を含めて、実際の移動システムの利用の流れに沿って各動作を説明する。また、使用者による入力部Iを介した移動装置1への入力についても、具体的な表示画面を示して説明する。
【0074】
(移動装置への情報の入力)
移動システムの使用者は、移動装置1に対して、入力部Iを介してマーカ情報を入力する。マーカ情報は、マーカMの色に関する情報と、マーカMの配置に関する情報を含む。
図8は、使用者がRGBの抽出範囲を設定するための表示画面の一例である。
図8の表示画面では、カラー画像30とエッジ画像31が表示されている。カラー画像30は、RGBカメラ11が撮像したカラー画像に画像処理部24が画像処理を行い、検出対象のマーカMに対して赤枠が描画されている画像である。エッジ画像31は、エッジ画像変換部24eが変換した二値化画像において、輪郭取得部24fが図形の輪郭を取得して描画した画像である。
【0075】
図8に示す通り、RGB抽出用の表示画面では、R(赤色)、G(緑色)、及びB(青色)の各色について、抽出範囲の最大値と最小値を決定するためのスライダーバー32が表示されている。使用者は、カラー画像30とエッジ画像31を見ながら、各色のスライダーバー32の矢印をスライドさせて、マーカMに枠線を描画可能なRGBの抽出範囲を決定しても良い。使用者が決定したRGB抽出範囲は、マーカ情報記憶部21に記憶される。
【0076】
図9は、使用者がマーカMの配置に関する情報を設定するための表示画面の一例である。
図9の表示画面では、マーカMの行列情報のうち行を選択するためのプルダウンリスト40と、列を選択するためのプルダウンリスト41、マーカMの個数を選択するためのプルダウンリスト42も含まれる。使用者は、これらのプルダウンリスト40~42より、所望の数を選択する。
【0077】
さらに、表示画面には、移動装置1のスタート位置情報を選択するためのプルダウンリスト43も表示されている。プルダウンリスト43は、「LEFT」と「RIGHT」の選択肢を含む。使用者は、走行開始時に移動装置1が左側または右側のどちらに進むかを決定し、所望のスタート位置を選択する。使用者が決定したマーカMの配置に関する情報は、マーカ情報記憶部21に記憶される。そして、走行経路決定部22により移動装置1の走行経路が決定される。
図9の表示画面には、使用者が選択したマーカMの配置に関する情報に基づいて走行経路決定部22が決定した移動装置1の走行経路を表示する、経路表示部44がさらに含まれる。また、移動装置1の移動を開始するためのスタートボタン45が含まれていても良い。
【0078】
(移動装置の動作)
移動装置1の動作について、以下に説明する。ここでは、移動装置1に室内環境測定を行う測定ユニットが搭載され、移動装置1がマーカMに到達する度に環境測定が行われる場合を例に説明する。使用者が、例えば
図9の表示画面に含まれるスタートボタン45を押下すると、移動装置1に搭載されたユニットが環境測定を開始する。環境測定が完了した旨の信号をユニットから受信すると、移動装置1の移動動作が開始される。
【0079】
具体的には、移動情報記憶部23に記憶されている移動装置1の走行動作内容を参照し、走行動作内容が「1(前進)」の場合には、画像処理部24による画像処理を開始する。画像処理部24の各処理部は、撮像部10が撮像したカラー画像および深度情報に基づいて、マスク画像の作成、フィルタリング、グレースケール変換、ノイズの除去、エッジ画像変換、輪郭の取得、マーカMの検出、および描画を行う。このうち、マーカMの検出処理について、以下により具体的に説明する。
【0080】
図10は、床置きの矩形マーカMを検出する場合におけるマーカ検出部24gの処理手順を示すフローチャートの一例である。ステップS01において、外接形状取得部g1は、輪郭取得部24fが取得した図形の輪郭から、図形の外接矩形を取得し、ステップS02に進む。
【0081】
ステップS02において、マーカ位置判定部g2は、取得した外接矩形の中心座標に基づいて、この矩形が床面に存在するか否かを判断する。具体的には、矩形中心座標から計算したカメラとの距離Aが、矩形中心座標における深度センサ測定距離をBとした場合に、B-α<A<B+αを満たす場合(ステップS02 YES)に、矩形が床面に存在すると判断し、ステップS03に進む。一方、B-α<A<B+αを満たさない場合(ステップS02 NO)に、矩形が床面に存在しないと判断し、ステップS01に戻る。
【0082】
ステップS03において、マーカサイズ判定部g3は、取得した外接矩形の面積が許容範囲か否かを判断する。具体的には、矩形サイズCが、矩形の中心座標とカメラとの距離から計算した矩形サイズをDとした場合に、D-β<C<D+βを満たす場合(ステップS03 YES)に、矩形のサイズが許容範囲であると判断し、ステップS04に進む。一方、D-β<C<D+βを満たさない場合(ステップS03 NO)に、矩形のサイズが許容範囲にないと判断し、ステップS01に戻る。
【0083】
ステップS04において、マーカサイズ比較部g4は、今回の外接矩形以前に、マーカサイズが許容範囲内であったマーカMがある場合に、今回のマーカMと前回のマーカMの面積を比較する。今回の外接矩形の矩形面積が、前回の矩形面積より大きい場合(ステップS04 YES)、今回の矩形が検出対象のマーカMであると判断し、ステップS05に進む。一方、今回の外接矩形の矩形面積が、前回の矩形面積より小さい場合(ステップS04 NO)、今回の矩形波検出対象のマーカMではないと判断し、ステップS01に戻る。
【0084】
ステップS05において、マーカ記憶部g5が、マーカサイズ比較部g4により検出対象のマーカMであると判断したマーカMと、その面積に関する情報を記憶する。その後、ステップS01~05を、輪郭取得部24fが輪郭を取得した図形の数だけ繰り返し、最終的にマーカ記憶部g5に記憶されている、面積が最も大きなマーカMが検出対象のマーカMとなる。そして、ステップS06において、マーカ記憶部g5に記憶されている検出対象のマーカMについて、描画部24hがRGBカメラ11のカラー画像に赤枠を描画する。
【0085】
以上のようにして検出されたマーカMについて、ターゲット位置演算部25は、マーカMまでの距離と、移動装置1からのマーカMの中心座標の角度と、を計算し、結果をターゲット情報記憶部26に記憶する。駆動情報演算部27は、ターゲット情報記憶部26に記憶されているマーカMの距離と角度に関する情報に基づいて、モータ102を駆動する制御条件を計算する。そして、モータ制御部28が、駆動情報演算部27が決定した制御条件に基づいて、モータ102を制御することにより、モータ102により駆動輪である走行部101が回転され、移動装置1が前進する。移動装置1は、次のマーカMへの移動を終了すると、再度、環境測定を開始する。
【0086】
なお、移動情報記憶部23に記憶されている移動装置1の走行動作内容を参照し、走行動作内容が「2(右に90度旋回し前進)」および「3(左に90度旋回し前進)」の場合、当該旋回動作を行った後に、上記の移動装置1の移動動作が行われ、移動装置1が前進する。走行動作内容が「4(走行停止)」の場合には、移動装置1は運転を停止する。
【0087】
[作用効果]
以上のような本実施形態の移動装置1の作用効果は、以下のとおりである。
(1)カラー画像を撮像する撮像部10と、装置本体を移動させる走行部101を有する移動装置1であって、移動装置1の制御部20は、マーカMの色に関する情報と、マーカMの配置に関する情報と、を記憶するマーカ情報記憶部21と、マーカMの配置に関する情報に基づいて、移動装置1の走行経路を決定する走行経路決定部22と、撮像部10が撮像したカラー画像から、マーカMの色に関する情報に基づいてマーカMを検出する画像処理部24と、画像処理部24が検出したマーカMに基づいて、走行部101を駆動する制御条件を計算する駆動情報演算部27と、を含み、マーカMの色に関する情報は、単色で構成されるマーカMを検出するための情報である。
【0088】
移動装置1では、マーカMの配置に関する情報を用いて走行経路決定部22が決定した走行経路上を移動装置1が移動し、撮像部10がカラー画像を得る。移動装置1は、このカラー画像から、マーカMの色に関する情報を用いて次のマーカMを検出するための構成を有する。移動装置1は、走行経路上に配置されたマーカMを探して、検出したマーカMに向かって移動することで、走行経路決定部22が決定した走行経路に従って移動を行うことができる。言い換えれば、移動装置1にとって、マーカMは通過ポイントである。
【0089】
移動装置1により検出される、通過ポイントであるマーカMは、単色で構成することが可能である。走行経路は移動装置1によりあらかじめ決定されているため、マーカM自身が、例えばサインポストのように走行動作の内容等の情報を持つ必要はない。従って、使用者は、所望の走行経路に見あう位置に、単色のマーカMを適宜配置するだけで良い。従って、使用者が容易かつ迅速に走行ルートの設定を行うことができる移動装置1が提供可能となる。
【0090】
(2)マーカMの配置に関する情報とは、マーカMの行列情報、マーカMの個数情報、移動装置1のスタート位置情報が含まれ、走行経路決定部22は、行列状に配置された各マーカにおける、移動装置1の走行動作を決定する。
【0091】
走行経路決定部22は、マーカMの行列情報およびマーカMの個数情報に基づいて、マーカMの配置を決定する。そして、移動装置1のスタート位置情報を用いて、各マーカにおいて移動装置1が行う走行動作を決定する。従って、移動装置1は、通過ポイントである各マーカMに到達する度に、設定されている走行動作を行い、次のマーカMへと移動可能となる。マーカMが行列状に配置されている場合には、移動装置1の走行動作は「前進」「右旋回+前進」「左旋回+前進」「停止」の4つであり、使用者も直感的にマーカMの配置を決定することが可能となる。
【0092】
そして、実際に床面等にマーカMを配置する際も、実際の間隔等を細かく気にする必要はなく、移動装置1に入力した行列で入力した個数のマーカMを配置すればよい。よって、移動装置1の技術者でなくとも、移動装置1の走行ルートの設定が容易に行うことができる。
【0093】
(3)撮像部10は、マーカMまでの距離を測定する深度センサ12、をさらに含み、制御部20は、移動装置1から、画像処理部24が検出したマーカMまでの距離と、移動装置1からのマーカMの中心座標の角度と、を計算するターゲット位置演算部25をさらに含み、駆動情報演算部27は、ターゲット位置演算部25が計算したマーカMの距離と角度に関する情報に基づいて、走行部101を駆動する制御条件を計算する。
【0094】
深度センサ12によりマーカMまでの距離を測定し、ターゲット位置演算部25が、検出したマーカMまでの距離と角度を計算することにより、駆動情報演算部27がより確実な制御条件を算出することができる。移動装置1は、確実に次のマーカMに向かって移動することが可能となり、走行経路決定部22が決定した走行経路を確実に進むことが可能となる。
【0095】
(4)画像処理部24は、マーカ情報記憶部21に記憶されているマーカMの色に関する情報を用いて、マスク画像を作成するマスク画像作成部24aと、マスク画像作成部24aが作成したマスク画像を用いて、カラー画像をフィルタリングするフィルタリング処理部24bと、フィルタリング処理部24bによりフィルタリングされた画像をエッジ画像に変換するエッジ画像変換部24eと、エッジ画像から図形の輪郭を取得する輪郭取得部24fと、輪郭取得部24fが取得した図形の輪郭から、図形の外接形状を取得し、マーカMを検出するマーカ検出部24gと、を含む。
【0096】
マスク画像作成部24aがマーカMの色に関する情報を用いてマスク画像を作成し、このマスク画像を用いて撮像したカラー画像をフィルタリングすることで、単色で構成されているマーカMを確実に検出できる。この構成により、例えば、同一形状のタイル張りの床面において、一つのタイルの色を異ならせることによりマーカMとした場合であっても、マーカMを検出することが可能となる。
【0097】
変換したエッジ画像から輪郭を取得し、マーカ検出部24gが図形の外接形状を取得することで、図形の形状からもマーカMを特定することが可能となる。色の情報に合わせて、形状からもマーカMを判別することができるため、仮にマーカMと同じ色の物体が対象領域にあった場合でも、形状からマーカMを正確に検出することが可能となる。
【0098】
(5)画像処理部24は、マーカ情報記憶部21に記憶されているマーカMの色に関する情報を用いて、マスク画像を作成するマスク画像作成部24aと、マスク画像作成部24aが作成したマスク画像を用いて、カラー画像をフィルタリングするフィルタリング処理部24bと、フィルタリング処理部24bによりフィルタリングされた画像をエッジ画像に変換するエッジ画像変換部24eと、エッジ画像から図形の輪郭を取得する輪郭取得部24fと、輪郭取得部24fが取得した図形の輪郭から、図形の外接形状を取得し、マーカMを検出するマーカ検出部24gと、を含み、マーカ検出部24gは、輪郭取得部24fが取得した図形の輪郭から、図形の外接形状を取得する外接形状取得部g1と、外接形状取得部g1が取得した外接形状の中心座標に基づいて、当該外接形状が対象領域の所定位置に存在するか否かを判定するマーカ位置判定部g2と、マーカ位置判定部g2により所定位置に存在すると判断されたマーカMのサイズが、所定のサイズ内にあるか否かを判定するマーカサイズ判定部g3と、を含む。
【0099】
移動装置1では、上記の通り、色と形状に関する情報を用いて正確にマーカMを検出できる。そのうえで、深度センサ12が測定した距離により、外接形状取得部g1が取得した外接形状の中心座標に基づいて、外接形状が所定位置にあるか否かを判定するとともに、マーカMのサイズが所定のサイズ内であるか否かを判断可能に構成されている。そのため、さらに正確にマーカMを検出することが可能となる。
【0100】
(6)マーカ検出部24gは、マーカサイズ判定部g3がサイズが許容範囲内であると判断した外接矩形以前に、マーカサイズが許容範囲内であった外接矩形がある場合に、両者の面積を比較するマーカサイズ比較部g4、をさらに含む。
【0101】
RGBカメラ11の撮像範囲に複数のマーカMが存在する場合には、複数の外接矩形が検出される。その場合に、マーカサイズ比較部g4が、検出された各マーカMの面積を比較し、最もサイズが大きなものや最も距離が近いものを、今回の検出対象のマーカMとすることで、検出すべきマーカMを正確に検出することが可能となる。
【0102】
(7)マーカMの色に関する情報は、RGBの抽出範囲である。
【0103】
RGB抽出範囲を、単色で構成されるマーカMの色に合わせて設定することで、その色を含む物体をカラー画像から確実に検出することができる。
図8に示した通り、移動装置1では、RGBの抽出範囲は、カラー画像30とエッジ画像31を確認しながら、スライダーバー32をスライドさせることにより、視覚的に設定可能である。そのため、マーカMのみを検出可能なRGB抽出範囲を、使用者が容易に設定することができる。
【0104】
[その他の実施の形態]
(1)上記実施形態で説明した通り、移動装置1は、所定の作業を行うロボットを載置することで、様々な動作を行う移動型作業ロボットとして構成することもできる。例えば、
図2に示すように、室内の環境測定を行う測定ユニットを搭載することもできる。
図2の例では、移動装置1の筐体100aの上に、さらにユニット用の筐体100bが設けられている。この筐体100bの中に、環境測定を行う測定ユニットが設けられている。
【0105】
また、筐体100bの上部には、筐体100bの内部とつながる円筒状のパイプ103が設けられている。測定ユニットは、パイプ103を介してユニット内に気体を導入し、環境測定を行うように構成されている。
【0106】
移動装置1に作業ロボットが搭載される場合には、移動装置1の制御部20および作業ロボットの双方が、制御信号の送受信が可能な通信部を有するように構成される。通信部は、無線通信を行っても良く、また有線通信であっても良い。移動装置1の通信部は、マーカMごとに作業ロボット(ここでは測定ユニット)の通信部に作業開始信号を送信する。作業開始信号を受信した測定ユニットは、環境測定を開始する。
【0107】
環境測定が終わると、測定ユニットの通信部は、移動装置1の通信部に作業終了信号を送信する。作業終了信号を受信した移動装置1は、次のマーカMに向けて移動を開始する。このように構成することで、所望の作業を行いつつ、走行経路を移動する移動型作業ロボットを得ることができる。このような移動型作業ロボットの使用者は、作業を行いたい位置にマーカMを配置するだけで良いため、ロボットの技術者を介さずとも、容易かつ迅速に作業ルートの設定を行うことができる。
【0108】
(2)室内の環境測定を行う測定ユニットの一例としては、パーティクルカウンター、温湿度センサ、CO2センサ、ガス濃度センサを組み込んだ測定ユニットがある。測定ユニットは、例えばパーティクルカウンターにより微粒子測定の結果に基づき、室内の清浄度を演算する演算部を含んでいて良い。測定ユニットは、自動で各測定結果を一覧表にまとめた測定結果報告書を作成するように構成され、この測定報告書を保存する記憶部を含んでいても良い。このような測定ユニットを移動装置1に搭載して移動型作業ロボットとすることで、従来作業者が測定プローブを持って対象室内を移動して行っていた環境測定を、自動で行うことが可能となる。人手で行う測定では、作業者自身からの発塵により室内を汚染させる可能性があるが、移動型作業ロボットを用いた測定を行う場合にはそのような汚染を低減できる。
【符号の説明】
【0109】
M マーカ
P 紙
I 入力部
O 出力部
1 移動装置
100、100a、100b 筐体
101 走行部
102 モータ
103 パイプ
10 撮像部
11 RGBカメラ
12 深度センサ
20 制御部
21 マーカ情報記憶部
22 走行経路決定部
23 移動情報記憶部
24 画像処理部
24a マスク画像作成部
24b フィルタリング処理部
24c グレースケール変換部
24d ノイズ除去部
24e エッジ画像変換部
24f 輪郭取得部
24g マーカ検出部
g1 外接形状取得部
g2 マーカ位置判定部
g3 マーカサイズ判定部
g4 マーカサイズ比較部
g5 マーカ記憶部
24h 描画部
25 ターゲット位置演算部
26 ターゲット情報記憶部
27 駆動情報演算部
28 モータ制御部
30 カラー画像
31 エッジ画像
32 スライダーバー
40、41、42、43 プルダウンリスト
44 経路表示部
45 スタートボタン