特開 2024-29914 移動ロボット及び移動量推定方法並びに移動ロボット制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029914

(43)【公開日】2024-03-07

(54)【発明の名称】移動ロボット及び移動量推定方法並びに移動ロボット制御プログラム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20240229BHJP

   G08G 1/00 20060101ALI20240229BHJP

   G06T 7/70 20170101ALI20240229BHJP

   G06V 10/62 20220101ALI20240229BHJP

【ＦＩ】

G05D1/02 H

G08G1/00 X

G06T7/70 A

G06V10/62

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022132375

(22)【出願日】2022-08-23

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504193837

【氏名又は名称】国立大学法人室蘭工業大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】望月 章志

(72)【発明者】

【氏名】水上 雅人

(72)【発明者】

【氏名】蝦名 徳一

【テーマコード（参考）】

5H181

5H301

5L096

【Ｆターム（参考）】

5H181AA27

5H181BB13

5H181BB15

5H181CC04

5H181CC24

5H181FF04

5H181FF22

5H181FF27

5H181FF32

5H301AA01

5H301BB05

5H301BB14

5H301CC03

5H301CC06

5H301CC10

5H301FF06

5H301GG09

5H301GG14

5H301GG16

5L096BA05

5L096FA09

5L096FA69

5L096HA04

(57)【要約】

【課題】ビジュアルオドメトリを用いる場合でも移動量を高精度に推定することが可能な移動ロボット及び移動量推定方法並びに移動ロボット制御プログラムを提供する。
【解決手段】走行路面の動画像を撮像するカメラ３２と、ベース画像を設定する画像設定部１１と、ベース画像中に遷移領域Ｒ１を設定する遷移領域設定部１３と、ベース画像及びターゲット画像に含まれる特徴点に基づき、画像間における特徴点の変位量を算出する変位量算出部１２を備える。変位量に基づき、移動ロボット１が遷移領域Ｒ１の内側であるか否かを判定する判定部１５と、移動ロボット１遷移領域Ｒ１の内側である場合には、ベース画像を変更せず、移動ロボット１が遷移領域Ｒ１の外部である場合には、変位量が遷移領域の外部となる前のフレームから得られるターゲット画像を、新たなベース画像に設定する画像更新部１６を備える。ベース画像の特徴点と、ターゲット画像の特徴点に基づいて、移動量を算出する移動量算出部１７を備える。
【選択図】 図２

【特許請求の範囲】

【請求項1】

走行路面の動画像を撮像する撮像部と、
前記動画像の任意のフレームをベース画像に設定する画像設定部と、
前記ベース画像中の基準位置を基準とした遷移領域を設定する遷移領域設定部と、
前記ベース画像、及びベース画像後のフレームから得られるターゲット画像、に含まれる特徴点に基づき、画像間における前記特徴点の変位量を算出する変位量算出部と、
前記変位量に基づき、前記ターゲット画像中の基準位置が前記遷移領域の内側であるか否かを判定する判定部と、
前記ターゲット画像中の基準位置が前記遷移領域の内側である場合には、前記ベース画像を変更せず、外側である場合には、前記ターゲット画像中の基準位置が前記遷移領域の外側となる前のフレームから得られるターゲット画像を、新たなベース画像に設定する画像更新部と、
前記ベース画像に含まれる前記特徴点と、前記ターゲット画像に含まれる前記特徴点と、の変位量に基づいて、移動ロボットの移動量を算出する移動量算出部と、
を備えた移動ロボット。

【請求項2】

移動ロボットの初期位置、及び前記移動量に基づいて、移動ロボットの二次元位置を推定する推定部
を更に備えた請求項１に記載の移動ロボット。

【請求項3】

前記遷移領域の外側となる前のフレームは、前記遷移領域の外側となる直前のフレームを含む
請求項１または２に記載の移動ロボット。

【請求項4】

前記ターゲット画像は、前記動画像に含まれる１フレーム毎の画像を含む
請求項１に記載の移動ロボット。

【請求項5】

前記ベース画像中の基準位置は、前記ベース画像の中心点を含む
請求項１に記載の移動ロボット。

【請求項6】

前記遷移領域は、前記ベース画像中の基準位置から所定距離以内の領域を含む
請求項１に記載の移動ロボット。

【請求項7】

走行路面の動画像を撮像するステップと、
前記動画像の任意のフレームをベース画像に設定するステップと、
前記ベース画像中の基準位置を基準とした遷移領域を設定するステップと、
前記ベース画像、及びベース画像後のフレームから得られるターゲット画像、に含まれる特徴点に基づき、画像間における前記特徴点の変位量を算出するステップと、
前記変位量に基づき、前記ターゲット画像中の基準位置が前記遷移領域の内側であるか否かを判定するステップと、
前記ターゲット画像中の基準位置が前記遷移領域の内側である場合には、前記ベース画像を変更せず、外側である場合には、前記ターゲット画像中の基準位置が前記遷移領域の外側となる前のフレームから得られるターゲット画像を、新たなベース画像に設定するステップと、
前記ベース画像に含まれる前記特徴点と、前記ターゲット画像に含まれる前記特徴点と、の変位量に基づいて、移動ロボットの移動量を算出するステップと、
を備えた移動量推定方法。

【請求項8】

請求項１または２に記載の移動ロボットとしてコンピュータを機能させる移動ロボット制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動ロボット及び移動量推定方法並びに移動ロボット制御プログラムに関する。

【背景技術】

【0002】

インフラ設備を点検する場合などに、センサが搭載され遠隔操作で移動可能な移動ロボットが用いられている。非特許文献１には、任意の方向に移動可能なホロノミック全方向移動機構を備えたロボットが開示されている。このような移動ロボットは、二次元平面上の位置を高精度に測定することが要求される。

【0003】

非特許文献２には、屋内を移動する移動ロボットを天井に設置したカメラを用いて上面から撮像し、撮像した画像に基づいて移動ロボットの位置を推定することが開示されている。

【0004】

非特許文献３には、屋内通信用に用いられるＷi-Ｆi電波を用いて、送信機から移動ロボットまでの距離を算出することにより、移動ロボットの位置を推定することが開示されている。

【0005】

非特許文献４には、移動ロボットが走行する地面の画像を撮像し、撮像した画像及び車軸エンコーダの検出値に基づいて移動ロボットの自己位置を推定することが開示されている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】K.Tadakuma,R.Tadakuma and J.Berengeres,Development of Holonomic Omnidirectional Vehicle wiith “Omini-Ball”:Spherical Wheels, Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems,San Diego, CA, USA 2007．

【非特許文献2】Jae Hong Shim and Young Im Cho, ”A MobileRobot Localization via Indoor FixedRemote Surveillance Cameras” Sensors. 16. 195. 2016.

【非特許文献3】Joydeep Biswasand Manuela Veloso”WiFi localization and navigation for autonomous indoormobile robots”, Proc. of 2010 IEEE International Conference on Robotics and Automation

【非特許文献4】Linguang Zhang,Adam Finkelstein and Szymon Rusinkiewicz, High-Precision Localization UsingGround Texture, ICRA2019

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、上述した非特許文献２に開示された方法は、屋内を走行する移動ロボットの位置を推定することを想定している。これを屋外を移動する移動ロボットに適用する場合には、移動ロボットが移動するフィールド全体を上空から撮像するためにクレーンなどの大規模な装置が必要になる。

【0008】

非特許文献３に開示された方法では、屋外に電磁遮蔽物が存在する場合にＷi-Ｆiの電波が届かなくなることがあり、移動ロボットの移動量を高精度に推定することができない。

【0009】

非特許文献４に開示された方法では、予め地面画像情報を取得しておく必要があることや、より大規模なシステムになった場合、地図データベースの容量が大きくなるので探索に時間がかかるといった問題がある。

【0010】

更に、移動ロボットの移動中に路面の動画像を撮像し、撮像した動画像に含まれるフレーム間の画像の変位量を測定することにより、移動ロボットがどの方向にどれだけ移動したかの移動量を算出する方法（ビジュアルオドメトリ）を用いて、ロボットの二次元位置を推定する方法が知られている。

【0011】

しかし、ビジュアルオドメトリを用いる方法では、フレーム間において変位量の誤差が生じ、この誤差は移動ロボットの走行に伴って蓄積される。従って、移動ロボットの走行距離が長くなるに連れて蓄積誤差が大きくなり、移動ロボットの位置を高精度に推定できなくなるという問題がある。

【0012】

本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、ビジュアルオドメトリを用いる場合でも移動量を高精度に推定することが可能な移動ロボット及び移動量推定方法並びに移動ロボット制御プログラムを提供することにある。

【課題を解決するための手段】

【0013】

本発明の一態様に係る移動ロボットは、走行路面の動画像を撮像する撮像部と、前記動画像の任意のフレームをベース画像に設定する画像設定部と、前記ベース画像中の基準位置を基準とした遷移領域を設定する遷移領域設定部と、前記ベース画像、及びベース画像後のフレームから得られるターゲット画像、に含まれる特徴点に基づき、画像間における前記特徴点の変位量を算出する変位量算出部と、前記変位量に基づき、前記ターゲット画像中の基準位置が前記遷移領域の内側であるか否かを判定する判定部と、前記ターゲット画像中の基準位置が前記遷移領域の内側である場合には、前記ベース画像を変更せず、外側である場合には、前記ターゲット画像中の基準位置が前記遷移領域の外側となる前のフレームから得られるターゲット画像を、新たなベース画像に設定する画像更新部と、前記ベース画像に含まれる前記特徴点と、前記ターゲット画像に含まれる前記特徴点と、の変位量に基づいて、移動ロボットの移動量を算出する移動量算出部と、を備える。

【0014】

本発明の一態様に係る移動量推定方法は、走行路面の動画像を撮像するステップと、前記動画像の任意のフレームをベース画像に設定するステップと、前記ベース画像中の基準位置を基準とした遷移領域を設定するステップと、前記ベース画像、及びベース画像後のフレームから得られるターゲット画像、に含まれる特徴点に基づき、画像間における前記特徴点の変位量を算出するステップと、前記変位量に基づき、前記ターゲット画像中の基準位置が前記遷移領域の内側であるか否かを判定するステップと、前記ターゲット画像中の基準位置が前記遷移領域の内側である場合には、前記ベース画像を変更せず、外側である場合には、前記ターゲット画像中の基準位置が前記遷移領域の外側となる前のフレームから得られるターゲット画像を、新たなベース画像に設定するステップと、前記ベース画像に含まれる前記特徴点と、前記ターゲット画像に含まれる前記特徴点と、の変位量に基づいて、移動ロボットの移動量を算出するステップと、を備える。

【0015】

本発明の一態様は、上記移動ロボットとしてコンピュータを機能させるための移動ロボット制御プログラムである。

【発明の効果】

【0016】

本発明によれば、ビジュアルオドメトリを用いる場合でも移動量を高精度に推定することが可能になる。

【図面の簡単な説明】

【0017】

【図1】図１は、実施形態に係る移動ロボットの構成を模式的に示す斜視図である。

【図2】図２は、測定装置の詳細な構成を示すブロック図である。

【図3】図３は、変位量算出処理を示すフローチャートである。

【図4】図４は、ベース画像、及びベース画像に設定される遷移領域を示す説明図である。

【図5】図５は、移動ロボットが一次元的に移動した際の、動画像の各フレームに含まれる特徴点の変位量を示す説明図である。

【図6】図６は、移動ロボットの移動に伴ってベース画像が更新される動作を示す説明図である。

【図7】図７は、実施形態に係る移動ロボットの動作を示すフローチャートである。

【図8】図８は、移動ロボットの移動に伴う、ベース画像及びターゲット画像の中心点の変位を示す説明図である。

【図9A】図９Ａは、実施例１による結果を示すグラフである。

【図9B】図９Ｂは、実施例１による結果の数値を示す図である。

【図10A】図１０Ａは、実施例２による結果を示すグラフである。

【図10B】図１０Ｂは、実施例２による結果の数値を示す図である。

【図11】図１１は、本実施形態のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について図面を参照して説明する。図１は実施形態に係る移動ロボット１の構成を示す斜視図である。なお、本実施形態では一例として４輪の移動ロボットを例に挙げて説明するが、本発明はこれに限定されず、４輪以外の移動ロボットについても適用することができる。

【0019】

図１に示すように、移動ロボット１は、直方体形状をなす移動台車３１と、４つの車輪Ｖ１、Ｖ２、Ｖ３、Ｖ４と、測定装置１０を備えている。車輪Ｖ１～Ｖ４は、例えばオムニホイールである。移動台車３１の前方には、カメラ３２が搭載されている。

【0020】

移動ロボット１は、走行路面４上を走行する。移動ロボット１は、各車輪Ｖ１～Ｖ４の回転を制御することにより、走行路面４上を所望の方向に移動可能とすることができる。走行路面４は、屋内、屋外のいずれであってもよい。走行路面４は、例えば屋外の路面である。走行路面４は平坦であるとは限らず、凹凸が存在することもある。

【0021】

カメラ３２は、撮像方向が走行路面４側（即ち、下方）を向くように設置されており、所定のフレームレート（例えば、３０［ｆｐｓ］）で走行路面４の動画像を撮像する。即ち、カメラ３２は、走行路面４の動画像を撮像する撮像部としての機能を備えている。

【0022】

図２は、移動ロボット１に搭載される測定装置１０及びカメラ３２の構成を示すブロック図である。

【0023】

図２に示すように測定装置１０は、画像設定部１１と、変位量算出部１２と、遷移領域設定部１３と、判定部１５と、画像更新部１６と、移動量算出部１７と、推定部１８と、マップ作成部１９と、記憶部２０と、ＧＰＳ受信部２１と、を備えている。

【0024】

画像設定部１１は、カメラ３２で撮像された動画像に含まれる任意のフレームの画像を、移動ロボット１の移動量を測定する際の基準となるベース画像に設定する。任意のフレームは、例えば動画の撮像開始時におけるフレームとすることができる。例えば、移動ロボット１の初期位置において、カメラ３２により撮像されたフレームの画像をベース画像とすることができる。

【0025】

即ち、画像設定部１１は、カメラ３２で撮像された動画像の任意のフレームの画像をベース画像に設定する。画像設定部１１は、ベース画像の後のフレーム画像を、ベース画像に対して変位するターゲット画像に設定する。また、動画像の１フレームごとにターゲット画像を設定してもよい。

【0026】

変位量算出部１２は、カメラ３２で撮像された走行路面４の動画像を取得する。変位量算出部１２は、走行路面４の動画像の各フレームに含まれる特徴点を所定の時間間隔で時系列的に抽出する。例えば、カメラ３２で撮像する画像のフレームレートが３０［ｆｐｓ］である場合には、所定の時間間隔は１フレーム（０．０３秒）である。特徴点は、例えば画像に含まれる走行路面４にペイントされた文字、記号、模様、汚れ、突起物の影などである。なお、特徴点を検出する時間間隔は、１フレームに限らず所定のフレーム数としてもよい。また、特徴点を検出する時間間隔は所定の時間間隔に限らず、任意の時間間隔であってもよい。

【0027】

変位量算出部１２は、カメラ３２で撮像される動画像の１フレームごとに特徴点を抽出し、抽出される特徴点の変位量を算出する。変位量算出部１２は、各フレーム間における特徴点の変位量（例えば、移動したピクセル数）をオプティカルフローを用いて算出する。変位量算出部１２は、特徴点の変位量を判定部１５及び移動量算出部１７に出力する。即ち、変位量算出部１２は、走行路面４の動画像に基づき、移動ロボット１の移動に伴う動画像に含まれる特徴点の変位量を時系列的に算出する。

【0028】

以下、フレーム間の変位量の算出方法について説明する。図３は、周知の技術であるビジュアルオドメトリの手法を用いてフレーム間の変位量を算出する手順を示すフローチャートである。図３に示す処理（以下、「変位量算出処理」という）の前処理として、各フレーム画像の特徴点の検出が実施される。図３に示す変位量算出処理は、変位量算出部１２により実行される。図３では、一例として２つのフレーム間（これを、第１フレーム、第２フレームとする）における特徴点の変位量を算出する例について説明する。

【0029】

図３のステップＳ１１において変位量算出部１２は、第１フレームに含まれる特徴点から第２フレームに含まれる特徴点に向かう特徴ベクトルを抽出する。特徴ベクトルの抽出は、複数の特徴点に対して実行してもよい。

【0030】

ステップＳ１２において変位量算出部１２は、Ｓ１１の処理で抽出した各特徴ベクトルの距離が近いペアをマッチングする。

【0031】

ステップＳ１３において変位量算出部１２は、Ｓ１２の処理でマッチングされない特徴ベクトルを除外する。更に、特徴ベクトルの回転角度を算出する。

【0032】

ステップＳ１４において変位量算出部１２は、特徴点とカメラ３２との間の距離に基づいて、特徴点ごとの変位量を算出する。即ち、図１に示したように、カメラ３２の撮像面と走行路面４との間の距離はほぼ一定であるから、カメラ３２で撮像される動画像のフレーム間での特徴点の変位量を算出することができる。

【0033】

ステップＳ１５において、特徴量の変位量の平均値を算出し、この平均値を２つのフレーム間、即ち、第１フレームと第２フレームとの間の変位量とする。

【0034】

上述した「変位量算出処理」により、第１フレームを基準位置としたときの、第２フレームの位置（移動先の位置）を算出することができる。具体的には、下記（１）式により、基準位置と移動先の位置を示すことができる。

【0035】

【数1】

【0036】

（１）式において、（ｘ，ｙ）はベース画像と移動先となるターゲット画像の変位ベクトル、θは回転角度である。

【0037】

図２に戻って、遷移領域設定部１３は、画像設定部１１にて設定されたベース画像中に基準位置を設定し、この基準位置を基準とした遷移領域を設定する。本実施形態では、一例としてベース画像の中心点を基準位置に設定する。また本実施形態では、一例として基準位置から所定距離以内となる領域を遷移領域に設定する。即ち、遷移領域設定部１３は、ベース画像中の基準位置（例えば、中心点）を基準とした遷移領域Ｒ１を設定する。遷移領域Ｒ１は、例えば基準位置から半径ｒ以内の領域である。

【0038】

「遷移領域」とは、ベース画像後のフレームから得られるターゲット画像の中心点がベース画像の中心点に対して遠ざかったときに、ベース画像を更新するか否かを判定する閾値とする領域である。具体的には、ターゲット画像の中心点が遷移領域の内側である場合には、このターゲット画像はベース画像から大きく離れていないのでベース画像を更新しない。一方、ターゲット画像の中心点が遷移領域の外側である場合には、ターゲット画像はベース画像から大きく離れているのでベース画像を更新する。詳細については後述する。

【0039】

図４は、ベース画像を示す説明図である。例えば、カメラ３２による動画の撮像開始時におけるフレームの画像をベース画像Ｄ１とすることができる。図４に示すように、ベース画像Ｄ１の中心点Ｃ１を基準位置とし、この中心点Ｃ１から所定距離以内の領域を遷移領域Ｒ１に設定する。図４では、中心点Ｃ１から半径ｒとなる領域を遷移領域Ｒ１に設定している。なお、遷移領域は、中心点Ｃ１から等距離である領域でなくてもよい。例えば、中心点Ｃ１を中心とした楕円、長方形、正方形などであってもよい。また、基準位置は中心点Ｃ１でなくてもよい。

【0040】

判定部１５は、変位量算出部１２で算出された変位量に基づき、ターゲット画像の中心点がベース画像Ｄ１（図４参照）に設定した遷移領域Ｒ１の内側であるか、或いは外側であるかを判定する。即ち、判定部１５は、変位量に基づき、ターゲット画像中の基準位置が遷移領域Ｒ１の内側であるか否かを判定する。

【0041】

画像更新部１６は、判定部１５においてターゲット画像の中心点が遷移領域Ｒ１の外側であると判定された際に、このターゲット画像の１つ前（直前）のフレームの画像を、新たなベース画像に設定する。以下、ターゲット画像の中心点が遷移領域Ｒ１の外側であると判定された際にベース画像を更新する理由について説明する。

【0042】

図５は、移動ロボットが一次元的に移動したときの、動画像の各フレームに含まれる特徴点の変位量を示す説明図である。図５において、動画像の撮像を開始した後に、「Frame０」、「Frame１」、「Frame２」、・・の順に画像が取得されるものとする。

【0043】

図５（ｂ）は、各フレーム「Frame０」～「Frame４」における特徴点の実際の位置を示している。

【0044】

図５（ａ）は、各フレーム間の変位量、即ち、互いに隣接するフレーム間における変位量を逐次積算して、「Frame０」を基準とした各フレームの変位量を算出する例（従来の方法）を示している。具体的には、変位量ｄ０は「Frame０」と「Frame１」から算出され、変位量ｄ１は「Frame１」と「Frame２」から算出される。即ち、図５（ａ）は、フレームごとに基準位置を変更して変位量を算出している。

【0045】

一方、図５（ｃ）は、撮像開始直後のフレームである「Frame０」を基準として、その後の「Frame１」～「Frame４」の変位量を算出する例を示している。具体的には、変位量ｄ'０は「Frame０」と「Frame１」から算出され、変位量ｄ'１は「Frame０」と「Frame２」から算出され、変位量ｄ'２は「Frame０」と「Frame３」から算出される。即ち、図５（ｃ）は、フレームごとに基準位置を変更せずに変位量を算出している。

【0046】

図５（ｂ）と（ａ）を対比して理解されるように、フレームごとに基準位置を変更して変位量を算出すると、各フレーム間において誤差Δｄが発生しており、この誤差Δｄはフレーム数が進むに連れて加算されていく。具体的には「Frame３」における誤差は「３*Δｄ」となる。

【0047】

一方、図５（ｂ）と（ｃ）を対比して理解されるように、基準位置を変更せずに変位量を算出すると、各フレームにおいて誤差Δｄはほぼ一定である。具体的には「Frame３」における誤差はΔｄとなり、図５（ａ）の場合と比べて誤差が小さくなっている。

【0048】

本実施形態では、ベース画像（「Frame０」に対応）を基準として各ターゲット画像（「Frame１」～「Frame４」に対応）の変位量を算出し、変位量が図４に示した半径ｒを超えた際にベース画像を更新し、更新後のベース画像を新たな基準として各ターゲット画像の変位量を算出する。

【0049】

具体的には、図５（ｃ）に示す「Frame４」おいては、変位量ｄ'３が半径ｒを超えている。従って、「Frame４」の一つ前である「Frame３」を新たなベース画像に設定して変位量を算出する。このため、図５（ｃ）に示す「Frame４」においては、変位量ｄ'２と変位量ｄ''３を加算した数値が変位量となる。この場合、変位量に生じる誤差は２*Δｄとなり、図５（ａ）に示した「Frame４」における誤差４*Δｄよりも小さい数値となっている。

【0050】

上述のように、各フレームどうしの間で特徴点の変位量を積算すると、積算するごとに誤差が蓄積されていき、フレーム数が増えるに連れて、誤差が大きくなる可能性がある。本実施形態では、ベース画像を基準として各ターゲット画像の変位量を算出し、ターゲット画像の中心点が遷移領域Ｒ１の外側となった場合（半径rを超えた場合）に、画像更新部１６によりベース画像を更新することにより、誤差を低減する。

【0051】

即ち、画像更新部１６は、ターゲット画像中の基準位置が遷移領域Ｒ１の内側である場合には、ベース画像を変更せず、外側である場合には、ターゲット画像中の基準位置が遷移領域Ｒ１の外側となる前のフレームから得られるターゲット画像を、新たなベース画像に設定する。

【0052】

なお、本実施形態ではターゲット画像の中心点が遷移領域Ｒ１の外側であると判定された際に、このターゲット画像の１つ前（直前）のフレームの画像を、新たなベース画像に設定する例について示したが、２つ以上前のフレームの画像を新たなベース画像に設定してもよい。

【0053】

図２に示す移動量算出部１７は、ベース画像に含まれる特徴点と、ターゲット画像に含まれる特徴点と、の変位量に基づいて、移動ロボット１の移動量（移動距離、移動方向）を算出する。

【0054】

以下、移動量の算出方法を、図６を参照して説明する。図６は、移動ロボット１の移動に伴ってベース画像が更新される動作を模式的に示す説明図である。

【0055】

図６（ａ）はベース画像Ｄ１を示し、図６（ｂ）、（ｃ）はベース画像Ｄ１の次のフレームのターゲット画像Ｄ２を示している。図６（ｄ）はターゲット画像Ｄ２の次のフレームのターゲット画像Ｄ３を示し、図６（ｅ）はターゲット画像Ｄ３の次のフレームのターゲット画像Ｄ４を示している。

【0056】

図６（ａ）に示すように、ベース画像Ｄ１には、特徴点ｐ１、ｐ２が含まれている。ベース画像Ｄ１の後に得られるターゲット画像Ｄ２に含まれる特徴点ｐ１、ｐ２の変位量に基づいて、ベース画像Ｄ１の中心点Ｃ１からターゲット画像Ｄ２の中心点Ｃ２への変位量を算出することができる。

【0057】

即ち、図６（ａ）のベース画像Ｄ１に含まれる特徴点ｐ１、ｐ２と、図６（ｂ）のターゲット画像Ｄ２に含まれる特徴点ｐ１、ｐ２を比較し、この変位量を算出することにより、図６（ｃ）に示すように、ベース画像Ｄ１の中心点Ｃ１からターゲット画像Ｄ２の中心点Ｃ２への変位量（矢印Ｙ１で表記）を算出することができる。

【0058】

図６（ｂ）、（ｃ）に示すターゲット画像Ｄ２の中心点Ｃ２は、遷移領域Ｒ１の内側であるので、ベース画像は更新されない。中心点Ｃ１からＣ２への変位量が移動ロボット１の移動量となる。

【0059】

同様に、図６（ｄ）に示すように、ターゲット画像Ｄ３が得られた際には、該ターゲット画像Ｄ３の中心点Ｃ３は遷移領域Ｒ１の内側であり、ベース画像は更新されない。ターゲット画像Ｄ３に含まれる特徴点ｐ１、ｐ２の位置に基づいて変位量が算出され、ひいては、中心点Ｃ１からＣ３への変位量（矢印Ｙ２で表記）が移動ロボット１の移動量となる。

【0060】

次いで、図６（ｅ）に示すように、ターゲット画像Ｄ４が得られた際には、ターゲット画像Ｄ４に含まれる特徴点ｐ１、ｐ２の位置に基づいて変位量が算出され、ひいては、ベース画像Ｄ１の中心点Ｃ１からターゲット画像Ｄ４の中心点Ｃ４までの変位量（矢印Ｙ３で表記）を算出する。中心点Ｃ１からＣ４への変位量が移動ロボット１の移動量となる。

【0061】

この際、中心点Ｃ４は遷移領域Ｒ１の外側であるので、画像更新部１６によりベース画像を更新する。具体的には、ターゲット画像Ｄ４の一つ前のターゲット画像Ｄ３を新たなベース画像に設定する。また、更新後のベース画像に再度遷移領域Ｒ１を設定し、図６（ａ）以降の処理を繰り返しながら、移動ロボット１の移動量を算出する。

【0062】

即ち、移動量算出部１７は、ベース画像に設定した中心点（例えば、図６（ａ）のＣ１）を基準とし、ベース画像の後に得られるターゲット画像の中心点の変位量に基づいて移動ロボット１の移動量を算出する。また、ターゲット画像の中心点が遷移領域Ｒ１の外側である場合には、ベース画像を更新し、更新後のベース画像を基準として上記と同様の処理により移動ロボット１の移動量を算出する。

【0063】

即ち、移動量算出部１７は、ベース画像に含まれる特徴点と、ベース画像後のフレームから得られるターゲット画像に含まれる特徴点と、の変位量に基づいて、移動ロボット１の移動量を算出する。

【0064】

図２に戻ってマップ作成部１９は、移動量算出部１７で算出された移動ロボット１の移動量に基づいて、移動ロボット１が移動した経路を示すマップを作成する。

【0065】

記憶部２０は、マップ作成部１９で作成されたマップを記憶する。

【0066】

ＧＰＳ受信部２１は、ＧＰＳ衛星との間で通信を行い、移動ロボット１の位置情報を受信する。ＧＰＳ受信部２１は、移動ロボット１の位置情報を推定部１８に出力する。

【0067】

推定部１８は、ＧＰＳ受信部２１から移動ロボット１の初期的な位置情報を受信する。即ち、推定部１８は、移動ロボット１の移動開始前の二次元位置情報を取得することができる。推定部１８は、移動量算出部１７で算出された移動ロボット１の移動量、及び移動開始前の移動ロボット１の二次元位置情報に基づいて、移動ロボット１が走行路面４を移動したときの二次元位置を推定する。推定部１８は、推定した二次元位置情報を外部機器に出力する。

【0068】

即ち、推定部１８は、移動ロボット１の初期位置及び移動量に基づいて、移動ロボット１の二次元位置を推定する。

【0069】

次に、上述のように構成された本実施形態に係る移動ロボットの動作を、図７に示すフローチャート及び図８に示す各フレーム画像の変位図を参照して説明する。図７に示す処理は、図２に示した測定装置１０により実行される。

【0070】

初めに、ステップＳ３１においてユーザは、ベース画像に設定する遷移領域の大きさ設定する。具体的には、図３、図８に示す半径ｒを設定する。

【0071】

ステップＳ３２において画像設定部１１は、カメラ３２による動画の撮像が開始されると、動画に含まれる最初のフレームを読み込んでベース画像に設定する。例えば図８に示すように、動画の初期フレームをベース画像Ｄ１に設定する。更に、中心点Ｃ１を中心とした半径ｒの領域を遷移領域Ｒ１に設定する。

【0072】

更に、ベース画像Ｄ１の中心点Ｃ１の座標を原点（０，０）とし、移動ロボット１の左右方向をＸ軸とし、前後方向をＹ軸とする。

【0073】

ステップＳ３３において変位量算出部１２は、画像設定部１１で設定されたベース画像に含まれる特徴点を検出する。特徴点については、図６にて示した通りである。

【0074】

ステップＳ３４において画像設定部１１は、ベース画像の次のフレームをターゲット画像に設定する。具体的には、図８に示すターゲット画像Ｄ２を設定する。

【0075】

ステップＳ３５において変位量算出部１２は、ターゲット画像に含まれる特徴点を検出する。

【0076】

ステップＳ３６において変位量算出部１２は、前述した図３に示した「変位量算出処理」を実行して、ベース画像Ｄ１に対するターゲット画像Ｄ２の変位量ｄ［ｄＸ，ｄＹ］、及び回転角度［ｄθ］を算出する。

【0077】

例えば、図８に示すターゲット画像Ｄ２が設定された場合には、ベース画像Ｄ１の中心点Ｃ１からターゲット画像Ｄ２の中心点Ｃ２までの変位量ｄ［ｄＸ，ｄＹ］、及び回転角度［ｄθ］を算出する。

【0078】

ステップＳ３７において判定部１５は、変位量ｄが半径ｒ以下であるか否かを判定する。即ち、「（変位量）≦半径ｒ」であるか否かを判定する。変位量ｄが半径ｒ以下である場合には（Ｓ３７；ＹＥＳ）、ステップＳ４１に移行し、そうでなければ（Ｓ３７；ＮＯ）、ステップＳ３８に処理を移行する。具体的には、図８に示す中心点Ｃ２、Ｃ３は半径ｒの遷移領域Ｒ１の内側であるので、Ｓ３７でＹＥＳ判定となり、中心点Ｃ４は半径ｒの遷移領域Ｒ１の外側であるので、Ｓ３７でＮＯ判定となる。

【0079】

ステップＳ４１において移動量算出部１７は、ベース画像（初期的にはＤ１）の中心点（初期的にはＣ１）と、ターゲット画像の中心点に基づいて、移動ロボット１の移動量（移動距離及び回転角度を含む）を算出する。具体的には、図８に示す中心点Ｃ１とＣ２の変位量に基づいて、ベース画像Ｄ１からターゲット画像Ｄ２へ移動したときの移動ロボット１の移動量を算出する。また、中心点Ｃ１とＣ３の変位量に基づいて、ベース画像Ｄ１からターゲット画像Ｄ３へ移動したときの移動ロボット１の移動量を算出する。

【0080】

更に推定部１８は、ＧＰＳ受信部２１にて受信される移動ロボット１の初期的な二次元位置と、移動量算出部１７で算出された移動量、即ち移動距離及び方位角に基づいて、移動ロボット１の現在の二次元位置を推定する。また、マップ作成部１９は、移動ロボット１の移動経路を示すマップを作成し、記憶部２０に記憶する。

【0081】

ステップＳ４２において画像設定部１１は、カメラ３２で撮像される動画像の最終フレームであるか否かを判定し、最終フレームでなければ（Ｓ４２；ＮＯ）、ステップＳ３４に処理を戻し、そうでなければ（Ｓ４２；ＹＥＳ）、本処理を終了する。

【0082】

一方、上述したステップＳ３７の処理において、変位量ｄが半径ｒを上回ると判定された場合（Ｓ３７；ＮＯ）には、ステップＳ３８において、中心点Ｃ１を基準とした遷移ベクトルを設定する。具体的には、図８に示す中心点Ｃ４（Ｃ４に対応するターゲット画像は記載を省略している）は、遷移領域Ｒ１の外側に存在している。この場合には、中心点Ｃ１から、ターゲット画像の一つ前のフレームであるターゲット画像Ｄ３の中心点Ｃ３に向かうベクトルを、遷移ベクトルＭ（ＭＸ，ＭＹ，Ｍθ）を設定する。

【0083】

ステップＳ３９において画像更新部１６は、ベース画像を更新する。具体的には、前述した図６にて示したように、ターゲット画像の中心がベース画像に設定した遷移領域の外側となった際には、このフレームの１つ前のフレームの画像、即ちターゲット画像Ｄ３を新たなベース画像に設定する。また、新たなベース画像（Ｄ３）に対して中心点から半径ｒとなる円の範囲を新たな遷移領域に設定する。

【0084】

ステップＳ４０において変位量算出部１２は、新たなベース画像に対して特徴点を設定し、ステップＳ３６に処理を戻す。一つ前のフレームに含まれる特徴点は既に検出しているので、この特徴点をコピーしてもよいし、再度、特徴点の検出を実施してもよい。こうすることにより、ベース画像を適宜更新しながら、移動ロボットの移動量を測定することが可能になる。図８に示すＣ４→Ｃ５→・・→Ｃ１６のように、順次画像が移動し、ターゲット画像Ｄ１６に達する。即ち、ベース画像を更新しながら、各ターゲット画像までの変位量を算出して、移動ロボット１の二次元位置座標を推定することができるのである。

【0085】

即ち、図８に示したように、ターゲット画像Ｄ３が設定された際には、中心点Ｃ１に対する中心点Ｃ２の変位量と、中心点Ｃ２に対する中心点Ｃ３の変位量との積算値を移動ロボット１の移動量とするのではなく、中心点Ｃ１に対する中心点Ｃ３の変位量を移動量としている。このため、前述した図５にて説明したように移動量に含まれる誤差を低減することができる。

【0086】

次に、実際に移動ロボット１を走行させる実験を実施した結果について説明する。発明者らは、以下に示す第１実施例、第２実施例に示す実験を実施した。以下、図９Ａ、図９Ｂ、図１０Ａ、図１０Ｂを参照して、詳細に説明する。

【0087】

（第１実施例）
第１実施例として、移動ロボット１を模擬した手押し台車（以下、単に「台車」という）に床面動画像を撮像するための床面撮像カメラ（図１に示すカメラ３２に対応）を設置し、床面動画像による二次元自己位置推定を行った実験を行った。図９Ａは、自己位置推定の結果を示すグラフである。図９Ｂは、上記の実験結果の数値を示す図である。

【0088】

第１実施例では、台車全体を上方から撮像可能な外部カメラを用いて、台車が移動した経路を撮像し、この画像に基づいて台車の二次元位置を算出した。更に、床面撮像カメラを用いて台車の二次元位置を推定した結果と比較した。図９Ａにおいて、実線で示す曲線ｑ１は外部カメラを用いたときの測定結果を示し、破線で示す曲線ｑ２は床面撮像カメラ用いて二次元位置自己位置推定を行ったときの結果を示している。

【0089】

外部カメラを用いた測定では、外部カメラの撮像面から床面までの距離と、外部カメラに搭載される撮像素子のピクセルサイズと、撮像する画像の実寸サイズと、を比較する。その結果、撮像素子の１ピクセルあたりの画像の実寸法、即ち、分解能を算出することができる。算出された分解能と、遷移領域Ｒ１を設定せずに算出される移動量の推定結果との差分を移動量推定結果の誤差とする。

【0090】

床面撮像カメラで撮像した動画像を用いた台車の移動量の推定は、図７のフローチャートに示した処理を採用しているが、第１実施例では、遷移領域Ｒ１を示す半径ｒを「０」に設定している。即ち、図４において半径ｒ＝０としており、遷移領域Ｒ１を設定していないことに相当する。実験の手順は以下に示す（ａ）～（ｃ）に示す通りである。
（ａ）動画撮影
（ａ１）台車を円弧を描くように左斜め前に前進させる。

【0091】

（ａ２）台車の角度が初期状態に対して９０度となった地点（停止地点）において台車を一時停止させる。

【0092】

（ａ３）一時停止した地点までの走行経路を戻るように台車を後進させ、スタート地点（最終地点）まで移動させる。即ち、スタート地点→停止地点→最終地点となるように台車を往復移動させる。

【0093】

（ａ４）このとき、台車の上方に設置した外部カメラ、及び台車に設置した床面撮像カメラの双方において動画を撮像する。
（ｂ）外部カメラによる変位算出
外部カメラで撮像された動画像において、連続するフレームの画像に基づいて台車の移動量を算出する。
（ｃ）路面動画像による変位算出
図３に示した変位量算出処理により、台車の移動量を算出する。

【0094】

上記した（ａ）～（ｃ）の実験では、操作者による人力で台車を移動させており、平均１０［ｃｍ／sec］程度で移動させた。また、外部カメラの分解能を測定したところ３［ｍｍ］という結果が得られた。

【0095】

図９Ａに示す曲線ｑ１、ｑ２から、台車を約（１５００ｍｍ）×（１２００ｍｍ）の領域を移動させたときに、外部カメラによる二次元位置の推定結果と、床面撮像カメラによる二次元位置の推定結果では、一定の誤差が生じていることが示された。即ち、半径ｒを「０」に設定して遷移領域Ｒ１を設定しない場合には、隣り合うフレームの画像間での変位量を積算して移動量が算出されることになる。図９Ｂに示すように、停止地点（往路の終点）において５５．７ｍｍの誤差が発生し、最終地点（復路の終点）において、４３．８ｍｍの誤差が発生するという結果が得られた。

【0096】

（第２実施例）
第２実施例では、図４に示したベース画像Ｄ１に遷移領域Ｒ１を設定し、ターゲット画像の中心点が遷移領域Ｒ１の外側に移動したときにのみベース画像を更新するというアルゴリズムを用いて、上記した第１実施例と同様の実験を実施した。

【0097】

即ち、上述の（ｃ）に示した変位量算出処理において、遷移領域Ｒ１を半径ｒ＝５ｍｍに設定して台車の移動量を算出した。また、前述した第１実施例と同様に、遷移領域Ｒ１を設定せずに（即ち、遷移領域Ｒ１の半径ｒ＝０として）台車の移動量を算出した。

【0098】

図１０Ａにおいて、実線で示す曲線ｑ１１は上部カメラで撮像した画像により算出される台車の二次元位置を示す。破線で示す曲線ｑ１２は、台車に設置した床面撮像カメラで撮像された路面の動画像を用い、遷移領域Ｒ１を設定せずに算出した台車の二次元位置を示す。一点鎖線で示す曲線ｑ１３は、台車に設置した床面撮像カメラで撮像された路面の動画像を用い、半径５ｍｍの遷移領域Ｒ１を設定して算出した台車の二次元位置を示す。

【0099】

図１０Ａに示す曲線ｑ１１とｑ１２から、遷移領域Ｒ１を設定せずに算出した台車の自己位置推定結果は、外部カメラで撮像した動画像に基づいて算出した台車の自己位置推定結果に対して、一定の誤差を有することが示された。これに対して、曲線ｑ１１とｑ１３はほぼ一致しており、遷移領域Ｒ１を設定して算出した台車の自己位置推定結果は、外部カメラで撮像した動画像に基づいて算出した台車の自己位置推定結果にほぼ一致しているという結果が得られた。

【0100】

具体的には、図１０Ｂに示すように、往路の終点（停止地点）において、遷移領域Ｒ１を設定しない場合には５８．２ｍｍの誤差が発生したのに対して、遷移領域Ｒ１を設定した場合（「半径５ｍｍ」と記載）では、誤差は８．１ｍｍであった。また、復路の終点（最終地点）において遷移領域Ｒ１を設定しない場合には誤差が４３．９ｍｍであったのに対して、遷移領域Ｒ１を設定した場合には、誤差は０．５ｍｍであった。

【0101】

ベース画像に遷移領域を設定し、ターゲット画像の中心点が遷移領域の外側に移動したときにのみベース画像を更新するというアルゴリズムを用いることにより、台車の二次元位置を高精度に推定できるという結果が得られた。

【0102】

このように、本実施形態に係る移動ロボットは、走行路面４の動画像を撮像するカメラ３２（撮像部）と、動画像の任意のフレーム（例えば、初期フレーム）をベース画像に設定する画像設定部１１と、ベース画像中の基準位置を基準とした遷移領域Ｒ１を設定する遷移領域設定部１３と、ベース画像、及びベース画像後のフレームから得られるターゲット画像、に含まれる特徴点に基づき、画像間における特徴点の変位量を算出する変位量算出部１２と、変位量に基づき、ターゲット画像中の基準位置が遷移領域Ｒ１の内側であるか否かを判定する判定部１５と、ターゲット画像中の基準位置が遷移領域Ｒ１の内側である場合には、ベース画像を変更せず、外側である場合には、ターゲット画像中の基準位置が遷移領域Ｒ１の外側となる前のフレームから得られるターゲット画像を、新たなベース画像に設定する画像更新部１６と、ベース画像に含まれる特徴点と、ターゲット画像に含まれる特徴点と、の変位量に基づいて、移動ロボット１の移動量を算出する移動量算出部１７と、を備える。

【0103】

本実施形態では、ターゲット画像の中心点が遷移領域Ｒ１の内側に存在する場合には、ベース画像の特徴点、或いは中心点を基準として、ターゲット画像の変位量を算出するので、移動ロボット１の移動量を高精度に算出することができる。従って、ビジュアルオドメトリを用いる場合でも移動量を高精度に推定することが可能になる。

【0104】

また、本実施形態では、ターゲット画像の中心点がベース画像に設定した遷移領域Ｒ１の外側となった直前のフレームの画像を、新たなベース画像に設定するので、移動ロボット１の移動量をより高精度に算出することが可能になる。

【0105】

即ち、図５（ａ）に示したように、動画像に含まれるフレームごとに変位量を積算する方法では誤差Δｄが積載されることにより、全体の誤差が大きくなる。しかし、本実施形態では図５（ｃ）に示すように、ベース画像が更新されるまでは、１つのベース画像を基準として変位量を算出するので、誤差を低減することが可能になる。

【0106】

本実施形態では、カメラ３２で撮像される動画像に含まれる１フレームごとにターゲット画像を設定して、ベース画像に対する変位量を算出するので、移動ロボット１の移動量をより高精度に算出することが可能になる。

【0107】

本実施形態では、遷移領域Ｒ１の中心点を、ベース画像の中心に設定するので、移動ロボット１の移動量をより高精度に算出することが可能になる。

【0108】

本実施形態では、ベース画像に基準位置（例えば、中心点）を設定し、この基準位置から半径ｒの範囲（即ち、所定距離以内の領域）を遷移領域Ｒ１に設定するので、ターゲット画像の中心が遷移領域の内側であるか、或いは外側であるかを、より正確に認識して移動ロボット１の移動量を算出することが可能になる。

【0109】

本実施形態では、マップ或いは周辺環境の情報を利用するなどの特別な装置を必要としないため、移動ロボット１を安価に構成することが可能になる。また、誤差を小さくすることを可能としたことにより、移動ロボット１の移動量が長距離になった際において対応することが可能になる。

【0110】

上記説明した本実施形態の移動ロボット１には、図１１に示すように例えば、ＣＰＵ（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（ＨＤＤ：Hard Disk Drive、ＳＳＤ：Solid StateDrive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムを用いることができる。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、移動ロボット１の各機能が実現される。

【0111】

なお、移動ロボット１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、移動ロボット１は、コンピュータに実装される仮想マシンであっても良い。

【0112】

なお、移動ロボット１用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ (Compact Disc)、ＤＶＤ (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0113】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0114】

１ 移動ロボット
４ 走行路面
１０ 測定装置
１１ 画像設定部
１２ 変位量算出部
１３ 遷移領域設定部
１５ 判定部
１６ 画像更新部
１７ 移動量算出部
１８ 推定部
１９ マップ作成部
２０ 記憶部
２１ ＧＰＳ受信部
３１ 移動台車
３２ カメラ
Ｒ１ 遷移領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】