特開 2024-107947 移動体位置推定システムおよび移動体位置推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024107947

(43)【公開日】2024-08-09

(54)【発明の名称】移動体位置推定システムおよび移動体位置推定方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240802BHJP

   G05D 1/43 20240101ALI20240802BHJP

【ＦＩ】

G06T7/70 A

G05D1/02 K

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023012158

(22)【出願日】2023-01-30

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】田副 佑典

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】相川 徹郎

(72)【発明者】

【氏名】三浦 崇広

【テーマコード（参考）】

5H301

5L096

【Ｆターム（参考）】

5H301AA02

5H301AA10

5H301BB10

5H301BB14

5H301CC03

5H301CC06

5H301CC10

5H301FF07

5H301FF11

5H301GG09

5H301HH10

5L096BA05

5L096CA02

5L096CA04

5L096FA52

5L096FA64

5L096FA66

(57)【要約】

【課題】移動体の実際の位置を推定する精度を向上させることができる移動体位置推定技術を提供する。
【解決手段】移動体位置推定システム１は、特定被写体３２の実際の物理空間４０における３次元の座標４１を記憶しているコンピュータ７を備え、コンピュータ７は、カメラ４で撮影した映像に写る物体の複数の特徴点を抽出し、それぞれの特徴点の３次元の座標が記録され、移動体２の周辺環境の情報を含む環境マップ５０を生成し、環境マップ５０に記録された特徴点に基づいて、環境マップ５０における移動体２の位置を示す３次元の座標５３を推定し、カメラ４で撮影した映像に写る特定被写体３２の物理空間４０における座標４１および映像中の位置に基づいて、環境マップ５０の座標系およびスケールを、物理空間４０の座標系および大きさに合わせる補正を行うように構成されている。
【選択図】図３

【特許請求の範囲】

【請求項1】

移動体に搭載され、前記移動体の周辺の映像を撮影する、１つ以上のカメラと、
前記移動体が進行する場所に予め固定された状態で存在する少なくとも１つの特定被写体の実際の物理空間における３次元の座標を記憶している、１つ以上のコンピュータと、
を備え、
前記コンピュータは、
前記カメラで撮影した前記映像に写る少なくとも１つの物体の複数の特徴点を抽出し、
それぞれの前記特徴点の３次元の座標が記録され、前記移動体の周辺環境の情報を含む環境マップを生成し、
前記環境マップに記録された前記特徴点に基づいて、前記環境マップにおける前記移動体の位置を示す３次元の座標を推定し、
前記カメラで撮影した前記映像に写る前記特定被写体の前記物理空間における座標および前記映像中の位置に基づいて、前記環境マップの座標系およびスケールを、前記物理空間の座標系および大きさに合わせる補正を行う、
ように構成されている、
移動体位置推定システム。

【請求項2】

前記コンピュータは、
前記環境マップに新規に記録する前記特徴点を既知の前記特徴点と比較し、新規の前記特徴点が既知の前記特徴点と関連があると判定した場合に、新規の前記特徴点を既知の前記特徴点に関連する前記物体に対応付けて記録し、
新規の前記特徴点の座標から、新規の前記特徴点を抽出した前記映像を撮影した時点の前記移動体の座標を推定し、
前記移動体の座標および新規の前記特徴点の前記映像中の位置に基づいて、前記移動体から新規の前記特徴点までの距離を計測し、
計測した距離を前記環境マップに記録する、
ように構成されている、
請求項１に記載の移動体位置推定システム。

【請求項3】

前記映像が任意のフレームレートで撮影した動画であり、
前記コンピュータは、
推定した前記移動体の座標を、前記物体を写した前記映像を撮影した時点のフレームに対応付けて記憶する、
ように構成されている、
請求項１または請求項２に記載の移動体位置推定システム。

【請求項4】

前記映像が任意のフレームレートで撮影した動画であり、
前記コンピュータは、
推定した前記移動体の座標を、前記特定被写体を写した前記映像を撮影した時点のフレームに対応付けて記憶する、
ように構成されている、
請求項１または請求項２に記載の移動体位置推定システム。

【請求項5】

前記コンピュータは、
前記映像から前記特定被写体が検出できない場合に、前記移動体の移動量から前記特定被写体の座標を推定し、
推定した前記特定被写体の座標と前記環境マップに基づいて、前記映像における前記特定被写体が写っている可能性がある範囲を特定し、
特定した前記範囲から前記特定被写体を検出する、
ように構成されている、
請求項１または請求項２に記載の移動体位置推定システム。

【請求項6】

前記コンピュータは、
前記特定被写体の座標および前記映像中の位置に基づいて、前記物理空間における前記カメラの撮影位置の座標を求め、
前記環境マップにおける前記移動体の座標が、前記撮影位置の座標に合致するように、前記環境マップの座標系およびスケールを補正する、
ように構成されている、
請求項１または請求項２に記載の移動体位置推定システム。

【請求項7】

前記コンピュータは、
少なくとも３つの前記特定被写体の座標および前記映像中の位置に基づいて、前記環境マップの座標系およびスケールを、前記物理空間の座標系および大きさに合わせる補正を行う、
ように構成されている、
請求項１または請求項２に記載の移動体位置推定システム。

【請求項8】

前記特定被写体は、読取可能なコードを印字したマーカーを含み、
前記コンピュータは、前記マーカーを個々に識別可能な識別情報に対応付けて前記マーカーの座標を記憶している、
請求項１または請求項２に記載の移動体位置推定システム。

【請求項9】

前記コンピュータは、
前記マーカーの識別情報に対応付けて前記マーカーの色の情報を記憶しており、
前記色に基づいて、前記映像中の前記マーカーの位置を検出する、
ように構成されている、
請求項８に記載の移動体位置推定システム。

【請求項10】

前記コンピュータは、
前記移動体の座標を推定したときに検出した前記マーカーの個数を記録し、
第１個数の前記マーカーを検出したときに推定した前記移動体の座標よりも、前記第１個数よりも多い第２個数の前記マーカーを検出したときに推定した前記移動体の座標を優先して処理に用いて、前記移動体の位置を推定する、
ように構成されている、
請求項８に記載の移動体位置推定システム。

【請求項11】

前記移動体が進行する場所に予め固定された状態で任意の種類の前記物体が設けられ、
前記特定被写体は、予め設定された種類の前記物体を含み、
前記コンピュータは、前記物体を個々に識別可能な識別情報に対応付けて前記物体の種類および座標を記憶している、
請求項１または請求項２に記載の移動体位置推定システム。

【請求項12】

前記コンピュータは、
前記カメラで撮影した前記映像から任意の種類の前記物体を検出したときに、既知の前記特定被写体の座標に基づいて、前記物理空間における前記物体の位置を示す３次元の座標を算出し、
座標を算出した前記物体を新規の前記特定被写体として記憶する、
ように構成されている、
請求項１１に記載の移動体位置推定システム。

【請求項13】

移動体に搭載され、前記移動体の周辺の映像を撮影する、１つ以上のカメラと、
前記移動体が進行する場所に予め固定された状態で存在する少なくとも１つの特定被写体の実際の物理空間における３次元の座標を記憶している、１つ以上のコンピュータと、
を用いて行う方法であり、
前記コンピュータが、
前記カメラで撮影した前記映像に写る少なくとも１つの物体の複数の特徴点を抽出し、
それぞれの前記特徴点の３次元の座標が記録され、前記移動体の周辺環境の情報を含む環境マップを生成し、
前記環境マップに記録された前記特徴点に基づいて、前記環境マップにおける前記移動体の位置を示す３次元の座標を推定し、
前記カメラで撮影した前記映像に写る前記特定被写体の前記物理空間における座標および前記映像中の位置に基づいて、前記環境マップの座標系およびスケールを、前記物理空間の座標系および大きさに合わせる補正を行う、
移動体位置推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、移動体位置推定技術に関する。

【背景技術】

【0002】

従来、発電プラントまたは工場では、安全に運転するために、定期的に点検員が巡視点検し、膨大な機器の保守点検を行っている。しかし、遠隔地に在る発電プラントまたは災害時などの緊急時には、ロボットまたはドローンによる無人点検が望まれている。しかし、屋内では、衛星測位システムが利用できないため、他の手段による位置推定が必要になる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／１３７３１５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の保守点検では、現場で点検員が確認した結果を手書き記録し、事務所で点検記録を作成するなどの人手による作業が多く、作業の省力化を図る取り組みが行われている。ここで、モバイル端末を利用し、人手を支援するサービスがある。しかし、遠隔地または緊急時に点検員が現場に行くことは困難である。そこで、ロボットまたはドローンによる自動点検の検討が進められている。この自動点検を行うためには、ロボットまたはドローンの進行経路を設定し、かつロボットまたはドローンの自己位置を推定する必要がある。

【0005】

安価なセンサを用いた自己位置の推定方法として、カメラで撮影された映像による自己位置の推定方法がある。しかし、映像による自己位置の推定は、スケールが不定になるおそれがある。また、点検箇所の照合または図面と重畳を行うためには、自己位置の推定の精度を高める必要がある。

【0006】

本発明の実施形態は、このような事情を考慮してなされたもので、移動体の実際の位置を推定する精度を向上させることができる移動体位置推定技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の実施形態に係る移動体位置推定システムは、移動体に搭載され、前記移動体の周辺の映像を撮影する、１つ以上のカメラと、前記移動体が進行する場所に予め固定された状態で存在する少なくとも１つの特定被写体の実際の物理空間における３次元の座標を記憶している、１つ以上のコンピュータと、を備え、前記コンピュータは、前記カメラで撮影した前記映像に写る少なくとも１つの物体の複数の特徴点を抽出し、それぞれの前記特徴点の３次元の座標が記録され、前記移動体の周辺環境の情報を含む環境マップを生成し、前記環境マップに記録された前記特徴点に基づいて、前記環境マップにおける前記移動体の位置を示す３次元の座標を推定し、前記カメラで撮影した前記映像に写る前記特定被写体の前記物理空間における座標および前記映像中の位置に基づいて、前記環境マップの座標系およびスケールを、前記物理空間の座標系および大きさに合わせる補正を行う、ように構成されている。

【発明の効果】

【0008】

本発明の実施形態により、移動体の実際の位置を推定する精度を向上させることができる移動体位置推定技術が提供される。

【図面の簡単な説明】

【0009】

【図1】第１実施形態の移動体位置推定システムを示す側面図。

【図2】移動体位置推定システムを示すブロック図。

【図3】移動体位置推定システムの処理の流れを示す説明図。

【図4】点検場所を示す平面図。

【図5】環境マップを物理空間に合わせて補正する態様を示す説明図。

【図6】マーカーを示す正面図。

【図7】マーカー管理テーブルを示す説明図。

【図8】位置記録テーブルを示す説明図。

【図9】第２実施形態の移動体位置推定システムの処理の流れを示す説明図。

【図10】現場マーカー管理テーブルを示す説明図。

【図11】カメラで撮影した点検場所の映像を示す画像図。

【図12】第３実施形態の移動体位置推定システムの処理の流れを示す説明図。

【図13】物体管理テーブルを示す説明図。

【発明を実施するための形態】

【0010】

（第１実施形態）
以下、図面を参照しながら、移動体位置推定システムおよび移動体位置推定方法の実施形態について詳細に説明する。まず、第１実施形態について図１から図８を用いて説明する。

【0011】

図１の符号１は、第１実施形態の移動体位置推定システムである。この移動体位置推定システム１は、床面を走行する点検用ロボットである移動体２の位置を推定する。

【0012】

移動体２は、その筐体の下部に設けられた複数の車輪３を備える。移動体２は、車輪３の回転駆動により走行する。また、移動体２の筐体の上部には、撮影機器としてのカメラ４が搭載されている。このカメラ４は、移動体２の周辺の映像を撮影する。例えば、カメラ４は、点検対象となる機器または構造物などの被写体の詳細な映像を撮影する。

【0013】

移動体位置推定システム１は、カメラ４で撮影された映像に基づいて、移動体２の位置を推定する。なお、移動体２の中央上部にカメラ４が設けられているため、カメラ４の撮影位置と移動体２の位置が同一であるものとして説明する。

【0014】

図４に示すように、移動体２は、点検場所としての所定の建屋３０の屋内を走行する。室内には、点検対象物３１となる多数の機器または構造物が設けられており、これらの映像がカメラ４で撮影される。そして、遠隔地に居る点検員が映像を確認することで点検対象物３１の点検を行う。また、屋内の壁面には、複数の特定被写体としてのマーカー３２が貼り付けられている。移動体位置推定システム１は、これらのマーカー３２の位置を参照し、移動体２の位置の補正を行う。

【0015】

図１に示すように、カメラ４は、全方位に亘って同時に撮影が可能な全方位カメラ（３６０°カメラ）を例示する。このカメラ４は、例えば、凸面鏡などを用いて周囲の風景を１つのイメージセンサに導き、全方位の映像を撮影する。このカメラ４により、移動体２の周辺の上下左右の全方位を写した全天球画像の同時撮影が可能となっている。なお、撮影される映像は、全天球画像でなくてもよく、水平方向の３６０度の範囲（左右全方位）を写したパノラマ画像でもよい。

【0016】

ここでは、１つのカメラ４が、全方位の映像を撮影する形態を例示するが、他の形態でもよい。例えば、複数のカメラ４で撮影した映像を合成して全方位の映像が生成されてもよい。また、魚眼レンズ付きの複数のイメージセンサにより、移動体２の周辺の映像が同時に撮影されてもよい。

【0017】

また、カメラ４は、例えば、パンチルトズームカメラでもよい。パンチルトズームカメラは、水平方向への首振りが可能なパン機能、垂直方向への首振りが可能なチルト機能、ズームイン（望遠）とズームアウト（広角）が可能なズーム機能を有するものである。

【0018】

カメラ４で撮影される映像は、任意のフレームレートで撮影される動画を例示する。なお、カメラ４で撮影される映像は、一定間隔で撮影される静止画でもよい。

【0019】

次に、移動体位置推定システム１のシステム構成を図２に示すブロック図を参照して説明する。

【0020】

移動体位置推定システム１は、カメラ４と走行用モータ５と通信部６と制御コンピュータ７とを備える。制御コンピュータ７は、処理回路８と記憶部９とを備える。これらは、移動体２に搭載されている。

【0021】

本実施形態では、理解を助けるために、移動体位置推定システム１を構成するデバイスの全てが移動体２に搭載されている形態を例示しているが、他の形態でもよい。例えば、制御コンピュータ７の少なくとも一部の機能が、移動体２以外の遠隔地に在る他のコンピュータに設けられてもよい。

【0022】

走行用モータ５は、移動体２の筐体の内部に搭載され、車輪３を回転駆動させる（図１）。走行用モータ５によりそれぞれの車輪３の回転が制御されることで、移動体２は、前進と後退と転回を行うことができる。

【0023】

通信部６は、無線で通信を行う無線通信デバイスである。この通信部６により制御コンピュータ７が他のコンピュータと通信を行うことができる。例えば、制御コンピュータ７と他のコンピュータが、インターネット、ＬＡＮ(Local Area Network)、ＷＡＮ（Wide Area Network）または携帯通信網などの所定の通信回線を介して互いに接続されている。

【0024】

制御コンピュータ７は、移動体２の移動を制御する。なお、本実施形態では、制御コンピュータ７が自動的に移動体２の移動を制御する態様を例示するが、その他の態様でもよい。例えば、制御コンピュータ７は、遠隔地に居るユーザの入力操作を受け付けて移動体２の移動を制御するようにしてもよい。つまり、制御コンピュータ７は、ユーザの手動操作により移動体２を制御するための遠隔操作部でもよい。

【0025】

制御コンピュータ７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）などのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるものである。さらに、本実施形態の移動体位置推定方法は、各種プログラムを制御コンピュータ７に実行させることで実現される。

【0026】

なお、移動体位置推定システム１の各構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、１つの移動体位置推定システム１が、ネットワークで互いに接続された複数のコンピュータで実現されてもよい。また、移動体位置推定システム１が、それぞれ個別のコンピュータに搭載されていてもよい。

【0027】

処理回路８は、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、専用または汎用のプロセッサを備える回路である。このプロセッサは、記憶部９に記憶した各種のプログラムを実行することにより各種の機能を実現する。また、処理回路８は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアで構成してもよい。これらのハードウェアによっても各種の機能を実現することができる。また、処理回路８は、プロセッサとプログラムによるソフトウェア処理と、ハードウェア処理とを組み合わせて、各種の機能を実現することもできる。

【0028】

記憶部９は、所定のデータベースに記憶された情報に基づいて、移動体２の位置の推定を行うときに必要な各種情報を記憶する。例えば、記憶部９は、マーカー管理テーブル（図７）と位置記録テーブル（図８）を記憶する。なお、データベースは、メモリ、ＨＤＤ、ＳＳＤまたはクラウドに記憶され、検索または蓄積ができるよう整理された情報の集まりである。

【0029】

なお、記憶部９が移動体２に搭載される形態を例示しているが、他の形態でもよい。例えば、記憶部９の少なくとも一部の機能が制御コンピュータ７とネットワークを介して接続された他のコンピュータに設けられていてもよい。また、記憶部９の少なくとも一部の機能がクラウド上に設けられていてもよい。

【0030】

図３に示すように、処理回路８は、特徴点抽出部１０と特徴点比較部１１と撮影位置推定部１２と距離計測部１３と撮影位置補正部１４とマーカー検出部１５とマーカー追跡部１６とマーカー撮影位置推定部１７とを有する。また、記憶部９は、特徴点記録部２０と撮影位置記録部２１と補正後撮影位置記録部２２とマーカー検出結果記録部２３とマーカー撮影位置記録部２４とマーカー位置記録部２５とを有する。処理回路８および記憶部９が有するこれらの機能は、メモリ、ＨＤＤまたはＳＳＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0031】

図４に示すように、点検場所は、例えば、発電プラント、化学プラント、工場などの所定のプラントに在る建屋３０の屋内である。プラントには、多数の点検対象物３１が配置されている。なお、点検場所は、大規模な建屋３０が存在する所定の商業施設または公共施設でもよい。

【0032】

移動体２が進行する点検場所には、所定の位置に予め固定された状態で存在する複数の特定被写体としてのマーカー３２が設けられている。これらのマーカー３２は、例えば、屋内の壁面の数箇所に貼り付けられており、移動体２の自己位置を推定するときの補正に用いられる。

【0033】

制御コンピュータ７は、これらのマーカー３２の実際の物理空間４０（図５）における３次元の座標を記憶している。また、制御コンピュータ７は、移動体２の移動に応じて、その周辺環境の情報を含む環境マップ５０（図５）を生成する。例えば、制御コンピュータ７は、移動体２の自己位置推定を行い、移動体２の位置および軌跡を環境マップ５０に記録する。

【0034】

自己位置推定には、ＳＬＡＭ（Simultaneous Localization and Mapping）などの公知の技術が用いられる。この技術により移動体２の自己位置を求め、かつ移動量を求めることができる。特に、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）が用いられる。このＶＳＬＡＭを用いることにより、カメラ４のみで映像の記録と位置の記録が可能となる。

【0035】

制御コンピュータ７は、カメラ４で撮影された映像に基づいて、カメラ４の撮影位置である移動体２の位置および方位の変化を算出する。従って、衛星測位システムが使用できない屋内などの場所でも自己位置推定が可能である。なお、移動体２の方位には、移動体２の傾きなどの姿勢の情報が含まれる。

【0036】

ＶＳＬＡＭは、カメラ４で取得した情報を用いて、周囲の物体の特徴点を抽出する技術である。例えば、カメラ４で撮影した映像を解析し、周囲とのコントラストが際立っている特徴点、例えば、角などの物体の部分を抽出し、複数の特徴点で点群データを生成する。カメラ４が移動した場合、その移動に伴い映像が変化し、映像中の特徴点も移動していく。これらの特徴点の移動を３次元的に追跡していくと、点検場所の３次元点群データとカメラ４の位置を同時に求めることができる。また、カメラ４の映像とそれぞれの特徴点の位置関係から、カメラ４の方位も求めることができる。

【0037】

本実施形態では、全方位の映像に写っている物体の特徴点が抽出される。例えば、位置が既知の所定の箇所を起点として、その起点からのカメラ４（移動体２）の移動の軌跡を算出することで、現在の位置および方位を算出する。このＶＳＬＡＭは、点検場所の３次元点群データを予め取得していなくても自己位置が推定可能な技術である。そして、点検場所において、全方位の映像を構成する複数のフレームに写っている物体のそれぞれの特徴点を算出することで、その特徴点の移動量から自己位置を推定することができる。

【0038】

ＶＳＬＡＭにより取得した３次元点群データは、環境マップ５０（図５）に記録されていく。つまり、物体の複数の特徴点の３次元の座標が環境マップ５０に記録される。制御コンピュータ７は、環境マップ５０に記録された特徴点に基づいて、環境マップ５０における移動体２の位置を示す３次元の座標を推定する。

【0039】

このＶＳＬＡＭにより取得した位置および方位は、ＶＳＬＡＭの処理の開始時点からの相対的な位置および方位の変化の蓄積である。そのため、ＶＳＬＡＭの処理の開始時点に、環境マップ５０と物理空間４０（図５）との間に誤差（位置ずれ）があると、移動体２の正確な位置を推定できなくなる。そこで、物理空間４０との位置合わせを行う、環境マップ５０のずれを補正することで、点検場所に対応した移動体２の位置および方位を推定することができる。

【0040】

第１実施形態では、環境マップ５０と物理空間４０との位置合わせにマーカー３２が用いられる。図６に示すように、マーカー３２は、制御コンピュータ７で画像認識が可能な図形であり、かつ読取可能なコード３３が、所定の台紙３４に印字されている。例えば、マトリックス型２次元コード、所謂ＱＲコード（登録商標）が台紙３４に印字されている。なお、マーカー３２は、公知のＡＲマーカーでもよい。このマーカー３２が点検場所の壁面に貼り付けられる。

【0041】

さらに、マーカー３２の台紙３４の色がそれぞれ異なっている。例えば、赤色、青色、黄色、緑色に、それぞれの台紙３４が色分けされている。少なくとも同じ部屋に設けられる複数のマーカー３２の台紙３４の色は、それぞれ異なるように配置するとよい。なお、同じ部屋に同じ色の複数のマーカー３２が有ってもよいが、その場合でも、同じ壁面に設けられる複数のマーカー３２の色は、互に異なるように配置するとよい。

【0042】

図７に示すように、マーカー管理テーブルには、マーカー３２を個々に識別可能な識別情報であるマーカーＩＤに対応付けて、マーカー３２の色と、マーカー３２が設けられた建屋３０を示す場所ＩＤと、マーカー３２の座標とが登録されている。

【0043】

なお、場所ＩＤは、複数の建屋３０、または複数の部屋を個々に識別可能な識別情報である。本実施形態では、場所ＩＤ毎に物理空間４０の座標系が設定されている。

【0044】

また、マーカー管理テーブルに登録されているマーカー３２の座標は、予め設定された物理空間４０（図５）の座標である。このようにすれば、カメラ４で撮影した映像に写るマーカー３２から、その物理空間４０における座標を特定することができ、そのマーカー３２から移動体２の位置を推定することができる。

【0045】

次に、移動体位置推定システム１の処理の流れについて図３を用いて説明する。なお、前述の図面を適宜参照する。

【0046】

なお、図３中の矢印は、処理の流れを示す一例であり、矢印以外の処理の流れがあってもよい。また、必ずしも、それぞれの処理の前後関係が固定されるものではなく、一部の処理の前後関係が入れ替わってもよい。また、一部の処理が他の処理と並列に実行されてもよい。さらに、移動体位置推定システム１には、図３に示す構成以外のものが含まれてもよいし、図３に示す一部の構成が省略されてもよい。

【0047】

まず、カメラ４は、移動体２の周辺の映像を撮影し、この映像が処理回路８（図２）に送られる。処理回路８における特徴点抽出部１０は、カメラ４から得られた映像から、映像に写る物体の複数の特徴点を映像上の輝度の勾配および類似度を基に抽出する。

【0048】

特徴点記録部２０は、抽出された特徴点の３次元の座標を環境マップ５０（図５）に記録するものである。また、特徴点比較部１１は、特徴点記録部２０に既に記録された特徴点と、特徴点抽出部１０で新たに抽出された特徴点とを、それぞれの特徴点が持つベクトルに基づいて比較する。つまり、この特徴点比較部１１は、同じ物体を写した特徴点であるか否かを比較する。例えば、映像の１フレーム目から抽出した特徴点が、既に環境マップ５０に記録されている場合において、新たに取得した２フレーム目から抽出した特徴点が、既に記録済みの１フレーム目の特徴点と関連があるか否かを比較する。

【0049】

つまり、特徴点比較部１１は、環境マップ５０に新規に記録する特徴点を既知の特徴点と比較する。特徴点比較部１１が新規の特徴点が既知の特徴点と関連があると判定した場合に、特徴点記録部２０は、新規の特徴点を既知の特徴点に関連する物体に対応付けて環境マップ５０に記録する。

【0050】

撮影位置推定部１２は、環境マップ５０に記録された物体のそれぞれの特徴点の３次元の座標から、映像が撮影された位置を推定する。つまり、撮影位置推定部１２は、新規の特徴点の座標から、新規の特徴点を抽出した映像を撮影した時点の移動体２の座標を推定する。撮影位置記録部２１は、撮影位置推定部１２が推定した移動体２の座標を環境マップ５０に記録する。

【0051】

距離計測部１３は、移動体２の座標および新規の特徴点の映像中の位置に基づいて、移動体２から新規の特徴点までの距離を計測する。なお、映像中の位置とは、１枚の映像の縦横を次元軸とした場合の２次元の座標である。例えば、距離計測部１３は、環境マップ５０に未記録の特徴点がある場合に、この特徴点の映像中の位置から、三角測量の原理で、特徴点からカメラ４までの距離を計算する。特徴点記録部２０は、距離計測部１３で計測した距離を座標とともに環境マップ５０に記録する。このようにすれば、物体の正確な位置を環境マップ５０に記録していくことができる。

【0052】

マーカー検出部１５は、カメラ４の映像から、カメラ４との相対座標を求めることが可能なマーカー３２を検出する。この検出の対象となるマーカー３２は、予めマーカー管理テーブル（図７）に登録されている。

【0053】

マーカー追跡部１６は、映像を構成する各フレームに写るマーカー３２を追跡する。このマーカー追跡部１６は、映像からマーカー３２が検出できない場合に、移動体２の移動量からマーカー３２の座標を推定する。そして、マーカー追跡部１６は、推定したマーカー３２の座標と環境マップ５０に基づいて、映像におけるマーカー３２が写っている可能性がある範囲を特定し、特定した範囲からマーカー３２を検出する。このようにすれば、映像からマーカー３２を検出する精度を高めることができる。

【0054】

例えば、カメラ４からマーカー３２までの距離が遠くなると、マーカー３２の検出精度が落ちる。そのため、マーカー追跡部１６は、環境マップ５０から移動体２の位置である撮影位置を読み込み、マーカー３２が存在していると推定される映像の範囲（領域）を抽出し、その範囲に合うパラメータでマーカー３２の検出の処理を行う。このように、画像処理用のパラメータを調整することで、マーカー３２の検出精度を向上させることができる。

【0055】

マーカー検出結果記録部２３は、マーカー３２の検出結果である、マーカー３２および撮影位置の座標を環境マップ５０に記録する。

【0056】

マーカー位置記録部２５は、それぞれのマーカー３２を固定した箇所の座標を管理したい座標系で予め記録している。この管理したい座標系は、例えば、物理空間４０の座標系である。

【0057】

マーカー撮影位置推定部１７は、マーカー３２から求めた撮影位置の相対座標を、マーカー３２が固定された箇所の座標と対応付ける。マーカー撮影位置記録部２４は、マーカー撮影位置推定部１７が、マーカー３２から求めた撮影位置を環境マップ５０に記録する。

【0058】

撮影位置補正部１４は、物体の特徴点により求めた撮影位置とマーカー３２から求めた撮影位置について、同じ映像フレーム同士は合致するように、任意の変換行列を求める。そして、撮影位置補正部１４は、特徴点により求めた撮影位置に、マーカー３２から求めた撮影位置を適用して補正する。

【0059】

ここで、撮影位置補正部１４は、カメラ４で撮影した映像に写るマーカー３２の物理空間４０（図５）における座標および映像中の位置に基づいて、環境マップ５０（図５）の座標系およびスケールを、物理空間４０の座標系および大きさに合わせる補正を行う。この補正には、環境マップ５０の原点と座標軸の向きを、物理空間４０の原点と座標軸の向きに合わせる態様が含まれる。

【0060】

図５に示すように、物理空間４０は、例えば、建屋３０の屋内空間である。この物理空間４０の所定の位置を座標系の原点とし、それぞれのマーカー３２の物理空間４０の座標４１が制御コンピュータ７に記憶されている。それぞれのマーカー３２の座標４１は、ユーザにより予め点検場所で取得され、制御コンピュータ７に入力される。

【0061】

また、環境マップ５０は、移動体２の移動に伴い、制御コンピュータ７で生成および更新される仮想空間である。この環境マップ５０の所定の位置を座標系の原点とし、物理空間４０のマーカー３２の座標４１に基づいて、予め推定されるマーカー３２の座標５１が環境マップ５０にも記録されている。

【0062】

ここで、移動体２が実際の物理空間４０を移動したときに、実際の移動経路４２と環境マップ５０に記録される移動経路５２との間に誤差が生じる。そこで、環境マップ５０に記録されているマーカー３２の座標５１と、実際の物理空間４０のマーカー３２の座標４１とが一致するように、環境マップ５０の座標系およびスケールの補正が行われる。

【0063】

撮影位置補正部１４（図３）は、まず、マーカー３２の物理空間４０の座標４１および映像中のマーカー３２の位置に基づいて、物理空間４０におけるカメラ４の撮影位置の座標４３を射影行列により求める。そして、撮影位置補正部１４は、環境マップ５０における移動体２の座標５３が、実際の撮影位置の座標４３に合致するように、環境マップ５０の座標系およびスケールを補正する。このようにすれば、カメラ４の撮影位置の座標４３から、環境マップ５０の座標系およびスケールを補正することができる。

【0064】

なお、環境マップ５０のスケールとは、環境マップ５０の拡大率または縮小率のことである。このスケールも、ＶＳＬＡＭの処理の開始時点のスケールに依存する。そのため、スケールが補正されることで、カメラ４の正確な撮影位置、つまり物理空間４０における移動体２の正確な位置を推定することができる。

【0065】

このように、移動体２による点検時に、カメラ４の映像から自己位置（撮影位置）を測定し、同時に座標系の補正と座標系のスケールの補正とが行われる。

【0066】

従来の特徴点による自己位置推定（ＶＳＬＡＭ）は、マーカー３２が無くても可能であるが、環境マップ５０の座標系およびスケールが不定となる。一方、マーカー３２による自己位置推定は、マーカー３２が見える範囲でのみ、環境マップ５０の座標系およびスケールで自己位置を求めることができる。本実施形態では、ＶＳＬＡＭにより自己位置を推定しつつ、マーカー３２で自己位置の補正を行うことで、自己位置を推定する精度を向上させることができる。

【0067】

図３に示すように、補正後撮影位置記録部２２は、補正後の環境マップ５０および移動体２の座標である撮影位置を記録する。ここで、補正後撮影位置記録部２２は、位置記録テーブル（図８）に移動体２の座標を登録する。

【0068】

図８に示すように、位置記録テーブルには、映像のフレーム番号に対応付けて、それぞれのフレームの取得時点の移動体２の座標と、それぞれのフレームに写るマーカー３２のマーカーＩＤとが登録されている。なお、１つフレーム番号に対応付けられたマーカーＩＤの個数は、移動体２の座標を推定したときに検出したマーカー３２の個数と同義である。

【0069】

このように、補正後撮影位置記録部２２（図３）は、推定した移動体２の座標を、物体を写した映像を撮影した時点のフレームに対応付けて記憶する。このようにすれば、マーカー追跡部１６が、複数のフレームで互いに重畳する特徴点の座標を求め易くなり、かつ移動体２の座標を推定し易くなる。

【0070】

また、補正後撮影位置記録部２２（図３）は、推定した移動体２の座標を、マーカー３２を写した映像を撮影した時点のフレームに対応付けて記憶する。このようにすれば、マーカー追跡部１６（図３）が、それぞれのフレームの映像に写るマーカー３２の追跡を行い易くなる。

【0071】

図３に示すように、特徴点比較部１１は、例えば、位置記録テーブルの映像のフレーム番号をキーとして、それぞれの特徴点が重畳するような変換座標を求める。このようにすれば、撮影位置推定部１２が、それぞれの特徴点による撮影位置を推定することができる。その結果に基づいて、撮影位置補正部１４が、環境マップ５０の座標系およびスケールを補正することができる。そのため、点検員は、点検場所の図面の映像中の点検対象物３１の照合と確認が容易に行える。

【0072】

また、制御コンピュータ７は、第１個数のマーカー３２を検出したときに推定した移動体２の座標よりも、第１個数よりも多い第２個数のマーカー３２を検出したときに推定した移動体２の座標を優先して処理に用いて、移動体２の位置を推定する。つまり、制御コンピュータ７は、１つのフレームに写っているマーカー３２が多いときに推定した移動体２の座標を優先的に処理に用いて、移動体２の位置を推定する。検出したマーカー３２の個数が多い方が、移動体２の位置（撮影位置）をより正確に推定することができる。

【0073】

例えば、特徴点記録部２０が記録する特徴点は、距離計測部１３の計測時に映像に写っていたマーカー３２の個数に対応付けて記録される。そして、撮影位置推定部１２は、映像に写っていたマーカー３２の個数がより多いものを優先して処理に用いることで、より位置関係が信頼できる推定結果を導くことができる。

【0074】

撮影位置補正部１４は、少なくとも３つのマーカー３２の座標および映像中の位置に基づいて、環境マップ５０の座標系およびスケールを、物理空間４０の座標系および大きさに合わせる補正を行う。このようにすれば、３次元である環境マップ５０の座標系およびスケールの補正をより正確に行うことができる。

【0075】

また、従来、カメラ４からマーカー３２までの距離が長くなると、映像に写るマーカー３２のサイズが小さくなり、検出できない場合がある。この場合、マーカー３２による撮影位置の推定精度が低下する。ここで、多数のマーカー３２を壁面に貼り付けることでマーカー３２が検出される範囲を増やすことも可能であるが、マーカー３２の貼り付け作業に手間がかかる。

【0076】

ここで、本実施形態のマーカー３２の台紙３４の色は、それぞれ異なる。そのため、カメラ４から遠くに在るマーカー３２であっても、マーカー３２の色に基づいて、その位置を抽出することができる。例えば、制御コンピュータ７は、マーカー管理テーブル（図７）に示すように、マーカー３２の識別情報に対応付けてマーカー３２の色の情報を記憶している。そして、制御コンピュータ７は、これらの色に基づいて、映像中のマーカー３２の位置を検出する。

【0077】

マーカー検出部１５またはマーカー追跡部１６は、映像中のマーカー３２が存在している可能性がある範囲（領域）から、指定した色の範囲（複数の画素）を抽出し、その重心位置にマーカー３２が存在しているとして、マーカー３２の映像中の位置を特定する。このマーカー３２の座標が環境マップ５０に記録される。このようにすれば、マーカー３２が遠くに在っても、その色からマーカー３２を識別することができる。

【0078】

また、マーカー撮影位置推定部１７は、マーカー３２自体ではなく、色の点としてマーカー３２が記録されている場合には、複数の点の位置をＰｎＰ問題として処理してもよい。例えば、マーカー３２の物理空間４０における座標と、マーカー３２の映像中の位置（映像中の２次元座標）との関係が、ＰｎＰ問題として解析され、このマーカー３２により撮影位置が推定されてもよい。

【0079】

第１実施形態において、ユーザは、少数のマーカー３２を建屋３０の壁面に貼り付ける。ユーザがこの作業を行うだけで、環境マップ５０のスケールおよび座標系を補正することができる。そのため、従来、人手で補正している作業を削減し、自動点検を行う移動体２の運用が容易になる。

【0080】

（第２実施形態）
次に、第２実施形態の移動体位置推定システム１Ａについて図９から図１１を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。

【0081】

図９に示すように、第２実施形態の処理回路８（図２）は、第１実施形態の構成に加えて、物体検出部６０と物体追跡部６１と物体位置推定部６２とを備える。また、第２実施形態の記憶部９（図２）は、第１実施形態の構成に加えて、現場マーカー記録部６３を備える。処理回路８および記憶部９が有するこれらの機能は、メモリ、ＨＤＤまたはＳＳＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0082】

第２実施形態では、点検場所に在る所定の物体がマーカー３２（図４）の代わりに用いられる。例えば、移動体２（図４）が進行する場所に予め固定された状態で任意の種類の物体が設けられている。この任意の種類の物体の座標が新たに記録されると、その物体が特定被写体としての現場マーカーになる。

【0083】

図１１に示すように、現場マーカーとして用いることができる物体の種類は、例えば、モータまたはポンプ７０などの機器、機器に設けられた計器７１またはバルブ７２、機器に取り付けられて機器の銘柄を表示した銘板７３などである。つまり、点検場所でその位置が動かないものが現場マーカーになる。カメラ４で撮影した点検場所の映像に写るこれらの物体が画像認識技術により処理され、物体の映像中の位置が特定される。現場マーカーとなる種類は、ユーザが予め設定する。

【0084】

現場マーカー記録部６３（図９）は、現場マーカー管理テーブルを記憶する。図１０に示すように、現場マーカー管理テーブルには、現場マーカーである物体を個々に識別可能な識別情報であるマーカーＩＤに対応付けて、物体の種類と、物体が設けられた建屋３０を示す場所ＩＤと、物体の座標とが登録される。これらの情報は、予め決められた任意の物体がカメラ４の映像から検出される度に登録される。つまり、現場マーカー記録部６３は、任意の物体の位置および種類を記憶している。

【0085】

また、現場マーカー管理テーブルに登録されている物体の座標は、予め設定された物理空間４０（図５）の座標である。つまり、現場マーカー記録部６３（図９）は、物体を個々に識別可能な識別情報に対応付けて物体の種類および座標を記憶する。このようにすれば、カメラ４で撮影した映像に写る物体から、その物理空間４０における座標を特定することができ、その物体から移動体２の位置を推定することができる。

【0086】

例えば、最初に移動体２が点検場所を進行して登録された現場マーカーは、次に移動体２が点検場所を進行するときにその自己位置の推定に用いることができる。

【0087】

次に、移動体位置推定システム１Ａの処理の流れについて図９を用いて説明する。なお、前述の図面を適宜参照する。

【0088】

第２実施形態では、第１実施形態の処理に加えて、現場マーカーとなる種類の物体を検出する処理が実行される。ここで、物体検出部６０は、カメラ４で撮影された映像中において物体を囲む映像の矩形領域（図１１）を検出する。さらに、物体追跡部６１は、映像を構成する各フレームに写る物体を追跡する。

【0089】

物体位置推定部６２は、物体の位置を推定する。現場マーカー記録部６３は、物体位置推定部６２が推定した物体の位置を、まず環境マップ５０に記録する。この環境マップ５０は、物理空間４０に一致するように補正されるため、その補正後の物体の座標が、物理空間４０に一致するようになる。

【0090】

つまり、物体位置推定部６２は、カメラ４で撮影した映像から任意の種類の物体を検出したときに、既知のマーカー３２または既知の現場マーカーの座標に基づいて、物理空間４０における物体の位置を示す３次元の座標を算出する。現場マーカー記録部６３は、この補正後の物体の座標を、新規の現場マーカー（特定被写体）として現場マーカー管理テーブルに登録する。このようにすれば、新規に検出した物体を現場マーカーとして利用することができる。

【0091】

その後、現場マーカー（物体）の座標は、マーカー３２の座標と同様に、移動体２の自己位置の推定に用いられる。このようにすれば、マーカー３２が検出できない場合でも、物体をマーカー３２の代わりに用いて、移動体２の自己位置を推定することができる。

【0092】

第２実施形態において、ユーザは、少数のマーカー３２を建屋３０の壁面に貼り付ける、または、点検場所に固定されている物体の種類を取得し、制御コンピュータ７に入力する。ユーザがこれらの作業を行うだけで、環境マップ５０のスケールおよび座標系を補正することができる。そのため、従来、人手で補正している作業を削減し、自動点検を行う移動体２の運用が容易になる。

【0093】

（第３実施形態）
次に、第３実施形態の移動体位置推定システム１Ｂについて図１２から図１３を用いて説明する。なお、前述した実施形態に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。

【0094】

図１２に示すように、第３実施形態の処理回路８（図２）は、特徴点抽出部１０と特徴点比較部１１と撮影位置推定部１２と距離計測部１３と撮影位置補正部１４と物体検出部６０と物体追跡部６１と物体撮影位置推定部６４とを有する。また、第３実施形態の記憶部９（図２）は、特徴点記録部２０と撮影位置記録部２１と補正後撮影位置記録部２２と物体検出結果記録部６５と物体撮影位置記録部６６と図面情報記録部６７とを有する。処理回路８および記憶部９が有するこれらの機能は、メモリ、ＨＤＤまたはＳＳＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0095】

第３実施形態では、第１実施形態のマーカー３２（図４）が用いられず、点検場所に在る物体（現場マーカー：特定被写体）が代わりに用いられる。図面情報記録部６７は、物体管理テーブルを記憶する。この物体管理テーブルに登録されるものは、予め固定された状態の任意の種類の物体に関する情報である。

【0096】

図１３に示すように、物体管理テーブルは、物体（現場マーカー）を個々に識別可能な識別情報である物体ＩＤに対応付けて、物体の種類と、物体が設けられた建屋３０を示す場所ＩＤと、物体の座標とが登録されている。

【0097】

また、物体管理テーブルに登録されている物体の座標は、予め設定された物理空間４０（図５）の座標である。このようにすれば、カメラ４で撮影した映像に写る物体から、その物理空間４０における座標を特定することができ、その物体から移動体２の位置を推定することができる。

【0098】

次に、移動体位置推定システム１Ｂの処理の流れについて図１２を用いて説明する。なお、前述の図面を適宜参照する。

【0099】

第３実施形態では、第１実施形態の特徴点を抽出する処理に加えて、現場マーカーとしての予め設定された物体を検出する処理が実行される。

【0100】

物体検出部６０は、カメラ４の映像から、カメラ４との相対座標を求めることが可能な物体（現場マーカー）を検出する。この検出の対象となる物体は、予め物体管理テーブル（図１３）に登録されている。ここで、物体検出部６０は、映像中において物体を囲む映像の矩形領域（図１１）を検出する。

【0101】

物体追跡部６１は、映像を構成する各フレームに写る物体を追跡する。この物体追跡部６１は、映像から物体が検出できない場合に、移動体２の移動量から物体の座標を推定する。そして、物体追跡部６１は、推定した物体の座標と環境マップ５０に基づいて、映像における物体が写っている可能性がある範囲を特定し、特定した範囲から物体を検出する。このようにすれば、映像から物体を検出する精度を高めることができる。

【0102】

物体検出結果記録部６５は、物体の検出結果である、物体および撮影位置の座標を環境マップ５０に記録する。

【0103】

図面情報記録部６７は、それぞれの物体が固定された箇所の座標を管理したい座標系で予め記録している。この管理したい座標系は、例えば、物理空間４０の座標系である。

【0104】

物体撮影位置記録部６６は、物体から求めた撮影位置の相対座標を、物体が固定された箇所の座標と対応付ける。この物体撮影位置記録部６６は、物体撮影位置推定部６４が、物体から求めた撮影位置を環境マップ５０に記録する。

【0105】

図面情報記録部６７は、図面、３次元点群データまたは３ＤＣＡＤ上で物体の種類と座標を記録している。また、物体検出部６０は、物体の映像中の位置（２次元の座標）と種類を算出する。これらの記録および算出の結果が比較され、ＰｎＰ問題として処理されてもよい。例えば、同一種類の物体の３次元の座標と映像中の位置との関係を解析し、その物体が撮影されたときのカメラ４の撮影位置が推定されてもよい。

【0106】

また、図面に記載されていない物体が検出され、かつ同じ物体が複数のフレームから検出された場合、物体の３次元の座標をカメラ４の撮影位置から推定し、推定した結果を図面情報記録部６７に記録してもよい。

【0107】

第３実施形態において、ユーザは、物体の種類と座標を取得し、制御コンピュータ７に入力する。ユーザがこの作業を行うだけで、環境マップ５０のスケールおよび座標系を補正することができる。そのため、従来、人手で補正している作業を削減し、自動点検を行う移動体２の運用が容易になる。

【0108】

以上、移動体位置推定システム１，１Ａ，１Ｂおよび移動体位置推定方法が第１実施形態から第３実施形態に基づいて説明されているが、いずれかの実施形態において適用された構成が他の実施形態に適用されてもよいし、各実施形態において適用された構成が組み合わされてもよい。

【0109】

前述の実施形態のシステムは、ＦＰＧＡ、ＧＰＵ、ＣＰＵおよび専用のチップなどのプロセッサを高集積化させた制御装置と、ＲＯＭおよびＲＡＭなどの記憶装置と、ＨＤＤおよびＳＳＤなどの外部記憶装置と、ディスプレイなどの表示装置と、マウスおよびキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

【0110】

なお、前述の実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。追加的または代替的に、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一時的な記憶媒体に記憶されて提供される。

【0111】

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータに格納し、ネットワーク経由でダウンロードさせて提供するようにしてもよい。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用回線で相互に接続し、組み合わせて構成することもできる。

【0112】

なお、前述の実施形態は、移動体２として床面を走行する点検用ロボットを例示しているが、その他の態様でもよい。例えば、移動体２は、空中を飛行する点検用ドローンでもよい。また、移動体２は、点検員が持ち運びできる携帯端末でもよい。点検員がカメラ４（移動体２）を持ち運び、カメラ４の映像から後日に撮影位置を推定してもよい。また、移動体２は、点検員が被るヘルメットでもよく、このヘルメットにカメラ４が取り付けられてもよい。また、点検員の体のどこかにカメラ４が取り付けられてもよい。つまり、点検員自体が移動体２として構成されてもよい。

【0113】

以上説明した少なくとも１つの実施形態によれば、カメラ４で撮影した映像に写る特定被写体の物理空間４０における座標および映像中の位置に基づいて、環境マップ５０の座標系およびスケールを、物理空間４０の座標系および大きさに合わせる補正を行うことにより、移動体２の実際の位置を推定する精度を向上させることができる。

【0114】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態またはその変形は、発明の範囲と要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0115】

１，１Ａ，１Ｂ…移動体位置推定システム、２…移動体、３…車輪、４…カメラ、５…走行用モータ、６…通信部、７…制御コンピュータ、８…処理回路、９…記憶部、１０…特徴点抽出部、１１…特徴点比較部、１２…撮影位置推定部、１３…距離計測部、１４…撮影位置補正部、１５…マーカー検出部、１６…マーカー追跡部、１７…マーカー撮影位置推定部、２０…特徴点記録部、２１…撮影位置記録部、２２…補正後撮影位置記録部、２３…マーカー検出結果記録部、２４…マーカー撮影位置記録部、２５…マーカー位置記録部、３０…建屋、３１…点検対象物、３２…マーカー、３３…コード、３４…台紙、４０…物理空間、４１…座標、４２…移動経路、４３…座標、５０…環境マップ、５１…座標、５２…移動経路、５３…座標、６０…物体検出部、６１…物体追跡部、６２…物体位置推定部、６３…現場マーカー記録部、６４…物体撮影位置推定部、６５…物体検出結果記録部、６６…物体撮影位置記録部、６７…図面情報記録部、７０…ポンプ、７１…計器、７２…バルブ、７３…銘板。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】