IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -画像センサの情報補正方法及び移動体 図1
  • -画像センサの情報補正方法及び移動体 図2
  • -画像センサの情報補正方法及び移動体 図3
  • -画像センサの情報補正方法及び移動体 図4
  • -画像センサの情報補正方法及び移動体 図5
  • -画像センサの情報補正方法及び移動体 図6
  • -画像センサの情報補正方法及び移動体 図7
  • -画像センサの情報補正方法及び移動体 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-06
(45)【発行日】2023-01-17
(54)【発明の名称】画像センサの情報補正方法及び移動体
(51)【国際特許分類】
   G01S 7/497 20060101AFI20230110BHJP
   G01S 17/88 20060101ALI20230110BHJP
   G01S 17/87 20200101ALI20230110BHJP
   G05D 1/02 20200101ALI20230110BHJP
【FI】
G01S7/497
G01S17/88
G01S17/87
G05D1/02 K
【請求項の数】 8
(21)【出願番号】P 2019028257
(22)【出願日】2019-02-20
(65)【公開番号】P2020134319
(43)【公開日】2020-08-31
【審査請求日】2021-12-16
(73)【特許権者】
【識別番号】500302552
【氏名又は名称】株式会社IHIエアロスペース
(73)【特許権者】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】110002664
【氏名又は名称】弁理士法人相原国際知財事務所
(72)【発明者】
【氏名】熊倉 弘隆
【審査官】九鬼 一慶
(56)【参考文献】
【文献】国際公開第2018/182737(WO,A1)
【文献】特開2018-077196(JP,A)
【文献】特表2016-540198(JP,A)
【文献】特表2013-531237(JP,A)
【文献】特開2003-344045(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
G01S 17/00 -17/95
G05D 1/02
(57)【特許請求の範囲】
【請求項1】
移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、
前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、
前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する画像センサの情報補正方法。
【請求項2】
前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する請求項1に記載の画像センサの情報補正方法。
【請求項3】
前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する請求項1に記載の画像センサの情報補正方法。
【請求項4】
移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、
形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構を前記移動体が備えている場合において、
前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、
前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして配置し、
前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する画像センサの情報補正方法。
【請求項5】
周囲の多点距離情報を取得する複数の画像センサと、
前記複数の画像センサで取得した多点距離情報を処理して3D地図を作成する処理部を備えた移動体において、
前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、
前記処理部では、前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する移動体。
【請求項6】
前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、
前記処理部では、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する請求項5に記載の移動体。
【請求項7】
前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、
前記処理部では、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する請求項5に記載の移動体。
【請求項8】
周囲の多点距離情報を取得する複数の画像センサと、
形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構と、
前記複数の画像センサで取得した多点距離情報を処理して3D地図を作成する処理部を備えた移動体において、
前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、
前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして配置し、
前記処理部では、前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体の周辺地図を作成する段階において、地面や障害物との距離を多点距離情報として取得する画像センサの情報補正方法及び画像センサを複数搭載した移動体に関するものである。
【背景技術】
【0002】
従来、周囲の多点距離情報を取得する画像センサを複数搭載した移動体としては、例えば、特許文献1に記載されたものがある。
この特許文献1に記載された移動体は、移動ロボットであって、レーザ光を走査して移動方向前方側の距離を計測する画像センサとしての2つのLRF(Laser Range Finder;レーザレンジファインダ)と、これらのLRFで取得した多数の距離情報を処理して3D地図を作成する処理部を備えている。
【0003】
この場合、2つのLRFにはINS(Inertial Navigation System;慣性航法装置)が一体的に取り付けられており、処理部では、LRFで取得した多点距離情報に含まれる揺れによる移動量をINSの情報に基づいて補正して、補正後の各多点距離情報に基づいて3D地図を作成するようになっている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2011-145156号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、画像センサとしてのLRFを多数搭載する移動ロボット、例えば、多数のLRFを後付けしてロボット化したパワーショベル等の建設機械において、LRFで取得する多点情報に揺れの影響が及ばないように多数のLRFの全てを剛性高く取り付けることは実際問題として困難である。
【0006】
このため、正確な多点情報を取得するためには、多数のLRFの全てに上記したINSを一体で取り付けたり、近隣に配置されるLRF同士を高剛性の取り付け具を用いて連結したりする必要があるが、LRFの全てにINSを一体で取り付ける場合には、コストが嵩むのを避けることがでず、一方、近隣のLRF同士を高剛性の取り付け具で連結する場合には、重量増及び大型化を招いてしまうという問題があり、この問題を解決することが従来の課題となっていた。
【0007】
本発明は、上記した従来の課題に着目してなされたもので、例えばLRFを多数搭載する移動ロボットに採用した場合において、LRFによる正確な多点情報の取得を実現したうえで、情報取得コストを低く抑えると共に、小型軽量化をも実現することができる画像センサの情報補正方法及び移動体を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の第1の態様は、移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。
【0009】
本発明の第2の態様は、前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。
【0010】
本発明の第3の態様は、前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。
【0011】
本発明の第4の態様は、移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構を前記移動体が備えている場合において、前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして配置し、前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。
【0012】
一方、本発明の第5の態様は、周囲の多点距離情報を取得する複数の画像センサと、前記複数の画像センサで取得した多点距離情報を処理して3D地図を作成する処理部を備えた移動体において、前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、前記処理部では、前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する構成としている。
【0013】
本発明の第6の態様は、前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記処理部では、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する構成としている。
【0014】
本発明の第7の態様は、前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記処理部では、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する構成としている。
【0015】
本発明の第8の態様は、周囲の多点距離情報を取得する複数の画像センサと、形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構と、前記複数の画像センサで取得した多点距離情報を処理して3D地図を作成する処理部を備えた移動体において、前記複数の画像センサのうちの少なくとも1つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも1つを従画像センサとして配置し、前記処理部では、前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて3D地図を作成する構成としている。
【発明の効果】
【0016】
本発明に係る画像センサの情報補正方法では、例えばLRFを多数搭載する移動ロボットに採用した場合において、LRFによる正確な多点情報の取得を実現したうえで、情報取得コストを低く抑えると共に、小型軽量化をも実現することが可能であるという非常に優れた効果がもたらされる。
【図面の簡単な説明】
【0017】
図1】本発明の一実施形態に係る画像センサの情報補正方法を採用した油圧ショベルの側面説明図(a)及び平面説明図(b)である。
図2図1の油圧ショベルに搭載した慣性航法装置付きLRFの斜視説明図である。
図3図1の油圧ショベルに搭載した2つのLRF情報から3D地図情報を更新する際の流れを示す説明図である。
図4図1の油圧ショベルに搭載した2つのLRFで取得した画像の説明図である。
図5】本発明の他の実施形態に係る画像センサの情報補正方法を採用した油圧ショベルの側面説明図である。
図6図5の油圧ショベルに搭載した2つのLRF情報から3D地図情報を更新する際の流れを示す説明図である。
図7図5の油圧ショベルに搭載した2つのLRFで取得した画像の説明図である。
図8】本発明のさらに他の実施形態に係る画像センサの情報補正方法を採用した場合の2つのLRFで取得した画像の説明図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態を図面に基づいて説明する。
図1図4は、本発明の一実施形態に係る画像センサの情報補正方法を採用した移動体としての油圧ショベルを示している。
【0019】
図1に示すように、油圧ショベル1は、クローラ2を左右に有する下部走行体3と、この下部走行体3の上方に配置されてキャビン4及び作業装置5を有する上部旋回体6を備えており、この上部旋回体6の作業装置5は、油圧により作動するブーム51,アーム52及びバケット53を具備している。
【0020】
下部走行体3のクローラ2は、車載された原動機により駆動されるようになっているが、このクローラ2に代えて、インホールモータ又は原動機により駆動される車輪を前後左右に配置するようにしてもよい。上部旋回体6の作業装置5のバケット53に代えて、他の作業具として、例えば、鉄骨切断具やつかみ具をアーム52に装着してもよい。
【0021】
また、油圧ショベル1は、上部旋回体6のキャビン4の天井4a及び前部4bにそれぞれ配置された画像センサとしてのLRF7,8を備えている。
この場合、キャビン4の天井4aに配置されたLRF7は、図2にも示すように、取り付け具9を介してINS(慣性航法装置)10と抱き合わせて取り付けられている。
【0022】
このような作業装置5及びLRF7,8を備えた油圧ショベル1は、上部旋回体6に搭載された車載制御装置20を備えている。なお、この車載制御装置20と相互にデータ通信を行うオペレータ操作用の遠隔操縦装置を備えた構成としてもよい。
【0023】
車載制御装置20は、油圧ショベル1の自己位置を検出する位置センサと、油圧ショベル1の方向を検出する方向センサと、主コンピュータと、送受信機と、バッテリとから主として構成されており、位置センサには、例えば、GPSが採用され、方向センサには、例えば、加速度計や磁気センサが採用される。
【0024】
この車載制御装置20における主コンピュータは画像処理手段40を具備しており、 この画像処理手段40は、図3に示すように、メモリ部41及び処理部42を有している。メモリ部41には、LRF7,8による多点距離情報と、INS10で取得した揺れによる移動量情報(揺れた際の加速度を2回積分して得られる移動量情報)と、多点距離情報取得時におけるLRF7,8の互いの位置関係情報が記録されるほか、油圧ショベル1の位置及び方向情報や作業装置5の形状情報や作業装置5の姿勢情報が記録される。
【0025】
この際、油圧ショベル1の位置及び方向情報は、前述したように、位置センサ及び方向センサによって検出されるデータである。また、作業装置5の形状情報は、予め設定されているデータであり、作業装置5のブーム51及びアーム52の各諸寸法である。さらに、作業装置5の姿勢情報は、ブーム51及びアーム52をそれぞれ回動させる際の各サーボモータの回転角度により得られるデータである。
【0026】
この実施形態において、INS10を一体的に取り付けたLRF7を主画像センサとすると共に他のLRF8を従画像センサとして、図4に示すように、従画像センサであるLRF8の画像LVに主画像センサであるLRF7の画像UVの一部が重複するように(図示例ではLRF8の画像LVにLRF7の画像UV内に写し出されているバケット53上のマークMが写るように)LRF8を配置することで、このLRF8の画像LVをLRF7の画像UVに関連付けている。
【0027】
つまり、この車載制御装置20における主コンピュータの画像処理手段40において、油圧ショベル1に搭載した2つLRF7,8で周囲の多点距離情報を取得して、3D地図を作成する場合には、まず、メモリ部41において、LRF7,8により取得した多点距離情報と、INS10で取得した揺れによる移動量情報と、多点距離情報取得時におけるLRF7,8の互いの位置関係情報が記録される。
【0028】
次いで、処理部42において、主画像センサであるLRF7の多点距離情報に含まれる揺れによる移動量がINS10で取得した情報により補正され、その一方で、主画像センサであるLRF7のマークMを含む画像UVと従画像センサであるLRF8で取得した画像LVとの重複部分によって、従画像センサであるLRF8の多点距離情報に含まれる揺れによる移動量が補正される。
ここで、主画像センサであるLRF7のマークMを含む画像UVと従画像センサであるLRF8で取得した画像LVとの重ね合わせは、公知技術であるIPCアルゴリズム(Iterative Closest Point Algorithm;反復最近接点アルゴリズム)を用いて行うものとしている。
そして、主画像センサであるLRF7及び従画像センサであるLRF8からの補正後の各センサ出力(移動量)に基づいて3D地図情報の更新が成される。
【0029】
具体的には、INS10の情報により補正された主画像センサであるLRF7の画像UVにおいてマークMまでの測定距離が、例えば、3mであり、INS10が一体化されていない従画像センサであるLRF8の画像LVにおけるマークMまでの測定距離が、例えば、2.8mである場合に、従画像センサであるLRF8で取得した画像LVに揺れによる、例えば、実際の距離よりもマイナス側に測定してしまうような0.1mの移動量があったとしても、従画像センサであるLRF8で取得した画像LVと主画像センサであるLRF7のマークMを含む画像UVとが重複することによって、LRF8のマークMまでの測定距離が2.9mに補正され、主画像センサであるLRF7及び従画像センサであるLRF8からの補正後の各センサ出力(移動量)情報に基づいて3D地図情報の更新が成される。
【0030】
上記したように、この実施形態の油圧ショベル1では、画像センサとしての2つのLRF7,8の一方のLRF7にINS10を剛性高く抱き合わせて一体化したうえで、従画像センサであるLRF8の画像LV及び主画像センサであるLRF7の画像UVの一部が重複するようにLRF7,8をそれぞれ配置したので、他方のLRF8にINS10を一体で取り付けたり、LRF7,8同士を高剛性の取り付け具を用いて連結したりすることなく、LRF8による正確な多点情報を取得することが可能である。
【0031】
したがって、他方のLRF8にINS10を一体で取り付ける必要がない分だけ、情報取得コストを低く抑えることができ、LRF7,8同士を高剛性の取り付け具を用いて連結しなくても済む分だけ、小型軽量化をも実現し得ることとなる。
【0032】
図5図7は、本発明の他の実施形態に係る画像センサの情報補正方法を採用した移動体としての油圧ショベルを示している。
【0033】
図5に示すように、この油圧ショベル1Aが先の一実施形態に係る油圧ショベル1と構造上相違するところは、INS10を一体的に取り付けた主画像センサであるLRF7Aを上部旋回体6のキャビン4後方に支柱6aを介して取り付けた点にある。
【0034】
この実施形態において、車載制御装置20における画像処理手段40のメモリ部41には、図6に示すように、LRF7A,8による多点距離情報と、INS10で取得した揺れによる移動量情報と、LRF7A,8の多点距離情報取得時における位置関係の情報と、作業装置5の形状情報が記録されるほか、油圧ショベル1の位置及び方向情報や作業装置5の姿勢情報が記録される。
【0035】
そして、この実施形態において、図7に示すように、INS10を一体的に取り付けた主画像センサであるLRF7Aの画像UV及び従画像センサである他のLRF8の画像LVに、油圧ショベル1Aの作業装置5における形状情報が既知のアーム52の端部52a,52bが写り込むようにLRF7A,8を配置することで、LRF8の画像LVをLRF7Aの画像UVに関連付けている。
【0036】
つまり、この車載制御装置20における主コンピュータの画像処理手段40において、油圧ショベル1に搭載した2つLRF7A,8で周囲の多点距離情報を取得して、3D地図を作成する場合には、メモリ部41において、LRF7A,8により取得した多点距離情報と、INS10で取得した揺れによる移動量情報と、LRF7A,8の多点距離情報取得時における位置関係の情報と、作業装置5のアーム52の形状情報が記録される。
【0037】
そして、処理部42において、主画像センサであるLRF7Aの多点距離情報に含まれる揺れによる移動量がINS10で取得した情報により補正され、その一方で、主画像センサであるLRF7Aの画像UV及び従画像センサであるLRF8の画像LVにそれぞれ写り込む油圧ショベル1Aの作業装置5におけるアーム52の端部52a,52bの形状情報及び姿勢情報(空間位置情報)に基づいて、従画像センサであるLRF8の多点距離情報に含まれる揺れによる移動量が補正され、主画像センサであるLRF7A及び従画像センサであるLRF8からの補正後の各センサ出力(移動量)情報に基づいて3D地図情報の更新が成される。
【0038】
具体的には、INS10の情報により補正された主画像センサであるLRF7Aの画像UVにおいて作業装置5のアーム52までの測定距離が、例えば、4mであり、INS10が一体化されていない従画像センサであるLRF8の画像LVにおけるマークMまでの測定距離が、例えば、3.8mである場合に、従画像センサであるLRF8で取得した画像LVに揺れによる、例えば、実際の距離よりもマイナス側に測定してしまうような0.1mの移動量があったとしても、主画像センサであるLRF7Aの画像UV及び従画像センサであるLRF8の画像LVにそれぞれ写り込む油圧ショベル1Aの作業装置5におけるアーム52の端部52a,52bの形状情報及び姿勢情報に基づいて、LRF8の作業装置5におけるアーム52までの測定距離が3.9mに補正され、主画像センサであるLRF7A及び従画像センサであるLRF8からの補正後の各センサ出力(移動量)情報に基づいて3D地図情報の更新が成される。
【0039】
上記したように、この実施形態の油圧ショベル1Aにあっても、画像センサとしての2つのLRF7A,8の一方のLRF7AにINS10を剛性高く抱き合わせて一体化したうえで、従画像センサであるLRF8の画像LV及び主画像センサであるLRF7の画像UVに油圧ショベル1Aの作業装置5における形状情報が既知のアーム52が写り込むようにLRF7A,8を配置したので、他方のLRF8にINS10を一体で取り付けたり、LRF7A,8同士を高剛性の取り付け具を用いて連結したりすることなく、LRF8による正確な多点情報を取得することが可能である。
【0040】
したがって、他方のLRF8にINS10を一体で取り付ける必要がない分だけ、情報取得コストを低く抑えることができ、LRF7A,8同士を高剛性の取り付け具を用いて連結しなくても済む分だけ、小型軽量化をも実現し得ることとなる。
【0041】
図8は、本発明のさらに他の実施形態に係る画像センサの情報補正方法を採用した移動体としての油圧ショベルの作業装置5を示している。
【0042】
図8に示すように、この実施形態では、INS10を一体で取り付けた主画像センサであるLRF7(図示省略)の画像UVに作業装置5におけるアーム52の一方の端部52aが写り込むようにLRF7を配置すると共に、作業装置5における形状情報が既知のアーム52の他方の端部52bに接続するバケット53に従画像センサとしてのLRF8Aを配置するようにしている。この際、アーム52の他方の端部52bに接続するバケット53の図示矢印方向の作動量は回転センサ12により得られるようになっている。
【0043】
この実施形態では、処理部42(図示省略)において、主画像センサであるLRF7Aの多点距離情報に含まれる揺れによる移動量がINS10で取得した情報により補正される。その一方で、主画像センサであるLRF7の画像UVに一方の端部52aが写り込むアーム52の他方の端部52bに接続するバケット53の作動量が、回転センサ12により計測され、バケット53の形状情報,姿勢情報(空間位置情報)及び回転センサ12により得られるバケット53の作動量に基づいて、従画像センサであるLRF8Aの多点距離情報に含まれる揺れによる移動量を補正して、主画像センサであるLRF7及び従画像センサであるLRF8Aからの補正後の各センサ出力(移動量)情報に基づいて3D地図情報の更新が成されるようにしている。
【0044】
この実施形態にあっても、画像センサとしての2つのLRF7,8の一方のLRF7にINS10を剛性高く抱き合わせて一体化したうえで、主画像センサであるLRF7の画像UVに一方の端部52aが写り込む形状情報が既知のアーム52の他方の端部52bに接続するバケット53に従画像センサであるLRF8を配置したので、他方のLRF8にINS10を一体で取り付けたり、LRF7A,8同士を高剛性の取り付け具を用いて連結したりすることなく、LRF8による正確な多点情報を取得することが可能である。
【0045】
したがって、他方のLRF8にINS10を一体で取り付ける必要がない分だけ、情報取得コストを低く抑えることができ、LRF7A,8同士を高剛性の取り付け具を用いて連結しなくても済む分だけ、小型軽量化をも実現し得ることとなる。
【0046】
なお、この実施形態では、作業装置5におけるバケット53の作動量を回転センサ12により得るようにしているが、これに限定されるものではなく、バケット53の作動量を他の画像センサや車載カメラで検出するようにしてもよい。
【0047】
上記した各実施形態では、複数の画像センサを搭載した移動体がいずれも油圧ショベルである場合を例に挙げて説明したが、移動体は油圧ショベルに限定されない。
また、上記した各実施形態では、周囲の多点距離情報を取得するLRF(画像センサ)をいずれも移動体に2個搭載して、一方のLRFにINS(慣性航法装置)を一体的に取り付けて主画像センサとし、他方のLRFを従画像センサとした構成としているが、この構成に限定されるものではなく、周囲の多点距離情報を取得するLRFを移動体に3個以上搭載して、そのうちの一つのLRFにINSを一体的に取り付けて主画像センサとする構成としてもよい。
本発明に係る画像センサの情報補正方法及び移動体の構成は、上記した実施形態の構成に限定されるものではなく、本発明の要旨を逸脱しなければ、構成の細部を適宜変更することが可能である。
【符号の説明】
【0048】
1 油圧ショベル(移動体)
5 作業装置(作動機構)
7,7A LRF(主画像センサ)
8,8A LRF(従画像センサ)
10 INS(慣性航法装置)
12 回転センサ
42 処理部
51 ブーム
52 アーム(形状情報が既知の部材)
52a,52b アームの端部
53 バケット(可動部材)
LV 主画像センサの画像
M マーク
UV 従画像センサの画像
図1
図2
図3
図4
図5
図6
図7
図8