7206127 画像センサの情報補正方法及び移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-06

(45)【発行日】2023-01-17

(54)【発明の名称】画像センサの情報補正方法及び移動体

(51)【国際特許分類】

   G01S 7/497 20060101AFI20230110BHJP

   G01S 17/88 20060101ALI20230110BHJP

   G01S 17/87 20200101ALI20230110BHJP

   G05D 1/02 20200101ALI20230110BHJP

【ＦＩ】

G01S7/497

G01S17/88

G01S17/87

G05D1/02 K

【請求項の数】 8

(21)【出願番号】P 2019028257

(22)【出願日】2019-02-20

(65)【公開番号】P2020134319

(43)【公開日】2020-08-31

【審査請求日】2021-12-16

(73)【特許権者】

【識別番号】500302552

【氏名又は名称】株式会社ＩＨＩエアロスペース

(73)【特許権者】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(74)【代理人】

【識別番号】110002664

【氏名又は名称】弁理士法人相原国際知財事務所

(72)【発明者】

【氏名】熊倉 弘隆

【審査官】九鬼 一慶

(56)【参考文献】

【文献】国際公開第２０１８／１８２７３７（ＷＯ，Ａ１）

【文献】特開２０１８－０７７１９６（ＪＰ，Ａ）

【文献】特表２０１６－５４０１９８（ＪＰ，Ａ）

【文献】特表２０１３－５３１２３７（ＪＰ，Ａ）

【文献】特開２００３－３４４０４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ －１７／９５

Ｇ０５Ｄ １／０２

(57)【特許請求の範囲】

【請求項1】

移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、
前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、
前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する画像センサの情報補正方法。

【請求項2】

前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する請求項１に記載の画像センサの情報補正方法。

【請求項3】

前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する請求項１に記載の画像センサの情報補正方法。

【請求項4】

移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、
形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構を前記移動体が備えている場合において、
前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、
前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして配置し、
前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する画像センサの情報補正方法。

【請求項5】

周囲の多点距離情報を取得する複数の画像センサと、
前記複数の画像センサで取得した多点距離情報を処理して３Ｄ地図を作成する処理部を備えた移動体において、
前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、
前記処理部では、前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する移動体。

【請求項6】

前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、
前記処理部では、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する請求項５に記載の移動体。

【請求項7】

前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、
前記処理部では、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する請求項５に記載の移動体。

【請求項8】

周囲の多点距離情報を取得する複数の画像センサと、
形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構と、
前記複数の画像センサで取得した多点距離情報を処理して３Ｄ地図を作成する処理部を備えた移動体において、
前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、
前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして配置し、
前記処理部では、前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の周辺地図を作成する段階において、地面や障害物との距離を多点距離情報として取得する画像センサの情報補正方法及び画像センサを複数搭載した移動体に関するものである。

【背景技術】

【0002】

従来、周囲の多点距離情報を取得する画像センサを複数搭載した移動体としては、例えば、特許文献１に記載されたものがある。
この特許文献１に記載された移動体は、移動ロボットであって、レーザ光を走査して移動方向前方側の距離を計測する画像センサとしての２つのＬＲＦ（Laser Range Finder；レーザレンジファインダ）と、これらのＬＲＦで取得した多数の距離情報を処理して３Ｄ地図を作成する処理部を備えている。

【0003】

この場合、２つのＬＲＦにはＩＮＳ（Inertial Navigation System；慣性航法装置）が一体的に取り付けられており、処理部では、ＬＲＦで取得した多点距離情報に含まれる揺れによる移動量をＩＮＳの情報に基づいて補正して、補正後の各多点距離情報に基づいて３Ｄ地図を作成するようになっている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－１４５１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、画像センサとしてのＬＲＦを多数搭載する移動ロボット、例えば、多数のＬＲＦを後付けしてロボット化したパワーショベル等の建設機械において、ＬＲＦで取得する多点情報に揺れの影響が及ばないように多数のＬＲＦの全てを剛性高く取り付けることは実際問題として困難である。

【0006】

このため、正確な多点情報を取得するためには、多数のＬＲＦの全てに上記したＩＮＳを一体で取り付けたり、近隣に配置されるＬＲＦ同士を高剛性の取り付け具を用いて連結したりする必要があるが、ＬＲＦの全てにＩＮＳを一体で取り付ける場合には、コストが嵩むのを避けることがでず、一方、近隣のＬＲＦ同士を高剛性の取り付け具で連結する場合には、重量増及び大型化を招いてしまうという問題があり、この問題を解決することが従来の課題となっていた。

【0007】

本発明は、上記した従来の課題に着目してなされたもので、例えばＬＲＦを多数搭載する移動ロボットに採用した場合において、ＬＲＦによる正確な多点情報の取得を実現したうえで、情報取得コストを低く抑えると共に、小型軽量化をも実現することができる画像センサの情報補正方法及び移動体を提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明の第１の態様は、移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。

【0009】

本発明の第２の態様は、前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。

【0010】

本発明の第３の態様は、前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。

【0011】

本発明の第４の態様は、移動体に複数搭載された周囲の多点距離情報を取得する画像センサの前記多点距離情報を補正する画像センサの情報補正方法であって、形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構を前記移動体が備えている場合において、前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして配置し、前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正する構成としている。

【0012】

一方、本発明の第５の態様は、周囲の多点距離情報を取得する複数の画像センサと、前記複数の画像センサで取得した多点距離情報を処理して３Ｄ地図を作成する処理部を備えた移動体において、前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとすると共に、該主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして該従画像センサの画像が前記主画像センサの画像に関連付けられるように配置し、前記処理部では、前記主画像センサの画像に対する前記従画像センサの画像の関連付けにより前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する構成としている。

【0013】

本発明の第６の態様は、前記従画像センサの画像に前記主画像センサの画像内の場所が写るように該従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記処理部では、前記主画像センサの画像内の場所に前記従画像センサで写し出した画像の場所を重ね合わせて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する構成としている。

【0014】

本発明の第７の態様は、前記主画像センサの画像及び前記従画像センサの画像に前記移動体の形状情報が既知の部材が写り込むように前記主画像センサ及び前記従画像センサを配置することで、前記従画像センサの画像を前記主画像センサの画像に関連付け、前記処理部では、前記主画像センサ及び前記従画像センサにそれぞれ写り込む前記部材の既知の形状情報に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する構成としている。

【0015】

本発明の第８の態様は、周囲の多点距離情報を取得する複数の画像センサと、形状情報が既知の可動部材を有し、該可動部材の作動量を検出可能な作動機構と、前記複数の画像センサで取得した多点距離情報を処理して３Ｄ地図を作成する処理部を備えた移動体において、前記複数の画像センサのうちの少なくとも１つの画像センサに該画像センサが取得した多点距離情報に含まれる揺れによる移動量を補正する慣性航法装置を一体的に取り付けて主画像センサとし、前記主画像センサに前記作動機構の前記可動部材が写り込むように該主画像センサを配置すると共に、前記作動機構の前記可動部材に前記主画像センサ以外の前記複数の画像センサのうちの少なくとも１つを従画像センサとして配置し、前記処理部では、前記作動機構の前記可動部材の作動量に基づいて、前記従画像センサの前記多点距離情報に含まれる揺れによる移動量を補正して、前記主画像センサ及び前記従画像センサからの補正後の各センサ出力情報に基づいて３Ｄ地図を作成する構成としている。

【発明の効果】

【0016】

本発明に係る画像センサの情報補正方法では、例えばＬＲＦを多数搭載する移動ロボットに採用した場合において、ＬＲＦによる正確な多点情報の取得を実現したうえで、情報取得コストを低く抑えると共に、小型軽量化をも実現することが可能であるという非常に優れた効果がもたらされる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る画像センサの情報補正方法を採用した油圧ショベルの側面説明図（ａ）及び平面説明図（ｂ）である。

【図2】図１の油圧ショベルに搭載した慣性航法装置付きＬＲＦの斜視説明図である。

【図3】図１の油圧ショベルに搭載した２つのＬＲＦ情報から３Ｄ地図情報を更新する際の流れを示す説明図である。

【図4】図１の油圧ショベルに搭載した２つのＬＲＦで取得した画像の説明図である。

【図5】本発明の他の実施形態に係る画像センサの情報補正方法を採用した油圧ショベルの側面説明図である。

【図6】図５の油圧ショベルに搭載した２つのＬＲＦ情報から３Ｄ地図情報を更新する際の流れを示す説明図である。

【図7】図５の油圧ショベルに搭載した２つのＬＲＦで取得した画像の説明図である。

【図8】本発明のさらに他の実施形態に係る画像センサの情報補正方法を採用した場合の２つのＬＲＦで取得した画像の説明図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面に基づいて説明する。
図１～図４は、本発明の一実施形態に係る画像センサの情報補正方法を採用した移動体としての油圧ショベルを示している。

【0019】

図１に示すように、油圧ショベル１は、クローラ２を左右に有する下部走行体３と、この下部走行体３の上方に配置されてキャビン４及び作業装置５を有する上部旋回体６を備えており、この上部旋回体６の作業装置５は、油圧により作動するブーム５１，アーム５２及びバケット５３を具備している。

【0020】

下部走行体３のクローラ２は、車載された原動機により駆動されるようになっているが、このクローラ２に代えて、インホールモータ又は原動機により駆動される車輪を前後左右に配置するようにしてもよい。上部旋回体６の作業装置５のバケット５３に代えて、他の作業具として、例えば、鉄骨切断具やつかみ具をアーム５２に装着してもよい。

【0021】

また、油圧ショベル１は、上部旋回体６のキャビン４の天井４ａ及び前部４ｂにそれぞれ配置された画像センサとしてのＬＲＦ７，８を備えている。
この場合、キャビン４の天井４ａに配置されたＬＲＦ７は、図２にも示すように、取り付け具９を介してＩＮＳ（慣性航法装置）１０と抱き合わせて取り付けられている。

【0022】

このような作業装置５及びＬＲＦ７，８を備えた油圧ショベル１は、上部旋回体６に搭載された車載制御装置２０を備えている。なお、この車載制御装置２０と相互にデータ通信を行うオペレータ操作用の遠隔操縦装置を備えた構成としてもよい。

【0023】

車載制御装置２０は、油圧ショベル１の自己位置を検出する位置センサと、油圧ショベル１の方向を検出する方向センサと、主コンピュータと、送受信機と、バッテリとから主として構成されており、位置センサには、例えば、ＧＰＳが採用され、方向センサには、例えば、加速度計や磁気センサが採用される。

【0024】

この車載制御装置２０における主コンピュータは画像処理手段４０を具備しており、 この画像処理手段４０は、図３に示すように、メモリ部４１及び処理部４２を有している。メモリ部４１には、ＬＲＦ７，８による多点距離情報と、ＩＮＳ１０で取得した揺れによる移動量情報（揺れた際の加速度を２回積分して得られる移動量情報）と、多点距離情報取得時におけるＬＲＦ７，８の互いの位置関係情報が記録されるほか、油圧ショベル１の位置及び方向情報や作業装置５の形状情報や作業装置５の姿勢情報が記録される。

【0025】

この際、油圧ショベル１の位置及び方向情報は、前述したように、位置センサ及び方向センサによって検出されるデータである。また、作業装置５の形状情報は、予め設定されているデータであり、作業装置５のブーム５１及びアーム５２の各諸寸法である。さらに、作業装置５の姿勢情報は、ブーム５１及びアーム５２をそれぞれ回動させる際の各サーボモータの回転角度により得られるデータである。

【0026】

この実施形態において、ＩＮＳ１０を一体的に取り付けたＬＲＦ７を主画像センサとすると共に他のＬＲＦ８を従画像センサとして、図４に示すように、従画像センサであるＬＲＦ８の画像ＬＶに主画像センサであるＬＲＦ７の画像ＵＶの一部が重複するように（図示例ではＬＲＦ８の画像ＬＶにＬＲＦ７の画像ＵＶ内に写し出されているバケット５３上のマークＭが写るように）ＬＲＦ８を配置することで、このＬＲＦ８の画像ＬＶをＬＲＦ７の画像ＵＶに関連付けている。

【0027】

つまり、この車載制御装置２０における主コンピュータの画像処理手段４０において、油圧ショベル１に搭載した２つＬＲＦ７，８で周囲の多点距離情報を取得して、３Ｄ地図を作成する場合には、まず、メモリ部４１において、ＬＲＦ７，８により取得した多点距離情報と、ＩＮＳ１０で取得した揺れによる移動量情報と、多点距離情報取得時におけるＬＲＦ７，８の互いの位置関係情報が記録される。

【0028】

次いで、処理部４２において、主画像センサであるＬＲＦ７の多点距離情報に含まれる揺れによる移動量がＩＮＳ１０で取得した情報により補正され、その一方で、主画像センサであるＬＲＦ７のマークＭを含む画像ＵＶと従画像センサであるＬＲＦ８で取得した画像ＬＶとの重複部分によって、従画像センサであるＬＲＦ８の多点距離情報に含まれる揺れによる移動量が補正される。
ここで、主画像センサであるＬＲＦ７のマークＭを含む画像ＵＶと従画像センサであるＬＲＦ８で取得した画像ＬＶとの重ね合わせは、公知技術であるＩＰＣアルゴリズム（Iterative Closest Point Algorithm；反復最近接点アルゴリズム）を用いて行うものとしている。
そして、主画像センサであるＬＲＦ７及び従画像センサであるＬＲＦ８からの補正後の各センサ出力（移動量）に基づいて３Ｄ地図情報の更新が成される。

【0029】

具体的には、ＩＮＳ１０の情報により補正された主画像センサであるＬＲＦ７の画像ＵＶにおいてマークＭまでの測定距離が、例えば、３ｍであり、ＩＮＳ１０が一体化されていない従画像センサであるＬＲＦ８の画像ＬＶにおけるマークＭまでの測定距離が、例えば、２．８ｍである場合に、従画像センサであるＬＲＦ８で取得した画像ＬＶに揺れによる、例えば、実際の距離よりもマイナス側に測定してしまうような０．１ｍの移動量があったとしても、従画像センサであるＬＲＦ８で取得した画像ＬＶと主画像センサであるＬＲＦ７のマークＭを含む画像ＵＶとが重複することによって、ＬＲＦ８のマークＭまでの測定距離が２．９ｍに補正され、主画像センサであるＬＲＦ７及び従画像センサであるＬＲＦ８からの補正後の各センサ出力（移動量）情報に基づいて３Ｄ地図情報の更新が成される。

【0030】

上記したように、この実施形態の油圧ショベル１では、画像センサとしての２つのＬＲＦ７，８の一方のＬＲＦ７にＩＮＳ１０を剛性高く抱き合わせて一体化したうえで、従画像センサであるＬＲＦ８の画像ＬＶ及び主画像センサであるＬＲＦ７の画像ＵＶの一部が重複するようにＬＲＦ７，８をそれぞれ配置したので、他方のＬＲＦ８にＩＮＳ１０を一体で取り付けたり、ＬＲＦ７，８同士を高剛性の取り付け具を用いて連結したりすることなく、ＬＲＦ８による正確な多点情報を取得することが可能である。

【0031】

したがって、他方のＬＲＦ８にＩＮＳ１０を一体で取り付ける必要がない分だけ、情報取得コストを低く抑えることができ、ＬＲＦ７，８同士を高剛性の取り付け具を用いて連結しなくても済む分だけ、小型軽量化をも実現し得ることとなる。

【0032】

図５～図７は、本発明の他の実施形態に係る画像センサの情報補正方法を採用した移動体としての油圧ショベルを示している。

【0033】

図５に示すように、この油圧ショベル１Ａが先の一実施形態に係る油圧ショベル１と構造上相違するところは、ＩＮＳ１０を一体的に取り付けた主画像センサであるＬＲＦ７Ａを上部旋回体６のキャビン４後方に支柱６ａを介して取り付けた点にある。

【0034】

この実施形態において、車載制御装置２０における画像処理手段４０のメモリ部４１には、図６に示すように、ＬＲＦ７Ａ，８による多点距離情報と、ＩＮＳ１０で取得した揺れによる移動量情報と、ＬＲＦ７Ａ，８の多点距離情報取得時における位置関係の情報と、作業装置５の形状情報が記録されるほか、油圧ショベル１の位置及び方向情報や作業装置５の姿勢情報が記録される。

【0035】

そして、この実施形態において、図７に示すように、ＩＮＳ１０を一体的に取り付けた主画像センサであるＬＲＦ７Ａの画像ＵＶ及び従画像センサである他のＬＲＦ８の画像ＬＶに、油圧ショベル１Ａの作業装置５における形状情報が既知のアーム５２の端部５２ａ，５２ｂが写り込むようにＬＲＦ７Ａ，８を配置することで、ＬＲＦ８の画像ＬＶをＬＲＦ７Ａの画像ＵＶに関連付けている。

【0036】

つまり、この車載制御装置２０における主コンピュータの画像処理手段４０において、油圧ショベル１に搭載した２つＬＲＦ７Ａ，８で周囲の多点距離情報を取得して、３Ｄ地図を作成する場合には、メモリ部４１において、ＬＲＦ７Ａ，８により取得した多点距離情報と、ＩＮＳ１０で取得した揺れによる移動量情報と、ＬＲＦ７Ａ，８の多点距離情報取得時における位置関係の情報と、作業装置５のアーム５２の形状情報が記録される。

【0037】

そして、処理部４２において、主画像センサであるＬＲＦ７Ａの多点距離情報に含まれる揺れによる移動量がＩＮＳ１０で取得した情報により補正され、その一方で、主画像センサであるＬＲＦ７Ａの画像ＵＶ及び従画像センサであるＬＲＦ８の画像ＬＶにそれぞれ写り込む油圧ショベル１Ａの作業装置５におけるアーム５２の端部５２ａ，５２ｂの形状情報及び姿勢情報（空間位置情報）に基づいて、従画像センサであるＬＲＦ８の多点距離情報に含まれる揺れによる移動量が補正され、主画像センサであるＬＲＦ７Ａ及び従画像センサであるＬＲＦ８からの補正後の各センサ出力（移動量）情報に基づいて３Ｄ地図情報の更新が成される。

【0038】

具体的には、ＩＮＳ１０の情報により補正された主画像センサであるＬＲＦ７Ａの画像ＵＶにおいて作業装置５のアーム５２までの測定距離が、例えば、４ｍであり、ＩＮＳ１０が一体化されていない従画像センサであるＬＲＦ８の画像ＬＶにおけるマークＭまでの測定距離が、例えば、３．８ｍである場合に、従画像センサであるＬＲＦ８で取得した画像ＬＶに揺れによる、例えば、実際の距離よりもマイナス側に測定してしまうような０．１ｍの移動量があったとしても、主画像センサであるＬＲＦ７Ａの画像ＵＶ及び従画像センサであるＬＲＦ８の画像ＬＶにそれぞれ写り込む油圧ショベル１Ａの作業装置５におけるアーム５２の端部５２ａ，５２ｂの形状情報及び姿勢情報に基づいて、ＬＲＦ８の作業装置５におけるアーム５２までの測定距離が３．９ｍに補正され、主画像センサであるＬＲＦ７Ａ及び従画像センサであるＬＲＦ８からの補正後の各センサ出力（移動量）情報に基づいて３Ｄ地図情報の更新が成される。

【0039】

上記したように、この実施形態の油圧ショベル１Ａにあっても、画像センサとしての２つのＬＲＦ７Ａ，８の一方のＬＲＦ７ＡにＩＮＳ１０を剛性高く抱き合わせて一体化したうえで、従画像センサであるＬＲＦ８の画像ＬＶ及び主画像センサであるＬＲＦ７の画像ＵＶに油圧ショベル１Ａの作業装置５における形状情報が既知のアーム５２が写り込むようにＬＲＦ７Ａ，８を配置したので、他方のＬＲＦ８にＩＮＳ１０を一体で取り付けたり、ＬＲＦ７Ａ，８同士を高剛性の取り付け具を用いて連結したりすることなく、ＬＲＦ８による正確な多点情報を取得することが可能である。

【0040】

したがって、他方のＬＲＦ８にＩＮＳ１０を一体で取り付ける必要がない分だけ、情報取得コストを低く抑えることができ、ＬＲＦ７Ａ，８同士を高剛性の取り付け具を用いて連結しなくても済む分だけ、小型軽量化をも実現し得ることとなる。

【0041】

図８は、本発明のさらに他の実施形態に係る画像センサの情報補正方法を採用した移動体としての油圧ショベルの作業装置５を示している。

【0042】

図８に示すように、この実施形態では、ＩＮＳ１０を一体で取り付けた主画像センサであるＬＲＦ７（図示省略）の画像ＵＶに作業装置５におけるアーム５２の一方の端部５２ａが写り込むようにＬＲＦ７を配置すると共に、作業装置５における形状情報が既知のアーム５２の他方の端部５２ｂに接続するバケット５３に従画像センサとしてのＬＲＦ８Ａを配置するようにしている。この際、アーム５２の他方の端部５２ｂに接続するバケット５３の図示矢印方向の作動量は回転センサ１２により得られるようになっている。

【0043】

この実施形態では、処理部４２（図示省略）において、主画像センサであるＬＲＦ７Ａの多点距離情報に含まれる揺れによる移動量がＩＮＳ１０で取得した情報により補正される。その一方で、主画像センサであるＬＲＦ７の画像ＵＶに一方の端部５２ａが写り込むアーム５２の他方の端部５２ｂに接続するバケット５３の作動量が、回転センサ１２により計測され、バケット５３の形状情報，姿勢情報（空間位置情報）及び回転センサ１２により得られるバケット５３の作動量に基づいて、従画像センサであるＬＲＦ８Ａの多点距離情報に含まれる揺れによる移動量を補正して、主画像センサであるＬＲＦ７及び従画像センサであるＬＲＦ８Ａからの補正後の各センサ出力（移動量）情報に基づいて３Ｄ地図情報の更新が成されるようにしている。

【0044】

この実施形態にあっても、画像センサとしての２つのＬＲＦ７，８の一方のＬＲＦ７にＩＮＳ１０を剛性高く抱き合わせて一体化したうえで、主画像センサであるＬＲＦ７の画像ＵＶに一方の端部５２ａが写り込む形状情報が既知のアーム５２の他方の端部５２ｂに接続するバケット５３に従画像センサであるＬＲＦ８を配置したので、他方のＬＲＦ８にＩＮＳ１０を一体で取り付けたり、ＬＲＦ７Ａ，８同士を高剛性の取り付け具を用いて連結したりすることなく、ＬＲＦ８による正確な多点情報を取得することが可能である。

【0045】

したがって、他方のＬＲＦ８にＩＮＳ１０を一体で取り付ける必要がない分だけ、情報取得コストを低く抑えることができ、ＬＲＦ７Ａ，８同士を高剛性の取り付け具を用いて連結しなくても済む分だけ、小型軽量化をも実現し得ることとなる。

【0046】

なお、この実施形態では、作業装置５におけるバケット５３の作動量を回転センサ１２により得るようにしているが、これに限定されるものではなく、バケット５３の作動量を他の画像センサや車載カメラで検出するようにしてもよい。

【0047】

上記した各実施形態では、複数の画像センサを搭載した移動体がいずれも油圧ショベルである場合を例に挙げて説明したが、移動体は油圧ショベルに限定されない。
また、上記した各実施形態では、周囲の多点距離情報を取得するＬＲＦ（画像センサ）をいずれも移動体に２個搭載して、一方のＬＲＦにＩＮＳ（慣性航法装置）を一体的に取り付けて主画像センサとし、他方のＬＲＦを従画像センサとした構成としているが、この構成に限定されるものではなく、周囲の多点距離情報を取得するＬＲＦを移動体に３個以上搭載して、そのうちの一つのＬＲＦにＩＮＳを一体的に取り付けて主画像センサとする構成としてもよい。
本発明に係る画像センサの情報補正方法及び移動体の構成は、上記した実施形態の構成に限定されるものではなく、本発明の要旨を逸脱しなければ、構成の細部を適宜変更することが可能である。

【符号の説明】

【0048】

１ 油圧ショベル（移動体）
５ 作業装置（作動機構）
７，７Ａ ＬＲＦ（主画像センサ）
８，８Ａ ＬＲＦ（従画像センサ）
１０ ＩＮＳ（慣性航法装置）
１２ 回転センサ
４２ 処理部
５１ ブーム
５２ アーム（形状情報が既知の部材）
５２ａ，５２ｂ アームの端部
５３ バケット（可動部材）
ＬＶ 主画像センサの画像
Ｍ マーク
ＵＶ 従画像センサの画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】