(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-17
(45)【発行日】2022-01-17
(54)【発明の名称】計測システム、作業機械及び計測方法
(51)【国際特許分類】
G01B 11/00 20060101AFI20220107BHJP
G01B 11/24 20060101ALI20220107BHJP
E02F 9/26 20060101ALI20220107BHJP
【ＦＩ】
G01B11/00 H
G01B11/24 K
E02F9/26 B
【請求項の数】
9
(21)【出願番号】P 2018547835
(86)(22)【出願日】2017-10-30
(86)【国際出願番号】 JP2017039193
(87)【国際公開番号】W WO2018079789
(87)【国際公開日】2018-05-03
【審査請求日】2020-09-10
(31)【優先権主張番号】P 2016213700
(32)【優先日】2016-10-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】川本 駿
(72)【発明者】
【氏名】山口 博義
(72)【発明者】
【氏名】菅原 大樹
【審査官】九鬼 一慶
(56)【参考文献】
【文献】国際公開第２０１５／１９８４１０（ＷＯ，Ａ１）
【文献】特開２００４－１６３１３９（ＪＰ，Ａ）
【文献】国際公開第２０１６／１４８３０９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００
Ｇ０１Ｂ １１／２４
Ｅ０２Ｆ ９／２６
(57)【特許請求の範囲】
【請求項1】
作業機械の旋回体に取り付けられて、前記作業機械の周囲の形状を撮像する撮像部と、前記旋回体の位置を求める位置検出部と、
前記旋回体の旋回動作中に前記撮像部によって撮像された複数の画像における共通の部分に基づいて、前記撮像部の撮像時における前記撮像部の位置を演算する撮像部位置演算部と、
前記撮像部位置演算部によって演算された前記撮像部の位置に基づいて、前記撮像時における前記作業機械の周囲の三次元位置を求める三次元位置演算部と、
を備える計測システム。
【請求項2】
前記作業機械の旋回動作中に前記撮像部によって撮像された複数の二次元画像における共通の部分を求める共通部分抽出部を有し、撮像部位置演算部は、前記撮像部の撮像時における前記撮像部の位置を演算する、請求項１に記載の計測システム。
【請求項3】
前記撮像部位置演算部は、撮像時における前記撮像部の位置を演算するために、撮像時における前記旋回体の旋回角度を演算し、前記撮像部の位置を演算する、請求項１又は請求項２に記載の計測システム。
【請求項4】
前記撮像部位置演算部は、前記旋回体の旋回動作前における前記旋回体の位置、又は前記旋回体の旋回動作後における前記旋回体の位置を用いて、前記撮像部の撮像時における前記撮像部の位置を補正する、請求項１から請求項３のいずれか１項に記載の計測システム。
【請求項5】
前記撮像部位置演算部は、前記旋回体の旋回動作前における前記旋回体の旋回角度と、前記旋回体の旋回動作後における前記旋回体の旋回角度とを用いて、前記旋回体の旋回動作中における旋回角度を補正する、請求項３又は請求項４に記載の計測システム。
【請求項6】
前記撮像部位置演算部は、複数の共通の部分を用いて最小二乗法を用いて前記撮像部の位置を演算する、請求項２から請求項５のいずれか１項に記載の計測システム。
【請求項7】
前記三次元位置演算部は、前記旋回体の旋回動作中に得られた複数の前記作業機械の周囲の三次元位置を結合する、請求項１から請求項６のいずれか１項に記載の計測システム。
【請求項8】
請求項１から請求項７のいずれか１項に記載の計測システムを備える、作業機械。
【請求項9】
作業機械に取り付けられる旋回体の旋回動作中に前記旋回体に取り付けられた撮像部によって撮像された複数の画像における共通の部分に基づいて、前記撮像部の撮像時における前記撮像部の位置を演算し、演算された前記撮像部の位置に基づいて、前記撮像時における前記作業機械の周囲の三次元位置を求める、
計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の周囲を計測する計測システム、作業機械及び計測方法に関する。
【背景技術】
【0002】
撮像装置を有する作業機械がある。特許文献１には、記憶部に記憶された施工計画データと、ステレオカメラの位置情報に基づき施工計画画像データを作成し、施工計画画像データとステレオカメラで撮像された現況画像データとを重合わせ、重合わせた合成画像を三次元表示装置に三次元表示させる技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－０３６２４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業機械の周囲の形状を広範囲に計測したいという要望がある。作業機械の周囲の形状を広範囲に計測することについて、特許文献１には記載も示唆もされておらず、改善の余地がある。
【0005】
本発明は、作業機械の周囲の形状を広範囲に計測することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、作業機械の旋回体に取り付けられて、前記作業機械の周囲の形状を撮像する撮像部と、前記旋回体の位置を求める位置検出部と、前記旋回体の旋回動作中の、前記撮像部の撮像時における前記撮像部の位置を演算する撮像部位置演算部と、前記撮像部位置演算部によって演算された前記撮像部の位置に基づいて、前記撮像時における前記作業機械の周囲の三次元位置を求める三次元位置演算部と、を備える計測システムが提供される。
【0007】
本発明の第２の態様によれば、第１の態様において、前記作業機械の旋回動作中に前記撮像部によって撮像された複数の二次元画像における共通の部分を求める共通部分抽出部を有し、撮像部位置演算部は、前記撮像部の撮像時における前記撮像部の位置を演算する計測システムが提供される。
【0008】
本発明の第３の態様によれば、第１の態様又は第２の態様において、前記撮像部位置演算部は、撮像時における前記撮像部の位置を演算するために、撮像時における前記旋回体の旋回角度を演算し、前記撮像部の位置を演算する計測システムが提供される。
【0009】
本発明の第４の態様によれば、第１の態様から第３の態様のいずれか１つにおいて、前記撮像部位置演算部は、前記旋回体の旋回動作前における前記旋回体の位置、又は前記旋回体の旋回動作後における前記旋回体の位置を用いて、前記撮像部の撮像時における前記撮像部の位置を補正する計測システムが提供される。
【0010】
本発明の第５の態様によれば、第３の態様又は第４の態様において、前記撮像部位置演算部は、前記旋回体の旋回動作前における前記旋回体の旋回角度と、前記旋回体の旋回動作後における前記旋回体の旋回角度とを用いて、前記旋回体の旋回動作中における旋回角度を補正する計測システムが提供される。
【0011】
本発明の第６の態様によれば、第２の態様から第５の態様のいずれか１つにおいて、前記撮像部位置演算部は、複数の共通の部分を用いて最小二乗法を用いて前記撮像部の位置を演算する計測システムが提供される。
【0012】
本発明の第７の態様によれば、第１の態様から第６の態様のいずれか１つにおいて、前記三次元位置演算部は、前記旋回体の旋回動作中に得られた複数の前記作業機械の周囲の三次元位置を結合する計測システムが提供される。
【0013】
本発明の第８の態様によれば、第１の態様から第７の態様のいずれか１つに係る計測システムを備える作業機械が提供される。
【0014】
本発明の第９の態様によれば、作業機械に取り付けられる旋回体の旋回動作中の、前記旋回体に取り付けられた撮像部の撮像時における前記撮像部の位置を演算し、演算された前記撮像部の位置に基づいて、前記撮像時における前記作業機械の周囲の三次元位置を求める計測方法が提供される。
【発明の効果】
【0015】
本発明の態様によれば、作業機械の周囲の形状を広範囲に計測できる。
【図面の簡単な説明】
【0016】
【図1】実施形態に係る油圧ショベルを示す斜視図である。
【図2】実施形態に係る油圧ショベルの運転席付近の斜視図である。
【図3】実施形態に係る計測システムを示す図である。
【図4】油圧ショベルの周囲を連続して計測する例を説明する平面図である。
【図5】実施形態に係る計測システムが旋回体の旋回動作中に油圧ショベルの周囲を三次元計測することを説明するための図である。
【図6】旋回体が旋回動作することにより撮像装置座標系が移動することを説明するための図である。
【図7】旋回体の旋回動作中に撮像された画像の一例を示す図である。
【図8】旋回体の旋回動作中に撮像され、三次元位置が求められた複数の画像を結合することを説明するための図である。
【図9】旋回角度を補正することを説明するための図である。
【図10】実施形態に係る計測方法の手順の一例を示すフローチャートである。
【図11】旋回体の旋回動作中及び旋回動作の前後に得られた複数の距離画像を結合する例を示す図である。
【図12】実施形態に係る計測システムが油圧ショベルの走行動作中に油圧ショベルの周囲を三次元計測することを説明するための図である。
【発明を実施するための形態】
【0017】
本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。
【0018】
＜油圧ショベルの全体構成＞
図１は、実施形態に係る油圧ショベル１を示す斜視図である。図２は、実施形態に係る油圧ショベル１の運転席付近の斜視図である。作業機械の一例である油圧ショベル１は、車体１Ｂ及び作業機２を有する。車体１Ｂは、旋回体３、運転室４及び走行体５を有する。旋回体３は、旋回中心軸Ｚｒを中心として走行体５に旋回可能に取り付けられている。旋回体３は、油圧ポンプ及びエンジン等の装置を収容している。
図１は、実施形態に係る油圧ショベル１を示す斜視図である。図２は、実施形態に係る油圧ショベル１の運転席付近の斜視図である。作業機械の一例である油圧ショベル１は、車体１Ｂ及び作業機２を有する。車体１Ｂは、旋回体３、運転室４及び走行体５を有する。旋回体３は、旋回中心軸Ｚｒを中心として走行体５に旋回可能に取り付けられている。旋回体３は、油圧ポンプ及びエンジン等の装置を収容している。
【0019】
旋回体３は、作業機２が取り付けられて旋回動作する。旋回体３の上部には手すり９が取り付けられている。手すり９には、アンテナ２５Ｆ，２５Ｓが取り付けられる。アンテナ２５Ｆ，２５Ｓは、ＧＮＳＳ（Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナである。アンテナ２５Ｆ，２５Ｓは、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＹｍ軸と平行な方向に沿って、一定距離だけ離れて配置されている。アンテナ２５Ｆ，２５Ｓは、ＧＮＳＳ電波を受信し、受信したＧＮＳＳ電波に応じた信号を出力する。アンテナ２５Ｆ，２５Ｓは、ＧＰＳ（Global Positioning System）用のアンテナであってもよい。
【0020】
運転室４は旋回体３の前部に載置されている。運転室４の屋根には、通信用のアンテナ２５Ａが取り付けられている。走行体５は、履帯５ａ，５ｂを有する。履帯５ａ，５ｂが回転することにより油圧ショベル１が走行する。
【0021】
作業機２は、車体１Ｂの前部に取り付けられている。作業機２は、ブーム６、アーム７、作業具としてのバケット８、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２を有する。実施形態において、車体１Ｂの前方は、図２に示される運転席４Ｓの背もたれ４ＳＳから操作装置３５に向かう方向側である。車体１Ｂの後方は、操作装置３５から運転席４Ｓの背もたれ４ＳＳに向かう方向側である。車体１Ｂの前部は、車体１Ｂの前方側の部分であり、車体１ＢのカウンタウエイトＷＴとは反対側の部分である。操作装置３５は、作業機２及び旋回体３を操作するための装置であり、右側レバー３５Ｒ及び左側レバー３５Ｌを有する。
【0022】
旋回体３は、位置検出部の一例である位置検出装置２３と、姿勢検出部の一例であるＩＭＵ（Inertial Measurement Unit：慣性計測装置）２４とを有する。位置検出装置２３は、油圧ショベル１の位置、本実施形態では旋回体３の位置を求める。詳細には、位置検出装置２３は、アンテナ２５Ｆ，２５Ｓから取得した信号を用いて、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）におけるアンテナ２５Ｆ，２５Ｓの現在位置及び旋回体３の方位を検出して、出力する。旋回体３の方位は、グローバル座標系における旋回体３の向きを表す。旋回体３の向きは、例えば、グローバル座標系のＺｇ軸周りにおける旋回体３の前後方向の向きで表すことができる。方位角は、旋回体３の前後方向における基準軸の、グローバル座標系のＺｇ軸周りにおける回転角である。方位角によって旋回体３の方位が表される。前述した通り、油圧ショベル１の方位角θｄは、位置検出装置２３又はＩＭＵ２４のいずれか一方によりが求められるが、どちらを用いてもよい。
【0023】
ＩＭＵ２４は、油圧ショベル１の姿勢、本実施形態では旋回体３の姿勢を求める。油圧ショベル１の姿勢は、ロール角θｒ、ピッチ角θｐ及び方位角θｄで表される。油圧ショベル１に作用する加速度及び角速度から、油圧ショベル１のロール角θｒ、ピッチ角θｐ及び方位角θｄが得られる。ＩＭＵ２４は、自身に作用する加速度及び角速度、すなわち油圧ショベル１に作用する加速度及び角速度を検出し、油圧ショベル１のロール角θｒ、ピッチ角θｐ及び方位角θｄを求めて出力する。このように、ＩＭＵ２４は、油圧ショベル１の姿勢を求める。ＩＭＵ２４が検出した加速度及び角速度を用いて、演算装置が油圧ショベル１のロール角θｒ、ピッチ角θｐ及び方位角θｄを求めてもよい。この場合、ＩＭＵ２４と、前述した演算装置とが姿勢検出装置になる。油圧ショベル１のロール角θｒ、ピッチ角θｐ及び方位角θｄは、ＩＭＵ２４以外の装置、例えばジャイロ等によって求められてもよい。
【0024】
＜撮像部（装置）＞
図２に示されるように、油圧ショベル１は、運転室４内に撮像部である撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを複数有する。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。複数の撮像装置３０は、旋回体３に取り付けられて、油圧ショベル１の周囲の形状を撮像して、形状の情報である形状情報を出力する。
図２に示されるように、油圧ショベル１は、運転室４内に撮像部である撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを複数有する。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。複数の撮像装置３０は、旋回体３に取り付けられて、油圧ショベル１の周囲の形状を撮像して、形状の情報である形状情報を出力する。
【0025】
複数の撮像装置３０のうち撮像装置３０ａ及び撮像装置３０ｃは、作業機２側に配置される。撮像装置３０の種類は限定されないが、実施形態では、例えば、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えた撮像装置が用いられる。
【0026】
図２に示されるように、撮像装置３０ａと撮像装置３０ｂとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室４内に配置される。撮像装置３０ｃと撮像装置３０ｄとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室４内に配置される。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、これらのうち２個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置３０ａ，３０ｂの組合せのステレオカメラ、及び撮像装置３０ｃ，３０ｄの組合せのステレオカメラが構成される。
【0027】
実施形態において、撮像装置３０ａ及び撮像装置３０ｂは上方を向いており、撮像装置３０ｃ及び撮像装置３０ｄは下方を向いている。少なくとも撮像装置３０ａ及び撮像装置３０ｃは、油圧ショベル１、実施形態では旋回体３の正面を向いている。撮像装置３０ｂ及び撮像装置３０ｄは、作業機２の方に、すなわち、撮像装置３０ａ及び撮像装置３０ｃ側の方に若干向けられて配置されることもある。
【0028】
実施形態において、油圧ショベル１は、４個の撮像装置３０を有するが、油圧ショベル１が有する撮像装置３０の数は少なくとも２個、すなわち少なくとも一対であればよく、４個に限定されない。油圧ショベル１は、少なくとも一対の撮像装置３０でステレオカメラを構成して、施工対象をステレオ撮影するからである。
【0029】
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内の前方かつ上方に配置される。上方とは、油圧ショベル１が有する履帯５ａ，５ｂの接地面と直交し、かつ接地面から離れる方向側である。履帯５ａ，５ｂの接地面は、履帯５ａ，５ｂのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも３点で規定される平面である。下方は、上方とは反対方向側、すなわち履帯５ａ，５ｂの接地面と直交し、かつ接地面に向かう方向側である。
【0030】
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１の周囲、詳細には車体１Ｂの前方に存在する施工対象をステレオ撮影する。施工対象は、例えば、油圧ショベル１がこれから施工する部分、施工中の部分及び施工後の部分が含まれる。
【0031】
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１の所定の位置、実施形態では運転室４内の前方かつ上方から施工対象を検出する。実施形態においては、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いて、施工対象が三次元計測される。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが配置される場所は、運転室４内の前方かつ上方に限定されるものではない。
【0032】
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、例えば、撮像装置３０ｃをこれらの基準とする。４個の複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、それぞれ座標系を有する。これらの座標系を適宜、撮像装置座標系と称する。図２では、基準となる撮像装置３０ｃの撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）のみを示している。撮像装置座標系の原点は、例えば、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの中心である。
【0033】
実施形態において、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像範囲は、油圧ショベル１の作業機２が施工できる範囲よりも大きい。このようにすることで、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、作業機２が掘削できる範囲の施工対象を確実にステレオ撮影することができる。
【0034】
前述した車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、車体１Ｂ、実施形態では旋回体３に固定された原点を基準とする座標系である。実施形態において、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の原点は、例えば、旋回体３のスイングサークルの中心である。スイングサークルの中心は、旋回体３の旋回中心軸Ｚｒ上に存在する。車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸は旋回体３の旋回中心軸Ｚｒとなる軸であり、Ｘｍ軸は旋回体３の前後方向に延び、かつＺｍ軸と直交する軸である。Ｘｍ軸は、旋回体３の前後方向における基準軸である。Ｙｍ軸は、Ｚｍ軸及びＸｍ軸と直交する、旋回体３の幅方向に延びる軸である。車体座標系は、実施形態の例には限定されない。前述したグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）は、ＧＮＳＳによって計測される座標系であり、地球に固定された原点を基準とした座標系である。
【0035】
＜計測システム＞
図３は、実施形態に係る計測システム５０を示す図である。図３に示される計測システム５０の装置構成は一例であり、実施形態の装置構成には限定されない。計測システム５０は、図１に示される油圧ショベル１の車体１Ｂ、実施形態では旋回体３に備えられている。計測システム５０は、検出装置である複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置４０とを含む。実施形態において、計測システム５０は、さらに位置検出装置２３、ＩＭＵ２４及び入力装置３２を有するが、少なくとも複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置４０とを有していればよい。
図３は、実施形態に係る計測システム５０を示す図である。図３に示される計測システム５０の装置構成は一例であり、実施形態の装置構成には限定されない。計測システム５０は、図１に示される油圧ショベル１の車体１Ｂ、実施形態では旋回体３に備えられている。計測システム５０は、検出装置である複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置４０とを含む。実施形態において、計測システム５０は、さらに位置検出装置２３、ＩＭＵ２４及び入力装置３２を有するが、少なくとも複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置４０とを有していればよい。
【0036】
処理装置４０は、処理部４１と、記憶部４２と、入出力部４３とを有する。処理部４１は、例えば、ＣＰＵ（Central Processing Unit）のようなプロセッサとメモリとの組合せによって実現される。処理装置４０は、実施形態に係る計測方法を実現する。この場合、処理部４１は、記憶部４２に記憶されたコンピュータプログラムを読み込んで実行する。このコンピュータプログラムは、実施形態に係る計測方法を処理部４１に実行させるためものである。
【0037】
処理部４１は、共通部分抽出部４１Ａと、移動量演算部４１Ｂと、車体状態演算部４１Ｃと、三次元位置演算部４１Ｄとを有する。共通部分抽出部４１Ａは、油圧ショベル１の動作中、本実施形態では旋回体３の旋回動作中に、撮像装置３０によって複数回撮像された場合に、撮像装置３０によって得られた複数の二次元画像における共通の部分を求める。油圧ショベル１の動作中には、油圧ショベル１の旋回体３の旋回動作（旋回）が含まれる。旋回体３の旋回動作中において、共通部分抽出部４１Ａは、旋回体３が旋回する方向の異なる位置において、少なくとも１つの撮像装置３０によって撮像された複数の二次元画像から共通の部分を求める。
【0038】
移動量演算部４１Ｂは、得られた共通の部分に基づいて旋回体３の旋回角度を求める。車体状態演算部４１Ｃは、得られた旋回角度と、旋回体３が旋回する前に静止している状態で位置検出装置２３によって求められた油圧ショベル１の位置と、旋回体３が旋回する前に静止している状態でＩＭＵ２４によって求められた油圧ショベル１の姿勢と、に基づいて旋回体３の旋回動作中における油圧ショベル１の位置及び姿勢を求める。三次元位置演算部４１Ｄは、得られた油圧ショベル１の位置及び姿勢と、旋回体３が旋回する方向の複数の位置において、少なくとも一対の撮像装置３０によって撮像された画像とを用いて油圧ショベル１の周囲の三次元位置を求める。移動量演算部４１Ｂと車体状態演算部４１Ｃとは、撮像部位置演算部４１Ｅを構成する。撮像部位置演算部４１Ｅは、共通部分抽出部４１Ａによって求められた共通の部分に基づいて、撮像時における撮像装置３０の位置を演算する。旋回体３の旋回動作中において、撮像部位置演算部４１Ｅは、撮像時における撮像装置３０の位置を演算するために、撮像時における旋回体３の旋回角度を演算し、撮像装置３０の位置を演算する。
【0039】
記憶部４２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。
【0040】
記憶部４２は、実施形態に係る計測方法を処理部４１に実行させるためのコンピュータプログラムを記憶している。記憶部４２は、処理部４１が実施形態に係る計測方法を実行する際に使用される情報を記憶する。この情報は、例えば、各撮像装置３０の内部校正データ、各撮像装置３０の姿勢、撮像装置３０同士の位置関係、作業機２等の既知の寸法、車体座標系の原点から各撮像装置３０又はいずれかの撮像装置３０までの位置関係を示す既知の寸法、及び作業機２の姿勢から作業機２の一部の位置を求めるために必要な情報を含む。
【0041】
入出力部４３は、処理装置４０と機器類とを接続するためのインターフェース回路である。入出力部４３には、位置検出装置２３、ＩＭＵ２４、入力装置３２及びハブ５１が接続される。位置検出装置２３及びＩＭＵ２４は、通信線を介して入出力部４３に接続されていてもよい。通信線を用いた場合、通信の規格はＣＡＮ（Controller Area Network）が例示されるが、これに限定されない。
【0042】
ハブ５１には、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄ、入力装置３２及びライト３３が接続されている。ハブ５１を用いずに、撮像装置３０と処理装置４０とが接続されてもよい。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果である形状情報ＳＩは、ハブ５１を介して入出力部４３に入力される。処理部４１は、ハブ５１及び入出力部４３を介して、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果を取得する。入力装置３２は、処理部４１が実施形態に係る計測方法を実行する際に必要な情報を入力するために用いられる。ライト３３は、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力すると点灯する。
【0043】
入力装置３２は、例えば、スイッチ及びタッチパネルが例示されるが、これらに限定されるものではない。実施形態において、入力装置３２は、図２に示される運転室４内、詳細には運転席４Ｓの近傍に設けられる。入力装置３２は、操作装置３５の右側レバー３５Ｒ及び左側レバー３５Ｌの少なくとも一方に取り付けられていてもよいし、運転室４内のモニタパネルに設けられていてもよい。また、入力装置３２は、入出力部４３に対して取り外し可能であってもよいし、電波又は赤外線を用いた無線通信により入出力部４３に情報を入力してもよい。入力装置３２は、携帯端末装置に備えられていてもよい。
【0044】
計測システム５０の処理装置４０は、少なくとも一対の撮像装置３０によって撮像された施工対象の一対の画像に、ステレオ方式における画像処理を施すことにより、施工対象の三次元位置、詳細には三次元座標系における施工対象の座標を求める。このように、処理装置４０は、同一の施工対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、施工対象を三次元計測する。すなわち、少なくとも一対の撮像装置３０及び処理装置４０は、ステレオ方式により施工対象を三次元計測するものである。ステレオ方式における画像処理とは、同一の施工対象を２つの異なる撮像装置３０から観測して得られる２つの画像から、その施工対象までの距離を得る手法である。施工対象までの距離は、例えば、施工対象までの距離情報を濃淡により可視化した距離画像として表現される。距離画像は、施工対象の三次元形状又は三次元位置を表す情報である。距離画像に含まれる各画素は、施工対象の三次元位置の情報を有する。
【0045】
実施形態において、処理装置４０が有する処理部４１の三次元位置演算部４１Ｄは、ステレオ方式による画像処理を実行する。処理装置４０は、少なくとも一対の撮像装置３０によって検出、すなわち撮像された施工対象の形状情報ＳＩを取得し、取得した形状情報ＳＩに基づいて施工対象の三次元位置を求める。形状情報ＳＩは、少なくとも一対の撮像装置３０によって撮像された施工対象の画像である。処理装置４０は、施工対象の画像にステレオ方式による画像処理を施すことにより施工対象の三次元位置を求め、出力する。このように、処理装置４０は、同一の施工対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、施工対象を三次元計測する。このように、少なくとも一対の撮像装置３０及び処理装置４０は、ステレオ方式により施工対象、実施形態では油圧ショベル１の周囲を三次元計測する。
【0046】
ステレオ方式による画像処理が実行されると、距離画像が得られる。距離画像の各画素が有する施工対象の三次元位置は、撮像装置座標系における三次元位置である。計測システム５０によって三次元計測される油圧ショベル１の周囲の位置は、グローバル座標系における三次元位置である。このため、計測システム５０、詳細には処理装置４０は、ステレオ方式による画像処理を実行することによって得られた三次元位置を、撮像装置座標系における位置からグローバル座標系における位置に変換する。この変換は、処理部４１の三次元位置演算部４１Ｄが実行する。
【0047】
三次元位置演算部４１Ｄは、位置検出装置２３によって求められたグローバル座標系における油圧ショベル１の位置と、ＩＭＵ２４によって求められた油圧ショベル１の姿勢とを取得する。油圧ショベル１の位置は、アンテナ２５Ｆ，２５Ｓの少なくとも一方の位置である。油圧ショベル１の姿勢は、ロール角θｒ、ピッチ角θｐ及び方位角θｄである。三次元位置演算部４１Ｄは、油圧ショベル１の位置及び姿勢用いて、少なくとも一対の撮像装置３０によって検出された形状情報ＳＩから得られた距離画像に含まれる三次元位置を、撮像装置座標系からグローバル座標系へ座標変換し、出力する。
【0048】
＜連続した三次元計測＞
図４は、油圧ショベル１の周囲を連続して計測する例を説明する平面図である。計測システム５０の撮像装置３０は、油圧ショベル１の旋回体３に取り付けられているため、旋回体３の旋回動作中に少なくとも一対の撮像装置３０が油圧ショベル１の周囲ＣＲを撮像することで、油圧ショベル１の周囲ＣＲの全体の三次元位置を計測できる。計測システム５０の処理装置４０は、ステレオ方式による画像処理を実行することにより得られた撮像装置座標系の三次元位置を、グローバル座標系における三次元位置に座標変換する。この座標変換において、位置検出装置２３及びＩＭＵ２４の情報が必要になる。
図４は、油圧ショベル１の周囲を連続して計測する例を説明する平面図である。計測システム５０の撮像装置３０は、油圧ショベル１の旋回体３に取り付けられているため、旋回体３の旋回動作中に少なくとも一対の撮像装置３０が油圧ショベル１の周囲ＣＲを撮像することで、油圧ショベル１の周囲ＣＲの全体の三次元位置を計測できる。計測システム５０の処理装置４０は、ステレオ方式による画像処理を実行することにより得られた撮像装置座標系の三次元位置を、グローバル座標系における三次元位置に座標変換する。この座標変換において、位置検出装置２３及びＩＭＵ２４の情報が必要になる。
【0049】
位置検出装置２３は、所定の周期毎に位置を出力する。そのため、位置検出装置２３から得られた情報に基づいて、処理装置４０が旋回体３の旋回動作中における周囲ＣＲの三次元位置を求めると、撮像装置３０による撮像タイミングと、位置検出装置２３による油圧ショベル１の位置及び方位の取得タイミングとが異なる場合、油圧ショベル１の位置及び方位の精度が低下する。その結果、三次元位置の精度が低下する可能性がある。またＩＭＵ２４は、自身が動いている場合における姿勢及び加速度の検出精度が低下するものがある。このようなＩＭＵ２４から得られた情報に基づいて、処理装置４０が旋回体３の旋回動作中における周囲ＣＲの三次元位置を求めると、ＩＭＵ２４によって検出された油圧ショベル１の姿勢及び加速度の精度が低下するため、三次元位置の精度が低下する可能性がある。
【0050】
旋回体３を旋回させながら油圧ショベル１の周囲ＣＲを計測する場合、位置検出装置２３及びＩＭＵ２４が油圧ショベル１の位置及び姿勢を安定して検出するようになってから撮像装置３０が撮像する方法が考えられる。この場合、旋回体３は間欠的に旋回することになる。また、位置検出装置２３及びＩＭＵ２４が油圧ショベル１の位置及び姿勢を安定して検出するまで、撮像装置３０による撮像を待つ必要がある。このため、位置検出装置２３及びＩＭＵ２４が安定するまで撮像を待つ方法では、計測に時間を要する。
【0051】
実施形態において、計測システム５０は、油圧ショベル１の旋回体３の間欠的な旋回ではなく連続した旋回動作中に、油圧ショベル１の周囲ＣＲの形状情報ＳＩを検出し、検出された形状情報ＳＩに基づいて油圧ショベル１の周囲ＣＲの三次元位置を求める。このような処理により、計測システム５０は、油圧ショベル１の周囲ＣＲの形状情報ＳＩを検出する時間を短縮できる。
【0052】
図５は、実施形態に係る計測システム５０が旋回体３の旋回動作中に油圧ショベル１の周囲ＣＲを三次元計測することを説明するための図である。図６は、旋回体３が旋回動作することにより撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）が移動することを説明するための図である。図７は、旋回体３の旋回動作中に撮像された画像ＰＴｆ，ＰＴｓの一例を示す図である。
【0053】
実施形態において、計測システム５０は、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力している状態で、位置検出装置２３から油圧ショベル１の位置を取得し、ＩＭＵ２４から油圧ショベル１の姿勢を取得する。詳細には、計測システム５０は、旋回体３が旋回動作を開始する前に、旋回体３が静止している状態で、位置検出装置２３から油圧ショベル１の位置を取得し、ＩＭＵ２４から油圧ショベル１の姿勢を取得する。この場合、旋回体３が静止しているとともに、油圧ショベル１も走行していない状態である。位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力している状態とするためである。処理部４１は、例えば、旋回体３が停止してから予め定められた時間が経過したら、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力している状態になったと判定する。
【0054】
旋回体３が計測の施工対象に向けられてから静止した後に、計測システム５０の処理装置４０、詳細には処理部４１は、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力するようになったと判定すると、例えばその旨を報知する。実施形態では、処理部４１は、図３に示されるライト３３を点灯させることにより、前述した報知を行う。
【0055】
処理部４１は、ライト３３を点灯させた後、入力装置３２から撮像装置３０の撮像開始指令を受け付けると、位置検出装置２３及びＩＭＵ２４から、それぞれ油圧ショベル１の位置及び姿勢を取得する。記憶部４２は、旋回体３の旋回動作前に取得された油圧ショベル１の位置及び姿勢を一時的に記憶する。処理部４１は、油圧ショベル１の位置及び姿勢を取得すると、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによる撮像を開始させるとともに、旋回体３を旋回させる。旋回体３は、油圧ショベル１のオペレータの操作によって旋回してもよい。
【0056】
撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのそれぞれは、旋回体３の旋回動作中に所定周期毎に複数回撮像することにより、旋回体３が旋回する方向（例えば、図５の矢印Ｒで示される方向）における複数の位置で、油圧ショベル１の周囲ＣＲの画像を複数得る。記憶部４２は、得られた画像を一時的に記憶する。旋回体３が所定の角度、例えば３６０度旋回すると、処理部４１は旋回体３を停止させる。このとき、油圧ショベル１は停止している。旋回体３が停止した後、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力するようになったら、処理部４１は、位置検出装置２３及びＩＭＵ２４から、それぞれ油圧ショベル１の位置及び姿勢を取得する。記憶部４２は、旋回体３の旋回動作後であって位置検出装置２３及びＩＭＵ２４が油圧ショベル１の位置及び姿勢を安定して出力するようになってから取得された油圧ショベル１の位置及び姿勢を一時的に記憶する。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、旋回体３の旋回動作後であって位置検出装置２３及びＩＭＵ２４が油圧ショベル１の位置及び姿勢を安定して出力するようになってから、施工対象を撮像する。
【0057】
旋回体３が油圧ショベル１のオペレータの操作によって旋回する場合、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのそれぞれは、入力装置３２から撮像開始指令を受け付けた後から、所定周期毎に複数回撮像するようにしてもよい。また、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのそれぞれは、旋回体３が旋回を開始したことを位置検出装置２３又はＩＭＵ２４が検知してから、所定周期毎に複数回撮像するようにしてもよい。油圧ショベル１のオペレータの操作によって旋回体３の旋回が停止した場合、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのそれぞれは、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力するようになったら、所定周期毎の撮影を停止するようにしてもよい。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが複数回撮像した場合において、最初の１回の撮像及び最後の１回の撮像のうち少なくとも一方は、旋回体３の静止中に行われる。油圧ショベル１の動作中に行われた、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによる撮像には、油圧ショベル１の静止中に行われた撮像が少なくとも一つ含まれる。
【0058】
処理部４１は、油圧ショベル１の周囲ＣＲの三次元位置を求めるにあたって、旋回体３が旋回する前に旋回体３及び油圧ショベル１が静止している状態で得られた油圧ショベル１の位置及び姿勢と、旋回体３の旋回角度θとに基づいて、旋回体３の旋回中における油圧ショベル１の位置及び姿勢求める。このため、処理部４１は、旋回体３の旋回角度θを求める。
【0059】
図７に示されるように、処理部４１の共通部分抽出部４１Ａは、旋回体３の旋回動作中における第１位置で、例えば撮像装置３０ｃに撮像された画像ＰＴｆと、旋回体３の旋回動作中における第２位置で撮像装置３０ｃに撮像された画像ＰＴｓとから、両者の共通の部分ＰＣＭを求める。第１位置ＰＦから第２位置ＰＳに至るまで、撮像装置３０ｃ，３０ｄは、旋回体３の旋回中心軸Ｚｒ、実施形態では車体座標系のＺｍ軸を中心に、旋回角度Δθだけ旋回する。
【0060】
共通の部分ＰＣＭは、旋回体３が旋回する方向の異なる位置において、複数の撮像装置３０のうち少なくとも１つによって撮像された複数の画像ＰＴｆ，ＰＴｓから求められる。画像ＰＴｆは、図５に示される第１位置ＰＦで、撮像装置３０ｃによって撮像された第１範囲ＦＭＦに対応する。画像ＰＴｓは、図５に示される第２位置ＰＳで、撮像装置３０ｃによって撮像された第２範囲ＦＭＳに対応する。
【0061】
第１範囲ＦＭＦと第２範囲ＦＭＳとが重なる部分には、特徴部分ＦＰが存在する。特徴部分ＦＰは、画像ＰＴｆ中では一部分ＰＣＭｆであり、画像ＰＴｓ中では一部分ＰＣＭｓである。一部分ＰＣＭｆ，ＰＣＭｓは、画像ＰＴｆと画像ＰＴｓとの共通の部分ＰＣＭである。共通部分抽出部４１Ａが画像ＰＴｆと画像ＰＴｓとの共通の特徴部分ＦＰを抽出するにあたっては、共通部分抽出部４１Ａは、まずそれぞれの画像ＰＴｆ及び画像ＰＴｓから特徴部分ＦＰを抽出し、その中で類似する特徴部分を発見する方法が例示される。共通部分抽出部４１Ａは、画像ＰＴｆ及び画像ＰＴｓを記憶部４２から取得し、共通の部分ＰＣＭを抽出する。共通部分抽出部４１Ａは、例えば、Ｈａｒｒｉｓオペレータのような、複数の画像の特徴点を検出するアルゴリズムを用いて、画像ＰＴｆ及び画像ＰＴｓから共通の部分ＰＣＭを抽出する。共通部分抽出部４１Ａは、Ｈａｒｒｉｓオペレータ以外のアルゴリズムを用いて、画像ＰＴｆ及び画像ＰＴｓから共通の部分ＰＣＭを抽出してもよい。
【0062】
共通の部分ＰＣＭが抽出されたら、処理部４１の移動量演算部４１Ｂは、共通の部分ＰＣＭに基づいて、旋回角度Δθを求める。画像ＰＴｆと画像ＰＴｓとの間に共通の部分ＰＣＭが存在する場合、両者の間で共通の部分ＰＣＭが写っている位置が変化する。この変化量ｄが、旋回角度Δθに対応する。
【0063】
旋回体３が旋回中心軸Ｚｒを中心に旋回角度Δθだけ旋回すると、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）が、図６に示されるように旋回体３が旋回中心軸Ｚｒを中心に、第１位置ＰＦから第２位置ＰＳまで、旋回角度θだけ移動する。旋回体３は旋回中心軸Ｚｒ、実施形態では車体座標系のＺｒ軸を中心に旋回するので、第１位置ＰＦと第２位置ＰＳとの間で、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）がＺｓ軸の周りに回転した角度が、旋回角度θになる。図６に記載されているように、旋回中心軸Ｚｒから撮像装置３０ｃ，３０ｄに向かって延びる１点鎖線と、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸とは、必ずしも一致している必要はない。
【0064】
この場合、旋回角度Δθは、例えば８点アルゴリズム法、３Ｄ（dimension）－３Ｄ（dimension）変換法及びバンドル法の少なくとも１つによって求められる。旋回角度Δθを求めるにあたり、旋回体３が旋回中心軸Ｚｒを中心に旋回角度θだけ旋回するという条件、すなわち旋回の中心で拘束されるという条件があるため、例えば８点アルゴリズム法が用いられる場合、画像ＰＴｆと画像ＰＴｓとの間に共通の部分ＰＣＭが１個存在すれば、８点アルゴリズム法により旋回角度Δθを解くことができる。
【0065】
処理部４１の移動量演算部４１Ｂは、画像ＰＴｆと画像ＰＴｓとの間の共通の部分ＰＣＭを用い、８点アルゴリズム法等に基づき旋回角度Δθを求める。旋回角度θは、旋回体３の旋回開始時から旋回終了時までの全体にわたり、共通の部分ＰＣＭが得られた一組の画像同士について、それぞれ求められる。
【0066】
８点アルゴリズム法に基づいて旋回角度Δθを求める場合、旋回動作前の画像中に存在する共通の部分ＰＣＭは、旋回動作後においては旋回角度Δθの大きさに応じて画像上を移動することを利用する。実際には、共通の部分ＰＣＭの三次元位置によっても、共通の部分ＰＣＭの移動先は変わる。共通の部分ＰＣＭの三次元位置が不明であっても、画像中に１点以上の共通の部分ＰＣＭがあれば、共通の部分ＰＣＭの三次元位置によらず、変数が旋回角度θだけに限定されるので、旋回角度Δθを求めることができる。このように、１点あれば旋回角度Δθは求まるが、誤差が大きい可能性があるため、複数点の共通の部分ＰＣＭから最小二乗法を用いて精度よく旋回角度θが算出される。８点アルゴリズム法に基づいて旋回角度Δθを求める場合は、旋回の前後において、ステレオカメラによる施工対象の計測は不要である。変数を旋回角度Δθだけに限定せず、撮像装置３０の位置におけるＸｓ方向変数、Ｙｓ方向変数、Ｚｓ方向変数と、撮像装置の姿勢の３変数、すなわちＸｓ軸、Ｙｓ軸，Ｚｓ軸それぞれに対する回転方向変数との計６個の変数を８点アルゴリズム法により求める場合は、旋回前後の画像中に８点以上の共通の部分ＰＣＭが必要となる。
【0067】
３Ｄ－３Ｄ変換法に基づいて旋回角度Δθを求める場合、旋回動作前の画像中に存在する共通の部分ＰＣＭの三次元位置（ステレオカメラによる計測で算出）は、旋回動作後に旋回角度Δθの大きさに応じて撮像装置３０から見た三次元位置が変化することを利用する。例えば、旋回動作前におけるステレオカメラによる計測で車体座標系の（１，０，０）の位置だった共通の部分ＰＣＭが、旋回動作後のステレオ計測で車体座標系の（０，１，０）の位置になっていれば、旋回体３が車体座標系のＺｍ軸周りに９０度旋回した、といえる。このように、１点あれば旋回角度Δθは求まるが、誤差が大きい可能性があるため、複数点の共通の部分ＰＣＭから最小二乗法を用いて精度よく旋回角度Δθを算出する。３Ｄ－３Ｄ変換法に基づいて旋回角度Δθを求める場合は、旋回の前後において、ステレオカメラによる施工対象の計測が必要である。変数を旋回角度Δθだけに限定せず、撮像装置３０の位置におけるＸｓ方向変数、Ｙｓ方向変数、Ｚｓ方向変数と、撮像装置の姿勢の３変数、すなわちＸｓ軸、Ｙｓ軸，Ｚｓ軸それぞれに対する回転方向変数との計６個の変数を３Ｄ－３Ｄ変換法により求める場合は、旋回前後の画像中に３点以上の共通の部分ＰＣＭが必要となる。
【0068】
バンドル法に基づいて旋回角度θを求める場合、旋回動作前の画像中に存在する共通の部分ＰＣＭの三次元位置（ステレオカメラによる計測で算出）は、旋回動作後に旋回角度θの大きさに応じた画像上の位置にあること、又は旋回動作前の画像中に存在する共通の部分ＰＣＭの位置は、旋回角度Δθの大きさに応じて、旋回動作後に撮像装置３０から見た三次元位置が変化することを利用する。バンドル法においても、１点以上の共通の部分ＰＣＭがあれば、変数が旋回角度Δθだけに限定されていれば、旋回角度Δθを求めることができる。このように、１点あれば旋回角度Δθは求まるが、誤差が大きい可能性があるため、複数点の共通の部分ＰＣＭから最小二乗法を用いて精度よく旋回角度Δθを算出する。
【0069】
バンドル法に基づいて旋回角度Δθを求める場合は、旋回の前におけるステレオカメラによる施工対象の計測、又は旋回の後におけるステレオカメラによる施工対象の計測が必要である。変数を旋回角度Δθだけに限定せず、撮像装置３０の位置におけるＸｓ方向変数、Ｙｓ方向変数、Ｚｓ方向変数と、撮像装置の姿勢の３変数、すなわちＸｓ軸、Ｙｓ軸，Ｚｓ軸それぞれに対する回転方向変数との計６個の変数をバンドル法により求める場合は、旋回前後の画像中に６点以上の共通の部分ＰＣＭが必要となる。
【0070】
旋回角度Δθが得られたら、処理部４１の車体状態演算部４１Ｃは、得られた旋回角度Δθと、旋回体３の旋回動作前に静止している状態で位置検出装置２３によって求められた油圧ショベル１の位置と、旋回体３の旋回動作前に静止している状態でＩＭＵ２４によって求められた油圧ショベル１の姿勢とに基づき、旋回動作中における油圧ショベル１の位置及び姿勢を求める。旋回体３が静止状態から旋回角度Δθだけ旋回した場合、車体状態演算部４１Ｃは、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＸｍ－Ｙｍ平面において、旋回中心軸Ｚｒ（実施形態ではＺｍ軸）周りを旋回角度θだけ旋回したという条件を用いて、旋回動作前の静止状態における油圧ショベル１の位置及び姿勢に基づき、旋回角度Δθだけ旋回した状態における油圧ショベル１の位置及び姿勢を求める。
【0071】
図５に示される例において、第１位置ＰＦ（静止中、旋回動作前）、第２位置ＰＳ（旋回動作中）、第３位置ＰＴ（旋回動作中）において撮像装置３０で撮影をしたとする。第１位置ＰＦ（静止中）において油圧ショベル１の位置及び姿勢が計測可能であり、第１位置ＰＦから第２位置ＰＳまでの旋回角Δθ１を特徴点により求めると、第２位置ＰＳ（旋回動作中）における油圧ショベル１の位置及び姿勢がわかる。そして、第２位置ＰＳから第３位置ＰＴまでの旋回角Δθ２を特徴点により求めることができれば、第３位置ＰＴ（旋回動作中）における油圧ショベル１の位置及び姿勢がわかる。このように、旋回動作中に撮像装置３０によって撮影された箇所における油圧ショベル１の位置及び姿勢が段階的に判明する。
【0072】
例えば、車体状態演算部４１Ｃは、旋回動作前の静止状態における油圧ショベル１の位置及び姿勢を、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸を中心に旋回角度Δθだけ回転変換させることにより、旋回動作中又は旋回動作後における油圧ショベル１の位置及び姿勢を求める。旋回動作中又は旋回動作後における油圧ショベル１の位置及び姿勢は、例えば、旋回動作前の静止状態における車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における位置及び姿勢とすることができる。実施形態において、旋回動作中又は旋回動作後における油圧ショベル１の位置及び姿勢は、旋回動作前の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における旋回動作中又は旋回動作後における撮像装置３０の位置及び姿勢としているが、これには限定されない。
【0073】
前述の旋回角度Δθは、旋回体３の各位置における１つ前の位置との旋回角度差である。以下において旋回角度差をΔθとし、Δθを積算したものを旋回角度θとする。旋回動作中の油圧ショベル１の位置及び姿勢、すなわち旋回体３が旋回する方向における異なる位置での旋回開始後から旋回終了前までの油圧ショベル１の位置及び姿勢は、旋回体３の周方向における各位置での旋回角度θを用いて、旋回動作前の静止状態における油圧ショベル１の位置及び姿勢から求められる。旋回動作後の油圧ショベル１の位置及び姿勢は、旋回動作後における旋回体３の周方向における位置の旋回角度θを用いて、旋回動作前の静止状態における油圧ショベル１の位置及び姿勢から求められる。旋回体３の周方向における各位置の旋回角度θは、旋回動作前の静止状態における旋回角度を基準としたものである。旋回体３の周方向における各位置の旋回角度θは、旋回動作前の静止状態における旋回角度を基準としたものである。
【0074】
旋回動作前における撮像装置３０の位置をＰｓ１（Ｘｓ１，Ｙｓ１，Ｚｓ１）とし、旋回動作中又は旋回動作後における撮像装置３０の位置をＰｓ２（Ｘｓ２，Ｙｓ２，Ｚｓ２）とする。位置Ｐｓ１及び位置Ｐｓ２は、いずれも撮像装置座標系の位置である。位置Ｐｓ１及び位置Ｐｓ２を車体座標系に変換した後の位置を、それぞれ位置Ｐｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）、位置Ｐｍ２（Ｘｍ２，Ｙｍ２，Ｚｍ２）とする。位置Ｐｓ１は式（１）によって位置Ｐｍ１に変換され、位置Ｐｓ２は式（２）によって位置Ｐｍ２に変換される。処理部４１の三次元位置演算部４１Ｄは、式（２）を用いて、旋回動作中の油圧ショベル１の位置である旋回動作中における撮像装置３０の位置Ｐｓ２を、旋回動作前の静止状態における車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）での位置Ｐｍ２に変換する。旋回動作中の油圧ショベル１の姿勢である旋回動作中における撮像装置３０の姿勢も、旋回動作中における撮像装置３０の位置Ｐｓ２と同様に、式（２）によって旋回動作前の静止状態における車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の姿勢に変換される。
【0075】
【数1】
【0076】
【数2】
【0077】
【数3】
【0078】
式（２）中のＲは、式（３）で表される。式（１）及び式（２）中のαは撮像装置座標系のＸｓ軸周りの回転角度、βは撮像装置座標系のＹｓ軸周りの回転角度、γは撮像装置座標系のＺｓ軸周りの回転角度変位である。Ｘｔ，Ｙｔ，Ｚｔは、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）と車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）とのＸｍ軸方向、Ｙｍ軸方向、Ｚｍ軸方向の変位である。
【0079】
旋回動作中における油圧ショベル１の位置及び姿勢が得られたら、三次元位置演算部４１Ｄは、旋回動作中における油圧ショベル１の位置及び姿勢と、旋回体３が旋回する方向の複数の位置において、少なくとも一対の撮像装置３０によって撮像された結果とを用いて、油圧ショベル１の周囲ＣＲの三次元位置を求める。例えば、旋回体３が静止状態から旋回角度θだけ旋回した位置において、グローバル座標系における油圧ショベル１の位置及び姿勢が得られている。このため、三次元位置演算部４１Ｄは、この位置及び姿勢を用いて、距離画像中の画素に含まれる三次元位置を、撮像装置座標系からグローバル座標系に座標変換することができる。このようにして、三次元位置演算部４１Ｄは、グローバル座標系における、油圧ショベル１の周囲ＣＲの三次元位置を求めることができる。
【0080】
三次元位置演算部４１Ｄは、旋回動作中における油圧ショベル１の位置及び姿勢を用いずに、油圧ショベル１の周囲ＣＲの三次元位置を求めてもよい。この場合、式（１）及び式（２）において、旋回動作前において撮像装置３０によって撮像された施工対象の位置をＰｓ１（Ｘｓ１，Ｙｓ１，Ｚｓ１）とし、旋回動作中又は旋回動作後において撮像装置３０によって撮像された施工対象の位置をＰｓ２（Ｘｓ２，Ｙｓ２，Ｚｓ２）とする。三次元位置演算部４１Ｄは、式（２）を用いて、旋回動作中における撮像装置３０によって撮像された施工対象の、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）での位置Ｐｓ２を、旋回動作前の静止状態における車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）での位置Ｐｍ２に変換する。このようにして、三次元位置演算部４１Ｄは、旋回角度θを用いて、旋回動作中又は旋回動作後に得られた距離画像中の画素に含まれる三次元位置を求めることができる。三次元位置演算部４１Ｄは、旋回動作前の静止状態における油圧ショベル１の位置及び姿勢を用いて、旋回動作前の静止状態における車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における位置Ｐｍ２をグローバル座標系の位置に変換する。
【0081】
このように、三次元位置演算部４１Ｄは、旋回角度θと、旋回体３が旋回する前に静止している状態で位置検出装置２３によって求められた油圧ショベル１の位置と、旋回体３が旋回する前に静止している状態でＩＭＵ２４によって求められた油圧ショベル１の姿勢と、旋回体３が旋回する方向の複数の位置において少なくとも一対の撮像装置３０によって撮像された結果とを用いて、油圧ショベル１の周囲ＣＲの三次元位置を求める。
【0082】
図８は、旋回体３の旋回動作中に撮像され、三次元位置が求められた複数の画像ＰＴ１－ＰＴｎを結合することを説明するための図である。三次元位置演算部４１Ｄは、少なくとも一対の撮像装置３０によって撮像され、前述した処理によって求められた、旋回体３の旋回方向における各位置の三次元位置を結合する。図８に示される画像ＰＴ１－ＰＴｎ（ｎは３以上の整数）は、三次元位置演算部４１Ｄによって、グローバル座標系における三次元位置に変換された距離画像である。距離画像ＰＴ１－ＰＴｎを区別しない場合、距離画像ＰＴと表記する。距離画像ＰＴ１は、旋回開始前の静止時において得られたものであり、距離画像ＰＴｎは、旋回終了後の静止時において得られたものである。
【0083】
実施形態において、複数の距離画像ＰＴ１、ＰＴ２，ＰＴ３，ＰＴ４，・・・ＰＴｎ－２，ＰＴｎ－１，及びＰＴｎが結合されるが、これらは互いに重複する部分ＯＬＴを有している。このようにすることで、油圧ショベル１の周囲ＣＲが計測された場合において、旋回体３が旋回する方向における計測の抜けが抑制される。
【0084】
隣接する距離画像ＰＴの旋回角度Δθ１，Δθ２，・・・Δθｎ－１は、撮像装置３０の撮像範囲に基づき、隣接する距離画像ＰＴ同士が重複する部分ＯＬＰを有する大きさに設定される。旋回角度Δθ１，Δθ２，・・・Δθｎ－１は、旋回体３の周方向における位置によって異なってもよいし、同じ値であってもよい。三次元位置演算部４１Ｄは、設定された旋回角度Δθ１，Δθ２，・・・Δθｎ－１毎に距離画像ＰＴＤを取得してこれらを結合することにより、油圧ショベル１の周囲ＣＲの三次元位置を表す情報を生成する。三次元位置演算部４１Ｄは、複数の距離画像ＰＴＤを結合するにあたって、重複する部分ＯＬＰをいずれか一方の距離画像ＰＴＤの三次元位置としてもよいし、両方の三次元位置の平均値としてもよい。
【0085】
図９は、旋回角度θを補正することを説明するための図である。図９の縦軸は旋回角度θ、横軸は時間ｔである。時間は、旋回開始時をｔｓとし、旋回終了時をｔｅとする。旋回角度θに付された符号ｔは位置検出装置２３及びＩＭＵ２４の検出値によって求められた旋回角度であることを意味し、符号ｇは旋回動作中に得られた複数の画像から得られた旋回角度であることを意味する。複数の画像から得られた旋回角度θｇは、複数の画像間で共通する部分ＰＣＭを抽出する際の精度及び旋回角度θを計算する際の誤差等により、真の旋回角度θｔとのずれｄθが発生する。
【0086】
このため、実施形態において、移動量演算部４１Ｂは、旋回体３が旋回を開始する前に静止している状態の旋回体３の旋回角度θｔｓと、旋回体３が旋回を終了した後に静止している状態の旋回体３の旋回角度θｔｅとを用いて、旋回体３が旋回している状態における旋回角度θｇを補正する。このようにすることで、旋回体３の旋回時における油圧ショベル１の位置及び姿勢の精度低下が抑制されるので、旋回体３の旋回時に得られた油圧ショベル１の周囲ＣＲの三次元位置の精度低下が抑制される。
【0087】
旋回角度θを補正する別の方法について説明する。移動量演算部４１Ｂによって求められた旋回角度θが、実際に旋回体３が旋回した旋回角度θ'とは異なる場合、その誤差の変化率（傾き）は一定となる。その場合、移動量演算部４１Ｂは、式（４）を用いて求めた旋回角度θを補正する。旋回角度θ'は、実際に旋回体３が旋回した旋回角度θ'であり、補正後の旋回角度である。旋回角度θ'は、旋回体３が旋回を開始する前に静止している状態の旋回体３の旋回角度θｔｓと、旋回体３が旋回を終了した後に静止している状態の旋回体３の旋回角度θｔｅとを用いて求める。
θ'＝（θｔｅ－θｔｓ）／（θｇｅ－θｇｓ）×（θ－θｇｓ）＋θｇｓ・・・（４）
θ'＝（θｔｅ－θｔｓ）／（θｇｅ－θｇｓ）×（θ－θｇｓ）＋θｇｓ・・・（４）
【0088】
＜実施形態に係る計測方法＞
図１０は、実施形態に係る計測方法の手順の一例を示すフローチャートである。実施形態に係る計測方法は、図３に示される計測システム５０によって実現される。油圧ショベル１の周囲ＣＲを三次元計測するにあたって、油圧ショベル１のオペレータは、計測を開始する位置に旋回体３を向ける。旋回体３が停止後、所定の時間が経過したら、処理装置４０の処理部４１は、旋回体３の旋回時に撮像装置３０による連続撮影が可能であることを報知する。一例として、処理部４１は、連続撮影が可能であることを、ライト３３を点灯させることにより報知する。ライト３３が点灯したら、オペレータは、図３に示される入力装置３２を操作して、撮像装置３０の撮像開始指令を処理装置４０に与える。
図１０は、実施形態に係る計測方法の手順の一例を示すフローチャートである。実施形態に係る計測方法は、図３に示される計測システム５０によって実現される。油圧ショベル１の周囲ＣＲを三次元計測するにあたって、油圧ショベル１のオペレータは、計測を開始する位置に旋回体３を向ける。旋回体３が停止後、所定の時間が経過したら、処理装置４０の処理部４１は、旋回体３の旋回時に撮像装置３０による連続撮影が可能であることを報知する。一例として、処理部４１は、連続撮影が可能であることを、ライト３３を点灯させることにより報知する。ライト３３が点灯したら、オペレータは、図３に示される入力装置３２を操作して、撮像装置３０の撮像開始指令を処理装置４０に与える。
【0089】
処理装置４０の処理部４１は、撮像開始指令を受け付けると、ステップＳ１０１において、旋回体３が静止している状態で、位置検出装置２３から油圧ショベル１の位置を取得し、ＩＭＵ２４及び姿勢を取得する。ステップＳ１０２において、処理部４１は、旋回体３の旋回を開始させるとともに、旋回体３が旋回している最中に少なくとも一対の撮像装置３０に油圧ショベル１の周囲ＣＲを撮像させる。ステップＳ１０２において、旋回体３の旋回動作中に油圧ショベル１の周囲ＣＲの形状情報ＳＩが検出される。ステップＳ１０２において、少なくとも一対の撮像装置３０は、撮像した形状情報ＳＩである画像を、処理部４１に出力する。
【0090】
所定の角度だけ旋回体３が旋回したら、ステップＳ１０３において、処理部４１は旋回体３を停止させる。停止後、所定の時間が経過したら、ステップＳ１０４において、処理部４１は、旋回体３が静止している状態で、位置検出装置２３から油圧ショベル１の位置を取得し、ＩＭＵ２４及び姿勢を取得する。
【0091】
ステップＳ１０５において、共通部分抽出部４１Ａは、旋回体３の旋回動作中に撮像装置３０によって撮像された少なくとも２つの画像から、両者の共通の部分ＰＣＭを求める。共通の部分ＰＣＭは、旋回体３が旋回する方向に沿って、旋回体３が旋回を開始してから停止するまでの全範囲にわたって求められる。すなわち、旋回動作開始前の撮影結果を１、旋回動作終了後の撮影結果をｎとした場合に、１と２との共通部分、２と３との共通部分、・・・ｎ―１とｎとの共通部分をそれぞれ抽出する。ステップＳ１０６において、移動量演算部４１Ｂは、ステップＳ１０５で求められた共通の部分ＰＣＭに基づき、少なくとも一対の撮像装置３０が撮影したタイミングにおける旋回角度θを求める。この場合、移動量演算部４１Ｂは、旋回開始の前後に旋回体３が静止している状態で得られた旋回角度θｔｓ及びθｔｅを用いて、旋回体３が旋回している状態における旋回角度θｇを補正してもよい。
【0092】
ステップＳ１０７において、車体状態演算部４１Ｃは、ステップＳ１０６で得られた旋回角度θと、旋回体３の旋回動作前に静止している状態で位置検出装置２３によって求められた油圧ショベルの位置と、旋回体３の旋回動作前に静止している状態でＩＭＵ２４によって求められた油圧ショベルの姿勢と、旋回動作中に複数の異なる位置で少なくとも一対の撮像装置３０によって撮像された画像とを用いて、油圧ショベル１の周囲ＣＲの三次元位置を求める。ステップＳ１０７において、少なくとも一対の撮像装置３０によって撮像された画像である形状情報ＳＩに基づいて、油圧ショベル１の周囲ＣＲの三次元位置が求められる。その後、三次元位置演算部４１Ｄは、得られた三次元位置を含む複数の距離画像ＰＴＤを結合し、結合された複数の距離画像ＰＴＤを記憶部４２に保存したり、外部のサーバに出力したりする。
【0093】
図１１は、旋回体３の旋回動作中及び旋回動作の前後に得られた複数の距離画像ＰＴＤｓ，ＰＴＤｍ，ＰＴＤｅを結合する例を示す図である。実施形態においては、旋回体３の旋回動作中及び旋回動作の前後に、複数の距離画像ＰＴＤｓ，ＰＴＤｍ，ＰＴＤｅが得られる。距離画像ＰＴＤｓは、旋回体３が旋回を開始する前に得られたものであり、距離画像ＰＴＤｍは、旋回体３の旋回動作中に得られたものであり、距離画像ＰＴＤｅは、旋回体３が旋回を終了した後に得られたものである。距離画像ＰＴＤｍは、単数でもよいし、複数でもよい。
【0094】
距離画像ＰＴＤｓは、旋回体３が旋回動作を開始する前に得られた油圧ショベルの周囲の三次元位置を含む。距離画像ＰＴＤｍは、旋回体３の旋回動作中に得られた油圧ショベルの周囲の三次元位置を含む。距離画像ＰＴＤｅは、旋回体３が旋回を終了した後に得られた油圧ショベルの周囲の三次元位置を含む。
【0095】
図３に示される三次元位置演算部４１Ｄは、旋回体３の旋回動作中及び旋回動作の前後に得られた、複数の距離画像ＰＴＤｓ，ＰＴＤｍ及びＰＴＤｅを結合する。具体的には、三次元位置演算部４１Ｄは、それぞれの三次元位置データにおけるグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）のＸｇ座標及びＹｇ座標が一致するように、高さのデータ、すなわちＺｇ座標を結合する。例えば、三次元位置演算部４１Ｄは、それぞれの距離画像ＰＴＤｓ，ＰＴＤｍ，ＰＴＤｅの共通する位置で、これらを結合する。この処理によって、旋回体３が旋回を開始する前に得られた油圧ショベルの周囲の三次元位置と、旋回体３の旋回動作中に得られた油圧ショベルの周囲の三次元位置と、旋回体３が旋回を終了した後に得られた油圧ショベルの周囲の三次元位置とが結合される。
【0096】
複数の距離画像ＰＴＤｓ，ＰＴＤｍ，ＰＴＤｅが結合されることにより、油圧ショベル１の周囲において旋回体３が旋回した範囲の三次元形状を表す距離画像ＰＴＤａが得られる。結合された距離画像ＰＴＤａが得られることにより、旋回体３の旋回動作中に撮像された一部の位置において撮像装置３０の位置が測定できなかったために三次元位置の演算ができなかった領域を把握することができる。また、結合された距離画像ＰＴＤａが得られることにより、油圧ショベル１の周囲における地形の状況が把握される。三次元位置演算部４１Ｄは、旋回体３の旋回動作中に得られた複数の距離画像ＰＴＤｍを結合するようにしてもよい。
【0097】
＜油圧ショベル１の動作中における連続した三次元計測＞
図１２は、実施形態に係る計測システムが油圧ショベル１の走行動作中に油圧ショベル１の周囲ＣＲを三次元計測することを説明するための図である。実施形態においては、旋回体３の旋回動作中に油圧ショベル１の周囲を三次元計測したが、変形例は、油圧ショベル１の動作中、例えば走行体５の走行動作中（走行中）に、油圧ショベル１の周囲を三次元計測する。
図１２は、実施形態に係る計測システムが油圧ショベル１の走行動作中に油圧ショベル１の周囲ＣＲを三次元計測することを説明するための図である。実施形態においては、旋回体３の旋回動作中に油圧ショベル１の周囲を三次元計測したが、変形例は、油圧ショベル１の動作中、例えば走行体５の走行動作中（走行中）に、油圧ショベル１の周囲を三次元計測する。
【0098】
走行動作を開始する前の油圧ショベル１は静止している。このとき、旋回体３および走行体５も静止している。この状態で、計測システム５０は、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力している状態で、位置検出装置２３から油圧ショベル１の位置を取得し、ＩＭＵ２４から油圧ショベル１の姿勢を取得する。位置検出装置２３及びＩＭＵ２４が、それぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力している状態とするためである。
【0099】
詳細には、図３に示される計測システム５０は、油圧ショベル１が走行動作を開始する前に、旋回体３および走行体５が静止している状態で、位置検出装置２３から油圧ショベル１の位置を取得し、ＩＭＵ２４から油圧ショベル１の姿勢を取得する。図３に示される処理部４１は、例えば、油圧ショベル１及び旋回体３が静止してから予め定められた時間が経過したら、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力している状態になったと判定する。
【0100】
油圧ショベル１が静止し、かつ旋回体３が計測の施工対象に向けられてから静止した後に、計測システム５０の処理装置４０、詳細には処理部４１は、位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力するようになったと判定すると、例えばその旨を報知する。報知については前述した通りである。
【0101】
処理部４１は、例えばライト３３を点灯させた後、入力装置３２から撮像装置３０の撮像開始指令を受け付けると、位置検出装置２３及びＩＭＵ２４から、それぞれ油圧ショベル１の位置及び姿勢を取得する。記憶部４２は、油圧ショベル１が走行動作を開始する前に取得された油圧ショベル１の位置及び姿勢を一時的に記憶する。処理部４１は、油圧ショベル１の位置及び姿勢を取得すると、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄによる撮像を開始させる。図示しない走行レバーがオペレータによって操作されると、油圧ショベル１が走行動作を開始する。油圧ショベル１は、処理部４１から撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄに撮像開始指令が発信されたら、自動的に走行動作を開始してもよい。
【0102】
図３に示される撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのそれぞれは、例えば図１に示される油圧ショベル１の走行体５による走行動作中に所定周期毎に複数回撮像することにより、油圧ショベル１が走行する方向（例えば、図１２の矢印ＭＤで示される方向）における複数の位置で、油圧ショベル１の周囲ＣＲの画像を複数得る。図３に示される記憶部４２は、得られた画像を一時的に記憶する。オペレータによる図示しない走行レバーの操作が終了されると、油圧ショベル１の走行動作は停止する。このとき、旋回体３も停止している。油圧ショベル１が走行動作する方向は直線方向でなくてもよい。
【0103】
油圧ショベル１が停止した後、図３に示される位置検出装置２３及びＩＭＵ２４がそれぞれ油圧ショベル１の位置及び姿勢を安定して検出し、出力するようになったら、処理部４１は、位置検出装置２３及びＩＭＵ２４から、それぞれ油圧ショベル１の位置及び姿勢を取得する。記憶部４２は、処理部４１によって取得された油圧ショベル１の位置及び姿勢を一時的に記憶する。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１の走行開始後であって位置検出装置２３及びＩＭＵ２４が油圧ショベル１の位置及び姿勢を安定して出力するようになってから、施工対象を撮像する。
【0104】
図３に示される処理部４１の共通部分抽出部４１Ａは、油圧ショベル１の走行中及び走行の前後に得られた複数の画像から、共通の部分を求める。共通部分抽出部４１Ａは、例えば第１位置ＰＦで撮像装置３０ｃに撮像された画像と、油圧ショベル１の走行中における第２位置ＰＳで撮像装置３０ｃに撮像された画像とから、両者の共通の部分を求める。また、共通部分抽出部４１Ａは、例えば第２位置ＰＦで撮像装置３０ｃに撮像された画像と、油圧ショベル１の走行中における第３位置ＰＴで撮像装置３０ｃに撮像された画像とから、両者の共通の部分を求める。
【0105】
第１位置ＰＦで撮像された画像と第２位置ＰＳで撮像された画像との共通の部分は、第１範囲ＦＭＦと第２範囲ＦＭＳとが重なる部分に存在する特徴部分ＦＰに対応する。第２位置ＰＳで撮像された画像と第３位置ＰＴで撮像された画像との共通の部分は、第２範囲ＦＭＳと第３範囲ＦＭＴとが重なる部分に存在する特徴部分ＦＰに対応する。
【0106】
共通部分抽出部４１Ａは、例えば、Ｈａｒｒｉｓオペレータのような、複数の画像の特徴点を検出するアルゴリズムを用いて、油圧ショベル１の走行中及び走行の前後に得られた複数の画像から共通の部分を抽出する。共通の部分が抽出されたら、処理部４１の移動量演算部４１Ｂは、共通の部分ＰＣＭに基づいて、撮像装置３０の移動量ΔＤ（ΔＤ１，ΔＤ２）を求める。２つの異なる画像に共通の部分が存在する場合、両者の間で共通の部分が写っている位置が変化する。この変化量が、撮像装置３０の移動量ΔＤに対応する。移動量ΔＤは、図１２に示されるように一方向の移動量に限らず、６変数（撮像装置３０の位置におけるＸｓ方向変数、Ｙｓ方向変数、Ｚｓ方向変数と、撮像装置の姿勢の３変数、すなわちＸｓ軸、Ｙｓ軸，Ｚｓ軸それぞれに対する回転方向変数との計６個の変数）における移動量であってもよい。
【0107】
移動量Ｄは、前述したように、例えば８点アルゴリズム法、３Ｄ（dimension）－３Ｄ変換法及びバンドル法の少なくとも１つによって求められる。移動量ΔＤを求める場合、旋回の中心で拘束されるという条件はない。このため、移動量ΔＤを求める場合、撮像装置３０の位置におけるＸｓ方向変数、Ｙｓ方向変数、Ｚｓ方向変数と、撮像装置の姿勢の３変数、すなわちＸｓ軸、Ｙｓ軸，Ｚｓ軸それぞれに対する回転方向変数との計６個の変数が必要になる。８点アルゴリズム法、３Ｄ（dimension）－３Ｄ変換法及びバンドル法の少なくとも１つによって前述した６個の変数が求められる場合、複数の画像中には、旋回角度Δθを求める場合よりも多くの共通の部分が必要になる。
【0108】
移動量ΔＤが得られると、移動量ΔＤを求める場合に求めた、撮像装置３０の位置におけるＸｓ方向変数、Ｙｓ方向変数、Ｚｓ方向変数と、Ｘｓ軸、Ｙｓ軸，Ｚｓ軸それぞれに対する回転方向変数との計６個の変数が得られる。これらの６個の変数が得られると、撮像装置３０の位置及び姿勢も得られる。油圧ショベル１が走行動作する場合は、移動量演算部４１Ｂのみによって撮像装置３０の移動量ΔＤ、撮像装置３０の位置及び姿勢が得られる。すなわち、油圧ショベル１が走行動作する場合、図３に示される撮像装置演算部４１Ｅは、移動量演算部４１Ｂのみで構成される。
【0109】
油圧ショベル１の走行中における撮像装置３０の位置及び姿勢が得られたら、三次元位置演算部４１Ｄは、油圧ショベル１が走行動作中である複数の位置において、走行動作中における撮像装置３０の位置及び姿勢と、少なくとも一対の撮像装置３０によって撮像された結果とを用いて、油圧ショベル１の周囲ＣＲの三次元位置を求める。例えば、油圧ショベル１が静止状態から所定の距離だけ走行した位置において、グローバル座標系における撮像装置３０の位置及び姿勢が得られている。このため、三次元位置演算部４１Ｄは、この位置及び姿勢を用いて、距離画像中の画素に含まれる三次元位置を、撮像装置座標系からグローバル座標系に座標変換することができる。このようにして、三次元位置演算部４１Ｄは、グローバル座標系における、油圧ショベル１の周囲ＣＲの三次元位置を求めることができる。
【0110】
油圧ショベル１が走行動作をしている場合の三次元計測において記載していない部分は、旋回時の連続計測で説明した方法が用いられてもよい。
【0111】
実施形態では、処理装置４０が少なくとも一対の撮像装置３０によって撮像された画像にステレオ方式による画像処理を施して三次元計測を実現したが、このようなものには限定されない。例えば、少なくとも一対の撮像装置３０によって撮像された油圧ショベル１の周囲ＣＲの画像と、位置検出装置２３及びＩＭＵ２４によって求められた油圧ショベル１の静止時における位置及び姿勢とが、例えば油圧ショベル１の外部の管理装置に送信される。そして、外部の管理装置が油圧ショベル１の周囲ＣＲの画像にステレオ方式による画像処理を実行するとともに、旋回体３の旋回時における旋回角度θ、油圧ショベル１の位置及び姿勢を求め、得られた結果を用いて旋回時における油圧ショベル１の周囲ＣＲの三次元位置を求めてもよい。この場合、油圧ショベル１の外部の管理装置が、処理装置４０に相当する。
【0112】
実施形態において、作業機械は、少なくとも一対の撮像装置３０が備えられた旋回体３を有していればよく、油圧ショベル１には限定されない。また、実施形態において、処理装置４０は、旋回体３の旋回動作中は、位置検出装置２３及びＩＭＵ２４によって求められた油圧ショベル１の位置及び姿勢は用いない。しかし、位置検出装置２３及びＩＭＵ２４の精度によっては、処理装置４０は、位置検出装置２３及びＩＭＵ２４のうちの少なくとも一方によって求められた油圧ショベル１の位置及び姿勢の少なくとも一方を用いて、油圧ショベル１の周囲ＣＲの三次元位置を求めてもよい。
【0113】
実施形態において、旋回角度θは、少なくとも１つの撮像装置３０によって撮像された画像に基づいて求められたが、旋回角度θはこれ以外の方法で求められてもよい。例えば、旋回体３の旋回角度を検出するロータリーエンコーダのような角度検出センサによって旋回角度θが求められてもよい。この場合、処理部４１は、角度検出センサの検出値である旋回角度θを角度検出センサから取得するタイミングと、少なくとも一対の撮像装置３０が施工対象を撮像するタイミングとを同期させる。このようにして、少なくとも一対の撮像装置３０によって画像が撮像されたタイミングと、そのタイミングにおける旋回体３の旋回角度θとが対応付けられる。
【0114】
実施形態において、検出装置は少なくとも一対の撮像装置３０を含むステレオカメラである。ステレオカメラで撮影する際には、各カメラの撮影タイミングを同期させる。検出装置はステレオカメラに限定されない。検出装置は、例えば、ＴＯＦ（Time Of Flight）カメラのような、画像と三次元データを表す距離画像との両方が得られるセンサであってもよい。検出装置は一つのカメラにより距離画像が得られる撮像装置であってもよい。検出装置は、レーザスキャナであってもよい。
【0115】
実施形態では、撮像装置３０が、旋回体３の旋回動作中に所定周期毎に複数回撮像し、その各撮影タイミングにおける旋回角θが求められるが、その例に限られない。例えば、図５に示される第１位置ＰＦ（停止中）から旋回体３が旋回を開始した際に、処理装置４０は、第１位置ＰＦにおいて撮像装置３０によって撮像された画像と、旋回開始後に所定周期毎に撮像された各画像との共通点の数を計測し、特徴点の数の変動に基づいて、第１位置ＰＦからの撮像装置３０の位置を求める第２位置ＰＳを決定するようにしてもよい。例えば、第２位置ＰＳを決定する方法として、第１位置ＰＦにおいて撮像された第１画像ＰＦと、その後に順次撮影された画像との共通点の数をそれぞれ計測し、共通点の数が所定値以下になった時点の画像を、第２位置ＰＳで撮像した第２画像と決定するようにしてもよい。
【0116】
実施形態では、８点アルゴリズム法、３Ｄ－３Ｄ変換法及びバンドル法の少なくとも１つによって旋回角度Δθ及び撮像装置３０の移動量Ｄが求められるが、その例に限られない。例えば、バンドル調整法及びＶ－ＳＬＡＭ（Visual-Simultaneous Localization and Mapping）の少なくとも１つによって油圧ショベル１の旋回角度Δθ及び撮像装置３０の移動量ΔＤが求められてもよい。
【0117】
以上、実施形態は、検出装置が取り付けられた旋回体を旋回させながら、検出装置によって作業機械の周囲の形状を検出し、検出された形状の情報に基づいて、作業機械の周囲の三次元位置を求める。このように、実施形態は、旋回体とともに検出装置を旋回させながら作業機械の周囲の形状を取得し、得られた形状情報に基づいて作業機械の周囲を計測するので、作業機械の周囲を広範囲に計測できる。
【0118】
実施形態は、少なくとも一対の撮像装置によって撮像された複数の画像から共通の部分を求め、得られた前記共通の部分に基づいて旋回体の旋回角度を求め、得られた旋回角度と、旋回体が旋回動作前に静止している状態で求められた作業機械の位置及び姿勢と、に基づいて旋回体の旋回動作中における作業機械の位置及び姿勢を求める。そして、得られた作業機械の位置及び姿勢と、旋回体が旋回する方向の複数の位置において、少なくとも一対の撮像装置によって撮像された結果とを用いて作業機械の周囲の三次元位置が求められる。このため、作業機械の位置及び姿勢を検出する装置が、安定して位置及び姿勢を出力するまでに時間を要するものであったり、位置及び姿勢を出力する周期が遅いものであったりしても、旋回動作中における位置及び姿勢は、検出装置の検出結果から得られる。その結果、旋回体を間欠的に旋回させず、連続して旋回させても作業機械の周囲の形状を検出し、その結果から作業機械の周囲を計測できるので、作業機械の周囲の形状を検出することに要する時間を短縮できる。また、旋回体を旋回させながら作業機械の周囲の形状を検出し、その結果に基づいて作業機械の周囲を計測するので、作業機械の周囲を広範囲に計測できる。
【0119】
実施形態では、油圧ショベル１に限定して説明したが、計測システム５０及び計測方法の適用対象は油圧ショベル１には限定されない。特に、作業機械の走行動作中における連続撮影による三次元位置計測は、ブルドーザー、ホイールローダー、ダンプトラック、モーターグレーダー、その他作業機械において用いられてもよい。
【0120】
以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。
【符号の説明】
【0121】
１ 油圧ショベル
２ 作業機
３ 旋回体
５ 走行体
２３ 位置検出装置（位置検出部）
２４ ＩＭＵ（姿勢検出部）
３０，３０ａ，３０ｂ，３０ｃ，３０ｄ 撮像装置（撮像部）
３２ 入力装置
３３ ライト
４０ 処理装置
４１ 処理部
４１Ａ 共通部分抽出部
４１Ｂ 移動量演算部
４１Ｃ 車体状態演算部
４１Ｄ 三次元位置演算部
４１Ｅ 撮像部位置演算部
４２ 記憶部
４３ 入出力部
５０ 計測システム
５１ ハブ
ＣＲ 周囲
ＦＰ 特徴部分
ＰＴ 距離画像
ＳＩ 形状情報
θ 旋回角度
２ 作業機
３ 旋回体
５ 走行体
２３ 位置検出装置（位置検出部）
２４ ＩＭＵ（姿勢検出部）
３０，３０ａ，３０ｂ，３０ｃ，３０ｄ 撮像装置（撮像部）
３２ 入力装置
３３ ライト
４０ 処理装置
４１ 処理部
４１Ａ 共通部分抽出部
４１Ｂ 移動量演算部
４１Ｃ 車体状態演算部
４１Ｄ 三次元位置演算部
４１Ｅ 撮像部位置演算部
４２ 記憶部
４３ 入出力部
５０ 計測システム
５１ ハブ
ＣＲ 周囲
ＦＰ 特徴部分
ＰＴ 距離画像
ＳＩ 形状情報
θ 旋回角度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】