IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社小松製作所の特許一覧

特許7104050作業機械の計測システム、作業機械、及び作業機械の計測方法
<>
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図1
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図2
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図3
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図4
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図5
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図6
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図7
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図8
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図9
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図10
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図11
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図12
  • 特許-作業機械の計測システム、作業機械、及び作業機械の計測方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-11
(45)【発行日】2022-07-20
(54)【発明の名称】作業機械の計測システム、作業機械、及び作業機械の計測方法
(51)【国際特許分類】
   G01C 15/00 20060101AFI20220712BHJP
   G01C 7/02 20060101ALI20220712BHJP
   G01B 11/00 20060101ALI20220712BHJP
   E02F 9/26 20060101ALI20220712BHJP
【FI】
G01C15/00 103E
G01C7/02
G01B11/00 H
E02F9/26 B
【請求項の数】 10
(21)【出願番号】P 2019539088
(86)(22)【出願日】2018-07-27
(86)【国際出願番号】 JP2018028347
(87)【国際公開番号】W WO2019044316
(87)【国際公開日】2019-03-07
【審査請求日】2021-06-02
(31)【優先権主張番号】P 2017168955
(32)【優先日】2017-09-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】川本 駿
(72)【発明者】
【氏名】松田 豊久
(72)【発明者】
【氏名】山口 博義
【審査官】櫻井 仁
(56)【参考文献】
【文献】国際公開第2015/167022(WO,A1)
【文献】特開2012-173114(JP,A)
【文献】国際公開第2017/033991(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 15/00
G01C 7/02
G01B 11/00-11/30
E02F 9/26
(57)【特許請求の範囲】
【請求項1】
作業機械の旋回体に搭載された撮像装置によって前記旋回体の旋回中に撮影された施工対象の画像を取得する画像取得部と、
前記画像に基づいて前記施工対象の三次元位置を算出する三次元位置算出部と、
前記旋回体の旋回データを取得する旋回データ取得部と、
前記旋回データが規定の旋回条件を満足するか否かを判定する判定部と、
前記判定部の判定結果に基づいて旋回指示信号を出力する出力部と、
を備える作業機械の計測システム。
【請求項2】
前記旋回条件は、前記旋回体の旋回停止後、再旋回が行われない条件を含む、
請求項1に記載の作業機械の計測システム。
【請求項3】
前記旋回データは、前記旋回体の旋回速度を含み、
前記旋回条件は、前記旋回速度が規定速度未満である条件を含む、
請求項1又は請求項2に記載の作業機械の計測システム。
【請求項4】
前記旋回データは、前記旋回体の旋回角度を含み、
前記旋回条件は、前記旋回角度が第1規定角度よりも大きい条件及び第2規定角度未満である条件の一方又は両方を含む、
請求項1から請求項3のいずれか一項に記載の作業機械の計測システム。
【請求項5】
前記旋回データは、前記旋回体の旋回方向を含み、
前記旋回条件は、前記旋回方向が一方向である条件を含む、
請求項1から請求項4のいずれか一項に記載の作業機械の計測システム。
【請求項6】
前記作業機械の運転者に報知する報知装置を備え、
前記旋回指示信号は、前記旋回に関する報知信号を含み、
前記出力部は、前記報知信号を前記報知装置に出力する、
請求項1から請求項5のいずれか一項に記載の作業機械の計測システム。
【請求項7】
前記旋回体を旋回させる油圧コントローラを備え、
前記旋回指示信号は、前記旋回体の旋回動作を制御する制御信号を含み、
前記出力部は、前記制御信号を前記油圧コントローラに出力する、
請求項1から請求項6のいずれか一項に記載の作業機械の計測システム。
【請求項8】
前記三次元位置算出部は、前記旋回データが前記旋回条件を満足しないと判定された場合、前記旋回体が動作開始前の動作停止状態において撮影された前記画像と、前記旋回体が動作終了後の動作停止状態において撮影された前記画像とに基づいて、前記施工対象の三次元位置を算出する、
請求項1から請求項7のいずれか一項に記載の作業機械の計測システム。
【請求項9】
請求項1から請求項8のいずれか一項に記載の作業機械の計測システムを備える作業機械。
【請求項10】
作業機械の旋回体に搭載された撮像装置によって前記旋回体の旋回中に撮影された施工対象の画像を取得することと、
前記旋回体の旋回データを取得することと、
前記旋回データが規定の旋回条件を満足するか否かを判定することと、
判定結果に基づいて旋回指示信号を出力することと、
を含む作業機械の計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の計測システム、作業機械、及び作業機械の計測方法に関する。
【背景技術】
【0002】
作業機械に係る技術分野において、特許文献1に開示されているような、撮像装置が搭載された作業機械が知られている。一対の撮像装置で撮影された一対の画像がステレオ処理されることにより、作業機械の周辺の対象の三次元形状が計測される。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2017/033991号
【発明の概要】
【発明が解決しようとする課題】
【0004】
旋回体を旋回させながら撮像装置によって作業機械の周辺の対象を連続撮影するとき、ステレオ計測の計測精度を低下させる旋回条件で旋回体が旋回する可能性がある。その結果、対象の三次元形状の計測精度が低下する可能性がある。
【0005】
本発明の態様は、対象の三次元形状の計測精度の低下を抑制することを目的とする。
【課題を解決するための手段】
【0006】
本発明の態様に従えば、作業機械の旋回体に搭載された撮像装置によって前記旋回体の旋回中に撮影された施工対象の画像を取得する画像取得部と、前記画像に基づいて前記施工対象の三次元位置を算出する三次元位置算出部と、前記旋回体の旋回データを取得する旋回データ取得部と、前記旋回データが規定の旋回条件を満足するか否かを判定する判定部と、前記判定部の判定結果に基づいて旋回指示信号を出力する出力部と、を備える作業機械の計測システムが提供される。
【発明の効果】
【0007】
本発明の態様によれば、対象の三次元形状の計測精度の低下を抑制することができる。
【図面の簡単な説明】
【0008】
図1図1は、本実施形態に係る作業機械の一例を示す斜視図である。
図2図2は、本実施形態に係る作業機械の一部を示す斜視図である。
図3図3は、本実施形態に係る計測システムの一例を示す機能ブロック図である。
図4図4は、本実施形態に係る作業機械の動作の一例を模式的に示す図である。
図5図5は、本実施形態に係る計測システムの動作の一例を模式的に示す図である。
図6図6は、本実施形態に係る計測システムの処理の一例を説明するための模式図である。
図7図7は、本実施形態に係る計測システムの処理の一例を説明するための模式図である。
図8図8は、本実施形態に係る計測システムの処理の一例を説明するための模式図である。
図9図9は、本実施形態に係る対象の三次元位置の統合の一例を模式的に示す図である。
図10図10は、本実施形態に係る入力装置の一例を模式的に示す斜視図である。
図11図11は、本実施形態に係る計測方法の一例を示すフローチャートである。
図12図12は、本実施形態に係る計測方法のタイミングチャートである。
図13図13は、本実施形態に係る表示装置の表示例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0010】
以下の説明においては、三次元の現場座標系(Xg,Yg,Zg)、三次元の車体座標系(Xm,Ym,Zm)、及び三次元の撮像装置座標系(Xs,Ys,Zs)を規定して、各部の位置関係について説明する。
【0011】
現場座標系は、地球に固定された原点を基準とする座標系である。現場座標系は、GNSS(Global Navigation Satellite System)によって規定される座標系である。GNSSとは、全地球航法衛星システムをいう。全地球航法衛星システムの一例として、GPS(Global Positioning System)が挙げられる。
【0012】
現場座標系は、水平面のXg軸と、Xg軸と直交する水平面のYg軸と、Xg軸及びYg軸と直交するZg軸とによって規定される。Xg軸を中心とする回転又は傾斜方向をθXg方向とし、Yg軸を中心とする回転又は傾斜方向をθYg方向とし、Zg軸を中心とする回転又は傾斜方向をθZg方向とする。Zg軸方向は鉛直方向である。
【0013】
車体座標系は、作業機械の車体に規定された原点を基準とする第1所定面のXm軸と、Xm軸と直交する第1所定面のYm軸と、Xm軸及びYm軸と直交するZm軸とによって規定される。Xm軸を中心とする回転又は傾斜方向をθXm方向とし、Ym軸を中心とする回転又は傾斜方向をθYm方向とし、Zm軸を中心とする回転又は傾斜方向をθZm方向とする。Xm軸方向は作業機械の前後方向であり、Ym軸方向は作業機械の車幅方向であり、Zm軸方向は作業機械の上下方向である。
【0014】
撮像装置座標系は、撮像装置に規定された原点を基準とする第2所定面のXs軸と、Xs軸と直交する第2所定面のYs軸と、Xs軸及びYs軸と直交するZs軸とによって規定される。Xs軸を中心とする回転又は傾斜方向をθXs方向とし、Ys軸を中心とする回転又は傾斜方向をθYs方向とし、Zs軸を中心とする回転又は傾斜方向をθZs方向とする。Xs軸方向は撮像装置の上下方向であり、Ys軸方向は撮像装置の幅方向であり、Zs軸方向は撮像装置の前後方向である。Zs軸方向は撮像装置の光学系の光軸と平行である。
【0015】
現場座標系における位置と、車体座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。
【0016】
[作業機械]
図1は、本実施形態に係る作業機械1の一例を示す斜視図である。本実施形態においては、作業機械1が油圧ショベルである例について説明する。以下の説明においては、作業機械1を適宜、油圧ショベル1、と称する。
【0017】
図1に示すように、油圧ショベル1は、車体1Bと、作業機2とを有する。車体1Bは、旋回体3と、旋回体3を旋回可能に支持する走行体5とを有する。
【0018】
旋回体3は、運転室4を有する。油圧ポンプ及び内燃機関が旋回体3に配置される。旋回体3は、旋回軸Zrを中心に旋回可能である。旋回軸Zrは、車体座標系のZm軸と平行である。車体座標系の原点は、例えば旋回体3のスイングサークルの中心に規定される。スイングサークルの中心は、旋回体3の旋回軸Zrに位置する。
【0019】
走行体5は、履帯5A,5Bを有する。履帯5A,5Bが回転することにより、油圧ショベル1が走行する。車体座標系のZm軸は、履帯5A,5Bの接地面と直交する。車体座標系の上方(+Zm方向)は、履帯5A,5Bの接地面から離れる方向であり、車体座標系の下方(-Zm方向)は、車体座標系の上方とは反対の方向である。
【0020】
作業機2は、旋回体3に連結される。車体座標系において、作業機2の少なくとも一部は、旋回体3よりも前方に配置される。車体座標系の前方(+Xm方向)は、旋回体3を基準として作業機2が存在する方向であり、車体座標系の後方(-Xm方向)は、車体座標系の前方とは反対の方向である。
【0021】
作業機2は、旋回体3に連結されるブーム6と、ブーム6に連結されるアーム7と、アーム7に連結されるバケット8と、ブーム6を駆動するブームシリンダ10と、アーム7を駆動するアームシリンダ11と、バケット8を駆動するバケットシリンダ12とを有する。ブームシリンダ10、アームシリンダ11、及びバケットシリンダ12はそれぞれ、油圧によって駆動される油圧シリンダである。
【0022】
また、油圧ショベル1は、旋回体3の位置を検出する位置検出装置23と、旋回体3の姿勢を検出する姿勢検出装置24と、制御装置40とを有する。
【0023】
位置検出装置23は、現場座標系における旋回体3の位置を検出する。旋回体3の位置は、Xg軸方向の座標、Yg軸方向の座標、及びZg軸方向の座標を含む。位置検出装置23は、GPS受信機を含む。位置検出装置23は、旋回体3に設けられる。
【0024】
GPSアンテナ21が旋回体3に設けられる。GPSアンテナ21は、例えば車体座標系のYm軸方向に2つ配置される。GPSアンテナ21は、GPS衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出装置23に出力する。位置検出装置23は、GPSアンテナ21からの信号に基づいて、現場座標系におけるGPSアンテナ21の位置を検出する。
【0025】
位置検出装置23は、2つのGPSアンテナ21の位置の少なくとも一方に基づいて演算処理を実施して、旋回体3の位置を算出する。旋回体3の位置は、一方のGPSアンテナ21の位置でもよいし、一方のGPSアンテナ21の位置と他方のGPSアンテナ21の位置との間の位置でもよい。
【0026】
姿勢検出装置24は、現場座標系における旋回体3の姿勢を検出する。旋回体3の姿勢は、Xm軸を中心とする回転方向における旋回体3の傾斜角度を示すロール角と、Ym軸を中心とする回転方向における旋回体3の傾斜角度を示すピッチ角と、Zm軸と中心とする回転方向における旋回体3の傾斜角度を示す方位角とを含む。姿勢検出装置24は、慣性計測装置(IMU:Inertial Measurement Unit)を含む。姿勢検出装置24は、旋回体3に設けられる。なお、姿勢検出装置24としてジャイロセンサが旋回体3に搭載されてもよい。
【0027】
姿勢検出装置24は、姿勢検出装置24に作用する加速度及び角速度を検出する。姿勢検出装置24に作用する加速度及び角速度が検出されることにより、旋回体3に作用する加速度及び角速度が検出される。姿勢検出装置24は、旋回体3に作用する加速度及び角速度に基づいて演算処理を実施して、ロール角、ピッチ角、及び方位角を含む旋回体3の姿勢を算出する。
【0028】
なお、位置検出装置23の検出データに基づいて方位角が算出されてもよい。位置検出装置23は、一方のGPSアンテナ21の位置と他方のGPSアンテナ21の位置とに基づいて、現場座標系における基準方位に対する旋回体3の方位角を算出することができる。基準方位は、例えば北である。位置検出装置23は、一方のGPSアンテナ21の位置と他方のGPSアンテナ21の位置とを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、基準方位に対する旋回体3の方位角を算出することができる。
【0029】
油圧ショベル1は、旋回体3を旋回させる動力を発生する旋回モータ37と、旋回モータ37の旋回動作を制御する油圧コントローラ38とを有する。油圧コントローラ38は、後述する操作装置35の操作量に基づいて図示しない制御弁を制御することによって、旋回モータ37に供給される作動油の流量を制御する。
【0030】
次に、本実施形態に係るステレオカメラ300について説明する。図2は、本実施形態に係る油圧ショベル1の一部を示す斜視図である。図2に示すように、油圧ショベル1は、ステレオカメラ300を有する。ステレオカメラ300とは、施工対象SBを複数の方向から同時に撮影して視差データを生成することにより、施工対象SBまでの距離を計測可能なカメラをいう。
【0031】
ステレオカメラ300は、油圧ショベル1の周辺の施工対象SBを撮影する。施工対象SBは、油圧ショベル1の作業機2で掘削される掘削対象を含む。なお、施工対象SBは、油圧ショベル1とは別の作業機械によって施工される施工対象でもよいし、作業者によって施工される施工対象でもよい。また、施工対象SBは、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。
【0032】
ステレオカメラ300は、旋回体3に搭載される。ステレオカメラ300は、運転室4に設けられる。ステレオカメラ300は、運転室4の前方(+Xm方向)かつ上方(+Zm方向)に配置される。ステレオカメラ300は、油圧ショベル1の前方の施工対象SBを撮影する。
【0033】
ステレオカメラ300は、複数の撮像装置30を有する。撮像装置30は、旋回体3に搭載される。撮像装置30は、光学系と、イメージセンサとを有する。イメージセンサは、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。本実施形態において、撮像装置30は、4つの撮像装置30A,30B,30C,30Dを含む。
【0034】
一対の撮像装置30によってステレオカメラ300が構成される。ステレオカメラ300は、一対の撮像装置30A,30Bによって構成される第1ステレオカメラ301と、一対の撮像装置30C,30Dによって構成される第2ステレオカメラ302とを含む。
【0035】
撮像装置30A,30Cは、撮像装置30B,30Dよりも+Ym側(作業機2側)に配置される。撮像装置30Aと撮像装置30Bとは、Ym軸方向に間隔をあけて配置される。撮像装置30Cと撮像装置30Dとは、Ym軸方向に間隔をあけて配置される。撮像装置30A,30Bは、撮像装置30C,30Dよりも+Zm側に配置される。Zm軸方向において、撮像装置30Aと撮像装置30Bとは、実質的に同一の位置に配置される。Zm軸方向において、撮像装置30Cと撮像装置30Dとは、実質的に同一の位置に配置される。
【0036】
撮像装置30A,30Bは、上方(+Zm方向)を向く。撮像装置30C,30Dは、下方(-Zm方向)を向く。また、撮像装置30A,30Cは、前方(+Xm方向)を向く。撮像装置30B,30Dは、前方よりも僅かに+Ym側(作業機2側)を向く。すなわち、撮像装置30A,30Cは、旋回体3の正面を向き、撮像装置30B,30Dは、撮像装置30A,30C側を向く。なお、撮像装置30B,30Dが旋回体3の正面を向き、撮像装置30A,30Cが撮像装置30B,30D側を向いてもよい。
【0037】
撮像装置30は、旋回体3の前方に存在する施工対象SBを撮影する。一対の撮像装置30が撮影した一対の画像が制御装置40においてステレオ処理されることにより、施工対象SBの三次元形状を示す三次元データが算出される。制御装置40は、撮像装置座標系における施工対象SBの三次元データを現場座標系における施工対象SBの三次元データに変換する。三次元データは、施工対象SBの三次元位置を示す。施工対象SBの三次元位置は、施工対象SBの表面の複数の部位のそれぞれの三次元座標を含む。
【0038】
複数の撮像装置30のそれぞれに撮像装置座標系が規定される。撮像装置座標系は、撮像装置30に固定された原点を基準とする座標系である。撮像装置座標系のZs軸は、撮像装置30の光学系の光軸と一致する。
【0039】
なお、本実施形態においては、旋回体3に2組のステレオカメラ(第1ステレオカメラ301及び第2ステレオカメラ302)が搭載されることとするが、1組のステレオカメラが搭載されてもよいし、3組以上のステレオカメラが搭載されてもよい。
【0040】
また、図2に示すように、油圧ショベル1は、運転席4Sと、入力装置32と、報知装置33と、操作装置35とを有する。運転席4S、入力装置32、報知装置33、及び操作装置35は、運転室4に配置される。油圧ショベル1の運転者は、運転席4Sに着座する。
【0041】
入力装置32は、撮像装置30による撮影の開始又は終了のために運転者に操作される。入力装置32は、運転席4Sの近傍に設けられる。入力装置32が操作されることにより、撮像装置30による撮影が開始又は終了する。
【0042】
報知装置33は、後述する報知制御部419から旋回に関する報知信号を取得し、運転者に報知する。報知には、例えばステレオカメラ300による計測結果の成否(成功/失敗)の出力、ステレオ計測結果が失敗であった場合には失敗した理由、油圧ショベル100を操作する操作装置35の操作条件に関するガイダンスが含まれる。報知の具体的な内容については後述する。報知装置33は、運転席4Sの近傍に設けられる。
【0043】
操作装置35は、作業機2の駆動又は駆動停止、旋回体3の旋回又は旋回停止、及び走行体5の走行又は走行停止のために運転者に操作される。操作装置35は、作業機2及び旋回体3を操作するための右操作レバー35R及び左操作レバー35Lを含む。また、操作装置35は、走行体5を操作するための右走行レバー及び左走行レバー(不図示)を含む。操作装置35が操作されることにより、作業機2の駆動又は駆動停止、旋回体3の旋回又は旋回停止、及び走行体5の走行又は走行停止が実施される。
【0044】
[計測システム]
次に、本実施形態に係る計測システム50について説明する。図3は、本実施形態に係る計測システム50の一例を示す機能ブロック図である。計測システム50は、油圧ショベル1に設けられる。
【0045】
計測システム50は、制御装置40と、第1ステレオカメラ301及び第2ステレオカメラ302を含むステレオカメラ300と、位置検出装置23と、姿勢検出装置24と、操作装置35の操作量を検出する操作量センサ36と、入力装置32と、報知装置33とを備える。
【0046】
制御装置40は、油圧ショベル1の旋回体3に設けられる。制御装置40は、コンピュータシステムを含む。制御装置40は、CPU(Central Processing Unit)のようなプロセッサを含む演算処理装置41と、RAM(Random Access Memory)のような揮発性メモリ及びROM(Read Only Memory)のような不揮発性メモリを含む記憶装置42と、入出力インターフェース43とを有する。
【0047】
演算処理装置41は、画像取得部410と、信号取得部411と、共通部分抽出部413と、旋回データ取得部415と、撮像位置算出部416と、三次元位置算出部417と、判定部418と、報知制御部419と、旋回制御部420とを有する。
【0048】
画像取得部410は、油圧ショベル1が旋回中において撮像装置30によって撮影された施工対象SBの複数の画像PCを取得する。また、画像取得部410は、油圧ショベル1が動作停止状態、すなわち走行も旋回も停止した状態において撮像装置30によって撮影された施工対象SBの画像PCを取得する。
【0049】
信号取得部411は、入力装置32が操作されることにより生成された指令信号を取得する。入力装置32は、撮像装置30による撮影の開始又は終了のために操作される。指令信号は、撮影開始指令信号及び撮影終了指令信号を含む。演算処理装置41は、信号取得部411に取得された撮影開始指令信号に基づいて、撮像装置30に撮影を開始させる制御信号を出力する。また、演算処理装置41は、信号取得部411に取得された撮影終了指令信号に基づいて、撮像装置30に撮影を終了させる制御信号を出力する。
【0050】
なお、信号取得部411が撮影開始指令信号を取得した時点と撮影終了指令信号を取得した時点との期間に撮影された画像PCが記憶装置42に記憶され、その記憶装置42に記憶されている画像PCがステレオ処理に使用されてもよい。
【0051】
共通部分抽出部413は、油圧ショベル1が旋回中において撮像装置30によって撮影された複数の画像PCの共通部分KSを抽出する。共通部分KSについては後述する。
【0052】
旋回データ取得部415は、旋回中の旋回体3の旋回データを取得する。旋回データとは、旋回体3の旋回状態を示すデータであり、旋回体3の旋回速度V、旋回角度θ、及び旋回方向RDの少なくとも一つを含む。後述するように、本実施形態において、旋回データは撮像位置算出部416によって算出される。旋回データ取得部415は、撮像位置算出部416から旋回データを取得する。
【0053】
撮像位置算出部416は、撮影時の撮像装置30の位置P及び姿勢を算出する。旋回体3が旋回中である場合、撮影時の撮像装置30の位置Pは、旋回方向RDの撮像装置30の位置を含む。走行体5が走行状態である場合、撮影時の撮像装置30の位置Pは、走行方向MDの撮像装置30の位置を含む。また、撮像位置算出部416は、旋回体3の旋回データを算出する。旋回体3の旋回データは、旋回体3の旋回速度V、旋回角度θ、及び旋回方向RDの少なくとも一つを含む。
【0054】
三次元位置算出部417は、一対の撮像装置30によって撮影された一対の画像PCをステレオ処理することにより、撮像装置座標系における施工対象SBの三次元位置を算出する。三次元位置算出部417は、撮像位置算出部416に算出された撮像装置30の位置Pに基づいて、撮像装置座標系における施工対象SBの三次元位置を現場座標系における施工対象SBの三次元位置に変換する。
【0055】
判定部418は、旋回体3の旋回データが規定の旋回条件を満足するか否かを判定する。旋回条件は、ステレオ計測の計測精度の低下を抑制する条件を含む。旋回条件を満足しない場合、ステレオ計測の計測精度が低下する可能性が高くなる。旋回条件は、記憶装置42の旋回条件記憶部422に記憶されている。旋回条件については後述する。
【0056】
報知制御部419は、判定部418の判定結果に基づいて、報知装置33を制御する。報知制御部419は、旋回に関する報知信号を報知装置33に出力する。報知制御部419は、旋回に関する報知信号として、例えばステレオ計測の成否データ、ステレオ計測の失敗理由データ、及びガイダンスデータの少なくも一つを出力する。報知制御部419は、判定部418の判定結果に基づいて、旋回指示信号の一種である報知信号を出力する出力部として機能する。例えば、旋回データが旋回条件を満足しないと判定部418に判定された場合、報知制御部419は、第1の報知形態で報知装置33を作動させる。また、旋回データが旋回条件を満足すると判定部418に判定された場合、報知制御部419は、第1の報知形態とは異なる第2の報知形態で報知装置33を作動させてもよいし、報知装置33を作動させなくてもよい。
【0057】
旋回制御部420は、判定部418の判定結果に基づいて、旋回体3を旋回させる油圧コントローラ38を制御する。旋回体制御部420は、旋回体3の旋回動作を制御する制御信号を油圧コントローラ38に出力する。旋回制御部420は、旋回モータ37を制御する油圧コントローラ38に制御信号を出力して、旋回中の旋回体3の旋回速度を制御する。油圧コントローラ38は、旋回制御部420からの制御信号に基づいて、旋回速度を遅くする介入制御を実施する。介入制御とは、運転者による操作装置35の操作量に基づいて駆動する旋回モータ37に介入して、旋回制御部420から出力された制御信号に基づいて旋回モータ37を制御することをいう。旋回制御部420は、判定部418の判定結果に基づいて、旋回指示信号の一種である制御信号を出力する出力部として機能する。本実施形態において、旋回制御部420は、旋回体3の旋回動作を制限して、旋回速度を遅くする。
【0058】
記憶装置42は、旋回条件記憶部422と、画像記憶部423とを有する。
【0059】
旋回条件記憶部422は、報知装置33を作動させるための旋回条件を記憶する。画像記憶部423は、撮像装置30によって撮影された複数の画像PCを順次記憶する。
【0060】
入出力インターフェース43は、演算処理装置41及び記憶装置42と外部機器とを接続するインターフェース回路を含む。入出力インターフェース43には、ハブ31、位置検出装置23、姿勢検出装置24、操作量センサ36、入力装置32、及び報知装置33が接続される。
【0061】
複数の撮像装置30(30A,30B,30C,30D)は、ハブ31を介して演算処理装置41と接続される。撮像装置30は、信号取得部411からの撮影開始指令信号に基づいて、施工対象SBの画像PCを撮影する。撮像装置30が撮影した施工対象SBの画像PCは、ハブ31及び入出力インターフェース43を介して演算処理装置41及び記憶装置42のそれぞれに入力される。画像取得部410及び画像記憶部423のそれぞれは、撮像装置30が撮影した施工対象SBの画像PCを、ハブ31及び入出力インターフェース43を介して取得する。なお、ハブ31は省略されてもよい。
【0062】
入力装置32は、撮像装置30による撮影の開始又は終了のために操作される。入力装置32が操作されることにより、撮影開始指令信号又は撮影終了指令信号が生成される。入力装置32として、操作スイッチ、操作ボタン、タッチパネル、音声入力、及びキーボードの少なくとも一つが例示される。
【0063】
報知装置33は、表示装置33A、発光装置33B,及び音出力装置33Cを含む。表示装置33Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイを含む。発光装置33Bは、発光ダイオード(LED:Light Emitting Diode)のような光源を含む。音出力装置33Cは、警告音を発生可能なサイレン又は音声出力装置を含む。報知装置33は、表示装置33Aに表示される表示データ、発光装置33Bから射出される光、及び音出力装置33Cから出力される音の少なくとも一つを使って、運転者に情報を報知する。
【0064】
本実施形態において、報知装置33は、旋回データが旋回条件を満足しないことを運転者に報知する。表示装置33Aは、文字又は画像を含む表示データを表示して、旋回データが旋回条件を満足しないことを報知する。発光装置33Bは、光を射出して、旋回データが旋回条件を満足しないことを報知する。音出力装置33Cは、警告音又は音声を出力して、旋回データが旋回条件を満足しないことを報知する。なお、報知装置33は、旋回データが旋回条件を満足することを報知してもよい。
【0065】
なお、報知装置33は、表示装置33A、発光装置33B,及び音出力装置33Cに限定されない。また、表示装置33A、発光装置33B,及び音出力装置33Cの少なくとも一つが省略されてもよい。
【0066】
[旋回地形計測]
次に、本実施形態に係る油圧ショベル1の動作の一例について説明する。図4は、本実施形態に係る油圧ショベル1の動作の一例を模式的に示す図である。計測システム50は、旋回体3が旋回中において撮像装置30によって油圧ショベル1の周辺の施工対象SBの画像PCを連続撮影する。撮像装置30は、旋回体3が旋回中において、所定の周期で施工対象SBの画像PCを順次撮影する。
【0067】
撮像装置30は、旋回体3に搭載されている。旋回体3が旋回することにより、撮像装置30の撮影領域FMは、旋回方向RDに移動する。旋回体3が旋回中において撮像装置30が施工対象SBの画像PCを連続撮影することによって、撮像装置30は、施工対象SBの複数の領域のそれぞれの画像PCを取得することができる。三次元位置算出部417は、一対の撮像装置30で撮影された一対の画像PCをステレオ処理することにより、油圧ショベル1の周辺の施工対象SBの三次元位置を算出することができる。
【0068】
ステレオ処理により算出された施工対象SBの三次元位置は、撮像装置座標系において規定される。三次元位置算出部417は、撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。撮像装置座標系における三次元位置を現場座標系における三次元位置に変換するため、現場座標系における旋回体3の位置及び姿勢が必要となる。現場座標系における旋回体3の位置及び姿勢は、位置検出装置23及び姿勢検出装置24によって検出可能である。
【0069】
油圧ショベル1が旋回中において、油圧ショベル1に搭載されている位置検出装置23及び姿勢検出装置24のそれぞれは変位する。動いている状態の位置検出装置23及び姿勢検出装置24のそれぞれから出力される検出データは、不安定であったり検出精度が低下したりする可能性がある。
【0070】
位置検出装置23は、所定の周期で検出データを出力する。そのため、油圧ショベル1が旋回中において位置検出装置23による位置の検出と撮像装置30による撮影とが並行して実施される場合、位置検出装置23が動いていると、撮像装置30が画像を撮影するタイミングと位置検出装置23が位置を検出するタイミングとが同期しない可能性がある。撮影のタイミングとは異なるタイミングで検出された位置検出装置23の検出データに基づいて施工対象SBの三次元位置が座標変換されると、三次元位置の計測精度が低下する可能性がある。
【0071】
本実施形態において、計測システム50は、後述する方法に基づいて、旋回体3が旋回中において撮像装置30によって画像PCが撮影された時点における旋回体3の位置及び姿勢を高精度に算出する。これにより、計測システム50は、現場座標系における施工対象SBの三次元位置を高精度に算出することができる。
【0072】
撮像位置算出部416は、油圧ショベル1が動作停止状態において検出された位置検出装置23及び姿勢検出装置24のそれぞれの検出データを取得する。油圧ショベル1が動作停止状態において位置検出装置23及び姿勢検出装置24によって検出された検出データは安定している可能性が高い。撮像位置算出部416は、旋回体3の旋回開始前及び旋回終了後のそれぞれの動作停止状態において検出された検出データを取得する。撮像装置30は、旋回体3の旋回開始前及び旋回終了後のそれぞれの動作停止状態において施工対象SBの画像PCを撮影する。撮像位置算出部416は、油圧ショベル1が動作停止状態において取得された位置検出装置23及び姿勢検出装置24のそれぞれの検出データに基づいて、油圧ショベル1が動作停止状態において撮影された画像PCから算出された撮像装置座標系における施工対象SBの三次元位置を現場座標系における三次元位置に変換する。
【0073】
一方、撮像位置算出部416は、旋回体3が旋回中において撮像装置30によって施工対象SBの画像PCが撮影された場合、後述する方法に基づいて、旋回体3が旋回中において撮像装置30によって画像PCが撮影した時点における旋回体3の位置及び姿勢を算出する。撮像位置算出部416は、算出された旋回体3の位置及び姿勢に基づいて、撮影された画像PCから算出された撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。
【0074】
図5は、本実施形態に係る計測システム50の動作の一例を模式的に示す図である。図5は、旋回体3が旋回中において撮像装置30が施工対象SBを撮影することを説明するための模式図である。
【0075】
以下の説明においては、走行体5が走行停止状態であることとする。図5に示すように、旋回体3が旋回することにより、旋回体3に搭載されている撮像装置30及び撮像装置30の撮影領域FMは、旋回方向RDに移動する。撮像装置30の撮影領域FMは、撮像装置30の光学系の視野に基づいて規定される。撮像装置30は、撮影領域FMに配置される施工対象SBの画像PCを取得する。旋回体3の旋回により、撮像装置30の撮影領域FMは、旋回体3の旋回方向RDに移動する。撮像装置30は、移動する撮影領域FMに順次配置される施工対象SBの画像PCを撮影する。
【0076】
図5は、旋回体3の旋回により、撮影領域FMが旋回方向RDに、撮影領域FM1、撮影領域FM2、及び撮影領域FM3の順に移動する例を示す。撮影領域FM1は、旋回方向RDにおける第1位置PJ1に規定される。撮影領域FM2は、旋回方向RDにおける第2位置PJ2に規定される。撮影領域FM3は、旋回方向RDにおける第3位置PJ3に規定される。第2位置PJ2は、第1位置PJ1から旋回角度Δθ1だけ旋回した位置である。第3位置PJ3は、第2位置PJ2から旋回角度Δθ2だけ旋回した位置である。撮像装置30は、撮影領域FM1に配置された施工対象SBの画像PC1、撮影領域FM2に配置された施工対象SBの画像PC2、及び撮影領域FM3に配置された施工対象SBの画像PC3のそれぞれを撮影する。画像PC1、画像PC2、画像PC3は、同一の撮像装置30(図5に示す例では撮像装置30C)により撮像された画像である。
【0077】
撮像装置30は、隣り合う撮影領域FMに重複領域OBが設けられるように、所定のタイミングで撮影する。図5は、撮影領域FM1と撮影領域FM2とに重複領域OB1が設けられ、撮影領域FM2と撮影領域FM3との間に重複領域OB2が設けられる例を示す。重複領域OB1は、画像PC1と画像PC2の一部とが重複する重複領域OBである。重複領域OB2は、画像PC2と画像PC3の一部とが重複する重複領域OBである。
【0078】
重複領域OBに画像PCの共通部分KSが存在する。重複領域OB1に存在する共通部分KS1は、画像PC1と画像PC2との共通部分KSである。重複領域OB2に存在する共通部分KS2は、画像PC2と画像PC3との共通部分KSである。共通部分抽出部413は、撮像装置30によって撮影された複数の二次元の画像PCの共通部分KSを抽出する。
【0079】
図6は、本実施形態に係る計測システム50の処理の一例を説明するための模式図である。図6は、旋回体3が旋回中において撮影された画像PC(PC1,PC2)の一例を示す図である。共通部分抽出部413は、画像PCから共通部分KSを抽出する。
【0080】
図6に示すように、共通部分抽出部413は、撮影領域FM1に配置された施工対象SBの画像PC1と、撮影領域FM2に配置された施工対象SBの画像PC2とから、画像PC1と画像PC2との共通部分KS1を抽出する。撮像位置算出部416は、共通部分抽出部413で抽出された共通部分KS1に基づいて、旋回体3の推定角度θs(図5においてはΔθ1)を算出する。また、撮像位置算出部416は、推定角度θsに基づいて、撮影時の撮像装置30の推定位置Ps(図5においてはPJ2)を算出する。
【0081】
共通部分KSは、画像PCにおける特徴点である。共通部分抽出部413は、例えばORB(Oriented FAST and Rotated BRIEF)又はHarrisコーナー検出のような既知の特徴点検出アルゴリズムに基づいて、共通部分KSを抽出する。共通部分抽出部413は、複数の画像PCのそれぞれから複数の特徴点を抽出し、抽出した複数の特徴点から類似する特徴点を探索することによって、共通部分KSを抽出する。共通部分抽出部413は、共通部分KSを複数点抽出してもよい。共通部分抽出部413は、例えば画像PCにおける施工対象SBの角部を特徴点として抽出する。
【0082】
旋回体3の旋回により撮像装置30の撮影領域FMが旋回方向RDに移動し、撮影領域FMの移動により、画像PCにおける共通部分KSが変位する。図6に示す例では、共通部分KSは、画像PC1においては画素位置PX1に存在し、画像PC2においては画素位置PX2に存在する。画像PC1と画像PC2とにおいて、共通部分KSが存在する位置が異なる。すなわち、共通部分KS1は、画像PC1と画像PC2との間において変位したことになる。撮像位置算出部416は、複数の画像PCにおける共通部分KSの位置に基づいて、位置PJ1から位置PJ2までの旋回角度Δθ1を算出することができる。
【0083】
図7は、本実施形態に係る計測システム50の処理の一例を説明するための模式図である。図7は、旋回体3が旋回することにより撮像装置座標系(Xs,Ys,Zs)が移動することを説明する図である。図7に示すように、旋回体3は、車体座標系のXm-Ym平面内において旋回軸Zrを中心に旋回する。旋回体3が旋回軸Zrを中心に旋回角度Δθだけ旋回すると、撮像装置座標系(Xs,Ys,Zs)が旋回軸Zrを中心に旋回角度Δθだけ移動する。撮像位置算出部416は、旋回体3が旋回軸Zrを中心に旋回することを拘束条件として、旋回前角度θraから旋回角度Δθだけ旋回したときの旋回体3の推定角度θs及び撮像装置30の推定位置Psを算出することができる。
【0084】
[推定角度の算出]
図8は、本実施形態に係る計測システム50の処理の一例を説明するための模式図である。図8は、旋回体3の旋回角度θ及び撮像装置30の位置Pを算出する例を示す模式図である。図8は、車体座標系における旋回体3の旋回角度θ及び撮像装置30の位置Pを示す。
【0085】
図8に示す例において、旋回体3は、旋回前角度θra、第1推定角度θs1、第2推定角度θs2、第3推定角度θs3、及び旋回後角度θrbの順に、旋回方向RDに旋回する。撮像装置30は、旋回体3の旋回により、旋回前位置Pra、第1推定位置Ps1、第2推定位置Ps2、第3推定位置Ps3、及び旋回後位置Prbの順に移動する。撮像装置30の撮影領域FMは、旋回方向RDの撮像装置30の移動により、撮影領域FMra、撮影領域FMs1、撮影領域FMs2、撮影領域FMs3、及び撮影領域FMrbの順に移動する。
【0086】
旋回前角度θra及び旋回後角度θrbのとき、旋回体3は旋回停止状態である。旋回前角度θraにおいて旋回停止状態の旋回体3は、第1推定角度θs1、第2推定角度θs2、及び第3推定角度θs3を経由して、旋回後角度θrbに到達するように、旋回前角度θraから旋回後角度θrbまで旋回する。
【0087】
撮像装置30は、旋回前位置Praに配置されている状態で、撮影領域FMraに配置される施工対象SBの画像PCraを取得する。撮像装置30は、第1推定位置Ps1に配置されている状態で、撮影領域FMs1に配置される施工対象SBの画像PCs1を取得する。撮像装置30は、第2推定位置Ps2に配置されている状態で、撮影領域FMs2に配置される施工対象SBの画像PCs2を取得する。撮像装置30は、第3推定位置Ps3に配置されている状態で、撮影領域FMs3に配置される施工対象SBの画像PCs3を取得する。撮像装置30は、旋回後位置Prbに配置されている状態で、撮影領域FMrbに配置される施工対象SBの画像PCrbを取得する。
【0088】
上述のように、撮像位置算出部416は、旋回体3が旋回開始前の旋回停止状態において位置検出装置23及び姿勢検出装置24によって検出された旋回体3の位置及び姿勢に基づいて、旋回前角度θraを算出する。また、撮像位置算出部416は、旋回体3が旋回終了後の旋回停止状態において位置検出装置23及び姿勢検出装置24によって検出された旋回体3の位置及び姿勢に基づいて、旋回後角度θrbを算出する。また、撮像位置算出部416は、旋回前角度θraに基づいて、旋回前位置Praを算出する。また、撮像位置算出部416は、旋回後角度θrbに基づいて、旋回後位置Prbを算出する。
【0089】
旋回前角度θra、旋回後角度θrb、旋回前位置Pra、及び旋回後位置Prbは、位置検出装置23の検出データ及び姿勢検出装置24の検出データに基づいて、高精度に算出される。
【0090】
上述のように、撮像位置算出部416は、旋回体3が旋回中において撮影された複数の画像PCの共通部分KSに基づいて、推定角度θs(第1推定角度θs1、第2推定角度θs2、及び第3推定角度θs3)を算出する。また、撮像位置算出部416は、推定角度θsに基づいて、推定位置Ps(第1推定位置Ps1、第2推定位置Ps2、及び第3推定位置Ps3)を算出する。
【0091】
共通部分抽出部413は、画像PCraと画像PCs1との共通部分KS1を抽出する。撮像位置算出部416は、旋回体3が旋回軸Zrを中心に旋回することを拘束条件として、旋回体3の旋回前角度θraと、画像PCraと画像PCs1との共通部分KS1に基づいて、旋回角度Δθ1を算出する。第1推定角度θs1は、旋回前正解角度θraと旋回角度Δθ1との和である(θs1=θra+Δθ1)。
【0092】
同様に、共通部分抽出部413は、旋回角度Δθ2、旋回角度Δθ3、及び旋回角度Δθ4を算出することができ、撮像位置算出部416は、第2推定角度θs2(θs2=θra+Δθ1+Δθ2)、第3推定角度θs3(θs3=θra+Δθ1+Δθ2+Δθ3)、第4推定角度θs4(θs4=θra+Δθ1+Δθ2+Δθ3+Δθ4)を算出することができる。
【0093】
このように、撮像位置算出部416は、旋回体3が旋回中において撮像装置30が撮影時の旋回体3の推定角度θs(θs1、θs2、θs3、θs4)を段階的に算出することができる。また、旋回体3の推定角度θsが算出されることにより、撮像位置算出部416は、推定角度θsに基づいて、旋回体3が旋回中における撮像装置30の推定位置Ps(Ps1,Ps2,Ps3,Ps4)を算出することができる。
【0094】
また、撮像位置算出部416は、複数の画像PC(PCra,PCs1,PCs2,PCs3,PCs4,PCrb)のそれぞれが撮影された時点を示す時点データを撮像装置30から取得する。撮像装置416は、複数の画像PCのそれぞれが撮影された時点と、旋回角度Δθ(Δθ1,Δθ2,Δθ3,Δθ4)とに基づいて、旋回速度Vを算出することができる。例えば、画像PCs1が撮影された時点から画像PCs2が撮影された時点までの時間と、画像PCs1が撮影されたときの推定角度θs1から推定角度θs2までの移動量とに基づいて、旋回体3が推定角度θs1から推定角度θs2まで旋回するときの旋回角度Vを算出することができる。また、撮像装置416は、複数の画像PCのそれぞれが撮影された時点と旋回角度Δθとに基づいて、旋回方向Rを算出することができる。
【0095】
このように、本実施形態においては、撮像位置算出部416は、複数の画像PCの共通部分KSに基づいて、旋回角度θ、旋回速度V、及び旋回方向Rを含む旋回体3の旋回データを算出することができる。
【0096】
[推定角度の補正]
旋回後角度θrbは、位置検出装置23の検出データ及び姿勢検出装置24の検出データに基づいて高精度に算出される。一方、推定角度θs4は、共通部分KSの変位量に基づいて算出される。共通部分KSを使って算出された推定角度θs4及び推定位置Ps4が正確であれば、推定角度θs4と旋回後角度θrbとの差は小さく、推定位置Ps4と旋回後位置Prbとの差は小さい。
【0097】
一方、例えば共通部分KSの変位量の累積誤差などに起因して、共通部分KSを使って算出された推定角度θs4及び推定位置Ps4の誤差が大きくなる可能性がある。推定角度θs4及び推定位置Ps4の誤差が大きいと、推定角度θs4と旋回後角度θrbとの差は大きくなり、推定位置Ps4と旋回後位置Prbとの差は大きくなる。
【0098】
撮像位置算出部416は、推定角度θs4と旋回後角度θrbとに差があるとき、旋回停止状態における旋回角度θである角度θr(旋回前角度θra及び旋回後角度θrb)に基づいて、旋回中における旋回角度θである推定角度θs(第1推定角度θs1、第2推定角度θs2、第3推定角度θs3、及び第4推定角度θs4)を補正する。また、撮像位置算出部416は、補正後の推定角度θsに基づいて、推定位置Psを補正する。
【0099】
撮像位置算出部416は、補正後の推定角度θs1’に基づいて、画像PCs1を撮影時の撮像装置30の推定位置Ps1を精度良く算出することができる。同様に、撮像位置算出部416は、補正後の推定角度θs2’に基づいて、画像PCs2を撮影時の撮像装置30の推定位置Ps2を精度良く算出することができ、補正後の推定角度θs3’に基づいて、画像PCs3を撮影時の撮像装置30の推定位置Ps3を高精度に算出することができる。したがって、三次元位置算出部417は、高精度に算出された撮影時の撮像装置30の推定位置Psとその撮像装置30に撮影された画像PCsとに基づいて、現場座標系の施工対象SBの三次元位置を高精度に算出することができる。
【0100】
[三次元データの統合]
三次元位置算出部417は、一対の撮像装置30によって撮影された一対の画像PCをステレオ処理して、施工対象SBの三次元位置を算出する。なお、三次元データの統合は省略されてもよい。
【0101】
三次元位置算出部417は、旋回体3が旋回開始前の旋回停止状態において、旋回前位置Praに配置される一対の撮像装置30で撮影された一対の画像PCraをステレオ処理して、撮影領域FMraに配置された施工対象SBの三次元位置を算出する。
【0102】
また、三次元位置算出部417は、旋回体3が旋回中において、推定位置Psに配置される一対の撮像装置30で撮影された一対の画像PCsをステレオ処理して、撮影領域FMsに配置された施工対象SBの三次元位置を算出する。三次元位置算出部417は、走行体5が走行停止状態であり旋回体3が旋回中において、推定位置Psに配置される一対の撮像装置30で撮影された一対の画像PCsをステレオ処理して、撮影領域FMsに配置された施工対象SBの三次元位置を算出する。
【0103】
また、三次元位置算出部417は、旋回体3が旋回終了後の旋回停止状態において、旋回後位置Prbに配置される一対の撮像装置30で撮影された一対の画像PCrbをステレオ処理して、撮影領域FMrbに配置された施工対象SBの三次元位置を算出する。
【0104】
また、三次元位置算出部417は、旋回体3が旋回中及び旋回停止状態のそれぞれにおいて撮影された複数の画像PCに基づいて、施工対象SBの三次元位置を算出した後、複数の施工対象SBの三次元位置を統合する。
【0105】
図9は、本実施形態に係る施工対象SBの三次元位置の統合の一例を模式的に示す図である。旋回体3が旋回開始前の旋回停止状態において取得された三次元データPTDraと、旋回体3が旋回中において取得された三次元データPTDsと、旋回体3が旋回終了後の旋回停止状態において取得された三次元データPTDrbとが統合されることにより、油圧ショベル1の周辺の施工対象SBのうち撮像装置30が画像PCを撮影した範囲の施工対象SBの三次元形状を示す三次元データPTDが生成される。
【0106】
三次元データPTDraは、旋回体3が旋回開始前の旋回停止状態において撮影された画像PCから算出された施工対象SBの三次元位置を含む。三次元データPTDsは、旋回体3が旋回中において撮影された画像PCから算出された施工対象SBの三次元位置を含む。三次元データPTDsは、単数でもよいし複数でもよい。三次元データPTDrbは、旋回体3が旋回終了後の旋回停止状態において撮影された画像PCから算出された施工対象SBの三次元位置を含む。
【0107】
三次元位置算出部417は、複数の三次元データPTDra,PTDs,PTDrbを統合する。三次元位置算出部417は、現場座標系における三次元データPTDra,PTDs,PTDrbの三次元位置のそれぞれのXg座標及びYg座標が一致するように、Zg座標を結合する。これにより、旋回開始前の旋回停止状態において取得された施工対象SBの三次元位置と、旋回中において取得された施工対象SBの三次元位置と、旋回終了後の旋回停止状態において取得された施工対象SBの三次元位置とが統合される。
【0108】
複数の三次元データPTDra,PTDs,PTDrbが統合されることにより、油圧ショベル1の周辺の施工対象SBのうち撮像装置30が画像PCを撮影した範囲の施工対象SBの三次元形状を示す三次元データPTDが生成される。
【0109】
[旋回条件]
次に、旋回条件について説明する。旋回条件とは、ステレオ計測の計測精度の低下を抑制できる旋回体3の旋回条件をいう。旋回体3が旋回条件を満足せずに旋回した場合、ステレオ計測の計測精度が低下する可能性がある。規定の旋回条件は、予め定められており、記憶装置42の旋回条件記憶部422に記憶されている。
【0110】
本実施形態において、旋回条件記憶部422には、第1の旋回条件として、旋回体3が旋回開始位置から旋回終了位置まで旋回して旋回を停止した後、旋回(再旋回)が行われていないことを示す旋回条件が記憶されている。第1の旋回条件は、旋回体3が旋回を停止し、旋回を停止してから規定時間経過後、再び旋回を開始していないという条件を含む。再旋回するときの旋回方向は、順方向又は逆方向のいずれでもよい。油圧ショベル1の運転者が操作装置35を中立状態にして旋回を停止させて入力装置32を操作することにより、旋回及び撮影が終了する。旋回体3を旋回させながら撮像装置30で画像PCを連続撮影するとき、旋回体3が旋回開始位置から旋回終了位置に到達し旋回体3の旋回が停止し、再び旋回体3が順方向又は逆方向に旋回してしまうと、ステレオ計測の計測精度が低下する可能性がある。
【0111】
判定部413は、旋回体3の旋回データが第1の旋回条件を満足するか否かを判定する。旋回体3が旋回停止及び再旋回することなく旋回を終了と判定されたとき、旋回データは第1の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像PCが撮影されたと判定される。一方、旋回体3が旋回を停止した後、再び旋回を開始したと判定されたとき、旋回データは第1の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。
【0112】
また、旋回条件記憶部422には、第2の旋回条件として、旋回体3の旋回速度Vが規定速度未満であることを示す旋回条件が記憶されている。旋回体3を旋回させながら撮像装置30で画像PCを連続撮影するとき、旋回体3の旋回速度Vが速過ぎると、撮影される画像PCがぶれる又は歪む場合がある。その結果、その画像PCを用いてステレオ処理すると、ステレオ計測の計測精度が低下する可能性がある。また、例えば油圧ショベル1が傾斜部に位置付けられている状態で旋回体3が旋回する場合、旋回体3の自重により、意図せずに旋回速度Vが速くなる場合がある。その場合においても、ステレオ計測の計測精度が低下する可能性がある。
【0113】
判定部413は、旋回体3の旋回データが第2の旋回条件を満足するか否かを判定する。旋回体3の旋回速度Vが規定速度未満である、すなわち旋回速度Vは低速であると判定されたとき、旋回データは第2の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像PCが撮影されたと判定される。一方、旋回体3の旋回速度Cが規定速度以上である、すなわち旋回速度Vが速過ぎると判定されたとき、旋回データは第2の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。
【0114】
また、旋回条件記憶部422には、第3の旋回条件として、旋回開始位置から旋回終了位置までの旋回体3の旋回角度θが第1規定角度よりも大きいことを示す旋回条件、及び旋回角度θ2が第2規定角度未満であることを示す旋回条件の一方又は両方が記憶されている。旋回体3を旋回させながら撮像装置30で画像PCを連続撮影するとき、旋回角度θが小さ過ぎる場合(第1規定角度以下である場合)、上述の旋回角度の補正が精度よく行えないためステレオ計測の精度が低下する可能性がある。また、旋回角度θが大き過ぎる場合(第2規定角度以上である場合)、算出される推定角度θsの累積誤差が大きくなりステレオ計測の計測精度が低下する可能性がある。
【0115】
判定部413は、旋回体3の旋回データが第3の旋回条件を満足するか否かを判定する。旋回開始位置から旋回終了位置までの旋回体3の旋回角度θが第1規定角度よりも大きい又は第2規定角度未満であると判定されたとき、旋回データは第3の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像PCが撮影されたと判定される。一方、旋回開始位置から旋回終了位置までの旋回体3の旋回角度θが第1規定角度以下である又は第2規定角度以上であると判定されたとき、旋回データは第3の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。
【0116】
また、旋回条件記憶部422には、第4の旋回条件として、旋回体3の旋回方向Rが一方向であることを示す旋回条件が記憶されている。旋回体3を旋回させながら撮像装置30で画像PCを連続撮影するとき、旋回体3が旋回開始位置から旋回終了位置に旋回するように順方向に旋回している状態で、旋回体3が逆方向に旋回してしまうと、施工対象SBの同一領域が2回撮影されてしまうことになる。施工対象SBの同一領域を撮影した複数の画像PCをステレオ処理すると、ステレオ計測の計測精度が低下する可能性がある。
【0117】
判定部413は、旋回体3の旋回データが第4の旋回条件を満足するか否かを判定する。旋回体3が旋回終了位置に到達する前に旋回方向が順方向から逆方向に切り換わることなく、一方向(順方向)のみに旋回したと判定されたとき、旋回データは第4の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像PCが撮影されたと判定される。一方、旋回体3が旋回終了位置に到達する前に、旋回方向が順方向から逆方向に切り換わったと判定されたとき、旋回データは第4の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性があると判定される。
【0118】
また、旋回条件記憶部422には、第5の旋回条件として、位置検出装置23及び姿勢検出装置24によって検出された旋回体3の位置及び姿勢に基づいて算出された旋回終了後の撮像装置30の旋回後角度θrbと、共通部分KSに基づいて算出された旋回終了後の撮像装置30の推定角度θsとの差が規定値未満であることを示す旋回条件が記憶されている。旋回後角度θrbと推定角度θsとの差が大きい場合、推定角度θsが実際の旋回角度θからかけ離れていることを意味する。例えば、複数の画像PCから算出される複数の共通部分KSの累積誤差などに起因して、共通部分KSを使って算出された旋回終了後の旋回体3の推定角度θsと、位置検出装置23の検出データ及び姿勢検出装置24の検出データを使って算出された旋回後角度θrbとの差が大きくなる可能性がある。推定角度θsが不正確であるほど、推定角度θsと旋回後角度θrbとの差は大きくなる。推定角度θsが不正確である場合、実際の旋回角度θとは異なる位置で施工対象SBを撮影した画像PCをステレオ処理することとなり、ステレオ計測の計測精度が低下する可能性がある。
【0119】
判定部413は、旋回体3の旋回データが第5の旋回条件を満足するか否かを判定する。旋回終了後の旋回後角度θrbと旋回終了後の推定角度θsとの差が規定値未満であると判定されたとき、旋回データは第5の旋回条件を満足していると判定される。すなわち、ステレオ計測の計測精度の低下を抑制できる画像PCが撮影されたと判定される。旋回終了後の旋回後角度θrbと旋回終了後の推定角度θsとの差が規定値以上であると判定されたとき、旋回データは第5の旋回条件を満足していないと判定される。すなわち、ステレオ計測の計測精度が低下する可能性が高いと判定される。
【0120】
なお、旋回条件記憶部422に、第5の旋回条件として、旋回終了後の旋回後位置Prbと、旋回終了後の推定位置Psとの差が規定値未満であることを示す旋回条件が記憶されてもよい。
【0121】
報知制御部419は、旋回体3の旋回データが旋回条件を満足しないと判定されたとき、報知装置33を作動させる。これにより、運転者は、ステレオ計測の計測精度が低下しないように操作装置35の操作を調整したり、撮影をやり直したりすることができる。
【0122】
旋回データが旋回条件を満足するか否かの判定及び報知装置33の作動は、任意のタイミングで実施することができる。旋回データが旋回条件を満足するか否かの判定及び報知装置33の作動は、旋回体3の旋回が開始されてから終了するまでの期間に実施されてもよいし、旋回体3の旋回が終了し撮像装置30の撮像が終了した後に実施されてもよいし、推定角度θsの算出が終了した後に実施されてもよい。
【0123】
本実施形態においては、旋回データが第1の旋回条件を満足するか否かの判定及び報知装置33の作動は、旋回体3の旋回が開始されてから終了するまでの期間に実施される。旋回データが第2,第3,第4の旋回条件を満足するか否かの判定及び報知装置33の作動は、旋回体3の旋回が終了し撮像装置30の撮像が終了した後に実施される。旋回データが第5の旋回条件を満足するか否かの判定及び報知装置33の作動は、推定角度θsの算出が終了した後に実施される。
【0124】
なお、上述の規定の旋回条件は一例であり、上述の例に限定されない。また、旋回データが旋回条件を満足するか否かの判定及び報知装置33の作動のタイミングも一例であり、上述の例に限定されない。
【0125】
[入力装置]
図10は、本実施形態に係る入力装置32の一例を模式的に示す斜視図である。本実施形態において、計測システム50は、旋回体3が旋回中において撮像装置30によって施工対象SBを連続的に撮影する旋回連続撮影モードと、旋回体3が旋回停止状態において撮像装置30によって施工対象SBを撮影する単画像撮影モードとを実施可能である。入力装置32は、旋回連続撮影モードの開始を指令する撮影開始指令信号及び旋回連続撮影モードの終了を指令する撮影終了指令信号を生成可能な旋回連続撮影スイッチ32Aと、単画像撮影モードの撮影を指令する単画像撮影指令信号を生成可能な単画像撮影スイッチ32Bとを有する。また、旋回連続撮影スイッチ32Aの一部に第1発光部34Aが設けられ、単画像撮影スイッチ32Bの一部に第2発光部34Bが設けられる。第1発光部34A及び第2発光部34Bのそれぞれは、発光ダイオードを含む。旋回連続撮影スイッチ32Aの操作状態に基づいて、第1発光部34Aが点灯、点滅、又は消灯する。単画像撮影スイッチ32Bの操作状態に基づいて、第2発光部34Bが点灯、点滅、又は消灯する。例えば、撮影不可状態から撮影待機状態に遷移したとき、報知制御部419は、消灯していた第1発光部34A及び第2発光部34Bのそれぞれを時点t1において点灯させる。
【0126】
[計測方法]
図11は、本実施形態に係る計測方法の一例を示すフローチャートである。図12は、本実施形態に係る計測方法のタイミングチャートである。
【0127】
油圧ショベル1の運転者は、撮像装置30が施工対象SBの計測開始位置を向くように、操作装置35を操作して旋回体3を旋回させる。旋回体3の旋回を含む油圧ショベル1の動作が停止した時点t0から予め規定された時間が経過して時点t1になったとき、判定部418は、位置検出装置23及び姿勢検出装置24のそれぞれが検出データを安定して出力できる静定状態であると判定する。
【0128】
油圧ショベル1が動作停止状態であり、位置検出装置32及び姿勢検出装置24が静定状態において、撮影開始指令信号を取得すると、撮像位置算出部416は、位置検出装置23から旋回体3の位置を示す検出データを取得し、姿勢検出装置24から旋回体3の姿勢を示す検出データを取得する(ステップS10)。
【0129】
撮像位置算出部416は、旋回前角度θra、及び旋回前位置Praを取得する。
【0130】
位置検出装置23の検出データ及び姿勢検出装置24の検出データは、一時的に記憶装置42に記憶される。
【0131】
旋回連続撮影モードを開始する場合、油圧ショベル1の運転者は、旋回連続撮影スイッチ32Aを操作(押下)する。図18に示す例では、時点t2において旋回連続撮影スイッチ32Aが操作される。旋回連続撮影スイッチ32Aが操作されることにより生成された撮影開始指令信号は、演算処理装置41に出力される。信号取得部411は、撮影開始指令信号を取得する(ステップS20)。
【0132】
また、旋回連続撮影スイッチ32Aが操作され、撮影開始指令信号を取得すると、演算処理装置41は、撮像装置30の撮像を開始する(ステップS30)。画像取得部410は、油圧ショベル1が動作開始前の動作停止状態において撮像装置30によって撮影された施工対象SBの画像PCraを取得する。また、画像記憶部423は、画像PCraを記憶する。
【0133】
運転者は、操作装置35を操作して、走行体5の走行を停止した状態で、旋回体3の旋回を開始する(ステップS40)。運転者は、撮像装置30が施工対象SBの計測開始位置を向いている旋回開始位置から、撮像装置30が施工対象SBの計測終了位置を踏む旋回終了位置まで旋回するように、操作装置35を操作して、旋回体3の旋回を開始する。
【0134】
図18に示す例では、時点t3において操作装置35が操作され、旋回体3の旋回が開始される。複数の撮像装置30(30A,30B,30C,30D)のそれぞれは、旋回体3が旋回中において間隔をあけて施工対象SBの画像PCsを複数回撮影する。
【0135】
画像取得部410は、旋回体3が旋回中において撮像装置30によって撮影された施工対象SBの複数の画像PCsを順次取得する。また、画像記憶部423は、複数の画像PCsを順次記憶する。
【0136】
旋回体3が旋回中において、撮像位置算出部416は、旋回データを算出する。判定部418は、旋回データが旋回データ記憶部422に記憶されている旋回条件を満足するか否かを判定する(ステップS50)。また、旋回データは、記憶装置42に一時的に記憶される。
【0137】
ステップS50においては、旋回条件として、旋回体3が旋回停止後、再旋回することなく旋回を終了した条件を満足するか否かが判定される(第1の旋回条件)。旋回体3が再旋回することなく旋回を終了と判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体3が旋回を停止し、旋回を停止してから規定時間経過後、再び旋回を開始したと判定されたとき、旋回データは旋回条件を満足していないと判定される。
【0138】
ステップS50において、旋回データは旋回条件を満足していないと判定されたとき(ステップS50:No)、報知制御部419は、報知装置33を作動して、旋回データが旋回条件を満足していないことを示す情報を運転者に報知する(ステップS180)。
【0139】
ステップS50において、旋回データは旋回条件を満足していると判定されたとき(ステップS50:Yes)、報知装置33は作動しない。なお、ステップS50において、旋回体データは旋回条件を満足していると判定されたとき、報知制御部419は、ステップS180における報知形態とは別の報知形態で報知装置33を作動して、旋回データが旋回条件を満足していることを示す情報を運転者に報知してもよい。
【0140】
旋回体3が旋回終了位置に到達すると、運転者は、操作装置35の操作を解除し、旋回体3の旋回を終了する(ステップS60)。図12に示す例では、時点t4において操作装置35の操作が解除され、旋回体3の旋回が終了される。
【0141】
旋回体3の旋回が停止した時点t4から予め規定された時間が経過して時点t5になったとき、判定部418は、位置検出装置23及び姿勢検出装置24のそれぞれが検出データを安定して出力できる静定状態であると判定する。
【0142】
油圧ショベル1が動作停止状態であり、位置検出装置32及び姿勢検出装置24が静定状態において、撮影位置算出部416は、位置検出装置23から旋回体3の位置を示す検出データを取得し、姿勢検出装置24から旋回体3の姿勢を示す検出データを取得する(ステップS70)。
【0143】
撮像位置算出部416は、旋回後角度θrb、及び旋回後位置Prbを取得する。
【0144】
位置検出装置23の検出データ及び姿勢検出装置24の検出データは、一時的に記憶装置42に記憶される。
【0145】
また、画像取得部410は、油圧ショベル1が動作終了後の動作停止状態において撮像装置30によって撮影された施工対象SBの画像PCrbを取得する。また、画像記憶部423は、画像PCrbを記憶する。
【0146】
旋回連続撮影モードを終了する場合、油圧ショベル1の運転者は、旋回連続撮影スイッチ32Aを操作(押下)する。図18に示す例では、時点t6において旋回連続撮影スイッチ32Aが操作される。旋回連続撮影スイッチ32Aが操作されることにより生成された撮影終了指令信号は、演算処理装置41に出力される。信号取得部411は、撮影終了指令信号を取得する(ステップS80)。
【0147】
撮影終了信号が取得されることにより、撮像装置30の撮影が終了する(ステップS90)。撮像装置30は、撮影不可状態に遷移する。
【0148】
判定部418は、旋回体3が旋回中のときの旋回データが旋回データ記憶部422に記憶されている旋回条件を満足するか否かを判定する(ステップS100)。
【0149】
判定部418は、ステップS100において、旋回条件として、旋回体3の旋回速度Vが規定速度未満である条件を満足するか否かを判定する(第2の旋回条件)。
【0150】
旋回体3の旋回速度Vが規定速度未満であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体3の旋回速度Vが規定速度以上であると判定されたとき、旋回データは旋回条件を満足していないと判定される。
【0151】
また、判定部418は、ステップS100において、旋回条件として、旋回開始位置から旋回終了位置までの旋回体3の旋回角度θが第1規定角度よりも大きい条件及び第2規定角度未満である条件の一方又は両方を満足するか否かを判定する(第3の旋回条件)。
【0152】
旋回体3の旋回角度θが第1規定角度よりも大きいと判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体3の旋回角度θが第1規定角度以下であると判定されたとき、旋回データは旋回条件を満足していないと判定される。また、旋回体3の旋回角度θが第2規定角度未満であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体3の旋回角度θが第2規定角度以上であると判定されたとき、旋回データは旋回条件を満足していないと判定される。
【0153】
また、判定部418は、ステップS100において、旋回条件として、旋回体3の旋回方向が一方向である条件を満足しているか否かを判定する(第4の旋回条件)。
【0154】
旋回体3の旋回方向が一方向(順方向)であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回体3の旋回方向が順方向から逆方向に切り換わったと判定されたとき、旋回データは旋回条件を満足していないと判定される。
【0155】
ステップS100において、旋回データは旋回条件を満足していないと判定されたとき(ステップS100:No)、報知制御部419は、報知装置33を作動して、旋回データが旋回条件を満足していないことを示す情報を運転者に報知する(ステップS190)。
【0156】
ステップS100において、旋回データは旋回条件を満足していると判定されたとき(ステップS50:Yes)、報知装置33は作動しない。なお、ステップS100において、旋回体データは旋回条件を満足していると判定されたとき、報知制御部419は、ステップS190における報知形態とは別の報知形態で報知装置33を作動して、旋回データが旋回条件を満足していることを示す情報を運転者に報知してもよい。
【0157】
共通部分抽出部413は、画像記憶部423に記憶されている複数の画像PCのそれぞれから共通部分KSを抽出する(ステップS120)。
【0158】
共通部分抽出部413は、旋回体3が旋回停止中及び旋回中において撮像装置30によって撮影された少なくとも2つの画像PCからそれら2つの画像PCの共通部分KSを抽出する。共通部分KSの抽出は、旋回体3の旋回方向Rにおいて、旋回体3の旋回が開始されてから終了するまでに取得された全ての画像PCについて実施される。
【0159】
次に、撮像位置算出部416は、複数の画像PCの共通部分KSに基づいて、旋回体3の推定角度θsを推定する(ステップS140)。撮像位置算出部416は、複数の画像PCにおける共通部分KSの位置に基づいて、旋回角度Δθを算出して、推定角度θsを推定することができる。
【0160】
判定部418は、旋回体3が旋回中のときの旋回データが旋回データ記憶部422に記憶されている旋回条件を満足するか否かを判定する(ステップS150)。
【0161】
判定部418は、ステップS150において、旋回条件として、位置検出装置23及び姿勢検出装置24によって検出された旋回体3の位置及び姿勢に基づいて算出された旋回終了後の撮像装置30の旋回後角度θrbと、共通部分KSに基づいて算出された旋回終了後の撮像装置30の推定角度θsとの差が規定値未満である条件を満足するか否かを判定する(第5の旋回条件)。
【0162】
すなわち、判定部418は、旋回終了後の旋回停止状態における旋回後角度θrbと、旋回中の推定角度θsから推定された旋回終了後の推定角度θsとの差が規定値未満である条件を満足するか否かを判定する。例えば、複数の画像PCから算出される複数の共通部分KSの累積誤差などに起因して、共通部分KSを使って算出された旋回終了後の旋回体3の推定角度θsと、位置検出装置23の検出データ及び姿勢検出装置24の検出データを使って算出された旋回後角度θrbとの差が大きくなる可能性がある。推定角度θsが不正確であるほど、推定角度θsと旋回後角度θrbとの差は大きくなる。判定部418は、旋回終了後の推定角度θsと、旋回後角度θrbとの差が規定値未満である条件を満足するか否かを判定する。
【0163】
旋回終了後の旋回後角度θrbと旋回終了後の推定角度θsとの差が規定値未満であると判定されたとき、旋回データは旋回条件を満足していると判定される。一方、旋回終了後の旋回後角度θrbと旋回終了後の推定角度θsとの差が規定値以上であると判定されたとき、旋回データは旋回条件を満足していないと判定される。
【0164】
ステップS150において、旋回データは旋回条件を満足していないと判定されたとき(ステップS150:No)、報知制御部419は、報知装置33を作動して、旋回データが旋回条件を満足していないことを示す情報を運転者に報知する(ステップS200)。
【0165】
ステップS150において、旋回データは旋回条件を満足していると判定されたとき(ステップS150:Yes)、報知装置33は作動しない。なお、ステップS150において、旋回体データは旋回条件を満足していると判定されたとき、報知制御部419は、ステップS200における報知形態とは別の報知形態で報知装置33を作動して、旋回データが旋回条件を満足していることを示す情報を運転者に報知してもよい。
【0166】
撮像位置算出部416は、旋回終了後の推定角度θsと旋回後角度θrbとの差が規定値未満であるとき、角度θr(旋回前角度θra、旋回後角度θrb)に基づいて、旋回中における推定角度θsを補正する。また、撮像位置算出部416は、補正後の推定角度θsに基づいて、旋回中における撮像装置30の推定位置Psを補正する。撮像位置算出部416は、上述した手順に基づいて、推定角度θsの補正を実施することができる。
【0167】
三次元位置算出部417は、撮影時の画像PCをステレオ処理して、複数の施工対象SBの撮像装置座標系における三次元位置を算出する(ステップS160)。また、三次元位置算出部417は、撮像装置座標系における三次元位置を現場座標系における三次元位置に変換する。
【0168】
三次元位置算出部417は、ステップS140で取得された撮影時の撮像装置30の位置Pに基づいて、ステップS130で算出された複数の施工対象SBの三次元位置を統合する(ステップS170)。撮影時の撮像装置30の位置Pは、旋回前位置Pra、旋回中における複数の推定位置Ps、及び旋回後位置Prbを含む。複数の施工対象SBが統合されることにより、図9を参照して説明したように、施工対象SBの三次元形状を示す三次元データPTDが生成される。なお、三次元位置を統合する処理は、省略されてもよい。
【0169】
なお、旋回体データが、第1の旋回条件、第2の旋回条件、第3の旋回条件、第4の旋回条件、及び第5の旋回条件の少なくとも一つを満足していないと判定された場合、三次元位置算出部417は、ステップS30において取得された、油圧ショベル1が動作開始前の動作停止状態において撮像装置30によって撮影された施工対象SBの画像PCraと、ステップS80において取得された、油圧ショベル1が動作終了後の動作停止状態において撮像装置30によって撮影された施工対象SBの画像PCrbとをステレオ処理して、施工対象SBの撮像装置座標系における三次元位置を算出してもよい。
【0170】
[報知装置]
ステップS180、ステップS190、及びステップS200における報知装置33の報知は、表示装置33Aに表示データを表示すること、発光装置33Bから光を射出すること、及び音出力装置33Cから音を出力することの少なくとも一つを含む。
【0171】
本実施形態において、旋回データが旋回条件を満足しないと判定されたとき、報知制御部419は、油圧ショベル1を操作する操作装置35の操作条件を指示するガイダンスデータを報知装置33に出力させる。運転者は、報知装置33による報知を受け取ることによって、旋回体3が旋回中に取得された画像PCに基づいて実施されたステレオ計測の精度が不足していた、すなわちステレオ計測が失敗したと認識することができ、例えば再度施工対象SBの同じ領域をステレオ計測することができる。その際に、運転者は、報知装置44による報知の内容に基づいて、撮影時における旋回体3の旋回条件を修正してステレオ計測することで、ステレオ計測の精度の低下を抑制することができる。
【0172】
図13は、本実施形態に係る表示装置33Aがガイダンスを表示している例を示す図である。なお、表示装置33Aはガイダンスに代えて、またはガイダンスとともに、ステレオ計測の成否や、ステレオ計測の失敗理由を表示してもよい。
【0173】
図13(A)は、ステップS50において、旋回体3が旋回停止後に再旋回することなく旋回を終了した条件を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップS180における表示装置33Aの表示例を示す。図13(A)に示すように、旋回体3が旋回を停止した後に、再び旋回を開始したと判定されたとき、表示装置33Aは、ガイダンスとして、「旋回停止後の再旋回の操作は行わないで下さい。」という文字データを出力する。
【0174】
図13(B)は、ステップS100において、旋回体3の旋回速度Vが規定速度未満である条件を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップS190における表示装置33Aの表示例を示す。図13(B)に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回体3の旋回速度Vが規定速度以上であると判定されたとき、表示装置33Aは、ガイダンスとして、「旋回速度を遅くして下さい。」という文字データを出力する。
【0175】
図13(C)は、ステップS100において、旋回体3の旋回速度θが第1規定角度よりも大きい条件及び第2規定角度未満である条件の一方又は両方を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップS190における表示装置33Aの表示例を示す。図13(C)に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回体3の旋回角度θが第2規定角度以上であると判定されたとき、表示装置33Aは、ガイダンスとして、「旋回角度を小さくして下さい。」という文字データを出力する。
【0176】
また、旋回体3の旋回角度θが第1規定角度以下であると判定されたとき、表示装置33Aは、ガイダンスとして、「旋回開始時と旋回終了時の旋回角度を大きくして下さい。」という文字データを出力する。
【0177】
図13(D)は、ステップS100において、旋回体3の旋回方向が順方向から逆方向に切り換わらずに一方向である条件を満足しているか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップS190における表示装置33Aの表示例を示す。図13(D)に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回体3の旋回方向が順方向から逆方向に切り換わっていると判定されたとき、表示装置33Aは、ガイダンスとして、「旋回連続撮影時は必ず一方向に旋回して下さい」という文字データを出力する。
【0178】
図13(E)は、ステップS150において、旋回終了後の旋回体3の旋回後角度θrbと旋回終了後の旋回体3の推定角度θsとの差が規定値未満である条件を満足するか否かが判定され、旋回データが旋回条件を満足していないと判定されたときの、ステップS200における表示装置33Aの表示例を示す。図13(E)に示すように、旋回データが旋回条件を満足してないと判定されたとき、すなわち、旋回後角度θrbと旋回終了後の旋回体3の推定角度θsとの差が規定値以上であると判定されたとき、表示装置33Aは、ガイダンスとして、「車体の位置を変更して下さい。作業機姿勢を確認して下さい。」という文字データを出力する。
【0179】
旋回後角度θrbと推定角度θsとの差が大きい場合、推定角度θsが不正確である可能性が高く、推定角度θsの補正を実施しても、正確な推定角度θsを取得することが困難である可能性が高い。その場合、報知制御部419は、図13(E)に示したような、旋回連続撮影の条件の変更を促すガイダンスのような報知信号を出力する。
【0180】
なお、上述のようなガイダンスや、ステレオ計測の成否や、ステレオ計測の失敗理由は、発光装置33Bの点灯、点滅、及び消灯の組み合わせを含む発光状態によって報知されてもよいし、音出力装置33Cから音声によって出力されてもよい。
【0181】
また、報知制御部419は、その他の理由により三次元位置算出部417によるステレオ計測が失敗したときも、報知装置33を作動して、ステレオ計測が失敗したことを示す情報を報知することができる。
【0182】
[効果]
以上説明したように、本実施形態によれば、ステレオ計測の計測精度を低下させる旋回条件で旋回体3が旋回した場合、旋回条件が不適切であることを示す情報が運転者に報知される。そのため、運転者は、ステレオ計測の計測精度が低下しないように操作装置35の操作を調整したり、撮影をやり直したりすることができる。これにより、ステレオ計測に適切な画像PCが取得されるため、施工対象SBの三次元形状の計測精度の低下が抑制される。
【0183】
なお、上述の実施形態においては、油圧ショベル1が旋回中においては、撮像装置30の位置が共通部分KSに基づいて算出されることとしたが、その実施形態に限られない。例えば、油圧ショベル1が旋回中における撮像装置30の位置が、位置検出装置23の検出データ及び姿勢検出装置24の検出データに基づいて算出されてもよい。
【0184】
なお、上述の実施形態において、撮像位置算出部416は、旋回軸Zrを拘束条件として、変数を旋回角度θのみとして撮影位置を算出したが、旋回軸Zrを拘束条件とすることなく、撮像装置30の位置及び姿勢を、X軸方向の位置、Y軸方向の位置、Z軸方向の位置、ロール角、ピッチ角、及びヨー角の6変数に基づいて算出してもよい。
【0185】
なお、本実施形態においては、入力装置32が操作されることにより、撮像装置30による撮影が開始又は終了することとした。操作装置35の操作により、撮像装置30による撮影が開始又は終了してもよい。上述のように、操作装置35の操作量を検出する操作量センサ36が設けられている。操作量センサ36は、操作装置35が操作された操作状態と、操作装置35が操作されていない中立状態とを検出可能である。旋回体3の旋回を開始するために操作装置35が操作状態になったとき、操作状態を検出した操作量センサ36の検出データに基づいて撮像装置30による撮影が開始され、旋回体3の旋回を終了するために操作装置35が中立状態になったとき、中立状態を検出した操作量センサ36の検出データに基づいて撮像装置30による撮影が終了してもよい。また、入力装置32の操作により撮影が開始され、操作装置35が中立状態になったときに撮影が終了してもよい。また、旋回体3が旋回中か否かの判定は、操作量センサ36の検出データに基づかずに、任意の旋回検出方法によって実施されてもよい。
【0186】
また、入力装置32が操作されることにより、自動的に撮像装置30による撮影及び旋回体3の旋回が開始され、規定の旋回終了位置まで旋回した後、自動的に撮像装置30による撮影及び旋回体3の旋回が終了するようにしてもよい。
【0187】
なお、上述の実施形態において、入力装置32は、例えば操作装置35の右操作レバー35R及び左操作レバー35Lの少なくとも一方に取り付けられていてもよいし、運転室4に配置されるモニタパネルに設けられていてもよいし、携帯端末装置に設けられてもよい。また、入力装置32が油圧ショベル1の外部に設けられ、撮像装置30の撮影の開始又は終了が遠隔操作されてもよい。
【0188】
上述の実施形態においては、判定部418が旋回条件を満足していないと判定したときに、報知制御部419が、旋回指示信号として報知信号を報知装置33に出力する例について説明した。上述の実施形態において、例えば、旋回体3の旋回中に旋回速度Vが所定の旋回速度よりも速いと判定されたとき、旋回制御部420は、旋回指示信号として油圧コントローラ38に制御信号を出力して、旋回中の旋回体3の旋回速度Vを、旋回条件を満たすように制御してもよい。その場合、油圧コントローラ38は、運転者の操作装置35の操作量に応じた旋回モータ37の駆動制御に対して、旋回制御部420からの制御信号に基づいて旋回速度Vを減ずるよう介入制御を実施することができる。旋回速度Vを遅くする、すなわち旋回動作を制御するために油圧コントローラ38に出力される制御信号は、旋回指示信号の一例である。また、報知装置33を制御するために報知装置33へ出力される旋回に関する報知信号、例えばステレオ計測の成否データ、ステレオ計測の失敗理由データ、ガイダンスデータは、旋回指示信号の一例である。また、報知制御部419及び旋回制御部420は、旋回指示信号を出力する出力部の一例である。
【0189】
なお、上述の実施形態において、報知装置33は、運転室4に配置されるモニタパネルであってもよいし、携帯端末装置であってもよい。また、そのようなモニタパネル及び携帯端末装置が油圧ショベル1の外部に設けられてもよい。また、報知装置33が油圧ショベル1の外部に設けられ、油圧ショベル1の外部に存在する管理者に報知してもよい。また、操作装置35、報知装置33が油圧ショベル1の外部に設けられ、報知装置33は油圧ショベル1を遠隔操作している運転者に対して報知を行ってもよい。
【0190】
なお、上述の実施形態において、旋回体3の旋回中において旋回速度Vが旋回条件を満足しなくなる程ではないがある程度速い旋回速度Vで旋回している場合、報知装置33は、運転者に対してリアルタイムに旋回速度Vを遅くさせることを促すガイダンスを報知してもよい。その際、運転者は旋回操作中であるため、例えば旋回速度Vを遅くさせることを促す音によるガイダンスが望ましい。
【0191】
なお、撮像装置30で撮影された画像PCが画像記憶部423に蓄積される場合、旋回条件として、規定の容量の画像PCのデータが蓄積されないという条件(メモリオーバー条件)、又は画像PCのデータが蓄積される時間が規定時間を超えないという条件(タイムオーバー条件)が設定されてもよい。また、旋回条件として、走行体2が走行していないという条件が設定されてもよい。旋回撮影中に走行体2が走行してしまうとステレオ計測の精度が低下するため、走行体2が走行していないという条件が設定されてもよい。
【0192】
なお、上述の実施形態においては、撮像位置算出部416が共通部分KSに基づいて旋回データを算出し、旋回データ取得部415は、撮像位置算出部416から旋回データを取得することとした。旋回データ取得部415は、旋回データを算出するための検出装置の検出データに基づいて旋回データを算出してもよい。例えば、旋回データ取得部415は、位置検出装置23の検出データまたは姿勢検出装置24の検出データに基づいて、旋回体3の旋回角度θ、旋回速度V、及び旋回方向Rを含む旋回データを算出してもよいし、操作量センサ36の検出データに基づいて旋回データを算出してもよいし、旋回体3の旋回データを検出可能な角度センサ、例えばロータリーエンコーダの検出データに基づいて旋回データを算出してもよい。この場合、演算処理装置41は、角度検出センサの検出値である旋回角度θを角度検出センサから取得するタイミングと、少なくとも一対の撮像装置30が施工対象SBを撮影するタイミングとを同期させる。このようにして、少なくとも一対の撮像装置30によって画像PCが撮影されたタイミングと、そのタイミングにおける旋回体3の旋回角度θとが対応付けられる。
【0193】
なお、上述の実施形態においては、演算処理装置41が少なくとも一対の撮像装置30によって撮像された画像PCをステレオ処理して三次元計測を実現したが、このようなものには限定されない。例えば、少なくとも一対の撮像装置30によって撮像された油圧ショベル1の周囲の掘削対象SBの画像PCと、位置検出装置23及び姿勢検出装置24によって求められた油圧ショベル1の静止時における位置及び姿勢とが、例えば油圧ショベル1の外部の管理装置に送信される。そして、外部の管理装置が油圧ショベル1の周囲の掘削対象SBの画像PCをステレオ処理するとともに、旋回体3の旋回時における旋回角度θ、油圧ショベル1の位置及び姿勢を求め、得られた結果を用いて旋回時における油圧ショベル1の周囲の掘削対象SBの三次元位置を求めてもよい。この場合、油圧ショベル1の外部の管理装置が、演算処理装置41に相当する。
【0194】
上述の実施形態において、検出装置は少なくとも一対の撮像装置30を含むステレオカメラである。ステレオカメラで撮影する際には、各カメラの撮影タイミングを同期させる。撮像装置はステレオカメラに限定されない。撮像装置は、例えば、TOF(Time Of Flight)カメラのような、画像と三次元データとの両方が得られるセンサであってもよい。撮像装置は一つのカメラにより三次元データが得られる撮像装置であってもよい。撮像装置は、レーザスキャナであってもよい。
【0195】
なお、上述の実施形態においては、作業機械1が旋回体3を有する油圧ショベル1であることとした。作業機械1は、旋回体を有しない作業機械でもよい。例えば、作業機械は、ブルドーザ、ホイールローダ、ダンプトラック、及びモーターグレーダの少なくとも一つでもよい。
【符号の説明】
【0196】
1…油圧ショベル(作業機械)、1B…車体、2…作業機、3…旋回体、4…運転室、4S…運転席、5…走行体、5A…履帯、5B…履帯、6…ブーム、7…アーム、8…バケット、10…ブームシリンダ、11…アームシリンダ、12…バケットシリンダ、21…GPSアンテナ、23…位置検出装置、24…姿勢検出装置、30…撮像装置、30A,30B,30C,30D…撮像装置、31…ハブ、32…入力装置、32A…旋回連続撮影スイッチ、32B…単画像撮影スイッチ、33…報知装置、33A…表示装置、33B…発光装置、33C…音出力装置、34A…第1発光部、34B…第2発光部、35…操作装置、35L…左操作レバー、35R…右操作レバー、36…操作量センサ、37…旋回モータ、38…油圧コントローラ、40…制御装置、41…演算処理装置、42…記憶装置、43…入出力インターフェース、50…計測システム、300…ステレオカメラ、301…第1ステレオカメラ、302…第2ステレオカメラ、410…画像取得部、411…信号取得部、413…共通部分抽出部、415…旋回データ取得部、416…撮像位置算出部、417…三次元位置算出部、418…判定部、419…報知制御部、420…旋回制御部、422…旋回条件記憶部、423…画像記憶部、FM…撮影領域、KS…共通部分、PC…画像、Pr…位置、Pra…旋回前位置、Prb…旋回後位置、Ps…推定位置、RD…旋回方向、SB…施工対象、Zr…旋回軸、θr…角度、θra…旋回前角度、θrb…旋回後角度、θs…推定角度。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13