特許 6826233 作業機の外形形状測定システム，作業機の外形形状表示システム，作業機の制御システム及び作業機械

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6826233

(24)【登録日】2021年1月18日

(45)【発行日】2021年2月3日

(54)【発明の名称】作業機の外形形状測定システム，作業機の外形形状表示システム，作業機の制御システム及び作業機械

(51)【国際特許分類】

   E02F 9/26 20060101AFI20210121BHJP

【ＦＩ】

   E02F9/26 B

   E02F9/26 A

【請求項の数】13

【全頁数】22

(21)【出願番号】特願2020-509531(P2020-509531)

(86)(22)【出願日】2018年9月25日

(86)【国際出願番号】JP2018035525

(87)【国際公開番号】WO2020065738

(87)【国際公開日】20200402

【審査請求日】2020年2月18日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】特許業務法人開知国際特許事務所

(72)【発明者】

【氏名】早川 直樹

(72)【発明者】

【氏名】廣松 航平

(72)【発明者】

【氏名】坂井 大斗

(72)【発明者】

【氏名】泉 枝穂

【審査官】 荒井 良子

(56)【参考文献】

【文献】 国際公開第２０１６／０５６６７４（ＷＯ，Ａ１）

【文献】 特開２００５−１１４２３５（ＪＰ，Ａ）

【文献】 特開２０１６−０８９３８８（ＪＰ，Ａ）

【文献】 特開２０１７−１８１３４０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０１６８１３６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｅ０２Ｆ ９／００−９／１８

Ｅ０２Ｆ ９／２４−９／２８

Ｇ０９Ｇ ５／００−５／４０

(57)【特許請求の範囲】

【請求項1】

作業機械に備えられた作業機の外形形状を測定する測定コントローラを備える作業機の外形形状測定システムにおいて，
前記作業機の側面を撮影する撮影装置を備え，
前記測定コントローラは，
前記撮影装置により前記作業機の側面を撮影した画像と前記撮影装置の内部パラメータとに基づいて，前記撮影装置に設定された３次元座標系である撮影装置座標系において前記作業機の側面を表す平面の位置を算出し，
前記画像上で前記作業機を構成する任意の画素の前記画像における位置情報と前記平面の位置とに基づいて前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を算出し，
前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を前記作業機に設定された２次元座標系である作業機座標系における座標値に変換して前記作業機械の作業機械コントローラに出力することを特徴とする作業機の外形形状測定システム。

【請求項2】

請求項１の作業機の外形形状測定システムにおいて，
前記測定コントローラは，前記画像における前記作業機の輪郭線を抽出し，前記画像における前記輪郭線上の任意の画素の位置情報と前記平面の位置とに基づいて，前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を算出することを特徴とする作業機の外形形状測定システム。

【請求項3】

請求項１の作業機の外形形状測定システムにおいて，
前記測定コントローラは，前記画像における前記作業機の輪郭線を抽出し，前記画像における前記輪郭線上のすべての画素の位置情報と前記平面の位置とに基づいて，前記すべての画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を算出することを特徴とする作業機械の作業機の外形形状測定システム。

【請求項4】

請求項１の作業機の外形形状測定システムにおいて，
前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値は，前記画像上で前記作業機を構成するすべての画素に対応する前記作業機上の複数の点について演算されることを特徴とする作業機械の作業機の外形形状測定システム。

【請求項5】

請求項１の作業機の外形形状測定システムにおいて，
前記測定コントローラは，前記作業機の側面に取り付けられ互いの距離が既知の３つ以上のマーカーの前記画像における画素位置に基づいて前記平面の位置を算出することを特徴とする作業機の外形形状測定システム。

【請求項6】

請求項１の作業機の外形形状測定システムにおいて，
前記撮影装置との位置関係が既知な投影装置をさらに備え，
前記画像には，前記投影装置から前記作業機の側面に投影されたマーカーが撮影されており，
前記測定コントローラは，前記画像における前記マーカーの画素位置に基づいて前記平面の位置を算出することを特徴とする作業機の外形形状測定システム。

【請求項7】

請求項４の作業機の外形形状測定システムにおいて，
前記撮影装置は，互いの位置関係が既知な複数の撮影装置であり，
前記測定コントローラは，前記複数の撮影装置間の距離をもとに前記平面の位置を算出することを特徴とする作業機の外形形状測定システム。

【請求項8】

請求項４の作業機の外形形状測定システムにおいて，
前記撮影装置と前記作業機の側面上の任意の点との距離を測る測距装置をさらに備え，
前記測定コントローラは，前記測距装置により測定された前記作業機の側面上の３点以上の距離情報をもとに前記平面の位置を算出することを特徴とする作業機械の作業機の外形形状測定システム。

【請求項9】

請求項１の作業機の外形形状測定システムにおいて，
前記測定コントローラは，前記画素に対応する前記作業機上の点の前記作業機座標系における座標値をもとに前記作業機座標系における前記作業機の描画画像を生成することを特徴とする作業機の外形形状測定システム。

【請求項10】

請求項１の作業機の外形形状測定システムと，前記作業機械コントローラと，前記作業機械に搭載された表示装置とを備えた作業機の外形形状表示システムにおいて，
前記測定コントローラは，前記画素に対応する前記作業機上の点の前記作業機座標系における座標値をもとに前記作業機座標系における前記作業機の描画画像を生成し，
前記作業機械コントローラは，
前記測定コントローラから出力される前記画素に対応する前記作業機上の点の前記作業機座標系における座標値を前記作業機械に設定された２次元座標系である車体座標系における座標値に変換し，
前記作業機に取り付けられた姿勢センサの出力に基づいて前記車体座標系における前記作業機の姿勢を検出し，
前記作業機座標系における前記作業機の描画画像と，前記画素に対応する前記作業機上の点の前記車体座標系における座標値と，前記車体座標系における前記作業機の姿勢とに基づいて，前記車体座標系における前記作業機の姿勢に合わせて前記作業機の描画画像を前記表示装置に表示することを特徴とする作業機の外形形状表示システム。

【請求項11】

請求項１の作業機の外形形状測定システムと，前記作業機械コントローラとを備えた作業機の制御システムにおいて，
前記作業機械コントローラは，
前記測定コントローラから出力される前記画素に対応する前記作業機上の点の前記作業機座標系における座標値を前記作業機械に設定された２次元座標系である車体座標系における座標値に変換し，
前記作業機に取り付けられた姿勢センサの出力に基づいて前記車体座標系における前記作業機の姿勢を検出し，
予め定められた目標面の位置情報と，前記画素に対応する前記作業機上の点の前記車体座標系における座標値と，前記車体座標系における前記作業機の姿勢とに基づいて，前記画素に対応する前記作業機のコントロールポイントが前記目標面の上方に保持されるように前記作業機を制御することを特徴とする作業機の制御システム。

【請求項12】

作業機と，表示装置と，予め定められた目標面と前記作業機の位置関係を前記表示装置に表示させる作業機械コントローラとを備えた作業機械において，
前記作業機械は，
前記作業機の側面を撮影する撮影装置と，
前記撮影装置により前記作業機の側面を撮影した画像と前記撮影装置の内部パラメータとに基づいて，前記撮影装置に設定された３次元座標系である撮影装置座標系において前記作業機の側面を表す平面の位置を算出し，前記画像上で前記作業機を構成する任意の画素の前記画像における位置情報と前記平面の位置とに基づいて前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を算出し，前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を前記作業機械の車体に設定された２次元座標系である車体座標系における座標値に変換して前記作業機械コントローラに出力し，前記画素に対応する前記作業機上の点の前記車体座標系における座標値をもとに前記車体座標系における前記作業機の描画画像を生成して前記作業機械コントローラに出力する測定コントローラとを搭載しており，
前記作業機械コントローラは，
前記作業機に取り付けられた姿勢センサの出力に基づいて前記車体座標系における前記作業機の姿勢を検出し，
前記車体座標系における前記作業機の描画画像と，前記画素に対応する前記作業機上の点の前記車体座標系における座標値と，前記車体座標系における前記作業機の姿勢とに基づいて，前記車体座標系における前記作業機の姿勢に合わせて前記作業機の描画画像を前記表示装置に表示する
ことを特徴とする作業機械。

【請求項13】

請求項１２の作業機械において，
前記作業機械コントローラは，予め定められた目標面の位置情報と，前記画素に対応する前記作業機上の点の前記車体座標系における座標値と，前記車体座標系における前記作業機の姿勢とに基づいて，前記画素に対応する前記作業機上の点に対応する前記作業機のコントロールポイントが前記目標面の上方に保持されるように前記作業機を制御する
ことを特徴とする作業機械。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は作業機械に搭載された作業機の形状を計測する測定コントローラを備える作業機の外形形状測定システムに関する。

【背景技術】

【0002】

近年，情報化施工への対応に伴い，油圧ショベルを含む作業機械には，（１）ブーム，アーム，バケットなどの作業機（フロント作業機）の位置や姿勢をセンサで検出し，そのセンサ情報に即した位置と姿勢のバケットの画像をモニタに表示してオペレータに提供するマシンガイダンス（ＭＧ）や，（２）ＭＧと同様に作業機の位置や姿勢のセンサ情報を利用して，予め定めた条件に従って作業機を制御するマシンコントロール（ＭＣ）の機能を有するものがある。通常，このような機能を搭載した油圧ショベルでは，実際のバケットと目標面の相対的な位置関係をオペレータに報せるために，バケットを側面視した画像を目標面とともに運転室内のモニタに表示することが行われる。

【0003】

この種の技術に関連して，特許文献１には，複数種類のバケットの画像をモニタに表示させるにあたってオペレータの違和感を低減する観点から次のような技術が開示されている。すなわち，引用文献１は，バケットが取り付けられた作業機を有する作業機械の表示システムであって，前記バケットの形状及び寸法の情報を用いて前記バケットを側面視した画像を描画するための描画情報を生成する生成部と，前記生成部によって生成された前記描画情報に基づいて前記バケットを側面視した画像及び地形の断面を示す画像を表示する表示部と，を含み，前記バケットの形状及び寸法の情報は，前記バケットの側面視において，前記バケットの刃先と前記バケットを前記作業機に取り付けるバケットピンとの距離，前記刃先及び前記バケットピンを結ぶ直線と，前記バケットの底面を示す直線とのなす角度，前記刃先の位置，前記バケットピンの位置，及び前記バケットを前記作業機に連結する部分から前記刃先までにおける前記バケットの外側の少なくとも１つの位置を含む，作業機械の表示システムを開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１６／５６６７４号パンフレット

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで，上記のＭＧやＭＣの正確度を向上する観点からは，バケットをはじめとする作業機の正確な外形情報が必要となる。

【0006】

通常，バケットを含む作業機は，作業員による溶接等の手作業で製造されるため，その過程で変形や位置ズレ等が生じて設計データと異なる形状に仕上がる。そのため，作業機の外形情報は，一般にはメジャーでの測定やトータルステーションを使用した測定などを作業機械ごとに行うことで取得されている。これらの手法では，十分な測定精度を得るために作業機の姿勢の制限や，大がかりな測定装置を使用する必要がある。その上，作業機の形状を実際の形状に即して正確にモニタに表示するためには，事前にできるだけ多くの点を測定しておく必要があり，非常に手間がかかる作業となる。

【0007】

そのため，外形情報が実物に即して正確に登録されている作業機はほとんどなく，作業機の外形上の代表的な１点（例えばバケット爪先）や数点の位置のみが登録されている場合がほとんどであり，このような実情は正確なＭＧやＭＣの実現の妨げとなっている。すなわち，ＭＣでは，作業機の外形上で位置が登録されていない点が目標面と接触して目標面が意図せず変形・損傷したり，ＭＧでは，目標面と事実上の最短距離にある外形上の点が未登録の場合には誤った距離がモニタに提示されたりするおそれがある。

【0008】

本発明の目的は，作業機の外形情報を簡単に測定することができる測定システムや，それを用いてオペレータが目標面を精度よく成形することを支援する表示システム及び制御システム，さらにはこれらを備えた作業機械を提供することである。

【課題を解決するための手段】

【0009】

本願は上記課題を解決する手段を複数含んでいるが，その一例を挙げるならば，作業機械に搭載された作業機の形状を計測する測定コントローラを備える作業機の外形形状測定システムにおいて，前記作業機の側面を撮影する撮影装置を備え，前記測定コントローラは，前記撮影装置により前記作業機の側面を撮影した画像と前記撮影装置の内部パラメータとに基づいて，前記撮影装置に設定された３次元座標系である撮影装置座標系において前記作業機の側面を表す平面の位置を算出し，前記画像上で前記作業機を構成する任意の画素の前記画像における位置情報と前記平面の位置とに基づいて前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を算出し，前記画素に対応する前記作業機上の点の前記撮影装置座標系における座標値を前記作業機に設定された２次元座標系である作業機座標系における座標値に変換して前記作業機械の作業機械コントローラに出力するものとする。

【発明の効果】

【0010】

本発明によれば作業機の外形情報を簡単に測定することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１に係る油圧ショベルと撮影装置の構成図。

【図2】本発明の実施形態１に係るシステムの構成図。

【図3】油圧ショベルにおける座標系を表す図。

【図4】本発明の実施形態１に係る作業機の外形形状測定システムの機能ブロック図。

【図5】作業機側面上に取り付けられた既知点マーカーの例を示す図。

【図6】撮影装置座標系における撮影装置と作業機側面上の既知点マーカーの位置関係を示す図。

【図7】イメージセンサ座標系における像の位置関係を示す図。

【図8】撮影装置座標系と作業機座標系の関係を示す図。

【図9】本発明の実施形態１に係る油圧ショベルのシステムの機能ブロック図。

【図10】作業機座標系から車体座標系への変換を表す図。

【図11】車体座標系における目標面を示す図。

【図12】作業機と目標面の関係の例を示す図。

【図13】表示モニタ１８に表示される画面の例を示す図。

【図14】本発明の第２実施形態に係る油圧ショベルの構成図。

【図15】本発明の第２実施形態に係るシステムの機能ブロック図。

【発明を実施するための形態】

【0012】

以下，本発明の実施の形態について図面を用いて説明する。なお，以下では本発明が適用される作業機械として，作業機（フロント作業機）の先端のアタッチメントとしてバケット４を備える油圧ショベルを例示するが，バケット以外のアタッチメントを備える油圧ショベルで本発明を適用しても構わない。また，油圧ショベル以外の作業機械であっても，例えばホイールローダのように作業機を有する作業機械であれば本発明は適用可能である。さらに，以下の説明では，作業機１Ａに含まれる複数のフロント部材（具体的には，ブーム２，アーム３及びバケット４）のうち，測定コントローラ２０による形状（作業機１Ａ上の任意の点の作業機座標系Ｃｏ３（後述）における位置）の計測を希望する１以上のフロント部材を作業機と呼ぶことがある。

【0013】

＜第１実施形態＞
第１実施形態では，油圧ショベル（作業機械）１に搭載された作業機１Ａを撮影する撮影装置（例えばカメラ）１９と，撮像装置１９により作業機１Ａの側面を撮影した画像（以下では「作業機側面画像」と称することがある）を利用して，作業機１Ａの形状に関する情報を計測する測定コントローラ２０と，油圧ショベル１に搭載され，測定コントローラ２０で演算された作業機１Ａの形状に関する情報を入力して油圧ショベル１で実行される例えばＭＧやＭＣに利用する作業機械コントローラ５０とを備えるシステムについて説明する。

【0014】

図１は本発明の実施形態に係る油圧ショベル１と撮影装置１９及び測定コントローラ２０の構成図である。また図２は本実施形態のシステムの構成図である。本実施形態のシステムは，図２に示すように，作業機械コントローラ５０を搭載した油圧ショベル１と，油圧ショベル１から離れた位置に設置されている撮影装置１９及び測定コントローラ２０とからなる。撮影装置１９は作業機１Ａの側面の写真（画像）を撮影するカメラである。測定コントローラ２０は，作業機１Ａの側面を表す平面の位置を算出し，その平面の位置と撮像装置１９が撮影した画像とに基づいて作業機１Ａの側面上の任意の点の作業機座標系Ｃｏ３における座標値と作業機１Ａの描画画像を生成する。油圧ショベル１に搭載された作業機械コントローラ５０はマシンガイダンス（ＭＧ）機能やマシンコントロール（ＭＣ）機能を提供するが，そのＭＧ・ＭＣのための作業機１Ａの形状情報や描画情報として，測定コントローラ２０が出力する作業機１Ａの側面上の任意の点の作業機座標系Ｃｏ３における座標値と作業機１Ａの描画画像を利用する。

【0015】

測定コントローラ２０及び作業機械コントローラ５０は，それぞれ，処理装置（例えばＣＰＵ）と，その処理装置が実行するプログラムが格納された記憶装置（例えばＲＯＭ，ＲＡＭ等の半導体メモリ）を有する制御装置である。本実施形態のコントローラ２０，５０は，それぞれ，外部装置（例えば，撮影装置１９，目標面データ入力装置３７（図９参照），各種センサ１２，１３，１４，１６，１７，操作レバー１０，１１）からの情報や信号を受信して，作業機１Ａの座標値と描画画像の生成に必要な各種演算や，油圧ショベル１の運転室内に設置された表示モニタ（表示装置）１８への表示や油圧ショベル１の動作に関する各種演算を行っている。この測定コントローラ２０及び作業機械コントローラ５０が実行する演算の具体的内容については図４，図９の機能ブロック図を利用して後述する。

【0016】

図１に示すように，油圧ショベル１は，垂直方向にそれぞれ回動する複数のフロント部材（ブーム２，アーム３及びバケット４）を連結して構成された多関節型の作業機（フロント作業機）１Ａと，上部旋回体１ＢＡ及び下部走行体１ＢＢからなる車体１Ｂとで構成され，作業機１Ａの基端側に位置するブーム２の基端は上部旋回体１ＢＡの前部に上下方向に回動可能に支持されている。上部旋回体１ＢＡは下部走行体１ＢＢの上部に旋回可能に取り付けられている。また作業機１Ａの側方には，作業機１Ａ側面の写真を撮影するための内部パラメータ（例えば，焦点距離（ｆ），イメージセンサーサイズ（縦ｈ，横ｗ），画素数（縦Ｈ，横Ｗ），ユニットセルサイズ，画像中心座標等）が明らかな撮影装置１９と，測定コントローラ２０とが設置されている。

【0017】

撮影装置１９は，ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子（イメージセンサ）を備えた単眼カメラである。撮影装置１９は撮影した画像データを測定コントローラ２０に出力する。また撮影装置１９は画像情報の他に，ステレオカメラのような視差を利用した深度情報（被写体までの距離情報）や，レーザー光等を発射してその反射光を到達時間を計測する等して深度情報が取得可能なカメラに代替してもよい。なお，測定コントローラ２０は撮影装置１９に内蔵されていてもよい。

【0018】

ブーム２，アーム３，バケット４，上部旋回体１ＢＡ及び下部走行体１ＢＢは，それぞれ，ブームシリンダ５，アームシリンダ６，バケットシリンダ７，旋回油圧モータ８及び左右の走行油圧モータ９ａ，９ｂ（油圧アクチュエータ）により駆動される被駆動部材を構成する。それら複数の被駆動部材の動作は，上部旋回体１ＢＡ上の運転室内に設置された走行右レバー１０ａ，走行左レバー１０ｂ，操作右レバー１１ａ及び操作左レバー１１ｂ（これらを操作レバー１０，１１と総称することがある）がオペレータにより操作されることにより発生するパイロット圧によって制御される。上記の複数の被駆動部材を駆動するパイロット圧には，操作レバー１０，１１の操作によって出力されるものだけでなく，油圧ショベル１に搭載された複数の比例電磁弁３９（図９参照）の一部（増圧弁）が操作レバー１０，１１の操作とは無関係に動作して出力するものや，複数の比例電磁弁３９の一部（減圧弁）が動作して操作レバー１０，１１の操作によって出力されたパイロット圧を減圧したものが含まれる。このように複数の比例電磁弁３９（増圧弁及び減圧弁）から出力されたパイロット圧は，予め定められた条件に従ってブームシリンダ５，アームシリンダ６及びバケットシリンダ７を動作させるＭＣを発動させる。

【0019】

作業機１Ａには，ブーム２，アーム３，バケット４の回動角度α，β，γ（図３参照）を測定可能なように，ブームピンにブーム角度センサ１２が，アームピンにアーム角度センサ１３が，バケットリンク１５にバケット角度センサ１４が取付けられている。上部旋回体１ＢＡには，基準面（例えば水平面）に対する上部旋回体１ＢＡ（車体１Ｂ）の前後方向の傾斜角θ（図３参照）を検出する車体前後傾斜角センサ１６ａと，上部旋回体１ＢＡ（車体１Ｂ）の左右方向の傾斜角φ（図示せず）を検出する車体左右傾斜角センサ１６ｂとが取付けられている。なお，図３中に記されているＸ軸及びＺ軸は，ブームピンの軸心上の点（例えば中央点）を原点とし，車体上方方向をＺ軸，車体前方方向をＸ軸，車体右方向をＹ軸とする車体座標系Ｃｏ４を表したものである。

【0020】

上部旋回体１ＢＡには第１ＧＮＳＳアンテナ１７ａと第２ＧＮＳＳアンテナ１７ｂが配置されている。第１ＧＮＳＳアンテナ１７ａ及び第２ＧＮＳＳアンテナ１７ｂはＲＴＫ−ＧＮＳＳ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ − Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍｓ）用のアンテナであり，複数のＧＮＳＳ衛星から発信された電波（航法信号）を受信する。作業機械コントローラ５０は，複数のＧＮＳＳ衛星から発信された電波が第１及び第２ＧＮＳＳアンテナ１７ａ，１７ｂに到達するまでに要した時間に基づいてそれぞれのアンテナ位置の緯度，経度及び高さ（楕円体高）を測定可能である。これにより３次元座標系である地理座標系（世界座標系）Ｃｏ５における油圧ショベル１（上部旋回体１ＢＡ）の位置と向きを演算することができる。なお，第１及び第２ＧＮＳＳアンテナ１７ａ，１７ｂの位置及び高さを専用の受信機で演算し，演算結果を作業機械コントローラ５０に出力する構成を採用しても良い。

【0021】

油圧ショベル１の運転室内の表示モニタ１８の画面上には，各種姿勢センサ１２，１３，１４，１６の出力から演算された作業機１Ａの姿勢情報や，ＧＮＳＳアンテナ１７ａ，１７ｂの受信信号から演算された上部旋回体１ＢＡの位置情報等を基に作業機１Ａを側面視した画像及び目標面の断面形状が表示される。作業機１Ａを側面視した画像は撮影装置１９が撮影した作業機側面画像に基づいて測定コントローラ２０で生成される。次に測定コントローラ２０が撮像装置１９の作業機側面画像をもとに作業機１Ａの作業機座標系Ｃｏ３上の座標値と描画画像を生成する処理について図面を用いて説明する。

【0022】

（測定コントローラの構成）
図４は本発明の実施形態に係る測定コントローラ２０の機能ブロック図である。この図に示すように，測定コントローラ２０は，作業機座標系Ｃｏ３での作業機１Ａの座標値を演算する作業機座標系座標演算部２１と，作業機座標系Ｃｏ３での作業機１Ａの描画画像を生成する作業機座標系描画画像生成部２２とを備えており，撮影装置１９で撮影された作業機１Ａの側面写真の入力を受けている。

【0023】

作業機座標系座標演算部２１は，撮影装置１９に設定された３次元座標系である撮影装置座標系Ｃｏ１において作業機１Ａの側面を表す平面の位置を算出する撮影位置演算部２３と，撮影装置１９が撮影した作業機側面画像上で作業機１Ａを構成する画素（以下では「作業機構成画素」と称することがある）に含まれる任意の画素に対応する作業機１Ａ上の点（以下では「作業機対応点」と称することがある）の撮影装置座標系Ｃｏ１における座標値を算出する撮影装置座標系座標変換部２４と，撮影装置座標系Ｃｏ１における作業機対応点の座標値を作業機座標系Ｃｏ３における座標値に変換する作業機座標系座標変換部２５とを備えている。作業機座標系座標演算部２１は，撮影装置１９により撮影された作業機１Ａの側面画像（作業機側面画像）を入力とし，その作業機側面画像上で指定された作業機構成画素の作業機対応点の作業機座標系Ｃｏ３における座標値を出力する。

【0024】

なお，撮影装置１９で撮影した作業機側面画像の入力に際して，その作業機側面画像に対して撮影装置１９の内部パラメータをもとに歪み補正を施す処理を測定コントローラ２０で実行してもよい。また，本実施形態では，作業機側面画像において，作業機側面部とその他の部分（背景）の境界線である輪郭線上のすべての画素の作業機対応点について作業機座標系Ｃｏ３における座標値（作業機座標系座標値）を出力する場合について記述するが，作業機側面画像上の作業機側面部の全ての画素（すなわち作業機側面部の輪郭線内の全ての画素）の作業機対応点の作業機座標系座標値を出力したり，ユーザーが何らかの入力インターフェースを介して指定した作業機側面部上の画素の作業機対応点の作業機座標系座標値を出力したりする等，任意の方法を採用しても良い。

【0025】

撮影位置演算部２３は，撮影装置１９により作業機１Ａの側面を撮影した画像（作業機側面画像）と撮影装置１９の内部パラメータとに基づいて，撮影装置１９に設定された３次元座標系である撮影装置座標系Ｃｏ１における作業機１Ａの側面を表す平面Ｓ１（後述図８参照）の位置を算出する。本実施形態では撮影装置座標系Ｃｏ１における平面Ｓ１の位置を撮影装置座標系Ｃｏ１における平面Ｓ１の方程式で特定している。

【0026】

本実施形態では，撮影位置演算部２３による作業機１Ａを表す平面Ｓ１の方程式の算出に際して，撮影装置１９で撮影される作業機１Ａの側面上に互いの距離が既知なマーカー（既知点マーカー）４０を，図５に示すように三角形をなすような位置に３つ設置する方法を採用している。本実施形態では，この３つのマーカー４０の作業機側面画像における画素位置から当該３つの既知点マーカー４０の撮影装置座標系Ｃｏ１における位置（座標）を演算し，その３点の位置から平面Ｓ１の方程式を演算している。なお，油圧ショベルを含む作業機械の分野では，表示モニタ１８に表示される作業機１Ａの画像は側面画像となることが一般的であるため，平面Ｓ１が作業機１Ａの動作平面（例えばブームピンに直交する面）と平行になるように，当該動作平面と平行な面上に３つのマーカーを配置することが好ましいが，動作平面と交差する面（即ち動作平面と平行でない面）の上に３つのマーカーを配置しても構わない。既知点マーカー４０で平面が定義できれば良いので，既知点マーカー４０を４つ以上作業機１Ａの側面に取り付けて全てのマーカー４０が位置する平面Ｓ１の方程式を求めても良い。

【0027】

マーカー４０は，所定の大きさ，色，模様，形状，性質などの特徴を有する物体であり，例えば特定の波長の光を反射するマーカーや特定の方向に光を反射するマーカー，ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術で用いられるＡＲマーカーや，ＱＲコード（登録商標）のような二次元コードを含むマーカーを利用してもよい。

【0028】

図５に本実施形態における既知点マーカー４０の具体的な例を示す。本実施形態においてはバケット４の側面上に３つの既知点マーカー４０が同一直線上に位置しないように設置されおり，３つの既知点マーカー４０の座標値を求めて平面を算出している。なお，３つのマーカー４０の配置位置に関して，作業機側面上に３本の直線を描き，その３本の直線が交差する３つの交点に３つのマーカー４０を配置するようにしても良い。

【0029】

図６は，撮影装置座標系Ｃｏ１において撮影装置１９の撮影装置と作業機側面上の既知点マーカー４０（Ｐ１，Ｐ２，Ｐ３）の位置関係を表した図である。撮影装置座標系Ｃｏ１は，撮影装置１９のレンズ中心を原点Ｏとし，光軸の方向をＺ軸，撮影装置１９の上方をＹ軸，右方をＸ軸とする座標系である。また，撮影装置座標系Ｃｏ１における座標値の単位は，例えばミリメートルのような，長さの単位である。点Ｐ１〜Ｐ３は既知点マーカー４０の位置であり，点Ｐ１〜Ｐ３と同様の作業機側面上の任意の点をＱとする。Ｌｉｊ（ｉ，ｊ＝１〜３，ｉ≠ｊ）は点Ｐｉと点Ｐｊ間の距離（２つの既知点マーカー４０の距離）である。ここで，Ｌｉｊは既知な値である。また，撮影装置１９のイメージセンサ３５は，撮影装置１９の焦点距離がｆのとき，Ｚ＝−ｆの平面上に存在する。

【0030】

図７は撮影装置１９のイメージセンサ３５上に映った点Ｐ１〜３および点Ｑの像を表しており，点Ｐ１’〜Ｐ３’，Ｑ’はそれぞれ点Ｐ１〜Ｐ３，Ｑの像の位置である。ここで，光軸中心を原点Ｏ’，センサの右方向をＵ軸，上方向をＶ軸とする２次元座標系をイメージセンサ座標系Ｃｏ２とする。点Ｐ１’〜Ｐ３’が画素（Ｕｋ，Ｖｋ）（ｋ＝１〜３，Ｕｋ，Ｖｋの単位はピクセル）に映っていたとき，イメージセンサのサイズが縦ｈ，横ｗで画素数が縦Ｈピクセル，横Ｗピクセルならば，点Ｐ１’〜Ｐ３’の撮影装置座標系Ｃｏ１における座標は下記式（１）のように表せる。

【0031】

【数1】

【0032】

このとき，撮影装置１９のレンズ中心である点Ｏと点Ｐｋ，Ｐｋ’（ｋ＝１〜３）は図６に示すように同一直線状に位置していることから下記式（２）のように表せる。

【0033】

【数2】

【0034】

なお，ｒ_ｋ（ｋ＝１〜３）は比例定数であり，この段階では未知数である。このｒ_ｋを用いて点Ｐｋ（ｋ＝１〜３）の撮影装置座標系Ｃｏ１における座標を表すと下記式（３）となる。

【0035】

【数3】

【0036】

このとき既知点マーカー４０間の距離Ｌ_ｉｊ（ｉ，ｊ＝１〜３，ｉ≠ｊ）は下記式（４）のように表せる。

【0037】

【数4】

【0038】

３つの既知点マーカー４０間の距離Ｌｉｊ（ｉ，ｊ＝１〜３，ｉ≠ｊ）は既知であるから，Ｌ_１２，Ｌ_２３，Ｌ_３１の値から３つの連立方程式が導出できる。この連立方程式を解くことでｒ_ｋ（ｋ＝１〜３）を求めることができ，上記式（３）から撮影装置座標系Ｃｏ１における点Ｐｋ（ｋ＝１〜３）の座標（すなわち３つの既知点マーカー４０の座標）が求まる。

【0039】

ｉ，ｊ，ｋを１〜３のそれぞれ異なる数とし，ｃを０以外の定数とすると，作業機１Ａの側面を表す平面Ｓ１（図８参照）の法線ベクトルｎ（図８参照）は下記式（５）のように表せる。

【0040】

【数5】

【0041】

そして，点Ｐｋ（ｋ＝１〜３）の撮影装置座標系Ｃｏ１における座標から，下記のように作業機１Ａの側面を表す平面Ｓ１上の任意の点Ｑに関する方程式が求まる。

【0042】

【数6】

【0043】

次に，撮影装置座標系座標変換部２４は，作業機側面画像上での任意の作業機構成画素の位置情報と，撮影位置演算部２３で算出した方程式とに基づいて，当該任意の作業機構成画素の作業機対応点の撮影装置座標系Ｃｏ１における座標値を算出する。具体的には，撮影装置座標系座標変換部２４は，撮影装置１９により撮影された作業機側面画像から作業機１Ａの輪郭線を画像処理により抽出し，その抽出した輪郭線上に位置する任意の画素（作業機構成画素）について，画素位置情報と点Ｑに関する方程式（平面Ｓ１の方程式）とに基づいて作業機対応点の撮影装置座標系Ｃｏ１における座標値を求める。

【0044】

ここで，作業機側面上の点が画素位置（Ｕ，Ｖ）に結像した点（すなわち作業機構成画素）に対応する作業機１Ａ上の点（作業機対応点）の撮影装置座標系Ｃｏ１における座標を求める方法は以下のとおりである。ここで，作業機側面の平面Ｓ１上の任意の点Ｑ（作業機対応点）がイメージセンサ上に結像した点（作業機構成画素）を点Ｑ’とする。点Ｑ’の画素位置が（Ｕ，Ｖ）のとき上記式（１）と同様にして，点Ｑ’は以下の式（７）のように表せる。

【0045】

【数7】

【0046】

点Ｑ’，原点Ｏ及び点Ｑは同一直線上にあるため，直線ＯＱは上記式（７）を用いて下記式（８）のように表せる。

【0047】

【数8】

【0048】

よって，撮影装置座標系Ｃｏ１における点Ｑ（作業機対応点）の位置（座標）は，作業機１Ａの側面を表す平面Ｓ１の方程式（上記式（６））と，イメージセンサ上の点Ｑ’と原点Ｏを通る直線の方程式（上記式（８））との交点より求まる。

【0049】

作業機座標系座標変換部２５は，撮影装置座標系Ｃｏ１における作業機対応点の座標値（点Ｑの位置）を作業機座標系Ｃｏ３における座標値に変換し，変換後の座標値（以下において「作業機座標系座標値」と称することがある）を作業機械コントローラ５０と作業機座標系描画画像生成部２２に出力する。ここで，作業機座標系Ｃｏ３は，撮影位置演算部２３で方程式を求めた作業機１Ａの側面を表す平面Ｓ１上に定められた２次元の座標系であり，作業機座標系Ｃｏ３における座標値の単位は，例えばミリメートルのような，長さの単位である。作業機座標系Ｃｏ３は，作業機１Ａの回動中心を原点とし，作業機先端方向をｘ軸，ｘ軸と直交する方向にｙ軸とする。

【0050】

図８に本実施形態における作業機１Ａの側面を表す平面Ｓ１と，作業機座標系Ｃｏ３と，撮影装置座標系Ｃｏ１の関係図を示す。図８では，多関節型の作業機１Ａを構成する複数のフロント部材２，３，４のうちバケット４を対象としており，バケット４の回動中心を作業機座標系Ｃｏ３の原点とし，その原点からバケット爪先に向かう直線を作業機座標系Ｃｏ３のｘ軸とし，そのｘ軸に直交する方向に作業機座標系Ｃｏ３のｙ軸を設定している。なお，ブーム２やアーム３上の点に作業機座標系Ｃｏ３を設定する場合には，それぞれの基端側の回動中心を原点とし，アーム３やバケット４の回動中心（各フロント部材の先端部）に向かってｘ軸を設定すれば良い。

【0051】

なお，作業機座標系Ｃｏ３の設定（原点の位置やｘ軸，ｙ軸の方向）が作業機械コントローラ５０側で未登録の場合には，座標値だけでなく作業機座標系Ｃｏ３の設定も作業機械コントローラ５０に出力するものとする。

【0052】

次に，作業機座標系描画画像生成部２２で行われる処理について説明する。本実施形態においては，作業機座標系座標演算部２１が作業機１Ａの輪郭線上のすべての画素の作業機対応点について作業機座標系座標を演算して，作業機座標系描画画像生成部２２に出力する場合を例示して記述するが，輪郭線上の一部の画素の作業機対応点について作業機座標系Ｃｏ３の座標を演算・出力しても良い。また，輪郭線上の画素と当該輪郭線内に含まれる１以上の画素や，輪郭線上の画素と当該輪郭線内に含まれる全ての画素や，ユーザーが何らかの入力インターフェースを使用して全ての作業機構成画素の中から任意に指定した１以上の画素の作業機対応点の座標値を演算・出力する場合も同様である。ただし，ＭＣでの作業機１Ａの制御の正確性やＭＧでの作業機１Ａと目標面との距離の正確性は，作業機座標系座標演算部２１で演算された座標値のみで担保できるため，例えば表示モニタ１８に表示される作業機１Ａの形状に正確性を求めない場合には作業機座標系描画画像生成部２２の省略は可能である。

【0053】

作業機座標系描画画像生成部２２は，作業機座標系座標変換部２４で変換された作業機座標系Ｃｏ３における作業機対応点の座標値をもとに作業機座標系Ｃｏ３における作業機１Ａの描画画像（以下において「作業機座標系描画画像」と称することがある。これには例えばバケット４を側面視した画像が含まれる）を生成し，その描画画像を作業機械コントローラ５０に出力する。作業機１Ａの描画画像の具体的な生成方法としては，例えば，作業機座標系座標演算部２１で出力された作業機座標系Ｃｏ３における作業機１Ａの輪郭線上の点によって囲まれた領域を，作業機１Ａの色として予め定められた色で塗りつぶす処理を実行する方法がある。また，作業機１Ａの描画画像の生成に関し，作業機１Ａの輪郭線の内部領域を特定の色で塗りつぶす方法の他に，作業機側面画像上で対応する画素をコピー・ペーストする方法を利用しても良い。このように描画画像を作成すると作業機側面画像上に写った画像（すなわち実物の画像）と同じ画像を表示モニタ１８上に表示させることができるので，オペレータによる違和感の発生を至極容易に抑制できる。また，あらかじめ用意した画像等を輪郭に合わせて変形させる方法などを利用してもよい。

【0054】

（作業機の外形形状測定システムの作用と効果）
（１）以上のような撮影装置１９及び測定コントローラ２０で構成された測定システムによれば，作業機１Ａ（例えばバケット４）の外形情報を取得するに際して，ユーザーは作業機１Ａの側面に３つ以上の既知点マーカー４０を取り付け，その画像（作業機側面画像）を撮影装置１９で撮影する操作のみを行えば良い。作業機側面画像の撮影後は，測定コントローラ２０が，複数の既知点マーカー４０によって定義される平面Ｓ１の方程式を作業機側面画像と撮像装置１８の内部パラメータに基づいて演算し（撮影位置演算部２３による処理），作業機側面画像上で作業機１Ａの輪郭線上に位置する全ての画素（作業機構成画素）の位置情報と平面Ｓ１の方程式とに基づいて当該全ての画素の作業機対応点の撮影装置座標系Ｃｏ１における座標値を算出し（撮影装置座標系座標変換部２４による処理），その座標値を作業機座標系Ｃｏ３の座標値に変換して作業機械コントローラ５０に出力する（作業機座標系座標変換部２５による処理）。これにより作業機側面画像における作業機１Ａの輪郭線上に位置する全ての画素の作業機対応点の位置情報を容易に取得することができるので，作業機械１Ａの正確な外形情報を従来に比して簡単に測定できる。その結果，作業機１Ａの実際の形状に即したＭＣやＭＧが実行されることになり，その正確度が向上するので作業効率の向上が見込める。

【0055】

（２）また，本実施形態の測定コントローラ２０（撮影装置座標系座標変換部２４）は，作業機側面画像における作業機１Ａの輪郭線を画像処理により抽出し，その作業機側面画像における当該輪郭線上の任意の画素（例えば輪郭線上の全ての画素）の位置情報と平面Ｓ１の方程式とに基づいて当該任意の画素の作業機対応点の撮影装置座標系Ｃｏ１における座標値を算出している。これにより作業機１Ａを側面視したときの外形（輪郭）の位置情報を測定コントローラ２０にて自動的に取得できる。

【0056】

（３）また，本実施形態の測定コントローラ２０（作業機座標系描画画像生成部２２）は，作業機座標系座標変換部２５で変換された作業機座標系Ｃｏ３における作業機対応点の座標値をもとに作業機座標系Ｃｏ３における作業機１Ａの描画画像を生成することができる。これにより表示モニタ１８に表示される作業機１Ａの描画画像の外形が実物に近づくため，作業機１Ａの画像が実物と異なってオペレータに違和感を与えることを防止できる。

【0057】

（４）また，測定コントローラ２０にて，作業機側面画像上で作業機１Ａを構成するすべての画素の作業機対応点について撮影装置座標系Ｃｏ１における座標値を算出し（撮影装置座標系座標変換部２４），その各座標値に対応する画素と同じ画素を配置する（マッピングする）ことで作業機１Ａの描画画像を生成すれば（作業機座標系描画画像生成部２２），表示モニタ１８に表示される作業機１Ａの描画画像の見た目をさらに実物に近づけることができる。

【0058】

なお，上記の実施形態では，３つの既知点マーカー４０が取り付けられた作業機１Ａの側面画像を基に撮影装置座標系Ｃｏ１における平面Ｓ１の位置を特定したが，平面Ｓ１の位置特定の手法はこれに限られない。例えば，（１）撮影装置１９との位置関係が既知のプロジェクターなどの投影装置から作業機１Ａの側面に３つ以上のマーカー４０を投影してそのマーカー４０を撮影装置１９で作業機側面画像を撮影し，その作業機側面画像上におけるマーカー４０の画素位置から平面Ｓ１の方程式を算出する方法や，（２）互いの位置関係が既知の複数の撮影装置（例えばステレオカメラ）で作業機１Ａの側面をそれぞれ撮影し，その複数の撮影装置間の距離をもとに２枚の作業機側面画像上の任意の３点の距離（位置）を算出することで平面Ｓ１の方程式を算出する方法や，（３）撮影装置１９との位置関係が既知であって，作業機１Ａの側面上の任意の点と撮影装置１９との距離を計測可能な測距装置（例えば，レーザー式，ＬＥＤ式，超音波式の距離センサ）によって，作業機１Ａの側面上の任意の３点以上の距離情報を取得することで平面Ｓ１の方程式を算出する方法などを用いてもよい。なお，平面Ｓ１の特定は，上記のように平面Ｓ１上の３点以上の位置から特定する方法に限らない。例えば，平面Ｓ１の傾き（例えば法線ベクトル）が分かれば平面Ｓ１上の１点の位置だけで平面Ｓ１を特定できる。

【0059】

（油圧ショベルのシステム構成）
次に測定コントローラ２０から出力された作業機１Ａの座標値と描画画像の作業機械コントローラ５０での利用について説明する。

【0060】

図９は図１の油圧ショベル１のシステム構成図である。本実施形態の油圧ショベル１は，エンジン４７と，エンジン４７の出力軸に機械的に連結されエンジン４７によって駆動される油圧ポンプ４６及びパイロットポンプ（図示せず）と，パイロットポンプから吐出される圧油を操作量に応じて減圧したものを，各油圧アクチュエータ５−９の制御信号として比例電磁弁３９を介してコントロールバルブ４５に出力する操作レバー１０，１１と，油圧ポンプ４６から各油圧アクチュエータ５−９に導入される作動油の流量及び方向を，操作レバー１０，１１又は比例電磁弁３９から出力される制御信号（パイロット圧）に基づいて制御する複数のコントロールバルブ４５と，各コントロールバルブ４５に作用するパイロット圧の圧力値を検出する複数の圧力センサ４８と，作業機１Ａの位置・姿勢及びその他の車体情報に基づいて補正目標パイロット圧を算出し，その補正目標パイロット圧が発生可能な指令電圧を比例電磁弁２７に出力する作業機械コントローラ５０と，作業機１Ａで形成する目標面の情報を作業機械コントローラ５０に入力するための目標面データ入力装置３７を備えている。

【0061】

油圧ポンプ４６は，各油圧アクチュエータ５−８の目標出力の通りに車体が動作するよう，機械的にトルク・流量が制御されている。

【0062】

コントロールバルブ４５は，制御対象の油圧アクチュエータ５−８と同数存在するが，図９ではそれらをまとめて１つで示している。各コントロールバルブには，その内部のスプールを軸方向の一方又は他方に移動させる２つのパイロット圧が作用している。例えば，ブームシリンダ５用のコントロールバルブ４５には，ブーム上げのパイロット圧と，ブーム下げのパイロット圧が作用する。

【0063】

圧力センサ４８は，各コントロールバルブ４５に作用するパイロット圧を検出するもので，コントロールバルブの２倍の数が存在し得る。圧力センサ４８は，コントロールバルブ４５の直下に設けられており，実際にコントロールバルブ４５に作用するパイロット圧を検出している。

【0064】

比例電磁弁３９は複数存在するが，図９中ではまとめて１つのブロックで示している。比例電磁弁３９は２種類ある。１つは，操作レバー１０，１１から入力されるパイロット圧をそのまま出力又は指令電圧で指定される所望の補正目標パイロット圧まで減圧して出力する減圧弁で，もう１つは，操作レバー１０，１１の出力するパイロット圧より大きなパイロット圧が必要な場合にパイロットポンプから入力されるパイロット圧を指令電圧で指定される所望の補正目標パイロット圧まで減圧して出力する増圧弁である。或るコントロールバルブ４５に対するパイロット圧に関して，操作レバー１０，１１から出力されているパイロット圧より大きなパイロット圧が必要な場合には増圧弁を介してパイロット圧を生成し，操作レバー１０，１１から出力されているパイロット圧より小さなパイロット圧が必要な場合には減圧弁を介してパイロット圧を生成し，操作レバー１０，１１からパイロット圧が出力されていない場合には増圧弁を介してパイロット圧を生成する。つまり，減圧弁と増圧弁により，操作レバー１０，１１から入力されるパイロット圧（オペレータ操作に基づくパイロット圧）と異なる圧力値のパイロット圧をコントロールバルブ４５に作用させることができ，そのコントロールバルブ４５の制御対象の油圧アクチュエータに所望の動作をさせることができる。

【0065】

１つのコントロールバルブ４５につき，減圧弁と増圧弁はそれぞれ最大で２つ存在し得る。例えば本実施形態では，ブームシリンダ５のコントロールバルブ４５用に２つの減圧弁と２つの増圧弁が設けられている。具体的には，ブーム上げのパイロット圧を操作レバー１１からコントロールバルブ４５に導く第１管路に設けられた第１減圧弁と，ブーム上げのパイロット圧をパイロットポンプから操作レバー１１を迂回してコントロールバルブ４５に導く第２管路に設けられた第１増圧弁と，ブーム下げのパイロット圧を操作レバー１１からコントロールバルブ４５に導く第３管路に設けられた第２減圧弁と，ブーム下げのパイロット圧をパイロットポンプから操作レバー１１を迂回してコントロールバルブ４５に導く第４管路に設けられた第２増圧弁を油圧ショベル１は備えている。

【0066】

本実施形態では，走行油圧モータ９ａ，９ｂと旋回油圧モータ８のコントロールバルブ４５用の比例電磁３９は存在しない。したがって，走行油圧モータ９ａ，９ｂと旋回油圧モータ８は，操作レバー１０，１１から出力されるパイロット圧に基づいて駆動される。

【0067】

（作業機械コントローラの構成）
作業機械コントローラ５０は，位置姿勢検出部２６と，情報処理部３０と，表示制御部３３と，作業機制御部３５を備えている。

【0068】

位置姿勢検出部２６は，作業機姿勢検出部２７と，車体位置検出部２８と，車体角度検出部２９とを備え，各種センサ情報を入力とし，作業機１Ａの姿勢情報，車体位置情報，車体角度情報を出力する。

【0069】

作業機姿勢検出部２７は，作業機１Ａに取り付けられた姿勢センサ１２，１３，１４の出力に基づいて車体座標系Ｃｏ４における作業機１Ａの姿勢を検出する。より具体的には，ブーム角度センサ１２，アーム角度センサ１３，バケット角度センサ１４による情報をもとにブーム２，アーム３，バケット４の回動角度α，β，γ（図３参照）といった作業機１Ａの姿勢情報を検出する。

【0070】

車体位置検出部２８は，第１ＧＮＳＳアンテナ１７ａにより得られる情報をもとに車体位置情報を検出する。

【0071】

車体角度検出部２９は，車体前後傾斜角センサ１６ａにより傾斜角θ（図３参照）を，車体左右傾斜角センサ１６ｂにより左右方向の傾斜角φ（図示せず）を，第１ＧＮＳＳアンテナ１７ａと第２ＧＮＳＳアンテナ１７ｂの位置情報から車体の方位角を検出し車体角度情報を得る。なお，本実施形態においては第１ＧＮＳＳアンテナ１７ａの情報をもとに車体位置情報を得ることとしたが，第２ＧＮＳＳアンテナ１７ｂの位置情報を用いてもよいし，トータルステーション等の３次元測量機を使用してもよい。また，本実施形態においては第１ＧＮＳＳアンテナ１７ａと第２ＧＮＳＳアンテナ１７ｂの位置情報から車体の方位角情報を検出することとしたが，電子コンパスを用いる方法や旋回角度センサを用いる方法でもよい。

【0072】

情報処理部３０は，車体座標変換部３１と，目標面演算部３２とを備える。情報処理部３０の入力データとしては，測定コントローラ２０より出力される作業機座標系座標値及び作業機座標系描画画像と，目標面データ入力装置３７により入力される目標面データと，位置姿勢検出部２６により出力される作業機の姿勢情報，車体位置情報，及び車体角度情報とがある。また，情報処理部３０の出力データとしては，位置姿勢検出部２６から入力される作業機１Ａの姿勢情報，車体位置情報および車体角度情報に加え，車体座標変換部３１により求められる作業機１Ａの車体座標系座標値情報及び車体座標系描画画像情報と，目標面演算部３２により求められる車体座標系Ｃｏ４での目標面情報とがある。

【0073】

車体座標変換部３１は，測定コントローラ２０（作業機座標系座標変換部２５および作業機座標系描画画像生成部２２）から出力される作業機座標系Ｃｏ３における作業機対応点の座標値（車体座標系座標値情報）と作業機１Ａの描画画像（車体座標系描画画像情報）を油圧ショベル１に設定された２次元座標系である車体座標系Ｃｏ４における座標値に変換する。具体的には，測定コントローラ２０より出力される作業機座標系座標値と作業機座標系描画画像を，図１０に示すように，位置姿勢検出部２６の作業機姿勢検出部２７より検出された作業機１Ａの姿勢情報に基づいて実際の作業機１Ａの位置や姿勢と一致するよう平行移動や回転を施し，車体座標系Ｃｏ４のＸＺ平面に投影することで車体座標系Ｃｏ４の座標値に変換する。なお，作業機座標系座標値と作業機座標系描画画像を車体座標系Ｃｏ４の座標値に変換するための平行移動や回転の量は，ブーム２，アーム３，バケット４の回動角度α，β，γが既知な時に，任意の異なる２点について作業機座標系Ｃｏ３の座標値と，例えばトータルステーション等の計測装置により測定された車体座標系Ｃｏ４の座標値とを比較することで求めてもよい。

【0074】

目標面演算部３２は，図１１に示すように，目標面データ入力装置３７により入力される目標面データ（３次元データ）５１と車体座標系Ｃｏ４のＸＺ平面の交わる線分を演算し，その線分を目標面５５として設定する。車体座標系Ｃｏ４のＸＺ平面は，位置姿勢検出部２６により出力される車体位置情報と，車体角度検出部２９により出力される車体角度情報とをもとに求められる。本実施形態においては，目標面データ入力装置３７で入力される目標面データ５１は３次元データを想定しているが２次元データ，すなわち目標面を示す線分データでもよい。また，目標面データが２次元データの場合は，車体位置検出部２８の車体位置情報や，車体角度検出部２９の車体方位角情報を使用する必要はない。

【0075】

表示制御部３３は，車体座標変換部３１で座標変換された作業機座標系Ｃｏ４における作業機１Ａの描画画像と，車体座標変換部３１で座標変換された作業機対応点の車体座標系Ｃｏ４における座標値と，姿勢センサ１２，１３，１４によって得られた車体座標系Ｃｏ４における作業機１Ａの姿勢とに基づいて，車体座標系Ｃｏ４における作業機１Ａの姿勢に合わせて作業機１Ａの描画画像を表示モニタ１８に表示する。表示制御部３３は目標面情報演算部３４を備え，表示制御部３３の入力データとしては，情報処理部３０より出力される作業機１Ａの姿勢情報，車体位置情報および車体角度情報と，作業機１Ａの車体座標系座標値情報及び車体座標系描画画像情報と，車体座標系ＸＺ平面上の目標面情報とがある。また出力データとしては，これらの入力される情報に加え，作業機−目標面ベクトル情報を含む。出力情報は表示モニタ１８に入力され，ユーザーに提示される。

【0076】

目標面情報演算部３４について，作業機１Ａと目標面５５の位置関係の例を示した図１２を用いて説明する。まず，目標面情報演算部３４は，作業機１Ａの輪郭線上の任意の点（図１２中の点Ｐ）について，目標面５５を構成する複数の平面（以下では「目標平面：と称することがある）のうち作業機１Ａから一定距離内に存在する平面（図１２中の目標平面１及び目標平面２）における最近傍点（点Ｐ１及び点Ｐ２）を求める。次に，作業機輪郭線上の任意の点（点Ｐ）から目標平面上の最近傍点（点Ｐ１及び点Ｐ２）への作業機−目標面ベクトル（ベクトルＰＰ１及びベクトルＰＰ２）を求める。これらの演算を測定コントローラ２０から入力された作業機輪郭線上のすべての点（即ちすべての作業機座標系座標値）について行って表示モニタ１８への出力情報とする。本実施形態においては，出力情報を作業機１Ａ上の点から目標面５５の平面における最近傍点までのベクトル情報としたが，距離情報を出力してもよいし，作業機１Ａ上の点から目標面５５までの鉛直方向の距離などを出力してもよい。また，本実施形態では作業機１Ａの輪郭線上のすべての点について演算を行うこととしたが，作業機１Ａの先端の点や作業機１Ａの背面の点，といった特定の点についてのみ演算を行ってもよい。

【0077】

表示モニタ１８に表示される画面の例を図１３に示す。ガイダンス画面ＩＭには，車体座標系描画画像情報をもとに描画される車体画像ＩＭ１と，車体座標系Ｃｏ４のＸＺ平面上の目標面データをもとに描画される目標面画像ＩＭ２と，作業機−目標面ベクトル情報をもとに描画される作業機−目標面ベクトル画像ＩＭ３とが表示されている。ここで，作業機−目標面ベクトル画像ＩＭ３は，目標面情報演算部３４で出力される作業機−目標面ベクトル情報のうち，各目標平面に対するベクトルの大きさが最小のものを描画したものである。なお，目標面５５に対して作業機輪郭線上の点が潜り込んでいる場合のベクトルの大きさは負の値をとるものとする。なお，ガイダンス画面ＩＭには本実施形態において例を挙げたもののほかに，目標面情報演算部３４から出力される情報及びそれを加工した情報を表示してもよい。また，本実施形態ではマシンガイダンス機能として表示モニタ１８に表示されるガイダンス画面ＩＭについてのみ説明したが，このような視覚情報の他に音や振動等によって情報を提示してもよい。

【0078】

作業機制御部３５は，情報処理部３０から入力される予め定められた目標面５５の位置情報と，車体座標変換部３１で座標変換された作業機対応点の車体座標系Ｃｏ４における座標値と，姿勢センサ１２，１３，１４によって得られた車体座標系Ｃｏ４における作業機１Ａの姿勢とに基づいて，作業機対応点に対応する作業機１Ａのコントロールポイントが目標面５５の上方に保持されるように作業機１Ａ（油圧シリンダ５，６，７）を制御する。作業機制御部３５は目標動作演算部３６を備え，作業機制御部３５の入力データとしては，表示制御部３３の出力，位置姿勢検出部２６の作業機１Ａの姿勢情報，操作レバー１０，１１からなる操作入力装置への操作入力があり，出力データとしては，比例電磁弁３９の制御信号がある。

【0079】

目標動作演算部３６は，上記の入力情報（作業機１Ａの姿勢情報，操作レバー１０，１１の操作入力情報）をもとに作業機１Ａの動く方向や速度を予測する。その際，例えば作業機１Ａが目標面５５に対して潜り込むことが予測された場合，作業機１Ａが目標面５５に潜り込まない動きとなるようパイロット圧を減圧または増圧する制御信号を電磁比例弁３９に出力する。電磁比例弁３９によって補正されたパイロット圧はコントロールバルブ４５を駆動し，その動作に基づいて油圧シリンダ５，６，７が適宜駆動することで作業機１Ａの目標面５５への潜りこみが防止される。なお，本実施形態では，電磁比例弁３９はパイロット圧を制御するが，電磁比例弁が直接アクチュエータの作動油圧を制御してもよい。

【0080】

本実施形態における作業機械コントローラ５０（主に表示制御部３３と作業機制御部３５）では，測定コントローラ２０において作業機１Ａの側面画像をもとに演算された，実際の作業機１Ａの形状によく一致する座標情報及び描画画像を用いてＭＧとＭＣが行われる。これにより，表示制御部３３によって表示モニタ１８に表示されるガイダンス情報（例えば，作業機−目標面ベクトル画像ＩＭ３や，作業機１Ａから目標面５５までの距離情報等）の正確度が向上し，また，表示モニタ１８に表示される作業機１Ａの描画画像にオペレータが違和感を持つことが抑制できる。さらに，作業機制御部３５は，作業機１Ａが曲線部や突起部等の多くのコントロールポイントを必要とする形状であっても正確なＭＣを行うことができる。

【0081】

＜第２実施形態＞
第２実施形態では，撮影装置１９と測定コントローラ２０を油圧ショベル１に搭載しており，作業機１Ａの外形情報（作業機１Ａの車体座標系座標値情報及び車体座標系描画画像情報）の計測をリアルタイムに行いながらマシンガイダンスやマシンコントロール機能を提供している点に特徴がある。なお，先の実施形態と同じ部分には同じ符号を付して説明を適宜省略することがある。

【0082】

図１４に示すように本実施形態の撮影装置１９は，支持装置（多関節アーム）６０を介して上部旋回体１ＢＡの前方に取り付けられている。図１４の支持装置６０は，複数の水平アームを連結してなる水平多関節アームであり，各関節に埋め込まれたアクチュエータ（例えばモータ）１９ｂを駆動することで車体座標系Ｃｏ４における撮影装置１９の向きや位置が変更可能になっている。また，支持装置６０の各関節には各水平アームの回転角を検知する角度センサ（撮影装置センサ）１９ａが設けられており，角度センサ１９ａの検出値は図１５に示すように測定コントローラ２０に出力されている。なお，本実施形態では支持装置６０を水平多関節アームとしたが，垂直方向の移動が可能なアームの利用も可能であり，他の支持装置の利用も可能である。

【0083】

図１５は本実施形態に係る油圧ショベル１のシステム構成図である。この図に示すように本実施形態の油圧ショベル１は，撮影装置１９と，測定コントローラ２０と，作業機械コントローラ５０を備えている。

【0084】

本実施形態では，撮影装置１９は所定の間隔で作業機側面画像を撮影しており，測定コントローラ２０はその作業機側面画像に基づいてリアルタイムに作業機１Ａの車体座標系座標値及び車体座標系描画画像を演算して作業機械コントローラ５０に出力している。ただし，第１実施形態の測定コントローラ２０は作業機座標系Ｃｏ３における座標値と描画画像を出力していたが，本実施形態では撮影装置１９が油圧ショベル１の車体（上部旋回体１ＢＡ）に取り付けられているため車体座標系Ｃｏ４における座標値と描画画像を直接的に算出できる。また，本実施形態の作業機械コントローラ５０は，測定コントローラ２０からリアルタイムに出力される情報をもとにマシンガイダンス及びマシンコントロール機能をユーザーに提供する。

【0085】

測定コントローラ２０は，車体座標系座標演算部２１ｂと，車体座標系描画画像生成部２２ｂとを備えている。測定コントローラ２０には，撮影装置１９により撮影された作業機１Ａの側面画像及び角度センサ１９ａから撮影装置１９の車体座標系における位置情報及び向き情報が入力される。

【0086】

車体座標系座標演算部２１ｂは，撮影位置演算部２３と，撮影装置座標系座標変換部２４と，車体座標系座標変換部２５ｂとを備えており，撮影装置１９により撮影された作業機１Ａの側面画像を入力とし，作業機１Ａの側面画像上の指定された点について車体座標系座標値を出力するとともに，車体座標系Ｃｏ４における作業機１Ａの形状及び寸法と一致するような車体座標系描画画像を出力する。また，本実施形態でも作業機側面画像における作業機の輪郭線上における全ての画素の作業機対応点の車体座標系座標値を出力することとするが，第１実施形態と同様に他の方法（例えば輪郭線上の一部の画素の作業機対応点の座標値のみを出力する）を採用しても良いことはいうまでもない。

【0087】

測定コントローラ２０は，車体座標系座標演算部２１ｂにおいて，撮影位置演算部２３と撮影装置座標系座標変換部２４は第１実施形態と同様の演算を行う。車体座標系座標変換部２５ｂでは，撮影装置座標系Ｃｏ１における座標値を，角度センサ１９ａから入力される撮影装置１９の車体座標系Ｃｏ４における位置情報及び向き情報に基づいて平行移動や回転を行い，車体座標系Ｃｏ４における座標値に座標変換する。また，車体座標系描画画像生成部２２ｂにおいても同様に車体座標系Ｃｏ４への座標変換後の描画画像を生成する。

【0088】

本実施形態では，測定コントローラ２０から作業機械コントローラ５０に入力される情報（作業機１Ａの車体座標系座標値及び車体座標系描画画像）はすでに車体座標系Ｃｏ４における情報になっている。そのため本実施形態の作業機械コントローラ５０の情報処理部３０には第１実施形態の車体座標変換部３１が存在しないが，その他の部分の構成及び処理内容は同じである。また，位置姿勢検出部２６における作業機姿勢検出部２７は，測定コントローラ２０でも作業機１Ａの姿勢が検出できるため不要である。表示制御部３３及び作業機制御部３５における処理内容は第１実施形態と同様である。

【0089】

以上のように構成した本実施形態の油圧ショベル１では，測定コントローラ２０はリアルタイムに作業機１Ａの位置や形状情報を計測する。そのためユーザーは第１実施形態のように事前に作業機１Ａの形状等を測定する必要がなく，簡単に作業機形状情報を取得することができる。また，リアルタイムに作業機１Ａの位置や形状を取得しているため，作業機１Ａの摩耗や変形などが生じた場合においても正確な作業機形状を計測でき，表示制御部３３によるマシンガイダンス機能においてはユーザーにとってわかりやすく提示することができる。また作業機制御部３５においては実際の作業機の状態に応じて正確な制御を行うことができる。

【0090】

なお，本発明は，上記の実施の形態に限定されるものではなく，その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば，本発明は，上記の実施の形態で説明した全ての構成を備えるものに限定されず，その構成の一部を削除したものも含まれる。また，ある実施の形態に係る構成の一部を，他の実施の形態に係る構成に追加又は置換することが可能である。

【0091】

また，上記のコントローラ２０，５０に係る各構成や当該各構成の機能及び実行処理等は，それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また，上記のコントローラ２０，５０に係る構成は，演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該コントローラ２０，５０の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は，例えば，半導体メモリ（フラッシュメモリ，ＳＳＤ等），磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク，光ディスク等）等に記憶することができる。

【符号の説明】

【0092】

１…油圧ショベル（作業機械），１Ａ…作業機（フロント作業機），１Ｂ…車体，１ＢＡ…上部旋回体，１ＢＢ…下部走行体，２…ブーム，３…アーム，４…バケット，５…ブームシリンダ，６…アームシリンダ，７…バケットシリンダ，１０，１１…操作レバー，１２…ブーム角度センサ（姿勢センサ），１３…アーム角度センサ（姿勢センサ），１４…バケット角度センサ（姿勢センサ），１８…表示モニタ（表示装置），１９…撮影装置，２０…測定コントローラ，２１…作業機座標系座標演算部，２２…作業機座標系描画画像生成部，２３…撮影位置演算部，２４…撮影装置座標系座標変換部，２５…作業機座標系座標変換部，３９…比例電磁弁，４０…既知点マーカー，５０…作業機械コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】