(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-23
(45)【発行日】2023-07-03
(54)【発明の名称】座標変換システム及び作業機械
(51)【国際特許分類】
G01S 5/02 20100101AFI20230626BHJP
G01S 19/39 20100101ALI20230626BHJP
E02F 9/26 20060101ALI20230626BHJP
G01C 15/06 20060101ALI20230626BHJP
G01C 15/00 20060101ALI20230626BHJP
G01C 11/04 20060101ALI20230626BHJP
【FI】
G01S5/02 A
G01S19/39
E02F9/26 B
G01C15/06 Z
G01C15/00 101
G01C11/04
(21)【出願番号】P 2018178039
(22)【出願日】2018-09-21
【審査請求日】2021-09-10
(73)【特許権者】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110001829
【氏名又は名称】弁理士法人開知
(72)【発明者】
【氏名】早川 直樹
(72)【発明者】
【氏名】泉 枝穂
【審査官】安井 英己
(56)【参考文献】
【文献】特許第5909029(JP,B1)
【文献】特開2018-128397(JP,A)
【文献】特開2013-124954(JP,A)
【文献】特開平10-291187(JP,A)
【文献】国際公開第2016/148309(WO,A1)
【文献】特開2012-202061(JP,A)
【文献】特開2017-015598(JP,A)
【文献】特開2001-055762(JP,A)
【文献】米国特許出願公開第2014/0277956(US,A1)
【文献】特表2018-510373(JP,A)
【文献】特許第5893144(JP,B1)
【文献】特許第5807120(JP,B1)
【文献】特開2003-333590(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 5/00- 5/14,
G01S 19/00-19/55,
E02F 9/26,
G01C 11/04,15/00,15/06
(57)【特許請求の範囲】
【請求項1】
作業現場に設置され,既に現場座標系座標が知られている基準点の地理座標系座標と前記現場座標系座標に基づいて生成された座標変換パラメータであって,前記作業現場における任意の点の地理座標系座標を現場座標系座標に変換する座標変換パラメータを演算するコントローラを備える座標変換システムにおいて,
前記基準点の前記現場座標系座標の情報が前記基準点に設置されたマーカに埋め込まれており,
前記基準点
に設置された前記マーカを撮影する撮影装置と,
航法信号を受信するGNSSアンテナとを備え,
前記コントローラには,前記基準点の前記現場座標系座標と,
前記撮影装置及び前記GNSSアンテナが取り付けられた作業機械の車体に設定された車体座標系における前記撮影装置
及び前記GNSSアンテナ
の位置とが記憶されており,
前記コントローラは,
前記GNSSアンテナで受信される航法信号と,記憶された前記撮影装置の車体座標系における位置と前記GNSSアンテナの車体座標系における位置との関係とに基づいて前記撮影装置の地理座標系座標を演算し,
前記撮影装置により前記基準点
に設置された前記マーカを撮影した画像に画像処理を施すことで前記撮影装置から前記基準点までの距離及び方位を演算し,
演算した前記撮影装置から前記基準点までの距離及び方位と,演算した前記撮影装置の地理座標系座標とに基づいて,前記基準点の地理座標系座標を演算し,
前記撮影装置により前記基準点に設置された前記マーカを撮影した画像に基づいて前記基準点の前記現場座標系座標を取得して記憶し,
演算した前記基準点の地理座標系座標と,記憶された前記基準点の前記現場座標系座標とに基づいて前記座標変換パラメータを較正し,
較正された前記座標変換パラメータは,前記作業現場における任意の点の地理座標系座標を現場座標系座標に変換することに利用されることを特徴とする座標変換システム。
【請求項2】
請求項1に記載の座標変換システムにおいて,
前記コントローラは,前記コントローラが演算した前記基準点の地理座標系座標と,前記基準点の識別情報とを対応付けて,前記コントローラにネットワークを介して接続されたサーバに出力することを特徴とする座標変換システム。
【請求項3】
請求項1に記載の座標変換システムにおいて,
前記コントローラは,前記座標変換パラメータが前記コントローラにより較正された際,較正された前記座標変換パラメータを利用して座標変換を行うことを特徴とする座標変換システム。
【請求項4】
請求項1に記載の座標変換システムにおいて,
前記撮影装置は上下左右に回動可能であり,
前記コントローラは,前記撮影装置の撮影範囲に前記基準点が常に含まれるように前記撮影装置の向きを制御することを特徴とする座標変換システム。
【請求項5】
請求項1に記載の座標変換システムを備えた作業機械であって,
前記GNSSアンテナが取り付けられた旋回体
を有する前記車体と,
前記旋回体に取り付けられ油圧シリンダによって駆動される作業機と,
前記作業機の姿勢を検出する姿勢センサとを備え,
前記コントローラは,
前記GNSSアンテナで受信された航法信号に基づいて前記旋回体の地理座標系座標を演算し,
前記旋回体の地理座標系座標と,前記姿勢センサによって検出された前記作業機械の姿勢情報とに基づいて,前記作業機に設定された制御点の地理座標系座標を演算し,
前記コントローラによって較正された前記座標変換パラメータを利用して前記制御点の地理座標系座標を現場座標系座標に変換し,
現場座標系座標における前記制御点と所定の目標面の位置関係をモニタに表示させる
ことを特徴とする作業機械。
【請求項6】
請求項
5に記載の作業機械において,
前記コントローラは,前記目標面の上方に前記作業機が位置するように前記油圧シリンダを制御することを特徴とする作業機械。
【請求項7】
請求項
5に記載の作業機械において,
前記コントローラは,前記コントローラが演算した前記基準点の地理座標系座標と,前記基準点の識別情報とを対応付けて,前記コントローラにネットワークを介して接続されたサーバに出力することを特徴とする作業機械。
【請求項8】
請求項
7に記載の作業機械において,
前記コントローラは,前記基準点の地理座標系座標が更新されたときに前記基準点の地理座標系座標と前記現場座標系座標から前記座標変換パラメータを較正する前記サーバから前記座標変換パラメータが較正されたことが通知されたとき,前記較正された前記座標変換パラメータを受信し,その受信した座標変換パラメータを利用して前記制御点の座標変換を行うことを特徴とする作業機械。
【請求項9】
請求項1に記載の座標変換システムにおいて,
前記コントローラは,演算した前記基準点の地理座標系座標と,記憶された前記基準点の前記現場座標系座標とに基づく前記座標変換パラメータの較正処理を,所定の周期で繰り返し実行することを特徴とする座標変換システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は座標変換パラメータを利用して任意の点の地理座標系座標を現場座標系座標に変換する座標変換システム及びそれを備えた作業機械に関する。
【背景技術】
【0002】
作業機を有する油圧ショベル等の作業機械による施工に対して情報通信技術を適用した情報化施工では,施工対象の3次元形状を規定した設計データを基に作業機械で形成すべき施工対象(目標面)の2次元形状を規定したデータが生成され,その目標面のデータを基に作業機械による施工を支援する技術が利用されている。この種の技術としては,目標面と作業機の位置関係をモニタに表示するマシンガイダンス(MG)や,目標面の上方に作業機が保持されるように作業機を半自動的に制御するマシンコントロール(MC)がある。
【0003】
MGやMCでは,作業機に設定した制御点(例えば作業機の先端に位置するバケットの刃先位置。作業点とも称する)の位置を,油圧ショベルに設定された車体座標系上や地理座標系において正確に演算することが求められる。この種の作業点の位置の演算精度を向上するため方法として,ブーム,アーム及びバケットの寸法と揺動角を示す複数のパラメータを較正する較正装置を利用するものがある。例えば特許文献1には,外部計測装置が計測した第1作業点位置情報と第2作業点位置情報とに基づいて,座標変換情報を演算し,外部計測装置で計測された作業点の複数の位置での座標(本稿の「座標」とは座標を構成する各数値(座標値)も含む概念とする)を,座標変換情報を用いて,外部計測装置における座標系から油圧ショベルにおける車体座標系に変換し,車体座標系に変換された作業点の複数の位置での座標に基づいて,パラメータの較正値を演算する較正装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
作業機械の制御点の位置の正確度を向上するために留意する事項は他にもある。情報化施工で利用される設計データは3次元CADソフト等を利用して任意の座標系(本稿ではこの座標系を「現場座標系」と称する)上に定義される。一方,作業機械の制御点の位置は,作業機械に搭載されたGNSS(Global Navigation Satellite Systems)アンテナが受信した航法衛星からの信号(航法信号)を基に地理座標系上の座標(例えば,緯度,経度,楕円体高)として演算される。そのため,上記のMGやMCを現場座標系上で実施するためには,地理座標系上の作業機械の制御点の位置(座標)を現場座標系上の座標に変換する必要がある。この座標の変換には予め設定された座標変換パラメータが利用される。
【0006】
座標変換パラメータは,施工開始前に作業現場全体を囲うように杭等の固定基準点を複数設置し,各固定基準点について現場座標系座標と地理座標系座標を取得し,その2種類の座標系の座標をもとに算出される。ただし,現場座標系座標はトータルステーション等により測定され,地理座標系座標はGNSS等の衛星測位により測定される。後者の衛星測位による地理座標系座標は,衛星の配置や電離層の状況など,様々な要因により時々刻々と変動し得る。そのため,地理座標系座標から現場座標系座標への変換精度を向上する観点からは,衛星測位結果の変動に合わせて座標変換パラメータも変更(較正)することが好ましい。
【0007】
本発明の目的は,地理座標系座標から現場座標系座標への座標変換パラメータを衛星測位結果の変動に合わせて容易に生成(較正)できる座標変換システム及びそれを備えた作業機械を提供することにある。
【課題を解決するための手段】
【0008】
本願は上記課題を解決する手段を複数含んでいるが,その一例を挙げるならば,作業現場に設置され,既に現場座標系座標が知られている基準点の地理座標系座標と前記現場座標系座標に基づいて生成された座標変換パラメータであって,前記作業現場における任意の点の地理座標系座標を現場座標系座標に変換する座標変換パラメータを演算するコントローラを備える座標変換システムにおいて,前記基準点の前記現場座標系座標の情報が前記基準点に設置されたマーカに埋め込まれており,前記基準点に設置された前記マーカを撮影する撮影装置と,航法信号を受信するGNSSアンテナとを備え,前記コントローラには,前記基準点の前記現場座標系座標と,前記撮影装置及び前記GNSSアンテナが取り付けられた作業機械の車体に設定された車体座標系における前記撮影装置及び前記GNSSアンテナの位置とが記憶されており,前記コントローラは,前記GNSSアンテナで受信される航法信号と,記憶された前記撮影装置の車体座標系における位置と前記GNSSアンテナの車体座標系における位置との関係とに基づいて前記撮影装置の地理座標系座標を演算し,前記撮影装置により前記基準点に設置された前記マーカを撮影した画像に画像処理を施すことで前記撮影装置から前記基準点までの距離及び方位を演算し,演算した前記撮影装置から前記基準点までの距離及び方位と,演算した前記撮影装置の地理座標系座標とに基づいて,前記基準点の地理座標系座標を演算し,前記撮影装置により前記基準点に設置された前記マーカを撮影した画像に基づいて前記基準点の前記現場座標系座標を取得して記憶し,演算した前記基準点の地理座標系座標と,記憶された前記基準点の前記現場座標系座標とに基づいて前記座標変換パラメータを較正し,較正された前記座標変換パラメータは,前記作業現場における任意の点の地理座標系座標を現場座標系座標に変換することに利用されることとする。
【発明の効果】
【0009】
本発明によれば,衛星測位結果の変動に合わせて地理座標系座標から現場座標系座標への座標変換パラメータを容易に生成できる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態に係る油圧ショベルの外観図。
【
図2】本発明の第1実施形態に係る座標変換システム及び油圧ショベルの制御システムの構成図。
【
図3】油圧ショベルに設定された車体座標系Co4の説明図。
【
図4】作業現場に設定された複数の基準点の説明図。
【
図5】基準点の位置,識別情報及び現場座標系座標を示す基準点表示具の一例を示す図。
【
図6】本発明の第1実施形態におけるコントローラで実行される処理フロー図。
【
図7】本発明の第2実施形態に係る座標変換システム及び油圧ショベルの制御システムの構成図。
【
図8】本発明の第2実施形態におけるコントローラのデータ取得部で実行される処理フロー図。
【
図9】本発明の第2実施形態における情報記録サーバで実行される処理フロー図。
【
図10】本発明の第2実施形態におけるコントローラの情報処理部で実行される処理フロー図。
【発明を実施するための形態】
【0011】
以下,本発明の実施の形態について図面を用いて説明する。なお,以下では本発明が適用される作業機械として,作業機(フロント作業機)の先端のアタッチメントとしてバケット4を備える油圧ショベルを例示するが,バケット以外のアタッチメントを備える油圧ショベルで本発明を適用しても構わない。また,油圧ショベル以外の作業機械であっても,例えばホイールローダのように作業機を有する作業機械であれば本発明は適用可能である。
【0012】
<第1実施形態>
図1は本発明の実施形態に係る油圧ショベルの構成図である。
図1に示すように,油圧ショベル1は,垂直方向にそれぞれ回動する複数のフロント部材(ブーム2,アーム3及びバケット4)を連結して構成された多関節型の作業機(フロント作業機)1Aと,上部旋回体1BA及び下部走行体1BBからなる車体1Bとで構成され,作業機1Aの基端側に位置するブーム2の基端は上部旋回体1BAの前部に上下方向に回動可能に支持されている。上部旋回体1BAは下部走行体1BBの上部に旋回可能に取り付けられている。また上部旋回体1BAには,作業現場に設置された基準点SPの写真を撮影するための内部パラメータ(例えば,焦点距離(f),イメージセンサーサイズ(縦h,横w),画素数(縦H,横W),ユニットセルサイズ,画像中心座標等)及び外部パラメータ(上下方向,左右方向及び回転方向の角度(すなわちチルト角(ピッチ角),パン角(方位角)及びロール角))が明らかな撮影装置(カメラ)19と,作業現場に設置された基準点SPの地理座標系Co5の座標と現場座標系Co6の座標に基づいて生成された座標変換パラメータPr56を利用して任意の点の地理座標系Co5の座標を現場座標系Co6の座標に変換する機能を有するコントローラ100とが設置されている。現場座標系Co6は,油圧ショベル1による施工対象の設計データが作成された3次元座標系である。
【0013】
撮影装置19は,CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子(イメージセンサ)を備えた単眼カメラである。撮影装置19は撮影した画像データをコントローラ100に出力する。また撮影装置19は画像情報の他に,ステレオカメラのような視差を利用した深度情報(被写体までの距離情報)や,レーザー光等を発射してその反射光を到達時間を計測する等して深度情報が取得可能なカメラに代替してもよい。
【0014】
本実施形態において撮影装置19は上部旋回体1BAの右側面(車体右側面)に設置されているが,撮影装置19の設置位置は車体前方や後方,車体左側面でもよく,撮影装置19は複数個所に設置されていてもよい。その際,ステレオカメラのように一カ所に複数台ずつ設置されていてもよい。また,撮影装置19は,例えば後述する基準点の方に撮影方向を向けるなど,所定の範囲内において撮影方向を任意に変えられる機構(例えば雲台)により基準点を撮影しやすくする機能を備えていてもよい。上部旋回体1BAに設定された3次元座標系である車体座標系Co4における撮影装置19の位置(車体座標系座標)や撮影方向,内部パラメータは既知または検出可能である。撮影装置19に設定された3次座標系である撮影装置座標系Co1の座標と車体座標系Co4の座標の座標変換パラメータPr14,Pr41は既知または検出可能であるため,これらは相互に変換可能である。撮影装置19で撮影された画像は,コントローラ100に出力される。
【0015】
ブーム2,アーム3,バケット4,上部旋回体1BA及び下部走行体1BBは,それぞれ,ブームシリンダ5,アームシリンダ6,バケットシリンダ7,旋回油圧モータ8及び左右の走行油圧モータ9a,9b(油圧アクチュエータ)により駆動される被駆動部材を構成する。それら複数の被駆動部材の動作は,上部旋回体1BA上の運転室内に設置された走行右レバー10a,走行左レバー10b,操作右レバー11a及び操作左レバー11b(これらを操作レバー10,11と総称することがある)がオペレータにより操作されることにより発生するパイロット圧によって制御される。操作レバー10,11の操作によって出力されるパイロット圧は複数の圧力センサ45によって検出されてコントローラ100に入力されている(
図2参照)。
【0016】
上記の複数の被駆動部材を駆動するパイロット圧には,操作レバー10,11の操作によって出力されるものだけでなく,油圧ショベル1に搭載された複数の比例電磁弁20(
図2参照)の一部(増圧弁)が操作レバー10,11の操作とは無関係に動作して出力するものや,複数の比例電磁弁20の一部(減圧弁)が動作して操作レバー10,11の操作によって出力されたパイロット圧を減圧したものが含まれる。このように複数の比例電磁弁20(増圧弁及び減圧弁)から出力されたパイロット圧は,予め定められた条件に従ってブームシリンダ5,アームシリンダ6及びバケットシリンダ7を動作させるMCを発動させる。
【0017】
作業機1Aには,ブーム2,アーム3,バケット4の回動角度α,β,γ(
図3参照)を測定可能なように,ブームピンにブーム角度センサ12が,アームピンにアーム角度センサ13が,バケットリンク15にバケット角度センサ14が取付けられている。上部旋回体1BAには,基準面(例えば水平面)に対する上部旋回体1BA(車体1B)の前後方向の傾斜角θ(
図3参照)を検出する車体前後傾斜角センサ16aと,上部旋回体1BA(車体1B)の左右方向の傾斜角φ(図示せず)を検出する車体左右傾斜角センサ16bとが取付けられている。
【0018】
上部旋回体1BAには第1GNSSアンテナ17aと第2GNSSアンテナ17bが配置されている。第1GNSSアンテナ17a及び第2GNSSアンテナ17bはRTK-GNSS(Real Time Kinematic - Global Navigation Satellite Systems)用のアンテナであり,複数のGNSS衛星から発信された電波(航法信号)を受信する。第1GNSSアンテナ17a及び第2GNSSアンテナ17bと撮影装置19との距離はコントローラ100の記憶装置内に記憶されている。そのため,第1GNSSアンテナ17a又は第2GNSSアンテナ17bの地理座標系における座標と車体の傾斜角θ,φが分かれば撮影装置19の地理座標系における座標を演算できる。
【0019】
図3中に記されているX軸及びZ軸は,ブームピンの軸心上の点(例えば中央点)を原点とし,車体上方方向をZ軸,車体前方方向をX軸,車体右方向をY軸とする車体座標系Co4を表したものである。車体座標系Co4と地理座標系Co5は公知の方法で求められる座標変換パラメータPr45,Pr54を用いることで相互に変換可能である。例えばこの座標変換パラメータPr45,Pr54は,各フロント部材2,3,4の寸法と,第1及び第2GNSSアンテナ17a,17bの車体座標系Co4における座標が既知であり,車体1Bのピッチ角θ及びロール角φがセンサ16a,16bにより取得可能であることを利用して,RTK-GNSS測位による第1GNSSアンテナ17aと第2GNSSアンテナ17bとの地理座標系座標と,これらから演算される上部旋回体1BA及びフロント作業機1Aの地理座標系における方位角から求めることができる。
【0020】
油圧ショベル1の運転室内の表示モニタ18の画面上には,各種姿勢センサ12,13,14,16の出力から演算された作業機1Aの姿勢情報や,GNSSアンテナ17a,17bの受信信号から演算された上部旋回体1BAの位置情報等を基に作業機1Aを側面視した画像及び目標面の断面形状が表示される。
【0021】
図2は第1実施形態に係る油圧ショベル1のシステム構成図である。本実施形態の油圧ショベル1は,
図2に示すように,撮影装置19と,姿勢センサ(角度センサ)12,13,14と,傾斜角センサ16a,16bと,第1及び第2GNSSアンテナ17a,17bと,コントローラ100と,表示モニタ18とを備えている。
【0022】
コントローラ100は,処理装置(例えばCPU)と,その処理装置が実行するプログラムが格納された記憶装置(例えばROM,RAM等の半導体メモリ)を有する制御装置である。本実施形態のコントローラ100は,外部装置(例えば,撮影装置19,入力装置44(
図9参照),各種センサ12,13,14,16,17,操作レバー10,11)からの情報や信号を受信して,地理座標系Co5や現場座標系Co6における作業機1A上の制御点の座標の演算及びそれに必要な各種演算や,油圧ショベル1の運転室内に設置された表示モニタ(表示装置)18への表示や油圧ショベル1の動作に関する各種演算を行っている。記憶装置(ROM,RAM等)には,較正部21の基準点情報記録部25や情報処理部40の記録部41等の記録領域が確保されている。このコントローラ100が実行する演算の具体的内容については
図2中に示した機能ブロック図を利用して後述する。
【0023】
また
図2において本実施形態の油圧ショベル1は,エンジン57と,エンジン57の出力軸に機械的に連結されエンジン57によって駆動される油圧ポンプ56及びパイロットポンプ(図示せず)と,パイロットポンプから吐出される圧油を操作量に応じて減圧したもの(パイロット圧)を,各油圧アクチュエータ5-9の制御信号として比例電磁弁20を介してコントロールバルブ55に出力する操作レバー10,11と,操作レバー10,11が出力するパイロット圧の圧力値を検出して操作レバー10,11の操作量・操作方向を検出する複数の圧力センサ45と,油圧ポンプ56から各油圧アクチュエータ5-9に導入される作動油の流量及び方向を,操作レバー10,11又は比例電磁弁20から出力される制御信号(パイロット圧)に基づいて制御する複数のコントロールバルブ55と,各コントロールバルブ55に作用するパイロット圧の圧力値を検出する複数の圧力センサ58と,作業機1Aの位置・姿勢及びその他の車体情報に基づいて補正目標パイロット圧を算出し,その補正目標パイロット圧が発生可能な指令電圧を比例電磁弁20に出力するコントローラ100と,作業機1Aで形成する目標面の情報や撮影装置19に撮影された基準点SPの現場座標系座標等をコントローラ100に入力するための入力装置44を備えている。
【0024】
油圧ポンプ56は,各油圧アクチュエータ5-8の目標出力の通りに車体が動作するよう,機械的にトルク・流量が制御されている。
【0025】
コントロールバルブ55は,制御対象の油圧アクチュエータ5-8と同数存在するが,
図2ではそれらをまとめて1つで示している。各コントロールバルブには,その内部のスプールを軸方向の一方又は他方に移動させる2つのパイロット圧が作用している。例えば,ブームシリンダ5用のコントロールバルブ55には,ブーム上げのパイロット圧と,ブーム下げのパイロット圧が作用する。
【0026】
圧力センサ58は,各コントロールバルブ55に作用するパイロット圧を検出するもので,コントロールバルブの2倍の数が存在し得る。圧力センサ58は,コントロールバルブ55の直下に設けられており,実際にコントロールバルブ55に作用するパイロット圧を検出している。
【0027】
比例電磁弁20は複数存在するが,
図2中ではまとめて1つのブロックで示している。比例電磁弁20は2種類ある。1つは,操作レバー10,11から入力されるパイロット圧をそのまま出力又は指令電圧で指定される所望の補正目標パイロット圧まで減圧して出力する減圧弁で,もう1つは,操作レバー10,11の出力するパイロット圧より大きなパイロット圧が必要な場合にパイロットポンプから入力されるパイロット圧を指令電圧で指定される所望の補正目標パイロット圧まで減圧して出力する増圧弁である。或るコントロールバルブ55に対するパイロット圧に関して,操作レバー10,11から出力されているパイロット圧より大きなパイロット圧が必要な場合には増圧弁を介してパイロット圧を生成し,操作レバー10,11から出力されているパイロット圧より小さなパイロット圧が必要な場合には減圧弁を介してパイロット圧を生成し,操作レバー10,11からパイロット圧が出力されていない場合には増圧弁を介してパイロット圧を生成する。つまり,減圧弁と増圧弁により,操作レバー10,11から入力されるパイロット圧(オペレータ操作に基づくパイロット圧)と異なる圧力値のパイロット圧をコントロールバルブ55に作用させることができ,そのコントロールバルブ55の制御対象の油圧アクチュエータに所望の動作をさせることができる。
【0028】
1つのコントロールバルブ55につき,減圧弁と増圧弁はそれぞれ最大で2つ存在し得る。例えば本実施形態では,ブームシリンダ5のコントロールバルブ55用に2つの減圧弁と2つの増圧弁が設けられている。具体的には,ブーム上げのパイロット圧を操作レバー11からコントロールバルブ55に導く第1管路に設けられた第1減圧弁と,ブーム上げのパイロット圧をパイロットポンプから操作レバー11を迂回してコントロールバルブ55に導く第2管路に設けられた第1増圧弁と,ブーム下げのパイロット圧を操作レバー11からコントロールバルブ55に導く第3管路に設けられた第2減圧弁と,ブーム下げのパイロット圧をパイロットポンプから操作レバー11を迂回してコントロールバルブ55に導く第4管路に設けられた第2増圧弁を油圧ショベル1は備えている。
【0029】
本実施形態では,走行油圧モータ9a,9bと旋回油圧モータ8のコントロールバルブ55用の比例電磁弁20は存在しない。したがって,走行油圧モータ9a,9bと旋回油圧モータ8は,操作レバー10,11から出力されるパイロット圧に基づいて駆動される。
【0030】
<コントローラ100の構成>
コントローラ100は,GNSSアンテナ17a,17bで受信した航法信号に基づいて撮影装置19の地理座標系座標を演算し,その演算した撮影装置19の地理座標系座標と,撮影装置19により基準点を撮影した画像と,撮影装置19の内部パラメータとに基づいて基準点の地理座標系座標を演算し,その演算した基準点の地理座標系座標と,基準点の現場座標系座標とに基づいて,地理座標系と現場座標系の相互の座標変換パラメータPr56,Pr65を較正(演算)する。
図2において,コントローラ100は,位置姿勢検出部30と,較正部21と,情報処理部40とを備えている。以下,コントローラ100の構成の詳細を説明する。
【0031】
位置姿勢検出部30は,地理座標系における上部旋回体1BAの座標(第1GNSSアンテナ17a及び第2GNSSアンテナ17bの座標)を演算する地理座標系車体座標検出部31と,フロント作業機1Aや車体1Bの姿勢を演算する車体姿勢検出部32と,車体座標系Co4と地理座標系Co5の座標変換パラメータPr45,Pr54を演算する座標変換パラメータ演算部33とを備えている。本実施形態においてこれらの情報を取得するため,位置姿勢検出部30には,ブーム角度センサ12,アーム角度センサ13,バケット角度センサ14,車体前後傾斜角センサ16a,車体左右傾斜角センサ16b,第1GNSSアンテナ17a及び第2GNSSアンテナ17bが接続されている。
【0032】
地理座標系車体座標検出部31は,複数のGNSS衛星から発信された電波(航法信号)が第1及び第2GNSSアンテナ17a,17bに受信されるまでに要した時間に基づいてそれぞれのアンテナ位置の緯度,経度及び高さ(楕円体高)を測定する。これにより3次元座標系である地理座標系(世界座標系)Co5における油圧ショベル1(上部旋回体1BA)の位置と方位を演算することができる。さらに地理座標系車体座標検出部31は,この演算結果に加えて,コントローラ100の記憶装置に記憶された撮影装置19と第1及び第2GNSSアンテナ17a,17bのそれぞれの距離を利用することで,地理座標系Co5にける撮影装置19の座標を演算する。その際,車体1Bが傾斜している場合には傾斜角θ,φを考慮することが好ましい。なお,第1及び第2GNSSアンテナ17a,17bの位置及び高さを専用の受信機(GNSS受信機)で演算し,演算結果をコントローラ100に出力する構成を採用しても良い。
【0033】
車体姿勢検出部32は,ブーム角度センサ12,アーム角度センサ13,バケット角度センサ14の情報から車体座標系Co4におけるブーム2,アーム3,バケット4の回動角度α,β,γを演算することで,車体座標系Co4におけるフロント作業機1Aの姿勢を演算する,また,車体姿勢検出部32は,車体前後傾斜角センサ16a,車体左右傾斜角センサ16bの情報から地理座標系Co5における前後方向の傾斜角θ(
図3参照)及び左右方向の傾斜角φを演算することで,地理座標系Co5における車体の姿勢を演算する。車体座標系Co4と地理座標系Co5は相互に座標変換可能であるので,車体座標系におけるフロント作業機1Aの姿勢が特定できればフロント作業機1Aに設定された任意の制御点(例えばバケット爪先)の地理座標系座標も演算できる。なお,地理座標系車体座標検出部31で演算された油圧ショベル1(上部旋回体1BA)の方位は,車体座標系Co4のX軸が位置する。
【0034】
座標変換パラメータ演算部33は,位置姿勢検出部30及び地理座標系車体座標検出部31で演算された位置及び姿勢情報に基づいて車体座標系Co4と地理座標系Co5の相互の座標変換パラメータPr45,Pr54を演算し,車体1Bのキャビン内に設置されたコントローラ100に出力する。
【0035】
較正部21は,撮影装置19が撮影した画像及び位置姿勢検出部30の出力する情報から基準点の地理座標系座標を演算し,その演算結果と基準点の現場座標系座標に基づいて座標変換パラメータPr56,Pr65を演算(較正)する。
【0036】
較正部21は,基準点認識部22と,地理座標系基準点座標演算部23と,現場座標系基準点座標取得部24と,基準点情報記録部25と,座標変換パラメータ演算部26とを備えている。較正部21は,撮影装置19により撮影された画像と,位置姿勢検出部30により出力される車体座標系Co4と地理座標系Co5の座標変換パラメータPr45,Pr54と,入力装置44から出力される基準点の現場座標系Co6の座標情報とを入力とし,地理座標系Co5座標を現場座標系Co6座標に変換する座標変換パラメータを出力する。
【0037】
基準点認識部22は,撮影装置19により撮影された画像に作業現場の基準点SPが写っているかどうかを,パターンマッチング等の画像処理技術を用いて判定する。
【0038】
基準点SPとは,現場座標系Co6における座標が既知となっている点であり,作業現場の所定の位置に固定的に設置される任意の物体に記されている。通常は
図4に示すように作業現場を取り囲むように複数の基準点SP1-SP12が設置される。基準点(SPn)は地面や壁面に取り付けられていてもよい。また基準点SPnとして設置される物体は,所定の大きさ,色,模様,形状,性質などの特徴を有する物体であり,杭や釘,マーカ等を含む。またここでいうマーカは,特定の波長の光を反射するマーカや特定の方向に光を反射するマーカ,AR(Augmented Reality)技術で用いられるARマーカやQRコード(商標登録)等二次元コードを含むマーカでもよい。
【0039】
図5に基準点SPnが示された基準点表示具の一例を示す。
図5の基準点表示具は,地面に打ち付けられた杭と,その杭の上に取り付けられた板を備える。板の表面には,基準点SP12の識別情報(12)と,基準点SP12の現場座標系Co6の座標(X=22.4,Y=48.0,H=101.2)と,基準点SP12の位置を示す三角形のマーカとが記されている。
図5の三角形のマーカの下端が基準点SP12の位置である。
図4の各基準点SP1-12には
図5のような基準点表示具がそれぞれ設けられているものとする。基準点SPの識別情報や現場座標系座標はマーカに埋め込んでも良い。なお,後述する現場座標系基準点座標取得部24では,基準点表示具の板に記された基準点名や基準点の現場座標系座標を撮影装置19の撮影画像から読み取る。
【0040】
本実施形態の基準点認識部22は,
図5に示した基準点表示具の三角形のマーカを利用して撮影装置19の撮影画像に基準点SPが写っているかどうかを判定する。具体的には,基準点認識部22は,エッジ検出等の画像処理プログラムを利用して撮影画像内で三角形のマーカが写った領域(三角形領域)を検出し,検出された三角形領域の形状とコントローラ100内の記憶装置に予め記憶された三角形のマーカ(テンプレートパターン)の形状とをパターンマッチングする。そして,基準点認識部22は,両者のマッチング率が所定のしきい値を超えた場合,撮影画像内で検出された三角形領域が三角形のマーカに該当し,撮影装置19の撮影画像に基準点SPが写っていると判定する。
【0041】
地理座標系基準点座標演算部23は,撮影装置19により基準点SPを撮影した画像に画像処理を施すことで撮影装置19から基準点認識部22で認識した基準点SPまでの距離及び方位を演算し,その距離及び方位と,地理座標系車体座標検出部31で演算した撮影装置19の地理座標系座標とに基づいて,基準点認識部22で認識した基準点SPの地理座標系Co5における座標を演算する。
【0042】
まず,本実施形態では,地理座標系基準点座標演算部23は,基準点認識部22で認識された三角形領域のサイズや歪みを検知して,それを予め記憶された三角形のマーカ(テンプレートパターン)の形状及びサイズと比較することで撮影装置19と基準点SPの相対位置を演算する。サイズが既知のマーカを用いた距離や方向の推定は公知の方法で実現可能である。例えば,画像処理による輪郭線抽出を利用して3本のエッジに囲まれた三角形の頂点を撮影画像から抽出することでマーカ領域(三角形領域)を抽出する。抽出した領域を正規化し,パターンマッチングによりテンプレートパターンとの類似度が最大値をとる位置をマーカ(すなわち基準点SP)の位置とする。車体座標系Co4における撮影装置19の座標(位置)は既知なので,上記のように求まった撮影装置19と基準点SPの相対位置,すなわち,撮影装置19と基準点SPとの距離及び方位(ロール角,ピッチ角,方位角)から,車体座標系Co4における基準点SPの座標が演算できる。
【0043】
次に,地理座標系基準点座標演算部23は,車体座標系Co4における基準点SPの座標を地理座標系Co5における座標に変換する。この座標変換は,車体座標系Co4における基準点SPの座標に行列Mt45(すなわち,座標変換パラメータPr45)を乗算することで行うことができる。この行列Mt45は公知の方法で演算でき,例えば,ロール角,ピッチ角,方位角に基づいて座標を回転する回転行列となり得る。算出された地理座標系Co5における基準点SPの座標は基準点情報記録部25に出力される。
【0044】
また,本実施形態ではパターンマッチングにより撮影装置19と基準点SPの距離と方向を演算したが,画像処理を利用して撮影装置19の撮影画像から基準点SPの距離と方向が求められる方法であれば他の方法でも構わない。例えば,撮影装置19として,互いの距離が既知の複数のカメラの撮影画像から視差画像を生成し基準点SPまでの距離を演算できる例えばステレオカメラを利用しても良い。
【0045】
現場座標系基準点座標取得部24は,地理座標系基準点座標演算部23で地理座標系Co5の座標が演算された基準点SPの現場座標系Co6における座標を取得する処理を実行する部分である。基準点SPの現場座標系Co6における座標を取得する方法には複数のパターンがあり,例えば,現場座標系基準点座標取得部24は撮影装置19の画像に含まれている基準点SPの現場座標系座標の情報を画像認識で読み取ることで取得できる。具体的には,
図5の基準点表示具のように実際の数値が表示されている場合にはそれを画像認識を利用して読み取っても良いし,基準点表示具に基準点の現場座標系座標の情報が埋め込まれた二次元コードやマーカが表示されている場合には撮影装置19の撮影画像上でそれを探索して埋め込まれた現場座標系座標を読み込んでも良いし,
図5の基準点表示具のように基準点SPの識別情報が表示されている場合にはそれを画像から読み取ってその識別情報に対応する基準点SPの現場座標系座標を基準点情報記録部25から読み込んでも良い。また,例えば表示モニタ18に基準点の現場座標系座標を入力するメッセージを表示して,入力装置44を介してオペレータに現場座標系座標を入力させても良い。なお,基準点の識別情報としては,基準点に固有に設定されたIDや名前,現場座標系座標がある。
【0046】
基準点情報記録部25は,基準点情報を記録する部分である。基準点情報には,地理座標系基準点座標演算部23で演算された基準点の地理座標系座標と,現場座標系基準点座標取得部24で取得された基準点の現場座標系座標とが含まれており,各基準点に固有に割り振られた識別情報(IDや名称)を含んでもよい。地理座標系基準点座標演算部23で演算された地理座標系Co4における基準点の座標を入力として基準点情報を記録し,現場座標系基準点座標取得部24や座標変換パラメータ演算部26に出力する。初期状態において基準点情報記録部25は,初期状態の座標変換パラメータ演算に使用された基準点情報を,入力装置44からの入力をもとに記録している。また施工途中に基準点が増減した場合は,入力装置44から該当する基準点の情報を追加あるいは削除する。
【0047】
座標変換パラメータ演算部26は,基準点情報記録部25に記録された複数の基準点の地理座標系座標と現場座標系座標を用いて地理座標系Co5と現場座標系Co6の相互の座標変換パラメータPr56,Pr65を演算(較正)する。座標変換パラメータPr56,Pr65は公知の方法で演算することができ,例えば,平行移動行列,回転行列及び拡大縮小行列のうち少なくとも1つから構成される変換行列となる。座標変換パラメータP56の算出について簡単に触れると,例えば,地理座標系からの座標変換パラメータが既知の3次元直交座標系(例えば日本における平面直角座標系や地心直交座標系)における座標Bkに基準点の地理座標系座標を変換し,その変換後の座標をBk(Xk,Yk,Zk)とし,基準点の現場座標系座標をPk(xk,yk,zk)とすると,Bkは下記式のようにPkで表すことができる。ただし,下記式において,Poffsetは平行移動行列,Rは回転行列,Sは拡大縮小行列,δkは誤差を示し,これらが座標変換パラメータとなる。
Bk=Poffset+R・Pk+S・Pk+δk
【0048】
そして,地理座標系座標と現場座標系座標が基準点情報記録部25に記録されたn個(nは2以上)の基準点について,δk2の和が最小となるような座標変換パラメータを最小二乗法により求めることとなる。そして,その演算した座標変換パラメータと,最初に座標Bkへの変換に利用した座標変換パラメータとから座標変換パラメータPr56が演算できる。なお,座標変換パラメータPr56,Pr65の演算には,基準点情報記録部25に記録された複数の基準点の基準点情報を用いるが,すべての基準点情報を用いなくてもよい。
【0049】
座標変換パラメータ演算部26が演算した座標変換パラメータPr56,65は情報処理部40に出力される。
【0050】
情報処理部40は,較正部21が出力する座標変換パラメータPr56をもとに,位置姿勢検出部30で出力される地理座標系における車体位置情報を現場座標系座標に変換し,車体姿勢情報と車体の現場座標系座標,入力装置44から入力される情報化施工データ,操作レバー10,11から入力される操作入力情報(圧力センサ45の検出値)に従ってオペレータに対する提示情報や運転支援のための制御情報を演算する。オペレータに対する提示情報は表示モニタ18に,運転支援のための制御情報は比例電磁弁20へ出力され,情報提示機能や運転支援機能を実現する。
【0051】
情報処理部40は,記録部41,現場座標系座標変換部46,情報提示制御部42,運転支援制御部43とを備えている。情報処理部40は,較正部21,位置姿勢検出部30,入力装置44,圧力センサ45から情報を入力し,表示モニタ18及び比例電磁弁20に情報を出力する。
【0052】
記録部41は,較正部21から入力される座標変換パラメータPr56と,入力装置44から入力される情報化施工データとを記録する。座標変換パラメータPr56は較正部21により較正された都度,記録部41に記録され,情報提示制御部42及び運転支援制御部43が実行する制御に利用される。なお,情報化施工データは,情報提示制御部42による情報提示機能と,運転支援制御部43による運転支援機能を提供するための3次元情報を持ったデータであり,例えば油圧ショベル1で施工する目標面形状データ(目標面データや,作業機械の進入禁止領域データを含む。いずれの情報化施工データもフロント作業機1Aの侵入が防止されるように油圧シリンダ5,6,7を制御するために利用される。
【0053】
現場座標系座標変換部46は,位置姿勢検出部30から入力される地理座標系Co5における車体位置情報について,記録部41に記録された座標変換パラメータPr56をもとに現場座標系Po6の車体位置情報に変換する。位置姿勢検出部30から入力される車体位置情報としては,例えば,旋回体1BAの地理座標系座標と,姿勢センサ12-14,16によって検出されたフロント作業機1Aや車体1Bの姿勢情報とに基づいて,フロント作業機1Aに設定された制御点(例えばバケット爪先)の地理座標系座標がある。また,地理座標系における旋回体1BAの方位と,姿勢センサ16によって検出された車体1Bの姿勢情報とに基づいて,車体1Bに設定された制御点(例えば上部旋回体1BAの後端)の地理座標系座標がある。
【0054】
情報提示制御部42は,現場座標系座標変換部46で現場座標系座標に変換された制御点の位置情報や情報化施工データをもとにオペレータに提示すべき表示情報を演算し,表示モニタ18に出力する。表示情報には例えば,フロント作業機1Aを側面視した画像や,目標面形状データのXZ平面における断面図(目標面),位置姿勢検出部30で検出される各種センサ値,バケット4の爪先(制御点)から目標面までの距離などを含んでもよい。
【0055】
運転支援制御部43は,現場座標系座標変換部46で現場座標系座標に変換された制御点の位置情報や情報化施工データをもとに,オペレータの運転を支援するように油圧シリンダ5,6,7を動作させるための制御信号を演算して比例電磁弁20に出力する。制御信号は,例えば目標面に対してフロント作業機1Aの制御点(例えばバケット爪先)が潜り込まないよう油圧シリンダ5,6,7の動きを制限したり,フロント作業機1Aを含む車体の制御点が障害物と衝突しないよう停止又は回避するよう油圧シリンダ5,6,7や走行油圧モータ9a,9bや旋回油圧モータ8の動きを制御したりする。
【0056】
<コントローラの処理フロー>
次に,
図6を参照しながら,コントローラ100(較正部21)が座標変換パラメータPr56を較正する処理の流れを説明する。なお,コントローラ100(較正部21)はこの座標変換パラメータ較正処理を所定の周期(例えば数分間隔)で繰り返し実行する。
【0057】
図6の処理を開始すると,ステップS1では,まず,コントローラ100(基準点認識部22)は撮影装置19が撮影した画像に対して画像認識を利用して画像内に基準点が存在するか否かを判定する。撮影装置19が撮影した画像内に基準点がなかった場合には処理を終了し,基準点が存在した場合は次のステップS2に進む。
【0058】
ステップS2では,コントローラ100(地理座標系基準点座標演算部23)は,撮影装置19及び位置姿勢検出部30から入力される情報に基づいて,ステップS1で利用した画像の撮影時刻における地理座標系Co5での基準点の座標を演算し,ステップS3に進む。
【0059】
ステップS3では,コントローラ100(現場座標系基準点座標取得部24)は,ステップS2において地理座標系Co5の座標を演算した基準点の現場座標系座標を取得してステップS4に進む。ステップS3では,具体的には,入力装置44でオペレータが直接入力を行う方法,基準点情報記録部25に記録された基準点のうちS2において演算した地理座標系座標から所定の範囲内の地理座標系座標を持つ基準点の現場座標系座標を取得する方法,撮影装置19で撮影した基準点の画像から情報を読み取り現場座標系座標を取得する方法,等により現場座標系座標を取得する。
【0060】
ステップS4では,コントローラ100(較正部21)は,基準点情報記録部25において,ステップS2で演算した基準点の地理座標系座標と,ステップS3で取得した基準点の現場座標系座標との対応関係を更新し,ステップS5に進む。
【0061】
ステップS5では,コントローラ100(座標変換パラメータ演算部26)は,基準点情報記録部25に記録された基準点の地理座標系座標と現場座標系座標をもとに,地理座標系と現場座標系の座標変換パラメータPr56(例えば,上記のPoffset(平行移動行列),R(回転行列),S(拡大縮小行列)及びδk(誤差))と座標変換パラメータPr65を演算し,これを情報処理部40の記録部41に記録して処理を終了する。
【0062】
<作用・効果>
上記のようなコントローラ100と,撮影装置19と,GNSSアンテナ17a,17bとを備えたシステムでは,撮影装置19で基準点SPnを撮影することで基準点SPnの地理座標系座標が取得でき,衛星配置や電離層の状況などによりGNSSによる測位結果(地理座標系座標)に変動が生じても最新の状況での基準点SPnの地理座標系座標を容易に取得できる。これにより最新の地理座標系座標を利用して地理座標系Co5から現場座標系Co6への座標変換パラメータPr56を速やかに較正できるので,較正後の座標変換パラメータPr56を油圧ショベル1での制御に利用することで,油圧ショベル1の制御点の演算精度と油圧ショベル1による施工精度を向上できる。
【0063】
また,上記のシステムにおいて,基準点表示具に基準点の現場座標系座標の情報が埋め込まれたマーカを表示しておき,そのマーカを撮影装置19で基準点SPnと共に撮影して画像処理により復元すれば,撮影装置19による撮影で基準点SPnの地理座標系座標だけでなく現場座標系座標も容易に取得できる。これにより座標変換パラメータPr56をより速やかに演算できる。
【0064】
また,撮影装置19の撮影範囲に基準点が常に含まれるように,コントローラ100が撮影装置19の向きを制御するように構成すれば,いつ撮影しても撮像装置19の撮影範囲に基準点が含まれることになる。そのため座標変換パラメータPr56を所望のタイミングで演算し易くなる。
【0065】
また,上記の実施の形態では,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bから成るシステムを油圧ショベル1に搭載したので,較正後の座標変換パラメータPr56を速やかに油圧ショベル1のコントローラに出力することができ,その座標変換パラメータPr56を利用した制御を遅滞なく実施できる。これにより情報提示制御部42による表示モニタ18へのフロント作業機1Aの制御点(バケット爪先)と目標面の位置関係を正確に表示できるとともに,運転支援制御部43による油圧アクチュエータ5,6,7,8,9の制御精度を向上できる。
【0066】
<第2実施形態>
本実施形態のシステムを
図7に示す。本実施形態と第1実施形態の主な違いとしては,情報記録サーバ101が追加されたこと,コントローラ100(100A)内に現場座標系基準点座標識別部104と座標変換パラメータ更新部47が追加されたこと,第1実施形態でコントローラ100内にあった基準点情報記録部25(25A)と座標変換パラメータ演算部26(26A)が情報記録サーバ101に移動していること,が挙げられる。
【0067】
なお,第1実施形態と同じ部分は同じ符号を付して適宜説明を省略することがある。符号に添字で「A」を付した部分は第1実施形態と異なる処理を実行するように構成されている。
図2に示したエンジン57,油圧ポンプ56,コントロールバルブ55,圧力センサ58及びアクチュエータ5,6,7,8,9は図示を省略している。
【0068】
本実施形態のシステムは,
図7に示すように,撮影装置19と,コントローラ100Aと,情報記録サーバ101,入力装置44と,圧力センサ45と,比例電磁弁20と,表示モニタ18とを備えている。このうち,情報記録サーバ101を除く,撮影装置19,コントローラ100A,入力装置44,圧力センサ45,比例電磁弁20及び表示モニタ18は,油圧ショベル1に搭載されている。
【0069】
<コントローラ(その1)>
コントローラ100Aは,データ取得部102と,情報処理部40Aと,位置姿勢検出部30を備えている。
【0070】
データ取得部102は,基準点認識部22と,地理座標系基準点座標演算部23Aと,現場座標系基準点座標識別部104を備えている。
【0071】
地理座標系基準点座標演算部23Aは,基準点認識部22で認識した基準点SPの地理座標系Co5における座標を演算し,その結果を情報記録サーバ101に出力する。
【0072】
現場座標系基準点座標識別部104は,地理座標系基準点座標演算部23Aで地理座標系Co5の座標が演算された基準点SPの識別情報(基準点識別情報)を取得して情報記録サーバ101に出力する。基準点識別情報を取得する方法には複数のパターンがあり,例えば,現場座標系基準点座標識別部104は撮影装置19の画像に含まれている基準点識別情報を画像認識で読み取ることで取得できる。具体的には,
図5の基準点表示具のように基準点識別情報(12)が表示されている場合にはそれを画像から読み取ってその識別情報を出力しても良い。また,基準点として二次元コードを含むマーカを使用している場合など,基準点の形状や模様に基準点識別情報を持たせている場合には,撮影装置19が撮影した画像からその情報を画像認識により認識してもよい。また,例えば表示モニタ18に基準点識別情報を入力するメッセージを表示して,入力装置44を介してオペレータに基準点識別情報を入力させても良い。基準点識別情報としては,基準点に固有に設定されたIDや名前,現場座標系座標がある。
図5のように基準点表示具に現場座標系座標情報を持たせた場合,基準点情報記録部25に記録された基準点情報のうち,現場座標系座標が一致する基準点の基準点識別情報を取得すればよい。
【0073】
<情報記録サーバ>
情報記録サーバ101は,例えば或る作業現場で稼働する複数の油圧ショベル1を管理する管理センターの建屋内に設置されており,その複数の油圧ショベル1のコントローラ100Aと無線通信ネットワークを介して相互通信可能に接続されている。情報記録サーバ101は,処理装置(例えばCPU)と,その処理装置が実行するプログラムが格納された記憶装置(例えばROM,RAM等の半導体メモリ)を有するコンピュータである。情報記録サーバ101内の記憶装置(ROM,RAM等)には,基準点情報記録部25Aや座標変換パラメータ記録部103等の記録領域が確保されている。情報記録サーバ101は,基準点情報記録部25Aと,座標変換パラメータ演算部26と,座標変換パラメータ記録部103を備えている。なお,本実施形態では,コントローラ100A内のデータ取得部102と情報記録サーバ101とが,地理座標系を現場座標系に変換する座標変換パラメータPr56を演算する較正部(第1実施形態における較正部21)として機能している。
【0074】
基準点情報記録部25Aは,地理座標系基準点座標演算部23Aで演算された地理座標系Co5における基準点の座標と,現場座標系基準点座標識別部104で取得された基準点識別情報とを1組の基準点情報として記録する。基準点情報記録部25Aには,各基準点の現場座標系Co6における座標と基準点識別情報が記録されており,現場座標系基準点座標識別部104から入力された基準点識別情報をキーにしてその基準点の現場座標系における座標を取得できるようになっている。これにより基準点情報記録部25Aは,地理座標系基準点座標演算部23で演算された基準点の地理座標系座標と,現場座標系基準点座標識別部104で取得された基準点識別情報に加えて,その基準点識別情報を有する基準点の現場座標系座標をも1組の基準点情報として記録できる。
【0075】
座標変換パラメータ演算部26Aは,基準点情報記録部25Aに記録された基準点の地理座標系座標に変化があった場合(すなわち,コントローラ100Aから送信された基準点の地理座標系座標がその送信直前に基準点情報記録部25Aに記録されているデータと異なる場合),その基準点の地理座標系座標と現場座標系座標を用いて地理座標系Co5と現場座標系Co6の相互の座標変換パラメータPr56,Pr65を演算(較正)する。座標変換パラメータ演算部26Aが演算した座標変換パラメータPr56,65は座標変換パラメータ記録部103に出力される。
【0076】
座標変換パラメータ記録部103は座標変換パラメータ演算部26Aで演算された座標変換パラメータをその演算時刻(すなわち更新時刻)とともに記録する。
【0077】
<コントローラ(その2)>
情報処理部40Aは,記録部41と,座標変換パラメータ更新部47と,現場座標系座標変換部46と,情報提示制御部42と,運転支援制御部43とを備えている。
【0078】
座標変換パラメータ更新部47は,所定の時間間隔で情報記録サーバ101の座標変換パラメータ記録部103に記録された座標変換パラメータが更新されたかどうかを確認し,更新されていた場合には情報記録サーバ101の座標変換パラメータ記録部103に記録された最新の座標変換パラメータを取得し,記録部41に出力する。
【0079】
記録部41は,座標変換パラメータ更新部47から入力される座標変換パラメータPr56と,入力装置44から入力される情報化施工データとを記録する。座標変換パラメータPr56は情報提示制御部42及び運転支援制御部43が実行する制御に利用される。
【0080】
<コントローラと情報記録サーバの処理フロー>
次に,
図8,9,10を参照しながら,コントローラ100Aのデータ取得部102と,情報記録サーバ101と,コントローラ100Aの情報処理部40Aが座標変換パラメータPr56を較正し,情報処理部40Aの記録部41に記録された座標変換パラメータPr56を更新する処理の流れを説明する。なお,これらの処理は所定の周期(例えば数分間隔)で繰り返し実行される。
【0081】
まず,
図8を用いてコントローラ100Aのデータ取得部102における処理を説明する。
【0082】
図8の処理を開始すると,ステップS101では,まず,コントローラ100A(基準点認識部22)は撮影装置19が撮影した画像に対して画像認識を利用して画像内に基準点が存在するか否かを判定する。撮影装置19が撮影した画像内に基準点がなかった場合には処理を終了し,基準点が存在した場合ステップS102に進む。
【0083】
ステップS102では,コントローラ100A(地理座標系基準点座標演算部23)は,ステップS101で利用した画像に画像処理を施すことで撮影装置19から基準点SPまでの距離及び方位を演算し,その距離及び方位と,地理座標系車体座標検出部31で演算した撮影装置19の地理座標系座標とに基づいて,その画像の撮影時刻における地理座標系Co5での基準点の座標を演算し,ステップS103に進む。
【0084】
ステップS103では,コントローラ100A(現場座標系基準点座標識別部104)は,S102において地理座標系座標を演算した基準点の基準点識別情報を取得してステップS104に進む。具体的には,入力装置44でオペレータが直接入力を行う方法,基準点情報記録部25に記録された基準点のうちS102において演算した地理座標系座標から所定の範囲内の地理座標系座標を持つ基準点の基準点識別情報を取得する方法,撮影装置19で撮影した基準点の画像から情報を読み取り基準点識別情報を取得する方法等により基準点の現場座標系座標を取得する。
【0085】
ステップS104では,コントローラ100A(データ取得部102)は,ステップS102で演算した基準点の地理座標系座標と,ステップS103で取得した基準点識別情報とを対応付けて,情報記録サーバ101(基準点情報記録部25A)に送信して処理を終了する。
【0086】
次に
図9を用いて情報記録サーバ101における処理を説明する。
【0087】
図9の処理を開始すると,ステップS204では,まず情報記録サーバ101(基準点情報記録部25A)は,コントローラ100A(データ取得部102)から送信された基準点の識別情報及び地理座標系座標を受信し,コントローラ100A(データ取得部102)で認識された基準点の地理座標系座標を記録し,ステップS205に進む。
【0088】
ステップS205では,情報記録サーバ101はステップS204で基準点情報記録部25Aに記録された基準点の地理座標系座標が,直前に記録されていた座標と異なる座標に更新された場合にはステップS6に進み,更新されない場合には処理を終了する。
【0089】
ステップS206では,情報記録サーバ101(座標変換パラメータ演算部26)は,ステップS204で地理座標系座標を受信した基準点の現場座標系座標を基準点情報記録部25Aから取得し,その基準点の地理座標系座標と現場座標系座標に基づいて地理座標系Co5を現場座標系Co6に変換する座標変換パラメータPr56を演算する。
【0090】
ステップS207では,情報記録サーバ101は,ステップS206で演算された座標変換パラメータPr56を座標変換パラメータ記録部103に記録して処理を終了する。
【0091】
次に
図10を用いてコントローラ100A(情報処理部40A)における処理を説明する。
【0092】
図10の処理を開始すると,ステップS308では,コントローラ100A(座標変換パラメータ更新部47)は所定の時間間隔で情報記録サーバ101の座標変換パラメータ記録部103に記録された座標変換パラメータPr56が更新されたかどうかを確認する。具体的にはコントローラ100Aが情報記録サーバ101に座標変換パラメータPr56の更新の有無を問い合わせる信号を送信し,情報記録サーバ101から送信される回答の信号を基に更新の有無を判断する。なお,情報記録サーバ101から所定の時間間隔で更新の有無を通知する信号をコントローラ100Aが受信することで更新の有無を判断しても良い。座標変換パラメータPr56が更新されていた場合にはステップS309に進み,更新されていない場合には処理を終了する。
【0093】
ステップS309では,コントローラ100A(座標変換パラメータ更新部47)は,情報記録サーバ101に対して座標変換パラメータ記録部103に記録された最新の座標変換パラメータPr56を送信するように指令し,コントローラ100Aは情報記録サーバ101から送信された座標変換パラメータPr56を記録部41(ROM,RAM等の記憶装置)に記憶して処理を終了する。
【0094】
<作用・効果>
以上の構成では,作業現場に存在する複数の油圧ショベル1のコントローラ100Aと,情報記録サーバ101とをネットワークで接続し,各コントローラ100Aから少なくとも基準点の地理座標系座標と基準点識別情報を情報記録サーバ101に送信している。そして,各コントローラ100Aから送信される基準点の地理座標系座標に変化があった場合,情報記録サーバ101は,その基準点の地理座標系座標と現場座標系座標に基づいて座標変換パラメータPr56を演算し,その座標変換パラメータPr56を情報記録サーバ101内の座標変換パラメータ記録部103に記録してデータの更新を行う。各コントローラ100Aは,座標変換パラメータPr56の更新の有無を所定の間隔で情報記録サーバ101に問合せており,更新の有ったときには情報記録サーバ101から最新の座標変換パラメータPr56をダウンロードし,最新の座標変換パラメータPr56を情報提示制御部42及び運転支援制御部43における制御に利用できる。
【0095】
これにより,作業現場で稼働中の複数の油圧ショベル1の中に基準点(基準点表示具)が撮影装置19で撮影できない油圧ショベル(例えば
図4の第2油圧ショベル)が存在し,その撮影不可能期間に衛星配置が変化して地理座標系座標(衛星測位結果)に変動が生じたときでも,その期間内にいずれかの基準点(基準点表示具)を撮影できた他の油圧ショベル(例えば
図4の第1油圧ショベル)が取得した地理座標系座標に基づいて情報記録サーバ101が較正した座標変換パラメータPr56をダウンロードできる。すなわち,或る油圧ショベル1が基準点を撮影できない状況にあっても,基準点を撮影可能な他の油圧ショベル1からの情報に基づいて更新(較正)した座標変換パラメータPr56を速やかに利用可能になるので,作業現場で稼働する油圧ショベル全体の制御点の演算精度と施工精度を向上できる。
【0096】
また,上記の実施形態では,基準点の現場座標系座標を情報記録サーバ101で一元管理しているので,油圧ショベル1側では基準点の現場座標系座標を登録又は記憶する必要がなくなり,ユーザやオペレータの操作負担を軽減できる。
【0097】
また,上記の実施形態では,情報記録サーバ101から座標変換パラメータPr56が較正されたことが各油圧ショベル1のコントローラ100Aに通知されたとき,各油圧ショベル1のコントローラ100Aは,その較正された前記座標変換パラメータPr56を受信し,その受信した座標変換パラメータPr56を利用して制御点の座標変換を行うこととしている。これにより座標変換パラメータPr56に更新があった場合には,各油圧ショベル1のコントローラ100Aに速やかにダウンロードされるので,各種制御に即座に利用することができる。
【0098】
<その他>
なお,本発明は,上記の各実施の形態に限定されるものではなく,その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば,本発明は,上記の実施の形態で説明した全ての構成を備えるものに限定されず,その構成の一部を削除したものも含まれる。また,ある実施の形態に係る構成の一部を,他の実施の形態に係る構成に追加又は置換することが可能である。
【0099】
例えば,上記の第1実施形態では,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bとを備えた座標変換システムを油圧ショベル1に搭載した実施形態について説明したが,これの構成は必須の事項ではない。すなわち,油圧ショベル1とは別に,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bから成る座標変換システムを設け,そこで演算した座標変換パラメータを油圧ショベル1に送信するようにシステムを構成しても良い。第2実施形態でも同様であり,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bから成る座標変換システムを作業現場内に複数設け,そこで演算した座標変換パラメータを情報記録サーバ-101に送信するようにシステムを構成しても良い。
【0100】
第2実施形態では,情報記録サーバ101側に基準点情報記録部25Aと座標変換パラメータ演算部26Aを設けたが,これらを第1実施形態と同様にコントローラ100A側に設けても良い。すなわちコントローラ100A側で座標変換パラメータPr56を演算し,その座標変換パラメータPr56のみを情報記録サーバ101に送信して座標変換パラメータ記録部103に記録する構成を採用しても良い。
【0101】
また,第2実施形態では,コントローラ100Aからは基準点の現場座標系座標を含まない識別情報(基準点識別情報)を情報記録サーバ101に送信したが,基準点識別情報に代えて第1実施形態と同様に基準点の現場座標系座標を送信する構成を採用しても良い。
【0102】
また,第2実施形態では,基準点の地理座標系の変化の有無を情報記録サーバ101側(座標変換パラメータ演算部26A)で判断したが,各油圧ショベル1のコントローラ100Aの地理座標系基準点座標演算部23Aで変化の有無を判断し,変化があった場合にのみ地理座標系座標を情報記録サーバ101に送信するようにシステムを構成しても良い。
【0103】
なお,上記の各実施形態では,各油圧ショベル1は最終的に現場座標系座標に基づいて情報提示制御部や運転支援制御部による各種制御を行うこととしたが,最終的に地理座標系座標に基づいて各種制御を実行しても良い。すなわち,地理座標系Co5を現場座標系Co6に変換する座標変換パラメータPr56だけでなく,現場座標系Co6を地理座標系Co5に変換する座標変換パラメータPr65を利用するようにシステム構成しても良い。
【0104】
また,上記のコントローラ100,100Aやサーバ101に係る各構成や当該各構成の機能及び実行処理等は,それらの一部又は全部をハードウェア(例えば各機能を実行するロジックを集積回路で設計する等)で実現しても良い。また,上記のコントローラ100,100Aやサーバ101に係る構成は,演算処理装置(例えばCPU)によって読み出し・実行されることで当該コントローラ・サーバの構成に係る各機能が実現されるプログラム(ソフトウェア)としてもよい。当該プログラムに係る情報は,例えば,半導体メモリ(フラッシュメモリ,SSD等),磁気記憶装置(ハードディスクドライブ等)及び記録媒体(磁気ディスク,光ディスク等)等に記憶することができる。
【0105】
また,上記の各実施の形態の説明では,制御線や情報線は,当該実施の形態の説明に必要であると解されるものを示したが,必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
【符号の説明】
【0106】
1…油圧ショベル(作業機械),1A…作業機(フロント作業機),1B…車体,1BA…上部旋回体,1BB…下部走行体,2…ブーム,3…アーム,4…バケット,5…ブームシリンダ,6…アームシリンダ,7…バケットシリンダ,10,11…操作レバー,12…ブーム角度センサ(姿勢センサ),13…アーム角度センサ(姿勢センサ),14…バケット角度センサ(姿勢センサ),16…傾斜角センサ(姿勢センサ),17…GNSSアンテナ,18…表示モニタ(表示装置),19…撮影装置,20…比例電磁弁,100…コントローラ,101…情報記録サーバ