(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0015】
以下、図面を用いて本発明を実施するための実施形態を説明する。
【0016】
(第1実施形態)
図1を参照して、本発明の第1実施形態に係る対象物表示装置の構成を説明する。
図1において、対象物表示装置1は、受信部10、通信インターフェース部11、位置補正部12、センサ部13を備えている。さらに、対象物表示装置1は、距離算出部14、地図情報部15、通報部16、投影部17、表示部18、制御部19を備えている。
【0017】
以下の第1,2実施形態では、対象物表示装置1は、土木作業に用いられる建設機械の操縦者が操縦室の外部を視認する窓ガラスに表示の対象物の位置を表示する装置を一例として説明する。表示の対象物は、建設機械の周辺に位置する構造物である。第1実施形態では、操縦者が操縦室の外部を視認する窓ガラス
はフロントガラスであり、表示の対象物は埋設物である。
また、以下の第1,2実施形態では、建設機械は、例えば
図2に示すショベルカーを一例として説明する。建設機械の種類は、ショベルカーに限ることはなく、例えばブルドーザーなどの他の建設機械であってもよい。
【0018】
図2において、建設機械2は、本体部20と走行部21とを備えている。本体部20には、操縦者が操縦する操縦室が設けられている。本体部20は、走行部21の上部に水平面内に旋回自在に支持されている。走行部21は、無限軌道などの走行装置で構成され、建設機械2を走行させる。本体部20には、作業機が設けられている。
【0019】
作業機は、本体側から順に第1アーム部22、第2アーム部23、第3アーム部24、バケット部25を備えて構成されている。第1アーム部22は本体部20に取り付けられて支持されている。第2アーム部23は第1アーム部22に連設され、第3アーム部24は第2アーム部23に連設され、バケット部25は第3アーム部24に連設されている。作業機は、操縦者の操作にしたがって第1アーム部22、第2アーム部23、第3アーム部24、バケット部25が駆動され、掘削作業などを行う。
【0020】
図1に戻って、受信部10は、GNSS(Global Navigation Satellito System)衛星から送信された信号を受信し、受信した信号に基づいて建設機械2の位置(緯度、経度)を取得する。GNSS衛星は、一例としてGPS(Global Positioning System)衛星
である。
【0021】
受信部10は、ユーザの位置を検出する検出部として機能する。
【0022】
位置補正部12は、受信部10で取得された建設機械2の位置を補正する。位置の補正方法としては、例えばユーザが手動で入力操作することによりマップマッチングを行う手動マップマッピングの方法、もしくは建設機械2とランドマークとの距離を用いる方法が挙げられる。位置補正部12は、建設機械2の補正した位置を制御部19に与える。
【0023】
手動マップマッピングは、地図情報に登録された例えば建造物などのランドマークに基づいて、ユーザが手動操作により自位置を補正する。この手動マップチマッピングの方法は、例えば車載のナビゲーションシステムで採用された既知の技術を用いることができる。
【0024】
建設機械2とランドマークとの距離を用いる方法は、
図3(a),(b)に示す手順にしたがって行われる。
図3は建設機械2とその周辺を上から見た図であり、同図(a)は補正前を示す図であり、同図(b)は補正後を示す図である。
【0025】
図3(a)において、建設機械2の周囲には、例えば建造物などの3つのランドマークLM1〜LM3があるものとする。受信部10で取得した建設機械2の位置に対して、建設機械2とランドマークLM1とは距離a1だけ離れているものとする。同様に、建設機械2とランドマークLM2とは距離b2だけ離れ、建設機械2とランドマークLM3とは距離c3だけ離れているものとする。
【0026】
このような状況において、
図3(b)に示すように、後述するセンサ部13が備えている超音波センサが、建設機械2とランドマークLM1との距離を測定する。同様に、超音波センサが、建設機械2とランドマークLM2との距離、建設機械2とランドマークLM
3との距離を測定する。測定の結果、建設機械2とランドマークLM1とは距離a2だけ離れている結果が得られたものとする。同様に、建設機械2とランドマークLM2とは距離b2、建設機械2とランドマークLM3とは距離c2だけ離れている結果が得られたものとする。
【0027】
これにより、建設機械2の位置は、建設機械2とランドマークLM1〜LM3との各距離が上記測定結果となるように補正される。すなわち、
図3(b)に示すように、補正前の建設機械2(#1)の位置は、補正後の建設機械2(#2)の位置に補正される。
【0028】
位置補正部12は、建設機械2の位置を補正する際に、
図3に示す建設機械2とランドマークLM1〜LM3との位置関係を示す画像を表示部18に表示するようにしてもよい。
【0029】
図1に戻って、通信インターフェース部11は、無線通信ネットワーク、例えばインターネットを介してデータベース3と通信を行う。
【0030】
データベース3には、埋設物に関する情報が保存されている。埋設物に関する情報としては、種類、配置、構成、管理情報等である。種類は、水道管、ガス管、通信回線などである。配置情報は、平面方向ならびに深さ方向の配置位置、長さ、直径等である。構成は材質等である。管理情報は、埋設物を管理している会社や自治体のメールアドレス、電話番号などの連絡先等である。
【0031】
通信インターフェース部11は、インターネットを介してデータベース3と通信して、データベース3から埋設物に関する情報を取得する。通信インターフェース部11は、対象物の位置を取得する取得部として機能する。
【0032】
通信インターフェース部11は、インターネットを介して後述する通報メールを送信する。
【0033】
センサ部13は、複数の角度センサを備えている。角度センサは、第1アーム部22が本体部20に支持された支持部に設置され、後述する基準軸と第1アーム部22とのなす角度θ0を検出する。角度センサは、第1アーム部22と第2アーム部23との連設部に設置され、第1アーム部22と第2アーム部23とのなす角度θ1を検出する。
【0034】
角度センサは、第2アーム部23と第3アーム部24との連設部に設置され、第2アーム部23と第3アーム部24とのなす角度θ2を検出する。角度センサは、第3アーム部24とバケット部25との連設部に設置され、第3アーム部24とバケット部25とのなす角度θ3を検出する。角度センサは、本体部20と走行部21との接続部に設置され、走行部21に対する本体部20の旋回角度を検出する。この旋回角度は、後述するバケット部25と埋設物との距離を算出する際に用いられる。
【0035】
センサ部13は、加速度センサを備えている。加速度センサは、走行部21に設置され、検出された各方向の加速度を時間積分することで建設機械2の移動距離を検出する。
【0036】
センサ部13は、角速度センサを備えている。角速度センサは、走行部21に設置され、建設機械2の移動方向を検出する。角速度センサは、地面に対する建設機械2の傾き角度、傾き方向(前後方向、左右方向)を検出する。
【0037】
センサ部13は、超音波センサを備えている。超音波センサは、超音波の送受信により建設機械2と建設機械2の周辺に位置するランドマークとの距離を測定する。
【0038】
それぞれのセンサで検出された検出値は、制御部19に与えられる。
【0039】
距離算出部14は、
図2に示すバケット部25の先端(以下、作業点Sと呼ぶ)と埋設物との距離を算出する。
【0040】
図4〜
図6を参照して算出方法を説明する。
【0041】
図4は建設機械2を側面から見た図である。
図5は建設機械2を上から見た図であり、本体部20が旋回した様子を示している。
図6(a)はバケット部25を側面から見た図であり、
図6(b)は算出にあたってバケット部25を円筒形とみなした図である。
【0042】
算出にあたって、予め以下のように設定される
。X軸は、地面40上に設定し、地面40に対して水平に設定した直線である。X軸は、建設機械2から見て左右方向の埋設物までの距離を算出するための基準軸とする
。Y軸は、地面40上に設定し、地面40に対して水平に設定した直線である。Y軸は、建設機械2から見て前後方向の埋設物までの距離を算出するための基準軸とする。
【0043】
なお、この第1実施形態では、本体部20の旋回方向を角度センサで検出している。これにより、作業点Sの位置を算出する際には、本体部20の正面に埋設物があるものとし、Y軸を本体部20の旋回角度だけ回転させることでX座標を0とする。
【0044】
Z軸は、第1アーム部22が本体部20に支持された支持部から地面40に垂直に設定した直線である。Z軸は、建設機械2から見て垂直方向の埋設物までの距離を算出するための基準軸とする。
【0045】
基準軸41は、第1アーム部22が本体部20に支持された支持部からY軸に平行に設定された直線である。基準軸41は、第1アーム部22、第2アーム部23、第3アーム部24がなす角度を算出するための基準軸とする。
【0046】
角度θ0は、基準軸41との第1アーム部22とのなす角度である。角度θ1は、第1アーム部22を基準にして第1アーム部22と第2アーム部23とのなす角度である。角度θ2は、第2アーム部23を基準にして第2アーム部23と第3アーム部24とのなす角度である。角度θ3は、第3アーム部24を基準にして第3アーム部24とバケット部25とのなす角度である。角度θ1、角度θ2、角度θ3は、0<θ1、θ2、θ3<2πとし、単位は[rad]とする。
【0047】
アーム長aは、第1アーム部22の長さである。アーム長bは、第2アーム部23の長さである。アーム長cは、第3アーム部24の長さである。バケット長dは、
図6(a)に示すように、第3アーム部24に支持されたバケット部25の支持部とバケット部25の作業点Sとの間の長さである。これらの長さは予め実測し、もしくは建設機械2の仕様から取得する。
【0048】
まず、バケット部25の作業点SのZ座標Zsは、次式(1)により算出される。
【0049】
Zs=Z0+Z1+Z2+Z3+Z4 …(1)
Z座標Z0は、地面40から第1アーム部22までの高さであり、実測して求める。
【0050】
Z座標Z1、Z座標Z2、Z座標Z3は、次式(2)、(3)、(4)により算出される。
【0051】
Z1=アーム長a×sinθa …(2)
Z2=アーム長b×sinθb …(3)
Z3=アーム長c×sinθc …(4)
角度θa、角度θb、角度θcは、次式(5)、(6)、(7)により算出される。
【0052】
θa=π−θ0 …(5)
θb=π−(θ1−θa) …(6)
θc=π−(θ2−θb) …(7)
Z座標Z4は、
図6(b)に示すように、バケット部25を直径d、高さhの円筒に近似させて算出する。これにより、Z座標Z4は、次式(8)により算出される。
【0053】
Z4=−d …(8)
なお、バケット部25の作業点Sは、Y座標は±d、X座標は±h/2の範囲内で最も埋設物に近い部位をY座標、X座標とする。
【0054】
次に、バケット部25の作業点SのY座標Ysは、次式(9)により算出される。
【0055】
Ys=Y1+Y2+Y3+Y4 …(9)
Y座標Y1、Y座標Y2、Y座標Y3は、次式(10)、(11)、(12)により算出される。
【0056】
Y1=アーム長a×cosθa …(10)
Y2=アーム長b×cosθb …(11)
Y3=アーム長c×cosθc …(12)
Y座標Y4は、
図6(b)に示すように、バケット部25を直径d、高さhの円筒に近似させて算出するので、Y座標Y4は、次式(13)により算出される。
【0057】
Y4=±d …(13)
次に、バケット部25の作業点SのX座標Xsは、本体部20が旋回したときに必要な座標であり、
上記のように0とする。なお、ここでは、参考までに、X座標を0としない場合の算出方法を示す。
【0058】
図5において、建設機械2の本体部20(#3)が角度θx旋回して本体部20(#4)の方向に向いたものとする。
【0059】
角度θiは、次式(14)により算出される。
【0060】
θi=(π−θx)/2 …(14)
点X1と点Y1との距離iは、次式(15)により算出される。
【0061】
i=(Ys+Y0)×sinθx
…(15)
ここで、Y座標Ysは式(9)で算出したものであり、Y座標Y0は、第1アーム部22が本体部20に支持された支持部から本体部20の回転軸までの長さである。
【0062】
点Y1とX軸との距離Yiは、次式(16)により算出される。
【0063】
Yi=icosθi …(16)
点X1とY軸との距離Xiは、次式(17)により算出される。
【0064】
Xi=isinθi …(17)
よって、X座標Xsは、次式(18)により算出される。
【0065】
Xx=Xi±h/2 …(18)
距離Xiは、本体部20が旋回したことによりX座標が変化することを意味し、旋回後の座標Xsは、座標Xsから距離Xiを減算したものとなる。
【0066】
これにより、作業点Sの座標は、(Xs,(Ys−Yi),Zs)となる。ここで
、X座標を0としているので、距離Yiは0となり、作業点Sの座標は、(0,Ys,Zs)として求められる。
【0067】
次に、距離算出部14は、作業点Sと埋設物との距離を算出する。
【0068】
まず、埋設物の位置を、先に求めた作業点Sの座標を基準座標(0,0,0)としたときの相対座標(Xd,Yd,Zd)に置き換える。これにより、作業点Sから埋設物までの距離Lは、次式(19)により算出される。
【0069】
L=(Xd
2+Yd
2+Zd
2)
1/2 …(19)
図1に戻って、地図情報部15は、建設機械2が作業する周辺の地図情報を備えている。地図情報には、手動で各種のランドマークを任意に登録することができる。多くのランドマークを登録することで、先に説明した建設機械2の位置を補正する際の精度を高めることができる。
【0070】
また、埋設物の配置位置が事前に取得されている場合には、地図に埋設物の位置を予め登録しておくことができる。これにより、インターネットなどが使用できない環境であっても、埋設物の位置を表示することが可能となる。
【0071】
通報部16は、建設機械2による掘削作業中に誤って埋設物を破損した場合に、その旨を埋設物を管理する関係各所に電子メール等で通報する。この通信は、通信インターフェース部11を介して行われる。通報部16は、ボタンスイッチなどで構成される通報スイッチを備えている。この通報スイッチが操作されたら上記通報動作を行うようにしてもよい。
【0072】
投影部17は、埋設物の位置と、埋設物とバケット部25との接近の度合いを示す画像を表示部18に投影する。
【0073】
投影部17は、
図7に示すように、投影ユニット170、平面ミラー171,173、スクリーン172、凹面ミラー174を備えている。
【0074】
投影ユニット170は、制御部19の制御の下に、少なくとも埋設物の位置と、埋設物とバケット部25との接近の度合いを示す表示画像の像光を平面ミラー171に投射する。平面ミラー171は、投射された像光をスクリーン172に反射させる。
【0075】
スクリーン172は、拡散板やマイクロレンズがマトリックス状に配置された光透過性のマイクロレンズアレイなどで構成される。マイクロレンズアレイは、レーザ光特有のスペックルを低減する効果を有する。
【0076】
スクリーン172に入射した像光は、スクリーン172上で中間像を形成する。スクリーン172に入射した像光は、スクリーン172を透過し、透過した像光は平面ミラー173に入射する。平面ミラー173は、入射した像光を凹面ミラー174に反射させる。凹面ミラー174は、入射した像光を反射して表示部18に投影する。
【0077】
投影部17は、埋設物の位置と、埋設物とバケット部25との接近の度合いを示す画像の他に、埋設物に関する情報を表示部18に投影してもよい。埋設物に関する情報としては、例えば建設機械2の位置を求めた際の誤差に基づく埋設物の位置の誤差範囲である。他の例としては、例えば埋設物の種類、大きさ、埋設深さ、材質、埋設日などである。さらに他の例としては、建設機械2と埋設物との位置関係を示す画像である。
【0078】
表示部18は、投影部17から投影された画像
を表示
する。表示部18は、操縦者が視認している実景に重畳して、投影部17から投影された画像を虚像として表示
する。
【0079】
投影部17と表示部18は、例えばHUD(ヘッドアップディスプレイ)で構成される。投影部17と表示部18がHUDで構成される場合には、投影部17と表示部18とは、例えば車両のフロントガラス越しに視認される実景に重畳して虚像を表示する車両用のHUDで用いられている技術と同様の技術を用いることができる。
【0080】
なお、投影部17と表示部18は、視認者の頭部に装着するHMD(ヘッドマウントディスプレイ)であってもよい。
【0081】
表示部18は、投影部17と表示部18をHUDで構成した場合に、第1実施形態では、建設機械2の操縦室のフロントガラスで構成される。
【0082】
フロントガラスは、光が半透過性のガラスで構成され、ハーフミラーとして機能する。フロントガラスの光の透過率は、例えば45%から90パーセントである。透過率を変化させて虚像の透過度を調節することで、実像との重畳の様子を変化させることができる。これにより、フロントガラスは、表示部18としての表示機能と、操縦者が実景を視認する視認性の確保を両立させることができる。
【0083】
表示部18は、少なくとも埋設物の位置と、埋設物と作業点Sとの接近の度合いを示す画像
を表示
する。
【0084】
埋設物の位置は、埋設物の位置を例えば埋設物の輪郭線として表示される。埋設物と作業点Sとの接近の度合いは、例えば埋設物の輪郭線の表示色を接近の度合いに応じて変えて表示される。埋設物の輪郭線は、埋設物と作業点Sとの距離が、例えば150cm以上の場合には緑色、100cm以上150cm未満の場合には黄色、100cm未満の場合には、赤色で表示される。
【0085】
他の例とし
て、埋設物の輪郭線の鮮明度は、接近の度合いに応じて変えられる。埋設物とバケット部25との距離が、例えば100cm未満の場合には、接近の度合いは、最も鮮明に表示され、距離が遠ざかるに応じて輪郭線をぼやかして鮮明度が徐々に低下して表示される。
【0086】
図8は建設機械2の操縦室80を側面(
図5のX軸方向)から見た図である。
【0087】
図8において、投影部17は、操縦室80の下部に設置されている。投影部17からフロントガラス81に向けて投影された投影光82は、フロントガラス81で反射して操縦者83の視点84に到達する。
【0088】
これにより、操縦者83は、フロントガラス81で反射された投影光82が重畳された実景を視認する。したがって、操縦者83は、埋設物の位置、ならびに作業点と埋設物との接近の度合いの画像が重畳された実景をフロントガラス81越しに視認しながら掘削などの作業を行うことができる。
【0089】
図9は操縦者83がフロントガラス81越しに視認する実景の一例を模式的に示している。
図9において、操縦者83はフロントガラス81越しに建設機械2の作業機90を実景として視認している。フロントガラス81には、埋設物の位置を示す輪郭線91が例えば破線で表示されている。作業点と埋設物との接近の度合いは、上述したように、輪郭線91の表示色で表示される。また、フロントガラス81には、埋設物の位置の誤差範囲が、例えば輪郭線91の表示色と異なる表示色で一点鎖線の輪郭線92で示されている。
【0090】
さらに、フロントガラス81には、上述したように、埋設物に関する埋設物情報93が表示されている。埋設物情報93としては、埋設物が水道管で、埋設物の直径、埋設の深さ、長さ、材質、設置日が表示(具体的な情報は図示せず)されている。
【0091】
また、フロントガラス81の右下には、建設機械2と輪郭線91との平面方向の位置関係を示す模式的な画像94が表示されている。フロントガラス81の左上には、建設機械2と輪郭線91との深さ方向の位置関係を示す模式的な画像95が表示されている。
【0092】
図1に戻って、制御部19は、投影部17から表示部18に投影される投影画像を生成する機能を含めて、対象物表示装置1の全体を制御する機能を有する。制御部19は、CPUを有するコンピュータにより実現することができる。制御部19は、対象物表示装置1の全体を制御する制御プログラムを記憶した記憶部を有し、この制御プログラムを実行することで対象物表示装置1の全体を制御する。
【0093】
制御部19を実現するコンピュータは、制御プログラムを実行することで、位置補正部12、距離算出部14が担う上述したそれぞれの機能を実現する。
【0094】
制御部19は、建設機械2の移動にともなって、建設機械2の位置を更新する。制御部19は、センサ部13が備えている加速度センサならびに角速度センサで検出された建設機械2の移動距離と方向とに基づいて、建設機械2の位置を更新する。
【0095】
制御部19は、投影部17から表示部18に投影されて表示される画像を生成するにあたって、
まず建設機械2の周囲に仮想空間を構築する。この仮想空間の一例を
図10に示す。
【0096】
図10に示す仮想空間上には、データベース3から取得した埋設物の位置に基づいて、埋設物100が配置される。
【0097】
図10に示す仮想空間において、取得された建設機械2の位置に基づいて操縦者の視点位置101が求められる。建設機械2の位置が取得されることで、操縦者の着座位置が求められる。したがって、操縦者の視点位置101は、例えば操縦者の着座位置から視点までの距離として算出することができる。操縦者の視点位置101は、
図10に示すように仮想空間上に配置される。
【0098】
仮想空間上には、操縦者の視点位置101の正面方向(
図10に矢印で示す)に、建設機械2の位置に基づくフロントガラス81の位置と範囲が設定される。
【0099】
図10に示す仮想空間において、X’Y’Z’座標系が設定される。このX’Y’Z’座標系は、視点位置101とフロントガラス81の中心OFとを結ぶ直線を延長した直線102と地面との交点を原点OL(0,0,0)とする。このX’Y’Z’座標系では、地面のZ座標を0とする。このX’Y’Z’座標系を用いて、後述するようにして、フロントガラス81に投影される対象物の画像のフロントガラス81上での投影位置が算出される。
【0100】
制御部19は、上述した仮想空間において、操縦者の視点位置101からフロントガラス81の範囲内に位置する埋設物100を示す画像を投影画像として生成する。制御部19は、投影画像を一点透視図法などの遠近法を用いて生成することができる。
【0101】
制御部19は、仮想空間上に配置された対象物の位置とフロントガラス81の投影位置とを対応づけて投影画像を生成する。
図11を参照して、フロントガラス81上に表示される画像のフロントガラス81上の投影位置の算出方法を説明する。
【0102】
図11は仮想空間における、視点位置101(OP)と、仮想空間上に配置された対象物の位置Pと、対象物の位置Pに対応したフロントガラス81上での投影画像の投影位置pとの関係を示す図である。
【0103】
図11において、仮想空間はX’Y’Z’(大文字で表記する)の座標系で表される。このX’Y’Z’座標系とは別に、フロントガラス81の平面上は、xy(小文字で表記する)の座標系で表される。xyの座標系では、フロントガラス81の横方向(仮想空間でのX方向)をx方向とし、フロントガラス81の縦方向(仮想空間でのZ方向)をy方向とする。
図11において、長さの単位は[m]とし、角度の単位は[rad]とする
。
図11において、X’Y’Z’座標系の原点OL(0,0,0)は、視点位置101(OP)とフロントガラス81の中心OFとを結ぶ直線を延長した直線と地面(Z座標0)との交点とする。xy座標系の原点o(0,0)は、フロントガラス81の中心とする。
【0104】
X’Y’Z’座標系では、視点位置101とフロントガラス81の中心OFとを結ぶ直線と水平線とのなす角度を角度θ0とする。X’Y’Z’座標系では、地面から視点位置101までの高さを高さmとする。X’Y’Z’座標系では、フロントガラス81の中心OFから視点位置101の高さを高さm0とする。視点位置101と原点OLとの水平距離nは、次式(20)により算出される。
【0105】
n=m/tanθ0=l×m/m0 …(20)
X’Y’Z’座標系では、フロントガラス81に表示する対象物の位置を位置P(X’0,Y’0,Z’0)とする。xy座標系では、この対象物の位置Pに対応してフロントガラス81に投影される画像のフロントガラス81上の投影点を投影点p(x0,y0)とする。
【0106】
視点位置101は、仮想空間上のX’Y’Z’座標系でOP(0,−n,m)で表される。X’Y’Z’座標系では、フロントガラス81の中心OFは、OF(0,0,(m−m0))で表される。
【0107】
xy座標系では、フロントガラス81の横方向(x方向)の幅を幅Wとし、縦方向(y方向)の幅を幅Hとすると、フロントガラス81は、次式(21)で示すように配置される。
【0108】
−W/2<x0<W/2、−H/2<y0<H/2 …(21)
図11において、対象物の位置PからY’−Z’平面に下ろした垂線の交点を点P’(0,Y’0,Z’0)とする。点P’からY’=−nの点に下ろした垂線の交点を点OP’(0,−n,Z’0)とする。
【0109】
対象物の位置Pと点P’とを結ぶ直線と、対象物の位置Pと点OP’とを結ぶ直線とのなす角度θxは、次式(22)により算出される。
【0110】
θx=arctan((Y’0+n)/X’0) …(22)
視点位置101と点P’とを結ぶ直線と、点P’と点OP’とを結ぶ直線とのなす角度θyは、次式(23)により算出される。
【0111】
θy=arctan((m+Z’0)/(Y’0+n)) …(23)
対象物の位置Pに対応した投影位置pは、
式(20)、(22)、(23)を用いて次
の式(24)より算出される。
【0112】
p(x0,y0)
=(X’0tanθx,m0−ltanθy)
=(X’0(l/(Y’0+n)),m0−l((m+Z’0)/(Y’0+n)))
=(X’0(l/(Y’0+l(m/m0))),m0−l((m+Z’0)/(Y’0+l(m/m0)))) …(24)
このように、仮想空間上で視点位置101と対象物の位置Pとの位置関係にしたがって、対象物のフロントガラス81上での位置が算出される。これにより、対象物の位置Pに対応してフロントガラス81に投影される投影画像の投影位置pが算出される。
【0113】
投影部17は、算出された投影位置pにしたがって画像をフロントガラス81上に投影することで、対象物の位置と大きさに応じた画像が、フロントガラス81に投影される。したがって、フロントガラス81に投影された対象物の画像は、実景に重畳されてフロントガラス81上に表示される。
【0114】
このように、対象物の画像をフロントガラス81に表示することにより、実空間の状況にかかわらず視点位置101から実際に視認されるように対象物がフロントガラス81に表示される。したがって、対象物の埋設物が土で覆われていても、埋設物が実際に埋設されている位置に操縦者に視認されるように、埋設物がフロントガラス81に表示される。
【0115】
図1に戻って、制御部19は、埋設物の位置の誤差範囲を表示する場合には、建設機械2の位置の誤差を含めて、埋設物の位置の誤差範囲を示す画像を投影画像として生成する。
【0116】
制御部19は、建設機械2の本体部20が旋回して操縦者の視点位置101が水平方向に移動した場合には、仮想空間のX’−Y’平面を旋回と同方向、同角度回転させる。制御部19は、回転した仮想空間上で、上述したと同様にして、埋設物100の位置を示す画像を投影画像として生成する。同様にして、建設機械2が傾斜などによってY’−Z’平面内、またはZ’−X’平面内で傾いた場合には、仮想空間のY’−Z’平面、またはZ’−X’平面を傾斜と同角度傾斜させる。
【0117】
制御部19は、データベース3から取得された情報に基づいて、
図9に示すような埋設物情報93を示す画像を投影画像として生成する。制御部19は、建設機械2の位置と埋設物の位置とに基づいて、
図9に示すような建設機械2と埋設物との位置関係を示す模式的な画像94,95を投影画像として生成する。
【0118】
制御部19は、上述したような仮想空間を構築して、操縦者がフロントガラス81越しに視認している実景に対応して埋設物の位置を示す画像を生成することができる。制御部19は、生成した投影画像を投影部17に与える。
【0119】
図12は埋設物を表示する際の手順を示すフローチャートである。
【0120】
図12において、受信部10は、ステップS1201にて、GNSS衛星からの信号に基づいて建設機械2の位置を取得する。
【0121】
続いて、位置補正部12は
、ステップS1202にて、
図3に示すように超音波センサを用いて建設機械2とそれぞれのランドマークとの距離を測定する。
【0122】
位置補正部12は、ステップS1203にて、建設機械2とそれぞれのランドマークとの距離
がステップS1202で得られた測定結果となるように、建設機械2の位置を補正する。
【0123】
通信インターフェース部11は、ステップS1204にて、インターネットを介してデータベース3と通信し、データベース3から埋設物に関する情報を取得する。
【0124】
制御部19は、ステップS1205にて、建設機械2の移動にともなって、建設機械2の位置を更新する。
【0125】
制御部19は、ステップS1206にて、ステップS1205で更新された建設機械2の位置に基づいて、
図9で説明したように投影画像を生成する。制御部19は、ステップS1206にて、生成した投影画像を投影部17に与える。投影部17は、ステップS1206にて、表示部18に少なくとも埋設物の位置を示す画像を表示する。
【0126】
距離算出部14は、ステップS1207にて、
図4〜
図6を参照して説明したように建設機械2の作業点Sと埋設物との距離を算出する。
【0127】
制御部19は、ステップS1208にて、埋設物の位置を示す画像の表示色を、ステップS1207にて算出した距離に応じた表示色とし、建設機械2と埋設物との接近度合いを表示部18に表示させるように制御する。
【0128】
制御部19は、
ステップS1209にて、投影画像の投影を続行するか否かを判別する。判別の結果、投影を終了する場合(
YES)は、一連の処理を終了する。一方、投影を終了しない場合(
NO)には、先のステップS1204に戻り、ステップS1204から再度処理を実行する。
【0129】
上記第1実施形態では、以下に示す効果を得ることができる。
【0130】
対象物表示装置は、建設機械の操縦者が視認している実景に重畳して、表示対象物となる埋設物の位置と、埋設物と建設機械の作業点との接近の度合いを示す画像を操縦室のフロントガラスに表示する。これにより、操縦者は、作業中に建設機械の作業点を視認している視線を移動させることなく、埋設物の位置ならびに埋設物までの接近の度合いを容易に認識することができる。
【0131】
この結果、第1実施形態は、作業中に埋設物の位置や埋設物までの接近度合いを誤って埋設物を損傷するような事故を回避することができ、作業の作業性を損なわずに安全性を高めることができる。また、操縦者は、視線を移動することなく作業に集中することができるので、作業効率を向上させることができる。
【0132】
対象物表示装置は、埋設物の位置を示す画像の表示色もしくは画像の鮮明度により、対象物と建設機械の作業点との接近の度合いを表示する。これにより、操縦者は、埋設物と建設機械の作業点との接近の度合いを瞬時に認識することができる。
【0133】
(第2実施形態)
次に、本発明の第2実施形態に係る対象物表示装置について説明する。
【0134】
第2実施形態に係る対象物表示装置
について、第1実施形態の対象物表示装置と異なる点を以下に示す。第1の異なる点は、表示位置の対象物を埋設物に代えて、空中に架設された送電線や通信回線、送電線や通信回線電柱、電信柱、信号機、道路標識などの地面より上方向に配置されている構造物を対象物とする。第2の異なる点は、窓ガラスをフロントガラスから操縦室の天井部に設けられた透明な天井ガラスに代えて、天井ガラスに対象物を表示する。
【0135】
第2実施形態に係る対象物表示装置は、他は第1実施形態に係る対象物表示装置と同様である。以下、第1実施形態に係る対象物表示装置と異なる点について説明する。
【0136】
図13を参照して、本発明の第2実施形態に係る対象物表示装置の構成を説明する。ここでは、空中に仮設された送電線や通信回線などのケーブルを対象物の一例として説明する。
図13において、
図1と同符号のものは同機能を有するものであり、その説明
を省略する。
【0137】
対象物表示装置130は、通信インターフェース部11に代えて通信インターフェース部131、距離算出部14に代えて距離算出部132を備えている。また、対象物表示装置130は、投影部17に代えて投影部133、表示部18に代えて表示部134、制御部19に代えて制御部135を備えている。
【0138】
図13において、通信インターフェース部131は、無線通信ネットワーク、例えばインターネットを介してデータベース4と通信を行う。
【0139】
データベース4には、上記ケーブルに関する情報が保存されている。ケーブルに関する情報としては、種類、配置、管理情報等である。種類は、送電線や通信回線などである。配置情報は、配置位置、長さ、大きさ、高さなどである。管理情報は、管理している会社や自治体のメールアドレス、電話番号などの連絡先等である。
【0140】
通信インターフェース部11は、インターネットを介してデータベース4と通信して、データベース4からケーブルに関する情報を取得する。
【0141】
距離算出部132は、
図2に示すバケット部25の作業点Sとケーブルとの距離を算出する。距離算出部132は、
図4〜
図6を参照して説明したのと同様にして、埋設物をケーブルに代えて、バケット部25の作業点Sとケーブルとの距離を算出する。
【0142】
なお、建設機械2が掘削作業時にケーブルと接触しやすい作業点Sとしては、バケット部25の先端に代えて、例えば第3アーム部24とバケット部25との接続部であってもよい。この場合でも、
図4〜
図6に示す算出方法と同様にしてケーブルと作業点Sとの距離は算出される。
【0143】
投影部133は、ケーブルの位置と、ケーブルと建設機械2の作業点Sとの接近の度合いを示す画像を表示部134に投影する。投影部133は、
図7に示すと同様に構成される。
【0144】
投影部133は、ケーブルの位置と、ケーブルと作業点Sとの接近の度合いを示す画像の他に、ケーブルに関する情報を表示部134に投影して表示するようにしてもよい。ケーブルに関する情報としては、例えば建設機械2の位置を求めた際の誤差に基づくケーブルの位置の誤差範囲である。他の例としては、例えばケーブルの種類、長さ、架設の高さ、架設日などである。さらに他の例としては、建設機械2とケーブルとの位置関係を示す画像である。
【0145】
表示部134は、投影部133から投影された画像を表示する。表示部134は、操縦者が視認している実景に重畳して、投影部133から投影された画像を虚像として表示する。
【0146】
投影部133と表示部134は、例えばHUDで構成される。投影部133と表示部134がHUDで構成される場合には、投影部133と表示部134とは、例えば車両のフロントガラス越しに視認される実景に重畳して虚像を表示する車両用のHUDで用いられている技術と同様の技術を用いることができる。
【0147】
なお、投影部133と表示部134は、視認者の頭部に装着するHMD(ヘッドマウントディスプレイ)であってもよい。この場合は、投射される面が視点に近くなるため、仮想空間における対象物をより広い範囲で重畳させて視認させることができる。
【0148】
投影部133と表示部134をHUDで構成した場合に、表示部134は、第2実施形態では、建設機械2の操縦室の天井に設けられた天井ガラスで構成される。
【0149】
天井ガラスは、第1実施形態のフロントガラスと同様に光が半透過性のガラスで構成され、ハーフミラーとして機能する。
【0150】
図14は
図8と同様に建設機械2の操縦室80を側面(
図5のX軸方向)から見た図である。
【0151】
図14において、投影部133は、操縦室80の下部に設置される。投影部133から天井ガラス140に向けて投影された投影光141は、天井ガラス140で反射されて操縦者83の視点84に到達する。
【0152】
これにより、操縦者83は、天井ガラス140で反射された投影光141が重畳された実景を視認する。したがって、操縦者83は、ケーブルの位置、ならびにケーブルとの接近の度合いを示す画像が重畳された実景を天井ガラス140越しに視認しながら掘削などの作業を行うことができる。
【0153】
図15は操縦者が天井ガラス140越しに視認する実景の一例を模式的に示している。操縦者が天井ガラス140越しに視認する、
図15に示す実景は、建設機械2の周辺に架設されたケーブルの一部が建設機械2の周辺の木々151に遮られている場合を示している。
【0154】
図15において、操縦室80の天井に設けられた天井ガラス140には、木々で遮られた部分を含めてケーブルの位置を示す画像150が例えば破線で表示されている。建設機械2とケーブルとの接近の度合いは、埋設物を表示する場合と同様に、画像150の表示色で表示される。
【0155】
なお、
図15には記載されていないが、埋設物の
図9と同様にケーブルの位置の誤差範囲が、例えば画像150の表示色と異なる表示色の破線で表示されるようにしてもよい。さらに、
図9と同様に先に触れたケーブルに関する情報や、建設機械2とケーブルとの位置関係が、模式的に表示されるようにしてもよい。
【0156】
図13戻って、制御部135は、第1実施形態の制御部19と同様にコンピュータにより実現される。制御部19を実現するコンピュータは、制御プログラムを実行することで、位置補正部12、距離算出部14が担う上述したそれぞれの機能を実現する。
【0157】
制御部135は、制御プログラムが実行されることで、制御部19と同様に、建設機械2の位置を更新する機能、投影画像を生成する機能、ならびに装置全体を制御する機能を実現する。
【0158】
制御部135は、投影画像を生成するにあたって、
図10を参照して説明したと同様にして投影画像を生成する。
【0159】
図10に示す仮想空間上には、データベース4から取得したケーブルの位置に基づいて、ケーブルが配置される。仮想空間上に、先に説明したと同様にして操縦者の視点位置101が設定される。
【0160】
仮想空間上には、操縦者の視点位置101の上方に、建設機械2の位置に基づく天井ガラス140の位置と範囲が設定される。
【0161】
制御部19は、上述した仮想空間において、操縦者の視点位置101から天井ガラス140の範囲内に位置するケーブルを示す画像を投影画像として生成する。制御部19は、投影画像を一点透視図法などの遠近法を用いて生成することができる。
【0162】
制御部19は、仮想空間上に配置されたケーブルの位置と天井ガラス140の投影位置とを対応づけて投影画像を生成する。天井ガラス140上に表示される画像の天井ガラス140上の投影位置の算出方法は、
図11を参照して説明したと同様である。
【0163】
制御部135は、ケーブルの位置の誤差範囲を表示する場合には、上述したと同様にして、ケーブルの位置の誤差範囲を示す画像を投影画像として生成する。
【0164】
制御部135は、上述したように仮想空間を想定して、操縦者83が天井ガラス140越しに視認している実景に対応してケーブルの位置を示す画像150を生成することができる。制御部135は、生成した投影画像を投影部133に与える。
【0165】
制御部135は、制御プログラムを実行することで、
図12に示すフローチャートと同様の手順を実行して、埋設物に代えてケーブルの位置の表示動作を行う。
【0166】
第2実施形態では、以下に示す効果を得ることができる。
【0167】
対象物表示装置は、建設機械の操縦者が視認している実景に重畳して、表示対象物となる空中に架設されたケーブルの位置と、ケーブルと建設機械の作業点との接近の度合いを示す画像を操縦室の天井ガラスに表示する。これにより、操縦者は、作業中に建設機械の作業点を視認している視線を移動させることなく、立ち木やその外の構造物によって隠れた位置にあるケーブルの位置ならびにケーブルまでの接近の度合いを容易に認識することができる。
【0168】
この結果、第2実施形態では、作業中にケーブルの位置やケーブルまでの接近度合いを誤ってケーブルを損傷するような事故を回避することができ、作業の安全性を高めることができる。また、操縦者は、視線を移動することなく作業に集中することができるので、作業効率を向上させることができる。
【0169】
対象物表示装置は、ケーブルの位置を示す画像の表示色もしくは画像の鮮明度により、対象物と建設機械の作業点との接近の度合いを表示する。これにより、操縦者は、ケーブルと建設機械の作業点との接近の度合いを瞬時に認識することができる。
【0170】
第1,第2の実施形態において、埋設物もしくはケーブルと建設機械との接近度合いが予め設定された閾値以内に接近した場合には、操縦者に報知する報知装置を設けてもよい。報知装置は、操縦室に設置され、警報音の発生、もしくはランプの点灯、点滅等の視覚的な警告表示を行う。
【0171】
これにより、埋設物もしくはケーブルと建設機械との接近を操縦者に喚起して、埋設物もしくはケーブルの損傷を未然に防ぐことができる。
【0172】
また、埋設物もしくはケーブルと建設機械の作業点Sとの距離が予め設定された閾値以内に接近した場合には、建設機械の作業機の駆動を停止させるようにしてもよい。建設機械の作業機の駆動を停止させる構成は、建設機械に設けられ、本対象物表示装置からの指令に基づいて建設機械の作業機の駆動を停止させる。
【0173】
これにより、埋設物もしくはケーブルと建設機械との接触を回避して、埋設物もしくはケーブルの損傷を未然に防ぐことができる。