特許 7593487 操縦支援装置及び作業機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】操縦支援装置及び作業機

(51)【国際特許分類】

   B66C 13/46 20060101AFI20241126BHJP

【ＦＩ】

B66C13/46 F

【請求項の数】 8

(21)【出願番号】P 2023517209

(86)(22)【出願日】2022-03-30

(86)【国際出願番号】 JP2022016250

(87)【国際公開番号】W WO2022230592

(87)【国際公開日】2022-11-03

【審査請求日】2023-08-25

(31)【優先権主張番号】P 2021075393

(32)【優先日】2021-04-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000148759

【氏名又は名称】株式会社タダノ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】元木 浩平

(72)【発明者】

【氏名】神田 真輔

(72)【発明者】

【氏名】米田 瑞生

(72)【発明者】

【氏名】二葉 文彦

【審査官】今野 聖一

(56)【参考文献】

【文献】特開２００８－３１２００４（ＪＰ，Ａ）

【文献】特表２０２０－５３５０９１（ＪＰ，Ａ）

【文献】特開２０１９－１５６５３８（ＪＰ，Ａ）

【文献】特開２０１４－１４４８５０（ＪＰ，Ａ）

【文献】特開２０１５－１２４０２３（ＪＰ，Ａ）

【文献】特開２０１８－０５６２５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｃ １３／００ － １５／０６

(57)【特許請求の範囲】

【請求項1】

使用者の頭部に装着可能に構成され、旋回、起伏及び伸縮が可能なブームを有する作業機の操縦を支援するための操縦支援装置であって、
透明なディスプレイと、
前記操縦支援装置の使用時に、前記使用者が前記ディスプレイ越しに見える風景に基準面を設定する設定部と、
前記ディスプレイに表示された前記基準面と重なるように、前記作業機の操縦を支援するための仮想画像を前記ディスプレイに表示する制御部と、を備え、
前記基準面は、前記使用時に、前記使用者が前記ディスプレイ越しに見る前記風景における地表面、又は、前記使用者が前記ディスプレイ越しに見る前記風景において前記使用者により任意に選択された面であり、
前記制御部は、前記使用者の視点から見た前記仮想画像を生成し、生成した前記仮想画像を、前記使用者の視野内に重畳するように前記ディスプレイに表示し、
前記仮想画像は、
前記ブームとともに移動する基準部材の目標位置を示す画像、
旋回、起伏及び伸縮から選択される少なくとも一つの前記ブームの動作にともない、前記基準部材が前記目標位置から移動する際に描く軌道を示す画像、及び、
前記ブームとともに移動する基準部材の現在位置を通り鉛直方向に平行な線を示す画像を含む、
操縦支援装置。

【請求項2】

前記仮想画像は、前記ブームとともに移動する基準部材の現在位置を示す画像、及び、旋回、起伏及び伸縮から選択される少なくとも一つの前記ブームの動作にともない、前記基準部材が前記現在位置から移動する際に描く軌道を示す画像である、請求項１に記載の操縦支援装置。

【請求項3】

前記仮想画像は、前記ブームとともに移動する基準部材の目標位置を通り鉛直方向に平行な線を示す画像を含む、請求項１に記載の操縦支援装置。

【請求項4】

前記仮想画像は、前記ブームとともに移動する基準部材の移動速度及び移動方向を示すベクトルの画像を含む、請求項１に記載の操縦支援装置。

【請求項5】

前記制御部は、カメラにより撮影された当該操縦支援装置の使用者の手の動作に基づいて、前記ディスプレイの表示を制御する、請求項１に記載の操縦支援装置。

【請求項6】

前記ディスプレイを支持し、当該操縦支援装置の使用者が装着可能なフレームを、更に有する、請求項１に記載の操縦支援装置。

【請求項7】

前記フレームは、前記使用者の耳に支持される一対のテンプルを有する、請求項６に記載の操縦支援装置。

【請求項8】

旋回、起伏及び伸縮が可能なブームと、
請求項１に記載の操縦支援装置と、を備える、
作業機。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機の操縦支援装置及び作業機に関する。

【背景技術】

【0002】

従来、移動式クレーン等の作業機により荷物を搬送する場合、移動式クレーンの操縦者は、移動式クレーンのブームを操作するための旋回用操作具、起伏用操作具、伸縮用操作具及び荷物を吊り上げ又は吊り下げるためのウインチ用操作具等の複数の操作具を操作する。

【0003】

又、操縦者は、複数の操作具を同時に操作しつつ、作業現場の構造物等に荷物が接触しないように移動式クレーンを操作しなくてはならない。そこで、操縦者は、荷物の位置についての情報および地物の情報等を、玉掛作業者等から取得することによって、操縦者が視認できない範囲の情報及び時期の情報を補っている。つまり、操縦者は、操縦者の視覚による情報と外部の指示者からの情報とに基づいてクレーンの操縦を行う。

【0004】

又、移動式クレーンは、操縦者が操縦席から認識し難い領域の情報を取得するためにブームカメラ等を有している。移動式クレーンは、搬送中の荷物及び周囲の建造物等の上方からの画像をブームカメラによって取得することができる。例えば、特許文献１の如くである。

【0005】

特許文献１に記載のクレーンは、ブームの先端に設けられているブームカメラで作業現場の画像及びフックに吊り下げられている荷物の画像を取得するとともに、画像に荷物を中心とする基準線、目盛、荷物の移動方向を示す有向線分及び荷物の旋回可能軌道等の少なくとも一つを重畳して表示させる。クレーンの操縦者は、操縦者自身の視覚情報、指示者からの情報及びブームカメラの画像情報を総合的に判断してクレーンを操縦する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－１５６５３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

クレーン操縦者は、指示者の指示内容、及び、指示のタイミングに合わせてクレーンを操作するため、操縦者のペースでクレーンを操作できない。又、操縦者が指示者の意図をくみ取れない場合、又は、通信不良によって指示者からの指示内容が十分に伝わらない場合等に荷物の移動に多くの時間を要することがある。一方、ブームカメラからの画像は、撮影方向及び撮影範囲が限定されている。従って、クレーン操縦者は、ブームカメラからの画像から荷物を効率よく移動させるために必要な情報を十分に取得することができない。

【0008】

本発明の目的は、作業機の作業効率を向上できる操縦支援装置及び作業機を提供することである。

【課題を解決するための手段】

【0009】

本発明に係る操縦支援装置の一態様は、
旋回、起伏及び伸縮が可能なブームを有する作業機の操縦を支援するための操縦支援装置であって、
透明なディスプレイと、
ディスプレイ越しに見える風景に基準面を設定する設定部と、
ディスプレイに表示された基準面と重なるように、作業機の操縦を支援するための仮想画像をディスプレイに表示する制御部と、を備える。
上述のような操縦支援装置を実施する場合に、好ましくは、操縦支援装置は、使用者の頭部に装着可能に構成されてよい。
又、設定部は、操縦支援装置の使用時に、使用者がディスプレイ越しに見える風景に基準面を設定してよい。
又、基準面は、使用時に、使用者がディスプレイ越しに見る風景における地表面、又は、使用者がディスプレイ越しに見る風景において使用者により任意に選択された面であってよい。
更に、制御部は、使用者の視点から見た仮想画像を生成し、生成した仮想画像を、使用者の視野内に重畳するようにディスプレイに表示する。
上述のような操縦支援装置を実施する場合に、具体的には、
仮想画像は、
ブームとともに移動する基準部材の目標位置を示す画像、
旋回、起伏及び伸縮から選択される少なくとも一つのブームの動作にともない、基準部材が目標位置から移動する際に描く軌道を示す画像、及び、
ブームとともに移動する基準部材の現在位置を通り鉛直方向に平行な線を示す画像を含んでよい。

【発明の効果】

【0010】

本発明によれば、作業機の作業効率を向上できる操縦支援装置及び作業機を提供できる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の一実施形態に係る作業機の操縦支援装置における透過型表示装置が使用者に装着された斜視図である。

【図2】図２は、本発明の一実施形態に係る作業機の操縦支援装置における透過型表示装置の斜視図である。

【図3】図３は、本発明の一実施形態に係る作業機の操縦支援装置のブロック図である。

【図4】図４は、本発明の一実施形態に係る作業機の操縦支援装置において透過型表示装置に表示する仮想画像の模式図である。

【図5】図５は、本発明の一実施形態に係る作業機の操縦支援装置において透過型表示装置に表示する仮想画像の基準面を変更した状態の模式図である。

【図6】図６は、本発明の一実施形態に係る作業機の操縦支援装置が接続されるクレーンの側面図である。

【図7】図７は、本発明の一実施形態に係る作業機の操縦支援装置が接続されるクレーンの制御ブロック図である。

【図8】図８は、本発明の一実施形態に係る作業機の操縦支援装置が第１仮想画像及び第２仮想画像を表示するための情報に必要な情報を生成する際のブロック図である。

【図9】図９は、本発明の一実施形態に係る作業機の操縦支援装置が第１仮想画像、第２仮想画像、第３仮想画像、第５仮想画像及び第７仮想画像を表示している状態の模式図である。

【図10】図１０は、本発明の一実施形態に係る作業機の操縦支援装置が第３仮想画像を表示するための情報に必要な情報を生成するためのブロック図である。

【図11】図１１は、本発明の一実施形態に係る作業機の操縦支援装置が第４仮想画像を表示するための情報に必要な情報を生成するためのブロック図である。

【図12】図１２は、本発明の一実施形態に係る作業機の操縦支援装置が第３仮想画像、第４仮想画像、第５仮想画像及び第７仮想画像を表示している状態の模式図である。

【図13】図１３は、本発明の一実施形態に係る作業機の操縦支援装置が第５仮想画像を表示するための情報に必要な情報を生成するためのブロック図である。

【図14】図１４は、本発明の一実施形態に係る作業機の操縦支援装置が第６仮想画像を表示するための情報に必要な情報を生成するためのブロック図である。

【図15】図１５は、本発明の一実施形態に係る作業機の操縦支援装置が第１仮想画像、第２仮想画像、第６仮想画像及び第７仮想画像を表示している状態の模式図である。

【図16】図１６は、本発明の一実施形態に係る作業機の操縦支援装置が第７仮想画像を表示するための情報に必要な情報を生成するためのブロック図である。

【図17】図１７は、本発明の一実施形態に係る作業機の操縦支援装置が第１仮想画像の変形例を表示している状態の模式図である。

【発明を実施するための形態】

【0012】

以下に、図１から図５を用いて、本発明の一実施形態に係る作業機の操縦支援装置１について説明する。図１は、本発明の一実施形態に係る作業機の操縦支援装置における透過型表示装置が使用者に装着された斜視図である。

【0013】

図２は、作業機の操縦支援装置１における透過型表示装置２の斜視図である。図３は、作業機の操縦支援装置１のブロック図である。図４は、作業機の操縦支援装置１において仮想画像Ｉｍを表示した模式図である。

【0014】

図５は、作業機の操縦支援装置１において仮想画像Ｉｍを表示する基準面Ｓ１が変更された模式図である。尚、本実施形態においては、作業機としてラフテレーンクレーン（以下、単に「クレーン」と記す。）ついて説明を行う。

【0015】

しかしながら、作業機は、オールテレーンクレーン、トラッククレーン及び高所作業車等の旋回台を介して起伏可能なブームが設けられた作業機であればよい。

【0016】

図１と図２とに示すように、作業機であるクレーン１１（図６参照）の操縦支援装置１は、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を用いてクレーン１１の操縦を支援するシステムである。操縦支援装置１は、透過型表示装置２と、通信装置８と、画像処理装置９とを有する。

【0017】

透過型表示装置２は、使用者から見て透過型表示装置２の表示画面と重複している透過型表示装置２の背景を使用者が視認可能な表示装置である。透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。

【0018】

本実施形態において、透過型表示装置２は、眼鏡型のウェアラブル端末として説明する。透過型表示装置２は、使用者であるクレーン１１の操縦者に装着されている。透過型表示装置２は、フレーム３と、透過型ディスプレイ４と、表示装置用ＧＮＳＳ受信機５と、表示装置用カメラ６と、表示装置用制御装置７とを有する。

【0019】

フレーム３は、透過型ディスプレイ４と、表示装置用ＧＮＳＳ受信機５と、表示装置用カメラ６と、表示装置用制御装置７とを支持する。フレーム３は、眼鏡型フレームとして構成されている。フレーム３は、使用者の頭部に装着される。フレーム３は、使用者の鼻に支持されるブリッジと、両耳に支持される一対のテンプルを有する。

【0020】

透過型ディスプレイ４は、透過率が概ね５０％以上のディスプレイである。つまり、透過型ディスプレイ４は、使用者が透過型ディスプレイ４越しに風景を見ることができる透明なディスプレイである。透過型ディスプレイ４は、バックライト、偏光フィルタ及びカラーフィルタを有さない液晶ディスプレイ、有機ＥＬディスプレイ又は無機ＥＬディスプレイ等から構成されている。

【0021】

つまり、透過型ディスプレイ４は、使用者と対向している表示画面の背面を覆うバックライト及びフィルタ等の部材が存在しない。従って、透過型ディスプレイ４は、使用者の視点から見て透過型ディスプレイ４と重複している背景が透過している。又、透過型ディスプレイ４は、表示画面に透過型ディスプレイ４の機能によって生成された画像である仮想画像Ｉｍを表示することができる。

【0022】

本明細書において、仮想画像とは、透過型表示装置において使用者が視認している風景以外の画像、映像であって、透過型表示装置が表示している線、図形、画像、映像、３次元画像、３次元映像を意味する。つまり、仮想画像は、実際に存在しない物体の画像を前記使用者の視点から見た形状の画像に変換することで使用者が視認している風景に違和感なく表示可能な画像である。仮想画像は、透過型表示装置おいて使用者が視認している風景に重畳して表示される。仮想画像は、使用者による作業機の操縦を支援するための画像でもある。

【0023】

又、本明細書において、視点とは、対象を見るときの立脚点を意味する。使用者の視点とは、使用者が対象物を視認している際の使用者の対象物に対する位置を意味する。

【0024】

透過型ディスプレイ４は、仮想画像Ｉｍを表示させない部分において背面から入光した光を透過させる。又、透過型ディスプレイ４は、仮想画像Ｉｍを表示させる部分において背面から入光した光の少なくとも一部を遮光する。

【0025】

更に、透過型ディスプレイ４は、遮光した部分に仮想画像Ｉｍを表示する。この際、透過型ディスプレイ４には、使用者の視点から見た仮想画像Ｉｍが表示される。これにより、透過型ディスプレイ４は、使用者の視点から見た風景Ｌｓに仮想画像Ｉｍが重畳して表示された状態を使用者に視認させる。

【0026】

透過型ディスプレイ４は、フレーム３に設けられている。透過型ディスプレイ４は、フレーム３を装着している使用者の右目の視野範囲と左目の視野範囲とを覆うように位置している。透過型ディスプレイ４は、右目用の仮想画像Ｉｍと左目用の仮想画像Ｉｍとを視差画像としてそれぞれ表示画面に表示可能に構成されている。

【0027】

これにより、透過型ディスプレイ４は、使用者の視野範囲のほぼ全域において立体的な仮想画像Ｉｍを表示させることができる。尚、透過型表示装置２において、使用者の視点から見た仮想画像Ｉｍを使用者の視野内に表示させる技術は公知である。

【0028】

表示装置用ＧＮＳＳ受信機５は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。表示装置用ＧＮＳＳ受信機５は、衛星から測距電波を受信し、表示装置用ＧＮＳＳ受信機５の絶対座標である緯度、経度、標高及び方位等を検出するものである。

【0029】

表示装置用ＧＮＳＳ受信機５は、使用者が装着しているフレーム３に設けられている。表示装置用ＧＮＳＳ受信機５は、使用者（操縦者）の位置に関する情報Ｉｆａを検出する。

【0030】

使用者の位置に関する情報Ｉｆａは、透過型表示装置２の緯度、経度、標高及び方位等を含む。つまり、使用者の位置に関する情報Ｉｆａは、透過型表示装置２の位置に関する情報である。

【0031】

尚、本実施形態において、表示装置用ＧＮＳＳ受信機５は、フレーム３に設けられているが、使用者の位置に関する情報Ｉｆａを検出することができる位置であればよい。例えば、表示装置用ＧＮＳＳ受信機５は、透過型表示装置２を装着している使用者の身体に装着されていればよい。

【0032】

表示装置用カメラ６は、透過型表示装置２を装着している使用者の視線の方向を撮影する。表示装置用カメラ６は、フレーム３に設けられている。表示装置用カメラ６は、使用者の視点と略等しい位置から使用者の視野範囲と略等しい範囲を撮影するように構成されている。

【0033】

尚、本実施形態において、表示装置用カメラ６は、フレーム３に設けられているが、使用者の視点から使用者の視野範囲を撮影することができる位置であればよい。

【0034】

図３に示すように、表示装置用制御装置７は、制御部の一例に該当し、透過型ディスプレイ４に仮想画像Ｉｍを表示させる制御装置である。表示装置用制御装置７は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＨＤＤ等がバスで接続されている。又は、表示装置用制御装置７は、ワンチップのＬＳＩ等からなる構成であってもよい。

【0035】

表示装置用制御装置７は、透過型ディスプレイ４、表示装置用ＧＮＳＳ受信機５及び表示装置用カメラ６と接続されている。表示装置用制御装置７は、通信装置８を介して画像処理装置９と接続されている。表示装置用制御装置７は、基準面Ｓ１に関する情報Ｉｆｄを有している。本実施形態において、基準面Ｓ１は、地表面に設定されている。

【0036】

表示装置用制御装置７は、表示装置用ＧＮＳＳ受信機５から使用者の位置に関する情報Ｉｆａを取得することができる。表示装置用制御装置７は、表示装置用カメラ６から表示装置用カメラ６が撮影した画像Ｐを取得することができる。

【0037】

また、表示装置用制御装置７は、画像処理装置９から仮想画像Ｉｍに関する情報Ｉｆを取得することができる。表示装置用制御装置７は、取得した仮想画像Ｉｍに関する情報Ｉｆに基づいて仮想画像Ｉｍを生成することができる。また、表示装置用制御装置７は、透過型ディスプレイ４に仮想画像Ｉｍを表示させることができる。

【0038】

本明細書において、仮想画像に関する情報とは、透過型表示装置の使用者の視点から見た任意の基準面上の画像として透過型表示装置の表示画面に仮想画像を表示するために必要な情報を意味する。仮想画像に関する情報は、仮想画像の座標、表示の状態等を含む。

【0039】

図３と図４とに示すように、透過型表示装置２は、使用者が頭部に装着した状態で透過型ディスプレイ４の表示画面に仮想画像Ｉｍを表示することができる。又、透過型表示装置２は、仮想画像Ｉｍを透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを表示装置用ＧＮＳＳ受信機５によって取得することができる。

【0040】

透過型表示装置２は、仮想画像Ｉｍに関する情報Ｉｆと使用者の位置に関する情報Ｉｆａとに基づいて、風景Ｌｓが透過している透過型ディスプレイ４の表示画面に使用者の視点から見た仮想画像Ｉｍを生成することができる。

【0041】

更に、透過型表示装置２は、透過型ディスプレイ４の表示画面に仮想画像Ｉｍを表示することができる。これにより、透過型表示装置２は、仮想画像Ｉｍを風景Ｌｓに重ね合わせた状態で透過型表示装置２の使用者に視認させることができる。

【0042】

図３に示すように、通信装置８は、透過型表示装置２と、画像処理装置９と、クレーン用制御装置３０との間で情報を送受信する装置である。通信装置８は、透過型表示装置２の表示装置用制御装置７及び画像処理装置９にそれぞれ設けられている。

【0043】

通信装置８は、クレーン用制御装置３０と画像処理装置９との間で情報を送信及び受信する。又、通信装置８は、表示装置用制御装置７と画像処理装置９との間で情報を送信及び受信する。

【0044】

尚、本明細書において、通信装置とは、画像処理装置と表示装置用制御装置、画像処理装置と入力装置、画像処理装置と作業機の制御装置との間で情報を送受信する装置を意味する。通信装置は、表示装置用制御装置及び画像処理装置と一体に構成されていてもよい。

【0045】

画像処理装置９は、透過型表示装置２に表示させる仮想画像Ｉｍに関する情報Ｉｆを生成する制御装置である。画像処理装置９は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＨＤＤ等がバスで接続されている。又は画像処理装置９は、ワンチップのＬＳＩ等からなる構成でもよい。

【0046】

本実施形態において、画像処理装置９は、透過型表示装置２に設けられている。画像処理装置９は、透過型表示装置２等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。尚、画像処理装置９は、表示装置用制御装置７又はクレーン用制御装置３０と一体に構成されていてもよい。

【0047】

画像処理装置９は、通信装置８を介して透過型表示装置２の表示装置用制御装置７に接続されている。画像処理装置９は、通信装置８を介して表示装置用制御装置７から表示装置用ＧＮＳＳ受信機５が検出した使用者の位置に関する情報Ｉｆａを取得する。又、画像処理装置９は、通信装置８を介して表示装置用制御装置７から表示装置用カメラ６が撮影した画像Ｐを取得する。

【0048】

又、画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂを取得する。クレーン１１の位置に関する情報Ｉｆｂとは、クレーン１１の旋回中心が位置する緯度、経度、標高及び車両の方位等を含む。又、画像処理装置９は、通信装置８を介してクレーン用制御装置３０にメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅを送信する。

【0049】

又、画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の姿勢に関する情報Ｉｆｃを取得する。クレーン１１の姿勢に関する情報Ｉｆｃとは、クレーン１１の旋回角度、ブームの起伏角度、ブーム長さ、メインワイヤロープ２４の繰り出し長さ、サブワイヤロープ２６の繰り出し長さ及びクレーン１１の各操作具の操作方向及び操作量を含む。つまり、クレーン１１の姿勢に関する情報Ｉｆｃとは、例えば基準部材であるクレーン１１のメインフック２０ａの現在位置Ｌｐに関する情報を含む。

【0050】

又、画像処理装置９は、通信装置８を介して表示装置用制御装置７から基準面Ｓ１に関する情報Ｉｆｄを取得する。基準面Ｓ１に関する情報Ｉｆｄとは、使用者の視点から見た仮想画像Ｉｍを表示する位置の基準となる基準面Ｓ１（図４参照）の位置、傾きを含む。

【0051】

画像処理装置９は、取得したクレーン１１の姿勢に関する情報Ｉｆｃと基準面Ｓ１に関する情報Ｉｆｄとに基づいて、複数の基準座標Ｃを算出する。基準座標Ｃは、基準面Ｓ１上に表示させる仮想画像Ｉｍの座標である。画像処理装置９は、透過型ディスプレイ４越しに見える風景に基準面Ｓ１を設定する設定部の一例に該当する。

【0052】

画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ及び基準面Ｓ１に関する情報Ｉｆｄに基づいて、仮想画像Ｉｍに関する情報Ｉｆを生成する。仮想画像Ｉｍに関する情報Ｉｆは、複数の基準座標Ｃを使用者の視点から見た基準面Ｓ１上の仮想画像Ｉｍとして透過型ディスプレイ４の表示画面上に表示するための情報である。画像処理装置９は、生成したクレーンについての仮想画像Ｉｍに関する情報Ｉｆを表示装置用制御装置７に送信する。

【0053】

図３と図４に示すように、透過型表示装置２は、通信装置８を介してクレーンについての仮想画像Ｉｍに関する情報Ｉｆを取得する。基準面Ｓ１が地表面である場合、透過型ディスプレイ４を通して使用者が視認している地表面と重複している透過型ディスプレイ４の表示画面上に使用者の視点から見た仮想画像Ｉｍを表示する。

【0054】

図５に示すように、画像処理装置９は、取得した表示装置用カメラ６が撮影した画像Ｐから使用者の身体の一部の動作または特定のマーカの動作を検出すると、仮想画像Ｉｍに関する情報Ｉｆを入力する入力動作として認識する。

【0055】

画像処理装置９は、例えば、使用者の手が使用者の視点から見た基準面Ｓ１を掴んで移動させる動作を検出すると、手の移動方向及び移動量に応じて基準面Ｓ１を新しい位置及び傾きを有する新たな基準面Ｓ２に変更する。

【0056】

同様に、画像処理装置９は、例えば、使用者の手が使用者の視点から見た任意の位置を示す動作を検出すると、手の移動方向及び移動量に応じて仮想画像Ｉｍを表示する位置を変更する。このように、表示装置用カメラ６は、仮想画像Ｉｍに関する情報Ｉｆを入力する入力装置としての機能を有する。

【0057】

本明細書において、入力装置とは、仮想画像を表示するための情報を前記画像処理装置に入力する装置を意味する。入力装置は、画像処理装置、透過型表示装置と一体に構成されていてもよい。入力装置は、透過型表示装置を装着している使用者の視野内における使用者の身体の一部の動作、マーカの動作による入力でもよい。

【0058】

このように構成される操縦支援装置１は、通信装置８を介してクレーン用制御装置３０からクレーン１１の姿勢に関する情報Ｉｆｃを取得する。更に、操縦支援装置１は、通信装置８を介して使用者の位置に関する情報Ｉｆａ、及び基準面Ｓ１に関する情報Ｉｆｄを取得する。

【0059】

操縦支援装置１は、画像処理装置９によって取得した各情報に基づいて仮想画像Ｉｍに関する情報Ｉｆを生成する。操縦支援装置１は、仮想画像Ｉｍに関する情報Ｉｆに基づいて透過型表示装置２に仮想画像Ｉｍを表示させる。操縦支援装置１は、使用者が視認している風景Ｌｓにクレーン１１に関する様々な情報を表す仮想画像Ｉｍを重畳して表示することで、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦できるように使用者によるクレーン１１の操縦を支援する。

【0060】

以下に、図６と図７とを用いて、本発明の一実施形態に係る作業機であるクレーン１１について説明する。図６は、操縦支援装置１が接続されるクレーン１１の全体構成を示す。図７は、操縦支援装置１が接続されるクレーン１１の制御構成を示す。尚、本実施形態においては、ラフテレーンクレーンについて説明を行うが、オールテレーンクレーン、トラッククレーン、高所作業車等の旋回台を介して起伏可能なブームが設けられた作業機であればよい。

【0061】

図６及び図７に示すように、クレーン１１は、任意の場所に移動可能な移動式クレーンである。クレーン１１は、車両１２、クレーン装置１６、撮影装置であるブームカメラ１９ｂ及びクレーン用制御装置３０（図７参照）を有する。

【0062】

車両１２は、クレーン装置１６を搬送する走行体である。車両１２は、複数の車輪１３を有する。車両１２は、エンジン１４を動力源として走行する。車両１２は、アウトリガ１５を有する。アウトリガ１５は、車両１２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとを有する。

【0063】

クレーン装置１６は、荷物Ｗをワイヤロープによって吊り上げる作業装置である。クレーン装置１６は、旋回台１７、ブーム１９、メインフックブロック２０、サブフックブロック２１、起伏用油圧シリンダ２２、メインウインチ２３、メインワイヤロープ２４、サブウインチ２５、サブワイヤロープ２６及びキャビン２７等を具備する。

【0064】

旋回台１７は、クレーン装置１６を旋回可能に構成する回転装置である。旋回台１７は、円環状の軸受を介して車両１２のフレーム上に設けられる。旋回台１７は、円環状の軸受の中心を回転中心として回転自在に構成されている。

【0065】

旋回台１７には、アクチュエータである油圧式の旋回用油圧モータ１７ａを有する。旋回台１７は、旋回用油圧モータ１７ａによって一方向と他方向とに旋回可能に構成されている。

【0066】

クレーン用ＧＮＳＳ受信機１８（図７参照）は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。

【0067】

クレーン用ＧＮＳＳ受信機１８は、衛星から測距電波を受信し、クレーン用ＧＮＳＳ受信機１８の絶対座標である緯度、経度、標高及び方位等を検出するものである。クレーン用ＧＮＳＳ受信機１８は、旋回台１７に設けられている。

【0068】

クレーン用ＧＮＳＳ受信機１８は、クレーン１１の位置に関する情報Ｉｆｂを検出する。クレーン１１の位置に関する情報Ｉｆｂは、クレーン１１の緯度、経度、標高及び方位等を含む。

【0069】

ブーム１９は、メインワイヤロープ２４及びサブワイヤロープ２６を支持する可動支柱である。ブーム１９は、複数のブーム部材から構成されている。ブーム１９は、ベースブーム部材の基端が旋回台１７の略中央に揺動可能に設けられている。

【0070】

ブーム１９は、各ブーム部材を伸縮させるアクチュエータである伸縮用油圧シリンダ１９ａ（図７参照）とブーム部材を起伏させる起伏用油圧シリンダ２２を有する。ブーム１９は、伸縮用油圧シリンダ１９ａによって軸方向に伸縮される。

【0071】

又、ブーム１９には、撮影装置であるブームカメラ１９ｂ（図７参照）を有する。更に、ブーム１９は、延長用部材であるジブ１９ｃを有する。ブームカメラ１９ｂが撮影した画像は、クレーン１１の表示装置等に表示される。

【0072】

メインフックブロック２０とサブフックブロック２１とは、荷物Ｗを吊る部品である。メインフックブロック２０は、メインワイヤロープ２４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック２０ａとを有する。サブフックブロック２１は、荷物Ｗを吊るサブフック２１ａを有する。

【0073】

起伏用油圧シリンダ２２は、ブーム１９を起立及び倒伏させ、ブーム１９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ２２のシリンダ部の端部は、旋回台１７に起伏自在に連結されている。起伏用油圧シリンダ２２のロッド部の端部は、ブーム１９のベースブーム部材に揺動自在に連結されている。

【0074】

メインウインチ２３は、メインワイヤロープ２４の繰り入れ（巻き上げ）及び繰り出し（巻き下げ）を行う装置である。サブウインチ２５は、サブワイヤロープ２６の繰り入れ（巻き上げ）及び繰り出し（巻き下げ）を行う装置である。

【0075】

メインウインチ２３は、メインワイヤロープ２４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転される。サブウインチ２５は、サブワイヤロープ２６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転される。

【0076】

キャビン２７は、操縦席を覆う筐体である。キャビン２７は、旋回台１７に搭載されている。キャビン２７には、図示しない操縦席が設けられている。操縦席には、車両１２を走行操作するための走行用操作具２８、クレーン装置１６の旋回用油圧モータ１７ａを操作する旋回用操作具２９ａ、伸縮用シリンダを操作する伸縮用操作具２９ｂ、起伏用油圧シリンダ２２を操作する起伏用操作具２９ｃ、メインウインチ２３を操作するメイン用操作具２９ｄ及びサブウインチ２５を操作するサブ用操作具２９ｅを含むクレーン装置用操作具２９等が設けられている（図２参照）。

【0077】

図７に示すように、クレーン用制御装置３０は、クレーン１１の各アクチュエータを制御する。クレーン用制御装置３０は、キャビン２７内に設けられている。クレーン用制御装置３０は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＨＤＤ等がバスで接続されている。クレーン用制御装置３０は、ワンチップのＬＳＩ等から構成されてもよい。

【0078】

クレーン用制御装置３０は、各アクチュエータ及び切換え弁等の動作を制御したり画像データを処理したりするために種々のプログラム及びデータが格納されている。クレーン用制御装置３０は、通信装置３０ａを有している。通信装置３０ａは、操縦支援装置１の画像処理装置９との間で情報を送信及び受信する。

【0079】

クレーン用制御装置３０は、クレーン用ＧＮＳＳ受信機１８に接続されている。クレーン用制御装置３０は、クレーン１１の位置に関する情報Ｉｆｂを取得することができる。クレーン用制御装置３０は、走行用操作具２８及びクレーン装置用操作具２９に接続されている。

【0080】

クレーン用制御装置３０は、走行用操作具２８及びクレーン装置用操作具２９それぞれの操作信号を取得できる。クレーン用制御装置３０は、走行用操作具２８の操作により生成される操作信号に基づいて、車両１２の制御信号を生成する。

【0081】

同様に、クレーン用制御装置３０は、クレーン装置用操作具２９の操作により生成される操作信号に基づいて、クレーン装置１６の制御信号を生成する。クレーン用制御装置３０は、生成した制御信号をクレーン装置１６の各アクチュエータに送信することができる。

【0082】

クレーン用制御装置３０は、通信装置３０ａを介して操縦支援装置１の画像処理装置９に接続されている。クレーン用制御装置３０は、画像処理装置９にクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ及びメインフック２０ａの経路に関する情報Ｉｆｈを送信する。クレーン用制御装置３０は、通信装置３０ａを介して画像処理装置９からメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅを取得することができる。

【0083】

このように構成されるクレーン１１は、走行用操作具２８の操作によって車両１２を任意の位置に移動させることができる。又、クレーン１１は、クレーン装置用操作具２９の操作によって、ブーム１９を旋回、起伏及び伸縮させることで荷物Ｗを任意の位置に搬送することができる。又、クレーン１１は、クレーン装置用操作具２９の操作によって、メインウインチ２３等で荷物Ｗを吊り上げたり吊り下げたりすることができる。

【0084】

次に、図８から図１６を用いて、クレーン１１の操縦者に対する操縦支援装置１による操縦支援について説明する。

【0085】

図８は、クレーン１１の操縦支援装置１が第１仮想画像Ｉｍ１及び第２仮想画像Ｉｍ２を表示するための情報に必要な情報の取得状態を示す。図９は、クレーン１１の操縦支援装置１が第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第５仮想画像Ｉｍ５及び第７仮想画像Ｉｍ７を表示している状態を示す。

【0086】

図１０は、クレーン１１の操縦支援装置１が第３仮想画像Ｉｍ３を表示するための情報に必要な情報の取得状態を示す。図１１は、クレーン１１の操縦支援装置１が第４仮想画像Ｉｍ４を表示するための情報に必要な情報の取得状態を示す。

【0087】

図１２は、クレーン１１の操縦支援装置１が第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、第５仮想画像Ｉｍ５及び第７仮想画像Ｉｍ７を表示している状態を示す。図１３は、クレーン１１の操縦支援装置１が第５仮想画像Ｉｍ５を表示するための情報に必要な情報の取得状態を示す。

【0088】

図１４は、クレーン１１の操縦支援装置１が第６仮想画像Ｉｍ６を表示するための情報に必要な情報の取得状態を示す。図１５は、クレーン１１の操縦支援装置１が第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第６仮想画像Ｉｍ６及び第７仮想画像Ｉｍ７を表示している状態を示す。図１６は、クレーン１１の操縦支援装置１が第７仮想画像Ｉｍ７を表示するための情報に必要な情報の取得状態を示す。

【0089】

クレーン１１の操縦者は、透過型表示装置２の使用者である。クレーン１１の操縦者は、透過型表示装置２を頭部に装着した状態でクレーン１１を操縦する。又、クレーン１１の操縦者は、クレーン１１のキャビン２７（図６参照）内に着席した状態でクレーン１１を操縦している。本実施形態において、基準部材は、クレーン１１のメインフック２０ａとする。尚、基準部材は、クレーン１１によって搬送される荷物Ｗでもよい。

【0090】

＜メインフック２０ａの現在位置Ｌｐにおける軌道表示＞
図８と図９とに示すように、操縦支援装置１は、基準部材であるメインフック２０ａの現在位置Ｌｐにおける軌道を第１仮想画像Ｉｍ１として透過型表示装置２に表示する。

【0091】

本明細書において、軌道とは、作業機の操作具毎の操作によって作業機の基準部材が通過する座標の集合を連続する線で表した図形を意味する。又、軌道には、操作具毎の操作によって作業機の基準部材が通過する座標の集合を任意の基準面上の座標に変換し、連続する線で表した図形を含む。

【0092】

画像処理装置９は、取得したクレーン１１の姿勢に関する情報Ｉｆｃと基準面Ｓ１に関する情報Ｉｆｄとに基づいて、ブーム１９の先端を基準とするメインフック２０ａの現在位置Ｌｐと、クレーン１１のクレーン装置用操作具２９（図７参照）が操作された場合にクレーン１１によって移動されるメインフック２０ａの現在位置Ｌｐからの軌道（以下、単に「メインフック２０ａの現在位置Ｌｐからの軌道」と記す。）とを基準面Ｓ１上で表示するための複数の第１基準座標Ｃ１を算出する。

【0093】

画像処理装置９は、取得した操縦者（使用者）の位置に関する情報Ｉｆａとクレーン１１の位置に関する情報Ｉｆｂとに基づいて、複数の第１基準座標Ｃ１を操縦者の視点から見た基準面Ｓ１上の第１仮想画像Ｉｍ１として透過型ディスプレイ４の表示画面上に表示するための情報を生成する。

【0094】

つまり、画像処理装置９は、操縦者の視点から見た基準面Ｓ１上のメインフック２０ａの現在位置Ｌｐとメインフック２０ａの現在位置Ｌｐからの軌道とに関する情報をクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１として生成する。画像処理装置９は、生成したクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１を表示装置用制御装置７に送信する。

【0095】

表示装置用制御装置７は、前記通信装置８を介してクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１を取得する。表示装置用制御装置７は、透過型ディスプレイ４の表示画面上にクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１に基づいて第１仮想画像Ｉｍ１である操縦者の視点から見た基準面Ｓ１上のメインフック２０ａの現在位置Ｌｐ及びメインフック２０ａの現在位置Ｌｐからの軌道を表示する。

【0096】

基準面Ｓ１が地表面である場合、表示装置用制御装置７は、透過型ディスプレイ４を通して操縦者が視認している地表面と重複する透過型ディスプレイ４の表示画面上に操縦者の視点から見た地表面上のメインフック２０ａの現在位置Ｌｐ及びメインフック２０ａの現在位置Ｌｐからの軌道を第１仮想画像Ｉｍ１として表示する。

【0097】

尚、第１仮想画像Ｉｍ１は、メインフック２０ａが現在位置Ｌｐに位置する状態から、操縦者が旋回用操作具２９ａを操作した場合にメインフック２０ａが移動する軌道を、基準面Ｓ１上に投影した画像と捉えてよい。

【0098】

第１仮想画像Ｉｍ１は、メインフック２０ａが現在位置Ｌｐに位置する状態から、操縦者が伸縮用操作具２９ｂ又は起伏用操作具２９ｃを操作した場合にメインフック２０ａが移動する軌道を、基準面Ｓ１上に投影した画像であってもよい。

【0099】

或いは、第１仮想画像Ｉｍ１は、メインフック２０ａが現在位置Ｌｐに位置する状態から、操縦者が旋回用操作具２９ａ、伸縮用操作具２９ｂ及び起伏用操作具２９ｃから選択される少なくとも２つの操作具を同時に操作した場合にメインフック２０ａが移動する軌道を、基準面Ｓ１上に投影した画像であってもよい。

【0100】

操縦者は、透過型表示装置２によって実際の風景Ｌｓである作業現場の地表面上にメインフック２０ａの現在位置Ｌｐ及びメインフック２０ａの現在位置Ｌｐからの軌道が重畳して表示されているように認識する。

【0101】

操縦者は、操縦席からメインフック２０ａが視認できない状態でもメインフック２０ａの現在位置Ｌｐ及びメインフック２０ａの現在位置Ｌｐからの軌道を地表面上において視認することができる。

【0102】

前記操縦支援装置１は、第１仮想画像Ｉｍ１を操縦者の視野内に重畳して表示することで、メインフック２０ａの現在位置Ｌｐ、メインフック２０ａと地物との位置関係を把握するための情報を操縦者に提供する。

【0103】

又、操縦支援装置１は、操縦者が所望する任意の方向及び位置からのメインフック２０ａの軌道を操縦者の視野内に表示する。従って、操縦者は、玉掛担当の指示者からの指示が不十分であっても、操縦者の視野内に表示されているメインフック２０ａの軌道によってクレーン１１を操縦するために必要な情報を補うことができる。これにより、操縦者は、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

【0104】

＜メインフック２０ａの目標位置Ｌｔにおける軌道表示＞
図８と図９とに示すように、操縦支援装置１は、ブーム１９の先端を基準とするメインフック２０ａの目標位置Ｌｔにおける軌道を第２仮想画像Ｉｍ２として透過型表示装置２に表示してもよい。

【0105】

画像処理装置９は、入力装置の機能を有する表示装置用カメラ６によって、操縦者の視点における操縦者の手またはマーカの画像を取得する。画像処理装置９は、取得した画像における操縦者の手の動作またはマーカの種類からメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅか否かを判定する。

【0106】

画像処理装置９は、取得した画像がメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅであると判定すると、画像内における操縦者の手の形、位置及び移動方向またはマーカの種類、位置及び移動方向等からメインフック２０ａの目標位置Ｌｔを特定する。

【0107】

画像処理装置９は、取得したクレーン１１の姿勢に関する情報Ｉｆｃ、基準面Ｓ１に関する情報Ｉｆｄ及びメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅに基づいて、複数の第２基準座標Ｃ２を算出する。

【0108】

複数の第２基準座標Ｃ２は、メインフック２０ａの目標位置Ｌｔと、クレーン１１のクレーン装置用操作具２９（図７参照）が操作された場合にクレーン１１によって移動されるメインフック２０ａの目標位置Ｌｔからの軌道（以下、単に「メインフック２０ａの目標位置Ｌｔからの軌道」と記す。）とを基準面Ｓ１上で表示するための座標である。

【0109】

画像処理装置９は、取得した操縦者の位置に関する情報Ｉｆａとクレーン１１の位置に関する情報Ｉｆｂとに基づいて、複数の第２基準座標Ｃ２を操縦者の視点から見た基準面Ｓ１上の第２仮想画像Ｉｍ２として透過型ディスプレイ４の表示画面上に表示するための情報を生成する。

【0110】

つまり、画像処理装置９は、操縦者の視点から見た基準面Ｓ１上のメインフック２０ａの目標位置Ｌｔとメインフック２０ａの目標位置Ｌｔからの軌道とに関する情報をクレーン１１についての第２仮想画像Ｉｍ２に関する情報Ｉｆ２として生成する。

【0111】

画像処理装置９は、生成したクレーン１１についての第２仮想画像Ｉｍ２に関する情報Ｉｆ２を表示装置用制御装置７に送信する。

【0112】

表示装置用制御装置７は、前記通信装置８を介してクレーン１１についての第２仮想画像Ｉｍ２に関する情報Ｉｆ２を取得する。表示装置用制御装置７は、透過型ディスプレイ４の表示画面上にクレーン１１についての第２仮想画像Ｉｍ２に関する情報Ｉｆ２に基づいて第２仮想画像Ｉｍ２を表示する。ここで、第２仮想画像Ｉｍ２は、操縦者の視点から見た基準面Ｓ１上のメインフック２０ａの目標位置Ｌｔ及びメインフック２０ａの目標位置Ｌｔからの軌道に関する画像である。

【0113】

操縦者は、透過型表示装置２によって、実際の風景Ｌｓである作業現場の地表面上にメインフック２０ａの目標位置Ｌｔ及びメインフック２０ａの目標位置Ｌｔからの軌道が重畳して表示されているように認識する。

【0114】

第１仮想画像Ｉｍ１であるメインフック２０ａの現在位置Ｌｐからの軌道と第２仮想画像Ｉｍ２であるメインフック２０ａの目標位置Ｌｔからの軌道とが共に表示されている場合、操縦者は、操縦席からメインフック２０ａが視認できない状態でもメインフック２０ａの現在位置Ｌｐと目標位置Ｌｔとの位置関係及びメインフック２０ａの目標位置Ｌｔにおける地物との位置関係を地表面上において視認することができる。

【0115】

従って、操縦者は、指示者からの指示が不十分であっても、操縦者の視野内に表示されているメインフック２０ａの目標位置Ｌｔにおける軌道によってメインフック２０ａを目標位置Ｌｔまで移動させるために必要な情報を補うことができる。これにより、操縦者は、指示者から取得する情報が操縦に与える影響を抑制し、効率よく前記作業機を操縦することができる。

【0116】

＜メインフック２０ａの現在位置Ｌｐにおける垂線表示＞
図９と図１０とに示すように、操縦支援装置１は、メインフック２０ａの現在位置Ｌｐまたは表示位置を通過する垂線（つまり、鉛直方向に平行な線）を第３仮想画像Ｉｍ３として透過型表示装置２に表示してもよい。

【0117】

画像処理装置９は、取得したクレーン１１の姿勢に関する情報Ｉｆｃと基準面Ｓ１に関する情報Ｉｆｄとに基づいて、メインフック２０ａの現在位置Ｌｐと、メインフック２０ａの現在位置Ｌｐからの軌道とを基準面Ｓ１上で表示するための複数の第１基準座標Ｃ１を算出する。

【0118】

更に、画像処理装置９は、算出した第１基準座標Ｃ１に基づいて、メインフック２０ａの現在位置Ｌｐを通過する垂線を表示するための複数の第３基準座標Ｃ３を算出する。

【0119】

画像処理装置９は、取得した操縦者の位置に関する情報Ｉｆａとクレーン１１の位置に関する情報Ｉｆｂとに基づいて、複数の第３基準座標Ｃ３を操縦者の視点から見た第３仮想画像Ｉｍ３として透過型ディスプレイ４の表示画面上に表示するための情報を生成する。

【0120】

つまり、画像処理装置９は、操縦者の視点から見たメインフック２０ａの現在位置Ｌｐを通過する垂線に関する情報をクレーン１１についての第３仮想画像Ｉｍ３に関する情報Ｉｆ３として生成する。

【0121】

画像処理装置９は、生成したクレーン１１についての第３仮想画像Ｉｍ３に関する情報Ｉｆ３を表示装置用制御装置７に送信する。尚、クレーン１１についての第３仮想画像Ｉｍ３に関する情報Ｉｆ３は、メインフック２０ａの目標位置Ｌｔを通過する垂線に関する情報を含んでいてもよい。

【0122】

表示装置用制御装置７は、通信装置８を介してクレーン１１についての第３仮想画像Ｉｍ３に関する情報Ｉｆ３を取得する。表示装置用制御装置７は、クレーン１１についての第３仮想画像Ｉｍ３に関する情報Ｉｆ３に基づいて第３仮想画像Ｉｍ３を透過型ディスプレイ４の表示画面上に表示する。ここで、第３仮想画像Ｉｍ３は、操縦者の視点から見たメインフック２０ａの現在位置Ｌｐを通過する垂線に関する画像である。

【0123】

操縦者は、透過型表示装置２によって、実際の風景Ｌｓ内にメインフック２０ａの現在位置Ｌｐを示す垂線が重畳して表示されているように認識する。

【0124】

第３仮想画像Ｉｍ３であるメインフック２０ａの現在位置Ｌｐからの垂線と第２仮想画像Ｉｍ２であるメインフック２０ａの目標位置Ｌｔからの垂線とが共に表示されている場合、操縦者は、操縦席からメインフック２０ａが視認できない状態でもメインフック２０ａの現在位置Ｌｐと目標位置Ｌｔとの位置関係を認識することができる。

【0125】

また、操縦者は、メインフック２０ａの現在位置Ｌｐまたは目標位置Ｌｔにおけるメインフック２０ａの上下方向の軌道と地物との位置関係を視認することができる。従って、操縦者は、指示者からの指示が不十分であっても、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

【0126】

＜新たな基準面Ｓ２におけるメインフック２０ａの軌道表示＞
図１１と図１２とに示すように、操縦支援装置１は、任意に指定される新たな基準面Ｓ２におけるメインフック２０ａの現在位置Ｌｐにおける軌道と目標位置Ｌｔにおける軌道の少なくとも一つを第４仮想画像Ｉｍ４として透過型表示装置２に表示してもよい。

【0127】

画像処理装置９は、入力装置の機能を有する表示装置用カメラ６によって、操縦者の視点における操縦者の手またはマーカの画像Ｐを取得する。画像処理装置９は、取得した画像Ｐにおける操縦者の手の動作またはマーカの種類から新たな基準面Ｓ２に関する情報Ｉｆｆか否かを判定する。

【0128】

画像処理装置９は、取得した画像が新たな基準面Ｓ２に関する情報Ｉｆｆであると判定すると、画像Ｐ内における操縦者の手の形、位置及び移動方向またはマーカの種類、位置及び移動方向等から新たな基準面Ｓ２の位置及び傾きを特定する。

【0129】

画像処理装置９は、クレーン１１の姿勢に関する情報Ｉｆｃと新たな基準面Ｓ２に関する情報Ｉｆｆとに基づいて、複数の第４基準座標Ｃ４を算出する。第４基準座標Ｃ４は、メインフック２０ａの現在位置Ｌｐとメインフック２０ａの現在位置Ｌｐからの軌道とを新たな基準面Ｓ２上で表示するための座標である。

【0130】

画像処理装置９は、取得した操縦者の位置に関する情報Ｉｆａとクレーン１１の位置に関する情報Ｉｆｂとに基づいて、複数の第４基準座標Ｃ４を操縦者の視点から見た新たな基準面Ｓ２上の第４仮想画像Ｉｍ４として透過型ディスプレイ４の表示画面上に表示するための情報を生成する。

【0131】

つまり、画像処理装置９は、操縦者の視点から見た新たな基準面Ｓ２上のメインフック２０ａの現在位置Ｌｐとメインフック２０ａの現在位置Ｌｐからの軌道とに関する情報をクレーン１１についての第４仮想画像Ｉｍ４に関する情報Ｉｆ４として生成する。

【0132】

画像処理装置９は、生成したクレーン１１についての第４仮想画像Ｉｍ４に関する情報Ｉｆ４を表示装置用制御装置７に送信する。

【0133】

尚、クレーン１１についての第４仮想画像Ｉｍ４に関する情報Ｉｆ４は、メインフック２０ａの目標位置Ｌｔとメインフック２０ａの目標位置Ｌｔからの軌道とに関する情報を含んでいてもよい。

【0134】

表示装置用制御装置７は、通信装置８を介してクレーン１１についての第４仮想画像Ｉｍ４に関する情報Ｉｆ４を取得する。表示装置用制御装置７は、透過型ディスプレイ４の表示画面上にクレーン１１についての第４仮想画像Ｉｍ４に関する情報Ｉｆ４に基づいて第４仮想画像Ｉｍ４を表示する。ここで、第４仮想画像Ｉｍ４は、操縦者の視点から見た新たな基準面Ｓ２上のメインフック２０ａの現在位置Ｌｐ及びメインフック２０ａの現在位置Ｌｐからの軌道に関する画像である。

【0135】

操縦者は、透過型表示装置２によって、実際の風景Ｌｓである作業現場内で任意に設定した新たな基準面Ｓ２上にメインフック２０ａの現在位置Ｌｐ及びメインフック２０ａの現在位置Ｌｐからの軌道が重畳して表示されているように認識する。

【0136】

第４仮想画像Ｉｍ４としてメインフック２０ａの現在位置Ｌｐからの軌道とメインフック２０ａの目標位置Ｌｔからの軌道とが共に表示されている場合、操縦者は、操縦席からメインフック２０ａが視認できない状態でも、メインフック２０ａの現在位置Ｌｐと目標位置Ｌｔとの位置関係及びメインフック２０ａの目標位置Ｌｔにおける地物との位置関係を新たな基準面Ｓ２上において視認することができる。

【0137】

従って、操縦者は、指示者からの指示が不十分であっても、操縦者の視野内に表示されている新たな基準面Ｓ２上のメインフック２０ａの現在位置Ｌｐ及び目標位置Ｌｔにおける軌道によってメインフック２０ａを目標位置Ｌｔまで移動させるために必要な情報を補うことができる。これにより、操縦者は、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

【0138】

＜メインフック２０ａの移動方向表示＞
図１２と図１３とに示すように、操縦支援装置１は、メインフック２０ａの移動方向を示すベクトル線図を第５仮想画像Ｉｍ５として透過型表示装置２に表示してもよい。

【0139】

画像処理装置９は、上述のようにクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１を生成する。更に、画像処理装置９は、通信装置８を介してクレーン用制御装置３０からメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｇを取得する。

【0140】

画像処理装置９は、クレーン１１の姿勢に関する情報Ｉｆｃ、基準面Ｓ１に関する情報Ｉｆｄ及びメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｇに基づいて、複数の第５基準座標Ｃ５を算出する。第５基準座標Ｃ５は、メインフック２０ａの移動方向と移動速度とを表すベクトル線図を基準面Ｓ１上で表示するための座標である。

【0141】

画像処理装置９は、取得した操縦者の位置に関する情報Ｉｆａとクレーン１１の位置に関する情報Ｉｆｂとに基づいて、複数の第５基準座標Ｃ５を操縦者の視点から見た第５仮想画像Ｉｍ５として透過型ディスプレイ４の表示画面上に表示するための情報を生成する。

【0142】

つまり、画像処理装置９は、操縦者の視点から見たメインフック２０ａの現在位置Ｌｐからの移動方向を示すベクトル線図に関する情報をクレーン１１についての第５仮想画像Ｉｍ５に関する情報Ｉｆ５として生成する。

【0143】

画像処理装置９は、生成したクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１とクレーン１１についての第５仮想画像Ｉｍ５に関する情報Ｉｆ５とを表示装置用制御装置７に送信する。

【0144】

表示装置用制御装置７は、前記通信装置８を介してクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１とクレーン１１についての第５仮想画像Ｉｍ５に関する情報Ｉｆ５を取得する。

【0145】

表示装置用制御装置７は、クレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１に基づいて第１仮想画像Ｉｍ１である操縦者の視点から見たメインフック２０ａの現在位置Ｌｐを透過型ディスプレイ４の表示画面上に表示する。

【0146】

又、表示装置用制御装置７は、クレーン１１についての第５仮想画像Ｉｍ５に関する情報Ｉｆ５に基づいて第５仮想画像Ｉｍ５である操縦者の視点から見たメインフック２０ａの現在位置Ｌｐからの移動方向を示すベクトル線図を透過型ディスプレイ４の表示画面上に表示する。

【0147】

操縦者は、透過型表示装置２によって、実際の風景Ｌｓ内にクレーン装置用操作具２９の操作によるメインフック２０ａの現在位置Ｌｐからの移動方向が重畳して表示されているように認識する。

【0148】

第１仮想画像Ｉｍ１であるメインフック２０ａの現在位置Ｌｐと第２仮想画像Ｉｍ２であるメインフック２０ａの目標位置Ｌｔとが共に表示されている場合、操縦者は、操縦席からメインフック２０ａが視認できない状態でもクレーン装置用操作具２９の操作によるメインフック２０ａの現在位置Ｌｐからの移動方向と目標位置Ｌｔとの位置関係を認識することができる。従って、操縦者は、指示者からの指示が不十分であっても、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

【0149】

＜メインフック２０ａの経路表示＞
図１４と図１５とに示すように、操縦支援装置１は、メインフック２０ａの現在位置Ｌｐから目標位置Ｌｔまでの経路を第６仮想画像Ｉｍ６として透過型表示装置２に表示してもよい。

【0150】

画像処理装置９は、メインフック２０ａの現在位置Ｌｐに関する情報を含むクレーン１１の姿勢に関する情報Ｉｆｃを取得する。更に、画像処理装置９は、表示装置用カメラ６によって、メインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅを取得する。画像処理装置９は、通信装置８を介してメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅをクレーン用制御装置３０に送信する。

【0151】

クレーン用制御装置３０は、メインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅを取得する。クレーン用制御装置３０は、メインフック２０ａを現在位置Ｌｐからメインフック２０ａの目標位置Ｌｔまで移動させた場合に各アクチュエータのポンプ流量が最小になるメインフック２０ａの経路を算出する。

【0152】

クレーン用制御装置３０は、通信装置８を介して算出したメインフック２０ａの経路に関する情報Ｉｆｈを画像処理装置９に送信する。尚、メインフック２０ａを現在位置Ｌｐから目標位置Ｌｔまで移動させた場合に各アクチュエータのポンプ流量が最小になる経路の算出方法は既知の技術である。

【0153】

画像処理装置９は、上述のようにクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１とクレーン１１についての第２仮想画像Ｉｍ２に関する情報Ｉｆ２を生成する。

【0154】

更に、画像処理装置９は、メインフック２０ａの経路に関する情報Ｉｆｈを取得する。画像処理装置９は、取得したクレーン１１の姿勢に関する情報Ｉｆｃとメインフック２０ａの経路に関する情報Ｉｆｈとに基づいて、複数の第６基準座標Ｃ６を算出する。第６基準座標Ｃ６は、メインフック２０ａの現在位置Ｌｐから目標位置Ｌｔまでの経路を表示するための座標である。

【0155】

画像処理装置９は、取得した操縦者の位置に関する情報Ｉｆａとクレーン１１の位置に関する情報Ｉｆｂとに基づいて、複数の第６基準座標Ｃ６を操縦者の視点から見た第６仮想画像Ｉｍ６として透過型ディスプレイ４の表示画面上に表示するための情報を生成する。

【0156】

つまり、画像処理装置９は、操縦者の視点から見たメインフック２０ａの現在位置Ｌｐから目標位置Ｌｔまでの経路に関する情報をクレーン１１についての第６仮想画像Ｉｍ６に関する情報Ｉｆ６として生成する。

【0157】

画像処理装置９は、生成したクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１とクレーン１１についての第２仮想画像Ｉｍ２に関する情報Ｉｆ２とクレーン１１についての第６仮想画像Ｉｍ６に関する情報Ｉｆ６とを表示装置用制御装置７に送信する。

【0158】

表示装置用制御装置７は、通信装置８を介してクレーン１１についての第１仮想画像Ｉｍ１に関する情報Ｉｆ１、クレーン１１についての第２仮想画像Ｉｍ２に関する情報Ｉｆ２およびクレーン１１についての第６仮想画像Ｉｍ６に関する情報Ｉｆ６を取得する。

【0159】

表示装置用制御装置７は、透過型ディスプレイ４の表示画面上に第１仮想画像Ｉｍ１及び第２仮想画像Ｉｍ２とともに、クレーン１１についての第６仮想画像Ｉｍ６に関する情報Ｉｆ６に基づいて第６仮想画像Ｉｍ６を表示する。ここで、第６仮想画像Ｉｍ６は、操縦者の視点から見たメインフック２０ａの現在位置Ｌｐから目標位置Ｌｔまでの経路に関する画像である。

【0160】

操縦者は、透過型表示装置２によって、実際の風景Ｌｓである作業現場の地表面上にメインフック２０ａの現在位置Ｌｐから目標位置Ｌｔまでの経路が重畳して表示されているように認識する。

【0161】

操縦者は、メインフック２０ａの現在位置Ｌｐと目標位置Ｌｔとの位置関係及びメインフック２０ａの経路と地物との位置関係を予め視認することができる。従って、操縦者は、指示者からの指示が不十分であっても、操縦者の視野内に表示されているメインフック２０ａの経路によってメインフック２０ａを現在位置Ｌｐから目標位置Ｌｔまで移動させるために必要な情報を補うことができる。これにより、操縦者は、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

【0162】

＜インジケータの表示＞
図１５と図１６とに示すように、操縦支援装置１は、クレーン１１の操縦に関係する各種インジケータを第７仮想画像Ｉｍ７として透過型表示装置２に表示してもよい。

【0163】

画像処理装置９は、操縦者の視点から見て特定の仮想画像Ｉｍのみを表示するクレーン１１の特定領域Ａに関する情報Ｉｆｉを有する。画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の運転状態に関する情報Ｉｆｊを取得する。

【0164】

画像処理装置９は、クレーン１１の特定領域Ａに関する情報Ｉｆｉとクレーン１１の運転状態に関する情報Ｉｆｊとに基づいて、特定領域Ａに表示するクレーン１１の運転状態を示すエンジン回転数計、油圧計、油音計及び各種警告灯等を表示するための複数の第７基準座標Ｃ７を算出する。

【0165】

画像処理装置９は、複数の第７基準座標Ｃ７を操縦者の視点から見た第７仮想画像Ｉｍ７として透過型ディスプレイ４の表示画面上に表示するための情報を生成する。

【0166】

つまり、画像処理装置９は、操縦者の視点から見た特定領域Ａに表示するクレーンの運転状態を示すエンジン回転数計、油圧計、油音計及び各種警告灯等に関する情報をクレーン１１についての第７仮想画像Ｉｍ７に関する情報Ｉｆ７として生成する。

【0167】

画像処理装置９は、生成したクレーン１１についての第７仮想画像Ｉｍ７に関する情報Ｉｆ７を表示装置用制御装置７に送信する。

【0168】

表示装置用制御装置７は、通信装置８を介してクレーン１１についての第７仮想画像Ｉｍ７に関する情報Ｉｆ７を取得する。表示装置用制御装置７は、クレーン１１についての第７仮想画像Ｉｍ７に関する情報Ｉｆ７に基づいて第７仮想画像Ｉｍ７を透過型ディスプレイ４の特定領域Ａ上に表示する。ここで、第７仮想画像Ｉｍ７は、操縦者の視点から見たクレーンの運転状態を示すエンジン回転数計、油圧計、油音計及び各種警告灯に関する画像である。

【0169】

操縦者は、透過型表示装置２によって、実際の風景Ｌｓ内にクレーン１１の運転状態を示すエンジン回転数計、油圧計、油音計及び各種警告灯等が重畳して表示されているように認識する。

【0170】

従って、操縦者は、視線をキャビン２７内の操作盤に移動させることなくクレーン１１の運転状態に関するインジケータを視認できるので、効率よくクレーン１１を操縦することができる。

【0171】

＜併用操作時の軌道表示＞
図１７に示すように、操縦支援装置１は、クレーン装置用操作具２９のうち複数の操作具を併用操作した場合の軌道を第１仮想画像Ｉｍ１の変形例として透過型表示装置２に表示してもよい。

【0172】

画像処理装置９は、クレーン装置用操作具２９のうち複数の操作具の複数の操作信号を取得すると、取得した複数の操作信号に基づいた速度で各部が移動した場合のメインフック２０ａの現在位置Ｌｐからの軌道を表示するための情報を生成する。

【0173】

表示装置用制御装置７は、生成された情報に従って、複数の操作信号に基づいた速度で各部が移動した場合のメインフック２０ａの現在位置Ｌｐからの軌道を第１仮想画像Ｉｍ１の変形例として表示する。

【0174】

メインフック２０ａの現在位置Ｌｐからの軌道である第１仮想画像Ｉｍ１は、クレーン装置用操作具２９のうち複数の操作具を操作することで任意の軌道に変更することができる。

【0175】

第１仮想画像Ｉｍ１は、例えばブーム１９の旋回用操作具２９ａと起伏用操作具２９ｃとの併用操作によって現在位置Ｌｐを通過する円弧軌道から楕円軌道に変化する。従って、操縦者は、クレーン装置用操作具２９を操作することで第１仮想画像Ｉｍ１が目標位置Ｌｔを通過する場合、現在のクレーン装置用操作具２９の操作量を維持することでメインフック２０ａを目標位置Ｌｔまで移動させることができる。

【0176】

＜他の実施形態＞
上述の各実施形態において、クレーン１１の操縦支援装置１は、第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、第５仮想画像Ｉｍ５、第６仮想画像Ｉｍ６及び第７仮想画像Ｉｍ７のいずれかを透過型表示装置２に表示させている。

【0177】

しかしながら、クレーン１１の操縦支援装置１は、第１仮想画像Ｉｍ１から第７仮想画像Ｉｍ７の少なくとも一つを透過型表示装置２の使用者が任意に選択して表示させてもよい。また、クレーン１１の操縦支援装置１は、上述の実施形態で表示している仮想画像に限らず、作業機の操縦を支援する仮想画像を表示するものであればよい。

【0178】

また、上述の実施形態として、操縦支援装置１の透過型表示装置２は、クレーン１１のキャビン２７内でクレーン１１を操縦している操縦者に装着されている。しかしながら、透過型表示装置２は、クレーン１１の外部からクレーン１１を遠隔操作する操縦者に装着されてもよい。

【0179】

例えば、搬送する荷物Ｗの近傍においてクレーン１１を遠隔操作する操縦者が透過型表示装置２を装着している場合、操縦者は、透過型表示装置２において第１仮想画像Ｉｍ１と第２仮想画像Ｉｍ２とを表示させることで、荷物Ｗの位置に対するメインフック２０ａの現在位置Ｌｐをより正確に視認することができる。

【0180】

また、上述の各実施形態において、クレーン１１の操縦支援装置１の透過型表示装置２は、クレーン１１の操縦者に装着されている。しかしながら、透過型表示装置２は、クレーン１１の操縦者以外の作業者に装着されてもよい。

【0181】

例えば、玉掛者が透過型表示装置２を装着している場合、前記玉掛者は、透過型表示装置２において第１仮想画像Ｉｍ１と第３仮想画像Ｉｍ３とを表示させることで荷物Ｗに対するメインフック２０ａの現在位置Ｌｐ等をより正確にクレーン１１の操縦者に伝えることができる。

【0182】

また、上述の各実施形態において、クレーン１１の操縦支援装置１の透過型表示装置２は、クレーン１１の操縦者に装着されている。しかしながら、透過型表示装置２は、クレーン１１の操縦者とクレーン１１の操縦者以外の作業者の少なくとも一人に装着されてもよい。

【0183】

例えば、クレーン１１の操縦者と玉掛者とがそれぞれ透過型表示装置２を装着している場合、クレーン１１の操縦支援装置１は、それぞれの透過型表示装置２に同一のクレーン１１の姿勢に関する情報Ｉｆｃに基づいた同一または異なる種類の仮想画像Ｉｍを表示させる。これにより、クレーン１１の操縦者と玉掛者は、それぞれの位置における視野内において同一のクレーン１１の姿勢に関する情報Ｉｆｃに基づいた仮想画像Ｉｍを視認しているので、荷物Ｗに対するメインフック２０ａの位置等をより正確に共有することができる。

【0184】

また、上述の実施形態として、操縦支援装置１は、クレーン１１の操縦支援装置１として構成されている。しかしながら、操縦支援装置は、作業機である高所作業車の操縦支援装置として構成されていてもよい。

【0185】

高所作業車の操縦支援装置は、通信装置を介して使用者の位置に関する情報、高所作業車の位置に関する情報、高所作業車の姿勢に関する情報及び仮想画像を表示する基準となる基準面の位置と姿勢とを含む基準面に関する情報を取得する。高所作業車の操縦支援装置の画像処理装置は、高所作業車によって移動される基準部材であるバケットの現在位置及び現在位置からの軌道を高所作業車の操縦者の視点から見た任意の基準面上の仮想画像として透過型表示装置の表示画面上に表示させるための仮想画像に関する情報を生成する。透過型表示装置は、高所作業車についての仮想画像に関する情報を取得し、仮想画像を表示画面上に表示する。

【0186】

また、上述の各実施形態において、クレーン１１の操縦支援装置１は、透過型表示装置２によって第１仮想画像Ｉｍ１から第７仮想画像Ｉｍ７の少なくとも一つを表示している。

【0187】

しかしながら、クレーン１１の操縦支援装置１は、カメラの撮影画像上に第１仮想画像Ｉｍ１から第７仮想画像Ｉｍ７の少なくとも一つを表示してもよい。第１仮想画像Ｉｍ１から第７仮想画像Ｉｍ７の少なくとも一つは、タッチパネル等の表示画面上で操作することができる。

【0188】

また、上述の各実施形態において、透過型表示装置２は、仮想画像Ｉｍを透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを表示装置用ＧＮＳＳ受信機５によって取得している。

【0189】

しかしながら、透過型表示装置は、特定の位置に位置しているマーカを認識することで透過型表示装置の位置を算出してもよい。透過型表示装置は、例えばクレーンのキャビン内に位置するマーカを認識することで透過型表示装置の位置を算出する。また、透過型表示装置は、算出した位置を基準として慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）による位置の算出を行う。

【0190】

また、上述の各実施形態において、透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。しかしながら、透過型表示装置は、使用者の視点から見て風景を透過させる表示画面に使用者の視点から見た仮想画像を重畳して視認させる表示装置であればよい。透過型表示装置は、例えばキャビンのフロントガラスを表示画面として、操縦席に着席した操縦者の視点から見た仮想画像を表示させるヘッドアップディスプレイでもよい。

【0191】

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

【0192】

２０２１年４月２７日出願の特願２０２１－０７５３９３の日本出願に含まれる明細書、図面、および要約書の開示内容は、すべて本願に援用される。

【産業上の利用可能性】

【0193】

本発明は、旋回、起伏及び伸縮が可能なブームを有する種々の作業機に適用できる。

【符号の説明】

【0194】

１ 操縦支援装置
２ 透過型表示装置
３ フレーム
４ 透過型ディスプレイ
５ 表示装置用ＧＮＳＳ受信機
６ 表示装置用カメラ
７ 表示装置用制御装置
８ 通信装置
９ 画像処理装置
１１ クレーン
２０ａ メインフック（基準部材）
３０ クレーン用制御装置
Ｌｐ 現在位置
Ｌｔ 目標位置
Ｓ１ 基準面
Ｓ２ 新たな基準面
Ｉｆａ 使用者の位置に関する情報
Ｉｆｂ クレーンの位置に関する情報
Ｉｆｃ クレーンの姿勢に関する情報
Ｉｆｄ 基準面に関する情報
Ｉｆｅ メインフックの目標位置に関する情報
Ｉｆｆ 新たな基準面に関する情報
Ｉｆｇ メインフックの移動方向及び移動速度に関する情報
Ｉｆｈ メインフックの経路に関する情報
Ｉｆｉ クレーンの特定領域に関する情報
Ｉｆｊ クレーンの運転状態に関する情報
Ｉｍ１ 第１仮想画像
Ｃ１ 第１基準座標
Ｉｆ１ クレーンについての第１仮想画像に関する情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】