特許 7529605 建設機械

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】建設機械

(51)【国際特許分類】

   E02F 9/20 20060101AFI20240730BHJP

   E02F 9/26 20060101ALI20240730BHJP

   H04N 7/18 20060101ALI20240730BHJP

   B60R 1/20 20220101ALI20240730BHJP

【ＦＩ】

E02F9/20 C

E02F9/26 A

H04N7/18 J

B60R1/20 100

【請求項の数】 10

(21)【出願番号】P 2021054610

(22)【出願日】2021-03-29

(65)【公開番号】P2022152012

(43)【公開日】2022-10-12

【審査請求日】2023-12-05

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】谷内 大樹

(72)【発明者】

【氏名】多田 茂也

(72)【発明者】

【氏名】飯田 勉

(72)【発明者】

【氏名】浮谷 一仁

(72)【発明者】

【氏名】高根澤 雄志

【審査官】佐久間 友梨

(56)【参考文献】

【文献】特開２０２２－０７２５９８（ＪＰ，Ａ）

【文献】特開２００６－０５３９２２（ＪＰ，Ａ）

【文献】特開２０１７－１４５６４９（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７５６４５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２２８６６９（ＷＯ，Ａ１）

【文献】韓国公開特許第１０－２０１４－００８４４０９（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ３／４２－３／４３

３／８４－３／８５

９／００－９／２８

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０

(57)【特許請求の範囲】

【請求項1】

作業を実行する本体と、当該本体の操作室の外に設けられ周囲を撮影し撮影映像を取得する撮影装置と、を備える建設機械であって、
前記撮影装置で撮影した前記撮影映像を、ヘッドマウントディスプレイの予め定めた映像表示領域に表示する第一表示処理を行う表示装置を備え、
前記映像表示領域は、前記ヘッドマウントディスプレイ上の操作者の視野範囲であるディスプレイ視野範囲の、左右の操作レバー像の間であって、さらに、前記操作室の床前端像により囲まれた領域であること
を特徴とする建設機械。

【請求項2】

作業を実行する本体と、当該本体の操作室の外に設けられ周囲を撮影し撮影映像を取得する撮影装置と、を備える建設機械であって、
前記撮影装置で撮影した前記撮影映像を、ヘッドマウントディスプレイの予め定めた映像表示領域に表示する第一表示処理を行う表示装置を備え、
前記映像表示領域は、前記ヘッドマウントディスプレイ上の操作者の視野範囲であるディスプレイ視野範囲の、左右の操作レバー像の間であって、さらに、前記操作室の床後端像により囲まれた領域であること
を特徴とする建設機械。

【請求項3】

作業を実行する本体と、当該本体の操作室の外に設けられ周囲を撮影し撮影映像を取得する撮影装置と、を備える建設機械であって、
前記撮影装置で撮影した前記撮影映像を、ヘッドマウントディスプレイの予め定めた映像表示領域に表示する第一表示処理を行う表示装置を備え、
前記映像表示領域は、前記ヘッドマウントディスプレイ上の操作者の視野範囲であるディスプレイ視野範囲の、左右の操作レバー像の間であり、
前記表示装置は、
前記操作者が前記操作室内で着座しているか否かを判定する着座判定部をさらに備え、
前記操作者が着座していないと判定した場合、前記第一表示処理とは異なる第二表示処理を行うこと
を特徴とする建設機械。

【請求項4】

作業を実行する本体と、当該本体の操作室の外に設けられ周囲を撮影し撮影映像を取得する撮影装置と、を備える建設機械であって、
前記撮影装置で撮影した前記撮影映像を、ヘッドマウントディスプレイの予め定めた映像表示領域に表示する第一表示処理を行う表示装置を備え、
前記映像表示領域は、前記ヘッドマウントディスプレイ上の操作者の視野範囲であるディスプレイ視野範囲の、左右の操作レバー像の間であり、
前記表示装置は、
操作レバーがロック状態にあるか否かを判定するレバー状態判定部をさらに備え、
前記操作レバーが前記ロック状態であると判定した場合、前記第一表示処理とは異なる第二表示処理を行うこと
を特徴とする建設機械。

【請求項5】

請求項３または４に記載の建設機械であって、
前記第二表示処理は、前記撮影映像を、前記第一表示処理よりも小さいサイズで表示させる処理であること
を特徴とする建設機械。

【請求項6】

請求項３または４に記載の建設機械であって、
前記第二表示処理は、前記撮影映像を、半透過映像として表示させる処理であること
を特徴とする建設機械。

【請求項7】

請求項３または４に記載の建設機械であって、
前記第二表示処理は、前記撮影映像を、所定位置に移動させて表示させる処理であること
を特徴とする建設機械。

【請求項8】

請求項３または４に記載の建設機械であって、
前記第二表示処理は、前記撮影映像を表示しない処理であること
を特徴とする建設機械。

【請求項9】

請求項１～８のいずれか１項に記載の建設機械であって、
前記ヘッドマウントディスプレイのディスプレイは、前記撮影映像を外界の実風景に重ねて表示する光学シースルー型であること
を特徴とする建設機械。

【請求項10】

請求項１～８のいずれか１項に記載の建設機械であって、
前記ヘッドマウントディスプレイのディスプレイは、ビデオシースルー型であり、
前記ヘッドマウントディスプレイは、
前記操作者の視線方向の外界の実風景を視野映像として取得する視線カメラ、を備え、
前記視野映像に前記撮影映像を重ねて表示すること
を特徴とする建設機械。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械に係り、特に操作室周辺の映像を操作室内で表示する技術に関する。

【背景技術】

【0002】

建設機械には、多段式に展開するアームを有し、通常の油圧ショベルよりも地表から深い部分を掘削することが可能な深礎掘削機と呼ばれるものがある。この深礎掘削機では、掘削する穴が深いと穴底を操作室から目視することができず、作業性が悪い。そこで、下方視界を確保するために、操作室を前方にスライドさせる機構と、操作室床窓とが装備される。しかし、操作室床窓を通した視界の範囲はフロア上に設置されるペダル等の機器により制限され、掘削穴全体が見える広い視界が得られない。

【0003】

操作室外に設けられた撮影装置にて撮影した映像を、操作室内のモニタ装置に表示するシステムがある（例えば、特許文献１参照）。特許文献１に開示の技術では、「伸縮自在なシリンダの可動側シリンダのヘッド部が運転キャビンの前面位置より前方向へ可動するよう取り付けられ、更にヘッド部に設けられた取付角調整手段を備えたステージにＣＣＤカメラが取付られ、ＣＣＤカメラの伝送ケーブルが可動側シリンダの動作に応じて略円弧状に湾曲するよう設置されて運転キャビン内へ導かれ、運転キャビン内に設けられたモニタ装置に画像データを映し出す（要約抜粋）」。

【0004】

また、建設機械の操作室外に設けられた撮影装置で撮影した画像を、建設機械の操作者の両眼に覆いかぶせるヘッドマウントディスプレイ（ＨＭＤ）に表示させる技術がある（例えば、特許文献２参照）。特許文献２に開示の技術によれば、「撮影部は、対象物を第１撮影方向から撮影する第１撮影装置を備える。表示部は、操作箇所から見て第１表示方向に設置され第１撮影装置で撮影された画像を操作箇所に向けて表示する第１画像表示装置を備える。第１撮影方向の単位ベクトルと第１表示方向の単位ベクトルの内積が負値になるように、第１撮影装置と第１画像表示装置が配置されている（要約抜粋）」。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平１１－３６３８２号公報

【文献】特開２０１９－８３３７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示の技術では、モニタ装置を設置することにより、ある程度作業性は向上する。しかし、モニタ装置を操作室内の前窓および左右窓に設置すると、その分、周囲視界が狭くなる。また、モニタ装置を操作者の足元付近に設置すると、操作者の膝の影となって大きい視界が得られない。また、足元に配置する場合、モニタ装置の汚損等のリスクがある。一方、モニタ装置を操作者の膝より上に配置すると、操作者の円滑な乗降や操作の妨げとなる。

【0007】

また、特許文献２に開示の技術では、表示範囲は、撮影方向との相対位置で定められ、操作者の視野範囲は考慮されていない。したがって、表示範囲が操作者の視野に重なる場合、操作装置等を視認しにくくなり、かえって作業性を低下させる。

【0008】

本発明は、以上に鑑み、建設機械において、操作者の作業性を向上させる技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本発明の建設機械は、作業を実行する本体と、当該本体の操作室の外に設けられ周囲を撮影し撮影映像を取得する撮影装置と、を備える建設機械であって、前記撮影装置で撮影した前記撮影映像を、ヘッドマウントディスプレイの予め定めた映像表示領域に表示する第一表示処理を行う表示装置を備え、前記映像表示領域は、前記ヘッドマウントディスプレイ上の操作者の視野範囲であるディスプレイ視野範囲の、左右の操作レバー像の間であって、さらに、前記操作室の床前端像により囲まれた領域であることを特徴とする。

【発明の効果】

【0010】

本発明によれば、建設機械において、操作者の作業性が向上する。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】第一実施形態の建設機械システムの全体構成図である。

【図2】（ａ）は、第一実施形態の操作室を上部からみた図であり、（ｂ）は、第一実施形態のディスプレイに表示される映像例を説明するための説明図である。

【図3】（ａ）は、第一実施形態の撮影装置およびＨＭＤの機能ブロック図であり、（ｂ）は、第一実施形態の撮影装置のハードウェア構成図である。

【図4】（ａ）および（ｂ）は、それぞれ、第一実施形態のＨＭＤのハードウェア構成図である。

【図5】（ａ）および（ｂ）は、それぞれ、第一実施形態の視野映像および背景画像の一例を、（ｃ）は、第一実施形態の映像表示領域の位置の特定手法を説明するための説明図である。

【図6】（ａ）および（ｂ）は、それぞれ、第一実施形態の映像表示領域の位置の特定手法を説明するための説明図である。

【図7】（ａ）は、第一実施形態の表示映像の一例を、（ｂ）は、第一実施形態の、ディスプレイを介して操作者が見る光景を、説明するための説明図である。

【図8】第一実施形態の撮影映像表示処理のフローチャートである。

【図9】第二実施形態の撮影装置およびＨＭＤの機能ブロック図である。

【図10】（ａ）～（ｄ）は、それぞれ、第二実施形態の非表示処理、サイズ変更処理、表示位置移動処理、および、透過処理を、説明するための説明図である。

【図11】第二実施形態の撮影映像表示処理のフローチャートである。

【図12】第三実施形態の撮影装置およびＨＭＤの機能ブロック図である。

【図13】第三実施形態の撮影映像表示処理のフローチャートである。

【発明を実施するための形態】

【0012】

＜＜第一実施形態＞＞
本発明の第一実施形態を説明する。

【0013】

まず、図１～図３を用いて、本実施形態の建設機械の視覚拡張システムである建設機械システム１０１を説明する。本実施形態の建設機械システム１０１は、建設機械１００と、撮影装置（カメラ）２００と、表示装置３００と、を備える。

【0014】

［深礎掘削機］
以下、本実施形態では、建設機械１００が深礎掘削機である場合を例に説明する。図１に示すように、深礎掘削機１００は、作業を実行する本体１０２と、操作室（キャブ）１０７と、を備える。

【0015】

本体１０２は、下部走行体１０３と、下部走行体１０３上に旋回軸１０４を介して旋回可能に設けられた上部旋回体１０５と、上部旋回体１０５に設けられた作業装置１０６と、を備える。上部旋回体１０５の後部には機械室１０８に配置されたエンジンやカウンタウェイト１０９が搭載されている。操作室１０７は、上部旋回体１０５の前横部に搭載される。

【0016】

上部旋回体１０５には、ブーム１１０およびこのブーム１１０を回動するブームシリンダ１１１が回動可能に軸支されている。ブームシリンダ１１１の先端部はピン１１１Ａを介してブーム１１０に回動可能に連結されている。ブーム１１０の先端には、多段式アーム１１２がアームシリンダ１１３により回動されるように軸支されている。多段式アーム１１２には、先端アタッチメントであるクラムシェルバケット１１４がリンク部１１５を介して回動されるように軸支されている。

【0017】

ここで、図２（ａ）は、操作室１０７を上部から見た図である。図１および図２（ａ）に示すように、操作室１０７は、操作者Ｍの座席としてのシート１１８と、操作者Ｍを保護するシートベルト１２４と、該当シート１１８の左右に配置され本体１０２を操作する操作レバー１１９と、操作レバー１１９から本体１０２への入力伝達をカットするロックレバー１２０と、本体１０２の前方を視認する操作室前窓１２１と、を備える。

【0018】

［撮影装置］
撮影装置２００は、図１に示すように、本体の周辺（周囲）を撮影するカメラである。撮影装置２００は、本体１０２の操作室１０７外に設けられる。撮影装置２００は、作業装置１０６の少なくとも一部が撮影範囲内に入る位置に配置される。撮影装置２００は、ブーム１１０や多段式アーム１１２等を含めた本体１０２または本体１０２の周囲に配置された支持部（不図示）により支持される。図１において、撮影装置２００は、例えば、矢印Ａの方向を撮影する。撮影装置２００で撮影された撮影データ（撮影映像）は、表示装置３００に送信される。撮影装置２００の詳細は、後述する。

【0019】

［表示装置］
表示装置３００は、撮影装置２００で撮影された撮影映像を操作者Ｍに向けて表示する。本実施形態では、表示装置３００は、操作者Ｍが両眼を覆うように頭部に装着するヘッドマウントディスプレイ（ＨＭＤ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）として説明する。また、本実施形態では、ＨＭＤ３００は、ディスプレイ３１８（図２（ｂ））として、透過型ディスプレイを備える光学シースルー型を例に説明する。すなわち、操作者Ｍは、ＨＭＤ３００のディスプレイ３１８を介して、ディスプレイ３１８に表示される撮影映像と、その背景の実風景（背景実像）とを見ることができる。

【0020】

図２（ｂ）に、ＨＭＤ３００が備えるディスプレイ３１８に表示される映像の一例である。上述のように、操作者Ｍは、ディスプレイ３１８を介して、撮影映像３７０と背景実像３６１と、を見る。ＨＭＤ３００は、撮影映像３７０を、ディスプレイ３１８上の表示領域３６０の、予め定めた映像表示領域３５０に表示させる。そして、ＨＭＤ３００は、ディスプレイ３１８の表示領域３６０のその他の領域には、何も表示させない。このため、操作者Ｍは、背景の実際の風景を見ることができる。

【0021】

この映像表示領域３５０は、図２（ｂ）に示すように、例えば、操作者Ｍがディスプレイ３１８を透過して見る背景実像３６１において、操作者Ｍの脚部の像の付近であって、操作者Ｍの作業を妨げない領域、例えば、操作レバー１１９の像（操作レバー像１１９ｉ）の少なくとも一部が視認できる領域に設定される。具体的には、一例として、本図に示すように、映像表示領域３５０は、両側の操作レバー像１１９ｉと、操作室前窓１２１の下部像（床前端像１３１ｉ）と、操作室１０７の床後端部またはシート１１８の前端部の像（床後端像１３２ｉ）と、で囲まれる領域の内部領域に設定される。

【0022】

以下、撮影装置２００および表示装置３００（ＨＭＤ３００）の詳細を説明する。図３（ａ）は、本実施形態の撮影装置２００および表示装置３００の機能ブロック図である。また、図３（ｂ）は、撮影装置２００の、図４（ａ）は、ＨＭＤ３００の、それぞれ、ハードウェア構成図である。

【0023】

［撮影装置］
図３（ａ）に示すように、撮影装置２００は、撮影映像生成部２２１と映像送信部２２２と、を備える。また、図３（ｂ）に示すように、撮影装置２００は、ＣＰＵ等の演算装置２１１と、ＲＡＭ２１２と、ＲＯＭやフラッシュメモリ等の記憶装置２１３と、通信インタフェース（Ｉ／Ｆ）２１４と、ＣＣＤ等のイメージセンサ２１５と、を備える。

【0024】

撮影映像生成部２２１は、イメージセンサ２１５から所定の時間間隔で信号を取得し、撮影映像３７０を生成する。映像送信部２２２は、撮影映像生成部２２１が生成した撮影映像３７０を、通信Ｉ／Ｆ２１４を介して外部に送信する。本実施形態では、表示装置（ＨＭＤ）３００へ送信する。送信は、有線であっても無線であってもよい。

【0025】

なお、撮影映像生成部２２１および映像送信部２２２は、演算装置２１１が、記憶装置２１３に予め記憶されたプログラムをＲＡＭ２１２にロードして実行することにより、実現される。

【0026】

［ＨＭＤ］
次に、本実施形態のＨＭＤ３００の構成を説明する。図３（ａ）に示すように、ＨＭＤ３００は、映像受信部３２１と、相対位置算出部３２２と、表示映像生成部３２３と、表示部３２４と、データ記憶部３３１と、を備える。また、図４（ａ）に示すように、本実施形態のＨＭＤ３００は、ＣＰＵ等の演算装置３１１と、ＲＡＭ３１２と、ＲＯＭやフラッシュメモリ等の記憶装置３１３と、通信Ｉ／Ｆ３１４と、入出力Ｉ／Ｆ３１５と、プロジェクタ３１６と、レンズ３１７と、ディスプレイ３１８と、視線カメラ３１９と、を備える。

【0027】

プロジェクタ３１６は、表示映像生成部３２３で生成した映像を出力する。また、レンズ３１７は、プロジェクタ３１６から出力された映像を拡大縮小する。ディスプレイ３１８は、レンズ３１７を通過した映像が投影される透過型ディスプレイであり、例えば、ハーフミラー等で構成される。

【0028】

ディスプレイ３１８は、映像を表示するとともに、その透過性により操作者Ｍの視野範囲の現実の周囲環境（背景実像３６１）に映像を重畳可能である。ディスプレイ３１８を構成するハーフミラーは、ＨＭＤ３００を装着した操作者Ｍの瞳の前方に配置され、透過性と反射性とを併せ持つ。これにより、操作者Ｍはディスプレイ３１８上に投影された映像と前方の現実の景色を同時に視認することができる。

【0029】

視線カメラ３１９は、操作者Ｍの視点位置および視線方向を計測するための映像を取得する計測装置である。視線カメラ３１９は、ＨＭＤ３００の本体に搭載され、操作者Ｍの頭部の動きに合わせて位置および光軸方向が変化する。本実施形態では、視線カメラ３１９は、操作者Ｍの、視野範囲の映像（視野映像）を取得する。

【0030】

なお、ＨＭＤ３００は、ビデオシースルー型のディスプレイ３１８を備えてもよい。この場合のＨＭＤ３００のハードウェア構成図を、図４（ｂ）に示す。本図に示すように、ビデオシースルー型におけるディスプレイ３１８は、例えば液晶モニタや有機ＥＬモニタであり、ハーフミラーを用いたものと異なり透過性がなく、ＨＭＤ３００内ではレンズ３１７の手前に配置される。

【0031】

その他、ＨＭＤ３００は、ジャイロセンサ、加速度センサ、距離センサ、ＧＰＳアンテナおよび受信機、指示ボタン等を備えてもよい。

【0032】

映像受信部３２１は、通信Ｉ／Ｆ３１４を介して、外部から映像を受信する。本実施形態では、撮影装置２００から撮影映像３７０を受信する。

【0033】

相対位置算出部３２２は、映像表示領域特定処理を行う。映像表示領域特定処理は、ＨＭＤ３００のディスプレイ３１８の表示領域内の、映像表示領域３５０の位置を算出する処理である。映像表示領域３５０は、上述のように、ＨＭＤ３００のディスプレイ３１８上の、撮影映像３７０を表示（重畳）する領域である。また、算出する値は、ディスプレイ３１８の表示領域内の、映像表示領域３５０を特定する位置情報である。例えば、本実施形態では、ディスプレイ３１８に表示される表示映像の画素位置とする。

【0034】

本実施形態では、ディスプレイ３１８上の操作者Ｍの視野範囲（ディスプレイ視野範囲）内の所定の領域を映像表示領域３５０とする。このため、相対位置算出部３２２は、まず、視線カメラ３１９により、操作者Ｍの視線方向の視野範囲の画像（視野映像３８０）を取得する。取得される視野映像３８０の例を図５（ａ）に示す。

【0035】

なお、視野映像３８０は、図５（ｂ）に示すように、ビデオシースルー型のディスプレイ３１８を用いる場合、背景画像として表示する映像である。ここで取得する視野映像３８０は、操作者Ｍの視野範囲のみの映像であってもよいし、ディスプレイ視野範囲を含み、ディスプレイ３１８と同等のサイズの範囲（表示領域３６０と同サイズ）の映像であってもよい。

【0036】

相対位置算出部３２２は、取得した視野映像３８０の最新の画像を解析し、映像表示領域３５０の視野映像３８０内での位置を特定する。本実施形態では、映像表示領域３５０は、上述のように、視野映像３８０内の操作室１０７の床前端像１３１ｉ、床後端像１３２ｉおよび左右の操作レバー像１１９ｉで囲まれた矩形の領域である。例えば、図５（ｃ）に示すように、この矩形の四隅３５１、３５２、３５３、３５４の、視野映像３８０上の画素位置（視野映像座標）を特定する。

【0037】

映像表示領域３５０の四隅３５１、３５２、３５３、３５４の画素位置の特定にあたり、相対位置算出部３２２は、視野映像３８０を解析し、視野映像３８０内の床前端像１３１ｉ、床後端像１３２ｉおよび左右の操作レバー像１１９ｉの、画素位置を特定する。ここでは、例えば、パターンマッチングなどを行って特定する。すなわち、相対位置算出部３２２は、視野映像３８０を走査し、各形状を抽出し、それぞれの視野映像上の画素位置を特定する。また、解析は、所定の時間間隔で行う。

【0038】

パターンマッチングに用いる形状データ（パターンマッチングデータ）は、予めデータ記憶部３３１に記憶する。本実施形態では、パターンマッチングデータとして、機種毎の、床前端像１３１ｉ、床後端像１３２ｉおよび左右の操作レバー像１１９ｉの形状を予め保持しておく。例えば、各像について、サイズ、傾き等を変えて、多数、記憶しておいてもよいし、マッチング時に視野映像３８０を変形させてもよい。

【0039】

相対位置算出部３２２は、特定した映像表示領域３５０の四隅３５１、３５２、３５３、３５４の画素位置を表示映像生成部３２３に出力する。

【0040】

なお、映像表示領域３５０は、必ずしも視野映像３８０の中央付近でなくてもよい。例えば、図６（ａ）に示すように偏在したり、所定の角度を有したりしていてもよい。また、図６（ｂ）に示すように、操作者Ｍの視線方向が足元でない場合など、相対位置算出部３２２は、四隅３５１、３５２、３５３、３５４全ての画素位置を得られないことがある。このような場合は、表示映像生成部３２３には、画素位置は出力するが、視野映像３８０からはみ出す範囲は、表示映像生成部３２３は、表示映像を生成しない。

【0041】

なお、相対位置算出部３２２による映像表示領域特定手法は、上記に限定されない。各種の従来技法を用いることができる。例えば、操作室１０７内の所定の位置にマーカ等を取り付け、当該マーカを手掛かりに映像表示領域３５０の四隅３５１、３５２、３５３、３５４の座標値を算出し、ディスプレイ３１８に表示する表示映像の画素位置に変換してもよい。また、ＨＭＤ３００が備える、ジャイロセンサ、加速度センサ等の各種センサ信号やキャブ内に備えるＨＭＤ３００の位置を検出するセンサを用いて、ＨＭＤ３００と操作室１０７内の各種の部位との相対位置を演算し、映像表示領域を特定してもよい。

【0042】

表示映像生成部３２３は、ディスプレイ３１８に表示させる表示映像を生成する表示映像生成処理を行う。本実施形態では、相対位置算出部３２２から出力された、映像表示領域３５０の四隅３５１、３５２、３５３、３５４の画素位置で定まる領域に、撮影映像３７０が表示される表示映像を生成する。

【0043】

ここで、表示映像生成部３２３が生成する表示映像３９０の例を図７（ａ）に示す。本実施形態では、上述のように、透過型ディスプレイを用い、撮影映像３７０を表示する映像表示領域３５０以外は、透明とする（透過度を１００％とする）。これにより、操作者Ｍは、映像表示領域３５０外から現実の景色（背景実像３６１）を見ることができる。なお、図７（ａ）では、位置を示すため、背景実像３６１を細線で示す。

【0044】

なお、相対位置算出部３２２は、四隅３５１、３５２、３５３、３５４全ての画素位置を算出できない場合であっても、表示映像生成部３２３には、画素位置は出力するが、視野映像３８０からはみ出す範囲は、表示映像生成部３２３は、表示映像を生成しない。

【0045】

また、表示映像生成部３２３は、背景を透明とする表示映像を生成する代わりに、撮影映像３７０のサイズの情報と、映像表示領域３５０で定まる表示位置の情報と、を表示部３２４に通知してもよい。

【0046】

表示部３２４は、表示映像生成部３２３が生成した表示映像３９０を、ディスプレイ３１８に表示させる。本実施形態では、入出力Ｉ／Ｆ３１５からプロジェクタ３１６に出力する。これにより、操作者Ｍは、ＨＭＤ３００のディスプレイ３１８を介して、図７（ｂ）に示すように、ディスプレイ３１８上の映像表示領域３５０に撮影映像３７０が表示され、その他の領域は、背景実像３６１を透視できる表示映像３９０を、ディスプレイ３１８を介して見ることができる。

【0047】

データ記憶部３３１には、本実施形態の各部が処理に用いるデータ、処理で得られたデータ等が記憶される。例えば、上述のように、パターンマッチングのデータ等が記憶される。データ記憶部３３１は、記憶装置３１３等に構築される。

【0048】

［処理フロー］
以下、本実施形態の撮影映像表示処理の流れを説明する。図８は、本実施形態の撮影映像表示処理の処理フローである。本処理は、映像受信部３２１で撮影映像３７０を受信する毎に、実行される。

【0049】

映像受信部３２１が撮影映像３７０を受信すると、相対位置算出部３２２は、映像表示領域特定処理を行う（ステップＳ１１０１）。表示領域特定処理は、その時点の最新の視線カメラ３１９が取得した視野映像３８０を解析し、映像表示領域３５０の四隅３５１、３５２、３５３、３５４の、視野映像３８０上の画素位置を算出する処理である。

【0050】

ここで、相対位置算出部３２２は、映像表示領域３５０を特定できたかを判別する（ステップＳ１１０２）。具体的には、四隅３５１、３５２、３５３、３５４全ての画素位置を算出できた場合、特定できたと判別する。それ以外の場合は、特定不可と判別する。そして、特定不可の場合は、そのまま処理を終了する。

【0051】

一方、特定できた場合（Ｓ１１０２；Ｙｅｓ）、表示映像生成部３２３に、四隅３５１、３５２、３５３、３５４の画素位置を受け渡す。受け取った表示映像生成部３２３は、表示映像生成処理を行う（ステップＳ１１０３）。表示映像生成処理は、四隅３５１、３５２、３５３、３５４の画素位置で特定される領域に、映像受信部３２１が受信した撮影映像３７０が表示されるよう、表示映像３９０を生成する処理である。

【0052】

表示映像生成部３２３が表示映像３９０を生成すると、表示部３２４は、生成された表示映像３９０を表示させ（ステップＳ１１０４）、処理を終了する。

【0053】

これにより、操作者Ｍが、ＨＭＤ３００を装着し、その視線方向が操作室１０７内で、足元方向である場合、撮影装置２００が撮影した撮影映像３７０が、予め定めた映像表示領域３５０に表示される。

【0054】

以上説明したように、本実施形態の建設機械システム１０１は、作業を実行する建設機械（深礎掘削機１００）の本体１０２と、当該本体１０２の操作室１０７の外に設けられ、周囲を撮影し撮影映像３７０を取得する撮影装置２００と、を備える建設機械システム１０１であって、撮影映像３７０を、ディスプレイ３１８の予め定めた映像表示領域３５０に表示する第一表示処理を行う表示装置３００を備え、映像表示領域３５０は、ディスプレイ３１８上の操作者Ｍの視野範囲であるディスプレイ視野範囲の、ディスプレイ３１８を透過して視認される背景実像３６１である操作レバー像１１９ｉにより囲まれた、操作者Ｍの作業を妨げない領域であることを特徴とする。

【0055】

このように、本実施形態によれば、ＨＭＤ３００を通した操作者Ｍの視界内であって、操作レバー１１９の少なくとも一部が視認できるように、映像表示領域３５０に撮影装置２００で取得した撮影映像３７０が表示される。すなわち、本実施形態によれば、撮影映像３７０の表示がレバー操作を妨げることがない。このため、操作者Ｍは、ＨＭＤ３００を通して視認する実空間において、操作に必要な空間の視界を妨げられることなく、撮影映像３７０を視認することができる。これにより、操作者Ｍは、操作室１０７外の必要な映像を、操作を妨げることなく視認することができ、作業性が向上する。

【0056】

また、撮影映像３７０を表示させる映像表示領域３５０は、操作レバー像１１９ｉと、さらに、操作室１０７の床前端像１３１ｉと床後端像１３２ｉとにより囲まれた領域の内部領域に設定される。したがって、本実施形態によれば、操作者Ｍの脚部上側という深礎掘削機１００の操作室１０７に特有の周囲視界およびレバー操作に影響のない空間に、撮影映像３７０が表示される。また、この空間は、従来の操作室床窓の位置に類似している。よって、操作者Ｍは、深礎掘削機１００において、違和感なく、かつ、操作を妨げられることなく、操作室外の広い視界を得ることができる。その結果、操作者Ｍは、深礎掘削機１００で安全に操作を行うことができ、作業性が向上する。

【0057】

また、操作者Ｍの視線方向が足元の場合のみ、撮影映像３７０が表示されるため、この点においても、操作室床窓から視認する場合と似通った行動で撮影映像３７０を視認することができ、さらに違和感が少ない。さらに、例えば、乗降車時など、視線方向が異なる場合は、撮影映像３７０は表示されない。このため、安全に乗降車ができる。

【0058】

＜変形例１＞
なお、上記実施形態では、四隅３５１、３５２、３５３、３５４の画素位置を全て得られない場合、表示を行わないが、これに限定されない。例えば、１つでも得られた場合、撮影映像３７０を表示するよう構成してもよい。すなわち、映像表示領域３５０の一部でも、視野範囲（視野映像３８０内）に入った場合、撮影映像３７０を表示する。例えば、図６（ｂ）のような場合である。

【0059】

この場合、相対位置算出部３２２は、四隅３５１、３５２、３５３、３５４の画素位置のうち、算出された画素位置を表示映像生成部３２３に出力する。表示映像生成部３２３は、受け取った画素位置から視野映像３８０内の映像表示領域３５０を特定し、当該領域内に撮影映像３７０を表示させる。

【0060】

＜＜第二実施形態＞＞
次に、本発明の第二実施形態について説明する。本実施形態では、さらに、操作者Ｍが着座しているか否かを判別し、撮影映像３７０の表示を制御する。

【0061】

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。撮影装置２００およびＨＭＤ３００のハードウェア構成および撮影装置２００の機能ブロックは、第一実施形態と同じであるため、ここでは、説明を省略する。

【0062】

本実施形態では、操作者Ｍが着座しているか否かを、座席に設置された着座センサにより検出する。このため、本実施形態の深礎掘削機１００は、着座センサ１３１を備える（図９参照）。着座センサ１３１は、例えば、座面裏等に配置される。また、座席の背もたれの下方部に配置されてもよい。

【0063】

着座センサ１３１は、操作者Ｍの着座を検出すると、信号をＨＭＤ３００に出力する。

【0064】

図９は、本実施形態のＨＭＤ３００の機能ブロックである。本実施形態のＨＭＤ３００は、第一実施形態の構成に、さらに、着座判定部３２５を備える。

【0065】

着座判定部３２５は、着座センサ１３１から信号を受信すると、操作者Ｍが着座したことを意味する着座信号を表示映像生成部３２３に出力する。

【0066】

本実施形態の表示映像生成部３２３は、着座信号を受信した時と、受信しない時とで異なる表示映像生成処理を行う。着座信号を受信した時は、着座時表示映像生成処理を行う。着座時表示映像生成処理は、第一実施形態同様、映像表示領域３５０に撮影映像３７０が表示されるよう表示映像３９０を生成する処理である。

【0067】

表示映像生成部３２３が着座時表示映像生成処理により表示映像３９０を生成すると表示部３２４は、第一実施形態同様、その表示映像３９０をディスプレイ３１８に表示させる。なお、表示映像生成部３２３による着座時表示映像生成処理と表示部３２４により表示処理とを合わせて第一表示処理とも呼ぶ。

【0068】

一方、着座信号を受信しない場合、表示映像生成部３２３は、非着座時表示映像生成処理を行う。非着座時表示映像生成処理は、例えば、撮影映像３７０を非表示とする非表示処理、映像表示領域３５０のサイズを縮小して撮影映像３７０を表示させるサイズ変更処理、映像表示領域３５０を所定の位置に移動させて撮影映像３７０を表示させる表示位置移動処理、撮影映像３７０を透過させて表示させる透過処理のいずれかである。

【0069】

表示映像生成部３２３が非着座時表示映像生成処理により表示映像３９０を生成すると表示部３２４は、第一実施形態同様、その表示映像３９０をディスプレイ３１８に表示させる。なお、表示映像生成部３２３による非着座時表示映像生成処理と表示部３２４により表示処理とを合わせて第二表示処理とも呼ぶ。

【0070】

非表示処理は、図１０（ａ）の右図に示すように、撮影映像３７０を表示させない処理である。すなわち、非表示処理を行うことが指定されている場合、表示映像生成部３２３は、全画面透明の表示映像３９０を生成する。そして、表示部３２４は、当該表示映像３９０をディスプレイ３１８に表示させる。なお、非表示処理が指定されているタイミングでは、表示映像３９０そのものを生成しなくてもよい。この場合、表示部３２４は、表示自体を行わない。なお、図１０（ａ）の左図は、第一表示処理が行われた場合の表示例である。図１０（ｂ）～図１０（ｄ）も同様である。

【0071】

サイズ変更処理は、撮影映像３７０の表示サイズを変更する処理である。本実施形態では、表示サイズを小さくする。図１０（ｂ）の右図に示すように、本実施形態では、映像表示領域３５０を縮小する。着座信号を受信した場合の縮小割合は予め定められ、データ記憶部３３１に記憶される。表示映像生成部３２３は、予め定めた縮小割合で縮小された映像表示領域３５０内に撮影映像３７０が表示されるよう表示映像を生成する。なお、このとき、映像表示領域３５０の中心画素位置は、縮小前後で同じとしてもよい。

【0072】

表示位置移動処理は、撮影映像３７０の表示位置を所定位置に移動させる処理である。図１０（ｃ）の右図に示すように、ディスプレイ３１８の表示領域内で、映像表示領域３５０の位置を、相対位置算出部３２２が算出した情報で定められた映像表示領域３５０の位置（初期位置）から移動させる。移動先の位置は、予め定め、データ記憶部３３１に記憶される。移動先は、例えば、視野映像３８０外としてもよい。

【0073】

撮影映像の透過処理は、図１０（ｄ）の右図に示すように、撮影映像の透過率を変化させ、半透過映像３７１とする処理である。例えば、撮影映像３７０が透過情報（α値）を持つ場合、α値を変化させることにより、撮影映像３７０の透過率を変化させる。

【0074】

なお、サイズ変更処理と表示位置移動処理と透過処理とは、任意に組み合わせてもよい。例えば、表示する撮影映像３７０を縮小し透過度を高める、また、さらに、表示位置を、移動させる等である。

【0075】

［処理フロー］
以下、本実施形態の撮影映像表示処理の流れを説明する。図１１は、本実施形態の撮影映像表示処理の処理フローである。本処理は、映像受信部３２１で映像を受信する毎に、実行される。以下、第一実施形態と同じ処理には同じ符号を付す。

【0076】

映像受信部３２１が撮影映像を受信すると、第一実施形態同様、相対位置算出部３２２は映像表示領域特定処理を行う（ステップＳ１１０１）。

【0077】

ここで、相対位置算出部３２２は、第一実施形態同様、映像表示領域３５０を特定できたかを判別する（ステップＳ１１０２）。特定不可の場合は、そのまま処理を終了する。

【0078】

特定できた場合（Ｓ１１０２；Ｙｅｓ）、表示映像生成部３２３に、四隅３５１、３５２、３５３、３５４の画素位置を受け渡す。

【0079】

相対位置算出部３２２から画素位置を受け取った表示映像生成部３２３は、まず、操作者Ｍが着座しているか否かを判別する（ステップＳ２１０１）。本実施形態では、着座判定部３２５は、着座センサ１３１から着座信号を受信すると、着座信号を表示映像生成部３２３に出力する。したがって、表示映像生成部３２３は、所定期間内に着座信号を受信したか否かを判別する。

【0080】

着座していると判別した場合（Ｓ２１０１；Ｙｅｓ）、表示映像生成部３２３は、着座時表示映像生成処理を行う（ステップＳ２１０２）。着座時表示映像生成処理は、第一の実施形態の表示映像生成処理と同じである。

【0081】

そして、表示映像生成部３２３が表示映像３９０を生成すると、表示部３２４は、生成された表示映像３９０を表示させ（ステップＳ１１０４）、処理を終了する。

【0082】

一方、着座していると判別されない場合（Ｓ２１０１；Ｎｏ）、表示映像生成部３２３は、非着座時表示映像生成処理を行い（ステップＳ２１０３）、ステップＳ１１０４へ移行する。

【0083】

このように、本実施形態の建設機械システム１０１では、第一実施形態と同様の構成を備える。このため、本実施形態によれば、第一実施形態と同様の効果が得られる。

【0084】

さらに、本実施形態によれば、操作者Ｍが着座しているか否かにより表示態様を変化させる。具体的には、操作者Ｍが非着座時、例えば、乗降車する際には、撮影映像３７０は、表示されなかったり、邪魔にならないように表示されたりする。これにより、操作者Ｍの視界の妨げとなる事態を未然に防ぐことができ、安全性が向上するとともに、作業性がさらに向上する。

【0085】

＜変形例２＞
なお、上記実施形態では、操作者Ｍが着座しているか否かを、着座センサ１３１からの信号により判別している。しかしながら、着座の判定は、これに限定されない。

【0086】

たとえば、シートベルト１２４の装着により判定してもよい。この場合、シートベルト１２４のバックルに設けられるセンサ等、シートベルト１２４を装着した場合に出力される信号を用いる。すなわち、着座判定部３２５は、シートベルト装着を意味する信号を受信した場合、着座したと判別し、表示映像生成部３２３に着座信号を出力する。

【0087】

また、ＨＭＤ３００の位置により判定してもよい。この場合、例えば、相対位置算出部３２２が、視線カメラ３１９の視野映像３８０を解析することにより、ＨＭＤ３００の操作室１０７内での位置を特定する。ここでは、特にＨＭＤ３００の高さ方向の位置を特定する。特定した高さ方向の位置により、ＨＭＤ３００を装着している操作者Ｍが、着座相当の体勢であるか否かを判別する。判別は、例えば、所定の閾値範囲を設け、当該閾値範囲内に算出した高さ方向の位置が入っている場合、着座と判別する。

【0088】

さらに、着座の判定は、これらの各手法を任意に組み合わせて用いてもよい。

【0089】

＜変形例３＞
なお、映像表示領域特定処理に先立ち、着座、非着座を判別してもよい。特に、非着座時表示処理が、非表示処理である場合、非着座と判別された場合、そのまま処理を終了する。これにより、非着座時の処理量を減らすことができる。

【0090】

＜＜第三実施形態＞＞
次に、本発明の第三実施形態を説明する。本実施形態では、映像の表示非表示の判定に、ロックレバー１２０の状態を用いる。

【0091】

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。撮影装置２００およびＨＭＤ３００のハードウェア構成および撮影装置２００の機能ブロックは、第一実施形態と同じであるため、ここでは、説明を省略する。

【0092】

図１２は、本実施形態のＨＭＤ３００の機能ブロックである。本実施形態のＨＭＤ３００は、第一実施形態の構成に、さらに、ロックレバー状態判定部３２６を備える。なお、ロックレバー１２０は、セットされると、すなわち、操作レバー１１９等がロック状態となると、信号を出力する。

【0093】

ロックレバー状態判定部３２６は、ロックレバーから信号を受信すると、操作レバー１１９等がロック状態であることを意味するロック信号を表示映像生成部３２３に出力する。

【0094】

本実施形態の表示映像生成部３２３は、ロック信号を受信した時と、受信しない時とで異なる表示映像生成処理を行う。ロック信号を受信しない時は、非ロック時映像表示処理を行う。非ロック時映像表示処理は、第一実施形態同様、映像表示領域３５０に撮影映像３７０が表示されるよう表示映像３９０を生成する処理である。第二実施形態同様、表示映像生成部３２３による非ロック時映像生成処理と表示部３２４により表示処理とを合わせて第一表示処理とも呼ぶ。

【0095】

一方、ロック信号を受信しない場合は、ロック時映像生成処理を行う。ロック時処理は、第二実施形態の非着座時処理と同様に、非表示処理、サイズ変更処理、表示位置移動処理、透過処理のいずれかである。第二実施形態同様、表示映像生成部３２３によるロック時表示映像生成処理と表示部３２４により表示処理とを合わせて第二表示処理とも呼ぶ。

【0096】

［処理フロー］
以下、本実施形態の撮影映像表示処理の流れを説明する。図１３は、本実施形態の撮影映像表示処理の処理フローである。本処理は、映像受信部３２１で映像を受信する毎に、実行される。以下、第一実施形態と同じ処理には同じ符号を付す。

【0097】

映像受信部３２１が撮影映像を受信すると、第一実施形態同様、相対位置算出部３２２は映像表示領域特定処理を行う（ステップＳ１１０１）。

【0098】

ここで、相対位置算出部３２２は、第一実施形態同様、映像表示領域３５０を特定できたかを判別する（ステップＳ１１０２）。特定不可の場合は、そのまま処理を終了する。

【0099】

特定できた場合（Ｓ１１０２；Ｙｅｓ）、表示映像生成部３２３に、四隅３５１、３５２、３５３、３５４の画素位置を受け渡す。

【0100】

相対位置算出部３２２から画素位置を受け取った表示映像生成部３２３は、まず、ロックレバー１２０がロック状態であるか否かを判別する（ステップＳ３１０１）。本実施形態では、ロックレバー状態判定部３２６は、ロックレバー１２０から信号を受信すると、ロック信号を表示映像生成部３２３に出力する。したがって、表示映像生成部３２３は、所定期間内にロック信号を受信したか否かを判別する。

【0101】

非ロック状態と判別した場合（Ｓ３１０１；Ｙｅｓ）、表示映像生成部３２３は、非ロック時表示映像生成処理を行う（ステップＳ３１０２）。非ロック時表示映像生成処理は、第一の実施形態の表示映像生成処理と同じである。

【0102】

そして、表示映像生成部３２３が表示映像３９０を生成すると、表示部３２４は、生成された表示映像３９０を表示させ（ステップＳ１１０４）、処理を終了する。

【0103】

一方、ロック状態と判別される場合（Ｓ２１０１；Ｎｏ）、表示映像生成部３２３は、ロック時表示映像生成処理を行い（ステップＳ３１０３）、ステップＳ１１０４へ移行する。

【0104】

このように、本実施形態の建設機械システム１０１では、第一実施形態と同様の構成を備える。このため、本実施形態によれば、第一実施形態と同様の効果が得られる。

【0105】

さらに、本実施形態によれば、ロックレバー１２０の状態に応じて表示映像を変化させる。具体的には、ロック状態の場合は、撮影映像３７０は、表示されなかったり、邪魔にならないように表示されたりする。これにより、ロック状態の際は、第二実施形態同様、操作者Ｍの視界の妨げとなる事態を未然に防ぐことができ、安全性が向上するとともに、作業性がさらに向上する。

【0106】

＜変形例４＞
なお、本実施形態においても、映像表示領域特定処理に先立ち、ロック状態を判別してもよい。特に、ロック時表示処理が、非表示処理である場合、ロック状態と判別された場合、そのまま処理を終了する。これにより、ロック状態時の処理量を減らすことができる。

【0107】

＜変形例５＞
さらに、本実施形態は、第二実施形態と組み合わせてもよい。

【0108】

＜その他の変形例＞
また、上記各実施形態および変形例において、ＨＭＤ３００は、透過型ディスプレイを備え、光学シースルー型として説明したが、これに限定されない。例えば、ビデオシースルー型であってもよい。この場合、視線カメラ３１９で撮影した視野映像３８０を背景としてディスプレイ３１８に表示させる。撮影映像３７０は、この視野映像３８０の映像表示領域３５０に合成される。

【0109】

また、上記各実施形態および変形例を適用する建設機械は、深礎掘削機１００に限定されない。操作室を前方にスライドさせる機構の他、上方に移動や傾斜する機構を有する建設機械でもよい。また、多段式アーム１１２やクラムシェルバケット１１４などの作業装置１０６も、建設機械に用いる各種作業装置でもよい。

【0110】

また、撮影装置２００は複数でもよく、単眼カメラやステレオカメラおよび赤外線カメラなどでもよい。

【0111】

なお、前述した各実施形態の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。ソフトウェアは、製品出荷の時点で、予めフラッシュメモリ等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置いてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。例えば実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0112】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、一部上述したが、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0113】

１００：建設機械（深礎掘削機）、１０１：建設機械システム、１０２：本体、１０３：下部走行体、１０４：旋回軸、１０５：上部旋回体、１０６：作業装置、１０７：操作室、１０８：機械室、１０９：カウンタウェイト、１１０：ブーム、１１１：ブームシリンダ、１１１Ａ：ピン、１１２：多段式アーム、１１３：アームシリンダ、１１４：クラムシェルバケット、１１５：リンク部、１１８：シート、１１９：操作レバー、１１９ｉ：操作レバー像、１２０：ロックレバー、１２１：操作室前窓、１２４：シートベルト、１３１：着座センサ、１３１ｉ：床前端像、１３２ｉ：床後端像、
２００：撮影装置（カメラ）、２１１：演算装置、２１２：ＲＡＭ、２１３：記憶装置、２１４：通信Ｉ／Ｆ、２１５：イメージセンサ、２２１：撮影映像生成部、２２２：映像送信部、
３００：表示装置（ＨＭＤ）、３１１：演算装置、３１２：ＲＡＭ、３１３：記憶装置、３１４：通信Ｉ／Ｆ、３１５：入出力Ｉ／Ｆ、３１６：プロジェクタ、３１７：レンズ、３１８：ディスプレイ、３１９：視線カメラ、３２１：映像受信部、３２２：相対位置算出部、３２３：表示映像生成部、３２４：表示部、３２５：着座判定部、３２６：ロックレバー状態判定部、３３１：データ記憶部、３５０：映像表示領域、３５１：四隅、３５２：四隅、３５３：四隅、３５４：四隅、３６０：表示領域、３６１：背景実像、３７０：撮影映像、３７１：半透過映像、３８０：視野映像、３９０：表示映像、
Ｍ：操作者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】