▶ 株式会社小松製作所の特許一覧 ▶ 株式会社シナスタジアの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022072598
(43)【公開日】2022-05-17
(54)【発明の名称】作業車両の表示システムおよび作業車両の表示方法
(51)【国際特許分類】
E02F 9/26 20060101AFI20220510BHJP
E02F 9/24 20060101ALI20220510BHJP
B66F 9/24 20060101ALI20220510BHJP
H04N 7/18 20060101ALI20220510BHJP
【ＦＩ】
E02F9/26 A
E02F9/24 B
B66F9/24 Z
H04N7/18 J
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2020182125
(22)【出願日】2020-10-30
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(71)【出願人】
【識別番号】519366846
【氏名又は名称】株式会社シナスタジア
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】加藤 雅之
(72)【発明者】
【氏名】小林 優樹
(72)【発明者】
【氏名】有年 亮博
(72)【発明者】
【氏名】高田 一輝
(72)【発明者】
【氏名】崎山 和正
【テーマコード（参考）】
2D015
3F333
5C054
【Ｆターム（参考）】
2D015HA03
3F333AA02
3F333DB01
3F333FA40
5C054CA04
5C054CC02
5C054FC12
5C054FD03
5C054FE18
5C054HA30
(57)【要約】
【課題】正確な作業が可能で、かつオペレータの疲労を軽減可能な作業車両の表示システムおよび作業車両の表示方法を提供する。
【解決手段】第２補完撮像装置ＩＳ２は、第１補完撮像装置ＩＳ２の撮像範囲よりも下方を撮像する。コントローラ５０は、第１補完撮像装置ＩＳ１の第１補完撮像画像および第２補完撮像装置ＩＳ２の第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像をヘッドマウントディスプレイ２００に表示する。
【選択図】図７
【解決手段】第２補完撮像装置ＩＳ２は、第１補完撮像装置ＩＳ２の撮像範囲よりも下方を撮像する。コントローラ５０は、第１補完撮像装置ＩＳ１の第１補完撮像画像および第２補完撮像装置ＩＳ２の第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像をヘッドマウントディスプレイ２００に表示する。
【選択図】図７
【特許請求の範囲】
【請求項1】
表示装置と、
第１補完撮像装置と、
前記第１補完撮像装置の撮像範囲よりも下方を撮像する第２補完撮像装置と、
前記第１補完撮像装置の第１補完撮像画像および前記第２補完撮像装置の第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像を前記表示装置に表示するコントローラと、を備えた、作業車両の表示システム。
第１補完撮像装置と、
前記第１補完撮像装置の撮像範囲よりも下方を撮像する第２補完撮像装置と、
前記第１補完撮像装置の第１補完撮像画像および前記第２補完撮像装置の第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像を前記表示装置に表示するコントローラと、を備えた、作業車両の表示システム。
【請求項2】
主撮像画像を撮像する主撮像装置をさらに備え、
前記コントローラは、前記少なくとも一方の補完撮像画像と前記主撮像画像とを重畳することにより前記死角を補完した前記表示画像を生成して前記表示装置に表示する、請求項１に記載の作業車両の表示システム。
前記コントローラは、前記少なくとも一方の補完撮像画像と前記主撮像画像とを重畳することにより前記死角を補完した前記表示画像を生成して前記表示装置に表示する、請求項１に記載の作業車両の表示システム。
【請求項3】
前記コントローラは、前記第１補完撮像画像と前記第２補完撮像画像とを統合した１つの統合画像を生成し、前記統合画像と前記主撮像画像とを重畳することにより前記死角を補完した前記表示画像を生成する、請求項２に記載の作業車両の表示システム。
【請求項4】
前記コントローラは、前記主撮像画像と重畳させる画像として前記第１補完撮像画像と前記第２補完撮像画像とを切り替える、請求項２に記載の作業車両の表示システム。
【請求項5】
前記コントローラは、前記主撮像画像に重畳させる画像としての前記第１補完撮像画像と前記第２補完撮像画像との切り替えを、前記作業車両に対する前記表示装置の傾斜角度と、視線検出センサにより検出されたオペレータの視線方向と、オペレータによって操作される操作レバーの操作角度と、オペレータが操作する表示切替スイッチの切替信号とからなる群から選ばれる１つ以上に基づいて行う、請求項４に記載の作業車両の表示システム。
【請求項6】
作業機をさらに備え、
前記コントローラは、前記作業機が通常作業および深堀作業のいずれを実行しているかを判定し、前記作業機が前記通常作業を実行していると判定した場合には前記第１補完撮像画像と前記主撮像画像とを重畳し、前記作業機が前記深堀作業を実行していると判定した場合には前記第２補完撮像画像と前記主撮像画像とを重畳する、請求項４または請求項５に記載の作業車両の表示システム。
前記コントローラは、前記作業機が通常作業および深堀作業のいずれを実行しているかを判定し、前記作業機が前記通常作業を実行していると判定した場合には前記第１補完撮像画像と前記主撮像画像とを重畳し、前記作業機が前記深堀作業を実行していると判定した場合には前記第２補完撮像画像と前記主撮像画像とを重畳する、請求項４または請求項５に記載の作業車両の表示システム。
【請求項7】
オペレータが搭乗する運転室をさらに備え、
前記第１補完撮像装置と前記第２補完撮像装置とは前記運転室外に配置される、請求項１から請求項６のいずれか１項に記載の作業車両の表示システム。
前記第１補完撮像装置と前記第２補完撮像装置とは前記運転室外に配置される、請求項１から請求項６のいずれか１項に記載の作業車両の表示システム。
【請求項8】
前記表示装置は、前記作業車両のオペレータが装着するヘッドマウントディスプレイである、請求項１から請求項７のいずれか１項に記載の作業車両の表示システム。
【請求項9】
作業機と、
第１フロントピラーと、前記第１フロントピラーよりも前記作業機の近くに位置する第２フロントピラーとを有する運転室と、
作業車両のオペレータに装着される表示装置と、
補完撮像装置と、
前記補完撮像装置の補完撮像画像に基づいて前記第２フロントピラーによる死角を補完した表示画像を前記表示装置に表示するコントローラと、を備えた、作業車両の表示システム。
第１フロントピラーと、前記第１フロントピラーよりも前記作業機の近くに位置する第２フロントピラーとを有する運転室と、
作業車両のオペレータに装着される表示装置と、
補完撮像装置と、
前記補完撮像装置の補完撮像画像に基づいて前記第２フロントピラーによる死角を補完した表示画像を前記表示装置に表示するコントローラと、を備えた、作業車両の表示システム。
【請求項10】
床部を有する運転室と、
作業車両のオペレータに装着される表示装置と、
補完撮像装置と、
前記補完撮像装置の補完撮像画像に基づいて前記運転室の前記床部による死角を補完した表示画像を前記表示装置に表示するコントローラと、を備えた、作業車両の表示システム。
作業車両のオペレータに装着される表示装置と、
補完撮像装置と、
前記補完撮像装置の補完撮像画像に基づいて前記運転室の前記床部による死角を補完した表示画像を前記表示装置に表示するコントローラと、を備えた、作業車両の表示システム。
【請求項11】
表示装置と、
第１補完撮像装置と、
前記第１補完撮像装置の撮像範囲よりも下方を撮像する第２補完撮像装置と、を備える作業車両の表示方法であって、
前記第１補完撮像装置の第１補完撮像画像を取得するステップと、
前記第２補完撮像装置の第２補完撮像画像を取得するステップと、
前記第１補完撮像画像および前記第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像を前記表示装置に表示するステップと、を備えた、作業車両の表示方法。
第１補完撮像装置と、
前記第１補完撮像装置の撮像範囲よりも下方を撮像する第２補完撮像装置と、を備える作業車両の表示方法であって、
前記第１補完撮像装置の第１補完撮像画像を取得するステップと、
前記第２補完撮像装置の第２補完撮像画像を取得するステップと、
前記第１補完撮像画像および前記第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像を前記表示装置に表示するステップと、を備えた、作業車両の表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業車両の表示システムおよび作業車両の表示方法に関する。
【背景技術】
【0002】
作業車両において、ヘッドマウントディスプレイを用いて前方の視界を良好にする技術がたとえば特開２００８－１４３７０１号公報（特許文献１）に開示されている。特許文献１では、フォークリフトの荷物昇降用マストなどの遮蔽物に相当する範囲を切り取った部分画像が外部景色に重ねられてヘッドマウントディスプレイに表示される。これによりオペレータが遮蔽物の裏の映像を同時に見ることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００８－１４３７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし油圧ショベルのような作業車両においては、バケットなどの作業具が上下に移動する。このため通常の掘削作業から深堀作業に移る際には運転室の床面が障害となって掘削面または作業点（たとえばバケット刃先）が見えない場合が生じる。このような場合、オペレータは、掘削面などが見えないまま作業をするか、または体を前方に乗り出して掘削面などを覗き込むようにして作業を行っていた。掘削面などが見えないまま作業をすると、正確な作業を行うことができない。またオペレータが体を乗り出して作業すると、操作が不安定になったり、連続作業によって疲れやすくなったりする。
【0005】
本開示の目的は、正確な作業が可能で、かつオペレータの疲労を軽減可能な作業車両の表示システムおよび作業車両の表示方法を提供することである。
【課題を解決するための手段】
【0006】
本開示の作業車両の表示システムは、表示装置と、第１補完撮像装置と、第２補完撮像装置と、コントローラとを備えている。第２補完撮像装置は、第１補完撮像装置の撮像範囲よりも下方を撮像する。コントローラは、第１補完撮像装置の第１補完撮像画像および第２補完撮像装置の第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像を表示装置に表示する。
【0007】
本開示の他の作業車両の表示システムは、作業機と、運転室と、表示装置と、補完撮像装置と、コントローラとを備えている。運転室は、第１フロントピラーと、第１フロントピラーよりも作業機の近くに位置する第２フロントピラーとを有している。表示装置は、作業車両のオペレータに装着されている。コントローラは、補完撮像装置の補完撮像画像に基づいて第２フロントピラーによる死角を補完した表示画像を表示装置に表示する。
【0008】
本開示のさらに他の作業車両の表示システムは、運転室と、表示装置と、補完撮像装置と、コントローラとを備えている。運転室は、床部を有している。表示装置は、作業車両のオペレータに装着されている。コントローラは、補完撮像装置の補完撮像画像に基づいて運転室の床部による死角を補完した表示画像を表示装置に表示する。
【0009】
本開示の作業車両の表示方法は、表示装置と、第１補完撮像装置と、第２補完撮像装置とを備える作業車両の表示方法である。第２補完撮像装置は、第１補完撮像装置の撮像範囲よりも下方を撮像する。本開示の作業車両の表示方法は、以下のステップを有する。
【0010】
第１補完撮像装置の第１補完撮像画像が取得される。第２補完撮像装置の第２補完撮像画像が取得される。第１補完撮像画像および第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像が表示装置に表示される。
【発明の効果】
【0011】
本開示によれば、正確な作業が可能で、かつオペレータの疲労を軽減可能な作業車両の表示システムおよび作業車両の表示方法を実現することができる。
【図面の簡単な説明】
【0012】
【図1】本開示の一実施形態における作業車両の構成を概略的に示す斜視図である。
【図2】第１補完撮像装置の取付状態を示す斜視図である。
【図3】第２補完撮像装置の取付状態を示す斜視図である。
【図8】本開示の一実施形態における作業車両の表示方法の一例を示すフロー図である。
【図9】作業車両が深堀作業をしている様子を示す斜視図である。
【図11】作業車両が法面の掘削作業をしている様子を示す側面図である。
【図13】作業車両がダンプトラックに荷を積み込む様子を示す側面図である。
【図16】本開示の一実施形態における作業車両の表示方法の他の例を示すフロー図である。
【図17】第１補完撮像装置の第１補完撮像画像と第２補完撮像装置の第２補完撮像画像とを統合して１つの統合画像を生成する様子を示す図である。
【図18】深堀作業の状態を示す正面図である。
【図19】深堀作業の状態を示す側面図である。
【発明を実施するための形態】
【0013】
以下、本開示の実施の形態について図に基づいて説明する。
明細書および図面において、同一の構成要素または対応する構成要素には、同一の符号を付し、重複する説明を繰り返さない。また、図面では、説明の便宜上、構成を省略または簡略化している場合もある。また、実施の形態と各変形例との少なくとも一部は、互いに任意に組み合わされてもよい。
明細書および図面において、同一の構成要素または対応する構成要素には、同一の符号を付し、重複する説明を繰り返さない。また、図面では、説明の便宜上、構成を省略または簡略化している場合もある。また、実施の形態と各変形例との少なくとも一部は、互いに任意に組み合わされてもよい。
【0014】
本開示は、油圧ショベル以外に、ホイールローダ、ブルドーザ、モータグレーダ、フォークリフトなどの作業車両であれば適用可能である。以下の説明において、「上」、「下」、「前」、「後」、「左」、「右」とは、図１に示す運転室４内の運転席４Ｓに着座したオペレータを基準とした方向である。
【0015】
【0016】
【0017】
図１に示されるように、油圧ショベル１００は、本体１と、油圧により作動する作業機２とを有している。本体１は、旋回体３と、走行体５とを有している。走行体５は、一対の履帯５Ｃｒと、走行モータ５Ｍとを有している。油圧ショベル１００は、履帯５Ｃｒの回転により走行可能である。走行モータ５Ｍは、走行体５の駆動源として設けられている。走行モータ５Ｍは、油圧により作動する油圧モータである。なお、走行体５が車輪（タイヤ）を有していてもよい。
【0018】
旋回体３は、走行体５の上に配置され、かつ走行体５により支持されている。旋回体３は、旋回軸ＲＸを中心として走行体５に対して旋回可能である。旋回体３は、運転室４（キャブ）を有している。油圧ショベル１００のオペレータ（乗員）は、この運転室４に搭乗して、油圧ショベル１００を操縦する。運転室４内には、オペレータが着座する運転席４Ｓが設けられている。オペレータは、運転室４内において油圧ショベル１００を操作可能である。オペレータは、運転室４内において、作業機２の操作が可能であり、走行体５に対する旋回体３の旋回操作が可能であり、また走行体５による油圧ショベル１００の走行操作が可能である。
【0019】
旋回体３は、エンジンカバー９と、旋回体３の後部に設けられるカウンタウェイトとを有している。エンジンカバー９は、エンジンルームを覆っている。エンジンルームには、エンジンユニット（エンジン、排気処理構造体など）が配置されている。
【0020】
作業機２は、旋回体３に支持されている。作業機２は、ブーム６と、アーム７と、バケット８とを有している。作業機２は、ブームシリンダ１０と、アームシリンダ１１と、バケットシリンダ１２とをさらに有している。
【0021】
ブーム６は、本体１（走行体５および旋回体３）に回動可能に接続されている。具体的にはブーム６の基端部は、ブームフートピン１３を支点として旋回体３に回動可能に接続されている。
【0022】
アーム７は、ブーム６に回動可能に接続されている。具体的にはアーム７の基端部は、ブームトップピン１４を支点としてブーム６の先端部に回動可能に接続されている。バケット８は、アーム７に回転可能に接続されている。具体的にはバケット８の基端部は、アームトップピン１５を支点としてアーム７の先端部に回動可能に接続されている。バケット８は、複数の刃先８ａを有している。
【0023】
ブームシリンダ１０の一端は旋回体３に接続され、他端はブーム６に接続されている。ブーム６は、ブームシリンダ１０により本体１に対して駆動可能である。この駆動により、ブーム６は、ブームフートピン１３を支点として旋回体３に対して上下方向に回動可能である。
【0024】
アームシリンダ１１の一端はブーム６に接続され、他端はアーム７に接続されている。アーム７は、アームシリンダ１１によりブーム６に対して駆動可能である。この駆動により、アーム７は、ブームトップピン１４を支点としてブーム６に対して上下方向または前後方向に回動可能である。
【0025】
バケットシリンダ１２の一端はアーム７に接続され、他端はバケットリンクに接続されている。バケット８は、バケットシリンダ１２によりアーム７に対して駆動可能である。この駆動により、バケット８は、アームトップピン１５を支点としてアーム７に対して上下方向に回動可能である。
【0026】
運転室４は、床部ＦＲと、複数のピラーと、前上梁ＢＴと、屋根部ＲＦとを主に有している。複数のピラーは、たとえば第１フロントピラーＦＰＬと、第２フロントピラーＦＰＲと、１対のセンターピラーと、１対のリアピラーとを有している。複数のピラーの各々は、床部ＦＲから上方に延びている。前上梁ＢＴは、第１フロントピラーＦＰＬの上端と第２フロントピラーＦＰＲの上端とを接続している。屋根部ＲＦは、複数のピラーの上端に配置されている。
【0027】
床部ＦＲ、複数のピラーおよび屋根部ＲＦにより取り囲まれた空間内に、運転席４Ｓが配置されている。運転席４Ｓは、床部ＦＲの上であって、屋根部ＲＦの下に配置されている。第１フロントピラーＦＰＬおよび第２フロントピラーＦＰＲの各々は、運転席４Ｓの前方に配置されている。第２フロントピラーＦＰＲは、第１フロントピラーＦＰＬよりも作業機２の近くに位置している。
【0028】
運転室４には、第１補完撮像装置ＩＳ１と、第２補完撮像装置ＩＳ２とが取り付けられている。第１補完撮像装置ＩＳ１および第２補完撮像装置ＩＳ２の各々は、第２フロントピラーＦＰＲに取り付けられている。
【0029】
第１補完撮像装置ＩＳ１および第２補完撮像装置ＩＳ２の各々は、運転室４の外部に配置されており、運転室４の外側を撮像する。第１補完撮像装置ＩＳ１および第２補完撮像装置ＩＳ２の各々は、運転室４の前方に配置されており、かつ運転室４よりも前方を撮像可能である。
【0030】
第２補完撮像装置ＩＳ２は、第１補完撮像装置ＩＳ１よりも下方に取り付けられている。第２補完撮像装置ＩＳ２は、第１補完撮像装置ＩＳ１の撮像範囲よりも下方の撮像範囲を撮像する。
【0031】
図２に示されるように、第１補完撮像装置ＩＳ１は、ブラケットＢＲ１およびホルダーＣＨ１を介在して運転室４に取り付けられている。ブラケットＢＲ１は、運転室４の外部であって、運転室４の右上角にネジなどにより取り付けられている。ホルダーＣＨ１は、ブラケットＢＲ１の前面にネジなどにより取り付けられている。第１補完撮像装置ＩＳ１は、ホルダーＣＨ１にネジなどにより取り付けられている。第１補完撮像装置ＩＳ１は、第２フロントピラーＦＰＲの上端の高さ位置よりも上方に位置している。
【0032】
図３に示されるように、第２補完撮像装置ＩＳ２は、ブラケットＢＲ２およびホルダーＣＨ２を介在して運転室４に取り付けられている。ブラケットＢＲ２は、運転室４の外部であって、運転室４の前面右下側にネジなどにより取り付けられている。ブラケットＢＲ２は、前方延在部ＥＸ１と、下方延在部ＥＸ２と、取付部ＡＰとを有している。
【0033】
前方延在部ＥＸ１は、運転室４の前方において前後方向へ延びている。下方延在部ＥＸ２は、前方延在部ＥＸ１の前端から下方へ延びている。取付部ＡＰは、下方延在部ＥＸ２の下端に取り付けられている。
【0034】
ホルダーＣＨ２は取付部ＡＰの左右方向の両端部のうち作業機に近い側の端部にネジなどにより取り付けられている。第２補完撮像装置ＩＳ２は、ホルダーＣＨ２にネジなどにより取り付けられている。第２補完撮像装置ＩＳ２は、第２フロントピラーＦＰＲの下端の高さ位置よりも下側に位置している。
【0035】
【0036】
図４は、図１に示す作業車両の表示システムの構成を示す図である。図５は、図１に示す作業車両において通常作業と深堀作業とを説明するための図である。図４に示されるように、本実施形態の表示システムは、運転室４と、ヘッドマウントディスプレイ２００（表示装置）と、主撮像装置ＩＳＭと、第１補完撮像装置ＩＳ１と、第２補完撮像装置ＩＳ２と、撮像装置ＩＩと、コントローラ５０とを有している。
【0037】
ヘッドマウントディスプレイ２００は、オペレータの頭部に装着される。ヘッドマウントディスプレイ２００を装着したオペレータは、運転室４内の運転席４Ｓに着座して作業車両１００を操作する。このためヘッドマウントディスプレイ２００は、運転室４内に位置している。
【0038】
主撮像装置ＩＳＭは、ヘッドマウントディスプレイ２００に取り付けられている。主撮像装置ＩＳＭの光軸ＯＡ３は、ヘッドマウントディスプレイ２００を装着したオペレータの視線方向にほぼ一致する。図４の場合は、光軸ＯＡ３は水平線ＨＬにほぼ一致するようになっている。
【0039】
第１補完撮像装置ＩＳ１の光軸ＯＡ１は、作業車両１００が水平な地面に載置された状態で、作業車両１００の前方かつ上方を向いている。具体的には光軸ＯＡ１は、第１補完撮像装置ＩＳ１から前方に離れるほど上方に位置する上り勾配となるように傾斜している。第１補完撮像装置ＩＳ１の光軸ＯＡ１は、水平線ＨＬに対して角度αで傾斜している。作業車両１００が水平な地面に載置されている状態において、角度αはたとえば２０°である。
【0040】
第２補完撮像装置ＩＳ２の光軸ＯＡ２は、作業車両１００が水平な地面に載置された状態で、作業車両１００の前方かつ下方を向いている。具体的には光軸ＯＡ２は、第２補完撮像装置ＩＳ２から前方に離れるほど下方に位置する下り勾配となるように傾斜している。第２補完撮像装置ＩＳ２の光軸ＯＡ２は、水平線ＨＬに対して角度βで傾斜している。作業車両１００が水平な地面に載置されている状態において、角度βはたとえば５０°である。また光軸ＯＡ２は、たとえば運転席４Ｓに着座したオペレータのアイポイント付近（主撮像装置ＩＳＭ付近）で光軸ＯＡ１と交差する。
【0041】
第２補完撮像装置ＩＳ２の撮像範囲ＶＡ２は、第１補完撮像装置ＩＳ１の撮像範囲ＶＡ１よりも下方に位置する。撮像範囲ＶＡ１と撮像範囲ＶＡ２とは、運転室４の前方において一部重なっていてもよい。
【0042】
撮像範囲ＶＡ１と撮像範囲ＶＡ２とが互いに重なり合う場合、側面視において、撮像範囲ＶＡ１と撮像範囲ＶＡ２とが互いに重なり始める点と主撮像装置ＩＳＭとを結んだ仮想の線ＢＬを引くことができる。
【0043】
撮像装置ＩＩは、運転室４の内部に配置されている。撮像装置ＩＩは、運転室４の室内を撮影可能であり、たとえばヘッドマウントディスプレイ２００およびそれを装着したオペレータの頭部付近を撮像可能である。撮像装置ＩＩは、ヘッドマウントディスプレイ２００を撮像することによりヘッドマウントディスプレイ２００の位置を検出することができる。
【0044】
主撮像装置ＩＳＭと、第１補完撮像装置ＩＳ１、第２補完撮像装置ＩＳ２および撮像装置ＩＩの各々は、たとえば複眼のステレオカメラである。ステレオカメラは、撮像対象の前後方向、左右方向および上下方向における位置情報を持つ点群データと、画像とを取得する。
【0045】
ここで点群データとは、直交座標（Ｘ、Ｙ、Ｚ）の基本的位置情報をもつ３次元データである。点群データと画像との双方を取得することによって、たとえば画像の画素毎に位置情報を付加することができる。これにより１枚の画像から３次元ＣＧ（Computer Graphics）モデルを作成することができる。
【0046】
また主撮像装置ＩＳＭ、第１補完撮像装置ＩＳ１、第２補完撮像装置ＩＳ２および撮像装置ＩＩの各々は、ステレオカメラに限定されず、点群データを持つ画像を取得できるものであればよい。主撮像装置ＩＳＭ、第１補完撮像装置ＩＳ１、第２補完撮像装置ＩＳ２および撮像装置ＩＩの各々は、たとえば単眼のカメラで撮像された画像に対してＬｉＤＡＲ（Light Detection and Ranging）で計測した位置情報を付加するものであってもよい。
【0047】
なお作業車両１００は、運転室４内に操作装置２１、２２、２３を有している。操作装置２１、２２、２３は、左右一対の操作レバー２１と、前後進レバー２２と、操作ペダル２３とを有している。
【0048】
左右一対の操作レバー２１は、ブーム６、アーム７およびバケット８の駆動と、走行体５に対する旋回体３の旋回とを操作可能である。左右一対の前後進レバー２２は、右側履帯５Ｃｒと左側履帯５Ｃｒとの駆動を操作可能である。
【0049】
図５に示されるように、第１補完撮像装置ＩＳ１は、通常作業をする作業機２を撮像することができる。具体的には、第１補完撮像装置ＩＳ１の撮像範囲ＶＡ１に、通常作業をする作業機２が含まれる。また第２補完撮像装置ＩＳ２は、深堀作業をする作業機２を撮像することができる。具体的には、第２補完撮像装置ＩＳ２の撮像範囲ＶＡ２に、深堀作業をする作業機２が含まれる。
【0050】
作業機２が通常作業の状態にあるか、深堀作業の状態にあるかは、たとえば上記の仮想の線ＢＬを基準に判断されてもよい。具体的には、線ＢＬよりも上方に作業機２が位置する場合には作業機２が通常作業を実施していると判断され、また線ＢＬよりも作業機２が下方に位置している場合には作業機２が深堀作業を実施していると判断されてもよい。
【0051】
また作業機２が通常作業の状態にあるか、深堀作業の状態にあるかの判断は、線ＢＬ以外の基準を用いて行なわれてもよい。
【0052】
なお油圧ショベル１００には、コントローラ５０が搭載されている。コントローラ５０の詳細は後述する。
【0053】
【0054】
図６は、図４に示すヘッドマウントディスプレイの構成を示す斜視図である。図６に示されるように、ヘッドマウントディスプレイ２００は、本体部１０１と、角度センサ１０２と、装着部１０３と、主撮像装置ＩＳＭとを有している。ヘッドマウントディスプレイ２００は、たとえば透過型ディスプレイである。
【0055】
本体部１０１は、スクリーンを有している。このスクリーンは、ヘッドマウントディスプレイ２００を装着したオペレータにより視認される位置に配置されている。このスクリーンには、主撮像装置ＩＳＭ、第１補完撮像装置ＩＳ１、第２補完撮像装置ＩＳ２などにより撮像された画像が投影される。ヘッドマウントディスプレイ２００を装着したオペレータは、このスクリーン上に投影された画像を視認することにより、ヘッドマウントディスプレイ２００の外の様子を知ることができる。
【0056】
角度センサ１０２は、たとえば本体部１０１に取り付けられている。角度センサ１０２は、本体部１０１以外の部分、たとえば装着部１０３に取り付けられていてもよい。角度センサ１０２は、ヘッドマウントディスプレイ２００の傾斜角度を検出する。
【0057】
装着部１０３は、ヘッドマウントディスプレイ２００をオペレータに装着するための部分である。装着部１０３は、たとえばヘッドバンドである。
【0058】
主撮像装置ＩＳＭは、本体部１０１の前面に取り付けられている。主撮像装置ＩＳＭは、本体部１０１とは反対側を撮像する。主撮像装置ＩＳＭは、ヘッドマウントディスプレイ２００の外側を撮像する。主撮像装置ＩＳＭは、運転室４の内部から運転室４の外部を撮像する。
【0059】
【0060】
図７は、図４に示す表示システムの機能ブロックの一例を示す図である。図７に示されるように、コントローラ５０は、画像取得部５０ａ、５０ｂ、５０ｃと、検出情報取得部５０ｄと、画像選択部５０ｅと、視点変換部５０ｆと、画像重畳部５０ｇと、ヘッドマウントディスプレイ制御部５０ｈと、位置・角度算出部５０ｉと、作業状態判定部５０ｊと、記憶部５０ｋとを有している。
【0061】
画像取得部５０ａは、主撮像装置ＩＳＭにより撮像された主撮像画像のデータを取得する。画像取得部５０ａは、取得した撮像画像のデータを画像重畳部５０ｇへ出力する。
【0062】
画像取得部５０ｂは、第１補完撮像装置ＩＳ１により撮像された第１補完撮像画像のデータを取得する。画像取得部５０ｂは、取得した第１補完撮像画像のデータを画像選択部５０ｅへ出力する。
【0063】
画像取得部５０ｃは、第２補完撮像装置ＩＳ２により撮像された第２補完撮像画像のデータを取得する。画像取得部５０ｃは、取得した第２補完撮像画像のデータを画像選択部５０ｅへ出力する。
【0064】
検出情報取得部５０ｄは、位置・角度検出センサＳＥ１により検出されたヘッドマウントディスプレイ２００の位置情報および角度情報を取得する。位置・角度検出センサＳＥ１は、たとえば撮像装置ＩＩ（図４）と、角度センサ１０２（図６）とを有している。
【0065】
撮像装置ＩＩは、ヘッドマウントディスプレイ２００の撮像画像のデータを取得し、位置情報として検出情報取得部５０ｄへ出力する。角度センサ１０２は、ヘッドマウントディスプレイ２００の傾斜角度を角度情報として検出情報取得部５０ｄへ出力する。
【0066】
検出情報取得部５０ｄは、取得した位置情報および角度情報を位置・角度算出部５０ｉへ出力する。位置・角度算出部５０ｉは、取得した位置情報および角度情報に基づいてヘッドマウントディスプレイ２００の位置と傾斜角度とを算出する。具体的には位置・角度算出部５０ｉは、角度センサ１０２により検出されたヘッドマウントディスプレイ２００の傾斜角度に基づいて作業車両１００に対するヘッドマウントディスプレイ２００の傾斜角度を算出する。また位置・角度算出部５０ｉは、撮像装置ＩＩにより撮像されたヘッドマウントディスプレイ２００の撮像画像データに基づいてヘッドマウントディスプレイ２００の位置を算出する。
【0067】
撮像装置ＩＩは、位置情報を持つ点群データを付加された画像を取得する。このため撮像装置ＩＩの撮像画像からヘッドマウントディスプレイ２００の位置を算出することができる。
【0068】
位置・角度算出部５０ｉにより算出されたヘッドマウントディスプレイ２００の位置および傾斜角度は作業状態判定部５０ｊおよび視点変換部５０ｆの各々に出力される。作業状態判定部５０ｊは、ヘッドマウントディスプレイ２００の位置および傾斜角度に基づいて、作業車両１００が通常作業および深堀作業のいずれを実施しているかを判定する。
【0069】
この判定の際には、作業状態判定部５０ｊは、記憶部５０ｋからヘッドマウントディスプレイ２００の所定位置と所定の傾斜角度とを取得し、その所定位置および所定傾斜角度を基準として通常作業か深堀作業かを判断する。この所定傾斜角度は、たとえば図４または図５における線ＢＬの傾斜角度である。
【0070】
具体的には、ヘッドマウントディスプレイ２００が所定の位置において所定傾斜角度を向くか、または所定傾斜角度よりも上側を向いている状態は通常作業と判断される。またヘッドマウントディスプレイ２００が所定の位置において所定傾斜角度よりも下側を向いている状態は深堀作業と判定される。作業状態判定部５０ｊによる判定結果を示す信号は画像選択部５０ｅへ出力される。
【0071】
画像選択部５０ｅは、作業車両１００の作業状態に基づいて第１補完撮像画像および第２補完撮像画像のいずれかを選択する。具体的には作業車両１００が通常作業の状態にあると判定した場合には、画像選択部５０ｅは第１補完撮像画像を選択する。また作業車両１００が深堀作業の状態にあると判定した場合には、画像選択部５０ｅは第２補完撮像画像を選択する。画像選択部５０ｅは選択した撮像画像のデータを視点変換部５０ｆへ出力する。
【0072】
視点変換部５０ｆは、位置・角度算出部５０ｉから取得したヘッドマウントディスプレイ２００の位置および傾斜角度に基づいて、画像選択部５０ｅにより選択された撮像画像を運転席４Ｓに着座するオペレータ視点の画像へ変換する。
【0073】
第１補完撮像装置ＩＳ１および第２補完撮像装置ＩＳ２の各々は、位置情報を持つ点群データを付加された画像を取得する。このため第１補完撮像画像および第２補完撮像画像の各々から３次元ＣＧモデルを作成することができる。したがって第１補完撮像画像および第２補完撮像画像のいずれも、運転席４Ｓに着座するオペレータ視点の画像に変換することができる。視点変換部５０ｆによりオペレータ視点の画像に変換された変換画像が画像重畳部５０ｇへ出力される。
【0074】
画像重畳部５０ｇは、画像取得部５０ａから取得した主撮像画像と、視点変換部５０ｆから取得した変換画像とを重畳させる。ここで主撮像画像は、運転室４内に配置された主撮像装置ＩＳＭにより撮像された画像である。このため主撮像画像には、運転室４の外側の景色（地形、作業機２など）以外に運転室４の一部（たとえばピラー、床部、天井）などの遮蔽物が撮像されている。一方、変換画像は第１補完撮像画像および第２補完撮像画像のいずれかを変換した画像であり、第１補完撮像画像および第２補完撮像画像の各々は運転室４の外側の景色（地形、作業機２など）を撮像しており、運転室４の一部などの遮蔽物を撮像していない。このため主撮像画像と変換画像とを重畳することにより、遮蔽物を透過して死角を補完した表示画像が生成可能である。画像重畳部５０ｇは、生成した表示画像をヘッドマウントディスプレイ制御部５０ｈへ出力する。
【0075】
ヘッドマウントディスプレイ制御部５０ｈは、表示画像をヘッドマウントディスプレイ２００のスクリーンに表示するようにヘッドマウントディスプレイ２００を制御する。これにより運転席４Ｓに着座したオペレータは、ヘッドマウントディスプレイ２００のスクリーン上に投影された、遮蔽物が透過され死角が補完された表示画像を視認することができる。
【0076】
上記のようにコントローラ５０は、第１補完撮像画像および第２補完撮像画像の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像をヘッドマウントディスプレイ２００のスクリーンに表示する。
【0077】
またコントローラ５０は、第１補完撮像画像および第２補完撮像画像の少なくとも一方の補完撮像画像と主撮像画像とを重畳することにより死角を補完した表示画像を生成してヘッドマウントディスプレイ２００のスクリーンに表示する。
【0078】
またコントローラ５０は、画像選択部５０ｅにより第１補完撮像画像と第２補完撮像画像とのいずれかを選択することにより、主撮像画像と重畳させる画像として第１補完撮像画像と第２補完撮像画像とを切り替える。
【0079】
またコントローラ５０は、作業状態判定部５０ｊにより作業車両１００が通常作業および深堀作業のいずれを実行しているかを判定し、作業車両１００が通常作業を実行していると判定した場合には第１補完撮像画像と主撮像画像とを重畳し、作業車両１００が深堀作業を実行していると判定した場合には第２補完撮像画像と主撮像画像とを重畳する。
【0080】
なお作業車両１００の作業状態は、切替えスイッチＳＷの切換え信号または姿勢検出センサＳＥ２の検出信号に基づいて作業状態判定部５０ｊにより判定されてもよい。
【0081】
切替えスイッチＳＷは、運転室４内に搭乗したオペレータにより操作されるものである。切替えスイッチＳＷは、少なくとも通常作業と深堀作業とを切り替えることができるように構成されている。切替えスイッチＳＷは、切替え状態を示す信号を作業状態判定部５０ｊへ出力する。作業状態判定部５０ｊは、通常状態を示す信号を切替えスイッチＳＷから取得すると作業車両１００が通常状態にあると判定する。また作業状態判定部５０ｊは、深堀状態を示す信号を切替えスイッチＳＷから取得すると作業車両１００が深堀状態にあると判定する。
【0082】
また姿勢検出センサＳＥ２は、作業機２の姿勢を検出するためのセンサである。姿勢検出センサＳＥ２は、たとえばストロークセンサ、ポテンショメータ、ＩＭＵ（Inertial Measurement Unit）、撮像装置、操作レバー２１による操作量検出センサなどである。
【0083】
姿勢検出センサＳＥ２としてストロークセンサが用いられる場合、図１に示されるブームシリンダ１０、アームシリンダ１１およびバケットシリンダ１２の各々にストロークセンサが取り付けられる。ストロークセンサにより各シリンダのストローク量を検出することができる。
【0084】
姿勢検出センサＳＥ２としてポテンショメータが用いられる場合、図１に示されるブームフートピン１３、ブームトップピン１４およびアームトップピン１５の各々の付近にポテンショメータが取り付けられる。各ポテンショメータにより、本体１に対するブーム６の回転角度、ブーム６に対するアーム７の回転角度、アーム７に対するバケット８の回転角度の各々を検出することができる。
【0085】
姿勢検出センサＳＥ２としてＩＭＵ（慣性計測装置）が用いられる場合、図１に示されるブーム６、アーム７およびバケット８の各々にＩＭＵが取り付けられる。ＩＭＵの各々は、３軸の角度（または角速度）と加速度とを検出する。ＩＭＵにより検出された３軸の角度（または角速度）と加速度とにより、ブーム６、アーム７およびバケット８の各々の姿勢を検出することができる。
【0086】
姿勢検出センサＳＥ２として撮像装置が用いられる場合、撮像装置により、図１に示されるブーム６、アーム７およびバケット８の状態が撮像される。撮像装置により撮像された撮像情報から、ブーム６、アーム７およびバケット８の各々の姿勢を検出することができる。
【0087】
操作レバー２１による操作量検出センサは、図４、図１０に示される操作レバー２１がパイロット油圧方式である場合、パイロット油圧（ＰＰＣ圧力）を検出する圧力センサである。また操作レバー２１による操作量検出センサは、操作レバー２１が電気方式である場合、操作レバーの操作角度を検出するポテンショメータである。
【0088】
姿勢検出センサＳＥ２は、作業機２の姿勢を示す信号を作業状態判定部５０ｊへ出力する。作業状態判定部５０ｊは、作業機２の姿勢を示す信号に基づいて作業車両１００が通常状態にあるか、深堀状態にあるかを判定する。
【0089】
【0090】
図８は、本開示の一実施形態における作業車両の表示方法の一例を示すフロー図である。図８に示されるように、ヘッドマウントディスプレイ２００の位置および傾斜角度の情報がコントローラ５０の検出情報取得部５０ｄ（図７）により取得される（ステップＳ１）。主撮像画像がコントローラ５０の画像取得部５０ａ（図７）により取得される（ステップＳ２）。第１補完撮像画像がコントローラ５０の画像取得部５０ｂ（図７）により取得される（ステップＳ３）。第２補完撮像画像がコントローラ５０の画像取得部５０ｃ（図７）により取得される（ステップＳ４）。
【0091】
検出情報取得部５０ｄ（図７）により取得されたヘッドマウントディスプレイ２００の位置および傾斜角度の情報に基づいて、コントローラ５０の位置・角度算出部５０ｉによりヘッドマウントディスプレイ２００の位置および傾斜角度が算出される（ステップＳ５）。算出されたヘッドマウントディスプレイ２００の位置および傾斜角度に基づいて、コントローラ５０の作業状態判定部５０ｊ（図７）により作業車両１００の作業状態が通常作業か深堀作業かが判定される（ステップＳ６）。
【0092】
作業状態が通常状態であると判定された場合、コントローラ５０の画像選択部５０ｅにより第１補完撮像画像が選択される（ステップＳ７）。また作業状態が深堀状態であると判定された場合、コントローラ５０の画像選択部５０ｅ（図７）により第２補完撮像画像が選択される（ステップＳ８）。
【0093】
第１補完撮像画像および第２補完撮像画像のうち選択された一方の補完撮像画像が、コントローラ５０の視点変換部５０ｆ（図７）により、運転席４Ｓに着座するオペレータ視点の画像に変換される（ステップＳ９）。この変換は、位置・角度算出部５０ｉ（図７）により算出されたヘッドマウントディスプレイ２００の位置および傾斜角度に基づいて行われる。
【0094】
オペレータ視点に変換された補完撮像画像と主撮像画像とが、コントローラ５０の画像重畳部５０ｇにより互いに重畳される（ステップＳ１０）。この際、運転室４の内部からバケット８の刃先８ａへ向かう方向に位置する遮蔽物が透過され死角が補完された表示画像となるように、オペレータ視点に変換された補完撮像画像と主撮像画像とが重畳される。
【0095】
重畳された表示画像が、コントローラ５０のヘッドマウントディスプレイ制御部５０ｈによりヘッドマウントディスプレイ２００のスクリーンに投影表示されるよう制御される（ステップＳ１１）。これによりヘッドマウントディスプレイ２００を装着したオペレータは、重畳された表示画像をヘッドマウントディスプレイ２００のスクリーンを通じて視認することができる。
【0096】
【0097】
図９は、作業車両が深堀作業をしている様子を示す斜視図である。図１０は、図９に示す作業時に主撮像装置の撮像画像と第２補完撮像装置の第２補完撮像画像とを重畳させる様子を示す図である。なお図１０においては、図の簡略化のため作業機２のバケット８以外の部材（ブーム６、アーム７など）の図示は省略されている。
【0098】
図９に示されるような深堀作業時には、作業車両１００が載置される地面に深い縦溝ＴＲが形成される。このため、深い縦溝ＴＲの底面を掘削するバケット８は作業車両１００の本体１に対して相当量下方に位置することになる。よって図１０（Ａ）に示されるように、運転室４内の運転席４Ｓに着座したオペレータは、運転室４の床部ＦＲなどによってバケット８および掘削面を視認できない場合が生じる。したがって主撮像装置ＩＳＭ（図２～図４）によりオペレータ視点で撮像される主撮像画像ＣＩ２においては、深堀作業中のバケット８および掘削面が撮像されない場合が生じる。
【0099】
そこで図１０（Ｂ）に示されるように、第２補完撮像装置ＩＳ２（図１、図４）で撮像した第２補完撮像画像をオペレータ視点に変換した視点変換後の第２補完撮像画像ＭＩ１が用いられる。第２補完撮像装置ＩＳ２は、運転室４の外側に配置されている。このため視点変換後の第２補完撮像画像ＭＩ１には、運転室４の床部ＦＲなどが撮像されていない。したがって深堀作業中のバケット８が運転室４の前方側から手前側へ矢印で示す方向に移動しても、視点変換後の第２補完撮像画像ＭＩ１にバケット８を撮像することが可能である。
【0100】
図１０（Ａ）に示された主撮像画像ＣＩ２と、図１０（Ｂ）に示された視点変換後の第２補完撮像画像ＭＩ１とが重畳される。これにより、図１０（Ｃ）に示されるように、運転室４の床部ＦＲの一部が透過され死角が補完された表示画像ＤＩ１が生成される。この表示画像ＤＩ１がヘッドマウントディスプレイ２００のスクリーンに投影される。このスクリーンを通じて、ヘッドマウントディスプレイを装着したオペレータは、床部ＦＲを透過して深堀作業中のバケット８を視認することが容易となる。
【0101】
なお図１０（Ｃ）に示される表示画像ＤＩ１においては、操作装置２１、２２、２３、表示装置ＤＬなどが透過されずに表示されてもよい。これによりオペレータは操作装置２１、２２、２３の操作が容易となり、また表示装置ＤＬの表示画面を視認することも可能となる。
【0102】
【0103】
【0104】
図１１に示されるような法面ＳＦの掘削作業時には、運転室４の上面よりも上側にバケット８が位置する場合がある。このため図１２（Ａ）に示されるように、運転室４内の運転席４Ｓに着座したオペレータは、運転室４の前上梁ＢＴ、屋根部ＲＦなどによりバケット８および掘削面を視認できない場合が生じる。したがって主撮像装置ＩＳＭ（図４、図６）によりオペレータ視点で撮像された主撮像画像ＣＩ１ａにおいては、法面ＳＦの掘削作業中のバケット８および掘削面が撮像されない場合が生じる。
【0105】
そこで図１２（Ｂ）に示されるように、第１補完撮像装置ＩＳ１（図１、図４）で撮像した第１補完撮像画像をオペレータ視点に変換した視点変換後の第１補完撮像画像ＭＩ２が用いられる。第１補完撮像装置ＩＳ１は、運転室４の外側に配置されている。このため視点変換後の第１補完撮像画像ＭＩ２には、運転室４の前上梁ＢＴ、屋根部ＲＦなどが撮像されていない。したがって法面ＳＦの掘削作業中でもバケット８を視点変換後の第１補完撮像画像ＭＩ２に撮像することが可能である。
【0106】
図１２（Ａ）に示された主撮像画像ＣＩ１ａと、図１２（Ｂ）に示された第１補完撮像画像ＭＩ２とが重畳される。これにより、図１２（Ｃ）に示されるように、運転室４の前上梁ＢＴ、屋根部ＲＦなどが透過され死角が補完された表示画像ＤＩ２が生成される。この表示画像ＤＩ２がヘッドマウントディスプレイ２００のスクリーンに投影される。このスクリーンを通じて、ヘッドマウントディスプレイを装着したオペレータは、前上梁ＢＴ、屋根部ＲＦなどを透過して法面ＳＦの掘削作業中のバケット８を視認することが容易となる。
【0107】
なお表示画像ＤＩ２においては、前上梁ＢＴおよび屋根部ＲＦだけでなく、第２フロントピラーＦＰＲが透過されてもよい。また図１２（Ｃ）に示される表示画像ＤＩ２においては、表示装置ＤＬ（図１０）などが透過されずに表示されてもよい。これによりオペレータは表示装置ＤＬの表示画面を視認することも可能となる。視野の高さによっては、モニタの表示画面を視認することができる。
【0108】
［ダンプトラックへの荷の積込み作業時における画像の重畳］
次に、ダンプトラックへの荷の積込み作業時における、オペレータ視点に変換された補完撮像画像と主撮像画像との重畳について図１３および図１４を用いて具体的に説明する。
次に、ダンプトラックへの荷の積込み作業時における、オペレータ視点に変換された補完撮像画像と主撮像画像との重畳について図１３および図１４を用いて具体的に説明する。
【0109】
【0110】
図１３に示されるようなダンプトラック３００への荷の積込み作業時には、バケット８が運転室４の上面よりも上側でかつ運転室４の前方に近付く場合がある。このため図１４（Ａ）に示されるように、運転室４内の運転席４Ｓに着座したオペレータは、運転室４の第２フロントピラーＦＰＲ、前上梁ＢＴなどによりバケット８を視認できない場合が生じる。したがって主撮像装置ＩＳＭ（図４、図６）を用いてオペレータの視点で撮像された主撮像画像ＣＩ１ｂにおいては、荷の積込み作業中のバケット８が撮像されない場合が生じる。
【0111】
そこで図１４（Ｂ）に示されるように、第１補完撮像装置ＩＳ１（図１、図４）で撮像した第１補完撮像画像をオペレータ視点に変換した視点変換後の第１補完撮像画像ＭＩ３が用いられる。第１補完撮像装置ＩＳ１は、運転室４の外側に配置されている。このため視点変換後の第１補完撮像画像ＭＩ３には、運転室４の第２フロントピラーＦＰＲ、前上梁ＢＴなどが撮像されていない。したがって荷の積込み作業中でもバケット８を視点変換後の第１補完撮像画像ＭＩ３に撮像することが可能である。
【0112】
図１４（Ａ）に示された主撮像画像ＣＩ１ｂと、図１４（Ｂ）に示された第１補完撮像画像ＭＩ３とが重畳される。これにより、図１４（Ｃ）に示されるように、運転室４の第２フロントピラーＦＰＲ、前上梁ＢＴなどが透過された表示画像ＤＩ３が生成される。この表示画像ＤＩ３がヘッドマウントディスプレイ２００のスクリーンに投影される。このスクリーンを通じて、ヘッドマウントディスプレイ２００を装着したオペレータは、第２フロントピラーＦＰＲ、前上梁ＢＴなどを透過して荷の積込み作業中のバケット８を視認することが容易となる。
【0113】
また図１４（Ｃ）に示される表示画像ＤＩ２においては、表示装置ＤＬなどが透過されずに表示されてもよい。これによりオペレータは表示装置ＤＬの表示画面を視認することも可能となる。
【0114】
＜効果＞
次に本実施形態の効果について説明する。
次に本実施形態の効果について説明する。
【0115】
本実施形態によれば図１０、図１２および図１４に示されるように、第１補完撮像画像ＭＩ２、ＭＩ３および第２補完撮像画像ＭＩ１の少なくとも一方の補完撮像画像に基づいて死角を補完した表示画像ＤＩ１、ＤＩ２、ＤＩ３がヘッドマウントディスプレイ２００のスクリーンに表示される。死角が補完された表示画像ＤＩ１、ＤＩ２、ＤＩ３においては遮蔽物が透過されるため、オペレータは、バケット８などの作業具を視認しながら作業することが可能となる。これにより正確な作業が可能になるとともに、無理な姿勢で作業を行う必要が無く作業時におけるオペレータの疲労を軽減することもできる。
【0116】
また本実施形態によれば図１０、図１２および図１４に示されるように、第１補完撮像画像ＭＩ２、ＭＩ３および第２補完撮像画像ＭＩ１の少なくとも一方の補完撮像画像と主撮像画像ＣＩ２、ＣＩ１ａ、ＣＩ１ｂとが重畳されることにより主撮像画像ＣＩ２、ＣＩ１ａ、ＣＩ１ｂの死角が補完される。これによりオペレータは、いわゆるビデオ透過型ヘッドマウントディスプレイ２００において、死角が補完された表示画像ＤＩ１、ＤＩ２、ＤＩ３を視認することができる。
【0117】
また本実施形態によれば図７に示されるように、コントローラ５０は、主撮像画像と重畳させる画像として第１補完撮像画像と第２補完撮像画像とを画像選択部５０ｅにより切り替える。このように画像を切り替えて重畳することにより、画像を統合して重畳する場合に比較して画像処理の負荷を低減することができる。
【0118】
また本実施形態によれば図７に示されるように、コントローラ５０は、作業機２が通常作業および深堀作業のいずれを実行しているかを作業状態判定部５０ｊにより判定する。そしてコントローラ５０は、作業機２が通常作業を実行していると判定した場合には、図１１および図１２に示されるように第１補完撮像画像ＭＩ２と主撮像画像ＣＩ１ａとを重畳する。またコントローラ５０は、作業機２が深堀作業を実行していると判定した場合には、図９および図１０に示されるように第２補完撮像画像ＭＩ１と主撮像画像ＣＩ２とを重畳する。これにより通常作業時および深堀作業時のいずれにおいても遮蔽物を透過して死角を補完した表示画像ＤＩ１、ＤＩ２を得ることができる。
【0119】
また本実施形態によれば図１に示されるように、第１補完撮像装置ＩＳ１と第２補完撮像装置ＩＳ２との各々は運転室４の外に配置される。これにより運転室４の構成部品が写らない補完撮像画像を得ることが可能となる。
【0120】
また本実施形態によれば図６に示されるように、表示装置は、作業車両１００のオペレータが装着するヘッドマウントディスプレイ２００である。これによりオペレータは、死角を補完した表示画像を通して、あたかも自身が直接視認しているかの如くバケット８および掘削面を視認することができる。
【0121】
＜変形例＞
次に、本実施形態の変形例について説明する。
次に、本実施形態の変形例について説明する。
【0122】
【0123】
しかし図１５および図１６に示されるように、第１補完撮像画像および第２補完撮像画像のそれぞれが視点変換部５０ｆａ、５０ｆｂにより視点を変換された後に、視点変換後の第１補完撮像画像および第２補完撮像画像のいずれか一方が画像選択部５０ｅにより選択されてもよい。
【0124】
この場合、図１５に示されるように、画像取得部５０ｂは、取得した第１補完撮像画像のデータを視点変換部５０ｆａへ出力する。また画像取得部５０ｃは、画像取得部５０ｃは、取得した第２補完撮像画像のデータを視点変換部５０ｆｂへ出力する。
【0125】
視点変換部５０ｆａは、位置・角度算出部５０ｉから取得したヘッドマウントディスプレイ２００の位置および傾斜角度に基づいて、第１補完撮像画像を運転席４Ｓに着座するオペレータ視点の画像に変換する（ステップＳ９ａ：図１６）。視点変換部５０ｆａは、視点変換後の第１補完撮像画像のデータを画像選択部５０ｅへ出力する。
【0126】
また視点変換部５０ｆｂは、位置・角度算出部５０ｉから取得したヘッドマウントディスプレイ２００の位置および傾斜角度に基づいて、第２補完撮像画像を運転席４Ｓに着座するオペレータ視点の画像に変換する（ステップＳ９ｂ：図１６）。視点変換部５０ｆｂは、視点変換後の第２補完撮像画像のデータを画像選択部５０ｅへ出力する。
【0127】
画像選択部５０ｅは、作業車両１００の作業状態に基づいて、視点変換された第１補完撮像画像および第２補完撮像画像のいずれかを選択する。具体的には作業車両１００が通常作業の状態にあると判定した場合には、画像選択部５０ｅは、視点変換された第１補完撮像画像を選択する（ステップＳ７：図１６）。また作業車両１００が深堀作業の状態にあると判定した場合には、画像選択部５０ｅは、視点変換された第２補完撮像画像を選択する（ステップＳ８：図１６）。画像選択部５０ｅは選択した撮像画像のデータを視点変換部５０ｆへ出力する。
【0128】
【0129】
【0130】
また上記実施形態においては、コントローラ５０は、第１補完撮像画像と第２補完撮像画像とのいずれか一方を画像選択部５０ｅにより選択したうえで主撮像画像と重畳して表示画像を生成する。しかしコントローラ５０は、第１補完撮像画像と第２補完撮像画像とを統合して１つの統合画像を生成し、その統合画像と主撮像画像とを重畳することにより遮蔽物を透過した表示画像を生成してもよい。
【0131】
具体的には、図１７（Ａ）に示されるように、コントローラ５０の視点変換部５０ｆａ（図１５）は、視点変換された第１補完撮像画像を生成する。また図１７（Ｂ）に示されるように、コントローラ５０の視点変換部５０ｆｂ（図１５）は、視点変換された第２補完撮像画像を生成する。この後、図１７（Ｃ）に示されるように、コントローラ５０は、視点変換された第１補完撮像画像と視点変換された第２補完撮像画像とを統合し、１つの統合画像を生成する。
【0132】
この後、コントローラ５０の画像重畳部５０ｇ（図１５）は、統合画像と主撮像画像とを重畳させて、主撮像画像の中の遮蔽物が透過した表示画像を生成する。
【0133】
また上記実施形態においては、表示画像において作業車両１００の一部が透過される場合について説明したが、表示画像において透過される箇所は地形の一部であってもよい。以下、表示画像において地形の一部が透過されることを図１８および図１９を用いて説明する。
【0134】
図１８および図１９は、深堀作業の状態を示す正面図および側面図である。図１８および図１９におけるＶＰは、オペレータ視点である。また図１９においては、図の簡略化のためブームシリンダ１０の図示は省略されている。図１８に示されるように、深堀作業の場合、地面には深い縦溝ＴＲが形成される。深堀作業においては、縦溝ＴＲの底面ＢＷが掘削面となる。このためオペレータは、縦溝ＴＲの底面ＢＷを視認しながら深堀作業を行うことが好ましい。しかし縦溝ＴＲが深くなると、縦溝ＴＲの壁面ＳＷ１がオペレータの視界を遮る。このためオペレータが直接視認できる縦溝ＴＲ内の下限は、図１８中矢印ＬＳ１で示されるように縦溝ＴＲの壁面ＳＷ２となる。したがって運転席４Ｓに着座するオペレータは、掘削面となる底面ＢＷを直接視認できなくなる。
【0135】
そこで第２補完撮像装置ＩＳ２が縦溝ＴＲの内部を撮像する。第２補完撮像装置ＩＳ２は、好ましくは作業車両１００の正面視において縦溝ＴＲの真上領域内に位置している。このため第２補完撮像装置ＩＳ２は、掘削面となる縦溝ＴＲの底面ＢＷと、底面ＢＷを掘削するバケット８とを撮像できる。
【0136】
第２補完撮像装置ＩＳ２は、上記のとおり位置情報を持つ点群データを付加された画像を撮像する。このため第２補完撮像装置ＩＳ２で撮像した１枚の画像から３次元ＣＧモデルを作成することができる。したがって第２補完撮像装置ＩＳ２で撮像された画像をオペレータ視点の画像に変換することができる。また壁面ＳＷ１を点群データに基づいて識別し、視点変換された画像から壁面ＳＷ１を含む図中一点鎖線で囲む領域Ｒ１を削除することができる。このため視点変換後の第２補完撮像画像と主撮像画像とを重畳させることにより、遮蔽部としての壁面ＳＷ１を含む領域Ｒ１が透過された表示画像を生成することができる。この表示画像をヘッドマウントディスプレイ２００のスクリーンに投影することにより、オペレータは矢印ＬＳ２、ＬＳ３で示すように掘削面となる底面ＢＷとバケット８とを視認することが可能となる。
【0137】
図１９に示されるように、深堀作業の場合、縦溝ＴＲが深くなると、縦溝ＴＲの手前壁面ＳＷ３がオペレータの視界を遮る。このため図１９中矢印ＬＳ４で示されるように、オペレータはバケット８を直接視認できなくなる場合が生じる。
【0138】
そこで第２補完撮像装置ＩＳ２が縦溝ＴＲの内部を撮像する。第２補完撮像装置ＩＳ２は、たとえば運転室４の前面よりも前方に配置されている。このため第２補完撮像装置ＩＳ２は、掘削面となる縦溝ＴＲの底面ＢＷと、底面ＢＷを掘削するバケット８とを撮像できる。
【0139】
第２補完撮像装置ＩＳ２は、上記のとおり位置情報を持つ点群データを付加された画像を撮像する。このため第２補完撮像装置ＩＳ２で撮像された画像をオペレータ視点の画像に変換することができる。また手前壁面ＳＷ３を点群データに基づいて識別し、視点変換された画像から手前壁面ＳＷ３を含む図中一点鎖線で囲む領域Ｒ２を削除することができる。このため視点変換後の第２補完撮像画像と主撮像画像とを重畳させることにより、遮蔽部としての手前壁面ＳＷ３を含む領域Ｒ２が透過された表示画像を生成することができる。この表示画像をヘッドマウントディスプレイ２００のスクリーンに投影することにより、オペレータは矢印ＬＳ５で示すように掘削面となる底面ＢＷとバケット８とを視認することができる。
【0140】
上記においては主撮像画像と補完撮像画像とを重畳させることにより作業車両１００の一部または地形の一部を遮蔽物として透過させることについて説明したが、透過される遮蔽物は作業車両１００の一部または地形の一部に限定されない。透過される遮蔽物は、オペレータと作業具（たとえばバケット８）との間に位置するものであればよい。この場合、主撮像画像および補完撮像画像に含まれる点群データに基づいてオペレータと作業具との間に位置する物体を特定し、主撮像画像と補完撮像画像とを重畳させることによりその物体を遮蔽物として透過させることができる。
【0141】
また作業車両１００の一部を透過させる場合などには、予め透過される部位が設定され、その設定された部位が記憶部５０ｋ（図７、図１５）などに記憶されていてもよい。この場合、第１補完撮像装置ＩＳ１または第２補完撮像装置ＩＳ２により撮像された補完撮像画像から、記憶された設定部位の箇所が切り取られ、切り取られた設定部位の部分における画像が主撮像画像に組み合わされてもよい。このようにして設定部位において遮蔽物が透過された表示画像が作成されてもよい。
【0142】
また図６に示されるヘッドマウントディスプレイ２００は、光学透過型であってもよい。この場合、本体部１０１は、半透過スクリーンを有している。ヘッドマウントディスプレイ２００を装着したオペレータは、半透過スクリーンを通してヘッドマウントディスプレイ２００の外の様子を視認することができる。また半透過スクリーン上には、第１補完撮像装置ＩＳ１、第２補完撮像装置ＩＳ２などにより撮像された画像が投影される。このためヘッドマウントディスプレイ２００を装着したオペレータは、半透過スクリーンを透過した外部の様子に加えて、半透過スクリーン上に投影された撮像画像を視認することができる。
【0143】
光学透過型のヘッドマウントディスプレイ２００によれば、ヘッドマウントディスプレイ２００への電力供給が絶たれた場合でも、オペレータは半透過スクリーンを通してヘッドマウントディスプレイ２００の外部の様子を視認することができる。このためヘッドマウントディスプレイ２００への電力供給が絶たれた場合でも、オペレータは作業車両１００を用いた作業を行うことができる。
【0144】
光学透過型のヘッドマウントディスプレイ２００が用いられる場合、主撮像装置ＩＳＭは省略される。この場合、視点変換された第１補完撮像画像および第２補完撮像画像の少なくとも一方が遮蔽物の部分のみ切り取られる。そして、その切り取られた遮蔽物の部分の画像のみが半透過スクリーンに投影される。これによりオペレータが半透過スクリーンを通して視認していた外部の様子に、遮蔽物が透過された画像が投影されるため、死角が補完された表示画像が半透過スクリーンに投影されることになる。
【0145】
また遮蔽物が透過された表示画像の地形と目標地形とが互いに重ね合わされた状態で、ヘッドマウントディスプレイ２００のスクリーンに投影されてもよい。ここで目標地形とは、３次元施工設計情報（設計面）のことである。
【0146】
また遮蔽物が透過された表示画像と目標地形とは、互いに異なる色度で表示されてもよい。たとえば現況地形に対して掘る部分が赤色で示され、仕上がった部分が緑色で示されてもよい。またたとえば施工面がワイヤーフレームで示され、足場が橙色、施工面が緑色で示されてもよい。また今日作業すべき箇所がたとえば黄色枠で示されてもよい。これにより遮蔽物が透過された表示画像と目標地形との区別が容易となる。
【0147】
上記実施形態においては第２補完撮像装置ＩＳ２が運転室４に取り付けられた構成について説明したが、第２補完撮像装置ＩＳ２はブーム６に取り付けられてもよい。この場合、ブーム６に取り付けられた、たとえば加速度センサ、ポテンショメータなどにより第２補完撮像装置ＩＳ２の位置が検出される。検出された第２補完撮像装置ＩＳ２の位置に基づいて、第２補完撮像装置ＩＳ２で撮像された第２補完撮像画像が視点変換されて主撮像画像と重畳される。これにより第２補完撮像装置ＩＳ２が、駆動する作業機と干渉することが防止できる。
【0148】
また上記実施形態においては、第１補完撮像装置ＩＳ１と第２補完撮像装置ＩＳ２とが上下に配置された構成について説明したが、これ以外の補完撮像装置が第１補完撮像装置ＩＳ１および第２補完撮像装置ＩＳ２の左右方向に配置されていてもよい。たとえば作業車両１００の側方に光軸が延びる補完撮像装置または作業車両１００の後方に光軸が延びる補完撮像装置が追加されてもよい。これにより作業車両１００のエンジンカバー９、手摺りなどを遮蔽物として透過させることも可能となる。
【0149】
また上記実施形態においては、表示画像がヘッドマウントディスプレイ２００のスクリーンに投影される場合について説明したが、表示画像はそのスクリーン以外に、ヘッドマウントディスプレイ２００とは別個に設けられたモニターなどに表示されてもよい。
【0150】
またコントローラ５０は、作業車両１００に対するヘッドマウントディスプレイ２００の傾斜角度と、視線検出センサにより検出されたオペレータの視線方向と、オペレータによって操作される操作レバー２１の操作角度と、オペレータが操作する表示切替スイッチＳＷの切替信号とからなる群から選ばれる１つ以上に基づいて、主撮像画像と重畳させる画像として第１補完撮像画像と第２補完撮像画像とを切り替える。
【0151】
ヘッドマウントディスプレイ２００の傾斜角度は、ヘッドマウントディスプレイ２００に取り付けられた角度センサ１０２により検出可能である。オペレータによって操作される操作レバー２１の操作角度は、操作レバー２１の操作量検出センサ（圧力センサ、ポテンショメータなど）により検出可能である。
【0152】
オペレータの視線方向は、ヘッドマウントディスプレイ２００に取り付けられた視線検出センサにより検出可能である。視線検出センサは、たとえばオペレータの左右両眼における瞳孔が向く方向を追跡して検出する追跡センサであり、たとえば赤外線カメラである。オペレータの視線方向は、たとえばステレオカメラで撮像された画像内の眼球中心位置と瞳孔、虹彩などの位置とを結ぶ直線が向く方向として推定される。
【0153】
また地面の壁面ＳＷ１、ＳＷ３を透過させるか否かは、ＡＩ（Artificial Intelligence）により判断されてもよい。
【0154】
図４、図７および図１５の各々に示されるコントローラ５０は、作業車両１００に搭載されていてもよく、作業車両１００の外部に離れて配置されていてもよい。コントローラ５０が作業車両１００の外部に離れて配置されている場合、コントローラ５０は、主撮像装置ＩＳＭ、補完撮像装置ＩＳ１、ＩＳ２、センサＳＥ１、切替えスイッチＳＷ、姿勢検出センサＳＥ２、ヘッドマウントディスプレイ２００などと無線により接続されていてもよい。コントローラ５０は、たとえばプロセッサであり、ＣＰＵ（Central Processing Unit）であってもよい。
【0155】
【0156】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0157】
１ 本体、２ 作業機、３ 旋回体、４ 運転室、４Ｓ 運転席、５ 走行体、５Ｃｒ 履帯、５Ｍ 走行モータ、６ ブーム、７ アーム、８ バケット、８ａ 刃先、９ エンジンカバー、１０ ブームシリンダ、１１ アームシリンダ、１２ バケットシリンダ、１３ ブームフートピン、１４ ブームトップピン、１５ アームトップピン、２１ 操作レバー、２２ 前後進レバー、２３ 操作ペダル、５０ コントローラ、５０ａ，５０ｂ，５０ｃ 画像取得部、５０ｄ 検出情報取得部、５０ｅ 画像選択部、５０ｆ，５０ｆａ，５０ｆｂ 視点変換部、５０ｇ 画像重畳部、５０ｈ ヘッドマウントディスプレイ制御部、５０ｉ 角度算出部、５０ｊ 作業状態判定部、５０ｋ 記憶部、１００ 作業車両、１０１ 本体部、１０２ 角度センサ、１０３ 装着部、２００ ヘッドマウントディスプレイ、３００ ダンプトラック、ＡＰ 取付部、ＢＬ 線、ＢＲ１，ＢＲ２ ブラケット、ＢＴ 前上梁、ＢＷ 底面、ＣＨ１，ＣＨ２ ホルダー、ＣＩ１ａ，ＣＩ１ｂ，ＣＩ２ 主撮像画像、ＤＩ１，ＤＩ２，ＤＩ３ 表示画像、ＤＬ 表示装置、ＥＸ１ 前方延在部、ＥＸ２ 下方延在部、ＦＰＬ 第１フロントピラー、ＦＰＲ 第２フロントピラー、ＦＲ 床部、ＨＬ 水平線、ＩＩ 撮像装置、ＩＳ１ 第１補完撮像装置、ＩＳ２ 第２補完撮像装置、ＩＳＭ 主撮像装置、ＭＩ１ 第２補完撮像画像、ＭＩ２，ＭＩ３ 第１補完撮像画像、ＯＡ１，ＯＡ２，ＯＡ３ 光軸、Ｒ１，Ｒ２ 領域、ＲＦ 屋根部、ＲＸ 旋回軸、ＳＥ１ 角度検出センサ、ＳＥ２ 姿勢検出センサ、ＳＦ 法面、ＳＷ 切替スイッチ、ＳＷ１，ＳＷ２ 壁面、ＳＷ３ 手前壁面、ＴＲ 縦溝、ＶＡ１，ＶＡ２ 撮像範囲、ＶＰ オペレータ視点。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】