特開 2024-90079 表示装置、視界補助システム、産業車両、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090079

(43)【公開日】2024-07-04

(54)【発明の名称】表示装置、視界補助システム、産業車両、制御方法及びプログラム

(51)【国際特許分類】

   B66F 9/075 20060101AFI20240627BHJP

【ＦＩ】

B66F9/075 J

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022205734

(22)【出願日】2022-12-22

(71)【出願人】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】明石 拓也

(72)【発明者】

【氏名】塚原 啓介

【テーマコード（参考）】

3F333

【Ｆターム（参考）】

3F333AA02

3F333AE02

3F333BA02

3F333CA19

3F333CA24

3F333CA30

3F333DB01

3F333FA08

3F333FA36

3F333FD11

3F333FD20

3F333FE05

(57)【要約】

【課題】任意の位置に仮想モニターを配置することによって車両の周辺や死角となる範囲を確認することができる表示装置を提供する。
【解決手段】表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両に設けられたカメラが撮影した画像を取得する取得部と、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部における、前記表示部を透過して見える前記産業車両の所定の位置に表示する制御部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

人の頭部に装着する表示装置であって、
画像データを表示することが可能な透過的な表示部と、
産業車両に設けられたカメラが撮影した画像を取得する取得部と、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える前記産業車両の所定の位置に重畳して表示する制御部と、
を備える表示装置。

【請求項2】

前記制御部は、前記頭部と前記仮想モニターの位置関係に応じて、前記仮想モニターの向きを調整する、
請求項１に記載の表示装置。

【請求項3】

前記画像に含まれる人物を検出する検出部、をさらに備え、
前記制御部は、前記検出部によって人物が検出されると、人物が検出されたことを前記表示部に表示する、
請求項１又は請求項２に記載の表示装置。

【請求項4】

前記制御部は、前記仮想モニターを強調する表示を行うことにより、前記人物が検出されたことを前記表示部に表示する、
請求項３に記載の表示装置。

【請求項5】

前記制御部は、前記仮想モニターに含まれる前記人物を強調する表示を行うことにより、前記人物が検出されたことを前記表示部に表示する、
請求項３に記載の表示装置。

【請求項6】

前記制御部は、前記産業車両の所定の位置が前記人の視野範囲から外れると、前記人物が検出された方向を示す表示を行うことにより、前記人物が検出されたことを前記表示部に表示する、
請求項３に記載の表示装置。

【請求項7】

音を出力する音声出力部、をさらに備え、
前記音声出力部は、前記検出部によって人物が検出されると、人物が検出されたことを示す音を出力する、
請求項３に記載の表示装置。

【請求項8】

産業車両に設けるカメラと、
請求項１又は請求項２に記載の前記表示装置と、
を備える視界補助システム。

【請求項9】

カメラと
請求項１又は請求項２に記載の前記表示装置と、
を備える産業車両。

【請求項10】

画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、
産業車両に設けられたカメラが撮影した画像を取得し、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える前記産業車両の所定の位置に重畳して表示する、
制御方法。

【請求項11】

画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、
産業車両に設けられたカメラが撮影した画像を取得する手段、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える前記産業車両の所定の位置に重畳して表示する手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示装置、視界補助システム、産業車両、制御方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、車両周辺の様子を小型無人飛行体に搭載したカメラで撮影し、撮影した画像を運転席の前方に取り付けられた車載モニターに表示するフォークリフト作業支援システムが開示されている。また、車両に設置したカメラによって車両の周辺を撮影し、その画像を運転席に設けられたモニターに表示するシステムや、音や光で人などを検出した方向を示すシステムが提供されている。音や光で検出方向を通知するシステムにおいても、その方向の画像を映す場合には、運転席の前方に設けられたモニターに表示することが一般的である。これらのシステムによれば、運転者は、モニターを確認することによって死角に存在する人や障害物を把握することができる。しかし、運転席にモニターを設けると、例えば、目視で車両後方を確認しながら車両を後退させるような場面では、運転者は、前方のモニターを確認することはできない。また、運転席にモニターを設けると、前を向いて車両の運転を行う場面ではモニターによって視界の一部が遮られる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－３６１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

モニターの設置位置の制約を受けることなく、確認したい方向の車両周辺の様子や死角を確認できる技術が求められている。

【0005】

本開示は、上記課題を解決することができる表示装置、視界補助システム、産業車両、制御方法及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両に設けられたカメラが撮影した画像を取得する取得部と、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える前記産業車両の所定の位置に重畳して表示する制御部と、を備える。

【0007】

本開示の視界補助システムは、産業車両に設けるカメラと上記の前記表示装置と、を備える。

【0008】

本開示の産業車両は、カメラと、上記の前記表示装置と、を備える。

【0009】

本開示の制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両に設けられたカメラが撮影した画像を取得し、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える前記産業車両の所定の位置に重畳して表示する。

【0010】

また、本開示のプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両に設けられたカメラが撮影した画像を取得する手段、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える前記産業車両の所定の位置に重畳して表示する手段、として機能させる。

【発明の効果】

【0011】

上述の表示装置、視界補助システム、産業車両、制御方法及びプログラムによれば、任意の位置に仮想モニターを配置することによって車両の周辺や死角となる範囲を確認することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係るフォークリフトの一例を示す概略図である。

【図2】実施形態に係る表示装置の一例を示すブロック図である。

【図3A】実施形態に係る仮想モニターの配置の一例を示す第１の図である。

【図3B】実施形態に係る仮想モニターの配置の一例を示す第２の図である。

【図4A】実施形態に係る表示装置から見える視覚情報の一例を示す第１の図である。

【図4B】実施形態に係る表示装置から見える視覚情報の一例を示す第２の図である。

【図5】実施形態に係る仮想モニターの表示制御の一例を示すフローチャートである。

【図6】実施形態に係る表示装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0013】

＜実施形態＞
以下、本開示の表示装置について、図面を参照して説明する。
（構成）
図１は、各実施形態に係るフォークリフトの一例を示す概略図である。
フォークリフト１は、車体１０と、荷役装置１１と、表示装置２０と、を備えている。車体１０は、前輪１４、後輪１５、不図示の駆動装置およびステアリング装置を備え、フォークリフト１を走行させる。荷役装置１１は、フォーク１２と、フォーク１２を昇降させるマスト１３を備え、フォーク１２に積載した荷物を昇降させる等して荷役動作を行う。車体１０には、１台又は複数台のカメラ１６が設けられている。カメラ１６は、車体１０の後方、側面など、運転者１００の死角となりやすい範囲を撮影するように設置されている。カメラ１６が撮影した画像（動画でも静止画でもよい。）は、表示装置２０へ送信される。表示装置２０は、ＡＲ（Augmented Reality）グラス又は、ＭＲ（Mixed Reality）グラスである。運転者１００は、表示装置２０を装着して、フォークリフト１の運転を行う。本明細書では、図１に示すようにフォークリフト１の荷役装置１１が設けられている方向を前方、その反対方向を後方と呼び、前方を向いたときの左右方向をそれぞれ左側、右側と呼ぶ。

【0014】

図２は、実施形態に係る表示装置の一例を示すブロック図である。表示装置２０は、表示装置とコンピュータを含んで構成される、ＡＲグラス又はＭＲグラスである（以下、両方を含んでＡＲグラスと記載する。）。表示装置２０は、不図示のフォークリフト１の制御装置やカメラ１６と通信可能に接続されていて、それらの装置から得た情報を表示することができる。例えば、表示装置２０は、カメラ１６が撮影した画像を表示する。図示するように表示装置２０は、センサ部２１と、表示部２２と、送受信部２３と、制御部２４と、障害物検出部２５と、音声出力部２６と、記憶部２７と、を備える。

【0015】

センサ部２１は、運転者１００のヘッドトラッキング用のセンサ（例えば、複数の可視光カメラやＩＭＵ（Inertial Measurement Unit））、運転者１００のアイトラッキング用のセンサ（例えば、赤外線カメラ）、深度センサ、マイク等を備える。

【0016】

表示部２２は、ＡＲグラスのレンズ（スクリーン）の部分を構成し、例えば、透過的（レンズを通じて外界が見える）なホログラフィックディスプレイで構成される。レンズに仮想オブジェクトが投影されない状態では、運転者１００は、現実の世界をそのまま見ることができる。仮想オブジェクトとは、表示部２２に投影される画像データである。仮想オブジェクトが表示部２２に表示されると、運転者１００には、現実の世界に重畳して仮想オブジェクトが見える。

【0017】

送受信部２３は、他の装置とデータの送受信を行う。例えば、送受信部２３は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、他装置との間でデータの送受信を行う。例えば、送受信部２３は、カメラ１６が撮影した画像を受信する。受信した画像は、表示部２２に表示することができる。

【0018】

制御部２４は、表示部２２の表示制御等を行う。制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の周辺の空間形状を認識し、周辺の空間の３次元地図情報を作成し、仮想空間を生成する。制御部２４は、作成した地図情報に基づいて、仮想空間の所望の位置に仮想オブジェクトを配置する。制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の位置や姿勢を算出し、仮想空間上に配置した仮想オブジェクトが、運転者１００の視野範囲に存在すれば、その配置した位置に仮想オブジェクトが表示された画像を生成して、その画像を表示部２２へ投影する。運転者１００には、現実の世界の当該位置に存在する物に重畳して仮想オブジェクトが表示される。仮想オブジェクトは、（１）空間内の所定の位置（仮想オブジェクトは、固定的にある位置に存在する。）、（２）周辺空間に存在する物体を基準とする所定の位置（例えば、物体が車体１０の場合、仮想オブジェクトは車体１０の走行に追従して移動する。）、（３）運転者１００を基準とする所定の位置（車体１０の走行に関係なく、例えば、仮想オブジェクトは、運転者１００が向いている方向のある位置に存在する。）などに表示させることができる。（１）や（２）の場合、仮想オブジェクトは、あたかもその位置に実際に存在するかのように運転者１００によって認識される。

【0019】

制御部２４の上記した機能は、ＡＲグラスが備える機能である。ユーザは、所望の仮想オブジェクトに関する設定を表示装置２０に対して行う（開発者がＡＲ開発ツールを使って仮想オブジェクトを開発し、開発したプログラムを表示装置２０に実装する。）。すると、制御部２４が、その設定に従って所望の位置に仮想オブジェクトを表示する。本実施形態では制御部２４は、車体１０の所定位置に所定の形状をした仮想モニターＶＭを配置し、仮想モニターＶＭにカメラ１６が撮影した画像を表示するように設定されている。

【0020】

仮想モニターＶＭは、仮想オブジェクトであり、実際には存在しない仮想的な表示画面である。制御部２４は、カメラ１６が撮影した画像を、送受信部２３を通じて取得し、その画像が表示された仮想モニターＶＭを生成する。制御部２４は、車体１０の所定位置に仮想モニターＶＭを配置する（上記の（２）に対応）。車体１０の所定位置とは、例えば、車体１０後方の所定位置（例えば、図１の範囲ｈの何れかの位置）である。仮想モニターＶＭは、車体１０の所定位置に固定されているので、車体１０の移動に追従して移動する。仮想モニターＶＭは、車体１０の後方に配置されるので、例えば、運転者１００が前方を見て運転しているときには、運転者１００の視野には入らない（表示部２２に表示されない）。反対に、運転者１００が後方を振り返ったときは、仮想モニターＶＭは、あたかも車体１０後方の所定位置に設置されているように見える。例えば、制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の視野範囲を算出し、その視野範囲に仮想モニターＶＭの設置位置が含まれる場合、仮想モニターＶＭが配置されているような画像データを生成する。制御部２４は、運転者１００と車体１０の位置関係から車体１０における仮想モニターＶＭの設置位置を算出し、表示部２２の仮想モニターＶＭ設置位置に相当する位置に仮想モニターＶＭを表示する。

【0021】

また、制御部２４は、障害物検出部２５を備える。障害物検出部２５は、カメラ１６が撮影した画像から、パターン認識等の画像処理により、人や障害物を検出する。障害物検出部２５は、人や障害物を検出すると、人などを検出した画像内の位置や、その画像を撮影したカメラ１６の設置位置などを制御部２４へ通知する。制御部２４は、障害物検出部２５からの通知に基づいて、例えば、仮想モニターＶＭに表示された画像における人などが検出された範囲を強調表示（例えば、目立つ色で囲って表示する等。）したり、人などが検出された方向又は人などが検出された画像を撮影したカメラ１６の設置位置などを矢印（矢印は仮想オブジェクト）で示した画像を生成したりする。

【0022】

音声出力部２６は、音を出力する。例えば、表示装置２０には、複数のスピーカが設けられていて、運転者１００に対して、立体的な音響を表現することができる。
記憶部２７は、センサ部２１が検出した情報、送受信部２３が受信した情報、仮想オブジェクト、フォークリフト１又は様々な車種のフォークリフトのＣＡＤ情報などを記憶する。

【0023】

図３Ａ，図３Ｂに仮想モニターＶＭの配置の一例を示す。図３Ａは、車体１０を側面から見た図、図３Ｂは、車体１０を上から見た図である。図３Ａ、図３Ｂに示すように、２台のカメラ１６ａ，１６ｂが車体１０後方の左右側にそれぞれに設けられ、２台の仮想モニターＶＭａ，ＶＭｂが、車体１０後方の所定位置（例えば、車体１０が備えるカウンターウェイトの上）に配置されている。フォークリフト１は構造上、カウンターウェイトの後方に死角が存在する。仮想モニターＶＭａ，ＶＭｂには、それぞれの方向の死角の画像が表示される。例えば、カメラ１６ａが撮影した画像は、仮想モニターＶＭａに表示され、カメラ１６ｂが撮影した画像は、仮想モニターＶＭｂに表示される。このようにカメラ１６ａ、１６ｂおよび仮想モニターＶＭａ，ＶＭｂを配置し、カメラ１６ａ，１６ｂが撮影した画像を仮想モニターＶＭａ，ＶＭｂに表示することにより、例えば、運転者１００が後ろを振り返って、フォークリフト１を後進させるような場面で死角となりやすい範囲を、仮想モニターＶＭａ，ＶＭｂで確認しながら運転することができる。

【0024】

図３Ａ，図３Ｂに例示するカメラ１６ａ等の設置位置、撮影方向、カメラ１６の台数は一例である。例えば、車体１０の両側の側面にもカメラ１６を設けるようにしてもよいし、車体１０の側面から後方や斜め後方を撮影するようにしてもよい。また、図３Ａ，図３Ｂに例示する仮想モニターＶＭａ，ＶＭｂの配置位置、台数、大きさ、形状などは一例である。例えば、仮想モニターＶＭをカメラ１６の台数分配置して、各カメラ１６が撮影した画像を各々の仮想モニターＶＭにて表示するようにしてもよい。あるいは、仮想モニターＶＭを１台だけ配置し、仮想モニターＶＭの表示部を分割して、分割された各領域に各カメラ１６が撮影した画像を表示するようにしてもよい。又は、１台のカメラ１６が撮影した画像を撮影方向で分割して、２台の仮想モニターＶＭａ，ＶＭｂに表示するようにしてもよい。例えば、１台のカメラ１６を車体１０の後方の中央部分に設け、撮影された画像を左右に分割し、仮想モニターＶＭａの配置方向の画像を仮想モニターＶＭａへ表示し、仮想モニターＶＭｂの配置方向の画像を仮想モニターＶＭｂへ表示するようにしてもよい。

【0025】

図４Ａに、運転者１００が後ろを振り返ったときに表示装置２０を通じて見える視覚情報の一例を示す。図示するように、運転者１００には、あたかもカメラ１６が撮影した画像が表示された２つの仮想モニターＶＭａ，ＶＭｂが車体１０の後方に設置されているように見える。この例の場合には、運転者１００から見える車体１０の筐体範囲に収まるようにして仮想モニターＶＭａ，ＶＭｂを配置することで、運転者１００から見える現実世界の視野を妨害すること無く、カメラ１６によって撮影された画像を確認することができる。三角の通知表示４１は、障害物検出部２５によって人などが検出された方向を示す仮想オブジェクトである。より具体的には、人などが検出された画像を表示している仮想モニターＶＭの配置位置の方向、又は、人などが検出された画像を撮影したカメラ１６の設置位置の方向を示す。三角の通知表示４１の表示位置や大きさ、形状等は、図示したものに限定されない。例えば、人等が検出された位置をより細分化して分析し、その検出位置をより正確に指し示すような仮想オブジェクトを表示するようにしてもよいし、「左」や「右」などの文字情報を表示するようにしてもよい。また、通知表示４１は、運転者１００が振り返ったときだけでなく、前方を向いて運転しているときにも表示するようにしてもよい。この様子を図４Ｂに示す（図４Ｂにおいては、表示部２２を通じて見える外界の情景は省略する。）。人や障害物が検出されない場合、制御部２４は、三角の通知表示４１を表示しない。

【0026】

図４Ａの強調表示４２は、仮想モニターＶＭに表示される画像に人などが含まれる場合、検出された人などが写った範囲を強調するための仮想オブジェクトである（図示する画像には、人などは含まれておらず、図４の強調表示４２は説明のためのものである。）。また、図４Ａの強調表示４３は、仮想モニターＶＭに表示される画像に人などが含まれる場合、その仮想モニターＶＭを強調するための仮想オブジェクトである。制御部２４は、障害物検出部２５が人などを検出すると、人などが検出された位置や範囲を示す強調表示４２を生成して、その画像データを、表示部２２における仮想モニターＶＭの配置位置に対応する位置に表示する。強調表示４２の色や強調方法は、図示したものに限定されない。カメラ１６が撮影した画像に人や障害物が検出されない場合、制御部２４は、強調表示を行わない。強調表示４３についても同様である。

【0027】

（動作）
次に図５を参照して、表示装置２０の制御について説明する。
図５は、実施形態に係る仮想モニターの表示制御の一例を示すフローチャートである。
表示装置２０を装着した運転者１００は、フォークリフト１の運転席に座ると、表示装置２０を起動し、キャリブレーションを行う（ステップＳ１）。キャリブレーションでは、運転者１００とフォークリフト１の位置関係を算出する。例えば、制御部２４は、センサ部２１の可視光カメラによって、フォークリフト１のハンドルやその他の構造物を認識し、撮影されたハンドル等の形状や見え方からフォークリフト１の車種を推定する。制御部２４は、記憶部２７に記録されたＣＡＤ情報から推定した車種に対応するＣＡＤ情報を読み出して、フォークリフト１全体の形状を把握する。また、例えば、制御部２４は、センサ部２１の可視光カメラによって撮影したハンドルの画像を解析したり、センサ部２１の深度センサによってハンドルまでの距離を測定したりすることで、運転者１００とハンドルとの位置関係、つまり、運転者１００が運転席のどの位置に座っているか、運転者１００の頭部の高さがどの程度か、あるいは、読み出したフォークリフト１のＣＡＤ情報から運転者１００とフォークリフト１の各部までの位置関係（水平方向の距離や垂直方向の距離など）を算出する。これにより、仮想モニターＶＭを所望の位置に配置することができるようになる。また、例えば、フォークリフト１の所定位置に２次元マーカを設け、センサ部２１によって２次元マーカを認識し、２次元マーカとの位置関係や２次元マーカが示すフォークリフト１の車種および当該車種のＣＡＤ情報から上記と同様にして、運転者１００とフォークリフト１の各部までの位置関係を算出してもよい。

【0028】

キャリブレーションが完了すると、運転者１００は表示装置２０に対して所定の操作を行い、仮想モニターＶＭを表示する機能を起動する。当該機能が起動すると、制御部２４によって、仮想モニターＶＭが、仮想空間上の所定位置（例えば、車体１０の後方）に配置される。障害物検出部２５は、送受信部２３を通じてカメラ１６が撮影した画像を取得する。障害物検出部２５は、取得した画像を解析して、人や障害物を検出する（ステップＳ２）。人などを検出した場合（ステップＳ３；Ｙｅｓ）、障害物検出部２５は、人などを検出した位置や方向と、カメラ１６が撮影した画像とを制御部２４へ出力する。制御部２４は、人などを検出した位置の情報に基づいて強調表示４２の生成および配置、人などを検出した方向の情報に基づいて通知表示４１、強調表示４３の生成および配置を行う（ステップＳ４）。例えば、制御部２４は、通知表示４１を視界の高さ方向の中心、横方向は人などが検出された方向の端部に配置する。制御部２４は、通知表示４１、強調表示４２、４３の生成および配置の全てを実行してもよいし、これらのうち何れか１つ又は２つを行ってもよい。次に制御部２４は、カメラ１６が撮影した画像を仮想モニターＶＭに表示する（ステップＳ５）。

【0029】

人などが検出されなかった場合（ステップＳ３；Ｎｏ）、障害物検出部２５は、人などが検出されなかったことを示す情報と、カメラ１６が撮影した画像とを制御部２４へ出力する。制御部２４は、カメラ１６が撮影した画像を仮想モニターＶＭに表示する（ステップＳ５）。

【0030】

制御部２４が、運転者の姿勢に基づき仮想モニターの表示制御を行う（ステップＳ６）。例えば、制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の視野範囲を算出し、視野範囲に仮想モニターＶＭの配置位置が含まれていれば仮想モニターＶＭを表示する。このとき、運転者１００の頭部の位置や運転者１００の姿勢に応じて仮想モニターＶＭの向きを調整してもよい。例えば、運転者１００の目線（目線は頭部の位置の一例である。）が高ければ、運転者１００の視線に合わせて、仮想モニターＶＭの表示面の上向きの角度を大きくし、運転者１００の目線が低くければ、仮想モニターＶＭの表示面の上向きの角度を小さくする。また例えば、運転者１００が左向きに体をひねって（体をひねる向きは運転者１００の姿勢の一例である。）後ろを振り返った場合、車体１０の右後方に配置された仮想モニターＶＭｂの表示面（表示面は、通常、前方を向いている。）を、運転者１００の視線に合わせて、左前方へ向ける。また、制御部２４は、運転者１００の視野範囲に仮想モニターＶＭの配置位置が含まれていなければ仮想モニターＶＭを表示せず、通知表示４１が生成されていれば、通知表示４１を表示する。運転者１００が前を向いているときには、仮想モニターＶＭは表示されず、人などが検出された場合には、人などが検出された方向を示す通知表示４１だけが表示される。運転者１００が後ろを振り返ったときには、仮想モニターＶＭが表示され、人などが検出された場合には、通知表示４１、強調表示４２、４３の少なくとも１つが表示される。これにより、前方を向いて運転している時には視野を遮られることなく運転することができ、後方で人などが検出されたときにはその方向を把握することができる。後方を振り返ってフォークリフト１を後退させるような場面では、仮想モニターＶＭが表示されるので、死角となる範囲を仮想モニターＶＭで確認しながら運転することができる。次に制御部２４は、仮想モニターＶＭを表示する機能を終了するかどうかを判定する（ステップＳ７）。例えば、運転者１００が、仮想モニターＶＭを表示する機能を終了する操作を行った場合には、制御部２４は、仮想モニターＶＭを表示する機能を終了すると判定し、そうでない場合には、終了しないと判定する。終了しないと判定した場合（ステップＳ７；Ｎｏ）、ステップＳ２以降の処理を繰り返し行う。終了すると判定した場合（ステップＳ７；Ｙｅｓ）、図５の処理フローを終了する。

【0031】

なお、上記の実施形態では、人などを検出した場合に視覚により通知することとしたが、表示装置２０は、音声出力部２６から音を出力することにより、人がいる方向を通知してもよい。また、上記の実施形態では、カメラ１６および表示装置２０を含む視界補助システムをフォークリフト１に適用する場合を例に説明を行ったが、視界補助システムは、例えば、構内運搬車、構内けん引車、ショベルカー、ブルドーザー、クレーン車、リーチスタッカーなどのフォークリフト以外の産業車両にも適用することができる。

【0032】

（効果）
従来から運転席の前方に実物のモニターを設け、そのモニターに死角を撮影した画像を表示するシステムが提供されている。このシステムの場合には、目視で車両後方を確認しながら、前方のモニターを確認することはできない。また、車両の死角にいる人や障害物を検出した場合も、その存在を映像で確認するためには前方のモニターを見なければならない。また、運転席の前方のモニターは、必要がない場面では視界の妨げとなる。これに対し、本実施形態では、運転者にＡＲグラス（表示装置２０）を装着させ、仮想空間上に仮想モニターＶＭを表示し、仮想モニターＶＭにカメラ１６が車両周辺を撮影した画像を表示する。これにより、運転者１００が後方を振り返っている状態でも、仮想モニターＶＭを確認することで車両周辺の様子を把握することができる。さらに、運転者１００が前方を向いている場面では視界を妨げることがない。

【0033】

図６は、実施形態に係る表示装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の表示装置２０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

【0034】

なお、表示装置２０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0035】

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0036】

＜付記＞
各実施形態に記載の表示装置、視界補助システム、産業車両、制御方法及びプログラムは、例えば以下のように把握される。

【0037】

（１）第１の態様に係る表示装置は、人（運転者１００や同乗者）の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部２２と、産業車両（フォークリフト１）に設けられたカメラ１６が撮影した画像を取得する取得部（送受信部２３）と、前記画像が表示された仮想モニターＶＭを含む前記画像データを、前記表示部２２における、前記表示部を透過して見える前記産業車両の所定の位置に表示する制御部２４と、を備える。
これにより、ＡＲ技術を用いて、産業車両の任意の位置に仮想モニターＶＭを設置することにより、例えば、車両後方を目視しながら、車両後方の死角映像を確認するといったことが出来るようになり、加えて、必要の無い場面（前方を見ている場面など）では仮想モニターＶＭそのものの存在を消すことが可能で、前方視界を改善することが出来る。

【0038】

（２）第２の態様に係る表示装置は、（１）の表示装置であって、前記制御部は、前記頭部と前記仮想モニターの位置関係に応じて、前記仮想モニターの向きを調整する。
これにより、仮想モニターの確認がしやすくなる。

【0039】

（３）第３の態様に係る表示装置は、（１）～（２）の表示装置であって、前記画像に含まれる人物を検出する検出部（障害物検出部２５）、をさらに備え、前記制御部は、前記検出部によって人物が検出されると、人物が検出されたことを前記表示部に表示する。
これにより、車両周辺に人物が存在することを把握することができる。

【0040】

（４）第４の態様に係る表示装置は、（３）の表示装置であって、前記制御部は、前記仮想モニターを強調する表示を行うことにより、前記人物が検出されたことを前記表示部に表示する。
これにより、車両周辺に人物が存在することを通知することができる。

【0041】

（５）第５の態様に係る表示装置は、（３）～（４）の表示装置であって、前記制御部は、前記仮想モニターに含まれる前記人物を強調する表示を行うことにより、前記人物が検出されたことを前記表示部に表示する。
これにより、車両周辺に人物が存在することを通知することができる。

【0042】

（６）第６の態様に係る表示装置は、（３）～（５）の表示装置であって、前記制御部は、前記産業車両の所定の位置が前記人の視野範囲から外れると、前記人物が検出された方向を示す表示を行うことにより、前記人物が検出されたことを前記表示部に表示する。
これにより、車両周辺に人物が存在することを通知することができる。

【0043】

（７）第７の態様に係る表示装置は、（３）～（６）の表示装置であって、音を出力する音声出力部、をさらに備え、前記音声出力部は、前記検出部によって人物が検出されると、人物が検出されたことを示す音を出力する。
これにより、車両周辺に人物が存在することを通知することができる。

【0044】

（８）第８の態様に係る視界補助システムは、産業車両に設けるカメラと、（１）～（７）の表示装置と、を備える。

【0045】

（９）第９の態様に係る産業車両は、カメラと、（１）～（７）の表示装置とを備える。

【0046】

（１０）第１０の態様に係る制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両に設けられたカメラが撮影した画像を取得し、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部における、前記表示部を透過して見える前記産業車両の所定の位置に表示する。

【0047】

（１１）第１１の態様に係るプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両に設けられたカメラが撮影した画像を取得する手段、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部における、前記表示部を透過して見える前記産業車両の所定の位置に表示する手段、として機能させる。

【符号の説明】

【0048】

１・・・フォークリフト
１０・・・車体
１１・・・荷役装置
１２・・・フォーク
１３・・・マスト
１４・・・前輪
１５・・・後輪
１６・・・カメラ
２０・・・表示装置
２１・・・センサ部
２２・・・表示部
２３・・・送受信部
２４・・・制御部
２５・・・障害物検出部
２６・・・音声出力部
２７・・・記憶部
４１・・・通知表示
４２・・・強調表示
１００・・・運転者
ＶＭ，ＶＭａ，ＶＭｂ・・・仮想モニター
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】