特開 2024-90077 表示装置、視界補助システム、産業車両、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090077

(43)【公開日】2024-07-04

(54)【発明の名称】表示装置、視界補助システム、産業車両、制御方法及びプログラム

(51)【国際特許分類】

   B66F 9/075 20060101AFI20240627BHJP

【ＦＩ】

B66F9/075 J

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022205732

(22)【出願日】2022-12-22

(71)【出願人】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】明石 拓也

(72)【発明者】

【氏名】塚原 啓介

【テーマコード（参考）】

3F333

【Ｆターム（参考）】

3F333AA02

3F333AE02

3F333BA02

3F333CA19

3F333CA24

3F333CA30

3F333DB01

3F333FA08

3F333FA36

3F333FD11

3F333FD20

3F333FE05

(57)【要約】

【課題】産業車両が備える作業装置による作業対象位置を見ながら、作業対象位置を撮影した画像を確認することができる表示装置を提供する。
【解決手段】表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両が備える作業装置に設けられたカメラが撮影した画像を取得する取得部と、前記画像が表示された仮想モニターを含む前記画像データを、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する制御部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

人の頭部に装着する表示装置であって、
画像データを表示することが可能な透過的な表示部と、
産業車両が備える作業装置に設けられたカメラが撮影した画像を取得する取得部と、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する制御部と、
を備える表示装置。

【請求項2】

前記制御部は、前記焦点距離に応じて前記仮想モニターのサイズを変更する、
請求項１に記載の表示装置。

【請求項3】

前記制御部は、前記表示部の周縁部に前記画像データを表示する、
請求項１又は請求項２に記載の表示装置。

【請求項4】

前記制御部は、前記作業装置の状態に基づいて前記焦点距離を設定する、
請求項１又は請求項２に記載の表示装置。

【請求項5】

前記画像データを表示するか非表示とするかを判定する表示判定部、
をさらに備え、
前記制御部は、前記表示判定部が前記画像データを表示すると判定すると、前記画像データを表示し、前記表示判定部が前記画像データを非表示にすると判定すると、前記画像データを表示しない、
請求項１又は請求項２に記載の表示装置。

【請求項6】

前記表示判定部は、前記作業装置の動作を検出すると、前記画像データを表示すると判定する、
請求項５に記載の表示装置。

【請求項7】

前記表示判定部は、前記作業装置の位置に基づいて、前記画像データの表示と非表示を判定する、
請求項５に記載の表示装置。

【請求項8】

前記表示判定部は、前記人の視線方向に基づいて、前記画像データの表示と非表示を判定する、
請求項５に記載の表示装置。

【請求項9】

産業車両が備える作業装置に設けられるカメラと、
請求項１又は請求項２に記載の前記表示装置と、
を備える視界補助システム。

【請求項10】

産業車両が備える作業装置に設けられたカメラと
請求項１又は請求項２に記載の前記表示装置と、
を備える産業車両。

【請求項11】

画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、
産業車両が備える作業装置に設けられたカメラが撮影した画像を取得し、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する、
制御方法。

【請求項12】

画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、
産業車両が備える作業装置に設けられたカメラが撮影した画像を取得する手段、
前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示装置、視界補助システム、産業車両、制御方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、フォークリフトのフォーク先端にカメラを設け、当該カメラが撮影した画像を運転席に設けられたモニターに表示する荷役作業の支援装置が開示されている。この支援装置によれば、上昇させたフォークの前方を画像で確認しながら荷役作業を行うことができる。このような支援装置において、作業対象位置とモニターを同時に見ながら作業することを考えると、運転席の上方にモニターを取り付けるとよいが、そうするとモニターだけを見る場合でも作業者は上方を見る必要があり、他の方向を目視によって確認したい場合には不都合が生じる。しかし、運転席の前方にモニターを取り付けると、走行時にモニターによって視界の一部が遮られる。また、フォークを上昇したときに運転席から見る作業対象位置とモニターに表示される画像では焦点距離が異なるため、両方を確認しようとすると、焦点を切り替える負担が生じる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４６６６１５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上昇したフォーク前方等の作業対象位置を撮影した画像を確認しながら作業を行うことを可能とする技術が求められている。

【0005】

本開示は、上記課題を解決することができる表示装置、視界補助システム、産業車両、制御方法及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両が備える作業装置に設けられたカメラが撮影した画像を取得する取得部と、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する制御部とを備える。

【0007】

本開示の視界補助システムは、産業車両が備える作業装置に設けられるカメラと、上記の表示装置と、を備える。

【0008】

本開示の産業車両は、産業車両が備える作業装置に設けられたカメラと、上記の表示装置と、を備える。

【0009】

本開示の制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両が備える作業装置に設けられたカメラが撮影した画像を取得し、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する。

【0010】

また、本開示のプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両が備える作業装置に設けられたカメラが撮影した画像を取得する手段、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する手段、として機能させる。

【発明の効果】

【0011】

上述の表示装置、視界補助システム、産業車両、制御方法及びプログラムによれば、産業車両が備える作業装置による作業対象位置を見ながら、作業対象位置を撮影した画像を確認することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係るフォークリフトの一例を示す概略図である。

【図2】実施形態に係る表示装置の一例を示すブロック図である。

【図3】実施形態に係る焦点距離と仮想オブジェクトの大きさを説明する図である。

【図4】実施形態に係る荷役作業中のフォークリフトの様子を示す図である。

【図5】実施形態に係るカメラが撮影した画像の表示例を示す図である。

【図6】実施形態に係る仮想モニターの表示制御の一例を示すフローチャートである。

【図7】実施形態に係る表示装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0013】

＜実施形態＞
以下、本開示の表示装置について、図面を参照して説明する。
（構成）
図１は、各実施形態に係るフォークリフトの一例を示す概略図である。
フォークリフト１は、車体１０と、荷役装置１１と、制御装置１８と、表示装置２０と、を備えている。車体１０は、不図示の駆動装置およびステアリング装置を備え、フォークリフト１を走行させる。荷役装置１１は、フォーク１２と、フォーク１２を昇降させるマスト１３と、荷物が後方（マスト１３側）へ落下することを防ぐバックレスト１４と、を備え、フォーク１２に積載した荷物を昇降させる等して荷役動作を行う。荷役装置１１は、作業装置の一例である。マスト１３は、不図示の外側マストと不図示の内側マストを有しており、不動の外側マストに対して内側マストが昇降するように構成されている。マスト１３には揚高センサ１５が設けられていて、揚高センサ１５は、内側マストの高さ位置を検出する。また、外側マストには近接センサ１６が設けられている。近接センサ１６は、バックレスト１４やフォーク１２、内側マストなどの可動部が外側マストに設けられた近接センサ１６から離れたことを検出する。フォーク１２の先端には、カメラ１７が設けられている。カメラ１７は、フォーク１２の前方を撮影する。カメラ１７が撮影した画像（動画でも静止画でもよい。）は、表示装置２０へ送信される。制御装置１８は、フォークリフト１の動作を制御する。例えば、運転者１００がリフトレバー１９を操作すると、制御装置１８は、その操作を検出し、マスト１３を昇降させる動作を行う。制御装置１８は、揚高センサ１５、近接センサ１６と接続されており、これらのセンサが検出した情報を取得する。制御装置１８は、揚高センサ１５、近接センサ１６が検出した情報、運転者１００がリフトレバー１９を操作したことを示す信号、その他、例えば、フォークリフト１の移動方向や車速などの情報を表示装置２０へ送信する。表示装置２０は、ＡＲ（Augmented Reality）グラス又は、ＭＲ（Mixed Reality）グラスである。運転者１００は、表示装置２０を装着して、フォークリフト１の運転を行う。本明細書では、図１に示すようにフォークリフト１の荷役装置１１が設けられている方向を前方、その反対方向を後方と呼び、前方を向いたときの左右方向をそれぞれ左側、右側と呼ぶ。

【0014】

図２は、実施形態に係る表示装置の一例を示すブロック図である。表示装置２０は、表示装置とコンピュータを含んで構成される、ＡＲグラス又はＭＲグラスである（以下、両方を含んでＡＲグラスと記載する。）。表示装置２０は、制御装置１８やカメラ１７と通信可能に接続されていて、それらの装置から情報を取得する。表示装置２０は、カメラ１７が撮影した画像を表示する。図示するように表示装置２０は、センサ部２１と、表示部２２と、送受信部２３と、制御部２４と、表示判定部２５と、記憶部２６と、を備える。

【0015】

センサ部２１は、運転者１００のヘッドトラッキング用のセンサ（例えば、複数の可視光カメラやＩＭＵ（Inertial Measurement Unit））、運転者１００のアイトラッキング用のセンサ（例えば、赤外線カメラ）、深度センサ、マイク等を備える。

【0016】

表示部２２は、ＡＲグラスのレンズ（スクリーン）の部分を構成し、例えば、透過的（レンズを通じて外界が見える）なホログラフィックディスプレイで構成される。レンズに仮想オブジェクトが投影されない状態では、運転者１００は、現実の世界をそのまま見ることができる。仮想オブジェクトとは、表示部２２に投影される画像データである。仮想オブジェクトが表示部２２に表示されると、運転者１００には、現実の世界に重畳して仮想オブジェクトが見える。

【0017】

送受信部２３は、他の装置とデータの送受信を行う。例えば、送受信部２３は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、他装置との間でデータの送受信を行う。例えば、送受信部２３は、カメラ１７が撮影した画像を受信する。例えば、送受信部２３は、制御装置１８から、揚高センサ１５、近接センサ１６が検出した情報、運転者１００がリフトレバー１９を操作したことを示す信号、フォークリフト１の移動方向や車速などを受信する。

【0018】

制御部２４は、表示部２２の表示制御等を行う。制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の周辺の空間形状を認識し、周辺の空間の３次元地図情報を作成し、仮想空間を生成する。制御部２４は、作成した地図情報に基づいて、仮想空間の所望の位置に仮想オブジェクトを配置する。運転者１００には、現実の世界の当該位置に存在する物に重畳して仮想オブジェクトが表示される。仮想オブジェクトは、（１）空間内の所定の位置（仮想オブジェクトは、固定的にある位置に存在する。）、（２）周辺空間に存在する物体を基準とする所定の位置（例えば、物体が車体１０の場合、仮想オブジェクトは車体１０の走行に追従して移動する。）、（３）運転者１００を基準とする所定の位置（例えば、仮想オブジェクトは、運転者１００の視線方向の所定距離だけ離れた位置に存在する。）などに表示させることができる。（１）や（２）の場合、仮想オブジェクトは、あたかもその位置に実際に存在するかのように運転者１００によって認識される。（３）の場合、仮想オブジェクトを、運転者１００を基準として任意の位置に配置することができ、その配置位置は、運転者１００に近づけたり遠ざけたりして自由に変更することができる。例えば、仮想オブジェクトを遠くに配置すれば、運転者１００には、仮想オブジェクトが遠くに存在するように見え、近くに配置すれば、運転者１００には、仮想オブジェクトが近くに存在するように見える。運転者１００が３ｍ先を見ているときに、仮想オブジェクトを視線方向３ｍ先に配置すると、その位置に仮想オブジェクトが存在しているように見える。３ｍ先を見ている運転者１００にとっては、ちょうど視線を合わせた位置（運転者の目の焦点／ピントが合う位置）に仮想オブジェクトが存在しているように見えるため、仮想オブジェクトを視認するために改めて焦点を合わせる必要はない。これに対し、運転者１００が３ｍ先を見ているときに、仮想オブジェクトを視線方向３０ｃｍ先に配置すると、３メートル先を見ている運転者１００にとっては、自分から３０ｃｍの位置に仮想オブジェクトが存在しているように見えるため、３ｍ先から３０ｃｍ先に焦点を切り替えなければ仮想オブジェクトをしっかりと確認することはできない。つまり、運転者１００に焦点切り替えの負担を強いることなく、そのままの状態で仮想オブジェクトを視認してもらうためには、運転者１００の焦点位置になるべく近いところに仮想オブジェクトを配置することが好ましい。ＡＲグラスの特性上、仮想オブジェクトの配置位置は自由に制御できるため、運転者１００の視線に追従して仮想オブジェクトを配置する位置をそのときの焦点距離に合わせて調整することにより、運転者１００が焦点を合わせる負担を軽減することができる。

【0019】

仮想オブジェクトを自由に配置することや、仮想空間上のある位置に仮想オブジェクトを配置することにより、あたかもその位置に仮想オブジェクトが存在するように見えるようにすることは、ＡＲグラスが備える機能である。ユーザは、所望の仮想オブジェクトに関する設定を表示装置２０に対して行う（開発者がＡＲ開発ツールを使って仮想オブジェクトを開発し、開発したプログラムを表示装置２０に実装する。）。すると、制御部２４が、その設定に従って所望の位置に仮想オブジェクトを配置する。本実施形態では制御部２４は、運転者１００の視線方向に追従して、仮想モニターＶＭ（仮想モニターとは、仮想的なモニターのことでＡＲによって表示される仮想オブジェクトである。）をそのときの焦点距離付近に配置し（上記の（３）に相当）、仮想モニターＶＭにカメラ１７が撮影した画像を表示するように設定されている。次に仮想オブジェクトを配置する位置と仮想オブジェクトの大きさの関係について図３を参照して説明する。

【0020】

図３に、運転者１００から距離Ｌ１だけ前方に配置した仮想オブジェクト３１ａ、距離Ｌ１だけ前方の表示範囲（表示部２２に収まる視野の範囲）３１ｂ、運転者１００から距離Ｌ２だけ前方に配置した仮想オブジェクト３２ａ、距離Ｌ２だけ前方の表示範囲３２ｂを示す。仮想オブジェクトではない現実のモニターをマスト１３の奥側（例えば、運転者１００から距離Ｌ２だけ前方）に配置した場合、モニターはマスト１３に隠れて見えなくなるが、ＡＲの仮想モニターＶＭの場合はマスト１３の奥側に配置していても、仮想モニターＶＭはＡＲグラス上に表示されるため、マストに隠れるということはない。ＡＲ技術には、仮想モニターＶＭがマスト１３に隠れるように表示するオクルージョン機能もあるが、本実施形態では、仮想モニターＶＭに表示される情報を優先するためオクルージョン機能は使用しない。図３に示すように、サイズの異なる２つの仮想オブジェクト３１ａ、３２ａ（仮想オブジェクト３２ａの方が、仮想空間におけるサイズが大きい）をそれぞれ距離Ｌ１、Ｌ２の位置に配置した場合、遠くに存在する物体ほど小さく見えるという性質により、運転者１００にとっては、いずれも同じ大きさに見えるようにすることができる。つまり、仮想オブジェクトを遠くに配置する場合には、仮想オブジェクトのサイズを大きくし、手前に配置する場合には仮想オブジェクトのサイズを小さくする。仮想オブジェクトの具体的なサイズは、配置位置（運転者１００からの距離）と表示部２２上でどのようなサイズで表示するかによって算出することができ、運転者１００からの距離に応じて、仮想オブジェクトのサイズを変更することで、運転者１００から常に一定の大きさで見えるようにすることができる。仮想オブジェクトがマスト１３に隠れて見えなくなることが無いとすると、運転者１００にとって同じ大きさで表示される２つの仮想オブジェクト３１ａ、３２ａの違いは配置位置、換言すれば焦点距離のみとなる。このように仮想空間上に配置する仮想オブジェクトの配置位置とサイズを制御することにより、運転者１００から見た仮想オブジェクトの表示サイズを変えずに焦点距離のみを自由に変えることが可能となる。

【0021】

この性質を利用して、フォーク１２の先端部付近に適切にサイズ制御された仮想モニターＶＭを配置すると、実物のフォーク１２の先端付近を見たときと仮想モニターＶＭを見たときの焦点がほぼ同じになり、運転者１００は、双方を同時に見ることが可能になる。この様子を図４に示す。図４は、倉庫などの棚に置かれた、荷物４１が積まれたパレット４２の穴４３に、フォーク１２を刺す作業を行っている場面を示している。カメラ１７は、フォーク１２と同じ高さの前方を撮影し、運転者１００は、カメラ１７が撮影する画像で穴４３の位置を把握し、フォーク１２の位置決めを行う。この際、従来技術のように、カメラ１７が撮影した画像を表示する現実のモニターを運転席に設けるとすると、フォーク１２の方向とモニターとを交互に見なければならず、作業効率が悪い。また、焦点の切り替え負担が生じる。仮にフォーク１２の方向を見上げた際に表示画面が見えるような位置および方向に現実のモニターを設置したとしても、フォーク１２の先端付近の荷物４１およびパレット４２を見るときの焦点距離と、モニターに映し出される画像の焦点距離は異なるため、実物とモニターの両方が視野に含まれていたとしても、運転者１００は、両方を同時に確認することはできず、実際には一方ずつを、焦点を切り替えながら確認することになる。これに対し、本実施形態ではＡＲ技術によって、仮想モニターＶＭを、例えば、図示するようにフォーク１２先端付近（パレット４２の付近）に配置する。そして、仮想モニターＶＭには、カメラ１７が撮影する画像を表示する。すると運転者１００には、パレット４２付近に存在するモニターにカメラ１７が撮影した画像が表示されるように見える。仮想モニターＶＭに表示された画像の焦点距離は、フォーク１２等の実物を見るときの焦点距離とほぼ同じになる。また、仮想モニターＶＭをパレット４２付近に配置することで、運転者１００がフォーク１２先端付近の実物を見るときの視野内にカメラ１７が撮影した画像を表示させることができる。すると、運転者１００は、フォーク１２等の実物を見ながら焦点距離を切り替えることなく、仮想モニターＶＭに表示された画像を確認することができる。これにより、運転者１００は、焦点合わせの負担なく、フォーク１２先端付近の作業対象位置とカメラ１７の撮影画像の両方を同時に確認しながら、荷役作業を行うことができる。例えば、フォーク１２をより高い位置に上昇させて荷役作業を行う際には、制御部２４は、より高い位置に仮想モニターＶＭを配置する。この場合、運転者１００からの距離が遠くなるので、図３を用いて説明したように、制御部２４は、仮想モニターＶＭのサイズを大きくする。仮想モニターＶＭのサイズを大きくしても、遠近法の原理により、運転者１００には、仮想モニターＶＭ（カメラ１７が撮影した画像）は同じ大きさに見える。このように仮想モニターＶＭの配置位置とサイズを、運転者１００が見る作業対象位置に合わせて変更することで、運転者１００は、焦点距離を切り替えることなく、現実世界の作業対象位置とカメラ１７が撮影した画像を確認しながら作業を行うことができる。なお、運転者１００の目線の対象位置については、例えば、フォーク１２を昇降させている場面では、フォーク１２の先端周辺を運転者１００の目線対象として設定（例えば、揚高センサ１５が検出する高さと運転席からフォーク１２の先端までの水平方向の長さを用いて、焦点距離を計算する。）してもよいし、センサ部２１が備えるアイトラッキング用のセンサが検出した値に基づいて、運転者１００の目線対象位置を推定してもよい。あるいは、焦点距離を数ｍ程度に固定して設定してもよい。焦点を数ｍ程度にすることで、フォーク１２を上昇させて荷役作業を行う場面に限らず、仮想モニターＶＭを有効に活用することができる。

【0022】

図５に、表示部２２に表示される仮想モニターＶＭの一例を示す。図５の例では、フォーク１２を下降させた状態でカメラ１７が撮影した画像を仮想モニターＶＭに表示している。例えば、フォークリフト１を運転して前方へ移動する際にも、カメラ１７が撮影する画像を仮想モニターＶＭに表示することで、運転者１００は、車両周辺を目視により確認すると同時に死角となりやすいフォークリフト１の足元付近の様子を確認することができる。この場合も、車両周辺を目視により確認するときの焦点距離に合わせて仮想モニターＶＭを配置することで、運転者１００は無理なく、車両周辺の現実世界と仮想モニターＶＭを確認することができる。

【0023】

表示部２２に表示する仮想モニターＶＭの位置や範囲は、視界の妨げにならないよう任意に設定することができる。また、仮想モニターＶＭの表示と非表示についても、自動的、又は、運転者１００の動作や操作により切り替えることができる。例えば、仮想モニターＶＭが邪魔になる場面では、仮想モニターＶＭを非表示とすることができる。

【0024】

表示判定部２５は、仮想モニターＶＭの表示と非表示を判定する。表示判定部２５が仮想モニターＶＭを表示すると判定すると、制御部２４は、仮想モニターＶＭを表示（仮想空間上に仮想モニターＶＭを配置する。）し、表示判定部２５が非表示にすると判定すると、制御部２４は、仮想モニターＶＭを非表示（仮想空間上に仮想モニターＶＭを配置しない。）にする。例えば、表示判定部２５は、荷役作業中の場合には仮想モニターＶＭを表示すると判定し、そうでない場合には仮想モニターＶＭを非表示にすると判定する。表示判定部２５の判定処理の一例を以下に記載する。

【0025】

（Ａ）表示判定部２５は、送受信部２３を通じて、制御装置１８から運転席のリフトレバー１９が操作されたことを示す信号、フォークリフト１の車速などの情報を取得する。リフトレバー１９の操作を検出すると、表示判定部２５は、仮想モニターＶＭを表示とすると判定する。また、表示判定部２５は、リフトレバー１９の操作が検出された後に操作が検出されなくなると、そのときから一定時間（例えば、１０秒程度）は仮想モニターＶＭを表示すると判定する。あるいは、表示判定部２５は、所定時間（例えば、１～２秒程度）以上、リフトレバー１９の操作が継続した場合、そのときから一定時間（例えば、１０秒程度）は仮想モニターＶＭを表示すると判定する。その間、少しでもリフトレバー１９によるリフトやティルトの操作があった場合、その都度、１０秒のカウントが再セットされる。つまり、表示判定部２５は、リフトやティルトの操作の検出から一定時間（例えば、１０秒程度）は仮想モニターＶＭを表示すると判定する。また、車速が一定以上(例えば、４ｋｍ／ｈ以上)になると、表示判定部２５は、荷役作業が終了したと判断し、強制的に１０秒のカウントを終了し、仮想モニターＶＭを非表示とすると判定する。

【0026】

（Ｂ）表示判定部２５は、送受信部２３を通じて、制御装置１８から揚高センサ１５が検出した情報（フォーク１２、内側マストの高さ）を取得する。表示判定部２５は、揚高センサ１５が検出した高さが所定の閾値以上になると、仮想モニターＶＭを表示すると判定し、高さが閾値未満となると、仮想モニターＶＭを非表示にすると判定する。

【0027】

（Ｃ）表示判定部２５は、送受信部２３を通じて、制御装置１８から近接センサ１６が検出した情報（近接センサ１６を設けた外側マストと、バックレスト１４、フォーク１２、内側マストなどが近接しているかどうか）を取得する。表示判定部２５は、近接センサ１６が外側マストと内側マスト等が近接していないことを検出した場合、仮想モニターＶＭを表示すると判定し、外側マストと内側マスト等が近接することを検出した場合、仮想モニターＶＭを非表示にすると判定する。

【0028】

（Ｄ）表示判定部２５は、内側マストの連結材の位置や不図示のリフトシリンダのロッドが見えているか、などをランドマークとしてセンサ部２１が備える可視光カメラで内側マストが上昇しているかどうかを判定する（リフトシリンダのロッドは、マスト１３が上昇していない状態では運転席からは隠れて見えないが、マスト１３が上昇すると運転席からは見えるようになる。）。表示判定部２５は、ランドマークの見え方により、内側マストの高さ位置を算出する。表示判定部２５は、内側マストが所定の閾値以上上昇すると、仮想モニターＶＭを表示すると判定し、内側マストが上昇した距離が閾値未満となると、仮想モニターＶＭを非表示にすると判定する。

【0029】

（Ｅ）表示判定部２５は、フォーク１２に荷物を積んでから所定時間が経過すると、荷役作業が行われると判断して、仮想モニターＶＭを表示すると判定し、フォーク１２から荷物が卸されると仮想モニターＶＭを非表示にすると判定してもよい。フォーク１２に荷物が積まれることは、マスト１３等に設けられた不図示の荷重センサによって検出してもよいし、センサ部２１が備える可視光カメラがフォーク１２の上方を撮影した画像を解析して荷物の有無を検出してもよい。

【0030】

（Ｆ）表示判定部２５は、運転者１００の視線方向が所定の角度以上、上方を向いた状態が所定時間以上継続すると、仮想モニターＶＭを表示すると判定し、運転者１００の視線方向が所定の角度以下となると仮想モニターＶＭを非表示にすると判定してもよい。運転者１００の視線方向は、センサ部２１が備えるアイトラッキング用のセンサやヘッドトラッキング用のＩＭＵが検出した情報から推定することができる。

【0031】

記憶部２６は、センサ部２１が検出した情報、送受信部２３が受信した情報、仮想オブジェクト、フォークリフト１又は様々な車種のフォークリフトのＣＡＤ情報などを記憶する。

【0032】

（動作）
次に図６を参照して、表示装置２０の制御について説明する。
図６は、実施形態に係る仮想モニターの表示制御の一例を示すフローチャートである。
表示装置２０を装着した運転者１００は、フォークリフト１の運転席に座ると、表示装置２０を起動し、キャリブレーションを行う（ステップＳ１）。キャリブレーションでは、運転者１００とフォークリフト１の位置関係を算出する。例えば、制御部２４は、センサ部２１の可視光カメラによって、フォークリフト１のハンドルやその他の構造物を認識し、撮影されたハンドル等の形状や見え方からフォークリフト１の車種を推定する。制御部２４は、記憶部２６に記録されたＣＡＤ情報から推定した車種に対応するＣＡＤ情報を読み出して、フォークリフト１全体の形状を把握する。また、例えば、制御部２４は、センサ部２１の可視光カメラによって撮影したハンドルの画像を解析したり、センサ部２１の深度センサによってハンドルまでの距離を測定したりすることで、運転者１００とハンドルとの位置関係、つまり、運転者１００が運転席のどの位置に座っているか、運転者１００の頭部の高さがどの程度か、あるいは、読み出したフォークリフト１のＣＡＤ情報から運転者１００とフォークリフト１の各部までの位置関係（水平方向の距離や垂直方向の距離など）を算出する。これにより、運転者１００とフォーク１２の先端との正確な距離を把握し、例えば、仮想モニターＶＭを上昇したフォーク１２の先端付近に配置することができるようになる。また、例えば、フォークリフト１の所定位置に２次元マーカを設け、センサ部２１によって２次元マーカを認識し、２次元マーカとの位置関係や２次元マーカが示すフォークリフト１の車種および当該車種のＣＡＤ情報から上記と同様にして、運転者１００とフォークリフト１の各部までの位置関係を算出してもよい。

【0033】

キャリブレーションが完了すると、運転者１００は表示装置２０に対して所定の操作を行い、仮想モニターＶＭを表示する機能を起動する。当該機能が起動すると、制御部２４が、送受信部２３を通じて、カメラ１７からカメラ１７が撮影した画像を取得する（ステップＳ２）。次に表示判定部２５が、上記の（Ａ）～（Ｆ）に記載した判定方法によって、仮想モニターＶＭを表示するか非表示とするかを判定する（ステップＳ３）。表示判定部２５が表示すると判定した場合（ステップＳ４；Ｙｅｓ）、制御部２４が、仮想モニターＶＭを仮想空間上の所定位置に配置する（ステップＳ５）。所定位置とは、例えば、運転者１００の目線方向における焦点距離だけ離れた位置（目線対象位置）である。制御部２４は、仮想モニターＶＭを、例えば、目線対象位置の周辺であって、表示部２２における視界の周縁部（例えば、四隅）に表示されるような位置に配置する。また、制御部２４は、運転者１００の視界の所定範囲（邪魔にならない程度の大きさ）となるように仮想モニターＶＭのサイズを設定する。仮想モニターＶＭの表示サイズ（運転者１００から見える大きさ、表示部２２に占める大きさ）や、仮想モニターＶＭを表示部２２のどこに表示するかについては、運転者１００が任意に設定できるように構成されていてもよい。例えば、仮想空間上に、それらの設定を入力できる仮想オブジェクトの入力インタフェースを表示し、運転者１００が、この入力インタフェースから仮想モニターＶＭの表示位置や表示サイズを入力できるようにしてもよい。このように仮想空間上に表示した入力インタフェースに対して操作を行うことを可能とする技術はＭＲによって実現することができる。また、上記したように、制御部２４は、運転者１００の焦点距離に応じて仮想モニターＶＭのサイズ（配置位置におけるサイズ）を変更する。例えば、記憶部２６に焦点距離と仮想モニターＶＭの表示サイズとを対応付けたテーブルを登録しておいて、制御部２４は、揚高センサ１５の検出値またはセンサ部２１のアイトラッキング用センサの検出値に基づいて焦点距離を算出し（焦点距離は算出するのではなく固定値（例えば、数ｍ）が設定されていてもよい。）、その焦点距離と運転者１００によって設定された表示サイズと記憶部２６に登録されたテーブルとに基づいて、仮想モニターＶＭのサイズを算出してもよい。ステップＳ３にて、表示判定部２５が非表示にすると判定した場合（ステップＳ４；Ｎｏ）、ステップＳ６の処理に進む。

【0034】

次に制御部２４は、仮想モニターＶＭを表示する機能を終了するかどうかを判定する（ステップＳ６）。例えば、運転者１００が、仮想モニターＶＭを表示する機能を終了する操作を行った場合には、制御部２４は、仮想モニターＶＭを表示する機能を終了すると判定し、そうでない場合には、終了しないと判定する。終了しないと判定した場合（ステップＳ６；Ｎｏ）、ステップＳ２以降の処理を繰り返し行う。終了すると判定した場合（ステップＳ６；Ｙｅｓ）、図６の処理フローを終了する。

【0035】

なお、上記の実施形態では、カメラ１７および表示装置２０を含む視界補助システムをフォークリフト１に適用する場合を例に説明を行ったが、視界補助システムは、例えば、ショベルカー、ブルドーザー、クレーン車、リーチスタッカーなどのフォークリフト以外の産業車両にも適用することができる。また、カメラ１７をフォーク１２の前方を撮影するように設けることとしたが、カメラ１７の撮影方向は前方に限定されず、他の方向であってもよい。また、他の産業車両の場合、カメラは作業装置（例えば、ショベルカーのブームやバケット、ブルドーザーのバケットやアーム、クレーンのブーム、ジブ、フックなど）の任意の位置に任意の方向へ向けて撮影するように設けることができる。

【0036】

（効果）
従来から運転席の前方に現実のモニターを設け、そのモニターにフォーク１２の前方を撮影した画像を表示するシステムが提供されている。このシステムの場合には、走行時にモニターが視界の妨げになり、現実の作業対象位置とモニターとの焦点距離が異なるため、双方を見比べる際、焦点を切り替える負担が生じる。これに対し、本実施形態では、運転者にＡＲグラス（表示装置２０）を装着させ、仮想空間上に仮想モニターＶＭを表示し、仮想モニターＶＭにフォーク１２の前方を撮影した画像を表示する。これにより、例えば、荷役作業を行う場面において、運転者１００は棚の高さが高くても見上げることなく安定的にフォーク１２とパレット４２の位置合わせを行うことができる。運転者１００が上方を見上げた場合でも、目線対象の実物までの距離と仮想モニターＶＭを配置する位置までの距離を合わせることで、運転者１００は、焦点距離の切り替えを行うことなく作業対象位置と画像を確認することができる。また、仮想空間上の自由な場所に仮想モニターＶＭを配置することが可能であるだけでなく、不要な場面では仮想モニターＶＭを消すことで視界の妨げになることを防ぐことができる。また、仮想モニターＶＭを配置する位置を運転者１００の視線に追従させることで、車両周辺等、他の位置を見ながらでもフォーク１２前方の画像を確認することができる。

【0037】

図７は、実施形態に係る表示装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の表示装置２０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

【0038】

なお、表示装置２０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0039】

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0040】

＜付記＞
各実施形態に記載の表示装置、視界補助システム、産業車両、制御方法及びプログラムは、例えば以下のように把握される。

【0041】

（１）第１の態様に係る表示装置は、人（運転者１００や同乗者）の頭部に装着する表示装置２０であって、画像データを表示することが可能な透過的な表示部２２と、産業車両（フォークリフト１）が備える作業装置（フォーク１２）に設けられたカメラ１７が撮影した画像を取得する取得部（送受信部２３）と、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する制御部２４と、を備える。
これにより、ＡＲ技術を用いて、運転者１００の目線方向における焦点距離だけ離れた位置の周辺に仮想モニターＶＭを設置することにより、運転者１００の視野内に、運転者１００の目線対象とほぼ同じ焦点距離でカメラ１７が撮影した画像を表示することができる。これにより、産業車両（フォークリフト１）が備える作業装置（例えば、上昇したフォーク１２）の周辺（例えば、前方）を確認しながら作業（例えば、荷役作業）を行うことができる。

【0042】

（２）第２の態様に係る表示装置は、（１）の表示装置であって、前記制御部は、前記焦点距離に応じて前記仮想モニターのサイズを変更する。
これにより、運転者１００から見える仮想モニターのサイズを不変とすることができる。

【0043】

（３）第３の態様に係る表示装置は、（１）～（２）の表示装置であって、前記制御部は、前記表示部の周縁部に前記画像データを表示する。
これにより、表示部の周縁部に表示することで、表示部の中央部の視野を確保することができる。

【0044】

（４）第４の態様に係る表示装置は、（１）～（３）の表示装置であって、前記制御部は、前記作業装置（フォーク１２）の状態（高さ、位置）に基づいて前記焦点距離を設定する。
例えば、揚高センサの検出値に基づき焦点距離、つまり、オブジェクトの配置位置を設定することで、運転者１００は視線を切り替える負担なく、作業装置の周辺を確認することができる。

【0045】

（５）第４の態様に係る表示装置は、（１）～（４）の表示装置であって、前記画像データを表示するか非表示とするかを判定する表示判定部、をさらに備え、前記制御部は、前記表示判定部が前記画像データを表示すると判定すると、前記画像データを表示し、前記表示判定部が前記画像データを非表示にすると判定すると、前記画像データを表示しない。
これにより、必要なときだけ仮想モニターＶＭを表示することができる。例えば、仮想モニターＶＭが、視界を遮り邪魔になるような場面では仮想モニターＶＭを非表示とすることができる。

【0046】

（６）第６の態様に係る表示装置は、（５）の表示装置であって、前記表示判定部は、前記作業装置の動作を検出すると、前記画像データを表示すると判定する。
これにより、作業装置の動作時だけ仮想モニターＶＭを表示することができる。

【0047】

（７）第７の態様に係る表示装置は、（５）～（６）の表示装置であって、前記表示判定部は、前記作業装置の位置に基づいて、前記画像データの表示と非表示を判定する。
これにより、作業装置が所定の位置に存在するときだけ仮想モニターＶＭを表示することができる。

【0048】

（８）第８の態様に係る表示装置は、（５）～（７）の表示装置であって、前記表示判定部は、前記人の視線方向に基づいて、前記画像データの表示と非表示を判定する。
これにより、運転者の視線がある方向を向いているときだけ仮想モニターＶＭを表示することができる。

【0049】

（９）第９の態様に係る視界補助システムは、産業車両が備える作業装置に設けられるカメラと、（１）～（８）の表示装置と、を備える。

【0050】

（１０）第１０の態様に係る産業車両は、産業車両が備える作業装置に設けられたカメラと、（１）～（８）の表示装置と、を備える。

【0051】

（１１）第１１の態様に係る制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両が備える作業装置に設けられたカメラが撮影した画像を取得し、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する。

【0052】

（１２）第１２の態様に係るプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両が備える作業装置に設けられたカメラが撮影した画像を取得する手段、前記画像が表示された仮想モニターを含む前記画像データを、前記表示部を透過して見える、前記人の目線方向における焦点距離だけ離れた位置の周辺に表示する手段、として機能させる。

【符号の説明】

【0053】

１・・・フォークリフト
１０・・・車体
１１・・・荷役装置
１２・・・フォーク
１３・・・マスト
１４・・・バックレスト
１５・・・揚高センサ
１６・・・近接センサ
１７・・・カメラ
１８・・・制御装置
１９・・・リフトレバー
２０・・・表示装置
２１・・・センサ部
２２・・・表示部
２３・・・送受信部
２４・・・制御部
２５・・・表示判定部
２６・・・記憶部
１００・・・運転者
ＶＭ・・・仮想モニター
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】