特開 2024-90081 視界補助システム、産業車両、視界補助方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090081

(43)【公開日】2024-07-04

(54)【発明の名称】視界補助システム、産業車両、視界補助方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240627BHJP

   B66F 9/075 20060101ALI20240627BHJP

   B66F 9/24 20060101ALI20240627BHJP

   B60R 11/02 20060101ALI20240627BHJP

   G08G 1/00 20060101ALI20240627BHJP

   G08G 1/16 20060101ALI20240627BHJP

   G06F 3/01 20060101ALI20240627BHJP

【ＦＩ】

G06T19/00 600

B66F9/075 J

B66F9/24 Z

B60R11/02 C

G08G1/00 X

G08G1/16 C

G06F3/01 510

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022205736

(22)【出願日】2022-12-22

(71)【出願人】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】明石 拓也

(72)【発明者】

【氏名】塚原 啓介

【テーマコード（参考）】

3D020

3F333

5B050

5E555

5H181

【Ｆターム（参考）】

3D020BA04

3D020BE03

3F333AA02

3F333AB13

3F333DB01

3F333FA36

3F333FE05

5B050BA17

5B050DA04

5B050DA05

5B050EA07

5B050EA19

5B050FA06

5E555AA64

5E555AA74

5E555BA23

5E555BA38

5E555BA85

5E555BB23

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CA44

5E555CA45

5E555CB21

5E555CB65

5E555DA08

5E555DB55

5E555DC09

5E555DD02

5E555EA20

5E555FA00

5H181AA27

5H181BB04

5H181CC02

5H181CC04

5H181FF04

5H181LL01

5H181LL02

5H181LL08

(57)【要約】

【課題】予測進路とその予測進路における障害物との干渉の有無をわかりやすく運転者に表示することができる視界補助システムを提供する。
【解決手段】視界補助システムは、産業車両の位置を推定する測位部と、推定された位置を基準として産業車両の一部又は産業車両と共に移動する物体の進路予測と、障害物の位置情報を含む地図データに基づいて予測した進路と障害物の干渉位置の算出を行う進路予測部と、人の頭部に装着され、画像データを表示できる透過的な表示部と、産業車両の推定位置における前記一部又は前記物体を始点とする干渉位置までの進路の画像データを、表示部を通して見える現実世界の進路の位置に重畳して表示する制御部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

産業車両の位置を推定する測位部と、
推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出する進路予測部と、
人の頭部に装着され、画像データを表示することが可能な透過的な表示部と、
推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、前記表示部を通して見える現実世界の前記進路の位置に重畳して表示する制御部と、
を備える視界補助システム。

【請求項2】

前記進路予測部は、前記産業車両が備える作業装置の前記進路を予測し、前記干渉位置を算出する、
請求項１に記載の視界補助システム。

【請求項3】

前記進路予測部は、前記産業車両が搬送する作業対象物の前記進路を予測し、前記干渉位置を算出する、
請求項１又は請求項２に記載の視界補助システム。

【請求項4】

前記進路予測部は、前記進路の予測に係る前記産業車両の一部又は前記物体の所定の高さにおける前記進路を予測し、前記高さにおける前記干渉位置を算出する、
請求項１又は請求項２に記載の視界補助システム。

【請求項5】

前記進路予測部は、高さ別の障害物の位置情報を含む前記地図データに基づいて、前記高さにおける前記干渉位置を算出する、
請求項４に記載の視界補助システム。

【請求項6】

進路算出装置と、表示装置と、を備える視界補助システムであって、
前記進路算出装置は、
産業車両の位置を推定する測位部と、
推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出する進路予測部と、
前記進路の予測に係る前記産業車両の一部又は前記物体を特定する情報と、前記干渉位置までの前記進路の情報と、を前記表示装置へ送信する送信部と、を備え、
前記表示装置は、
前記特定する情報と、前記干渉位置までの前記進路の情報と、を受信する受信部と、
人の頭部に装着され、画像データを表示することが可能な透過的な表示部と、
推定された前記位置における前記特定する情報が示す前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、前記表示部を通して見える現実世界の前記進路の位置に重畳して表示する制御部と、を備える、
視界補助システム。

【請求項7】

請求項１又は請求項６に記載の視界補助システム、
を備える産業車両。

【請求項8】

産業車両の位置を推定するステップと、
推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出するステップと、
推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、人の頭部に装着され、画像データを表示することが可能な透過的な表示部を通して見える現実世界の前記進路の位置に重畳して表示するステップと、
を有する視界補助方法。

【請求項9】

コンピュータに、
産業車両の位置を推定するステップと、
推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出するステップと、
推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、人の頭部に装着され、画像データを表示することが可能な透過的な表示部を通して見える現実世界の前記進路の位置に重畳して表示するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、視界補助システム、産業車両、視界補助方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、車両の初期位置、駐車場の大きさ等の駐車に係るデータと自車両の位置の測位結果とに基づいて駐車のために必要な運転操作を演算し、運転者に報知するシステムが開示されている。このシステムによれば、例えば、車両を後退させて駐車するときの後輪の軌道を把握することができる。フォークリフトを運転する場合、特に横幅が大きい荷物を搬送するような場合には、タイヤの軌道だけではなく、車両側面の確認も必要となる。

【0003】

特許文献２には、車体の周囲に配置されたカメラで自車両の周囲を撮影し、撮影した画像に基づいて、自車両を中心とする周囲の画像を俯瞰的に表した俯瞰画像を作成し、実空間において物体が自車両の予測進路内に存在する可能性のある領域を、俯瞰画像と重ね合わせて表示する表示装置が開示されている。一般に俯瞰ビューは基準面(例えば、地面)より高い位置(または低い位置)にある物体については、その位置関係が正しく再現されず、基準面に合わせて表示された予測進路と立体的な障害物との干渉の判断が難しい。

【0004】

ＡＲ（Augmented Reality）グラスを用いると、現実空間にＡＲによる予測進路の仮想オブジェクトを重畳して表示することができる。しかし、単純に仮想オブジェクトを表示すると、仮想オブジェクトの表示自体は障害物より手前に表示されるため、予測進路と障害物の立体的な位置関係（手前にあるか干渉するか）がわかりにくく、予測進路と障害物との干渉の判断が難しい。これに対し、ＡＲグラスの周辺環境を認識し、予測進路と障害物との重なりを判断して、予測進路を部分的に遮蔽して表示することで干渉を表現すること（オクルージョン）も可能ではあるが、センサが必要で処理が重くなる。また、フォークリフトの場合、自車が備える構造物との重なりによる遮蔽も行われてしまう。例えば、運転者から見て手前側にあるマストによって、フォーク先端の予測進路が遮蔽されてしまう。これに対し、車両周りに複数のセンサを取り付けて車両の周辺環境を認識し、障害物に対してはフォーク先端の予測進路を遮蔽するが、自車の構造物（例えば、マスト）に対しては遮蔽しないという機能を実装することも可能ではあるが、そのセンサとＡＲグラス(運転者)の視点は異なるため、処理が複雑となる。

【0005】

関連する技術として、特許文献３には、フォークリフトのタイヤ角を検出し、そのタイヤ角で前進した際のフォークの先端部またはフォークにより支持された被搬送物の先端部の予測軌跡を演算し、演算した予測軌跡をフォークの先端部を含む前方を撮影した画像に重畳して、運転席のモニターに表示する支援装置が開示されている。また、特許文献４には、フォークリフトの自己位置を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開昭５９－２０１０８２号公報

【特許文献2】特開２００６－３０３９８５号公報

【特許文献3】特開２００６－９６４５７号公報

【特許文献4】特開２０２２－３４８６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

予測進路とその予測進路における障害物との干渉の有無をわかりやすく表示する技術が求められている。

【0008】

本開示は、上記課題を解決することができる視界補助システム、産業車両、視界補助方法及びプログラムを提供する。

【課題を解決するための手段】

【0009】

本開示の視界補助システムは、産業車両の位置を推定する測位部と、推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出する進路予測部と、人の頭部に装着され、画像データを表示することが可能な透過的な表示部と、推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、前記表示部を通して見える現実世界の前記進路の位置に重畳して表示する制御部を備える。

【0010】

本開示の産業車両は、上記の視界補助システムを備える。

【0011】

本開示の視界補助方法は、産業車両の位置を推定するステップと、推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出するステップと、推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、人の頭部に装着され、画像データを表示することが可能な透過的な表示部を通して見える現実世界の前記進路の位置に重畳して表示するステップと、を有する。

【0012】

また、本開示のプログラムは、産業車両の位置を推定するステップと、推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出するステップと、推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、人の頭部に装着され、画像データを表示することが可能な透過的な表示部を通して見える現実世界の前記進路の位置に重畳して表示するステップと、を実行させる。

【発明の効果】

【0013】

上述の視界補助システム、産業車両、視界補助方法及びプログラムによれば、産業車両の予測進路とその予測進路における障害物との干渉の有無をわかりやすく表示することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係るフォークリフトの一例を示す概略図である。

【図2】実施形態に係る視界補助システムの一例を示すブロック図である。

【図3】実施形態の予測進路と障害物への干渉の算出について説明する第１の図である。

【図4A】実施形態に係る予測仮想進路の表示例を示す第１の図である。

【図4B】障害物との干渉位置を表示しない場合の表示例を示す第１の図である。

【図5A】実施形態に係る予測仮想進路の表示例を示す第２の図である。

【図5B】障害物との干渉位置を表示しない場合の表示例を示す第２の図である。

【図6】実施形態に係る予測仮想進路の表示例を示す第３の図である。

【図7】実施形態の予測進路と障害物への干渉の算出について説明する第２の図である。

【図8】実施形態に係る予測仮想進路の表示例を示す第４の図である。

【図9】実施形態に係る予測仮想進路の表示処理の一例を示すフローチャートである。

【図10】実施形態に係る視界補助システムのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0015】

＜実施形態＞
以下、本開示の視界補助システムについて、図面を参照して説明する。
（構成）
図１は、各実施形態に係るフォークリフトの一例を示す概略図である。
フォークリフト１は、車体１０と、荷役装置１１と、進路算出装置１６と、表示装置２０と、を備えている。車体１０は、不図示の駆動装置およびステアリング装置およびそれらによって駆動されるタイヤ１４，１５を備え、フォークリフト１を走行させる。荷役装置１１は、フォーク１２と、フォーク１２を昇降させるマスト１３と、を備え、フォーク１２に積載した荷物を昇降させる等して荷役動作を行う。進路算出装置１６は、フォークリフト１の進路を予測し、進路上に存在する障害物との干渉の有無を確認し、干渉する場合には、予測した進路における干渉位置を算出する。進路算出装置１６は、予測した進路や障害物との干渉位置などの情報を表示装置２０へ送信する。表示装置２０は、ＡＲグラス又は、ＭＲ（Mixed Reality）グラスである。運転者１００は、表示装置２０を装着して、フォークリフト１の運転を行う。表示装置２０は、進路算出装置１６が算出した予測進路や干渉位置を現実世界に重畳して表示する。本明細書では、図１に示すようにフォークリフト１の荷役装置１１が設けられている方向を前方、その反対方向を後方と呼び、前方を向いたときの左右方向をそれぞれ左側、右側と呼ぶ。

【0016】

図２は、実施形態に係る視界補助システムの一例を示すブロック図である。
視界補助システム２００は、進路算出装置１６と表示装置２０を含む。進路算出装置１６と表示装置２０は通信可能に接続されている。進路算出装置１６はコンピュータによって構成されている。表示装置２０は、表示装置とコンピュータを含んで構成される、ＡＲグラス又はＭＲグラスである（以下、両方を含んでＡＲグラスと記載する。）。

【0017】

（進路算出装置の構成）
図示するように進路算出装置１６は、測位部１６１と、進路予測部１６２と、送受信部１６３と、記憶部１６４と、を備える。
測位部１６１は、例えば、車体１０に搭載された不図示のＧＰＳ（Global Positioning System）、オドメータ、ＩＭＵ（Inertial Measurement Unit）、カメラなどの測位用のセンサを含み、センサが検出した情報に基づいて、フォークリフト１の位置を推定する。位置の推定方法はどのような方法であっても構わない。例えば、測位部１６１は、特許文献４に記載されているように、カメラで撮影した画像と倉庫内のマーカを照合して位置推定を行ってもよいし、Ｖ－ＳＬＡＭ（Visual Simultaneous Localization and Mapping）の技術を用いて位置推定を行ってもよいし、オドメトリによる位置推定を行ってもよい。測位部１６１は、上記のセンサの全てを備える必要は無く、上記のセンサ以外を用いて位置推定を行ってもよい。測位部１６１は、自車の進行に伴って時々刻々と位置推定を行う。

【0018】

進路予測部１６２は、タイヤ１４、１５の角度、フォーク１２の高さ、フォーク１２に積載された荷物の高さ方向および横方向のサイズ等の情報を取得し、それらの情報と、タイヤ１４からタイヤ１５までの距離に基づいて、フォークリフト１がそのままの方向に進行（前進、後退、左折、右折等）した場合の予測進路を算出する。例えば、進路予測部１６２は、フォーク１２先端の予測進路、フォーク１２に積載された荷物の左右側面の予測進路、車体１０又はタイヤ１４、１５の予測進路などを算出する。予測進路の算出処理の詳細は記載しないが、従来から提供されている様々な方法を用いることができる。進路予測部１６２は、自車の進行に伴って時々刻々と予測進路を更新する。また、進路予測部１６２は、予め作成された地図データと予測進路とを重ね合わせて、予測進路を進行した場合に障害物と干渉するかどうかを判定し、障害物と干渉する場合には、予測進路における障害物との干渉位置を算出する。干渉とは、衝突、接触、立体的に交差すること等を含む。図３に、地図データ３０とフォークリフト１の予測進路を重ねた図を示す。地図データ３０には、フォークリフト１が活動する倉庫等の壁、棚、荷物等の障害物の位置情報が含まれており、予め記憶部１６４に登録されている。また、地図データ３０には、例えば、通路や空きスペースに一時的に荷物が置かれた場合や、棚に荷物を置く場合でも荷物のサイズが大きく、荷物が通路側にはみ出してしまうような場合にそれらが障害物になる可能性を考慮して、最新の荷物の位置情報や各荷物のサイズの情報が含まれていることが好ましい。例えば、倉庫管理システムが、最新の荷物の位置情報や各荷物の高さ方向および横方向のサイズの情報を付加した地図データ３０を管理、更新していて、進路算出装置１６は、最新の地図データ３０を倉庫管理システムから取得するようにしてもよい。図３に示すようにフォークリフト１が矢印３１の方向に進行する場合、進路予測部１６２は、左側のタイヤ１５と右側のタイヤ１５の予測進路を算出する。予測進路３２は、左側のタイヤ１５の予測進路、予測進路３３は、右側のタイヤ１５の予測進路である。進路予測部１６２は、予測進路上に壁や荷物などの障害物が存在しないかどうかを計算し、障害物が存在する場合には、予測進路と障害物の干渉位置を算出する。干渉位置の形状は、干渉しあう物の形状や進行方向によって、点、線、面など様々である。図３の例の場合、進路予測部１６２は、左側のタイヤ１５と壁３４との干渉位置３５と、右側のタイヤ１５と壁３４との干渉位置３６を算出する。進路予測部１６２は、算出した予測進路３２，３３、干渉位置３５，３６の情報を、送受信部１６３を通じて表示装置２０へ送信する。図３の例の場合、進路予測部１６２は、例えば、予測進路３２、３３の始点を特定する情報（例えば、フォークリフト１の所定位置を基準とする左右のタイヤ１５の位置情報）と、予測進路３２，３３それぞれの曲線の形状を表す情報（例えば、曲線の関数）と、干渉位置３５、３６の位置情報（例えば、予測進路３２の始点を原点とする２次元座標系における座標情報）などを送信する。

【0019】

送受信部１６３は、他の装置とデータの送受信を行う。例えば、送受信部２３は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、表示装置２０へ進路情報等を送信する。また、送受信部１６３は、測位部１６１が備えるＧＰＳ等のセンサ、フォーク１２の高さ、タイヤ１４，１５の角度を検出する不図示の各種センサから、それらのセンサが検出した情報を取得する。また、例えば、運転者１００がフォークリフト１に荷物を積むときにバーコード等で荷物に付された２次元コードから情報を読み取った場合に、その荷物が当該フォークリフト１に積載されたこと及び各荷物のサイズを倉庫管理システムにて管理しているような場合、送受信部１６３は、荷物のサイズ情報を倉庫管理システムから受信する。

【0020】

記憶部１６４は、障害物の位置情報が含まれた地図データ３０、送受信部１６３が取得した情報、進路予測に用いる、フォークリフト１のサイズの情報、例えば、タイヤ１４とタイヤ１５の距離、基準位置からフォーク１２先端までの距離、車体１０の幅、マスト１３の高さ、倉庫管理システム等から取得した搬送中の荷物の高さ方向および横方向のサイズなどの情報を記憶する。

【0021】

（表示装置の構成）
図示するように表示装置２０は、センサ部２１と、表示部２２と、送受信部２３と、制御部２４と、記憶部２５と、を備える。

【0022】

センサ部２１は、運転者１００のヘッドトラッキング用のセンサ（例えば、複数の可視光カメラやＩＭＵ）、運転者１００のアイトラッキング用のセンサ（例えば、赤外線カメラ）、深度センサ、マイク等を備える。

【0023】

表示部２２は、ＡＲグラスのレンズ（スクリーン）の部分を構成し、例えば、透過的（レンズを通じて外界が見える）なホログラフィックディスプレイで構成される。レンズに仮想オブジェクトが投影されない状態では、運転者１００は、現実の世界をそのまま見ることができる。仮想オブジェクトとは、表示部２２に投影される画像データである。仮想オブジェクトが表示部２２に表示されると、運転者１００には、現実の世界に重畳して仮想オブジェクトが見える。

【0024】

送受信部２３は、他の装置とデータの送受信を行う。例えば、送受信部２３は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、進路算出装置１６から進路情報等を受信する。

【0025】

制御部２４は、表示部２２の表示制御等を行う。制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の周辺の空間形状を認識し、周辺の空間の３次元地図情報を作成し、仮想空間を生成する。制御部２４は、作成した地図情報に基づいて、仮想空間の所望の位置に仮想オブジェクトを配置する。すると、運転者１００には、現実の世界の当該位置に存在する物に重畳して仮想オブジェクトが表示される。例えば、仮想オブジェクトは、フォークリフト１の所定位置を基準とする任意の位置に表示させることができる。フォーク１２先端に仮想オブジェクトを配置する場合、フォークリフト１の前輪軸中心を基準とすると、運転者１００とフォークリフト１の位置関係と、フォークリフト１の前輪軸中心とフォーク１２先端の位置関係から、運転者１００とフォーク１２先端の位置関係が算出できる。運転者１００とフォークリフト１の位置関係は、キャリブレーション（後述）によって算出することができる。フォークリフト１の前輪軸中心とフォーク１２先端の位置関係はフォークリフト１の設計情報から算出することができる。制御部２４が、このようにして算出された運転者１００にとってのフォーク１２先端の位置に対応する仮想空間上の位置に仮想オブジェクトを配置すると、仮想オブジェクトは、実際にフォーク１２の先端に存在するかのように運転者１００によって認識される。例えば、フォーク１２の先端からフォーク１２先端の予測進路を仮想オブジェクトとして表示すると、運転者１００は、運転しながら、フォーク１２の先端が未来において通る軌跡を確認することができ、先端が障害物などにぶつからないかどうかを目視により確認することができる。また、制御部２４は、センサ部２１が検出した情報に基づいて、運転者１００の姿勢、例えば、屈んだり、運転席から左右方向へ身を乗り出したりといった姿勢をとったときの頭部の位置を算出する。そして、制御部２４は、運転者１００の頭部と仮想オブジェクトの位置関係から、実際に仮想オブジェクトが現実の世界に存在するときと同様に見えるように仮想オブジェクトを生成し配置する。これにより、運転者１００が運転中に姿勢を変化させても、運転者１００には、自身が見た方向に配置された予測進路の仮想オブジェクトが見えることになる。例えば、フォーク１２先端の予測進路とタイヤ１５（後輪）の予測進路の両方を仮想オブジェクトとして配置する場合、運転者１００が前を向いていれば、フォーク１２先端の予測進路が見え、後ろを振り返った場合には、フォーク１２先端の予測進路は見えず、タイヤ１５の予測進路だけが見える。

【0026】

仮想オブジェクトを自由に配置することや、仮想空間上のある位置に仮想オブジェクトを配置することにより、あたかもその位置に仮想オブジェクトが存在するように見えるようにすること、運転者１００の姿勢に応じて仮想オブジェクトの見え方を変化させることは、ＡＲグラスが備える機能である。ユーザは、所望の仮想オブジェクトに関する設定を表示装置２０に対して行う（開発者がＡＲ開発ツールを使って仮想オブジェクトを開発し、開発したプログラムを表示装置２０に実装する。）。すると、制御部２４が、その設定に従って所望の位置に仮想オブジェクトを配置する。本実施形態では制御部２４は、進路算出装置１６から進路情報を取得すると、その進路情報が示す予測進路の仮想オブジェクトを表示するように構成されている。例えば、フォーク１２先端の予測進路を表示する場合であって、フォークリフト１が障害物の無い直線を移動しているとすると、進路算出装置１６からは、予測進路の始点であるフォーク１２の先端を特定する情報（例えば、フォークリフト１の前輪軸中心とフォーク１２先端の位置関係を表す情報）が送信され、予測進路の形状を示す情報として、直線およびその直線が向かう方向・角度（例えば、正面）の情報が送信される。制御部２４は、この情報を取得すると、現実のフォーク１２の先端に対応する仮想空間上の位置を始点として特定し、そこから正面方向に直線形状の仮想オブジェクトを配置する。これにより、運転者１００は、フォーク１２先端の予測進路と前方に障害物が無いことを認識することができる。また、同様の状況で、５ｍ先の右側に障害物がある場合には、進路算出装置１６からは、始点としてフォーク１２の先端を特定する情報、予測進路の形状として直線、右前方の干渉位置として５ｍ先の座標情報が与えられる。制御部２４は、この情報を取得すると、左側のフォーク１２については、先端を始点として正面方向に直線形状の仮想オブジェクトを配置し、右側のフォーク１２については、先端を始点として正面方向に５ｍ先までに限定して直線形状の仮想オブジェクトを配置する。運転者１００からは、左側のフォーク１２については予測進路の直線がずっと先まで延び、右側のフォーク１２については、５ｍ先の障害物のところまでは延びていて、そこで切断されたように見える。これは、切断された先の経路よりも手前に障害物が存在するので、障害物によって右側のフォーク１２の進路が遮蔽されることを表している。このように本実施形態では、予測経路が障害物と干渉する場合、予測経路を干渉位置で切断し、その先を遮蔽する表示（疑似的なオクルージョン）を行う。これにより、運転者１００は、このままフォーク１２を前進させると、右側前方の障害物に干渉することを認識することができる。図４Ａ～図６に表示装置２０を装着した運転者１００から見える予測進路の仮想オブジェクトの一例を示す。予測進路の仮想オブジェクトのことを、「予測仮想進路」と記載する。

【0027】

図４Ａに、タイヤ１５の予測仮想進路の表示例を示す。予測仮想進路４１Ａは、左側のタイヤ１５の予測進路、予測仮想進路４２Ａは、右側のタイヤ１５の予測進路である。干渉位置４３Ａは、左側のタイヤ１５と壁４０Ａの干渉位置、干渉位置４４Ａは、右側のタイヤ１５と壁の干渉位置である。

【0028】

図４Ｂに、予測進路と障害物の干渉があるにもかかわらず、干渉位置を表示しない場合の予測仮想進路の表示例を示す。予測仮想進路４１Ｂは、左側のタイヤ１５の予測進路、予測仮想進路４２Ｂは、右側のタイヤ１５の予測進路である。図４Ｂを参照すると、左右のタイヤ１５の予測仮想進路が壁４０Ｂに重畳して表示される為、運転者１００は、左右のタイヤ１５と壁４０Ｂの干渉の有無を判断することが難しい。これに対し、図４Ａに示すように、干渉位置４３Ａ、４４Ａにて、予測仮想進路４１Ａ、４２Ａを切断して表示することによって、運転者１００は、障害物との干渉を認識しやすくなる。

【0029】

図５Ａに、フォーク１２先端の予測仮想進路の表示例を示す。図５Ａに示すのは、フォーク１２の先端をパレット５０Ａの穴に挿入する場面である。作業対象のパレット５０Ａを障害物とみなすと、フォーク１２先端の予測進路を表示することで、そのままの進路で良いかどうかの判断に役立てることができる。予測仮想進路５１Ａは、左側のフォーク１２先端の予測進路、予測仮想進路５２Ａは、右側のフォーク１２先端の予測進路である。干渉位置５３Ａは、左側のフォーク１２先端とパレット５０Ａの干渉位置、干渉位置５４Ａは、右側のフォーク１２先端とパレット５０Ａの干渉位置である。なお、図５Ａと、後述する図５Ｂ、図６では、フォーク１２を認識しやすくするため、オクルージョン機能を使わずフォーク１２をマスト１３よりも手前側に表示しているが、これは、本実施形態の機能とは関係が無い。

【0030】

図５Ｂに、障害物（パレット５０Ｂ）との干渉があるにもかかわらず、干渉位置を表示しない場合の予測仮想進路の表示例を示す。予測仮想進路５１Ｂは、左側のフォーク１２先端の予測進路、予測仮想進路５２Ｂは、右側のフォーク１２先端の予測進路である。図５Ｂを参照すると、左右のフォーク１２先端の予測進路がパレット５０Ｂに重畳して表示される為、運転者１００は、フォーク１２がパレット５０Ｂの穴に挿入できるか、フォーク１２がパレット５０Ｂの上側を通過するのかを判断することが難しい。これに対し、図５Ａに示すように、干渉位置５３Ａ、５４Ａにて、予測仮想進路５１Ａ，５２Ａを切断して表示することによって、運転者１００は、フォーク１２の先端をパレット５０Ａの穴に挿入できるかどうかを確認しやすくなる。

【0031】

図６に、左右のフォーク１２の何れが先に障害物と干渉するかを仮想オブジェクトとして表示する場合の表示例を示す。図５Ａと同様、予測仮想進路６１，６２は、それぞれ左右のフォーク１２先端の予測進路、干渉位置６３，６４は、それぞれ左右のフォーク１２先端とパレット６０の干渉位置である。制御部２４は、干渉位置６３，６４のうち、運転者１００に近い干渉位置６３から予測仮想進路６２への垂線である補助線６５を表示する。補助線６５は仮想オブジェクトである。これにより、運転者１００は、左右のフォーク１２先端のどちらが先にパレット６０へ干渉するのかを把握することができる（左が先に干渉する。）。また、補助線６５を表示することにより、干渉位置６３と干渉位置６４の奥行き方向の距離６６を把握することができ、どの程度、パレット６０と正対しているかを把握しやすくなる。

【0032】

このように、制御部２４は、干渉位置が複数存在する場合、最も先に干渉する位置を明確にする表示を行ってもよい。他の表示例として、制御部２４は、例えば、図６において、干渉位置６３の色を変えたり、点滅させたり、干渉位置６３を矢印等で指し示したり、干渉位置６３の近くに「干渉」等の文字を表示したりしてもよい。

【0033】

これまでに、フォーク１２先端の予測仮想進路、タイヤ１５の予測仮想進路の表示例について説明した。予測仮想進路の表示対象はこれらに限定されず、他の任意のフォークリフト１の一部の位置（例えば、マスト１３の上端や車体１０の左右側面など）について、予測仮想進路を表示することができる。また、フォークリフト１の一部に限らず、フォークリフト１が積載する荷物についての予測仮想進路を表示するようにしてもよい。例えば、図７のように横幅の広いコンテナ７０を搬送するような場合、フォークリフト１自体は干渉しなくても、コンテナ７０が障害物７１と干渉する可能性がある。進路算出装置１６の進路予測部１６２は、例えば倉庫管理システムから、コンテナ７０の高さ方向および横方向のサイズの情報を取得し、測位部１６１が推定した位置を基準として、コンテナ７０の左側面の予測進路７２と右側面の予測進路７３を算出する。また、進路予測部１６２は、算出した予測進路７２，７３と地図データ３０とを照合して、予測進路７２，７３と地図データ３０に含まれる壁、荷物などの障害物７１との干渉の有無を調べる。干渉がある場合、進路予測部１６２は、例えば、フォークリフト１の所定位置を基準とする干渉位置７４の座標位置を算出する。表示装置２０は、進路予測部１６２が算出した予測進路７２，７３、干渉位置７４に基づいて、表示部２２に予測仮想進路を表示する。不図示の予測仮想進路は、手前に表示されるので、運転者は、横幅の広いコンテナ７０によって、視界が遮られるような場合であってもコンテナ７０の予測進路を認識することができる。また、右側の予測進路７３については障害物７１との干渉位置７４で予測仮想進路が切断されるので、運転者１００は、障害物７１との干渉を確認することができる。図７では、コンテナ７０を積載したフォークリフト１を前進する場面を例示したが、フォークリフト１を後退させる場合についても同様にして、予測進路と干渉位置を算出し、予測仮想進路を表示することができる。

【0034】

これまでは、２次元方向の予測進路と障害物の干渉を扱ったが、フォーク１２を上昇させて荷役作業を行う場面では、フォーク１２の高さ方向の位置における予測進路や障害物との干渉の有無を表示できることが望ましい。その為には、地図データ３０に高さ別の障害物の位置情報を付加し、進路予測部１６２は、例えば、マスト１３に設けられた揚高センサ等によってフォーク１２の高さを認識し、認識した高さにおける障害物の位置を地図データ３０から読み取る。そして、進路予測部１６２は、タイヤ１４，１５の角度、荷物のサイズなどを用いて、２次元の場合と同様にして、フォーク１２の高さにおける予測進路、障害物との干渉位置を算出する。表示装置２０は、進路予測部１６２が算出したフォーク１２の高さにおける予測進路、干渉位置に基づいて、表示部２２に予測仮想進路を表示する。フォーク１２を上昇させて、荷物８１が積まれたパレット８０の穴にフォーク１２を挿入する際に、表示装置２０を装着した運転手が運転席の右側へ身を乗り出しつつ、上方を見上げたときに見える視覚情報の一例を図８に示す。予測仮想進路８２，８３は、それぞれ左右のフォーク１２先端の予測進路、干渉位置８４，８５は、それぞれ左右のフォーク１２先端とパレット８０の干渉位置である。高さを考慮した予測仮想進路を表示することで、運転者１００は、作業対象位置におけるフォーク１２の予測進路やパレット８０や荷物８１との干渉を視認しながら荷役作業を行うことができる。また、高さを考慮した予測仮想進路を表示することによって、フォーク１２を上昇して移動しており、実際にはフォーク１２の高さよりも背が低い障害物しか存在しない場合（例えば、平置きの荷物の上空をフォーク１２が通過する場合）に、予測仮想進路の表示が切断されるといった現象が発生することを防止することができる。

【0035】

記憶部２５は、センサ部２１が検出した情報、送受信部２３が受信した情報、フォークリフト１又は様々な車種のフォークリフトのＣＡＤ情報などを記憶する。

【0036】

（動作）
次に図９を参照して、予測仮想進路の表示処理の流れについて説明する。
図９は、実施形態に係る仮想モニターの表示制御の一例を示すフローチャートである。
表示装置２０を装着した運転者１００は、フォークリフト１の運転席に座ると、表示装置２０を起動し、キャリブレーションを行う（ステップＳ１）。キャリブレーションでは、運転者１００とフォークリフト１の位置関係を算出する。例えば、制御部２４は、センサ部２１の可視光カメラによって、フォークリフト１のハンドルやその他の構造物を認識し、撮影されたハンドル等の形状や見え方からフォークリフト１の車種を推定する。制御部２４は、記憶部２５に記録されたＣＡＤ情報から推定した車種に対応するＣＡＤ情報を読み出して、フォークリフト１全体の形状を把握する。また、例えば、制御部２４は、センサ部２１の可視光カメラによって撮影したハンドルの画像を解析したり、センサ部２１の深度センサによってハンドルまでの距離を測定したりすることで、運転者１００とハンドルとの位置関係、つまり、運転者１００が運転席のどの位置に座っているか、運転者１００の頭部の高さがどの程度か、あるいは、読み出したフォークリフト１のＣＡＤ情報から運転者１００とフォークリフト１の各部までの位置関係（水平方向の距離や垂直方向の距離など）を算出する。これにより、運転者１００とフォーク１２先端、左右のタイヤ１５、荷物の両側面までの距離を把握し（荷物の両側面までの距離については荷物のサイズも必要）、正確な位置（現実世界のフォーク１２先端等の位置に合わせて）に予測仮想経路を配置することができる。また、例えば、フォークリフト１の所定位置（例えばマスト１３の運転席側）に２次元マーカを設け、センサ部２１によって２次元マーカを認識し、２次元マーカとの位置関係や２次元マーカが示すフォークリフト１の車種および当該車種のＣＡＤ情報から上記と同様にして、運転者１００とフォークリフト１の各部までの位置関係を算出してもよい。

【0037】

キャリブレーションが完了すると、運転者１００は表示装置２０に対して所定の操作を行い、予測仮想進路を表示する機能を起動する。また、運転者１００は、所定の操作を行い、進路算出装置１６を起動する。進路算出装置１６が起動すると、測位部１６１が、フォークリフト１の位置（所定の基準位置）を推定する（ステップＳ２）。次に進路予測部１６２が、予測進路と障害物との干渉位置を算出する（ステップＳ３）。次に進路予測部１６２が、送受信部１６３を通じて、予測進路等の情報を表示装置２０へ送信する（ステップＳ４）。例えば、図３に示すタイヤ１５の予測進路の場合であって、予測進路３２、３３がそれぞれ円弧の一部であるとすると、進路予測部１６２は、始点である左右のタイヤ１５を特定する情報、各円弧の半径、中心位置、角度などを予測進路の情報、干渉位置３５、３６の座標情報などを表示装置２０へ送信する。表示装置２０では、制御部２４が、送受信部２３を通じて、進路予測部１６２が送信した予測進路等の情報を取得する。制御部２４は、予測仮想進路を表示部２２に表示する（ステップＳ５）。例えば、制御部２４は、左側のタイヤ１５について指定された円弧の仮想オブジェクトを生成し、仮想空間上の左側のタイヤ１５に対応する位置を始点として、生成した円弧の仮想オブジェクトを配置する。仮想オブジェクトは、弧の部分だけでも弧に囲まれた円内を透過的に表現した扇形の仮想オブジェクトであってもよい。制御部２４は、右側のタイヤ１５についても同様に仮想オブジェクトを生成し、右側のタイヤ１５を始点として、進路算出装置１６から送信された進路情報によって示される予測進路に沿って、その仮想オブジェクトを配置する。これにより、運転者１００は、図４Ａに例示する予測仮想進路４１Ａ，４２Ａが確認できるようになる。

【0038】

次に制御部２４は、予測仮想進路の表示を終了するかどうかを判定する（ステップＳ６）。例えば、運転者１００が、予測仮想進路を表示する機能を終了する操作を行った場合には、制御部２４は、予測仮想進路を表示する機能を終了すると判定し、そうでない場合には、終了しないと判定する。終了しないと判定した場合（ステップＳ６；Ｎｏ）、ステップＳ２以降の処理を繰り返し行う。測位部１６１は、時々刻々のフォークリフト１の位置を推定し、進路予測部１６２は、その時々のタイヤ角などに基づいて、フォークリフト１の予測進路を更新する。表示装置２０は、進路予測部１６２によって算出された予測進路等に基づいて、仮想区間上に予測仮想進路を配置する。これにより、運転者１００は、自身の運転によって変化するフォークリフト１の未来の進路を確認しながら、運転を行うことができる。一方、終了すると判定した場合（ステップＳ６；Ｙｅｓ）、図８の処理フローを終了する。

【0039】

なお、上記の実施形態では、視界補助システム２００をフォークリフト１に適用する場合を例に説明を行ったが、視界補助システム２００は、例えば、ショベルカー、ブルドーザー、クレーン車、リーチスタッカーなどのフォークリフト以外の産業車両にも適用することができる。フォークリフト１のフォーク１２、ショベルカーのブームやバケット、ブルドーザーのバケットやアーム、クレーン車のブーム、ジブ、フックなどは産業車両が備える作業装置の一例である。また、それら作業装置が搬送等する荷物、土砂、ガレキ等の物体は、産業車両と共に移動する物体の一例である。また、上記実施形態では、進路算出装置１６をフォークリフト１に設けることとしたが、測位部１６１の以外の機能・構成は、外部のコンピュータ又は表示装置２０に実装してもよい。表示装置２０に実装する場合には、測位部１６１を含めて表示装置２０に実装してもよい。

【0040】

（効果）
本実施形態では、運転者にＡＲグラス（表示装置２０）を装着させ、仮想区間上に予測仮想進路を表示する。さらに倉庫の地図データに基づいて障害物の位置を把握し、予測仮想進路と障害物の重なりを判定して予測仮想進路の遮蔽を行う。これにより、予測進路とその予測進路における障害物との干渉の有無をわかりやすく運転者に表示することができる。また、ＡＲグラスを用いて現実世界と重畳して予測進路を表示することで、運転者１００は、運転席のモニター等を確認する必要が無く、自然な視線のまま予測進路を確認することができる。

【0041】

図１０は、実施形態に係る視界補助システムのハードウェア構成の一例を示す図である。コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の進路算出装置１６、表示装置２０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

【0042】

進路算出装置１６、表示装置２０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0043】

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0044】

＜付記＞
各実施形態に記載の視界補助システム、産業車両、視界補助方法及びプログラムは、例えば以下のように把握される。

【0045】

（１）第１の態様に係る視界補助システムは、産業車両の位置を推定する測位部と、推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出する進路予測部と、人の頭部に装着され、画像データを表示することが可能な透過的な表示部と、推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、前記表示部を通して見える現実世界の前記進路の位置に重畳して表示する制御部と、を備える。
産業車両の予測進路とその予測進路における障害物との干渉の有無をわかりやすく表示することができる。

【0046】

（２）第２の態様に係る視界補助システムは、（１）の視界補助システムであって、前記進路予測部は、前記産業車両が備える作業装置の前記進路を予測し、前記干渉位置を算出する。
産業車両においては作業装置（フォークリフトのフォーク）が車体から突出している場合があり、作業装置と障害物の干渉を注意して走行しなければならないところ、産業車両の作業装置の予測進路、干渉位置を算出することができる。

【0047】

（３）第３の態様に係る視界補助システムは、（１）～（２）の視界補助システムであって、前記進路予測部は、前記産業車両が搬送する作業対象物の前記進路を予測し、前記干渉位置を算出する。
これにより、例えば、フォークリフトが車体よりも幅が大きい荷物を運ぶような場合でも、その荷物の両側面の予測進路、干渉位置を算出することができる。

【0048】

（４）第４の態様に係る視界補助システムは、（１）～（３）の視界補助システムであって、前記進路予測部は、前記進路の予測に係る前記産業車両の一部又は前記物体の所定の高さにおける前記進路を予測し、前記高さにおける前記干渉位置を算出する。
これにより、例えば、前記産業車両の形状やサイズ、障害物の分布、が高さ毎に異なる場合でも高さ応じた予測進路、干渉位置を算出することができる。

【0049】

（５）第５の態様に係る視界補助システムは、（４）の視界補助システムであって、前記進路予測部は、高さ別の障害物の位置情報を含む前記地図データに基づいて、前記高さにおける前記干渉位置を算出する。
これにより、様々な高さにおける干渉位置を算出することができる。

【0050】

（６）第６の態様に係る視界補助システムは、進路算出装置と、表示装置と、を備える視界補助システムであって、前記進路算出装置は、産業車両の位置を推定する測位部と、推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出する進路予測部と、前記進路の予測に係る前記産業車両の一部又は前記物体を特定する情報と、前記干渉位置までの前記進路の情報と、を前記表示装置へ送信する送信部と、を備え、前記表示装置は、前記特定する情報と、前記干渉位置までの前記進路の情報と、を受信する受信部と、人の頭部に装着され、画像データを表示することが可能な透過的な表示部と、推定された前記位置における前記特定する情報が示す前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、前記表示部を通して見える現実世界の前記進路の位置に重畳して表示する制御部と、を備える。
これにより、予測進路とその予測進路における障害物との干渉の有無をわかりやすく表示する。

【0051】

（７）第７の態様に係る産業車両は、（１）～（６）のを備える視界補助システムと、を備える。

【0052】

（８）第８の態様に係る視界補助方法は、産業車両の位置を推定するステップと、推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出するステップと、推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、人の頭部に装着され、画像データを表示することが可能な透過的な表示部を通して見える現実世界の前記進路の位置に重畳して表示するステップと、を有する。

【0053】

（９）第９の態様に係るプログラムは、コンピュータに、産業車両の位置を推定するステップと、推定された前記位置を基準として、前記産業車両の一部又は前記産業車両と共に移動する物体の進路を予測し、障害物の位置情報が含まれる地図データに基づいて、前記進路と前記障害物が干渉する干渉位置を算出するステップと、推定された前記位置における前記進路の予測に係る前記産業車両の一部又は前記物体を始点とする前記干渉位置までの前記進路の画像データを、人の頭部に装着され、画像データを表示することが可能な透過的な表示部を通して見える現実世界の前記進路の位置に重畳して表示するステップと、を実行させる。

【符号の説明】

【0054】

１・・・フォークリフト
１０・・・車体
１１・・・荷役装置
１２・・・フォーク
１３・・・マスト
１４、１５・・・タイヤ
１６・・・進路算出装置
１６１・・・測位部
１６２・・・進路予測部
１６３・・・送受信部
１６４・・・記憶部
２０・・・表示装置
２１・・・センサ部
２２・・・表示部
２３・・・送受信部
２４・・・制御部
２５・・・記憶部
１００・・・運転者
２００・・・視界補助システム
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】