(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024090080
(43)【公開日】2024-07-04
(54)【発明の名称】表示装置、荷下ろし補助システム、産業車両、制御方法及びプログラム
(51)【国際特許分類】
B66F 9/24 20060101AFI20240627BHJP
B66F 9/075 20060101ALI20240627BHJP
【FI】
B66F9/24 Z
B66F9/075 J
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022205735
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】000232807
【氏名又は名称】三菱ロジスネクスト株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】明石 拓也
(72)【発明者】
【氏名】塚原 啓介
【テーマコード(参考)】
3F333
【Fターム(参考)】
3F333AA02
3F333AB13
3F333AE02
3F333DB01
3F333FA05
3F333FA36
3F333FD13
3F333FE09
(57)【要約】
【課題】産業車両が搬送した荷物を降ろした際に、その荷物が置かれる場所を前もって確認することができる表示装置を提供する。
【解決手段】表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両が搬送する荷物の搬送先の位置情報を取得する目標位置取得部と、産業車両の位置情報を取得する位置情報取得部と、産業車両に搭乗する人と産業車両との位置関係の情報と、産業車両および前記搬送先の位置情報と、に基づく荷物の目標設置範囲と、産業車両から荷物を降ろしたときの予想設置範囲を含む画像データを、表示部を透過して見える現実世界における目標設置範囲に、画像データに含まれる目標設置範囲が重畳するように表示する制御部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
人の頭部に装着する表示装置であって、
画像データを表示することが可能な透過的な表示部と、
産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得する目標位置取得部と、
前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得する位置情報取得部と、
前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示する制御部と、
を備える表示装置。
【請求項2】
前記制御部は、前記産業車両と前記搬送先の距離が所定の範囲内となると前記画像データを表示する、
請求項1に記載の表示装置。
【請求項3】
前記制御部は、前記産業車両に前記荷物が積載されると前記画像データを表示する、
請求項1又は請求項2に記載の表示装置。
【請求項4】
前記制御部は、前記産業車両が備える作業装置によって保持された前記荷物の底面が地面と水平になると、前記画像データを表示する、
請求項1又は請求項2に記載の表示装置。
【請求項5】
前記制御部は、前記画像データの表示と非表示を切り替える指示を受け付ける仮想的な操作部を表示し、前記操作部に対する前記人の操作に基づいて、前記画像データの表示と非表示を切り替える、
請求項1又は請求項2に記載の表示装置。
【請求項6】
前記制御部は、前記画像データを表示しない場合、前記搬送先の位置を案内する第二の画像データを表示する、
請求項1又は請求項2に記載の表示装置。
【請求項7】
前記荷物のサイズを推定するサイズ推定部、をさらに備え、
前記制御部は、推定されたサイズに基づいて、前記目標設置範囲を算出する、
請求項1又は請求項2に記載の表示装置。
【請求項8】
前記荷物のサイズを取得するサイズ取得部、をさらに備え、
前記制御部は、取得されたサイズに基づいて、前記目標設置範囲を算出する、
請求項1又は請求項2に記載の表示装置。
【請求項9】
前記産業車両又は前記産業車両に搭乗する前記人の位置情報を測位する測位装置と、
請求項1又は請求項2に記載の表示装置と、
を備える荷下ろし補助システム。
【請求項10】
請求項9に記載の荷下ろし補助システム、
を備える産業車両。
【請求項11】
画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、
産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得するステップと、
前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得するステップと、
前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示するステップと、
を有する制御方法。
【請求項12】
画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、
産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得する手段、
前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得する手段、
前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示する手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示装置、荷下ろし補助システム、産業車両、制御方法及びプログラムに関する。
【背景技術】
【0002】
フォークリフトでコンテナを搬送する場合、前方が見えないため、コンテナ車などに荷積みするときには一度荷物を高く持ち上げ、前方が見える状態にしてコンテナを降ろす場所へ接近する。しかし、荷物を高く持ち上げた状態ではその荷物を降ろした際の設置位置や設置角度が分かりにくく、目的とする設置場所に正確に置くことが難しい。
【0003】
関連する技術として、特許文献1には、フォークリフト前方を撮像するカメラと、そのカメラが撮像した画像に荷役対象位置までの距離や高さを示すガイド情報を重畳表示させた画像を表示する表示部と、を備えるシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
搬送している荷物の高さに関係なく、荷物を降ろした際に荷物が置かれる場所を前もって確認できるようにする技術が求められている。
【0006】
本開示は、上記課題を解決することができる表示装置、荷下ろし補助システム、産業車両、制御方法及びプログラムを提供する。
【課題を解決するための手段】
【0007】
本開示の表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得する目標位置取得部と、前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得する位置情報取得部と、前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示する制御部と、を備える。
【0008】
本開示の荷下ろし補助システムは、前記産業車両又は前記産業車両に搭乗する前記人の位置情報を測位する測位装置と、上記の表示装置と、を備える。
【0009】
本開示の産業車両は、上記の荷下ろし補助システムを備える。
【0010】
本開示の制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得するステップと、前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得するステップと、前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示するステップと、を有する。
【0011】
また、本開示のプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得する手段、前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得する手段、前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示する手段、として機能させる。
【発明の効果】
【0012】
上述の表示装置、荷下ろし補助システム、産業車両、制御方法及びプログラムによれば、産業車両が搬送した荷物を降ろした際に、その荷物が置かれる場所を前もって確認することができる。
【図面の簡単な説明】
【0013】
【
図1】実施形態に係るフォークリフトの一例を示す概略図である。
【
図2】実施形態に係る表示装置の一例を示すブロック図である。
【
図3A】実施形態の予想設置範囲と目標設置範囲の表示について説明する第1の図である。
【
図3B】実施形態の予想設置範囲と目標設置範囲の表示について説明する第2の図である。
【
図4】実施形態に係る予想設置範囲と目標設置範囲の表示例を示す図である。
【
図5】実施形態に係る予想設置範囲と目標設置範囲の重ね合わせ作業について説明する図である。
【
図6】実施形態に係る目標位置を案内する表示の一例を示す図である。
【
図7A】実施形態に係るコンテナの積載例を示す第1の図である。
【
図7B】実施形態に係るコンテナの積載例を示す第2の図である。
【
図8】実施形態に係る表示処理の一例を示すフローチャートである。
【
図9】実施形態に係る敷地仮想空間と現実世界の位置合わせについて説明する図である
【
図10】実施形態に係る荷下ろし補助システムのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0014】
<実施形態>
以下、本開示の荷下ろし補助システムについて、図面を参照して説明する。
(構成)
図1は、各実施形態に係るフォークリフトの一例を示す概略図である。
フォークリフト1は、車体10と、荷役装置11と、進路算出装置16と、表示装置20と、を備えている。車体10は、不図示の駆動装置およびステアリング装置を備え、フォークリフト1を走行させる。荷役装置11は、フォーク12と、フォーク12を昇降させるマスト13と、を備え、フォーク12に積載した荷物を昇降させる等して荷役動作を行う。マスト13には傾斜センサ14が設けられていて、傾斜センサ14は、マスト13の傾斜(チルト角度)を検出する。マスト13には荷重センサ15が設けられていて、荷重センサ15は、フォーク12に積載された荷物の重量を検出する。傾斜センサ14および荷重センサ15が計測した値は、表示装置20へ送信される。車体10等には、フォークリフト1の位置を測位するGNSS(Global Navigation Satellite System)の受信機(移動局)であるGNSS30が設けられている。例えば、GNSS30(
図1の30a)は、車体10の任意の場所に設けられていてもよいし、GNSS30(
図1の30b)は、運転者100が装着するヘルメット等に設けられていてもよい。GNSS30a,30bは、どちらか一方が設けられていればよい。以下では、一例として、GNSS30aが車体10に搭載されているとして説明を行う。GNSS30aが測位した位置情報は、表示装置20へ送信される。表示装置20は、ARグラス又は、MR(Mixed Reality)グラスである。運転者100は、表示装置20を装着して、フォークリフト1の運転を行う。本明細書では、
図1に示すようにフォークリフト1の荷役装置11が設けられている方向を前方、その反対方向を後方と呼び、前方を向いたときの左右方向をそれぞれ左側、右側と呼ぶ。また、フォークリフト1が荷役作業を行うコンテナ等の荷物を管理する管理システム40が、荷役作業を行う敷地の事務室やデータセンター等に設けられている。
【0015】
図2は、実施形態に係る荷下ろし補助システムの一例を示すブロック図である。
荷下ろし補助システム200は、傾斜センサ14と、荷重センサ15と、表示装置20と、GNSS30と、管理システム40と、を含む。傾斜センサ14、荷重センサ15およびGNSS30と表示装置20とは通信可能に接続されている。表示装置20と管理システム40とは通信可能に接続されている。管理システム40はコンピュータによって構成されている。表示装置20は、表示装置とコンピュータを含んで構成される、ARグラス又はMRグラスである(以下、両方を含んでARグラスと記載する。)。
【0016】
(管理システムの構成)
管理システム40は、荷役作業対象のコンテナごとに当該コンテナのサイズや当該コンテナを置くべき位置である目標位置の位置情報を管理している。管理システム40は、例えば、フォークリフト1がコンテナを搬送すると、そのコンテナの搬送先である目的位置の位置情報を表示装置20へ送信する。目的位置とは、例えば、コンテナが置かれるべき矩形の範囲の四隅の位置情報、あるいは矩形範囲の重心位置とコンテナを置く方向や角度を特定する情報などでも良い。また、管理システム40は、目標位置とともに、搬送されているコンテナの長さ、幅、高さなどのサイズの情報を表示装置20へ送信してもよい。
【0017】
(表示装置の構成)
表示装置20は、センサ部21と、表示部22と、送受信部23と、制御部24と、表示判定部25と、目標位置取得部26と、荷物サイズ取得部27と、記憶部28と、を備える。
【0018】
センサ部21は、運転者100のヘッドトラッキング用のセンサ(例えば、複数の可視光カメラやIMU)、運転者100のアイトラッキング用のセンサ(例えば、赤外線カメラ)、深度センサ、マイク等を備える。
【0019】
表示部22は、ARグラスのレンズ(スクリーン)の部分を構成し、例えば、透過的(レンズを通じて外界が見える)なホログラフィックディスプレイで構成される。レンズに仮想オブジェクトが投影されない状態では、運転者100は、現実の世界をそのまま見ることができる。仮想オブジェクトとは、表示部22に投影される画像データである。仮想オブジェクトが表示部22に表示されると、運転者100には、現実の世界に重畳して仮想オブジェクトが見える。
【0020】
送受信部23は、他の装置とデータの送受信を行う。例えば、送受信部23は、WiFi(登録商標)、Bluetooth(登録商標)などの無線通信により、傾斜センサ14、荷重センサ15およびGNSS30からそれらが計測した値を受信する。また、送受信部23は、管理システム40からコンテナを置くべき目標位置等の情報を取得する。
【0021】
制御部24は、表示部22の表示制御等を行う。制御部24は、センサ部21が検出した情報に基づいて、運転者100の周辺の空間形状を認識し、例えば、運転席のどの位置に運転者100が存在するか、運転者100がどのような姿勢をとっているか等を認識する。制御部24は、フォークリフト1の3次元CAD情報に基づいて、フォークリフト1およびその周辺の空間に対応する仮想空間(車両仮想空間)を生成し、予め作成された荷役作業を行う敷地の3次元地図情報に基づいて、車両仮想空間が担当するフォークリフト1およびその周辺の空間よりも外側の空間、つまり、荷役作業を行う敷地を表す空間に対応する仮想空間(敷地仮想空間)を生成する。制御部24は、キャリブレーションを行って、現実世界と車両仮想空間および敷地仮想空間の位置合わせを行う。位置合わせを行った状態で、制御部24が、車両仮想空間の所望の位置に仮想オブジェクトを配置する。すると、運転者100には、車両仮想空間における所望の位置と対応する現実世界の位置に仮想オブジェクトが実際に存在するように表示される。例えば、仮想オブジェクトは、搬送中のコンテナをそのまま垂直方向に降ろして地面に置いたと仮定した場合にコンテナが占める範囲を示す「予想設置範囲」である。予想設置範囲は、例えば、薄い立方体の仮想オブジェクトとして生成される。予想設置範囲は、フォーク12が積載するコンテナを基準とする任意の位置(例えば、コンテナの底面付近、コンテナ底面と地面の間など)に表示させることができる。また、予想設置範囲は、運転者100と仮想オブジェクトの間に視界を遮る障害物があったとしても、その障害物を透過して予想設置範囲が見えるように表示させることができるし、運転者100と予想設置範囲の間に視界を遮る障害物があれば、運転者100から見て、その障害物の向こう側に予想設置範囲が存在するかのように表示させる(オクルージョン)こともできる。また、制御部24は、敷地仮想空間の所望の位置に仮想オブジェクトを配置する。すると、運転者100には、敷地仮想空間における所望の位置と対応する現実世界の位置に仮想オブジェクトが実際に存在するように表示される。例えば、仮想オブジェクトは、搬送中のコンテナを置くべき範囲を示す「目標設置範囲」である。目標設置範囲は、例えば、薄い立方体の仮想オブジェクトとして生成される。仮想オブジェクト「目標設置範囲」は、例えば、コンテナの目標位置を基準とする任意の位置に表示させることができる。目標設置範囲についても、運転者100と目標位置の間の障害物を透過して目標設置範囲を優先的に表示させる、又は、障害物によって目標設置範囲が遮蔽されるように表示させることができる。また、制御部24は、センサ部21が検出した情報に基づいて、運転者100の姿勢、例えば、屈んだり、運転席から左右方向へ身を乗り出したりといった姿勢をとったときの頭部の位置を算出する。そして、制御部24は、運転者100の頭部と仮想オブジェクトの位置関係から、実際に予想設置範囲や目標設置範囲が現実の世界に存在するときと同様に見えるようにそれらの仮想オブジェクトを生成し、仮想空間上に配置する。これにより、運転者100が荷役作業中に、例えば、運転席から右側に身を乗り出しても、「予想設置範囲」と「目標設置範囲」が、その方向から見えるように表示される。
【0022】
仮想オブジェクトを自由に配置することや、車両仮想空間の所望の位置に仮想オブジェクト「予想設置範囲」を配置し、敷地仮想空間の所望の位置に「目標設置範囲」を配置することにより、あたかも現実世界のそれぞれの位置にそれらの仮想オブジェクトが存在するように見せること、運転者100の姿勢に応じて仮想オブジェクトの見え方を変化させることは、ARグラスが備える機能である。ユーザは、所望の仮想オブジェクトに関する設定を表示装置20に対して行う(開発者がAR開発ツールを使って仮想オブジェクトを開発し、開発したプログラムを表示装置20に実装する。)。すると、制御部24が、その設定に従って所望の位置に仮想オブジェクトを配置する。本実施形態では制御部24は、「予想設置範囲」と「目標設置範囲」を生成して仮想空間上に配置する。例えば、「予想設置範囲」の場合、
図3Aに示すように、制御部24は、荷物サイズ取得部27が取得するコンテナ300のサイズ(長さと幅)に基づいて予想設置範囲301を生成し、車両仮想空間上のXY平面のX軸方向については、左右のフォーク12の中心L1と予想設置範囲の長手方向の中心L2が一直線上となり、Y軸方向については、予想設置範囲の運転者100からみて手前側の辺が、運転者100から所定の距離L3となるような位置に配置する。また、車両仮想空間上のXYZ空間のZ軸方向については、制御部24は、
図3Bに示すように、車両仮想空間における地面から所定の高さH1の位置に予想設置範囲301を配置する。
【0023】
また、例えば、「目標設置範囲」の場合、制御部24は、荷物サイズ取得部27が取得するコンテナ300のサイズ(長さと幅)に基づいて目標設置範囲302を生成し、
図3Aに示すように、敷地仮想空間上のXY平面について、例えば、管理システム40から指定された目標位置によって特定される範囲に合わせて目標設置範囲302を配置し、Z軸方向については、
図3Bに示すように、敷地仮想空間上の、例えば、目標設置範囲302の底面が地面に接する高さに目標設置範囲302を配置する。
【0024】
このように「予想設置範囲」と「目標設置範囲」をそれぞれ、車両仮想空間と敷地仮想空間に配置したときに、運転者100から表示装置20を通して見える資格情報の一例(模式図)を
図4に示す。運転者100は、現在の車両位置にてそのままコンテナ300を地面に降ろした場合の予想設置範囲301と、コンテナ300を降ろすべき位置である目標設置範囲302の位置関係を確認しながら、両者が重なり合うようにフォークリフト1を操縦して、コンテナ300を置くことができる。例えば、予想設置範囲301と目標設置範囲302が
図4に例示するような位置関係であれば、運転者100は、
図5に示す矢印方向にコンテナ300を移動するようフォークリフト1を操縦する。また、制御部24は、予想設置範囲301および目標設置範囲302と、それらが重なる領域を目視しやすいような態様で表示する。例えば、制御部24は、目標設置範囲302をスカイブルー等の青系統の色で表示し、予想設置範囲301をピンク色等の赤系統の色で表示し、両者が重なる領域を薄紫色などで表示するようにしてもよい。これにより、運転者100は、予想設置範囲301と目標設置範囲302の重なり具合を容易に把握することができる。
【0025】
また、コンテナ300を搬送する際、マスト13を前後方向にチルトすることがあるが、制御部24は、コンテナ300の底面が地面と平行になると、予想設置範囲を表示するようにしてもよい。あるいは、制御部24は、コンテナ300の底面が地面と平行になると、予想設置範囲の色を変更してもよい。これにより、運転者100は、コンテナ300が傾いていないことを確認しながら、コンテナ300を置くことができる。コンテナ300の底面が地面と平行になることは、例えば、マスト13に設けられた傾斜センサ14が検出した値に基づいて制御部24が判断してもよい。
【0026】
また、制御部24は、例えば、フォークリフト1と目標位置が離れている場合などには予想設置範囲301の表示は邪魔になることからこれを表示せず、目標位置を案内する表示だけを行ってもよい。例えば、制御部24は、敷地仮想空間の目標位置に対応する位置やその上空等に目印となる仮想オブジェクト303を配置してもよいし、目標設置範囲302を配置してもよい。目標設置範囲302と仮想オブジェクト303の表示例を
図6に示す。
図6の画像は、運転者100から表示部22を通して見える視覚情報の一例である。運転者100は、目標設置範囲302と仮想オブジェクト303を目印として、目標位置までフォークリフト1を近づけることができる。このように、制御部24は、表示部22に表示する仮想オブジェクトの表示と非表示を切り替える。例えば、予想設置範囲301や目標設置範囲302が邪魔になる場面では、それらを非表示とすることができる。
【0027】
表示判定部25は、仮想オブジェクトの表示と非表示を判定する。表示判定部25が、ある仮想オブジェクトを表示すると判定すると、制御部24は、その仮想オブジェクトを表示(配置)し、表示判定部25が非表示にすると判定すると、制御部24は、その仮想オブジェクトを非表示(仮想空間上に仮想オブジェクトを配置しない。)にする。表示判定部25の判定処理の一例を以下に記載する。
【0028】
(A)表示判定部25は、送受信部23を通じて、荷重センサ15が検出した情報(フォーク12に積載した荷物の重さ)を取得する。表示判定部25は、荷重センサ15が検出した重量が所定の閾値以上になると(つまり、コンテナ300を保持すると)、予想設置範囲301、目標設置範囲302および目標位置を案内する仮想オブジェクト303を表示すると判定し、重量が閾値未満となると、予想設置範囲301を非表示にすると判定する。重量が閾値未満となる場合、表示判定部25は、目標設置範囲302や仮想オブジェクト303を非表示とすると判定してもよい。
【0029】
(B)表示判定部25は、送受信部23を通じて、GNSS30aが測位したフォークリフト1の現在の位置情報を取得する。表示判定部25は、フォークリフト1の現在の位置から目標位置までの距離を算出し、算出した距離が所定の閾値以上になると、予想設置範囲301又は予想設置範囲301および目標設置範囲302を非表示とすると判定し(例えば、仮想オブジェクト303は表示する。)、距離が閾値未満の場合、予想設置範囲301および目標設置範囲302を表示し、仮想オブジェクト303を非表示にすると判定する。
【0030】
(C)制御部24が、例えば、運転者100のジェスチャや音声などに基づいて、車両仮想空間上に操作パネル(仮想オブジェクト)を表示する。この操作パネルには、仮想オブジェクト毎に表示と非表示を切り替える仮想スイッチが設けられている。運転者100がある仮想オブジェクトに関する仮想スイッチの操作によって表示を指示すると、表示判定部25は、当該仮想オブジェクトを表示すると判定する。運転者100が仮想スイッチの操作によって非表示を指示すると、表示判定部25は、当該仮想オブジェクトを非表示にすると判定する。このように車両仮想空間上に表示した操作パネルに対して操作を行うことを可能とする技術はMRによって実現することができる。
【0031】
表示判定部25は、(A)~(C)を組み合わせて仮想オブジェクトの表示と非表示の判定を行ってもよい。例えば、表示判定部25は、(B)によって、仮想オブジェクトを表示すると判定した後に、運転者100が、仮想スイッチを操作して、仮想オブジェクトを非表示にするよう指示すると、当該仮想オブジェクトに非表示にすると判定する。
【0032】
目標位置取得部26は、コンテナ300を置くべき目標位置の情報を取得する。例えば、目標位置取得部26は、フォーク12にコンテナ300Aが積載されると、送受信部23を通じて、管理システム40からコンテナ300Aの目標位置の情報を取得する。例えば、運転者100が、車両仮想空間上に操作パネルからコンテナ300Aを積んだこと入力し、その情報を、送受信部23を通じて、管理システム40へ送信すると、管理システム40からコンテナ300Aの目標位置が表示装置20へ送信されるように構成されていてもよい。あるいは、コンテナ300Aがフォークリフト1に積載されたことを所定のカメラで撮影し、管理システム40が、撮影された画像を解析して、どのフォークリフトがどのコンテナを搬送しているかを把握し、コンテナに応じた目標位置をフォークリフト1の運転者100が装着する表示装置20へ送信するように構成されていてもよい。目標位置取得部26は、取得した目標位置の情報を記憶部28に記録する。
【0033】
荷物サイズ取得部27は、搬送しているコンテナ300の長さ、幅、高さなどのサイズの情報を取得する。長さとは、運転者100から見える搬送中のコンテナ300の長手方向の長さ、幅とは運転者100から見た搬送中のコンテナ300の奥行き方向の長さ、高さは、垂直方向の長さである。例えば、予め記憶部28に数種類のコンテナサイズを登録しておき、荷物サイズ取得部27は、運転者100が仮想空間上の操作パネルを用いるなどして数種類のコンテナサイズの中から選択したサイズの情報を取得してもよい。あるいは、荷物サイズ取得部27は、管理システム40から送受信部23を通じて、コンテナ300のサイズの情報を取得してもよい。又は、運転者100が、コンテナ300の両端(
図3Aの300a、300b)を見たときに、センサ部21の深度センサにより運転者100からコンテナ300の両端までの距離を計測し、その計測結果に基づいて、荷物サイズ取得部27が、コンテナ300のサイズを推定してもよい。例えば、荷物サイズ取得部27は、予め登録された数種類のコンテナサイズの中から計測結果に最も近いコンテナサイズを選択して、その値をコンテナ300のサイズとする。荷物サイズ取得部27は、取得又は推定したサイズの情報を記憶部28に記録する。
【0034】
なお、荷物サイズ取得部27がコンテナ300のサイズを推定した場合、運転者100とコンテナ300の両端(
図3Aの300a、300b)の位置関係を制御部24へ出力し、制御部24は、この情報に基づいて、予想設置範囲301を配置してもよい。例えば、
図7Aに例示するようにコンテナ300を保持する際に右方向へ偏ってしまったり、
図7Bに例示するように前後方向に傾いてしまったりする場合がある。このような状態であるにもかかわらず、コンテナ300が左右に偏ることなくまっすぐ積載されていることを前提として、予想設置範囲301を配置すると、実際にコンテナ300を置く範囲と予想設置範囲301とが乖離してしまう。従って、制御部24は、荷物サイズ取得部27が推定したコンテナ300の両端の位置に基づいて、コンテナ300が置かれる正確な位置や角度を再現するように予想設置範囲301を配置する。
【0035】
記憶部28は、センサ部21が検出した情報、送受信部23が受信した情報、フォークリフト1又は様々な車種のフォークリフトのCAD情報などを記憶する。荷役作業を行う施設の地図情報などを記憶する。
【0036】
(動作)
次に
図8を参照して、予想設置範囲301等を表示する処理の流れについて説明する。
図8は、実施形態に係る表示制御の一例を示すフローチャートである。
表示装置20を装着した運転者100は、フォークリフト1の運転席に座ると、表示装置20を起動し、車両仮想空間と現実世界の位置合わせを行う(ステップS1)。車両仮想空間と現実世界の位置合わせでは、運転者100とフォークリフト1の位置関係を算出する。例えば、制御部24は、センサ部21の可視光カメラによって、フォークリフト1のハンドルやその他の構造物を認識し、撮影されたハンドル等の形状や見え方からフォークリフト1の車種を推定する。制御部24は、記憶部28に記録されたCAD情報から推定した車種に対応するCAD情報を読み出して、フォークリフト1全体の形状を把握し、予め生成された車両仮想空間と位置合わせを行う。また、例えば、制御部24は、センサ部21の可視光カメラによって撮影したハンドルの画像を解析したり、センサ部21の深度センサによってハンドルまでの距離を測定したりすることで、運転者100とハンドルとの位置関係、つまり、運転者100が運転席のどの位置に座っているか、運転者100の頭部の高さがどの程度か、あるいは、読み出したフォークリフト1のCAD情報から運転者100とフォークリフト1の各部までの位置関係(水平方向の距離や垂直方向の距離など)を算出し、車両仮想空間における運転者100の位置を現実に合った位置に設定する。これにより、例えば、運転者100とフォーク12までの距離を把握し、現実世界のフォーク12の位置に対応する車両仮想空間上の位置を基準として、予想設置範囲301を配置することができる。また、例えば、フォークリフト1の所定位置(例えばマスト13の運転席側)に2次元マーカを設け、センサ部21によって2次元マーカを認識し、2次元マーカとの位置関係や2次元マーカが示すフォークリフト1の車種および当該車種のCAD情報から上記と同様にして、車両仮想空間と現実世界の位置合わせ、および、車両仮想空間における運転者100の位置調整を行ってもよい。
【0037】
次に制御部24は、施設仮想空間と現実世界の位置合わせを行う(ステップS2)。例えば、
図9に示すように、現実世界(実空間)の所定の設置位置90にQRコード(登録商標)等のマーカ91を設置しておく、マーカ91は、荷役作業を行う施設内の複数個所に設置されていてもよい。また、記憶部28が記憶する施設の地図情報に基づいて予め生成された施設仮想空間上では、現実世界におけるマーカ91の設置位置90と対応する位置92にその位置がマーカ設置位置であることが分かるような情報が付されている。制御部24は、センサ部21の可視光カメラ等で現実世界のマーカ91を撮影する。マーカ91には、例えば、その位置の位置情報が含まれていて、制御部24は、センサ部21が撮影した画像からマーカ91の設置位置90の位置情報を読み取る。制御部24は、施設仮想空間における位置92と読み取った位置情報を対応付ける。これにより、施設仮想空間と現実世界の位置合わせを行う。また、制御部24は、GNSS30aが測位した車体10の位置情報と、車体10が存在する位置に対応する施設仮想空間上の位置とを対応付け、さらに車体10と運転者100の相対的な位置関係を算出することにより、施設仮想空間と現実世界の位置合わせを行ってもよい。例えば、制御部24は、現在の位置でGNSS30aが測位した位置情報を取得し、取得した位置情報と施設仮想空間における当該位置情報に対応する座標位置とを対応付ける。ここで、施設仮想空間の座標は、現実世界に合わせて構築されており、施設仮想空間の任意の座標位置は、現実世界の経緯度と対応している。したがって、GNSS30aが測位した現実世界の車体10の位置情報(経緯度)を施設仮想空間の対応する座標位置と対応付けることで車体10と施設仮想空間の位置合わせを行うことができる。さらに、制御部24は、例えば、ステップS1で算出した運転者100とフォークリフト1の位置関係に基づいて、車体10のGNSS30aが搭載された位置と運転者100の相対的な位置関係を算出し、算出した相対的な位置関係を使って、運転者100の位置情報(経緯度)を算出する。運転者100の経緯度を算出すると、車体10の場合と同様にして施設仮想空間における運転者100の座標位置を算出することができる。例えば、制御部24は、GNSS30aから位置情報を取得する度に運転者100の経緯度を算出し、その都度、施設仮想空間における運転者100の座標位置を算出する。このようにして、制御部24は、GNSS30aによって得られた位置情報を用いて、施設仮想空間と現実世界の位置合わせを行う。位置合わせを行った結果、施設仮想空間上の目標位置に目標設置範囲302を配置することで、現実世界でも目標位置に目標設置範囲302が表示される。ARグラスには、周囲の環境を認識し、周囲環境の地図情報を作成して仮想空間を生成する機能が備わっており、フォークリフト1などの大型車の場合、ある範囲内(例えば、運転席やフォークリフト1周辺)に配置した仮想オブジェクトと運転者100の位置関係は自動認識して仮想空間内の適切な範囲に物体を表示することができるが、その範囲外となると、正確な位置関係を再現できなくなることがある。例えば、運転席のハンドル付近に仮想オブジェクトを配置し、運転者100がハンドルに顔を近づけると、仮想オブジェクトは、運転者100の顔近くに存在するように表示される。しかし、フォークリフト1の前方10mの位置に仮想オブジェクトを配置し、その仮想オブジェクトに向かってフォークリフト1を移動させても、フォークリフト1の移動に伴って、10m先の仮想オブジェクトも一緒に移動してしまうようなことが起こる。これに対し、本実施形態では、フォークリフト1周辺の仮想空間(車両仮想空間)とそれよりも外の範囲の仮想空間(施設仮想空間)を用意し、運転者100との位置関係に基づいて、それぞれの仮想空間内に仮想オブジェクトの所望の位置に仮想オブジェクトを配置することで、現実世界の所望の位置に仮想オブジェクトが表示されるように工夫している。
【0038】
位置合わせが完了すると、運転者100は、フォークリフト1を運転して、コンテナ300をフォーク12に積載する。すると、目標位置取得部26は、目標位置を取得する(ステップS3)。制御部24は、コンテナ300の目標位置に対応する施設仮想空間上の位置を目標位置として設定する。また、荷物サイズ取得部27は、コンテナ300のサイズを取得する(ステップS4)。また、制御部24は、送受信部23を通じてGNSS30aが測位したフォークリフト1の位置情報を取得する(ステップS5)。フォークリフト1の位置情報を取得すると、制御部24は、ステップS1で求めた運転者100とフォークリフト1の位置関係を用いて、フォークリフト1の現在位置を運転者100の現在位置に補正して、補正後の運転者100の現在位置に対応する施設仮想空間上の位置を、運転者100の現在位置として設定する。次に表示判定部25は、上記の(A)~(C)の方法により、仮想オブジェクト(例えば、予想設置範囲301、目標設置範囲302、仮想オブジェクト303)ごとに表示条件を満たすかどうかを判定する。表示条件を満たす場合(ステップS6;Yes)、制御部24は、表示条件を満たす仮想オブジェクトを表示し(ステップS7)、表示条件を満たさない場合(ステップS6;No)、制御部24は、表示条件を満たさない仮想オブジェクトを非表示とする(ステップS8)。例えば、フォークリフト1と目標位置が離れている場合、制御部24は、目標設置範囲302と仮想オブジェクト303を表示し、予想設置範囲301を非表示とする。例えば、フォークリフト1と目標位置が所定の距離内に近づくと、制御部24は、予想設置範囲301と目標設置範囲302を表示し、予想設置範囲301を非表示とする。具体的には、制御部24は、フォークリフト1と運転者100の位置関係と、フォークリフト1の位置情報と、目標位置とに基づいて、現実世界の運転者100から見たコンテナ300を設置する目標範囲を算出し、施設仮想空間上の運転者100から見える同じ範囲に目標設置範囲302を配置する。また、制御部24は、フォークリフト1と運転者100の位置関係と、フォークリフト1がコンテナ300を保持する位置(例えば、
図3AのL3)の位置情報と、コンテナ300のサイズの情報から、現実世界の運転者100から見たコンテナ300をそのまま降ろしたときに荷物が占めると予想される範囲を算出し、車両仮想空間上の運転者100から見える同じ範囲に予想設置範囲301を配置する。
【0039】
次に制御部24は、荷下ろし補助システム200による予想設置範囲301等の表示を行う機能を終了するかどうかを判定する(ステップS9)。例えば、運転者100が、当該機能を終了する操作を行った場合には、制御部24は、予想設置範囲301等を表示する機能を終了すると判定し、そうでない場合には、終了しないと判定する。終了しないと判定した場合(ステップS9;No)、ステップS5以降の処理を繰り返し行う。一方、終了すると判定した場合(ステップS9;Yes)、
図8の処理フローを終了する。
【0040】
なお、上記の実施形態では、荷下ろし補助システム200をフォークリフト1に適用する場合を例に説明を行ったが、荷下ろし補助システム200は、例えば、ショベルカー、ブルドーザー、クレーン車、リーチスタッカーなどのフォークリフト以外の産業車両にも適用することができる。フォークリフト1のフォーク12、ショベルカーのブームやバケット、ブルドーザーのバケットやアーム、クレーン車のブーム、ジブ、フックなどは産業車両が備える作業装置の一例である。また、それら作業装置が搬送等するコンテナ、土砂、ガレキ等の物体は、荷物の一例である。
【0041】
(効果)
本実施形態によれば、運転者にARグラス(表示装置20)を装着させ、仮想区間上(車両仮想空間および施設仮想空間)に予想設置範囲301と目標設置範囲302を表示する。これにより、運転者100は、コンテナ300の高さにかかわらず、そのままコンテナ300を降ろした場合の予測設置範囲と、目標とするコンテナ300の設置範囲を確認しながら、コンテナ300を降ろす作業を行うことができる。また、ARグラスを用いて現実世界と重畳して予想設置範囲301等を表示することで、運転者100は、運転席のモニター等を確認する必要が無く、自然な視線のまま予想設置範囲301や目標設置範囲302を確認することができる。
【0042】
図10は、実施形態に係る荷下ろし補助システムのハードウェア構成の一例を示す図である。コンピュータ900は、CPU901、主記憶装置902、補助記憶装置903、入出力インタフェース904、通信インタフェース905を備える。
上述の表示装置20、管理システム40は、コンピュータ900に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、当該プログラムに従って上記処理を実行する。また、CPU901は、プログラムに従って、記憶領域を主記憶装置902に確保する。また、CPU901は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置903に確保する。
【0043】
表示装置20、管理システム40の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、CD、DVD、USB等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ900に配信される場合、配信を受けたコンピュータ900が当該プログラムを主記憶装置902に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0044】
以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0045】
<付記>
各実施形態に記載の表示装置、荷下ろし補助システム、産業車両、制御方法及びプログラムは、例えば以下のように把握される。
【0046】
(1)第1の態様に係る表示装置は、人の頭部に装着する表示装置であって、画像データを表示することが可能な透過的な表示部と、産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得する目標位置取得部と、前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得する位置情報取得部と、前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示する制御部と、を備える。
産業車両から荷物を降ろすときの荷物の予測設置範囲と、目標とする目標設置範囲を表示することにより、荷下ろし作業を支援することができる。
【0047】
(2)第2の態様に係る表示装置は、(1)の表示装置であって、前記制御部は、前記産業車両と前記搬送先の距離が所定の範囲内となると前記画像データを表示する。
荷下ろしを行う場面になると、画像データを表示することで、運転者の視界の邪魔になることを防ぐことができる。
【0048】
(3)第3の態様に係る表示装置は、(1)~(2)の表示装置であって、前記制御部は、前記産業車両に前記荷物が積載されると前記画像データを表示する。
これにより、荷物を搬送しない場面では、画像データを非表示とすることができる。これにより、運転者の視界の邪魔になることを防ぐことができる。
【0049】
(4)第4の態様に係る表示装置は、(1)~(3)の表示装置であって、前記制御部は、前記産業車両が備える作業装置によって保持された前記荷物の底面が地面と水平になると、前記画像データを表示する。
荷物を降ろすときには、チルトしていたマストを垂直に戻して荷物を降ろす。この状態になったときに画像データを表示することで、それまでの作業中に運転者の視界の邪魔になることを防ぐことができる。
【0050】
(5)第5の態様に係る表示装置は、(1)~(4)の表示装置であって、前記制御部は、前記画像データの表示と非表示を切り替える指示を受け付ける仮想的な操作部を表示し、前記操作部に対する前記人の操作に基づいて、前記画像データの表示と非表示を切り替える。
これにより、運転者の邪魔になる場面では画像データの表示を行わないよう制御することができる。
【0051】
(6)第6の態様に係る表示装置は、(1)~(5)の表示装置であって、前記制御部は、前記画像データを表示しない場合、前記搬送先の位置を案内する第二の画像データを表示する。
荷物を降ろす場面でなくても、目標位置を案内する表示を行うことで、運転者は、目標値に向かって産業車両を運転することができる。
【0052】
(7)第7の態様に係る表示装置は、(1)~(6)の表示装置であって、前記荷物のサイズを推定するサイズ推定部、をさらに備え、前記制御部は、推定されたサイズに基づいて、前記目標設置範囲を算出する。
これにより、荷物サイズに応じた目標設置範囲を算出することができる。
【0053】
(8)第8の態様に係る表示装置は、(1)~(7)の表示装置であって、前記荷物のサイズを推定するサイズ推定部、をさらに備え、前記制御部は、推定されたサイズに基づいて、前記目標設置範囲を算出する。
これにより、荷物サイズに応じた目標設置範囲を算出することができる。
【0054】
(9)第9の態様に係る荷下ろし補助システムは、前記産業車両又は前記産業車両に搭乗する前記人の位置情報を測位する測位装置と、(1)~(8)の表示装置を備える。
【0055】
(10)第10の態様に係る産業車両は、(9)の荷下ろし補助システムを備える。
【0056】
(11)第11の態様に係る制御方法は、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置の制御方法であって、産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得するステップと、前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得するステップと、前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示するステップと、を有する。
【0057】
(12)第12の態様に係るプログラムは、画像データを表示することが可能な透過的な表示部を有する、人の頭部に装着する表示装置のコンピュータを、産業車両が搬送する荷物の搬送先の位置情報である目標位置情報を取得する手段、前記産業車両又は前記産業車両に搭乗する前記人の位置情報である車両位置情報を取得する手段、前記産業車両に搭乗する前記人と前記産業車両との位置関係の情報、前記車両位置情報および前記目標位置情報に基づく前記人から見た前記荷物の目標設置範囲と、前記位置関係の情報、前記産業車両が前記荷物を保持する位置の情報および前記荷物の大きさの情報に基づく前記人から見た、前記産業車両から前記荷物を降ろしたときの前記荷物の予想設置範囲と、を含む前記画像データを、前記表示部を透過して見える現実世界における前記目標設置範囲に、前記画像データに含まれる前記目標設置範囲が重畳するように表示する手段、として機能させる。
【符号の説明】
【0058】
1・・・フォークリフト
10・・・車体
11・・・荷役装置
12・・・フォーク
13・・・マスト
14・・・傾斜センサ
15・・・荷重センサ
20・・・表示装置
21・・・センサ部
22・・・表示部
23・・・送受信部
24・・・制御部
25・・・表示判定部
26・・・目標位置取得部
27・・・荷物サイズ取得部
28・・・記憶部
30、30a、30b・・・測位装置(GNSS)
40・・・管理システム
100・・・運転者
200・・・荷下ろし補助システム
900・・・コンピュータ
901・・・CPU
902・・・主記憶装置
903・・・補助記憶装置
904・・・入出力インタフェース
905・・・通信インタフェース