知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024033761
(43)【公開日】2024-03-13
(54)【発明の名称】荷役車両を制御するためのシステム、方法、及び荷役車両
(51)【国際特許分類】
B66F 9/24 20060101AFI20240306BHJP
【ＦＩ】
B66F9/24 L
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022137563
(22)【出願日】2022-08-31
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】野寄 敬博
(72)【発明者】
【氏名】山代 学
【テーマコード（参考）】
3F333
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333FA36
3F333FD13
3F333FD14
3F333FE05
3F333FE09
(57)【要約】
【課題】荷役車両が荷役作業を行う際に、目標とする対象とその他の対象とを区別して確認できる荷役車両を制御するためのシステム、方法、及び荷役車両を提供すること。
【解決手段】フォークリフト１は、フォークリフト１に取り付けられ、フォークリフト１の周辺に存在する物体を検出する３次元センサ５１と、フォークリフト１に取り付けられ、フォークリフト１の周辺に存在する物体を撮像するカメラ５２と、３次元センサ５１から物体検出データを取得可能なコントローラ６０と、表示装置２６とを備える。コントローラ６０は、３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部６６と、カメラ５２によって撮像された画像を表示装置２６に表示させる表示制御部６９と、を備える。表示制御部６９は、識別部６６の識別結果に基づいて、識別された対象を示す情報画像を表示装置２６に表示させる。
【選択図】図３
【解決手段】フォークリフト１は、フォークリフト１に取り付けられ、フォークリフト１の周辺に存在する物体を検出する３次元センサ５１と、フォークリフト１に取り付けられ、フォークリフト１の周辺に存在する物体を撮像するカメラ５２と、３次元センサ５１から物体検出データを取得可能なコントローラ６０と、表示装置２６とを備える。コントローラ６０は、３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部６６と、カメラ５２によって撮像された画像を表示装置２６に表示させる表示制御部６９と、を備える。表示制御部６９は、識別部６６の識別結果に基づいて、識別された対象を示す情報画像を表示装置２６に表示させる。
【選択図】図３
【特許請求の範囲】
【請求項1】
荷役車両を制御するためのシステムであって、
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を検出する物体検出センサと、
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を撮像するカメラと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
表示装置と、
を備え、
前記コントローラは、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部と、
前記カメラによって撮像された画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記識別部の識別結果に基づいて、識別された対象を示す情報画像を前記表示装置に表示させる、
システム。
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を検出する物体検出センサと、
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を撮像するカメラと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
表示装置と、
を備え、
前記コントローラは、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部と、
前記カメラによって撮像された画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記識別部の識別結果に基づいて、識別された対象を示す情報画像を前記表示装置に表示させる、
システム。
【請求項2】
前記荷役車両のオペレータによって操作される操作部を備え、
前記コントローラは、前記操作部からの操作信号に基づいて、前記識別部によって識別されている対象を荷役作業を行う目標として決定する決定部を備え、
前記表示制御部は、前記決定部によって前記対象が荷役作業を行う目標として決定された場合、前記情報画像の態様を変更する、
請求項１に記載のシステム。
前記コントローラは、前記操作部からの操作信号に基づいて、前記識別部によって識別されている対象を荷役作業を行う目標として決定する決定部を備え、
前記表示制御部は、前記決定部によって前記対象が荷役作業を行う目標として決定された場合、前記情報画像の態様を変更する、
請求項１に記載のシステム。
【請求項3】
前記表示制御部は、
前記カメラによって撮影された前記画像上の前記対象の位置に、前記情報画像を重畳して前記表示装置に表示させる、
請求項１または２に記載のシステム。
前記カメラによって撮影された前記画像上の前記対象の位置に、前記情報画像を重畳して前記表示装置に表示させる、
請求項１または２に記載のシステム。
【請求項4】
前記表示制御部は、
前記識別部によって対象が識別された場合、識別された前記対象を示す第１態様の情報画像を前記表示装置に表示させ、
前記決定部によって前記対象が荷役作業を行う目標として決定された場合、決定された前記対象を示す、前記第１態様と異なる第２態様の情報画像を、前記表示装置に表示させる、
請求項２に記載のシステム。
前記識別部によって対象が識別された場合、識別された前記対象を示す第１態様の情報画像を前記表示装置に表示させ、
前記決定部によって前記対象が荷役作業を行う目標として決定された場合、決定された前記対象を示す、前記第１態様と異なる第２態様の情報画像を、前記表示装置に表示させる、
請求項２に記載のシステム。
【請求項5】
前記第１態様の情報画像及び前記第２態様の情報画像は、前記対象を表す枠線である、
請求項４に記載のシステム。
請求項４に記載のシステム。
【請求項6】
前記第１態様と前記第２態様とは、前記枠線の色、線種、太さの少なくともいずれかが異なる、
請求項５に記載のシステム。
請求項５に記載のシステム。
【請求項7】
荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を検出する物体検出センサと、
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を撮像するカメラと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
表示装置と、
を備えた荷役車両を制御するための方法であって、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する物体から対象を識別し、
前記カメラによって撮像された画像を前記表示装置に表示させ、
識別結果に基づいて、識別された前記対象を示す情報画像を前記表示装置に表示させる、
方法。
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を撮像するカメラと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
表示装置と、
を備えた荷役車両を制御するための方法であって、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する物体から対象を識別し、
前記カメラによって撮像された画像を前記表示装置に表示させ、
識別結果に基づいて、識別された前記対象を示す情報画像を前記表示装置に表示させる、
方法。
【請求項8】
前記荷役車両のオペレータによって操作される操作部からの操作信号に基づいて、識別されている対象を荷役作業を行う目標として決定し、
前記対象が荷役作業を行う目標として決定された場合、前記情報画像の態様を変更する、
請求項７に記載の方法。
前記対象が荷役作業を行う目標として決定された場合、前記情報画像の態様を変更する、
請求項７に記載の方法。
【請求項9】
荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を検出する物体検出センサと、
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を撮像するカメラと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
表示装置と、
を備え、
前記コントローラは、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部と、
前記カメラによって撮像された画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記識別部の識別結果に基づいて、識別された対象を示す情報画像を前記表示装置に表示させる、
荷役車両。
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を撮像するカメラと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
表示装置と、
を備え、
前記コントローラは、
前記物体検出センサからの前記物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部と、
前記カメラによって撮像された画像を前記表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、前記識別部の識別結果に基づいて、識別された対象を示す情報画像を前記表示装置に表示させる、
荷役車両。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、荷役車両を制御するためのシステム、方法、及び荷役車両に関する。
【背景技術】
【0002】
荷役車両に係る技術分野において、フォークリフトの作業を効率的に行うための配車システムが知られている（例えば、特許文献１参照）。特許文献１では、フォークリフトには、カメラと表示装置が搭載され、表示装置にはカメラが撮像した画面が表示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－１５６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
荷役車両が荷役作業を行う作業エリア内には、荷役作業の対象が複数存在する場合がある。このため、荷役作業を行う際に、目標とする対象とその他の対象を区別して確認できることが望まれる。
【0005】
本開示の態様は、荷役車両が荷役作業を行う際に、目標とする対象とその他の対象とを区別して確認できる荷役車両を制御するためのシステム、方法、及び、荷役車両を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を撮像するカメラと、物体検出センサから物体検出データを取得可能なコントローラと、表示装置と、を備える荷役車両を制御するためのシステムが提供される。コントローラは、物体検出センサからの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部と、カメラによって撮像された画像を表示装置に表示させる表示制御部と、を備える。表示制御部は、識別部の識別結果に基づいて、識別された対象を示す情報画像を表示装置に表示させる。
【0007】
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を撮像するカメラと、物体検出センサから物体検出データを取得可能なコントローラと、表示装置と、を備えた荷役車両を制御するための方法が提供される。第１のステップは、物体検出センサからの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する。第２のステップは、カメラによって撮像された画像を表示装置に表示させる。第３のステップは、識別結果に基づいて、識別された対象を示す情報画像を表示装置に表示させる。
【0008】
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を撮像するカメラと、物体検出センサから物体検出データを取得可能なコントローラと、表示装置と、を備える荷役車両が提供される。コントローラは、物体検出センサからの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部と、カメラによって撮像された画像を表示装置に表示させる表示制御部と、を備える。表示制御部は、識別部の識別結果に基づいて、識別された対象を示す情報画像を表示装置に表示させる。
【発明の効果】
【0009】
本開示の態様によれば、荷役車両が荷役作業を行う際に、目標とする対象とその他の対象とを区別して確認できる荷役車両を制御するためのシステム、方法、及び、荷役車両が提供される。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0012】
実施形態においては、左、右、前、後、上、及び下の用語を用いて各部の位置関係について説明する。これらの用語は、荷役車両に規定された車体座標系の原点を基準とする相対位置又は方向を示す。
【0013】
＜荷役車両＞
荷役車両１は、荷役車両１の作業現場において、荷役車両１の周辺に存在する物体から対象を識別する。本実施形態においては、荷役車両１を適宜、フォークリフト１、と称する。なお、荷役車両は特に限定されるものではなく、例えば、フォークアタッチメントを取り付け可能なホイールローダであってもよい。
荷役車両１は、荷役車両１の作業現場において、荷役車両１の周辺に存在する物体から対象を識別する。本実施形態においては、荷役車両１を適宜、フォークリフト１、と称する。なお、荷役車両は特に限定されるものではなく、例えば、フォークアタッチメントを取り付け可能なホイールローダであってもよい。
【0014】
フォークリフト１は、運搬物の荷取り作業及び荷置き作業等の荷役作業を行う。フォークリフト１は、例えば、地面上に置かれた運搬物を取り上げる荷取り作業を行う。フォークリフト１は、例えば、他の運搬物の上段に積まれた運搬物を取り上げる荷取り作業を行う。フォークリフト１は、例えば、フォーク１３で取り上げた運搬物を荷置きスペースに取りおろす荷置き作業を行う。フォークリフト１は、例えば、フォーク１３で取り上げた運搬物を貨物車両の荷台上に取りおろす荷置き作業を行う。フォークリフト１は、例えば、フォーク１３で取り上げた運搬物を地面上に置かれた他の運搬物の上段に取りおろす荷置き作業を行う。
【0015】
対象とは、フォークリフト１の荷役対象である。本実施形態では、対象は、例えば、運搬物、運搬物を載置可能な荷置きスペース、又は、貨物車両の荷台である。
【0016】
本実施形態では、運搬物は、荷物を積載する荷役台や容器である。運搬物は、例えば、パレットやスキッド、コンテナである。運搬物は、フォーク挿し込み穴を備える。
【0017】
フォークリフト１は、荷取り作業及び荷置き作業の際に、対象(運搬物、荷置きスペース、又は、貨物車両の荷台)を識別して、フォークリフト１を当該対象に対して自動で正対するように操舵制御が行われる（自動制御機能）。
【0018】
自動制御機能では、フォークリフト１のステアリング操作又は作業機操作の少なくともいずれか一方が自動制御される。本実施形態では、オペレータは、フォークリフト１のアクセル操作を行う。本実施形態では、自動制御開始エリアまで、言い換えると、対象が識別されるまでは、フォークリフト１は、オペレータの操作によりマニュアルで移動する。
【0019】
＜フォークリフトの全体構成＞
図１は、実施形態に係るフォークリフト１を左前方斜め上側から見た斜視図である。フォークリフト１は、車体１０と、動力源２１と、車体１０の前方に配置される作業機２と、車体１０を支持する走行装置と、運転室２０とを備える。動力源２１は、図示しない油圧ポンプを駆動する。動力源２１は、例えば、エンジンである。
図１は、実施形態に係るフォークリフト１を左前方斜め上側から見た斜視図である。フォークリフト１は、車体１０と、動力源２１と、車体１０の前方に配置される作業機２と、車体１０を支持する走行装置と、運転室２０とを備える。動力源２１は、図示しない油圧ポンプを駆動する。動力源２１は、例えば、エンジンである。
【0020】
車体１０の前方には、運搬物を取り上げるための作業機２が設置されている。作業機２は、マスト１４と、支持部１３１と、フォーク１３と、リフトシリンダ１５と、チルトシリンダ１６と、サイドシフトシリンダ１７とを有する。マスト１４は、左右軸回りに回転可能に車体１０の前方に取り付けられている。マスト１４は、車体１０に対して前傾姿勢又は後傾姿勢をとることが可能である。支持部１３１は、マスト１４に支持される。支持部１３１は、マスト１４に沿って上下方向に移動可能である。フォーク１３は、支持部１３１を介してマスト１４に支持されている。フォーク１３は、マスト１４に沿って昇降する。
【0021】
リフトシリンダ１５は、車体１０に対してフォーク１３を上下方向に移動させる。チルトシリンダ１６は、車体１０に対してマスト１４を前後方向に傾斜させる。サイドシフトシリンダ１７は、車体１０に対してフォーク１３を左右方向に移動させる。
【0022】
リフトシリンダ１５は、マスト１４と支持部１３１との間に配置される。リフトシリンダ１５は、支持部１３１を上下方向に移動することにより、フォーク１３を上下方向に移動させる。支持部１３１とフォーク１３とは、上下方向に一緒に移動する。支持部１３１とフォーク１３とは、マスト１４に沿って上下方向に移動する。チルトシリンダ１６は、車体１０とマスト１４との間に配置される。チルトシリンダ１６は、マスト１４を前後方向に傾斜させることにより、フォーク１４を前後方向に傾斜させる。
【0023】
走行装置は、フォークリフト１を走行させる。走行装置は、フォークリフト１の進行、制動、及び操舵を行う。進行とは、フォークリフト１が前進又は後進することをいう。制動とは、フォークリフト１が減速又は停止することをいう。操舵とは、フォークリフト１の走行方向が変更されることをいう。走行装置は、前輪１１と、後輪１２と、走行モータ２２と、図示しないブレーキ装置と、ステアリングシリンダ１８とを有する。
【0024】
前輪１１及び後輪１２のそれぞれは、車体１０を支持する。前輪１１の少なくとも一部は、車体１０よりも下方に配置される。後輪１２の少なくとも一部は、車体１０よりも下方に配置される。前輪１１は、後輪１２よりも前方に配置される。前輪１１は、車体１０の左側及び右側のそれぞれに配置される。後輪１２は、車体１０の左側及び右側のそれぞれに配置される。前輪１１及び後輪１２のそれぞれは、回転軸を中心に回転可能である。
【0025】
走行モータ２２は、フォークリフト１を進行させるための駆動力を発生する。走行モータ２２は、前輪１１を回転させることによって、フォークリフト１を前進又は後進させる。走行モータ２２は、図示しない油圧ポンプから吐出される作動油によって駆動する。前輪１１は、走行モータ２２が発生する回転力により回転する駆動輪である。ブレーキ装置は、フォークリフト１を制動させる。
【0026】
ステアリングシリンダ１８は、フォークリフト１を操舵する。ステアリングシリンダ１８は、後輪１２を操舵することによって、フォークリフト１の走行方向を変更させる。後輪１２は、ステアリングシリンダ１８により操舵される操舵輪である。ステアリングシリンダ１８は、ステアリング制御弁２４を介して供給される作動油によって動作する。
【0027】
表示装置２６は、運転室２０に配置されている。表示装置２６は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。表示装置２６は、コントローラ６０から送信された画像を表示する。
【0028】
操作部２７は、フォークリフト１のオペレータによって操作される。操作部２７は、運転室２０の運転席の周辺に配置される。操作部２７に対して行われた操作は、操作信号（オペレータ指令）としてコントローラ６０によって取得される。操作部２７は、複数のボタン、レバー、スイッチ等を含んでもよい。
【0029】
操作部２７は、例えば、自動制御機能の許可操作を受け付ける。操作部２７は、例えば、自動制御機能の許可操作を受け付け可能なボタン、レバー、スイッチ等である。自動制御機能が許可されている間、対象の識別処理が実行される。
【0030】
操作部２７は、識別部６６によって対象が識別された場合、識別された対象を荷役作業を行う目標として決定する自動制御開始操作を受け付ける。自動制御開始操作が受け付けられると、そのときに識別されている対象が自動制御機能の対象として決定される。自動制御が開始されると、決定された対象に対する荷役作業のために、フォークリフト１のステアリング操作又は作業機操作の少なくともいずれか一方が自動制御される。
【0031】
運転室２０の前方には、ステアリングホイール３１が配置される。オペレータは、手でステアリングホイール３１を操作して、フォークリフト１を操舵する。
【0032】
フォークリフト１は、作業機レバー３２、前後進切替レバー３３、アクセルペダル３４、車速センサ３５、ステアリング角センサ３６、及び、作業機負荷センサ３７を備える。作業機レバー３２は、フォークリフト１のフォーク１３を操作するための操作用の部材である。前後進切替レバー３３は、フォークリフト１の進行方向を前方又は後方のいずれか一方に切り替えるための操作用の部材である。アクセルペダル３４は、フォークリフト１の走行速度を変更するための操作用の部材である。
【0033】
車速センサ３５は、フォークリフト１の車速を検出する。車速センサ３５は、検出した車速データをコントローラ６０へ送信する。
【0034】
ステアリング角センサ３６は、フォークリフト１のステアリング角を検出する。ステアリング角センサ３６は、検出したステアリング角度データをコントローラ６０へ送信する。
【0035】
作業機負荷センサ３７は、作業機２にかかる負荷を検出する。作業機負荷センサ３７は、例えば、作業機２の少なくとも一部に配置された歪ゲージやロードセル等の荷重測定デバイスである。作業機負荷センサ３７により検出された負荷データは、コントローラ６０へ出力される。なお、作業機２にかかる負荷は、例えば、リフトシリンダ１５を駆動させる圧油の圧力を検出する油圧センサを用いて検出してもよい。この場合、運搬物がフォーク１３によって支持されている状態と支持されていない状態とで、作業機２に掛かる負荷が変化する。作業機負荷センサ３７は、作業機２に掛かる負荷の変化を検出する。
【0036】
＜３次元センサ及びカメラ＞
フォークリフト１は、３次元センサ５１、カメラ５２及びコントローラ６０を備える。３次元センサ５１、カメラ５２及びコントローラ６０は、無線又は有線によりデータを通信可能に接続されている。
フォークリフト１は、３次元センサ５１、カメラ５２及びコントローラ６０を備える。３次元センサ５１、カメラ５２及びコントローラ６０は、無線又は有線によりデータを通信可能に接続されている。
【0037】
３次元センサ５１及びカメラ５２は、１組としてフォークリフト１に取り付けられている。本実施形態では、フォークリフト１には、４組の３次元センサ５１及びカメラ５２が配置されている。なお、３次元センサ５１及びカメラ５２の数は特に限定されるものではなく、例えば、フォークリフト１に２つの３次元センサ５１が配置されていてもよいし、４つ以上のカメラ５２が配置されていてもよい。
【0038】
３次元センサ５１は、物体の３次元データを取得する。物体の３次元データは、物体の表面に規定される複数の検出点からなる点群を含む。点群は、３次元センサ５１と物体の表面に規定される複数の検出点のそれぞれとの相対距離及び相対位置を示す。３次元センサ５１として、レーザ光を射出することにより物体を検出するレーザセンサ（ＬｉＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元センサ５１は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）でもよい。
【0039】
３次元センサ５１は、フォークリフト１の周辺に存在する物体を検出する物体検出センサである。３次元センサ５１は、フォークリフト１の周辺の対象を検出可能である。３次元センサ５１は、検出した物体検出データをコントローラ６０へ送信する。３次元センサ５１は、例えば、数１０［ｍ］程度の範囲を検出可能である。３次元センサ５１は、フォークリフト１に複数が配置されている。３次元センサ５１の少なくとも１つは、運搬物を識別するために、運搬物のフォーク挿し込み穴と近い高さに配置されている。３次元センサ５１の少なくとも１つは、例えば、地面上又は貨物車両の荷台上に配置された運搬物のフォーク挿し込み穴と近い高さに配置される。本実施形態では、３次元センサ５１は、３次元センサ５１１、３次元センサ５１２、３次元センサ５１３、及び３次元センサ５１４を備える。３次元センサ５１１、３次元センサ５１２、３次元センサ５１３、及び３次元センサ５１４の区別を特に要しない場合、単に３次元センサ５１という。３次元センサ５１は、検出した物体検出データをコントローラ６０へ送信する。
【0040】
３次元センサ５１１は、フォークリフト１の前方の右側方を検出する。３次元センサ５１１は、前輪１１の上方に位置するフェンダ１９Ｒより上方に配置されている。３次元センサ５１１は、運転室２０の前下方の右側方に配置されている。本実施形態では、３次元センサ５１１は、カメラ５２１の下方に配置されている。
【0041】
３次元センサ５１２は、フォークリフト１の前方の左側方を検出する。３次元センサ５１２は、前輪１１の上方に位置するフェンダ１９Ｌより上方に配置されている。３次元センサ５１２は、運転室２０の前下方の左側方に配置されている。本実施形態では、３次元センサ５１２は、カメラ５２２の下方に配置されている。
【0042】
３次元センサ５１３は、フォークリフト１の積荷時に、フォークリフト１の前方を検出する。３次元センサ５１３は、フォークリフト１の積荷時に、フォーク１３上の積荷によって前方の検出範囲が遮られない位置に配置されている。３次元センサ５１３は、前輪１１の上方に位置するフェンダ１９Ｌ上に配置されている。本実施形態では、３次元センサ５１３は、カメラ５２３の下方に配置されている。
【0043】
３次元センサ５１４は、フォークリフト１の空荷時に、フォークリフト１の前方中央の下方を検出する。３次元センサ５１４は、フォークリフト１の空荷時に、フォーク１３によって前方の検出範囲が遮られない位置に配置されている。３次元センサ５１４は、フォークリフト１の空荷時に、地面等に置かれた運搬物のフォーク挿し込み穴、又は、他の運搬物の上段に積まれた運搬物のフォーク挿し込み穴を検出可能な位置に配置されている。３次元センサ５１４は、車体１０の前方中央部の下方に配置されている。３次元センサ５１４は、フォーク１３の後部に配置され車体１０に対してフォーク１３を支持する支持部１３１の中央部の下方に配置されている。３次元センサ５１４は、フォーク１３とともに昇降する。本実施形態では、３次元センサ５１４は、カメラ５２４の下方に配置されている。
【0044】
図２－１は、実施形態に係る３次元センサの取付位置及び指向方向を示す概略図である。図２－１に示す例では、フォークリフト１の右側に、フォークリフト１から近い順に運搬物２０１Ｒ、運搬物２０２Ｒ及び運搬物２０３Ｒが配置されている。フォークリフト１の左側に、フォークリフト１から近い順に運搬物２０１Ｌ、運搬物２０２Ｌ及び運搬物２０３Ｌが配置されている。符号１０１は、３次元センサ５１１の指向方向及び検出範囲を模式的に示す。符号１０２は、３次元センサ５１２の指向方向及び検出範囲を模式的に示す。符号１０３は、３次元センサ５１３の指向方向及び検出範囲を模式的に示す。符号１０４は、３次元センサ５１４の指向方向及び検出範囲を模式的に示す。フォークリフト１は、３次元センサ５１は、３次元センサ５１１、３次元センサ５１２、３次元センサ５１３、及び３次元センサ５１４によりフォークリフト１の前方の全方位を検出可能である。
【0045】
図２－２は、実施形態に係るフォークリフトの積荷時の３次元センサの取付位置及び指向方向を示す概略図である。図２－２は、３次元センサ５１３の取付位置及び指向方向を示す。図２－２に示すように、フォークリフト１の積荷時、３次元センサ５１３の検出範囲は、運搬物２００によって遮られない。フォークリフト１の積荷時、フォークリフト１は、３次元センサ５１３により前方が検出可能である。
【0046】
図２－３は、実施形態に係るフォークリフトの空荷時の３次元センサの取付位置及び指向方向を示す概略図である。図２－３は、３次元センサ５１４の取付位置及び指向方向を示す。図２－３の左側の図に示すように、フォークリフト１の空荷時、フォーク１３が下げられている状態では、２段積みの運搬物２００の下段の運搬物２００の下方が、３次元センサ５１４の検出範囲に含まれる。図２－３の右側の図に示すように、フォークリフト１の空荷時、フォーク１３が持ち上げられた状態では、２段積みの運搬物２００の上段の運搬物２００の下方が、３次元センサ５１４の検出範囲に含まれる。フォークリフト１の空荷時、フォークリフト１は、３次元センサ５１４により前方が検出可能である。
【0047】
カメラ５２は、フォークリフト１の周辺に存在する物体を撮像する。本実施形態では、カメラ５２は、単眼のカメラである。カメラ５２は、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。カメラ５２によって撮像された画像は、フレームレートに応じて、単位時間あたりに複数の画像を含む。
【0048】
カメラ５２は、フォークリフト１の周辺の画像を撮像可能である。カメラ５２は、例えば、数１０［ｍ］程度の範囲を撮像可能である。カメラ５２は、フォークリフト１に複数が配置されている。カメラ５２の少なくとも１つは、運搬物を識別するために、運搬物のフォーク挿し込み穴と近い高さに配置されている。カメラ５２の少なくとも１つは、例えば、地面上又は貨物車両の荷台上に配置された運搬物のフォーク挿し込み穴と近い高さに配置される。本実施形態では、カメラ５２は、カメラ５２１、カメラ５２２、カメラ５２３、及びカメラ５２４を備える。カメラ５２１、カメラ５２２、カメラ５２３、及びカメラ５２４の区別を特に要しない場合、単にカメラ５２という。カメラ５２は、撮像した画像データを物体検出データとしてコントローラ６０へ送信する。
【0049】
カメラ５２１は、フォークリフト１の前方の右側方を撮像する。カメラ５２１は、フェンダ１９Ｒより上方に配置されている。カメラ５２１は、運転室２０の前下方の右側方に配置されている。本実施形態では、カメラ５２１は、３次元センサ５１１の上方に配置されている。
【0050】
カメラ５２２は、フォークリフト１の前方の左側方を撮像する。カメラ５２２は、フェンダ１９Ｌより上方に配置されている。カメラ５２２は、運転室２０の前下方の左側方に配置されている。本実施形態では、カメラ５２２は、３次元センサ５１２の上方に配置されている。
【0051】
カメラ５２３は、フォークリフト１の積荷時に、フォークリフト１の前方を撮像する。カメラ５２３は、フォークリフト１の積荷時に、フォーク１３上の積荷によって前方の撮像範囲が遮られない位置に配置されている。カメラ５２３は、フェンダ１９Ｌ上に配置されている。本実施形態では、カメラ５２３は、３次元センサ５１３の上方に配置されている。
【0052】
カメラ５２４は、フォークリフト１の空荷時に、フォークリフト１の前方中央の下方を撮像する。カメラ５２４は、フォークリフト１の空荷時に、フォーク１３によって前方の撮像範囲が遮られない位置に配置されている。カメラ５２４は、フォークリフト１の空荷時に、地面等に置かれた運搬物のフォーク挿し込み穴、又は、他の運搬物の上段に積まれた運搬物のフォーク挿し込み穴を撮像可能な位置に配置されている。カメラ５２４は、車体１０の前方中央部の下方に配置されている。カメラ５２４は、フォーク１３の後部に配置され車体１０に対してフォーク１３を固定し支持する支持部１３１の中央部の下方に配置されている。カメラ５２４は、フォーク１３とともに昇降する。本実施形態では、カメラ５２４は、３次元センサ５１４の上方に配置されている。
【0053】
＜フォークリフトの制御システム＞
図３は、実施形態に係るフォークリフトの構成の一例を示す機能ブロック図である。フォークリフト１の制御システム７０は、３次元センサ５１と、コントローラ６０とを備える。コントローラ６０は、フォークリフト１の周辺の探索範囲内に存在する物体から対象を識別する。コントローラ６０は、物体検出センサとしての３次元センサ５１から物体検出データを取得可能である。コントローラ６０は、ＣＰＵ（Central Processing Unit）のような数値演算装置（プロセッサ）を含む。
図３は、実施形態に係るフォークリフトの構成の一例を示す機能ブロック図である。フォークリフト１の制御システム７０は、３次元センサ５１と、コントローラ６０とを備える。コントローラ６０は、フォークリフト１の周辺の探索範囲内に存在する物体から対象を識別する。コントローラ６０は、物体検出センサとしての３次元センサ５１から物体検出データを取得可能である。コントローラ６０は、ＣＰＵ（Central Processing Unit）のような数値演算装置（プロセッサ）を含む。
【0054】
図４は、実施形態に係るコンピュータシステムの一例を示すブロック図である。コントローラ６０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵのようなプロセッサ１００１と、ＲＯＭのような不揮発性メモリ及びＲＡＭのような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のコントローラ６０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
【0055】
本実施形態では、コントローラ６０は、センサデータ取得部６１と、画像取得部６２と、記憶部６３と、決定部６４と、識別部６６と、表示制御部６９とを備える。
【0056】
センサデータ取得部６１は、３次元センサ５１から物体検出データを取得する。センサデータ取得部６１が取得した物体検出データは、例えば、複数の検出点からなる点群である。
【0057】
画像取得部６２は、カメラ５２が撮像した画像データを取得する。画像取得部６２が取得した画像データは、フレームごとの画像データである。
【0058】
記憶部６３は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及びハードディスクドライブの少なくとも一つを含む。記憶部６３は、コントローラ６０の処理で使用するデータ等を記憶する。
【0059】
記憶部６３は、対象を識別するための対象辞書データ、及びフォークリフト１の車体座標系の原点を基準とした探索範囲を記憶する。本実施形態では、記憶部６３は、第１探索範囲と、第１探索範囲と異なる第２探索範囲とを記憶する。第１探索範囲と第２探索範囲との区別を特に要しない場合、単に探索範囲という。
【0060】
探索範囲について説明する。フォークリフト１は、対象に正対するための自動操舵制御を行う場合、フォークリフト１の最大曲率等に応じて、切り返しなしで正対できる範囲が限定される。このため、３次元センサ５１で検出できる範囲内の全ての対象を識別した場合、切り返しなしで正対ができない対象が含まれることがあり、自動操舵制御を開始しても正対が困難なおそれがある。また、自動制御機能の実行時、複数の対象が識別された場合、オペレータは、複数の対象から正対したい対象を選択する手間が増える。このように、３次元センサ５１で検出できる範囲内の対象を全て識別することは、処理負荷の増大だけでなく、利便性の低下を招く。そこで、フォークリフト１が対象に対して切り返しなしで正対可能な範囲に応じて探索範囲を限定する。これにより、自動制御機能の実行時の処理負荷の増加を防ぎ、正対できない対象や複数の対象をオペレータに提示しないようにできる。
【0061】
図５は、実施形態に係る対象を探索する第１探索範囲１１０を示す模式図である。第１探索範囲１１０は、フォークリフト１の空荷時に、運搬物２００を探索する探索範囲である。第１探索範囲１１０は、矩形形状である。第１探索範囲１１０は、前後方向と平行な第１辺１１０ａと、左右方向と平行な第２辺１１０ｂを有する。第１探索範囲１１０の第１辺１１０ａの長さは、Ｌｙである。第１探索範囲１１０の第２辺１１０ｂの長さは、Ｌｘである。
【0062】
第１探索範囲１１０は、フォークリフト１が対象に対して切り返しなしで正対できる位置に設定される。本実施形態では、第１探索範囲１１０は、フォークリフト１の車体座標の原点を基準にして、左右方向（図５では左方）に距離Ｒｘ離間した位置に設定される。第１探索範囲１１０は、フォークリフト１の車体座標の原点を基準にして、第１辺１１０ａの中点が前方に距離Ｒｙ離間した位置に設定される。第１探索範囲１１０は、フォークリフト１の車体座標の原点から距離Ｒｘ及び距離Ｒｙ離間した位置と、フォークリフト１近傍側（図５では右側）の第１辺１１０ａと第１辺１１０ａの垂直二等分線との交点の位置とが一致するように設定される。フォークリフト１の車体座標系の原点とは、例えば、前輪１１の回転軸と車体１０の幅方向中心を通る軸の交点である。フォークリフト１は、車体座標系の原点から左右方向に距離Ｒｘ以上、かつ、車体座標の原点から前方に距離Ｒｙ以上離間して位置する対象に対して、切り返しなしで正対可能である。
【0063】
本実施形態においては、第１探索範囲１１０の第１辺１１０ａの長さは、対象である運搬物の正面の幅寸法と等しい。運搬物の正面とは、フォークリフト１が運搬物を取り上げる際に正対する面である。第１探索範囲１１０の第１辺の長さＬｙを運搬物の幅と同じとすることで、前後方向に並んだ複数の運搬物のうち１つの運搬物のみが第１探索範囲に入る。このため、複数の運搬物から１つの運搬物のみを識別することができる。本実施形態においては、第１探索範囲１１０の第２辺１１０ｂの長さは、第１辺よりも長く、第１探索範囲１１０は、長方形状である。
【0064】
図６は、実施形態に係る対象を探索する第２探索範囲１１１を示す模式図である。第２探索範囲１１１は、フォークリフト１の積荷時に、荷置きスペースを探索する探索範囲である。第２探索範囲１１１は、矩形形状である。第２探索範囲１１１は、前後方向と平行な第１辺１１１ａと、左右方向と平行な第２辺１１１ｂを有する。第２探索範囲１１１の第１辺１１１ａの長さは、３Ｌｙ＋２Ｃｙである。第２探索範囲１１１の第２辺１１１ｂの長さは、Ｌｘである。
【0065】
第２探索範囲１１１は、フォークリフト１が対象に対して切り返しなしで正対できる位置に設定される。本実施形態では、第２探索範囲１１１は、フォークリフト１の車体座標の原点を基準にして、左右方向（図６では左方）に距離Ｒｘ離間した位置に設定される。第２探索範囲１１１は、フォークリフト１の車体座標の原点を基準にして、第１辺１１１ａの中点が前方に距離Ｒｙ離間した位置に設定される。第２探索範囲１１１は、フォークリフト１の車体座標の原点から距離Ｒｘ及び距離Ｒｙ離間した位置と、フォークリフト１近傍側（図６では右側）の第１辺１１１ａと第１辺１１１ａの垂直二等分線との交点の位置とが一致するように設定される。
【0066】
本実施形態においては、第２探索範囲１１１の第１辺１１１ａの長さは、第１探索範囲１１０の第１辺１１０ａの長さよりも長い。図６に示す例では、第２探索範囲１１１は、領域Ｃ、領域Ｆ、及び領域Ｂを含む。領域Ｃ、領域Ｆ、及び領域Ｂの前後方向の長さは、Ｌｙである。領域Ｃ、領域Ｆ、及び領域Ｂのそれぞれの前後方向の長さは、第１探索範囲１１０の第１辺１１０ａの長さと等しい。領域Ｃと領域Ｆとの間隔、及び領域Ｆと領域Ｂとの間隔は、Ｃｙである。Ｃｙは、例えば、運搬物を隣接して載置する場合に必要な間隔である。領域Ｃは、図６に示す位置のフォークリフト１が切り返しなしで正対可能な範囲である。領域Ｂは、図６に示す位置のフォークリフト１が切り返しなしで正対可能な範囲よりも前方に位置する。領域Ｂは、領域Ｃよりも前方に位置する。領域Ｆは、図６に示す位置のフォークリフト１が切り返しなしで正対可能な範囲よりも後方に位置する。領域Ｆは、領域Ｃよりも後方に位置する。本実施形態においては、第２探索範囲１１１の第１辺１１１ａの長さは、第２辺１１１ｂよりも長く、第２探索範囲１１１は、長方形状である。
【0067】
識別部６６は、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する。本実施形態では、識別部６６は、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する、決定部６５によって決定された対象を識別する。識別部６６は、例えば、判定部６４によってフォーク１３上に積荷がないと判定された場合、物体検出データから運搬物を識別する。識別部６６は、例えば、判定部６４によってフォーク１３上に積荷があると判定された場合、物体検出データから荷置きスペースを識別する。識別部６６は、例えば、判定部６４によってフォーク１３上に積荷があると判定された場合、物体検出データから貨物車両の荷台を識別する。
【0068】
まず、識別部６６による運搬物の識別について説明する。識別部６６は、物体検出データから、探索範囲内に存在する運搬物を識別する。
【0069】
図７は、実施形態に係る運搬物を識別する方法の一例を示す概略図である。図７に示す運搬物は、例えば、箱形状のパレットである。（ａ１）は、運搬物に３次元センサ５１からレーザ光を照射して得られた物体検出データである点群を示す。（ａ２）は、（ａ１）の点群から推定した平面を網掛けして示す。平面は、点群が示す、３次元センサ５１と物体の表面に規定される複数の検出点のそれぞれとの相対位置に基づいて推定される。推定された平面は、フォークリフト１が運搬物を取り上げる際にフォークリフト１と正対する面である。（ａ３）は、（ａ２）を上下方向視（平面視）に視点を変換した図である。（ａ３）において、（ａ２）で推定した平面を破線で示す。（ａ３）では、（ａ２）で推定した平面より左方に点群が表れている。楕円で囲んだ点群は、（ａ２）で推定した平面を通過した点群を示す。言い換えると、楕円で囲んだ点群は、運搬物のフォーク挿し込み穴を通過した点群である。（ａ４）は、推定した平面と、平面を通過した点群と３次元センサ５１の座標系基準とを結ぶ直線との交点を求めた図である。（ａ５）は、（ａ４）で求めた交点の位置に点群を補完した図である。（ａ６）は、推定した平面を正面から見た二値画像に変換した図である。四角で囲んだ部分は、（ａ５）で補完した点群を示す。識別部６６は、記憶部６３に記憶された対象辞書データを参照して、補完した点群がフォーク挿し込み穴を示す特徴部であるか否かを判定し、運搬物を識別する。
【0070】
例えば、運搬物を一時保管しておく施設では、運搬物が隣接して載置されている。このため、３次元センサ５１の物体検出データである点群から、各運搬物を独立した物体として識別することが難しい。しかしながら、各運搬物に設けられたフォーク挿し込み穴を識別することにより、隣接した運搬物群から１つの運搬物を識別することが可能である。
【0071】
次に、識別部６６による荷置きスペースの識別について説明する。識別部６６は、物体検出センサとしての３次元センサ５１からの物体検出データから、識別された対象を基準として、基準から所定範囲内に存在する所定の大きさの空間を探索し、荷置きスペースを識別する。本実施形態では、識別部６６は、物体検出データから、探索範囲内に存在する運搬物に基づいて、フォークリフト１が取り上げた運搬物を載置可能な荷置きスペースを識別する。より詳しくは、まず、識別部６６は、探索範囲内に存在する運搬物を識別する。そして、識別部６６は、識別した運搬物を基準として、基準の運搬物の周囲に存在する、所定の大きさの空間を探索する。言い換えると、探索部６７は、識別した運搬物の周囲から、他の運搬物を載置可能な大きさの空間を探索する。
【0072】
図８は、実施形態に係る運搬物２００の周囲に存在する荷置きスペースの位置を示す模式図である。運搬物の周囲とは、その運搬物に隣接する位置のことである。図８に示すように、運搬物２００の周囲は、運搬物２００の前方、運搬物２００の後方、運搬物２００の右方、及び運搬物２００の上方である。所定の大きさの空間とは、例えば、運搬物の寸法以上の大きさを有する空間である。識別部６６は、探索範囲内の運搬物を識別し、識別した運搬物の周囲に存在する所定の大きさの空間に基づいて、荷置きスペース１４０を識別する。識別部６６は、第２探索範囲１１１に位置する運搬物２００を基準の運搬物として、第２探索範囲１１１から基準の運搬物２００の周囲に存在する、他の運搬物を載置可能な大きさの空間を探索する。
【0073】
本実施形態では、識別部６６は、３次元センサ５１からの物体検出データを用いて対象の識別を行うが、これに限られない。例えば、他の実施形態においては、識別部６６は、カメラ５２が撮像した撮像画像から特徴量を抽出し、抽出した特徴量と対象辞書データとに基づいて、撮像画像から対象を識別してもよい。対象の識別方法は、例えば、パターンマッチング、機械学習に基づく識別処理を行ってもよい。
【0074】
決定部６４は、操作部２７からの操作信号に基づいて、荷役作業を行う対象を決定する。より詳しくは、決定部６４は、操作部２７によって自動制御開始操作が受け付けられると、そのときに識別部６６によって識別されている対象を荷役作業を行う目標として決定する。
【0075】
表示制御部６９は、表示装置２６に画像を表示させる画像信号を出力する。表示制御部６９は、カメラ５２によって撮像された撮像画像を表示装置２６に表示させる画像信号を出力する。
【0076】
表示制御部６９は、識別部６６の識別結果に基づいて、識別された対象を示す情報画像を表示装置２６に表示させる画像信号を出力する。本実施形態では、表示制御部６９は、識別部６６によって識別された対象を示す情報画像を、カメラ５２によって撮像された撮像画像に重畳して表示させるように画像信号を出力する。より詳しくは、表示制御部６９は、識別部６６の識別結果に基づいて、カメラ５２によって撮像された撮像画像上の対象の位置に、識別部６６によって識別された対象を示す第１態様の情報画像を重畳して表示装置２６に表示させる画像信号を出力する。情報画像は、識別部６６によって識別された対象をオペレータが容易に認識できるための画像である。本実施形態では、情報画像は、対象を表す枠線である。情報画像は、例えば、識別された対象の外形形状を表す形状線や、識別された対象を示唆するマーカー表示であってもよい。
【0077】
表示制御部６９は、例えば、カメラ５２によって撮像された撮像画像に、識別した運搬物を表す第１態様の枠線を重畳して表示装置２６に表示させる画像信号を出力する。表示制御部６９は、例えば、カメラ５２によって撮像された撮像画像に、識別した荷置きスペースを表す第１態様の枠線を重畳して表示装置２６に表示させる画像信号を出力する。
【0078】
表示制御部６９は、識別部６６によって識別されている対象が、決定部６４によって荷役作業を行う目標として決定された場合、情報画像の態様を変更する。本実施形態では、識別部６６によって識別されている対象が、決定部６４によって荷役作業を行う目標として決定された場合、表示制御部６９は、第１態様の情報画像と異なる第２態様の情報画像を重畳して表示装置２６に表示させる。より詳しくは、表示制御部６９は、自動制御開始操作がされた場合、カメラ５２によって撮像された撮像画像上の対象の位置に、荷役作業を行う目標として決定された対象を示す第２態様の枠線を重畳して表示装置６に表示させる。
【0079】
第１態様と第２態様とは、例えば、枠線の色、線種、太さの少なくともいずれかが異なる。第１態様と第２態様とは、オペレータが区別容易に異なる。
【0080】
図９は、実施形態に係る、荷置きスペースを識別した場合における表示装置の表示の一例を示す模式図である。表示装置２６の表示部１６０には、カメラ５２によって撮像された画像に、識別部６６によって識別された荷置きスペースを示す第１態様の枠線１６１Ａを重畳させた画像が表示される。図９に示す枠線１６１Ａは、細い破線である。図９に示すように、撮像画像上の識別された荷置きスペースの位置に枠線１６１Ａを重畳表示させることにより、オペレータは、識別された荷置きスペースを容易に認識することができる。
【0081】
図１０は、実施形態に係る、識別した荷置きスペースが荷役作業を行う目標として決定された場合における表示装置の表示の一例を示す模式図である。表示装置２６の表示部１６０には、カメラ５２によって撮像された画像に、決定部６８によって決定された荷置きスペースを示す第２態様の枠線１６１Ｂを重畳させた画像が表示される。図１０に示す枠線１６１Ｂは、太い実線である。図１０に示すように、撮像画像上の識別された荷置きスペースの位置に枠線１６１Ｂを重畳表示させることにより、オペレータは、荷役作業を行う目標として決定された荷置きスペースを容易に認識することができる。
【0082】
図１１は、実施形態に係る、運搬物を識別した場合における表示装置の表示の一例を示す模式図である。表示装置２６の表示部１６０には、カメラ５２によって撮像された画像に、識別部６６によって識別された運搬物を示す第１態様の枠線１６１Ｃを重畳させた画像が表示される。図１１に示す枠線１６１Ｃは、細い破線である。図１１に示すように、撮像画像上の識別された運搬物の位置に枠線１６１Ｃを重畳表示させることにより、オペレータは、識別された運搬物を容易に認識することができる。
【0083】
図１２は、実施形態に係る、識別した運搬物が荷役作業を行う目標として決定された場合における表示装置の表示の一例を示す模式図である。表示装置２６の表示部１６０には、カメラ５２によって撮像された画像に、決定部６８によって決定された運搬物を示す第２態様の枠線１６１Ｄを重畳させた画像が表示される。図１２に示す枠線１６１Ｄは、太い実線である。図１２に示すように、撮像画像上の識別された運搬物の位置に枠線１６１Ｄを重畳表示させることにより、オペレータは、荷役作業を行う目標として決定された運搬物を容易に認識することができる。
【0084】
本実施形態では、表示制御部６９は、表示装置２６への出力を制御する。表示制御部６９は、表示制御部６９は、図示しないネットワークを介して、表示装置２６へ画像を配信するように制御してもよい。
【0085】
＜コントローラによる処理＞
フォークリフト１の起動中に、対象の識別処理が開始されると、図１３に示す処理が実行される。
フォークリフト１の起動中に、対象の識別処理が開始されると、図１３に示す処理が実行される。
【0086】
＜基本処理＞
図１３は、実施形態に係るフォークリフトの制御方法の処理の一例を示すフローチャートである。コントローラ６０は、対象を探索する（ステップＳＴ１１）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を探索する。探索範囲内から探索する対象は、運搬物、荷置きスペース又は貨物車両の荷台である。コントローラ６０は、ステップＳＴ１２へ進む。
図１３は、実施形態に係るフォークリフトの制御方法の処理の一例を示すフローチャートである。コントローラ６０は、対象を探索する（ステップＳＴ１１）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を探索する。探索範囲内から探索する対象は、運搬物、荷置きスペース又は貨物車両の荷台である。コントローラ６０は、ステップＳＴ１２へ進む。
【0087】
コントローラ６０は、対象が識別されたか否かを判定する（ステップＳＴ１２）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出データから、探索範囲内に存在する運搬物、荷置きスペース又は貨物車両の荷台が識別されたか否かを判定する。コントローラ６０は、識別部６６によって、物体検出データから、探索範囲内に存在する物体から対象が識別された場合（ステップＳＴ１２でＹｅｓ）、ステップＳＴ１３へ進む。この場合、コントローラ６０は、表示制御部６９によって、識別部６６の識別結果に基づいて、カメラ５２によって撮像された画像上の対象の位置に、識別部６６によって識別された対象を示す第１態様の情報画像である枠線１６１Ａを重畳して表示装置２６の表示部１６０に表示させる。コントローラ６０は、識別部６６によって、物体検出データから、探索範囲内に存在する物体から対象が識別されていない場合（ステップＳＴ１２でＮｏ）、ステップＳＴ１１の処理を再度実行する。
【0088】
コントローラ６０は、識別した対象をオペレータが選択したか否かを判定する（ステップＳＴ１３）。より詳しくは、コントローラ６０は、操作部２７からの自動制御開始操作を受信したか否かを判定する。コントローラ６０は、操作部２７からの自動制御開始操作を受信した場合（ステップＳＴ１３でＹｅｓ）、ステップＳＴ１４へ進む。ステップＳＴ１４からステップＳＴ２２処理が、自動制御機能の処理である。コントローラ６０は、操作部２７からの自動制御開始操作を受信しなかった場合（ステップＳＴ１３でＮｏ）、ステップＳＴ１１の処理を再度実行する。
【0089】
コントローラ６０は、選択した対象を荷役作業を行う目標として特定する（ステップＳＴ１４）。より詳しくは、コントローラ６０は、決定部６４によって、自動制御開始操作が受け付けされたときに識別されている対象を荷役作業を行う目標として決定する。そして、コントローラ６０は、表示制御部６９によって、カメラ５２により撮像された画像上の対象の位置に、荷役作業を行う目標として決定された対象を示す第２態様の情報画像である枠線１６１Ｂを重畳して表示装置２６の表示部１６０に表示させる。コントローラ６０は、ステップＳＴ１５へ進む。
【0090】
コントローラ６０は、車体座標系の原点から目標までの距離を検出する（ステップＳＴ１５）。コントローラ６０は、ステップＳＴ１６へ進む。
【0091】
コントローラ６０は、目標までの経路を生成する（ステップＳＴ１６）。コントローラ６０は、ステップＳＴ１７へ進む。
【0092】
コントローラ６０は、経路を追従するように制御する（ステップＳＴ１７）。より詳しくは、コントローラ６０は、経路を追従して走行するようにフォークリフト１を制御する。コントローラ６０は、走行装置を制御する。本実施形態では、コントローラ６０は、ステアリング制御弁２４を介して、ステアリングシリンダ１８を制御する。コントローラ６０は、ステップＳＴ１８へ進む。
【0093】
コントローラ６０は、車両と目標とが正対したか否かを判定する（ステップＳＴ１８）。コントローラ６０は、車両と目標とが正対したと判定する場合（ステップＳＴ１８でＹｅｓ）、ステップＳＴ１９へ進む。コントローラ６０は、車両と目標とが正対したと判定しない場合（ステップＳＴ１８でＮｏ）、ステップＳＴ１７の処理を再度実行する。
【0094】
コントローラ６０は、車体座標系における目標基準点の位置を検出する（ステップＳＴ１９）。より詳しくは、コントローラ６０は、アプローチする対象の基準点である目標基準点の位置を検出する。コントローラ６０は、ステップＳＴ２０へ進む。
【0095】
コントローラ６０は、作業機２の位置を検出する（ステップＳＴ２０）。コントローラ６０は、ステップＳＴ２１へ進む。
【0096】
コントローラ６０は、目標基準点の位置と作業機２の位置とが一致するように作業機２を制御する（ステップＳＴ２１）。より詳しくは、コントローラ６０は、目標基準点の位置に作業機２の位置が一致するように作業機２を制御する。コントローラ６０は、作業機制御弁２３を介して、リフトシリンダ１５、チルトシリンダ１６及びサイドシフトシリンダ１７を制御する。コントローラ６０は、ステップＳＴ２２へ進む。
【0097】
コントローラ６０は、目標基準点の位置と作業機２の位置とが一致したか否かを判定する（ステップＳＴ２２）。コントローラ６０は、目標基準点の位置と作業機２の位置とが一致したと判定する場合（ステップＳＴ２２でＹｅｓ）、処理を終了する。コントローラ６０は、目標基準点の位置と作業機２の位置とが一致していないと判定した場合（ステップＳＴ２２でＹｅｓ）、ステップＳＴ２１の処理を再度実行する。
【0098】
＜効果＞
以上説明したように、本実施形態では、フォークリフト１の周辺に存在する物体を検出する３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別し、識別結果に基づいて、カメラ５２によって撮像された画像に識別された対象を示す情報画像を表示装置２６に表示させる、このように、本実施形態によれば、荷役作業を行うための目標となる対象を決定する際に、オペレータは、識別された対象とその他の対象を区別して確認することができる。
以上説明したように、本実施形態では、フォークリフト１の周辺に存在する物体を検出する３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別し、識別結果に基づいて、カメラ５２によって撮像された画像に識別された対象を示す情報画像を表示装置２６に表示させる、このように、本実施形態によれば、荷役作業を行うための目標となる対象を決定する際に、オペレータは、識別された対象とその他の対象を区別して確認することができる。
【0099】
本実施形態では、荷役作業を行う目標とする対象が決定された場合、決定された対象を示す、第１態様と異なる第２態様の枠線を、決定された対象の位置に重畳して表示装置２６に表示させる。このように、本実施形態によれば、荷役車両が荷役作業を行う目標に対して自動で正対するように自動制御がされる際に、オペレータは、識別された対象が荷役作業を行う目標として決定されたことを確認することができる。
【0100】
本実施形態では、第１態様と第２態様とは、枠線の色、線種、太さの少なくともいずれかが異なる。本実施形態によれば、自動制御開始操作がされた場合、オペレータは、表示装置２６の表示によって、荷役作業を行う目標として決定された対象を容易に認識することができる。
【0101】
＜変形例＞
図１４は、変形例に係る遠隔で操作されるフォークリフトの構成の一例を示す機能ブロック図である。上述の実施形態においては、表示装置２６は、運転室２０に配置されているものとして説明したが、これに限定されない。図１４に示すように、例えば、フォークリフト１から離れた遠隔に位置する監視室等に、遠隔操作装置及び遠隔表示装置を備えてもよい。
図１４は、変形例に係る遠隔で操作されるフォークリフトの構成の一例を示す機能ブロック図である。上述の実施形態においては、表示装置２６は、運転室２０に配置されているものとして説明したが、これに限定されない。図１４に示すように、例えば、フォークリフト１から離れた遠隔に位置する監視室等に、遠隔操作装置及び遠隔表示装置を備えてもよい。
【符号の説明】
【0102】
１…フォークリフト（荷役車両）、１０…車体、１１…前輪、１２…後輪、１３…フォーク、１４…マスト、１５…リフトシリンダ、１６…チルトシリンダ、１７…サイドシフトシリンダ、１８…ステアリングシリンダ、２０…運転室、２１…動力源、２２…走行モータ、２３…作業機制御弁、２４…ステアリング制御弁、２６…表示装置、２７…操作部、３１…ステアリングホイール、３２…作業機レバー、３３…前後進切替レバー、３４…アクセルペダル、３５…車速センサ、３６…ステアリング角センサ、３７…作業機負荷センサ（積荷検出センサ）、５１…３次元センサ（物体検出センサ）、５２…カメラ、６０…コントローラ、６１…センサデータ取得部、６２…画像取得部、６３…記憶部、６４…決定部、６６…識別部、６９…表示制御部。
【図1】
【図2-1】
【図2-2】
【図2-3】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】