知財求人 - 知財ポータルサイト「IP Force」
特開2024-18510荷役車両、荷役車両の制御方法、及び荷役車両の制御システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018510
(43)【公開日】2024-02-08
(54)【発明の名称】荷役車両、荷役車両の制御方法、及び荷役車両の制御システム
(51)【国際特許分類】
B66F 9/24 20060101AFI20240201BHJP
【ＦＩ】
B66F9/24 L
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022121895
(22)【出願日】2022-07-29
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岩永 圭弘
【テーマコード（参考）】
3F333
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333FD14
3F333FE05
(57)【要約】
【課題】荷役作業の対象を適切に識別可能な荷役車両、荷役車両の制御方法、及び荷役車両の制御システムを提供すること。
【解決手段】フォークリフト１は、フォークリフト１に取り付けられ、フォークリフト１の周辺に存在する物体を検出する物体検出センサである３次元センサ５１と、３次元センサ５１から物体検出データを取得可能なコントローラ６０とを備える。コントローラ６０は、フォークリフト１の車体座標系を基準とした探索範囲を記憶する記憶部６３と、３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部６６とを備える。
【選択図】図３
【解決手段】フォークリフト１は、フォークリフト１に取り付けられ、フォークリフト１の周辺に存在する物体を検出する物体検出センサである３次元センサ５１と、３次元センサ５１から物体検出データを取得可能なコントローラ６０とを備える。コントローラ６０は、フォークリフト１の車体座標系を基準とした探索範囲を記憶する記憶部６３と、３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部６６とを備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を検出する物体検出センサと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備え、
前記コントローラは、
前記荷役車両の車体座標系を基準とした探索範囲を記憶する記憶部と、
前記物体検出センサからの前記物体検出データに基づいて、前記探索範囲内に存在する物体から対象を識別する識別部と、
を備える、荷役車両。
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備え、
前記コントローラは、
前記荷役車両の車体座標系を基準とした探索範囲を記憶する記憶部と、
前記物体検出センサからの前記物体検出データに基づいて、前記探索範囲内に存在する物体から対象を識別する識別部と、
を備える、荷役車両。
【請求項2】
前記探索範囲は、
前記荷役車両が前記対象に対して切り返しなしで正対できる位置に設定される、
請求項１に記載の荷役車両。
前記荷役車両が前記対象に対して切り返しなしで正対できる位置に設定される、
請求項１に記載の荷役車両。
【請求項3】
前記荷役車両の作業機の負荷を検出する作業機負荷センサ、
を備え、
前記コントローラは、
前記作業機負荷センサからの負荷データに基づいて、識別する前記対象を決定する決定部、を備え、
前記識別部は、前記物体検出センサからの前記物体検出データに基づいて、前記探索範囲内に存在する、前記決定部によって決定された対象を識別する、
を備える、請求項１に記載の荷役車両。
を備え、
前記コントローラは、
前記作業機負荷センサからの負荷データに基づいて、識別する前記対象を決定する決定部、を備え、
前記識別部は、前記物体検出センサからの前記物体検出データに基づいて、前記探索範囲内に存在する、前記決定部によって決定された対象を識別する、
を備える、請求項１に記載の荷役車両。
【請求項4】
前記コントローラは、
前記作業機負荷センサからの負荷データに基づいて、前記作業機上の積荷の有無を判定する判定部、を備え、
前記決定部は、前記判定部によって前記作業機上に前記積荷がないと判定された場合、運搬物を識別する対象として決定する、
請求項３に記載の荷役車両。
前記作業機負荷センサからの負荷データに基づいて、前記作業機上の積荷の有無を判定する判定部、を備え、
前記決定部は、前記判定部によって前記作業機上に前記積荷がないと判定された場合、運搬物を識別する対象として決定する、
請求項３に記載の荷役車両。
【請求項5】
オペレータによって操作される操作部、
を備え、
前記決定部は、前記作業機上に前記積荷があると判定された場合、前記操作部からの操作信号に基づいて、識別する前記対象を決定する、
請求項４に記載の荷役車両。
を備え、
前記決定部は、前記作業機上に前記積荷があると判定された場合、前記操作部からの操作信号に基づいて、識別する前記対象を決定する、
請求項４に記載の荷役車両。
【請求項6】
前記決定部は、前記作業機上に前記積荷があると判定された場合、荷置きスペースを識別する対象として決定する、
請求項４に記載の荷役車両。
請求項４に記載の荷役車両。
【請求項7】
前記コントローラは、
前記作業機負荷センサからの前記負荷データに基づいて、前記作業機上の積荷の有無を判定する判定部、を備え、
前記識別部は、前記判定部の判定結果に基づいて、前記探索範囲を変化させて前記対象を識別する、
請求項３に記載の荷役車両。
前記作業機負荷センサからの前記負荷データに基づいて、前記作業機上の積荷の有無を判定する判定部、を備え、
前記識別部は、前記判定部の判定結果に基づいて、前記探索範囲を変化させて前記対象を識別する、
請求項３に記載の荷役車両。
【請求項8】
前記記憶部は、第１探索範囲と、前記第１探索範囲と異なる第２探索範囲とを記憶し、
前記識別部は、前記判定部の判定結果に基づいて、前記第１探索範囲と前記第２探索範囲とを切り換えて前記対象を識別する、
請求項７に記載の荷役車両。
前記識別部は、前記判定部の判定結果に基づいて、前記第１探索範囲と前記第２探索範囲とを切り換えて前記対象を識別する、
請求項７に記載の荷役車両。
【請求項9】
前記第１探索範囲は第１辺を有する矩形形状であり、
前記第１探索範囲の前記第１辺の長さは、運搬物の正面の幅寸法に等しく、
前記運搬物の正面は、前記荷役車両が前記運搬物を取り上げる際に正対する面である、
請求項８に記載の荷役車両。
前記第１探索範囲の前記第１辺の長さは、運搬物の正面の幅寸法に等しく、
前記運搬物の正面は、前記荷役車両が前記運搬物を取り上げる際に正対する面である、
請求項８に記載の荷役車両。
【請求項10】
前記第２探索範囲は第１辺を有する矩形形状であり、
前記第２探索範囲の前記第１辺の長さは、運搬物の正面の幅寸法より長く、
前記運搬物の正面は、前記荷役車両が前記運搬物を取り上げる際に正対する面である、
請求項８に記載の荷役車両。
前記第２探索範囲の前記第１辺の長さは、運搬物の正面の幅寸法より長く、
前記運搬物の正面は、前記荷役車両が前記運搬物を取り上げる際に正対する面である、
請求項８に記載の荷役車両。
【請求項11】
前記荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を撮像するカメラと、
表示装置と、
を備え、
前記コントローラは、
前記識別部の識別結果に基づいて、前記カメラによって撮像された撮像画像に、識別した前記対象の位置に前記対象の形状を示す想像線を重畳して前記表示装置に表示させる表示制御部、を備える、
請求項２に記載の荷役車両。
表示装置と、
を備え、
前記コントローラは、
前記識別部の識別結果に基づいて、前記カメラによって撮像された撮像画像に、識別した前記対象の位置に前記対象の形状を示す想像線を重畳して前記表示装置に表示させる表示制御部、を備える、
請求項２に記載の荷役車両。
【請求項12】
荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を検出する物体検出センサと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備えた荷役車両の制御方法であって、
前記荷役車両の車体座標系を基準とした探索範囲を記憶し、
前記物体検出センサから取得した前記物体検出データに基づいて、前記探索範囲内に存在する物体から対象を識別する、
荷役車両の制御方法。
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備えた荷役車両の制御方法であって、
前記荷役車両の車体座標系を基準とした探索範囲を記憶し、
前記物体検出センサから取得した前記物体検出データに基づいて、前記探索範囲内に存在する物体から対象を識別する、
荷役車両の制御方法。
【請求項13】
荷役車両に取り付けられ、前記荷役車両の周辺に存在する物体を検出する物体検出センサと、
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備え、
前記コントローラは、
前記荷役車両の車体座標系を基準とした探索範囲を記憶する記憶部と、
前記物体検出センサからの前記物体検出データに基づいて、前記探索範囲内に存在する物体から対象を識別する識別部と、
を備える、荷役車両の制御システム。
前記物体検出センサから物体検出データを取得可能なコントローラと、
を備え、
前記コントローラは、
前記荷役車両の車体座標系を基準とした探索範囲を記憶する記憶部と、
前記物体検出センサからの前記物体検出データに基づいて、前記探索範囲内に存在する物体から対象を識別する識別部と、
を備える、荷役車両の制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、荷役車両、荷役車両の制御方法、及び荷役車両の制御システムに関する。
【背景技術】
【0002】
荷役車両に係る技術分野において、特許文献１に開示されているような無人フォークリフトが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－２２５４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
荷役車両が行う荷役作業には、車両に配置されたフォークで運搬物を取り上げる荷取り作業と、取り上げた運搬物を所定の位置に置く荷置き作業とがある。荷取り作業を行う際に目標とする対象は、運搬物である。一方、荷置き作業を行う際に目標とする対象は、運搬物を荷置きする荷置きスペースである。しかしながら、荷役作業の種別に関わらず検出範囲内に存在する全ての対象を識別した場合、処理の負荷が増加する。このため、荷役作業を行う際に目標とする対象を適切に識別することが望まれる。
【0005】
本開示の態様は、荷役作業の対象を適切に識別可能な荷役車両、荷役車両の制御方法、及び荷役車両の制御システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、物体検出センサから物体検出データを取得可能なコントローラと、を備える荷役車両が提供される。コントローラは、荷役車両の車体座標系を基準とした探索範囲を記憶する記憶部と、物体検出センサからの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部とを備える。
【0007】
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、物体検出センサから物体検出データを取得可能なコントローラと、を備えた荷役車両の制御方法が提供される。第１のステップは、荷役車両の車体座標系を基準とした探索範囲を記憶する。第２のステップは、物体検出センサから取得した物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する。
【0008】
本開示の態様に従えば、荷役車両に取り付けられ、荷役車両の周辺に存在する物体を検出する物体検出センサと、物体検出センサから物体検出データを取得可能なコントローラと、を備えた荷役車両の制御システムが提供される。コントローラは、荷役車両の車体座標系を基準とした探索範囲を記憶する記憶部と、物体検出センサからの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する識別部とを備える。
【発明の効果】
【0009】
本開示の態様によれば、荷役作業の対象を適切に識別可能な荷役車両、荷役車両の制御方法、及び荷役車両の制御システムが提供される。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0012】
実施形態においては、左、右、前、後、上、及び下の用語を用いて各部の位置関係について説明する。これらの用語は、荷役車両に規定された車体座標系の原点を基準とする相対位置又は方向を示す。
【0013】
＜荷役車両＞
荷役車両１は、荷役車両１の作業現場において、荷役車両１の周辺に存在する物体から対象を識別する。本実施形態においては、荷役車両１を適宜、フォークリフト１、と称する。なお、荷役車両は特に限定されるものではなく、例えば、フォークアタッチメントを取り付け可能なホイールローダであってもよい。
荷役車両１は、荷役車両１の作業現場において、荷役車両１の周辺に存在する物体から対象を識別する。本実施形態においては、荷役車両１を適宜、フォークリフト１、と称する。なお、荷役車両は特に限定されるものではなく、例えば、フォークアタッチメントを取り付け可能なホイールローダであってもよい。
【0014】
フォークリフト１は、運搬物の荷取り作業及び荷置き作業等の荷役作業を行う。フォークリフト１は、例えば、地面上に置かれた運搬物を取り上げる荷取り作業を行う。フォークリフト１は、例えば、他の運搬物の上段に積まれた運搬物を取り上げる荷取り作業を行う。フォークリフト１は、例えば、フォーク１３で取り上げた運搬物を荷置きスペースに取りおろす荷置き作業を行う。フォークリフト１は、例えば、フォーク１３で取り上げた運搬物を貨物車両の荷台上に取りおろす荷置き作業を行う。フォークリフト１は、例えば、フォーク１３で取り上げた運搬物を地面上に置かれた他の運搬物の上段に取りおろす荷置き作業を行う。
【0015】
対象とは、フォークリフト１の荷役対象である。本実施形態では、対象は、例えば、運搬物、運搬物を載置可能な荷置きスペース、又は、貨物車両の荷台である。
【0016】
本実施形態では、運搬物は、荷物を積載する荷役台や容器である。運搬物は、例えば、パレットやスキッド、コンテナである。運搬物は、フォーク挿し込み穴を備える。
【0017】
フォークリフト１は、荷取り作業及び荷置き作業の際に、対象(運搬物、荷置きスペース、又は、貨物車両の荷台)を識別して、フォークリフト１を当該対象に対して自動で正対するように操舵制御が行われる（自動制御機能）。
【0018】
自動制御機能では、フォークリフト１のステアリング操作又は作業機操作の少なくともいずれか一方が自動制御される。本実施形態では、オペレータは、フォークリフト１のアクセル操作を行う。本実施形態では、自動制御開始エリアまで、言い換えると、対象が識別されるまでは、フォークリフト１は、オペレータの操作によりマニュアルで移動する。
【0019】
＜フォークリフトの全体構成＞
図１は、実施形態に係るフォークリフト１を左前方斜め上側から見た斜視図である。フォークリフト１は、車体１０と、動力源２１と、車体１０の前方に配置される作業機２と、車体１０を支持する走行装置と、運転室２０とを備える。動力源２１は、図示しない油圧ポンプを駆動する。動力源２１は、例えばエンジンである。
図１は、実施形態に係るフォークリフト１を左前方斜め上側から見た斜視図である。フォークリフト１は、車体１０と、動力源２１と、車体１０の前方に配置される作業機２と、車体１０を支持する走行装置と、運転室２０とを備える。動力源２１は、図示しない油圧ポンプを駆動する。動力源２１は、例えばエンジンである。
【0020】
車体１０の前方には、運搬物の取り上げるための作業機２が設置されている。作業機２は、マスト１４と、支持部１３１と、フォーク１３と、リフトシリンダ１５と、チルトシリンダ１６と、サイドシフトシリンダ１７とを有する。マスト１４は、左右軸回りに回転可能に車体１０の前方に取り付けられている。マスト１４は、車体１０に対して前傾姿勢又は後傾姿勢をとることが可能である。支持部１３１は、マスト１４に支持される。支持部１３１は、マスト１４に沿って上下方向に移動可能である。フォーク１３は、支持部１３１を介してマスト１４に支持される。フォーク１３は、マスト１４に沿って昇降する。
【0021】
リフトシリンダ１５は、車体１０に対してフォーク１３を上下方向に移動させる。チルトシリンダ１６は、車体１０に対してマスト１４を前後方向に傾斜させる。サイドシフトシリンダ１７は、車体１０に対してフォーク１３を左右方向に移動させる。
【0022】
リフトシリンダ１５は、マスト１４と支持部１３１との間に配置される。リフトシリンダ１５は、支持部１３１を上下方向に移動することにより、フォーク１３を上下方向に移動させる。支持部１３１とフォーク１３とは、上下方向に一緒に移動する。支持部１３１とフォーク１３とは、マスト１４に沿って上下方向に移動する。チルトシリンダ１６は、車体１０とマスト１４との間に配置される。チルトシリンダ１６は、マスト１４を前後方向に傾斜させることにより、フォーク１４を前後方向に傾斜させる。
【0023】
走行装置は、フォークリフト１を走行させる。走行装置は、フォークリフト１の進行、制動、及び操舵を行う。進行とは、フォークリフト１が前進又は後進することをいう。制動とは、フォークリフト１が減速又は停止することをいう。操舵とは、フォークリフト１の走行方向が変更されることをいう。走行装置は、前輪１１と、後輪１２と、走行モータ２２と、図示しないブレーキ装置と、ステアリングシリンダ１８とを有する。
【0024】
前輪１１及び後輪１２のそれぞれは、車体１０を支持する。前輪１１の少なくとも一部は、車体１０よりも下方に配置される。後輪１２の少なくとも一部は、車体１０よりも下方に配置される。前輪１１は、後輪１２よりも前方に配置される。前輪１１は、車体１０の左側及び右側のそれぞれに配置される。後輪１２は、車体１０の左側及び右側のそれぞれに配置される。前輪１１及び後輪１２のそれぞれは、回転軸を中心に回転可能である。
【0025】
走行モータ２２は、フォークリフト１を進行させるための駆動力を発生する。走行モータ２２は、前輪１１を回転させることによって、フォークリフト１を前進又は後進させる。走行モータ２２は、図示しない油圧ポンプから吐出される作動油によって駆動する。前輪１１は、走行モータ２２が発生する回転力により回転する駆動輪である。ブレーキ装置は、フォークリフト１を制動させる。
【0026】
ステアリングシリンダ１８は、フォークリフト１を操舵する。ステアリングシリンダ１８は、後輪１２を操舵することによって、フォークリフト１の走行方向を変更させる。後輪１２は、ステアリングシリンダ１８により操舵される操舵輪である。ステアリングシリンダ１８は、ステアリング制御弁２４を介して供給される作動油によって動作する。
【0027】
表示装置２６は、運転室２０に配置されている。表示装置２６は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。表示装置２６は、コントローラ６０から送信された画像を表示する。
【0028】
操作部２７は、フォークリフト１のオペレータによって操作される。操作部２７は、運転室２０の運転席の周辺に配置される。操作部２７は、例えば、自動制御機能の開始及び終了を切り替える操作を受け付ける。操作部２７は、識別部６６によって対象が識別された場合、対象を自動制御機能の対象として決定する操作を受け付ける。操作部２７に対して行われた操作は、操作信号（オペレータ指令）としてコントローラ６０によって取得される。
【0029】
運転室２０の前方には、ステアリングホイール３１が配置される。オペレータは、手でステアリングホイール３１を操作して、フォークリフト１を操舵する。
【0030】
フォークリフト１は、作業機レバー３２、前後進切替レバー３３、アクセルペダル３４、車速センサ３５、ステアリング角センサ３６、及び、作業機負荷センサ３７を備える。作業機レバー３２は、フォークリフト１のフォーク１３を操作するための操作用の部材である。前後進切替レバー３３は、フォークリフト１の進行方向を前方又は後方のいずれか一方に切り替えるための操作用の部材である。アクセルペダル３４は、フォークリフト１の走行速度を変更するための操作用の部材である。
【0031】
車速センサ３５は、フォークリフト１の車速を検出する。車速センサ３５は、検出した車速データをコントローラ６０へ送信する。
【0032】
ステアリング角センサ３６は、フォークリフト１のステアリング角を検出する。ステアリング角センサ３６は、検出したステアリング角度データをコントローラ６０へ送信する。
【0033】
作業機負荷センサ３７は、作業機２にかかる負荷を検出する。作業機負荷センサ３７は、例えば、作業機２の少なくとも一部に配置された歪ゲージやロードセル等の荷重測定デバイスである。作業機負荷センサ３７により検出された負荷データは、コントローラ６０へ出力される。なお、作業機２にかかる負荷は、例えば、リフトシリンダ１５を駆動させる圧油の圧力を検出する油圧センサを用いて検出してもよい。この場合、運搬物がフォーク１３によって支持されている状態と支持されていない状態とで、作業機２に掛かる負荷が変化する。作業機負荷センサ３７は、作業機２に掛かる負荷の変化を検出する。
【0034】
＜３次元センサ及びカメラ＞
フォークリフト１は、３次元センサ５１、カメラ５２及びコントローラ６０を備える。３次元センサ５１、カメラ５２及びコントローラ６０は、無線又は有線によりデータを通信可能に接続されている。
フォークリフト１は、３次元センサ５１、カメラ５２及びコントローラ６０を備える。３次元センサ５１、カメラ５２及びコントローラ６０は、無線又は有線によりデータを通信可能に接続されている。
【0035】
３次元センサ５１及びカメラ５２は、１組としてフォークリフト１に取り付けられている。本実施形態では、フォークリフト１には、４組の３次元センサ５１及びカメラ５２が配置されている。なお、３次元センサ５１及びカメラ５２の数は特に限定されるものではなく、例えば、フォークリフト１に２つの３次元センサ５１が配置されていてもよいし、４つ以上のカメラ５２が配置されていてもよい。
【0036】
３次元センサ５１は、物体の３次元データを取得する。物体の３次元データは、物体の表面に規定される複数の検出点からなる点群を含む。点群は、３次元センサ５１と物体の表面に規定される複数の検出点のそれぞれとの相対距離及び相対位置を示す。３次元センサ５１として、レーザ光を射出することにより物体を検出するレーザセンサ（ＬｉＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元センサ５１は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）でもよい。
【0037】
３次元センサ５１は、フォークリフト１の周辺に存在する物体を検出する物体検出センサである。３次元センサ５１は、フォークリフト１の周辺の対象を検出可能である。３次元センサ５１は、検出した物体検出データをコントローラ６０へ送信する。３次元センサ５１は、例えば、数１０［ｍ］程度の範囲を検出可能である。３次元センサ５１は、フォークリフト１に複数が配置されている。３次元センサ５１の少なくとも１つは、運搬物を識別するために、運搬物のフォーク挿し込み穴と近い高さに配置されている。３次元センサ５１の少なくとも１つは、例えば、地面上又は貨物車両の荷台上に配置された運搬物のフォーク挿し込み穴と近い高さに配置される。本実施形態では、３次元センサ５１は、３次元センサ５１１、３次元センサ５１２、３次元センサ５１３、及び３次元センサ５１４を備える。３次元センサ５１１、３次元センサ５１２、３次元センサ５１３、及び３次元センサ５１４の区別を特に要しない場合、単に３次元センサ５１という。３次元センサ５１は、検出した物体検出データをコントローラ６０へ送信する。
【0038】
３次元センサ５１１は、フォークリフト１の前方の右側方を検出する。３次元センサ５１１は、前輪１１の上方に位置するフェンダ１９Ｒより上方に配置されている。３次元センサ５１１は、運転室２０の前下方の右側方に配置されている。本実施形態では、３次元センサ５１１は、カメラ５２１の下方に配置されている。
【0039】
３次元センサ５１２は、フォークリフト１の前方の左側方を検出する。３次元センサ５１２は、前輪１１の上方に位置するフェンダ１９Ｌより上方に配置されている。３次元センサ５１２は、運転室２０の前下方の左側方に配置されている。本実施形態では、３次元センサ５１２は、カメラ５２２の下方に配置されている。
【0040】
３次元センサ５１３は、フォークリフト１の積荷時に、フォークリフト１の前方を検出する。３次元センサ５１３は、フォークリフト１の積荷時に、フォーク１３上の積荷によって前方の検出範囲が遮られない位置に配置されている。３次元センサ５１３は、前輪１１の上方に位置するフェンダ１９Ｌ上に配置されている。本実施形態では、３次元センサ５１３は、カメラ５２３の下方に配置されている。
【0041】
３次元センサ５１４は、フォークリフト１の空荷時に、フォークリフト１の前方中央の下方を検出する。３次元センサ５１４は、フォークリフト１の空荷時に、フォーク１３によって前方の検出範囲が遮られない位置に配置されている。３次元センサ５１４は、フォークリフト１の空荷時に、地面等に置かれた運搬物のフォーク挿し込み穴、又は、他の運搬物の上段に積まれた運搬物のフォーク挿し込み穴を検出可能な位置に配置されている。３次元センサ５１４は、車体１０の前方中央部の下方に配置されている。３次元センサ５１４は、フォーク１３の後部に配置され車体１０に対してフォーク１３を支持する支持部１３１の中央部の下方に配置されている。３次元センサ５１４は、フォーク１３とともに昇降する。本実施形態では、３次元センサ５１４は、カメラ５２４の下方に配置されている。
【0042】
図２－１は、実施形態に係る３次元センサの取付位置及び指向方向を示す概略図である。図２－１に示す例では、フォークリフト１の右側に、フォークリフト１から近い順に運搬物２０１Ｒ、運搬物２０２Ｒ及び運搬物２０３Ｒが配置されている。フォークリフト１の左側に、フォークリフト１から近い順に運搬物２０１Ｌ、運搬物２０２Ｌ及び運搬物２０３Ｌが配置されている。符号１０１は、３次元センサ５１１の指向方向及び検出範囲を模式的に示す。符号１０２は、３次元センサ５１２の指向方向及び検出範囲を模式的に示す。符号１０３は、３次元センサ５１３の指向方向及び検出範囲を模式的に示す。符号１０４は、３次元センサ５１４の指向方向及び検出範囲を模式的に示す。フォークリフト１は、３次元センサ５１は、３次元センサ５１１、３次元センサ５１２、３次元センサ５１３、及び３次元センサ５１４によりフォークリフト１の前方の全方位を検出可能である。
【0043】
図２－２は、実施形態に係るフォークリフトの積荷時の３次元センサの取付位置及び指向方向を示す概略図である。図２－２は、３次元センサ５１３の取付位置及び指向方向を示す。図２－２に示すように、フォークリフト１の積荷時、３次元センサ５１３の検出範囲は、運搬物２００によって遮られない。フォークリフト１の積荷時、フォークリフト１は、３次元センサ５１３により前方が検出可能である。
【0044】
図２－３は、実施形態に係るフォークリフトの空荷時の３次元センサの取付位置及び指向方向を示す概略図である。図２－３は、３次元センサ５１４の取付位置及び指向方向を示す。図２－３の左側の図に示すように、フォークリフト１の空荷時、フォーク１３が下げられている状態では、２段積みの運搬物２００の下段の運搬物２００の下方が、３次元センサ５１４の検出範囲に含まれる。図２－３の右側の図に示すように、フォークリフト１の空荷時、フォーク１３が持ち上げられた状態では、２段積みの運搬物２００の上段の運搬物２００の下方が、３次元センサ５１４の検出範囲に含まれる。フォークリフト１の空荷時、フォークリフト１は、３次元センサ５１４により前方が検出可能である。
【0045】
カメラ５２は、フォークリフト１の周辺に存在する物体を撮像する。本実施形態では、カメラ５２は、単眼のカメラである。カメラ５２は、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。カメラ５２によって撮像された画像は、フレームレートに応じて、単位時間あたりに複数の画像を含む。
【0046】
カメラ５２は、フォークリフト１の周辺の画像を撮像可能である。カメラ５２は、例えば、数１０［ｍ］程度の範囲を撮像可能である。カメラ５２は、フォークリフト１に複数が配置されている。カメラ５２の少なくとも１つは、運搬物を識別するために、運搬物のフォーク挿し込み穴と近い高さに配置されている。カメラ５２の少なくとも１つは、例えば、地面上又は貨物車両の荷台上に配置された運搬物のフォーク挿し込み穴と近い高さに配置される。本実施形態では、カメラ５２は、カメラ５２１、カメラ５２２、カメラ５２３、及びカメラ５２４を備える。カメラ５２１、カメラ５２２、カメラ５２３、及びカメラ５２４の区別を特に要しない場合、単にカメラ５２という。カメラ５２は、撮像した画像データを物体検出データとしてコントローラ６０へ送信する。
【0047】
カメラ５２１は、フォークリフト１の前方の右側方を撮像する。カメラ５２１は、フェンダ１９Ｒより上方に配置されている。カメラ５２１は、運転室２０の前下方の右側方に配置されている。本実施形態では、カメラ５２１は、３次元センサ５１１の上方に配置されている。
【0048】
カメラ５２２は、フォークリフト１の前方の左側方を撮像する。カメラ５２２は、フェンダ１９Ｌより上方に配置されている。カメラ５２２は、運転室２０の前下方の左側方に配置されている。本実施形態では、カメラ５２２は、３次元センサ５１２の上方に配置されている。
【0049】
カメラ５２３は、フォークリフト１の積荷時に、フォークリフト１の前方を撮像する。カメラ５２３は、フォークリフト１の積荷時に、フォーク１３上の積荷によって前方の撮像範囲が遮られない位置に配置されている。カメラ５２３は、フェンダ１９Ｌ上に配置されている。本実施形態では、カメラ５２３は、３次元センサ５１３の上方に配置されている。
【0050】
カメラ５２４は、フォークリフト１の空荷時に、フォークリフト１の前方中央の下方を撮像する。カメラ５２４は、フォークリフト１の空荷時に、フォーク１３によって前方の撮像範囲が遮られない位置に配置されている。カメラ５２４は、フォークリフト１の空荷時に、地面等に置かれた運搬物のフォーク挿し込み穴、又は、他の運搬物の上段に積まれた運搬物のフォーク挿し込み穴を撮像可能な位置に配置されている。カメラ５２４は、車体１０の前方中央部の下方に配置されている。カメラ５２４は、フォーク１３の後部に配置され車体１０に対してフォーク１３を固定し支持する支持部１３１の中央部の下方に配置されている。カメラ５２４は、フォーク１３とともに昇降する。本実施形態では、カメラ５２４は、３次元センサ５１４の上方に配置されている。
【0051】
＜フォークリフトの制御システム＞
図３は、実施形態に係るフォークリフトの構成の一例を示す機能ブロック図である。フォークリフト１の制御システム７０は、３次元センサ５１と、コントローラ６０とを備える。コントローラ６０は、フォークリフト１の周辺の探索範囲内に存在する物体から対象を識別する。コントローラ６０は、物体検出センサとしての３次元センサ５１から物体検出データを取得可能である。コントローラ６０は、ＣＰＵ（Central Processing Unit）のような数値演算装置（プロセッサ）を含む。
図３は、実施形態に係るフォークリフトの構成の一例を示す機能ブロック図である。フォークリフト１の制御システム７０は、３次元センサ５１と、コントローラ６０とを備える。コントローラ６０は、フォークリフト１の周辺の探索範囲内に存在する物体から対象を識別する。コントローラ６０は、物体検出センサとしての３次元センサ５１から物体検出データを取得可能である。コントローラ６０は、ＣＰＵ（Central Processing Unit）のような数値演算装置（プロセッサ）を含む。
【0052】
図４は、実施形態に係るコンピュータシステムの一例を示すブロック図である。コントローラ６０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵのようなプロセッサ１００１と、ＲＯＭのような不揮発性メモリ及びＲＡＭのような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のコントローラ６０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
【0053】
本実施形態では、コントローラ６０は、センサデータ取得部６１と、画像取得部６２と、記憶部６３と、判定部６４と、決定部６５と、識別部６６と、表示制御部６９とを備える。判定部６４及び決定部６５は、必須の構成ではない。
【0054】
センサデータ取得部６１は、３次元センサ５１から物体検出データを取得する。センサデータ取得部６１が取得した物体検出データは、例えば、複数の検出点からなる点群である。
【0055】
画像取得部６２は、カメラ５２が撮像した画像の画像データを取得する。画像取得部６２が取得した画像データは、フレームごとの画像データである。
【0056】
記憶部６３は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及びハードディスクドライブの少なくとも一つを含む。記憶部６３は、コントローラ６０の処理で使用するデータ等を記憶する。
【0057】
記憶部６３は、対象を識別するための対象辞書データ、及びフォークリフト１の車体座標系の原点を基準とした探索範囲を記憶する。本実施形態では、記憶部６３は、第１探索範囲と、第１探索範囲と異なる第２探索範囲とを記憶する。第１探索範囲と第２探索範囲との区別を特に要しない場合、単に探索範囲という。
【0058】
探索範囲について説明する。フォークリフト１は、対象に正対するための自動操舵制御を行う場合、フォークリフト１の最大曲率等に応じて、切り返しなしで正対できる範囲が限定される。このため、３次元センサ５１で検出できる範囲内の全ての対象を識別した場合、切り返しなしで正対ができない対象が含まれることがあり、自動操舵制御を開始しても正対が困難なおそれがある。また、自動制御機能の実行時、複数の対象が識別された場合、オペレータは、複数の対象から正対したい対象を選択する手間が増える。このように、３次元センサ５１で検出できる範囲内の対象を全て識別することは、処理負荷の増大だけでなく、利便性の低下を招く。そこで、フォークリフト１が対象に対して切り返しなしで正対可能な範囲に応じて探索範囲を限定する。これにより、自動制御機能の実行時の処理負荷の増加を防ぎ、正対できない対象や複数の対象をオペレータに提示しないようにできる。
【0059】
図５は、実施形態に係る対象を探索する第１探索範囲１１０を示す模式図である。第１探索範囲１１０は、フォークリフト１の空荷時に、運搬物２００を探索する探索範囲である。第１探索範囲１１０は、矩形形状である。第１探索範囲１１０は、前後方向と平行な第１辺１１０ａと、左右方向と平行な第２辺１１０ｂを有する。第１探索範囲の第１辺１１０ａの長さは、Ｌｙである。第１探索範囲１１０の第２辺１１０ｂの長さは、Ｌｘである。
【0060】
第１探索範囲１１０は、フォークリフト１が対象に対して切り返しなしで正対できる位置に設定される。本実施形態では、第１探索範囲１１０は、フォークリフト１の車体座標の原点を基準にして、左右方向（図５では左方）に距離Ｒｘ離間した位置に設定される。第１探索範囲１１０は、フォークリフト１の車体座標の原点を基準にして、第１辺１１０ａの中点が前方に距離Ｒｙ離間した位置に設定される。第１探索範囲１１０は、フォークリフト１の車体座標の原点から距離Ｒｘ及び距離Ｒｙ離間した位置と、フォークリフト１近傍側（図５では右側）の第１辺１１０ａと第１辺１１０ａの垂直二等分線との交点の位置とが一致するように設定される。フォークリフト１の車体座標系の原点とは、例えば、前輪１１の回転軸と車体１０の幅方向中心を通る軸の交点である。フォークリフト１は、車体座標系の原点から左右方向に距離Ｒｘ以上、かつ、車体座標の原点から前方に距離Ｒｙ以上離間して位置する対象に対して、切り返しなしで正対可能である。
【0061】
本実施形態においては、第１探索範囲１１０の第１辺１１０ａの長さは、対象である運搬物の正面の幅寸法と等しい。運搬物の正面とは、フォークリフト１が運搬物を取り上げる際に正対する面である。第１探索範囲１１０の第１辺の長さＬｙを運搬物の幅と同じとすることで、前後方向に並んだ複数の運搬物のうち１つの運搬物のみが第１探索範囲に入る。このため、複数の運搬物から１つの運搬物のみを識別することができる。本実施形態においては、第１探索範囲１１０の第２辺１１０ｂの長さは、第１辺よりも長く、第１探索範囲１１０は、長方形状である。
【0062】
図６は、実施形態に係る対象を探索する第２探索範囲１１１を示す模式図である。第２探索範囲１１１は、フォークリフト１の積荷時に、荷置きスペースを探索する探索範囲である。第２探索範囲１１１は、矩形形状である。第２探索範囲１１１は、前後方向と平行な第１辺１１１ａと、左右方向と平行な第２辺１１１ｂを有する。第２探索範囲１１１の第１辺１１１ａの長さは、３Ｌｙ＋２Ｃｙである。第２探索範囲１１１の第２辺１１１ｂの長さは、Ｌｘである。
【0063】
第２探索範囲１１１は、フォークリフト１が対象に対して切り返しなしで正対できる位置に設定される。本実施形態では、第２探索範囲１１１は、フォークリフト１の車体座標の原点を基準にして、左右方向（図６では左方）に距離Ｒｘ離間した位置に設定される。第２探索範囲１１１は、フォークリフト１の車体座標の原点を基準にして、第１辺１１１ａの中点が前方に距離Ｒｙ離間した位置に設定される。第２探索範囲１１１は、フォークリフト１の車体座標の原点から距離Ｒｘ及び距離Ｒｙ離間した位置と、フォークリフト１近傍側（図６では右側）の第１辺１１１ａと第１辺１１１ａの垂直二等分線との交点の位置とが一致するように設定される。
【0064】
本実施形態においては、第２探索範囲１１１の第１辺１１１ａの長さは、第１探索範囲１１０の第１辺１１０ａの長さよりも長い。図６に示す例では、第２探索範囲１１１は、領域Ｃ、領域Ｆ、及び領域Ｂを含む。領域Ｃ、領域Ｆ、及び領域Ｂの前後方向の長さは、Ｌｙである。領域Ｃ、領域Ｆ、及び領域Ｂのそれぞれの前後方向の長さは、第１探索範囲１１０の第１辺１１０ａの長さと等しい。領域Ｃと領域Ｆとの間隔、及び領域Ｆと領域Ｂとの間隔は、Ｃｙである。Ｃｙは、例えば、運搬物を隣接して載置する場合に必要な間隔である。領域Ｃは、図６に示す位置のフォークリフト１が切り返しなしで正対可能な範囲である。領域Ｂは、図６に示す位置のフォークリフト１が切り返しなしで正対可能な範囲よりも前方に位置する。領域Ｂは、領域Ｃよりも前方に位置する。領域Ｆは、図６に示す位置のフォークリフト１が切り返しなしで正対可能な範囲よりも後方に位置する。領域Ｆは、領域Ｃよりも後方に位置する。本実施形態においては、第２探索範囲１１１の第１辺１１１ａの長さは、第２辺１１１ｂよりも長く、第２探索範囲１１１は、長方形状である。
【0065】
判定部６４は、作業機負荷センサ３７からの負荷データに基づいて、フォーク１３上の積荷の有無を判定する。より詳しくは、判定部６４は、作業機負荷センサ３７からの負荷データから、作業機２にかかる負荷が閾値以上である場合、フォーク１３上に積荷があると判定する。判定部６４は、作業機負荷センサ３７からの負荷データから、フォーク１３にかかる負荷が閾値未満である場合、フォーク１３上に積荷がないと判定する。
【0066】
本実施形態では、判定部６４は、３次元センサ５１４からの物体検出データに基づいて、フォーク１３上の積荷の有無を判定してもよい。より詳しくは、判定部６４は、３次元センサ５１４からの物体検出データが前方１ｍ程度の視界が遮られていることを示す場合、フォーク１３上に積荷があると判定する。判定部６４は、３次元センサ５１４からの物体検出データが前方の視界が遮られていないことを示す場合、フォーク１３上に積荷がないと判定する。
【0067】
決定部６５は、作業機負荷センサ３７からの負荷データに基づいて、識別する対象を決定する。より詳しくは、決定部６５は、判定部６４の判定結果からフォーク１３上に積荷がある場合とない場合とで、識別する対象をそれぞれ決定する。言い換えると、決定部６５は、判定部６４の判定結果から、積荷時と空荷時とで、識別する対象をそれぞれ決定する。
【0068】
本実施形態では、決定部６５は、判定部６４によってフォーク１３上に積荷がないと判定した場合、運搬物を識別する対象として決定してもよい。決定部６５は、判定部６４によってフォーク１３上に積荷がないと判定された場合、運搬物を荷取り作業を自動で行う対象として決定してもよい。
【0069】
本実施形態では、決定部６５は、判定部６４によってフォーク１３上に積荷があると判定した場合、荷置きスペースを識別する対象として決定してもよい。決定部６５は、判定部６４によってフォーク１３上に積荷があると判定した場合、荷置きスペースを荷置き作業を自動で行う対象として決定してもよい。
【0070】
本実施形態では、決定部６５は、判定部６４によってフォーク１３上に積荷があると判定された場合、貨物車両の荷台を識別する対象として決定してもよい。決定部６５は、判定部６４によってフォーク１３上に積荷があると判定した場合、貨物車両の荷台を荷置き作業を自動で行う対象として決定してもよい。
【0071】
本実施形態では、決定部６５は、判定部６４によってフォーク１３上に積荷があると判定された場合、操作部２７からの操作信号に基づいて、識別する対象を決定してもよい。より詳しくは、決定部６５は、判定部６４によってフォーク１３上に積荷があると判定された場合、操作部２７からの操作信号に基づいて、荷置きスペースを荷置き作業を自動で行う対象として決定してもよい。
【0072】
識別部６６は、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する。本実施形態では、識別部６６は、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する、決定部６５によって決定された対象を識別する。識別部６６は、例えば、判定部６４によってフォーク１３上に積荷がないと判定された場合、物体検出データから運搬物を識別する。識別部６６は、例えば、判定部６４によってフォーク１３上に積荷があると判定された場合、物体検出データから荷置きスペースを識別する。識別部６６は、例えば、判定部６４によってフォーク１３上に積荷があると判定された場合、物体検出データから貨物車両の荷台を識別する。
【0073】
まず、識別部６６による運搬物の識別について説明する。識別部６６は、物体検出データから、探索範囲内に存在する運搬物を識別する。
【0074】
図７は、実施形態に係る運搬物を識別する方法の一例を示す概略図である。図７に示す運搬物は、例えば、箱形状のパレットである。（ａ１）は、運搬物に３次元センサ５１からレーザ光を照射して得られた物体検出データである点群を示す。（ａ２）は、（ａ１）の点群から推定した平面を網掛けして示す。平面は、点群が示す、３次元センサ５１と物体の表面に規定される複数の検出点のそれぞれとの相対位置に基づいて推定される。推定された平面は、フォークリフト１が運搬物を取り上げる際にフォークリフト１と正対する面である。（ａ３）は、（ａ２）を上下方向視（平面視）に視点を変換した図である。（ａ３）において、（ａ２）で推定した平面を破線で示す。（ａ３）では、（ａ２）で推定した平面より左方に点群が表れている。楕円で囲んだ点群は、（ａ２）で推定した平面を通過した点群を示す。言い換えると、楕円で囲んだ点群は、運搬物のフォーク挿し込み穴を通過した点群である。（ａ４）は、推定した平面と、平面を通過した点群と３次元センサ５１の座標系基準とを結ぶ直線との交点を求めた図である。（ａ５）は、（ａ４）で求めた交点の位置に点群を補完した図である。（ａ６）は、推定した平面を正面から見た二値画像に変換した図である。四角で囲んだ部分は、（ａ５）で補完した点群を示す。識別部６６は、記憶部６３に記憶された対象辞書データを参照して、補完した点群がフォーク挿し込み穴を示す特徴部であるか否かを判定し、運搬物を識別する。
【0075】
例えば、運搬物を一時保管しておく施設では、運搬物が隣接して載置されている。このため、３次元センサ５１の物体検出データである点群から、各運搬物を独立した物体として識別することが難しい。しかしながら、各運搬物に設けられたフォーク挿し込み穴を識別することにより、隣接した運搬物群から１つの運搬物を識別することが可能である。
【0076】
次に、識別部６６による荷置きスペースの識別について説明する。識別部６６は、物体検出センサとしての３次元センサ５１からの物体検出データから、識別された対象を基準として、基準から所定範囲内に存在する所定の大きさの空間を探索し、荷置きスペースを識別する。本実施形態では、識別部６６は、物体検出データから、探索範囲内に存在する運搬物に基づいて、フォークリフト１が取り上げた運搬物を載置可能な荷置きスペースを識別する。より詳しくは、まず、識別部６６は、探索範囲内に存在する運搬物を識別する。そして、識別部６６は、識別した運搬物を基準として、基準の運搬物の周囲に存在する、所定の大きさの空間を探索する。言い換えると、探索部６７は、識別した運搬物の周囲から、他の運搬物を載置可能な大きさの空間を探索する。
【0077】
図８は、実施形態に係る運搬物２００の周囲に存在する荷置きスペースの位置を示す模式図である。運搬物の周囲とは、その運搬物に隣接する位置のことである。図８に示すように、運搬物２００の周囲は、運搬物２００の前方、運搬物２００の後方、運搬物２００の右方、及び運搬物２００の上方である。所定の大きさの空間とは、例えば、運搬物の寸法以上の大きさを有する空間である。識別部６６は、探索範囲内の運搬物を識別し、識別した運搬物の周囲に存在する所定の大きさの空間に基づいて、荷置きスペース１４０を識別する。識別部６６は、第２探索範囲１１１に位置する運搬物２００を基準の運搬物として、第２探索範囲１１１から基準の運搬物２００の周囲に存在する、他の運搬物を載置可能な大きさの空間を探索する。
【0078】
本実施形態では、識別部６６は、３次元センサ５１からの物体検出データを用いて対象の識別を行うが、これに限られない。例えば、他の実施形態においては、識別部６６は、カメラ５２が撮像した撮像画像から特徴量を抽出し、抽出した特徴量と対象辞書データとに基づいて、撮像画像から対象を識別してもよい。対象の識別方法は、例えば、パターンマッチング、機械学習に基づく識別処理を行ってもよい。
【0079】
本実施形態では、識別部６６は、判定部６４の判定結果に基づいて、探索範囲を変化させて対象を識別してもよい。より詳しくは、識別部６６は、判定部６４の判定結果から積荷がある場合とない場合とで、第１探索範囲と第２探索範囲とを切り換えて対象を識別してもよい。言い換えると、識別部６６は、判定部６４の判定結果から、積荷時と空荷時とで、第１探索範囲と第２探索範囲とを切り換えて対象を識別してもよい。
【0080】
本実施形態では、識別部６６は、判定部６４の判定結果に基づいて、第１探索範囲と第２探索範囲とを切り換えて対象を識別してもよい。より詳しくは、識別部６６は、判定部６４によってフォーク１３上に積荷がないと判定された場合、第１探索範囲内に存在する物体から対象を識別する。識別部６６は、判定部６４によってフォーク１３上に積荷があると判定された場合、第２探索範囲内に存在する物体から対象を識別する。
【0081】
表示制御部６９は、表示装置２６に画像を表示させる画像信号を出力する。本実施形態では、表示制御部６９は、識別部６６によって識別された対象を、カメラ５２によって撮像された撮像画像に重畳して表示させる画像信号を出力する。より詳しくは、表示制御部６９は、識別部６６の識別結果に基づいて、カメラ５２によって撮像された撮像画像に、識別した対象の位置に対象の形状を示す想像線を重畳して表示装置２６に表示させる画像信号を出力する。
【0082】
表示制御部６９は、例えは、カメラ５２によって撮像された撮像画像に、識別した運搬物を示す枠線を重畳して表示装置２６に表示させる画像信号を出力する。表示制御部６９は、例えは、カメラ５２によって撮像された撮像画像に、識別した荷置きスペースに載置される運搬物を示す枠線を重畳して表示装置２６に表示させる画像信号を出力する。
【0083】
図９は、実施形態に係る、運搬物を識別した場合における、表示装置２６の表示の一例を示す模式図である。表示装置２６の表示部１６０には、カメラ５２によって撮像された画像に、識別部６６によって識別された運搬物を示す枠線１５１を重畳させた画像が表示される。図９に示すように、撮像画像の識別された運搬物の位置に枠線１５１を重畳表示させることにより、オペレータは識別された運搬物を認識できる。
【0084】
図１０は、実施形態に係る、荷置きスペースを識別した場合における、表示装置２６の表示の一例を示す模式図である。表示装置２６の表示部１６０には、カメラ５２によって撮像された画像に、識別部６６によって識別された荷置きスペースに取りおろされる運搬物を示す枠線１５２を重畳させた画像が表示される。図１０に示すように、識別された荷置きスペースの位置に枠線１５２を重畳表示させることにより、オペレータは識別された荷置きスペースを認識できる。
【0085】
本実施形態では、表示制御部６９は、表示装置２６への出力を制御する。表示制御部６９は、表示制御部６９は、図示しないネットワークを介して、表示装置２６へ画像を配信するように制御してもよい。
【0086】
【0087】
＜基本処理＞
図１１は、実施形態に係るフォークリフトの制御方法の処理の一例を示すフローチャートである。コントローラ６０は、対象を探索する（ステップＳＴ１１）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を探索する。探索範囲内から探索する対象は、運搬物、荷置きスペース又は貨物車両の荷台である。探索範囲内から探索する対象は、図１２のフローチャートによって切り替えられる。コントローラ６０は、ステップＳＴ１２へ進む。
図１１は、実施形態に係るフォークリフトの制御方法の処理の一例を示すフローチャートである。コントローラ６０は、対象を探索する（ステップＳＴ１１）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を探索する。探索範囲内から探索する対象は、運搬物、荷置きスペース又は貨物車両の荷台である。探索範囲内から探索する対象は、図１２のフローチャートによって切り替えられる。コントローラ６０は、ステップＳＴ１２へ進む。
【0088】
コントローラ６０は、対象が識別されたか否かを判定する（ステップＳＴ１２）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出データから、探索範囲内に存在する運搬物、荷置きスペース又は貨物車両の荷台が識別されたか否かを判定する。コントローラ６０は、識別部６６によって、物体検出データから、探索範囲内に存在する物体から対象が識別された場合（ステップＳＴ１２でＹｅｓ）、ステップＳＴ１３へ進む。コントローラ６０は、識別部６６によって、物体検出データから、探索範囲内に存在する物体から対象が識別されていない場合（ステップＳＴ１２でＮｏ）、ステップＳＴ１１の処理を再度実行する。
【0089】
コントローラ６０は、識別した対象をオペレータが選択したか否かを判定する（ステップＳＴ１３）。より詳しくは、コントローラ６０は、操作部２７からの選択操作を受信したか否かを判定する。コントローラ６０は、操作部２７からの選択操作を受信した場合（ステップＳＴ１３でＹｅｓ）、ステップＳＴ１４へ進む。コントローラ６０は、操作部２７からの選択操作を受信しなかった場合（ステップＳＴ１３でＮｏ）、ステップＳＴ１１の処理を再度実行する。
【0090】
コントローラ６０は、選択した対象を荷役作業を行う目標として特定する（ステップＳＴ１４）。コントローラ６０は、ステップＳＴ１５へ進む。
【0091】
コントローラ６０は、車体座標系の原点から目標までの距離を検出する（ステップＳＴ１５）。コントローラ６０は、ステップＳＴ１６へ進む。
【0092】
コントローラ６０は、目標までの経路を生成する（ステップＳＴ１６）。コントローラ６０は、ステップＳＴ１７へ進む。
【0093】
コントローラ６０は、経路を追従するように制御する（ステップＳＴ１７）。より詳しくは、コントローラ６０は、経路を追従して走行するようにフォークリフト１を制御する。コントローラ６０は、走行装置を制御する。本実施形態では、コントローラ６０は、ステアリング制御弁２４を介して、ステアリングシリンダ１８を制御する。コントローラ６０は、ステップＳＴ１８へ進む。
【0094】
コントローラ６０は、車両と目標とが正対したか否かを判定する（ステップＳＴ１８）。コントローラ６０は、車両と目標とが正対したと判定する場合（ステップＳＴ１８でＹｅｓ）、ステップＳＴ１９へ進む。コントローラ６０は、車両と目標とが正対したと判定しない場合（ステップＳＴ１８でＮｏ）、ステップＳＴ１７の処理を再度実行する。
【0095】
コントローラ６０は、車体座標系における目標基準点の位置を検出する（ステップＳＴ１９）。より詳しくは、コントローラ６０は、アプローチする対象の基準点である目標基準点の位置を検出する。コントローラ６０は、ステップＳＴ２０へ進む。
【0096】
コントローラ６０は、作業機２の位置を検出する（ステップＳＴ２０）。コントローラ６０は、ステップＳＴ２１へ進む。
【0097】
コントローラ６０は、目標基準点の位置と作業機２の位置とが一致するように作業機２を制御する（ステップＳＴ２１）。より詳しくは、コントローラ６０は、目標基準点の位置に作業機２の位置が一致するように作業機２を制御する。コントローラ６０は、作業機制御弁２３を介して、リフトシリンダ１５、チルトシリンダ１６及びサイドシフトシリンダ１７を制御する。コントローラ６０は、ステップＳＴ２２へ進む。
【0098】
コントローラ６０は、目標基準点の位置と作業機２の位置とが一致したか否かを判定する（ステップＳＴ２２）。コントローラ６０は、目標基準点の位置と作業機２の位置とが一致したと判定する場合（ステップＳＴ２２でＹｅｓ）、処理を終了する。コントローラ６０は、目標基準点の位置と作業機２の位置とが一致していないと判定した場合（ステップＳＴ２２でＮｏ）、ステップＳＴ２１の処理を再度実行する。
【0099】
＜識別対象切替処理＞
図１２は、実施形態に係るフォークリフトの制御方法の識別対象切替処理の一例を示すフローチャートである。図１２に示すフローチャートの処理は、図１１に示すフローチャートの実行前に実行される。図１２に示すフローチャートの処理は、識別対象を切り替える処理である。ステップＳＴ４１からステップＳＴ４３の処理は、荷取り制御ロジックである。ステップＳＴ５１からステップＳＴ５７の処理は、荷置き制御ロジックである。
図１２は、実施形態に係るフォークリフトの制御方法の識別対象切替処理の一例を示すフローチャートである。図１２に示すフローチャートの処理は、図１１に示すフローチャートの実行前に実行される。図１２に示すフローチャートの処理は、識別対象を切り替える処理である。ステップＳＴ４１からステップＳＴ４３の処理は、荷取り制御ロジックである。ステップＳＴ５１からステップＳＴ５７の処理は、荷置き制御ロジックである。
【0100】
コントローラ６０は、作業機負荷センサ３７からの検出信号を受信する（ステップＳＴ３１）。より詳しくは、コントローラ６０は、作業機負荷センサ３７から負荷データを受信する。コントローラ６０は、ステップＳＴ３２へ進む。
【0101】
コントローラ６０は、積荷状態か否かを判定する（ステップＳＴ３２）。より詳しくは、コントローラ６０は、判定部６４によって、作業機負荷センサ３７からの負荷データに基づいて、フォーク１３上の積荷の有無を判定する。コントローラ６０は、積荷状態であると判定した場合（ステップＳＴ３２でＹｅｓ）、ステップＳＴ５１へ進む。コントローラ６０は、積荷状態でないと判定した場合（ステップＳＴ３２でＮｏ）、ステップＳＴ４１へ進む。
【0102】
コントローラ６０は、探索範囲内の運搬物を探索する（ステップＳＴ４１）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、第１探索範囲１１０内に存在する運搬物を識別する。コントローラ６０は、ステップＳＴ４２へ進む。
【0103】
コントローラ６０は、探索範囲内の運搬物を識別したか否かを判定する（ステップＳＴ４２）。コントローラ６０は、識別部６６によって、第１探索範囲１１０内に運搬物が識別されたと判定した場合（ステップＳＴ４２でＹｅｓ）、ステップＳＴ４３へ進む。コントローラ６０は、識別部６６によって、第１探索範囲１１０内に運搬物が識別されていないと判定した場合（ステップＳＴ４２でＮｏ）、ステップＳＴ４１の処理を再度実行する。
【0104】
コントローラ６０は、識別された運搬物が荷役作業を行う目標として決定されたか否かを判定する（ステップＳＴ４３）。より詳しくは、コントローラ６０は、操作部２７から、識別した運搬物を荷役作業を行う目標とする決定操作を受信したか否かを判定する。コントローラ６０は、識別した運搬物が荷役作業を行う目標として決定されたと判定した場合（ステップＳＴ４３でＹｅｓ）、ステップＳＴ４４へ進む。コントローラ６０は、識別した運搬物が荷役作業を行う目標として決定されていないと判定した場合（ステップＳＴ４３でＮｏ）、ステップＳＴ４１の処理を再度実行する。
【0105】
コントローラ６０は、荷取り制御に移行する（ステップＳＴ４４）。コントローラ６０は、このフローチャートの処理を終了する。この後、図１１に示すフローチャートのステップＳＴ１２以降の処理が実行される。
【0106】
コントローラ６０は、探索範囲を変更する（ステップＳＴ５１）。より詳しくは、コントローラ６０は、第２探索範囲１１１を探索範囲にする。コントローラ６０は、ステップＳＴ５２へ進む。
【0107】
コントローラ６０は、探索範囲内の運搬物を探索する（ステップＳＴ５２）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、第２探索範囲１１１内に存在する運搬物を探索する。コントローラ６０は、ステップＳＴ５３へ進む。
【0108】
コントローラ６０は、探索範囲内の運搬物を識別したか否かを判定する（ステップＳＴ５３）。コントローラ６０は、識別部６６によって、第２探索範囲１１１内に運搬物が識別されたと判定した場合（ステップＳＴ５３でＹｅｓ）、ステップＳＴ５４へ進む。コントローラ６０は、識別部６６によって、第２探索範囲１１１内に運搬物が識別されていないと判定した場合（ステップＳＴ５３でＮｏ）、ステップＳＴ５２の処理を再度実行する。
【0109】
コントローラ６０は、識別した運搬物の周囲の空間を探索する（ステップＳＴ５４）。より詳しくは、コントローラ６０は、識別部６６によって、物体検出センサとしての３次元センサ５１からの物体検出データに基づいて、ステップＳＴ５２において識別した運搬物の周囲の空間を識別する。コントローラ６０は、ステップＳＴ５５へ進む。
【0110】
コントローラ６０は、所定の大きさの空間を識別したか否かを判定する（ステップＳＴ５５）。より詳しくは、コントローラ６０は、識別部６６によって所定の大きさの空間が識別されたか否かを判定する。コントローラ６０は、所定の大きさの空間が識別されたと判定した場合（ステップＳＴ５５でＹｅｓ）、ステップＳＴ５６へ進む。コントローラ６０は、所定の大きさの空間が識別されていないと判定した場合（ステップＳＴ５５でＮｏ）、ステップＳＴ５２の処理を再度実行する。
【0111】
コントローラ６０は、識別した空間を荷置きスペースとして決定する（ステップＳＴ５６）。より詳しくは、コントローラ６０は、決定部６５によって、識別した空間を荷置きスペースとして決定する。コントローラ６０は、ステップＳＴ５７へ進む。
【0112】
コントローラ６０は、識別した荷置きスペースが荷役作業を行う目標として決定されたか否かを判定する（ステップＳＴ５７）。より詳しくは、コントローラ６０は、操作部２７から、識別した荷置きスペースを荷役作業を行う目標とする決定操作を受信したか否かを判定する。コントローラ６０は、識別した荷置きスペースが荷役作業を行う目標として決定されたと判定した場合（ステップＳＴ５７でＹｅｓ）、ステップＳＴ５８ヘ進む。コントローラ６０は、識別した荷置きスペースが荷役作業を行う目標として決定されていないと判定した場合（ステップＳＴ５７でＮｏ）、ステップＳＴ５２の処理を再度実行する。
【0113】
コントローラ６０は、荷置き制御に移行する（ステップＳＴ５８）。コントローラ６０は、このフローチャートの処理を終了する。この後、図１１に示すフローチャートのステップＳＴ１２以降の処理が実行される。
【0114】
＜効果＞
以上説明したように、本実施形態では、３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する。本実施形態によれば、探索範囲内に限定して識別処理を行うことにより、処理負荷を軽減することができる。
以上説明したように、本実施形態では、３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する物体から対象を識別する。本実施形態によれば、探索範囲内に限定して識別処理を行うことにより、処理負荷を軽減することができる。
【0115】
本実施形態では、フォークリフト１に対する探索範囲の相対的な位置が適切に設定されている。本実施形態では、探索範囲は、フォークリフト１が対象に対して切り返しなしで正対できる位置に設定される。本実施形態によれば、探索範囲から識別された対象は、フォークリフト１が切り返しなしで正対することができるため、利便性の低下を防ぐことができる。
【0116】
本実施形態では、作業機負荷センサ３７からの負荷データに基づいて、識別する対象を決定する。本実施形態では、３次元センサ５１からの物体検出データに基づいて、探索範囲内に存在する、決定された対象を識別する。本実施形態によれば、積荷の検出結果に応じて決定された対象を識別することができる。本実施形態では、オペレータは、識別する対象を決定する操作を行う必要がないので、作業効率を向上することができる。
【0117】
本実施形態では、作業機負荷センサ３７からの負荷データに基づいて、フォーク１３上の積荷の有無を判定する。本実施形態では、フォーク１３上に積荷がないと判定された場合、運搬物を識別する対象として決定することができる。
【0118】
本実施形態では、フォーク１３上に積荷があると判定された場合、オペレータによって操作される操作部２７からの操作信号に基づいて、識別する対象を決定することができる。
【0119】
本実施形態では、フォーク１３上に積荷があると判定された場合、荷置きスペースを識別する対象として決定することができる。
【0120】
本実施形態では、作業機負荷センサ３７からの負荷データに基づいて、フォーク１３上の積荷の有無を判定する。本実施形態では、積荷の有無の判定結果に基づいて、探索範囲を変化させて対象を識別することができる。本実施形態によれば、探索範囲を適切に変化させることができる。
【0121】
本実施形態では、積荷の有無の判定結果に基づいて、第１探索範囲と第２探索範とを切り換えて対象を識別することができる。
【0122】
本実施形態では、第１探索範囲１１０は、前後方向に平行な第１辺１１０ａを有する矩形形状である。第１探索範囲１１０の第１辺１１０ａの長さは、運搬物の正面の幅寸法に等しい。運搬物の正面とは、フォークリフト１が運搬物を取り上げる際に正対する面である。本実施形態は、探索範囲の第１辺１１０ａの長さをフォークリフト１が運搬物を取り上げる際に正対する面の幅と同じとすることにより、運搬物が複数並んでいるときに１つの運搬物のみしか探索範囲に入らない。本実施形態は、運搬物がフォークリフト１の前後方向対して整列している場合は、フォークリフト１に対して手前側の運搬物のみが識別される。本実施形態によれば、運搬物が識別されると、常に荷役作業を行う候補が一意に定まる。本実施形態では、オペレータは、複数の対象からアプローチ先を選択する必要がないので、作業効率が向上する。このように、本実施形態は、自動制御機能の実行時、オペレータが複数の対象から正対したい対象を選択する手間を削減することができる。
【0123】
このように、本実施形態は、処理負荷の増大だけでなく、利便性の低下を抑えることができる。本実施形態は、自動制御機能の実行時の処理負荷の増加を防ぎ、正対できない対象や複数の対象がオペレータに提示されることを抑えることができる。
【0124】
本実施形態では、第２探索範囲１１１は、前後方向と平行な第１辺１１１ａを有する矩形形状であり、第２探索範囲１１１の第１辺１１１ａの長さは、運搬物の正面の幅寸法より長い。運搬物の正面とは、フォークリフト１が運搬物を取り上げる際に正対する面である。本実施形態によれば、第２探索範囲からは、複数の荷置きスペースを識別することができる。
【0125】
本実施形態では、カメラ５２によって撮像された撮像画像に、識別した対象の位置に対象の形状を示す想像線を重畳して表示させることができる。
【0126】
＜変形例＞
図１３は、変形例に係る遠隔で操作されるフォークリフトの構成の一例を示す機能ブロック図である。上述の実施形態においては、表示装置２６は、運転室２０に配置されているものとして説明したが、これに限定されない。図１３に示すように、表示装置２６は、例えば、フォークリフト１から離れた、遠隔に位置する監視室等に配置されていてもよい。
図１３は、変形例に係る遠隔で操作されるフォークリフトの構成の一例を示す機能ブロック図である。上述の実施形態においては、表示装置２６は、運転室２０に配置されているものとして説明したが、これに限定されない。図１３に示すように、表示装置２６は、例えば、フォークリフト１から離れた、遠隔に位置する監視室等に配置されていてもよい。
【0127】
上述の実施形態においては、フォークリフト１の動力源２１がエンジンであることとしたが、エンジンに限定されない。例えば、フォークリフト１の動力源２１は、電力を供給するバッテリであってもよい。この場合、走行モータ２２は、電動モータでもよい。
【0128】
上述の実施形態においては、走行モータ２２がフォークリフト１を進行させるための駆動力を発生するとしたが、これに限定されない。例えば、フォークリフト１は、変速機を備え、変速機を介したエンジンの駆動力によってフォークリフト１を進行させてもよい。この場合、コントローラ６０は、経路を追従して走行するようにエンジンと変速機を制御する。
【0129】
上述の実施形態においては、自動制御機能では、オペレータは、フォークリフト１のアクセル操作を行うこととしたが、これに限定されない。自動制御機能では、コントローラ６０は、フォークリフト１の進行及び制動を制御してもよい。
【0130】
上述の実施形態においては、自動制御開始エリアまで、言い換えると、対象が識別されるまでは、フォークリフト１は、オペレータの操作によりマニュアルで移動するとしたが、これに限定されない。例えば、フォークリフト１は、自車位置を検出するために衛星測位システム（ＧＮＳＳ：Global Navigation Satellite System）等を備え、対象の位置情報を含む地図データと自車位置とを参照しながら目的の対象まで自動で走行してもよい。
【符号の説明】
【0131】
１…フォークリフト（荷役車両）、２…作業機、１０…車体、１１…前輪、１２…後輪、１３…フォーク、１４…マスト、１５…リフトシリンダ、１６…チルトシリンダ、１７…サイドシフトシリンダ、１８…ステアリングシリンダ、１９Ｌ…フェンダ、１９Ｒ…フェンダ、２０…運転室、２１…動力源、２２…走行モータ、２３…作業機制御弁、２４…ステアリング制御弁、２６…表示装置、２７…操作部、３１…ステアリングホイール、３２…作業機レバー、３３…前後進切替レバー、３４…アクセルペダル、３５…車速センサ、３６…ステアリング角センサ、３７…作業機負荷センサ（負荷センサ）、５１…３次元センサ（物体検出センサ）、５２…カメラ、６０…コントローラ、６１…センサデータ取得部、６２…画像取得部、６３…記憶部、６４…判定部、６５…決定部、６６…識別部、６９…表示制御部、７０…制御システム。
【図1】
【図2-1】
【図2-2】
【図2-3】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】