特許 7456368 フォークリフト用作業支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-18

(45)【発行日】2024-03-27

(54)【発明の名称】フォークリフト用作業支援装置

(51)【国際特許分類】

   B66F 9/24 20060101AFI20240319BHJP

   G05D 1/43 20240101ALI20240319BHJP

   H04N 7/18 20060101ALI20240319BHJP

【ＦＩ】

B66F9/24 Z

G05D1/43

H04N7/18 J

【請求項の数】 4

(21)【出願番号】P 2020211798

(22)【出願日】2020-12-21

(65)【公開番号】P2022098320

(43)【公開日】2022-07-01

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】安立 結香子

【審査官】長尾 裕貴

(56)【参考文献】

【文献】特開２０２０－１７２３９６（ＪＰ，Ａ）

【文献】特開２０１３－０８６９５９（ＪＰ，Ａ）

【文献】特開２０１９－１５６６４１（ＪＰ，Ａ）

【文献】特開２０１９－２０４３５３（ＪＰ，Ａ）

【文献】欧州特許出願公開第０２３８５４３５（ＥＰ，Ａ１）

【文献】国際公開第２０１８／０４７４１８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｆ ９／２４

Ｇ０５Ｄ １／４３

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

フォークリフト用作業支援装置であって、
取得部と、識別部と、通知部と、支援部と、を備え、
前記取得部は、フォークリフトに対する搬送物の位置を表すデータを取得し、
前記識別部は、前記データに基づいて選択可能搬送物と、検出搬送物と、を識別し、
前記選択可能搬送物は、前記データに表される前記搬送物のうち、前記フォークリフトのフォークに最も近い搬送物であり、
前記検出搬送物は、前記データに表される前記搬送物のうち、前記選択可能搬送物以外の搬送物であり、
前記通知部は、前記選択可能搬送物をオペレータに通知し、
前記支援部は、前記フォークリフトによる前記選択可能搬送物の荷役作業の支援を行う、フォークリフト用作業支援装置。

【請求項2】

前記データは、カメラの撮影した画像データであり、
前記画像データは、少なくとも１つの前記搬送物を含む、請求項１に記載のフォークリフト用作業支援装置。

【請求項3】

前記画像データを表示する表示部を備え、
前記通知部は、前記表示部を通じて、前記選択可能搬送物と、前記検出搬送物と、を区別可能に表示する、請求項２に記載のフォークリフト用作業支援装置。

【請求項4】

前記オペレータの操作によって前記支援部の動作を開始する開始部を備える、請求項１～請求項３のいずれか一項に記載のフォークリフト用作業支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フォークリフト用作業支援装置に関する。

【背景技術】

【0002】

従来、フォークリフトの荷役作業の支援を行うために、特許文献１のようなフォークリフト用作業支援装置が知られている。特許文献１に記載のフォークリフト用作業支援装置では、搬送物の１つをオペレータが選択することにより、選択された搬送物に対する荷役作業の支援が行われる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２０４３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載のフォークリフト用作業支援装置では、オペレータは、選択肢に含まれる搬送物の中から荷役作業の支援を行う搬送物を自ら識別する必要がある。このような識別作業の煩わしさは、フォークリフトによる荷役作業の作業性の低下を招くおそれがあった。

【課題を解決するための手段】

【0005】

上記課題を解決するフォークリフト用作業支援装置は、フォークリフト用作業支援装置であって、取得部と、識別部と、通知部と、支援部と、を備え、前記取得部は、フォークリフトに対する搬送物の位置を表すデータを取得し、前記識別部は、前記データに基づいて選択可能搬送物と、検出搬送物と、を識別し、前記選択可能搬送物は、前記データに表される前記搬送物のうち、前記フォークリフトのフォークに最も近い搬送物であり、前記検出搬送物は、前記データに表される前記搬送物のうち、前記選択可能搬送物以外の搬送物であり、前記通知部は、前記選択可能搬送物をオペレータに通知し、前記支援部は、前記フォークリフトによる前記選択可能搬送物の荷役作業の支援を行う。

【0006】

これにより、フォークリフト用作業支援装置が、オペレータに代わって当該データから選択可能搬送物と検出搬送物とを識別する。そのため、荷役作業の支援を行う搬送物を識別する作業の煩わしさが軽減される。したがって、フォークリフトによる荷役作業の作業性を向上することができる。

【0007】

上記フォークリフト用作業支援装置では、前記データは、カメラの撮影した画像データであり、前記画像データは、少なくとも１つの前記搬送物を含むもの、であってもよい。
これにより、フォークリフト用作業支援装置は、カメラから取得した画像データに基づいて、選択可能搬送物と検出搬送物とを区別することが可能となる。カメラは、レーダー等の距離センサに比して構成が簡易であり、フォークリフトへの搭載が容易である。したがって、より適用しやすいフォークリフト用作業支援装置を提供することができる。

【0008】

上記フォークリフト用作業支援装置では、前記画像データを表示する表示部を備え、前記通知部は、前記表示部を通じて、前記選択可能搬送物と、前記検出搬送物と、を区別可能に表示する、ものであってもよい。

【0009】

これにより、オペレータは、表示部に表示された画像データを通じて選択可能搬送物と検出搬送物とを区別することができる。したがって、オペレータによる適切な選択可能搬送物か否かの判別を容易にすることができる。

【0010】

上記フォークリフト用作業支援装置では、前記オペレータの操作によって前記支援部の動作を開始する開始部を備える、ものであってもよい。
これにより、オペレータは、開始部を操作することで、任意のタイミングで荷役作業の支援を開始可能となる。したがって、よりオペレータにとって扱いやすい支援装置を提供することができる。

【発明の効果】

【0011】

本発明によれば、フォークリフトによる荷役作業の作業性を向上することができる。

【図面の簡単な説明】

【0012】

【図1】フォークリフト用操作支援システムの全体側面図。

【図2】運転室周辺の図。

【図3】フォークリフト用操作支援装置のハードウェア構成図。

【図4】フォークリフト用作業支援装置の動作の一例を表すフローチャート。

【図5】表示部での表示方法の一例を示す図。

【図6】荷役作業の支援の一例を説明するための図。

【図7】荷役作業の支援の一例を説明するための図。

【発明を実施するための形態】

【0013】

＜構成＞
以下、フォークリフト用作業支援システムに適用されるフォークリフト用作業支援装置の一実施形態について説明する。

【0014】

図１に示すように、フォークリフト用作業支援システム１０は、棚１１と、複数の荷１２と、複数の搬送物１３と、フォークリフト２０を備える。
搬送物１３は、荷１２を積載するものである。本実施形態では、搬送物１３は、二方向差し平パレットであり、パレット穴１４を備える。荷１２及び搬送物１３は、それぞれ棚１１に収容される。

【0015】

本実施形態のフォークリフト２０は、リーチ式である。なお、フォークリフト２０は、カウンタ式であってもよい。以下の説明において、前後左右とは、フォークリフト２０の前後左右である。フォークリフト２０の左右方向とは、フォークリフト２０の車幅方向である。

【0016】

図１、図２及び図３に示すように、フォークリフト２０は、車体２１と、一対のリーチレグ２２と、前輪２３ａと、後輪２３ｂと、荷役装置２４と、運転室２８と、ステアリングテーブル２９と、操作部３０と、駆動機構３６と、荷役機構３７と、カメラ４０と、フォークリフト用作業支援装置４２と、を備える。

【0017】

図１に示すように、一対のリーチレグ２２は、車体２１の前方に向けて延びている。また、各リーチレグ２２は、左右方向に離れて設けられている。前輪２３ａは、各リーチレグ２２に１つずつ設けられている。後輪２３ｂは、車体２１に設けられている。後輪２３ｂは、操舵輪である。また、後輪２３ｂは、駆動輪である。

【0018】

荷役装置２４は、車体２１の前方に設けられている。荷役装置２４は、マスト２５と、リフトブラケット２６と、一対のフォーク２７と、を備える。マスト２５は、リーチレグ２２に対して起立している。リフトブラケット２６は、マスト２５に取り付けられている。フォーク２７は、荷１２及び搬送物１３が積載される荷役具であり、リフトブラケット２６に取り付けられている。フォーク２７は、先端２７ａを備える。先端２７ａは、フォーク２７の最前部に位置する。

【0019】

フォークリフト２０は、搬送物１３の荷役を行う。フォークリフト２０は、作業場に配置される。フォークリフト２０は、作業場において棚１１から離れた場所に位置している。この状態から、オペレータは、フォークリフト２０を棚１１に収容された搬送物１３に近づけてパレット穴１４にフォーク２７を差し込む動作を行わせる。このように、フォークリフト２０は、搬送物１３の荷取りを行うことができる。

【0020】

図１及び図２に示すように、運転室２８は、車体２１の後部に設けられている。ステアリングテーブル２９は、運転室２８よりも前方に位置する。
操作部３０は、オペレータがフォークリフト２０の走行操作又は荷役操作を行うコントローラである。操作部３０は、運転室２８の前方に設けられている。操作部３０は、ディレクションレバー３１と、複数の荷役レバー３２と、ブレーキペダル３４と、を備える。ディレクションレバー３１は、フォークリフト２０の走行操作を行うためのレバーである。荷役レバー３２は、荷役装置２４を動作させるレバーである。ディレクションレバー３１及び複数の荷役レバー３２は、ステアリングテーブル２９に設けられている。ブレーキペダル３４は、運転室２８の前部の床面に配置されている。

【0021】

図３に示すように、駆動機構３６は、フォークリフト２０に走行動作を行わせる機構である。駆動機構３６は、後輪２３ｂを回転させる駆動源、及びフォークリフト２０の操舵を行う操舵機構などを含む。フォークリフト２０は、駆動機構３６を制御することにより、その場旋回可能に構成されている。図１、図６及び図７に示すように、その場旋回時のフォークリフト２０の旋回中心Ｐは、２つの前輪２３ａの間である。また、フォークリフト２０は、駆動機構３６を制御することにより、左右方向へ平行移動可能に構成されている。

【0022】

図３に示すように、荷役機構３７は、フォークリフト２０に荷役動作を行わせる機構である。荷役機構３７は、マスト２５を動作させる油圧シリンダに作動油を供給する荷役ポンプ、荷役ポンプを駆動させる駆動源、作動油の流通を制御するバルブなどを含む。荷役機構３７は、マスト２５をリーチレグ２２に沿って前後移動させるリーチ動作、マスト２５を傾動させるティルト動作、マスト２５を昇降させるリフト動作を荷役装置２４に行わせることができる。荷役動作とは、リーチ動作、ティルト動作、リフト動作のうち、少なくともいずれか１つを含む動作である。

【0023】

図１に示すように、カメラ４０は、ＲＧＢカメラである。カメラ４０は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子を備える。カメラ４０は、フォーク２７の前方を撮影可能に配置されている。具体的には、カメラ４０は、リフトブラケット２６の前下部であって、一対のフォーク２７の間に配置されている。

【0024】

図３に示すように、フォークリフト用作業支援装置４２は、開始部３５と、表示部４１と、制御装置５０と、を備える。開始部３５は、オペレータの操作によりＯＮ／ＯＦＦ可能に構成されている。開始部３５の形態は、レバー、ボタンなど、任意である。図２に示すように、本実施形態では、開始部３５は、操作部３０に、詳細には、ディレクションレバー３１の先端に設けられているボタンである。

【0025】

図２に示すように、表示部４１は、カメラ４０の撮影した画像データを表示するディスプレイである。表示部４１は、オペレータが視認可能な位置に配置されている。具体的には、表示部４１は、運転室２８の前方に配置されている。

【0026】

図３に示すように、制御装置５０は、プロセッサ５１と、記憶部５２と、を備える。プロセッサ５１としては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）が用いられる。記憶部５２は、RAM（Random access memory）及びROM（Read Only Memory）を含む。記憶部５２は、処理をプロセッサ５１に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部５２、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置５０は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である制御装置５０は、コンピュータプログラムに従って動作する１つ以上のプロセッサ５１、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

【0027】

制御装置５０は、画像取得部５３と、第１導出部５４と、第２導出部５５と、抽出部５６と、距離導出部５７と、識別部５８と、通知部５９と、判定部６０と、支援部６１と、を備える。画像取得部５３、第１導出部５４、第２導出部５５、抽出部５６、距離導出部５７、識別部５８、通知部５９、判定部６０、及び支援部６１は、それぞれ制御装置５０の機能部である。制御装置５０が以下の処理を繰り返し行うことにより、フォークリフト用作業支援装置４２はフォークリフト２０の荷役作業の支援を行う。

【0028】

＜作用＞
以下、本実施形態の作用について、制御装置５０の各機能部５３～６１と併せて説明する。

【0029】

図３及び図４に示すように、ステップＳ１０において、画像取得部５３は、カメラ４０の撮影した画像データを取得する。画像データは、少なくとも１つの搬送物１３を含む。詳細には、画像データは、少なくとも１つの搬送物１３の特徴点を含む。なお、特徴点とは、搬送物１３のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検知することができる。

【0030】

次に、ステップＳ１１に進み、第１導出部５４は、画像データからカメラ座標系での各特徴点の座標を導出する。カメラ座標系は、カメラ４０を原点とする座標系である。以下の説明では、カメラ座標系での座標をカメラ座標と称することがある。カメラ座標の導出方法は、任意に選択できる。例えば、第１導出部５４は、画像データに対して深度推定を行うことにより、フォークリフト２０に対する各特徴点の距離を推定する。第１導出部５４は、推定した各特徴点の距離及び各特徴点の画像データ上の座標に基づき、各特徴点のカメラ座標を導出してもよい。画像データ上の座標とは、例えば、ピクセル座標である。深度推定には、例えば、ＳｆＭや深層学習を用いたものが挙げられる。深度推定に用いられる深層学習の方法は任意であるが、例えば、畳み込みニューラルネットワーク（CNN，Convolutional Neural Network）、再帰型ニューラルネットワーク（RNN，Recurrent Neural Network）、変分オートエンコーダ（VAE，Variational Auto-encoder）、又は敵対的生成ネットワーク（GAN，Generative Adversarial Network）などが挙げられる。

【0031】

また、第１導出部５４は、第１時刻ｔ１と第２時刻ｔ２の間のカメラ４０の位置及び姿勢の変化から、各特徴点のカメラ座標を導出してもよい。なお、第１時刻ｔ１と第２時刻ｔ２は、それぞれ異なる時刻である。この場合、フォークリフト２０は、カメラ４０の位置及び姿勢を検出するセンサを備える。第１導出部５４は、センサの取得結果から、両時刻ｔ１，ｔ２の間のカメラ４０の位置及び姿勢の変化を導出する。また、第１導出部５４は、第１時刻ｔ１の画像データ及び第２時刻ｔ２の画像データからそれぞれの特徴点のマッチングを行い、対応する特徴点の画像データ上の座標の変化を導出する。第１導出部５４は、上述したカメラ４０の位置及び姿勢の変化、及び対応する特徴点の画像データ上の座標の変化に基づいて、三角測量により、各特徴点のカメラ座標を導出する。すなわち、第１導出部５４は、第１時刻ｔ１でのカメラ４０と第２時刻ｔ２でのカメラ４０とを１つのステレオカメラとみなして各特徴点のカメラ座標を導出する。

【0032】

次に、ステップＳ１２に進み、第２導出部５５は、実空間上の座標系であるワールド座標系における各特徴点の座標を導出する。以下の説明では、ワールド座標系における座標をワールド座標と称することがある。ワールド座標系は、フォークリフト２０が水平面に位置している状態で水平方向のうちフォークリフト２０の車幅方向に延びる軸をＸ軸、水平方向のうちＸ軸に直交する軸をＹ軸、鉛直方向に延びる軸をＺ軸とする座標系である。図１、図６、及び図７には、Ｘ軸、Ｙ軸及びＺ軸を矢印Ｘ，Ｙ，Ｚで図示している。ワールド座標系の原点は、フォークリフト２０に対する相対位置が一定である任意の点を用いることができる。本実施形態では、ワールド座標系の原点として、旋回中心Ｐを用いる。なお、本実施形態では、フォークリフト２０の位置は、ワールド座標系の原点と同じであるとみなす。各特徴点のワールド座標は、各特徴点のカメラ座標を変換することで導出することができる。

【0033】

次に、ステップＳ１３に進み、抽出部５６は、例えば、特徴点をクラスタ化することで搬送物１３の抽出を行う。抽出部５６は、搬送物１３の一部を表す点である特徴点のうち同一の搬送物１３を表していると想定される特徴点の集合を１つの点群とし、当該点群を搬送物１３として抽出する。抽出部５６は、ステップＳ１２で導出された特徴点のワールド座標から、所定範囲内に位置する特徴点を１つの点群とみなすクラスタ化を行う。抽出部５６は、クラスタ化された点群を１つの搬送物１３とみなし、当該搬送物１３のワールド座標を抽出する。搬送物１３のワールド座標には、クラスタ化された点群のうちの任意の点を用いてもよいし、クラスタ化された点群の重心座標を用いてもよい。なお、ステップＳ１３で行われる特徴点のクラスタ化は、種々の方法で行うことができる。また、抽出部５６は、搬送物１３として抽出された点群から、各パレット穴１４の抽出、クラスタ化を行い、クラスタ化された点群を１つのパレット穴１４とみなしてもよい。

【0034】

搬送物１３のワールド座標は、フォークリフト２０に対する搬送物１３の位置を表す。したがって、フォークリフト用作業支援装置４２は、取得部を備え、取得部は、フォークリフト２０に対する搬送物１３の位置を表すデータとしての画像データを取得するものといえる。本実施形態では、取得部は、画像取得部５３と、第１導出部５４と、第２導出部５５と、抽出部５６と、を備える。

【0035】

また、抽出部５６は、搬送物１３のワールド座標を画像データ上の座標に変換する。これにより、抽出部５６は、画像データ上の搬送物１３の位置を特定する。なお、ワールド座標から画像データ上の座標への変換は、ワールド座標をカメラ座標に変換した後、カメラ座標を画像データ上の座標に変換することにより行われてもよい。

【0036】

次に、ステップＳ１４に進み、距離導出部５７は、クラスタ化された点群の座標に基づき、フォークリフト２０と画像データに表される各搬送物１３との間の距離を導出する。距離としては、マンハッタン距離、ユークリッド距離、及びチェビシェフ距離など、任意の距離を用いることができる。距離導出部５７は、搬送物１３のワールド座標と原点（旋回中心Ｐ）との間の距離を導出することで、搬送物１３とフォークリフト２０との間の距離を導出することができる。また、第１導出部５４が深度推定を行っている場合、クラスタ化された点群の深度から、フォークリフト２０と搬送物１３との間の距離を導出してもよい。

【0037】

次にステップＳ１５に進み、識別部５８は、画像データに基づき選択可能搬送物６２と、検出搬送物６３と、を識別する。なお、選択可能搬送物６２は、画像データに表される搬送物１３のうち、フォークリフト２０のフォーク２７に最も近い搬送物１３である。検出搬送物６３は、画像データに表される搬送物１３のうち、選択可能搬送物６２以外の搬送物１３である。識別部５８は、距離導出部５７が導出した各搬送物１３とフォークリフト２０との間の距離に基づき、各距離を互いに比較する。識別部５８は、比較結果に基づき、最も距離が短い搬送物１３を選択可能搬送物６２であると識別し、選択可能搬送物６２以外の搬送物を検出搬送物６３と識別する。

【0038】

次にステップＳ１６に進み、通知部５９は、選択可能搬送物６２をオペレータに通知する。通知方法は、任意であるが、例えば、音や光などによる通知が挙げられる。図３及び図５に示すように、本実施形態では、通知部５９は、表示部４１を通じて、選択可能搬送物６２と、検出搬送物６３と、を区別可能に表示する。具体的には、通知部５９は、カメラ４０で撮影した画像データを表示部４１に表示する。このとき、通知部５９は、画像データに表される搬送物１３の位置に基づき、表示部４１に表示された画像データ内で、選択可能搬送物６２と検出搬送物６３とをそれぞれ異なる閉じた境界線Ｗ１，Ｗ２で囲う。選択可能搬送物６２を囲う境界線Ｗ１の線の種類、色、太さなどは、検出搬送物６３を囲う境界線Ｗ２のものと異なる。これにより、オペレータは、選択可能搬送物６２と検出搬送物６３とを容易に区別することができる。通知部５９は、所定の更新時間の経過後に、表示部４１の表示内容を更新する。

【0039】

図３及び図４に示すように、次にステップＳ１７に進み、判定部６０は、表示部４１への画像データの表示が完了した後、一定の待ち時間の経過時点で開始部３５がＯＮかＯＦＦかを判定する。開始部３５がＯＮの場合（ＹＥＳの場合）、ステップＳ１８に進み、開始部３５がＯＦＦの場合（ＮＯの場合）、ステップＳ１０に戻る。

【0040】

ステップＳ１８において、支援部６１は、フォークリフト２０による選択可能搬送物６２の荷役作業の支援を行う。したがって、開始部３５は、オペレータの操作によって支援部６１の動作を開始するものである。

【0041】

例えば、支援部６１は、フォークリフト２０と選択可能搬送物６２とが正対状態となるまでの理想的な走行軌跡を表示部４１に表示してもよい。なお、正対状態とは、フォークリフト２０と搬送物１３とが互いに正面で向かい合っている状態、言い換えれば、フォークリフト２０の前後方向とパレット穴１４の延びる方向とが一致している状態である。

【0042】

また、支援部６１は、自動運転により、選択可能搬送物６２が原点（旋回中心Ｐ）と所定距離Ｄとなる位置までフォークリフト２０を案内してもよい。なお、所定距離Ｄは任意に設定可能であるが、旋回中心Ｐからフォーク２７の先端２７ａまでのＸＹ平面における距離Ｒより大きいことが好ましい。これにより、フォークリフト２０と選択可能搬送物６２との位置関係を調整する際、フォークリフト２０がその場旋回するためのスペースを確保することができる。

【0043】

また、図６に示すように、支援部６１は、駆動機構３６を制御することにより、正対状態からの角度ずれ量Δθが所定の許容誤差以内に含まれるように支援を行ってもよい。角度ずれ量Δθは、フォークリフト２０の前後方向とパレット穴１４の延びる方向とのなす角度である。角度ずれ量Δθは、選択可能搬送物６２として抽出された点群から導出することができる。支援部６１は、例えば、フォークリフト２０をその場旋回させることにより、角度ずれ量Δθが最小となるフォークリフト２０の向きを探索することができる。また、本実施形態では、フォークリフト２０の前後方向は、Ｙ方向と一致している。そのため、支援部６１は、フォークリフト２０を旋回させ、選択可能搬送物６２のワールド座標系のＹ座標が最小となるフォークリフト２０の向きを探索することで、角度ずれ量Δθを所定の許容誤差以内に含めるようにしてもよい。

【0044】

また、図７に示すように、支援部６１は、駆動機構３６を制御することにより、フォーク２７の搬送物１３に対する横ずれ量ΔＬを所定の許容誤差以内に減らすよう支援を行ってもよい。横ずれ量ΔＬとは、正対状態における一対のフォーク２７の幅方向の中心と２つのパレット穴１４の中心とのフォーク２７の幅方向のずれである。本実施形態では、横ずれ量ΔＬは、正対状態における２つのパレット穴１４の間同士の中心位置のワールド座標系のＸ座標に相当する。なお、各パレット穴１４のワールド座標は、クラスタ化された各パレット穴１４の点群の位置関係から導出することができる。また、各パレット穴１４のワールド座標は、搬送物１３のワールド座標、及び予め記憶された搬送物１３におけるパレット穴１４の位置に基づき導出することもできる。支援部６１は、フォークリフト２０をＸ方向（左右方向）に平行走行させつつ、２つのパレット穴１４の中点のワールド座標のＸ座標を導出する。支援部６１は、当該Ｘ座標が所定の閾値以下となったときに平行走行を停止することで、横ずれ量ΔＬを所定の許容誤差以内に含めることができる。

【0045】

また、図１に示すように、支援部６１は、荷役機構３７を制御することにより、フォーク２７と選択可能搬送物６２のパレット穴１４との高さずれ量ΔＨが所定の許容誤差以内に含まれるように支援を行ってもよい。なお、高さずれ量ΔＨとは、フォーク２７の高さ位置とパレット穴１４の高さ位置との差である。高さ位置とは、鉛直方向における路面からの距離であり、本実施形態ではワールド座標系におけるＺ座標に相当する。フォーク２７の高さ位置は、予め記憶されているフォーク２７の最低の高さ位置と荷役機構３７の動作量から導出することができる。また、フォーク２７の少なくとも一部が画像データに含まれる場合には、フォーク２７の高さ位置は、画像データからフォーク２７のカメラ座標及びフォーク２７のワールド座標、すなわち、高さ位置を導出することもできる。高さずれ量ΔＨは、抽出部５６が抽出したパレット穴１４のワールド座標及びフォーク２７のワールド座標から導出することができる。

【0046】

また、支援部６１は、角度ずれ量Δθ、横ずれ量ΔＬ及び高さずれ量ΔＨがそれぞれ所定の許容誤差の範囲内に含まれるとき、駆動機構３６及び荷役機構３７を制御することにより、フォーク２７のパレット穴１４への差し込み及び選択可能搬送物６２の荷取りを行ってもよい。なお、上述した支援部６１の動作は、例示に過ぎず、これに限らない。

【0047】

＜効果＞
以下、本実施形態の効果について説明する。
（１）識別部５８は、選択可能搬送物６２と、検出搬送物６３とを識別するように構成されている。これにより、画像データに表される搬送物１３から選択可能搬送物６２を識別するという操作をフォークリフト用作業支援装置４２が行うことにより、オペレータ自らが当該操作を行う必要がなくなる。したがって、荷役作業の支援を行う搬送物１３を識別する煩わしさが軽減され、フォークリフト２０による荷役作業の作業性を向上することができる。

【0048】

（２）取得部の取得するデータは、カメラ４０の撮影した画像データである。これにより、フォークリフト用作業支援装置４２を適用するに際し、カメラ４０とは別にミリ波レーダー等の距離センサを設けなくてもよい。したがって、より導入しやすいフォークリフト用作業支援装置４２を提供することができる。

【0049】

（３）表示部４１は、選択可能搬送物６２と検出搬送物６３とを区別可能に表示している。これにより、表示部４１を介して、オペレータが選択可能搬送物６２と検出搬送物６３とを視覚的に判別することが可能となる。したがって、搬送予定の搬送物１３と選択可能搬送物６２との一致性を確認することが容易となり、オペレータの作業負担を軽減することができる。

【0050】

（４）フォークリフト用作業支援装置４２は、オペレータの操作によって支援部６１の動作を開始する開始部３５を備える。これにより、オペレータが開始部３５を操作することで、オペレータの意思を反映した上で荷役作業の支援を開始することが可能となる。したがって、オペレータにとってより扱いやすいフォークリフト用作業支援装置４２を提供することができる。

【0051】

（５）開始部３５は、操作部３０、より詳細には、ディレクションレバー３１の先端に設けられている。これにより、オペレータは、操作部３０の操作と並行して開始部３５の操作を行うことが可能となる。したがって、フォークリフト用作業支援装置４２によって、オペレータは、走行操作等を中断することなく荷役作業の支援を開始することができる。

【0052】

＜変形例＞
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0053】

○開始部３５の位置は、オペレータが操作可能であれば任意である。例えば、開始部３５は、いずれかの荷役レバー３２に設けられていてもよいし、ブレーキペダル３４と同様に運転室２８の前部の床面に配置されていてもよい。

【0054】

○フォークリフト用作業支援装置４２は、オペレータの操作によって支援部６１の動作を開始する開始部３５を備えていなくてもよい。例えば、フォークリフト用作業支援装置４２は、選択可能搬送物６２との距離が一定距離未満となった場合に、支援部６１の動作を開始してもよい。また、フォークリフト用作業支援装置４２は、一定時間、選択可能搬送物６２が変更されない場合に、支援部６１の動作を開始してもよい。

【0055】

○表示部４１を通じた通知部５９の通知方法は、選択可能搬送物６２と検出搬送物６３とを区別することができれば任意である。例えば、選択可能搬送物６２及び検出搬送物６３に対し、それぞれ異なるマークを表示することにより、選択可能搬送物６２と検出搬送物６３とを区別可能に構成してもよい。

【0056】

○通知部５９は、表示部４１を通じて、選択可能搬送物６２をオペレータに通知しなくてもよい。例えば、通知部５９は、選択可能搬送物６２にフォークリフト２０の照明の光を照射することにより、オペレータに選択可能搬送物６２を通知してもよい。表示部４１は、設けられていなくてもよい。

【0057】

○フォークリフト用作業支援装置４２の取得部が取得するデータは、画像データに限られない。例えば、ToF（Time of Flight）カメラ、LIDAR（Laser Imaging Detection and Ranging）、ミリ波レーダー又はステレオカメラが設けられている場合、取得部は、フォークリフト２０に対する搬送物１３の位置を表すデータとして、ワールド座標系における３次元座標を取得してもよい。ToFカメラ、LIDAR、ミリ波レーダー又はステレオカメラは、ワールド座標系における３次元座標を計測することができる装置である。

【0058】

○制御装置５０のステップＳ１０～Ｓ１８での処理は、あくまで一例であり、これに限られない。すなわち、制御装置５０の各機能部５３～６１は、そのすべてが必須の構成要件とは限らない。例えば、上述のようにLIDAR又はミリ波レーダー等が設けられている場合、フォークリフト用作業支援装置４２の取得部は、フォークリフト２０に対する搬送物１３の距離をワールド座標系における３次元座標から取得することができる。そのため、取得部は、深度推定等を用いて距離を間接的に導出する第１導出部５４及びカメラ座標からワールド座標を導出する第２導出部５５を備えていなくてもよい。

【0059】

○フォークリフト用作業支援装置４２は、搬送物１３にＡＲマーカーが設けられている場合、画像データに含まれるＡＲマーカーのカメラ座標から搬送物１３のカメラ座標を導出してもよい。このとき、フォークリフト用作業支援装置４２は、ＡＲマーカーの座標を搬送物１３のカメラ座標とみなしてもよいし、ＡＲマーカーのカメラ座標から各特徴点のカメラ座標を導出してもよい。

【0060】

○フォークリフト用作業支援装置４２は、画像データ中の搬送物１３の写り方から搬送物１３のカメラ座標及び傾きを導出してもよい。カメラ４０と搬送物１３との間の相対位置と搬送物１３の写り方には相関があるため、フォークリフト用作業支援装置４２は、この相関を用いて搬送物１３のカメラ座標及び傾きを導出するようにしてもよい。

【0061】

○フォークリフト用作業支援装置４２の各機能部は、単一のデバイスによって実現される必要はなく、それぞれ異なるデバイスによって実現されてもよい。
○フォークリフト用作業支援装置４２を構成するすべての部材がフォークリフト２０に設けられている必要はない。例えば、制御装置５０は、フォークリフト２０と通信可能に構成されたサーバに設けられていてもよい。このとき、フォークリフト２０は、サーバと通信するための通信部を備える。通信部は、カメラ４０の画像データをサーバに設けられた制御装置５０に送信する。サーバに設けられた制御装置５０は、ステップＳ１０～Ｓ１８の処理を行う。荷役作業の支援を行うに際し、支援部６１は、駆動機構３６及び荷役機構３７を制御指令、例えば、フォークリフト２０の走行速度や操舵角など、をフォークリフト２０の送受信部に送信する。フォークリフト２０の通信部は、制御装置５０が送信した制御指令を受信する。フォークリフト２０は、当該制御指令に基づき、フォークリフト２０の制御及び荷役作業の支援を行う。

【0062】

別例として、フォークリフト２０が遠隔操作可能に構成されている場合について説明する。フォークリフト２０は、遠隔操作用のコントローラを操作することにより、操作部３０を操作するときと同様にフォークリフト２０を制御することができる。このとき、オペレータは、作業場と異なる操作室からコントローラを用いてフォークリフト２０を操作することが可能である。この場合、開始部３５をフォークリフト２０に設けられた操作部３０ではなく、コントローラに設けられていてもよい。

【符号の説明】

【0063】

１３…搬送物、２０…フォークリフト、３５…開始部、４１…表示部、４２…フォークリフト用作業支援装置、５３…画像取得部、５４…第１導出部、５５…第２導出部、５６…抽出部、５８…識別部、５９…通知部、６１…支援部、６２…選択可能搬送物、６３…検出搬送物、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】