特許 6676198 判定装置、判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6676198

(24)【登録日】2020年3月13日

(45)【発行日】2020年4月8日

(54)【発明の名称】判定装置、判定方法及びプログラム

(51)【国際特許分類】

   B66F 9/24 20060101AFI20200330BHJP

【ＦＩ】

   B66F9/24 P

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2019-213(P2019-213)

(22)【出願日】2019年1月4日

【審査請求日】2019年1月15日

(73)【特許権者】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(73)【特許権者】

【識別番号】518301154

【氏名又は名称】株式会社Ｒｉｄｇｅ−ｉ

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】南 昭伍

(72)【発明者】

【氏名】柳原 尚史

(72)【発明者】

【氏名】小松 平佳

(72)【発明者】

【氏名】ソン ジュンファン

【審査官】 羽月 竜治

(56)【参考文献】

【文献】 特開平１１−２７８７９９（ＪＰ，Ａ）

【文献】 特開２００３−２１２４８９（ＪＰ，Ａ）

【文献】 特開２０１８−１５８７８５（ＪＰ，Ａ）

【文献】 特開昭５９−０２６８９９（ＪＰ，Ａ）

【文献】 特開２００５−００８３６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６６Ｆ ９／００−１１／０４

(57)【特許請求の範囲】

【請求項1】

フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、
前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定する種別判定部と、
前記種別判定部が判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定する挿入判定部と、
を備える判定装置。

【請求項2】

前記フォークリフトが前記パレットに正対しているか否かを判定する正対判定部と、
前記正対判定部が判定した判定結果を、前記フォークリフトの運転者に報知する正対判定結果報知部と、
を備える請求項１に記載の判定装置。

【請求項3】

前記フォークの存在する高さが前記穴に前記フォークを挿入可能な高さであるか否かを判定する高さ判定部と、
前記高さ判定部が判定した判定結果を、前記フォークリフトの運転者に報知する高さ判定結果報知部と、
を備える請求項１または請求項２に記載の判定装置。

【請求項4】

前記フォークの移動を制御する制御部であって、前記穴に挿入可能な位置で前記フォークを停止させる制御部、
を備える請求項１から請求項３の何れか一項に記載の判定装置。

【請求項5】

前記制御部は、
前記フォークから前記穴までの距離が短くなるにつれて、前記フォークの移動速度が低速になるように制御し、前記フォークから前記穴までの距離が長くなるにつれて、前記フォークの移動速度が高速になるように制御する、
請求項４に記載の判定装置。

【請求項6】

前記種別判定部は、
前記撮像画像と、前記撮像画像において前記パレットが写っているであろう領域と、当該パレットのラベルとの組み合わせを教師データとして、前記パレットが写っている領域を含む矩形の範囲の画像を出力するように学習された第１のニューラルネットワークである、
請求項１から請求項５の何れか一項に記載の判定装置。

【請求項7】

前記挿入判定部は、
前記撮像画像において矩形の範囲を示す座標で切り取られた前記パレットが写っている画像と、当該パレットのラベルとの組み合わせを教師データとして、当該パレットの四隅の座標を出力するように学習された第２のニューラルネットワークである、
請求項１から請求項６の何れか一項に記載の判定装置。

【請求項8】

フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、
前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、
判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、
を含む判定方法。

【請求項9】

コンピュータに、
フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、
前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、
判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法及びプログラムに関する。

【背景技術】

【0002】

フォークリフトは、車両本体の前方に荷役対象物（以下、荷物と呼ぶ）を支持して昇降するフォークを備えており、例えば、一般的な乗用車に比べて、運転者が前方の状況を確認し難い車両の構成となっている。特に、荷物を支持してフォークリフトを前方に走行させる場合には、フォークリフトの前方に死角ができ易くなり、運転者は、フォークリフトから降りて前方を確認したり、運転者とは別にフォークリフトを誘導する誘導員を必要としたりすることもある。
そこで、フォークの先端部にカメラを設け、そのカメラが撮像した撮像画像を表示装置に表示させることによって、運転者が運転席に座ったままフォークリフトの前方を確認することのできる技術が考案されている（例えば、特許文献１、２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−２４６５９７号公報

【特許文献2】特開２００６−０６２７８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

フォークリフトの荷役作業の対象となる荷物は、一般的に、パレットと呼ばれる台に乗せられている。フォークリフトは、そのパレットが有する穴にフォークを挿入して荷物を持ち上げて荷役作業を行う。
ところで、フォークリフトが荷役作業を行う際に用いられるパレットは、材質や形状など様々なものが存在し、パレットの種別に応じてフォークを挿入する穴の位置や穴の大きさが異なる。そのため、パレットの種別を適切に把握できていない場合には、フォークをパレットの穴に挿入することが困難な場合がある。

【0005】

本発明は、上記の課題を解決することのできる判定装置、判定方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、判定装置は、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定する種別判定部と、前記種別判定部が判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定する挿入判定部と、を備える。

【0007】

本発明の第２の態様によれば、第１の態様における判定装置は、前記フォークリフトが前記パレットに正対しているか否かを判定する正対判定部と、前記正対判定部が判定した判定結果を、前記フォークリフトの運転者に報知する正対判定結果報知部と、を備えるものであってもよい。

【0008】

本発明の第３の態様によれば、第１の態様または第２の態様における判定装置は、前記フォークの存在する高さが前記穴に前記フォークを挿入可能な高さであるか否かを判定する高さ判定部と、前記高さ判定部が判定した判定結果を、前記フォークリフトの運転者に報知する高さ判定結果報知部と、を備えるものであってもよい。

【0009】

本発明の第４の態様によれば、第１の態様から第３の態様の何れか１つの判定装置は、前記フォークの移動を制御する制御部であって、前記穴に挿入可能な位置で前記フォークを停止させる制御部、を備えるものであってもよい。

【0010】

本発明の第５の態様によれば、第４の態様における判定装置において、前記制御部は、前記フォークから前記穴までの距離が短くなるにつれて、前記フォークの移動速度が低速になるように制御し、前記フォークから前記穴までの距離が長くなるにつれて、前記フォークの移動速度が高速になるように制御するものであってもよい。

【0011】

本発明の第６の態様によれば、第１の態様から第５の態様の何れか１つの判定装置において、前記種別判定部は、前記撮像画像と、前記撮像画像において前記パレットが写っているであろう領域と、当該パレットのラベルとの組み合わせを教師データとして、前記パレットが写っている領域を含む矩形の範囲の画像を出力するように学習された第１のニューラルネットワークであってもよい。

【0012】

本発明の第７の態様によれば、第１の態様から第６の態様の何れか１つの判定装置において、前記挿入判定部は、前記撮像画像において矩形の範囲を示す座標で切り取られた前記パレットが写っている画像と、当該パレットのラベルとの組み合わせを教師データとして、当該パレットの四隅の座標を出力するように学習された第２のニューラルネットワークであってもよい。

【0013】

本発明の第８の態様によれば、判定方法は、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、を含む。

【0014】

本発明の第９の態様によれば、プログラムは、コンピュータに、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像に基づいて、画像内のパレットの形状についての種別を判定することと、判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定することと、を実行させる。

【発明の効果】

【0015】

本発明の実施形態による判定装置、判定方法及びプログラムによれば、パレットの種別の判定結果に基づいて、フォークリフトのフォークがパレットの穴に挿入できる位置にあるか否かを容易に判定することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態によるフォークリフトの構成を示す第１の図である。

【図2】本発明の一実施形態によるフォークリフトの構成を示す第２の図である。

【図3】本発明の一実施形態による判定装置が対象とするパレットの一例を示す図である。

【図4】本発明の一実施形態による判定装置の構成を示す図である。

【図5】本発明の一実施形態による判定装置の処理フローを示す図である。

【図6】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0017】

＜実施形態＞
以下、本発明の一実施形態によるフォークリフト１に備えられる判定装置８０について説明する。
フォークリフト１は、図１に示すように、第１のフォーク１０、第２のフォーク２０を備える。また、フォークリフト１は、図２に示すように、撮像装置３０、傾斜センサ４０、荷重センサ５０、操作装置６０、表示装置７０、判定装置８０を備える。

【0018】

第１のフォーク１０及び第２のフォーク２０は、荷役対象物（以下、荷物と呼ぶ）を支持して昇降することができるフォークである。

【0019】

撮像装置３０は、フォークリフト１のマストに設けられ、フォークリフト１の前方を撮像する装置である。撮像装置３０は、第１のフォーク１０の先端部及び第２のフォーク２０の先端部などの第１のフォーク１０及び第２のフォーク２０の周辺を撮像する。したがって、撮像装置３０は、パレットの穴を撮像することが可能である。なお、パレットとは、例えば、図３に示すような形状をしており、フォークリフト１の荷役対象となる荷物が置かれている台状のものである。なお、図３は、フォークを挿入するパレットの穴の面を示す正面図であり、符号Ａによって示される２つの部分がパレットの穴を表している。
ここでは、撮像装置３０は、１つのレンズを備える単眼カメラであるものとする。撮像装置３０は、所定の撮像タイミングごとに撮像画像を生成する。

【0020】

傾斜センサ４０は、第１のフォーク１０及び第２のフォーク２０の傾きを検出するセンサである。傾きの基準（すなわち、傾き０度）は、例えば、第１のフォーク１０及び第２のフォーク２０が荷物を支持せず、チルト操作も行われていないときの傾きであり、このときの傾きを水平とする。

【0021】

荷重センサ５０は、第１のフォーク１０及び第２のフォーク２０の負荷、すなわち第１のフォーク１０及び第２のフォーク２０によって持ち上げられる荷物の重量を検出するセンサである。

【0022】

操作装置６０は、運転者がフォークリフト１の荷役作業を行うために操作する装置である。運転者が操作装置６０を操作することによって、フォークリフト１が走行したり、第１のフォーク１０とともに第２のフォーク２０を昇降させるリフト制御を行ったり、第１のフォーク１０及び第２のフォーク２０の基部を回動させて第１のフォーク１０及び第２のフォーク２０の先端部を上下方向に傾けるチルト制御が行われる。

【0023】

表示装置７０は、判定装置８０による制御に基づいて画像を表示する装置である。表示装置７０は、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像を、撮像装置３０が撮像した撮像画像とともに表示する。表示装置７０は、例えば、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）、モニター、スクリーンなどである。

【0024】

判定装置８０は、撮像画像に基づいて、画像内のパレットの種別を判定し、その判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを判定する装置である。

【0025】

判定装置８０は、図４に示すように、画像取得部８０１、種別判定部８０２、座標特定部８０３、正対判定部８０４、高さ判定部８０５、挿入判定部８０６、制御部８０７、報知部８０８（正対判定結果報知部の一例、高さ判定結果報知部の一例）、記憶部８０９を備える。
画像取得部８０１は、フォークリフト１のマストに設けられた撮像装置３０が撮像した撮像画像を取得する。

【0026】

種別判定部８０２は、撮像装置３０が撮像した撮像画像に基づいて、その撮像画像内のパレットの種別を判定する。
例えば、種別判定部８０２は、撮像画像と、撮像画像においてパレットが写っているであろう領域と、当該パレットのラベルとの組み合わせを教師データとして、パレットが写っている領域を含む矩形の範囲の画像を出力するように学習された第１のニューラルネットワークである。種別判定部８０２がニューラルネットワークである場合、種別判定部８０２は、フォークリフト１が顧客に引き渡される前に、学習データを第１のニューラルネットワークに入力し、教師データと比較することによって学習される。ここでの学習データとは、学習モデルの訓練時に第１のニューラルネットワークの入力層に入力されるデータのことである。また、ここでの教師データとは、第１のニューラルネットワークの出力層の値と比較するための正解となるデータのことである。この学習によって、顧客に引き渡されるフォークリフト１において、種別判定部８０２として、パレットの種別を判別可能な（すなわち、材質や形状などの違いに基づいてパレットの種別を特定可能な）学習済みモデルが適用されることになる。学習済みモデルが適用された種別判定部８０２に撮像画像が入力されると、学習済みモデルによって、パレットの種別に応じた矩形の範囲を示す座標で切り取られた画像がラベルとともに種別判定部８０２から座標特定部８０３に出力される。

【0027】

座標特定部８０３は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットの外形の四隅の座標を特定する。
例えば、座標特定部８０３は、撮像画像において矩形の範囲を示す座標で切り取られたパレットが写っている画像と、当該パレットのラベルとの組み合わせを教師データとして、当該パレットの四隅の座標を出力するように学習された第２のニューラルネットワークである。座標特定部８０３がニューラルネットワークである場合、座標特定部８０３は、フォークリフト１が顧客に引き渡される前に、学習データを第２のニューラルネットワークに入力し、教師データと比較することによって学習される。ここでの学習データとは、学習モデルの訓練時に第２のニューラルネットワークの入力層に入力されるデータのことである。また、ここでの教師データとは、第２のニューラルネットワークの出力層の値と比較するための正解となるデータのことである。この学習によって、顧客に引き渡されるフォークリフト１において、座標特定部８０３として、パレットの四隅の座標を特定可能な学習済みモデルが適用されることになる。学習済みモデルが適用された座標特定部８０３に種別判定部８０２の判定結果が入力されると、学習済みモデルによって、パレットの外形の四隅を示す座標が座標特定部８０３から高さ判定部８０５に出力される。

【0028】

正対判定部８０４は、フォークリフト１がパレットに正対しているか否かを判定する。
例えば、正対判定部８０４は、撮像画像におけるパレットの形状に基づいてフォークリフト１がパレットに正対しているか否かを判定する。具体的には、例えば、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称である場合に、フォークリフト１がパレットに正対していると判定する。また、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称でない場合に、フォークリフト１がパレットに正対していないと判定する。

【0029】

高さ判定部８０５は、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであるか否かを判定する。
例えば、高さ判定部８０５は、座標特定部８０３が特定したパレットの四隅の座標から、パレットの四隅の対角の２点を結ぶ２本の対角線の交点の座標を算出する。高さ判定部８０５は、パレットの実際の大きさと撮像画像における画素数との関係、及び、撮像画像を映している角度から、フォークとパレットとの位置関係を算出する。高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲内にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると判定する。また、高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲外にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さではないと判定する。

【0030】

挿入判定部８０６は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを判定する。
例えば、種別判定部８０２が判定した種別のパレットについて、フォークリフト１がそのパレットに正対していると正対判定部８０４が判定し、かつ、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合に、挿入判定部８０６は、フォークをパレットが有する穴に挿入できると判定する。また、種別判定部８０２が判定した種別のパレットについて、フォークリフト１がそのパレットに正対していないと正対判定部８０４が判定した場合、または、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さでないと高さ判定部８０５が判定した場合には、挿入判定部８０６は、フォークをパレットが有する穴に挿入できないと判定する。

【0031】

制御部８０７は、フォークの移動を制御する。例えば、制御部８０７は、フォークからパレットの穴までの距離が短くなるにつれて、フォークの移動速度が低速になるように制御する。また、制御部８０７は、フォークからパレットの穴までの距離が長くなるにつれて、フォークの移動速度が高速になるように制御する。また、制御部８０７は、パレットの穴に挿入可能な位置でフォークを停止させる。

【0032】

報知部８０８は、正対判定部８０４が判定した判定結果を、フォークリフト１の運転者に報知する。また、報知部８０８は、高さ判定部８０５が判定した判定結果を、フォークリフト１の運転者に報知する。
記憶部８０９は、判定装置８０が行う処理に必要な種々の情報を記憶する。

【0033】

次に、判定装置８０が行う処理について説明する。
ここでは、図５に示す判定装置８０の処理フローについて説明する。
なお、判定装置８０の種別判定部８０２及び座標特定部８０３は、フォークリフト１が顧客に引き渡される前に学習された、学習済みモデルによるニューラルネットワークであるものとする。

【0034】

画像取得部８０１は、撮像装置３０から撮像画像を取得する（ステップＳ１）。
種別判定部８０２は、撮像装置３０が撮像した撮像画像に基づいて、その撮像画像内のパレットの種別を判定する（ステップＳ２）。
具体的には、学習済みモデルが適用された種別判定部８０２に撮像画像が入力されると、学習済みモデルによって、パレットの種別に応じた矩形の範囲を示す座標で切り取られた画像（すなわち、クロップした画像）がラベルとともに種別判定部８０２から座標特定部８０３に出力される。

【0035】

座標特定部８０３は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットの外形の四隅の座標を特定する（ステップＳ３）。
具体的には、学習済みモデルが適用された座標特定部８０３に種別判定部８０２の判定結果が入力されると、学習済みモデルによって、パレットの外形の四隅を示す座標が座標特定部８０３から高さ判定部８０５に出力される。

【0036】

正対判定部８０４は、フォークリフト１がパレットに正対しているか否かを判定する（ステップＳ４）。
例えば、正対判定部８０４は、撮像画像におけるパレットの形状に基づいてフォークリフト１がパレットに正対しているか否かを判定する。具体的には、例えば、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称である場合に、フォークリフト１がパレットに正対していると判定する。また、撮像装置３０がマストの中心部に設けられている場合、正対判定部８０４は、撮像画像におけるパレットの形状が左右対称でない場合に、フォークリフト１がパレットに正対していないと判定する。

【0037】

フォークリフト１がパレットに正対していないと正対判定部８０４が判定した場合（ステップＳ４においてＮＯ）、報知部８０８は、正対判定部８０４が判定した判定結果（すなわち、フォークリフト１がパレットに正対していないこと）を、フォークリフト１の運転者に報知する（ステップＳ５）。報知部８０８は、ステップＳ４の処理に戻す。この場合、運転者は、フォークリフト１がパレットに正対していないという報知に応じて、フォークリフト１がパレットに正対するようにフォークリフト１を操作する。

【0038】

また、フォークリフト１がパレットに正対していると正対判定部８０４が判定した場合（ステップＳ４においてＹＥＳ）、報知部８０８は、正対判定部８０４が判定した判定結果（すなわち、フォークリフト１がパレットに正対していること）を、フォークリフト１の運転者に報知する（ステップＳ６）。この場合、運転者は、フォークリフト１がパレットに正対しているという報知に応じて、フォークリフト１の位置が固定されるようにフォークリフト１を操作する。

【0039】

ステップＳ６の処理によってフォークリフト１がパレットに正対していることを報知部８０８がフォークリフト１の運転者に報知した場合、高さ判定部８０５は、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであるか否かを判定する（ステップＳ７）。
例えば、高さ判定部８０５は、座標特定部８０３が特定したパレットの四隅の座標から、パレットの四隅の対角の２点を結ぶ２本の対角線の交点の座標を算出する。高さ判定部８０５は、パレットの実際の大きさと撮像画像における画素数との関係、及び、撮像画像を映している角度から、フォークとパレットとの位置関係を算出する。そして、高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲内にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると判定する。また、高さ判定部８０５は、フォークの位置がパレットの位置に対して所定の高さの範囲外にあると判定した場合、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さではないと判定する。

【0040】

フォークの存在する高さがパレットの穴にフォークを挿入可能な高さでないと高さ判定部８０５が判定した場合（ステップＳ７においてＮＯ）、報知部８０８は、高さ判定部８０５が判定した判定結果（すなわち、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さでないこと）を、フォークリフト１の運転者に報知する（ステップＳ８）。

【0041】

制御部８０７は、フォークの移動を制御する（ステップＳ９）。具体的には、制御部８０７は、フォークの高さをパレットの穴の高さまで、すなわち、フォークからパレットの穴までの距離が短くなるように、フォークを移動させる。このとき、制御部８０７は、フォークからパレットの穴までの距離が短くなるにつれて、フォークの移動速度が低速になるように制御するものであってもよい。そして、制御部８０７は、パレットの穴に挿入可能な位置でフォークを停止させる。制御部８０７は、ステップＳ７の処理に戻す。

【0042】

また、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合（ステップＳ７においてＹＥＳ）、報知部８０８は、高さ判定部８０５が判定した判定結果（すなわち、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであること）を、フォークリフト１の運転者に報知する（ステップＳ１０）。

【0043】

挿入判定部８０６は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを常時判定している。
挿入判定部８０６は、種別判定部８０２が判定した種別のパレットについて、フォークリフト１がそのパレットに正対していると正対判定部８０４が判定し、かつ、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合に、初めて、フォークをパレットが有する穴に挿入できると判定する（ステップＳ１１）。すなわち、ステップＳ７の処理において、フォークの存在する高さがパレットの穴にフォークを挿入可能な高さであると高さ判定部８０５が判定した場合に、初めて、挿入判定部８０６は、フォークをパレットが有する穴に挿入できると判定する。
それ以外の場合には、挿入判定部８０６は、フォークをパレットが有する穴に挿入できないと判定する。

【0044】

なお、本発明の一実施形態によるフォークリフト１は、最も近い位置にあるパレットを荷役の対象とするものである。

【0045】

以上、本発明の一実施形態によるフォークリフト１について説明した。
本発明の一実施形態によるフォークリフト１の判定装置８０において、種別判定部８０２は、撮像装置３０が撮像した撮像画像に基づいて、その撮像画像内のパレットの種別を判定する。挿入判定部８０６は、種別判定部８０２が判定した判定結果に基づいて、フォークリフト１の有するフォークをパレットが有する穴に挿入できるか否かを判定する。
こうすることで、判定装置８０は、パレットの種別の判定結果に基づいて、パレットの外形の四隅の座標を特定し、パレットの四隅の対角の２点を結ぶ２本の対角線の交点の座標を算出する。そして、判定装置８０は、交点の位置が所定の範囲に入っているか否かに基づいて、フォークリフト１のフォークがパレットの穴に挿入できる位置にあるか否かを判定するため、容易にその判定を行うことができる。

【0046】

また、本発明の一実施形態では、高さ判定部８０５は、パレットの実際の大きさと撮像画像における画素数との関係、及び、撮像画像を映している角度から、フォークとパレットとの位置関係を算出する。このときの撮像画像は、単眼の撮像装置３０によって撮像された画像であるため、高さ判定部８０５が行うフォークとパレットとの位置関係の算出は、簡単な演算で済む。その結果、判定装置８０の制御部８０７による、フォークのパレットの穴の位置までの移動の追従性が、複眼の撮像装置３０によって撮像された画像の場合に比べて向上する。

【0047】

また、本発明の一実施形態では、報知部８０８は、正対判定部８０４と高さ判定部８０５のそれぞれの判定結果を、フォークリフト１の運転者に報知する。そのため、運転者は、フォークをパレットが有する穴に挿入できない場合に、フォークリフト１がパレットに正対していないことが原因であるか、フォークの高さがパレットの穴の高さに合っていないことが原因であるかを、容易に知ることができる。

【0048】

なお、本発明の別の実施形態では、種別判定部８０２、座標特定部８０３のそれぞれは、ニューラルネットワークである場合、学習済みモデルでなくてもよい。

【0049】

なお、本発明の別の実施形態では、正対判定部８０４は、正対しているか否かを、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサやステレオカメラを用いて判定するものであってもよい。

【0050】

なお、本発明の別の実施形態では、撮像装置３０は複眼であり、判定装置８０は、複眼の視差を用いて、フォークリフト１からパレットまでの距離を算出するものであってもよい。

【0051】

なお、本発明の別の実施形態では、判定装置８０は、正対判定部８０４を備えなくてもよい。この場合、運転者がフォークリフト１をパレットに正対させた後に、判定装置８０に処理させればよい。

【0052】

なお、本発明の別の実施形態では、フォークリフト１への操作に基づいて、荷役の対象とするパレットを選択するものであってもよい。例えば、本発明の別の実施形態では、次に近いパレットの位置に移動させるためのボタンの押下に応じて、判定装置８０は、最も近いパレットの位置に停止したフォークを移動させるものであってもよい。
また、本発明の別の実施形態では、例えば、タッチパネル上に表示されるパレットをタップすることで、荷役の対象とするパレットを選択するものであってもよい。この場合、例えば、制御部８０７は、フォークからパレットの穴までの距離が短くなるにつれて、フォークの移動速度が低速になるように制御し、フォークからパレットの穴までの距離が長くなるにつれて、フォークの移動速度が高速になるように制御するものであってもよい。

【0053】

なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

【0054】

本発明の実施形態における記憶部８０９、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部８０９、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。

【0055】

本発明の実施形態について説明したが、上述の撮像装置３０、操作装置６０、表示装置７０、判定装置８０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図６に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の撮像装置３０、操作装置６０、表示装置７０、判定装置８０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。

【0056】

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。

【0057】

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。

【0058】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。

【符号の説明】

【0059】

１・・・フォークリフト
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・第１のフォーク
２０・・・第２のフォーク
３０・・・撮像装置
４０・・・傾斜センサ
５０・・・荷重センサ
６０・・・操作装置
７０・・・表示装置
８０・・・判定装置
８０１・・・画像取得部
８０２・・・種別判定部
８０３・・・座標特定部
８０４・・・正対判定部
８０５・・・高さ判定部
８０６・・・挿入判定部
８０７・・・制御部
８０８・・・報知部
８０９・・・記憶部

【要約】

【課題】パレットの種別の判定結果に基づいて、フォークリフトのフォークがパレットの穴に挿入できる位置にあるか否かを容易に判定することのできる判定装置を提供する。
【解決手段】判定装置は、フォークリフトのマストに設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像に基づいて、画像内のパレットの種別を判定する種別判定部と、前記種別判定部が判定した判定結果に基づいて、前記フォークリフトの有するフォークを前記パレットが有する穴に挿入できるか否かを判定する挿入判定部と、を備える。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】