特許 7661904 判定装置、フォークリフト、及び学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-07

(45)【発行日】2025-04-15

(54)【発明の名称】判定装置、フォークリフト、及び学習方法

(51)【国際特許分類】

   B66F 9/24 20060101AFI20250408BHJP

   G06T 7/00 20170101ALI20250408BHJP

   G06T 7/70 20170101ALI20250408BHJP

【ＦＩ】

B66F9/24 L

G06T7/00 350B

G06T7/70 A

【請求項の数】 8

(21)【出願番号】P 2022012019

(22)【出願日】2022-01-28

(65)【公開番号】P2023110519

(43)【公開日】2023-08-09

【審査請求日】2024-06-17

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】服部 晋悟

【審査官】中島 亮

(56)【参考文献】

【文献】特開２０２０－０４０７６９（ＪＰ，Ａ）

【文献】特開２０１７－１５１６５２（ＪＰ，Ａ）

【文献】特開２０２０－０４０７９０（ＪＰ，Ａ）

【文献】特開２０２０－０４０８１２（ＪＰ，Ａ）

【文献】特開２０１９－０９９０７９（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２００７－００６８５１９（ＫＲ，Ａ）

【文献】米国特許第０４２７９３２８（ＵＳ，Ａ）

【文献】特開２０１４－０３８０４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｆ ９／２４

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

フォークリフトの荷役対象物が載置されたパレットに対して光を照射する照射部を制御する照射制御部であって、前記照射部を第１態様、及び前記第１態様とは異なる第２態様のうち、少なくとも一方の態様により動作させる照射制御部と、
前記照射制御部が前記照射部を前記第１態様に動作させた状態における前記パレットと、前記パレットのパレット穴とを撮像し、第１撮像画像を生成するように撮像部の動作を制御する撮像制御部と、
前記第１撮像画像に基づいて、前記パレットの位置を特定する特定部と、
前記第１撮像画像に基づいて、前記パレットの位置が特定できたか否かを判定する判定部と、
前記判定部により、前記パレットの位置が特定できたと判定された場合、前記パレットの位置を示す情報を出力する出力部とを、備え、
前記判定部により、前記第１撮像画像に基づいて前記パレットの位置が特定できないと判定された場合、前記撮像制御部は、前記照射制御部が前記照射部を前記第２態様に動作させた状態における前記パレットと、前記パレットのパレット穴とを撮像し、第２撮像画像を生成するように前記撮像部の動作を制御し、前記特定部は、前記第２撮像画像に基づいて、前記パレットの位置を特定し、前記判定部は、前記第２撮像画像に基づいて、前記パレットの位置が特定できたか否かを更に判定する、
ことを特徴とする判定装置。

【請求項2】

前記照射部は、互いに異なる波長域の光を照射する複数の光源を有し、
前記照射制御部は、前記第１態様において、第１光源に前記パレットに対して光を照射させ、前記第２態様において、前記第１光源に比して波長域が狭い光を照射する第２光源に前記パレットに対して光を照射させる、
請求項１に記載の判定装置。

【請求項3】

前記第２光源の光には、ブルーライトが含まれる、
請求項２に記載の判定装置。

【請求項4】

前記特定部は、前記パレットと前記パレット穴とが示される教師画像と、前記教師画像における前記パレットの位置とを教師データとした機械学習により生成された学習済みモデルと、前記第１撮像画像、又は前記第２撮像画像とに基づいて、前記パレットの位置を特定する、
請求項１から３のうちいずれか一項に記載の判定装置。

【請求項5】

前記教師画像には、
第３光源の光が前記パレットに照射された状態の画像と、前記第３光源に比して、波長域が狭い光を照射する第４光源の光が前記パレットに照射された状態の画像と、自然光が前記パレットに照射された状態の画像と、前記フォークリフトの周辺に存在する物体の影が前記パレットに生じた状態の画像とのうち、少なくともいずれか一つが含まれる、
請求項４に記載の判定装置。

【請求項6】

前記特定部により特定された前記パレットの位置に基づいて、前記パレット穴の位置を特定するパレット穴位置特定部を更に備え、
前記出力部は、前記パレット穴の位置を示す情報を出力する、
請求項１から５のうちいずれか一項に記載の判定装置。

【請求項7】

請求項１から請求項６のうちいずれか一項に記載の判定装置と、
前記パレットの位置に基づいて、前記パレット穴に、前記フォークリフトのフォークの位置を合わせる駆動制御部と、を備える
ことを特徴とするフォークリフト。

【請求項8】

フォークリフトの荷役対象物が載置されたパレットと、前記パレットに設けられたパレット穴とが示される教師画像と、前記教師画像における前記パレットの位置とを教師データとした機械学習により学習モデルに学習させ、
前記教師画像には、第３光源の光が前記パレットに照射された状態の画像と、前記第３光源に比して、波長域が狭い光を照射する第４光源の光が前記パレットに照射された状態の画像と、自然光が前記パレットに照射された状態の画像と、前記フォークリフトの周辺に存在する物体の影が前記パレットに生じた状態の画像とのうち、少なくともいずれか一つが含まれる、
ことを特徴とする学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、フォークリフト、及び学習方法に関する。

【背景技術】

【0002】

フォークリフトは、パレットを搬送する。パレットには、荷役対象物が載置されている。フォークリフトにおいて、パレットが撮像された画像に対して画像処理を行うことにより、パレットの位置を特定する技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－０６８１３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、パレットが置かれている位置や周辺環境によっては、パレットを撮像しても、画像に適切にパレットの特徴が示されていない場合がある。このような場合、特許文献１に開示の技術では、パレットが撮像された画像に対して画像処理を行っても、パレットの位置を特定することが困難である場合があった。

【課題を解決するための手段】

【0005】

上記目的を達成する判定装置は、フォークリフトの荷役対象物が載置されたパレットに対して光を照射する照射部を制御する照射制御部であって、前記照射部を第１態様、及び前記第１態様とは異なる第２態様のうち、少なくとも一方の態様により動作させる照射制御部と、前記照射制御部が前記照射部を前記第１態様に動作させた状態における前記パレットと、前記パレットのパレット穴とを撮像し、第１撮像画像を生成するように撮像部の動作を制御する撮像制御部と、前記第１撮像画像に基づいて、前記パレットの位置を特定する特定部と、前記第１撮像画像に基づいて、前記パレットの位置が特定できたか否かを判定する判定部と、前記判定部により、前記パレットの位置が特定できたと判定された場合、前記パレットの位置を示す情報を出力する出力部とを、備え、前記判定部により、前記第１撮像画像に基づいて前記パレットの位置が特定できないと判定された場合、前記撮像制御部は、前記照射制御部が前記照射部を前記第２態様に動作させた状態における前記パレットと、前記パレットのパレット穴とを撮像し、第２撮像画像を生成するように前記撮像部の動作を制御し、前記特定部は、前記第２撮像画像に基づいて、前記パレットの位置を特定し、前記判定部は、前記第２撮像画像に基づいて、前記パレットの位置が特定できたか否かを更に判定する。

【0006】

かかる構成によれば、パレットが置かれている位置や周辺環境に関わらず、パレットの位置を特定することができる。
上記判定装置において、前記照射部は、互いに異なる波長域の光を照射する複数の光源を有し、前記照射制御部は、前記第１態様において、第１光源に前記パレットに対して光を照射させ、前記第２態様において、前記第１光源に比して波長域が狭い光を照射する第２光源に前記パレットに対して光を照射させてもよい。

【0007】

かかる構成によれば、パレットに対して第２光源の光を照射し、パレットの特徴が示された第２撮像画像を取得することにより、パレットの位置を特定することができる。
上記判定装置において、前記第２光源の光には、ブルーライトが含まれてもよい。

【0008】

上記判定装置において、前記特定部は、前記パレットと前記パレット穴とが示される教師画像と、前記教師画像における前記パレットの位置とを教師データとした機械学習により生成された学習済みモデルと、前記第１撮像画像、又は前記第２撮像画像とに基づいて、前記パレットの位置を特定してもよい。

【0009】

かかる構成によれば、パレットが置かれている位置や周辺環境に応じて学習された学習済みモデルを用いて、パレットの位置を特定することができる。
上記判定装置において、前記教師画像には、第３光源の光が前記パレットに照射された状態の画像と、前記第３光源に比して、波長域が狭い光を照射する第４光源の光が前記パレットに照射された状態の画像と、自然光が前記パレットに照射された状態の画像と、前記フォークリフトの周辺に存在する物体の影が前記パレットに生じた状態の画像とのうち、少なくともいずれか一つが含まれてもよい。

【0010】

かかる構成によれば、パレットが置かれている位置や周辺環境に応じて学習された学習済みモデルを用いて、パレットの位置を特定することができる。
上記判定装置において、前記特定部により特定された前記パレットの位置に基づいて、前記パレット穴の位置を特定するパレット穴位置特定部を更に備え、前記出力部は、前記パレット穴の位置を示す情報を出力してもよい。

【0011】

かかる構成によれば、パレットが置かれている位置や周辺環境に関わらず、パレット穴の位置を特定することができる。
上記目的を達成するフォークリフトは、上述のいずれかに記載の判定装置と、前記パレットの位置に基づいて、前記パレット穴に、前記フォークリフトのフォークの位置を合わせる駆動制御部と、を備える。

【0012】

かかる構成によれば、パレットが置かれている位置や周辺環境に関わらず、パレットの位置を特定し、パレット穴にフォークを差し込むことができる。
上記目的を達成する学習方法は、フォークリフトの荷役対象物が載置されたパレットと、前記パレットに設けられたパレット穴とが示される教師画像と、前記教師画像における前記パレットの位置とを教師データとした機械学習により学習モデルに学習させ、前記教師画像には、第３光源の光が前記パレットに照射された状態の画像と、前記第３光源に比して、波長域が狭い光を照射する第４光源の光が前記パレットに照射された状態の画像と、自然光が前記パレットに照射された状態の画像と、前記フォークリフトの周辺に存在する物体の影が前記パレットに生じた状態の画像とのうち、少なくともいずれか一つが含まれる。

【0013】

かかる構成によれば、パレットが置かれている位置や周辺環境に関わらず、パレットの位置を特定することができる学習済みモデルを生成することができる。

【発明の効果】

【0014】

本発明によれば、パレットが置かれている位置や周辺環境に関わらず、パレットの位置を特定することができる。

【図面の簡単な説明】

【0015】

【図1】フォークリフトの説明に用いられる図である。

【図2】判定装置の構成の一例を示す図である。

【図3】第１撮像画像、及び第２撮像画像の一例を示す図である。

【図4】判定装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0016】

＜実施形態＞
［フォークリフト２０について］
以下、図面を参照し、判定装置を具体化した実施形態について説明する。

【0017】

図１に示すように、判定装置１０は、例えば、フォークリフト２０に備えられる。本実施形態において、フォークリフト２０は、自動運転制御により走行するものとする。自動運転制御とは、フォークリフト２０に乗車した乗員による運転操作に依らずに、フォークリフト２０の操舵のみ、または速度のみ、または操舵と速度の双方を制御して車両を運転させることである。フォークリフト２０は、判定装置１０から取得したパレットの位置を示す情報に基づいて、自動運転制御により走行しつつ、パレットを移載する。判定装置１０の詳細については、後述する。

【0018】

フォークリフト２０は、例えば、車輪２１と、フォーク２２と、ハンドル２３と、操作レバー２４と、車輪２１を駆動する走行アクチュエータ２５ａと、フォーク２２を駆動する荷役アクチュエータ２５ｂと、通信部２６と、制御部２７と、ヘッドライト２８と、撮像部２９とを備える。ハンドル２３は、フォークリフト２０に運転者が乗車した場合、フォークリフト２０の操舵を行う際に用いられる。また、操作レバー２４は、フォークリフト２０に運転者が乗車した場合、フォーク２２の操作を行う際に用いられる。

【0019】

なお、上述したように、本実施形態において、フォークリフト２０は、自動運転制御により走行するフォークリフトである。このため、フォークリフト２０は、フォークリフト２０に乗車する運転者がフォークリフト２０を操作する際に用いられるハンドル２３や操作レバー２４を備えていなくてもよい。

【0020】

走行アクチュエータ２５ａは、フォークリフト２０の走行に用いられるものである。具体的には、走行アクチュエータ２５ａは、車輪２１を回転駆動させるとともに、操舵角を変更して、フォークリフト２０の進行方向を変更する。荷役アクチュエータ２５ｂは、フォーク２２を用いた荷役動作を行わせるためのものである。具体的には、荷役アクチュエータ２５ｂは、フォーク２２を昇降させるリフト動作と、フォーク２２を傾けるチルト動作を行わせる。フォーク２２には、パレットが積載される。パレットには、例えば、フォークリフト２０が荷役を行う対象である荷役対象物が載置される。また、フォーク２２は、上昇、又は下降し、パレットに載置された荷役対象物の積み込み、又は積み降ろしを行う。

【0021】

フォークリフト２０は、例えば、バッテリフォークリフトであってもよい。この場合、走行アクチュエータ２５ａは、車輪２１を回転駆動させる走行用電動モータ、及び操舵用電動モータ等により実現される。また、荷役アクチュエータ２５ｂは、荷役動作を行わせるための油圧ポンプ、及び油圧シリンダ等により実現される。

【0022】

通信部２６は、例えば、通信用回路又は通信用モジュールを含む。通信部２６は、判定装置１０やその他の機器と各種データを送受信する。通信部２６は、有線または無線で通信を行う。無線通信である場合、通信部２６の通信態様は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信でもよい。また、無線通信である場合、通信部２６の通信態様は、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線等のネットワークを介した通信であってもよい。

【0023】

制御部２７は、判定装置１０から取得したパレットの位置を示す情報に基づいて、走行アクチュエータ２５ａ、及び荷役アクチュエータ２５ｂを制御する。詳しくは、制御部２７は、パレットの位置を示す情報に基づいて、当該情報が示すパレットの位置まで走行するように、走行アクチュエータ２５ａを制御する。また、制御部２７は、パレットの位置を示す情報に基づいて、パレットのパレット穴の位置に、フォーク２２の位置を合わせるように、荷役アクチュエータ２５ｂを制御する。荷役アクチュエータ２５ｂは、「駆動制御部」の一例である。

【0024】

ヘッドライト２８は、例えば、フォークリフト２０の進行方向前方に光を照射する。また、ヘッドライト２８は、判定装置１０の制御に基づいて、パレットに対して光を照射する。以下、ヘッドライト２８は、第１光源２８ａと、第２光源２８ｂとの複数の光源を有する場合について説明する。第１光源２８ａと、第２光源２８ｂとは、例えば、互いに異なる波長域の光を照射する光源である。詳しくは、第１光源２８ａは、第２光源２８ｂに比して広い波長域の光を照射する。具体的には、第１光源２８ａは、ホワイトライトにより実現される。また、第２光源２８ｂは、第１光源２８ａに比して狭い波長域の光を照射する。具体的には、第２光源２８ｂは、ブルーライトにより実現される。以下、第１光源２８ａと、第２光源２８ｂとを互いに区別しない場合には、単に「ヘッドライト２８」と記載する。ヘッドライト２８は、「照射部」の一例である。

【0025】

撮像部２９は、例えば、フォーク２２のうち荷役動作の妨げにならない位置、又はフォーク２２を支持するマスト等に設けられる。撮像部２９は、フォークリフト２０の周辺環境を撮像するとともに、撮像画像を生成する。また、撮像部２９は、判定装置１０の制御に基づいて、パレットに対してヘッドライト２８により光が照射された状態、且つパレットとパレット穴とを一つの撮像画像に含めた状態において、パレットを撮像するとともに、撮像画像を生成する。

【0026】

［判定装置１０について］
図２に示すように、判定装置１０は、例えば、通信部１１と、制御部１００と、記憶部２００とを備える。通信部１１は、例えば、通信用回路又は通信用モジュールを含む。通信部１１は、通信部２６やその他の機器と各種データを送受信する。通信部１１は、有線または無線で通信を行う。無線通信である場合、通信部１１の通信態様は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信でもよい。また、無線通信である場合、通信部１１の通信態様は、ＬＡＮ、プロバイダ端末、無線通信網、無線基地局、専用回線等のネットワークを介した通信であってもよい。

【0027】

制御部１００は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの非一過性の記憶媒体を備える記憶部２００に格納されていてもよい。

【0028】

記憶部２００は、上記の各種記憶装置、或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部２００には、上述したプログラムの他、学習済みモデル２０１が記憶される。学習済みモデル２０１の詳細については、後述する。

【0029】

制御部１００は、例えば、照射制御部１０１と、撮像制御部１０２と、特定部１０３と、判定部１０４と、出力部１０５とをその機能部として備える。
照射制御部１０１は、例えば、ヘッドライト２８の動作を制御する。ヘッドライト２８の動作には、ヘッドライト２８を点灯、又は消灯させることが含まれる。

【0030】

撮像制御部１０２は、例えば、撮像部２９の動作を制御する。撮像部２９の動作には、例えば、撮像対象を撮像するとともに、撮像画像を生成すること、撮像部２９の撮像に係る設定を変更すること、及び撮像部２９が撮像する範囲を変更すること等が含まれる。撮像部２９の撮像に係る設定には、例えば、ピント位置、絞り値、シャッタースピード、及びＩＳＯ感度等の設定が含まれる。

【0031】

特定部１０３は、学習済みモデル２０１と、撮像部２９により生成された撮像画像とに基づいて、パレットの位置を特定する。ここで、学習済みモデル２０１は、パレットと、パレット穴とが示される画像が入力されると、パレットの位置を示す座標の情報を出力する演算モデルである。パレットの位置を示す座標は、例えば、画像を撮像した撮像部２９を原点とする座標である。

【0032】

学習済みモデル２０１は、例えば、教師画像ＴＰと、教師画像ＴＰにおけるパレットの位置とを教師データとした機械学習により生成された学習済みモデルである。図３に示す一例では、教師画像ＴＰには、パレットＰＬ１と、パレットＰＬ１のパレット穴ＰＨ１とが示される。また、教師画像ＴＰには、パレットＰＬ２と、パレットＰＬ２のパレット穴ＰＨ２とが示される。学習済みモデル２０１の学習に用いられるネットワークは、例えば、ディープニューラルネットワーク（Deep Neural Network；ＤＮＮ）であってもよく、回帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）であってもよい。なお、教師画像ＴＰには、一つのパレットと、当該パレットのパレット穴とが示されるものであってもよい。

【0033】

教師画像ＴＰには、例えば、第１教師画像ＴＰ１から第４教師画像ＴＰ４のうち、少なくともいずれか一つが含まれる。第１教師画像ＴＰ１は、例えば、ホワイトライトの光がパレットに照射された状態の画像である。第２教師画像ＴＰ２は、ブルーライトの光がパレットに照射された状態の画像である。第３教師画像ＴＰ３は、自然光がパレットに照射された状態の画像である。第４教師画像ＴＰ４は、フォークリフトの周辺に存在する物体の影がパレットに生じた状態の画像である。フォークリフトの周辺に存在する物体の影には、フォークリフトが存在する空間を構成する構造物の影や、フォークリフトが備える構造物の影等である。ホワイトライトは、「第３光源」の一例であり、ブルーライトは、「第４光源」の一例である。

【0034】

図２に示すように、判定部１０４は、特定部１０３の処理によりパレットの位置が特定できたか否かを判定する。判定部１０４は、例えば、特定部１０３の処理により取得されたパレットの位置を示す座標の値が所定範囲内の値である場合、パレットの位置が特定できたと判定する。また、判定部１０４は、特定部１０３の処理によりパレットの位置が取得できなかった場合、又は取得されたパレットの位置を示す座標の値が、所定範囲外の値である場合等、パレットの位置が特定できないと判定する。所定範囲の値は、例えば、撮像部２９が撮像した撮像画像に示される範囲の座標を表す値である。

【0035】

出力部１０５は、判定部１０４によりパレットの位置が特定できたと判定された場合、特定部１０３の処理により特定されたパレットの位置を示す情報を、通信部１１を介して制御部２７に出力する。制御部２７は、判定装置１０から取得したパレットの位置を示す情報に基づいて、走行アクチュエータ２５ａ、及び荷役アクチュエータ２５ｂを制御する。

【0036】

［パレットの位置が特定できない場合］
ここで、判定部１０４によりパレットの位置が特定できないと判定された場合、照射制御部１０１は、ヘッドライト２８を、当初の態様とは異なる他の態様により動作させる。以下、照射制御部１０１が、ヘッドライト２８の動作を第１態様～第４態様の、四つの態様に制御する場合について説明する。第１態様は、第１光源２８ａ、及び第２光源２８ｂのうち、第１光源２８ａのみが点灯している状態である。第２態様は、第１光源２８ａ、及び第２光源２８ｂのうち、第２光源２８ｂのみが点灯している状態である。第３態様は、第１光源２８ａ、及び第２光源２８ｂの両方が点灯している状態である。第４態様は、第１光源２８ａ、及び第２光源２８ｂの両方が消灯している状態である。

【0037】

また、判定部１０４によりパレットの位置が特定できないと判定された場合、撮像制御部１０２は、照射制御部１０１が第１態様～第４態様により動作させた状態で、撮像部２９にパレットと、パレット穴とを撮像させ、撮像画像を生成させる。以下、ヘッドライト２８が第１態様により動作し、パレットに対して第１光源２８ａに光を照射させた状態において、撮像制御部１０２が撮像部２９にパレットとパレットのパレット穴とを撮像させ、生成した画像を、第１撮像画像Ｐ１と記載する。また、ヘッドライト２８が第２態様により動作し、パレットに対して第２光源２８ｂに光を照射させた状態において、撮像制御部１０２が撮像部２９にパレットとパレットのパレット穴とを撮像させ、生成した画像を、第２撮像画像Ｐ２と記載する。また、ヘッドライト２８が第３態様により動作し、パレットに対して第１光源２８ａ、及び第２光源２８ｂに光を照射させた状態において、撮像制御部１０２が撮像部２９にパレットとパレットのパレット穴とを撮像させ、生成した画像を、第３撮像画像Ｐ３と記載する。また、ヘッドライト２８が第４態様により動作し、ヘッドライト２８を消灯させた状態において、撮像制御部１０２が撮像部２９にパレットとパレットのパレット穴とを撮像させ、生成した画像を、第４撮像画像Ｐ４と記載する。以下、第１撮像画像Ｐ１～第４撮像画像Ｐ４を互いに区別しない場合には、単に「撮像画像」と記載する。

【0038】

特定部１０３は、パレットの位置が特定できないと判定された場合、照射制御部１０１がヘッドライト２８を他の態様により動作させた状態において、撮像制御部１０２が撮像部２９に生成させた撮像画像に基づいて、パレットの位置を特定してもよい。以下、判定部１０４は、特定部１０３の処理により、第１撮像画像Ｐ１～第４撮像画像Ｐ４のいずれに基づいてもパレットの位置を特定できない場合、総合的にパレットの位置を特定できないと判定する。

【0039】

出力部１０５は、判定部１０４により総合的にパレットの位置が特定できないと判定された場合、異常動作処理を実行する指示を示す情報を、通信部１１を介してフォークリフト２０の制御部２７に出力する。制御部２７は、判定装置１０から取得した情報に基づいて、フォークリフト２０に異常動作処理を実行させる。異常動作処理には、例えば、フォークリフト２０のうち、自動運転制御に係る構成に対する電源供給を停止することや、ユーザに異常を通知する異常音を出力させること等が含まれる。

【0040】

［判定装置１０の動作］
以下、図４を参照し、判定装置１０の動作について説明する。図４に示すフローチャートは、例えば、フォークリフト２０がフォーク２２にパレットを積載する際に実行される。まず、照射制御部１０１は、ヘッドライト２８の動作を第１態様に制御する（ステップＳ１００）。次に、撮像制御部１０２は、撮像部２９にパレットを撮像させ、第１撮像画像Ｐ１を生成させる（ステップＳ１０２）。次に、特定部１０３は、第１撮像画像Ｐ１に基づいて、パレットの位置を特定する処理を実行する（ステップＳ１０４）。次に、判定部１０４は、ステップＳ１０４の特定処理により、パレットの位置が特定できたか否かを判定する（ステップＳ１０６）。出力部１０５は、判定部１０４によりパレットの位置が特定できたと判定された場合、パレットの位置を示す情報を、制御部２７に出力する（ステップＳ１０８）。

【0041】

照射制御部１０１は、ステップＳ１０６において判定部１０４によりパレットの位置が特定できないと判定された場合、ヘッドライト２８の動作を第２態様に制御する（ステップＳ１１０）。次に、撮像制御部１０２は、撮像部２９にパレットを撮像させ、第２撮像画像Ｐ２を生成させる（ステップＳ１１２）。次に、特定部１０３は、第２撮像画像Ｐ２に基づいて、パレットの位置を特定する処理を実行する（ステップＳ１１４）。次に、判定部１０４は、ステップＳ１１４の特定処理により、パレットの位置が特定できたか否かを判定する（ステップＳ１１６）。判定部１０４は、パレットの位置が特定できたと判定した場合、処理をステップＳ１０８に進める。

【0042】

照射制御部１０１は、ステップＳ１１６において判定部１０４によりパレットの位置が特定できないと判定された場合、ヘッドライト２８の動作を第３態様に制御する（ステップＳ１１８）。次に、撮像制御部１０２は、撮像部２９にパレットを撮像させ、第３撮像画像Ｐ３を生成させる（ステップＳ１２０）。次に、特定部１０３は、第３撮像画像Ｐ３に基づいて、パレットの位置を特定する処理を実行する（ステップＳ１２２）。次に、判定部１０４は、ステップＳ１２２の特定処理により、パレットの位置が特定できたか否かを判定する（ステップＳ１２４）。判定部１０４は、パレットの位置が特定できたと判定した場合、処理をステップＳ１０８に進める。

【0043】

照射制御部１０１は、ステップＳ１２４において判定部１０４によりパレットの位置が特定できないと判定された場合、ヘッドライト２８の動作を第４態様に制御する（ステップＳ１２６）。次に、撮像制御部１０２は、撮像部２９にパレットを撮像させ、第４撮像画像Ｐ４を生成させる（ステップＳ１２８）。次に、特定部１０３は、第４撮像画像Ｐ４に基づいて、パレットの位置を特定する処理を実行する（ステップＳ１３０）。次に、判定部１０４は、ステップＳ１３０の特定処理により、パレットの位置が特定できたか否かを判定する（ステップＳ１３２）。判定部１０４は、パレットの位置が特定できたと判定した場合、処理をステップＳ１０８に進める。

【0044】

出力部１０５は、ステップＳ１０６，Ｓ１１６，Ｓ１２４，Ｓ１３２の処理において、判定部１０４によりパレットの位置を特定できないと判定された場合、判定部１０４が総合的にパレットの位置を特定できないと判定したものとする。出力部１０５は、異常動作処理を実行する指示を示す情報を、通信部１１を介して制御部２７に出力する（ステップＳ１３４）。

【0045】

［実施形態の効果］
上記実施形態によれば、以下のような効果を得ることができる。
（１）判定装置１０は、照射制御部１０１と、撮像制御部１０２と、特定部１０３と、判定部１０４と、出力部１０５とを備える。照射制御部１０１は、パレットに対して光を照射するヘッドライト２８を制御する制御部であって、ヘッドライト２８を第１態様、及び第１態様とは異なる第２態様のうち、少なくとも一方の態様により動作させる。具体的には、照射制御部１０１は、ヘッドライト２８を第１～第４態様のいずれかにより動作させる。撮像制御部１０２は、照射制御部１０１がヘッドライト２８を第１態様に動作させた状態におけるパレットと、パレットのパレット穴とを撮像するとともに、第１撮像画像Ｐ１を生成するように撮像部２９の動作を制御する。特定部１０３は、第１撮像画像Ｐ１に基づいて、パレットの位置を特定する。判定部１０４は、第１撮像画像Ｐ１に基づいて、パレットの位置が特定できたか否かを判定する。出力部１０５は、判定部１０４により、パレットの位置が特定できたと判定された場合、パレットの位置を示す情報を出力する。判定部１０４により、第１撮像画像Ｐ１に基づいてパレットの位置が特定できないと判定された場合、撮像制御部１０２は、照射制御部１０１がヘッドライト２８を第２～第４態様に動作させた状態におけるパレットと、パレットのパレット穴とを撮像するとともに、第２～第４撮像画像Ｐ２～Ｐ４を生成するように撮像部２９の動作を制御する。特定部１０３は、第２～第４撮像画像Ｐ２～Ｐ４に基づいて、パレットの位置を特定する。また、判定部１０４は、第２～第４撮像画像Ｐ２～Ｐ４に基づいて、パレットの位置が特定できたか否かを更に判定する。

【0046】

ここで、パレットが置かれている位置や周辺環境によっては、パレットを撮像しても、画像に適切にパレットの特徴が示されていない場合がある。本実施形態の照射制御部１０１は、第１撮像画像Ｐ１に基づいてパレットの位置が特定できない場合、ヘッドライト２８の動作を他の態様に制御する。したがって、第１撮像画像Ｐ１と、第２～第４撮像画像Ｐ２～Ｐ４とでは、画像に示されるパレットの特徴の現れ方が異なり、特定部１０３により一つの撮像画像でパレットの位置を特定できない場合であっても、他の撮像画像でパレットの位置を特定できる場合がある。かかる構成によれば、特定部１０３は、パレットが置かれている位置や周辺環境に関わらず、パレットの位置を特定することができる。

【0047】

（２）ヘッドライト２８は、互いに異なる波長域の光を照射する複数の光源を有する。照射制御部１０１は、第１態様において、第１光源２８ａにパレットに対して光を照射させる。照射制御部１０１は、第２態様において、第１光源２８ａに比して波長域が狭い光を照射する第２光源２８ｂにパレットに対して光を照射させる。

【0048】

かかる構成によれば、特定部１０３は、第１撮像画像Ｐ１に基づいてパレットの位置が特定できない場合、パレットに対して第２光源２８ｂの光（例えば、ブルーライトの光）を照射し、パレットの特徴が示された第２撮像画像Ｐ２を取得する。したがって、第１撮像画像Ｐ１に基づいてパレットの位置が特定できなくても、第２撮像画像Ｐ２に基づいてパレットの位置を特定することができる。

【0049】

（３）特定部１０３は、学習済みモデル２０１と、第１撮像画像Ｐ１、又は第２撮像画像Ｐ２とに基づいて、パレットの位置を特定してもよい。学習済みモデル２０１は、パレットとパレット穴とが示される教師画像ＴＰと、教師画像ＴＰにおけるパレットの位置とを教師データとした機械学習により生成される。

【0050】

かかる構成によれば、特定部１０３は、パレットが置かれている位置や周辺環境に応じて学習された学習済みモデル２０１を用いて、パレットの位置を特定することができる。
（４）教師画像ＴＰには、第１教師画像ＴＰ１、第２教師画像ＴＰ２、第３教師画像ＴＰ３、及び第４教師画像ＴＰ４と、が含まれる。

【0051】

かかる構成によれば、特定部１０３は、パレットが置かれている位置や周辺環境に応じて学習された学習済みモデル２０１を用いて、パレットの位置を特定することができる。
（５）フォークリフト２０は、判定装置１０と、荷役アクチュエータ２５ｂと、を備える。

【0052】

かかる構成によれば、フォークリフト２０は、パレットが置かれている位置や周辺環境に関わらず、パレットの位置を特定し、パレット穴にフォーク２２を差し込むことができる。

【0053】

（６）学習済みモデル２０１の学習方法は、パレットと、パレットに設けられたパレット穴とが示される教師画像ＴＰと、教師画像ＴＰにおけるパレットの位置とを教師データとした機械学習により学習モデルに学習させ、教師画像ＴＰには、第１教師画像ＴＰ１、第２教師画像ＴＰ２、第３教師画像ＴＰ３、及び第４教師画像ＴＰ４と、が含まれる。

【0054】

かかる構成によれば、学習方法は、パレットが置かれている位置や周辺環境に関わらず、パレットの位置を特定することができる学習済みモデル２０１を生成することができる。また、かかる構成によれば、パレットが置かれている位置や周辺環境に応じて学習された学習済みモデル２０１を用いて、パレットの位置を特定することができる。

【0055】

上記各実施形態は以下のように変更してもよい。なお、上記実施形態および以下の各別例は、技術的に矛盾しない範囲で互いに組み合わせてもよい。
〇制御部１００は、例えば、特定部１０３により特定されたパレットの位置に基づいて、パレット穴の位置を特定するパレット穴位置特定部を更に備えていてもよい。この場合、フォークリフト２０は、ＬＩＤＡＲ（Light Detection and Ranging）を備える。パレット穴位置特定部は、特定部１０３により特定されたパレットの位置付近に、ＬＩＤＡＲに光を照射させる。パレット穴位置特定部は、照射した光の散乱光を測定する。パレット穴位置特定部は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザ光であってよい。パレット穴位置特定部は、光を照射した範囲のうち、対象までの距離が遠い範囲を、パレット穴の位置として特定する。出力部１０５は、パレットの位置を情報に代えて（或いは、加えて）、パレット穴の位置を示す情報を制御部２７に出力する。かかる構成によれば、制御部２７は、パレット穴の位置を示す情報に基づいて、パレット穴にフォーク２２を差し込むことができる。

【0056】

〇パレット穴位置特定部は、例えば、パレット穴が示された教師画像と、教師画像におけるパレット穴の位置とを教師データとした機械学習により生成された学習済みモデルを用いて、パレット穴の位置を特定してもよい。この場合、学習済みモデルは、パレットと、パレット穴とが示される画像が入力されると、画像を撮像した撮像部を原点とする座標上におけるパレット穴の位置を示す座標を示す情報を出力する演算モデルである。

【0057】

〇ステップＳ１０８の直前、又はステップＳ１０８の直後において、照射制御部１０１は、ヘッドライト２８の動作を第１態様に制御する処理を実行してもよい。かかる構成によれば、ヘッドライト２８の態様が第１態様以外の態様に制御された場合であっても、フォークリフト２０がパレットまで移動する際に、ヘッドライト２８がフォークリフト２０の進行方向に光を照射できるようにすることができる。

【0058】

〇第１教師画像ＴＰ１、第２教師画像ＴＰ２、第３教師画像ＴＰ３、及び第４教師画像ＴＰ４のような環境を実環境で実現することが困難な場合には、教師画像ＴＰは、例えば、仮想空間において再現された画像が用いられてもよい。

【0059】

〇特定部１０３は、学習済みモデル２０１を用いた方法以外の方法によって、パレットの位置や、パレット穴の位置を特定してもよい。この場合、特定部１０３は、第１撮像画像Ｐ１～第４撮像画像Ｐ４に対して、画像処理を行う。特定部１０３は、画像処理に基づいてパレットやパレット穴の特徴点を特定することで、パレットの位置や、パレット穴の位置を特定する。画像処理は、例えば、エッジ検出等により、パレットやパレット穴の端点を特定可能にする処理である。

【0060】

〇図４に示すフローチャートでは、第１態様、第２態様、第３態様、及び第４態様の順にヘッドライト２８の動作が制御されたが、これに限られない。ステップＳ１００～Ｓ１０６の第１処理、ステップＳ１１０～Ｓ１１６の第２処理、ステップＳ１１８～Ｓ１２４の第３処理、及びステップＳ１２６～Ｓ１３２の第４処理は、いずれの順序で実行されてもよい。この場合、第１処理～第４処理のうち、最後に実行された処理に含まれる判定処理において、判定部１０４がパレットの位置を特定できないと判定した場合、処理をステップＳ１３４に進める。

【0061】

〇図４に示すフローチャートでは、ヘッドライト２８の動作が第１態様～第４態様において生成された、第１撮像画像Ｐ１～第４撮像画像Ｐ４に基づいて、特定部１０３がパレットの位置を特定する場合について説明したが、これに限られない。照射制御部１０１は、例えば、ヘッドライト２８の動作を、第１態様～第４態様のうち、少なくとも二つの態様に制御するものであってもよい。例えば、照射制御部１０１は、ヘッドライト２８の動作を、第１態様、及び第２態様のみに制御するものであってもよい。この場合、撮像制御部１０２は、第１態様における第１撮像画像Ｐ１と、第２態様における第２撮像画像Ｐ２との生成のみを撮像部２９に指示する。また、特定部１０３は、第１撮像画像Ｐ１に基づくパレットの位置の特定処理、及び第２撮像画像Ｐ２に基づくパレットの位置の特定処理の二つの特定処理のみを実行する。また、判定部１０４は、二つの特定処理によってパレットの位置が特定できないと判定した場合、総合的にパレットの位置が特定できないと判定する。

【0062】

〇なお、上述したヘッドライト２８の態様の組み合わせは、一例であって、これに限られない。照射制御部１０１は、ヘッドライト２８の態様を、第１態様～第４態様のうち、互いに異なる少なくとも二つの態様に制御するものであれば、態様の組み合わせは第１態様、及び第２態様に限られず、いずれの組み合わせであってもよい。詳しくは、照射制御部１０１は、ヘッドライト２８の動作を第１態様と、第３態様とに制御する。撮像制御部１０２は、第１態様において第１撮像画像Ｐ１を生成させる。撮像制御部１０２は、第３態様において第３撮像画像Ｐ３を生成させる。この場合、第３態様は、「第２態様」の一例であり、第３撮像画像Ｐ３は、「第２撮像画像」の一例である。また、照射制御部１０１は、ヘッドライト２８の動作を、第１態様と、第４態様とに制御する。撮像制御部１０２は、第１態様において第１撮像画像Ｐ１を生成させる。撮像制御部１０２は、第４態様において第４撮像画像Ｐ４を生成させる。この場合、第４態様は、「第２態様」の一例であり、第４撮像画像Ｐ４は、「第２撮像画像」また、照射制御部１０１は、ヘッドライト２８の動作を、第２態様と、第３態様とに制御する。撮像制御部１０２は、第２態様において第２撮像画像Ｐ２を生成させる。撮像制御部１０２は、第３態様において第３撮像画像Ｐ３を生成させる。この場合、第２態様は、「第１態様」の一例であり、第３態様は、「第２態様」の一例であり、第２撮像画像Ｐ２は、「第１撮像画像」の一例であり、第３撮像画像Ｐ３は、「第２撮像画像」の一例である。また、照射制御部１０１は、ヘッドライト２８の動作を、第２態様と、第４態様とに制御する。撮像制御部１０２は、第２態様において第２撮像画像Ｐ２を生成させる。撮像制御部１０２は、第４態様において第４撮像画像Ｐ４を生成させる。この場合、第２態様は、「第１態様」の一例であり、第４態様は、「第２態様」の一例であり、第２撮像画像Ｐ２は、「第１撮像画像」の一例であり、第４撮像画像Ｐ４は、「第２撮像画像」の一例である。また、照射制御部１０１は、ヘッドライト２８の動作を、第３態様と、第４態様とに制御する。撮像制御部１０２は、第３態様において第３撮像画像Ｐ３を生成させる。撮像制御部１０２は、第４態様において第４撮像画像Ｐ４を生成させる。この場合、第３態様は、「第１態様」の一例であり、第４態様は、「第２態様」の一例であり、第３撮像画像Ｐ３は、「第１撮像画像」の一例であり、第４撮像画像Ｐ４は、「第２撮像画像」の一例である。

【0063】

〇また、照射制御部１０１は、ヘッドライト２８の動作を「第２態様」に制御した後、「第１態様」に制御するものであってもよい。この場合、撮像制御部１０２は、「第２態様」において「第２撮像画像」を生成させた後、「第１態様」において「第１撮像画像」を生成させる。また、判定部１０４は、「第２撮像画像」に基づいて、パレットの位置が特定できないと判定した後、「第１撮像画像」に基づいて、パレットの位置が特定できたか否かを判定する。

【0064】

〇第２光源２８ｂが、ブルーライトにより実現される場合について説明したが、これに限られない。第２光源２８ｂは、第１光源２８ａが照射する光よりも波長域が狭い光を照射する光源であれば、いずれのライトにより実現されてもよい。また、第１光源２８ａは、第２光源２８ｂが照射する光よりも波長域が広い光を照射する光源であれば、ホワイトライト以外のライトにより実現されてもよい。

【0065】

〇第１光源２８ａと、第２光源２８ｂとは、例えば、互いに異なる波長域の光を照射する光源である場合について説明したが、これに限られない。第１光源２８ａと、第２光源２８ｂとは、互いに輝度の異なる光を照射する光源であってもよい。この場合、第２光源２８ｂは、第１光源２８ａが照射する光よりも弱い輝度の光を照射する光源であれば、いずれのライトにより実現されてもよい。また、第１光源２８ａは、第２光源２８ｂが照射する光よりも強い輝度の光を照射する光源であれば、いずれのライトにより実現されてもよい。

【0066】

〇第１教師画像ＴＰ１は、例えば、第１光源２８ａが照射する光がパレットに照射された状態の画像であってもよく、第１光源２８ａと同様の機能を有する第３光源が照射する光がパレットに照射された状態の画像であってもよい。第２教師画像ＴＰ２は、例えば、第２光源２８ｂが照射する光がパレットに照射された状態の画像であってもよく、第２光源２８ｂと同様の機能を有する第４光源が照射する光がパレットに照射された状態の画像であってもよい。

【0067】

〇第４光源が、ブルーライトにより実現される場合について説明したが、これに限られない。第４光源は、第３光源が照射する光よりも波長域が狭い光を照射する光源であれば、いずれのライトにより実現されてもよい。また、第３光源は、第４光源が照射する光よりも波長域が広い光を照射する光源であれば、ホワイトライト以外のライトにより実現されてもよい。

【0068】

〇第３光源と、第４光源とは、例えば、互いに異なる波長域の光を照射する光源である場合について説明したが、これに限られない。第３光源と、第４光源とは、互いに輝度の異なる光を照射する光源であってもよい。この場合、第４光源は、第３光源が照射する光よりも弱い輝度の光を照射する光源であれば、いずれのライトにより実現されてもよい。また、第３光源は、第４光源が照射する光よりも強い輝度の光を照射する光源であれば、いずれのライトにより実現されてもよい。

【0069】

〇第１撮像画像Ｐ１～第４撮像画像Ｐ４は、それぞれ、複数の撮像画像を合成した合成画像により実現してもよい。この場合、撮像制御部１０２は、例えば、ヘッドライト２８が各態様に制御されている状態において、撮像に係る設定を変更しながら複数の撮像画像を生成する。そして、撮像制御部１０２は、ヘッドライト２８が各態様に制御されている状態において生成した撮像画像をそれぞれ合成し、第１撮像画像Ｐ１～第４撮像画像Ｐ４を生成する。詳しくは、撮像制御部１０２は、ヘッドライト２８が第１態様に制御されている状態において、ピント位置をそれぞれ異ならせた撮像画像を数枚程度、生成する。そして、撮像制御部１０２は、生成した数枚の撮像画像を合成し、第１撮像画像Ｐ１を生成する。これにより、第１撮像画像Ｐ１は、１枚の画像により実現される場合に比して、第１撮像画像Ｐ１に示される撮像対象が、より鮮明に撮像される。したがって、特定部１０３は、より鮮明な撮像画像に基づいて、パレットの位置を特定することができるため、パレットの位置の特定の精度を向上させることができる。

【0070】

〇上述では、判定装置１０と、フォークリフト２０とが別体により実現される場合について説明したが、これに限られない。判定装置１０と、フォークリフト２０とは、一体に構成されてもよい。この場合、制御部２７は、制御部１００が備える機能部を備える。また、フォークリフト２０は、記憶部２００を備える。判定装置１０と、フォークリフト２０とが一体に構成される場合、フォークリフト２０は、制御部２７と判定装置１０との間の情報の送受信に用いられる構成としての通信部１１や通信部２６を備えていなくてもよい。

【符号の説明】

【0071】

１０…判定装置、２０…フォークリフト、２１…車輪、２２…フォーク、２３…ハンドル、２４…操作レバー、２５ａ…走行アクチュエータ、２５ｂ…荷役アクチュエータ、１１，２６…通信部、２７，１００…制御部、２８…ヘッドライト、２８ａ…第１光源、２８ｂ…第２光源、２９…撮像部、１０１…照射制御部、１０２…撮像制御部、１０３…特定部、１０４…判定部、１０５…出力部、２００…記憶部、２０１…学習済みモデル、Ｐ１…第１撮像画像、Ｐ２…第２撮像画像、Ｐ３…第３撮像画像、Ｐ４…第４撮像画像、ＴＰ…教師画像、ＴＰ１…第１教師画像、ＴＰ２…第２教師画像、ＴＰ３…第３教師画像、ＴＰ４…第４教師画像。

【図1】

【図2】

【図3】

【図4】