特許 7543956 荷崩れ判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】荷崩れ判定装置

(51)【国際特許分類】

   B66F 9/24 20060101AFI20240827BHJP

【ＦＩ】

B66F9/24 L

【請求項の数】 4

(21)【出願番号】P 2021043888

(22)【出願日】2021-03-17

(65)【公開番号】P2022143404

(43)【公開日】2022-10-03

【審査請求日】2023-06-14

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】三田 達也

【審査官】中島 亮

(56)【参考文献】

【文献】特開２０２０－０３７４６４（ＪＰ，Ａ）

【文献】特開２０２０－０２９３１６（ＪＰ，Ａ）

【文献】特開２００５－２２５５９２（ＪＰ，Ａ）

【文献】特開平０７－１０１６９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００９０２８５（ＵＳ，Ａ１）

【文献】特開２０１１－１９５３３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｆ ９／００－ １１／０４

(57)【特許請求の範囲】

【請求項1】

荷取り対象となる第１パレットの水平方向に隣接する第２パレットに、荷崩れが生じるか否かを判定する荷崩れ判定装置であって、
前記第１パレット及び前記第２パレットを撮像するように配置されたカメラと、
前記カメラから画像データを取得する取得部と、
前記画像データが入力されることにより前記第２パレットに荷崩れが生じるか否かを示す指標を出力する学習済みモデルを記憶した記憶装置と、
前記学習済みモデルの出力結果から前記第２パレットに荷崩れが生じるか否かを判定する判定部と、を備える荷崩れ判定装置。

【請求項2】

荷取り対象となる第１パレットに隣接する第２パレットに、荷崩れが生じるか否かを判定する荷崩れ判定装置であって、
前記第１パレット及び前記第２パレットを撮像するように配置されたカメラと、
前記カメラから画像データを取得する取得部と、
前記画像データが入力されることにより前記第２パレットに荷崩れが生じるか否かを示す指標を出力する学習済みモデルを記憶した記憶装置と、
前記学習済みモデルの出力結果から前記第２パレットに荷崩れが生じるか否かを判定する判定部と、を備え、
前記学習済みモデルは、フォークリフトが前記第１パレットの正面に位置している状態で、前記フォークリフトの進行方向において、前記第１パレットよりも前記第２パレットのほうが前記フォークリフトの近くに位置している状況が写る画像データ、及び前記第１パレットの一部が前記第２パレットに引っかかっている状況が写る画像データの少なくとも１つを教師データとして学習されたものである荷崩れ判定装置。

【請求項3】

前記カメラは、フォークリフトのマストに取り付けられている請求項１又は請求項２に記載の荷崩れ判定装置。

【請求項4】

前記カメラは、前記第１パレット及び前記第２パレットの荷取りが行われる荷取り位置を撮像するように、フォークリフトが用いられる区域に設けられている請求項１又は請求項２に記載の荷崩れ判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、荷崩れ判定装置に関する。

【背景技術】

【0002】

フォークに積載されたパレットの搬送を行うフォークリフトとしては、例えば、特許文献１に開示されている。フォークリフトは、フォークにパレットを積載する荷取り作業を行った後に、パレットを搬送する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１０９０３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

フォークにパレットを積載する際に、荷取り対象となるパレットが、このパレットに隣接するパレットに干渉する場合がある。この場合、荷取り対象となるパレットに隣接するパレットに荷崩れが生じるおそれがある。

【課題を解決するための手段】

【0005】

上記課題を解決する荷崩れ判定装置は、荷取り対象となる第１パレットに隣接する第２パレットに、荷崩れが生じるか否かを判定する荷崩れ判定装置であって、前記第１パレット及び前記第２パレットを撮像するように配置されたカメラと、前記カメラから画像データを取得する取得部と、前記画像データが入力されることにより前記第２パレットに荷崩れが生じるか否かを示す指標を出力する学習済みモデルを記憶した記憶装置と、前記学習済みモデルの出力結果から前記第２パレットに荷崩れが生じるか否かを判定する判定部と、を備える。

【0006】

これによれば、第２パレットに荷崩れが生じるか否かを判定することができる。
上記荷崩れ判定装置について、前記カメラは、フォークリフトのマストに取り付けられていてもよい。

【0007】

上記荷崩れ判定装置について、前記カメラは、前記第１パレット及び前記第２パレットの荷取りが行われる荷取り位置を撮像するように、フォークリフトが用いられる区域に設けられていてもよい。

【発明の効果】

【0008】

本発明によれば、第１パレットに隣接する第２パレットに、荷崩れが生じるか否かを判定することができる。

【図面の簡単な説明】

【0009】

【図1】フォークリフトが運用される区域を示す模式図。

【図2】パレットの斜視図。

【図3】フォークリフトの側面図。

【図4】フォークリフトの構成を示すブロック図。

【図5】荷崩れ判定処理を示すフローチャート。

【図6】荷崩れが生じるおそれがある状況の一例を示す図。

【図7】荷崩れ判定装置の変形例を示す図。

【発明を実施するための形態】

【0010】

以下、荷崩れ判定装置の一実施形態について説明する。
図１に示すように、区域Ａ１には、停車位置Ａ２が設定されている。区域Ａ１は、例えば、工場、港湾、空港、商業施設及び公共施設などの場所の全体、あるいは、一部である。停車位置Ａ２は、トラックＴが停車する位置である。区域Ａ１では、フォークリフト１０が運用されている。フォークリフト１０は、トラックＴに積まれたパレットＰをフォークリフト１０に積載する荷取り作業を行った後に、パレットＰを別の場所や別の装置まで搬送する。停車位置Ａ２は、トラックＴに積まれたパレットＰの荷取りが行われる荷取り位置である。トラックＴには複数のパレットＰが積まれている。フォークリフト１０は、複数のパレットＰのうち第１パレットＰ１を積載しようとしている。第１パレットＰ１に隣接するパレットＰを第２パレットＰ２とする。第１パレットＰ１は、フォークリフト１０の荷取り対象となるパレットＰである。第２パレットＰ２は、荷取り対象となる第１パレットＰ１に隣接するパレットＰである。

【0011】

図２に示すように、本実施形態のパレットＰはメッシュパレットである。パレットＰは、収容部Ｃと、脚部Ｌと、を備える。脚部Ｌは、複数設けられている。脚部Ｌは、収容部Ｃから突出している。脚部Ｌは、突出部ＬＰを備える。突出部ＬＰは、平面視において、収容部Ｃよりも外側に突出している。即ち、脚部Ｌを下方にしてパレットＰを配置した場合、突出部ＬＰは収容部Ｃよりも水平方向に突出している。

【0012】

図３に示すように、フォークリフト１０は、荷役装置１１を備える。荷役装置１１は、マスト１２と、リフトブラケット１５と、フォーク１６と、リフトシリンダ２０と、ティルトシリンダ２１と、を備える。マスト１２は、アウタマスト１３と、インナマスト１４と、を備える。アウタマスト１３は、前後に傾動可能に支持されている。インナマスト１４は、アウタマスト１３に対して昇降可能に設けられている。リフトブラケット１５は、インナマスト１４に固定されている。フォーク１６は、リフトブラケット１５に固定されている。フォーク１６には、パレットＰが積載される。リフトブラケット１５及びフォーク１６は、インナマスト１４とともに昇降する。リフトシリンダ２０は、インナマスト１４を昇降動作させる。ティルトシリンダ２１は、マスト１２を傾動動作させる。リフトシリンダ２０及びティルトシリンダ２１は、油圧シリンダである。本実施形態のフォークリフト１０は、フォークリフト１０に搭乗した搭乗者によって操作される。

【0013】

図４に示すように、フォークリフト１０は、油圧機構２２と、荷崩れ判定装置３０と、警報装置３２と、を備える。荷崩れ判定装置３０は、カメラ３１と、制御装置４１と、補助記憶装置５１と、を備える。

【0014】

油圧機構２２は、フォークリフト１０に荷役を行わせるための部材である。油圧機構２２は、ポンプを駆動させるための荷役モータと、リフトシリンダ２０及びティルトシリンダ２１への作動油の給排を制御するコントロールバルブと、を含む。

【0015】

カメラ３１は、デジタルカメラである。カメラ３１は、撮像素子を備える。撮像素子としては、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)、及びＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)を挙げることができる。カメラ３１としては、例えば、RGBカメラ、赤外線カメラ、グレースケールカメラ、及び可視光カメラを挙げることができる。

【0016】

カメラ３１は、所定のフレームレートで撮像を行って画像データを生成する。この画像データは、カメラ３１で撮像した画像のデジタルデータである。カメラ３１は、フォーク１６にパレットＰを積載する際に、フォーク１６に積載するパレットＰ及びこのパレットＰに隣接するパレットＰが撮像されるように配置されている。即ち、カメラ３１は、第１パレットＰ１及び第２パレットＰ２を撮像するように配置されている。カメラ３１は、フォーク１６に積載されたパレットＰが画像データに写り込まないように配置することが好ましい。カメラ３１は、マスト１２の上部に設けられている。本実施形態において、カメラ３１は、インナマスト１４の上部に設けられている。従って、カメラ３１は、インナマスト１４とともに昇降可能に設けられている。

【0017】

警報装置３２は、フォークリフト１０の搭乗者に警報を行うための装置である。警報装置３２は、音による警報を行う装置であってもよいし、光による警報を行う装置であってもよい。音による警報を行う装置としては、例えば、ブザー及び拡声器を挙げることができる。光による警報を行う装置としては、例えば、ランプを挙げることができる。

【0018】

制御装置４１は、プロセッサ４２と、記憶部４３と、を備える。プロセッサ４２としては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、及びDSP（Digital Signal Processor）を挙げることができる。記憶部４３は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部４３は、処理をプロセッサ４２に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部４３、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置４１は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である制御装置４１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

【0019】

制御装置４１は、取得部４４と、判定部４５と、制御部４６と、を備える。取得部４４、判定部４５及び制御部４６は、制御装置４１がプログラムを実行することで機能する機能要素である。

【0020】

補助記憶装置５１は、制御装置４１が読み取り可能な情報を記憶している。補助記憶装置５１としては、例えば、ハードディスクドライブ、及びソリッドステートドライブを挙げることができる。

【0021】

補助記憶装置５１は、学習済みモデルＭ１を記憶している記憶装置である。学習済みモデルＭ１は、画像データが入力されることにより、荷取り対象となる第１パレットＰ１に隣接する第２パレットＰ２に荷崩れが生じるか否かを示す指標を出力する対応関係を規定している。

【0022】

制御装置４１が行う荷崩れ判定処理について説明する。荷崩れ判定処理は、第２パレットＰ２に荷崩れが生じるか否かを判定する処理である。なお、本実施形態における第２パレットＰ２の荷崩れは、第２パレットＰ２が置かれている位置からの第２パレットＰ２の落下を含む。第２パレットＰ２が平パレットの場合、第２パレットＰ２の荷崩れは、第２パレットＰ２に置かれた荷が崩れることを含む。即ち、第２パレットＰ２の荷崩れとは、第２パレットＰ２、あるいは、第２パレットＰ２に置かれた荷が、フォークリフト１０により搬送可能な姿勢から搬送不可能な姿勢になることをいう。

【0023】

図５に示すように、ステップＳ１において、制御装置４１は、カメラ３１から画像データを取得する。制御装置４１は、ステップＳ１の処理を行うことで、取得部４４を備えているといえる。

【0024】

次に、ステップＳ２において、制御装置４１は、学習済みモデルＭ１を用いた荷崩れ判定を行う。本実施形態の学習済みモデルＭ１は、画像データが入力されることで、画像データが予め定められたクラスに該当するか否かの指標を出力する。クラスとしては「荷崩れが生じる」及び「荷崩れが生じない」が設定されている。画像データが各クラスに該当するか否かを示す指標として、蓋然性を用いている。蓋然性とは、画像データがクラスに該当する信頼度ともいえる。蓋然性としては、例えば、クラス確率、及びスコアを用いることができる。クラス確率とは、画像データがクラスに該当する確率である。クラス確率は、０以上１以下の値である。スコアは、画像データがクラスに該当する確率が高いほど大きくなる値である。本実施形態では、画像データが各クラスに該当するか否かを示す指標として、クラス確率を用いている。そして、このクラス確率が、第２パレットＰ２に荷崩れが生じるか否かを示す指標である。

【0025】

学習済みモデルＭ１は、DNN（Deep Neural Network）を用いた機械学習によって生成されている。機械学習のアルゴリズムとしては、例えば、CNN（Convolution Neural Network）を用いることができる。CNNは、画像データ毎に、該当するクラスを判定する。CNNは、入力層と、中間層と、出力層と、を備える。入力層には、画像データが入力される。中間層は、畳み込み層と、プーリング層と、を含む。中間層では、画像データの特徴量抽出が行われる。出力層は、クラス確率を出力する。

【0026】

学習済みモデルＭ１は、教師データを用いた教師有り学習、あるいは、半教師有り学習によって生成される。教師データとしては、画像データにラベルを付したものを挙げることができる。本実施形態では、第２パレットＰ２に荷崩れが生じるおそれがある状況の第１パレットＰ１及び第２パレットＰ２が写る画像データに「荷崩れが生じる」のラベルを付したデータを教師データとする。また、荷崩れが生じるおそれがないと想定される状況の第１パレットＰ１及び第２パレットＰ２が写る画像データに「荷崩れが生じない」のラベルを付したデータを教師データとする。

【0027】

図６に示すように、第２パレットＰ２に荷崩れが生じるおそれがある状況としては、第１パレットＰ１よりも第２パレットＰ２のほうがフォークリフト１０の近くに位置している状況を挙げることができる。詳細にいえば、フォークリフト１０が第１パレットＰ１の正面に位置している状態で、フォークリフト１０の進行方向において、第１パレットＰ１よりも第２パレットＰ２のほうがフォークリフト１０の近くに位置している状況である。この場合、フォーク１６に第１パレットＰ１を積載し、フォークリフト１０を後退させる際に、第１パレットＰ１に引き摺られて第２パレットＰ２が移動することで荷崩れを起こすおそれがある。また、第１パレットＰ１の突出部ＬＰが第２パレットＰ２に引っ掛かっている状況も、第２パレットＰ２に荷崩れが生じるおそれがある状況である。即ち、第２パレットＰ２に荷崩れが生じるおそれがある状況とは、第１パレットＰ１が第２パレットＰ２に干渉する状況である。荷崩れが生じるおそれがないと想定される状況とは、第１パレットＰ１が第２パレットＰ２に干渉しない状況である。

【0028】

制御装置４１は、上記した学習済みモデルＭ１に画像データを入力することで、「荷崩れが生じる」のクラス確率と、「荷崩れが生じない」のクラス確率とを得ることができる。

【0029】

図５に示すように、次に、ステップＳ３において、制御装置４１は、第２パレットＰ２に荷崩れが生じるか否かを判定する。制御装置４１は、「荷崩れが生じる」のクラス確率が閾値以上の場合、第２パレットＰ２に荷崩れが生じると判定する。閾値としては、フォークリフト１０の管理者が任意に設定することができる。ステップＳ３の処理を行うことで、制御装置４１は、判定部４５を備えているといえる。制御装置４１は、ステップＳ３の判定結果が否定の場合、荷崩れ判定処理を終了する。制御装置４１は、ステップＳ３の判定結果が肯定の場合、ステップＳ４の処理を行う。

【0030】

ステップＳ４において、制御装置４１は、警報装置３２による警報を行う。警報装置３２がブザーや拡声器であれば、音を発生させることで警報を行う。警報装置３２がランプであれば、ランプを点灯や点滅させることで警報を行う。ステップＳ４の処理を行うことで、制御装置４１は、警報装置３２による警報を行う制御部４６を備えているといえる。

【0031】

本実施形態の作用について説明する。
フォークリフト１０が第１パレットＰ１をフォーク１６に積載しようとする際に、第２パレットＰ２が荷崩れするおそれがあると、警報装置３２による警報が行われる。これにより、フォークリフト１０の搭乗者は、第２パレットＰ２に荷崩れが生じるおそれがあることを認識できる。

【0032】

本実施形態の効果について説明する。
（１）制御装置４１は、学習済みモデルＭ１を用いて第２パレットＰ２に荷崩れが生じるか否かを判定できる。

【0033】

（２）第２パレットＰ２に荷崩れが生じると判定した場合、制御装置４１は、警報装置３２による警報を行うことで、フォークリフト１０の搭乗者に荷崩れが生じるおそれがあることを認識させる。フォークリフト１０の搭乗者は、目視確認を行ったり、第２パレットＰ２に第１パレットＰ１が干渉しないように第１パレットＰ１の荷取り作業を行う。これにより、第２パレットＰ２に荷崩れが生じることを抑制できる。特に、パレットＰとしてメッシュパレットを用いる場合、突出部ＬＰが隣接するパレットＰに干渉しやすく、荷崩れが発生しやすい。学習済みモデルＭ１を用いて第２パレットＰ２に荷崩れが生じるか否かを判定することで、第２パレットＰ２に荷崩れが生じることを適切に抑制できる。

【0034】

（３）カメラ３１は、フォークリフト１０のマスト１２に取り付けられている。停車位置Ａ２を撮像するように、カメラ３１を区域Ａ１に設けることも考えられる。この場合には、カメラ３１は固定位置に設けられるため、予め停車位置Ａ２を設定しておき、停車位置Ａ２を撮像するようにカメラ３１を取り付ける必要がある。この場合、予め設定された停車位置Ａ２でしか第２パレットＰ２に荷崩れが生じるか否かを判定することができない。これに対し、カメラ３１をマスト１２に取り付けることで、カメラ３１はフォークリフト１０とともに移動する。このため、予め設定された停車位置Ａ２以外であっても、第２パレットＰ２に荷崩れが生じるか否かを判定することができる。

【0035】

（４）学習済みモデルＭ１を用いて第２パレットＰ２に荷崩れが生じるか否かを判定している。ステレオカメラ、LIDAR（Laser Imaging Detection and Ranging）等の測距装置を用いて第１パレットＰ１と第２パレットＰ２の位置関係を把握し、この位置関係から第２パレットＰ２に荷崩れが生じるか否かを判定することも考えられる。しかしながら、第１パレットＰ１と第２パレットＰ２の位置関係を把握するためには、測距装置の検出結果に基づきパレットＰの抽出を行った上で、位置関係を把握する必要がある。複数のパレットＰが存在する場合、形状が把握しにくく、パレットＰの抽出を行いにくい場合がある。また、パレットＰの種類は、メッシュパレット以外にも多数存在するため、これらに対応してパレットＰの抽出を行うのは非常に困難である。これに対し、学習済みモデルＭ１を用いることで、未知のパレットであっても、荷崩れが生じるか否かを判定することができる。

【0036】

実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○制御装置４１は、第２パレットＰ２に荷崩れが生じると判定した場合、荷役装置１１を停止させてもよい。例えば、制御装置４１は、油圧機構２２を制御することで、フォーク１６の昇降動作、及びフォーク１６のティルト動作を停止させる。この場合、制御装置４１は、警報装置３２による警報を行ってもよいし、警報を行わなくてもよい。制御装置４１は、第２パレットＰ２に荷崩れが生じると判定した場合、荷役装置１１の停止、及び警報のうち少なくともいずれかを行う制御部４６を備えているといえる。

【0037】

○取得部４４及び判定部４５として機能する装置と、補助記憶装置５１とは、フォークリフト１０とは異なる位置に設けられていてもよい。この場合、フォークリフト１０に通信装置を設けて、通信装置がカメラ３１によって撮像された画像データを送信するようにする。取得部４４は、通信装置から送信された画像データを受信し、判定部４５は学習済みモデルＭ１の出力結果から第２パレットＰ２に荷崩れが生じるか否かの判定を行う。判定結果は、フォークリフト１０に送信される。フォークリフト１０では、判定結果に応じて、警報装置３２による警報や荷役装置１１の停止が行われる。

【0038】

○図７に示すように、荷崩れ判定装置６１は、区域Ａ１に設けられていてもよい。荷崩れ判定装置６１は、カメラ６２と、制御装置６３と、補助記憶装置６４と、を備える。カメラ６２は、区域Ａ１に設けられている。カメラ６２は、停車位置Ａ２を撮像するように区域Ａ１に取り付けられている。これにより、カメラ６２は、トラックＴに積まれた第１パレットＰ１及び第２パレットＰ２を撮像可能である。制御装置６３は、制御装置４１と同様の装置である。補助記憶装置６４は、補助記憶装置５１と同様の装置であって学習済みモデルＭ１を記憶している。制御装置６３は、第２パレットＰ２に荷崩れが生じるおそれがあると判定すると、警報装置７１による警報を行ってもよい。警報装置７１がブザーや拡声器の場合、警報装置７１は、フォークリフト１０の搭乗者が警報装置７１からの音を認識できる位置に配置される。警報装置７１がランプの場合、警報装置７１は、フォークリフト１０の搭乗者が視認可能な位置に配置される。また、荷崩れ判定装置６１は、通信装置６５を備えていてもよい。通信装置６５は、フォークリフト１０に情報を送信可能である。制御装置６３は、第２パレットＰ２に荷崩れが生じると判定した場合、第２パレットＰ２に荷崩れが生じるおそれがあることを通信装置６５によってフォークリフト１０に通知してもよい。フォークリフト１０では、通信装置６５からの通知によって、警報装置３２による警報、及び荷役装置１１の停止の少なくともいずれかが行われる。

【0039】

カメラ６２を区域Ａ１に設ける場合、フォークリフト１０毎にカメラ３１を設ける必要がない。区域Ａ１で複数のフォークリフト１０が用いられる場合、フォークリフト１０毎にカメラ３１を設けると、コストの増加を招く。これに対し、カメラ６２を区域Ａ１に設ける場合、停車位置Ａ２毎にカメラ６２を設ければよく、フォークリフト１０の数によるコストの増加を抑制できる。

【0040】

○カメラ３１は、アウタマスト１３の上部に設けられていてもよい。即ち、カメラ３１は、マスト１２に取り付けられていればよい。
○フォークリフト１０は、自動で動作するフォークリフトであってもよい。この場合、第２パレットＰ２に荷崩れが生じると判定した場合、制御装置４１は、油圧機構２２を制御することで、荷役装置１１を停止させてもよい。制御装置４１は、荷役装置１１を停止させたことの通知を行ってもよい。通知は、警報装置３２による警報によって行われてもよい。フォークリフト１０に指示を与える上位制御装置が存在している場合には、フォークリフト１０に通信装置を搭載し、この通信装置により上位制御装置に通知が行われるようにしてもよい。通知が行われた後には、人による目視確認が行われる。目視確認で、第２パレットＰ２に荷崩れが生じないと判定された場合、荷役装置１１の動作が再開される。

【0041】

○パレットＰは、メッシュパレットとは異なるパレットであってもよい。例えば、パレットＰは、平パレット、又はポストパレットであってもよい。また、パレットＰは、複数種類のパレットを含んでいてもよい。この場合、パレットＰの種類に応じた教師データによって学習を行った学習済みモデルＭ１を用いてもよい。

【0042】

○荷取り位置は、パレットＰの荷取りが行われる場所であればよく、トラックＴの停車位置Ａ２とは異なる位置であってもよい。例えば、棚に置かれたパレットＰの荷取りが行われる場合、棚の配置位置が荷取り位置である。

【0043】

○学習済みモデルＭ１は、CNN以外のアルゴリズムを用いたモデルであってもよい。例えば、機械学習のアルゴリズムとしては、SSD(Single Shot Multibox Detector)、R-CNN(Regional Convolutional Neural Network)、fast R-CNN、faster R-CNN、及びYOLO(You Only Look Once)を挙げることができる。これらのアルゴリズムは、画像データに含まれる物体毎にクラスを判定するものである。学習済みモデルＭ１は、画像データ毎にクラスを判定するものであってもよいし、物体毎にクラスを判定するものであってもよい。

【0044】

○学習済みモデルＭ１は、インスタンスセグメンテーション又はセマンティックセグメンテーションを用いたものであってもよい。インスタンスセグメンテーションは、ピクセル単位でクラスを判定する。インスタンスセグメンテーションを用いる場合、機械学習のアルゴリズムとしては、例えば、FCN(Fully Convolutional Network)、及びSegNetを用いることができる。セマンティックセグメンテーションは、ピクセル単位でクラスを判定し、かつ、物体が存在する領域を分割する。セマンティックセグメンテーションを用いる場合、機械学習のアルゴリズムとしては、例えば、Mask R-CNNを用いることができる。

【0045】

○学習済みモデルＭ１は、DNN以外のアルゴリズムで生成されていてもよい。例えば、学習済みモデルＭ１は、SVM(Support Vector Machine)を用いて生成されていてもよい。この場合、制御装置４１は、特徴量抽出を行う。学習済みモデルＭ１は、特徴量抽出により得られた特徴量から物体の該当するクラスの指標を出力する。特徴量抽出の手法としては、例えば、HOG(Histograms of Oriented Gradients)、及びSIFT(Scale-Invariant Feature Transform)を挙げることができる。

【0046】

○画像データが各クラスに該当するか否かを示す指標は、該当するクラスを示す値であってもよい。例えば「荷崩れが生じる」が０、「荷崩れが生じない」が１に対応する場合、学習済みモデルＭ１は、画像データが入力されることで１か０かを出力してもよい。

【0047】

○フォークリフト１０は、遠隔地にいる操作者によって操作されるフォークリフトであってもよい。この場合、警報装置３２は、上記した遠隔地に設けられていてもよい。荷崩れ判定装置３０によって第２パレットＰ２に荷崩れが生じると判定されると、遠隔地に設けられた警報装置３２により警報が行われる。

【0048】

○学習済みモデルＭ１を記憶する記憶装置は、記憶部４３であってもよい。
○学習済みモデルＭ１は、第２パレットＰ２に荷崩れが生じるおそれがある状況の第１パレットＰ１及び第２パレットＰ２が写る画像データに「荷崩れが生じる」のラベルを付したデータのみを教師データとして生成されていてもよい。即ち、荷崩れが生じるおそれがないと想定される状況の第１パレットＰ１及び第２パレットＰ２が写る画像データに「荷崩れが生じない」のラベルを付したデータを用いた学習を行わなくてもよい。この場合、学習済みモデルＭ１は、カメラ３１から取得した画像データが「荷崩れが生じる」のクラスに該当するクラス確率を出力する。制御装置４１は、クラス確率が予め定められた閾値以上の場合、第２パレットＰ２に荷崩れが生じると判定する。

【0049】

○学習済みモデルＭ１は、第２パレットＰ２に荷崩れが生じるおそれがないと想定される状況の第１パレットＰ１及び第２パレットＰ２が写る画像データに「荷崩れが生じない」のラベルを付したデータのみを教師データとして生成されていてもよい。即ち、第２パレットＰ２に荷崩れが生じるおそれがある状況の第１パレットＰ１及び第２パレットＰ２が写る画像データに「荷崩れが生じる」のラベルを付したデータを用いた学習を行わなくてもよい。この場合、学習済みモデルＭ１は、カメラ３１から取得した画像データが「荷崩れが生じない」のクラスに該当するクラス確率を出力する。制御装置４１は、クラス確率が予め定められた閾値未満の場合、第２パレットＰ２に荷崩れが生じると判定する。この場合、「荷崩れが生じない」のクラスに該当するクラス確率が、第２パレットＰ２に荷崩れが生じるか否かの指標である。

【0050】

○取得部４４及び判定部４５は、それぞれ、別の装置であってもよい。また、油圧機構２２の制御など、フォークリフト１０の荷役に関する制御を行う制御装置４１と、取得部４４及び判定部４５として機能する装置とは別の装置であってもよい。

【符号の説明】

【0051】

Ａ２…荷取り位置としての停車位置、Ｐ１…第１パレット、Ｐ２…第２パレット、１０…フォークリフト、１２…マスト、３０，６１…荷崩れ判定装置、３１，６２…カメラ、４４…取得部、４５…判定部、５１，６４…記憶装置としての補助記憶装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】