特開 2023-116841 荷役判定装置、荷役支援システム及び荷役装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023116841

(43)【公開日】2023-08-23

(54)【発明の名称】荷役判定装置、荷役支援システム及び荷役装置

(51)【国際特許分類】

   B65G 1/00 20060101AFI20230816BHJP

   B66F 9/24 20060101ALI20230816BHJP

【ＦＩ】

B65G1/00 501D

B66F9/24 L

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022019157

(22)【出願日】2022-02-10

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】佐藤 美徳

【テーマコード（参考）】

3F022

3F333

【Ｆターム（参考）】

3F022CC03

3F022EE02

3F022LL06

3F022MM03

3F022MM08

3F022MM11

3F022MM51

3F022MM66

3F022MM70

3F022NN38

3F022NN55

3F022PP02

3F022PP04

3F022PP06

3F022QQ11

3F022QQ17

3F022QQ20

3F333AA02

3F333AB13

3F333AE02

3F333FD14

3F333FE05

(57)【要約】

【課題】パレット上の荷積み状態の良否を正確に判定することのできる荷役判定装置、並びに、荷積み状態の正確な判定結果に基づき良好な荷役の支援を行うことのできる荷役支援システムを提供する。
【解決手段】荷役判定装置は、パレットＰ上の荷Ｈの画像を取得する画像取得部と、荷積み状態の良否を判定する制御部と、を備え、制御部は、画像取得部によって取得された画像に基づいて荷Ｈの重心位置Ｍを計算し、計算された重心位置Ｍに基づいて荷積み状態の良否を判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

パレット上の荷の画像を取得する画像取得部と、
荷積み状態の良否を判定する制御部と、
を備え、
前記制御部は、前記画像取得部によって取得された画像に基づいて前記荷の重心位置を計算し、計算された前記重心位置に基づいて荷積み状態の良否を判定する、
荷役判定装置。

【請求項2】

前記画像取得部は、距離センサを含み、距離の情報を含んだ画像を取得する、
請求項１記載の荷役判定装置。

【請求項3】

重心位置の判定用領域を設定可能な設定部を備え、
前記制御部は、計算された前記重心位置と前記判定用領域とに基づいて荷済みの良否を判定する、
請求項１又は請求項２に記載の荷役判定装置。

【請求項4】

前記設定部は、前記パレット上の複数の荷の個々の重心位置についての判定用領域と、前記パレット上の複数の荷の全体の重心位置についての判定用領域と、前記画像取得部の画像の取得側から見た奥行方向における重心位置についての判定用領域と、の少なくとも１つが設定可能である、
請求項３記載の荷役判定装置。

【請求項5】

前記画像取得部は、荷役車両に搭載される第１画像取得部を含む、
請求項１から請求項４のいずれか一項に記載の荷役判定装置。

【請求項6】

前記画像取得部は、荷役車両以外に設置される第２画像取得部を含む、
請求項１から請求項５のいずれか一項に記載の荷役判定装置。

【請求項7】

前記制御部は、荷の画像と当該荷の外形線、外接線、内接線又は重心位置とを教師データとして機械学習した学習モデルを用いて前記重心位置を計算する、
請求項１から請求項６のいずれか一項に記載の荷役判定装置。

【請求項8】

請求項１から請求項７のいずれか一項に記載の荷役判定装置と、
前記荷役判定装置の判定結果に基づいて荷役の支援を行う支援装置と、
を備える荷役支援システム。

【請求項9】

前記支援装置は、計算された前記荷の重心位置を表示する表示部を有する、
請求項８に記載の荷役支援システム。

【請求項10】

請求項８又は請求項９に記載の荷役支援システムにおける前記画像取得部、前記制御部及び前記支援装置の少なくとも一部を搭載、あるいは／並びに、前記画像取得部、前記制御部、前記支援装置の少なくとも一部と通信を行って、前記荷役判定装置の判定結果に基づく荷役を行う荷役装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷役判定装置、荷役支援システム及び荷役装置に関する。

【背景技術】

【0002】

特許文献１には、フォークリフトが移載する荷の映像を取得し、当該映像の時間ごとの差分量が閾値を超えた場合に荷崩れと判定するシステムが示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１４７６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来の荷崩れの判定システムでは、荷が安定的に移載されていても、荷の位置がずれただけで荷崩れと判定される恐れ、並びに、荷の安定性が低くなっていても荷の位置ズレが生じていない場合に荷崩れの判定が得られない恐れがある。また、荷の映像の時間ごとの差分量は、荷の背景に変化が生じた場合に、正確に検出することが難しいという課題がある。

【0005】

本発明は、パレット上の荷積み状態の良否を正確に判定することのできる荷役判定装置、並びに、当該判定に基づき良好な荷役の支援を行うことのできる荷役支援システム及び荷役装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る荷役判定装置は、
パレット上の荷の画像を取得する画像取得部と、
荷積み状態の良否を判定する制御部と、
を備え、
前記制御部は、前記画像取得部によって取得された画像に基づいて前記荷の重心位置を計算し、計算された前記重心位置に基づいて荷積み状態の良否を判定する。

【0007】

本発明に係る荷役支援システムは、
上記の荷役判定装置と、
前記荷役判定装置の判定結果に基づいて荷役の支援を行う支援装置と、
を備える。

【0008】

本発明に係る荷役装置は、
上記荷役支援システムにおける前記画像取得部、前記制御部及び前記支援装置の少なくとも一部を搭載、あるいは／並びに、前記画像取得部、前記制御部、前記支援装置の少なくとも一部と通信を行って、前記荷役判定装置の判定結果に基づく荷役を行う。

【発明の効果】

【0009】

本発明に係る荷役判定装置によれば、パレット上の荷積み状態の良否を正確に判定することができる。本発明に係る荷役支援システム及び荷役装置は、上記の判定に基づき良好な荷役の支援を行うことができる。

【図面の簡単な説明】

【0010】

【図1】本発明に係る荷役判定装置及び荷役支援システムを示すブロック図である。

【図2】制御部が実行する判定処理を示すフローチャートである。

【図3】判定用領域の一例を示す図である。

【図4】支援装置により実行される荷役支援処理を示すフローチャートである。

【図5】変形例１の荷積み状態の判定処理を説明する図である。

【図6】変形例２の荷積み状態の判定処理を説明する図である。

【図7】変形例３の荷積み状態の判定処理を説明する第１例の図（Ａ）と第２例の図（Ｂ）である。

【発明を実施するための形態】

【0011】

以下、本発明の各実施形態について図面を参照して詳細に説明する。

【0012】

＜荷役判定装置＞
図１は、本発明に係る荷役判定装置及び荷役支援システムを示すブロック図である。

【0013】

本実施形態の荷役判定装置１００は、荷役装置としての荷役車両３０が保持及び搬送するパレットＰ上の荷Ｈの荷積み状態を良否判定する装置である。荷役車両３０は、フォークリフトなどパレットＰを介して荷役（荷の搬送、荷積み、荷下ろし等）を行う車両である。パレットＰは、荷Ｈが積まれる台であり、荷役車両３０が保持可能な構造ｅ（例えばフォークリフトのフォークｆを差し込み可能な横穴）を有する。パレットＰには、複数の荷Ｈを積むことができる。

【0014】

荷役判定装置１００は、パレットＰ上の荷Ｈの画像を取得する画像取得部１１０と、荷積み状態の良否を判定する制御部１２０とを備える。制御部１２０は、画像取得部１１０が取得した画像に基づいて荷の重心位置Ｍ（図３）を計算し、計算された荷の重心位置Ｍ（図３）に基づいて荷積み状態の良否を判定する。荷積み状態の良否とは、パレットＰ上に荷Ｈが安定して積まれているか否か、すなわち、荷役車両３０がパレットＰを介して荷Ｈを搬送する際に、荷崩れ等が生じる恐れが少ないか多いかを表わす指標である。

【0015】

荷積み状態の良否判定の対象となる荷Ｈは、形状から重心位置Ｍが求まる荷Ｈである。荷Ｈの形状は、１種類でなく、複数種類であってもよい。対象となる荷Ｈは、荷Ｈの外形を表わす箱の中に所定の条件で物が入っているものとして、荷Ｈの形状と重心位置Ｍとが対応づけられていてもよい。或いは、予め、荷Ｈの形状と重心位置Ｍとの対応関係を示すデータが制御部１２０に与えられており、当該データに基づき、荷Ｈの形状と重心位置Ｍとが対応づけられていてもよい。

【0016】

画像取得部１１０は、パレットＰ上の荷Ｈの画像を取得する。画像取得部１１０は、レンズと撮像素子を有するデジタルカメラであってもよく、その場合、画像はＲＧＢ映像となる。あるいは、画像取得部１１０は、光や音波を走査して反射波を検出することで二次元形状又は三次元形状を取得するスキャナ装置であってもよい。その場合、画像は、スキャナ画像となる。画像取得部１１０は、距離センサを含み、取得された画像には距離の情報が含まれてもよい。距離センサは、LiDAR（Light Detection And Ranging）、複眼カメラなど、画像中の複数の点の距離が測定できればどのような装置であってもよい。

【0017】

画像取得部１１０は、一方向からパレットＰ上の荷の画像を取得する構成であってもよいし、複数方向からパレットＰ上の荷の画像を取得する構成であってもよい。

【0018】

画像取得部１１０は、荷役車両３０に搭載される第１画像取得部１１０ａであってもよいし、荷役車両３０とは別の箇所に設置される第２画像取得部１１０ｂであってもよいし、これらを組み合わせた構成であってもよい。

【0019】

画像取得部１１０は、有線又は無線を介して制御部１２０へ画像データを送信する。

【0020】

制御部１２０は、プログラムを実行するＣＰＵ（Central Processing Unit）を備えたコンピュータである。制御部１２０は、判定処理のブログラム１２２及び制御データ１２３を記憶した記憶部を有する。制御データ１２３には、後述する判定用領域Ｒを示すデータが含まれる。制御部１２０は、さらに、機械学習された学習モデル１２１を有する。学習モデル１２１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。学習モデル１２１には、複数のサンプルについての複数の教師データが予め与えられ、学習モデル１２１は、当該複数の教師データにより機械学習されている。

【0021】

＜判定処理＞
図２は、制御部１２０が実行する判定処理を示すフローチャートである。図３は、判定用領域の一例を示す図である。

【0022】

制御部１２０は、所定の開始条件に基づいて判定処理を実行する。開始条件は、例えば、荷役車両３０が荷役を開始する直前、荷役の途中（例えば、荷役場に設置された第２画像取得部１１０ｂの前を通過する際）など、荷済み状態の確認をすべきタイミングが適宜設定されればよい。

【0023】

判定処理が開始されると、制御部１２０は、画像取得部１１０により取得された画像を受け取る（ステップＳ１）。そして、画像を受け取ると、制御部１２０は、画像に含まれる荷Ｈの重心位置Ｍを計算する（ステップＳ２）。具体的には、制御部１２０は、画像の取得側の複数の荷Ｈの個々の重心位置Ｍを計算する。そして、制御部１２０は、計算された重心位置Ｍと判定用領域Ｒとに基づいて荷済み状態の良否を判定する（ステップＳ３）。具体的には、制御部１２０は、計算された重心位置Ｍが全て判定用領域Ｒに収まっているか否かを判別し（ステップＳ３）、パレットＰ上の荷Ｈは安定しているとして良好な荷積み状態と判定し、当該判定結果を後述の支援装置２１０に送信する（ステップＳ４）。一方、制御部１２０は、計算された重心位置Ｍの１つ以上が判定用領域Ｒに収まっていなければパレットＰ上の荷Ｈは不安定であるとして不良な荷積み状態と判定し、当該判定結果を後述の支援装置２１０に送信する（ステップＳ５）。

【0024】

ステップＳ２の計算処理において、制御部１２０は、学習モデル１２１を用いて複数の荷Ｈの重心位置Ｍを計算してもよい。学習モデル１２１には、複数のサンプルの映像とサンプルに含まれる個々の荷Ｈの外形線とが示された複数の教師データが予め与えられ、学習モデル１２１は、当該複数の教師データにより機械学習されていてもよい。この場合、制御部１２０は、上記の学習モデル１２１に、画像取得部１１０が取得した画像を入力することで、学習モデル１２１から画像中の複数の荷Ｈの外形線の情報が出力される。図３における一点鎖線は、制御部１２０が学習モデル１２１を用いて抽出した外形線の一例を示す。

【0025】

外形線の情報を得たら、制御部１２０は、当該外形線により囲まれた荷Ｈの中に所定の条件で重量物が中に入っているものとして複数の荷Ｈの重心位置Ｍを計算するか、或いは、荷Ｈの形状と重心位置Ｍとの対応関係が示されたデータを参照することで、複数の荷Ｈの重心位置Ｍを計算する。

【0026】

なお、上記の外形線は、荷Ｈの外接線、あるいは、荷Ｈの内接線と読み替えてもよい。外接線とは、画像中の荷Ｈに外接する最小の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味し、内接線とは画像中の荷Ｈに内接する最大の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味する。荷Ｈを正面又は真横から撮影した場合、荷Ｈの外形線と外接線又は内接線とはほぼ一致する。よって、この場合には、外接線又は内接線を採用しても、ほぼ同様に荷Ｈの重心位置Ｍを計算することができる。また、荷Ｈを正面又は真横に近い箇所から撮影した場合には、荷Ｈの外形線と外接線又は内接線とは近似する。よって、この場合においても、外接線又は内接線を採用しても、ほぼ同様の処理により荷Ｈの重心位置Ｍを、許容誤差内で計算することができる。

【0027】

あるいは、学習モデル１２１には、複数のサンプルの映像とサンプルに含まれる個々の荷Ｈの重心位置Ｍとが示された複数の教師データが予め与えられ、学習モデル１２１は、当該複数の教師データにより機械学習されていてもよい。この場合、制御部１２０が、上記の学習モデル１２１に、画像取得部１１０が取得した画像を入力することで、学習モデル１２１から画像中の複数の荷Ｈの重心位置Ｍを出力させることができる。

【0028】

学習モデル１２１を用いて重心位置Ｍを計算することで、パレットＰ上の荷Ｈの背景等に起因した荷Ｈの外形線の誤認識、或いは、重心位置Ｍの誤計算を抑制することができ、少ない負荷で正確な重心位置Ｍの計算を実現できる。また、学習モデル１２１を用いて重心位置Ｍを計算することで、画像取得部１１０として、安価な撮影装置を適用しても、その検出結果に基づいて正確な重心位置Ｍの計算を実現できる。

【0029】

その他、制御部１２０は、画像取得部１１０が取得した画像について、データ解析（画像解析など）を行って荷Ｈの外形線を抽出し、当該外形線から荷Ｈの重心位置Ｍを計算してもよい。

【0030】

ステップＳ２において、制御部１２０は、パレットＰ上に積まれた複数の荷Ｈの全てについて重心位置Ｍを求めるのではなく、画像の取得側に位置する複数の荷Ｈについてのみの重心位置Ｍを求めてもよい。この場合でも、その後のステップＳ３の判定処理により、パレットＰにおいて画像の取得側に位置する複数の荷Ｈの安定度を正確に判定することができる。

【0031】

また、ステップＳ２において、制御部１２０は、重心位置Ｍを三次元座標上の位置として求めるのではなく、画像の取得側から見た二次元座標上の位置として求めてもよい。この場合でも、その後のステップＳ３の判定処理により、パレットＰにおいて複数の荷Ｈが上記二次元方向における荷Ｈの安定度を正確に判定することができる。

【0032】

図３の例は、制御部１２０が、画像の取得側に位置する複数の荷Ｈについてのみ、画像の取得側から見た二次元座標上の位置としての重心位置Ｍを求めた例である。

【0033】

判定用領域Ｒは、荷Ｈの重心位置Ｍが領域内か領域外かで、パレットＰを介した荷役において荷Ｈが安定であるか不安定であるか、その境界となるように設定される。図３の判定用領域Ｒは、複数の荷Ｈの個々の重心位置Ｍに基づく荷済み状態の良否判定に使用されるものであり、パレットＰの端からマージン分内側に境界が位置するように設定されている。当該判定用領域Ｒは、境界が高さ方向に直線状となるように設定されてもよい。

【0034】

＜判定用領域の設定＞
荷役判定装置１００は、更に、図１に示すように、重心位置Ｍの判定用領域Ｒを設定可能な設定部１３０を備えてもよい。設定部１３０は、設定用表示を出力する表示装置１３１と、判定用領域Ｒを指定する入力装置１３２とを含み、管理者が、表示装置１３１の表示を見ながら、入力装置１３２を介して判定用領域Ｒを指定できる。表示装置１３１と入力装置１３２とは、荷役判定装置１００に備わるものでなく、他のコンピュータ又は他の携帯端末に備わる表示装置と入力装置とが適用されてもよい。この場合、荷役判定装置１００の設定部１３０は、他のコンピュータ又は他の携帯端末と通信を行って、設定用表示を出力させ、判定用領域Ｒを指定する入力処理を行うソフトウェアであってよい。管理者は、例えば、図３の判定用領域Ｒを狭くする設定変更、あるいは、広げる設定変更を行うことができる。あるいは、管理者は、図３の判定用領域Ｒを高くする設定変更、低くする設定変更、形状を変更する設定変更を行うことができる。このような構成により、管理者は、非常に高い荷役の安定度が求められるような状況と、比較的に低い荷役の安定度が求められるような状況となど、様々な状況に応じた判定用領域Ｒに設定変更することができる。

【0035】

＜荷役支援システム＞
本実施形態の荷役支援システム２００は、図１に示すように、荷役判定装置１００と、荷役判定装置１００の判定結果に基づいて荷役の支援を行う支援装置２１０とを備える。支援装置２１０は、荷役の良否判定の結果を報知する報知部２１１と、荷役車両３０の動作を制御（一時的な停止制御など）する運転制御機構２１２とを含んでもよい。報知部２１１は、荷役車両３０に搭載されてもよいし、荷役車両３０と荷役場との両方に配置されてよい。報知部２１１は、音声出力、ランプ表示、画像又は文字の表示により、荷役判定装置１００の判定結果に対応した報知を行う。報知部２１１は、映像を表示する表示部２１１ａを含んでいてもよい。運転制御機構２１２は、例えばフォークの昇降を一時停止或いはその速度を低くする機構、荷役車両３０の走行を一時停止或いはその速度を低くすることが可能な機構である。より具体的には、運転制御機構２１２は、荷役車両３０の前進と、パレットＰへのフォークの挿入とを禁止することが可能な機構である。運転制御機構２１２は、荷役車両３０に搭載されてもよいし、荷役車両３０が自動運転の場合には、自動運転の指示を出力する装置に搭載されてもよい。

【0036】

図４は、支援装置により実行される荷役支援処理を示すフローチャートである。

【0037】

前述した判定処理（図２）に示したように、荷役判定装置１００の制御部１２０は、荷積み状態の良好又は不良の判定結果を支援装置２１０に送信する。支援装置２１０は、判定結果を受信し（ステップＳ１１）、判定結果を判別し（ステップＳ１２）、良好な荷積み状態の判定結果であると、良判定用の動作を実行する（ステップＳ１３）。具体的には、ステップＳ１２において、報知部２１１が、良判定を示す色のランプ出力、良判定を示す文字、画像、音声の出力を行う。さらに、良判定用の動作として、支援装置２１０は、表示部２１１ａにパレットＰ上の荷Ｈの映像と、計算された重心位置Ｍを示す点画像と、判定用領域Ｒを表わす図柄とが重ねられた画像を出力してもよい。

【0038】

また、支援装置２１０は、不良な荷積み状態の判定結果であると、不良判定用の動作を実行する（ステップＳ１４）。具体的には、ステップＳ１４において、報知部２１１が、不良判定を示す色及び点滅動作のランプ出力、不良判定を示す文字、画像、音声の出力を行う。さらに、不良判定用の動作として、支援装置２１０は、表示部２１１ａに、パレットＰ上の荷Ｈの映像と、計算された重心位置Ｍを示す点画像と、判定用領域Ｒを表わす図柄とが重ねられた画像を出力してもよい。当該画像を見ることで、荷役の作業者は、何れの荷Ｈの配置が不良であるかを認識することができる。さらに、ステップＳ１４において、運転制御機構２１２が、荷役車両３０の動作の一時停止又は速度を低くする運転制御を行う。

【0039】

以上のように、本実施形態の荷役判定装置１００及び荷役支援システム２００によれば、荷役判定装置１００が荷Ｈの重心位置Ｍに基づき荷積み状態の良否を判定するので、荷Ｈの安定度を正確に反映した判定を行うことができる。そして、当該判定結果に基づいて、支援装置２１０が荷役の支援を行うので、荷積み状態の良否を正確に反映した支援処理を実現できる。

【0040】

（変形例１）
図５は、変形例１の荷積み状態の判定処理を説明する図である。図５は、画像取得部１１０とパレットＰ上の荷Ｈとを側方から眺めた状態を示している。

【0041】

変形例１は、制御部１２０による重心位置Ｍａの計算内容と、荷積み状態の良否判定の方法の一部とが上記実施形態と異なり、その他は上記実施形態と同様である。

【0042】

変形例１では、図２の判定処理のステップＳ２において、制御部１２０は、前述した重心位置Ｍの計算処理に加えて、パレットＰ上に積まれた複数の荷Ｈのうち、画像の取得側に位置する複数の荷Ｈについて、画像の取得側から見た奥行方向の重心位置Ｍａを計算する。

【0043】

具体的には、制御部１２０は、画像に示された各荷Ｈ（画像の取得側に位置する各荷Ｈ）までの距離の情報と、パレットＰまでの距離の情報とに基づいて、各荷Ｈの奥行方向の配置を計算する。各荷Ｈの奥行寸法及び奥行方向の形状は、予め制御部１２０に与えられていてもよいし、あるいは、パレットＰの横方向から荷Ｈの画像を取得する第２画像取得部１１０ｂの画像に基づいて、制御部１２０が、各荷Ｈの奥行寸法及び奥行方向の形状を求めてもよい。制御部１２０は、各荷Ｈの奥行方向の配置を計算したら、当該配置に基づき、各荷Ｈの奥行方向の重心位置Ｍａを計算する。画像取得部１１０の距離センサは、例えば重心位置Ｍの計算対象である各荷Ｈについて、画像の取得側から見た重心位置Ｍの点の距離のみを測定するようにしてもよい。このような構成により、奥行き方向の重心位置Ｍａの計算負荷をより低減できる。

【0044】

変形例１において、制御部１２０に記憶される制御データ１２３には、奥行き方向の重心位置Ｍａについて良否を判定するための判定用領域Ｒａが、更に含まれる。判定用領域Ｒａは、荷Ｈの奥行方向の重心位置Ｍａが領域内か領域外かで、パレットＰを介した荷役において荷Ｈが安定であるか不安定であるか、その境界となるように設定される。図５の判定用領域Ｒａは、複数の荷Ｈの個々の重心位置Ｍａに基づく荷済み状態の良否判定に使用されるものであり、パレットＰの前端からマージン分内側に境界が位置するように設定されている。当該判定用領域Ｒａは、境界が高さ方向に直線状となるように設定されてもよい。

【0045】

変形例１では、さらに、図２の判定処理のステップＳ３において、制御部１２０は、前述したステップＳ３の判定要素に加えて、各荷Ｈの奥行き方向の重心位置Ｍａと、奥行き方向の判定用領域Ｒａとに基づいて、荷積み状態の良否を判定する。具体的には、制御部１２０は、画像の取得側に位置する各荷Ｈの重心位置Ｍが判定用領域Ｒに収まり、かつ、各荷Ｈの奥行き方向の重心位置Ｍａが判定用領域Ｒａに収まっていれば、良好な荷積み状態と判定する。また、制御部１２０は、画像の取得側から見たときの各荷Ｈの重心位置Ｍに判定用領域Ｒを外れるものがあるか、あるいは、各荷Ｈの奥行き方向の重心位置Ｍａに判定用領域Ｒａを外れるものがあれば、不良な荷積み状態と判定する。

【0046】

設定部１３０（図１）は、前述した設定処理に加えて、奥行き方向の判定用領域Ｒａを設定変更可能に構成されていてもよい。判定用領域Ｒａの設定変更処理においては、判定用領域Ｒａの位置、広さ及び形状が変更可能であってもよい。

【0047】

変形例１の荷役判定装置１００によれば、画像の取得側から見て奥行方向における荷Ｈの安定度を正確に反映した判定を行うことができる。変形例１の荷役支援システム２００によれば、上記の判定結果に基づいて荷役支援を行うので、荷積み状態の良否を正確に反映した支援処理を実現できる。

【0048】

（変形例２）
図６は、変形例２の荷積み状態の判定処理を説明する図である。

【0049】

変形例２は、制御部１２０による重心の計算内容と、荷積み状態の良否の判定方法の一部とが上記実施形態及び変形例１と異なり、その他は上記実施形態又は変形例１と同様である。

【0050】

変形例２では、図２の判定処理のステップＳ２において、制御部１２０は、前述した計算処理に加えて、複数の荷Ｈの全体の重心位置Ｍｂを計算する。複数の荷Ｈとは、パレットＰ上の全部の荷Ｈではなく、画像の取得側に位置する複数の荷Ｈであってもよい。さらに、重心位置Ｍｂは、画像の取得側から見た二次元方向における位置であってもよい。全体の重心位置Ｍｂは、複数の荷Ｈの各配置と、各荷Ｈの重量割合とから計算できる。あるいは、全体の重心位置Ｍｂは、複数の荷Ｈが同一物品であれば、複数の荷Ｈの各重心位置Ｍから計算できる。各荷Ｈの重量割合、あるいは、各荷Ｈが同一物品であることは、予め制御部１２０に与えられていればよい。

【0051】

変形例２において、制御部１２０に記憶される制御データ１２３には、全体の重心位置Ｍｂについて良否を判定するための判定用領域Ｒｂが、更に含まれる。判定用領域Ｒｂは、複数の荷Ｈの全体の重心位置Ｍｂが領域内か領域外かで、パレットＰを介した荷役において荷Ｈが安定であるか不安定であるか、その境界となるように設定される。図６の判定用領域Ｒｂは、破線の内側の領域に相当する。図６の判定用領域Ｒｂは、低いほど広く、高くなるに従って狭くなるように設定されている。

【0052】

変形例２では、図２の判定処理のステップＳ３において、制御部１２０は、前述したステップＳ３の判定要素に加えて、複数の荷Ｈの全体の重心位置Ｍｂと、その判定用領域Ｒｂとに基づいて、荷積み状態の良否を判定する。具体的には、制御部１２０は、複数の荷Ｈの全体の重心位置Ｍｂが判定用領域Ｒｂに収まっていれば、全体の重心位置Ｍｂは安定していると判定し、判定用領域Ｒｂに収まっていなければ、全体の重心位置Ｍｂは不安定であると判定する。そして、複数の荷Ｈの個々の重心位置Ｍ、あるいは、それに加えて奥行方向の重心位置Ｍａについての判定結果と合わせて、総合的に荷積み状態の良否を判定する。

【0053】

設定部１３０（図１）は、前述した設定処理に加えて、全体の重心位置Ｍｂについての判定用領域Ｒｂを設定変更可能に構成されていてもよい。判定用領域Ｒｂの設定変更処理においては、判定用領域Ｒｂの形状が三角形又は台形に規定され、高さと上辺の長さとが変更可能であってもよい。

【0054】

変形例２の荷役判定装置１００によれば、さらに複数の荷Ｈの全体の重心位置Ｍｂに基づき荷積み状態の良否が判定されるので、荷Ｈの安定度をより正確に反映した判定を行うことができる。変形例２の荷役支援システム２００によれば、上記の判定結果に基づいて荷役支援を行うので、荷積み状態の良否を正確に反映した支援処理を実現できる。

【0055】

（変形例３）
図７は、変形例３の荷積み状態の判定処理を説明する第１例の図（Ａ）と第２例の図（Ｂ）である。

【0056】

変形例３は、制御部１２０による重心の計算内容と、荷積み状態の良否の判定方法の一部とが上記実施形態、変形例１、２と異なり、その他は上記実施形態又は変形例１、２と同様である。

【0057】

図７（Ａ）に示すように、パレットＰ上の荷Ｈの形状は、複数種類であってもよい。異なる形状の荷Ｈの重心位置Ｍｃは、予め形状と重心位置との対応関係を示すデータが制御部１２０に与えられていることで、当該データを用いて制御部１２０は計算することができる。荷Ｈの外形線（画像の取得側から見た外形線）は学習モデル１２１を用いて抽出できる。図７（Ａ）において学習モデル１２１を用いて抽出された外形線を一点鎖線で示す。

【0058】

また、図７（Ｂ）に示すように、パレットＰ上の荷は、搬送対象としてのパレットＰａであってもよい。この場合にも、前述した形状が異なる荷Ｈの場合と同様に、予めパレットＰａの形状と重心位置Ｍｄとの対応関係を示すデータが制御部１２０に与えられていることで、当該データを用いて制御部１２０は、搬送対象としてのパレットＰａである荷の重心位置Ｍｄを求めることができる。図７（Ｂ）において学習モデル１２１を用いて抽出された外形線を一点鎖線で示す。

【0059】

あるいは、学習モデル１２１に、複数種類の形状の荷Ｈ又はパレットＰａとその重心位置Ｍｃ、Ｍｄとがサンプルとして示された複数の教師データが予め与えられ、学習モデル１２１が上記の複数の教師データにより機械学習されていてもよい。この場合、制御部１２０は、当該学習モデル１２１を使用することで、複数種類の形状の荷Ｈの重心位置Ｍｃ、並びに、搬送対象であるパレットＰａの重心位置Ｍｄを求めることができる。

【0060】

変形例３において、制御部１２０に記憶される制御データ１２３には、荷Ｈの種類に応じた複数の判定用領域Ｒ１、Ｒ２が、更に含まれていてもよい。荷Ｈの種類の応じた判定用領域Ｒ１、Ｒ２は、個々の重心位置Ｍｃ、Ｍｄの良否を判定するものであってもよいし、奥行きの重心位置の良否を判定するものであってもよいし、全体の重心位置の良否を判定するものであってもよい。

【0061】

変形例３では、図２の判定処理のステップＳ３において、荷Ｈの種類に応じて判定用領域Ｒ１、Ｒ２を切り替え、切り替えられた判定用領域Ｒ１（又はＲ２）を用いて判定処理が行われる。判定用領域Ｒ１、Ｒ２の切り替えは、荷Ｈの複数の種類（荷Ｈの形状の複数の種類）と複数の判定用領域Ｒ１、Ｒ２との対応関係を示すデータが予め制御部１２０に与えられていることで、当該テータに基づいて制御部１２０により実行可能である。あるいは、荷役車両３０の運転者、その他の荷役の作業者、管理者が、ボタン操作等により判定用領域Ｒ１、Ｒ２の切り替えを行ってもよい。

【0062】

設定部１３０（図１）は、前述した設定処理に加えて、荷Ｈの種類に応じた複数の判定用領域Ｒ１、Ｒ２についても設定変更可能に構成されていてもよい。例えば、図７（Ａ）に示すように、重心位置Ｍｃが高く、偏っている荷Ｈであれば、狭めの判定用領域Ｒ１を設定することができる。また、図７（Ｂ）に示すように、横幅が長い荷（搬送対象のパレットＰａ）であれば、より狭い判定用領域Ｒ２を設定することができる。

【0063】

変形例３の荷役判定装置１００によれば、形状の異なる複数種類の荷ＨがパレットＰ上に積まれる場合にも対応して、荷Ｈの安定度をより正確に反映した判定を行うことができる。変形例３の荷役支援システム２００によれば、上記の判定結果に基づいて荷役支援を行うので、形状の異なる複数種類の荷ＨがパレットＰ上に積まれる場合にも対応して、荷積み状態の良否を正確に反映した支援処理を実現できる。

【0064】

以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。例えば、上記実施形態では、荷役装置としてフォークリフトを一例にとって説明したが、荷役装置は荷の搬送、荷積み、荷下ろしを行う様々な重機であってもよい。また、荷役装置は運転者により運転されてもよいし、自動運転されてもよい。荷が積まれるパレットは、フォークリフト用のパレットに限られず、荷を搬送するための台であり、重機によって搬送されるものであれば、どのような構成であってもよい。また、上記実施形態では、パレットＰ上の荷Ｈの画像を側方から取得する例を示した。しかし、パレットＰ上の荷Ｈの画像を上方から取得し、上側の荷Ｈの重心位置（平面方向の重心位置）に基づき、荷積み状態の良否を判定するようにしてもよい。また、図１では、制御部１２０、設定部１３０が、荷役車両３０とは別の箇所に設置され、画像取得部１１０の一部（第１画像取得部１１０ａ）と支援装置２１０の一部とが荷役車両３０に搭載される例を示した。しかし、制御部１２０と設定部１３０の一部又は全部が荷役車両３０に搭載されてもよい。この場合、制御部１２０、設定部１３０、画像取得部１１０のうち、荷役車両３０に搭載された部分と、荷役車両３０とは別の箇所に設置された部分とが通信を行って同様の処理を行うことができる。また、制御部１２０及び設定部１３０は、一部又は全部がクラウド（サーバ装置）に配置され、残りの部分、並びに、画像取得部１１０及び支援装置２１０と通信を行って同様の処理を行ってもよい。また、制御部１２０及び設定部１３０は、クラウド、モバイル端末、並びに、荷役車両３０上のコンピュータのいずれか複数に分割されて搭載され、これらが相互に通信を行って同様の処理を行ってもよい。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

【符号の説明】

【0065】

３０ 荷役車両
１００ 荷役判定装置
１１０ 画像取得部
１１０ａ 第１画像取得部
１１０ｂ 第２画像取得部
１２０ 制御部
１２１ 学習モデル
１３０ 設定部
２００ 荷役支援システム
２１０ 支援装置
２１１ 報知部
２１１ａ 表示部
２１２ 運転制御機構
Ｐ、Ｐａ パレット
Ｈ 荷
Ｒ、Ｒ１、Ｒ２、Ｒａ、Ｒｂ 判定用領域
Ｍ、Ｍａ～Ｍｄ 重心位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】