特開 2024-78012 荷姿状態検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078012

(43)【公開日】2024-06-10

(54)【発明の名称】荷姿状態検知装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240603BHJP

   B66F 9/24 20060101ALI20240603BHJP

【ＦＩ】

G06T7/60 180Z

B66F9/24 L

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022190302

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(72)【発明者】

【氏名】前 伸一

(72)【発明者】

【氏名】小出 幸和

(72)【発明者】

【氏名】岡本 浩伸

(72)【発明者】

【氏名】片岡 裕雄

【テーマコード（参考）】

3F333

5L096

【Ｆターム（参考）】

3F333AA02

3F333AE02

3F333FA04

3F333FA11

3F333FD13

3F333FD14

3F333FD15

3F333FE05

5L096CA02

5L096DA02

5L096DA03

5L096FA67

5L096FA69

5L096FA77

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】パレット及び荷物の荷姿状態が異常であるかどうかを検知することができる荷姿状態検知装置を提供する。
【解決手段】荷姿状態検知装置１０は、パレット４及び荷物５の荷姿を撮像することで、パレット４及び荷物５の荷姿画像データＤを取得するカメラ１１と、カメラ１１により取得された荷姿画像データＤにおいてパレット４及び荷物５の領域を抽出する領域抽出部１５と、領域抽出部１５により抽出された荷姿画像データＤにおけるパレット４の領域に基づいて、検知対象のパレット４が横方向に隣り合うパレット４に干渉するかどうかを判定すると共に、荷姿画像データＤにおけるパレット４及び荷物５の領域に基づいて、検知対象の荷物５が横方向に隣り合う荷物５またはパレット４に干渉するかどうかを判定する荷姿異常判定部１６とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

フォークリフトから向かって横方向に並んで配置された複数のパレット上に荷物が載置された状態で、前記フォークリフトにより荷役を行う際に、前記パレット及び前記荷物の荷姿状態を検知する荷姿状態検知装置であって、
前記パレット及び前記荷物の荷姿を検出することで、前記パレット及び前記荷物の荷姿検出データを取得する検出部と、
前記検出部により取得された前記荷姿検出データにおいて前記パレット及び前記荷物の領域を抽出する領域抽出部と、
前記領域抽出部により抽出された前記荷姿検出データにおける前記パレットの領域に基づいて、検知対象のパレットが横方向に隣り合うパレットに干渉するかどうかを判定すると共に、前記荷姿検出データにおける前記パレット及び前記荷物の領域に基づいて、検知対象の荷物が横方向に隣り合う荷物またはパレットに干渉するかどうかを判定する荷姿異常判定部とを備える荷姿状態検知装置。

【請求項2】

前記荷姿異常判定部は、前記荷姿検出データにおいて上下方向に互いに接している前記パレット及び前記荷物を含む領域を表す荷物セットを前記横方向に沿って複数組作成し、前記複数組の荷物セットのうち検知対象の荷物セットのパレットが前記横方向に隣り合う荷物セットのパレットに干渉するかどうかを判定すると共に、前記検知対象の荷物セットの荷物が前記横方向に隣り合う荷物セットの荷物またはパレットに干渉するかどうかを判定する請求項１記載の荷姿状態検知装置。

【請求項3】

前記荷姿異常判定部は、前記検知対象の荷物セットのパレットが前記横方向に隣り合う荷物セットのパレットに接触すると共に、前記検知対象の荷物セットのパレットの姿勢角が予め決められた閾値以上であるときは、前記検知対象の荷物セットのパレットが前記横方向に隣り合う荷物セットのパレットに干渉すると判定する請求項２記載の荷姿状態検知装置。

【請求項4】

前記荷姿異常判定部は、前記検知対象の荷物セットが前記横方向に隣り合う荷物セットのパレットの左右両端を上下方向に延ばした２本の仮想線の内側領域に重なり合うときは、前記検知対象の荷物セットの荷物が前記横方向に隣り合う荷物セットの荷物またはパレットに干渉すると判定する請求項２記載の荷姿状態検知装置。

【請求項5】

前記検出部は、前記パレット及び前記荷物の荷姿を撮像することで、前記パレット及び前記荷物の荷姿画像データを前記荷姿検出データとして取得し、
前記領域抽出部は、前記荷姿画像データのピクセル単位で、前記荷姿画像データにおける前記パレット及び前記荷物の領域を抽出する請求項１記載の荷姿状態検知装置。

【請求項6】

前記領域抽出部は、複数種類のパレット及び荷物の荷姿画像と前記複数種類のパレット及び荷物のピクセル情報とを含む学習済みデータを用いて、前記荷姿画像データにおける前記パレット及び前記荷物の領域を抽出する請求項５記載の荷姿状態検知装置。

【請求項7】

前記学習済みデータは、数式ドリブンデータベースを事前学習させて得られた事前学習データを用いて、前記パレット及び前記荷物の荷姿画像に対して前記パレット及び前記荷物のピクセル情報をアノテーションしたデータを転移学習させることで生成されている請求項６記載の荷姿状態検知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷姿状態検知装置に関する。

【背景技術】

【0002】

例えば特許文献１には、センサ及びカメラが搭載された自律走行フォークリフトによって、トラックに積載された物品の荷降ろしを行って自律走行無人搬送車に搭載する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－６２９６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、実際の物流現場においては、パレット及び荷物の積載状態（荷姿状態）が異常であると、定常の荷役制御によっては荷降ろしを行うことができない場合がある。このため、パレット及び荷物の荷姿状態が異常であるかどうかを検知し、荷姿状態が異常であるときは、その荷姿状態に合わせた適切な処置を行う必要がある。

【0005】

本発明の目的は、パレット及び荷物の荷姿状態が異常であるかどうかを検知することができる荷姿状態検知装置を提供することである。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、フォークリフトから向かって横方向に並んで配置された複数のパレット上に荷物が載置された状態で、フォークリフトにより荷役を行う際に、パレット及び荷物の荷姿状態を検知する荷姿状態検知装置であって、パレット及び荷物の荷姿を検出することで、パレット及び荷物の荷姿検出データを取得する検出部と、検出部により取得された荷姿検出データにおいてパレット及び荷物の領域を抽出する領域抽出部と、領域抽出部により抽出された荷姿検出データにおけるパレットの領域に基づいて、検知対象のパレットが横方向に隣り合うパレットに干渉するかどうかを判定すると共に、荷姿検出データにおけるパレット及び荷物の領域に基づいて、検知対象の荷物が横方向に隣り合う荷物またはパレットに干渉するかどうかを判定する荷姿異常判定部とを備える。

【0007】

このような荷姿状態検知装置では、パレット及び荷物の荷姿を検出することで取得された荷姿検出データにおいて、パレット及び荷物の領域が抽出される。そして、荷姿検出データにおけるパレットの領域に基づいて、検知対象のパレットが横方向に隣り合うパレットに干渉するかどうかが判定される。また、荷姿検出データにおけるパレット及び荷物の領域に基づいて、検知対象の荷物が横方向に隣り合う荷物またはパレットに干渉するかどうかが判定される。検知対象のパレットが横方向に隣り合うパレットに干渉すると判定されたときは、パレット及び荷物の荷姿状態が異常であると検知される。検知対象の荷物が横方向に隣り合う荷物またはパレットに干渉すると判定されたときも、パレット及び荷物の荷姿状態が異常であると検知される。このようにパレット及び荷物の荷姿状態が異常であるかどうかを検知することができる。

【0008】

（２）上記の（１）において、荷姿異常判定部は、荷姿検出データにおいて上下方向に互いに接しているパレット及び荷物を含む領域を表す荷物セットを横方向に沿って複数組作成し、複数組の荷物セットのうち検知対象の荷物セットのパレットが横方向に隣り合う荷物セットのパレットに干渉するかどうかを判定すると共に、検知対象の荷物セットの荷物が横方向に隣り合う荷物セットの荷物またはパレットに干渉するかどうかを判定してもよい。

【0009】

このような構成では、荷姿検出データにおいて上下方向に互いに接しているパレット及び荷物を含む領域を表す荷物セット毎に、検知対象のパレット及び荷物の干渉判定が行われることとなる。荷物セットは、フォークリフトにより一括して行われる荷役の単位に相当する。従って、検知対象のパレット及び荷物の干渉判定を荷役の単位毎に効率的に行うことができる。

【0010】

（３）上記の（２）において、荷姿異常判定部は、検知対象の荷物セットのパレットが横方向に隣り合う荷物セットのパレットに接触すると共に、検知対象の荷物セットのパレットの姿勢角が予め決められた閾値以上であるときは、検知対象の荷物セットのパレットが横方向に隣り合う荷物セットのパレットに干渉すると判定してもよい。

【0011】

このような構成では、検知対象の荷物セットのパレットが横方向に隣り合う荷物セットのパレットに干渉するかどうかを容易に判定することができる。また、検知対象の荷物セットのパレットが横方向に隣り合う荷物セットのパレットに接触していても、検知対象の荷物セットのパレットの姿勢角が閾値よりも小さいときは、検知対象の荷物セットの横方向に隣り合う荷物セットの荷役を支障なく行うことが可能となる。従って、荷役作業を無駄に中止することが防止される。

【0012】

（４）上記の（２）または（３）において、荷姿異常判定部は、検知対象の荷物セットが横方向に隣り合う荷物セットのパレットの左右両端を上下方向に延ばした２本の仮想線の内側領域に重なり合うときは、検知対象の荷物セットの荷物が横方向に隣り合う荷物セットの荷物またはパレットに干渉すると判定してもよい。

【0013】

このような構成では、検知対象の荷物セットの荷物が横方向に隣り合う荷物セットの荷物またはパレットに干渉するかどうかを容易に判定することができる。

【0014】

（５）上記の（１）～（４）の何れかにおいて、検出部は、パレット及び荷物の荷姿を撮像することで、パレット及び荷物の荷姿画像データを荷姿検出データとして取得し、領域抽出部は、荷姿画像データのピクセル単位で、荷姿画像データにおけるパレット及び荷物の領域を抽出してもよい。

【0015】

このような構成では、パレット及び荷物の荷姿を撮像することで取得された荷姿画像データを用いることにより、荷姿検出データにおいてパレット及び荷物の領域を高精度に抽出することができる。

【0016】

（６）上記の（５）において、領域抽出部は、複数種類のパレット及び荷物の荷姿画像と複数種類のパレット及び荷物のピクセル情報とを含む学習済みデータを用いて、荷姿画像データにおけるパレット及び荷物の領域を抽出してもよい。

【0017】

このような構成では、荷姿画像とピクセル情報とを含む学習済みデータを用いることにより、荷姿画像データにおいてパレット及び荷物の領域をより高精度に抽出することができる。

【0018】

（７）上記の（６）において、学習済みデータは、数式ドリブンデータベースを事前学習させて得られた事前学習データを用いて、パレット及び荷物の荷姿画像に対してパレット及び荷物のピクセル情報をアノテーションしたデータを転移学習させることで生成されていてもよい。

【0019】

このような構成では、数式ドリブンデータベースを事前学習させることで得られた事前学習データを用いることにより、パレット及び荷物の荷姿が撮像された荷姿画像の数を少なくしつつ、荷姿画像データにおいてパレット及び荷物の領域を高精度に抽出することができる。

【発明の効果】

【0020】

本発明によれば、パレット及び荷物の荷姿状態が異常であるかどうかを検知することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係る荷姿状態検知装置を備えた荷役制御装置の構成を示すブロック図である。

【図2】荷物が載置されたパレットがトラックの荷台に積載された状態を示す図である。

【図3】パレットが隣り合うパレットに干渉した状態と、荷物が隣り合う荷物またはパレットに干渉した状態とを示す図である。

【図4】図１に示された領域抽出部の機能を示すブロック図である。

【図5】図４に示された学習済みデータを作成する機能を示すブロック図である。

【図6】図１に示された荷姿異常判定部により実行される荷姿異常判定処理の手順を示すフローチャートである。

【図7】図６に示された手順Ｓ１０２の詳細を示すフローチャートである。

【図8】図７に示された処理手順によりパレットの干渉があるかどうかを判定する様子を示す図である。

【図9】図６に示された手順Ｓ１０３の詳細を示すフローチャートである。

【図10】図９に示された処理手順により荷物の干渉があるかどうかを判定する様子を示す図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について、図面を参照して詳細に説明する。図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。

【0023】

図１は、本発明の一実施形態に係る荷姿状態検知装置を備えた荷役制御装置の構成を示すブロック図である。図１において、荷役制御装置１は、フォークリフト２に搭載されている。荷役制御装置１は、フォークリフト２により自動的に荷役を実施する際に、荷役制御を行う装置である。

【0024】

ここでは、荷役制御装置１は、図２に示されるように、フォークリフト２のフォーク（図示せず）によってトラック３の荷台３ａに積載されたパレット４を保持する、いわゆる荷取りを行う際に、フォークリフト２を制御する。パレット４上には、荷物５が載置されている。パレット４には、フォークリフト２のフォークが差し込まれる２つのフォーク穴６が設けられている。フォーク穴６は、パレット４の前面４ａから後側に向かって延びている。

【0025】

トラック３の荷台３ａには、複数のパレット４がトラック３の前後方向に沿って積載されている。パレット４は、前面４ａがトラック３の側方に向くように配置されている。このため、フォークリフト２は、トラック３の側方において荷取りを行う。このとき、複数のパレット４は、フォークリフト２から向かって横方向（左右方向）に並んで配置されている。ここでは、フォークリフト２のフォークによって荷物５が載置された上下２段のパレット４が一緒に保持される（図８及び図１０参照）。このとき、フォークは、下段のパレット４のフォーク穴６に差し込まれる。

【0026】

ところで、図２に示されるように、パレット４及び荷物５の荷姿状態が正常である場合には、フォークリフト２により荷取りをスムーズに行うことができる。荷姿とは、パレット４及び荷物５の置かれ方をいう。

【0027】

しかし、図３に示されるように、パレット４及び荷物５の荷姿状態が異常である場合には、フォークリフト２により荷取りを行うことができない可能性がある。例えば図３（ａ）に示されるように、横方向に隣り合うパレット４同士がトラック３の幅方向（パレット４を荷台３ａからトラック３の側方へ引き出す方向）に対して干渉している場合には、荷取りを行った際に荷崩れが生じることがある。また、図３（ｂ）に示されるように、パレット４上に載置された荷物５が横方向に隣り合うパレット４上に載置された荷物５に干渉したり、パレット４上に載置された荷物５が横方向に隣り合うパレット４に干渉している場合にも、荷取りを行った際に荷崩れが生じることがある。

【0028】

荷役制御装置１は、そのような課題を解決するために、パレット４及び荷物５の荷姿状態が異常であるかどうかを検知し、パレット４及び荷物５の荷姿状態が異常であるときは、その荷姿状態に合わせた適切な制御を行う。

【0029】

そこで、荷役制御装置１は、パレット４及び荷物５の荷姿状態を検知する荷姿状態検知装置１０を具備している。荷姿状態検知装置１０は、フォークリフト２から向かって横方向に並んで配置された複数のパレット４上に荷物５が載置された状態で、フォークリフト２により荷役を行う際に、パレット４及び荷物５の荷姿状態が正常であるか異常であるかを検知する装置である。

【0030】

荷姿状態検知装置１０を含む荷役制御装置１は、カメラ１１と、駆動部１２と、警報部１３と、コントローラ１４とを備えている。

【0031】

カメラ１１は、フォークリフト２の前方を撮像する撮像部である。カメラ１１は、パレット４及び荷物５の荷姿を撮像することで、パレット４及び荷物５の荷姿画像データを取得する。カメラ１１は、パレット４及び荷物５の荷姿を検出することで、パレット４及び荷物５の荷姿検出データである荷姿画像データを取得する検出部を構成している。

【0032】

駆動部１２は、特に図示はしないが、フォークリフト２を走行させる走行モータと、フォークリフト２を操舵する操舵モータと、フォークリフト２のフォーク（図示せず）を昇降させるリフトシリンダと、フォークを傾動させるティルトシリンダ等を有している。警報部１３は、例えば警報音を発生させることで、警報を行う。

【0033】

コントローラ１４は、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力インターフェース等により構成されている。コントローラ１４は、領域抽出部１５と、荷姿異常判定部１６と、荷役制御部１７とを有している。カメラ１１、領域抽出部１５及び荷姿異常判定部１６は、本実施形態の荷姿状態検知装置１０を構成している。

【0034】

領域抽出部１５は、カメラ１１により取得された荷姿画像データにおいてパレット４及び荷物５の領域を抽出する。領域抽出部１５は、荷姿画像データのピクセル単位で、荷姿画像データにおけるパレット４及び荷物５の領域を抽出する。

【0035】

具体的には、領域抽出部１５は、図４に示されるように、荷姿認識モデル２０及び学習済みデータ２１を有する機能から構成されている。領域抽出部１５は、荷姿認識モデル２０に学習済みデータ２１を読み込ませることで、カメラ１１により取得された荷姿画像データにおけるパレット４及び荷物５の領域を抽出する。

【0036】

荷姿認識モデル２０は、深層学習を用いて構築されるインスタンスセグメンテーションモデルである。インスタンスセグメンテーションは、ピクセル単位で個別の物体位置を推定する技術であり、対象物領域を詳細にラベル付けして学習を行い、物体位置を推定する。荷姿認識モデル２０は、パレット４及び荷物５が撮影されている画像に対して、パレット４及び荷物５の領域をアノテーション（付与）したデータを用いて構築される。

【0037】

荷姿認識モデル２０は、学習済みデータ２１を用いて、カメラ１１により取得された荷姿画像の特徴量を抽出する特徴量抽出部２２と、学習済みデータ２１と荷姿画像の特徴量とを用いて、荷姿画像データにおけるパレット４及び荷物５の領域を認識する領域認識部２３とを有している。

【0038】

学習済みデータ２１は、パレット４及び荷物５が撮影された荷姿画像と、荷姿画像におけるパレット４及び荷物５の情報を含んだデータファイルといった２種類のデータから構成されている。荷姿画像におけるパレット４及び荷物５の情報には、荷姿画像のピクセル番号が含まれている。荷姿画像におけるパレット４及び荷物５の領域は、荷姿画像のピクセル番号により表される。

【0039】

例えば、荷物５の種類数が段ボール箱及び部品箱という２種類であり、パレット４の種類数がプラスチックパレット及びポストパレットという２種類である場合は、パレット４及び荷物５が撮影されている合計４種類の荷姿画像に対して、パレット４及び荷物５の領域のラベルが付与された学習済みデータ２１が用意される。

【0040】

学習済みデータ２１は、図５に示されるように、数式ドリブンデータベースを事前学習させて生成されている。数式ドリブンデータベースは、数式から生成された画像であり、画像へのラベル付与が不要なデータである。数式ドリブンデータベースとしては、例えばフラクタル幾何学画像で構成されるデータセット（FractalDB）等が使用される。

【0041】

具体的には、まず図５（ａ）に示されるように、画像分類モデル２４により数式ドリブンデータベース２５の事前学習を行うことで、事前学習データ２６が作成される。数式ドリブンデータベース２５の事前学習としては、数式ドリブン教師あり学習が用いられる。画像分類モデル２４は、数式ドリブンデータベース２５の特徴量を抽出する特徴量抽出部２７と、数式ドリブンデータベース２５の特徴量の画像分類問題を解く画像分類部２８とを有している。

【0042】

そして、図５（ｂ）に示されるように、事前学習データ２６を用いて転移学習を行い、上記の荷姿認識モデル２０を構築することで、学習済みデータ２１が作成される。このとき、数式ドリブンデータベース２５を事前学習させた事前学習データ２６を特徴量抽出部２２に読み込ませ、パレット４及び荷物５が撮影された荷姿画像２９に対してパレット４及び荷物５の領域が付与されたデータを転移学習させることで、学習済みデータ２１が取得される。

【0043】

図１に戻り、荷姿異常判定部１６は、領域抽出部１５により抽出された荷姿画像データにおけるパレット４の領域に基づいて、検知対象のパレット４が横方向に隣り合うパレット４に干渉するかどうかを判定する。また、荷姿異常判定部１６は、領域抽出部１５により抽出された荷姿画像データにおけるパレット４及び荷物５の領域に基づいて、検知対象の荷物５が横方向に隣り合う荷物５またはパレット４に干渉するかどうかを判定する。

【0044】

図６は、荷姿異常判定部１６により実行される荷姿異常判定処理の手順を示すフローチャートである。本処理は、例えば手動操作スイッチ等により荷役制御の開始が指示されると実行される。

【0045】

図６において、荷姿異常判定部１６は、まず領域抽出部１５により抽出された荷姿画像データにおけるパレット４及び荷物５の領域情報を取得する（手順Ｓ１０１）。続いて、荷姿異常判定部１６は、荷姿画像データにおけるパレット４の領域情報に基づいて、検知対象のパレット４が横方向に隣り合うパレット４に干渉しないかどうかを判断する（手順Ｓ１０２）。検知対象のパレット４は、次に荷役が行われる荷役対象のパレット４の隣に位置するパレット４である。

【0046】

荷姿異常判定部１６は、検知対象のパレット４が横方向に隣り合うパレット４に干渉しないと判断したときは、荷姿画像データにおけるパレット４及び荷物５の領域に基づいて、検知対象の荷物５が横方向に隣り合う荷物５またはパレット４に干渉しないかどうかを判断する（手順Ｓ１０３）。検知対象の荷物５は、次に荷役が行われる荷役対象の荷物５の隣に位置する荷物５である。つまり、検知対象の荷物５は、荷役対象のパレット４の隣に位置するパレット４上に載置された荷物５である。

【0047】

荷姿異常判定部１６は、検知対象の荷物５が横方向に隣り合う荷物５またはパレット４に干渉しないと判断したときは、正常制御信号を荷役制御部１７に出力する（手順Ｓ１０４）。

【0048】

荷姿異常判定部１６は、手順Ｓ１０２で検知対象のパレット４が横方向に隣り合うパレット４に干渉すると判断したとき、または手順Ｓ１０３で検知対象の荷物５が横方向に隣り合う荷物５またはパレット４に干渉すると判断したときは、異常制御信号を荷役制御部１７に出力する（手順Ｓ１０５）。

【0049】

図７は、図６の手順Ｓ１０２の詳細を示すフローチャートである。図７において、荷姿異常判定部１６は、まず荷姿画像データＤにおいて、複数組の荷物セットＳを作成する（手順Ｓ１１１）。図８（ａ）は、荷姿画像データＤの一例を示している。

【0050】

荷物セットＳは、図８（ｂ）に示されるように、荷姿画像データＤにおいて上下方向に互いに接しているパレット４及び荷物５を含む四角形状の領域を表している。つまり、荷物セットＳは、荷姿画像データＤにおいて上下方向に互いに接しているパレット４及び荷物５のみを含む領域を表し、左右方向（横方向）に隣り合うパレット４及び荷物５を含まない。複数組の荷物セットＳは、荷姿画像データＤにおいて横方向に沿って作成される。図８（ｂ）では、荷姿画像データＤにおいて横方向に隣り合う２組の荷物セットＳａ，Ｓｂが作成される。また、図８（ｂ）では、荷物セットＳは、上下２段のパレット４及び荷物５を含んでいる。

【0051】

続いて、荷姿異常判定部１６は、複数組の荷物セットＳのうち検知対象の荷物セットＳのパレット４が横方向に隣り合う荷役対象の荷物セットＳのパレット４に接触するかどうかを判断する（手順Ｓ１１２）。荷姿異常判定部１６は、荷姿画像データＤにおいて、検知対象の荷物セットＳのパレット４のピクセルが荷役対象の荷物セットＳのパレット４のピクセルと接触するかどうかを判断することで、検知対象の荷物セットＳのパレット４が荷役対象の荷物セットＳのパレット４に接触するかどうかを判断する。荷役対象の荷物セットＳは、次に荷役が行われるパレット４及び荷物５を含む荷物セットＳである。

【0052】

図８（ｂ）では、荷物セットＳａが荷役対象の荷物セットＳであり、荷物セットＳｂが検知対象の荷物セットＳである。このため、検知対象の荷物セットＳｂのパレット４が荷役対象の荷物セットＳａのパレット４に接触するかどうかが判断される。

【0053】

荷姿異常判定部１６は、検知対象の荷物セットＳのパレット４が横方向に隣り合う荷役対象の荷物セットＳのパレット４に接触すると判断したときは、荷姿画像データＤにおけるパレット４の領域情報と予め分かっているパレット４の形状情報とに基づいて、検知対象の荷物セットＳのパレット４（以下、接触パレット４Ａという）の姿勢角であるヨー角を算出する（手順Ｓ１１３）。

【0054】

接触パレット４Ａがフォークリフト２に対して正面を向いている状態では、接触パレット４Ａのヨー角が０度である。図８（ｃ）では、検知対象の荷物セットＳｂのパレット４は、荷役対象の荷物セットＳａのパレット４に接触している接触パレット４Ａである。

【0055】

そして、荷姿異常判定部１６は、接触パレット４Ａのヨー角が予め決められた閾値以上であるかどうかを判断する（手順Ｓ１１４）。閾値は、検知対象の荷物セットＳのパレット４と荷役対象の荷物セットＳのパレット４とが接触していても、荷役対象の荷物セットＳのパレット４及び荷物５の荷取り動作に影響を与えることがない角度、例えば荷物５の荷崩れ起こさないような角度に設定されている。

【0056】

荷姿異常判定部１６は、接触パレット４Ａのヨー角が閾値以上であると判断したときは、検知対象の荷物セットＳのパレット４が荷役対象の荷物セットＳのパレット４に干渉していると判定する（手順Ｓ１１５）。

【0057】

荷姿異常判定部１６は、手順Ｓ１１２で検知対象の荷物セットＳのパレット４が横方向に隣り合う荷役対象の荷物セットＳのパレット４に接触していないと判断したとき、または手順Ｓ１１４で接触パレット４Ａのヨー角が閾値以上でないと判断したときは、検知対象の荷物セットＳのパレット４が荷役対象の荷物セットＳのパレット４に干渉していないと判定する（手順Ｓ１１６）。

【0058】

図９は、図６の手順Ｓ１０３の詳細を示すフローチャートである。図９において、荷姿異常判定部１６は、まず荷姿画像データＤにおいて、複数組の荷物セットＳを作成する（手順Ｓ１２１）。図１０（ａ）は、荷姿画像データＤの他の例を示している。

【0059】

荷物セットＳは、図１０（ｂ）に示されるように、上記の手順Ｓ１１１と同様に、荷姿画像データＤにおいて上下方向に互いに接しているパレット４及び荷物５を含む四角形状の領域を表している。図１０（ｂ）に示される荷姿画像データＤでは、横方向に隣り合う２組の荷物セットＳａ，Ｓｂが作成される。

【0060】

続いて、荷姿異常判定部１６は、荷姿画像データＤにおいて、荷役対象の荷物セットＳのパレット４の左右両端をそれぞれ上下方向に延ばした２本の縦線である仮想線Ｌ１を設定する（手順Ｓ１２２）。このとき、上下２つのパレット４の左右両端の位置がずれている場合は、上下２つのパレット４の左右両端のうち左右方向の外側に位置する端を上下方向に延ばした２本の仮想線Ｌ１が設定される。図１０（ｃ）に示される荷姿画像データＤでは、荷役対象の荷物セットＳａのパレット４の左右両端をそれぞれ上下方向に延ばした２本の仮想線Ｌ１が設定される。

【0061】

続いて、荷姿異常判定部１６は、荷姿画像データＤにおいて、荷役対象の移動領域Ｒを設定する（手順Ｓ１２３）。荷役対象の移動領域Ｒは、図１０（ｃ）に示されるように、荷姿画像データＤにおいて、２本の仮想線Ｌ１と荷姿画像データＤの上端の横線Ｌ２と荷姿画像データＤの下端の横線Ｌ３とで囲まれる領域である。荷役対象の移動領域Ｒは、２本の仮想線Ｌ１の内側領域に相当する。

【0062】

続いて、荷姿異常判定部１６は、検知対象の荷物セットＳが荷役対象の移動領域Ｒに重なり合っているかどうかを判断する（手順Ｓ１２４）。荷姿異常判定部１６は、検知対象の荷物セットＳが荷役対象の移動領域Ｒに重なり合っていると判断したときは、検知対象の荷物セットＳの荷物５が荷役対象の荷物セットＳの荷物５またはパレット４に干渉していると判定する（手順Ｓ１２５）。

【0063】

図１０（ｃ）に示される荷姿画像データＤでは、検知対象の荷物セットＳｂの一部が荷役対象の移動領域Ｒに重なり合っている。このため、図１０（ｄ）に示されるように、検知対象の荷物セットＳｂの荷物５が荷役対象の荷物セットＳａの荷物５またはパレット４に干渉していると判定される（図中Ｗ参照）。

【0064】

荷姿異常判定部１６は、検知対象の荷物セットＳが荷役対象の移動領域Ｒに重なり合っていないと判断したときは、検知対象の荷物セットＳの荷物５が荷役対象の荷物セットＳの荷物５またはパレット４に干渉していないと判定する（手順Ｓ１２６）。

【0065】

図１に戻り、荷役制御部１７は、荷姿異常判定部１６による判定結果に応じて、駆動部１２及び警報部１３を制御する。荷役制御部１７は、荷姿異常判定部１６から正常制御信号を入力したときは、荷役対象の荷取りを行うように駆動部１２を制御する。荷役制御部１７は、荷姿異常判定部１６から異常制御信号を入力したときは、警報を行うように警報部１３を制御する。

【0066】

以上において、フォークリフト２により荷取りを行う場合、フォークリフト２がトラック３に向かって走行する。そして、フォークリフト２がトラック３の側方に到達すると、フォークリフト２が一旦停止する。その状態で、カメラ１１によって複数のパレット４上に荷物５が載置された荷姿状態が撮像されることで、パレット４及び荷物５の荷姿画像データＤが取得される。

【0067】

そして、荷姿画像データＤにおけるパレット４及び荷物５の領域が抽出される。そして、荷姿画像データＤにおけるパレット４の領域に基づいて、検知対象の荷物セットＳのパレット４が横方向に隣り合う荷役対象の荷物セットＳのパレット４に干渉するかどうかが判定される。また、荷姿画像データＤにおけるパレット４及び荷物５の領域に基づいて、検知対象の荷物セットＳの荷物５が荷役対象の荷物セットＳの荷物５またはパレット４に干渉するかどうかが判定される。

【0068】

検知対象の荷物セットＳのパレット４が荷役対象の荷物セットＳのパレット４に干渉しないと判定されると共に、検知対象の荷物セットＳの荷物５が荷役対象の荷物セットＳの荷物５またはパレット４に干渉しないと判定されたときは、駆動部１２が制御されることで、荷役対象の荷物セットＳの荷取りが行われる。

【0069】

検知対象の荷物セットＳのパレット４が荷役対象の荷物セットＳのパレット４に干渉すると判定されたときは、警報部１３による警報が行われ、検知対象の荷物セットＳの荷取りが中止される。検知対象の荷物セットＳの荷物５が荷役対象の荷物セットＳの荷物５またはパレット４に干渉すると判定されたときも、警報部１３による警報が行われ、検知対象の荷物セットＳの荷取りが中止される。

【0070】

以上のように本実施形態にあっては、パレット４及び荷物５の荷姿を検出することで取得された荷姿画像データＤにおいて、パレット４及び荷物５の領域が抽出される。そして、荷姿画像データＤにおけるパレット４の領域に基づいて、検知対象のパレット４が横方向に隣り合うパレット４に干渉するかどうかが判定される。また、荷姿画像データＤにおけるパレット４及び荷物５の領域に基づいて、検知対象の荷物５が横方向に隣り合う荷物５またはパレット４に干渉するかどうかが判定される。検知対象のパレット４が横方向に隣り合うパレット４に干渉すると判定されたときは、パレット４及び荷物５の荷姿状態が異常であると検知される。検知対象の荷物５が横方向に隣り合う荷物５またはパレット４に干渉すると判定されたときも、パレット４及び荷物５の荷姿状態が異常であると検知される。このようにパレット４及び荷物５の荷姿状態が異常であるかどうかを検知することができる。その結果、パレット４及び荷物５の荷姿状態に応じた適切な荷役制御を実現することが可能となる。

【0071】

また、本実施形態では、荷姿画像データＤにおいて上下方向に互いに接しているパレット４及び荷物５を含む領域を表す荷物セットＳが横方向に沿って複数組作成され、複数組の荷物セットＳのうち検知対象の荷物セットＳのパレット４が横方向に隣り合う荷物セットＳのパレット４に干渉するかどうかが判定されると共に、検知対象の荷物セットＳの荷物５が横方向に隣り合う荷物セットＳの荷物５またはパレット４に干渉するかどうかが判定される。このため、荷姿画像データＤにおいて上下方向に互いに接しているパレット４及び荷物５を含む領域を表す荷物セットＳ毎に、検知対象のパレット４及び荷物５の干渉判定が行われることとなる。荷物セットＳは、フォークリフト２により一括して行われる荷役の単位に相当する。従って、検知対象のパレット４及び荷物５の干渉判定を荷役の単位毎に効率的に行うことができる。

【0072】

また、本実施形態では、検知対象の荷物セットＳのパレット４が横方向に隣り合う荷物セットＳのパレット４に接触すると共に、検知対象の荷物セットＳのパレット４のヨー角が閾値以上であるときは、検知対象の荷物セットＳのパレット４が横方向に隣り合う荷物セットＳのパレット４に干渉すると判定される。このため、検知対象の荷物セットＳのパレット４が横方向に隣り合う荷物セットＳのパレット４に干渉するかどうかを容易に判定することができる。また、検知対象の荷物セットＳのパレット４が横方向に隣り合う荷物セットＳのパレット４に接触していても、検知対象の荷物セットＳのパレット４のヨー角が閾値よりも小さいときは、検知対象の荷物セットＳの横方向に隣り合う荷物セットＳの荷役を支障なく行うことが可能となる。従って、荷役作業を無駄に中止することが防止される。

【0073】

また、本実施形態では、検知対象の荷物セットＳが横方向に隣り合う荷物セットＳのパレット４の左右両端を上下方向に延ばした２本の仮想線Ｌ１と荷姿画像データＤの上下端の横線Ｌ２，Ｌ３とで囲まれる荷役対象の移動領域Ｒに重なり合うときは、検知対象の荷物セットＳの荷物５が横方向に隣り合う荷物セットＳの荷物５またはパレット４に干渉すると判定される。このため、検知対象の荷物セットＳの荷物５が横方向に隣り合う荷物セットＳの荷物５またはパレット４に干渉するかどうかを容易に判定することができる。

【0074】

また、本実施形態では、パレット４及び荷物５の荷姿を撮像することで、パレット４及び荷物５の荷姿画像データＤが荷姿検出データとして取得され、荷姿画像データＤのピクセル単位で、荷姿画像データＤにおけるパレット４及び荷物５の領域が抽出される。このようにパレット４及び荷物５の荷姿を撮像することで取得された荷姿画像データＤを用いることにより、荷姿検出データにおいてパレット４及び荷物５の領域を高精度に抽出することができる。

【0075】

また、本実施形態では、複数種類のパレット４及び荷物５の荷姿画像と複数種類のパレット４及び荷物５のピクセル情報とを含む学習済みデータ２１を用いて、荷姿画像データＤにおけるパレット４及び荷物５の領域が抽出される。このように荷姿画像とピクセル情報とを含む学習済みデータ２１を用いることにより、荷姿画像データＤにおいてパレット４及び荷物５の領域をより高精度に抽出することができる。

【0076】

また、本実施形態では、学習済みデータ２１は、数式ドリブンデータベースを事前学習させて得られた事前学習データ２６を用いて、パレット４及び荷物５の荷姿画像に対してパレット４及び荷物５のピクセル情報をアノテーションしたデータを転移学習させることで生成されている。このように数式ドリブンデータベースを事前学習させることで得られた事前学習データ２６を用いることにより、パレット４及び荷物５の荷姿が撮像された荷姿画像の数を少なくしつつ、荷姿画像データＤにおいてパレット４及び荷物５の領域を高精度に抽出することができる。

【0077】

また、本実施形態では、深層学習を用いたインスタンスセグメンテーションモデルにより荷姿認識モデル２０を構築することにより、荷姿画像データＤにおいてパレット４及び荷物５の領域を更に高精度に抽出することができる。

【0078】

なお、本発明は、上記実施形態に限定されない。例えば上記実施形態では、検知対象の荷物セットＳが横方向に隣り合う荷物セットＳのパレット４の左右両端を上下方向に延ばした２本の仮想線Ｌ１と荷姿画像データＤの上下端の横線Ｌ２，Ｌ３とで囲まれる荷役対象の移動領域Ｒに重なり合うときに、検知対象の荷物セットＳの荷物５が横方向に隣り合う荷物セットＳの荷物５またはパレット４に干渉すると判定されているが、特にそのような形態には限られない。例えば、荷姿画像データＤの上下端の横線Ｌ２，Ｌ３を使用せずに、検知対象の荷物セットＳが横方向に隣り合う荷物セットＳのパレット４の左右両端を上下方向に延ばした２本の仮想線Ｌ１の内側領域に重なり合うときに、検知対象の荷物セットＳの荷物５が横方向に隣り合う荷物セットＳの荷物５またはパレット４に干渉すると判定してもよい。

【0079】

また、上記実施形態では、数式ドリブンデータベースを事前学習させることで得られた事前学習データ２６を用いて学習済みデータ２１が作成されているが、特に事前学習データ２６を用いずに、パレット４及び荷物５の荷姿画像の数を増やして、学習済みデータ２１を作成してもよい。

【0080】

また、上記実施形態では、カメラ１１によってパレット４上に荷物５が積載された荷姿状態を撮像することで、パレット４及び荷物５の荷姿画像データＤが取得されているが、特にその形態には限られず、レーザセンサ等を用いてパレット４上に荷物５が載置された荷姿状態を検出することで、パレット４及び荷物５の荷姿検出データを取得してもよい。

【0081】

また、上記実施形態では、フォークリフト２のフォークによって荷物５が載置された上下２段のパレット４が一緒に保持されるが、特にその形態には限られず、フォークリフト２のフォークによって荷物５が載置された１つのパレット４を保持してもよい。

【0082】

また、上記実施形態では、フォークリフト２によってトラック３の荷台３ａに積載された荷物５に対して荷役を行う際に、パレット４及び荷物５の荷姿状態が検知されているが、本発明は、特にトラック３の荷台３ａには限られず、例えば工場内の床面等に対して荷役を行う場合にも適用可能である。

【符号の説明】

【0083】

２…フォークリフト、４…パレット、５…荷物、１０…荷姿状態検知装置、１１…カメラ（検出部）、１５…領域抽出部、１６…荷姿異常判定部、２１…学習済みデータ、２５…数式ドリブンデータベース、２６…事前学習データ、２９…荷姿画像、Ｄ…荷姿画像データ（荷姿検出データ）、Ｓ…荷物セット、Ｓａ，Ｓｂ…荷物セット、Ｌ１…仮想線、Ｒ…移動領域（内側領域）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】