ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024064336
(43)【公開日】2024-05-14
(54)【発明の名称】荷役支援装置、荷役車両及び荷役支援システム
(51)【国際特許分類】
B66F 9/24 20060101AFI20240507BHJP
【ＦＩ】
B66F9/24 L
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022172845
(22)【出願日】2022-10-28
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】佐藤 美徳
【テーマコード（参考）】
3F333
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333AE02
3F333FD11
3F333FD14
3F333FE05
3F333FE09
(57)【要約】
【課題】好適にはい作業の支援を行う。
【解決手段】フォークリフト１は制御部２７を備える。制御部２７は、パレットＰ上に載置された複数の荷Ｈの上面の画像に基づいて、複数の荷Ｈが所定の配列パターンＣで配置されているか否かを判定し、この判定結果に基づいて、荷役作業の支援を行う。これにより、はい付け状態の良否を好適に判定することができる。ひいては、当該判定結果に基づいて好適にはい作業の支援を行うことができる。
【選択図】図４
【解決手段】フォークリフト１は制御部２７を備える。制御部２７は、パレットＰ上に載置された複数の荷Ｈの上面の画像に基づいて、複数の荷Ｈが所定の配列パターンＣで配置されているか否かを判定し、この判定結果に基づいて、荷役作業の支援を行う。これにより、はい付け状態の良否を好適に判定することができる。ひいては、当該判定結果に基づいて好適にはい作業の支援を行うことができる。
【選択図】図４
【特許請求の範囲】
【請求項1】
パレット上に載置された複数の荷の上面の画像に基づいて、前記複数の荷が所定の配列で配置されているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、荷役作業を支援する支援部と、
を備える荷役支援装置。
前記判定部の判定結果に基づいて、荷役作業を支援する支援部と、
を備える荷役支援装置。
【請求項2】
前記判定部は、
前記複数の荷の上面の画像から、前記複数の荷の上面それぞれの代表点を設定し、
複数の前記代表点が所定の配列で配置されているか否かを判定する、
請求項１に記載の荷役支援装置。
前記複数の荷の上面の画像から、前記複数の荷の上面それぞれの代表点を設定し、
複数の前記代表点が所定の配列で配置されているか否かを判定する、
請求項１に記載の荷役支援装置。
【請求項3】
前記判定部は、
前記荷の上面の画像と当該上面を含む領域を囲う線とが対応付けられた教師データによって機械学習された学習モデルを用いて、前記複数の荷の上面の画像から、前記複数の荷の上面を個別に含む複数の上面領域を抽出し、
前記複数の上面領域それぞれの前記代表点を求める、
請求項２に記載の荷役支援装置。
前記荷の上面の画像と当該上面を含む領域を囲う線とが対応付けられた教師データによって機械学習された学習モデルを用いて、前記複数の荷の上面の画像から、前記複数の荷の上面を個別に含む複数の上面領域を抽出し、
前記複数の上面領域それぞれの前記代表点を求める、
請求項２に記載の荷役支援装置。
【請求項4】
前記複数の荷の適正な配列パターンを予め記憶する記憶部を備え、
前記判定部は、前記複数の代表点を前記配列パターンと照合して、前記複数の代表点が所定の配列で配置されているか否かを判定する、
請求項２に記載の荷役支援装置。
前記判定部は、前記複数の代表点を前記配列パターンと照合して、前記複数の代表点が所定の配列で配置されているか否かを判定する、
請求項２に記載の荷役支援装置。
【請求項5】
前記複数の荷の上面の画像を取得する画像取得部を備え、
前記所定の配列は、平面視での二次元配列である、
請求項１に記載の荷役支援装置。
前記所定の配列は、平面視での二次元配列である、
請求項１に記載の荷役支援装置。
【請求項6】
前記画像取得部は、距離の情報を含んだ画像を取得するものであり、
前記画像取得部が取得した画像に基づいて、前記複数の荷が所定の高さ範囲内に配置されているか否かを判定する第２判定部を備える、
請求項５に記載の荷役支援装置。
前記画像取得部が取得した画像に基づいて、前記複数の荷が所定の高さ範囲内に配置されているか否かを判定する第２判定部を備える、
請求項５に記載の荷役支援装置。
【請求項7】
請求項１に記載の荷役支援装置と、
前記パレットを保持可能であり、かつ昇降可能な保持部と、
を備える荷役車両。
前記パレットを保持可能であり、かつ昇降可能な保持部と、
を備える荷役車両。
【請求項8】
当該荷役車両の動作を制御する制御部を備え、
前記制御部は、前記複数の荷が所定の配列で配置されていると前記判定部が判定した場合に、前記複数の荷に対する荷役作業を許可する、
請求項７に記載の荷役車両。
前記制御部は、前記複数の荷が所定の配列で配置されていると前記判定部が判定した場合に、前記複数の荷に対する荷役作業を許可する、
請求項７に記載の荷役車両。
【請求項9】
請求項１に記載の荷役支援装置と、
前記荷役支援装置と通信可能な管理装置と、
を備え、
前記管理装置は、前記荷の上面の情報をデータベース化して管理する、
荷役支援システム。
前記荷役支援装置と通信可能な管理装置と、
を備え、
前記管理装置は、前記荷の上面の情報をデータベース化して管理する、
荷役支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷役支援装置、荷役車両及び荷役支援システムに関する。
【背景技術】
【0002】
特許文献１には、フォークを備える台車でパレットを含む荷を重ねる際に、フォーク先端の三次元センサで載置先の荷の上面をスキャンし、陥凹部があった場合にその存在を提示する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６８８０９５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、単純に上面の陥凹部の存在を提示するだけでは、特に非熟練者の作業者等は、そのまま荷を重ねて良いか否かの判断が難しい。そのため、フォークリフトにより複数の荷を積み上げる（又は積み降ろす）、いわゆる「はい作業」を好適に行うことが難しい。
本発明は、好適にはい作業の支援を行うことを目的とする。
本発明は、好適にはい作業の支援を行うことを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る荷役支援装置は、
パレット上に載置された複数の荷の上面の画像に基づいて、前記複数の荷が所定の配列で配置されているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、荷役作業を支援する支援部と、
を備える。
パレット上に載置された複数の荷の上面の画像に基づいて、前記複数の荷が所定の配列で配置されているか否かを判定する判定部と、
前記判定部の判定結果に基づいて、荷役作業を支援する支援部と、
を備える。
【発明の効果】
【0006】
本発明によれば、好適にはい作業の支援を行うことができる。
【図面の簡単な説明】
【0007】
【図1】実施形態に係るフォークリフトのはい作業時の側面図である。
【図2】実施形態に係るフォークリフトの概略の制御構成を示すブロック図である。
【図3】パレットパターンデータに含まれるパレットパターンの一例を示す図である。
【図4】実施形態に係る荷役支援処理の手順を示すフローチャートである。
【図5】実施形態に係る荷役支援処理を説明するための図である。
【図6】実施形態に係る荷役支援処理を説明するための図である。
【図7】実施形態に係る荷役支援処理を説明するための図である。
【図8】実施形態に係る荷役支援処理を説明するための図である。
【図9】実施形態に係る荷役支援処理の変形例を説明するための図である。
【図10】実施形態に係る荷役支援処理の変形例を説明するための図である。
【図11】実施形態の変形例に係るフォークリフト及び管理装置の概略の制御構成を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、本発明の各実施形態について図面を参照して詳細に説明する。
【0009】
［フォークリフトの構成］
図１は、本実施形態に係るフォークリフト１のはい作業時の側面図である。
本実施形態に係るフォークリフト１は、本発明に係る荷役車両の一例であり、本発明に係る荷役支援装置を具備することにより、パレットＰ上の荷Ｈのはい付け状態を良否判定してはい作業を好適に行うものである。
「はい作業」とは、荷Ｈの上に荷Ｈを積み上げる作業（はい付け）や、複数段に積まれた荷Ｈを積み降ろす作業（はい崩し）等をいう。「はい付け状態の良否」とは、パレットＰ上に荷Ｈが適正にはい付けされているか否かをいう。
なお、以下の説明では、複数の荷Ｈがはい付けされたパレットＰを「はい付けパレット体（Ｇ）」といい、はい付けパレット体Ｇ上に別のはい付けパレット体Ｇを重ねる作業を「はい付け（作業）」に含むものとする。本実施形態では、はい付けパレット体Ｇの最上段の複数の荷Ｈが所定の配列で配置されているか否かにより、はい付けパレット体Ｇの「はい付け状態の良否」を判定する。
図１は、本実施形態に係るフォークリフト１のはい作業時の側面図である。
本実施形態に係るフォークリフト１は、本発明に係る荷役車両の一例であり、本発明に係る荷役支援装置を具備することにより、パレットＰ上の荷Ｈのはい付け状態を良否判定してはい作業を好適に行うものである。
「はい作業」とは、荷Ｈの上に荷Ｈを積み上げる作業（はい付け）や、複数段に積まれた荷Ｈを積み降ろす作業（はい崩し）等をいう。「はい付け状態の良否」とは、パレットＰ上に荷Ｈが適正にはい付けされているか否かをいう。
なお、以下の説明では、複数の荷Ｈがはい付けされたパレットＰを「はい付けパレット体（Ｇ）」といい、はい付けパレット体Ｇ上に別のはい付けパレット体Ｇを重ねる作業を「はい付け（作業）」に含むものとする。本実施形態では、はい付けパレット体Ｇの最上段の複数の荷Ｈが所定の配列で配置されているか否かにより、はい付けパレット体Ｇの「はい付け状態の良否」を判定する。
【0010】
具体的に、フォークリフト１は、車体１１、フォーク１２、昇降体（リフト）１３、マスト１４、車輪１５を備える。マスト１４は車体１１の前方に設けられ、図示しない駆動源によって駆動されて車体１１の前後に傾斜する。昇降体１３は、図示しない駆動源によって駆動され、マスト１４に沿って昇降する。昇降体１３には、荷物やパレットＰなどを保持する保持部としての左右一対のフォーク１２が取り付けられている。
【0011】
パレットＰは、複数の荷Ｈを載置可能な荷受台である。パレットＰは、２つの孔部（フォークポケット）ｅを有する矩形板状に形成され、この２つの孔部ｅに一対のフォーク１２が挿入されることによりフォークリフト１に保持される。
【0012】
図２は、フォークリフト１の概略の制御構成を示すブロック図である。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷役支援装置は、少なくとも制御部２７を含んで構成される。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷役支援装置は、少なくとも制御部２７を含んで構成される。
【0013】
駆動部２１は、フォークリフト１の各種駆動源である走行モータ、操舵モータ及び荷役モータ（いずれも図示省略）を含む。走行モータは、車輪１５のうちの駆動輪を駆動する。操舵モータは、車輪１５のうちの操舵輪を回転（操舵動作）させる。荷役モータは、昇降体１３の昇降とマスト１４の傾倒との各動作を行わせる駆動源である。
操作部２２は、オペレータ（運転者）が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。
操作部２２は、オペレータ（運転者）が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。
【0014】
表示部２３は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイであり、制御部２７から入力される表示信号に基づいて各種情報を表示する。なお、表示部２３は、操作部２２の一部を兼ねるタッチパネルであってもよいし、音声表示（出力）が可能なスピーカを含んでもよい。
【0015】
撮影部２４は、本発明に係る画像取得部の一例であり、フォークリフト１の前方を撮影してその画像情報を取得し、取得した情報を制御部２７に出力する。本実施形態の撮影部２４は、昇降体１３の下部に配置されており、昇降体１３を上昇させたときに、前方に床置きされたはい付けパレット体Ｇ上の荷Ｈの上面が撮影範囲（画角）２４Ｒに含まれるように、前方斜め下向きに設置されている（図１参照）。
なお、撮影部２４は、荷Ｈの上面を含む画像を取得できるものであれば、得られる画像種別等は特に限定されず、例えばＲＧＢ画像を取得できるものでもよい。あるいは、撮影部２４は、光や音波を走査して反射波を検出することで二次元形状又は三次元形状を取得するスキャナ装置であってもよい。あるいは、撮影部２４は、距離情報（奥行き情報）を含む画像を取得可能なRGB-Dカメラ（デプスカメラ）、LiDAR（Light Detection And Ranging）、複眼カメラ等であってもよい。
なお、撮影部２４は、荷Ｈの上面を含む画像を取得できるものであれば、得られる画像種別等は特に限定されず、例えばＲＧＢ画像を取得できるものでもよい。あるいは、撮影部２４は、光や音波を走査して反射波を検出することで二次元形状又は三次元形状を取得するスキャナ装置であってもよい。あるいは、撮影部２４は、距離情報（奥行き情報）を含む画像を取得可能なRGB-Dカメラ（デプスカメラ）、LiDAR（Light Detection And Ranging）、複眼カメラ等であってもよい。
【0016】
記憶部２６は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等を備えて構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部２７の作業領域としても機能する。
本実施形態の記憶部２６には、後述の荷役支援処理（図４参照）を実行するための荷役支援プログラム２６３のほか、学習モデル２６１とパレットパターンデータ２６２が予め記憶されている。
本実施形態の記憶部２６には、後述の荷役支援処理（図４参照）を実行するための荷役支援プログラム２６３のほか、学習モデル２６１とパレットパターンデータ２６２が予め記憶されている。
【0017】
学習モデル２６１は、画像から荷Ｈの上面を含む上面領域Ｓ（図６参照）を抽出するものである。学習モデル２６１は、例えば、上面を含む外接線等が付与された複数の荷Ｈのサンプル画像を教師データとした機械学習により、予め作成されて記憶部２６に格納されている。学習モデル２６１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
【0018】
パレットパターンデータ２６２は、略一定サイズの複数の荷Ｈ（段ボール箱等）をパレットＰ上に積み付ける（はい付けする）場合における荷Ｈの配列パターン（パレットパターン）を示すデータである。図３（ａ）～（ｇ）は、パレットパターンデータ２６２に含まれるパレットパターンの一例を示す図であり、具体的には（ａ）ブロック積み（平積み）、（ｂ）レンガ積み、（ｃ）ピンホール積み、（ｄ）交互列積み、（ｅ）ダブルピンホール積み、（ｆ）スプリット積みである。「１段目」が最下段、「４段目」が最上段を示す。
ただし、パレットパターンは図３に示すものに限定されず、例えば大きさの異なる荷Ｈを含むもの等であってもよい。また、本実施形態の手法により、はい付けパレット体Ｇのはい付け状態を良否判定する場合、パレットパターンデータ２６２は少なくとも最上段の配列パターンのデータを含んでいればよい。
ただし、パレットパターンは図３に示すものに限定されず、例えば大きさの異なる荷Ｈを含むもの等であってもよい。また、本実施形態の手法により、はい付けパレット体Ｇのはい付け状態を良否判定する場合、パレットパターンデータ２６２は少なくとも最上段の配列パターンのデータを含んでいればよい。
【0019】
制御部２７は、例えばＣＰＵ（Central Processing Unit）等を備えて構成され、フォークリフト１各部の動作を制御する。具体的に、制御部２７は、操作部２２の操作内容に基づいて駆動部２１を動作させたり、記憶部２６に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0020】
［荷役支援処理］
続いて、フォークリフト１がはい付け作業を行う際の荷役動作を支援する荷役支援処理について説明する。
図４は、荷役支援処理の手順を示すフローチャートであり、図５～図８は、荷役支援処理を説明するための図である。
続いて、フォークリフト１がはい付け作業を行う際の荷役動作を支援する荷役支援処理について説明する。
図４は、荷役支援処理の手順を示すフローチャートであり、図５～図８は、荷役支援処理を説明するための図である。
【0021】
荷役支援処理は、はい付け作業時に前方に床置きされたはい付けパレット体Ｇのはい付け状態を良否判定する処理である。この荷役支援処理は、制御部２７が、所定の実行条件（例えばオペレータの実行操作等）に基づいて記憶部２６から荷役支援プログラム２６３を読み出して展開することで実行される。
はい付け作業では、フォークリフト１が、床置きされたはい付けパレット体Ｇ上に、別のはい付けパレット体Ｇを持ち上げて載置する。ここでは、フォークリフト１が、別のはい付けパレット体Ｇを保持した状態で床上のはい付けパレット体Ｇの前方まで移動してきた後、フォーク１２を床上のはい付けパレット体Ｇよりも上側まで上昇させた状態であるものとする（図１参照）。
なお、以下の説明では、特に断りのない限り、「はい付けパレット体」とは、フォーク１２上に保持したものではなく、床置きされた車両前方のものを指すこととする。また、本実施形態のはい付けパレット体Ｇは、複数の荷Ｈがブロック積みされているものとする。
はい付け作業では、フォークリフト１が、床置きされたはい付けパレット体Ｇ上に、別のはい付けパレット体Ｇを持ち上げて載置する。ここでは、フォークリフト１が、別のはい付けパレット体Ｇを保持した状態で床上のはい付けパレット体Ｇの前方まで移動してきた後、フォーク１２を床上のはい付けパレット体Ｇよりも上側まで上昇させた状態であるものとする（図１参照）。
なお、以下の説明では、特に断りのない限り、「はい付けパレット体」とは、フォーク１２上に保持したものではなく、床置きされた車両前方のものを指すこととする。また、本実施形態のはい付けパレット体Ｇは、複数の荷Ｈがブロック積みされているものとする。
【0022】
図４に示すように、荷役支援処理が実行されると、まず制御部２７は、撮影部２４により、上側から見たはい付けパレット体Ｇの画像を取得する（ステップＳ１）。
このステップでは、制御部２７は、オペレータの操作に基づいて、撮影部２４を動作させ、フォークリフト１の前方に床置きされたはい付けパレット体Ｇの上面が撮影される。より詳しくは、昇降体１３によりフォーク１２を床上のはい付けパレット体Ｇよりも上側まで上昇させるに伴って、昇降体１３と一体的に構成された撮影部２４も当該はい付けパレット体Ｇよりも上側まで上昇し、当該撮影部２４により当該はい付けパレット体Ｇを上側から見た画像が取得される。これにより、例えば図５に示すように、最上段の全ての荷Ｈの上面が確認できるはい付けパレット体Ｇの画像が得られる。この画像は記憶部２６に記憶される。またこの画像は表示部２３にリアルタイム表示させてもよい。
なお、撮影タイミングはオペレータの操作に基づくものでなくともよく、例えば所定の撮影タイミング（例えばフォーク１２の上昇後）で定期的にフォークリフト１前方を撮影し、その画像からはい付けパレット体Ｇ（荷Ｈ）を検出することとしてもよい。
このステップでは、制御部２７は、オペレータの操作に基づいて、撮影部２４を動作させ、フォークリフト１の前方に床置きされたはい付けパレット体Ｇの上面が撮影される。より詳しくは、昇降体１３によりフォーク１２を床上のはい付けパレット体Ｇよりも上側まで上昇させるに伴って、昇降体１３と一体的に構成された撮影部２４も当該はい付けパレット体Ｇよりも上側まで上昇し、当該撮影部２４により当該はい付けパレット体Ｇを上側から見た画像が取得される。これにより、例えば図５に示すように、最上段の全ての荷Ｈの上面が確認できるはい付けパレット体Ｇの画像が得られる。この画像は記憶部２６に記憶される。またこの画像は表示部２３にリアルタイム表示させてもよい。
なお、撮影タイミングはオペレータの操作に基づくものでなくともよく、例えば所定の撮影タイミング（例えばフォーク１２の上昇後）で定期的にフォークリフト１前方を撮影し、その画像からはい付けパレット体Ｇ（荷Ｈ）を検出することとしてもよい。
【0023】
次に、制御部２７は、ステップＳ１で取得した画像を学習モデル２６１に入力し、当該画像から、複数の荷Ｈの上面を個別に含む複数の上面領域Ｓを抽出する（ステップＳ２）。
具体的には、例えば図６に示すように、ステップＳ１で取得した画像のうち、各荷Ｈの上面の領域（外接線）が、学習モデル２６１により上面領域Ｓとして抽出される。外接線とは、画像中の荷Ｈの上面に外接する最小の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味する。学習モデル２６１は、例えばニューラルネットワーク等を利用した機械学習により、はい付けパレット体Ｇを上側から見た画像から各荷Ｈの上面領域Ｓを抽出するように予め構築されたモデルである。
なお、上面領域Ｓは、荷Ｈの上面を含む領域であればよく、荷Ｈの上面の外接線でなく、その外形線又は内接線等であってもよい。外形線とは荷Ｈの上面の外形に沿った形状を意味し、内接線とは画像中の荷Ｈに内接する最大の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味する。荷Ｈを真上から撮影した場合、荷Ｈの外形線と外接線又は内接線とはほぼ一致する。
具体的には、例えば図６に示すように、ステップＳ１で取得した画像のうち、各荷Ｈの上面の領域（外接線）が、学習モデル２６１により上面領域Ｓとして抽出される。外接線とは、画像中の荷Ｈの上面に外接する最小の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味する。学習モデル２６１は、例えばニューラルネットワーク等を利用した機械学習により、はい付けパレット体Ｇを上側から見た画像から各荷Ｈの上面領域Ｓを抽出するように予め構築されたモデルである。
なお、上面領域Ｓは、荷Ｈの上面を含む領域であればよく、荷Ｈの上面の外接線でなく、その外形線又は内接線等であってもよい。外形線とは荷Ｈの上面の外形に沿った形状を意味し、内接線とは画像中の荷Ｈに内接する最大の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味する。荷Ｈを真上から撮影した場合、荷Ｈの外形線と外接線又は内接線とはほぼ一致する。
【0024】
次に、制御部２７は、各上面領域Ｓの代表点Ｍを設定する（ステップＳ３）。
本実施形態では、代表点Ｍとして各上面領域Ｓの重心（すなわち幾何中心）位置が求められる。ただし、代表点Ｍは重心位置に限定されず、全ての上面領域Ｓに共通する位置（例えば、四隅のうち平面視で右下の角）等としてもよい。
本実施形態では、代表点Ｍとして各上面領域Ｓの重心（すなわち幾何中心）位置が求められる。ただし、代表点Ｍは重心位置に限定されず、全ての上面領域Ｓに共通する位置（例えば、四隅のうち平面視で右下の角）等としてもよい。
【0025】
次に、制御部２７は、全ての代表点Ｍが所定の配列（配列パターン）で配置されているか否かを判定する（ステップＳ４）。
ここでは、制御部２７は、はい付けパレット体Ｇの最上段の荷Ｈの配列情報である配列パターンＣを記憶部２６のパレットパターンデータ２６２から読み出し、各代表点Ｍの位置と照合する。配列パターンＣは、図７に示すように、代表点Ｍが配置されるはずの予定位置Ｂが、はい付けパレット体Ｇのパレットパターンに対応して配列された配列情報（画像情報を含む）である。本実施形態では、オペレータがはい付けパレット体Ｇのパレットパターンとして「ブロック積み」を選択することにより、パレットパターンデータ２６２からブロック積みの最上段の配列パターンＣが読み出されて各代表点Ｍの情報と照合される。
具体的に、制御部２７は、代表点Ｍの情報を配列パターンＣと照合して、代表点Ｍの過不足の有無と、その配列（平面視での二次元配列）の規則性の良否とを判定する。制御部２７は、代表点Ｍの数量と配列パターンＣの予定位置Ｂの数量とが一致した場合には代表点Ｍに過不足なしと判定し、これらが一致しない場合には代表点Ｍに過不足ありと判定する。また制御部２７は、全ての代表点Ｍが、対応する予定位置Ｂの範囲内に位置していた場合には代表点Ｍの配列の規則性が良好であると判定し、１つの代表点Ｍでも予定位置Ｂの範囲外に位置していた場合には代表点Ｍの配列の規則性が良好でないと判定する。
なお、オペレータがパレットパターンを選択する操作は、ステップＳ４の時点で行われてもよいし、予め行われていてもよい。また、オペレータによるパレットパターンの選択に代えて、全ての代表点Ｍの位置の情報から荷Ｈのパレットパターンを推定することとしてもよい。また、配列パターンＣにおける各予定位置Ｂの範囲はオペレータが任意に設定できるのが好ましい。また、良否判定の条件は任意に設定でき、例えば所定数量以内または内側の代表点Ｍであれば欠落等していても良好と判定する、等としてもよい。
そして、全ての代表点Ｍが所定の配列で配置されていない（すなわち、代表点Ｍの数量に過不足があるか、または代表点Ｍの配列の規則性が良好でない）と判定した場合（ステップＳ４；Ｎｏ）、制御部２７は、後述のステップＳ７へ処理を移行する。
ここでは、制御部２７は、はい付けパレット体Ｇの最上段の荷Ｈの配列情報である配列パターンＣを記憶部２６のパレットパターンデータ２６２から読み出し、各代表点Ｍの位置と照合する。配列パターンＣは、図７に示すように、代表点Ｍが配置されるはずの予定位置Ｂが、はい付けパレット体Ｇのパレットパターンに対応して配列された配列情報（画像情報を含む）である。本実施形態では、オペレータがはい付けパレット体Ｇのパレットパターンとして「ブロック積み」を選択することにより、パレットパターンデータ２６２からブロック積みの最上段の配列パターンＣが読み出されて各代表点Ｍの情報と照合される。
具体的に、制御部２７は、代表点Ｍの情報を配列パターンＣと照合して、代表点Ｍの過不足の有無と、その配列（平面視での二次元配列）の規則性の良否とを判定する。制御部２７は、代表点Ｍの数量と配列パターンＣの予定位置Ｂの数量とが一致した場合には代表点Ｍに過不足なしと判定し、これらが一致しない場合には代表点Ｍに過不足ありと判定する。また制御部２７は、全ての代表点Ｍが、対応する予定位置Ｂの範囲内に位置していた場合には代表点Ｍの配列の規則性が良好であると判定し、１つの代表点Ｍでも予定位置Ｂの範囲外に位置していた場合には代表点Ｍの配列の規則性が良好でないと判定する。
なお、オペレータがパレットパターンを選択する操作は、ステップＳ４の時点で行われてもよいし、予め行われていてもよい。また、オペレータによるパレットパターンの選択に代えて、全ての代表点Ｍの位置の情報から荷Ｈのパレットパターンを推定することとしてもよい。また、配列パターンＣにおける各予定位置Ｂの範囲はオペレータが任意に設定できるのが好ましい。また、良否判定の条件は任意に設定でき、例えば所定数量以内または内側の代表点Ｍであれば欠落等していても良好と判定する、等としてもよい。
そして、全ての代表点Ｍが所定の配列で配置されていない（すなわち、代表点Ｍの数量に過不足があるか、または代表点Ｍの配列の規則性が良好でない）と判定した場合（ステップＳ４；Ｎｏ）、制御部２７は、後述のステップＳ７へ処理を移行する。
【0026】
一方、ステップＳ４において、全ての代表点Ｍが所定の配列で配置されている（すなわち、代表点Ｍの数量に過不足がなく、かつ、代表点Ｍの配列の規則性が良好である）と判定した場合（ステップＳ４；Ｙｅｓ）、制御部２７は、全ての代表点Ｍが判定用領域Ｒ内に収まっているか否かを判定する（ステップＳ５）。
このステップでは、ステップＳ４において代表点Ｍの二次元配列が良好であった場合に、その三次元位置（高さ位置）が良好であるか否かを判定する。具体的には、撮影部２４による画像情報と併せて、その距離情報（奥行き情報）が得られる場合に、はい付けパレット体Ｇの最上段の荷Ｈの高さの良否を判定する。撮影部２４による二次元の画像情報しか得られない場合等には、このステップを省略してもよい。
具体的に、撮像画像の距離情報を有する場合には、図８に示すように、各代表点Ｍの三次元座標を取得し、全ての代表点Ｍ（図では３つのみ例示）が高さ方向の判定用領域Ｒ内に収まっているか否かを判定する。判定用領域Ｒは、はい付けパレット体Ｇの最上段の各荷Ｈの上面高さが適正か否かを判定するためのものであり、その位置及び範囲が予め設定されている。ただし、判定用領域Ｒは、オペレータが任意に設定できてもよいし、各荷Ｈについて個別に設定できてもよいし、設定できるタイミングがいつであってもよい（例えば当該ステップＳ５の直前でもよい）。
なお、距離情報を得る構成は特に限定されず、例えば、撮影部２４とは別に（又は一体的に）ＴＯＦ（Time Of Flight）センサ等を設けてもよいし、上述したように撮影部２４として三次元の点群データを含む画像が得られるＲＧＢ－Ｄカメラ（デプスカメラ）やステレオカメラ等を用いてもよい。もしくは、撮影部２４の内部パラメータから、画像上のスケール（とアスペクト比）に基づいて距離を求めてもよい。
このステップでは、ステップＳ４において代表点Ｍの二次元配列が良好であった場合に、その三次元位置（高さ位置）が良好であるか否かを判定する。具体的には、撮影部２４による画像情報と併せて、その距離情報（奥行き情報）が得られる場合に、はい付けパレット体Ｇの最上段の荷Ｈの高さの良否を判定する。撮影部２４による二次元の画像情報しか得られない場合等には、このステップを省略してもよい。
具体的に、撮像画像の距離情報を有する場合には、図８に示すように、各代表点Ｍの三次元座標を取得し、全ての代表点Ｍ（図では３つのみ例示）が高さ方向の判定用領域Ｒ内に収まっているか否かを判定する。判定用領域Ｒは、はい付けパレット体Ｇの最上段の各荷Ｈの上面高さが適正か否かを判定するためのものであり、その位置及び範囲が予め設定されている。ただし、判定用領域Ｒは、オペレータが任意に設定できてもよいし、各荷Ｈについて個別に設定できてもよいし、設定できるタイミングがいつであってもよい（例えば当該ステップＳ５の直前でもよい）。
なお、距離情報を得る構成は特に限定されず、例えば、撮影部２４とは別に（又は一体的に）ＴＯＦ（Time Of Flight）センサ等を設けてもよいし、上述したように撮影部２４として三次元の点群データを含む画像が得られるＲＧＢ－Ｄカメラ（デプスカメラ）やステレオカメラ等を用いてもよい。もしくは、撮影部２４の内部パラメータから、画像上のスケール（とアスペクト比）に基づいて距離を求めてもよい。
【0027】
ステップＳ５において全ての代表点Ｍが判定用領域Ｒ内に収まっていると判定した場合（ステップＳ５；Ｙｅｓ）、制御部２７は、はい付けパレット体Ｇ上の荷Ｈが適正にはい付けされていると判定し、フォークリフト１に荷役（はい付け）作業の続行を許可する（ステップＳ６）。
ここでは、制御部２７は、オペレータの操作に基づいて、フォーク１２で持ち上げたはい付けパレット体Ｇを、床置きされたはい付けパレット体Ｇの上にそのまま載置させる。つまり、制御部２７は、オペレータの操作に反してフォークリフト１の動作を制限することをしない。
このとき、制御部２７は、床置きされたはい付けパレット体Ｇが適正にはい付けされていることをオペレータに報知してもよい。この報知態様は特に限定されず、例えば表示部２３に「はい付けＯＫ」と文字表示してもよいし、文字以外の画像等を表示させてもよいし、音声出力やランプ点灯等を行ってもよい。
ここでは、制御部２７は、オペレータの操作に基づいて、フォーク１２で持ち上げたはい付けパレット体Ｇを、床置きされたはい付けパレット体Ｇの上にそのまま載置させる。つまり、制御部２７は、オペレータの操作に反してフォークリフト１の動作を制限することをしない。
このとき、制御部２７は、床置きされたはい付けパレット体Ｇが適正にはい付けされていることをオペレータに報知してもよい。この報知態様は特に限定されず、例えば表示部２３に「はい付けＯＫ」と文字表示してもよいし、文字以外の画像等を表示させてもよいし、音声出力やランプ点灯等を行ってもよい。
【0028】
一方、ステップＳ５において、少なくとも１つの代表点Ｍが判定用領域Ｒ内に収まっていないと判定した場合（ステップＳ５；Ｎｏ）、もしくは、ステップＳ４において代表点Ｍが所定の配列で配置されていないと判定した場合（ステップＳ４；Ｎｏ）、制御部２７は、はい付けパレット体Ｇ上の荷Ｈが適正にはい付けされていないと判定し、はい付けパレット体Ｇのはい付け状態の不良をオペレータに報知する（ステップＳ７）。これにより、土台となるはい付けパレット体Ｇの安定性が十分でない場合に、はい付けを続行しないようオペレータに警告できる。
具体的に、制御部２７は、例えば表示部２３に「はい付けＮＧ」と文字表示する等して、床置きされたはい付けパレット体Ｇが適正にはい付けされていないことをオペレータに報知する。ただし、この報知態様は特に限定されず、文字以外の画像等を表示させてもよいし、音声出力やランプ点灯等を行ってもよい。
またここでは、制御部２７は、現状の配列パターンを表示部２３に表示させてもよい。この表示を見ることにより、オペレータは、いずれの荷Ｈの配置が適正でないかを認識することができる。
さらにここでは、制御部２７は、駆動部２１を制御し、フォークリフト１の動作を一時停止又は速度を低下させる運転制御を行って、荷役作業の続行を禁止又は制限してもよい。これにより、安定性の不十分なはい付けパレット体Ｇ上に別のはい付けパレット体Ｇが載置される事態を回避でき、ひいては荷崩れの発生を抑制できる。
具体的に、制御部２７は、例えば表示部２３に「はい付けＮＧ」と文字表示する等して、床置きされたはい付けパレット体Ｇが適正にはい付けされていないことをオペレータに報知する。ただし、この報知態様は特に限定されず、文字以外の画像等を表示させてもよいし、音声出力やランプ点灯等を行ってもよい。
またここでは、制御部２７は、現状の配列パターンを表示部２３に表示させてもよい。この表示を見ることにより、オペレータは、いずれの荷Ｈの配置が適正でないかを認識することができる。
さらにここでは、制御部２７は、駆動部２１を制御し、フォークリフト１の動作を一時停止又は速度を低下させる運転制御を行って、荷役作業の続行を禁止又は制限してもよい。これにより、安定性の不十分なはい付けパレット体Ｇ上に別のはい付けパレット体Ｇが載置される事態を回避でき、ひいては荷崩れの発生を抑制できる。
【0029】
次に、制御部２７は、荷役支援処理を終了させるか否かを判定し（ステップＳ８）、終了させないと判定した場合には（ステップＳ８；Ｎｏ）、上述のステップＳ１へ処理を移行する。
そして、例えばはい付け作業の終了等により、荷役支援処理を終了させると判定した場合には（ステップＳ８；Ｙｅｓ）、制御部２７は、荷役支援処理を終了させる。
そして、例えばはい付け作業の終了等により、荷役支援処理を終了させると判定した場合には（ステップＳ８；Ｙｅｓ）、制御部２７は、荷役支援処理を終了させる。
【0030】
なお、本実施形態では、複数の荷Ｈが所定の配列で配置されているか否かの判定結果に基づいて、荷役作業の支援が行われればよい。ここでの「荷役作業の支援」とは、上述したように、判定結果（複数の荷Ｈが所定の配列で配置されている又はされていない）の報知や、荷役作業の続行の許可又は制限を含む。
【0031】
［本実施形態の技術的効果］
以上のように、本実施形態によれば、パレットＰ上に載置された複数の荷Ｈ（はい付けパレット体Ｇ）の上面の画像に基づいて、複数の荷Ｈが所定の配列で配置されているか否かが判定される。そして、この判定結果に基づいて荷役作業の支援が行われる。
これにより、土台となるはい付けパレット体Ｇの安定性を評価して荷崩れやその予兆を検出でき、荷役作業（はい作業）時の事故発生を抑制できる。
したがって、はい付けパレット体Ｇが適正にはい付けされているか否か、すなわち、はい付け状態の良否を好適に判定することができる。ひいては、当該判定結果に基づいて好適にはい作業の支援を行うことができる。
以上のように、本実施形態によれば、パレットＰ上に載置された複数の荷Ｈ（はい付けパレット体Ｇ）の上面の画像に基づいて、複数の荷Ｈが所定の配列で配置されているか否かが判定される。そして、この判定結果に基づいて荷役作業の支援が行われる。
これにより、土台となるはい付けパレット体Ｇの安定性を評価して荷崩れやその予兆を検出でき、荷役作業（はい作業）時の事故発生を抑制できる。
したがって、はい付けパレット体Ｇが適正にはい付けされているか否か、すなわち、はい付け状態の良否を好適に判定することができる。ひいては、当該判定結果に基づいて好適にはい作業の支援を行うことができる。
【0032】
また、本実施形態によれば、はい付けパレット体Ｇの最上段の複数の荷Ｈが所定の配列で配置されていないと判定された場合に、当該判定結果が報知される（例えば表示部２３に表示される）。
これにより、荷役の作業者（例えばフォークリフト１の運転者）は、はい付け状態の良否、すなわち荷崩れやその予兆等を、直ちに認識することができる。したがって、非熟練者の作業者等であっても、そのまま荷Ｈを重ねて良いか否かを容易に判断できる。ひいては、当該判定結果に基づいて好適にはい作業の支援を行うことができる。
これにより、荷役の作業者（例えばフォークリフト１の運転者）は、はい付け状態の良否、すなわち荷崩れやその予兆等を、直ちに認識することができる。したがって、非熟練者の作業者等であっても、そのまま荷Ｈを重ねて良いか否かを容易に判断できる。ひいては、当該判定結果に基づいて好適にはい作業の支援を行うことができる。
【0033】
また、本実施形態によれば、機械学習された学習モデル２６１を用いて、画像から上面領域Ｓが抽出される。
このように学習モデル２６１を用いることで、例えばはい付けパレット体Ｇの背景等に起因した上面領域Ｓの誤認識を抑制でき、少ない負荷でより正確な演算を実現できる。すなわち、カメラ画像上での荷の輪郭（エッジ）抽出や画像差分等に基づく手法では、複雑な背景下や環境変動が起こった場合にエッジや差分を正確に検出できないおそれがあるところ、学習モデル２６１を用いることで、より正確に上面領域Ｓを抽出できる。
また、荷Ｈとして使用可能性のあるものを予め学習モデル２６１に取り込んでおけば、荷Ｈが複数種類の場合等にも好適に対応できる。
例えば図９に示すように、荷Ｈが箱型以外のもの（袋状、棒状等）であっても、予め学習させておくことにより、好適にその上面（又は上面に対応する部分）を上面領域Ｓとして抽出できる。なお、図９では、荷Ｈの上面の外形線を上面領域Ｓとして抽出した場合を例示している。
あるいは、例えば図１０（ａ）に示すように、上面が破損した荷Ｈａや、他の荷Ｈとは種類の異なる荷Ｈｂが混在していた場合であっても、予め学習させておくことにより、好適にこれらを検出できる。検出結果は、例えば図１０（ｂ）に示すように、荷Ｈの代表点Ｍとは異なる代表点Ｍａ、Ｍｂを表示させる等してオペレータに報知できる。破損した荷Ｈａや種類違いの荷Ｈｂは、例えば上面の大きさや形状、色、模様など、画像から取得可能な情報に基づいて識別できればよい。もしくは、正しい荷Ｈの形状等との一致率が所定値以下のものを、破損品又は別種のものとして検出してもよい。なお、図１０（ａ）では、荷Ｈａ、Ｈｂの上面の外形線を上面領域Ｓａ、Ｓｂとして抽出し、その重心位置を代表点Ｍａ、Ｍｂとして設定した場合を例示している。
このように学習モデル２６１を用いることで、例えばはい付けパレット体Ｇの背景等に起因した上面領域Ｓの誤認識を抑制でき、少ない負荷でより正確な演算を実現できる。すなわち、カメラ画像上での荷の輪郭（エッジ）抽出や画像差分等に基づく手法では、複雑な背景下や環境変動が起こった場合にエッジや差分を正確に検出できないおそれがあるところ、学習モデル２６１を用いることで、より正確に上面領域Ｓを抽出できる。
また、荷Ｈとして使用可能性のあるものを予め学習モデル２６１に取り込んでおけば、荷Ｈが複数種類の場合等にも好適に対応できる。
例えば図９に示すように、荷Ｈが箱型以外のもの（袋状、棒状等）であっても、予め学習させておくことにより、好適にその上面（又は上面に対応する部分）を上面領域Ｓとして抽出できる。なお、図９では、荷Ｈの上面の外形線を上面領域Ｓとして抽出した場合を例示している。
あるいは、例えば図１０（ａ）に示すように、上面が破損した荷Ｈａや、他の荷Ｈとは種類の異なる荷Ｈｂが混在していた場合であっても、予め学習させておくことにより、好適にこれらを検出できる。検出結果は、例えば図１０（ｂ）に示すように、荷Ｈの代表点Ｍとは異なる代表点Ｍａ、Ｍｂを表示させる等してオペレータに報知できる。破損した荷Ｈａや種類違いの荷Ｈｂは、例えば上面の大きさや形状、色、模様など、画像から取得可能な情報に基づいて識別できればよい。もしくは、正しい荷Ｈの形状等との一致率が所定値以下のものを、破損品又は別種のものとして検出してもよい。なお、図１０（ａ）では、荷Ｈａ、Ｈｂの上面の外形線を上面領域Ｓａ、Ｓｂとして抽出し、その重心位置を代表点Ｍａ、Ｍｂとして設定した場合を例示している。
【0034】
また、本実施形態によれば、距離情報を含む画像を取得した場合に、この画像に基づいて、複数の荷Ｈが所定の高さ範囲内に配置されているか否かが判定される。
これにより、はい付けパレット体Ｇ上の複数の荷Ｈの配列を、平面視での二次元配列だけでなく、三次元的に評価することができる。したがって、より好適にはい付け状態の良否を判定することができる。
これにより、はい付けパレット体Ｇ上の複数の荷Ｈの配列を、平面視での二次元配列だけでなく、三次元的に評価することができる。したがって、より好適にはい付け状態の良否を判定することができる。
【0035】
また、本実施形態によれば、撮影部２４がフォーク１２と一体的に昇降可能に配置され、はい付けパレット体Ｇを保持したフォーク１２とともに上昇された状態で、はい付けパレット体Ｇ上の複数の荷Ｈの上面の画像が取得される。
そのため、床置きされたはい付けパレット体Ｇ上に別のはい付けパレット体Ｇを載せる一連の作業の中で、床上のはい付けパレット体Ｇの荷Ｈの画像を取得して、そのはい付け状態の良否を判定できる。つまり、作業効率を殆ど低下させることなく、はい付け状態を好適に良否判定できる。
そのため、床置きされたはい付けパレット体Ｇ上に別のはい付けパレット体Ｇを載せる一連の作業の中で、床上のはい付けパレット体Ｇの荷Ｈの画像を取得して、そのはい付け状態の良否を判定できる。つまり、作業効率を殆ど低下させることなく、はい付け状態を好適に良否判定できる。
【0036】
＜その他＞
以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。
例えば、荷役支援処理では、パレットＰに対する荷Ｈの相対位置を評価してもよい。この評価は、例えば、ステップＳ１で取得した画像から、パレットＰの前面を含む領域（外形線）をパレット領域Ｌ（図６参照）として抽出してパレットＰの位置情報を取得し、パレットＰに対して最上段の各荷Ｈが所定の水平位置範囲内にあるか否かを判定すればよい。パレット領域Ｌの抽出は、学習モデルに依ってもよいし、他の画像処理に依ってもよい。
以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。
例えば、荷役支援処理では、パレットＰに対する荷Ｈの相対位置を評価してもよい。この評価は、例えば、ステップＳ１で取得した画像から、パレットＰの前面を含む領域（外形線）をパレット領域Ｌ（図６参照）として抽出してパレットＰの位置情報を取得し、パレットＰに対して最上段の各荷Ｈが所定の水平位置範囲内にあるか否かを判定すればよい。パレット領域Ｌの抽出は、学習モデルに依ってもよいし、他の画像処理に依ってもよい。
【0037】
また、上記実施形態では、荷役支援処理のステップＳ２において、学習モデル２６１により画像から上面領域Ｓを抽出することとしたが、エッジ抽出や画像差分等に基づく画像処理によって上面領域Ｓを抽出してもよい。
【0038】
また、上記実施形態では、パレットＰに荷Ｈがはい付けされたはい付けパレット体Ｇを積み上げる場合について説明した。
しかし、荷役支援処理は、パレットＰ上に複数の荷Ｈをはい付けする（積み上げる）場合や、はい付けパレット体Ｇを積み降ろす場合にも適用できる。前者の場合には、各段ごとに画像を取得してはい付け状態（荷積み状態）の良否を確認しつつ、パレットＰ上に荷Ｈを積み上げることができる。後者の場合には、フォーク１２で持ち上げるはい付けパレット体Ｇに荷崩れ等のおそれが少ないことを確認しつつ、はい付けパレット体Ｇを積み降ろすことができる。
しかし、荷役支援処理は、パレットＰ上に複数の荷Ｈをはい付けする（積み上げる）場合や、はい付けパレット体Ｇを積み降ろす場合にも適用できる。前者の場合には、各段ごとに画像を取得してはい付け状態（荷積み状態）の良否を確認しつつ、パレットＰ上に荷Ｈを積み上げることができる。後者の場合には、フォーク１２で持ち上げるはい付けパレット体Ｇに荷崩れ等のおそれが少ないことを確認しつつ、はい付けパレット体Ｇを積み降ろすことができる。
【0039】
また、上記実施形態では、本発明に係る荷役支援装置がフォークリフト１に搭載され、荷役支援処理の全てがフォークリフト１上で実行される場合について説明した。
しかし、荷役支援処理の少なくとも一部が外部設備（例えば荷役作業場の管理室）で実行されることとしてもよい。具体的には、例えば図１１に示すように、相互の通信部２５、５５により通信可能に構成されたフォークリフト１と管理装置５とを含む荷役支援システム１００を構成する。そして、フォークリフト１が撮影した画像を管理装置５に送信して、管理装置５の制御部５７が算出した結果をフォークリフト１に送信すればよい。この場合、管理装置５は、荷Ｈの上面に関する画像情報その他の情報等をデータベース化して管理してもよい。管理装置５は、荷役作業場の制御装置（コンピュータ）であってもよいし、モバイル端末等であってもよい。処理に必要なデータ（学習モデル２６１等）は管理装置５の記憶部５６に格納されていてもよい。ただし、この場合におけるフォークリフト１と管理装置５での処理の分担程度は特に限定されない。
しかし、荷役支援処理の少なくとも一部が外部設備（例えば荷役作業場の管理室）で実行されることとしてもよい。具体的には、例えば図１１に示すように、相互の通信部２５、５５により通信可能に構成されたフォークリフト１と管理装置５とを含む荷役支援システム１００を構成する。そして、フォークリフト１が撮影した画像を管理装置５に送信して、管理装置５の制御部５７が算出した結果をフォークリフト１に送信すればよい。この場合、管理装置５は、荷Ｈの上面に関する画像情報その他の情報等をデータベース化して管理してもよい。管理装置５は、荷役作業場の制御装置（コンピュータ）であってもよいし、モバイル端末等であってもよい。処理に必要なデータ（学習モデル２６１等）は管理装置５の記憶部５６に格納されていてもよい。ただし、この場合におけるフォークリフト１と管理装置５での処理の分担程度は特に限定されない。
【0040】
また、上記実施形態では、フォークリフト１に搭載した撮影部２４により荷Ｈの画像を取得することとしたが、撮影部２４は荷役作業場に設置（固定）されていてもよい。この場合、撮影部２４が取得した画像は、荷役支援処理を実行するフォークリフト１又は管理装置５に送信されればよい。また、はい付け状態の良否を報知する報知部（上記実施形態の表示部２３）を荷役作業場に設置（固定）してもよい。
【0041】
また、上記実施形態では、荷役車両としてフォークリフトを一例にとって説明したが、本発明に係る荷役車両は、荷の搬送、荷積み、荷下ろしを行う様々な重機であってもよい。また、荷役車両は、搭乗した（又は遠隔の）運転者により手動運転されてもよいし、自動運転されてもよい。自動運転の場合、はい付け状態の良否の報知は遠隔の管理装置に対してなされるのがよい。遠隔操作の場合、オペレータは作業現場の情報を入手しにくいために作業に関する判断が難しいところ、荷が所定の配列で配置されているか否かさえ判定できれば作業続行等の判断をしやすいという点において、本発明を好適に適用できる。
また、荷が積まれるパレットは、フォークリフト用のパレットに限られず、荷を搬送するための荷役台であり、重機によって搬送されるものであれば、どのような構成であってもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
また、荷が積まれるパレットは、フォークリフト用のパレットに限られず、荷を搬送するための荷役台であり、重機によって搬送されるものであれば、どのような構成であってもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0042】
１ フォークリフト（荷役車両）
５ 管理装置
１２ フォーク（保持部）
１３ 昇降体
２３ 表示部
２４ 撮影部（画像取得部）
２６ 記憶部
２７ 制御部（判定部、支援部、第２判定部）
１００ 荷役支援システム
２６１ 学習モデル
２６２ パレットパターンデータ
２６３ 荷役支援プログラム
Ｂ 予定位置
Ｃ 配列パターン
Ｇ はい付けパレット体
Ｈ 荷
Ｌ パレット領域
Ｍ 代表点
Ｐ パレット
Ｒ 判定用領域
Ｓ 上面領域
５ 管理装置
１２ フォーク（保持部）
１３ 昇降体
２３ 表示部
２４ 撮影部（画像取得部）
２６ 記憶部
２７ 制御部（判定部、支援部、第２判定部）
１００ 荷役支援システム
２６１ 学習モデル
２６２ パレットパターンデータ
２６３ 荷役支援プログラム
Ｂ 予定位置
Ｃ 配列パターン
Ｇ はい付けパレット体
Ｈ 荷
Ｌ パレット領域
Ｍ 代表点
Ｐ パレット
Ｒ 判定用領域
Ｓ 上面領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】