ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013688
(43)【公開日】2024-02-01
(54)【発明の名称】荷役支援装置、荷役支援システム及び荷役装置
(51)【国際特許分類】
G06T 7/66 20170101AFI20240125BHJP
G06T 7/00 20170101ALI20240125BHJP
G06V 10/422 20220101ALI20240125BHJP
G06V 10/82 20220101ALI20240125BHJP
B66F 9/24 20060101ALI20240125BHJP
【ＦＩ】
G06T7/66
G06T7/00 350C
G06V10/422
G06V10/82
B66F9/24 L
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022115973
(22)【出願日】2022-07-21
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】佐藤 美徳
【テーマコード（参考）】
3F333
5L096
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333AE02
3F333BD02
3F333DB01
3F333FD13
3F333FD14
3F333FD15
5L096AA09
5L096CA02
5L096CA18
5L096FA06
5L096FA60
5L096FA69
5L096HA07
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】好適に荷役の支援を行う荷役支援装置、荷役支援システム及び荷役装置を提供する。
【解決手段】荷役支援システム２００において、荷役支援装置１００は、パレットＰ及び当該パレットＰ上の荷Ｈを含む画像を取得する画像取得部１１０と、パレットＰ及び荷Ｈの３Ｄ－ＣＡＤデータ１４４を予め記憶する記憶部１４０と、制御部１２０と、を備えている。制御部１２０は、画像取得部１１０によって取得された画像と、記憶部１４０に記憶された３Ｄ－ＣＡＤデータ１４４とを照合し、パレットＰに対する荷Ｈの重心位置を求める。
【選択図】図１
【解決手段】荷役支援システム２００において、荷役支援装置１００は、パレットＰ及び当該パレットＰ上の荷Ｈを含む画像を取得する画像取得部１１０と、パレットＰ及び荷Ｈの３Ｄ－ＣＡＤデータ１４４を予め記憶する記憶部１４０と、制御部１２０と、を備えている。制御部１２０は、画像取得部１１０によって取得された画像と、記憶部１４０に記憶された３Ｄ－ＣＡＤデータ１４４とを照合し、パレットＰに対する荷Ｈの重心位置を求める。
【選択図】図１
【特許請求の範囲】
【請求項1】
パレット及び当該パレット上の荷を含む画像を取得する画像取得部と、
前記パレット及び前記荷の形状データを予め記憶する記憶部と、
制御部と、
を備え、
前記制御部は、前記画像取得部によって取得された画像と、前記記憶部に記憶された前記形状データとを照合し、前記パレットに対する前記荷の重心位置を求める、
荷役支援装置。
前記パレット及び前記荷の形状データを予め記憶する記憶部と、
制御部と、
を備え、
前記制御部は、前記画像取得部によって取得された画像と、前記記憶部に記憶された前記形状データとを照合し、前記パレットに対する前記荷の重心位置を求める、
荷役支援装置。
【請求項2】
前記制御部は、
荷の画像に当該荷の外形線が付与された教師データにより機械学習された学習モデルを用いて、前記画像取得部によって取得された画像から前記パレット及び前記荷の外形線を抽出し、
前記外形線と前記形状データとを照合する、
請求項１記載の荷役支援装置。
荷の画像に当該荷の外形線が付与された教師データにより機械学習された学習モデルを用いて、前記画像取得部によって取得された画像から前記パレット及び前記荷の外形線を抽出し、
前記外形線と前記形状データとを照合する、
請求項１記載の荷役支援装置。
【請求項3】
前記制御部は、前記重心位置に基づいて、荷積み状態の良否を判定する、
請求項１記載の荷役支援装置。
請求項１記載の荷役支援装置。
【請求項4】
重心位置の判定用領域を設定可能な設定部を備え、
前記制御部は、計算された前記重心位置と前記判定用領域とに基づいて、荷積み状態の良否を判定する、
請求項３に記載の荷役支援装置。
前記制御部は、計算された前記重心位置と前記判定用領域とに基づいて、荷積み状態の良否を判定する、
請求項３に記載の荷役支援装置。
【請求項5】
前記制御部は、
前記パレット上の複数の荷の個々の重心位置を求め、
前記複数の荷の個々の重心位置に基づいて、前記複数の荷の全体の重心位置を求め、
前記全体の重心位置と前記判定用領域とに基づいて、荷積み状態の良否を判定する、
請求項４に記載の荷役支援装置。
前記パレット上の複数の荷の個々の重心位置を求め、
前記複数の荷の個々の重心位置に基づいて、前記複数の荷の全体の重心位置を求め、
前記全体の重心位置と前記判定用領域とに基づいて、荷積み状態の良否を判定する、
請求項４に記載の荷役支援装置。
【請求項6】
前記形状データは、三次元ＣＡＤデータである、
請求項１記載の荷役支援装置。
請求項１記載の荷役支援装置。
【請求項7】
前記画像取得部は、距離センサを含み、距離の情報を含んだ画像を取得する、
請求項１記載の荷役支援装置。
請求項１記載の荷役支援装置。
【請求項8】
請求項１から請求項７のいずれか一項に記載の荷役支援装置と、
前記荷役支援装置の演算結果に基づいて荷役の支援を行う支援装置と、
を備える荷役支援システム。
前記荷役支援装置の演算結果に基づいて荷役の支援を行う支援装置と、
を備える荷役支援システム。
【請求項9】
前記支援装置は、計算された前記荷の重心位置を表示する表示部を有する、
請求項８に記載の荷役支援システム。
請求項８に記載の荷役支援システム。
【請求項10】
請求項８に記載の荷役支援システムにおける前記画像取得部、前記制御部、前記記憶部及び前記支援装置の少なくとも一部を搭載するか、前記画像取得部、前記制御部、前記記憶部及び前記支援装置の少なくとも一部と通信を行って、前記荷役支援装置の演算結果に基づく荷役を行う荷役装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷役支援装置、荷役支援システム及び荷役装置に関する。
【背景技術】
【0002】
特許文献１には、フォークリフトが移載する荷の映像を取得し、当該映像の時間ごとの差分量が閾値を超えた場合に荷崩れと判定するシステムが示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１４７６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の荷崩れの判定システムでは、荷が安定的に移載されていても、荷の位置がずれただけで荷崩れと判定されるおそれ、並びに、荷の安定性が低くなっていても荷の位置ズレが生じていない場合に荷崩れの判定が得られないおそれがある。また、荷の映像の時間ごとの差分量は、荷の背景に変化が生じた場合に、正確に検出することが難しいという課題がある。
【0005】
本発明は、このような事情に鑑みてなされたもので、好適に荷役の支援を行うことを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る荷役支援装置は、
パレット及び当該パレット上の荷を含む画像を取得する画像取得部と、
前記パレット及び前記荷の形状データを予め記憶する記憶部と、
制御部と、
を備え、
前記制御部は、前記画像取得部によって取得された画像と、前記記憶部に記憶された前記形状データとを照合し、前記パレットに対する前記荷の重心位置を求める。
パレット及び当該パレット上の荷を含む画像を取得する画像取得部と、
前記パレット及び前記荷の形状データを予め記憶する記憶部と、
制御部と、
を備え、
前記制御部は、前記画像取得部によって取得された画像と、前記記憶部に記憶された前記形状データとを照合し、前記パレットに対する前記荷の重心位置を求める。
【発明の効果】
【0007】
本発明によれば、好適に荷役の支援を行うことができる。
【図面の簡単な説明】
【0008】
【図1】本発明に係る荷役支援装置及び荷役支援システムを示すブロック図である。
【図2】判定処理の手順を示すフローチャートである。
【図3】判定処理を説明するための図である。
【図4】判定処理を説明するための図である。
【図5】判定処理を説明するための図である。
【図6】荷役支援処理の手順を示すフローチャートである。
【図7】荷役支援処理における表示部の画像表示例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の各実施形態について図面を参照して詳細に説明する。
【0010】
＜荷役支援装置＞
図１は、本発明に係る荷役支援装置及び荷役支援システムを示すブロック図である。
図１は、本発明に係る荷役支援装置及び荷役支援システムを示すブロック図である。
【0011】
本実施形態の荷役支援装置１００は、荷役装置としての荷役車両３０が保持及び搬送するパレットＰ上の荷Ｈの荷積み状態を良否判定する装置である。
荷役車両３０は、パレットＰを介して荷役（荷の搬送、荷積み、荷下ろし等）を行うフォークリフトなどの車両である。パレットＰは、荷Ｈが積まれる台であり、荷役車両３０が保持可能な構造ｅ（例えばフォークリフトのフォークｆを差し込み可能な横穴）を有する。パレットＰには、複数の荷Ｈを積むことができる。
荷役車両３０は、パレットＰを介して荷役（荷の搬送、荷積み、荷下ろし等）を行うフォークリフトなどの車両である。パレットＰは、荷Ｈが積まれる台であり、荷役車両３０が保持可能な構造ｅ（例えばフォークリフトのフォークｆを差し込み可能な横穴）を有する。パレットＰには、複数の荷Ｈを積むことができる。
【0012】
荷積み状態の良否とは、パレットＰ上に荷Ｈが安定して積まれているか否か、すなわち、荷役車両３０がパレットＰを介して荷Ｈを搬送する際に、荷崩れ等が生じるおそれが少ないか多いかを表わす指標である。
【0013】
荷積み状態の良否判定の対象となる荷Ｈは、形状から重心位置Ｍが求まる荷Ｈである。荷Ｈの形状は、１種類でなく、複数種類であってもよい。対象となる荷Ｈは、荷Ｈの外形を表わす箱の中に所定の条件で物が入っているものとして、荷Ｈの形状と重心位置Ｍとが対応づけられていてもよい。あるいは、予め、荷Ｈの形状と重心位置Ｍとの対応関係を示すデータ（例えば、後述の３Ｄ－ＣＡＤデータ１４５）が与えられており、当該データに基づき、荷Ｈの形状と重心位置Ｍとが対応づけられていてもよい。
【0014】
具体的に、荷役支援装置１００は、画像取得部１１０と、制御部１２０と、記憶部１４０とを備える。
【0015】
画像取得部１１０は、パレットＰ及び当該パレットＰ上の荷Ｈを含む画像を取得し、取得した画像データを有線又は無線を介して制御部１２０へ送信する。画像取得部１１０は、レンズと撮像素子を有するデジタルカメラであってもよく、その場合、画像はＲＧＢ映像となる。あるいは、画像取得部１１０は、光や音波を走査して反射波を検出することで二次元形状又は三次元形状を取得するスキャナ装置であってもよい。その場合、画像は、スキャナ画像となる。画像取得部１１０は、例えばＲＧＢ－Ｄセンサ等の距離センサを含み、取得された画像には距離の情報が含まれてもよい。距離センサは、LiDAR（Light Detection And Ranging）、複眼カメラなど、画像中の複数の点の距離が測定できればどのような装置であってもよい。
【0016】
画像取得部１１０は、荷役車両３０に搭載される第１画像取得部１１０ａであってもよいし、荷役車両３０とは別の箇所に設置される第２画像取得部１１０ｂであってもよいし、これらを組み合わせた構成であってもよい。
画像取得部１１０は、一方向からパレットＰ上の荷の画像を取得する構成であってもよいし、複数方向からパレットＰ上の荷の画像を取得する構成であってもよい。
画像取得部１１０は、一方向からパレットＰ上の荷の画像を取得する構成であってもよいし、複数方向からパレットＰ上の荷の画像を取得する構成であってもよい。
【0017】
制御部１２０は、プログラムを実行するＣＰＵ（Central Processing Unit）等を備え、記憶部１４０等を含んでコンピュータを構成する。制御部１２０は、画像取得部１１０が取得した画像に基づいて荷Ｈの重心位置Ｍ（図４参照）を算出し、算出された荷Ｈの重心位置Ｍに基づいて荷積み状態の良否を判定する。
【0018】
記憶部１４０は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等を備えて構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部１２０の作業領域としても機能する。記憶部１４０には、判定処理のブログラム１４２及び制御データ１４３が予め記憶されている。制御データ１４３には、後述する判定用領域Ｒを示すデータが含まれる。
【0019】
また、記憶部１４０には、学習モデル１４４と、複数の三次元ＣＡＤ（３Ｄ－ＣＡＤ）データ１４５が予め記憶されている。
学習モデル１４４は、画像からパレットＰと荷Ｈの領域（外形線）を抽出するものである。学習モデル１４４は、複数のサンプル画像に、このサンプル画像に含まれるパレットＰと個々の荷Ｈとの外形線が付与された複数の教師データにより機械学習されて、予め作成されている。学習モデル１４４は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
学習モデル１４４は、画像からパレットＰと荷Ｈの領域（外形線）を抽出するものである。学習モデル１４４は、複数のサンプル画像に、このサンプル画像に含まれるパレットＰと個々の荷Ｈとの外形線が付与された複数の教師データにより機械学習されて、予め作成されている。学習モデル１４４は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
【0020】
３Ｄ－ＣＡＤデータ１４５は、パレットＰ及び荷Ｈの三次元形状情報（設計情報）である。本実施形態では、作業現場において使用可能性のある全種類のパレットＰと全種類の荷Ｈとに関する複数の３Ｄ－ＣＡＤデータ１４５が、記憶部１４０に格納されている。ただし、３Ｄ－ＣＡＤデータ１４５は、各々すくなくとも１つのパレットＰ及び荷Ｈの三次元形状データを含んでいればよく、当該データの取り扱い上の形式的な数量は特に限定されない（１つのデータに全ての荷Ｈの形状データが含まれていてもよい）。また、３Ｄ－ＣＡＤデータ１４５は、重心位置の算出に必要な密度等の情報を含むものとする。
なお、３Ｄ－ＣＡＤデータ１４５に代えて、荷Ｈの形状と重心位置Ｍとが対応付けられたデータ（荷Ｈの画像とマッチングしてその重心位置Ｍが求められるデータ）が格納されることとしてもよい。このようなデータとしては、例えば、荷Ｈの二次元画像とその重心位置Ｍとを対応付けた情報でもよいし、事前に距離センサで測った荷Ｈの三次元形状（点群）データなどでもよい。
なお、３Ｄ－ＣＡＤデータ１４５に代えて、荷Ｈの形状と重心位置Ｍとが対応付けられたデータ（荷Ｈの画像とマッチングしてその重心位置Ｍが求められるデータ）が格納されることとしてもよい。このようなデータとしては、例えば、荷Ｈの二次元画像とその重心位置Ｍとを対応付けた情報でもよいし、事前に距離センサで測った荷Ｈの三次元形状（点群）データなどでもよい。
【0021】
【0022】
制御部１２０は、所定の開始条件に基づいて判定処理を実行する。開始条件は、例えば、荷役車両３０が荷役を開始する直前、荷役の途中（例えば、荷役場に設置された第２画像取得部１１０ｂの前を通過する際）など、荷積み状態の確認をすべきタイミングが適宜設定されればよい。
【0023】
図２に示すように、判定処理が開始されると、制御部１２０は、画像取得部１１０により取得された画像を受け取る（ステップＳ１）。画像取得部１１０は、パレットＰが存在する（であろう）空間を撮影し、取得した画像を制御部１２０に送信する。撮影タイミングは、ユーザ操作に基づくものでも定期的なものでもよいし、制御部１２０の制御によるものでもそうでもなくてもよい。
本実施形態では、例えば図３（ａ）に示すように、形状の異なる２種類の荷Ｈ（Ｈ１、Ｈ２）がパレットＰ上に載置された画像が取得される。
本実施形態では、例えば図３（ａ）に示すように、形状の異なる２種類の荷Ｈ（Ｈ１、Ｈ２）がパレットＰ上に載置された画像が取得される。
【0024】
次に、制御部１２０は、ステップＳ１で取得した画像に基づいて、当該画像からパレットＰ及び各荷Ｈの領域（外形線）を抽出する（ステップＳ２）。
具体的に、制御部１２０は、ステップＳ１で取得した画像を学習モデル１４４に入力することで、図３（ｂ）に示すように、当該画像からパレットＰと個々の荷Ｈの外形線Ｌ（Ｌ０、Ｌ１、Ｌ２）を抽出する。
なお、外形線Ｌは、荷Ｈの外接線又は内接線と読み替えてもよい。外接線とは、画像中の荷Ｈに外接する最小の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味し、内接線とは画像中の荷Ｈに内接する最大の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味する。荷Ｈを正面又は真横から撮影した場合、荷Ｈの外形線と外接線又は内接線とはほぼ一致する。
具体的に、制御部１２０は、ステップＳ１で取得した画像を学習モデル１４４に入力することで、図３（ｂ）に示すように、当該画像からパレットＰと個々の荷Ｈの外形線Ｌ（Ｌ０、Ｌ１、Ｌ２）を抽出する。
なお、外形線Ｌは、荷Ｈの外接線又は内接線と読み替えてもよい。外接線とは、画像中の荷Ｈに外接する最小の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味し、内接線とは画像中の荷Ｈに内接する最大の矩形（画像中における鉛直な線と水平な線とに囲まれる矩形）を意味する。荷Ｈを正面又は真横から撮影した場合、荷Ｈの外形線と外接線又は内接線とはほぼ一致する。
【0025】
次に、制御部１２０は、ステップＳ２で抽出した外形線Ｌと、記憶部１４０の３Ｄ－Ｃ
ＡＤデータ１４５とをマッチングさせる（ステップＳ３）。
ここでは、制御部１２０は、パレットＰ及び個々の荷Ｈの外形線Ｌを３Ｄ－ＣＡＤデータ１４５と照合することにより、パレットＰ及び個々の荷Ｈの三次元形状データを取得する。ステップＳ１で取得した画像が深度情報（奥行き情報）を有していない場合（画像取得部１１０がＲＧＢカメラ等の場合）、外形線Ｌと３Ｄ－ＣＡＤデータ１４５とで二次元的な輪郭形状の照合（シルエットマッチング）を行う。また、画像取得部１１０がＲＧＢ－Ｄセンサ等であって画像が深度情報を有している場合には、画像が有する点群データと３Ｄ－ＣＡＤデータ１４５を三次元的にマッチングさせる。
ＡＤデータ１４５とをマッチングさせる（ステップＳ３）。
ここでは、制御部１２０は、パレットＰ及び個々の荷Ｈの外形線Ｌを３Ｄ－ＣＡＤデータ１４５と照合することにより、パレットＰ及び個々の荷Ｈの三次元形状データを取得する。ステップＳ１で取得した画像が深度情報（奥行き情報）を有していない場合（画像取得部１１０がＲＧＢカメラ等の場合）、外形線Ｌと３Ｄ－ＣＡＤデータ１４５とで二次元的な輪郭形状の照合（シルエットマッチング）を行う。また、画像取得部１１０がＲＧＢ－Ｄセンサ等であって画像が深度情報を有している場合には、画像が有する点群データと３Ｄ－ＣＡＤデータ１４５を三次元的にマッチングさせる。
【0026】
次に、制御部１２０は、図４（ａ）に示すように、個々の荷Ｈの３Ｄ－ＣＡＤデータ１４５に基づいて、当該個々の荷Ｈの重心位置Ｍを算出する（ステップＳ４）。このとき、制御部１２０は、パレットＰ及び個々の荷Ｈの姿勢情報も算出（推定）する。
そして、制御部１２０は、個々の荷Ｈの重心位置Ｍから、パレットＰ上の荷Ｈ全体の重心位置Ｍｃを求める（ステップＳ５）。
荷Ｈ全体の重心位置Ｍｃは、複数の荷Ｈの各配置と、各荷Ｈの重量割合とから計算できる。あるいは、全体の重心位置Ｍｃは、複数の荷Ｈが同一材料（同一密度）であれば、複数の荷Ｈの各重心位置Ｍから計算できる。各荷Ｈの重量割合、あるいは、各荷Ｈが同一材料であることは、予め制御部１２０に与えられていればよい。
そして、制御部１２０は、個々の荷Ｈの重心位置Ｍから、パレットＰ上の荷Ｈ全体の重心位置Ｍｃを求める（ステップＳ５）。
荷Ｈ全体の重心位置Ｍｃは、複数の荷Ｈの各配置と、各荷Ｈの重量割合とから計算できる。あるいは、全体の重心位置Ｍｃは、複数の荷Ｈが同一材料（同一密度）であれば、複数の荷Ｈの各重心位置Ｍから計算できる。各荷Ｈの重量割合、あるいは、各荷Ｈが同一材料であることは、予め制御部１２０に与えられていればよい。
【0027】
次に、制御部１２０は、計算された荷全体の重心位置Ｍｃと判定用領域Ｒとに基づいて、荷積み状態の良否を判定する（ステップＳ６）。
具体的に、制御部１２０は、図４（ｂ）に示すように、荷全体の重心位置Ｍｃが判定用領域Ｒ内に収まっているか否かを判定する。荷全体の重心位置Ｍｃが判定用領域Ｒ内に収まっていると判定した場合、制御部１２０は、パレットＰ上の荷Ｈは安定しているとして良好な荷積み状態と判定し、当該判定結果を後述の支援装置２１０に送信する（ステップＳ７）。一方、全体の重心位置Ｍｃが判定用領域Ｒ内に収まっていないと判定した場合、制御部１２０は、パレットＰ上の荷Ｈは不安定であるとして不良な荷積み状態と判定し、当該判定結果を後述の支援装置２１０に送信する（ステップＳ８）。
具体的に、制御部１２０は、図４（ｂ）に示すように、荷全体の重心位置Ｍｃが判定用領域Ｒ内に収まっているか否かを判定する。荷全体の重心位置Ｍｃが判定用領域Ｒ内に収まっていると判定した場合、制御部１２０は、パレットＰ上の荷Ｈは安定しているとして良好な荷積み状態と判定し、当該判定結果を後述の支援装置２１０に送信する（ステップＳ７）。一方、全体の重心位置Ｍｃが判定用領域Ｒ内に収まっていないと判定した場合、制御部１２０は、パレットＰ上の荷Ｈは不安定であるとして不良な荷積み状態と判定し、当該判定結果を後述の支援装置２１０に送信する（ステップＳ８）。
【0028】
判定用領域Ｒは、重心位置Ｍｃが内部にあるか否かで、パレットＰを介した荷役において荷Ｈが安定であるかを判定する、その境界となるようにパレットＰの上方空間内に設定される。判定用領域Ｒの形状や大きさは、特に限定はされないが、パレットＰの姿勢推定結果に基づいて設定される。例えば、判定用領域Ｒは、パレットＰ上面の形状に対応した角形の底面と、所定の高さとを有する角錐状に設定される。判定用領域Ｒの底面は、例えば、パレットＰ上面の各辺から所定マージン分だけ内側に各辺が位置するように設定される。判定用領域Ｒの高さは、例えば荷Ｈの最大高さよりは低く設定される。
また、パレットＰに対する判定用領域Ｒの位置は、例えばパレットＰ上面の中央が基準位置として設定される。そして、図５に示すように、フォークポケット（構造ｅ）内へのフォークｆの実際の挿入位置Ｐｆが、その基準位置（例えばフォークポケットの幅方向中央）からズレた場合には、このズレに対応させて判定用領域Ｒの位置を調整してもよい。つまり、フォークｆの挿入位置Ｐｆのズレ方向及びズレ量に対応させて、判定用領域Ｒを同じように基準位置から移動させてもよい。
また、パレットＰに対する判定用領域Ｒの位置は、例えばパレットＰ上面の中央が基準位置として設定される。そして、図５に示すように、フォークポケット（構造ｅ）内へのフォークｆの実際の挿入位置Ｐｆが、その基準位置（例えばフォークポケットの幅方向中央）からズレた場合には、このズレに対応させて判定用領域Ｒの位置を調整してもよい。つまり、フォークｆの挿入位置Ｐｆのズレ方向及びズレ量に対応させて、判定用領域Ｒを同じように基準位置から移動させてもよい。
【0029】
＜判定用領域の設定＞
荷役支援装置１００は、さらに、図１に示すように、重心位置Ｍの判定用領域Ｒを設定可能な設定部１３０を備えてもよい。設定部１３０は、設定用表示を出力する表示装置１３１と、判定用領域Ｒを指定する入力装置１３２とを含み、管理者が、表示装置１３１の表示を見ながら、入力装置１３２を介して判定用領域Ｒを指定できる。表示装置１３１と入力装置１３２とは、荷役支援装置１００に備わるものでなく、他のコンピュータ又は他の携帯端末に備わる表示装置と入力装置とが適用されてもよい。この場合、荷役支援装置１００の設定部１３０は、他のコンピュータ又は他の携帯端末と通信を行って、設定用表示を出力させ、判定用領域Ｒを指定する入力処理を行うソフトウェアであってよい。管理者は、例えば、判定用領域Ｒを狭める又は広げる設定変更を行うことができる。あるいは、管理者は、判定用領域Ｒを高く又は低くする設定変更、形状を変更する設定変更を行うことができる。このような構成により、管理者は、非常に高い荷役の安定度が求められるような状況と、比較的に低い荷役の安定度が求められるような状況となど、様々な状況に応じた判定用領域Ｒに設定変更することができる。
荷役支援装置１００は、さらに、図１に示すように、重心位置Ｍの判定用領域Ｒを設定可能な設定部１３０を備えてもよい。設定部１３０は、設定用表示を出力する表示装置１３１と、判定用領域Ｒを指定する入力装置１３２とを含み、管理者が、表示装置１３１の表示を見ながら、入力装置１３２を介して判定用領域Ｒを指定できる。表示装置１３１と入力装置１３２とは、荷役支援装置１００に備わるものでなく、他のコンピュータ又は他の携帯端末に備わる表示装置と入力装置とが適用されてもよい。この場合、荷役支援装置１００の設定部１３０は、他のコンピュータ又は他の携帯端末と通信を行って、設定用表示を出力させ、判定用領域Ｒを指定する入力処理を行うソフトウェアであってよい。管理者は、例えば、判定用領域Ｒを狭める又は広げる設定変更を行うことができる。あるいは、管理者は、判定用領域Ｒを高く又は低くする設定変更、形状を変更する設定変更を行うことができる。このような構成により、管理者は、非常に高い荷役の安定度が求められるような状況と、比較的に低い荷役の安定度が求められるような状況となど、様々な状況に応じた判定用領域Ｒに設定変更することができる。
【0030】
＜荷役支援システム＞
本実施形態の荷役支援システム２００は、図１に示すように、荷役支援装置１００と、荷役支援装置１００の判定結果に基づいて荷役の支援を行う支援装置２１０とを備える。支援装置２１０は、荷役の良否判定の結果を報知する報知部２１１と、荷役車両３０の動作を制御（一時的な停止制御など）する運転制御機構２１２とを含んでもよい。報知部２１１は、荷役車両３０に搭載されてもよいし、荷役車両３０と荷役場との両方に配置されてよい。報知部２１１は、音声出力、ランプ表示、画像又は文字の表示により、荷役支援装置１００の判定結果に対応した報知を行う。報知部２１１は、映像を表示する表示部２１１ａを含んでいてもよい。運転制御機構２１２は、例えばフォークの昇降を一時停止或いはその速度を低くする機構、荷役車両３０の走行を一時停止或いはその速度を低くすることが可能な機構である。より具体的には、運転制御機構２１２は、荷役車両３０の前進と、パレットＰへのフォークの挿入とを禁止することが可能な機構である。運転制御機構２１２は、荷役車両３０に搭載されてもよいし、荷役車両３０が自動運転の場合には、自動運転の指示を出力する装置に搭載されてもよい。
本実施形態の荷役支援システム２００は、図１に示すように、荷役支援装置１００と、荷役支援装置１００の判定結果に基づいて荷役の支援を行う支援装置２１０とを備える。支援装置２１０は、荷役の良否判定の結果を報知する報知部２１１と、荷役車両３０の動作を制御（一時的な停止制御など）する運転制御機構２１２とを含んでもよい。報知部２１１は、荷役車両３０に搭載されてもよいし、荷役車両３０と荷役場との両方に配置されてよい。報知部２１１は、音声出力、ランプ表示、画像又は文字の表示により、荷役支援装置１００の判定結果に対応した報知を行う。報知部２１１は、映像を表示する表示部２１１ａを含んでいてもよい。運転制御機構２１２は、例えばフォークの昇降を一時停止或いはその速度を低くする機構、荷役車両３０の走行を一時停止或いはその速度を低くすることが可能な機構である。より具体的には、運転制御機構２１２は、荷役車両３０の前進と、パレットＰへのフォークの挿入とを禁止することが可能な機構である。運転制御機構２１２は、荷役車両３０に搭載されてもよいし、荷役車両３０が自動運転の場合には、自動運転の指示を出力する装置に搭載されてもよい。
【0031】
図６は、支援装置により実行される荷役支援処理を示すフローチャートである。
前述した判定処理（図２）に示したように、荷役支援装置１００の制御部１２０は、荷積み状態の良好又は不良の判定結果を支援装置２１０に送信する。支援装置２１０は、判定結果を受信し（ステップＳ１１）、判定結果を判別する（ステップＳ１２）。
ステップＳ１２において、良好な荷積み状態の判定結果であると判別すると、支援装置２１０は、良判定用の動作を実行する（ステップＳ１３）。具体的には、良判定用の動作として、報知部２１１が、良判定を示す色のランプ出力、良判定を示す文字、画像、音声等の出力を行う。さらに、良判定用の動作として、支援装置２１０は、パレットＰ上の荷Ｈの映像と、計算された重心位置Ｍを示す点画像と、判定用領域Ｒを表わす図柄とが重ねられた画像を表示部２１１ａに出力してもよい。
前述した判定処理（図２）に示したように、荷役支援装置１００の制御部１２０は、荷積み状態の良好又は不良の判定結果を支援装置２１０に送信する。支援装置２１０は、判定結果を受信し（ステップＳ１１）、判定結果を判別する（ステップＳ１２）。
ステップＳ１２において、良好な荷積み状態の判定結果であると判別すると、支援装置２１０は、良判定用の動作を実行する（ステップＳ１３）。具体的には、良判定用の動作として、報知部２１１が、良判定を示す色のランプ出力、良判定を示す文字、画像、音声等の出力を行う。さらに、良判定用の動作として、支援装置２１０は、パレットＰ上の荷Ｈの映像と、計算された重心位置Ｍを示す点画像と、判定用領域Ｒを表わす図柄とが重ねられた画像を表示部２１１ａに出力してもよい。
【0032】
一方、ステップＳ１２において、不良な荷積み状態の判定結果であると判別すると、支援装置２１０は、不良判定用の動作を実行する（ステップＳ１４）。具体的には、不良判定用の動作として、報知部２１１が、不良判定を示す色及び点滅動作のランプ出力、不良判定を示す文字、画像、音声等の出力を行う。さらに、不良判定用の動作として、支援装置２１０は、パレットＰ上の荷Ｈの映像と、計算された重心位置Ｍ（Ｍｃ含む）を示す点画像と、判定用領域Ｒを表わす図柄とが重ねられた画像を表示部２１１ａに出力してもよい。表示部２１１ａに出力する画像は特に限定はされないが、例えば図７に示すように、パレットＰ上の荷Ｈとその重心位置Ｍｃ及び判定用領域Ｒを三面図で表示してもよい。当該画像を見ることで、荷役の作業者は、いずれの荷Ｈの配置が不良であるかを認識することができる。さらに、ステップＳ１４において、運転制御機構２１２が、荷役車両３０の動作の一時停止又は速度を低くする運転制御を行ってもよい。
これにより、荷取前に荷Ｈの転落、転倒の危険がないかを確認でき、荷役作業時の事故を抑制できる。
これにより、荷取前に荷Ｈの転落、転倒の危険がないかを確認でき、荷役作業時の事故を抑制できる。
【0033】
以上のように、本実施形態によれば、画像取得部１１０によって取得されたパレットＰ及び荷Ｈの画像と、記憶部１４０に記憶されたパレットＰ及び荷Ｈの３Ｄ－ＣＡＤデータ
１４５との照合により、パレットＰに対する荷Ｈの重心位置Ｍが求められる。
これにより、荷積み状態の良否を好適に判定することができる。ひいては、当該判定結果に基づいて、好適に荷役の支援を行うことができる。
１４５との照合により、パレットＰに対する荷Ｈの重心位置Ｍが求められる。
これにより、荷積み状態の良否を好適に判定することができる。ひいては、当該判定結果に基づいて、好適に荷役の支援を行うことができる。
【0034】
また、本実施形態によれば、パレットＰ上の荷Ｈの重心位置Ｍ（Ｍｃ）を三次元的に評価することにより、荷役車両３０や荷Ｈの三次元的な転倒、転倒の可能性を好適に判断できる。
また、記憶部１４０に格納するパレットＰ及び荷Ｈの形状データと学習モデル１４４を、その作業現場で扱う部材（荷Ｈ）のものに変更するソフト面の対応だけで、当該作業現場の荷役作業に簡単に対応できる。
また、記憶部１４０に格納するパレットＰ及び荷Ｈの形状データと学習モデル１４４を、その作業現場で扱う部材（荷Ｈ）のものに変更するソフト面の対応だけで、当該作業現場の荷役作業に簡単に対応できる。
【0035】
また、本実施形態によれば、機械学習された学習モデル１４４を用いて実際の画像からパレットＰ及び荷Ｈの外形線Ｌを抽出し、当該外形線Ｌと３Ｄ－ＣＡＤデータ１４５とをマッチングしている。
このように学習モデル１４４を用いることで、パレットＰ上の荷Ｈの背景等に起因した荷Ｈの外形線Ｌの誤認識を抑制することができ、少ない負荷でより正確な演算を実現できる。また、学習モデル１４４を用いることで、画像取得部１１０として比較的に安価な撮影装置を適用しても、その検出結果に基づいてより正確な演算を実現できる。
さらに、パレットＰや荷Ｈとして使用可能性のあるものを予め学習モデル１４４に取り込んでおけば、パレットＰや荷Ｈが複数種類の場合にも好適に対応できる。また、形状の異なる複数の荷Ｈが含まれる場合にも好適に対応できる。
このように学習モデル１４４を用いることで、パレットＰ上の荷Ｈの背景等に起因した荷Ｈの外形線Ｌの誤認識を抑制することができ、少ない負荷でより正確な演算を実現できる。また、学習モデル１４４を用いることで、画像取得部１１０として比較的に安価な撮影装置を適用しても、その検出結果に基づいてより正確な演算を実現できる。
さらに、パレットＰや荷Ｈとして使用可能性のあるものを予め学習モデル１４４に取り込んでおけば、パレットＰや荷Ｈが複数種類の場合にも好適に対応できる。また、形状の異なる複数の荷Ｈが含まれる場合にも好適に対応できる。
【0036】
また、本実施形態によれば、計算された荷の重心位置Ｍ（Ｍｃ）が表示部２１１ａに表示されるので、荷役の作業者（例えば荷役車両３０の運転者）は、荷役車両３０や荷Ｈの転倒、転倒の可能性を直ちに認識することができる。
【0037】
＜その他＞
以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。
例えば、上記実施形態では、荷役装置としてフォークリフトを一例にとって説明したが、荷役装置は荷の搬送、荷積み、荷下ろしを行う様々な重機であってもよい。また、荷役装置は運転者により運転されてもよいし、自動運転されてもよい。荷が積まれるパレットは、フォークリフト用のパレットに限られず、荷を搬送するための台であり、重機によって搬送されるものであれば、どのような構成であってもよい。また、上記実施形態では、パレットＰ上の荷Ｈの画像を側方から取得する例を示した。しかし、パレットＰ上の荷Ｈの画像を上方から取得し、上側の荷Ｈの重心位置（平面方向の重心位置）に基づき、荷積み状態の良否を判定するようにしてもよい。また、図１では、制御部１２０、設定部１３０及び記憶部１４０が、荷役車両３０とは別の箇所に設置され、画像取得部１１０の一部（第１画像取得部１１０ａ）と支援装置２１０の一部とが荷役車両３０に搭載される例を示した。しかし、制御部１２０、記憶部１４０及び設定部１３０の一部又は全部が荷役車両３０に搭載されてもよい。この場合、制御部１２０、記憶部１４０、設定部１３０、画像取得部１１０のうち、荷役車両３０に搭載された部分と、荷役車両３０とは別の箇所に設置された部分とが通信を行って同様の処理を行うことができる。また、制御部１２０、記憶部１４０及び設定部１３０は、一部又は全部がクラウド（サーバ装置）に配置され、残りの部分、並びに、画像取得部１１０及び支援装置２１０と通信を行って同様の処理を行ってもよい。また、制御部１２０、記憶部１４０及び設定部１３０は、クラウド、モバイル端末、並びに、荷役車両３０上のコンピュータのいずれか複数に分割されて搭載され、これらが相互に通信を行って同様の処理を行ってもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。
例えば、上記実施形態では、荷役装置としてフォークリフトを一例にとって説明したが、荷役装置は荷の搬送、荷積み、荷下ろしを行う様々な重機であってもよい。また、荷役装置は運転者により運転されてもよいし、自動運転されてもよい。荷が積まれるパレットは、フォークリフト用のパレットに限られず、荷を搬送するための台であり、重機によって搬送されるものであれば、どのような構成であってもよい。また、上記実施形態では、パレットＰ上の荷Ｈの画像を側方から取得する例を示した。しかし、パレットＰ上の荷Ｈの画像を上方から取得し、上側の荷Ｈの重心位置（平面方向の重心位置）に基づき、荷積み状態の良否を判定するようにしてもよい。また、図１では、制御部１２０、設定部１３０及び記憶部１４０が、荷役車両３０とは別の箇所に設置され、画像取得部１１０の一部（第１画像取得部１１０ａ）と支援装置２１０の一部とが荷役車両３０に搭載される例を示した。しかし、制御部１２０、記憶部１４０及び設定部１３０の一部又は全部が荷役車両３０に搭載されてもよい。この場合、制御部１２０、記憶部１４０、設定部１３０、画像取得部１１０のうち、荷役車両３０に搭載された部分と、荷役車両３０とは別の箇所に設置された部分とが通信を行って同様の処理を行うことができる。また、制御部１２０、記憶部１４０及び設定部１３０は、一部又は全部がクラウド（サーバ装置）に配置され、残りの部分、並びに、画像取得部１１０及び支援装置２１０と通信を行って同様の処理を行ってもよい。また、制御部１２０、記憶部１４０及び設定部１３０は、クラウド、モバイル端末、並びに、荷役車両３０上のコンピュータのいずれか複数に分割されて搭載され、これらが相互に通信を行って同様の処理を行ってもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0038】
３０ 荷役車両
１００ 荷役支援装置
１１０ 画像取得部
１１０ａ 第１画像取得部
１１０ｂ 第２画像取得部
１２０ 制御部
１３０ 設定部
１４０ 記憶部
１４４ 学習モデル
１４５ ３Ｄ－ＣＡＤデータ（形状データ）
２００ 荷役支援システム
２１０ 支援装置
２１１ 報知部
２１１ａ 表示部
ｆ フォーク
Ｈ 荷
Ｌ 外形線
Ｍ 重心位置（個々の荷の重心位置）
Ｍｃ 重心位置（荷全体の重心位置）
Ｐ パレット
Ｒ 判定用領域
１００ 荷役支援装置
１１０ 画像取得部
１１０ａ 第１画像取得部
１１０ｂ 第２画像取得部
１２０ 制御部
１３０ 設定部
１４０ 記憶部
１４４ 学習モデル
１４５ ３Ｄ－ＣＡＤデータ（形状データ）
２００ 荷役支援システム
２１０ 支援装置
２１１ 報知部
２１１ａ 表示部
ｆ フォーク
Ｈ 荷
Ｌ 外形線
Ｍ 重心位置（個々の荷の重心位置）
Ｍｃ 重心位置（荷全体の重心位置）
Ｐ パレット
Ｒ 判定用領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】