ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-59197荷取支援装置、搬送装置、荷取支援方法及び荷取支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024059197
(43)【公開日】2024-05-01
(54)【発明の名称】荷取支援装置、搬送装置、荷取支援方法及び荷取支援プログラム
(51)【国際特許分類】
B66F 9/24 20060101AFI20240423BHJP
G06T 7/00 20170101ALI20240423BHJP
G06T 7/70 20170101ALI20240423BHJP
【ＦＩ】
B66F9/24 L
G06T7/00 C
G06T7/70 Z
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022166727
(22)【出願日】2022-10-18
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】佐藤 美徳
【テーマコード（参考）】
3F333
5L096
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333FA27
3F333FA36
3F333FD14
3F333FE05
3F333FE09
5L096BA01
5L096FA06
5L096FA10
5L096FA62
5L096JA18
(57)【要約】
【課題】脚部を有する荷役台に対する荷取作業を好適に支援する。
【解決手段】フォークリフト１は、少なくとも２つの脚部３２を有する荷役台３０（ボックスパレット３０Ａ又はポストパレット３０Ｂ）の画像を取得する撮影部２４と、制御部２７とを備えている。制御部２７は、荷役台３０の画像に基づいて、撮影部２４に対する荷役台３０の相対姿勢を求め、荷役台３０の相対姿勢に基づいて、荷役台３０と撮影部２４とが正対しているか否かを判定する。制御部２７は、荷役台３０の画像から２つの脚部３２を個別に含む２つの脚部領域Ｇを抽出し、２つの脚部領域Ｇに基づいて荷役台３０の相対姿勢を求める。
【選択図】図３
【解決手段】フォークリフト１は、少なくとも２つの脚部３２を有する荷役台３０（ボックスパレット３０Ａ又はポストパレット３０Ｂ）の画像を取得する撮影部２４と、制御部２７とを備えている。制御部２７は、荷役台３０の画像に基づいて、撮影部２４に対する荷役台３０の相対姿勢を求め、荷役台３０の相対姿勢に基づいて、荷役台３０と撮影部２４とが正対しているか否かを判定する。制御部２７は、荷役台３０の画像から２つの脚部３２を個別に含む２つの脚部領域Ｇを抽出し、２つの脚部領域Ｇに基づいて荷役台３０の相対姿勢を求める。
【選択図】図３
【特許請求の範囲】
【請求項1】
少なくとも２つの脚部を有する荷役台の画像を取得する撮像手段と、
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算手段と、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定手段と、
を備える荷取支援装置。
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算手段と、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定手段と、
を備える荷取支援装置。
【請求項2】
前記演算手段は、
前記２つの脚部領域に基づいて、前記２つの脚部領域の間の部分を含む領域における前記荷役台の底板の下縁を第１エッジとして抽出し、
前記第１エッジに基づいて前記荷役台の相対姿勢を求める、
請求項１に記載の荷取支援装置。
前記２つの脚部領域に基づいて、前記２つの脚部領域の間の部分を含む領域における前記荷役台の底板の下縁を第１エッジとして抽出し、
前記第１エッジに基づいて前記荷役台の相対姿勢を求める、
請求項１に記載の荷取支援装置。
【請求項3】
前記演算手段は、前記荷役台の相対姿勢として、前記撮像手段の左右方向に対応する方向と前記第１エッジとのなす角度を算出し、
前記判定手段は、前記角度が所定の閾値よりも小さい場合に、前記荷役台と前記撮像手段とが正対していると判定する、
請求項２に記載の荷取支援装置。
前記判定手段は、前記角度が所定の閾値よりも小さい場合に、前記荷役台と前記撮像手段とが正対していると判定する、
請求項２に記載の荷取支援装置。
【請求項4】
前記荷役台と前記撮像手段とが正対していると前記判定手段が判定した場合に、前記第１エッジと平行であって前記脚部の下端に接する第２エッジを前記荷役台の画像から抽出し、前記第１エッジと前記第２エッジと前記２つの脚部領域とに囲まれたフォーク挿入領域を表示部に表示させる表示手段を備える、
請求項２に記載の荷取支援装置。
請求項２に記載の荷取支援装置。
【請求項5】
前記演算手段は、前記２つの脚部領域に基づいて、前記撮像手段に対する前記荷役台の相対位置を求める、
請求項１に記載の荷取支援装置。
請求項１に記載の荷取支援装置。
【請求項6】
前記荷役台を保持する一対の保持部を備える搬送装置を制御する制御手段を備え、
前記制御手段は、前記荷役台と前記撮像手段とが正対していると前記判定手段が判定した場合に、前記２つの脚部領域の間の部分と前記一対の保持部とを、前記撮像手段の左右方向に対応する方向において互いの中心を対応させる、
請求項１に記載の荷取支援装置。
前記制御手段は、前記荷役台と前記撮像手段とが正対していると前記判定手段が判定した場合に、前記２つの脚部領域の間の部分と前記一対の保持部とを、前記撮像手段の左右方向に対応する方向において互いの中心を対応させる、
請求項１に記載の荷取支援装置。
【請求項7】
前記撮像手段は、深度情報を有する前記画像を取得可能であり、
前記演算手段は、前記深度情報に基づいて、前記荷役台の相対姿勢を求める、
請求項１に記載の荷取支援装置。
前記演算手段は、前記深度情報に基づいて、前記荷役台の相対姿勢を求める、
請求項１に記載の荷取支援装置。
【請求項8】
前記荷役台と前記撮像手段とが正対していないと前記判定手段が判定した場合に、当該判定結果を報知する報知手段を備える、
請求項１に記載の荷取支援装置。
請求項１に記載の荷取支援装置。
【請求項9】
請求項１に記載の荷取支援装置と、
前記荷役台を保持する一対の保持部と、を備える、
搬送装置。
前記荷役台を保持する一対の保持部と、を備える、
搬送装置。
【請求項10】
少なくとも２つの脚部を有する荷役台の画像を取得する撮像手段を備える荷取支援装置の制御手段が、
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算工程と、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定固定と、
を実行する荷取支援方法。
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算工程と、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定固定と、
を実行する荷取支援方法。
【請求項11】
少なくとも２つの脚部を有する荷役台の画像を取得する撮像手段を備える荷取支援装置のコンピュータを、
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算手段、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定手段、
として機能させる荷取支援プログラム。
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算手段、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定手段、
として機能させる荷取支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷取支援装置、搬送装置、荷取支援方法及び荷取支援プログラムに関する。
【背景技術】
【0002】
従来、フォークリフトでの荷役作業では、運転者（作業者）が目視によりパレットの孔部（フォークポケット）を確認し、この孔部へのフォークの挿入可否を判断していた。そのため、特にパレットがフォークリフトから目視しづらい位置に置かれている場合などには、予測を頼りにフォークを挿入しなければならなかった。
【0003】
そこで、例えば特許文献１に記載の技術では、パレットの画像を教師データとして機械学習させた学習モデルを用い、孔部へのフォークの挿入可否を判断している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６６７６１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献１に記載の技術は、孔部（フォークポケット）を有する一般的な平パレットを対象としたものであり、ボックスパレットやポストパレット等のように脚部を有してその間にフォークが挿入される荷役台に対して最適化された技術ではない。
本発明は、このような事情に鑑みてなされたもので、脚部を有する荷役台に対する荷取作業を好適に支援することを目的とする。
本発明は、このような事情に鑑みてなされたもので、脚部を有する荷役台に対する荷取作業を好適に支援することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る荷取支援装置は、
少なくとも２つの脚部を有する荷役台の画像を取得する撮像手段と、
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算手段と、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定手段と、
を備える。
少なくとも２つの脚部を有する荷役台の画像を取得する撮像手段と、
前記荷役台の画像から前記２つの脚部を個別に含む２つの脚部領域を抽出し、前記２つの脚部領域に基づいて前記撮像手段に対する前記荷役台の相対姿勢を求める演算手段と、
前記荷役台の相対姿勢に基づいて、前記荷役台と前記撮像手段とが正対しているか否かを判定する判定手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、脚部を有する荷役台に対する荷取作業を好適に支援できる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るフォークリフトの外観を示す斜視図である。
【図2】実施形態に係るフォークリフトの概略の制御構成を示すブロック図である。
【図3】実施形態に係る荷取支援処理の手順を示すフローチャートである。
【図4】荷取支援処理における画像処理の内容を説明するための図である。
【図5】荷取支援処理における画像処理の内容を説明するための図である。
【図6】荷取支援処理における画像処理の内容を説明するための図である。
【図7】荷取支援処理における画像処理の内容を説明するための図である。
【図8】荷取支援処理における画像処理の内容を説明するための図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0010】
［フォークリフトの構成］
図１は、本実施形態に係るフォークリフト１の外観を示す斜視図である。
本実施形態に係るフォークリフト１は、本発明に係る搬送装置の一例であり、車体１１、フォーク１２、昇降体（リフト）１３、マスト１４、車輪１５を備える。マスト１４は車体１１の前方に設けられ、図示しない駆動源によって駆動されて車体１１の前後に傾斜する。昇降体１３は、図示しない駆動源によって駆動され、マスト１４に沿って昇降する。昇降体１３には、荷物や荷役台３０などを保持する保持部としての左右一対のフォーク１２が取り付けられている。
図１は、本実施形態に係るフォークリフト１の外観を示す斜視図である。
本実施形態に係るフォークリフト１は、本発明に係る搬送装置の一例であり、車体１１、フォーク１２、昇降体（リフト）１３、マスト１４、車輪１５を備える。マスト１４は車体１１の前方に設けられ、図示しない駆動源によって駆動されて車体１１の前後に傾斜する。昇降体１３は、図示しない駆動源によって駆動され、マスト１４に沿って昇降する。昇降体１３には、荷物や荷役台３０などを保持する保持部としての左右一対のフォーク１２が取り付けられている。
【0011】
荷役台３０は、フォークリフト１の荷役（荷取）対象となる荷物が載置・収容されるものである。荷役台３０は、矩形板状の底板（台板）３１と、その下面四隅に配置された脚部３２とを有し、底板３１の下方空間のうち隣り合う２つの脚部３２の間の部分に一対のフォーク１２が挿入されることにより、フォークリフト１に保持される。具体的に、本実施形態の荷役台３０は、ボックスパレット３０Ａ又はポストパレット３０Ｂである（図４（ａ）、（ｂ）参照）。ボックスパレット３０Ａは、底板３１上に金網状の矩形箱形のボックス３３Ａが固定されている。ポストパレット３０Ｂは、底板３１上の四隅に、脚部３２と一体的に構成された支柱３４Ｂを有している。ボックスパレット３０Ａ及びポストパレット３０Ｂのいずれも、脚部３２をボックス３３Ａ又は支柱３４Ｂの上端に載せるようにして、複数を段積みできるようになっている。
なお、本発明に係る荷役台は、少なくとも２つの脚部を有するボックスパレットやポストパレット等を含み、脚部を有していない平パレット等は含まない。換言すれば、本発明に係る荷役台は、隣り合う脚部の間にフォークが挿入されるパレットを含み、いわゆるフォークポケットを有するパレットは含まない。脚部はキャスターでもよい。
また、以下の説明では、荷役台３０の構成のうち、ボックスパレット３０Ａの構成には「Ａ」を、ポストパレット３０Ｂの構成には「Ｂ」を、当該構成の符号の末尾に付してこれらを識別する場合がある。
なお、本発明に係る荷役台は、少なくとも２つの脚部を有するボックスパレットやポストパレット等を含み、脚部を有していない平パレット等は含まない。換言すれば、本発明に係る荷役台は、隣り合う脚部の間にフォークが挿入されるパレットを含み、いわゆるフォークポケットを有するパレットは含まない。脚部はキャスターでもよい。
また、以下の説明では、荷役台３０の構成のうち、ボックスパレット３０Ａの構成には「Ａ」を、ポストパレット３０Ｂの構成には「Ｂ」を、当該構成の符号の末尾に付してこれらを識別する場合がある。
【0012】
図２は、フォークリフト１の概略の制御構成を示すブロック図である。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷取支援装置は、少なくとも撮影部２４、制御部２７を含んで構成される。
この図に示すように、フォークリフト１は、上記構成に加え、駆動部２１、操作部２２、表示部２３、撮影部２４、記憶部２６、制御部２７を備える。本発明に係る荷取支援装置は、少なくとも撮影部２４、制御部２７を含んで構成される。
【0013】
駆動部２１は、フォークリフト１の各種駆動源である走行モータ、操舵モータ及び荷役モータ（いずれも図示省略）を含む。走行モータは、車輪１５のうちの駆動輪を駆動する。操舵モータは、車輪１５のうちの操舵輪を回転（操舵動作）させる。荷役モータは、昇降体１３の昇降とマスト１４の傾倒との各動作を行わせる駆動源である。
操作部２２は、オペレータ（運転者）が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。
操作部２２は、オペレータ（運転者）が各種操作を行う操作手段である。操作部２２は、例えばハンドルやペダル、レバー、各種ボタン等を含み、これらの操作内容に応じた操作信号を制御部２７に出力する。
【0014】
表示部２３は、例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他のディスプレイであり、制御部２７から入力される表示信号に基づいて各種情報を表示する。なお、表示部２３は、操作部２２の一部を兼ねるタッチパネルであってもよいし、音声表示（出力）が可能なスピーカを含んでもよい。
撮影部２４は、所定の解像度を有するカメラであり、例えば昇降体１３又はマスト１４に前方向きに取り付けられている。撮影部２４は、フォークリフト１の前方を撮影し、その画像（例えばＲＧＢ画像）を取得する。
撮影部２４は、所定の解像度を有するカメラであり、例えば昇降体１３又はマスト１４に前方向きに取り付けられている。撮影部２４は、フォークリフト１の前方を撮影し、その画像（例えばＲＧＢ画像）を取得する。
【0015】
記憶部２６は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等を備えて構成されるメモリであり、各種のプログラム及びデータを記憶するとともに、制御部２７の作業領域としても機能する。
本実施形態の記憶部２６には、学習モデル２６１と、荷役台情報データベース（ＤＢ）２６２とが予め記憶されている。
学習モデル２６１は、荷役台３０の撮像画像から脚部３２を含む脚部領域Ｇ（図４参照）を抽出するものであり、機械学習により予め構築されて記憶部２６に格納されている。学習モデル２６１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
荷役台情報データベース２６２には、荷役台３０の形状等の情報が、荷役台３０の種類毎に整理されて格納されている。
さらに、本実施形態の記憶部２６には、後述の荷取支援処理（図３参照）を実行するための荷取支援プログラム２６３が予め記憶されている。
本実施形態の記憶部２６には、学習モデル２６１と、荷役台情報データベース（ＤＢ）２６２とが予め記憶されている。
学習モデル２６１は、荷役台３０の撮像画像から脚部３２を含む脚部領域Ｇ（図４参照）を抽出するものであり、機械学習により予め構築されて記憶部２６に格納されている。学習モデル２６１は、深層学習されたニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）であってもよい。
荷役台情報データベース２６２には、荷役台３０の形状等の情報が、荷役台３０の種類毎に整理されて格納されている。
さらに、本実施形態の記憶部２６には、後述の荷取支援処理（図３参照）を実行するための荷取支援プログラム２６３が予め記憶されている。
【0016】
制御部２７は、例えばＣＰＵ（Central Processing Unit）等を備えて構成され、フォークリフト１各部の動作を制御する。具体的に、制御部２７は、操作部２２の操作内容に基づいて駆動部２１を動作させたり、記憶部２６に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
【0017】
［荷取支援処理］
続いて、フォークリフト１が荷役台３０にフォーク１２を挿入する際の荷取動作を支援する荷取支援処理について説明する。
この荷取動作では、荷役台３０の画像に基づいて荷役台３０の姿勢が求められ、その結果に基づいて、荷役台３０の下部へのフォーク１２の挿入が好適にアシストされる。
図３は、荷取支援処理の手順を示すフローチャートであり、図４～図８は、荷取支援処理における画像処理の内容を説明するための図である。図４～図８では、（ａ）がボックスパレット３０Ａの例を、（ｂ）がポストパレット３０Ｂの例を、それぞれ示している。
続いて、フォークリフト１が荷役台３０にフォーク１２を挿入する際の荷取動作を支援する荷取支援処理について説明する。
この荷取動作では、荷役台３０の画像に基づいて荷役台３０の姿勢が求められ、その結果に基づいて、荷役台３０の下部へのフォーク１２の挿入が好適にアシストされる。
図３は、荷取支援処理の手順を示すフローチャートであり、図４～図８は、荷取支援処理における画像処理の内容を説明するための図である。図４～図８では、（ａ）がボックスパレット３０Ａの例を、（ｂ）がポストパレット３０Ｂの例を、それぞれ示している。
【0018】
荷取支援処理は、荷役台３０の画像から荷役台３０の相対姿勢を予測し、荷役台３０との正対判定を行う処理である。この荷取支援処理は、制御部２７が、オペレータの操作に基づいて記憶部２６から荷取支援プログラム２６３を読み出して展開することで実行される。ここでは、フォークリフト１が荷役台３０の前方まで走行してきた状態であるものとする。
【0019】
図３に示すように、荷取支援処理が実行されると、まず制御部２７は、撮影部２４により荷役台３０の画像を取得する（ステップＳ１）。
このステップでは、制御部２７は、オペレータの操作に基づいて、撮影部２４を動作させて前方の荷役台３０を含む画像を取得し、記憶部２６に記憶させる。これにより、例えば図４（ａ）、（ｂ）に示すような荷役台３０の撮像画像Ｍが得られる。撮像画像Ｍは表示部２３にリアルタイム表示させてもよい。
なお、撮影タイミングはオペレータの操作に基づくものでなくともよく、例えば所定の撮影タイミングで定期的にフォークリフト１前方を撮影し、その画像から荷役台３０を検出することとしてもよい。
このステップでは、制御部２７は、オペレータの操作に基づいて、撮影部２４を動作させて前方の荷役台３０を含む画像を取得し、記憶部２６に記憶させる。これにより、例えば図４（ａ）、（ｂ）に示すような荷役台３０の撮像画像Ｍが得られる。撮像画像Ｍは表示部２３にリアルタイム表示させてもよい。
なお、撮影タイミングはオペレータの操作に基づくものでなくともよく、例えば所定の撮影タイミングで定期的にフォークリフト１前方を撮影し、その画像から荷役台３０を検出することとしてもよい。
【0020】
次に、制御部２７は、ステップＳ１で取得した荷役台３０の撮像画像Ｍを学習モデル２６１に入力し、撮像画像Ｍのうち手前側（正面に近い側）の２つの脚部領域Ｇを抽出する（ステップＳ２）。
脚部領域Ｇは、例えば図４（ａ）、（ｂ）に示すように、各脚部３２を含む領域であって、撮像画像Ｍの上下左右に沿った四辺を有する矩形状の局所領域である。このステップでは、制御部２７は、手前側の２つの脚部３２を個別に含む２つの脚部領域Ｇを、学習モデル２６１により撮像画像Ｍから抽出する。学習モデル２６１は、上述のように、例えばニューラルネットワーク等を利用した機械学習により、荷役台３０の画像から手前側の２つの脚部領域Ｇを抽出するように予め構築されたモデルである。
脚部領域Ｇは、例えば図４（ａ）、（ｂ）に示すように、各脚部３２を含む領域であって、撮像画像Ｍの上下左右に沿った四辺を有する矩形状の局所領域である。このステップでは、制御部２７は、手前側の２つの脚部３２を個別に含む２つの脚部領域Ｇを、学習モデル２６１により撮像画像Ｍから抽出する。学習モデル２６１は、上述のように、例えばニューラルネットワーク等を利用した機械学習により、荷役台３０の画像から手前側の２つの脚部領域Ｇを抽出するように予め構築されたモデルである。
【0021】
次に、制御部２７は、撮像画像Ｍのうち、２つの脚部領域Ｇの間の底面エッジＬａを抽出する（ステップＳ３）。
このステップでは、例えば図５（ａ）、（ｂ）に示すように、制御部２７は、２つの脚部領域Ｇを全て含むエッジ検出領域Ｇｗを設定し、そのうち底板３１の直線状の下縁を底面エッジ（第１エッジ）Ｌａとして抽出（エッジ検出）する。
このステップでは、例えば図５（ａ）、（ｂ）に示すように、制御部２７は、２つの脚部領域Ｇを全て含むエッジ検出領域Ｇｗを設定し、そのうち底板３１の直線状の下縁を底面エッジ（第１エッジ）Ｌａとして抽出（エッジ検出）する。
【0022】
次に、制御部２７は、ステップＳ３で抽出した底面エッジＬａに基づいて、撮影部２４に対する荷役台３０の相対姿勢を求める（ステップＳ４）。
このステップでは、制御部２７は、撮影部２４に対する荷役台３０の相対姿勢として、エッジ検出領域Ｇｗの横線Ｘに対する底面エッジＬａの相対角度θを算出する。エッジ検出領域Ｇｗの横線Ｘは、荷役台３０の画像のうち、撮影部２４（すなわちフォークリフト１）の左右方向に対応する方向（以下、単に「左右方向」という場合がある。）に沿った直線である。相対角度θは、撮影部２４と荷役台３０とが正対するに連れて小さくなる。
なお、このステップでは、２つの脚部領域Ｇに基づいて、荷役台３０の相対姿勢に加え、撮影部２４に対する荷役台３０の相対位置を求めてもよい。
このステップでは、制御部２７は、撮影部２４に対する荷役台３０の相対姿勢として、エッジ検出領域Ｇｗの横線Ｘに対する底面エッジＬａの相対角度θを算出する。エッジ検出領域Ｇｗの横線Ｘは、荷役台３０の画像のうち、撮影部２４（すなわちフォークリフト１）の左右方向に対応する方向（以下、単に「左右方向」という場合がある。）に沿った直線である。相対角度θは、撮影部２４と荷役台３０とが正対するに連れて小さくなる。
なお、このステップでは、２つの脚部領域Ｇに基づいて、荷役台３０の相対姿勢に加え、撮影部２４に対する荷役台３０の相対位置を求めてもよい。
【0023】
次に、制御部２７は、ステップＳ４で求めた荷役台３０の相対姿勢に基づいて、撮影部２４（すなわちフォークリフト１）と荷役台３０とが正対しているか否かを判定する（ステップＳ５）。
具体的に、制御部２７は、荷役台３０の相対姿勢としてステップＳ４で求めた底面エッジＬａの相対角度θが所定の閾値よりも小さい場合に、撮影部２４と荷役台３０が正対していると判定する。閾値は、例えば底板３１の下方空間へのフォーク１２の挿入が可能な相対角度θの上限値として、予め設定されている。
具体的に、制御部２７は、荷役台３０の相対姿勢としてステップＳ４で求めた底面エッジＬａの相対角度θが所定の閾値よりも小さい場合に、撮影部２４と荷役台３０が正対していると判定する。閾値は、例えば底板３１の下方空間へのフォーク１２の挿入が可能な相対角度θの上限値として、予め設定されている。
【0024】
また、ステップＳ５では、底面エッジＬａの相対角度θに基づく手法に代えて、２つの脚部領域Ｇ（又はエッジ検出領域Ｇｗ）の左右対称の度合いに基づいて、荷役台３０との正対判定を行ってもよい。つまり、２つの脚部領域Ｇ（又はエッジ検出領域Ｇｗ）の左右対称の度合いが所定以上の場合に、撮影部２４と荷役台３０が正対していると判定してもよい。より詳しくは、例えば、各脚部領域Ｇ（又はエッジ検出領域Ｇｗ）と底面エッジＬａとの交点のＹ座標（画像の縦方向座標）が、左右で一致、もしくは左右の差が閾値以下の場合に、撮影部２４と荷役台３０が正対していると判定してもよい。あるいは、２つの脚部領域Ｇ（又はエッジ検出領域Ｇｗ）のＸ方向（画像の横方向）の中心線から、後述する左右２つの垂直エッジＥ（図７参照）までのＸ方向の距離が互いに等しい、もしくは当該距離の差が閾値以下の場合に、撮影部２４と荷役台３０が正対していると判定してもよい。
この場合、上述のステップＳ４では、底面エッジＬａの相対角度θに代えて、脚部領域Ｇ（又はエッジ検出領域Ｇｗ）の左右対称の度合いを求める上記各数値を算出すればよい。
この場合、上述のステップＳ４では、底面エッジＬａの相対角度θに代えて、脚部領域Ｇ（又はエッジ検出領域Ｇｗ）の左右対称の度合いを求める上記各数値を算出すればよい。
【0025】
なお、撮影部２４による画像情報と併せて、その深度情報（奥行き情報）を取得した場合、さらに高精度に荷役台３０の相対姿勢を算出できる。深度情報を得る構成は特に限定されず、例えば、撮影部２４とは別に（又は一体的に）ＴＯＦ（Time Of Flight）センサ等を設けてもよいし、撮影部２４として三次元の点群データを含む画像が得られるＲＧＢ－Ｄカメラ（デプスカメラ）やステレオカメラ等を用いてもよい。もしくは、荷役台３０のサイズが既知であれば（荷役台情報ＤＢ２６２から取得できれば）、撮影部２４の内部パラメータから、画像上のスケール（とアスペクト比）に基づいて距離を求めてもよい。
具体的に、撮像画像Ｍの深度情報を有する場合には、例えば図６（ａ）、（ｂ）に示すように、各脚部領域Ｇから少なくとも２つの点Ｐを任意に抽出し、各点Ｐの深度を含む三次元座標を取得する。そして、この少なくとも２つの点Ｐの三次元座標から、荷役台３０の相対姿勢として、底板３１に垂直なヨー軸Ｙ回りの回転量を算出できる。この場合、底面エッジＬａと後述の下端エッジＬｂ（図８参照）に囲まれた領域から、一直線上に位置しない３つ以上の点Ｐを抽出し、当該３つ以上の点Ｐの三次元座標から荷役台３０の相対姿勢を求めてもよい。
あるいは、例えば図７（ａ）、（ｂ）に示すように、ボックス３３Ａの手前側の２つの角部の縁（又は、手前側の２つの支柱３４Ｂの縁）に沿った上下方向の２つの垂直エッジＥを抽出（エッジ検出）する。そして、底面エッジＬａと、上下方向の２つ垂直エッジＥとの２つの交点の三次元座標から、荷役台３０の相対姿勢を求めてもよい。
あるいは、ボックス３３Ａの手前側の２つの角部（又は、手前側の２つの支柱３４Ｂ）の上端部分を含む２つの上端領域Ｕを抽出する。そして、２つの上端領域Ｕの三次元座標から、荷役台３０の相対姿勢を求めてもよい。
これらの手法により、チルト角度を含む荷役台３０の三次元的な相対姿勢を求めることができる。なお、チルト角度は、荷役台３０の前面（ポストパレット３０Ｂの場合は仮想面）を求めてその傾きを算出できればよい。例えばボックスパレット３０Ａの場合は、前面のパネル３５Ａを抽出してその傾きを求めてもよい。
具体的に、撮像画像Ｍの深度情報を有する場合には、例えば図６（ａ）、（ｂ）に示すように、各脚部領域Ｇから少なくとも２つの点Ｐを任意に抽出し、各点Ｐの深度を含む三次元座標を取得する。そして、この少なくとも２つの点Ｐの三次元座標から、荷役台３０の相対姿勢として、底板３１に垂直なヨー軸Ｙ回りの回転量を算出できる。この場合、底面エッジＬａと後述の下端エッジＬｂ（図８参照）に囲まれた領域から、一直線上に位置しない３つ以上の点Ｐを抽出し、当該３つ以上の点Ｐの三次元座標から荷役台３０の相対姿勢を求めてもよい。
あるいは、例えば図７（ａ）、（ｂ）に示すように、ボックス３３Ａの手前側の２つの角部の縁（又は、手前側の２つの支柱３４Ｂの縁）に沿った上下方向の２つの垂直エッジＥを抽出（エッジ検出）する。そして、底面エッジＬａと、上下方向の２つ垂直エッジＥとの２つの交点の三次元座標から、荷役台３０の相対姿勢を求めてもよい。
あるいは、ボックス３３Ａの手前側の２つの角部（又は、手前側の２つの支柱３４Ｂ）の上端部分を含む２つの上端領域Ｕを抽出する。そして、２つの上端領域Ｕの三次元座標から、荷役台３０の相対姿勢を求めてもよい。
これらの手法により、チルト角度を含む荷役台３０の三次元的な相対姿勢を求めることができる。なお、チルト角度は、荷役台３０の前面（ポストパレット３０Ｂの場合は仮想面）を求めてその傾きを算出できればよい。例えばボックスパレット３０Ａの場合は、前面のパネル３５Ａを抽出してその傾きを求めてもよい。
【0026】
ステップＳ５において、撮影部２４と荷役台３０とが正対していると判定した場合（ステップＳ５；Ｙｅｓ）、制御部２７は、一対のフォーク１２の挿入候補位置Ｎを表示部２３に表示させる（ステップＳ６）。
一対の挿入候補位置Ｎは、例えば、底面エッジＬａよりも下側かつ２つの脚部領域Ｇの間の空間範囲のうち、２つの脚部領域Ｇを結ぶ方向に所定距離（例えば現在の一対のフォーク１２間の距離）だけ離間した２箇所の位置である。このステップでは、制御部２７は、挿入候補位置Ｎを求めたうえで、表示部２３に表示させた撮像画像Ｍ上に重畳表示させる。
また、挿入候補位置Ｎの表示と併せて、撮影部２４（すなわちフォークリフト１）が荷役台３０に正対していることをオペレータに報知（例えば表示部２３に「ＯＫ」と表示する等）してもよい。
一対の挿入候補位置Ｎは、例えば、底面エッジＬａよりも下側かつ２つの脚部領域Ｇの間の空間範囲のうち、２つの脚部領域Ｇを結ぶ方向に所定距離（例えば現在の一対のフォーク１２間の距離）だけ離間した２箇所の位置である。このステップでは、制御部２７は、挿入候補位置Ｎを求めたうえで、表示部２３に表示させた撮像画像Ｍ上に重畳表示させる。
また、挿入候補位置Ｎの表示と併せて、撮影部２４（すなわちフォークリフト１）が荷役台３０に正対していることをオペレータに報知（例えば表示部２３に「ＯＫ」と表示する等）してもよい。
【0027】
なお、ステップＳ６では、例えば図８（ａ）、（ｂ）に示すように、挿入候補位置Ｎの表示に代えて（又はこれと併せて）、フォーク１２を挿入可能な挿入空間ＡＲ（図中のドット箇所）を表示部２３に表示させてもよい。挿入空間ＡＲは、底面エッジＬａ及びこれに平行な下端エッジ（第２エッジ）Ｌｂと、２つの脚部領域Ｇとに囲まれたフォーク挿入領域（脚部領域Ｇは含まない）である。下端エッジＬｂは、底面エッジＬａに平行であって、少なくともいずれか一方の脚部３２の下端に接する（他方の脚部３２とは離れていてもよい）直線として、撮像画像Ｍから抽出される。
これにより、フォーク１２が挿入される範囲として挿入空間ＡＲを指定できる（自動運転の場合には挿入空間ＡＲに限定できる）ため、荷取作業時におけるフォーク１２と挿入空間ＡＲ外の物体との干渉のおそれを抑制できる。例えば、段積みされた上側の荷役台３０を荷取する場合、下側の荷役台３０に積まれた荷をフォーク１２で傷付ける事態を回避できる。なお、自動運転（例えばフォークリフト１が無人搬送車）の場合、フォーク１２が挿入空間ＡＲに挿入されるように制御されればよく、挿入空間ＡＲの表示は省略してもよい。
またこのとき、撮影部２４に対する荷役台３０の相対姿勢及び相対位置に基づいて、フォーク１２の左右方向位置が挿入空間ＡＲ内に含まれるか否かを判定してもよい。
これにより、フォーク１２が挿入される範囲として挿入空間ＡＲを指定できる（自動運転の場合には挿入空間ＡＲに限定できる）ため、荷取作業時におけるフォーク１２と挿入空間ＡＲ外の物体との干渉のおそれを抑制できる。例えば、段積みされた上側の荷役台３０を荷取する場合、下側の荷役台３０に積まれた荷をフォーク１２で傷付ける事態を回避できる。なお、自動運転（例えばフォークリフト１が無人搬送車）の場合、フォーク１２が挿入空間ＡＲに挿入されるように制御されればよく、挿入空間ＡＲの表示は省略してもよい。
またこのとき、撮影部２４に対する荷役台３０の相対姿勢及び相対位置に基づいて、フォーク１２の左右方向位置が挿入空間ＡＲ内に含まれるか否かを判定してもよい。
【0028】
また、ステップＳ６では、挿入空間ＡＲの中心線Ｃを表示部２３に表示させてもよい。中心線Ｃは、例えば、挿入空間ＡＲの中心位置を通って荷役台３０の奥行き方向に平行な線である。ただし、中心線Ｃは、少なくとも左右方向において挿入空間ＡＲの中心であればよい。
これにより、２つの脚部領域Ｇの間の部分と一対のフォーク１２とが左右方向において互いの中心が対応（例えば一致）するようにオペレータを促す（自動運転の場合にはそのように一対のフォーク１２を制御する）ことができる。そのため、フォーク１２により荷役台３０を保持した状態の安定性を向上させることができる。ひいては、荷崩れ等の不具合を抑制でき、安全性も向上させることができる。なお、自動運転（例えばフォークリフト１が無人搬送車）の場合、２つの脚部領域Ｇの間の部分と一対のフォーク１２とが左右方向において互いの中心が対応するように、一対のフォーク１２が制御されればよく、中心線Ｃの表示は省略してもよい。
これにより、２つの脚部領域Ｇの間の部分と一対のフォーク１２とが左右方向において互いの中心が対応（例えば一致）するようにオペレータを促す（自動運転の場合にはそのように一対のフォーク１２を制御する）ことができる。そのため、フォーク１２により荷役台３０を保持した状態の安定性を向上させることができる。ひいては、荷崩れ等の不具合を抑制でき、安全性も向上させることができる。なお、自動運転（例えばフォークリフト１が無人搬送車）の場合、２つの脚部領域Ｇの間の部分と一対のフォーク１２とが左右方向において互いの中心が対応するように、一対のフォーク１２が制御されればよく、中心線Ｃの表示は省略してもよい。
【0029】
一方、ステップＳ５において、撮影部２４と荷役台３０とが正対していないと判定した場合（ステップＳ５；Ｎｏ）、制御部２７は、撮影部２４（すなわちフォークリフト１）が荷役台３０に正対していないことをオペレータに報知する（ステップＳ７）。
この場合の報知態様は特に限定されず、表示部２３に警告表示（例えば「パレットに正対していません！」等）を表示させてもよいし、図示しないスピーカに警告音を出力させたりしてもよい。
さらにこの場合、荷役台３０に正対していない状態での荷取作業を防ぐため、フォークリフト１の前進動作を停止させる（規制する）等してもよい。
この場合の報知態様は特に限定されず、表示部２３に警告表示（例えば「パレットに正対していません！」等）を表示させてもよいし、図示しないスピーカに警告音を出力させたりしてもよい。
さらにこの場合、荷役台３０に正対していない状態での荷取作業を防ぐため、フォークリフト１の前進動作を停止させる（規制する）等してもよい。
【0030】
次に、制御部２７は、荷取支援処理を終了させるか否かを判定し（ステップＳ８）、終了させないと判定した場合には（ステップＳ８；Ｎｏ）、上述のステップＳ１へ処理を移行する。
そして、例えば荷取作業の終了等により、荷取支援処理を終了させると判定した場合には（ステップＳ８；Ｙｅｓ）、制御部２７は、荷取支援処理を終了させる。
そして、例えば荷取作業の終了等により、荷取支援処理を終了させると判定した場合には（ステップＳ８；Ｙｅｓ）、制御部２７は、荷取支援処理を終了させる。
【0031】
［本実施形態の技術的効果］
以上のように、本実施形態によれば、荷役台３０の撮像画像Ｍから２つの脚部３２を個別に含む２つの脚部領域Ｇが抽出され、当該２つの脚部領域Ｇに基づいて撮影部２４に対する荷役台３０の相対姿勢が求められる。そして、荷役台３０の相対姿勢に基づいて、荷役台３０と撮影部２４（すなわちフォークリフト１）とが正対しているか否かが判定される。
これにより、脚部３２を有するボックスパレット３０Ａやポストパレット３０Ｂ等の荷役台３０に対して、フォークリフト１との正対判定を好適に行うことができる。したがって、脚部３２を有する荷役台３０に対する荷取作業を好適に支援することができる。
以上のように、本実施形態によれば、荷役台３０の撮像画像Ｍから２つの脚部３２を個別に含む２つの脚部領域Ｇが抽出され、当該２つの脚部領域Ｇに基づいて撮影部２４に対する荷役台３０の相対姿勢が求められる。そして、荷役台３０の相対姿勢に基づいて、荷役台３０と撮影部２４（すなわちフォークリフト１）とが正対しているか否かが判定される。
これにより、脚部３２を有するボックスパレット３０Ａやポストパレット３０Ｂ等の荷役台３０に対して、フォークリフト１との正対判定を好適に行うことができる。したがって、脚部３２を有する荷役台３０に対する荷取作業を好適に支援することができる。
【0032】
また、本実施形態によれば、２つの脚部領域Ｇに基づいて、２つの脚部領域Ｇの間の部分を含むエッジ検出領域Ｇｗにおける荷役台３０の底板３１の下縁が底面エッジＬａとして抽出され、底面エッジＬａに基づいて荷役台３０の相対姿勢が求められる。
これにより、好適に底面エッジＬａを抽出し、荷役台３０の相対姿勢を求めることができる。また、画像範囲を絞ってエッジ抽出を行うため、画像全体に対してエッジ抽出を行う場合に比べて抽出ミスの発生を低減できる。
これにより、好適に底面エッジＬａを抽出し、荷役台３０の相対姿勢を求めることができる。また、画像範囲を絞ってエッジ抽出を行うため、画像全体に対してエッジ抽出を行う場合に比べて抽出ミスの発生を低減できる。
【0033】
また、本実施形態によれば、荷役台３０と撮影部２４（すなわちフォークリフト１）とが正対していると判定された場合、底面エッジＬａと平行であって脚部３２の下端を通る下端エッジＬｂが撮像画像Ｍから抽出される。そして、底面エッジＬａと下端エッジＬｂと２つの脚部領域Ｇとに囲まれた挿入空間ＡＲが表示部２３に表示される。
これにより、フォーク１２が挿入される範囲として挿入空間ＡＲを指定できるため、荷取作業時におけるフォーク１２と挿入空間ＡＲ外の物体との干渉のおそれを抑制できる。例えば、段積みされた上側の荷役台３０を荷取する場合に、下側の荷役台３０に積まれた荷をフォーク１２で傷付ける事態を回避できる。
これにより、フォーク１２が挿入される範囲として挿入空間ＡＲを指定できるため、荷取作業時におけるフォーク１２と挿入空間ＡＲ外の物体との干渉のおそれを抑制できる。例えば、段積みされた上側の荷役台３０を荷取する場合に、下側の荷役台３０に積まれた荷をフォーク１２で傷付ける事態を回避できる。
【0034】
また、本実施形態によれば、荷役台３０と撮影部２４（すなわちフォークリフト１）とが正対していると判定された場合に、２つの脚部領域Ｇの間の部分と一対のフォーク１２とが、撮影部２４の左右方向に対応する方向において互いの中心が対応するように一対のフォーク１２が制御される。
これにより、フォーク１２により荷役台３０を保持した状態の安定性を向上させることができる。ひいては、荷崩れ等の不具合を抑制でき、安全性も向上させることができる。
これにより、フォーク１２により荷役台３０を保持した状態の安定性を向上させることができる。ひいては、荷崩れ等の不具合を抑制でき、安全性も向上させることができる。
【0035】
また、本実施形態によれば、撮影部２４が深度情報を有する撮像画像Ｍを取得可能である場合、この深度情報に基づいて荷役台３０の相対姿勢が求められる。
これにより、チルト角度を含む荷役台３０の三次元的な相対姿勢を好適に求めることができる。
これにより、チルト角度を含む荷役台３０の三次元的な相対姿勢を好適に求めることができる。
【0036】
また、本実施形態によれば、荷役台３０と撮影部２４（すなわちフォークリフト１）とが正対していないと判定された場合に、当該判定結果が報知される。
これにより、フォークリフト１のオペレータ等に状況を速やかに報知できる。
これにより、フォークリフト１のオペレータ等に状況を速やかに報知できる。
【0037】
［その他］
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限られない。
例えば、上記実施形態では、荷取支援処理において、荷役台３０との正対判定（ステップＳ５）を行ってから、フォーク１２の挿入位置の表示（ステップＳ６）を行うこととした。しかし、荷役台３０との正対判定を行うことなく、フォーク１２の挿入位置の表示を行うこととしてもよい。
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限られない。
例えば、上記実施形態では、荷取支援処理において、荷役台３０との正対判定（ステップＳ５）を行ってから、フォーク１２の挿入位置の表示（ステップＳ６）を行うこととした。しかし、荷役台３０との正対判定を行うことなく、フォーク１２の挿入位置の表示を行うこととしてもよい。
【0038】
また、上記実施形態では、荷取支援処理の全てがフォークリフト１上で実行されることとしたが、荷取支援処理の少なくとも一部が外部設備（例えば荷役作業場の管理室）で実行されることとしてもよい。例えば、外部設備とフォークリフト１に通信手段を設け、撮影した画像をフォークリフト１から外部設備の演算装置に送信して、この演算装置で算出した結果をフォークリフト１に送信することとしてもよい。
【0039】
また、本発明に係る搬送装置は、荷役台を保持して搬送するものであればフォークリフトに限定されず、例えば荷を無人（自動）で搬送する無人搬送車（例えばＡＧＶ：Automated Guided Vehicle）などであってもよい。搬送装置が無人搬送車の場合、荷取支援処理のステップＳ６、Ｓ７における表示処理や報知処理は、例えば、フォークリフト１と通信可能な外部設備の表示部（報知部）に対して行ってもよい。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0040】
１ フォークリフト（搬送装置）
１２ フォーク（保持部）
２３ 表示部
２４ 撮影部（撮像手段）
２６ 記憶部
２７ 制御部（演算手段、判定手段、表示手段、制御手段、報知手段）
３０ 荷役台
３０Ａ ボックスパレット
３０Ｂ ポストパレット
３１ 底板
３２ 脚部
３３Ａ ボックス
３４Ｂ 支柱
３５Ａ パネル
２６１ 学習モデル
２６３ 荷取支援プログラム
ＡＲ 挿入空間（フォーク挿入領域）
Ｃ 中心線
Ｅ 垂直エッジ
Ｇ 脚部領域
Ｇｗ エッジ検出領域
Ｌａ 底面エッジ（第１エッジ）
Ｌｂ 下端エッジ（第２エッジ）
Ｍ 撮像画像
Ｎ 挿入候補位置
Ｐ 点
Ｕ 上端領域
Ｘ 横線
θ 相対角度
１２ フォーク（保持部）
２３ 表示部
２４ 撮影部（撮像手段）
２６ 記憶部
２７ 制御部（演算手段、判定手段、表示手段、制御手段、報知手段）
３０ 荷役台
３０Ａ ボックスパレット
３０Ｂ ポストパレット
３１ 底板
３２ 脚部
３３Ａ ボックス
３４Ｂ 支柱
３５Ａ パネル
２６１ 学習モデル
２６３ 荷取支援プログラム
ＡＲ 挿入空間（フォーク挿入領域）
Ｃ 中心線
Ｅ 垂直エッジ
Ｇ 脚部領域
Ｇｗ エッジ検出領域
Ｌａ 底面エッジ（第１エッジ）
Ｌｂ 下端エッジ（第２エッジ）
Ｍ 撮像画像
Ｎ 挿入候補位置
Ｐ 点
Ｕ 上端領域
Ｘ 横線
θ 相対角度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】