特開 2024-48648 物品検出装置、キャリブレーション方法、及び物品検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024048648

(43)【公開日】2024-04-09

(54)【発明の名称】物品検出装置、キャリブレーション方法、及び物品検出方法

(51)【国際特許分類】

   B66F 9/24 20060101AFI20240402BHJP

   G06T 7/70 20170101ALI20240402BHJP

【ＦＩ】

B66F9/24 P

G06T7/70 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022154676

(22)【出願日】2022-09-28

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(74)【代理人】

【識別番号】100162640

【弁理士】

【氏名又は名称】柳 康樹

(72)【発明者】

【氏名】喜多 伸之

(72)【発明者】

【氏名】加藤 拓朗

(72)【発明者】

【氏名】岡部 大輔

(72)【発明者】

【氏名】吉田 英一

(72)【発明者】

【氏名】小出 幸和

(72)【発明者】

【氏名】加藤 紀彦

(72)【発明者】

【氏名】横町 尚也

(72)【発明者】

【氏名】古室 達也

【テーマコード（参考）】

3F333

5L096

【Ｆターム（参考）】

3F333AA02

3F333AE02

3F333FA05

3F333FD07

3F333FD14

3F333FE05

3F333FE09

5L096AA06

5L096BA08

5L096CA04

5L096DA04

5L096FA67

5L096FA69

5L096GA51

5L096HA08

(57)【要約】

【課題】荷役対象である物品のピッチ角度を容易に取得することができる物品検出装置、キャリブレーション方法、及び物品検出方法を提供する。
【解決手段】物品検出装置１００は、第２の情報画像に含まれる、特定方向へ延びるパレット６１に関するエッジ候補を少なくとも２つ抽出し、エッジ候補から、パレット６１のピッチ角度を示す三次元方向ベクトルＶＣ２を演算する演算部１０４（第２の演算部）を備える。これにより、物品検出装置１００は、デプスセンサなどの特別なセンサなどを用いなくとも、周囲画像から容易にパレット６１のピッチ角度を演算することが可能となる。
【選択図】図９

【特許請求の範囲】

【請求項1】

荷役する物品を検出する物品検出装置であって、
前記物品検出装置の周囲を撮影した周囲画像を取得する画像取得部と、
前記周囲画像に基づいて、前記物品の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成部と、
前記第１の情報画像に基づいて、前記荷役対象部位の位置及び姿勢の少なくとも一方を演算する第１の演算部と、
前記物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成部と、
前記第２の情報画像に含まれる、特定方向へ延びる前記物品に関するエッジ候補を前記第１の演算部の演算結果に基づいて、少なくとも２つ抽出し、前記エッジ候補から、前記物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算部と、を備える、物品検出装置。

【請求項2】

前記第２の情報画像作成部は前記第２の情報画像を作成するにあたり、物品に荷が積まれた第１の場合と、物品に荷が積まれていない第２の場合における第２の情報画像を作成し、
第１の場合において、前記画像取得部の天頂方向を中心軸とした前記第２の情報画像を作成し、
第２の場合において、前記画像取得部の光軸方向を中心軸とした前記第２の情報画像を作成する、請求項１に記載された物品検出装置。

【請求項3】

前記第２の演算部は、前記第２の情報画像から、前記エッジ候補を、荷役対象の横方向の一方側、及び他方側のそれぞれから抽出する、請求項１に記載された物品検出装置。

【請求項4】

前記第２の情報画像作成部は、
前記天頂方向を中心軸とした前記第２の情報画像と、
前記光軸方向を中心軸とした前記第２の情報画像の両方を作成し、
前記第２の演算部は、どちらの第２の情報画像においても有効な結果を得た場合は、前記光軸方向を中心軸とした前記第２の情報画像での結果を採用する、請求項２に記載された物品検出装置。

【請求項5】

前記第２の演算部は、前記第２の情報画像のうち、前記エッジ候補を抽出するための特定領域において、エッジ点のハフ変換を行い、得られた直線の長さが所定以上の場合、前記特定領域内に前記エッジ候補が存在すると判断する、請求項１に記載された物品検出装置。

【請求項6】

物品検出装置で用いる画像取得部のキャリブレーション方法であって、
フォークにキャリブレーション用のパネルを配置するステップと、
前記パネルの中央部とフォーク座標系の原点との位置合わせを行うステップと、
前記パネルの縦横エッジの方向に関する情報を認識しやすい状態に変換した第２の情報画像を作成するステップと、
前記第２の情報画像に含まれる、前記パネルの縦エッジの抽出を行うステップと、
前記第２の情報画像に含まれる、前記パネルの横エッジの抽出を行うステップと、を備える、キャリブレーション方法。

【請求項7】

荷役する物品を検出する物品検出方法であって、
物品検出装置の周囲を撮影した周囲画像を取得する画像取得ステップと、
前記周囲画像に基づいて、前記物品の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成ステップと、
前記第１の情報画像に基づいて、前記荷役対象部位の位置及び姿勢の少なくとも一方を演算する第１の演算ステップと、
前記物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成ステップと、
前記第２の情報画像に含まれる、特定方向へ延びる前記物品に関するエッジ候補を前記第１の演算ステップの演算結果に基づいて、少なくとも２つ抽出し、前記エッジ候補から、前記物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算ステップと、を備える、物品検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品検出装置、及び物品検出方法に関する。

【背景技術】

【0002】

従来の物品検出装置としては、例えば特許文献１に記載されている技術が知られている。特許文献１に記載の物品検出装置は、物品検出装置の周囲を撮影した周囲画像を取得する画像取得部と、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部と、情報画像に基づいて、荷役対象部位の位置及び姿勢を演算する演算部と、を備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開２０２０／１８９１５４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術は、物品検出装置が、パレットなどの物品の荷役対象部位の位置及び姿勢を演算することができる。しかしながら、パレットのフォークを挿入する穴部は、前後方向に延びているため、パレットが所定のピッチ角度で傾斜しているとき、穴部に良好にフォークを挿入できない場合がある。よって、物品のピッチ角度を容易に取得することが求められていた。

【0005】

従って、本発明は、荷役対象である物品のピッチ角度を容易に取得することができる物品検出装置、キャリブレーション方法、及び物品検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る物品検出装置は、荷役する物品を検出する物品検出装置であって、物品検出装置の周囲を撮影した周囲画像を取得する画像取得部と、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成部と、第１の情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算する第１の演算部と、物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成部と、第２の情報画像に含まれる、特定方向へ延びる物品に関するエッジ候補を第１の演算部の演算結果に基づいて少なくとも２つ抽出し、エッジ候補から、物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算部と、を備える。

【0007】

この物品検出装置は、第１の演算部が、第１の情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算することができる。また、物品検出装置は、物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成部を備える。ここで、第２の情報画像の中で、特定方向に延びる少なくとも２つのエッジ候補を抽出すれば、特定方向を示す三次元方向ベクトルを演算することができる。また、特定方向を示す三次元方向ベクトルに基づくことで、物品のピッチ角度を示す三次元方向ベクトルを演算することができる。従って、物品検出装置は、第２の情報画像に含まれる、特定方向へ延びる物品に関するエッジ候補を第１の演算部の演算結果に基づいて、少なくとも２つ抽出し、エッジ候補から、物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算部を備える。これにより、物品検出装置は、特別なセンサなどを用いなくとも、周囲画像から容易に物品のピッチ角度を演算することが可能となる。以上より、荷役対象である物品のピッチ角度を容易に取得することができる。

【0008】

第２の情報画像作成部は第２の情報画像を作成するにあたり、物品に荷が積まれた第１の場合と、物品に荷が積まれていない第２の場合における第２の情報画像を作成し、第１の場合において、画像取得部の天頂方向を中心軸とした第２の情報画像を作成し、第２の場合において、画像取得部の光軸方向を中心軸とした第２の情報画像を作成してよい。これにより、第２の演算部は、物品に荷が積まれているか否かに関わらず、物品のピッチ角度を演算することが可能となる。

【0009】

第２の演算部は、第２の情報画像から、エッジ候補を、荷役対象の横方向の一方側、及び他方側のそれぞれから抽出してよい。これにより、第２の演算部は、抽出し易い箇所にて、容易にエッジ候補を抽出することができる。

【0010】

第２の情報画像作成部は、天頂方向を中心軸とした第２の情報画像と、光軸方向を中心軸とした第２の情報画像の両方を作成し、第２の演算部は、どちらの第２の情報画像においても有効な結果を得た場合は、光軸方向を中心軸とした第２の情報画像での結果を採用してよい。天頂方向を中心軸とした場合、背景にエッジが多いため、正確性に劣る。従って、第２の演算部は、光軸方向を中心軸とした第２の情報画像での結果を優先的に採用することで、ピッチ角度をより正確に演算することができる。

【0011】

第２の演算部は、第２の情報画像のうち、エッジ候補を抽出するための特定領域において、エッジ点のハフ変換を行い、得られた直線の長さが所定以上の場合、特定領域内にエッジ候補が存在すると判断してよい。これにより、第２の演算部は、エッジ候補が存在するか否かを容易に判断することができる。

【0012】

本発明の一態様に係るキャリブレーション方法は、物品検出装置で用いる画像取得部のキャリブレーション方法であって、フォークにキャリブレーション用のパネルを配置するステップと、パネルの中央部とフォーク座標系の原点との位置合わせを行うステップと、パネルの縦横エッジの方向に関する情報を認識しやすい状態に変換した第２の情報画像を作成するステップと、第２の情報画像に含まれる、パネルの縦エッジの抽出を行うステップと、第２の情報画像に含まれる、パネルの横エッジの抽出を行うステップと、を備える。

【0013】

このキャリブレーション方法によれば、フォークにパネルを配置して位置合わせすることで、カメラ座標系の中におけるパネルの位置関係から、フォーク座標系とカメラ座標系との位置関係を把握することが可能となる。また、第２の情報画像からパネルの縦エッジの抽出を行うステップと、第２の情報画像に含まれる、パネルの横エッジの抽出を行うステップとが、実行される。そのため、カメラ座標系の中でのパネルの位置関係をより正確に把握することができる。その結果、カメラ座標系を正確にフォーク座標系へ変換することができる。

【0014】

本発明の一態様に係る物品検出方法は、荷役する物品を検出する物品検出方法であって、物品検出装置の周囲を撮影した周囲画像を取得する画像取得ステップと、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成ステップと、第１の情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算する第１の演算ステップと、物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成ステップと、第２の情報画像に含まれる、特定方向へ延びる物品に関するエッジ候補を第１の演算部の演算結果に基づいて、少なくとも２つ抽出し、エッジ候補から、物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算ステップと、を備える。

【0015】

この物品検出方法によれば、上述の物品検出装置と同趣旨の作用・効果を得ることができる。

【発明の効果】

【0016】

本発明によれば、荷役対象である物品のピッチ角度を容易に取得することができる物品検出装置、キャリブレーション方法、及び物品検出方法を提供することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係る物品検出装置を備えるフォークリフトの側面図である。

【図2】図１に示す物品検出装置及びそれに関わる構成要素を示すブロック構成図である。

【図3】フォークリフトが、載置部上のパレットの前面の穴部にフォークを挿入する前段階における様子を示す図である。

【図4】周囲画像の一例を示す図である。

【図5】（ａ）は、棚に対して特徴面が設定された様子を示す斜視図であり、（ｂ）は、特徴面と複数の視点Ｖ１，Ｖ２，Ｖ３との位置関係を示す概略平面図である。

【図6】特徴面を用いて作成された第１の情報画像を示す。

【図7】（a）はパノラマ画像を示し、（ｂ）は傾きを補正したパノラマ画像を示す。

【図8】（ａ）は、検出されたエッジ点列を示し、（ｂ）は、各エッジ点でのハフ変換後のパラメータ空間でのスコアを示す。

【図9】（ａ）はパレットに荷が積載されているときの処理内容を説明するための図であり、（ｂ）はパレットに荷が積載されていないときの処理内容を説明するための図である。

【図10】撮影部の天頂方向を中心軸としたパノラマ画像を示す。

【図11】撮影部の光軸方向を中心軸としたパノラマ画像を示す。

【図12】（ａ）は、パレットに荷が積まれていないときに、荷が積まれていると想定して処理した場合を示し、（ｂ）は、パレットに荷が積まれているときに、荷が積まれていないと想定して処理した場合を示す。

【図13】キャリブレーション方法を行うときのフォークリフトの様子を示す図である。

【図14】パネルを検出する第１の情報画像である。

【図15】パネルの左右の縦エッジを検出するためのパノラマ画像である。

【図16】パネルの前後の横エッジを検出するためのパノラマ画像である。

【図17】物品検出方法の処理内容を示すフロー図である。

【図18】物品検出方法の処理内容を示すフロー図である。

【図19】物品検出方法の処理内容を示すフロー図である。

【図20】物品検出方法の処理内容を示すフロー図である。

【図21】キャリブレーション方法を示すフロー図である。

【図22】パレットの位置姿勢を推定した実験結果を示す。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0019】

図１は、本発明の実施形態に係る物品検出装置を備える産業車両の側面図である。なお、以降の説明においては「左」「右」を用いて説明するが、これらは車両の後方から前方を見た時を基準としたときの「左」「右」に対応するものとする。図１に示すように、本実施形態では、物品を荷役する産業車両として、フォークリフト５０が例示されている。フォークリフト５０は、車体５１と、撮影部３２（画像取得部）と、物品検出装置１００と、を備える。フォークリフト５０は、移動体２、及び荷役装置３を備える。本実施形態におけるフォークリフト５０はリーチ式のフォークリフトで、運転席１２に搭乗する運転手による手動運転と、後述する制御部１１０による自動運転とを切り替え可能である。あるいは、フォークリフト５０は制御部１１０による完全な自動運転が可能なものであってもよい。

【0020】

移動体２は、前方へ延出する左右一対のリーチレグ４を備える。左右の前輪５は、左右のリーチレグ４にそれぞれ回転可能に支持されている。後輪６は、後一輪であって、操舵輪を兼ねた駆動輪である。移動体２の後部は、立席タイプの運転席１２となっている。運転席１２の前側にあるインストルメントパネル９には、荷役操作のための荷役レバー１０、及び前後進操作のためのアクセルレバー１１が設けられている。また、インストルメントパネル９の上面にはステアリング１３が設けられている。

【0021】

荷役装置３は、移動体２の前側に設けられる。荷役レバー１０のうちのリーチレバー操作時には、リーチシリンダ（不図示）が伸縮駆動することによって、荷役装置３がリーチレグ４に沿って所定ストローク範囲内で前後方向に移動する。また、荷役装置３は、２段式のマスト２３、リフトシリンダ２４、ティルトシリンダ（不図示）及びフォーク２５を備える。荷役レバー１０のうちのリフトレバー操作時には、リフトシリンダ２４が伸縮駆動することによりマスト２３が上下方向にスライド伸縮し、これに連動してフォーク２５が昇降する。

【0022】

次に、図２を参照して、本実施形態に係るフォークリフト５０の物品検出装置１００について更に詳細に説明する。図２は、本実施形態に係る物品検出装置１００及びそれに関わる構成要素を示すブロック構成図である。図２に示すように、物品検出装置１００は、制御部１１０を備えている。物品検出装置１００の制御部１１０は、荷役駆動系３０と、走行駆動系３１と接続されており、これらに制御信号を送信する。荷役駆動系３０は、荷役装置３を作動させるための駆動力を発生する駆動系である。走行駆動系３１は、移動体２を走行させるための駆動力を発生する駆動系である。

【0023】

制御部１１０は、撮影部３２と接続されており、撮影部３２で撮影された画像を取得する。撮影部３２は、フォークリフト５０の車体５１の周囲を撮影する。撮影部３２は、図１に示す例ではフォーク２５のバックレストに設けられているが、車体５１の周囲を撮影できる位置であればどこに設けられてもよい。この撮影部３２の具体的な構成については、後述する。制御部１１０は、表示部３３と接続されており、各種画像データを表示部３３へ出力する。なお、制御部１１０による完全な自動運転が可能なフォークリフト５０の場合は、表示部３３や荷役レバー１０、アクセルレバー１１、ステアリング１３は備えなくてもよい。

【0024】

物品検出装置１００は、荷役する物品を検出する装置である。また、物品検出装置１００の制御部１１０は、フォークリフト５０を自動操縦するための制御を行う。制御部１１０は、フォークリフト５０が荷役する物品に近接する前段階から、物品を検出して、当該物品の荷役対象部位の位置及び姿勢を把握する。また、制御部１１０は、物品のピッチ角度を把握する。これにより、制御部１１０は、フォークリフト５０が物品をスムーズに荷役できるように、物品に近接し、且つ、フォーク２５を荷役対象部位に挿入できるように制御する。

【0025】

図３は、フォークリフト５０が、載置部６５上のパレット６１（物品）の前面６１ａ（荷役対象部位）の穴部６１ｂにフォーク２５を挿入する前段階における様子を示す図である。図３に示すように、撮影部３２の中心位置にはカメラ座標系Ｘ１・Ｙ１・Ｚ１が設定され、一対のフォーク２５の先端部における横方向の中央位置にはフォーク座標系Ｘ２・Ｙ２・Ｚ２が設定される。また、説明の便宜上、パレット６１の前面６１ａの中央位置にパレット座標系Ｘ３・Ｙ３・Ｚ３が設定されるものとして以降の説明を行う。Ｘ１軸は、撮影部３２の光軸方向に設定される。Ｙ１軸は撮影部３２の横方向に設定される。Ｘ２軸は、フォークリフト５０の前後方向に設定される。Ｙ２軸はフォークリフト５０の横方向に設定される。Ｘ３軸はパレット６１の奥行き方向に設定される。Ｙ３はパレット６１の横方向に設定される。Ｚ１軸、Ｚ２軸、及びＺ３軸は上下方向に設定される。

【0026】

パレット６１の穴部６１ｂにフォーク２５を差し込むためには、フォーク２５の高さ位置（上下方向の位置）、リーチ位置（前後方向の位置）、及びチルト角度（水平方向に対する傾き）をパレット６１の前面６１ａ（穴部６１ｂ）の位置、姿勢、及びパレット６１のピッチ角度θ１に合わせて制御する必要がある。本明細書では、パレット６１の位置とは、パレット座標系Ｘ３・Ｙ３・Ｚ３の原点の三次元空間中における位置を意味するものとする。パレット６１の姿勢とは、前面６１ａの鉛直軸周りのヨー姿勢を意味するものとする。パレット６１のピッチ角度θ１とは、Ｘ３軸の水平方向に対する角度を意味するものとする。物品検出装置１００は、撮影部３２でパレット６１を検出するため、まず、カメラ座標系Ｘ１・Ｙ１・Ｚ１におけるパレット６１の位置、姿勢、及びピッチ角度θ１を取得する。次に、物品検出装置１００は、パレット６１の位置、姿勢、及びピッチ角度θ１をフォーク座標系Ｘ２・Ｙ２・Ｚ２に変換する。これにより、フォークリフト５０は、フォーク２５を穴部６１ｂに挿入する直前の状態において、フォーク２５の先端部が穴部６１ｂの入口部に配置され、フォーク２５のチルト角度をパレット６１のピッチ角度θ１と略一致するように制御する。

【0027】

制御部１１０は、装置を統括的に管理するＥＣＵ[Electronic Control Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵは、複数の電子ユニットから構成されていてもよい。図２に示すように、制御部１１０は、画像取得部１０１と、特徴面設定部１０２と、情報画像作成部１０３（第１の情報画像作成部、第２の情報画像作成部）と、演算部１０４（第１の演算部、第２の演算部）と、調整部１０６と、運転制御部１０７と、記憶部１０８と、を備える。

【0028】

画像取得部１０１は、フォークリフト５０の車体５１の周囲を撮影した周囲画像を取得する。

【0029】

周囲画像は、魚眼カメラで取得された画像である。すなわち、撮影部３２は、魚眼カメラによって構成されている。魚眼カメラは、一般的な魚眼レンズを有することで、単眼で略１８０°の広視野で撮影を行うことができるカメラである。図４は、周囲画像の一例を示す図である。周囲画像は広視野で撮影されるため、図４に示すように、縁部に近い部分ほど、大きく湾曲するような画像となる。なお、図４では、パレット６１を配置した棚６０以外の周囲の構造物は省略されている。また、棚６０には中段にパレット６１Ａのみが配置され、上段にパレット６１Ｂのみが配置されている。ただし、棚６０には、多数のパレット６１が配置されてよい。また、パレット６１Ａ，６１Ｂ上の荷は省略されている。また、棚６０の前面６０ａ及びパレット６１の前面６１ａが写されている。周囲画像中では、棚６０及びパレット６１は、縁部側に湾曲した状態で表示される。

【0030】

なお、撮影部３２を構成するカメラのレンズは魚眼レンズに限定されない。撮影部３２は、フォークリフト５０が棚６０から離れた位置、及び棚６０に近接した位置の両方にて、パレット６１の画像を取得できる程度の画角を有していればよい。すなわち、撮影部３２は、フォークリフト５０の前方の様子及び横側の様子を同時に撮影できるような広視野のカメラであればよい。なお、撮影部３２は、広視野で画像を撮影できればよく、広角カメラが採用されてもよい。また、撮影部３２は、複数方向に向けられた複数のカメラを組み合わせることで、広視野の画像を撮影してもよい。

【0031】

特徴面設定部１０２は、パレット６１の前面６１ａの特徴が投影される特徴面ＳＦ（図５参照）を設定する。

【0032】

情報画像作成部１０３は、周囲画像に基づいて、パレット６１の前面６１ａに関する情報を認識し易い状態に変換した第１の情報画像を作成する。情報画像作成部１０３は、特徴面ＳＦを用いて情報画像を作成する。

【0033】

演算部１０４は、第１の情報画像に基づいて、荷役対象のパレット６１を検出する。また、演算部１０４は、情報画像に基づいて、荷役対象のパレット６１の前面６１ａの位置及び姿勢を演算する。

【0034】

運転制御部１０７は、演算部１０４によって演算されたパレット６１の前面６１ａの位置及び姿勢に関する情報に基づいて、車体５１の位置や姿勢を制御する。なお、運転制御部１０７は、物品検出装置１００の制御部１１０とは別個の制御ユニットとして構成されていてもよい。この場合、物品検出装置１００の制御部１１０は、演算結果を運転制御部１０７の制御ユニットへ出力し、運転制御部１０７は、物品検出装置１００の演算結果に基づいて運転制御を行う。

【0035】

ここで、物品検出装置１００は、公知の手法を用いて第１の情報画像の作成、及びパレット６１の前面６１ａの位置及び姿勢の演算を行う。物品検出装置１００は、周囲画像からカメラ座標系の任意の位置姿勢に設置した投影面（特徴面ＳＦ）に指定した解像度（ｍｍ／画素）で投影した画像を生成する公知の手法を用いる。また、物品検出装置１００は、パレット６１の前面近傍に設置した投影面の第１の情報画像からパレット６１を検出し、カメラ座標系におけるおよその位置・姿勢を推定する公知の手法を用いる。また、物品検出装置１００は、カメラ座標系におけるおよその位置・姿勢を初期値としてパレットの位置と鉛直軸周りの姿勢（ヨー姿勢）を推定する公知の手法を用いる。なお、これらの公知の手法として、国際公開番号：ＷＯ２０２０／１８９１５４Ａ１に記載された手法を用いてよい。

【0036】

図５及び図６を参照して、特徴面ＳＦ（投影面）及び第１の情報画像について詳細に説明する。なお、以降の図５及び図６の説明は一実施形態に過ぎず、当該実施形態に限定されるものではない。図５（ａ）は、棚６０に対して特徴面ＳＦが設定された様子を示す斜視図である。図５（ｂ）は、特徴面ＳＦと複数の視点Ｖ１，Ｖ２，Ｖ３との位置関係を示す概略平面図である。図６は、特徴面ＳＦを用いて作成された情報画像を示す。

【0037】

特徴面ＳＦは、情報画像を作成するために三次元空間上に仮想的に設定される平面状の投影面である。なお、特徴面ＳＦに関する位置や姿勢は、設定する段階で既知となっている情報である。情報画像は、周囲画像が取得された位置で取得される情報を、認識し易い状態に変換した画像である。周囲画像が取得された位置で取得される情報は、当該位置から見たときの棚６０及びパレット６１の各部位の位置や大きさなどの情報を含む。後述の情報画像作成部１０３は、周囲画像を特徴面ＳＦに投影することによって、情報画像を作成する。

【0038】

特徴面ＳＦは、パレット６１の前面６１ａの特徴が投影される投影面である。従って、特徴面ＳＦは、当該特徴面ＳＦに投影された情報画像の中に、パレット６１の前面６１ａの特徴が示されるように設定される。すなわち、特徴面ＳＦは、パレット６１の前面６１ａの特徴を的確に示すことができるような箇所に設定された投影面である。このように設定された特徴面ＳＦに投影されたパレット６１の前面６１ａの情報画像では、前面６１ａの特徴を示す情報が、画像認識処理で容易に認識できるような態様で示されることになる。前面６１ａの特徴とは、画像中において他の物品と区別できるような、前面６１ａに独特の外観的特徴のことを意味する。前面６１ａの特徴を示す情報とは、当該前面６１ａを特定することができる形状情報や寸法情報などである。

【0039】

例えば、パレット６１の前面６１ａは、幅方向に延びる長方形の形状を有し、二つの穴部６１ｂを有するという特徴がある。このようなパレット６１の前面６１ａ及び穴部６１ｂは、周囲画像中では歪んで表示されるため（図４参照）、形状を特定し難いことに加え、寸法も把握することが難しく、画像認識処理によって特徴として検出することが困難である。これに対し、特徴面ＳＦに投影された画像では、このようなパレット６１の前面６１ａ及び穴部６１ｂの形状が崩れることなく正確に示される。また、特徴面ＳＦに投影された画像では、パレット６１の前面６１ａを特定するためのパレットの幅及び高さ寸法、及び一対の穴部６１ｂ間の寸法も測定可能な態様で示されている。特徴面ＳＦに投影された画像中では、パレット６１の前面６１ａの特徴が的確に示されている。すなわち、特徴面ＳＦに投影された画像中では、前面６１ａの特徴を示す情報が、画像認識処理によって容易に認識できるように変換された形で表示されている。このように、特徴面設定部１０２は、パレット６１の前面６１ａの特徴を示す情報を認識し易くなるような箇所に、特徴面ＳＦを設定する。

【0040】

ここで、情報画像は、特徴面ＳＦが荷役対象のパレット６１の前面６１ａ自体に設定されたときに、最も正確に前面６１ａの形状的特徴及び寸法的特徴を示すことができる。しかしながら、荷役対象のパレット６１を特定できていない段階（物品の状態が未知の場合）では、当該パレット６１の前面６１ａ自体に特徴面ＳＦを設定することは出来ない。従って、特徴面設定部１０２は、パレット６１周辺の構造物の部位に対して、特徴面ＳＦを設定する。特徴面設定部１０２は、図５（ａ）に示すように、棚６０の前面６０ａに対して特徴面ＳＦを設定する。各パレット６１の前面６１ａは、前面６０ａに設定された特徴面ＳＦと略一致するか、近接した位置にて略平行な状態で配置される。よって、棚６０の前面６０ａに設定された特徴面ＳＦに投影された情報画像は、各パレット６１の前面６１ａの特徴を十分に示す画像となる。

【0041】

図５（ｂ）に示すように、特徴面ＳＦ上に存在しているものは、どの視点から投影した画像であっても、実際にものが存在する位置に投影される。具体的には、棚６０の前面６０ａの一方の端部Ｐ１及び他方の端部Ｐ２は、特徴面ＳＦ上に存在している。よって、視点Ｖ１，Ｖ２，Ｖ３のいずれの視点から投影しても、情報画像中の端部Ｐ１，Ｐ２の位置は一定である。それに対し、棚６０の後面の端部Ｐ３は、視点Ｖ１から投影した場合、特徴面ＳＦ上の投影点Ｐ４の位置に投影される。そして、端部Ｐ３は、視点Ｖ２から投影した場合、特徴面ＳＦ上の投影点Ｐ４とは異なる投影点Ｐ５の位置に投影される。このように、三次元空間上で特徴面ＳＦ上に存在していないものは、情報画像中の位置も、視点によって変化する。一方、三次元空間上で特徴面ＳＦ上に存在するものは、視点によらず情報画像中で実際の形状的特徴や寸法的特徴などを維持する。なお、実際の撮影部３２は、棚６０を通り過ぎた視点Ｖ３の位置までは移動しないが、説明のために視点Ｖ３を例示した。

【0042】

図６において、ハッチングが示されている箇所は、特徴面ＳＦ上、又は特徴面ＳＦに近接する位置に存在する箇所である。当該箇所は、視点が変わったとしても情報画像中での位置は略一定となる。ここでは、棚６０の前面６０ａ、及び各パレット６１Ａ，６１Ｂの前面６１Ａａ，６１Ｂａは、視点によらず、情報画像中で一定の位置及び大きさで示される。ここで、情報画像作成部１０３は、情報画像に対し、一つの画素に相当する寸法を対応付けている。すなわち、情報画像中の一画素が、実際の寸法としてはどの程度の大きさを示すかが一義的に決められている。よって、棚６０の前面６０ａ、及び各パレット６１Ａ，６１Ｂの前面６１Ａａ，６１Ｂａは、どの視点から投影したときの情報画像であるかに関わらず、情報画像中の大きさが一定となる。その一方、三次元空間上で特徴面ＳＦ上に存在していないものは、視点の変化によって情報画像中の位置が変動する。例えば、図６のハッチングを付した以外の箇所のうち、実線で示すものは、視点Ｖ１から見た時の様子を示し、一点鎖線は、視点Ｖ２から見た時の様子を示し、二点鎖線は、視点Ｖ３から見た時の様子を示す。

【0043】

演算部１０４（図２参照）は、上述のような第１の情報画像の画素とパレット６１の前面６１ａの寸法との関係に基づいて、パレット６１に関する演算を行う。すなわち、第１の情報画像中では、一画素に相当する実際の寸法が一義的に決められている。よって、演算部１０４は、荷役対象のパレット６１の前面６１ａの実寸情報を記憶部１０８から読み出し、当該実寸情報と適合する物を情報画像中から抽出することで、前面６１ａを検出することができる。演算部１０４が情報画像の中で荷役対象のパレット６１の前面６１ａを検出した時、パレット６１の前面６１ａと情報画像を生成した時の特徴面は略一致している。特徴面ＳＦの三次元位置及び姿勢は既知であるため、情報画像中のパレット６１の検出位置に基づいてパレット６１の三次元位置及び姿勢を演算でき、荷役対象のパレット６１の前面６１ａを特定することができる。

【0044】

調整部１０６（図２参照）は、第１の情報画像を作成するための条件を調整することで、演算部１０４での演算精度を向上する。調整部１０６は、荷役対象のパレット６１が検出された後、当該パレット６１の前面６１ａと一致する特徴面ＳＦを求める。具体的には、情報画像を作成した時の三次元面の方程式を構成するパラメータを変動させ、情報画像内のパレット６１の前面６１ａの位置や姿勢を算出し直し、エッジテンプレートとの一致度が最大となる情報画像を与えるパラメータを求める。

【0045】

図２に戻り、物品検出装置１００は、パレット６１のピッチ角度θ１を演算することができる。そのため、情報画像作成部１０３は、パレット６１のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する。また、演算部１０４は、第２の情報画像に基づいてパレット６１のピッチ角度θ１を演算する。まず、情報画像作成部１０３及び演算部１０４がこれらの演算を行うために用いる公知の手法について説明する。

【0046】

情報画像作成部１０３は、周囲画像をパノラマ（正距円筒）画像に変換する公知の手法を用いることによって、図７（ａ）に示すようなパノラマ画像を作成する。演算部１０４は、パノラマ画像からハフ変換により鉛直直線の投影曲線を検出する公知の手法を用いる。また、演算部１０４は、検出した鉛直直線群のハフ空間上の位置からカメラ座標系における鉛直方向ベクトルを導出する公知の手法を用いる。

【0047】

具体的に、演算部１０４は、図７（ａ）のパノラマ画像の中からエッジ点を検出する。例えば、部屋の壁同士の角部ＣＲには、鉛直方向に延びるような三次元直線が確認される。このような三次元直線は、パノラマ画像の中では湾曲曲線として示される。従って、角部ＣＲのエッジ点を検出すると、図８（ａ）に示すような曲線を描くようなエッジ点列が検出される。図８（ａ）の横軸はパノラマ画像中の横位置を示し、縦軸はパノラマ画像中の鉛直位置を示す。演算部１０４は、各エッジ点についてハフ変換を行う。各エッジ点でのハフ変換後のパラメータ空間での投票位置を図８（ｂ）に示す。同一の三次元直線上のエッジ点の投票位置はパラメータ空間上の１点で交わり高いスコアを示す。図８（ｂ）の横軸は三次元直線の水平位置を示し、縦軸は三次元直線が垂直となす傾きを示す。演算部１０４は、図８（ｂ）のパラメータ空間で高いスコアを示す位置として三次元直線を検出する。さらに、検出した三次元直線の水平位置と垂直となす傾きから三次元直線を含む３次元平面を特定する。角部ＣＲの三次元直線に平行な二本以上の三次元直線が検出できれば、三次元平面の交線として、カメラ座標系における角部ＣＲの三次元直線の方向ベクトルを推定する。このようなパノラマ画像において三次元直線を検出しその方向ベクトルを求める手法は、鉛直直線に限らず、鉛直方向に近い傾きを持つ三次元平行直線群に適用できる。さらに、当該手法においては多数の三次元平行直線群を活用することにより頑健性および精度を向上させたが、原理的には平行な三次元直線を少なくとも二本検出できればカメラ座標系における三次元直線の方向ベクトルを求めることができる。従って、情報画像作成部１０３及び演算部１０４は、以降の処理を行うことで、パレット６１のピッチ角度θ１を演算する。

【0048】

情報画像作成部１０３は、第１の情報画像を用いることで検出されたパレット６１の周囲の周囲画像に基づいて、第２の情報画像を作成する。情報画像作成部１０３は第２の情報画像を作成するにあたり、パレット６１に荷６２が積まれた第１の場合（図９（ａ）参照）と、パレット６１に荷６２が積まれていない第２の場合（図９（ｂ）参照）における第２の情報画像を作成する。情報画像作成部１０３は、第１の場合において、撮影部３２の天頂方向ＣＬ１（上下方向）を中心軸としたパノラマ画像を第２の情報画像として作成する。当該パノラマ画像を図１０に示す。情報画像作成部１０３は、第２の場合において、撮影部３２の光軸方向ＣＬ２を中心軸としたパノラマ画像を第２の情報画像として作成する。当該パノラマ画像を図１１に示す。

【0049】

演算部１０４は、第２の情報画像に含まれる、特定方向へ延びるパレット６１に関するエッジ候補を少なくとも２つ抽出し、エッジ候補から、パレット６１のピッチ角度を示す三次元方向ベクトルを演算する。また、演算部１０４は、第２の情報画像から、エッジ候補を、荷役対象の横方向の一方側（左側）、及び他方側（右側）のそれぞれから抽出する。ここでの荷役対象とは、荷６２が積まれていないパレット６１のみの場合と、荷６２が積まれたパレット６１及び荷６２の組み合わせの場合の両方を含む。

【0050】

具体的に、図９（ａ）に示すように、パレット６１に段ボール箱など直方体形状の荷６２が積載されている場合、荷６２の左右両端のエッジ６２ａ，６２ｂを含む略鉛直方向（特定方向）の三次元平行直線群が存在する。演算部１０４は、それらのエッジ６２ａ，６２ｂに基づいて得られる特定方向の三次元方向ベクトルＶＣ１からパレット６１のピッチ角度を示す三次元方向ベクトルＶＣ２を演算できる。本実施形態では、エッジ６２ａ，６２ｂは、ピッチ角度検出部位として用いられる。

【0051】

まず、演算部１０４は、第１の情報画像を用いて、カメラ座標系におけるパレット６１の位置及び姿勢を取得できる。従って、演算部１０４は、パノラマ画像上でのパレット６１上の荷６２のエッジ６２ａ，６２ｂの出現領域Ｅ１Ａ，Ｅ２Ａを予測できる（図９（ａ）及び図１０参照）。演算部１０４は、パノラマ画像上の出現領域Ｅ１Ａ，Ｅ２Ａにおいてエッジ６２ａ，６２ｂの三次元直線の投影曲線を検出する。

【0052】

図９（ａ）に示すように、演算部１０４は、検出したエッジ６２ａ，６２ｂによる二本（あるいは二本以上）の三次元直線の投影曲線から、特定方向の三次元方向ベクトルＶＣ１を推定する。演算部１０４は、推定した三次元方向ベクトルＶＣ１から、パレット６１のピッチ角度を示す三次元方向ベクトルＶＣ２を演算する。三次元方向ベクトルＶＣ２は、穴部６１ｂが延びる方向を示しており、三次元方向ベクトルＶＣ１と垂直であって、パレット６１の横方向と垂直な方向である。

【0053】

図９（ｂ）に示すように、荷６２が積載されていないパレット６１では、パレット６１自身の上面の左右のエッジ６１ｃ，６１ｄを含む略前後方向（特定方向）の三次元平行直線群が存在する。演算部１０４は、それらのエッジ６１ｃ，６１ｄに基づいて得られる特定方向の三次元方向ベクトルＶＣ１からパレット６１のピッチ角度を示す三次元方向ベクトルＶＣ２を演算できる。本実施形態では、エッジ６１ｃ，６１ｄは、ピッチ角度検出部位として用いられる。

【0054】

まず、演算部１０４は、第１の情報画像を用いて、カメラ座標系におけるパレット６１の位置及び姿勢を取得できる。従って、演算部１０４は、パノラマ画像上でのパレット６１の上面のエッジ６１ｃ，６１ｄの出現領域Ｅ１Ｂ，Ｅ２Ｂを予測できる（図９（ｂ）及び図１１参照）。演算部１０４は、図８で説明した手法により、パノラマ画像上の出現領域Ｅ１Ｂ，Ｅ２Ｂにおいてエッジ６１ｃ，６１ｄの三次元直線の投影曲線を検出する。

【0055】

図９（ｂ）に示すように、演算部１０４は、検出したエッジ６１ｃ，６１ｄによる二本（あるいは二本以上）の三次元直線の投影曲線から、特定方向の三次元方向ベクトルＶＣ１を推定する。演算部１０４は、推定した三次元方向ベクトルＶＣ１から、パレット６１のピッチ角度を示す三次元方向ベクトルＶＣ２を演算する。三次元方向ベクトルＶＣ２は、穴部６１ｂが延びる方向を示しており、三次元方向ベクトルＶＣ１そのものとなる。

【0056】

ここで、出現領域Ｅ１Ａ，Ｅ２Ａ，Ｅ１Ｂ，Ｅ２Ｂ内のエッジ点をハフ変換したときのスコアは、検出できた二次元投影線の長さに相当する。出現領域Ｅ１Ａ，Ｅ２Ａ，Ｅ１Ｂ，Ｅ２Ｂの縦長さが理想とする長さなので、それに対するスコアの比率により、出現領域Ｅ１Ａ，Ｅ２Ａ，Ｅ１Ｂ，Ｅ２Ｂ内にエッジが存在したかどうかを判定できる。よって、演算部１０４は、第２の情報画像のうち、エッジ候補を抽出するための特定領域において、エッジ点のハフ変換を行い、得られた直線の長さが所定以上の場合、特定領域内にエッジ候補が存在すると判断する。

【0057】

実際にはパレット６１に荷６２が積まれていないときに、演算部１０４が、荷６２が積まれていると想定して処理した場合、図１２（ａ）に示すように出現領域Ｅ１Ａ，Ｅ２Ａ内には十分なエッジが存在せず、この比率が小さくなることから、荷６２が積まれていないと判定できる。実際には荷６２が積まれているときに、荷６２が積まれていないと想定して処理した場合、図１２（ｂ）のように出現領域Ｅ１Ｂ，Ｅ２Ｂ内のパレット６１の上面の左右エッジは荷６２に隠蔽されて投影曲線は得られずスコアの比率が小さくなり、荷６２が積まれていると判定できる。多くの場合、どちらか一方だけが有効な結果を得るので、そちらを採用する。ただし荷６２が積まれていると想定した場合のパノラマ画像では背景に多くの縦方向の直線が投影される場合がある。従って、荷６２を積んでいないにもかかわらず、出現領域Ｅ１Ａ，Ｅ２Ａ内に直線が検出されることがある。このときは荷６２を積んでないと想定した処理でも直線が得られる。よって両者で有効な結果を得た場合は、荷６２がないと想定した処理での結果を採用する。

【0058】

以上より、情報画像作成部１０３は、天頂方向ＣＬ１を中心軸とした第２の情報画像と、光軸方向ＣＬ２を中心軸とした第２の情報画像の両方を作成する。また、演算部１０４は、どちらの第２の情報画像においても有効な結果を得た場合は、光軸方向ＣＬ２を中心軸とした第２の情報画像での結果を採用する。

【0059】

演算部１０４は、第１の情報画像で得たカメラ座標系におけるパレット６１の位置及び姿勢と、第２の情報画像で得た穴部６１ｂの方向の情報を、カメラ座標系とフォーク座標系との間のキャリブレーション手法で得た関係により、フォーク座標系に変換する。これにより、演算部１０４は、フォーク座標系での穴部６１ｂの方向からパレット６１のピッチ角度θ１を演算する。

【0060】

ここで、カメラ座標系とフォーク座標系との間のキャリブレーション手法について説明する。図１３に示すように、撮影部３２は、フォーク２５のバックレストに固定されているため、フォーク２５の上下方向の移動と共に上下方向へ移動する。これによりフォーク２５の移動前後でカメラ座標系とフォーク座標系の関係は変わらない。なお、撮影部３２の取り付け位置によってはフォーク２５の移動前後でカメラ座標系とフォーク座標系の関係が変わる。この場合は、移動の度にカメラ座標系―フォーク座標系間キャリブレーションを行うか、フォークリフト５０の内部センサからフォーク座標系の移動量を得て、カメラ座標系とフォーク座標系の関係を更新する必要がある。

【0061】

本実施形態では、フォークリフト５０による作業開始前に、フォーク２５に寸法既知の長方形のパネル４０を配置する。このとき、前側の横エッジ４０ａの中央がフォーク座標系の原点に一致し、横エッジ４０ａ，４０ｂがフォーク座標系のＹ２軸と平行になり、縦エッジ４０ｃ，４０ｄがフォーク座標系のＸ２軸と平行になる。つまりパネル４０の中央には、パネル４０の位置・姿勢を示すＸ４・Ｙ４・Ｚ４軸のパネル座標系（図１３参照）を設定するが、それらが、フォーク座標系のＸ２・Ｙ２・Ｚ２軸と平行になる。

【0062】

次に、図１４に示すように、情報画像作成部１０３は、周囲画像に基づいてフォーク２５上面近傍に設定した特徴面に基づいて第１の情報画像を作成する。演算部１０４は、当該第１の情報画像からパネル４０を検出し、カメラ座標系におけるパネル４０の位置及び姿勢を演算する。このとき、パネル４０のＸ４軸の方向は初期設定のままである。そのため、投影像とパネル４０の上面図との間にはずれがある。従って、演算部１０４は、次の方法でＸ４軸、及びＹ４軸のカメラ座標系における方向を推定する。

【0063】

情報画像作成部１０３は、パレット６１の上面の左右エッジの三次元方向ベクトルを求めたのと同様に、撮影部３２の光軸方向を疑似的に鉛直方向とみなして周囲画像を図１５に示すようなパノラマ画像に変換して第２の情報画像を作成する。また、演算部１０４は、当該第２の情報画像に基づいて、パネル４０の左右の縦エッジ４０ｃ，４０ｄのカメラ座標系における縦方向ベクトルを求める。

【0064】

情報画像作成部１０３は、パネル４０の前後の横エッジ４０ａ，４０ｂの方向ベクトルを求めるために、撮影部３２の真横方向を疑似的に鉛直方向とみなして周囲画像を図１６に示すようなパノラマ画像に変換して第２の情報画像を作成する。また、演算部１０４は、当該第２の情報画像に基づいて、パネル４０の上下の横エッジ４０ａ，４０ｂのカメラ座標系における横方向ベクトルを求める。

【0065】

演算部１０４は、パネル４０の縦方向ベクトル及び横方向ベクトルから残り１軸の方向ベクトルを求めてカメラ座標系におけるパネルの姿勢を更新する。このように、姿勢が精度よく計測できたので投影像とパネル４０の上面図との間のずれを解消することができる。位置推定精度を高めるために、カメラ座標系におけるパネルの姿勢を更新後の姿勢に固定して、情報画像作成部１０３及び演算部１０４は、第１の情報画像によるカメラ座標系におけるパネル４０の位置を求めなおす。求めたカメラ座標系におけるパネル４０の位置・姿勢を示すパネル座標系について、演算部１０４は、パネル４０の中心からフォーク座標系原点へのオフセットを考慮して、カメラ座標系でのフォーク座標系の位置・姿勢を求める。ここでは、パネル座標系をパネル４０の縦方向の半分の長さだけオフセットすることで、フォーク座標系に変換することができる。

【0066】

次に、図１７～図２０を参照して、本実施形態に係る物品検出方法の内容について説明する。図１７～図２０は、物品検出方法の処理内容を示すフロー図である。図１７～図２０に示す処理内容は、物品検出装置１００の制御部１１０によって実行される。ただし、図１７～図２０に示す処理内容は一例に過ぎず、これに限定されるものではない。

【0067】

図１７に示すように、制御部１１０の画像取得部１０１は、車体５１の周囲を撮影した周囲画像を取得する画像取得ステップを実行する（ステップＳ１）。特徴面設定部１０２及び情報画像作成部１０３は、周囲画像に基づいて、パレット６１の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成ステップを実行する（ステップＳ２）。演算部１０４及び調整部１０６は、第１の情報画像に基づいて、パレット６１の荷役対象部位の位置及び姿勢を演算する第１の演算ステップを実行する（ステップＳ３）。次に、情報画像作成部１０３は、パレット６１のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成ステップを実行する（ステップＳ４）。演算部１０４は、第２の情報画像に含まれる、特定方向へ延びるパレット６１に関するエッジ候補を第１の演算ステップＳ３の演算結果に基づいて、少なくとも２つ抽出し、エッジ候補から、パレット６１のピッチ角度を示す三次元方向ベクトルを演算することで、ピッチ角度を演算する第２の演算ステップを実行する（ステップＳ５）。運転制御部１０７は、演算ステップＳ３，Ｓ５の演算結果に基づいてフォークリフト５０の運転制御を行う運転制御ステップを実行する（ステップＳ６）。

【0068】

次に、図１８～図２０を参照して、第２の情報画像作成ステップＳ４及び第２の演算ステップＳ５の詳細な内容について説明する。図１８に示すように、情報画像作成部１０３は、周囲画像を取得する（ステップＳ１０）。情報画像作成部１０３は、パレット６１上に荷６２があると想定して撮影部３２の天頂方向を中心軸としたパノラマ画像を第２の情報画像として生成する（ステップＳ２０）。演算部１０４は、パノラマ画像上でのパレット６１上の荷６２の縦エッジの出現領域Ｅ１Ａ，Ｅ２Ａ（図９（ａ）参照）を予測する（ステップＳ３０）。演算部１０４は、出現領域Ｅ１Ａ，Ｅ２Ａ内のエッジ点をハフ変換する（ステップＳ４０）。

【0069】

演算部１０４は、ハフ変換後のスコアが閾値以上か否かを判定する（ステップＳ５０）。ステップＳ５０において、スコアが閾値より小さいと判定された場合、演算部１０４は、荷有りではないフラグをたて（ステップＳ６０）、図１９の処理へ移行する。一方、ステップＳ５０において、スコアが閾値以上であると判定された場合、演算部１０４は、荷有りフラグをたてる（ステップＳ７０）。次に、演算部１０４は、出現領域Ｅ１Ａ，Ｅ２Ａ内の三次元直線の方向ベクトルを推定する（ステップＳ８０）。演算部１０４は、方向ベクトルをパレット６１の穴部６１ｂの方向に変換したものを「Ｇ」とする（ステップＳ９０）。

【0070】

図１９に示すように、情報画像作成部１０３は、パレット６１上に荷６２がないと想定して撮影部３２の光軸方向を中心軸としたパノラマ画像を第２の情報画像として生成する（ステップＳ１２０）。演算部１０４は、パノラマ画像上でのパレット６１の上面のエッジの出現領域Ｅ１Ｂ，Ｅ２Ｂ（図９（ｂ）参照）を予測する（ステップＳ１３０）。演算部１０４は、出現領域Ｅ１Ｂ，Ｅ２Ｂ内のエッジ点をハフ変換する（ステップＳ１４０）。

【0071】

演算部１０４は、ハフ変換後のスコアが閾値以上か否かを判定する（ステップＳ１５０）。ステップＳ１５０において、スコアが閾値より小さいと判定された場合、演算部１０４は、荷無しではないフラグをたて（ステップＳ１６０）、図２０の処理へ移行する。一方、ステップＳ１５０において、スコアが閾値以上であると判定された場合、演算部１０４は、荷無しフラグをたてる（ステップＳ１７０）。次に、演算部１０４は、出現領域Ｅ１Ｂ，Ｅ２Ｂ内の三次元直線の方向ベクトルを推定する（ステップＳ１８０）。演算部１０４は、方向ベクトルをパレット６１の穴部６１ｂの方向に変換したものを「Ｐ」とする（ステップＳ１９０）。

【0072】

図２０に示すように、演算部１０４は、荷無しフラグがたっているか否かを判定する（ステップＳ２１０）。ステップＳ２１０において荷無しフラグが立っていると判定された場合、演算部１０４は、「Ｐ」をパレット６１の穴部方向Ｈとする（ステップＳ２２０）。一方、ステップＳ２１０において荷無しフラグが立っていないと判定された場合、演算部１０４は、荷有りフラグが立っているか否かを判定する（ステップＳ２３０）。ステップＳ２３０において荷ありフラグが立っていると判定された場合、演算部１０４は、「Ｇ」をパレットの穴部方向Ｈとする（ステップＳ２４０）。一方、ステップＳ２３０において荷有りフラグが立っていないと判定された場合、演算部１０４は、ピッチ角度計測は失敗であると判定し、図２０に示す処理を終了する（ステップＳ２５０）。

【0073】

ステップＳ２２０，Ｓ２４０の後、演算部１０４は、カメラ座標系におけるパレット６１の位置と姿勢とパレットの穴部方向Ｈをフォーク座標系に変換する（ステップＳ２６０）。これにより、演算部１０４は、フォーク座標系におけるパレット６１の位置、姿勢、ピッチ角度を取得する（ステップＳ２７０）。ステップＳ２７０の処理が終了すると、図２０に示す処理が終了する。

【0074】

次に、物品検出装置１００で用いる撮影部３２のキャリブレーション方法について、図２１を参照して説明する。 まず、フォーク２５にキャリブレーション用のパネル４０を配置するステップを実行する（ステップＳ３００）。次に、パネル４０の中央部とフォーク座標系の原点との位置合わせを行うステップを実行する（ステップＳ３１０）。次に、パネル４０の縦横エッジの方向に関する情報を認識しやすい状態に変換した第２の情報画像を作成するステップを実行する（ステップＳ３２０）。なお、縦横エッジとは、無地のパネルの外枠の縦方向の左右２本のエッジと横方向の上下２本のエッジのことである。次に、第２の情報画像に含まれる、横方向へ延びるパネル４０の横エッジの抽出を行うステップを実行する（ステップＳ３３０）。次に、第２の情報画像に含まれる縦方向に延びるパネル４０の縦エッジの抽出を行うステップを実行する（ステップＳ３４０）。次に、ステップＳ３３０，Ｓ３４０で抽出されたエッジに基づいてカメラ座標系におけるパネル４０の位置・姿勢を求め、フォーク座標系へ変換するステップを実行する（ステップＳ３５０）。以上により、図２１に示す処理が完了する。

【0075】

次に、本実施形態に係る物品検出装置１００、物品検出方法、及びキャリブレーション方法の作用・効果について説明する。

【0076】

本実施形態に係る物品検出装置１００は、演算部１０４（第１の演算部）が、第１の情報画像に基づいて、荷役対象部位であるパレット６１の前面６１ａの位置及び姿勢を演算することができる。また、物品検出装置１００は、演算部１０４の演算結果に基づいて、パレット６１のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する情報画像作成部１０３（第２の情報画像作成部）を備える。このため、情報画像作成部１０３は、パレット６１のピッチ角度を演算するのに適した第２の情報画像を作成することができる。ここで、図９に示すように、第２の情報画像の中で、パレット６１の前面６１ａの位置及び姿勢に基づいて、少なくとも２つのエッジ候補を抽出すれば、特定方向を示す三次元方向ベクトルＶＣ１を演算することができる。また、特定方向を示す三次元方向ベクトルＶＣ１に基づくことで、パレット６１のピッチ角度を示す三次元方向ベクトルＶＣ２を演算することができる。従って、物品検出装置１００は、第２の情報画像に含まれる、特定方向へ延びるパレット６１に関するエッジ候補を少なくとも２つ抽出し、エッジ候補から、パレット６１のピッチ角度を示す三次元方向ベクトルＶＣ２を演算する演算部１０４（第２の演算部）を備える。これにより、物品検出装置１００は、デプスセンサなどの特別なセンサなどを用いなくとも、周囲画像から容易にパレット６１のピッチ角度を演算することが可能となる。以上より、荷役対象であるパレット６１のピッチ角度を容易に取得することができる。

【0077】

情報画像作成部１０３は第２の情報画像を作成するにあたり、物品に荷が積まれた第１の場合と、物品に荷が積まれていない第２の場合における第２の情報画像を作成し、第１の場合において、撮影部３２の天頂方向ＣＬ１を中心軸とした第２の情報画像を作成し、第２の場合において、撮影部３２の光軸方向ＣＬ２を中心軸とした第２の情報画像を作成してよい（図９参照）。これにより、演算部１０４は、パレット６１に荷６２が積まれているか否かに関わらず、パレット６１のピッチ角度を演算することが可能となる。

【0078】

演算部１０４は、第２の情報画像から、エッジ候補を、荷役対象の横方向の一方側、及び他方側のそれぞれから抽出してよい。これにより、演算部１０４は、荷６２の左右のエッジやパレット６１の上面の左右のエッジなどの抽出し易い箇所にて、容易にエッジ候補を抽出することができる。

【0079】

情報画像作成部１０３は、天頂方向ＣＬ１を中心軸とした第２の情報画像と、光軸方向ＣＬ２を中心軸とした第２の情報画像の両方を作成し、演算部１０４は、どちらの第２の情報画像においても有効な結果を得た場合は、光軸方向ＣＬ２を中心軸とした第２の情報画像での結果を採用してよい。天頂方向ＣＬ１を中心軸とした場合、背景にエッジが多いため、正確性に劣る。従って、演算部１０４は、光軸方向ＣＬ２を中心軸とした第２の情報画像での結果を優先的に採用することで、ピッチ角度をより正確に演算することができる。

【0080】

演算部１０４は、第２の情報画像のうち、エッジ候補を抽出するための出現領域Ｅ１Ａ，Ｅ２Ａ，Ｅ１Ｂ，Ｅ２Ｂ（特定領域）において、エッジ点のハフ変換を行い、得られた直線の長さが所定以上の場合、出現領域Ｅ１Ａ，Ｅ２Ａ，Ｅ１Ｂ，Ｅ２Ｂ内にエッジ候補が存在すると判断してよい。これにより、演算部１０４は、エッジ候補が存在するか否かを容易に判断することができる。

【0081】

本実施形態に係るキャリブレーション方法は、物品検出装置１００で用いる撮影部３２のキャリブレーション方法であって、フォーク２５にキャリブレーション用のパネル４０を配置するステップと、パネル４０の中央部とフォーク座標系の原点との位置合わせを行うステップと、パネル４０の縦横エッジの方向に関する情報を認識しやすい状態に変換した第２の情報画像を作成するステップと、第２の情報画像に含まれる、パネル４０の縦エッジ４０ｃ，４０ｄの抽出を行うステップと、第２の情報画像に含まれる、パネルの横エッジ４０ａ，４０ｂの抽出を行うステップと、を備える。

【0082】

このキャリブレーション方法によれば、フォーク２５にパネル４０を配置して位置合わせすることで、カメラ座標系の中におけるパネル４０の位置関係から、フォーク座標系とカメラ座標系との位置関係を把握することが可能となる。また、第２の情報画像からパネル４０の縦エッジ４０ｃ，４０ｄの抽出を行うステップと、第２の情報画像からパネル４０の横エッジ４０ａ，４０ｂの抽出を行うステップとが、実行される。そのため、カメラ座標系の中でのパネル４０の位置関係をより正確に把握することができる。その結果、カメラ座標系を正確にフォーク座標系へ変換することができる。

【0083】

本実施形態に係る物品検出方法は、荷役する物品を検出する物品検出方法であって、物品検出装置の周囲を撮影した周囲画像を取得する画像取得ステップＳ１と、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成ステップＳ２と、第１の情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算する第１の演算ステップＳ３と、物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成ステップＳ４と、第２の情報画像に含まれる、特定方向へ延びる物品に関するエッジ候補を第１の演算ステップＳ３の演算結果に基づいて、少なくとも２つ抽出し、エッジ候補から、物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算ステップＳ５と、を備える。

【0084】

この物品検出方法によれば、上述の物品検出装置１００と同趣旨の作用・効果を得ることができる。

【0085】

本実施形態の効果を確認するための実験を行った。当該実験は、実験スペースにおいてリーチ型フォークリフトのバックレスト上端中央に固定した全方位カメラ（Ricoh ThetaV）で取得した周囲画像をノートPC（Thinkpad X1Extreme）により処理した。

【0086】

図１８～図２０に示すような処理を行い、ピッチ傾斜したパレットのフォーク座標系における位置姿勢の画像計測実験を行った。実験スペースにて 「荷有無：２種×フォーク高さ；３種×パレット傾き：３種」という合計１８枚の周囲画像を取得し、これらの周囲画像に基づいてパレットの位置姿勢を推定した。推定した値に基づいてフォークを制御したときに、フォークを安全にパレットの穴に差し込めるかを評価した結果を図２２に示す。図２２の四角形は、フォークを安全にパレットの穴に差し込めるための計測誤差の許容範囲ＡＥを示す。図２２に示すように、荷ありの２例（パレット検出に失敗）を除く１６枚の周囲画像の全ての推定値（図中のドット）にてエラーが許容範囲ＡＥ内に収まり、良好な推定結果を得られた。

【0087】

本発明は、上述の実施形態に限定されるものではない。

【0088】

例えば、産業車両はフォークリフトに限定されず、バッテリーなどの動力源を備えたハンドリフト（パレットジャッキ）などであってもよい。また、物品はパレットに限定されない。

【0089】

寸法が既知であれば、パネル４０の形状は正方形でもよい。この場合、縦エッジ及び横エッジの求め方は、パネル４０が長方形の場合と同様である。

【0090】

また、縦エッジ４０ｃ，４０ｄや横エッジ４０ａ，４０ｂに相当する部位を検出できれば、パネルの形状は必ずしも長方形や正方形でなくてもよい。例えば、寸法既知の図形がパネル上面に描かれており、第２の情報画像に基づいて、当該図形の左右の縦エッジのカメラ座標系における縦方向ベクトル、及び当該図形の上下の横エッジのカメラ座標系における横方向ベクトルを求めるようにしてもよい。なお、描かれる図形は、長方形または正方形であるのが好ましいが、縦エッジ４０ｃ，４０ｄや横エッジ４０ａ，４０ｂに相当する部位を有していれば、その形状は問わない。

【0091】

キャリブレーションのより具体的な方法は、フォークに図形が描かれたパネルを配置し、当該図形に設定された基準位置とフォーク座標系の原点との位置合わせを行う。そして、図形のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成し、第２の情報画像に含まれる、特定方向へ延びる図形のエッジの抽出を行う。最後に、第２の情報画像における特定方向を他の方向に変換して、図形のエッジの抽出を行う。

【0092】

［形態１］
荷役する物品を検出する物品検出装置であって、
前記物品検出装置の周囲を撮影した周囲画像を取得する画像取得部と、
前記周囲画像に基づいて、前記物品の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成部と、
前記第１の情報画像に基づいて、前記荷役対象部位の位置及び姿勢の少なくとも一方を演算する第１の演算部と、
前記物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成部と、
前記第２の情報画像に含まれる、特定方向へ延びる前記物品に関するエッジ候補を前記第１の演算部の演算結果に基づいて、少なくとも２つ抽出し、前記エッジ候補から、前記物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算部と、を備える、物品検出装置。
［形態２］
前記第２の情報画像作成部は前記第２の情報画像を作成するにあたり、物品に荷が積まれた第１の場合と、物品に荷が積まれていない第２の場合における第２の情報画像を作成し
第１の場合において、前記画像取得部の天頂方向を中心軸とした前記第２の情報画像を作成し、
第２の場合において、前記画像取得部の光軸方向を中心軸とした前記第２の情報画像を作成する、形態１に記載された物品検出装置。
［形態３］
前記第２の演算部は、前記第２の情報画像から、前記エッジ候補を、荷役対象の横方向の一方側、及び他方側のそれぞれから抽出する、形態１又は２に記載された物品検出装置。
［形態４］
前記第２の情報画像作成部は、
前記天頂方向を中心軸とした前記第２の情報画像と、
前記光軸方向を中心軸とした前記第２の情報画像の両方を作成し、
前記第２の演算部は、どちらの第２の情報画像においても有効な結果を得た場合は、前記光軸方向を中心軸とした前記第２の情報画像での結果を採用する、形態２に記載された物品検出装置。
［形態５］
前記第２の演算部は、前記第２の情報画像のうち、前記エッジ候補を抽出するための特定領域において、エッジ点のハフ変換を行い、得られた直線の長さが所定以上の場合、前記特定領域内に前記エッジ候補が存在すると判断する、形態１～４の何れか一項に記載された物品検出装置。
［形態６］
物品検出装置で用いる画像取得部のキャリブレーション方法であって、
フォークにキャリブレーション用のパネルを配置するステップと、
前記パネルの中央部とフォーク座標系の原点との位置合わせを行うステップと、
前記パネルの縦横エッジの方向に関する情報を認識しやすい状態に変換した第２の情報画像を作成するステップと、
前記第２の情報画像に含まれる、前記パネルの縦エッジの抽出を行うステップと、
前記第２の情報画像に含まれる、前記パネルの横エッジの抽出を行うステップと、を備える、キャリブレーション方法。
［形態７］
荷役する物品を検出する物品検出方法であって、
物品検出装置の周囲を撮影した周囲画像を取得する画像取得ステップと、
前記周囲画像に基づいて、前記物品の荷役対象部位に関する情報を認識し易い状態に変換した第１の情報画像を作成する第１の情報画像作成ステップと、
前記第１の情報画像に基づいて、前記荷役対象部位の位置及び姿勢の少なくとも一方を演算する第１の演算ステップと、
前記物品のピッチ角度検出部位に関する情報を認識しやすい状態に変換した第２の情報画像を作成する第２の情報画像作成ステップと、
前記第２の情報画像に含まれる、特定方向へ延びる前記物品に関するエッジ候補を前記第１の演算ステップの演算結果に基づいて、少なくとも２つ抽出し、前記エッジ候補から、前記物品のピッチ角度を示す三次元方向ベクトルを演算する第２の演算ステップと、を備える、物品検出方法。

【符号の説明】

【0093】

３２…撮影部（画像取得部）、５０…フォークリフト（産業車両）、６１…パレット（物品）、６１ａ…前面（荷役対象部位）、６２…荷、１００…物品検出装置、１０１…画像取得部、１０３…情報画像作成部（第１の情報画像作成部、第２の情報画像作成部）、１０４…演算部（第１の演算部、第２の演算部）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】