特開 2024-68320 パレット検出装置及びパレット検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024068320

(43)【公開日】2024-05-20

(54)【発明の名称】パレット検出装置及びパレット検出方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240513BHJP

   G01B 11/00 20060101ALI20240513BHJP

   G01B 11/26 20060101ALI20240513BHJP

【ＦＩ】

G06T7/70 Z

G01B11/00 H

G01B11/26 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022178669

(22)【出願日】2022-11-08

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(72)【発明者】

【氏名】服部 晋悟

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065CC10

2F065FF04

2F065FF41

2F065GG04

2F065JJ03

2F065JJ26

2F065SS09

5L096AA06

5L096AA09

5L096CA02

5L096CA18

5L096DA02

5L096FA32

5L096FA33

5L096FA66

5L096FA67

5L096FA69

5L096GA51

(57)【要約】

【課題】荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を精度良く検出できるパレット検出装置及びパレット検出方法を提供する。
【解決手段】パレット検出装置１２は、パレットに向けて照射された検査光の反射光を検出し、検出結果に対応するデータの点群を取得する取得部（レーザセンサ１４）と、点群の配列状態と各点における反射光の強度とに基づく閾値を算出し、当該閾値から外れたデータを点群から除外する処理部１７と、処理部１７による処理後の点群に基づいて、パレットの位置及び姿勢を検出する検出部１８と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

パレットに向けて照射された検査光の反射光を検出し、検出結果に対応するデータの点群を取得する取得部と、
前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、当該閾値から外れたデータを前記点群から除外する処理部と、
前記処理部による処理後の前記点群に基づいて、前記パレットの位置及び姿勢を検出する検出部と、を備えるパレット検出装置。

【請求項2】

前記処理部は、前記点群における一の点と当該一の点の近傍点との間の距離に前記反射光の強度を加算した指標値を各点において算出し、全点群で算出した前記指標値の平均値及び標準偏差に基づいて前記閾値を算出する請求項１記載のパレット検出装置。

【請求項3】

前記処理部は、前記点群における一の点に対する近傍点の点数に前記反射光の強度を加算した指標値を前記閾値として算出する請求項１記載のパレット検出装置。

【請求項4】

前記処理部は、前記閾値の算出にあたって、前記パレットにおける前記反射光の強度と、前記パレットに支持される荷物の包装体における前記反射光の強度との差に基づいて、前記配列状態と前記反射光の強度との間の重み付けを行う請求項１記載のパレット検出装置。

【請求項5】

前記パレット及び前記パレットに支持される荷物を撮像する撮像部と、
前記撮像部の撮像結果に基づいて前記荷物が包装体によって包装されているか否かを判断する判断部と、を更に備え、
前記処理部は、前記判断部によって前記荷物が前記包装体によって包装されていると判断された場合には、前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、前記判断部によって前記荷物が前記包装体によって包装されていないと判断された場合には、前記点群の配列状態のみに基づく閾値を算出する請求項１～４のいずれか一項記載のパレット検出装置。

【請求項6】

パレットに向けて照射された検査光の反射光を検出し、検出結果に対応するデータの点群を取得する取得ステップと、
前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、当該閾値から外れたデータを前記点群から除外する除外ステップと、
前記除外ステップ後の前記点群に基づいて、前記パレットの位置及び姿勢を検出する検出ステップと、を備えるパレット検出方法。

【請求項7】

前記除外ステップでは、前記点群における一の点と当該一の点の近傍点との間の距離に前記反射光の強度を加算した指標値を各点において算出し、全点群で算出した前記指標値の平均値及び標準偏差に基づいて前記閾値を算出する請求項６記載のパレット検出方法。

【請求項8】

前記除外ステップでは、前記点群における一の点に対する近傍点の点数に前記反射光の強度を加算した指標値を前記閾値として算出する請求項６記載のパレット検出方法。

【請求項9】

前記除外ステップでは、前記閾値の算出にあたって、前記パレットにおける前記反射光の強度と、前記パレットに支持される荷物の包装体における前記反射光の強度との差に基づいて、前記配列状態と前記反射光の強度との間の重み付けを行う請求項６記載のパレット検出方法。

【請求項10】

前記パレット及び前記パレットに支持される荷物を撮像する撮像ステップと、
前記撮像ステップにおける撮像結果に基づいて前記荷物が包装体によって包装されているか否かを判断する判断ステップと、を更に備え、
前記除外ステップでは、前記判断ステップにおいて前記荷物が前記包装体によって包装されていると判断された場合に、前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、前記判断ステップにおいて前記荷物が前記包装体によって包装されていないと判断された場合に、前記点群の配列状態のみに基づく閾値を算出する請求項６～９のいずれか一項記載のパレット検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、パレット検出装置及びパレット検出方法に関する。

【背景技術】

【0002】

フォークリフトに搭載されたセンサの検出結果から荷役対象となるパレットの点群を取得し、取得した点群に基づきパレットの位置及び姿勢を特定するパレット検出装置が知られている（例えば、特許文献１）。特許文献１に記載のパレット検出装置では、センサの第１の検出に対応する点群である第１点群に基づいて点群の近似線を検出し、当該近似線とセンサの第２の検出に対応する点群である第２点群とに基づいて、第２の検出におけるセンサからの光の目標物（パレット）への入射角を算出する。入射角に基づいて、目標物の位置及び姿勢を特定するための点群を第２点群のうちから選択する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１２０７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

パレットに支持される荷物は、落下防止の観点から、包装体によって包装されている場合がある。この場合、包装体の一部がパレットのフォーク穴と重なると、フォーク穴に対しても点群が検出され、パレットの位置及び姿勢の検出精度が低下してしまうことが考えられる。

【0005】

本開示では、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を精度良く検出できるパレット検出装置及びパレット検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一側面に係るパレット検出装置は、パレットに向けて照射された検査光の反射光を検出し、検出結果に対応するデータの点群を取得する取得部と、点群の配列状態と各点における反射光の強度とに基づく閾値を算出し、当該閾値から外れたデータを点群から除外する処理部と、処理部による処理後の点群に基づいて、パレットの位置及び姿勢を検出する検出部と、を備える。

【0007】

このパレット検出装置では、検査光の照射に対するパレットでの反射光の強度と包装体での反射光の強度とが異なることに着目し、反射光の検出に基づく点群の配列状態に反射光の強度を加味して閾値を算出する。これにより、算出した閾値に基づいて、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを容易に区別することが可能となる。閾値から外れたデータを点群から除外することで、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を精度良く検出できる。

【0008】

処理部は、点群における一の点と当該一の点の近傍点との間の距離に反射光の強度を加算した指標値を各点において算出し、全点群で算出した指標値の平均値及び標準偏差に基づいて閾値を算出してもよい。このような閾値を用いることで、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを精度良く区別できる。したがって、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を一層精度良く検出できる。

【0009】

処理部は、点群における一の点に対する近傍点の点数に反射光の強度を加算した指標値を閾値として算出してもよい。このような閾値を用いることで、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを精度良く区別できる。したがって、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を一層精度良く検出できる。

【0010】

処理部は、閾値の算出にあたって、パレットにおける反射光の強度と、パレットに支持される荷物の包装体における反射光の強度との差に基づいて、配列状態と反射光の強度との間の重み付けを行ってもよい。この場合、パレットの材質及び包装体の材質を加味した閾値を算出できる。したがって、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを一層精度良く区別できる。

【0011】

パレット及びパレットに支持される荷物を撮像する撮像部と、撮像部の撮像結果に基づいて荷物が包装体によって包装されているか否かを判断する判断部と、を更に備え、処理部は、判断部によって荷物が包装体によって包装されていると判断された場合には、点群の配列状態と各点における反射光の強度とに基づく閾値を算出し、判断部によって荷物が包装体によって包装されていないと判断された場合には、点群の配列状態のみに基づく閾値を算出してもよい。荷物が包装体によって包装されていないと判断された場合に、閾値の算出に用いるパラメータから反射光の強度が除外されるため、閾値の演算負荷を低減できる。

【0012】

本開示の一側面に係るパレット検出方法は、パレットに向けて照射された検査光の反射光を検出し、検出結果に対応するデータの点群を取得する取得ステップと、点群の配列状態と各点における反射光の強度とに基づく閾値を算出し、当該閾値から外れたデータを点群から除外する除外ステップと、除外ステップ後の点群に基づいて、パレットの位置及び姿勢を検出する検出ステップと、を備える。

【0013】

このパレット検出方法では、検査光の照射に対するパレットでの反射光の強度と包装体での反射光の強度とが異なることに着目し、反射光の検出に基づく点群の配列状態に反射光の強度を加味して閾値を算出する。これにより、算出した閾値に基づいて、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを容易に区別することが可能となる。閾値から外れたデータを点群から除外することで、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を精度良く検出できる。

【0014】

除外ステップでは、点群における一の点と当該一の点の近傍点との間の距離に反射光の強度を加算した指標値を各点において算出し、全点群で算出した指標値の平均値及び標準偏差に基づいて閾値を算出してもよい。このような閾値を用いることで、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを精度良く区別できる。したがって、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を一層精度良く検出できる。

【0015】

除外ステップでは、点群における一の点に対する近傍点の点数に反射光の強度を加算した指標値を閾値として算出してもよい。このような閾値を用いることで、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを精度良く区別できる。したがって、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を一層精度良く検出できる。

【0016】

除外ステップでは、閾値の算出にあたって、パレットにおける反射光の強度と、パレットに支持される荷物の包装体における反射光の強度との差に基づいて、配列状態と反射光の強度との間の重み付けを行ってもよい。この場合、パレットの材質及び包装体の材質を加味した閾値を算出できる。したがって、パレットからの反射に基づく点群と包装体からの反射に基づく点群とを一層精度良く区別できる。

【0017】

パレット及びパレットに支持される荷物を撮像する撮像ステップと、撮像ステップにおける撮像結果に基づいて荷物が包装体によって包装されているか否かを判断する判断ステップと、を更に備え、除外ステップでは、判断ステップによって荷物が包装体によって包装されていると判断された場合に、点群の配列状態と各点における反射光の強度とに基づく閾値を算出し、判断ステップによって荷物が包装体によって包装されていないと判断された場合に、点群の配列状態のみに基づく閾値を算出してもよい。荷物が包装体によって包装されていないと判断された場合に、閾値の算出に用いるパラメータから反射光の強度が除外されるため、閾値の演算負荷を低減できる。

【発明の効果】

【0018】

本開示によれば、荷物が包装体によって包装される場合であっても、パレットの位置及び姿勢を精度良く検出できる。

【図面の簡単な説明】

【0019】

【図1】本開示の一実施形態に係るパレット検出装置が搭載されたフォークリフトを荷役対象のパレットと共に示す概略平面図である。

【図2】本開示の一実施形態に係るパレット検出装置を備えた自動運転システムのブロック図である。

【図3】パレットに支持された荷物が包装体に包装された一例を示す図である。

【図4】図２に示された自動運転システムにより実行される処理手順を示すフローチャートである。

【図5】パレットの検出結果として取得した点群の一例を示す図である。

【図6】配列状態及び反射強度に基づいたフィルタリング処理の詳細を示すフローチャートである。

【図7】図５に示された点群において該当点における距離の算出を説明するための図である。

【図8】配列状態に基づいたフィルタリング処理の詳細を示すフローチャートである。

【図9】変形例に係る配列状態及び反射強度に基づいたフィルタリング処理の詳細を示すフローチャートである。

【図10】変形例に係る配列状態に基づいたフィルタリング処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、図面を参照しながら、本開示の一実施形態に係るパレット検出装置及びパレット検出方法の好適な実施形態について詳細に説明する。

【0021】

図１は、本開示の一実施形態に係るパレット検出装置が搭載されたフォークリフト１を荷役対象のパレット５と共に示す概略平面図である。図１において、フォークリフト１は、車体２と、この車体２の前側に配置され、荷役を行う荷役装置３とを備えている。荷役装置３は、車体２の前端部に取り付けられたマスト４と、このマスト４に昇降可能に取り付けられ、パレット５を持ち上げる一対のフォーク６とを有している。

【0022】

パレット５は、荷物を載せるための荷役台である。パレット５は、荷役装置３により荷役を開始しようとする荷役対象であり、フォークリフト１の前方に位置している。パレット５は、例えば平パレットである。パレット５には、例えば、色及び材質が異なる様々なバリエーションがある。パレット５は、平面視で四角形状を呈している。パレット５は、前面５ａと、この前面５ａと対向する後面５ｂと、前面５ａ及び後面５ｂと直交する二つの側面５ｃとを有している。前面５ａは、フォーク６によりパレット５を持ち上げる際に、フォークリフト１と向き合う面である。パレット５には、一対のフォーク６が差し込まれる二つのフォーク穴７が設けられている。フォーク穴７は、パレット５の前面５ａから後面５ｂまで延びている。フォーク穴７の形状は、例えば正面視で矩形状である。

【0023】

図２は、本開示の一実施形態に係るパレット検出装置１２を備えた自動運転システム１１のブロック図である。図２において、自動運転システム１１は、フォークリフト１の自動運転を実施するシステムである。自動運転システム１１は、フォークリフト１に搭載されている。自動運転システム１１は、パレット検出装置１２と、駆動部２０と、通知部２１とを備えている。駆動部２０は、特に図示はしないが、例えば駆動輪を回転させる走行モータと、操舵輪を転舵させる操舵モータとを有している。通知部２１は、例えば表示器又は警報器等である。

【0024】

パレット検出装置１２は、カメラ１３と、レーザセンサ１４と、制御部１５とを有している。パレット検出装置１２は、レーザセンサ１４が取得したパレット５による点群に基づき、パレット５の位置及び姿勢を特定する。そして、パレット検出装置１２は、特定されたパレット５の位置及び姿勢に基づいて、フォークリフト１の運転を制御する。

【0025】

図３は、パレット５に支持された荷物Ｌが包装体Ｗに包装された一例を示す図である。パレット５に支持された荷物Ｌは、落下防止の観点から、包装体Ｗによって包装されている場合がある。包装体Ｗは、例えば、業務用の梱包用ラップである。梱包用ラップは、例えば、無色透明の樹脂製のラップである。図３の例では、包装体Ｗが荷物Ｌの側面に巻き回されており、包装体の端部Ｗａが荷物Ｌの側面から外れてパレット５のフォーク穴７と重なっている。この場合、フォーク穴７に対して包装体Ｗによる点群が検出され、パレット５の位置及び姿勢の検出精度が低下してしまうことが考えられる。このような問題に対し、本実施形態に係るパレット検出装置１２では、パレット５と包装体Ｗとの間の反射光Ｌ２の強度に着目し、包装体Ｗによる点群を排除することで、パレット５の位置及び姿勢の検出精度の向上が図られている。以下、パレット検出装置１２の各構成要素について詳述する。

【0026】

カメラ１３は、パレット５及びパレット５に支持される荷物Ｌを撮像する撮像部である（図２では荷物Ｌを省略する）。カメラ１３は、制御部１５からの指示に基づき、パレット５及び荷物Ｌを撮像し、撮像画像データＩｍを判断部１６に出力する。カメラ１３及びレーザセンサ１４は、例えば、車体２の前方側に設置されている。

【0027】

レーザセンサ１４は、パレット５に向けて照射された検査光Ｌ１の反射光Ｌ２を検出し、検出結果に対応するデータの点群を取得する取得部である。点群は、レーザ光の反射点の集まりを示すデータ点である。レーザセンサ１４としては、例えば３Ｄ（三次元）のＬｉＤＡＲ（Light Detection And Ranging）が使用される。レーザセンサ１４は、制御部１５の指示に基づき、パレット５に向けてレーザ光である検査光Ｌ１を照射する。そして、レーザセンサ１４は、パレット５にて反射した反射光Ｌ２を検出し、検出結果に対応するデータの点群を取得する。ここで、レーザセンサ１４は、点群の各点の座標値を取得する。座標値については後述する。

【0028】

レーザセンサ１４は、点群の各点の座標値と合わせて、点群の各点における反射光の強度（反射強度）を取得する。パレット５の反射強度は、包装体Ｗの材質にも依るが、一般には包装体Ｗの反射強度よりも相対的に大きい傾向がある。レーザセンサ１４は、例えば、反射強度をデジタル値として取得する。レーザセンサ１４は、例えば、０～２５５の１０進数形式で反射強度を取得する。レーザセンサ１４は、反射強度が大きいほど０に近いデータとして取得してもよく、反射強度が大きいほど２５５に近いデータとして取得してもよい。レーザセンサ１４は、点群の各点の座標値及び反射強度を処理部１７に出力する。

【0029】

制御部１５は、物理的には、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力インターフェース等により構成されている。制御部１５は、機能的には、判断部１６と、処理部１７と、検出部１８と、駆動制御部１９とを有している。

【0030】

判断部１６は、カメラ１３の撮像画像データＩｍに基づいて、パレット５及び荷物Ｌを認識する。判断部１６には、カメラ１３から出力される撮像画像データＩｍが入力される。判断部１６は、撮像画像データＩｍを解析し、荷物Ｌが包装体Ｗによって包装されているか否かを判断する。判断部１６は、判断結果を処理部１７に出力する。

【0031】

処理部１７は、レーザセンサ１４によって取得された点群に対してフィルタリング処理を施す。処理部１７には、レーザセンサ１４から出力される検出結果が入力される。検出結果には、点群の各点における座標値及び反射強度が含まれている。処理部１７は、フィルタリング処理として、点群の配列状態と各点における反射強度とに基づく閾値を算出し、当該閾値から外れたデータを点群から除外する。それにより、処理部１７は、検出結果に含まれる点群のうち、包装体Ｗによる点群を除外し、パレット５による点群のみを抽出する。処理部１７は、フィルタリング処理後の検出結果を検出部１８に出力する。

【0032】

処理部１７は、判断部１６から出力される判断結果に応じてフィルタリング処理の内容を切り替える。処理部１７は、判断部１６によって荷物Ｌが包装体Ｗによって包装されていると判断された場合には、点群の配列状態と各点における反射強度とに基づく閾値を算出する。処理部１７は、判断部１６によって荷物Ｌが包装体Ｗによって包装されていないと判断された場合には、点群の配列状態のみに基づく閾値を算出する。

【0033】

検出部１８は、パレット５の位置及び姿勢を検出する。検出部１８には、処理部１７からのフィルタリング処理後の検出結果が入力される。検出部１８は、フィルタリング処理後の検出結果に含まれる点群に基づいて、パレット５の前面５ａの平面方程式を算出する。そして、検出部１８は、算出されたパレット５の前面５ａの平面方程式に基づいて、二つのフォーク穴７を検知する。続いて、検出部１８は、パレット５の前面５ａの平面方程式を用いて、パレット５の位置及び姿勢を推定する。このとき、検出部１８は、パレット５の姿勢として、パレット５のヨー角、ピッチ角及びロール角を計算する。検出部１８は、パレット５の前面５ａの平面方程式に基づいて、パレット５のヨー角及びピッチ角を計算すると共に、二つのフォーク穴７の位置関係に基づいて、パレット５のロール角を計算する。最終的に、検出部１８は、位置及び姿勢が推定されたパレット５の前面５ａの寸法が予め定められた規定値と合致しているかどうかを最終的に判定する。そして、検出部１８は、判定結果を駆動制御部１９に出力する。

【0034】

駆動制御部１９は、駆動部２０及び通知部２１を制御する。駆動制御部１９には、検出部１８からの判定結果が入力される。駆動制御部１９は、検出部１８によりパレット５の前面５ａの寸法が予め定められた規定値と合致していると判断された場合には、検出部１８により推定されたパレット５の位置及び姿勢に基づいて、フォークリフト１を荷役対象のパレット５の手前の近傍位置まで移動させるように駆動部２０を制御する。また、駆動制御部１９は、検出部１８によりパレット５の前面５ａの寸法が予め定められた規定値と合致していないと判断された場合には、異常がある旨を示す通知情報を通知部２１に出力する。

【0035】

続いて、上述したパレット検出装置１２の動作について説明する。ここでは、パレット検出装置１２を含む自動運転システム１１の動作を説明する。図４は、図２に示された自動運転システム１１により実行される処理手順を示すフローチャートである。なお、本処理は、例えばフォークリフト１の自動運転の開始が指示に従って開始される。

【0036】

図４において、レーザセンサ１４は、パレット５に対してレーザ光（検査光Ｌ１）を照射する（ステップＳ１１）。そして、レーザセンサ１４は、レーザ光の反射光Ｌ２を検出する（ステップＳ１２）。続いて、レーザセンサ１４は、検出結果に対応するデータの点群を取得する（取得ステップ；ステップＳ１３）。

【0037】

図５は、レーザセンサ１４がパレット５の検出結果として取得した点群Ｃ１の一例を示す図である。本実施形態においては、レーザセンサ１４は、Ｘ軸と、Ｘ軸に垂直なＹ軸と、Ｘ軸及びＹ軸に垂直なＺ軸とから構成される三次元座標において、三次元の点群として点群Ｃ１を取得する。点群Ｃ１を構成する各点Ｐには、三次元の座標値が設定される。点群Ｃ１は、パレット対応領域Ｃ１１と、フォーク穴対応領域Ｃ１２とを含んでいる。パレット対応領域Ｃ１１は、パレット５に対応する点群である。図５の例では、パレット対応領域Ｃ１１の前面（パレット５の前面５ａ）は、Ｙ軸及びＺ軸にて定義されるＹＺ平面と平行になる。

【0038】

フォーク穴対応領域Ｃ１２は、二つのフォーク穴７に対応する。フォーク穴７は、無体物であるため、フォーク穴対応領域Ｃ１２には、基本的には点群が存在しない。一方、図３に例示したように、包装体Ｗの端部Ｗａがパレット５のフォーク穴７と重なっている場合では、点群Ｃ１には、包装体対応領域Ｃ１３が出現する。包装体対応領域Ｃ１３は、包装体Ｗに対応する点群である。図３の例では、包装体Ｗの端部Ｗａがパレット５のフォーク穴７と重なっているため、図５の例では、包装体対応領域Ｃ１３がフォーク穴対応領域Ｃ１２に位置している。包装体対応領域Ｃ１３の点密度は、パレット対応領域Ｃ１１の点密度よりも高くなる傾向にある。

【0039】

カメラ１３は、パレット５及びパレット５に支持される荷物Ｌを撮像し（撮像ステップ）、撮像画像データＩｍを判断部１６に出力する。判断部１６は、カメラ１３から撮像画像データＩｍを取得する（ステップＳ１４）。そして、判断部１６は、撮像画像データＩｍに基づいて、ディープラーニング（深層学習）を利用した画像処理技術によって、パレット５及び荷物Ｌを認識する（ステップＳ１５）。更に荷物Ｌが包装体Ｗによって包装されている場合は、判断部１６は、包装体Ｗを認識する（ステップＳ１５）。この際に荷物Ｌが包装体Ｗによって包装されていない場合は、判断部１６は、包装体Ｗを認識しない。ディープラーニングは、人工知能の要素技術の一つである。ディープラーニングとは、十分なデータ量があれば、人間の力なしに機械が自動的にデータから特徴を抽出してくれるディープニュートラルネットワークを用いた学習のことである。ディープラーニングは、入力層と出力層との間の中間層を多層にすることで情報伝達及び処理を増やし、特徴量の精度や汎用性を上げたり、予測精度を向上させたりすることが可能となる。

【0040】

具体的には、判断部１６は、撮像画像データＩｍにおいてパレット５、荷物Ｌ、及び包装体Ｗを取り囲むような枠線を指定する。枠線は、ディープラーニングを利用した物体検知において、bounding boxと称される矩形の枠である。そして、判断部１６は、枠線が指定された撮像画像データＩｍを学習データと比較することにより、パレット５、荷物Ｌ、及び包装体Ｗを認識する。

【0041】

ステップＳ１１～ステップＳ１３によって実施される点群Ｃ１の取得は、ステップＳ１４及びステップＳ１５によって実施されるパレット５、荷物Ｌ、及び包装体Ｗの認識と同時に行われてもよいし、ステップＳ１４及びステップＳ１５よりも後に行われてもよい。

【0042】

判断部１６は、ステップＳ１５の後に、包装体Ｗが認識されたか否かを判断する（判断ステップ；ステップＳ１６）。包装体Ｗが認識された場合（ステップＳ１６；ＹＥＳ）、判断部１６は、荷物Ｌが包装体Ｗによって包装されていると判断し、処理部１７は、配列状態及び反射強度に基づいたフィルタリング処理を行う（除外ステップ；ステップＳ１７）。一方で、包装体Ｗが認識されなかった場合（ステップＳ１６；ＮＯ）、判断部１６は、荷物Ｌが包装体Ｗによって包装されていないと判断し、処理部１７は、配列状態に基づいたフィルタリング処理を行う（除外ステップ；ステップＳ１８）。

【0043】

図６は、配列状態及び反射強度に基づいたフィルタリング処理（ステップＳ１７）の詳細を示すフローチャートである。ステップＳ１７では、まず処理部１７が、該当点と近傍点との距離を算出する（ステップＳ３１）。図７は、図５に示された点群Ｃ１において該当点Ｐ１における距離の算出を説明するための図である。以降の説明においては、図６及び図７を参照しながら説明する。本実施形態では、点群Ｃ１の配列状態を、点群Ｃ１を構成する各点Ｐと複数の近傍点のそれぞれとの間の距離とする。図７では、説明の便宜上、点群Ｃ１における一の点（該当点Ｐ１）と複数の近傍点Ｐ２，Ｐ３との間の距離Ｄ１，Ｄ２として説明する。複数の近傍点Ｐ２，Ｐ３の個数は予め設定されてもよい。図７の例では、複数の近傍点の個数はＰ２及びＰ３の二つであるが、三つ以上でもよい。また、該当点Ｐ１とは点群Ｃ１から選択された一つの点である。該当点Ｐ１は、例えば点Ｐの座標値が原点に近い点から順に選択されてもよい。

【0044】

該当点Ｐ１と複数の近傍点Ｐ２，Ｐ３のそれぞれとの間の距離Ｄ（Ｄ１，Ｄ２）は、式１によって算出される。

【数1】

ここで、Δｘは、該当点Ｐ１におけるｘ座標と近傍点Ｐ２，Ｐ３におけるｘ座標との差である。Δｙは、該当点Ｐ１におけるｙ座標と近傍点Ｐ２，Ｐ３におけるｙ座標との差である。Δｚは、該当点Ｐ１におけるｚ座標と近傍点Ｐ２，Ｐ３におけるｚ座標との差である。例として、該当点Ｐ１と近傍点Ｐ２との間の距離Ｄ１は式１に基づき式２のように算出される。

【数2】

なお、距離Ｄ２は、式２におけるｘ２,ｙ２,ｚ２をｘ３,ｙ３,ｚ３に置き換えて算出される。

【0045】

続いて、処理部１７は、該当点Ｐ１と近傍点Ｐ２，Ｐ３との間の距離Ｄに反射強度を加算して指標値を算出する（ステップＳ３２）。指標値ＩＶは、式３によって算出される。

【数3】

ここで、Ｉｎは、レーザセンサ１４が取得した該当点Ｐ１における反射強度である。また、Ａ及びＢは、重み付けのための係数である。係数Ａ及び係数Ｂの値は、パレット５の反射強度Ｉｎと、包装体Ｗの反射強度Ｉｎとの差に基づいて予め決定される。言い換えれば、処理部１７は、パレット５の反射強度Ｉｎと、包装体Ｗにおける反射強度Ｉｎとの差に基づいて、配列状態と反射強度Ｉｎとの間の重み付けを行う。パレット５の色及び材質によってパレット５の反射強度Ｉｎの値が変わる。それにより、パレット５の反射強度Ｉｎと包装体Ｗの反射強度Ｉｎとの差が変わる。

【0046】

例えば、差が相対的に大きい場合、反射強度Ｉｎの重みを表す係数Ｂの値が係数Ａの値よりも大きくなるように係数Ａ及び係数Ｂの値が決定されてもよい。それにより、パレット５と包装体Ｗとを判別する指標として反射強度Ｉｎの比重が上がる。一方で、例えば、差が相対的に小さい場合、距離Ｄの重みを表す係数Ａの値が係数Ｂの値よりも大きくなるように係数Ａ及び係数Ｂの値が決定されてもよい。それにより、パレット５と包装体Ｗとを判別する指標として距離Ｄの比重が上がる。係数Ａ及び係数Ｂの値は、例えば両者を足して１になるように設定されてもよい。一例としては、係数Ａの値が０．７、係数Ｂの値が０．３とされてもよい。また、係数Ａ及び係数Ｂの値は、点群Ｃ１を構成する全ての点Ｐにおいて共通の値とされてもよいし、点Ｐ毎に異なる値とされてもよい。

【0047】

例として、該当点Ｐ１と近傍点Ｐ２との間の指標値ＩＶ１は、式３に基づき式４のように算出される。

【数4】

なお、該当点Ｐ１と近傍点Ｐ３との間の指標値ＩＶ２は、式４におけるｘ２,ｙ２,ｚ２をｘ３,ｙ３,ｚ３に置き換えて算出される。

【0048】

続いて、処理部１７は、指標値ＩＶを平均化して各点Ｐにおける平均距離ＤＡを算出する（ステップＳ３３）。平均距離ＤＡは式５によって算出される。

【数5】

ここで、ｎは、複数の近傍点の点数を表す。ＩＶｎは、該当点Ｐ１とｎ番目の近傍点との指標値である。処理部１７は、該当点Ｐ１に対する複数の近傍点のそれぞれとの指標値を合計し、近傍点数ｎで除算した値として、平均距離ＤＡを導出する。図７の例では、該当点Ｐ１と近傍点Ｐ２との指標値ＩＶ１に、該当点Ｐ１と近傍点Ｐ３との指標値ＩＶ２を加算した値を、近傍点数である２で除算することによって、該当点Ｐ１の平均距離ＤＡが算出される。ステップＳ３１～ステップＳ３３を点群Ｃ１の全ての点Ｐにおいて実施し、各点Ｐにおいてそれぞれ平均距離ＤＡが算出される。

【0049】

続いて、処理部１７は、全ての点Ｐの平均距離ＤＡの平均値を算出する（ステップＳ３４）。具体的には、全ての点Ｐの平均距離ＤＡを合計した値を全ての点Ｐの総数にて除算することによって、平均値を算出する。その後、処理部１７は、全ての点Ｐの平均距離ＤＡの標準偏差を算出する（ステップＳ３５）。具体的には、処理部１７は、各点Ｐの平均距離ＤＡと平均値との差の２乗を合計し、合計した値を全ての点Ｐの総数で除算し、除算した値の平方根を取ることによって標準偏差を算出する。

【0050】

続いて、処理部１７は、閾値Ｔｈを算出する（ステップＳ３６）。処理部１７は、全ての点Ｐ（全点群）で算出した指標値ＩＶの平均値及び標準偏差に基づいて閾値Ｔｈを算出する。閾値Ｔｈは、式６によって算出される。

【数6】

ここで、ＡＶは、平均値である。σは、標準偏差である。また、Ｃは、閾値Ｔｈの値を調整するための係数である。全ての点Ｐの平均距離ＤＡが正規分布に従うことを想定した場合、係数Ｃの値に応じて、全ての点Ｐのうち何％を閾値Ｔｈに含めるか統計的に算出することができる。例えば、係数Ｃの値を３にした場合、閾値Ｔｈは平均値＋３σとなり、全ての点Ｐの４９．８５％が閾値Ｔｈに含まれることになる。係数Ｃの値は、パレット５の色及び材質に応じて予め設定されてもよい。

【0051】

続いて、処理部１７は、該当点Ｐ１における平均距離ＤＡが閾値Ｔｈ以下であるか否かを判断する（ステップＳ３７）。該当点Ｐ１における平均距離ＤＡが閾値Ｔｈ以下である場合（ステップＳ３７；ＹＥＳ）、処理部１７は、該当点Ｐ１がパレット５による点と判断し、該当点Ｐ１をパレット対応領域Ｃ１１として利用する（ステップＳ３８）。一方で、該当点Ｐ１における平均距離ＤＡが閾値Ｔｈ以下でない場合（ステップＳ３７；ＮＯ）、処理部１７は、該当点Ｐ１が包装体Ｗによる点と判断し、該当点Ｐ１を点群Ｃ１から除外する（ステップＳ３９）。

【0052】

ステップＳ３７～ステップＳ３９の処理では、該当点Ｐ１における平均距離ＤＡが閾値Ｔｈ以下である場合（ステップＳ３７；ＹＥＳ）、処理部１７は、該当点Ｐ１が包装体Ｗによる点と判断し、該当点Ｐ１を点群Ｃ１から除外してもよい。一方で、該当点Ｐ１における平均距離ＤＡが閾値Ｔｈ以下でない場合（ステップＳ３７；ＮＯ）、処理部１７は、該当点Ｐ１がパレット５による点と判断し、該当点Ｐ１をパレット対応領域Ｃ１１として利用してもよい。前述した様に、レーザセンサ１４は、反射強度Ｉｎが大きいほど０に近いデータとして取得してもよいし、或いは、反射強度Ｉｎが大きいほど２５５に近いデータとして取得してもよい。よって、レーザセンサ１４がいずれのデータ取得方法を採用するかに応じて、処理部１７は、ステップＳ３７～ステップＳ３９の処理を変更してもよい。

【0053】

ステップＳ３７～ステップＳ３９の処理を以って、該当点Ｐ１に対する配列状態及び反射強度Ｉｎに基づいたフィルタリング処理（ステップＳ１７）が終了する。処理部１７は、点群Ｃ１を構成する全ての点Ｐに対してステップＳ１７を実施する。それにより、処理部１７は、点群Ｃ１のうち、パレット対応領域Ｃ１１を抽出し、包装体対応領域Ｃ１３を除外する。

【0054】

図８は、配列状態に基づいたフィルタリング処理（ステップＳ１８）の詳細を示すフローチャートである。ステップＳ１７と異なる点のみを説明する。ステップＳ１８では、処理部１７は、該当点Ｐ１と近傍点Ｐ２，Ｐ３との距離Ｄのみに基づいた式７を用いて指標値ＩＶを算出する（ステップＳ４１）。

【数7】

この場合、係数Ａは、指標値ＩＶを調整するための係数として、予め設定されてもよい。ステップＳ４２～ステップＳ４８は、ステップＳ３３～ステップＳ３９と同様である。

【0055】

再び図４を参照する。ステップＳ１７又はステップＳ１８の後、検出部１８は、フィルタリング処理後の検出結果に含まれる点群Ｃ１に基づいて、パレット５の前面５ａの平面方程式を算出する（ステップＳ１９）。検出部１８は、例えばＲＡＮＳＡＣ（Random Sample Consensus）等のロバスト推定法を用いて、点群Ｃ１における平面に相当する点群以外の点群を外れ値として除去することにより、パレット５の前面５ａの平面方程式を求める。ロバスト推定は、計測値に含まれる外れ値の影響を抑えることを目的とした手法である。なお、ロバスト推定法の代わりに最小二乗法等を用いて、パレット５の前面５ａの平面方程式を算出してもよい。

【0056】

続いて、検出部１８は、ステップＳ１９で算出されたパレット５の前面５ａの平面方程式に基づいて、二つのフォーク穴７を検知する（ステップＳ２０）。このとき、点群Ｃ１において、点密度が高い領域がパレット５の前面５ａとして検知され、点密度が低い二つの領域がフォーク穴７として検知される。

【0057】

続いて、検出部１８は、パレット５の前面５ａの平面方程式に基づいて、パレット５の位置とパレット５のヨー角及びピッチ角とを計算する（ステップＳ２１）。パレット５のヨー角は、パレット５の上下方向（高さ方向）を軸とした回転角度である。パレット５のピッチ角は、パレット５の左右方向（幅方向）を軸とした回転角度である。

【0058】

続いて、検出部１８は、ステップＳ２０で検知された二つのフォーク穴７の位置関係に基づいて、パレット５のロール角を計算する（ステップＳ２２）。パレット５のロール角は、パレット５の前後方向（奥行方向）を軸とした回転角度である。具体的には、検出部１８は、二つのフォーク穴７の中心位置を算出し、二つのフォーク穴７の中心位置の関係からパレット５のロール角を計算する。なお、パレット５の位置の推定演算も、二つのフォーク穴７の位置関係に基づいて行ってもよい。

【0059】

続いて、検出部１８は、ステップＳ２１、ステップＳ２２で位置及び姿勢が推定されたパレット５の前面５ａの各部の寸法が予め定められた規定値と合致しているか否かを判定する（ステップＳ２３）。パレット５の前面５ａの各部の寸法としては、パレット５の幅及び高さ、二つのフォーク穴７の寸法及び二つのフォーク穴７の中心間距離等がある。以上説明したステップＳ１９～ステップＳ２３によって、検出ステップが構成される。

【0060】

駆動制御部１９は、パレット５の前面５ａの各部の寸法が規定値と合致していると判定されたとき（ステップＳ２３；ＹＥＳ）は、パレット５の位置及び姿勢に基づいて、フォークリフト１を荷役対象のパレット５の手前の近傍位置まで移動させるように駆動部２０を制御する（ステップＳ２４）。駆動制御部１９は、パレット５の前面５ａの各部の寸法が規定値と合致していないと判定されたとき（ステップＳ２３；ＮＯ）は、異常がある旨を示す通知情報を通知部２１に出力する（ステップＳ２５）。ステップＳ２４又はステップＳ２５の処理を以って、自動運転システム１１により実行される一連の処理が終了する。

【0061】

以上説明したように、本開示の実施形態に係るパレット検出装置１２では、検査光Ｌ１の照射に対するパレット５での反射光Ｌ２の強度（反射強度Ｉｎ）と包装体Ｗでの反射強度Ｉｎとが異なることに着目し、反射光Ｌ２の検出に基づく点群Ｃ１の配列状態に反射強度Ｉｎを加味して閾値Ｔｈを算出する。これにより、算出した閾値Ｔｈに基づいて、パレット５からの反射に基づく点群Ｃ１（パレット対応領域Ｃ１１）と包装体Ｗからの反射に基づく点群Ｃ１（包装体対応領域Ｃ１３）とを容易に区別することが可能となる。閾値Ｔｈから外れたデータを点群Ｃ１から除外することで、荷物Ｌが包装体Ｗによって包装される場合であっても、パレット５の位置及び姿勢を精度良く検出できる。

【0062】

処理部１７は、点群Ｃ１における一の点（該当点Ｐ１）と当該一の点の近傍点Ｐ２，Ｐ３との間の距離Ｄに反射強度Ｉｎを加算した指標値ＩＶを各点Ｐにおいて算出し、全点群Ｃ１で算出した指標値ＩＶの平均値及び標準偏差に基づいて閾値Ｔｈを算出する。このような閾値Ｔｈを用いることで、パレット対応領域Ｃ１１と包装体対応領域Ｃ１３とを精度良く区別できる。したがって、荷物Ｌが包装体Ｗによって包装される場合であっても、パレット５の位置及び姿勢を一層精度良く検出できる。

【0063】

処理部１７は、閾値Ｔｈの算出にあたって、パレット５における反射強度Ｉｎと、パレット５に支持される荷物Ｌの包装体Ｗにおける反射強度Ｉｎとの差に基づいて、配列状態と反射強度Ｉｎとの間の重み付けを行う。この場合、パレット５の材質及び包装体Ｗの材質を加味した閾値Ｔｈを算出できる。したがって、パレット対応領域Ｃ１１と包装体対応領域Ｃ１３とを一層精度良く区別できる。

【0064】

パレット５及びパレット５に支持される荷物Ｌを撮像するカメラ１３と、カメラ１３の撮像結果に基づいて荷物Ｌが包装体Ｗによって包装されているか否かを判断する判断部１６と、を更に備え、処理部１７は、判断部１６によって荷物Ｌが包装体Ｗによって包装されていると判断された場合には、点群Ｃ１の配列状態と各点Ｐにおける反射強度Ｉｎとに基づく閾値Ｔｈを算出し、判断部１６によって荷物Ｌが包装体Ｗによって包装されていないと判断された場合には、点群Ｃ１の配列状態のみに基づく閾値Ｔｈを算出する。荷物Ｌが包装体Ｗによって包装されていないと判断された場合に、閾値Ｔｈの算出に用いるパラメータから反射強度Ｉｎが除外されるため、閾値Ｔｈの演算負荷を低減できる。

【0065】

本開示の実施形態に係るパレット検出装置１２を用いたパレット検出方法では、検査光Ｌ１の照射に対するパレット５での反射強度Ｉｎと包装体Ｗでの反射強度Ｉｎとが異なることに着目し、反射光Ｌ２の検出に基づく点群Ｃ１の配列状態に反射強度Ｉｎを加味して閾値Ｔｈを算出する。これにより、算出した閾値Ｔｈに基づいて、パレット対応領域Ｃ１１と包装体対応領域Ｃ１３とを容易に区別することが可能となる。閾値Ｔｈから外れたデータを点群Ｃ１から除外することで、荷物Ｌが包装体Ｗによって包装される場合であっても、パレット５の位置及び姿勢を精度良く検出できる。

【0066】

除外ステップＳ１７では、点群Ｃ１における一の点（該当点Ｐ１）と当該一の点の近傍点Ｐ２，Ｐ３との間の距離Ｄに反射強度Ｉｎを加算した指標値ＩＶを各点Ｐにおいて算出し、全点群Ｃ１で算出した指標値ＩＶの平均値及び標準偏差に基づいて閾値Ｔｈを算出する。このような閾値Ｔｈを用いることで、パレット対応領域Ｃ１１と包装体対応領域Ｃ１３とを精度良く区別できる。したがって、荷物Ｌが包装体Ｗによって包装される場合であっても、パレット５の位置及び姿勢を一層精度良く検出できる。

【0067】

除外ステップＳ１７では、閾値Ｔｈの算出にあたって、パレット５における反射強度Ｉｎと、パレット５に支持される荷物Ｌの包装体Ｗにおける反射強度Ｉｎとの差に基づいて、配列状態と反射強度Ｉｎとの間の重み付けを行う。この場合、パレット５の材質及び包装体Ｗの材質を加味した閾値Ｔｈを算出できる。したがって、パレット対応領域Ｃ１１と包装体対応領域Ｃ１３とを一層精度良く区別できる。

【0068】

パレット５及びパレット５に支持される荷物Ｌを撮像する撮像ステップを含むステップＳ１４と、撮像ステップにおける撮像結果に基づいて荷物Ｌが包装体Ｗによって包装されているか否かを判断する判断ステップＳ１６と、を更に備え、除外ステップＳ１７では、判断ステップＳ１６によって荷物Ｌが包装体Ｗによって包装されていると判断された場合に、点群Ｃ１の配列状態と各点Ｐにおける反射強度Ｉｎとに基づく閾値を算出し、判断ステップＳ１６によって荷物Ｌが包装体Ｗによって包装されていないと判断された場合に、点群Ｃ１の配列状態のみに基づく閾値Ｔｈを算出する。荷物Ｌが包装体Ｗによって包装されていないと判断された場合に、閾値Ｔｈの算出に用いるパラメータから反射強度Ｉｎが除外されるため、閾値Ｔｈの演算負荷を低減できる。

【0069】

以上、本開示の実施形態について説明してきたが、本開示は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

【0070】

図９は、変形例に係る配列状態及び反射強度に基づいたフィルタリング処理（除外ステップ；ステップＳ１７Ａ）の詳細を示すフローチャートである。図９は、判断部１６によって包装体Ｗが認識された場合（図４におけるステップＳ１６；ＹＥＳ）に行われるフィルタリング処理である。処理部１７は、フィルタリング処理を行ううえで、ステップＳ１７に代えてステップＳ１７Ａを採用してもよい。ステップＳ１７Ａでは、まず処理部１７は、該当点Ｐ１に対する近傍点の点数をカウントする（ステップＳ５１）。本変形例では、点群Ｃ１の配列状態を、点群Ｃ１を構成する各点Ｐに対する近傍点の点数とする。点数のカウントは、例えば、処理部１７が保有している点数カウンタによって行われる。処理部１７は、該当点Ｐ１と周囲の点との距離を算出し、算出した距離が予め設定した距離閾値以下であれば点数カウンタをカウントアップする。一方で、算出した距離が予め設定した距離閾値を上回る場合は、点数カウンタをカウントアップしない。

【0071】

続いて、処理部１７は、カウントした近傍点の点数に反射強度を加算して点数閾値ＰＴｈを算出する（ステップＳ５２）。点数閾値ＰＴｈは、式８によって算出される。

【数8】

ここで、Ｐｎは、カウントした近傍点の点数である。Ｉｎは、実施形態と同様に、レーザセンサ１４が取得した該当点Ｐ１における反射強度である。また、Ａ及びＢは、実施形態と同様に、重み付けのための係数である。係数Ａ及び係数Ｂの値は、パレット５の反射強度Ｉｎと、包装体Ｗの反射強度Ｉｎとの差に基づいて予め決定される。

【0072】

続いて、処理部１７は、該当点Ｐ１において、カウントした近傍点の点数Ｐｎが点数閾値ＰＴｈ以下であるか否かを判断する（ステップＳ５３）。カウントした近傍点の点数Ｐｎが点数閾値ＰＴｈ以下である場合（ステップＳ５３；ＹＥＳ）、処理部１７は、該当点Ｐ１がパレット５による点と判断し、該当点Ｐ１をパレット対応領域Ｃ１１として利用する（ステップＳ５４）。一方で、カウントした近傍点の点数Ｐｎが点数閾値ＰＴｈ以下でない場合（ステップＳ５３；ＮＯ）、処理部１７は、該当点Ｐ１が包装体Ｗによる点と判断し、該当点Ｐ１を点群Ｃ１から除外する（ステップＳ５５）。ステップＳ５３～ステップＳ５５の処理を以って、該当点Ｐ１に対するステップＳ１７Ａが終了する。処理部１７は、点群Ｃ１を構成する全ての点Ｐに対してステップＳ１７Ａを実施する。それにより、処理部１７は、点群Ｃ１のうち、パレット対応領域Ｃ１１を抽出し、包装体対応領域Ｃ１３を除外する。

【0073】

処理部１７は、ステップＳ１７Ａを採用することで、点群Ｃ１における一の点（該当点Ｐ１）に対する近傍点の点数Ｐｎに反射強度Ｉｎを加算した指標値を閾値（点数閾値ＰＴｈ）として算出する。このような点数閾値ＰＴｈを用いることで、パレット対応領域Ｃ１１と包装体対応領域Ｃ１３とを精度良く区別できる。したがって、荷物Ｌが包装体Ｗによって包装される場合であっても、パレット５の位置及び姿勢を一層精度良く検出できる。

【0074】

除外ステップＳ１７Ａでは、点群Ｃ１における一の点（該当点Ｐ１）に対する近傍点の点数Ｐｎに反射強度Ｉｎを加算した指標値を閾値（点数閾値ＰＴｈ）として算出する。このような点数閾値ＰＴｈを用いることで、パレット対応領域Ｃ１１と包装体対応領域Ｃ１３とを精度良く区別できる。したがって、荷物Ｌが包装体Ｗによって包装される場合であっても、パレット５の位置及び姿勢を一層精度良く検出できる。

【0075】

判断部１６によって包装体Ｗが認識されなかった場合（図４におけるステップＳ１６；ＮＯ）、処理部１７は、フィルタリング処理を行ううえで、ステップＳ１８に代えてステップＳ１８Ａを採用してもよい。図１０は、変形例に係る配列状態に基づいたフィルタリング処理（除外ステップ；ステップＳ１８Ａ）の詳細を示すフローチャートである。ステップＳ１７Ａと異なる点のみを説明する。ステップＳ１８Ａでは、処理部１７は、カウントした近傍点の点数Ｐｎのみに基づいた式９を用いて点数閾値ＰＴｈを算出する（ステップＳ６２）。

【数9】

この場合、係数Ａは、点数閾値ＰＴｈを調整するための係数として、予め設定されてもよい。ステップＳ６３～ステップＳ６５は、ステップＳ５３～ステップＳ５５と同様である。

【0076】

以上説明してきたフローチャートにおいて、処理部１７が二つの数値の大小関係を比較する際には、「以上」及び「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」及び「未満」の二つの基準のうちのどちらを用いてもよい。

【0077】

本開示の要旨は、以下の［１］～［１０］のとおりである。
［１］パレットに向けて照射された検査光の反射光を検出し、検出結果に対応するデータの点群を取得する取得部と、前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、当該閾値から外れたデータを前記点群から除外する処理部と、前記処理部による処理後の前記点群に基づいて、前記パレットの位置及び姿勢を検出する検出部と、を備えるパレット検出装置。
［２］前記処理部は、前記点群における一の点と当該一の点の近傍点との間の距離に前記反射光の強度を加算した指標値を各点において算出し、全点群で算出した前記指標値の平均値及び標準偏差に基づいて前記閾値を算出する［１］記載のパレット検出装置。
［３］前記処理部は、前記点群における一の点に対する近傍点の点数に前記反射光の強度を加算した指標値を前記閾値として算出する［１］又は［２］記載のパレット検出装置。
［４］前記処理部は、前記閾値の算出にあたって、前記パレットにおける前記反射光の強度と、前記パレットに支持される荷物の包装体における前記反射光の強度との差に基づいて、前記配列状態と前記反射光の強度との間の重み付けを行う［１］～［３］のいずれか記載のパレット検出装置。
［５］前記パレット及び前記パレットに支持される荷物を撮像する撮像部と、前記撮像部の撮像結果に基づいて前記荷物が包装体によって包装されているか否かを判断する判断部と、を更に備え、前記処理部は、前記判断部によって前記荷物が前記包装体によって包装されていると判断された場合には、前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、前記判断部によって前記荷物が前記包装体によって包装されていないと判断された場合には、前記点群の配列状態のみに基づく閾値を算出する［１］～［４］のいずれか記載のパレット検出装置。
［６］パレットに向けて照射された検査光の反射光を検出し、検出結果に対応するデータの点群を取得する取得ステップと、前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、当該閾値から外れたデータを前記点群から除外する除外ステップと、前記除外ステップ後の前記点群に基づいて、前記パレットの位置及び姿勢を検出する検出ステップと、を備えるパレット検出方法。
［７］前記除外ステップでは、前記点群における一の点と当該一の点の近傍点との間の距離に前記反射光の強度を加算した指標値を各点において算出し、全点群で算出した前記指標値の平均値及び標準偏差に基づいて前記閾値を算出する［６］記載のパレット検出方法。
［８］前記除外ステップでは、前記点群における一の点に対する近傍点の点数に前記反射光の強度を加算した指標値を前記閾値として算出する［６］又は［７］記載のパレット検出方法。
［９］前記除外ステップでは、前記閾値の算出にあたって、前記パレットにおける前記反射光の強度と、前記パレットに支持される荷物の包装体における前記反射光の強度との差に基づいて、前記配列状態と前記反射光の強度との間の重み付けを行う［６］～［８］のいずれか記載のパレット検出方法。
［１０］前記パレット及び前記パレットに支持される荷物を撮像する撮像ステップと、前記撮像ステップにおける撮像結果に基づいて前記荷物が包装体によって包装されているか否かを判断する判断ステップと、を更に備え、前記除外ステップでは、前記判断ステップにおいて前記荷物が前記包装体によって包装されていると判断された場合に、前記点群の配列状態と各点における前記反射光の強度とに基づく閾値を算出し、前記判断ステップにおいて前記荷物が前記包装体によって包装されていないと判断された場合に、前記点群の配列状態のみに基づく閾値を算出する［６］～［９］のいずれか記載のパレット検出方法。

【符号の説明】

【0078】

５…パレット、１２…パレット検出装置、１３…撮像部（カメラ）、１４…取得部（レーザセンサ）、１６…判断部、１７…処理部、１８…検出部、Ｃ１…点群、Ｄ,Ｄ１,Ｄ２…距離、ＩＶ，ＩＶ１，ＩＶ２…指標値、Ｌ…荷物、Ｌ１…検査光、Ｌ２…反射光、Ｐ…点、Ｐ２，Ｐ３…近傍点、Ｐｎ…点数、Ｓ１６…判断ステップ、Ｓ１７，Ｓ１７Ａ…除外ステップ、Ｔｈ…閾値、Ｗ…包装体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】