特許 6880950 陥凹部検出装置、搬送装置、および、陥凹部検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6880950

(24)【登録日】2021年5月10日

(45)【発行日】2021年6月2日

(54)【発明の名称】陥凹部検出装置、搬送装置、および、陥凹部検出方法

(51)【国際特許分類】

   G01B 21/30 20060101AFI20210524BHJP

   G06T 7/64 20170101ALI20210524BHJP

   G06T 7/00 20170101ALI20210524BHJP

   B66F 9/24 20060101ALI20210524BHJP

【ＦＩ】

   G01B21/30 101Z

   G06T7/64

   G06T7/00 C

   B66F9/24 P

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2017-75579(P2017-75579)

(22)【出願日】2017年4月5日

(65)【公開番号】特開2018-179599(P2018-179599A)

(43)【公開日】2018年11月15日

【審査請求日】2020年2月25日

(73)【特許権者】

【識別番号】000006297

【氏名又は名称】村田機械株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】飯田 雅臣

(72)【発明者】

【氏名】田中 昌司

【審査官】 眞岩 久恵

(56)【参考文献】

【文献】 特開２０１０−０２３９５０（ＪＰ，Ａ）

【文献】 特開２０１４−１５３８１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ ２１／０−２１／３２

Ｂ６６Ｆ ９／２４

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６４

(57)【特許請求の範囲】

【請求項1】

三次元センサの視野面に交差する平面部分を有する検出対象の距離画像情報に基づき、前記平面部分に存在する可能性のある陥凹部を検出する陥凹部検出装置であって、
前記三次元センサからの距離が所定範囲内である検出範囲内の異なる位置に設定される複数の基準領域にそれぞれ該当する複数の基準情報を前記距離画像情報から抽出し、複数の前記基準情報に基づき基準値を決定する基準値決定部と、
前記検出範囲内にある複数の比較領域にそれぞれ該当する比較情報を前記距離画像情報から抽出し、それぞれの前記比較情報に基づき比較値をそれぞれ導出し、前記基準値と前記比較値との差分が所定の閾値を超えるような前記比較値があった場合、陥凹部の存在を提示する存在提示部と、を備え、
前記基準値決定部は、
前記三次元センサの視野面に沿う前記検出対象の部分である平行部分の距離画像情報を取得し、前記距離画像情報から前記平面部分の位置を特定する
陥凹部検出装置。

【請求項2】

前記基準領域は、前記検出範囲に沿って均等に配置される、
請求項１に記載の陥凹部検出装置。

【請求項3】

前記基準領域は、前記検出範囲を均等に分割した領域である、
請求項１に記載の陥凹部検出装置。

【請求項4】

前記基準領域と前記比較領域とは同じ領域である、
請求項１〜３のいずれか一項に記載の陥凹部検出装置。

【請求項5】

請求項１〜４のいずれか１項に記載の前記陥凹部検出装置と、
前記陥凹部検出装置が取り付けられ、自律的に移動する台車と、
前記台車に取り付けられ、前記検出対象に載置する載置対象を保持する保持手段と、
を備える搬送装置。

【請求項6】

前記保持手段は、複数本のフォークであり、
前記陥凹部検出装置は、三次元センサを複数個備え、
前記三次元センサは、前記フォークの先端にそれぞれ取り付けられ、
前記三次元センサ毎に陥凹部の検出を試みる、
請求項５に記載の搬送装置。

【請求項7】

三次元センサの視野面に交差する平面部分を有する検出対象の距離画像情報に基づき、前記平面部分に存在する可能性のある陥凹部を検出する陥凹部検出方法であって、
前記平面部分において前記三次元センサからの距離が所定範囲内である検出範囲内の異なる位置に設定される複数の基準領域にそれぞれ該当する複数の基準情報を基準値決定部が前記距離画像情報から抽出し、
前記基準値決定部が、複数の前記基準情報に基づき基準値を決定し、
前記基準値決定部が、前記三次元センサの視野面に沿う前記検出対象の部分である平行部分の距離画像情報を取得し、前記距離画像情報から前記平面部分の位置を特定し、
前記平面部分において前記検出範囲内にある複数の比較領域にそれぞれ該当する比較情報を前記距離画像情報から存在提示部が抽出し、
前記存在提示部が、それぞれの前記比較情報に基づき比較値をそれぞれ導出し、
前記存在提示部が、前記基準値と前記比較値との差分が所定の閾値を超えるような前記比較値があった場合、陥凹部の存在を提示する、
陥凹部検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、所定の一面に陥凹部があるか否かを検出する陥凹部検出装置、搬送装置、および、陥凹部検出方法に関する。

【背景技術】

【0002】

ＴＯＦ（Time of Flight）カメラやＬＲＦ（Laser Range Finder）、ステレオカメラなどの三次元センサを利用して画像を構成する二次元的に配置された複数の点にそれぞれ距離情報が含まれる距離画像情報を取得し、床面や床面に積み上げられたダンボール箱の上面などの所定の平面上に異物や陥凹部がないかを検査する方法が種々提案されている。

【0003】

例えば、特許文献１には、撮像された距離画像情報を領域に過分割し、奥行き距離を縦軸座標点とした二次元座標系の位置の設定から、撮像された複数の物体をそれぞれ分離する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−３０１９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

三次元センサを用いて所定の面に載置されているような異物を検出する場合は、距離画像情報において所定の面とは異なる位置に異物の形状が点群として存在するため異物を容易に識別できる。しかし、所定の面の一部が陥凹している場合は、距離画像情報の点群の密度が下がるだけであり、陥凹部を示す顕著な点群が現れず、陥凹部を見過ごす場合がある。

【0006】

本願発明は、上記課題に鑑みなされたものであり、平面の一部に存在する陥凹部を高い精度で検出する陥凹部検出装置、これを備えた搬送装置、および、陥凹部検出方法の提供を目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本願発明の１つである陥凹部検出装置は、三次元センサの視野面に交差する平面部分を有する検出対象の距離画像情報に基づき、前記平面部分に存在する可能性のある陥凹部を検出する陥凹部検出装置であって、前記平面部分において前記三次元センサからの距離が所定範囲内である検出範囲内の異なる位置に設定される複数の基準領域にそれぞれ該当する複数の基準情報を前記距離画像情報から抽出し、複数の前記基準情報に基づき基準値を決定する基準値決定部と、前記平面部分において前記検出範囲内にある複数の比較領域にそれぞれ該当する比較情報を前記距離画像情報から抽出し、それぞれの前記比較情報に基づき比較値をそれぞれ導出し、前記基準値と前記比較値との差分が所定の閾値を超えるような前記比較値があった場合、陥凹部の存在を提示する存在提示部とを備えることを特徴とする。

【0008】

これによれば、例えば検出対象の平面部分を含む面において、センサ原点を中心とする２つの同心円に挟まれた扇形アーチ状の領域である検出範囲内に複数の基準領域を定め、この基準領域から得られる複数の基準情報から基準値を算出し、同じ検出範囲内に定められた比較領域から得られる比較情報から比較値を算出し、基準値に基づき比較値を評価することができる。従って、三次元センサから遠ざかるに従い徐々に密度が低下し相対的にノイズ量が増加する距離画像情報の影響を受けずに、陥凹部を高い精度で検出することができる。

【0009】

また、前記基準領域は、前記平面部分において前記検出範囲に沿って均等に配置されてもかまわない。

【0010】

これによれば、距離画像情報から抽出される情報量を抑えた場合でも、陥凹部の誤検出を抑制することが可能となる。

【0011】

また、前記基準領域は、前記平面部分において前記検出範囲を均等に分割した領域であってもよい。

【0012】

これによれば、基準領域内の全データから基準値を導出するため、陥凹部の検出精度を高めることが可能となる。

【0013】

前記基準領域と前記比較領域とは同じ領域であってもかまわない。

【0014】

これによれば、基準情報と比較情報とが同じになるため、距離画像情報からこれらを抽出する作業が簡略化することができ、陥凹部検出の速度を向上させることが可能となる。

【0015】

また、前記三次元センサの視野面に沿う前記検出対象の部分である平行部分の距離画像情報を取得し、前記距離画像情報から前記平面部分の位置を特定する平面部分特定部をさらに備えてもよい。

【0016】

これによれば、検出対象の形状が不明な場合でも、平行部分の形状に基づき簡単に平面部分の形状を把握することができる。従って、検出領域を高速に決定することができ陥凹部検出の速度を向上させることが可能となる。

【0017】

また、上記目的を達成するために、本願発明の他の１つである搬送装置は、前記陥凹部検出装置と、前記陥凹部検出装置が取り付けられ、自律的に移動する台車と、前記台車に取り付けられ、前記検出対象に載置する載置対象を保持する保持手段とを備えることを特徴としている。

【0018】

これによれば、高速かつ高精度に陥凹部を検出することができ、陥凹部が存在する平面部分の上に荷物を載置してしまう事象を効果的に回避することが可能となる。

【0019】

また、前記保持手段は、複数本のフォークであり、前記陥凹部検出装置は、三次元センサを複数個備え、前記三次元センサは、前記フォークの先端にそれぞれ取り付けられ、前記三次元センサ毎に陥凹部の検出を試みてもよい。

【0020】

これにより、三次元センサの高さを変更することができ、さらに高精度に陥凹部を検出することが可能となる。

【0021】

また、上記目的を達成するために、本願発明の他の１つである陥凹部検出方法は、三次元センサの視野面に交差する平面部分を有する検出対象の距離画像情報に基づき、前記平面部分に存在する可能性のある陥凹部を検出する陥凹部検出方法であって、前記平面部分において前記三次元センサからの距離が所定範囲内である検出範囲内の異なる位置に設定される複数の基準領域にそれぞれ該当する複数の基準情報を基準値決定部が前記距離画像情報から抽出し、前記基準値決定部が、複数の前記基準情報に基づき基準値を決定し、前記平面部分において前記検出範囲内にある複数の比較領域にそれぞれ該当する比較情報を前記距離画像情報から存在提示部が抽出し、前記存在提示部が、それぞれの前記比較情報に基づき比較値をそれぞれ導出し、前記存在提示部が、前記基準値と前記比較値との差分が所定の閾値を超えるような前記比較値があった場合、陥凹部の存在を提示することを特徴とする。

【0022】

これによれば、例えば検出対象の平面部分を含む面において、センサ原点を中心とする２つの同心円に挟まれた扇形アーチ状の領域である検出範囲内に複数の基準領域を定め、この基準領域から得られる複数の基準情報から基準値を算出し、同じ検出範囲内に定められた比較領域から得られる比較情報から比較値を算出し、基準値に基づき比較値を評価することができる。従って、三次元センサから遠ざかるに従い徐々に密度が低下し相対的にノイズ量が増加する距離画像情報の影響を受けずに、陥凹部を高い精度で検出することができる。

【0023】

なお、これらの全般的または具体的な態様は、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0024】

本願発明である陥凹部検出装置、搬送装置、および、陥凹部検出方法は、検出対象の平面部分の一部に存在する陥凹部を精度よく検出することができる。

【図面の簡単な説明】

【0025】

【図1】図１は、搬送装置、検出対象、および、載置対象を示す斜視図である。

【図2】図２は、陥凹部検出装置の機能構成を機構構成と共に示すブロック図である。

【図3】図３は、三次元センサと検出対象との関係を示す斜視図である。

【図4】図４は、搬送装置と検出対象との関係を示す平面図である。

【図5】図５は、三次元センサから得られた距離画像情報から抽出した二次元画像（点情報）を示す図である。

【図6】図６は、別態様の基準領域と比較領域とを説明するための図である。

【図7】図７は、平面部分の形状を特定して決定される検出範囲、基準領域、比較領域を説明するための図である。

【図8】図８は、陥凹部検出装置および陥凹部検出装置を備えた搬送装置の動作を示すフローチャートである。

【図9】図９は、平面部分を網羅するための検出範囲の決定状態の一例を示す図である。

【図10】図１０は、平面部分を網羅するための検出範囲の他の決定状態の一例を示す図である。

【発明を実施するための形態】

【0026】

次に、本願発明に係る陥凹部検出装置、搬送装置、および、陥凹部検出方法の実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本願発明に係る陥凹部検出装置、搬送装置、および、陥凹部検出方法の一例を示したものに過ぎない。従って本願発明は、以下の実施の形態を参考に請求の範囲の文言によって範囲が画定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

【0027】

また、図面は、本願発明を示すために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。

【0028】

［検出対象、載置対象］
まず、本実施の形態で用いられる検出対象３００と載置対象３１０とを説明する。

【0029】

図１は、搬送装置、検出対象、および、載置対象を示す斜視図である。

【0030】

同図に示すように、載置対象３１０は、搬送装置２００により搬送され、所定の位置に移載される対象物である。同図に示される載置対象３１０は、水平面内に行列状に並べられた複数の箱３１２が上下方向に積み重なってパレット３１１上に配置されたものであるが、載置対象３１０は特に限定されるものではない。

【0031】

検出対象３００は、載置対象３１０が搬送装置２００によって載置される対象物である。検出対象３００は、特に限定されるものではなく、搬送装置２００が走行する床面なども検出対象３００に含まれる。本実施の形態の場合、検出対象３００は、載置対象３１０と同様の物であり、パレット３１１およびその上に立方体状に積み重ねられた複数の箱３１２で構成されている。また、検出対象３００は、後述する三次元センサ１１０の視野面１９９（図３参照）に交差する平面部分３０１、例えば積み重ねられた複数の箱３１２の上面で形成される面部分や床面の部分などを備える物としても把握することができる。

【0032】

［搬送装置の全体構成］
次に、搬送装置２００の構成の概要を説明する。

【0033】

図１に示すように、搬送装置２００は、自律的に（無人で）動作して検出対象３００の正面に移動し、検出対象３００の上面である平面部分３０１が載置対象３１０を載置することができる状態、例えば陥凹部３０２がない状態の場合、検出対象３００の上に載置対象３１０を載置する装置であり、陥凹部検出装置１００と、台車２０１と、保持手段２０２と、制御装置２０４とを備えている。

【0034】

［制御装置］
制御装置２０４は、レールや床面等の走行対象における自己の位置を把握し、検出対象３００との相対的な位置関係を把握することができる機能を備えている。また、自己の位置に関する情報に基づき駆動装置（図示せず）を制御することにより台車２０１に取り付けられた車輪２０３を動作させて自律的に移動させることができる装置である。その他、制御装置２０４は、載置対象３１０を保持したり保持を解除したりするために保持手段２０２の昇降などの制御も行う。

【0035】

［台車］
台車２０１は、陥凹部検出装置１００が取り付けられると共に、保持手段２０２、制御装置２０４、および、駆動装置（図示せず）などが取り付けられており、制御装置２０４に基づき走行対象に沿って走行する装置である。

【0036】

［保持手段］
保持手段２０２は、台車２０１に取り付けられ、検出対象３００に載置する載置対象３１０を保持する装置である。本実施の形態の場合、保持手段２０２は、搬送装置２００が走行する床面と平行に相互に平行に配置されている２本のフォーク２２１と、フォーク２２１の床面との平行を維持したまま２本のフォーク２２１を上下に移動可能とするマスト２２２を備えている。保持手段２０２は、載置対象３１０のパレット３１１の複数箇所に設けられた穴部に２本のフォーク２２１をそれぞれ挿入し、フォーク２２１ごと載置対象３１０を持ち上げることで、載置対象３１０を支承状態で保持することができるものとなっている。また、保持手段２０２は、保持した載置対象３１０を例えば検出対象３００の上面や床面などに載置し、フォーク２２１をパレット３１１から引き抜くことにより、載置対象３１０の保持を解除することができるものである。

【0037】

なお、保持手段２０２は、フォーク２２１に限定されるものではなく、載置対象３１０を横から挟んで保持するものや、載置対象３１０を吊り下げて保持するものなどを例示することができる。

【0038】

［陥凹部検出装置］
図２は、陥凹部検出装置の機能構成を機構構成と共に示すブロック図である。

【0039】

図３は、三次元センサと検出対象との関係を示す斜視図である。

【0040】

図４は、搬送装置と検出対象との関係を示す平面図である。

【0041】

これらの図に示すように、陥凹部検出装置１００は、保持手段２０２である２本のフォーク２２１の先端にそれぞれ取り付けられた三次元センサ１１０の視野面１９９に交差する平面部分３０１を有する検出対象３００の距離画像情報に基づき平面部分３０１に存在する可能性のある陥凹部３０２を検出する装置である。陥凹部検出装置１００は機能部として、基準値決定部１０１と存在提示部１０２とを備えている。

【0042】

基準値決定部１０１と存在提示部１０２とは、コンピュータが備えるプロセッサおよびメモリによって実現される。メモリは、揮発性半導体メモリや不揮発性半導体メモリ、ハードディスクドライブなどによって実現される。

【0043】

なお本実施の形態の場合、陥凹部検出装置１００は、２つの三次元センサ１１０から得られる距離画像情報に基づき陥凹部３０２を検出するが、以下の説明では、２つの三次元センサ１１０から得られた距離画像情報を合成し１つの三次元センサ１１０から得られたものとして扱う。また、複数の三次元センサ１１０から得られる距離画像情報を初期の段階で合成するのか、距離画像情報を個別に情報処理した後に合成するのかなど合成の段階は任意である。

【0044】

また本実施の形態では、三次元センサ１１０が向いている方向（奥行き方向）をＺ軸方向としている。また、三次元センサ１１０が向いている方向に垂直な面であって三次元センサ１１０が検出できる範囲を視野面１９９（ＸＹ平面）としている。また、Ｚ軸方向に垂直な方向であって２本のフォーク２２１が並んでいる第１方向（水平方向または左右方向）をＸ軸方向とし、Ｚ軸方向およびＸ軸方向に垂直な第２方向（鉛直方向または上下方向）をＹ軸方向としている。

【0045】

また、Ｚ軸方向では、三次元センサ１１０を基準に三次元センサ１１０よりも奥側をＺ軸方向プラス側とし、手前側をＺ軸方向マイナス側とする。また、Ｘ軸方向では、三次元センサ１１０から見て左側をＸ軸方向プラス側とし、右側をＸ軸方向マイナス側とする。また、Ｙ軸方向では、三次元センサ１１０から見て上側をＹ軸方向プラス側とし、下側をＹ軸方向マイナス側とする。つまり、図では、矢印が向いている側が各方向のプラス側であり、その反対側が各方向のマイナス側である。

【0046】

［三次元センサ］
三次元センサ１１０は、例えば図３、図４に示すように、三次元センサ１１０の視野面１９９（図３には片側のみ記載）内に存在する検出対象３００の平面部分３０１に仮想的に分散状態で広がる各点の三次元的位置を示す三次元情報を取得することができるセンサである。なお、ステレオカメラのように１つのカメラから得られた二次元的な情報（画像）を処理することにより検出対象３００の平面部分３０１の各点の三次元情報を取得する場合も三次元センサ１１０に含まれる。

【0047】

なお、三次元情報は直交座標で表現されてもよく、極座標やその他の座標で表現されてもかまわない。

【0048】

ここで、距離画像情報とは、三次元センサ１１０の視野面１９９に存在する検出対象３００を示す複数の点に三次元センサ１１０から検出対象３００の平面部分３０１の各点までの距離を示す情報を追加した情報であり、例えば三次元情報から導出することができるものである。

【0049】

本実施の形態の場合、三次元センサ１１０は、カメラの周囲に設けられた発光素子（例えばＬＥＤ）により赤外光などの光を検出対象３００に照射し、検出対象３００から反射した反射光が、撮像素子で観測されるまでの時間を撮像素子の撮像画素ごとに計測することで、検出対象３００の二次元的位置に検出対象３００の平面部分３０１までの距離を画素ごとに追加して距離画像情報を取得するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラが用いられている。

【0050】

図３、図４に示すように、三次元センサ１１０は、発光素子から赤外光をＺ軸正方向にパルス的に照射し、ＸＹ平面に配置された撮像素子の画素毎に検出対象３００からの反射光が戻ってくるまでの時間を測定することで、検出対象３００の平面部分３０１のそれぞれの部分までの距離を計測し、視野面１９９における二次元的な位置に距離の情報を付加した距離画像情報を取得する。なお、複数の三次元センサ１１０はいずれも同様の構成であり、図１に示すように検出対象３００の平面部分３０１の複数箇所までの三次元距離を計測して距離画像情報を取得する。

【0051】

図５は、三次元センサから得られた距離画像情報から抽出した二次元画像（点情報）を示す図である。

【0052】

同図に示す各点は、点情報であり、検出対象３００の表面の視野面１９９内における二次元的な位置を示している。なお、距離画像情報は、図５に示す各点について距離情報が関連づけられている。また、同図に示すように、三次元センサ１１０は、多数のノイズを出力している。また、視野面１９９に対して交差状（本実施の形態では直交）に配置される平面部分３０１は、幾何的な関係により三次元センサ１１０から遠ざかるほど二次元画像における点の奥行き方向（図３中Ｚ軸方向）の間隔が広がる状態にある。つまり、三次元センサ１１０からの距離が遠くなれば点情報の密度が低下する。

【0053】

また、三次元センサ１１０は、反射した光に基づき距離などを測定するため、検出対象３００の平面部分３０１の反射率によってもノイズの量が増減する。

【0054】

本願発明は、このような状況の距離画像情報から距離情報を除外し、二次元画像に存在する点の密度に着目して陥凹部３０２を比較的高速に検出するものである。

【0055】

なお、本実施の形態では、各三次元センサ１１０の視野面１９９が検出対象３００に対して小さいため、搬送装置２００は、水平方向に並べた２つの三次元センサ１１０を備える構成であるとしたが本願発明は、２つの三次元センサ１１０を備える構成に限らない。つまり、搬送装置は、三次元センサ１１０として、計測範囲が検出対象３００に対して十分な大きさのセンサを採用した場合には、１つの三次元センサ１１０のみを備える構成としてもよい。また、２つの三次元センサ１１０は、フォーク２２１の先端のみならず、台車２０１の前面側の左右端などにそれぞれ取り付けられても構わない。

【0056】

また、三次元センサ１１０は、レーザー光をスキャンさせてレーザー光の反射光に基づき複数箇所の座標と距離とを測定するＬＲＦ（Laser rangefinder）などであってもよい。

【0057】

［基準値決定部］
基準値決定部１０１は、三次元センサ１１０から得られた情報に基づき陥凹部３０２が存在するか否かの判断の基準となる基準値を作成する処理部であり、情報除去部１１１と、基準領域決定部１１２と、基準情報抽出部１１３と、基準値算出部１１４とを機能部として備えている。

【0058】

情報除去部１１１は、三次元センサ１１０から得られた距離画像情報から距離に関する情報を排除し、図５に示すような、二次元の点の位置の情報を含む点情報を抽出する処理部である。情報除去部１１１により距離画像情報が処理されることにより、情報除去部１１１以降の処理が点情報のみを処理することになり、三次元センサ１１０から得られた距離画像情報に比べて情報量が非常に少なくなり、以降の処理を高速に実行することが可能となる。

【0059】

基準領域決定部１１２は、図４に示すように、三次元センサ１１０からの距離が所定範囲内である検出範囲１０３を決定し、さらに、検出範囲１０３内において異なる位置に複数の基準領域１３１を決定する処理部である。複数の基準領域１３１は相互に同一またはほぼ同一の面積になるように決定される。

【0060】

本実施の形態の場合、基準領域決定部１１２は、２つの三次元センサ１１０の中間位置（センサ原点）からの距離が所定の範囲内になるような２つの同心円で挟まれる領域を半径方向で切断した一部である扇形アーチ状（バウムクーヘン型）に検出範囲１０３を決定している。つまり、三次元センサ１１０からの距離が所定範囲内である検出範囲１０３とは、視野面１９９と垂直に直交する面において、三次元センサ１１０から第一距離の円弧と第一距離よりも長い第二距離の円弧とに挟まれた領域である。

【0061】

また、基準領域決定部１１２は、平面部分３０１の全体をカバーするように距離の異なる複数の検出範囲１０３を決定しても良い。

【0062】

また、基準領域決定部１１２は、平面部分３０１において検出範囲１０３を均等に分割するように基準領域１３１を決定している。

【0063】

なお、図４中では検出範囲１０３を３等分した箇所が基準領域１３１となっているが、基準領域１３１の数は２以上であれば３よりも多く分割してもかまわない。また、この分割数は、Ｘ軸方向における検出対象３００を構成する箱３１２の数等によって決定されてもかまわない。

【0064】

また、基準領域１３１は、図４に示すように検出範囲１０３を区切って接触状態で配置するだけでなく、図６に示すように離れた位置に設定されてもかまわない。

【0065】

ここで、基準領域決定部１１２は、検出範囲１０３を決定する前に三次元センサ１１０の視野面１９９に沿う検出対象３００の部分である平行部分３０３（図１、図３参照）の距離画像情報を平面部分３０１と共に、または、別途取得し、平行部分３０３の情報を含む距離画像情報から平面部分３０１の位置を特定する平面部分特定部１１５をさらに備えても構わない。

【0066】

具体的には、平面部分３０１と平行部分３０３との境界（エッジ）の長さや角度、平行部分３０３に含まれるパレット３１１の大きさや、穴の大きさ、２つの穴の距離などに基づき、平面部分３０１の形状を平面部分特定部１１５が予測的に特定する。

【0067】

基準領域決定部１１２は、平面部分特定部１１５の特定結果に基づき、図７に示すように、検出範囲１０３を決定し、基準領域１３１を決定してもかまわない。

【0068】

基準情報抽出部１１３は、基準領域決定部１１２で決定された複数の基準領域１３１のそれぞれに該当する基準情報を距離画像情報から抽出する。

【0069】

本実施の形態の場合は、基準領域１３１に含まれる点情報の数を基準情報としてそれぞれ抽出する。

【0070】

基準値算出部１１４は、基準情報抽出部１１３が抽出した各基準領域１３１に対応する基準情報を統計的に処理することにより基準値を決定する。

【0071】

本実施の形態の場合、基準値算出部１１４は、各基準領域１３１に含まれる点情報の数、つまり点の密度の平均を算出し基準値とする。

【0072】

［存在提示部］
存在提示部１０２は、基準値決定部１０１が決定した基準値に基づき陥凹部３０２が存在するか否かを判断し、少なくとも陥凹部３０２があると判断した場合はその旨を提示する処理部であり、比較領域決定部１２２と、比較情報抽出部１２３と、陥凹判定部１２４とを機能部として備えている。

【0073】

比較領域決定部１２２は、基準値決定部１０１の基準領域決定部１１２により決定された検出範囲１０３内において異なる位置に複数の比較領域１４１を決定する処理部である。比較領域１４１は陥凹部３０２の有無の判断に用いられる領域であるため、検出範囲１０３内にできる限り広く均等に分布するように決定することが好ましい。

【0074】

本実施の形態の場合、複数の比較領域１４１は相互に同一またはほぼ同一の面積になるように決定されており、図４に示すように、基準領域１３１と比較領域１４１が一致している。

【0075】

なお、比較領域１４１は基準領域に１３１に必ずしも一致する必要はなく、図６に示すように基準領域１３１とは異なる領域に決定してもかまわない。

【0076】

比較情報抽出部１２３は、比較領域決定部１２２で決定された複数の比較領域１４１のそれぞれに該当する複数の比較情報を距離画像情報から抽出する。

【0077】

本実施の形態の場合は、比較領域１４１に含まれる点情報の数を比較情報としてそれぞれ抽出する。また本実施の形態の場合、基準領域１３１と比較領域１４１とが一致するため、比較情報抽出部１２３は、基準情報抽出部１１３が抽出した基準情報を比較情報として用いている。

【0078】

陥凹判定部１２４は、比較情報抽出部１２３が抽出した比較情報に基づき比較値をそれぞれ導出し、基準値決定部１０１が決定した基準値とそれぞれの比較値との差分を導出し、当該差分が所定の閾値を超えるような比較値があった場合、当該比較値が導出された比較領域１４１に陥凹部３０２が存在するとしてその旨を提示する。提示方法は特に限定されるものではないが、例えば、陥凹部３０２が存在することを示す情報を他の制御装置などに出力しても良く、音、光、映像などにより提示してもかまわない。

【0079】

［動作］
次に、陥凹部検出装置１００および陥凹部検出装置１００を備えた搬送装置２００の動作について説明する。

【0080】

図８は、陥凹部検出装置および陥凹部検出装置を備えた搬送装置の動作を示すフローチャートである。

【0081】

載置対象３１０を保持した状態の搬送装置２００は、予め与えられた検出対象３００の位置と自己位置とから検出対象３００に近づいたと判断すると、検出対象３００の平面部分３０１に陥凹部３０２があるか否かを判断させる（Ｓ１０１）。

【0082】

次に、平行部分３０３の確認の要否を判断する。例えば、予め与えられた検出対象３００の正面に搬送装置２００が配置されている場合、平行部分３０３の確認をしないと判断し、検出対象３００と搬送装置２００との相対的姿勢が斜めである場合、平行部分３０３を確認すると判断する（Ｓ１０２）。なお、当該判断は一例であり、他の判断基準が存在していても良い。

【0083】

次に、平行部分３０３を確認する（Ｓ１０２：Ｙｅｓ）場合、保持手段２０２を降下させることにより三次元センサ１１０の位置を下げ、または、現状の位置を維持して三次元センサ１１０により平行部分３０３を含む距離画像情報を取得する。

【0084】

そして、得られた距離画像情報に基づき基準領域決定部１１２は、平面部分３０１の位置を特定する（Ｓ１０３）。さらに、搬送装置２００に対する平面部分３０１の姿勢も特定して良い。

【0085】

次に、平面部分３０１の形状を特定している場合は、基準領域決定部１１２は、特定された平面形状に基づき、三次元センサ１１０からの距離が所定範囲内である検出範囲１０３を決定する（Ｓ１０４）。一方、特定されていない場合は、基準領域決定部１１２は、三次元センサ１１０からの距離が所定範囲内である予め定められた領域を検出範囲１０３として決定する（Ｓ１０４）。

【0086】

次に、決定された検出範囲１０３内において、基準領域決定部１１２は、基準領域１３１を複数箇所に決定する（Ｓ１０５）。

【0087】

次に、決定された各基準領域１３１について基準情報抽出部１１３は、基準情報を抽出する（Ｓ１０６）。

【0088】

次に、抽出された基準情報に基づき、基準領域１３１内の点情報の数を基準情報の平均を基準値として決定する（Ｓ１０７）。

【0089】

次に、検出範囲決定ステップ（Ｓ１０４）で決定された検出範囲１０３内において、比較領域決定部１２２は、比較領域１４１を複数箇所に決定する（Ｓ１０８）。本実施の形態の場合、基準領域１３１を比較領域１４１とし決定している。

【0090】

次に、決定された各比較領域１４１について比較情報抽出部１２３は、比較情報を抽出する（Ｓ１０９）。

【0091】

次に、陥凹判定部１２４は、抽出した比較情報に基づき比較領域１４１ごとの比較値を順次導出して導出順に比較値と基準値との差分を導出し、得られた差分が所定の閾値を超える（Ｓ１１０：Ｙｅｓ）まで判定を繰り返す。閾値を超えた場合は、陥凹部３０２が存在する旨の提示をおこない（Ｓ１１１）、処理を終了する。一方、差分が閾値を超える比較領域１４１がない場合は、検出範囲１０３内に陥凹部３０２がないとして次の処理に進む（Ｓ１１０：Ｎｏ）。

【0092】

次に、図９に示すように、複数の検出範囲１０３により検出対象３００の平面部分３０１全体を網羅したか否かを判断し（Ｓ１１２）、平面部分３０１全体を網羅していない場合は（Ｓ１１２：Ｎｏ）、検出範囲決定ステップ（Ｓ１０４）に戻る。この場合、基準領域決定部１１２は、三次元センサ１１０からの距離が所定範囲であって、先に決定した検出範囲１０３以外の領域を検出範囲１０３として決定する。一方、平面部分３０１全体を網羅している場合は（Ｓ１１２：Ｙｅｓ）、処理を終了する。

【0093】

［効果］
本実施の形態に係る陥凹部検出装置１００、および、これによる陥凹部検出方法によれば、三次元センサ１１０から得られる距離画像情報から距離情報を除去し、二次元的な点情報によって陥凹部３０２の有無を判断するため、比較的高速に陥凹部３０２を検出することが可能となる。従って、陥凹部３０２の存在が提示された搬送装置２００などは検出対象３００の平面部分３０１の上に載置対象３１０を載置することを中止でき、荷崩れなどの危険を回避することが可能となる。

【0094】

また、平面部分３０１内に陥凹部３０２が存在している場合、陥凹部３０２内に三次元センサ１１０が放射する光を反射する物体がなければ、三次元センサ１１０は、無効値を示すかノイズとして現れることが多い。また、三次元センサ１１０は、三次元センサ１１０からの距離が離れるほど検出できる点情報の密度が下がるため、三次元センサ１１０から遠い検出範囲１０３の点情報の密度が近い検出範囲１０３の点情報の密度に比べて低いからといって、三次元センサ１１０から遠い部分に陥凹部３０２が存在していると判断することは困難である。また、陥凹部３０２の点がノイズとして現れる場合はとくに、手前の陥凹部３０２にあるノイズのほうが奥側の平面上の点群より密度が高い場合があり。一定の密度の閾値で陥凹部３０２であると判断することができない。

【0095】

そこで本願発明は、三次元センサ１１０からの距離が所定範囲内である検出範囲１０３を決定し、その検出範囲１０３内における測定値に基づき基準値を動的に生成することで、ノイズの影響をキャンセルし、三次元センサ１１０からの距離に依存する密度変化の影響をキャンセルしている。従って、当該基準値に基づき同じ検出範囲１０３に陥凹部３０２が存在するか否かを判定するため、高い精度で陥凹部３０２を検出することが可能となる。

【0096】

以上から、三次元センサ１１０と検出対象３００とがかなり離れている場合であっても、検出対象３００の平面部分３０１に存在する陥凹部３０２を検出することができる。従って例えば、搬送装置２００が検出対象３００に近づく前に陥凹部３０２を検出することで、搬送装置２００が載置対象３１０を検出対象３００の上方に搬送するなどの無駄な動作を省略することが可能となる。

【0097】

［変形例］
なお、本願発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本願発明の実施の形態としてもよい。また、上記実施の形態に対して本願発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本願発明に含まれる。

【0098】

なお、検出範囲１０３の形状などは特に限定されるものではなく、図１０に示すように、１つの大きな扇形ドーム形状で平面部分３０１のほぼ全体を覆うことができる場合は、この大きな扇形ドーム形状を径方向に複数分割して検出範囲１０３としてもかまわない。また、検出範囲１０３の径方向の長さである径長１３９は、検出範囲１０３相互に同一であってもよく、また、同心円中心からの距離をパラメータとして例えばtan 関数に従って変化させてもかまわない。

【0099】

また、基準値や比較値を点情報の密度として説明したが、これに限定されるわけではなく、例えば、検出範囲１０３内の全点数に対する基準領域１３１内の点数の割合を用いて基準値を算出してもよい。この場合、比較値も検出範囲１０３内の全点数に対する比較領域１４１内の点数の割合となる。

【0100】

また、基準値を平均値として説明したが、最大値、最小値、中央値などであってもよく、標準偏差などを用いてもかまわない。

【0101】

また、検出対象３００と載置対象３１０とを同じものとして説明したが、これに限定されるわけではない。例えば搬送装置２００が、箱などの荷物を水平面内に行列状に１個ずつ並べる装置である場合、水平面内に先に並べられた荷物の集合が検出対象となり、検出対象３００の上にさらに並べられるそれぞれの箱が載置対象３１０となる。

【0102】

また、陥凹部３０２が存在した場合のみその旨を提示する場合を説明したが、陥凹部３０２が無かった旨を提示してもかまわない。また、陥凹部３０２が存在する場合、陥凹部３０２の大きさや平面部分３０１における位置などの情報を提示してもかまわない。この場合、陥凹部３０２の位置や大きさに基づいて載置対象３１０を検出対象３００の平面部分３０１の上に載置するか否かを判断してもかまわない。例えば、上記実施の形態のように、角部分に陥凹部３０２が存在していた場合は安定性に欠けるため載置対象３１０の載置を中止し、平面部分３０１の中央部にのみ陥凹部３０２が存在する場合は載置対象３１０の載置を実行するなどしてもかまわない。

【0103】

また、上記実施の形態のように、平面部分３０１の全体について陥凹部３０２を検出する場合ばかりでなく、平面部分３０１の中でも三次元センサ１１０から遠い部分についてのみ陥凹部検出装置１００、および、陥凹部検出方法を用い、ノイズなどの比較的少ない近い部分については、他の方法により陥凹部３０２を検出してもかまわない。

【産業上の利用可能性】

【0104】

本願発明は、陥凹部が発生する可能性のある平面部に荷物を載置することのできるクレーンなどの搬送装置として有用である。

【符号の説明】

【0105】

１００ 陥凹部検出装置
１０１ 基準値決定部
１０２ 存在提示部
１０３ 検出範囲
１１０ 三次元センサ
１１１ 情報除去部
１１２ 基準領域決定部
１１３ 基準情報抽出部
１１４ 基準値算出部
１１５ 平面部分特定部
１２２ 比較領域決定部
１２３ 比較情報抽出部
１２４ 陥凹判定部
１３１ 基準領域
１３９ 径長
１４１ 比較領域
１９９ 視野面
２００ 搬送装置
２０１ 台車
２０２ 保持手段
２０３ 車輪
２０４ 制御装置
２２１ フォーク
２２２ マスト
３００ 検出対象
３０１ 平面部分
３０２ 陥凹部
３０３ 平行部分
３１０ 載置対象
３１１ パレット
３１２ 箱

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】