特許 6649796 物体状態特定方法、物体状態特定装置、および、搬送車

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6649796

(24)【登録日】2020年1月21日

(45)【発行日】2020年2月19日

(54)【発明の名称】物体状態特定方法、物体状態特定装置、および、搬送車

(51)【国際特許分類】

   G06T 7/70 20170101AFI20200210BHJP

   B66F 9/24 20060101ALI20200210BHJP

【ＦＩ】

   G06T7/70 Z

   B66F9/24 L

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2016-32526(P2016-32526)

(22)【出願日】2016年2月23日

(65)【公開番号】特開2017-151650(P2017-151650A)

(43)【公開日】2017年8月31日

【審査請求日】2018年12月18日

(73)【特許権者】

【識別番号】000006297

【氏名又は名称】村田機械株式会社

(73)【特許権者】

【識別番号】502178001

【氏名又は名称】学校法人梅村学園

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】飯田 雅臣

(72)【発明者】

【氏名】橋本 学

(72)【発明者】

【氏名】武井 翔一

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２０１５−２２５４５３（ＪＰ，Ａ）

【文献】 特開２００８−０１４６９１（ＪＰ，Ａ）

【文献】 特開２０１５−２２５４５０（ＪＰ，Ａ）

【文献】 特開２０１２−１２７８１９（ＪＰ，Ａ）

【文献】 特開２０１２−１１２９１１（ＪＰ，Ａ）

【文献】 CHEN, G. et al.，Pallet Recognition and Localization Method for Vision Guided Forklift，2012 8th International Conference on Wireless Communications, Networking and Mobile Computing [online]，IEEE，２０１２年，［検索日 2019.12.12］，インターネット，ＵＲＬ，https://ieeexplore.ieee.org/abstract/document/6478603

【文献】 武井翔一 外２名，３次元点群の空間的広がりに着目した高速キーポイント検出，第２１回画像センシングシンポジウム ダイジェスト集 [CD-ROM]，画像センシング技術研究会，２０１５年 ６月，ｐｐ．IS1-18-1〜IS1-18-5

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｂ６６Ｆ ９／２４

Ｇ０１Ｂ １１／００ −１１／３０

Ｇ０６Ｔ １／００

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサにより取得し、前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定方法であって、
三次元のコーナーモデルの少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群を作成し、
前記モデル値群の中の少なくとも一つのモデル値を基準としてモデル特徴量を算出し、
前記実測値を基準として前記モデル特徴量を算出した手法と同じ手法で実特徴量を算出し、
前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出し、
前記対応点値に基づき前記物体の物体状態を特定する、
物体状態特定方法。

【請求項2】

前記モデル値群の中のコーナーに該当するモデル値を基準としてモデル特徴量を算出する、
請求項１に記載の物体状態特定方法。

【請求項3】

前記モデル値群の中の少なくとも一つのモデル値を基準とした局所領域を定め、前記局所領域を分割した単位領域のそれぞれに含まれるモデル値の点数、または、モデル値の点数から計算される数値をモデル特徴量として算出する、
請求項１または２に記載の物体状態特定方法。

【請求項4】

前記実特徴量の算出に関与した実測値から奥行き情報を抽出し、奥行きの分散値に比例した数値を係数としてかけた後の前記実特徴量と前記モデル特徴量をマッチングし、前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する、
請求項１〜３のいずれか一項に記載の物体状態特定方法。

【請求項5】

前記実測値の空間密度と前記モデル値の空間密度とが合致するようにモデル値群を作成する
請求項１〜４のいずれか一項に記載の物体状態特定方法。

【請求項6】

開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサより取得する実測値取得部と、
三次元のコーナーモデルの少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群の中の少なくとも一つのモデル値を基準として算出されるモデル特徴量を記憶する記憶部と、
前記実測値を基準として前記モデル特徴量を算出した手法と同じ手法で実特徴量を算出する実特徴量算出部と、
前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と、
前記対応点値に基づき前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定部と、
を備える物体状態特定装置。

【請求項7】

開口部を有する平面部を表面に備える物体の前記開口部にフォークを挿入して前記物体を搬送する搬送車であって、
前記搬送車に設けられ、前記物体の平面部の複数箇所について、三次元データである実測値を取得するセンサと、
前記実測値に基づき前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定装置とを備え、
前記物体状態特定装置は、
三次元のコーナーモデルの少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群の中の少なくとも一つのモデル値を基準として算出されるモデル特徴量を記憶する記憶部と、
前記実測値を基準として前記モデル特徴量を算出した手法と同じ手法で実特徴量を算出する実特徴量算出部と、
前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と、
前記対応点値に基づき物体状態を特定する物体状態特定部と、を備える、
搬送車。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の位置や姿勢などの状態を特定するための物体状態特定方法、物体状態特定装置、および、物体状態特定装置を備える搬送車であって、特に、無人搬送車などが物体を保持する際に、開口部を有する平面部を表面に備える物体の位置や姿勢などを示す物体状態を特定するための物体状態特定方法、物体状態特定装置、および、搬送車に関する。

【背景技術】

【0002】

物体を撮影した画像情報に基づいて、物体状態の特定を行う物体状態特定方法としては、種々のものが提案されている。

【0003】

例えば、特許文献１には、位置を変えて設けられた一対のカメラにより撮影された２つの画像データに基づいて、物体の各点における距離情報を含む三次元情報を生成し、これに基づいて物体状態の特定を行う装置が開示されている。

【0004】

また、特許文献２には、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラにより得られる物体の各箇所の距離情報（三次元情報）を用い、距離情報の中の特徴点をヒストグラム化して特徴量を算出し、参照パターンとの比較により物体の特定を行う装置が開示されている。

【0005】

さらに、特許文献３には、物体の各箇所の二次元情報と距離情報とから物体の三次元座標を算出し、参照パターンとなる三次元モデルのデータとマッチングすることで、物体の状態の特定を行う装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平０９−２１８０１４号公報

【特許文献2】国際公開第２０１０／１４０６１３号

【特許文献3】特開２０１２−１２３７８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来の特許文献１〜３に示すような物体の状態を特定する装置では、物体を撮影して得られる三次元情報から、物体の特徴点を抽出し、当該特徴点から物体の状態の特定を行っている。

【0008】

従来の方法では、物体の状態の特定をパターンマッチングで行っているため、撮像対称である物体の形状に関する情報は既知である必要がある。従って、形状が未知の物体について物体の状態を特定することはほぼ不可能である。

【0009】

本発明は、上記課題に鑑みなされたものであり、形状が未知であっても開口部を有する平面部を表面に備える物体の状態を低い演算負荷で精度よく特定する物体状態特定方法、物体状態特定装置、および、搬送車の提供を目的としている。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明にかかる物体状態特定方法は、開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサにより取得し、前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定方法であって、三次元のコーナーモデルの少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群を作成し、前記モデル値群の中の少なくとも一つのモデル値を基準としてモデル特徴量を算出し、前記実測値を基準として前記モデル特徴量を算出した手法と同じ手法で実特徴量を算出し、前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出し、前記対応点値に基づき前記物体の物体状態を特定することを特徴とする。

【0011】

これにより、高速かつ正確に物体の位置と姿勢とを特定することが可能となる。

【0012】

前記モデル値群の中のコーナーに該当するモデル値を基準としてモデル特徴量を算出してもかまわない。

【0013】

これにより、正確に開口部周縁の隅部に該当する実測値を抽出することが可能となる。

【0014】

前記モデル値群の中の少なくとも一つのモデル値を基準とした局所領域を定め、前記局所領域を分割した単位領域のそれぞれに含まれるモデル値の点数、または、モデル値の点数から計算される数値をモデル特徴量として算出してもかまわない。

【0015】

これにより、特徴量を単純化することができ、低い演算負荷の下で高速に処理することが可能となる。

【0016】

前記実特徴量の算出に関与した実測値から奥行き情報を抽出し、奥行きの分散値に比例した数値を係数としてかけた後の前記実特徴量と前記モデル特徴量をマッチングし、前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出してもかまわない。

【0017】

これにより、平面部とその他領域との違いが顕著になり、平面部を求めやすくなる。

【0018】

前記実測値の空間密度と前記モデル値の空間密度とが合致するようにモデル値群を作成してもかまわない。

【0019】

これにより、物体の状態の特定精度を向上させることができる。

【0020】

また、上記目的を達成するために、本発明にかかる物体状態特定装置は、開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサより取得する実測値取得部と、三次元のコーナーモデルの少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群の中の少なくとも一つのモデル値を基準として算出されるモデル特徴量を記憶する記憶部と、前記実測値を基準として前記モデル特徴量を算出した手法と同じ手法で実特徴量を算出する実特徴量算出部と、前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と、前記対応点値に基づき前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定部とを備えることを特徴としている。

【0021】

これにより、高速かつ正確に物体の位置と姿勢とを特定することが可能となる。

【0022】

また、上記目的を達成するために、本発明にかかる搬送車は、開口部を有する平面部を表面に備える物体の前記開口部にフォークを挿入して前記物体を搬送する搬送車であって、前記搬送車に設けられ、前記物体の平面部の複数箇所について、三次元データである実測値を取得するセンサと、前記実測値に基づき前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定装置とを備え、前記物体状態特定装置は、三次元のコーナーモデルの少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群の中の少なくとも一つのモデル値を基準として算出されるモデル特徴量を記憶する記憶部と、前記実測値を基準として前記モデル特徴量を算出した手法と同じ手法で実特徴量を算出する実特徴量算出部と、前記モデル特徴量にマッチした前記実特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と前記対応点値に基づき物体状態を特定する物体状態特定部とを備えることを特徴としている。

【0023】

これにより、低い演算負荷の下で物体の位置、姿勢を高速にフィードバックすることができ、高速かつスムーズに物体を保持して搬送することが可能となる。

【0024】

なお、前記物体状態特定方法が含む各処理をコンピュータに実行させるためのプログラムを実施することも本願発明の実施に該当する。無論、そのプログラムが記録された記録媒体を実施することも本願発明の実施に該当する。

【発明の効果】

【0025】

本発明によれば、低い演算負荷の下で高速かつ正確に物体の位置や姿勢などの状態を特定することができる。

【図面の簡単な説明】

【0026】

【図1】図１は、物体および搬送車を示す斜視図である。

【図2】図２は、物体状態特定装置の機能構成を示すブロック図である。

【図3】図３は、センサにより得られた実測値を視覚化して示す図である。

【図4】図４は、コーナーモデルと表面上に存在するモデル値群を示す斜視図である。

【図5】図５は、モデル特徴量を算出するための局所領域および単位領域とコーナーモデルとの関係を示す図である。

【図6】図６は、物体状態特定部の機能構成を詳細に示すブロック図である。

【図7】図７は、姿勢特定部の処理動作を視覚化して示す図である。

【図8】図８は、仮想平面から開口部の中心を求める処理動作を視覚化して示す図である。

【図9】図９は、仮想平面から物体の位置を求める処理動作を視覚化して示す図である。

【図10】図１０は、準備段階におけるモデル特徴量の処理の流れを示すフローチャートである。

【図11】図１１は、搬送車が物体を保持するまでの流れを示すフローチャートである。

【発明を実施するための形態】

【0027】

次に、本願発明に係る物体状態特定方法の実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本願発明に係る物体状態特定方法の一例を示したものに過ぎない。従って本願発明は、以下の実施の形態を参考に請求の範囲の文言によって範囲が画定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

【0028】

また、図面は、本願発明を示すために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。

【0029】

（実施の形態）
図１は、物体および搬送車を示す斜視図である。

【0030】

物体２００は、平面部２０１と開口部２１０とを備えているものであり、特に種類が制限されるものではなく、搬送可能な物品や搬送が困難な固定的な構造物などでもよい。

【0031】

平面部２０１は、物体２００の表面の一部であり、平面部２０１の一部に開口部２１０を備えている。

【0032】

開口部２１０は、平面部２０１から陥凹する穴の開口端部や平面部２０１から他方の端面まで貫通する孔の平面部２０１側の開口端部である。開口部２１０の形状は、特に限定されるものでは無く、正方形を含んでもかまわない。また、平面部２０１に設けられる開口部２１０の数も特に制限されるものではなく、一つの平面部２０１に開口部２１０が一つ存在しても複数個存在していてもかまわない。

【0033】

本実施の形態の場合、物体２００は、物流の現場などにおいて荷物が載置される基板となるパレットである。パレットとしての物体２００は、平面視でほぼ正方形の板状であり、一側面に該当する平面部２０１には二つの開口部２１０が配置されている。開口部２１０は、平面部２０１から反対側の端面まで貫通する孔の開口端部に該当している。二つの開口部２１０は、それぞれ横長の矩形であり同一形状である。また、二つの開口部２１０は、平面部２０１の幅方向（図中Ｘ軸方向）の中心で上下方向(図中Ｙ軸方向）に延びる軸を対称軸として線対称の関係となるように配置されている。開口部２１０は、搬送車１００のフォーク１０１が挿入可能な大きさに設定されている。

【0034】

搬送車１００は、開口部２１０を有する平面部２０１を表面に備える物体２００の開口部２１０にフォーク１０１を挿入して物体２００を持ち上げて搬送する台車である。本実施の形態の場合、搬送車１００は、フォーク１０１を形成する二本の爪を備えており、それぞれの爪の先端にセンサ１０２を備えている。二本の爪は、相互に平行に配置されており、搬送車１００が走行する床面と平行を維持したまま上下に移動可能となるように搬送車システム１１０に取り付けられている。また、搬送車１００は、無人で自律的に走行し荷物を搬送することができる無人搬送車であり、内部に物体状態特定装置１０３（図２参照）を備えている。センサ１０２は、フォーク１０１の先端に取り付ける構造に限られず、搬送車１００の筐体に取り付けられていてもよい。

【0035】

センサ１０２は、物体２００の開口部２１０を含む平面部２０１の複数箇所について、三次元データである実測値を取得することができる装置であれば特に限定されるものではない。例えばセンサ１０２としては、２つのカメラを備え、２つの二次元画像の視差により実測値を取得するセンサや、カメラの周囲に設けられたＬＥＤにより赤外光を照射し、対象物から反射した反射光が、カメラで観測されるまでの時間を撮像画素ごとに計測することで、対象物まで距離を画素ごとに測定するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラや、レーザー光をスキャンさせてレーザー光の反射光に基づき複数箇所の座標と距離とを測定する測距センサを挙示することができる。本実施の形態の場合、センサ１０２は、ＴＯＦカメラであるとして説明する。

【0036】

図２は、物体状態特定装置の機能構成を示すブロック図である。

【0037】

物体状態特定装置１０３は、センサ１０２に対する物体２００の位置、および、姿勢の少なくとも一方を含む物体状態を特定する装置であり、実測値取得部１３１と、実特徴量算出部１３４と、対応点抽出部１３５と、物体状態特定部１３６と、記憶部１３７とを備えている。

【0038】

なお、搬送車１００は、物体状態特定装置１０３を備えている。また、搬送車システム１１０は、搬送車１００とモデル特徴量算出装置１３０とにより構成されている。

【0039】

モデル特徴量算出装置１３０は、予めモデル特徴量を算出する装置であり、モデル値群作成部１３２と、モデル特徴量算出部１３３とを備えている。

【0040】

モデル値群作成部１３２は、三次元のコーナーモデルの少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群を作成する処理部である。

【0041】

ここで、コーナーモデルとは、物体２００が備える開口部２１０の一部を切り出した形状と類似したモデルである。

【0042】

本実施の形態の場合、開口部２１０の形状が矩形であるため、コーナーモデル３００は、図４に示すように、Ｌ字形状の第一面３０１（図４中ＸＹ平面に拡がる面）と、第一面３０１の内側の一の辺から第一面３０１と直交するように配置される第二面３０２（図中ＸＺ平面に拡がる面）と、第一面３０１の内側の他の辺から第一面３０１と直交するように配置される第三面３０３（図中ＹＺ平面に拡がる面）とを備えている。第一面３０１、第二面３０２、および、第三面３０３は、１点で交差し、相互に直交するものとなっている。

【0043】

また本実施の形態の場合、図４に示したモデルの他、矩形の開口部２１０の四隅に対応するように、図４中のＺ軸を中心として９０度、１８０度、２７０度回転させた三つの他のモデルもコーナーモデル３００として存在していてもかまわない。

【0044】

モデル値群作成部１３２は、三次元的なＬ字状のコーナーモデル３００の第一面３０１上、第二面３０２上、第三面３０３上にそれぞれ存在する複数点の位置を示す三次元データであるモデル値を作成し、モデル値群を作成する。

【0045】

ここで、モデル値群作成部１３２は、実測値取得部１３１が取得した実測値の空間密度、つまりセンサ１０２によって測定できる点の密度とモデル値の空間密度とが合致するようにモデル値群を作成している。これにより、物体２００の状態の特定精度を向上させることができる。

【0046】

モデル特徴量算出部１３３は、モデル値群作成部１３２で作成されたモデル値群の中の少なくとも一つのモデル値を基準としてモデル特徴量を算出する処理部である。

【0047】

モデル特徴量の算出方法は、特に限定されるものではない。例えば、各モデル値における法線方向ベクトルが、周辺モデル値の法線ベクトルとなす角度に基づいて生成される法線方向ヒストグラムによりモデル特徴量を算出してもよい。具体的には、ＦＰＦＨ（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｇｒａｍｓ）を用いることができる。また、モデル値が位置情報であることから、モデル特徴量算出部１３３は、各モデル値間の距離ヒストグラムをモデル特徴量として作成してもよい。

【0048】

本実施の形態の場合、モデル特徴量算出部１３３は、モデル値群の中のコーナーに該当するモデル値を基準としてモデル特徴量を算出している。ここで、基準となるモデル値は、コーナーモデル３００の隅、つまり、第一面３０１と第二面３０２と第三面３０３とが交差する点に該当するモデル値ばかりでなく、コーナーモデル３００の縁部（角部）に存在するモデル値であってもよい。

【0049】

さらに、モデル特徴量算出部１３３は、基準となるモデル値を含む一定の三次元の領域を局所領域として定め、局所領域を分割した単位領域のそれぞれに含まれるモデル値の点数をモデル特徴量として算出している。

【0050】

本実施の形態の場合、図５に示すように、モデル特徴量算出部１３３は、コーナーモデル３００の隅や角に該当するモデル値を中心とした球状の局所領域を設定し、図中ＺＸ平面と平行な面で上下方向（図中Ｙ軸方向）において分割した単位領域に含まれるモデル値の点数ｋに基づきモデル特徴量ｆｍを算出する。

【0051】

なお、局所領域を分割する態様は、特に限定されるものではないが、コーナーモデル３００が備える面の一つと平行な面で分割することが好ましい。また、物体２００が載置される面と平行な面や、センサ１０２が配置される面、搬送車１００が走行する面などと平行な面で分割してもかまわない。また分割数や均等に分割するか否かも特に限定されるものではない。

【0052】

例えば領域をｎ分割した場合、単位領域内の点数をｋ１，ｋ２，・・・ｋｎと表し、局所領域内のモデル値の全点数をＫとすると、モデル特徴量を示すｆｍは、次式ｆｍ＝（ｋ１／Ｋ，ｋ２／Ｋ，・・・ｋｎ／Ｋ）の様になる。

【0053】

実測値取得部１３１は、センサ１０２により測定された物体２００の平面部２０１の複数箇所のセンサ１０２に対する位置、および、センサ１０２からの距離を示す実測値を取得する処理部である。

【0054】

本実施の形態の場合、搬送車１００は、フォーク１０１の先端にそれぞれＴＯＦカメラであるセンサ１０２を備えており、一つのセンサ１０２が一つの開口部２１０を含むその周辺の平面部２０１の測定を担っている。実測値取得部１３１は、それぞれのセンサ１０２から得られた実測値をセンサ１０２の位置関係を考慮して統合している。統合された実測値を二次元画像として示すと図３に示す画像のようになる。

【0055】

実特徴量算出部１３４は、実測値取得部１３１により取得された各実測値を基準としてモデル特徴量算出部１３３がモデル特徴量を算出した手法と同じ手法で実特徴量を算出する処理部である。

【0056】

例えば、単位領域内の点数：ｍ１，ｍ２，・・・ｍｎ、局所領域内の実測値の全点数：Ｍとすると実特徴量：ｆｒ＝（ｍ１／Ｍ，ｍ２／Ｍ，・・・ｍｎ／Ｍ）、以上の様になる。実特徴量算出部１３４は、例えば全ての実測値に対し実特徴量を算出する。

【0057】

対応点抽出部１３５は、モデル特徴量算出部１３３が算出し記憶部１３７が記憶しているモデル特徴量と実特徴量算出部１３４が算出した実特徴量とを比較し、モデル特徴量にマッチした実特徴量の基準となった実測値を平面部２０１上に存在する対応点として当該対応点を示す対応点値を抽出する処理部である。

【0058】

本実施の形態の場合、対応点抽出部１３５は、開口部２１０の四つの隅に対応するコーナーモデル３００のモデル特徴量と実特徴量とのマッチングを行う。マッチングは、モデル特徴量と実特徴量との類似度に基づき行われる。つまり、ｆｍに対し所定閾値範囲内のｆｒについては、当該ｆｒを算出した局所領域の基準となった実測値を対応点として抽出する。

【0059】

さらに、隅以外の縁（角）に対応するコーナーモデル３００のモデル特徴量と実特徴量とのマッチングを行ってもよい。

【0060】

なお、対応点抽出部１３５は、実特徴量の算出に関与した実測値から奥行き情報を抽出し、奥行きの分散値に比例した数値を係数としてかけた後の実特徴量とモデル特徴量とをマッチングしてもかまわない。ここで、奥行きの分散値に比例した数値とは、分散値を正規化した数値などである。これにより、平面部２０１とその他領域との違いが顕著になり、平面部２０１を求めやすくなる。

【0061】

また、対応点の抽出は、少なくとも対角線上にある二つの隅に対応するコーナーモデル３００に基づきモデル特徴量と実特徴量とのマッチングを行えばよい。

【0062】

また、対応点抽出部１３５は、実測値のダウンサンプリングを行ってもよい。例えば、実測値のうちから、特定の幾何的関係にある１又は複数の実測値の組を抽出し、所定範囲の距離だけ離間し、各点を結ぶ線分がなす角度が所定範囲であれば、この３点の特徴点をマッチングの候補点とするダウンサンプリングを行ってもよい。また、対応点抽出部１３５は、中央に位置する特徴点と、他の２つの特徴点との間の中間点を、それぞれパターンマッチングの候補点とするダウンサンプリングを行ってもよい。また、このダウンサンプリングは、実特徴量算出部１３４において行ってもかまわない。

【0063】

物体状態特定部１３６は、対応点抽出部１３５が抽出した対応点値に基づきセンサ１０２に対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する処理部である。

【0064】

図６は、物体状態特定部の機能構成を詳細に示すブロック図である。

【0065】

同図に示すように、物体状態特定部１３６は、仮想平面決定部１６１と、安定点算出部１６２と、姿勢特定部１６３と、位置特定部１６４とを備えている。

【0066】

仮想平面決定部１６１は、対応点抽出部１３５により抽出された対応点値に基づき平面部２０１を含む面を示す平面方程式を算出する処理部である。平面方程式を算出する手法は特に制限されるものではないが、本実施の形態では対応点抽出部１３５により抽出された対応点の中にはノイズが含まれていると考えられるため、外れ値を除外して平面方程式のパラメータを推定をする手法（例えば、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）等）を用いている。

【0067】

安定点算出部１６２は、仮想平面決定部１６１により算出された仮想平面に乗る実測値を安定点として抽出する処理部である。

【0068】

ここで、仮想平面に乗るとは、仮想平面決定部１６１により算出された平面方程式を満たす実測値ばかりでなく、誤差の範囲で平面方程式を満たす実測値も含む意味として用いている。

【0069】

姿勢特定部１６３は、安定点に基づいて物体２００の姿勢を特定する処理部である。ここで、姿勢とは、センサ１０２に対する物体２００の向きである。具体的に例えば、姿勢とは、センサ１０２の測定領域の中心とセンサとを結ぶ測定軸と、物体２００の向きを示す代表軸との三次元的な角度が姿勢である。また本実施の形態の場合、パレットとしての物体２００と搬送車１００とは、同一平面（床面）上に配置されるものであるため、物体２００の姿勢とは、開口部２１０を形成する貫通孔の管軸である代表軸と搬送車１００の直進方向との角度となる。

【0070】

姿勢特定部１６３が姿勢を特定する手法は特に限定されるものではない。例えば、仮想平面決定部１６１が決定した仮想平面の法線を物体２００の向きを示す代表軸とし、搬送車１００等から取得した搬送車１００の直進方向を基準に物体２００の姿勢を特定してもよい。

【0071】

本実施の形態の場合、仮想平面と交差する面であって、物体２００と搬送車１００とが配置される床面に相当する面に安定点を投影し、得られた投影点群の中から前方に位置する点である前方点群を抽出し、当該前方点群に基づき物体２００の姿勢を特定している。前方点群に基づき物体２００の姿勢を特定する手法は、特に限定されるものではない。本実施の形態では前方点の中にはノイズが含まれていると考えられるため、平面方程式を作成した場合と同様に、外れ値を除外して直線方程式のパラメータを推定をする手法（例えば、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）等）を用いている。これにより、正確に物体２００の姿勢を特定することが可能となる。

【0072】

ここで、前方点の特定は次のようにして行われる。図７の（ａ）の部分に示すように、投影点群１０９は、線状に集まっている。なお、図中は矩形の帯状に整列して記載されているが、実際に投影点は帯状を維持しつつランダムな配置となっている。次に、図７の（ｂ）の部分に示すように、投影点１９０の中の１点を着目点１９１とし、着目点１９１を含む領域１９９（本実施の形態では円）内に含まれる投影点１９０を抽出する。着目点１９１から抽出された各投影点１９０までのベクトルである着目点ベクトル１９２と、仮想平面決定部１６１が決定した仮想平面の法線ベクトル１９３との角度θを算出する。所定の角度範囲（図７の（ｃ）の斜線部）内に角度θが含まれない場合、つまり、着目点ベクトル１９２を中心として所定の角度範囲内に他の投影点１９０がない場合、着目点１９１を前方点として特定する。これを異なる複数の投影点についてそれぞれを着目点１９１として前方点を特定し、前方点群を抽出する。

【0073】

位置特定部１６４は、安定点算出部１６２が算出した安定点に基づき開口部２１０の中心位置を特定し、これを物体２００の位置として特定する。

【0074】

開口部２１０の中心位置を特定する手法は、特に制限されるものではないが、例えば以下の方法を例示することができる。

【0075】

（位置特定方法例１）
まず、仮想平面決定部１６１で決定した仮想平面上にランダムに仮点を生成する。次に、安定点の近傍に存在する仮点を除外する。除外した結果、残存点群１６９は図８に示すような形状となる。次に、残存した仮点である残存点群の重心（中心）を算出する。算出された重心（中心）位置は、開口部２１０の中心位置１６８となる。

【0076】

本実施の形態の場合、物体２００はパレットであり、平面部２０１に開口部２１０が２箇所設けられている。また、二つの開口部２１０は、物体２００が載置される平面（床面）と平行な面内に配置されている。従って、位置特定部１６４は、二つの開口部２１０のそれぞれについて中心位置を算出し、これら二つの中心位置を結ぶ線分の中点を物体２００の位置としている。

【0077】

なお、二つの開口部２１０の中心位置を算出する場合に、事前に安定点を二つにクラスタリングし、それぞれのクラスに属する安定点に基づき開口部のそれぞれの中心位置を算出してもかまわない。

【0078】

（位置特定方法例２）
本実施の形態の場合、物体２００はパレットであり、平面部２０１に開口部２１０が２箇所設けられている。また、二つの開口部２１０は、物体２００が載置される平面（床面）と平行な面内に配置され、二つの開口部２１０の形状は同一である。以上の前提に基づき、安定点が線対称の配置となる対称軸に基づき物体２００の位置を特定する。

【0079】

まず、仮想平面決定部１６１で決定した仮想平面上にランダムに仮点を生成する。次に、安定点の近傍に存在する仮点を除外する。除外した結果、残存点群１６９は図９に示すような形状となる。残存した仮点である残存点群から上下方向（Ｙ軸方向）の最大値ｙ＿ｍａｘ、および、最小値ｙ＿ｍｉｎを算出する。次に、最大値ｙ＿ｍａｘから最小値ｙ＿ｍｉｎまでの範囲に含まれる安定点から最も内側にある安定点を抽出し、線状の縁成分１６７を抽出する。次に、予め算出した中心位置、例えば二つの開口部２１０の中心を結ぶ線分の中点を通る上下方向に延びる軸を基準にして、折り返した場合に各縁成分１６７の位置合わせ誤差が最小となる折り返し線１６６を探索して決定する。以上により決定された折り返し線１６６が物体２００の位置となる。

【0080】

なお、二つの開口部２１０の縁成分１６７を算出する場合に、事前に安定点を二つにクラスタリングし、それぞれのクラスに属する安定点に基づき縁成分１６７を算出してもかまわない。

【0081】

次に、搬送車システム１１０における搬送車１００の物体２００を保持するまでの動作を説明する。

【0082】

図１０は、準備段階におけるモデル特徴量の処理の流れを示すフローチャートである。

【0083】

まず準備として、モデル特徴量算出装置１３０に基づき、コーナーモデル３００の少なくとも相互に異なる三つの表面上にそれぞれ存在する複数点の位置を示すモデル値の集合であるモデル値群を作成し、モデル値群の中の少なくとも一つのモデル値を基準としてモデル特徴量を算出する(Ｓ１０１）。

【0084】

次に、作成されたモデル特徴量を搬送車１００の記憶部１３７に記憶させる(Ｓ１０２）。

【0085】

図１１は、搬送車が物体を保持するまでの流れを示すフローチャートである。

【0086】

物体２００であるパレットは、例えば、自動倉庫の搬出入ステーションに配置されている。当該ステーションに存在する物体２００を搬送する指令を受信した搬送車１００は、記憶しているマップなどに基づき物体２００が配置されているステーションにフォーク１０１を物体２００に向けた状態で近づく（Ｓ２０１）。

【0087】

次に、フォーク１０１の先端に取り付けられているセンサ１０２を稼働させて、物体２００の平面部２０１内における複数箇所の位置、および、距離を三次元的に計測する（Ｓ２０２）。

【0088】

実測値取得部１３１は、センサ１０２からデータとして実測値を取得する（Ｓ２０３）。

【0089】

実測値を取得すると、実特徴量算出部１３４は、それぞれの実測値について実特徴量を算出する（Ｓ２０４）。なお、実測値が多く処理に時間を要する場合は、前述の手法などを用いてダウンサンプリングを行った後、実特徴量を算出してもかまわない。

【0090】

次に、記憶部１３７に記憶されたモデル特徴量と算出された実特徴量とをマッチングし、所定範囲の類似度を示す実特徴量の基準となった実測値を対応点値として抽出する（Ｓ２０５）。

【0091】

ここで、対応点が所定の閾値未満の場合（Ｓ２０６：Ｎ）、物体状態特定部１３６は、仮想平面を決定して、安定点を抽出する（Ｓ２０７）。

【0092】

一方、対応点が所定の閾値以上の場合（Ｓ２０６：Ｙ）、物体状態特定部１３６は、対応点を安定点に変換する（Ｓ２０８）。

【0093】

次に、物体状態特定部１３６は、安定点に基づき物体状態を特定する（Ｓ２０９）。

【0094】

最後に、搬送車１００は、得られた物体状態に基づき操舵輪や駆動輪についてフィードバック制御を行い、開口部２１０を端部に有する貫通孔の軸とフォーク１０１の軸とが合致した段階で、フォーク１０１を開口部２１０に挿入し、物体２００を持ち上げて保持する（Ｓ２１０）。

【0095】

本発明によれば、開口部２１０の周縁に着目し、開口部２１０の周縁部の特徴を強く備えたモデル特徴量と実特徴量とのマッチングにより安定点を抽出しているため、高速かつ正確に物体２００の位置や姿勢を特定することが可能となる。

【0096】

また、コーナーモデルを用いて物体の位置と姿勢とを特定する安定点を抽出している。従って、物体２００の種類、例えばパレットの種類が不明で、開口部２１０の大きさや、平面部２０１における開口部２１０の位置が未知であっても開口部２１０の位置や物体２００の位置、姿勢を特定することが可能となる。

【0097】

また、開口部２１０に着目したことで、局所領域を分割した単位領域に含まれる点の数だけを特徴量とした場合でも対応点の抽出精度が許容範囲内となり、さらに高速に安定点を抽出することが可能となる。

【0098】

以上から、これらを実現する物体状態特定装置１０３を備えた搬送車１００は、高速かつ正確に物体２００の位置と姿勢とを把握することができ、物体２００を高速かつスムーズに保持し搬送することが可能となる。

【0099】

なお、本願発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本願発明の実施の形態としてもよい。また、上記実施の形態に対して本願発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本願発明に含まれる。

【0100】

例えば、実測値を複数の画像を解析することにより得てもよく、この場合、対応点を抽出する際のマッチングは、画像の特徴点から、所定の幾何的条件を満たす所定数の特徴点をマッチング候補点として抽出してもよい。

【0101】

また、画像特徴点の検出は、Ｈａｒｒｉｓ処理、又はＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）処理することにより、特徴点を検出してもよい。また、ＩＳＳ（Ｉｎｔｒｉｎｓｉｃ Ｓｈａｐｅ Ｓｉｇｎａｔｕｒｅｓ）でもよい。

【0102】

特徴点の検出方法は、画像の各画素について、色や輝度変化が大きくなる点を検出できればよく、Ｈａｒｒｉｓ作用素、又はＳＩＦＴ作用素を用いる方法の他に、公知の技術を用いることができる。

【0103】

また、特徴量の算出には、公知の技術を用いることが可能であり、例えば、法線方向ヒストグラム、距離ヒストグラム、輝度レベルのヒストグラムなどを用いることが可能であり、より具体的には、ＦＰＦＨ（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｏｇｒａｍｓ）を用いることができる。

【0104】

また、モデルを仮想的なモデルとしたが、位置と姿勢が既知の物体２００を測定することにより、モデル特徴量を算出してもかまわない。

【産業上の利用可能性】

【0105】

本発明は、物体の位置と姿勢とを特定する特定装置に適用でき、例えば、無人搬送車や搬送車などに搭載される物体状態特定装置に適用可能である。

【符号の説明】

【0106】

１００ 搬送車
１０１ フォーク
１０２ センサ
１０３ 物体状態特定装置
１０９ 投影点群
１１０ 搬送車システム
１３０ モデル特徴量算出装置
１３１ 実測値取得部
１３２ モデル値群作成部
１３３ モデル特徴量算出部
１３４ 実特徴量算出部
１３５ 対応点抽出部
１３６ 物体状態特定部
１３７ 記憶部
１６１ 仮想平面決定部
１６２ 安定点算出部
１６３ 姿勢特定部
１６４ 位置特定部
１６６ 折り返し線
１６７ 縁成分
１６８ 中心位置
１６９ 残存点群
１９０ 投影点
１９１ 着目点
１９２ 着目点ベクトル
１９３ 法線ベクトル
１９９ 領域
２００ 物体
２０１ 平面部
２１０ 開口部
３００ コーナーモデル
３０１ 第一面
３０２ 第二面
３０３ 第三面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】