知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023069743
(43)【公開日】2023-05-18
(54)【発明の名称】物品認識装置及び物品認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230511BHJP
【ＦＩ】
G06T7/00 300D
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021181847
(22)【出願日】2021-11-08
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】萩原 大佑
(72)【発明者】
【氏名】木村 宣隆
(72)【発明者】
【氏名】矢野 泰樹
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096BA05
5L096EA31
5L096FA05
5L096FA06
5L096FA12
5L096FA46
5L096FA59
5L096FA64
5L096FA66
5L096FA67
5L096FA76
5L096GA40
5L096GA51
5L096JA03
5L096JA09
5L096JA11
(57)【要約】
【課題】認識対象物品の模様やサイズなどの情報を事前に用意することなく、密接して整列された複数の物品の各物品を適切に認識できるようにする。
【解決手段】本発明の一態様の物品認識装置１０は、画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される物品領域受付部１１と、模様領域の模様量が所定の第１閾値以上であり、かつ、物品領域の最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成するテンプレート決定部１２ｄと、テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、物品領域における物品面情報を取得して出力する物品面情報取得部１２ｇと、を備える。
【選択図】図１
【解決手段】本発明の一態様の物品認識装置１０は、画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される物品領域受付部１１と、模様領域の模様量が所定の第１閾値以上であり、かつ、物品領域の最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成するテンプレート決定部１２ｄと、テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、物品領域における物品面情報を取得して出力する物品面情報取得部１２ｇと、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される入力部と、
所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、前記物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成するテンプレート画像生成部と、
前記テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、前記物品領域における前記物品の面の位置及びサイズを含む物品面情報を取得して出力する物品面情報取得部と、を備える
物品認識装置。
所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、前記物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成するテンプレート画像生成部と、
前記テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、前記物品領域における前記物品の面の位置及びサイズを含む物品面情報を取得して出力する物品面情報取得部と、を備える
物品認識装置。
【請求項2】
前記物品領域は、前記物品領域において他の種類の模様と重複しない模様を含み、模様領域以外の領域の画素値が所定の一定値である一種類以上の多角形が、２次元平面上に敷き詰められることによって構成され、
前記物品領域における前記多角形のサイズは、前記多角形のいずれかの角の頂点からのびる２辺の長さの比によって規定され、
前記物品面情報取得部から出力される前記物品面情報には、前記一種類以上の多角形における、前記物品領域の角に対応する角の位置の情報が含まれる
請求項１に記載の物品認識装置。
前記物品領域における前記多角形のサイズは、前記多角形のいずれかの角の頂点からのびる２辺の長さの比によって規定され、
前記物品面情報取得部から出力される前記物品面情報には、前記一種類以上の多角形における、前記物品領域の角に対応する角の位置の情報が含まれる
請求項１に記載の物品認識装置。
【請求項3】
一つ以上の前記類似領域のうちの、自身の領域との最近接角との相対的位置関係情報を計算する類似領域評価部をさらに備え、
前記物品面情報取得部は、前記類似領域評価部が計算した前記相対的位置関係情報、及び、一つ以上の前記類似領域の情報を用いて、前記物品面情報を取得する
請求項１又は２に記載の物品認識装置。
前記物品面情報取得部は、前記類似領域評価部が計算した前記相対的位置関係情報、及び、一つ以上の前記類似領域の情報を用いて、前記物品面情報を取得する
請求項１又は２に記載の物品認識装置。
【請求項4】
自身の領域との距離又は前記相対的位置関係情報の計算対象となる最近接角は、記物品領域を構成する角の最小角度からの角度の差分が所定の第３閾値未満となる角である
請求項３に記載の物品認識装置。
請求項３に記載の物品認識装置。
【請求項5】
前記テンプレート画像生成部は、自身の領域を分断する直線模様が存在する領域を、前記テンプレート画像の元となるテンプレートの候補から除外する
請求項１又は２に記載の物品認識装置。
請求項１又は２に記載の物品認識装置。
【請求項6】
前記テンプレート画像生成部は、一つ以上の前記テンプレートの候補のそれぞれに対して、自身の領域との最近接角がある方向に、前記テンプレートの候補の領域を縮小する
請求項５に記載の物品認識装置。
請求項５に記載の物品認識装置。
【請求項7】
前記類似領域評価部は、一つ以上の前記類似領域のそれぞれを、その最近接角の方向に拡大して拡大類似領域を得、自身の領域との最近接角からの距離が最小となる第１拡大類似領域と類似度が所定の第４閾値未満となる拡大類似領域を、前記類似領域の対象から外す
請求項３に記載の物品認識装置。
請求項３に記載の物品認識装置。
【請求項8】
入力部に、互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される手順と、
テンプレート画像生成部が、所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、前記物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成する手順と、
物品面情報取得部が、前記テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、前記物品領域における前記物品の面の位置及びサイズを含む物品面情報を取得して出力する手順と、を含む
物品認識方法。
テンプレート画像生成部が、所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、前記物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成する手順と、
物品面情報取得部が、前記テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、前記物品領域における前記物品の面の位置及びサイズを含む物品面情報を取得して出力する手順と、を含む
物品認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物品認識装置及び物品認識方法に関する。
【背景技術】
【0002】
従来、例えば、物流倉庫において、商品の仕分けやケースのパレタイズ、デパレタイズなどの工程において、人手に代わる手段として、ピッキングロボット等のロボットが用いられることがある。ピッキングロボットは、先端にグリッパー等が付いたロボットアームを有し、センサで取得された情報に基づいて、物品の把持や操作などを行う。
【0003】
ピッキングロボットのピッキング性能を左右する機能として、センサで取得した情報を解析するための物品認識機能が挙げられる。物品認識機能は、一般的に、センサで取得した作業シーンの２次元画像及び３次元点群を与えると、その作業シーン内の物品の位置姿勢を推定することができる。それゆえ、物品認識機能は、ピッキングロボットによるその後の物品の正確な把持や操作にとって重要な役割を担う。
【0004】
物品認識機能による物品認識の難易度は、認識対象の物品の形状や、サイズ、表面の模様、配置、照明等の環境要因などによって変わるが、複数の物品が互いに密着して整列されている状況においては、その難易度はより高くなってしまう。複数の物品が互いに密着して整列される状況は、例えば、入荷直後の物流倉庫において、容器に商品（物品）が詰まっている場合や、段ボール箱が密に積み上げられている場合などにおいて起こる。
【0005】
物品同士が密着していると、その間の隙間は非常に小さくなるため、デプスセンサによる隙間検出が難しくなる。高精度のデプスセンサを採用することによって、非常に小さい隙間も検出可能となる場合もあるが、高精度のデプスセンサは非常に高価格であるため、その分生産コストが上昇してしまう。また、高精度のデプスセンサを採用した場合であっても、隙間の大きさによっては、安定した計測が望めない場合もある。
【0006】
また、物品間の隙間は２次元画像上では画素値が同程度の直線として見えるため、２次元画像での直線検出を行って物品の境界を特定することによって、物品認識性能を向上させる案も考えられる。しかし、物品の表面に模様がある場合であって、その模様が直線的である場合は、物品認識機能を有する物品認識装置がその模様を物品境界と誤って判定してしまい、物品の誤分離を招く危険性がある。
【0007】
密着して整列された物品（以下、「密整列物品」とも称する）の認識技術において、認識対象物品の情報を活用するアプローチも存在する。物品認識に活用が可能な情報としては、物品の形状やサイズ、表面の模様などが挙げられる。これらの情報を事前に得られれば、センサで取得したデータと、事前に得た認識対象物品の情報との照合処理により、物品をより正確に検出することも可能となる。しかし、認識対象物品の情報を事前に準備する場合、取り扱う物品の種類が多くなると、認識対象物品の情報の取得（準備）にかかるコストは膨大なものとなってしまう。
【0008】
認識対象物品の情報の取得にかかる時間を削減する手法として、認識対象物品の情報の一部を、センサで取得したデータから抽出する手法も考えられる。例えば、特許文献１には、画像から取得した輪郭データから各ワークの位置及び姿勢を検出し、画像中のワーク部分の画像であるマスタ画像パターンと、各ワーク部分の画像とのパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力するワーク位置認識装置が開示されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２０１０－３２２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
特許文献１に記載のワーク位置認識装置は、ワーク上面の各マーク又は模様も対象としてパターンマッチングを行う。これにより、ワーク位置認識装置は、検出した各ワークの位置及び姿勢に、誤った検出結果が含まれていないか検証する。しかしながら、与えられた認識対象データから認識対象物品の模様情報を抽出するには、まず、認識対象物品の候補領域を特定する必要がある。
【0011】
このとき、候補領域特定のための情報として、物品の形状の情報は与えられていたとしても、物品のサイズ情報は与えられていない状況も想定される。このような状況下において、物品認識装置が密整列物品を対象として物品認識を行う場合、密整列物品の整列面を実現する物品の配置パターンの数が膨大な数となってしまうことも想定され得る。この場合、物品認識装置は、密整列物品における各物品の境界を適切に検出して、物品を正しく切り出すことが難しくなる。このような状況を避けるために、物品のサイズ情報を事前に取得する場合、事前取得にコストがかかってしまう。
【0012】
本発明は、上記の状況を考慮してなされたものであり、本発明の目的は、認識対象物品の模様やサイズなどの情報を事前に用意することなく、密接して整列された複数の物品の各物品を適切に認識できるようにすることにある。
【課題を解決するための手段】
【0013】
本発明の一態様に係る物品認識装置は、互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される入力部と、所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成するテンプレート画像生成部と、テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、物品領域における物品の面の位置及びサイズを含む物品面情報を取得して出力する物品面情報取得部と、を備える。
【0014】
また、本発明の一態様に係る物品認識方法は、入力部に、互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる物品領域の情報が入力される手順と、テンプレート画像生成部が、所定値以上の画素が密集した模様領域の模様量が所定の第１閾値以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いてテンプレート画像を生成する手順と、物品面情報取得部が、テンプレート画像との類似度が所定の第２閾値以上である一つ以上の類似領域の情報を用いて、物品領域における物品の面の位置及びサイズを含む物品面情報を取得して出力する手順と、を含む。
【発明の効果】
【0015】
本発明の少なくとも一態様によれば、認識対象物品の模様やサイズなどの情報を事前に用意することなく、密接して整列された複数の物品の各物品を適切に認識できるようになる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態に係る物品認識装置の概略構成を示すブロック図である。
【図2】本発明の一実施形態に係る物品領域の例を示す図である。
【図3】本発明の一実施形態に係る物品認識装置を構成するハードウェアの構成例を示すブロック図である。
【図4】本発明の一実施形態に係るテンプレート候補抽出部によるテンプレート候補抽出処理の概要を示す図である。
【図5】本発明の一実施形態に係るテンプレート候補評価部及びテンプレート決定部による処理の概要を示す図である。
【図6】本発明の一実施形態に係るテンプレート候補評価部及びテンプレート決定部による処理の概要を示す図である。
【図7】本発明の一実施形態に係るテンプレート候補評価部及びテンプレート決定部による処理の概要を示す図である。
【図8】本発明の一実施形態に係る二つの星形模様と二本の直線模様とを有する物品が３つ密着して整列された物品領域を示す図である。
【図9】本発明の一実施形態に係る推奨対策情報テーブルの構成例を示す図である。
【図10】本発明の一実施形態に係る物品面情報取得部による処理の概要を示す図である。
【図11】本発明の一実施形態に係る物品面情報取得部による処理の概要を示す図である。
【図12】本発明の一実施形態に係る物品面情報取得部による処理の概要を示す図である。
【図13】本発明の一実施形態に係る物品面情報取得部による処理の概要を示す図である。
【図14】本発明の一実施形態に係る物品認識装置による物品認識処理の手順の例を示すフローチャートである。
【図15】本発明の一実施形態に係る物品認識装置から出力される物品面の情報の例を示す図である。
【図16】本発明の一実施形態に係る物品認識装置が適用される作業シーンの例を示す図である。
【図17】本発明の変形例に係る物品が円柱形状である場合における作業シーンの例を示す図である。
【図18】本発明の変形例に係る物品認識装置の概略構成を示すブロック図である。
【図19】本発明の変形例に係る物品認識装置による物品認識処理の手順の例を示すフローチャートである。
【図20】本発明の一実施形態に係る本実施形態に係る物品認識装置を、ピッキングロボットによるピッキング対象の物品の認識処理を行う装置に適用した場合における、作業シーンの例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照しながら説明する。本発明は実施形態に限定されるものではなく、実施形態における種々の数値等は例示である。また、本明細書及び図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付することとし、重複する説明は省略する。
【0018】
【0019】
図１に示すように、本実施形態の物品認識装置１０は、物品領域受付部１１と、認識処理部１２と、物品面情報出力部１３と、を含む。
【0020】
本実施形態における物品認識装置１０には、互いに密着して整列された複数の物品の整列面に対応する、物品領域の情報が入力される。そして、物品認識装置１０は、物品認識処理の実行時に、物品領域の中から、各物品の面（以下、「物品面」とも称する）の情報を取得する際に使用する、テンプレートマッチング用のテンプレート画像を抽出する。そして、物品認識装置１０は、抽出したテンプレート画像との類似度が所定の閾値以上の類似領域を物品領域の中から抽出し、該類似領域の情報に基づいて、整列面を構成する各物品の物品面の情報（位置、サイズ等）を取得する。
【0021】
つまり、本実施形態に係る物品認識装置１０は、物品認識処理の実行時に抽出したテンプレート画像を用いて、物品領域内における各物品面の情報を求めるため、物品認識処理の対象となる物品が有する模様の情報や、物品のサイズの情報などが事前に与えられる必要はない。
【0022】
なお、本実施形態に係る物品認識装置１０は、物品領域が同種の物品の面（物品面）で構成される場合に最も高い物品認識性能を得られるが、物品領域が二種類以上の物品面で構成される場合にも、適用可能である。
【0023】
物品領域受付部１１（入力部の一例）は、物品領域の情報を受け付ける。物品領域は、互いに密着して整列された複数の物品の整列面の、センサによる撮影画像から、整列面の部分を抽出した情報である。センサは、例えば、ＲＧＢ－Ｄ（Red Green Blue-Depth）カメラ等で構成され、３次元点群と対応する２次元画像を、撮影画像として出力する。
【0024】
センサによる撮影画像は、一般的に、輪郭が長方形等の多角形で表現される。該撮影画像が、一つ以上の同種の物品面によって構成される領域を内部に含む場合、その領域を切り出して輪郭を多角形近似することによって、複数の物品が密着して整列されている整列面と対応する、物品領域の情報を得ることができる。
【0025】
そして、物品領域受付部１１は、取得した物品領域の情報を、認識処理部１２に出力する。物品領域における画素値は、スカラー量や多次元ベクトル量などで表現される。例えば、物品領域がＲＧＢ画像で表されている場合には、画素値は３次元ベクトルで表現される。
【0026】
なお、本実施形態に係る物品認識装置１０に入力される物品領域の情報には、物品領域内において他の種類の模様と重複しない特徴的な模様を含むものであることが求められる。本実施形態に係る物品認識装置１０は、物品に含まれる特徴的な模様を含む部分領域と、該部分領域と物品領域の最近接角との間の距離の情報を用いて、テンプレート画像を生成するためである。物品領域の最近接角は、物品領域を構成するいくつかの角の中で、着目する部分領域に最も近い位置にある角である。
【0027】
つまり、本実施形態に係る物品領域は、物品領域内において他の種類の模様と重複しない特徴的な模様を含み、模様領域以外の領域の画素値が所定の一定値である一種類以上の多角形が、２次元平面上に敷き詰められることによって構成されたものであると言える。
【0028】
ここで、図２を参照して、物品領域の例について説明する。図２は、物品領域の例を示す図である。図２Ａには、長方形形状の物品２１１が６つ密着して整列されてなる、長方形形状の物品領域２１を示す。物品２１１は、一つの黒色の星形模様と、二本の直線模様とを含む。
【0029】
図２Ｂには、図２Ａに示した物品２１１が５つ密接して整列されてなる、十角形形状の物品領域２２を示す。物品領域２２において、各物品２１１を構成する各辺は、互いに垂直又は水平に配置されている。図２Ｃには、平行四辺形形状の物品２３１が５つ密着して整列されてなる、八角形形状の物品領域２３を示す。物品２３１は、一つの黒色の星形模様と、一本の直線模様とを含む。
【0030】
図１に戻って説明を続ける。認識処理部１２は、物品領域における一つ以上の物品面の位置を計算して、計算した物品面の位置の情報を物品面情報出力部１３に出力する。物品面の位置は、物品領域内において物品面が占める領域を特定するために必要な情報であり、例えば、物品面の頂点座標等がある。
【0031】
認識処理部１２は、模様量計算部１２ａと、テンプレート候補抽出部１２ｂと、テンプレート候補評価部１２ｃと、テンプレート決定部１２ｄと、類似領域検出部１２ｅと、類似領域評価部１２ｆと、物品面情報取得部１２ｇと、テンプレート候補情報保持部１２ｈと、を含む。
【0032】
模様量計算部１２ａは、物品領域受付部１１から入力された物品領域における、模様量の分布を計算する。模様量は、所定の領域に含まれる画像の模様度合いを表す指標であり、物品領域を構成する２次元画像の画素値から計算される。模様度合いは、その領域が何かしらの模様を構成している確率の高さを示し、該模様は、例えば、図２Ａ及びＢに示す星形模様等の模様である。
【0033】
模様量は、例えば、隣接画素との画素値の差を表す輝度勾配、人間の目の付きやすさを定量化した顕著性、ＳＩＦＴ（Scale Invariant Feature Transform）に代表される局所画像特徴量、ニューラルネットワーク等を用いて計算される画像特徴量等によって示される。もしくは、模様量は、これらの内の一つ以上を組み合わせたものによって示されてもよい。
【0034】
テンプレート候補抽出部１２ｂは、模様量（又は模様量の密度）が予め定められた所定の閾値（第１閾値の一例）以上となる、物品領域内の一つ以上の部分領域を、テンプレート画像の候補（以下、「テンプレート候補」と称する）として抽出する。模様量に適用する閾値は、模様を含む物品の実際の撮影画像から得られる情報等に基づいて、任意の値に設定が可能である。模様量の密度とは、模様として検知された複数の画像の密集度合いを示す。
【0035】
テンプレート候補評価部１２ｃは、テンプレート候補抽出部１２ｂで抽出されたテンプレート候補のそれぞれに対して、最近接角、すなわち、物品領域を構成するいくつかの角の中で最も近い角との間の距離を計算する。
【0036】
テンプレート候補情報保持部１２ｈは、一つ以上のテンプレート候補と、該テンプレート候補に対応する一つ以上の距離（最近接角との距離）との対応情報を保持する。また、テンプレート候補情報保持部１２ｈは、次のテンプレート決定部１２ｄによって生成されたテンプレート画像、もしくは、物品面情報取得部１２ｇによって取得された物品面情報に基づいて生成された画像を保持する。テンプレート候補情報保持部１２ｈに保持されるテンプレート画像、又は、物品面情報に基づき生成された画像は、２回目以降に行われる類似領域検出部１２ｅ、類似領域評価部１２ｆ及び物品面情報取得部１２ｇによる処理においても用いられる。
【0037】
テンプレート決定部１２ｄ（テンプレート画像生成部の一例）は、テンプレート候補情報保持部１２ｈを参照して、物品領域の最近接角からの距離が最小となるテンプレート候補を、テンプレート画像生成用のテンプレートに決定する。そして、選択したテンプレート候補からテンプレート画像を生成する。
【0038】
類似領域検出部１２ｅは、テンプレート候補情報保持部１２ｈが抽出したテンプレート画像を用いて、物品領域内の一つ以上の類似領域を検出する。類似領域は、テンプレート画像との類似度が所定の閾値（第２閾値の一例）以上の画像が含まれる領域である。類似度の高さを図る閾値には、テンプレート画像との類似度として期待する類似度を適宜設定可能である。
【0039】
類似領域評価部１２ｆは、類似領域検出部１２ｅによって検出された類似領域のうちの、物品領域の最近接角との距離が最小となる類似領域を対象として、その物品領域と最近接角との間の相対的位置関係（相対的位置関係情報の一例）を計算する。相対的位置関係は、着目する類似領域を含む物品面の中のどの位置にその類似領域が存在しているかを特定するための情報であり、例えば、着目する類似領域における所定の点と、その物品領域の最近接角との間の変位を表す２次元ベクトル等によって示される。
【0040】
物品面情報取得部１２ｇは、類似領域評価部１２ｆによって計算された相対的位置関係に基づいて、物品領域内の一つ以上の物品面の情報（位置及びサイズ）を計算する。そして、物品面情報取得部１２ｇは、得た一つ以上の物品面の情報（以下、「物品面情報」とも称する）を、物品面情報出力部１３に出力する。
【0041】
物品面情報出力部１３は、認識処理部１２から入力された、一つ以上の物品面の情報を、外部のロボット（図示略）等に出力する。
【0042】
［計算機のハードウェア構成例］
次に、図１に示した物品認識装置１０を構成するハードウェアの構成について、図３を参照して説明する。図３は、物品認識装置１０を構成するハードウェアの構成例を示すブロック図である。
次に、図１に示した物品認識装置１０を構成するハードウェアの構成について、図３を参照して説明する。図３は、物品認識装置１０を構成するハードウェアの構成例を示すブロック図である。
【0043】
図３に示す計算機２００は、物品認識装置１０で使用されるコンピュータとして用いられるハードウェアである。計算機２００は、プロセッサ２０１と、メモリ２０２と、補助記憶装置２０３と、入力装置２０４と、出力装置２０５と、通信ＩＦ（Interface）２０６と、を含む。計算機２００を構成する各要素は、バス３７により相互に通信可能に接続される。
【0044】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Multi-Functional Peripherals）等によって構成され、メモリ２０２に格納されているプログラムを読みだして実行することにより、本実施形態に係る物品認識処理（物品認識装置１０の各部によって実行される各処理）を実行する。
【0045】
メモリ２０２は、例えば、不揮発性の記憶素子と揮発性の記憶素子とで構成される。不揮発性の記憶素子は、例えばＲＯＭ（Read Only Memory）で構成され、ＲＯＭには、変更する必要のないプログラムが格納される。揮発性の記憶素子は、例えばＲＡＭ（Random Access Memory）で構成され、ＲＡＭは、プロセッサ２０１が実行するプログラム及びプログラム実行時に使用するデータが一時的に格納される。
【0046】
なお、本実施形態では、メモリ２０２に格納されるプログラムは、物品認識処理を実行するプログラムであることを想定しているが、その他の種々のプログラムも格納されてよい。また、メモリ２０２には、プログラム実行のための入力データや出力データも格納される。
【0047】
補助記憶装置２０３は、例えば磁気記憶装置（HDD：Hard Disk Drive）等の不揮発性の大容量な記憶装置を含み、プロセッサ２０１が実行するプログラム及びプログラム実行時に使用されるデータ（データベース等を含む）を記憶する。本実施形態における物品認識処理のプログラムは、例えば、予め補助記憶装置２０３に記憶されていて、そこから読みだされて、メモリ２０２にロードされて、プロセッサ２０１によって実行される。すなわち、メモリ２０２又は補助記憶装置２０３は、計算機２００によって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記憶媒体の一例として用いられる。
【0048】
入力装置２０４は、キーボード又はマウス等で構成され、不図示のオペレータからの入力を受け付ける入力部である。計算機２００は、プログラムの実行や入力データの指定などの指示を、入力装置２０４を介して受け付ける。
【0049】
出力装置２０５は、情報を表示する表示装置又は情報を印字するプリンタ等で構成され、プログラムの実行結果を可視的に出力する。例えば、出力装置２０５には、物品面情報出力部１３（図１参照）から出力される物品面位置等が表示又は出力される。
【0050】
通信ＩＦ２０６は、物品認識装置１０と他の装置とを接続して通信を制御するネットワークインターフェース装置である。
【0051】
なお、この計算機２００のハードウェア構成は、単体の計算機で構成されてもよいし、計算機２００を構成するプロセッサ２０１、メモリ２０２、補助記憶装置２０３、入力装置２０４、出力装置２０５、通信ＩＦ２０６の一つ以上の構成部位が、不図示のネットワークによって接続された一つ以上の計算機で構成されてもよい。
【0052】
［テンプレート候補抽出部による処理］
次に、図４を参照して、テンプレート候補抽出部１２ｂ（図１参照）によるテンプレート候補抽出処理について説明する。図４は、テンプレート候補抽出部１２ｂによるテンプレート候補抽出処理の概要を示す図である。
次に、図４を参照して、テンプレート候補抽出部１２ｂ（図１参照）によるテンプレート候補抽出処理について説明する。図４は、テンプレート候補抽出部１２ｂによるテンプレート候補抽出処理の概要を示す図である。
【0053】
テンプレート候補抽出部１２ｂは、模様量計算部１２ａで計算された模様量分布に基づいて、模様量又は模様量の密度が所定の閾値値以上となる物品領域内の一つ以上の部分領域を、テンプレート候補として抽出する。図４の左側に示す例では、物品領域２１において、星形模様を含むテンプレート候補Ｔｃ１～Ｔｃ５が抽出された例を示しており、テンプレート候補Ｔｃ１～Ｔｃ５は、それぞれ破線の矩形枠によって示されている。なお、テンプレート候補抽出部１２ｂが抽出するテンプレート候補は、形状やサイズが互いに異なっていてもよく、互いに重なりがあってもよい。
【0054】
テンプレート候補として抽出される画像は、単一の物品に属していることが好ましい。テンプレート候補として抽出される画像が、複数の物品にまたがって形成される画像である場合、そのテンプレート画像を用いて抽出される類似領域は、複数の物品の情報を反映したものとなってしまう。そして、このような類似領域の情報に基づいて抽出される物品面の情報は、個々の物品に対応したものとはならなくなってしまう。
【0055】
物品の境界付近に特徴的な模様がある場合は特に、複数の物品にまたがる領域の画像が、テンプレート候補として抽出されることも想定される。図４の左側に示す例では、テンプレート候補Ｔｃ２及びテンプレート候補Ｔｃ５が、この例に該当する。
【0056】
複数の物品にまたがるテンプレート候補は、単一の物品に属するものと比べて、物品境界に由来する直線模様が現れやすい。そして、このような直線模様は、テンプレート候補の領域を分断する位置に配置されている。したがって、テンプレート候補の領域を分断する位置に直線模様があるテンプレート候補を、テンプレート候補から除外することにより、複数の物品にまたがる領域の画像が、テンプレート候補として抽出されてしまうことを防ぐことができる。
【0057】
図４の右側に、テンプレート候補の領域を分断する位置に直線模様があるテンプレート候補を、テンプレート候補から除外された後の物品領域２１Ａの例を示す。図４の右側に示す物品領域２１Ａにおいては、図４の左側に示されていたテンプレート候補Ｔｃ２及びＴｃ５が、テンプレート候補から外れている。テンプレート候補抽出部１２ｂは、テンプレート候補Ｔｃ１，Ｔｃ３及びＴｃ４の情報を、テンプレート候補評価部１２ｃに出力する。
【0058】
［テンプレート候補評価部及びテンプレート決定部による処理］
次に、図５～図７を参照して、テンプレート候補評価部１２ｃ及びテンプレート決定部１２ｄによる処理について説明する。図５～図７は、テンプレート候補評価部１２ｃ及びテンプレート決定部１２ｄによる処理の概要を示す図である。
次に、図５～図７を参照して、テンプレート候補評価部１２ｃ及びテンプレート決定部１２ｄによる処理について説明する。図５～図７は、テンプレート候補評価部１２ｃ及びテンプレート決定部１２ｄによる処理の概要を示す図である。
【0059】
テンプレート候補評価部１２ｃは、テンプレート候補抽出部１２ｂによって抽出されたテンプレート候補それぞれに対して、物品領域の角の中で最も近い角（最近接角）との間の距離を計算する。テンプレート候補評価部１２ｃは、この距離として、例えば物品領域において着目する角と、テンプレート候補内の着目する画素との間の２次元ユークリッド距離の最小値等を計算する。
【0060】
ここで、テンプレート候補評価部１２ｃは、テンプレート候補との距離の計算対象となる物品領域の角として、物品領域の角の最小角度との差分が所定の閾値（第３閾値の一例）未満となる角度を有する角のみを選択する。この処理は、次のテンプレート決定部１２ｄにおいて行われるテンプレート決定処理において、複数のテンプレート候補の中から、単一の物品に属するテンプレート候補を抽出できるようにする目的において行われる。
【0061】
上記の目的に即した結果が得られるには、最近接角との距離の計算時に着目した物品領域における角が、複数の物品によって占められる角ではなく、単一の物品によって占められる角である必要がある。複数の物品によって占められる角を、選択（着目）する対象から外すために、テンプレート候補評価部１２ｃは、物品領域の角の角度の最小値を特定し、該最小値との差分が所定の閾値以上となる角度を有する角を、選択対象から除外することを行う。物品領域の角の最小角度と着目する角の角度との差分に対応付けられる閾値には、テンプレート候補を適切に決定することを可能とする任意の値を設定可能である。
【0062】
複数の物品によって占められる角の角度は、単一の物品で占められる角の角度に比べて小さいため、このような処理を行うことにより、最近接角との距離の計算時に着目する角の中から、複数の物品で占められる角を除外することができる。ただし、この処理が成立するには、物品面の角の最小角度が、物品領域角の最小角度と一致していることが条件となる。
【0063】
図５の左側に示す物品領域２２と、右側に示す物品領域２３との両方において、最近接角との距離の計算対象として選択（着目）された角は、黒丸印で示される。図７の左側に示す物品領域２２においては、内角の角度が９０度である角のみが選択されており、９０度よりも大きい２７０度の角度を有する角は、選択から外れている。
【0064】
また、図５の右側に示す物品領域２３においては、内角の角度が６０度の角のみが選択されており、６０度よりも大きい１２０度の角及び２４０度の角は、角の選択から外れている。テンプレート候補評価部１２ｃによってこのような処理が行われることにより、複数の物品によって占められる角を、最近接角との距離の計算時に選択（着目）する対象から外すことが可能となる。
【0065】
図６に、最近接角との距離が矢印によって示された物品領域２１を示す。図６において、テンプレート候補Ｔｃ１～Ｔｃ５は一点鎖線又は実線の矩形枠により示され、物品領域２１の最近接角からの距離に対応する２次元ベクトルは、実線の矢印によって示されている。実線の矩形枠により示されるテンプレート候補Ｔｃ１は、最近接角Ｃｃ１からの距離Ｄ１が最小である領域である。一方、一点鎖線の矩形枠により示されるテンプレート候補Ｔｃ２～Ｔｃ５は、それぞれの最近接角Ｃｃ２～Ｃｃ４からの距離Ｄ２～Ｄ５が、最小ではない領域である。
【0066】
このような、最近接角Ｃｃ２～Ｃｃ４からの距離Ｄ２～Ｄ５が最小でないテンプレート候補Ｔｃ２～Ｔｃ５の中には、複数の物品にまたがるテンプレート候補が含まれる可能性がある。実際に、テンプレート候補Ｔｃ２及びテンプレート候補Ｔｃ５は、複数の物品にまたがっている。このようなテンプレート候補が、テンプレート決定部１２ｄによってテンプレート画像として決定され、該テンプレート画像を用いて物品面の位置が計算された場合、物品の境界が誤って検出されてしまい、物品が誤分離されてしまう可能性がある。
【0067】
なお、上述したように、最近接角からの距離が最小であるテンプレート候補をテンプレート画像として選択することにより、物品の境界の誤認識の発生を防ぐことが可能であるが、テンプレート候補評価部１２ｃがテンプレート候補の領域を変形することにより、単一の物品に属するテンプレート候補のみを選択可能とする確率を、より高めることができる。
【0068】
複数の物品にまたがるテンプレート候補は、互いに隣接する物品の境界付近にある模様をそれぞれ含むことによって現れ得る。そのため、テンプレート候補評価部１２ｃが、テンプレート候補の領域を、より狭い部分領域に制限されるように変形（縮小）すれば、テンプレート候補を、単一の物品に属するテンプレート候補のみに絞ることが可能になる。
【0069】
テンプレートの変形は、例えば、テンプレート候補を物品領域の最近接角の方向に所定の割合だけ縮小することによって行うことができる。縮小の大きさは、例えば、１／２等の固定の大きさに設定されてもよく、検出された模様の大きさに基づいて任意の大きさに設定されてもよい。あるいは、テンプレート候補の領域を分断する直線模様を含まなくなる大きさに縮小することによって、テンプレート候補の領域を変形してもよい。
【0070】
図７に、テンプレート候補の領域の変形処理の概要を示す。図７の左側に示す物品領域２４及び右側に示す物品領域２４Ａは、一つの星形模様と二本の直線模様とを含む物品２４１が４つ密着して整列することによって構成される領域である。
【0071】
図７の左側には、３つのテンプレート候補Ｔｃ１１～Ｔｃ１３が実線の矩形枠により示されている。これらのテンプレート候補Ｔｃ１１～Ｔｃ１３のうち、最近接角との距離が最も短いのは、テンプレート候補Ｔｃ１１である。しかしながら、テンプレート候補Ｔｃ１１は、複数の物品にまたがっている。
【0072】
図７の右側に、テンプレート候補評価部１２ｃが、テンプレート候補Ｔｃ１１～Ｔｃ１３の各領域を、それぞれの最近接角の方向に縮小した場合における物品領域２４Ａの例を示す。図７の右側に示す物品領域２４において、縮小前のテンプレート候補Ｔｃ１１～Ｔｃ１３は一点鎖線の矩形枠によって示され、縮小後のテンプレート候補Ｔｃ１１′～Ｔｃ１３′は実線の矩形枠によって示される。最近接角の方向に領域が縮小されたテンプレート候補Ｔｃ１１′～Ｔｃ１３′の中には、複数の物品をまたぐものがなくなっていることがわかる。
【0073】
テンプレート決定部１２ｄは、最近接角との距離が最も小さいテンプレート候補を、テンプレート画像の生成に使用するテンプレートに決定する。
【0074】
ここで、テンプレート決定部１２ｄが、物品領域の最近接角からの距離が小さいテンプレート候補を選択することによって得られる効果について説明する。物品領域の角の付近の領域は、物品領域の内部（内側）の領域よりも、単一の物品によって占められている可能性が高い。したがって、角の付近に存在するテンプレート候補は、物品領域の内部の領域に存在するテンプレート候補よりも、単一の物品に属する可能性は高くなる。
【0075】
一方、複数の物品にまたがる位置に存在するテンプレート候補に基づいて生成されたテンプレート画像は、複数の物品にまたがっている可能性が高い。したがって、そのテンプレート画像に基づいて計算された物品面の位置は、実際の物品面の位置とは異なってしまう可能性が高くなる。つまり、互いに密着して整列された個々の物品を正しく分離できなくなってしまう。このような誤分離の発生を防ぐ目的において、本実施形態のテンプレート決定部１２ｄは、物品領域の最近接角からの距離が小さいテンプレート候補を選択して、テンプレート画像を生成する。
【0076】
なお、テンプレート画像は、テンプレート決定部１２ｄによって選択されたテンプレート候補と必ずしも一致する必要はない。例えば、形状については、選択されたテンプレート候補を囲むバウンディングボックスでも構わない。また、構成要素については、以降の類似度計算を可能にするものであれば、対応する領域の画素値そのものでなくても、画素値から計算される何らかの画像特徴量でも構わない。
【0077】
［類似領域検出部による処理］
次に、類似領域検出部１２ｅ（図１参照）による処理について説明する。類似領域検出部１２ｅは、テンプレート決定部１２ｄによって決定されたテンプレート画像と類似する、物品領域内の一つ以上の領域（類似領域）を検出する。類似領域検出部１２ｅは、画素値、又は、該画素値に基づいて計算される画像特徴量から計算されるテンプレート画像との類似度が、所定の閾値（第２閾値の一例）以上となる領域を、類似領域として抽出（検出）する。
次に、類似領域検出部１２ｅ（図１参照）による処理について説明する。類似領域検出部１２ｅは、テンプレート決定部１２ｄによって決定されたテンプレート画像と類似する、物品領域内の一つ以上の領域（類似領域）を検出する。類似領域検出部１２ｅは、画素値、又は、該画素値に基づいて計算される画像特徴量から計算されるテンプレート画像との類似度が、所定の閾値（第２閾値の一例）以上となる領域を、類似領域として抽出（検出）する。
【0078】
類似領域検出部１２ｅは、テンプレート画像及び該テンプレート画像を含む物品領域を２次元空間上で、類似領域を任意の角度分回転して得られる画像群を、物品領域内で走査することにより取得する。ここでの回転角度は、物品面の形状に応じて任意の角度を選択することができる。
【0079】
例えば、図２Ａに示した物品領域２１や図２Ｂに示した物品領域２２においては、テンプレート画像を回転される角度が、９０度、１８０度、２７０度の３種類あれば、物品領域２１又は２２内におけるテンプレート画像との類似領域を検出可能である。また、図２Ｃに示した物品領域２３においては、テンプレート画像を回転される角度が、６０度、１２０度、１８０度、２４０度、３００度の５種類あれば、物品領域２３内におけるテンプレート画像との類似領域を検出可能である。
【0080】
なお、類似領域検出部１２ｅが抽出した類似領域の中にも、複数の物品面にまたがる領域が含まれる場合がある。そこで、本実施形態では、類似領域検出部１２ｅは、類似領域の検出精度をより向上させる目的で、各類似領域を拡大して得られる領域の情報を用いて、改めて類似度の評価を行う。この類似度の評価時に用いる閾値は、類似領域検出時において類似度を測る際に用いた閾値と異なっていても構わない。
【0081】
図８に、二つの星形模様と二本の直線模様とを有する物品２５１が３つ密着して整列された物品領域２５を示す。図８の左側において、テンプレート画像Ｔｐ１１は実線の矩形枠により示され、テンプレート候補Ｔｃ２１～Ｔｃ２５は、一点鎖線の矩形枠によって示される。
【0082】
テンプレート画像Ｔｐ１１は、物品領域２５の最近接角Ｃｃ２１との距離Ｄ２１が最も短く、かつ、複数の物品面をまたがない領域であるため、テンプレート決定部１２ｄによってテンプレート画像に決定された。
【0083】
図８の中央には、テンプレート画像Ｔｐ１１を用いて抽出された類似領域Ｆｓ１１～Ｆｓ１５が、実線の矩形枠によって示される。しかしながら、図８の中央に示す例においては、物品領域２５Ａに含まれる３つの物品面（物品２５１の物品面）のそれぞれに、類似領域が二つずつ含まれてしまっている。このような類似領域に基づいて物品面の位置が計算された場合、物品の境界が誤認識されてしまう。
【0084】
図８の右側には、類似領域検出部１２ｅが、各類似領域に対応するその領域の一部の情報を用いて、改めて類似度の評価を行った後における、物品領域２５Ｂの例を示す。図８の右側に示す例では、類似領域検出部１２ｅは、まず、類似領域Ｆｓ１１～Ｆｓ１６のうち、物品領域２５の最近接角Ｃｃ１２からの距離Ｄ２２（図８中央）が最小となる類似領域Ｆｓ１１に着目し、該類似領域Ｆｓ１１を最近接角Ｃｃ１２の方向に拡大することにより、類似領域Ｆｓ１１′（拡大類似領域の一例）を得る。
【0085】
また、類似領域検出部１２ｅは、その他の類似領域Ｆｓ１２～Ｆｓ１６においても、同様の拡大を行うことにより、類似領域Ｆｓ１２′～Ｆｓ１６′（拡大類似領域の一例）を得る。その他の類似領域Ｆｓ１２～Ｆｓ１６の拡大は、テンプレート画像を得るために施した回転の角度を考慮して行われる必要がある。そして、類似領域検出部１２ｅは、類似領域Ｆｓ１１の拡大領域Ｆｓ１１′（第１拡大領域の一例）と、類似領域Ｆｓ１２′～Ｆｓ１６′との類似度を計算する。
【0086】
類似領域Ｆｓ１２′、Ｆｓ１４′及びＦｓ１６′は、物品面内に直線模様を含まないため、物品面内に直線模様を含む類似領域Ｆｓ１１′との類似度は低くなる。類似領域検出部１２ｅは、このような、類似領域Ｆｓ１１′との類似度が所定の閾値（第４閾値の一例）未満となる類似領域を、類似領域から外す、すなわち、破棄する。図８の右側において、破棄された類似領域Ｆｓ１２′、Ｆｓ１４′及びＦｓ１６′は破線の矩形枠により示され、破棄されていない類似領域Ｆｓ１３′及びＦｓ１５′は実線の矩形枠により示される。
【0087】
類似領域検出部１２ｅによって、このような類似領域の再評価が行われることにより、一つの物品面に属した類似領域Ｆｓ１３′及びＦｓ１５′のみが、類似領域として扱われるようになる。
【0088】
【0089】
類似領域評価部１２ｆは、類似領域評価部１２ｆによって抽出された類似領域の中で、物品領域の最近接角との距離が最小となる類似領域を対象として、その類似領域の最近接角との間の相対的位置関係を計算する。
【0090】
ここでいう相対的位置関係は、例えば、着目する類似領域の所定の点とその物品領域最近接角との間の変位を表す２次元ベクトルによって示される。この２次元ベクトルを用いることによって、着目する類似領域を含む物品面の中のどこにその類似領域が位置しているかを特定することができる。
【0091】
また、類似領域評価部１２ｆは、物品領域の最近接角を求める際に選択する物品領域の角を、物品領域の角の最小角度からの差分が所定の閾値未満となる角度とすることにより、選択される角を、単一の物品によって占められる角に限定することができる。
【0092】
上述したように、類似領域評価部１２ｆは、最近接角との間の相対的位置関係を計算する対象として、テンプレート画像に対応する類似領域ではなく、物品領域の最近接角との距離が最小となる類似領域を選択する。これは、テンプレート候補の選択条件が追加されたりしたこと等が要因となり、テンプレート画像が、物品領域の角を示す物品面に含まれないテンプレート候補から生成されてしまった場合にも、適切に物品面位置を計算できるようにするためである。
【0093】
図９に示す物品領域２１においては、物品領域の最近接角との距離が最小となる類似領域Ｆｓ１は実線の矩形枠によって示され、それ以外の類似領域Ｆｓ２～Ｆｓ６は一点鎖線の矩形枠によって表されている。
【0094】
また、図９には、物品領域の最近接角からの距離が最小である類似領域Ｆｓ１と、その最近接角Ｃｃ１との間の相対的位置関係を表す２次元変位ベクトルＲ１が、実線の矢印によって表されている。この２次元変位ベクトルＲ１を各類似領域にもあてはめることにより、類似領域評価部１２ｆは、各類似領域に対応する物品面の角の位置を計算することができる。つまり、各類似領域の端部から、２次元変位ベクトルによって示される距離だけ離れた位置にある角を、該類似領域に対応する物品面の角（以下、「物品角」とも称する）に特定することができる。物品角の位置は、図９においては黒丸で示される。
【0095】
【0096】
物品面情報取得部１２ｇは、類似領域評価部１２ｆによって計算された各類似領域における物品角との相対的位置関係と、各類似領域との情報に基づいて、物品領域内における一つ以上の物品面の位置及びサイズを計算し、物品面情報として取得する。
【0097】
具体的には、物品面情報取得部１２ｇは、類似領域評価部１２ｆで取得された物品角の情報に基づいて、物品面の位置及びサイズを計算する。物品面の位置及びサイズは、物品領域の多角形形状の情報と、物品面の角に特定された角が、物品領域の角のうちのどの角に対応するかの情報と、に基づいて、多角形形状を相似拡大縮小することにより求めることができる。物品面の形状は、物品角の頂点からのびる２辺の長さ（の比）によって規定される。
【0098】
具体的には、物品面情報取得部１２ｇは、まず、物品角同士の距離、及び、各物品角の頂点から物品領域の角までの距離に基づいて、物品角の頂点からのびる２辺の長さの候補を決定する。そして、決定した候補の長さを初期値として、２辺の長さを以下（１）～（３）等の条件を満たす長さに調整する。
（１）物品同士の重なりを生じさせない長さ、又は、物品同士が重なる部分の面積が所定の閾値以下となる長さ
（２）物品領域の外にはみ出さない長さ、又は、物品領域からはみ出す部分の長さが所定の閾値以下となる長さ
（３）物品角の頂点からのびる２辺の長さによって特定される各物品面が物品領域に占める面積を、最大にすることが可能な長さ
（１）物品同士の重なりを生じさせない長さ、又は、物品同士が重なる部分の面積が所定の閾値以下となる長さ
（２）物品領域の外にはみ出さない長さ、又は、物品領域からはみ出す部分の長さが所定の閾値以下となる長さ
（３）物品角の頂点からのびる２辺の長さによって特定される各物品面が物品領域に占める面積を、最大にすることが可能な長さ
【0099】
なお、物品面情報取得部１２ｇは、これらのうちの一つの条件を用いて物品角の頂点からのびる２辺の長さを決定してもよく、一つ以上の条件を組み合わせてもよい。また、物品面の形状に関する情報が事前に与えられる場合には、その情報を用いることにより、物品面のサイズ（物品角の頂点からのびる２辺の長さ）の探索時間を削減することができる。
【0100】
ここで、図１０を参照して、物品領域内の各物品面の位置及びサイズの特定（以下、「物品面の特定」とも称する）例について説明する。図１０は、物品面情報取得部１２ｇによる物品領域内の各物品面の特定例を示す図である。
【0101】
なお、図１０に示す例では、物品面の形状が長方形である場合の例を挙げるが、物品面の形状が平行四辺形等である場合にも、同様の処理を適用可能である。図１０の最上段に示す物品領域２６は、３つの物品２６１によって構成される。物品２６１は、一つの星形模様と、二本の直線模様とを有する。また、物品領域２６においては、各物品面の物品角の位置が特定されており、図１０において各物品角は黒丸印で示されている。また、図１０において、物品角の頂点からのびる２辺の長さによって定まる物品面の形状及びサイズは、右下がりの斜線模様の領域の形状及び大きさによって示される。
【0102】
図１０の中段の左側に示す物品領域２６Ａにおいては、物品角の頂点からのびる２辺のうち、長辺の長さが長すぎることによって、物品同士の重なりと、物品面の物品領域２６Ａからのはみだしとが生じている。
【0103】
図１０の中段の右側に示す物品領域２６Ｂにおいては、物品角の頂点からのびる２辺の長さが短すぎることにより、物品同士の重なりは生じていないが、物品領域２６Ｂにおいて物品面が占める面積が小さくなっている。
【0104】
一方、図１０の最下段に示す物品領域２６Ｃにおいては、物品角の頂点からのびる２辺の長さが適切に設定されていることにより、物品面同士の重なりや、物品面の物品領域２６からのはみだしなどが生じておらず、かつ、物品面が物品領域２６Ｃに占める割合も最大となっている。
【0105】
なお、物品面情報取得部１２ｇは、画素値に基づいて計算した物品面同士の類似度の情報も用いて、物品面の探索を行ってもよい。図１１は、種類の異なる物品が含まれる物品領域における物品面の特定例を示す図である。
【0106】
図１１に示す物品領域２７には、一つの星形模様と二本の直線模様とを含む二つの物品２７１と、一本の直線模様と、該一本の直線模様に直交する二本の直線模様とを含む一つの物品２７２と、で構成される。また、物品領域２７においては、黒丸印によって示される二つの物品角が特定されているものとする。
【0107】
二つの物品角のそれぞれからのびる２辺の長さを推定する場合において、上記（１）～（３）の条件のみを用いた場合、図１１の右上に示す物品領域２７Ａのように、物品２７１の物品面が物品２７２にかかってしまっていても、条件をクリアしてしまう。
【0108】
ここで、特定された物品面同士の類似度が所定の閾値以上となる長さ、という条件（条件（４）とする）を追加してみる。この場合、物品角Ｃａ１１を含む物品面２７１１と、物品角Ｃａ１２を含む物品面２７１２とは、物品２７２にかかる部分の画素値がそれぞれ異なっているため、画素値に基づき判定された類似度は低くなる。したがって、物品面情報取得部１２ｇは、物品面２７１１及び２７１２を構成する２辺の長さは適切でないと判断する。
【0109】
一方、上記（１）～（４）のすべての条件を満たす２辺の長さを適用した場合、図１１の右下に示す物品領域２７Ｂに示すように、物品領域２７１３及び２７１４は、それぞれ、物品２７１の位置及びサイズを適切に反映したものとなる。
【0110】
なお、上述した実施形態における物品認識方法のように、物品領域の最近接角と類似領域との相対的位置関係の情報を用いることなく、物品面の位置や大きさなどを計算することも可能である。しかしながら、物品領域の最近接角と類似領域との相対的位置関係の情報がなく、類似領域の位置のみが分かっている状況においては、２辺の長さに加えて、物品領域における類似領域の位置の情報も探索する必要が生ずる。つまり、物品の探索次元は「４」となってしまう。これに対して、本実施形態では、物品角の頂点からのびる２辺の長さを探索するのみでよいため、探索の次元は「２」となり、探索時間の削減が可能となる。
【0111】
なお、探索時間削減の観点からは、同種の物品の物品角同士、又は、類似領域同士の相対的な位置関係や、物品角の頂点から物品領域の輪郭上の点までの距離などの情報に基づいて、２辺の長さの候補値を求めることも可能である。例えば、図１０に示した物品領域２６においては、物品角Ｃａ１と物品領域２６の左下角との間の距離は、物品２６１の長辺の長さと一致している。また、物品角Ｃａ２と物品角Ｃａ３との間の距離は、物品２６１の短辺の長さ、及び、物品角Ｃａ３と物品領域２６の右下角との間の距離と一致している。つまり、同種の物品の物品角同士、又は、類似領域同士の相対的な位置関係や、物品角の頂点から物品領域の輪郭上の点までの距離などの情報も用いることにより、物品面の探索精度をより向上させることが可能となる。
【0112】
また、隣り合う二つの物品面のそれぞれの物品角が、物品領域において対角の位置にある場合には、物品角の頂点を起点とする２辺がのびる方向は２通り存在し得る。このような場合には、上記（１）～（４）の条件をすべて満たしていても、物品面を正しく特定できていない状況が生じ得る。
【0113】
図１２は、隣り合う二つの物品面のそれぞれの物品角が、物品領域において対角の位置にある物品領域における、物品面の特定例を示す図である。図１２に示す物品領域２８は、一本の直線模様と一つの星形模様とを含む物品２８１を二つ含む。図１２に示すように、物品領域２８に含まれる物品２８１の物品角Ｃａ２１と、物品２８１の物品角Ｃａ２２とは、互いに対角の位置にある。
【0114】
この場合、物品角Ｃａ２１及びＣａ２２のそれぞれからのばす２辺の方向の選択肢には、図１２の中央に示す物品領域２８Ａのように、２辺のうちの長辺が物品領域２８Ａの縦方向を分割する方向と、図１２の右側に示す物品領域２８Ｂのように、長辺が物品領域２８Ｂの横方向を分割する方向と、の二種類がある。
【0115】
このようなケースにおいては、物品領域２８を分断する直線模様が存在する方向を、２辺のうちの長辺が配置される方向に設定することにより、実際の２つの物品２８１の境界と同じ位置で、物品面２８１１と物品面２８２２とを切り分けることができる。図１２の中央に示す物品領域２８Ａが、この例に該当する。
【0116】
図１３は、物品領域における物品面の適切な特定例を示す図である。図１３に示す物品領域２９においては、上述した（１）～（４）の条件のいずれか又は組み合わせ、あるいはすべてを満たす長さに、物品角の頂点からのびる２辺の長さが決定されている。それゆえ、物品領域２９においては、物品面同士の重なりや、物品面の物品領域２９からのはみ出しが生じていない。さらに、物品領域２９においては、各物品面内の模様が、物品面同士で一致しており、物品面が物品領域２９のほぼ全面を覆うことができている。
【0117】
物品面情報取得部１２ｇ（図１参照）は、このようにして取得した物品領域内の各物品面の位置及びサイズの情報を、物品面情報出力部１３に出力する。
【0118】
［物品認識装置による物品認識方法］
次に、図１４を参照して、本実施形態に係る物品認識装置１０（図１参照）による物品認識方法について説明する。図１４は、物品認識装置１０による物品認識処理の手順の例を示すフローチャートである。
次に、図１４を参照して、本実施形態に係る物品認識装置１０（図１参照）による物品認識方法について説明する。図１４は、物品認識装置１０による物品認識処理の手順の例を示すフローチャートである。
【0119】
まず、物品認識装置１０の模様量計算部１２ａは、物品領域受付部１１から物品領域の情報を受け取ると、物品領域における模様量の分布を計算する（ステップＳ１）。上述したように、模様量とは、所定の領域の模様度合いを表す指標であり、物品領域を構成する２次元画素値から計算される。
【0120】
次いで、テンプレート候補抽出部１２ｂは、ステップＳ１で計算された模様量の分布に基づいて、模様量（又は模様量の密度）が所定の閾値以上となる物品領域内の一つ以上の部分領域を、テンプレート候補として抽出する（ステップＳ２）。
【0121】
次いで、テンプレート候補評価部１２ｃは、ステップＳ２で抽出された一つ以上のテンプレート候補それぞれに対して、最近接角との間の距離を計算する（ステップＳ３）。そして、テンプレート候補と、該テンプレート候補に対応する距離（最近接角との距離）の情報との対応情報が、テンプレート候補情報保持部１２ｈに保存される。
【0122】
次いで、テンプレート決定部１２ｄは、テンプレート候補情報保持部１２ｈを参照して、未選択のテンプレート候補が一つ以上あるかどうかを判定する（ステップＳ４）。ステップＳ４で、未選択のテンプレート候補はないと判定された場合（ステップＳ４がＮＯ判定の場合）、物品認識装置１０による物品認識処理は終了する。なお、テンプレート決定部１２ｄは、未選択のテンプレート候補の有無に関わらず、演算時間の制約等の理由によって以降の処理を行うことができないと判定した場合にも、ここで処理を終了しても構わない。
【0123】
一方、ステップＳ４で、未選択のテンプレート候補があると判定された場合（ステップＳ４がＹＥＳ判定の場合）、テンプレート決定部１２ｄは、ステップＳ３で計算された最近接角との距離が最小であるテンプレート候補を選択し、該テンプレート候補に基づいてテンプレート画像を生成する（ステップＳ５）。
【0124】
次いで、テンプレート決定部１２ｄは、ステップＳ５で生成されたテンプレート画像が所定の条件を満たすかどうかを判定する（ステップＳ６）。所定の条件には、例えば、テンプレート画像の面積が、不図示のピックアップロボットが部品を吸着又は把持する場合における、吸着／把持部分の面積以上である、等が考えられる。ステップＳ６で、テンプレート画像は所定の条件を満たしていないと判定された場合、テンプレート決定部１２ｄは、ステップＳ４に戻って処理を行う。
【0125】
一方、ステップＳ６で、テンプレート画像は所定の条件を満たすと判定された場合（ステップＳ６がＹＥＳ判定の場合）、類似領域検出部１２ｅは、テンプレート画像と類似する物品領域内における一つ以上の領域を、類似領域として検出する（ステップＳ７）。上述したように、類似領域検出部１２ｅは、画素値又は画素値に基づいて計算される画像特徴量から計算されるテンプレート画像との類似度が、所定の閾値以上となる領域を、類似領域として検出する。このとき、類似領域検出部１２ｅは、テンプレート画像及び物品領域を２次元空間上で任意の角度分回転して得られる画像群も対象として、テンプレート画像との類似度が高い領域を探索する。
【0126】
また、類似領域検出部１２ｅが検出する類似領域の中には、ステップＳ５でテンプレート画像を生成するために選択されたテンプレート候補に対応する領域が少なくとも含まれる。
【0127】
なお、類似領域検出部１２ｅは、上述したように、類似領域の検出後に、物品領域の最近接角からの距離が最小となる類似領域を最近接角の方向に拡大した領域の情報を用いて、その他の類似領域との類似度を再評価してもよい。そして、類似度が低い領域を、類似領域から外してもよい。
【0128】
例えば、物品領域受付部１１（図１参照）が受け付けた物品領域の情報にノイズが含まれていた場合、テンプレート候補との距離が近くない物品領域の角が最近接角として誤認識されてしまう状況も生じ得る。このような場合、最近接角との距離が最小であるテンプレート候補が選択されるべきところ、この条件を満たさないテンプレート候補が誤って選択されてしまうことが起こり得る。
【0129】
類似領域検出部１２ｅによって、上記再評価が行われることにより、期待されるテンプレート候補とは異なるテンプレート候補が選択された場合にも、誤選択されたテンプレート候補に基づくテンプレート画像との類似度の情報を用いて誤って検出された類似領域を、破棄することができる。
【0130】
次いで、類似領域評価部１２ｆは、ステップＳ７で得られた一つ以上の類似領域の中で、物品領域の最近接角との距離が最小となる類似領域を対象として、その物品領域の最近接角との間の相対的位置関係を計算する（ステップＳ８）。相対的位置関係は、上述したように、着目する類似領域を含む物品領域の中のどこにその類似領域が位置しているかを特定するために用いられる情報であり、例えば、着目する類似領域の所定の点と、その類似領域の最近接角との間の変位を表す２次元ベクトル等によって示される。
【0131】
ステップＳ８で、類似領域評価部１２ｆが、テンプレート画像に対応する類似領域ではなく、物品領域最近接角からの距離が小さい類似領域に着目する理由は、テンプレート決定部１２ｄによって決定されたテンプレート候補が適切でない場合に対応するためである。このような処理が行われることにより、例えば、物品領域を構成する角とは異なる角を含むテンプレート候補が、テンプレート決定部１２ｄによって誤って選択されていた場合にも、算出される相対的位置関係を、物品領域を構成する角に属する最近接角との間の情報とすることができる。
【0132】
また、類似領域評価部１２ｆは、ここで、類似領域との間の相対的位置関係の算出対象とする最近接角の選択対象から、物品領域を構成する角の最小角度との差分が所定の閾値以上となる角を外す処理を行ってもよい。このような処理が行われることにより、複数の物品によって占められる角が、最近接角として誤って選択されてしまうことを防ぐことができる。
【0133】
次いで、物品面情報取得部１２ｇは、ステップＳ８で得られた相対的位置関係、及び、ステップＳ７で得られた一つ以上の類似領域の情報に基づいて、物品領域内の一つ以上の物品面の情報（位置及びサイズ等）を取得する（ステップＳ９）。物品面情報取得部１２ｇは、相対的位置関係を利用することによって、一つ以上の類似領域それぞれに対して、その領域を含む物品面の角の位置を特定することができる。そして、物品面情報取得部１２ｇは、類似領域を含む物品面の多角形形状を相似拡大縮小することにより、物品面のサイズを計算（探索）する。
【0134】
次いで、物品面情報取得部１２ｇは、ステップＳ９で計算された物品面の情報が、所定の条件を満たすか否かを判定する（ステップＳ１０）。所定の条件は、上述した（１）～（４）の条件である。物品面情報取得部１２ｇは、ステップＳ９で計算された物品面の情報（物品角の頂点からのびる２辺の長さ（又は比））が、（１）～（４）の条件のいずれか又は組み合わせ、あるいは、すべてを満たすか否かを判定する。
【0135】
なお、物品面情報取得部１２ｇは、ステップＳ１０の判定の代わりに、演算時間の制約に応じた判定を行っても構わない。すなわち、物品面情報取得部１２ｇは、物品面の情報が所定の条件を満たすか否かに関わらず、演算時間の制約等の理由によって以降の処理を行うことができないと判定した場合にも、ここで処理を終了しても構わない。
【0136】
ステップＳ１０で、物品面の情報は所定の条件を満たさないと判定された場合（ステップＳ１０がＮＯ判定の場合）、物品面情報取得部１２ｇは、ステップＳ５で選択されたテンプレート候補をテンプレート候補情報保持部１２ｈから除外した上で、ステップＳ４に戻って処理を行う。つまり、次の未選択のテンプレート候補があるか否かを判定する。
【0137】
一方、ステップＳ１０で、物品面の情報は所定の条件を満たすと判定された場合（ステップＳ１０がＹＥＳ判定の場合）、物品面情報取得部１２ｇは、ステップＳ１０で条件を満たした物品面の情報を、物品面情報出力部１３を介して、不図示のピッキングロボット等の外部に出力する（ステップＳ１１）。ステップＳ１１の処理後、物品認識装置１０による物品認識処理は終了する。
【0138】
上述した物品認識装置１０は、物品領域受付部１１と、テンプレート決定部１２ｄと、物品面情報取得部１２ｇと、を含む。物品領域受付部１１には、物品領域の情報が入力される。物品領域は、互いに密着して配列された複数の物品の整列面と対応する画像を含む２次元画像において画素が連続して存在する領域を多角形近似することによって得られる領域である。
【0139】
テンプレート決定部１２ｄは、所定値以上の画素が密集した模様領域の模様量が所定の閾値（第１閾値）以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いて、テンプレート画像を生成する。物品面情報取得部１２ｇは、テンプレート画像との類似度が所定の閾値（第２閾値）以上である一つ以上の類似領域の情報を用いて、物品領域における物品の面の位置及びサイズを含む物品面情報を取得して出力する。
【0140】
したがって、本実施形態に係る物品認識装置１０は、認識対象物品の模様やサイズなどの情報が事前に用意されていなくても、物品領域から得られる情報に基づいて生成したテンプレート画像及び類似領域の情報に基づいて、密接して整列された複数の物品の各物品を適切に認識できる。
【0141】
また、本実施形態の物品認識装置１０のテンプレート候補抽出部１２ｂは、模様領域の模様量が所定の閾値以上であり、かつ、物品領域を構成する角のうちの、自身の領域との最近接角との距離が最小である領域の情報を用いて、物品領域の中から、テンプレート画像生成用のテンプレート候補を抽出する。
【0142】
このような条件を満たす領域は、単一の物品の面に属する領域である可能性が高い。つまり、本実施形態では、単一の物品の面に属する領域に対応していると想定されるテンプレート候補に基づいて、整列面を構成する各物品の物品面情報を計算するため、本実施形態によれば、整列面を構成する各物品面の情報を適切に取得することが可能となる。
【0143】
ここで、本実施形態に係る物品認識装置１０に対して、所定の条件を満たす情報が入力された場合における、出力内容の特徴について説明する。本実施形態に係る物品認識装置１０が認識可能な物品は、同一の物品の面内において他の模様と重複しない特徴的な模様を有し、該模様のある領域や、該模様とは種類の異なる模様が存在する領域以外の領域の画素値が、一定の値である物品である。
【0144】
また、物品面の形状は、多角形を構成するいずれかの角、及び、その角からのびる２辺の長さの比が与えられた場合に特定が可能な形状である必要がある。本実施形態では、このような物品が互いに密着して整列された整列面の撮影画像が、物品認識装置１０に入力される。しかしながら、物品認識装置１０に入力されるのは、実際の整列面の撮影画像ではなく、疑似的に生成された画像であってもよい。
【0145】
本実施形態に係る物品認識装置１０（の物品面情報出力部１３）から出力される物品面の情報には、物品領域の角を含んだ物品面の位置及びサイズの情報が少なくとも含まれる。本実施形態に係る物品認識装置１０は、物品領域内の特徴的な模様を含む領域の中における、物品領域の最近接角からの距離が最小となる領域は、物品領域を構成するいずれかの角を含んでいることを想定して、物品認識処理を行っている。
【0146】
したがって、物品認識装置１０から出力される物品面の情報には、物品領域の角を含む物品面の位置（及びサイズ）の情報は必ず含まれる。それゆえ、物品を認識する他の装置から出力される情報に、物品領域の角を含む物品面の位置（及びサイズ）の情報が含まれているか否かを調べることによって、該装置が、本実施形態に係る物品認識装置１０と同様の物品認識処理を行っているか否かを判断することができる。
【0147】
図１５は、物品認識装置１０から出力される物品面の情報の例を示す図である。図１５Ａに示す物品領域３０は、一つの星形模様を有する物品３０１が４つ敷き詰められて構成される。物品領域３０においては、星形模様の領域以外の領域における画素値は、一定であるものとする。つまり、物品の境界部分の画素値も、境界以外の領域における画素値と同一であるとする。このような特徴を有する物品領域は、単載パレットを対象としたデパレタイズ処理の実行時に現れ得る。
【0148】
このような物品領域３０の情報が入力された場合、本実施形態に係る物品認識装置１０から出力される情報は、図１５の右上に示した物品領域３０Ａに含まれる物品面３０１１Ａ～３０１４Ａの情報、又は、図１５の右下に示した物品領域３０Ｂに含まれる物品面３０１１Ｂ～３０１４Ｂの情報等となる。そして、物品領域３０Ａにおいては、物品面２０１１Ａ～３０１４Ａのいずれもが物品領域３０の角のいずれかを含んでおり、物品領域３０Ｂにおいては、物品面３０１２Ｂが物品領域３０Ｂの角を含んでいる。
【0149】
図１５Ａの右下に示す物品領域３０Ｂにおいては、物品面３０１１Ｂ～３０１４Ｂが物品領域３０Ｂに占める割合が少なくなった場合にも、いずれかの物品面（この場合は物品面３０１２Ｂ）の角は、物品領域３０Ｂの角を含んでいる。
【0150】
【0151】
図１５Ｂに示す物品領域３１は、星形模様を含む物品３１１が３つと、雷模様を含む物品３１２が二つと、黒丸模様を含む物品３１３が３つとで構成される。図１５Ｃに示す物品領域３２も、星形模様を含む物品３２１が３つと、雷模様を含む物品３２２が二つと、黒丸模様を含む物品３２３が３つとで構成される。このような物品領域３１、３２は、例えば、混載パレットを対象としたデパレタイズ処理の実行時において現れ得る。ここで、星形の模様のコントラストが最も大きいことにより、物品認識装置１０によって、星形模様のみを含む領域がテンプレート候補として選ばれたとする。
【0152】
この場合、物品認識装置１０からは、図１５Ｂの右側の物品領域３１に示される情報が出力される。具体的には、物品領域３１の角を含む物品面３１１１と、物品面３１１１に類似した物品面３１１２及び３１１３と、の情報が出力される。そして、物品領域３１の角の近傍には、テンプレート候補の抽出に用いた星形模様が現れる。
【0153】
一方、コントラストが最大である模様が、星形模様ではなく雷型模様であった場合、物品認識装置１０からは、図１５Ｃの右側の物品領域３２に示される情報が出力される。具体的には、物品領域３２の角を含む物品面３２１１と、物品面３２１１に類似した物品面３２１２との情報が出力される。そして、物品領域３２の角の近傍には、テンプレート候補の抽出に用いた雷型模様が現れる。
【0154】
しかし、図１５Ｂに示した物品領域３１、及び、図１５Ｃに示した物品領域３２のいずれにおいても、特定された物品面は、実際の物品の面とは異なっている。つまり、本実施形態に係る物品認識装置１０に入力される情報において、物品の面に含まれる特徴的な模様が複数存在する場合には、実際の物品と対応する適切な物品面情報を得ることができない。
【0155】
［物品認識装置の適用例］
次に、図１６を参照して、本実施形態に係る物品認識装置１０の適用例について説明する。図１６は、物品認識装置１０が適用される作業シーンの例を示す図である。図１６には、認識対象の４つの物品４０が、作業台４１の上に密着して整列されている。センサ４２は、例えばＲＧＢ－Ｄセンサ等によって構成され、作業台４１の上部に設置される。センサ４２は、作業台４１上に整列された物品４０を撮影することにより、物品４０の整列面の３次元点群４３と、該３次元点群４３に対応する２次元画像４４と、を、物品認識装置１０（図１６においては図示略）に送信する。
次に、図１６を参照して、本実施形態に係る物品認識装置１０の適用例について説明する。図１６は、物品認識装置１０が適用される作業シーンの例を示す図である。図１６には、認識対象の４つの物品４０が、作業台４１の上に密着して整列されている。センサ４２は、例えばＲＧＢ－Ｄセンサ等によって構成され、作業台４１の上部に設置される。センサ４２は、作業台４１上に整列された物品４０を撮影することにより、物品４０の整列面の３次元点群４３と、該３次元点群４３に対応する２次元画像４４と、を、物品認識装置１０（図１６においては図示略）に送信する。
【0156】
物品４０が密着して整列された整列面は、３次元点群４３においては、物品間の隙間が検出されずに連続領域として現れる場合がある。一方、２次元画像４４においては、物品境界が形成する直線と、直線模様による直線との区別がつかない場合がある。しかしながら、本実施形態に係る物品認識装置１０によれば、このような３次元点群に対応する２次元画像が入力された場合にも、整列面を構成する各物品の位置を適切に認識することができる。
【0157】
なお、本実施形態に係る物品認識装置１０の認識対象の物品は、センサ４２に対面する側の物品の面が平面である物品に限定されない。例えば、２次元画像内の整列面を多角形近似することが可能な形状を有する物品であれば、どのような物品であってもよい。
【0158】
図１７は、本発明の変形例に係る物品が円柱形状である場合における作業シーンの例を示す図である。図１７の左側に示す例においては、円柱形状の物品５０が、３つ密着して整列されており、その上面がセンサ４２によって撮影される。この場合、センサ４２による撮影画像は、図１７の右側に示すように、３つの長方形が整列した物品領域を撮影したものとなる。つまり、本実施形態に係る物品認識装置１０が認識することが可能な撮影画像となる。
【0159】
また、物品認識装置１０は、このような３次元の物品を対象とした場合に、３次元の物品面情報を出力してもよい。図１８は、本発明の変形例に係る物品認識装置１０Ａの概略構成例を示すブロック図である。
【0160】
図１８に示すように、物品認識装置１０Ａは、データ受付部１５と、３次元物品領域特定部１６と、２次元物品領域特定部１７と、物品領域受付部１１と、認識処理部１２Ａと、テンプレート候補情報保持部１２ｈと、３次元物品面情報取得部１８と、３次元物品情報出力部１９と、を含む。
【0161】
データ受付部１５は、互いに密着して整列された部品の整列面を撮影して得られた３次元点群と対応する、２次元画像を受け付ける。そして、データ受付部１５は、３次元物品領域特定部１６に出力する。２次元画像は、不図示のセンサによる撮影画像である。
【0162】
３次元物品領域特定部１６は、データ受付部１５から入力された２次元画像における、３次元点群と対応する画素が連続する領域（連続領域）を特定して、２次元物品領域特定部１７に出力する。２次元物品領域特定部１７は、３次元物品領域特定部１６によって特定された連続領域に対応する２次元画像内の２次元領域を多角形近似して、多角形の枠によって囲まれる２次元画素集合を特定する。そして、２次元物品領域特定部１７は、特定した２次元画素集合を、物品領域として物品領域受付部１１に出力する。
【0163】
物品領域受付部１１は、２次元物品領域特定部１７から入力された物品領域の情報を、認識処理部１２に出力する。認識処理部１２は、上述した実施形態に係る認識処理部１２と同一であるため、ここでは詳細な説明は省略する。
【0164】
認識処理部１２は、２次元空間上における物品面の位置やサイズなどの物品面情報を生成して、該物品面情報を３次元物品面情報取得部１８に出力する。３次元物品面情報取得部１８は、認識処理部１２から入力された２次元の物品面情報と、データ受付部１５が不図示のセンサから受け取った３次元点群と対応する２次元画像と、に基づいて、２次元の物品面の情報に対応する３次元空間上での物品面の情報を取得する。
【0165】
具体的には、３次元物品面情報取得部１８は、２次元の物品面の位置、サイズに対応する、３次元空間上での物品面の位置、サイズ及び姿勢を計算して取得する。そして、３次元物品面情報取得部１８は、取得した３次元の物品面の情報を、３次元物品面情報出力部１９を介して、外部のピッキングロボット等に出力する。
【0166】
テンプレート候補情報保持部１２ｈは、上述した実施形態に係るテンプレート候補情報保持部１２ｈと同一であるため、ここではその説明は省略する。
【0167】
図１９は、本変形例に係る物品認識装置１０Ａによる物品認識処理の手順の例を示すフローチャートである。
【0168】
まず、３次元物品領域特定部１６（図１８参照）は、データ受付部１５から入力された２次元画像の中から、３次元点群における画素の連続領域を抽出して、３次元物品領域として特定する（ステップＳ２１）。
【0169】
次いで、２次元物品領域特定部１７は、ステップＳ２１で特定された３次元物品領域の中で、未選択のものがあるか否かを判定する（ステップＳ２２）。ステップＳ２２で、未選択の３次元物品領域はないと判定された場合（ステップＳ２２がＮＯ判定の場合）、２次元物品領域特定部１７は、認識対象の物品の情報がデータに含まれていないと判断して、ここで処理を終了する。
【0170】
一方、ステップＳ２２で、未選択の３次元物品領域があると判定された場合（ステップＳ２２がＹＥＳ判定の場合）、２次元物品領域特定部１７は、ステップＳ１６で特定された３次元物品領域に対応する２次元物品領域を計算する（ステップＳ２３）。具体的には、２次元物品領域特定部１７は、ステップＳ１６で特定された３次元物品領域に対応する領域を２次元画像内から抽出して該領域の輪郭を多角形近似することにより、該領域を２次元物品領域に特定する。ここで、３次元物品領域が傾きを有するものである場合、２次元物品領域特定部１７は、その傾きを補正する処理を行っても構わない。
【0171】
なお、ステップＳ２３の処理は、二つ以上の３次元物品領域を対象として並列で実行することも可能であり、この場合は、演算時間の削減が期待できる。
【0172】
次いで、認識処理部１２は、ステップＳ２３で特定された２次元物品領域に含まれる、一つ以上の物品面の位置又はサイズ等の物品面情報を取得する（ステップＳ２４）。次いで、３次元物品面情報取得部１８は、ステップＳ２４で取得された２次元の物品面情報に対応する３次元の物品面情報を取得する（ステップＳ２５）。具体的には、３次元物品面情報取得部１８は、２次元の物品面情報に示される物品面の位置の情報と、データ受付部１５に入力された３次元点群と対応する２次元画像の情報と、に基づいて、２次元の物品面情報に対応する３次元の物品面情報（物品面の位置、サイズ、姿勢等）を取得する
【0173】
３次元物品面情報取得部１８によって得られる３次元の物品面の位置又は姿勢等の情報は、３次元点群における物品面の領域を特定するために必要な情報である。例えば、物品面が平面で構成される場合には、３次元の物品面の位置又は姿勢等には、物品面を構成する多角形角における３次元の位置又は姿勢等が該当する。
【0174】
次いで、３次元物品面情報取得部１８は、ステップＳ２５で取得された３次元物品面情報は、所定の条件を満たしているか否かを判定する（ステップＳ２６）。所定の条件には、上述した実施形態で述べた（１）～（４）の条件等がある。ステップＳ２６で、３次元物品面情報は所定の条件を満たしていないと判定された場合（ステップＳ２６がＮＯ判定の場合）、処理の対象としていた物品領域の情報が破棄された上で、ステップＳ２１に戻って処理が行われる。
【0175】
一方、ステップＳ２６で、３次元物品面情報は所定の条件を満たしていると判定された場合（ステップＳ２６がＹＥＳ判定の場合）、３次元物品面情報取得部１８は、データ受付部１５（図１８参照）が受け付けた３次元点群内に、未選択の連続領域があるか否かを判定する（ステップＳ２７）。
【0176】
ステップＳ２７で、未選択の連続領域はあると判定された場合（ステップＳ２７がＹＥＳ判定の場合）、３次元物品面情報取得部１８は、ステップＳ２１に戻って処理を行う。一方、ステップＳ２７で、未選択の連続領域はないと判定された場合（ステップＳ２７がＮＯ判定の場合）、３次元物品面情報取得部１８は、ステップＳ２６の条件を満たした３次元の物品面情報を、３次元物品面情報出力部１９を介して外部に出力する（ステップＳ２８）。
【0177】
なお、３次元点群内に未選択の連続領域が残っていた場合であっても、演算時間に関する制約などがある場合には、ステップＳ２１に戻らずに、ステップＳ２８の処理が行われても構わない。
【0178】
ステップＳ２６がＮＯ判定の場合、又は、ステップＳ２７がＹＥＳ判定であった後に、ステップＳ２１の処理が行われる場合、２次元物品領域特定部１７以降の各部において行われる処理では、テンプレート候補情報保持部１２ｈに保存された画像の情報を再度利用することができる。例えば、密整列された物品の集まりが、複数の撮影画像内にそれぞれ存在する場合等においても、一つの撮影画像から得た物品面の模様情報等を、他の撮影画像においても活用することができる。このような処理が行われることにより、物品の認識精度を向上させたり、演算時間を削減させたりすることができる。
【0179】
次に、図２０を参照して、本実施形態に係る物品認識装置１０を、ピッキングロボットによるピッキング対象の物品の認識処理を行う装置に適用した例について説明する。図２０は、物品認識装置１０を、ピッキングロボットによるピッキング対象の物品の認識処理を行う装置に適用した場合における、作業シーンの例を示す図である。
【0180】
図２０に示す例では、本実施形態に係る物品認識装置１０は、計算機２００により実現される。計算機２００は、入力装置２０４（図２参照）であるマウス２０４と、出力装置２０５である表示装置２０５と、を有する。計算機２００の通信ＩＦ２０６（図２参照）には、通信線２０６１を介して、ピッキングロボット３００及びセンサ４２が接続される。
【0181】
ピッキングロボット３００は、計算機２００による物品認識の結果を受け取って所定の動作を行う。センサ４２は、作業台４１の上に置かれて、ピッキングロボット３００によるピッキング動作の対象となる物品４０を含む作業シーンを撮像する。なお、センサ４２や計算機２００などは、ピッキングロボット３００と一体に形成されてもよい。
【0182】
図２０に示すピッキングロボット３００の動作が行われるまでの流れは、例えば次のようなものとなる。まず、センサ４２が取得した３次元点群に対応する２次元画像に対して、物品認識装置１０が物品認識処理を実行して、認識の結果を得る。次いで、物品認識装置１０は、認識の結果を適切なプログラムによって解析し、適切なロボット動作を誘起する情報を得る。そして、物品認識装置１０は、その情報をピッキングロボット３００に送信して、ピッキングロボット３００に動作を行わせる。
【0183】
物品認識装置１０は、ピッキングロボット３００に、例えば、物品４０の把持や、把持した物品４０を所定の位置に移動させる動作を行わせる。なお、ピッキングロボット３００が、本実施形態に係る物品認識装置１０による物品認識処理の結果に基づいて動作を行っているとすれば、ピッキングロボット３００により把持される対象の物品４０の少なくとも一つには、物品領域の角を含む物品面を有する部品が含まれることになる。
【0184】
したがって、ピッキングロボット３００によって把持された物品の特徴を調べることにより、ピッキングロボットに指示を出す物品の認識装置が、本実施形態に係る物品認識装置１０による物品認識処理と同様の処理を行っているか否かを判断することができる。
【0185】
なお、図２０には、作業シーンは固定された例を示しているが、本発明はこれに限定されない。作業シーンは適宜変更されてもよく、実際の製造ラインのように刻々と変化する作業シーンにおいて、本実施形態に係る物品認識装置１０による物品認識処理を適用することも可能である。
【0186】
また、例えば、上述した実施形態及び変形例は、本発明を分かりやすく説明するために装置（物品認識装置）の構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【0187】
また、図１において実線の矢印で示した制御線又は情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【0188】
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【0189】
また、上述した本開示の一実施形態にかかる物品認識装置の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、一つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
【符号の説明】
【0190】
１０…物品認識装置、１１…物品領域受付部、１２…認識処理部、１２ａ…模様量計算部、１２ｂ…テンプレート候補抽出部、１２ｃ…テンプレート候補評価部、１２ｄ…テンプレート決定部、１２ｅ…類似領域検出部、１２ｆ…類似領域評価部、１２ｇ…物品面情報取得部、１２ｈ…テンプレート候補情報保持部、１３…物品面情報出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】