特開 2024-155438 物体認識装置、物体認識方法、および、搬送ロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024155438

(43)【公開日】2024-10-31

(54)【発明の名称】物体認識装置、物体認識方法、および、搬送ロボットシステム

(51)【国際特許分類】

   G06V 10/74 20220101AFI20241024BHJP

   G06T 7/70 20170101ALI20241024BHJP

   G06T 7/00 20170101ALI20241024BHJP

   G06T 7/11 20170101ALI20241024BHJP

   G06T 7/60 20170101ALI20241024BHJP

   B25J 13/08 20060101ALI20241024BHJP

【ＦＩ】

G06V10/74

G06T7/70 Z

G06T7/00 300F

G06T7/11

G06T7/60 200G

B25J13/08 A

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023070149

(22)【出願日】2023-04-21

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】関谷 研人

(72)【発明者】

【氏名】矢野 泰樹

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707AS04

3C707DS01

3C707KS03

3C707KT03

3C707KT06

3C707KT11

3C707NS19

3C707NS28

5L096AA09

5L096BA05

5L096CA05

5L096DA02

5L096FA08

5L096FA66

5L096FA67

5L096FA68

5L096FA69

5L096GA51

5L096HA09

5L096JA11

(57)【要約】

【課題】検出した物品領域と実際の物品領域が一致しているかどうかを評価し、パレット上に物品が混載されている場合でも、精度よく物品の識別を行うことができる物体認識装置、物体認識方法、および、搬送ロボットシステムを提供する。
【解決手段】本発明の物体認識装置は、例えば、カメラにより撮像した画像内の物品領域を認識する物体認識装置において、前記画像を取得する入力部と、前記画像内の物品領域を検出し、物品の位置姿勢情報を取得する検出部と、前記物品領域の色彩的特徴または形状的特徴を用いて、前記物品領域の物品種別を識別する識別部と、隣接する前記物品領域の物品種別を比較し、前記物品領域の検出の正確性を表す確信度を算出する確信度算出部と、前記物品の位置姿勢情報と前記確信度とに基づく動作の指令をロボットに出力する出力部と、を備える。
【選択図】 図３

【特許請求の範囲】

【請求項1】

カメラにより撮像した画像内の物品領域を認識する物体認識装置において、
前記画像を取得する入力部と、
前記画像内の物品領域を検出し、物品の位置姿勢情報を取得する検出部と、
前記物品領域の色彩的特徴または形状的特徴を用いて、前記物品領域の物品種別を識別する識別部と、
隣接する前記物品領域の物品種別を比較し、前記物品領域の検出の正確性を表す確信度を算出する確信度算出部と、
前記物品の位置姿勢情報と前記確信度とに基づく動作の指令をロボットに出力する出力部と、
を備えることを特徴とする物体認識装置。

【請求項2】

請求項１に記載の物体認識装置であって、
前記確信度算出部は、
隣接する前記物品領域の物品種別を比較し、隣接する前記物品領域が同一物品を含む可能性を物品同一可能性として算出し、
隣接する前記物品領域の物品種別に基づき、隣接する前記物品領域の間に物品境界が存在する可能性を物品境界存在可能性として算出し、
前記物品同一可能性と、前記物品境界存在可能性とに基づき、前記確信度を算出する
ことを特徴とする物体認識装置。

【請求項3】

請求項２に記載の物体認識装置であって、
前記確信度算出部は、隣接する前記物品領域の物品種別の組み合わせが、同一物品を含む可能性が高い物品種別の組み合わせとして予め定められた組み合わせに一致する場合は、前記物品同一可能性を所定値より高く算出することを特徴とする物体認識装置。

【請求項4】

請求項３に記載の物体認識装置であって、
前記確信度算出部は、
隣接する前記物品領域の物品種別が同一である場合は、前記物品同一可能性を所定値よりも高く算出し、
隣接する前記物品領域の物品種別が異なる場合は、異なる前記物品種別の組み合わせに応じて前記物品同一可能性を算出することを特徴とする物体認識装置。

【請求項5】

請求項４に記載の物体認識装置であって、
前記確信度算出部は、
異なる前記物品種別の組み合わせが、平面を多く含む平面物品と、凹凸を多く含む凹凸物品との組み合わせである場合は、前記物品同一可能性を前記所定値よりも低く算出し、
異なる前記物品種別の組み合わせが、前記平面物品または前記凹凸物品のいずれか一方と、ボトル梱包物品との組み合わせである場合は、前記平面物品又は前記凹凸物品と識別された物品領域を拡大し、拡大後の物品領域における円模様の数が拡大前の物品領域における円模様の数よりも多いときに、前記物品同一可能性を前記所定値よりも高く算出し、前記拡大後の物品領域における円模様の数が前記拡大前の物品領域における円模様の数以下であるときに、前記物品同一可能性を前記所定値よりも低く算出することを特徴とする物体認識装置。

【請求項6】

請求項２に記載の物体認識装置であって、
前記確信度算出部は、隣接する前記物品領域の物品種別のいずれもが平面を多く含む平面物品である場合は、前記画像における色彩的特徴に基づき、隣接する前記物品領域の間に直線が存在するか否かを判定するとともに、前記画像における形状的特徴に基づき、隣接する前記物品領域の間に凹みがするか否かを判定し、前記直線及び前記凹みの両方が存在すると判定した場合は、前記物品境界存在可能性を所定値よりも高く算出することを特徴とする物体認識装置。

【請求項7】

請求項２に記載の物体認識装置であって、
前記確信度算出部は、隣接する前記物品領域の物品種別のいずれもが凹凸を多く含む凹凸物品である場合は、前記画像における色彩的特徴に基づき、隣接する前記物品領域の間に直線が存在するか否かを判定するとともに、前記画像における形状的特徴に基づき、隣接する前記物品領域の間に凹みがするか否かを判定し、前記直線及び前記凹みの両方が存在すると判定した場合は、前記物品境界存在可能性を所定値よりも高く算出することを特徴とする物体認識装置。

【請求項8】

請求項２に記載の物体認識装置であって、
前記確信度算出部は、隣接する前記物品領域の物品種別のいずれもがボトル梱包物品である場合は、隣接する前記物品領域のいずれか一方の領域内において隣接するボトルのキャップ部分の間の距離を表す領域内キャップ距離と、異なる前記物品領域に含まれて隣接するボトルのキャップ部分の間の距離を表す領域外キャップ距離とを算出し、
前記領域内キャップ距離と、前記領域外キャップ距離とが同一である場合に、前記物品境界存在可能性を所定値よりも低く算出することを特徴とする物体認識装置。

【請求項9】

請求項１に記載の物体認識装置であって、
前記確信度算出部は、前記確信度が閾値以下である場合に、前記検出部が前記画像内の物品領域を検出する際に用いる前記画像上の特徴を抽出する度合いを決定する認識パラメタを調整し、
前記検出部は、調整した前記認識パラメタを用いて前記画像内の物品領域を検出する
ことを特徴とする物体認識装置。

【請求項10】

請求項１に記載の物体認識装置であって、
前記確信度算出部は、前記確信度が閾値より低い場合に、前記物品の配置を変更させるずらし動作の指令を生成し、
前記出力部は、前記ずらし動作の指令を前記ロボットに出力することを特徴とする物体認識装置。

【請求項11】

カメラにより撮像した画像内の物品領域を認識する物体認識方法において、
前記画像を取得するステップと、
前記画像内の物品領域を検出し、物品の位置姿勢情報を取得するステップと、
前記物品領域の色彩的特徴または形状的特徴を用いて、前記物品領域の物品種別を識別するステップと、
隣接する前記物品領域の前記物品種別を比較し、前記物品領域の検出の正確性を表す確信度を算出するステップと、
を備えることを特徴とする物体認識方法。

【請求項12】

物体認識装置と、ロボットと、カメラと、を備える搬送ロボットシステムにおいて、
前記物体認識装置は、
前記カメラにより撮像した画像を取得する入力部と、
前記画像内の物品領域を検出し、物品の位置姿勢情報を取得する検出部と、
前記物品領域の色彩的特徴または形状的特徴を用いて、前記物品領域の物品種別を識別する識別部と、
隣接する前記物品領域の物品種別を比較し、前記物品領域の検出の正確性を表す確信度を算出する確信度算出部と、
前記物品の位置姿勢情報と前記確信度とに基づく動作の指令を前記ロボットに出力する出力部と、を備え、
前記ロボットは、前記動作の指令に基づき動作する
ことを特徴とする搬送ロボットシステム。

【請求項13】

請求項１２に記載の搬送ロボットシステムであって、
前記確信度を表示する表示部をさらに備えることを特徴とする搬送ロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体認識装置、物体認識方法、および、搬送ロボットシステムに関する。

【背景技術】

【0002】

近年の物流倉庫等では、物品を搬送する多関節アームロボット等のロボットの利用が進んでいる。この種のロボットが、例えば、パレット上に混載された物品（以下「混載物品」と略記する。）の中から１つ選んで搬送する場合には、搬送する物品と他の物品との境界を正しく認識する必要がある。

【0003】

物体が存在する領域を画像から検出する従来技術としては、特許文献１の画像処理装置が知られている。例えば、特許文献１の要約書には、「様々なバリエーションを有する商品について、そのバリエーションを精度よく識別する技術を提供する」という課題が記載されており、その解決手段として「画像処理装置は、物体検出部、カテゴリ特定部、商品識別部、および表示処理部を有する。物体検出部は、画像において物体が存在する領域を検出する。カテゴリ特定部は、検出された前記領域の形状を用いて前記物体の属するカテゴリを特定する。商品識別部は、特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する。」との記載がある。

【0004】

具体的には、特許文献１の段落００１６に「商品識別部１３０は、物体検出部１１０により検出された領域から得られる画像特徴量と、商品を識別するために用意された各商品の基準データ（基準画像特徴量）とのマッチング処理を行って、当該領域に位置する物体（商品）を識別する。・・・商品識別部１３０は、物体検出部１１０により検出された領域から得られる画像特徴量とのマッチング処理で用いる商品の基準データを、当該領域に位置する物体のカテゴリに基づいて絞り込む。」との記載がある。

【0005】

また、特許文献１の段落００５３には、識別誤りに関して「識別誤り候補抽出部１５０は、商品識別部１３０によるマッチング処理の確信度（商品識別結果の確からしさ）に基づいて候補領域を特定するように構成されていてもよい。マッチング処理の確信度は、例えば、マッチング処理の結果として得られるスコア（類似度）の大きさに基づいて判断することができる。」との記載もある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－９６６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の画像処理装置は、物体検出部１１０により検出された領域から得られる画像特徴量が基準データとマッチングするかを判断しているだけであり、検出領域自体の正確性を判断していない。そのため、特許文献１の画像処理装置は、例えば、パレット上に多様な模様や形状の物品が一部重なり合うように混載された状況において、物体が存在する領域を検出する際に、検出領域が実際の物品領域と異なっていても、そのままマッチング処理が行われ、その結果物品の識別が誤って行われるという課題があった。

【0008】

そこで、本発明は、検出した物品領域と実際の物品領域が一致しているかどうかを評価し、パレット上に物品が混載されている場合でも、精度よく物品の識別を行うことができる物体認識装置、物体認識方法、および、搬送ロボットシステムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、本発明の物体認識装置は、例えば、カメラにより撮像した画像内の物品領域を認識する物体認識装置において、前記画像を取得する入力部と、前記画像内の物品領域を検出し、物品の位置姿勢情報を取得する検出部と、前記物品領域の色彩的特徴または形状的特徴を用いて、前記物品領域の物品種別を識別する識別部と、隣接する前記物品領域の物品種別を比較し、前記物品領域の検出の正確性を表す確信度を算出する確信度算出部と、前記物品の位置姿勢情報と前記確信度とに基づく動作の指令をロボットに出力する出力部と、を備える。

【0010】

また、本発明の物体認識方法は、例えば、カメラにより撮像した画像内の物品領域を認識する物体認識方法において、前記画像を取得するステップと、前記画像内の物品領域を検出し、物品の位置姿勢情報を取得するステップと、前記物品領域の色彩的特徴または形状的特徴を用いて、前記物品領域の物品種別を識別するステップと、隣接する前記物品領域の物品種別を比較し、前記物品領域の検出の正確性を表す確信度を算出するステップと、を備える。

【0011】

また、本発明の搬送ロボットシステムは、例えば、物体認識装置と、ロボットと、カメラと、を備える搬送ロボットシステムにおいて、前記物体認識装置は、前記カメラにより撮像した画像を取得する入力部と、前記画像内の物品領域を検出し、物品の位置姿勢情報を取得する検出部と、前記物品領域の色彩的特徴または形状的特徴を用いて、前記物品領域の物品種別を識別する識別部と、隣接する前記物品領域の物品種別を比較し、前記物品領域の検出の正確性を表す確信度を算出する確信度算出部と、前記物品の位置姿勢情報と前記確信度とに基づく動作の指令を前記ロボットに出力する出力部と、を備え、前記ロボットは、前記動作の指令に基づき動作する。

【発明の効果】

【0012】

本発明によれば、検出した物品領域と実際の物品領域が一致しているかどうかを評価し、パレット上に物品が混載されている場合でも、精度よく物品の識別を行うことができる。

【図面の簡単な説明】

【0013】

【図1】実施例１に係る搬送ロボットシステムの使用環境を説明する図。

【図2】実施例１に係る物体認識装置のハードウェア構成図。

【図3】実施例１に係る物体認識装置の機能ブロック図。

【図4】実施例１に係る検出部、識別部、確信度算出部を含む計算部が実行する処理のフローチャート。

【図5A】上面に平面を多く含む物品の上面図の一例を示す図。

【図5B】上面に凹凸を多く含む物品の上面図の一例を示す図。

【図5C】ボトルが梱包された物品の上面図の一例を示す図。

【図6】１つの物品が同一物品種別の２つの物品領域として検出された例を示す図。

【図7】１つの物品が異なる物品種別の２つの物品領域として検出された例を示す図。

【図8】１つの平面物品が２つの物品領域として検出された例を示す図。

【図9】１つの凹凸物品が２つの物品領域として検出された例を示す図。

【図10】１つのボトル梱包物品が２つの物品領域として検出された例を示す図。

【図11】実施例２に係る認識パラメタ最適化に関するフローチャート。

【図12A】実施例３に係るずらし動作実施前の物品配置の一例を示す図。

【図12B】実施例３に係るずらし動作実施後の物品配置の一例を示す図。

【図13】実施例３に係るずらし動作に関するフローチャート。

【発明を実施するための形態】

【実施例0014】

以下、図面を用いて、本発明の物体認識装置、物体認識方法、および、搬送ロボットシステムの実施例を説明する。

【0015】

＜搬送ロボットシステムの概略＞
図１は、搬送ロボットシステムの使用環境を説明する図である。物体認識装置１は、ロボット２と接続し、ロボット２に対して動作の指令を出力する。図１では、物体認識装置１がロボット２と有線で接続しているが、これに限定されず、無線で接続してもよい。ロボット２は多関節アーム２１とハンド２２を有している。ロボット２は、例えば、物体認識装置１によって制御される多関節アームロボットがある。カメラ３は、例えば、左カメラ３Ｌと右カメラ３Ｒが同期して撮像するステレオカメラであり、撮像したステレオ画像（以下「画像」と略記する。）を物体認識装置１に送信する。物品４はロボット２によって搬送される種々の物品である。物品４としては、例えば、ペットボトル、トイレットペーパー、段ボールなどが挙げられる。パレット５は物品４を載置したパレットである。ロボット２は、多関節アーム２１を動かすことで、パレット５上の任意の物品４をハンド２２で把持できる場所に設置されている。カメラ３は、パレット５の上面全体を撮像可能な場所に設置されている。物体認識装置１と、ロボット２と、カメラ３とが搬送ロボットシステムとして機能する。

【0016】

＜物体認識装置１のハードウェア構成＞
図２は、物体認識装置１のハードウェア構成図である。物体認識装置１は、ＣＰＵなどのプロセッサ１１、半導体メモリなどのメモリ１２、キーボードやマウスなどの入力装置１３、液晶ディスプレイなどの出力装置１４、ロボット２やカメラ３と通信するための通信インターフェース１５、および、これらを接続するバス１６を備えたコンピュータである。図２に示す物体認識装置１のハードウェア構成は一例であり、これに限定されない。

【0017】

＜物体認識装置１の機能ブロック＞
図３は、物体認識装置１の機能ブロック図である。物体認識装置１は、パレット５に載置された物品４を上側からカメラ３により撮像した画像を取得する入力部１５ａと、取得した画像において物品４に対応する物品領域を検出する検出部１１ａと、検出した物品領域の物品種別を識別する識別部１１ｂと、隣接する物品領域の物品種別を比較し、物品領域の検出の正確性を表す確信度を算出する確信度算出部１１ｃと、物品４の位置姿勢情報と確信度とに基づく動作の指令をロボット２に出力する出力部１５ｂと、を備えている。この動作の指令は、例えば、確信度が高い物品領域の物品を把持させる指令などが例示できる。なお、検出部１１ａと、識別部１１ｂと、確信度算出部１１ｃと、が計算部として機能し、計算部は図２に示すプロセッサ１１により実現される。また、入力部１５ａと出力部１５ｂは、図２の通信インターフェース１５によって実現される機能部である。

【0018】

＜計算部における処理のフローチャートの概要＞
図４は、検出部１１ａ、識別部１１ｂ、及び確信度算出部１１ｃを含む計算部が実行する処理のフローチャートである。計算部は、図４に示すステップＳ１～Ｓ５を実行する。以下、各ステップを詳細に説明する。

【0019】

＜＜ステップＳ１＞＞
ステップＳ１では、検出部１１ａが、画像内の個々の物品に対応する物品領域を検出し、物品の位置姿勢情報を取得する。検出部１１ａが物品領域を検出する方法は様々ある。例えば、画像における形状的特徴または色彩的特徴を取得する方法である。具体的には、画像から形状的特徴に含まれる鉛直方向の凹凸情報を取得し、凹み部分を物品と物品との間の物品境界として検出し、平面を多く含む領域や凹凸が多い領域を物品領域として検出する方法でも良い。凹凸情報としては、例えば、物品上面の曲率などが挙げられる。凹み部分としては、例えば、曲率が大きい部分などが挙げられる。また、画像と物品の既知の上面視形状特徴や上面視色彩特徴とのパターンマッチングによる方法でも良い。なお、物品領域は、画像における物品の存在する領域である。また、物品境界は、物品領域間の境界である。

【0020】

＜＜ステップＳ２＞＞
ステップＳ２では、識別部１１ｂが物品領域の物品種別を識別する。物品種別の識別は、画像における物品領域の形状的特徴または色彩的特徴を用いて行う。

【0021】

図５Ａは、上面に平面を多く含む物品の上面図の一例を示す図である。図５Ａの物品４１は、物品上面に平面を多く含み、鉛直方向の凹凸が少ない物品である。識別部１１ｂは、画像における物品領域の形状的特徴に基づき、上面の凹凸が少なく、平らである物品領域、例えば物品４１に対応する物品領域について、その物品種別を平面物品と識別する。例えば、段ボールや箱形状の物品などに対応する物品領域の物品種別が平面物品として識別される。

【0022】

図５Ｂは、上面に凹凸を多く含む物品の上面図の一例を示す図である。図５Ｂの物品４２は、物品上面に凹凸を多く含む物品、例えば、物品上面の曲率が大きい物品や物品境界が直線状ではない物品である。識別部１１ｂは、画像における物品領域の形状的特徴に基づき、上面の凹凸が多い物品領域、例えば物品４２に対応する物品領域について、その物品種別を凹凸物品と識別する。また、箱形状の物品であったとしても、複数の物品がひとまとまりにラッピングされた物品は物品上面の曲率が大きくなる可能性があり、その場合は凹凸を多く含む物品に分類される。例えば、トイレットペーパーや袋物物品に対応する物品領域の物品種別が凹凸物品として識別される。

【0023】

図５Ｃは、ボトルが梱包された物品の上面図の一例を示す図である。図５Ｃの物品４３は、複数のボトルがひとまとまりにラッピングされた物品である。例えば、飲料系のペットボトルなどがある。識別部１１ｂは、画像における物品領域の色彩的特徴に基づき、ボトル上部のキャップ部分４４に対応する円模様が等間隔に配置されている物品領域、例えば物品４３に対応する物品領域について、その物品種別をボトル梱包物品と識別する。上記に挙げた３つの物品種別とは異なる上面視形状や色彩の特徴を持つような物品が存在する場合、新たな種類として追加しても良い。

【0024】

＜＜ステップＳ３＞＞
図４のステップＳ３では、確信度算出部１１ｃが隣接する物品領域の物品種別を比較し、隣接する物品領域が同一物品を含む可能性を物品同一可能性として算出する。具体的には、まず、確信度算出部１１ｃは、ステップＳ１で検出部１１ａが取得した物品の位置姿勢情報に基づき、隣接する物品領域の組を抽出する。そして、隣接する物品領域の物品種別を比較する。隣接する物品領域の物品種別の組み合わせが、同一物品を含む可能性が高い物品種別の組み合わせとして予め定められた組み合わせに一致する場合は、物品同一可能性を所定値より高く算出する。同一物品を含む可能性が高い物品種別の組み合わせとしては、後述するように、物品種別が同一である組み合わせや、平面物品または凹凸物品のいずれか一方と、ボトル梱包物品との組み合わせなどが例示できる。

【0025】

図６は、１つの物品が同一物品種別の２つの物品領域として検出された例を示す図である。具体的には、図６では、１つの物品４３が物品領域Ａ１ａと、物品領域Ａ１ｂとに分割して検出された例を示している。なお、物品領域Ａ１ａと、物品領域Ａ１ｂの物品種別は、物品領域Ａ１ａと物品領域Ａ１ｂの内部の円模様の情報から、それぞれボトル梱包物品と識別されたものとする。

【0026】

図６に示す物品領域Ａ１ａと物品領域Ａ１ｂとのように、隣接する物品領域の物品種別が同一である場合は、隣接する物品領域が同一物品を含む可能性が高いので、物品同一可能性を所定値より高く算出する。本実施例では、所定値を５０％とするが、これに限定されない。図６に示す場合は、確信度算出部１１ｃは、例えば、物品同一可能性を所定値である５０％よりも高い７５％と算出する。

【0027】

また、隣接する物品領域の物品種別が異なる場合は、基本的には隣接する物品領域がそれぞれ異なる物品を表す可能性が高いが、隣接する物品領域の物品種別の組み合わせによっては、隣接する物品領域が同一物品を含む可能性が高い場合も存在する。そのため、異なる物品種別の組み合わせに応じて物品同一可能性を算出する。

【0028】

例えば、異なる物品種別の組み合わせが、平面物品と、凹凸物品との組み合わせである場合は、隣接する物品領域がそれぞれ異なる物品を表す可能性が高いので、物品同一可能性を所定値よりも低く算出する。例えば、物品同一可能性を所定値である５０％よりも低い２５％と算出する。

【0029】

次に、１つの物品が異なる物品種別の２つの物品領域として検出された例を図７に示す。図７は、ラベル付きボトル梱包物品４５を上面からみた図である。なお、ラベル付きボトル梱包物品４５とは、図５に示す物品４３の中心付近に不透明ラベル４６が存在する物品である。ここでは、ラベル付きボトル梱包物品４５に対して、ステップＳ１を実行した結果、検出部１１ａは、中心部分の不透明ラベル４６を物品領域Ａ２ａとして検出し、周囲の複数ボトルを物品領域Ａ２ｂとして検出したものとする。そして、物品領域Ａ２ａ及び物品領域Ａ２ｂに対してステップＳ２を実行した結果、識別部１１ｂは、物品領域Ａ２ａの物品種別を平面物品もしくは凹凸物品と識別し、物品領域Ａ２ｂをボトル梱包物品と識別したものとする。

【0030】

図７に示す物品領域Ａ２ａと物品領域Ａ２ｂとのように、異なる物品種別の組み合わせが、平面物品または凹凸物品のいずれか一方と、ボトル梱包物品との組み合わせである場合、物品領域Ａ２ａを周囲３６０度の方向に拡大し、物品領域Ａ２ａの拡大後の物品領域である拡大領域Ａ３における円模様を検出し、物品領域Ａ２ａ（拡大前の物品領域）における円模様の数と、拡大領域Ａ３における円模様の数と比較する。ここでは物品領域Ａ２ａにおける円模様の数に対する拡大領域Ａ３内部の円模様の数を円比率として算出することで比較する例について説明するがこれに限定されない。

【0031】

円比率が大きい場合、すなわち、拡大領域Ａ３における円模様の数が物品領域Ａ２ａにおける円模様の数よりも多い場合は、物品領域Ａ２ａの周囲にはボトルのキャップが配置されている可能性が高いため、物品領域Ａ２ａと物品領域Ａ２ｂとがラベル付きボトル梱包物品を含む可能性が高い。そのため、この場合、確信度算出部１１ｃは、物品領域Ａ２ａ及び物品領域Ａ２ｂに関する物品同一可能性を所定値よりも高く算出する。

【0032】

逆に、円比率が小さい場合、すなわち、拡大領域Ａ３における円模様の数が物品領域Ａ２ａにおける円模様の数以下である場合は、物品領域Ａ２ａと物品領域Ａ２ｂとがそれぞれ異なる物品を表す可能性が高い。そのため、この場合、確信度算出部１１ｃは、物品領域Ａ２ａ及び物品領域Ａ２ｂに関する物品同一可能性を所定値よりも低く算出する。

【0033】

＜＜ステップＳ４＞＞
ステップＳ４では、確信度算出部１１ｃは、隣接する物品領域の物品種別に基づき、隣接する物品領域の間に物品境界が存在する可能性を物品境界存在可能性として算出する。なお、物品境界存在可能性を算出する物品境界判定方法は、物品種別によって最適な方法が異なるため、確信度算出部１１ｃは、ステップＳ２で識別した隣接する物品領域の物品種別に基づき、各々の物品領域に最適な物品境界判定方法を選択する。そして、確信度算出部１１ｃは、選択した物品境界判定方法に基づき、画像における形状的特徴や色彩的特徴から物品境界が存在する可能性を物品境界存在可能性として算出する。以下、図８～図１０を用いて、物品領域の物品種別に基づく物品境界判定方法について説明する。

【0034】

図８は、１つの平面物品が２つの物品領域として検出された例を示す図である。具体的には、本来１物品である物品４１が２つの物品領域Ａ４ａ、Ａ４ｂとして検出された例である。なお、物品領域Ａ４ａ、Ａ４ｂは、画像における形状的特徴からいずれも物品種別が平面物品と識別されたものとする。

【0035】

確信度算出部１１ｃは、物品領域Ａ４ａ、Ａ４ｂのように、隣接する物品領域の物品種別のいずれもが平面物品である場合は、画像における色彩的特徴に基づき、隣接する物品領域の間に直線が存在するか否かを判定するとともに、画像における形状的特徴に基づき、隣接する物品領域の間に凹みがするか否かを判定する。そして、確信度算出部１１ｃは、隣接する物品領域の間に直線及び凹みの両方が存在すると判定した場合は、物品境界存在可能性を所定値よりも高く算出する。

【0036】

例えば、図８に示す場合において、確信度算出部１１ｃは、物品４１の色彩的特徴、例えば物品表面の模様に基づいて物品境界となりうる直線Ｌ１が物品領域Ａ４ａ及び物品領域Ａ４ｂの間に存在すると判断したものとする。

【0037】

しかし、直線Ｌ１は物品４１の内部に存在する誤った物品境界の可能性がある。そこで、物品領域Ａ４ａと物品領域Ａ４ｂの間において、曲率のような画像における形状的特徴に基づき、物品領域Ａ４ａ及び物品領域Ａ４ｂの間に凹みが存在するかを判定し、直線Ｌ１が真の物品境界であるかを判定する。この物品境界判定は、隣接する物品領域の間に物品境界が実際に存在する場合に、画像における物品領域の間に直線と鉛直方向の凹みとの両方が存在していることが多いことに基づくものである。

【0038】

図８では、物品領域Ａ４ａ及び物品領域Ａ４ｂの間には物品４１が存在し、物品領域Ａ４ａ及び物品領域Ａ４ｂの間の凹凸が少ないため、確信度算出部１１ｃは、凹みが存在しないと判断する。この場合、確信度算出部１１ｃは、直線Ｌ１が存在すると判断したものの、凹みが存在しないと判断したため、物品境界存在可能性を所定値より低く算出する。なお、物品境界存在可能性の算出に用いる所定値は、物品同一可能性の算出に用いる所定値と同様の５０％として説明するが、物品同一可能性の算出に用いる所定値と異なる値をとってもよい。

【0039】

図９は、１つの凹凸物品が２つの物品領域として検出された例を示す図である。具体的には、本来１物品である物品４２が物品領域Ａ５ａ及び物品領域Ａ５ｂとして検出された例である。なお、物品領域Ａ５ａ、Ａ５ｂは、画像における形状的特徴からいずれも物品種別が凹凸物品と識別されたものとする。

【0040】

確信度算出部１１ｃは、物品領域Ａ５ａ、Ａ５ｂのように、隣接する物品領域の物品種別のいずれもが凹凸物品である場合は、画像における色彩的特徴に基づき、隣接する物品領域の間に直線が存在するか否かを判定するとともに、画像における形状的特徴に基づき、隣接する物品領域の間に凹みがするか否かを判定する。そして、確信度算出部１１ｃは、隣接する物品領域の間に直線及び凹みの両方が存在すると判定した場合は、物品領域Ａ４ａ及び物品領域Ａ４ｂに関する物品境界存在可能性を所定値よりも高く算出する。

【0041】

例えば、図９に示す場合において、確信度算出部１１ｃは、画像における形状的特徴に基づき、物品領域Ａ５ａ及び物品領域Ａ５ｂの間に物品境界となりうる溝Ｄが存在すると判断したものとする。一方で、確信度算出部１１ｃは、画像における色彩的特徴に基づき、物品領域Ａ５ａ及び物品領域Ａ５ｂの間に物品境界となりうる直線が存在しないと判断したものとする。この場合、溝Ｄは物品４２の内部に存在する誤った物品境界である可能性が高いため、物品領域Ａ５ａ及び物品領域Ａ５ｂに関する物品境界存在可能性を所定値よりも低く算出する。

【0042】

なお、前述した画像における色彩的特徴に基づき、隣接する物品領域の間に直線が存在するか否かを判定する処理、および画像における形状的特徴に基づき、隣接する物品領域の間に凹みがするか否かを判定する処理の一方又は両方は、本ステップＳ３において検出部１１ａが行ってもよいし、検出部１１ａがステップＳ１であらかじめ行ってもよい。

【0043】

図１０は、１つのボトル梱包物品が２つの物品領域として検出された例を示す図である。具体的には、本来１物品である物品４３が物品領域Ａ６ａ及び物品領域Ａ６ｂとして検出された例である。なお、物品領域Ａ６ａ及び物品領域Ａ６ｂは、画像における色彩的特徴からいずれも物品種別がボトル梱包物品と識別されたものとする。

【0044】

物品４３は、複数ボトルのキャップ部分４４がひとまとまりにラッピングされていることから、同一ボトル梱包物品内のキャップ部分４４は等間隔に配置されている。一方で、２つの物品４３が隣接している場合は、物品４３同士の間に隙間やラッピング材の厚みがあるため、異なる物品４３に含まれて隣接するボトルのキャップ部分４４の間の距離は、同一の物品４３内のキャップ部分４４の間の距離よりも大きくなる。

【0045】

確信度算出部１１ｃは、物品領域Ａ６ａ及び物品領域Ａ６ｂのように、隣接する物品領域の物品種別のいずれもがボトル梱包物品である場合は、隣接する物品領域のいずれか一方の領域内において隣接するボトルのキャップ間距離を表す領域内キャップ距離と、異なる物品領域に含まれて隣接するボトルのキャップ間距離を表す領域外キャップ距離とを算出し、前記領域内キャップ距離と、前記領域外キャップ距離とが同一である場合に、物品境界存在可能性を前記所定値よりも低く算出する。

【0046】

例えば、図１０に示すように、物品領域Ａ６ａと物品領域Ａ６ｂのキャップ部分４４の円中心を結んだ線分Ｌ２ａの長さを領域外キャップ距離とし、物品領域Ａ６ｂの内部のキャップ部分４４の円中心を結んだ線分Ｌ２ｂの長さを領域内キャップ距離としてこれらを比較することで、物品領域Ａ６ａと物品領域Ａ６ｂの間に物品境界が存在するか否かを判定する。そして、確信度算出部１１ｃは、領域内キャップ距離と、領域外キャップ距離とが同一である場合に、物品境界存在可能性を所定値よりも低く算出する。ただし、領域内キャップ距離と領域外キャップ距離とが同一であるか否かの判断においては、多少のずれを考慮してよい。図１０においては、領域外キャップ距離と、領域内キャップ距離と、が同一とみなせるため、物品領域Ａ６ａ及び物品領域Ａ６ｂに関する物品境界存在可能性を所定値よりも低く算出する。

【0047】

＜＜ステップＳ５＞＞
ステップＳ５では、ステップＳ３で算出した物品同一可能性と、ステップＳ４で算出した物品境界存在可能性とに基づき、確信度算出部１１ｃが確信度を算出する。例えば、式：確信度＝１００％×（１－（物品同一可能性））×（物品境界存在可能性）に基づき確信度を算出する。なお、物品同一可能性は、前述したように、隣接する物品領域が同一物品を含む可能性であり、物品同一可能性が高い場合は、一物品を分割した領域として誤検出した可能性が高い。この場合、検出した物品領域と実際の物品領域とは一致している可能性が低いため、確信度は低くなることが妥当である。そのため、上記式では、「１－（物品同一可能性）」という形で物品同一可能性が用いられる。上記式を用いた確信度の算出は一例であり、これに限定されない。

【0048】

以上で説明したように、本発明によれば、検出した物品領域と実際の物品領域が一致しているかどうかを評価し、パレット上に物品が混載されている場合でも、精度よく物品の識別を行うことができる。

【実施例0049】

実施例２では、実施例１に係る物体認識装置１が認識パラメタの最適化をさらに行う例について説明する。以下では、実施例１との相違点を中心に説明する。

【0050】

＜認識パラメタの最適化＞
認識パラメタは、検出部１１ａが画像内の物品領域を検出する際に用いる画像上の特徴を抽出する度合いを決定するものである。例えば、画像における形状的特徴として曲率を用いる場合において、曲率がある閾値以内であれば平面とみなすとしたときの閾値が認識パラメタである。

【0051】

図１１は、認識パラメタの最適化に関するフローチャートである。ステップＳ１～Ｓ５は図４と同じである。ステップＳ６では、確信度算出部１１ｃは、ステップＳ５で算出した確信度の値を予め定めた閾値と比較して認識パラメタの調整が必要かどうかを判定する。確信度が閾値より大きい場合は、ステップＳ２で検出した物品領域が正しいと判断されるため、フローチャートを終了する。一方で、確信度算出部１１ｃは、確信度が閾値以下である場合は、認識パラメタの調整を行った回数が一定回数以上かどうかを判定する。認識パラメタの調整を行った回数が一定回数以上である場合は、これ以上認識パラメタを調整しても、物品領域の結果が変わらないと判断し、フローチャートを終了する。認識パラメタの調整を行った回数が一定回数未満である場合は、確信度算出部１１ｃは、ステップＳ８、すなわち、認識パラメタの調整を実行する。ステップＳ８において認識パラメタを調整した後、ステップＳ１～Ｓ５を再度実行する。認識パラメタを調整して物品領域の検出結果が変わることで、確信度が大きくなる可能性があるため、再度Ｓ６、Ｓ７を実行する。

【0052】

このように認識パラメタを調整することで、物品領域の検出精度を調整することが可能となる。