特許 6495764 画像認識装置、画像認識プログラム、画像認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6495764

(24)【登録日】2019年3月15日

(45)【発行日】2019年4月3日

(54)【発明の名称】画像認識装置、画像認識プログラム、画像認識方法

(51)【国際特許分類】

   G06T 7/90 20170101AFI20190325BHJP

【ＦＩ】

   G06T7/90 C

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2015-130268(P2015-130268)

(22)【出願日】2015年6月29日

(65)【公開番号】特開2017-16268(P2017-16268A)

(43)【公開日】2017年1月19日

【審査請求日】2018年2月28日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】100101856

【弁理士】

【氏名又は名称】赤澤 日出夫

(72)【発明者】

【氏名】大宮 正之

(72)【発明者】

【氏名】渡邊 朋子

(72)【発明者】

【氏名】鈴木 功一

(72)【発明者】

【氏名】植本 正志

(72)【発明者】

【氏名】石塚 晃

(72)【発明者】

【氏名】原 正志

(72)【発明者】

【氏名】三浦 隆志

(72)【発明者】

【氏名】後藤 和博

【審査官】 川▲崎▼ 博章

(56)【参考文献】

【文献】 特開２００２−２６９５６１（ＪＰ，Ａ）

【文献】 特開２００７−１０２２７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

対象物の種別を示す識別色を有する識別色領域と、該識別色領域を包囲する形状と前記識別色に対して所定量だけ彩度が低い低彩度色を有する識別形状領域とを有する識別図形を含む領域を撮像する撮像部と、
前記撮像部により撮像された撮像画像を取得する取得部と、
前記識別図形を近似する識別図形モデルに基づいて前記撮像画像から識別図形候補を抽出する抽出部と、
前記識別図形候補に前記識別形状領域が含まれるか否かを判定する形状判定部と、
前記識別形状領域に包囲される領域内の色が前記識別色に一致するか否かを判定する色判定部と、
前記識別色に一致する色の彩度が該識別色に設定された彩度閾値以上である場合、前記識別図形候補を識別図形と判定する彩度判定部と
を備える画像認識装置。

【請求項2】

前記形状判定部は、前記識別図形候補の中心を含む領域内の各位置を起点として選択し、該起点からの複数方向について、前記起点から所定距離だけ離間した範囲における低彩度色の画素を探索することにより、前記識別図形候補に前記識別形状領域が含まれるか否かを判定することを特徴とする請求項１に記載の画像認識装置。

【請求項3】

前記低彩度色は前記識別色に対して所定量以上明度が低い色であり、
前記形状判定部は、所定の明度閾値未満であり、且つ前記識別形状領域に設定された彩度閾値以下である画素を前記低彩度色の画素として探索することを特徴とする請求項２に記載の画像認識装置。

【請求項4】

前記色判定部は、前記識別形状領域に包囲される領域内の色と、前記識別色に対応付けられた複数の色情報それぞれとを比較し、該領域内の色といずれかの色情報との色の差が所定の色判定閾値未満である場合、前記識別形状領域に包囲される領域内の色が前記識別色に一致すると判定することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像認識装置。

【請求項5】

前記識別図形から所定距離内に他の識別図形がある場合、前記識別図形における識別色領域の色と該識別図形について一致すると判定された識別色との相違度と、前記他の識別図形における識別色領域の色と該他の識別図形について一致すると判定された識別色との相違度を比較し、相違度がより高い識別図形を削除する削除部を更に備えることを特徴とする請求項１乃至請求項４の何れか一項に記載の画像認識装置。

【請求項6】

対象物の種別を示す識別色を有する識別色領域と、該識別色領域を包囲する形状と前記識別色に対して所定量だけ彩度が低い低彩度色を有する識別形状領域とを有する識別図形を含む領域が撮像された撮像画像を撮像装置より取得し、
前記識別図形を近似する識別図形モデルに基づいて前記撮像画像から識別図形候補を抽出し、
前記識別図形候補に前記識別形状領域が含まれるか否かを判定し、
前記識別形状領域に包囲される領域内の色が前記識別色に一致するか否かを判定し、
前記識別色に一致する色の彩度が該識別色に設定された彩度閾値以上である場合、前記識別図形候補を識別図形と判定する
処理をコンピュータに実行させる画像認識プログラム。

【請求項7】

コンピュータが、
対象物の種別を示す識別色を有する識別色領域と、該識別色領域を包囲する形状と前記識別色に対して所定量だけ彩度が低い低彩度色を有する識別形状領域とを有する識別図形を含む領域が撮像された撮像画像を撮像装置より取得し、
前記識別図形を近似する識別図形モデルに基づいて前記撮像画像から識別図形候補を抽出し、
前記識別図形候補に前記識別形状領域が含まれるか否かを判定し、
前記識別形状領域に包囲される領域内の色が前記識別色に一致するか否かを判定し、
前記識別色に一致する色の彩度が該識別色に設定された彩度閾値以上である場合、前記識別図形候補を識別図形と判定する画像認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像を認識する技術に関する。

【背景技術】

【0002】

従来、商品に対して、この商品の種別を示す識別図形が印刷されたステッカーを貼り付け、識別図形を読み取ることにより商品の種別を判定することによって商品の会計を行う会計システムが知られている。ここで、ステッカーが貼り付けられる商品としては、例えば、食品が挙げられ、この場合、食品はその種別や鮮度を購入者が確認するために透過性を有するラップフィルムにより包装され、このラップフィルム上にステッカーが貼り付けられる。また、ラップフィルムに包装された食品は、更に透過性プラスチック製のケースに入れられた状態で会計される。ここで、会計システムは、ケース越しに食品に貼り付けられたステッカーをカメラによって撮像し、内蔵された画像認識装置によって撮像画像における識別図形を認識して食品の種別と数を判定し、この判定結果に基づいて合計金額を算出する。

【0003】

また、関連する技術として、画像中の認識対象物の形状を認識する形状認識装置であって、認識対象物を疑似的に表したモデルにマスク領域を設定し、マスク領域の特徴量に基づいて、認識したい形状にモデルが最も適合するパラメータを決定する形状認識装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９−７３５４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、食品を包装するラップフィルムや食品が入れられるプラスチック製のケースは光の反射率が高く、これらの反射によって識別形状と類似した像が撮像され、識別図形の誤検出が生じるという問題があった。

【0006】

本発明の実施形態は、上述した問題点を解決するためになされたものであり、反射による識別図形の誤検出を低減する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決するため、本発明の実施形態は、対象物の種別を示す識別色を有する識別色領域と、該識別色領域を包囲する形状と前記識別色に対して所定量だけ彩度が低い低彩度色を有する識別形状領域とを有する識別図形を含む領域を撮像する撮像部と、前記撮像部により撮像された撮像画像を取得する取得部と、前記識別図形を近似する識別図形モデルに基づいて前記撮像画像から識別図形候補を抽出する抽出部と、前記識別図形候補に前記識別形状領域が含まれるか否かを判定する形状判定部と、前記識別形状領域に包囲される領域内の色が前記識別色に一致するか否かを判定する色判定部と、前記識別色に一致する色の彩度が該識別色に設定された彩度閾値以上である場合、前記識別図形候補を識別図形と判定する彩度判定部とを備える。

【図面の簡単な説明】

【0008】

【図1】本実施の形態に係る会計処理装置の構成を示す概略図である。

【図2】撮像対象を示す概略図である。

【図3】識別図形を示す概略図である。

【図4】画像認識装置のハードウェア構成を示すブロック図である。

【図5】画像認識装置の機能構成を示すブロック図である。

【図6】全体処理の動作を示すフローチャートである。

【図7】識別図形モデルを示す概略図である。

【図8】形状判定処理の動作を示すフローチャートである。

【図9】探索方向及び探索開始位置を示す概略図である。

【図10】探索処理の動作を示すフローチャートである。

【図11】探索範囲を示す概略図である。

【図12】色判定処理の動作を示すフローチャートである。

【図13】彩度判定処理の動作を示すフローチャートである。

【図14】削除処理の動作を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を参照しつつ説明する。

【0010】

まず、本実施の形態に係る会計処理装置について説明する。図１は、本実施の形態に係る会計処理装置の構成を示す概略図である。図２は、撮像対象を示す概略図である。図３は、識別図形を示す図である。

【0011】

図１に示すように、本実施の形態に係る会計処理装置は、商品の種別を判定し、また、商品の重量を判定することによって、商品の値段を算出するものであり、本体１、計量装置２、撮像装置３、表示装置４を備える。本体１は、その内部に後述する画像認識装置１０の一部や画像認識装置１０により判定された商品種別に基づいて値段を算出する算出装置を有する筐体である。計量装置２は、商品としての対象物９の重量を計量する。撮像装置３は、撮像範囲Ｉ内において、計量装置２上に載置された容器８内の対象物９を撮像するカメラである。表示装置４は、算出装置により算出された値段を表示するディスプレイである。

【0012】

図２に示すように、対象物９は、食品９０と、食品９０を包装する透過性のラップフィルム９１と、ラップフィルム９１に貼り付けられたステッカー９２とを有する。ここで、ステッカー９２は、食品９０の種別を示す識別図形が印刷される。対象物９は、容器８内に複数配置された上で計量装置２上に載置されるものとし、容器８内において安定した姿勢で配置されないような形状を有するものとする。ステッカー９２は、撮像装置３の撮像方向に直交する平面を有する撮像領域Ｉに対して、印刷面が平行する場合において、食品９０の種別を示す図形として最適な状態となるものとする。容器８は、例えば透過性プラスチックのような、所定の反射率を有する素材により構成され、同じ素材よりなる開閉可能な蓋部８ａを有し、この蓋部８ａが閉状態とされた状態において、つまり撮像装置３と対象物９との間に蓋部８ａが存在する状態において対象物９が撮像されるものとする。この際、容器８は透過性を有するために蓋部８ａを介してステッカー９２は撮像装置３により撮像されるが、同時に蓋部８ａに生じる反射や、ラップフィルム９１に生じる反射も撮像され得る。

【0013】

図３に示すように、ステッカー９２に印刷された識別図形は、円形に形成され、この円の内周側から順に、識別色領域９２１、第１領域９２２、第２領域９２３を有する。識別色領域９２１は、識別図形の円形輪郭より所定距離だけ小さい半径を有する円形輪郭に対する同心円として形成された領域である。第１領域９２２は、識別色領域９２１の外周を包囲する所定幅の線として形成された領域である。第２領域９２３は、更に第１領域９２２の外周を包囲する所定幅の線として形成された領域である。第１領域９２２と第２領域９２３とにより識別形状領域を構成するものするが、この識別形状領域は、第１領域９２２または第２領域９２３のいずれか一方により構成されても良い。識別色領域９２１は食品９０の種別毎に設定された複数種類の識別色のうちいずれかの識別色に着色され、第１領域９２２は識別色の種類に関わらず黒色に着色され、第２領域９２３は識別色の種類に関わらず白色に着色される。第１領域９２２及び第２領域９２３はステッカー９２に印刷された図形が識別図形であることを示す識別形状を表現し、識別色領域９２１は識別図形に設定された識別色の種別、すなわち、食品９０の種別を示す。なお、識別図形は、必ずしも円形である必要はなく、識別色に着色された領域と、この領域の外周を包囲する領域であって、識別色以外の色に着色された領域とを有し、少なくとも、互いに直交する２つの方向のそれぞれにおいて対称的であるような図形であれば良い。なお、識別色以外の色としては、全ての識別色よりも所定量だけ彩度が低く、且つ所定量だけ明度が異なるような色であれば良い。

【0014】

次に、画像認識装置のハードウェア構成及び機能構成について説明する。図４は、画像認識装置のハードウェア構成を示すブロック図である。図５は、画像認識装置の機能構成を示すブロック図である。

【0015】

図４に示すように、画像認識装置１０は、ハードウェアとして、本体１内部に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、メモリ１２、記憶装置１３、撮像装置３及び表示装置４との通信を行う外部Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１４を備える。画像認識装置１０は、これらＣＰＵ１１、メモリ１２、記憶装置１３、外部Ｉ／Ｆ１４と、本体１外部に備えられた撮像装置３とにより構成される。ＣＰＵ１１及びメモリ１２は、協働して各種機能を実行し、記憶装置１３は各種機能により実行される処理に用いられる各種データを記憶する。

【0016】

図５に示すように、画像認識装置１０は、機能として、取得部１１１、補正部１１２、抽出部１１３、形状判定部１１４、色判定部１１５、彩度判定部１１６、削除部１１７、出力部１１８を備える。取得部１１１は、撮像装置３により撮像された撮像画像を取得する。補正部１１２は、撮像装置３のレンズによって生じる撮像画像の歪みを補正する。抽出部１１３は、補正部１１２により補正された画像から識別図形の候補である識別図形候補を抽出する。形状判定部１１４は、識別図形候補における識別形状の有無を判定する。色判定部１１５は、識別図形候補における第１領域９２２内の色がいずれの識別色に該当するかを判定する。削除部１１５は、識別色を有すると判定された識別図形が他の識別図形と近接しているか否かを判定する。出力部１１８は、撮像画像に識別図形が含まれるか否かの結果、含まれる場合は識別図形における識別色を出力する。これらの出力結果は、詳述しない算出装置によって値段の算出に用いられる。

【0017】

次に、画像認識装置の動作について説明する。図６は、全体処理の動作を示すフローチャートである。図７は、識別図形モデルを示す図である。

【0018】

図６に示すように、まず、取得部１１１は、外部Ｉ／Ｆ１４を介して、撮像装置３により撮像された撮像画像を取得する（Ｓ１０１）。次に、補正部１１２は、取得部１１１により取得された撮像画像において、撮像装置３のレンズの特性によって生じた歪みを補正して補正画像として出力する（Ｓ１０２）。

【0019】

撮像画像の補正後、抽出部１１３は、補正画像に基づいて分離度マップを作成し（Ｓ１０３）、この分離度マップに基づいて識別図形候補を抽出する（Ｓ１０４）。分離度マップは、識別図形モデルを用いて作成される。この識別図形モデルは、識別図形の特徴を示すように、識別図形に近似させた図形であり、図７に示すように、識別色領域９２１に近似させた内側領域と、第１領域９２２及び第２領域９２３に近似させた外側領域とを含む。抽出部１１３は、このような識別図形モデルによって特徴量抽出領域を設定して、補正画像において予め設定された範囲内の全画素に対して分離度を算出して分離度マップを作成する。また、抽出部１１３は、作成した分離度マップにおいて予め設定された閾値以上の分離度を持つ画素を識別図形候補として抽出する。なお、識別図形候補の抽出は、例えば、識別図形モデルを用いたパターンマッチングなどによってなされても良い。また、識別図形モデルに基づいた識別図形候補の抽出においては、抽出された識別図形候補にその中心点が設定されるものとする。

【0020】

識別図形候補の抽出後、形状判定部１１４は、補正画像から識別図形候補が抽出されたか否かを判断する（Ｓ１０５）。

【0021】

識別図形候補が抽出された場合（Ｓ１０５，ＹＥＳ）、形状判定部１１４は、後述する形状判定処理を実行する（Ｓ１０６）。この形状判定処理によれば、識別図形候補に対して識別図形の有無が判定され、識別図形を有さない識別図形候補が除外される。次に、色判定部１１５は、形状判定処理により除外されない識別図形候補が存在するか否かを判断する（Ｓ１０７）。

【0022】

識別図形候補が存在する場合（Ｓ１０７，ＹＥＳ）、色判定部１１５は、後述する色判定処理を実行する（Ｓ１０８）。この色判定処理によれば、識別色領域の色が識別色に一致する識別図形候補が識別図形と判定される。次に、削除部１１７は、色判定処理により判定された識別図形が存在するか否かを判断する（Ｓ１０９）。

【0023】

識別図形が存在する場合（Ｓ１０９，ＹＥＳ）、削除部１１７は、後述する削除処理を実行する（Ｓ１１０）。この削除処理は、互いに重なった状態でステッカー９２がラップフィルム９１に貼り付けられたような場合を想定した処理であり、削除処理によれば極端に近接した識別図形のうち一方を削除する。削除処理の実行後、出力部１１８は、画像認識装置１０による判定結果として、撮像画像における識別図形の有無を示す情報、及び識別図形により示される識別色の種別を出力し（Ｓ１１１）、処理を終了する。

【0024】

一方、識別図形が存在しない場合（Ｓ１０９，ＮＯ）、出力部１１８は、判定結果として、撮像画像において識別図形が含まれないことを示す情報を出力する（Ｓ１１１）。

【0025】

また、ステップＳ１０７の判断において、識別図形候補が存在しない場合（Ｓ１０７，ＮＯ）、出力部１１８は、判定結果として、撮像画像において識別図形が含まれないことを示す情報を出力する（Ｓ１１１）。

【0026】

また、ステップＳ１０５の判断において、識別図形候補が存在しない場合（Ｓ１０５，ＮＯ）、出力部１１８は、判定結果として、撮像画像において識別図形が含まれないことを示す情報を出力する（Ｓ１１１）。

【0027】

次に、形状判定処理について説明する。図８は、形状判定処理の動作を示すフローチャートである。図９は、探索方向及び探索開始位置を示す概略図である。

【0028】

図８に示すように、まず、形状判定部１１４は、抽出部１１３に抽出された少なくとも１つ以上の識別図形候補のうち、未選択の識別図形候補を選択し（Ｓ２０１）、選択した識別図形候補に対して、探索開始位置Ｓ（Ｘ，Ｙ）を初期値に設定する（Ｓ２０２）。図９に示すように、この探索開始位置Ｓは、複数の探索方向（１）〜（８）への探索の起点となる位置であり、識別図形候補の中心点Ｃ（Ｘ０，Ｙ０）に対して、画素のｘ軸方向及びｙ軸方向のそれぞれにおいて所定の値Ｌだけ加算及び減算した４つの位置（Ｘ０−Ｌ，Ｙ０−Ｌ），（Ｘ０＋Ｌ，Ｙ０−Ｌ），（Ｘ０−Ｌ，Ｙ０＋Ｌ），（Ｘ０＋Ｌ，Ｙ０＋Ｌ）により画成された矩形の探索領域Ｅ内に設定される。具体的には、この探索領域Ｅ内においてｘ軸方向及びｙ軸方向それぞれの座標値が最小である座標（Ｘ，Ｙ）が探索開始位置Ｓの初期値に設定される。

【0029】

次に、形状判定部１１４は、後述する探索処理を実行する（Ｓ２０３）。この探索処理は、探索開始位置Ｓを起点として、予め設定された複数の探索方向（１）〜（８）を探索し、第１領域９２２を構成する黒画素、第２領域９２３を構成する白画素、更に後述する低彩度画素数を検出する処理である。

【0030】

探索処理の実行後、形状判定部１１４は、選択している識別図形候補について、探索処理によって検出された画素の総数が最大である場合は検出された画素の総数を更新し（Ｓ２０４）、Ｘをインクリメントし（Ｓ２０５）、ＸがＸ０＋Ｌ以下であるか否かを判断する（Ｓ２０６）。

【0031】

ＸがＸ０＋Ｒ以下ではない場合（Ｓ２０６，ＮＯ）、形状判定部１１４は、ＸをＸ０−Ｌに設定してＹをインクリメントし（Ｓ２０７）、ＹがＹ０＋Ｌ以下であるか否かを判断する（Ｓ２０８）。

【0032】

ＹがＹ０＋Ｌ以下ではない場合（Ｓ２０８，ＮＯ）、形状判定部１１４は、除外処理を実行する（Ｓ２０９）。この除外処理は、予め設定した条件に適合しない識別図形候補を全ての識別図形候補から除外する処理である。除外処理において、形状判定部１１４は、ステップＳ２０４において他の探索開始位置に基づく探索処理と比較して最大値となるように更新された検出画素の総数、具体的には、総白画素数、総黒画素数、総低彩度画素数それぞれについて、これらそれぞれの画素数に個別に設定された閾値との比較を行う。この比較において、閾値を下回る総画素数が少なくとも１つ存在する場合、形状判定部１１４は、選択している識別図形候補を識別図形候補から除外する。

【0033】

除外処理の実行後、形状判定部１１４は、全ての識別図形候補のうち、未選択の識別図形候補が存在するか否かを判断する（Ｓ２１０）。

【0034】

未選択の識別図形候補が存在しない場合（Ｓ２１０，ＮＯ）、形状判定部１１４は、形状判定処理を終了する。

【0035】

一方、未選択の識別図形候補が存在する場合（Ｓ２１０，ＹＥＳ）、形状判定部１１４は、再度、未選択の識別図形候補を選択する（Ｓ２０１）。

【0036】

また、ステップＳ２０８において、ＹがＹ０＋Ｌ以下である場合（Ｓ２０８，ＹＥＳ）、形状判定部１１４は、再度、探索処理を実行する（Ｓ２０３）。

【0037】

また、ステップＳ２０６において、ＸがＸ０＋Ｌ以下である場合（Ｓ２０６，ＹＥＳ）、形状判定部１１４は、再度、探索処理を実行する（Ｓ２０３）。

【0038】

次に、探索処理の動作について説明する。図１０は、探索処理の動作を示すフローチャートである。図１１は、探索範囲を示す概略図である。

【0039】

図１０に示すように、まず、形状判定部１１４は、設定された探索開始位置Ｓを起点として探索するために予め設定された複数の探索方向のうち、未選択の探索方向を選択する（Ｓ３０１）。複数の探索方向としては、図９に示したように互いに対向する探索方向の組（例えば（１）と（５））を複数有するものであれば良く、例えば４方向、１６方向、３２方向であっても良い。なお、探索方向の数は、白画素、黒画素、高彩度画素の検出精度と、１つの撮像画像に掛かる処理時間とに基づいて設定される。例えば、１６方向と３２方向とによる探索処理を比較し、その検出精度に差異がない場合、より処理時間が短い１６方向による探索処理が採用される。

【0040】

次に、形状判定部１１４は、白画素探索範囲Ｗを設定する（Ｓ３０２）。図１１に示すように、この白画素探索範囲Ｗは、選択された探索方向において、探索開始位置Ｓを起点として外径方向へ向かう探索方向において、識別図形の半径Ｒの位置から外径方向及び内径方向に所定距離だけ離れた位置の間に設定される。

【0041】

白画素探索範囲Ｗの設定後、形状判定部１１４は、白画素探索範囲Ｗ内に白画素が存在するか否かを判断する（Ｓ３０３）。この判断において、形状判定部１１４は、画素を構成する構成色（ＲＧＢ）全ての明度が所定の閾値以上である場合に、当該画素を白画素と判断する。

【0042】

白画素が存在する場合（Ｓ３０３，ＹＥＳ）、形状判定部１１４は、黒画素探索範囲Ｂを設定する（Ｓ３０４）。この黒画素探索範囲Ｂは、選択された探索方向において、白画素の位置から外径方向及び内径方向に所定距離だけ離れた位置の間に設定される。

【0043】

黒画素探索範囲Ｂの設定後、形状判定部１１４は、黒画素探索範囲Ｂ内に黒画素が存在するか否かを判断する（Ｓ３０５）。この判断において、形状判定部１１４は、画素を構成する構成色全ての明度が所定の閾値以下である場合に、当該画素を黒画素と判断する。なお、この判断において用いられる閾値は、白画素が存在するか否かを判断するのに用いられる閾値よりも所定値だけ小さい値とする。

【0044】

黒画素が存在する場合（Ｓ３０５，ＹＥＳ）、形状判定部１１４は、黒画素と判断した画素について、彩度値を算出する（Ｓ３０６）。ここで、彩度値ｒｇｂ＿ｓは、画素を構成する構成色のうち明度が最大であるものの明度値をｒｇｂ＿ｍａｘ、最小であるものの明度値をｒｇｂ＿ｍｉｎとし、与えられた値のうち最大値を返す関数をｍａｘ（値１，値２，…）とし、撮像画像の明るさに基づいて設定される閾値をｂｒｉｇｈｔｎｅｓｓ＿ｖａｌ＿ｔｈｒとした場合、ｒｇｂ＿ｓ＝（（ｒｇｂ＿ｍａｘ−ｒｇｂ＿ｍｉｎ）×２５５）／ｍａｘ（ｒｇｂ＿ｍａｘ，ｂｒｉｇｈｔｎｅｓｓ＿ｖａｌ＿ｔｈｒ）により求められる。なお、ｂｒｉｇｈｔｎｅｓｓ＿ｖａｌ＿ｔｈｒは、ｒｇｂ＿ｍａｘが０である場合の０による除算を防止するために設定される。また、２５５は画素の階調である。

【0045】

黒画素の彩度値を算出後、形状判定部１１４は、識別形状領域、具体的には第１領域９２２に設定された第１彩度閾値以下であるか否かを判断する（Ｓ３０７）。

【0046】

彩度値が第１彩度閾値以下である場合（Ｓ３０７，ＹＥＳ）、形状判定部１１４は、形状判定処理により選択された探索開始位置について、検出した白画素数、黒画素数及び彩度値が彩度閾値以下の黒画素である低彩度画素数を累積加算し（Ｓ３０８）、複数の探索方向のうち、未選択の探索方向が存在するか否かを判断する（Ｓ３０９）。

【0047】

未選択の探索方向が存在しない場合（Ｓ３０９，ＮＯ）、形状判定部１１４は、探索処理を終了する。

【0048】

一方、未選択の探索方向が存在する場合（Ｓ３０９，ＹＥＳ）、形状判定部１１４は、再度、未選択の探索方向を選択する（Ｓ３０１）。

【0049】

また、ステップＳ３０７において、彩度値が第１彩度閾値以下ではない場合（Ｓ３０７，ＮＯ）、形状判定部１１４は、形状判定処理により選択された探索開始位置について、検出した白画素数及び黒画素数を累積加算し（Ｓ３１０）、未選択の探索方向が存在するか否かを判断する（Ｓ３０９）。

【0050】

また、ステップＳ３０５において、黒画素が存在しない場合（Ｓ３０５，ＮＯ）、形状判定部１１４は、白画素数を累積加算し（Ｓ３１１）、未選択の探索方向が存在するか否かを判断する（Ｓ３０９）。

【0051】

また、ステップＳ３０３において、白画素が存在しない場合（Ｓ３０３，ＮＯ）、形状判定部１１４は、再度、未選択の探索方向を選択する（Ｓ３０１）。

【0052】

上述したように、形状判定処理及び探索処理によれば、選択した識別図形候補について、探索開始位置を変更しながら複数の探索方向における白画素、黒画素を検出することによって、ステッカーの貼り付け位置や対象物の姿勢により生じる識別図形の傾きが存在する場合であっても、識別図形を検出することができる。また、検出した黒画素について、その彩度を閾値と比較することにより、ラップフィルムや容器による反射による識別図形の誤検出を低減することができる。

【0053】

次に、色判定処理の動作について説明する。図１２は、色判定処理の動作を示すフローチャートである。

【0054】

図１２に示すように、まず、色判定部１１５は、抽出部１１３に抽出され、除外処理により除外されていない、少なくとも１つ以上の識別図形候補のうち、未選択の識別図形候補を選択し（Ｓ４０１）、選択した識別図形候補の識別色領域における画素のうち、未選択の画素を選択する（Ｓ４０２）。ここで、色判定部１１５は、識別色領域の画素として、探索処理によって検出された画素の総数が最大となるような探索開始位置Ｓを中心とした矩形範囲内の画素を選択する。

【0055】

次に、色判定部１１５は、未選択の色情報を選択する（Ｓ４０３）。この色情報は、識別色を定義するＲＧＢ値であり、１つの識別色に対して複数の色情報が対応付けられる。識別色を５色とし、１つの識別色に対応する色情報が３０種設定される場合、色判定部１１５は、１５０種の色情報のうち未選択の色情報を１つ選択する。

【0056】

次に、色判定部１１５は、選択した画素の構成色と色情報とのＲＧＢ毎の差分を算出し（Ｓ４０４）、算出したこれらの差分全てがＲＧＢ毎に設定された明度閾値未満であるか否かを判断する（Ｓ４０５）。この明度閾値は、識別色に対応してＲＧＢ毎に設定された３つの明度値である。これら明度値をＲ＿ｔｈ、Ｇ＿ｔｈ、Ｂ＿ｔｈとし、ＲＧＢ毎の差分をＲ＿ｄｉｆｆ、Ｇ＿ｄｉｆｆ、Ｂ＿ｄｉｆｆとした場合、色判定部１１５は、ステップＳ４０５においてＲ＿ｔｈ＞｜Ｒ＿ｄｉｆｆ｜かつＧ＿ｔｈ＞｜Ｇ＿ｄｉｆｆ｜かつＢ＿ｔｈ＞｜Ｂ＿ｄｉｆｆ｜であるかを判断する。

【0057】

差分が明度閾値未満である場合（Ｓ４０５，ＹＥＳ）、色判定部１１５は、明度閾値未満であると判断した差分に基づいて色差分を算出する（Ｓ４０６）。この色差分をｄｉｆｆとした場合、ｄｉｆｆ＝（｜Ｒ＿ｄｉｆｆ｜＋｜Ｇ＿ｄｉｆｆ｜＋｜Ｂ＿ｄｉｆｆ｜）／３により求められる。すなわち、色差分は、選択した画素の構成色と色情報とのＲＧＢ毎の差の平均値である。

【0058】

次に、色判定部１１５は、未選択の色情報が存在するか否かを判断する（Ｓ４０７）。

【0059】

未選択の色情報が存在しない場合（Ｓ４０７，ＮＯ）、色判定部１１５は、選択している画素と、この画素について算出した色差分と、この色差分を算出する際に画素と比較した色情報が属する識別色とを対応付けて記憶し（Ｓ４０８）、未選択の画素が存在するか否かを判断する（Ｓ４０９）。

【0060】

未選択の画素が存在しない場合（Ｓ４０９，ＮＯ）、色判定部１１５は、色差分、識別色と対応付けられた画素を、色差分順にソートし（Ｓ４１０）、中央値以下となる画素に対応付けられた識別色を集計し（Ｓ４１１）、集計した識別色の最大数が他の識別色数（総集計数−最大数）以上であるか否かを判断する（Ｓ４１２）。

【0061】

最大数が他の識別色数以上である場合（Ｓ４１２，ＹＥＳ）、色判定部１１５は、識別図形候補に最大数となる識別色を設定し（Ｓ４１３）、彩度判定部１１６が後述する彩度判定処理を実行する（Ｓ４１４）。この彩度判定処理は、選択した識別図形候補の識別色領域の色について、その彩度に基づいて、ラップフィルム９１や容器８による反射に起因するものであるか否かを判定する処理である。

【0062】

彩度判定処理の実行後、色判定部１１５は、未選択の識別図形候補が存在するか否かを判断する（Ｓ４１５）。

【0063】

未選択の識別図形候補が存在しない場合（Ｓ４１５，ＮＯ）、色判定部１１５は、色判定処理を終了する。

【0064】

一方、未選択の識別図形候補が存在する場合（Ｓ４１５，ＹＥＳ）、色判定部１１５は、再度、未選択の識別図形候補を選択する（Ｓ４０１）。

【0065】

また、ステップＳ４１２において、最大数が他の識別数以上ではない場合（Ｓ４１２，ＮＯ）、色判定部１１５は、未選択の識別図形候補が存在するか否かを判断する（Ｓ４１５）。

【0066】

また、ステップＳ４０９において、未選択の画素が存在する場合（Ｓ４０９，ＹＥＳ）、色判定部１１５は、再度、未選択の画素を選択する（Ｓ４０２）。

【0067】

また、ステップＳ４０７において、未選択の色情報が存在する場合（Ｓ４０７，ＹＥＳ）、色判定部１１５は、再度、未選択の色情報を選択する（Ｓ４０３）。

【0068】

また、ステップＳ４０５において、差分が明度閾値未満ではない場合（Ｓ４０５，ＮＯ）、色判定部１１５は、未選択の色情報が存在するか否かを判断する（Ｓ４０７）。

【0069】

次に、彩度判定処理の動作について説明する。図１３は、彩度判定処理の動作を示すフローチャートである。

【0070】

図１３に示すように、まず、彩度判定部１１６は、選択されている識別図形候補において探索処理によって検出された画素の総数が最大となるような探索開始位置Ｓを中心とした矩形範囲内の全ての画素について、各画素の構成色毎に矩形範囲内の明度の平均値を算出し（Ｓ５０１）、算出した平均値に基づいて平均彩度値ｒｇｂ＿ａｖｅ＿ｓを算出する（Ｓ５０２）。ここで、平均彩度値ｒｇｂ＿ａｖｅ＿ｓは、画素を構成する構成色のうち最大の平均値をｒｇｂ＿ａｖｅ＿ｍａｘ、最小の平均値をｒｇｂ＿ａｖｅ＿ｍｉｎとした場合、ｒｇｂ＿ａｖｅ＿ｓ＝（（ｒｇｂ＿ａｖｅ＿ｍａｘ−ｒｇｂ＿ａｖｅ＿ｍｉｎ）×２５５）／ｍａｘ（ｒｇｂ＿ａｖｅ＿ｍａｘ，ｂｒｉｇｈｔｎｅｓｓ＿ｖａｌ＿ｔｈｒ）により算出される。

【0071】

次に、彩度判定部１１６は、平均彩度値が予め設定された第２彩度閾値以上であるか否かを判断する（Ｓ５０３）。ここで、第２彩度閾値は、第１彩度閾値よりも所定値だけ大きい値に設定され、また、複数の識別色それぞれに対応して設定されているものとし、平均彩度値は選択されている識別図形候補に設定された識別色に対応する第２彩度閾値と比較される。

【0072】

平均彩度値が第２彩度閾値以上である場合（Ｓ５０３，ＹＥＳ）、彩度判定部１１６は、選択されている識別図形候補を識別図形と判定する（Ｓ５０４）。

【0073】

一方、平均彩度値が第２彩度閾値以上ではない場合（Ｓ５０３，ＮＯ）、彩度判定部１１６は、彩度判定処理を終了する。

【0074】

上述したように、色判定処理によれば、識別図形における識別色領域が複数の識別色のうち、いずれの識別色に着色されているかを判定することができる。また、複数の色情報を用いることによって、対象物への照射光の強さや色の変化に対応することができる。彩度判定処理によれば、色判定処理により判定された識別色がラップフィルムや容器による反射に起因するものであるか否か、即ち、検出された識別図形が誤検出によるものであるか否かを判定することができる。

【0075】

次に、削除処理の動作について説明する。図１４は、削除処理の動作を示すフローチャートである。

【0076】

図１４に示すように、まず、削除部１１７は、未選択の識別図形を選択し（Ｓ６０１）、選択した識別図形から所定距離内に他の識別図形が存在するか否かを判断する（Ｓ６０２）。ここで削除部１１７は、選択した識別図形の中心からその直径距離内に、他の識別図形の中心が存在するか否かを判断し、識別図形の中心としては、当該識別図形について探索処理によって検出された画素の総数が最大となるような探索開始位置Ｓが用いられる。

【0077】

他の識別図形が存在する場合（Ｓ６０２，ＹＥＳ）、削除部１１７は、自差分が他差分より大きいか否かを判断する（Ｓ６０３）。ここで自差分とは、選択した識別図形について、色判定処理により判定された識別色と識別色領域における画素との相違度を示す。この相違度として、探索処理によって検出された画素の総数が最大となるような探索開始位置Ｓを中心とした矩形範囲内の全ての画素の色の平均と、識別図形に設定された識別色に対応付けられた色情報それぞれとの差分のうち、最小の差分が用いられる。また、他差分は、他の識別図形について、自差分と同様に算出したものである。

【0078】

自差分が他差分より大きくない場合（Ｓ６０３，ＮＯ）、削除部１１７は、自差分が他差分より小さいか否かを判断する（Ｓ６０４）。

【0079】

自差分が他差分より小さくない場合（Ｓ６０４，ＮＯ）、削除部１１７は、未選択の識別図形が存在するか否かを判断する（Ｓ６０５）。

【0080】

未選択の識別図形が存在しない場合（Ｓ６０５，ＮＯ）、削除部１１７は、削除処理を終了する。

【0081】

一方、未選択の識別図形が存在する場合（Ｓ６０５，ＹＥＳ）、削除部１１７は、再度、未選択の識別図形を選択する（Ｓ６０１）。

【0082】

また、ステップＳ６０４において、自差分が他差分より小さい場合（Ｓ６０４，ＹＥＳ）、削除部１１７は、他の識別図形を削除し（Ｓ６０６）、未選択の識別図形が存在するか否かを判断する（Ｓ６０５）。

【0083】

また、ステップＳ６０３において、自差分が他差分より大きい場合（Ｓ６０３，ＹＥＳ）、削除部１１７は、選択した識別図形を削除し（Ｓ６０７）、未選択の識別図形が存在するか否かを判断する（Ｓ６０５）。

【0084】

上述したように、削除処理によれば、撮像画像において、識別図形同士が近接している場合、例えば、ステッカーが重なった状態となっているような場合に、判定された識別色との相違度に基づいて、一方の識別図形が削除される。このような処理によれば、対象物に多重にステッカーが貼り付けられているような場合に１つの対象物に対して重複して識別図形を検出することを回避することができる。

【0085】

本実施の形態において、画像認識プログラムは上述した画像認識装置の内部に予めインストールされているものとして記載したが、本発明における画像認識プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク（ハードディスクドライブ等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ等、画像認識装置に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した画像認識装置としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。

【0086】

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0087】

１０ 画像認識装置、１１１ 取得部、１１３ 抽出部、１１４ 形状判定部、１１５ 色判定部、１１６ 彩度判定部、１１７ 削除部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】