特許第6862888号(P6862888)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
特許6862888画像認識装置、システム、方法およびプログラム
<>
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000002
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000003
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000004
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000005
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000006
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000007
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000008
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000009
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000010
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000011
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000012
  • 特許6862888-画像認識装置、システム、方法およびプログラム 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6862888
(24)【登録日】2021年4月5日
(45)【発行日】2021年4月21日
(54)【発明の名称】画像認識装置、システム、方法およびプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20210412BHJP
   G06T 7/62 20170101ALI20210412BHJP
   G06T 7/70 20170101ALI20210412BHJP
   G07G 1/00 20060101ALI20210412BHJP
【FI】
   G06T7/00 300F
   G06T7/62
   G06T7/70 A
   G07G1/00 311Z
【請求項の数】10
【全頁数】21
(21)【出願番号】特願2017-24891(P2017-24891)
(22)【出願日】2017年2月14日
(65)【公開番号】特開2018-132868(P2018-132868A)
(43)【公開日】2018年8月23日
【審査請求日】2020年1月15日
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】飯尾 亮真
(72)【発明者】
【氏名】岩元 浩太
(72)【発明者】
【氏名】横井 秀雄
(72)【発明者】
【氏名】高田 亮
(72)【発明者】
【氏名】小山 和也
【審査官】 粕谷 満成
(56)【参考文献】
【文献】 国際公開第2015/033577(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 7/62
G06T 7/70
G07G 1/00
(57)【特許請求の範囲】
【請求項1】
認識領域に配置されている商品の画像を取得する画像取得部と、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、
を備え
前記認識領域は少なくとも2つの領域に区分されており、
前記画像認識部は、前記少なくとも2つの領域に対してそれぞれ異なる画像認識処理を用いて前記商品を識別することを特徴とす
画像認識装置。
【請求項2】
前記少なくとも2つの領域は、前記認識領域に表された記号又は色、前記認識領域に投影された光、および前記認識領域に設けられた構造のいずれかによって示されることを特徴とする、請求項に記載の画像認識装置。
【請求項3】
前記画像取得部は、前記認識領域に設けられた支持構造によって支持されている前記商品の前記画像を取得し、
前記画像認識部は、取得した前記画像における前記商品の外観および前記商品の前記支持構造上の位置に基づいて、前記商品を識別することを特徴とする、請求項1又は2に記載の画像認識装置。
【請求項4】
前記画像認識部は、取得した前記画像を前記支持構造が前記商品を支持する角度に基づいて補正し、補正された前記画像を用いて前記商品を識別することを特徴とする請求項に記載の画像認識装置。
【請求項5】
前記画像認識部は、前記商品の前記認識領域中の前記位置に基づいて前記商品の大きさを判定し、前記大きさを用いて前記商品を識別することを特徴とする、請求項1〜のいずれか一項に記載の画像認識装置。
【請求項6】
前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて前記商品の種類を判定し、前記種類を用いて前記商品を識別することを特徴とする、請求項1〜のいずれか一項に記載の画像認識装置。
【請求項7】
前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて、取得した前記画像における前記商品の前記認識領域中の前記位置の明るさを判定し、前記明るさを用いて前記商品を識別することを特徴とする、請求項1〜のいずれか一項に記載の画像認識装置。
【請求項8】
認識領域に配置されている商品の画像を取得するステップと、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
を有し、
前記認識領域は少なくとも2つの領域に区分されており、
前記識別するステップは、前記少なくとも2つの領域に対してそれぞれ異なる画像認識処理を用いて前記商品を識別することを特徴とする
画像認識方法。
【請求項9】
コンピュータに、
認識領域に配置されている商品の画像を取得するステップと、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
を有する画像認識方法であって、
前記認識領域は少なくとも2つの領域に区分されており、
前記識別するステップは、前記少なくとも2つの領域に対してそれぞれ異なる画像認識処理を用いて前記商品を識別する
画像認識方法を実行させるプログラム。
【請求項10】
商品を載置するための載置台と、
撮像装置によって取得される前記商品の画像に対して画像認識を行う画像認識装置と、
を備え、
前記画像認識装置は、
前記載置台上の認識領域に配置されている前記商品の前記画像を取得する画像取得部と、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、
を備え
前記認識領域は少なくとも2つの領域に区分されており、
前記画像認識部は、前記少なくとも2つの領域に対してそれぞれ異なる画像認識処理を用いて前記商品を識別す
ことを特徴とする画像認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識を行う装置、システム、方法およびプログラムに関する。
【背景技術】
【0002】
従来、顧客が小売店等において商品を購入する際には、POS端末が商品に付されたバーコードを読み取ることによって商品を識別し、名称や価格等の商品情報を取得することが一般的であった。近年、商品にバーコードが付されていることを必要とせず、画像認識技術を用いて商品の外観的な特徴に基づいて商品を識別する技術が開発されている。
【0003】
特許文献1には、所定の認識領域に配置された複数の商品を撮像し、撮像された画像の特徴量から該複数の商品を一括して認識する技術が記載されている。これにより、複数の商品を同時に識別して商品情報を効率的に取得することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2013−54673号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
飲料缶のように共通のロゴマークを含み様々な大きさで販売されている商品は、画像認識の処理で見分けることが難しい場合がある。また、生鮮食品のように形状や色が多様であり、形状や色を用いる画像認識の処理が適用しづらい商品がある。そのため、商品の種類や状態に従って異なる処理を行うことによって、画像認識の精度を向上させることができると考えられる。しかしながら、特許文献1に記載の技術では、認識領域内に配置される複数の商品が等しく扱われるため、商品によって異なる認識処理を適用することはできない。
【0006】
本発明は、上述の問題に鑑みて行われたものであって、画像認識対象の複数の商品に対してそれぞれ異なる認識処理を適用することができる画像認識装置、システム、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、画像認識装置であって、認識領域に配置されている商品の画像を取得する画像取得部と、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、を備える。
【0008】
本発明の第2の態様は、画像認識方法であって、認識領域に配置されている商品の画像を取得するステップと、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、を有する。
【0009】
本発明の第3の態様は、プログラムであって、コンピュータに、認識領域に配置されている商品の画像を取得するステップと、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、を実行させる。
【0010】
本発明の第4の態様は、画像認識システムであって、商品を載置するための載置台と、撮像装置によって取得される前記商品の画像に対して画像認識を行う画像認識装置と、を備え、前記画像認識装置は、前記載置台上の認識領域に配置されている前記商品の前記画像を取得する画像取得部と、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、を備える。
【発明の効果】
【0011】
本発明によれば、認識領域に配置されている複数の商品に対してそれぞれ商品の位置に基づいて異なる画像認識の処理を行うことができる。
【図面の簡単な説明】
【0012】
図1】第1の実施形態に係る画像認識システムの模式図である。
図2】第1の実施形態に係るPOS端末のブロック図である。
図3】第1の実施形態に係る支持部の斜視図である。
図4】第1の実施形態で認識対象とする商品の模式図である。
図5】第1の実施形態に係る商品が配置された状態の支持部の上面図である。
図6】第1の実施形態に係るPOS端末の概略構成図である。
図7】第1の実施形態に係る画像認識方法のフローチャートを示す図である。
図8】第2の実施形態に係る載置台上の認識領域の上面図である。
図9】第2の実施形態に係る画像認識方法のフローチャートを示す図である。
図10】第3の実施形態に係る載置台上の認識領域の上面図である。
図11】第3の実施形態に係る画像認識方法のフローチャートを示す図である。
図12】各実施形態に係るPOS端末の概略構成図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。
【0014】
(第1の実施形態)
図1は、本実施形態に係る画像認識システム10の模式図である。画像認識システム10は、画像認識装置としてのPOS端末(販売時点情報管理端末)100、画像認識の対象とする商品を載置するための載置台14、および載置台14上において商品を支持するための支持部200を備える。POS端末100には、載置台14上の商品を撮像可能な位置に設けられた撮像装置11、載置台14上に所定の像を投影可能な投影装置12、および商品に係る情報を表示する表示装置13が接続されている。本実施形態では、画像認識装置は、POS端末100と一体として構成されているが、POS端末100とは別に設けられ、POS端末100と必要な情報を授受して本実施形態に係る画像認識方法を実施するように構成されてもよい。
【0015】
POS端末100は、表示装置13に会計中の商品情報、会計の金額、所定のメッセージ等を表示する。商品情報は、後述の画像認識方法によって取得される。また、POS端末100は、入出金やレシートの印刷等、会計に係る任意の処理を行ってよい。
【0016】
載置台14は、水平方向(すなわち重力方向に対して垂直な方向)に延在する載置面を有する。載置台14の載置面上に1つ以上の商品Bが載置される。
【0017】
撮像装置11は、重力方向に沿って載置台14の上方に設けられ、不図示の柱、アーム、天井等に固定される。撮像装置11は、例えばCCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ等のイメージセンサによって画像を取得するカメラ又はスキャナ等の任意の撮像装置である。撮像装置11は、少なくとも載置台14の載置面を含む領域を撮像可能であり、撮像した画像を示す信号をPOS端末100に送信する。撮像装置11が撮像した画像を示す信号は、直接POS端末100に送信されてよく、あるいは一旦記憶装置に記録された後にPOS端末100によって読み出されてよい。載置台14上の商品を一様に撮像するために、撮像装置11の光軸は載置台14の載置面の法線と一致していることが望ましい。撮像装置11は、所定の時間間隔で撮像を行ってよく、あるいはPOS端末100からの指示に従って撮像を行ってよい。
【0018】
投影装置12は、重力方向に沿って載置台14の上方に設けられ、不図示の柱、アーム、天井等に固定される。投影装置12はランプ、LED(Light Emitting Diode)等の光源を用いて所望の像を投影するプロジェクタ等の任意の投影装置である。投影装置12は、POS端末100からの信号に従って、載置台14の載置面上に像を投影する。投影装置12は、このような投影が実現可能な所定位置に設置される。投影装置12の設置位置は設計的事項である。例えば、投影装置12は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置12は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台14を透明の部材で構成し、載置台14の下方に投影装置12を設置してもよい。この場合、投影装置12は、載置台14の下側から、載置台14の載置面上に像を投影する。
【0019】
本実施形態において投影装置12は、撮像装置11によって撮像されて画像認識が行われる認識領域Aを示す像(例えば認識領域Aを取り囲む枠)を載置台14の載置面上に投影する。認識領域Aは、撮像装置11の撮像領域と一致してよく、あるいは撮像装置11の撮像領域の一部でよい。認識領域Aは、POS端末100において予め設定されてよく、あるいは利用者によって設定されてよい。
【0020】
支持部200は、載置台14の載置面上において、商品Bを重力方向に対して所定の角度に支持するための支持構造である。支持部200は、認識領域A内において、載置台14と一体に(すなわち載置台14の一部として)構成されてよく、あるいは載置台14上に載置される部材として構成されてよい。支持部200の詳細な構成については、図3を用いて後述する。
【0021】
表示装置13は、利用者(すなわち店員又は顧客)に対して商品情報等の任意の情報を表示する表示装置である。表示装置13として、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ等の任意の表示装置を用いてよい。
【0022】
商品認識方法を実行する際には、認識対象の各商品Bは載置台14上の認識領域A内に直接配置されるか、あるいは支持部200に配置される。具体的には、商品Bが置かれる時に、商品Bの外観的な特徴を自然と重力方向に沿って上方に向けられる(すなわち撮像装置11に向けられる)場合には、その商品Bは載置台14上の認識領域A内に直接配置される。一方、商品Bが置かれる時に、商品Bの外観的な特徴が重力方向に対して側方に向く(すなわち撮像装置11に向かない)場合には、その商品Bは支持部200の上に配置される。外観的な特徴が重力方向に対して側方に向く商品Bは、例えば、飲料缶のように略円柱形を有している物品、あるいは透明な容器に入った柔らかい菓子のように横倒しにすることで破損する物品である。
【0023】
図2は、本実施形態に係るPOS端末100(画像認識装置)のブロック図である。図2において、矢印は主なデータの流れを示しており、図2に示したもの以外のデータの流れがあってよい。図2において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図2に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【0024】
POS端末100は、処理部として、画像取得部110、画像認識部120、商品情報取得部130および表示制御部140を備える。また、POS端末100は、記憶部として、識別情報記憶部151および商品情報記憶部152を備える。
【0025】
画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する。画像データは、撮像装置11から直接取得されてよく、あるいは記憶装置に記録されたものを読み出すことにより取得されてよい。
【0026】
画像認識部120は、画像取得部110によって取得された画像データに含まれる各商品を抽出する。画像認識部120は、通常の画像認識処理として、例えば、識別情報記憶部151には、様々な商品の基準画像から予め算出された特徴量が、各商品を識別する商品IDと関連付けられて記録される。特徴量として、形状、色、色の分布等、画像データから算出可能な商品の外観を示す任意の情報を用いてよい。画像認識部120は、画像取得部110によって取得された画像データから特徴量を算出し、識別情報記憶部151に記録された特徴量と比較する。そして、画像認識部120は、識別情報記憶部151の中で最も類似する(すなわち所定の基準を満たす)特徴量を有する商品を、画像データ中の商品として識別する。画像認識部120は、識別された商品の商品IDを識別情報記憶部151から取得する。画像認識部120によって実行される商品認識方法として、ここに示した具体的な方法に限定されず、画像データから商品を識別可能な任意の画像認識技術が用いられてよい。さらに本実施形態では、通常の画像認識処理に加えて又は代えて、後述のように商品が配置されている位置(領域)ごとに異なる画像認識処理を行う。
【0027】
さらに画像認識部120は、支持部200によって支持される商品と、載置台14に直接載置される(すなわち支持部200によって支持されない)商品との間で異なる処理を適用する。支持部200が商品を支持する角度C1(図3参照)、および撮像装置11と支持部200との位置関係は一定であり、既知である。そのため、画像認識部120は、画像データの中で支持部200に対応する領域に対して、角度C1および撮像装置11と支持部200との位置関係を用いて補正する。すなわち、画像認識部120は、撮像装置11により撮像された商品の画像を、商品が支持される角度C1および撮像装置11と支持部200との位置関係を用いて伸長することによって、該商品の側面を真正面から撮像する場合に近い画像を生成する。このように補正された画像は一般的に真正面から商品を撮像することによって取得される基準画像と近い状態となるため、上述の画像認識の精度を向上させることができる。
【0028】
商品情報記憶部152には、商品の名称、価格等の商品に係る任意の商品情報が、商品IDと関連付けられて予め記録される。商品情報取得部130は、画像認識部120によって取得された商品IDに基づいて、商品情報記憶部152に記録された商品情報を取得する。
【0029】
表示制御部140は、商品情報取得部130によって取得された各商品の商品情報を表示する制御を行う。本実施形態において表示制御部140は、表示装置13による表示のほか、プリンタによるレシート印刷等、利用者に対して視覚的に示す処理を制御する。
【0030】
図3は、本実施形態に係る商品支持構造としての支持部200の斜視図である。本実施形態では支持部200は載置台14と別の部材として構成されているが、載置台14の載置面の一部を図3の商品支持構造にすることによって構成されてよい。支持部200は、側面支持体210および底面支持体220を備える。側面支持体210は商品の側面を支持する側面支持面211を有し、底面支持体220は商品の底面を支持する底面支持面221を有する。側面支持面211および底面支持面221が互いに垂直(すなわちそれらのなす角度が90度)であり、かつ側面支持面211が水平方向(すなわち重力方向に対して垂直な方向)に対して所定の角度C1をなすように、側面支持体210および底面支持体220は設けられている。このような構成により、支持部200は商品を角度C1で支持し、撮像装置11による商品の側面の撮像を容易にすることができる。
【0031】
角度C1は、撮像装置11が商品の側面を安定して撮像できるように、好ましくは0度より大きく90度より小さい角度であり、より好ましくは30度以上60度以下の角度であり、本実施形態では45度である。角度C1が水平方向に対して60度より大きい角度である場合には、商品の側面を撮像装置11から急角度で撮像することになるため、画像認識の精度が低下する。角度C1が水平方向に対して30度より小さい角度である場合には、略円柱形の商品が転がったり、柔らかい商品が破損したりするおそれがある。
【0032】
側面支持面211には、側面支持面211を2つの領域に区分する領域区分部212が設けられる。領域区分部212は、側面支持面211上において底面支持面221に垂直な方向に延在する突起である。領域区分部212は、領域を利用者に視覚的に示すことができれば、側面支持面211上に表された記号又は色、あるいは投影装置12により投影された光、あるいは側面支持面211上に設けられた構造でよい。
【0033】
図4は、本実施形態で認識対象とする商品D1、D2の模式図である。商品D1、D2は飲料缶のように略円柱形を有している物品である。商品D1、D2は互いに異なる大きさを有しており、例えば商品D1は350ml入りであり、商品D2は500ml入りである。商品D1、D2の側面には、共通のロゴマークEが表されている。すなわち、商品D1、D2は大きさが異なるバリエーションの商品である。一般的な画像認識技術は画像データ中の形状、色、色の分布等の特徴量に基づいて画像認識を行う。そのため共通のロゴマークEを有する商品D1、D2は、画像認識によって区別されづらく、同一の商品であると誤認されやすい。
【0034】
本実施形態では、このように外観が類似した商品D1、D2について、それらが配置される位置(領域)の情報を用いることによって画像認識の精度を向上させる。
【0035】
図5(a)、5(b)は、商品が配置された状態の支持部200の上面図である。図5(a)、5(b)はそれぞれ、側面支持面211に対して垂直な方向から、商品D1、D2を支持している状態の支持部200を見た図である。図5(a)、5(b)のように側面支持面211が商品D1、D2の側面を支持し、底面支持面221が商品D1、D2の底面を支持するため、支持部200は商品D1、D2を安定的に支持するとともに、撮像装置11による商品D1、D2の側面の撮像を容易にすることができる。
【0036】
側面支持面211は、領域区分部212によって第1の領域F1および第2の領域F2に区分される。画像認識部120は、商品が領域F1およびF2のどちらに配置されているか(すなわち商品が配置されている位置)によって異なる認識処理を行う。
【0037】
領域F1、F2の判別のために、画像認識部120は、撮像装置11によって取得される画像中の各画素が領域F1およびF2のどちらに属するかの情報を予め設定し、商品の位置に対応する画素に基づいて、商品が領域F1およびF2のどちらに配置されているかを判定してもよい。あるいは、画像認識部120は、領域区分部212の位置を認識し、領域区分部212の位置と商品との位置関係に基づいて、商品が領域F1およびF2のどちらに配置されているかを判定してもよい。
【0038】
例えば、商品D1、D2が第1の領域F1に配置されている場合には、画像認識部120は、商品D1、D2を小さい商品として判定する。すなわち、図5(a)の例では小さい商品D1および大きい商品D2はいずれも小さい商品として判定される。また、商品D1、D2が第2の領域F2に配置されている場合には、画像認識部120は、商品D1、D2を大きい商品として判定する。すなわち、図5(b)の例では小さい商品D1および大きい商品D2はいずれも大きい商品として判定される。実際の運用においては、利用者が小さい商品D1を第1の領域F1に配置し、大きい商品D2を第2の領域F2に配置することによって、画像認識部120は類似する大きさ違いの商品D1、D2を正しく識別することができる。
【0039】
換言すると、画像認識部120は、商品の外観の情報に加えて、商品が配置されている位置の情報に基づいて、商品の識別を行う。これにより商品の外観からのみでは識別が難しい商品について、識別の精度を向上させることができる。
【0040】
画像認識部120が利用する領域の数は2つに限られず、区別すべき大きさの数に応じて少なくとも2つ以上の任意の数でよい。また、画像認識部120は、商品の大きさに限られず、外観のみから区別しづらい商品のその他の性質(味や香り等のバリエーション)を区別するために位置の情報を用いてよい。
【0041】
図6は、本実施形態に係るPOS端末100(画像認識装置)の例示的な機器構成を示す概略構成図である。POS端末100は、CPU(Central Processing Unit)101と、メモリ102と、記憶装置103と、インターフェース104とを備える。POS端末100は独立した装置でよく、あるいは他の装置と一体に構成されてよい。
【0042】
インターフェース104は、他の機器に接続されて信号の送受信を行う接続部である。インターフェース104は、信号の送受信に必要なプロセッサ、電気回路、アンテナ、接続端子等を含む。インターフェース104は、CPU101からの信号に従って、接続された機器との間で信号の送受信を行う。インターフェース104は、例えば撮像装置11、投影装置12、表示装置13および入力装置15に接続され、それらと信号の送受信を行う。インターフェース104は、これらのほかネットワークやその他の機器に接続されてよい。
【0043】
記憶装置103は、POS端末100が実行するプログラムや、プログラムによる処理結果のデータ等を記憶する。記憶装置103は、読み取り専用のROM(Read Only Memory)や、読み書き可能のハードディスクドライブ又はフラッシュメモリ等を含む。また、記憶装置103は、CD−ROM等のコンピュータ読取可能な可搬記憶媒体を含んでもよい。メモリ102は、CPU101が処理中のデータや記憶装置103から読み出されたプログラムおよびデータを一時的に記憶するRAM(Random Access Memory)等を含む。
【0044】
CPU101は、処理に用いる一時的なデータをメモリ102に一時的に記録し、記憶装置103に記録されたプログラムを読み出し、該プログラムに従って該一時的なデータに対して種々の演算、制御、判別などの処理動作を実行するプロセッサである。また、CPU101は、記憶装置103に処理結果のデータを記録し、またインターフェース104を介してデータや制御信号を外部に送信する。
【0045】
本実施形態においてCPU101は、記憶装置103に記録されたプログラムを実行することによって、図2の画像取得部110、画像認識部120、商品情報取得部130および表示制御部140として機能する。また、本実施形態において記憶装置103は、図2の識別情報記憶部151および商品情報記憶部152として機能する。
【0046】
POS端末100は、図6に示す具体的な構成に限定されない。POS端末100は、1つの装置に限られず、2つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されていてもよい。POS端末100に含まれる各部は、それぞれ電気回路構成により実現されていてもよい。ここで、電気回路構成とは、単一のデバイス、複数のデバイス、チップセット又はクラウドを概念的に含む文言である。
【0047】
また、POS端末100の少なくとも一部がSaaS(Software as a Service)形式で提供されてよい。すなわち、POS端末100を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。
【0048】
図7は、本実施形態に係る画像認識方法のフローチャートを示す図である。図7のフローチャートは、利用者が画像認識システム10に対して画像認識を実行するための所定の操作を行うことによって開始される。例えば、利用者がPOS端末100に接続された入力装置15(キーボードやタッチパネル)のボタンを押下することによって、あるいは所定の時間ごとに、図7のフローチャートが開始される。
【0049】
まず、画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する(ステップS101)。
【0050】
次に、画像認識部120は、ステップS101で取得された画像の中で、支持部200に対応する領域(支持部領域)に対して、支持部200の角度C1および撮像装置11と支持部200との位置関係を用いて補正を行い、1つの画像データとして出力する(ステップS102)。支持部領域は、画像中の位置(例えば画素の座標)として予め設定されている。また、画像認識によって画像から支持部200の位置を決定し、該位置を支持部領域として用いてもよい。
【0051】
画像認識部120はステップS102で補正された画像データを用いて商品の画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS103)。そして画像認識部120は、ステップS103で識別された商品を、画像中の商品として決定する(ステップS104)。1つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。
【0052】
ステップS104で決定された商品に対して座標判定フラグが設定されている場合に(ステップS105のYES)、画像認識部120は、画像中の商品の座標(位置)を取得する(ステップS106)。座標判定フラグは、商品が配置されている座標を用いて識別処理を行う対象である商品に対して予め設定される。座標判定フラグは、例えば識別情報記憶部151に記録される。商品の座標は、例えば画像中で商品の領域を示す座標の集合として表される。ステップS106の商品の座標の取得は、図7のようにステップS105の座標判定フラグの判定の後に行われてよく、あるいはステップS103の画像認識とともに行われてもよい。
【0053】
画像認識部120は、ステップS106で取得された商品の座標に基づいて、ステップS104で決定された商品が正しいか否かを判定する(ステップS107)。具体的には画像認識部120は、ステップS106で取得された商品の座標が、ステップS104で決定された商品に対応する領域内であれば、正しい商品が決定されていると判定する。一方、画像認識部120は、ステップS106で取得された商品の座標が、ステップS104で決定された商品に対応する領域内でなければ、誤った商品が決定されていると判定する。
【0054】
例えば、以下のような処理が行われる。ここでは簡略化のために商品の種類が図5のように小さい商品および大きい商品の2つであることを想定する。画像認識部120は、ステップS104で決定された商品に対応する正しい位置(第1の領域F1又は第2の領域F2)を取得する。商品の正しい位置は、予め設定されている。図5の例では、小さい商品の正しい位置は第1の領域F1であり、大きい商品の正しい位置は第2の領域F2である。そして、画像認識部120は、ステップS106で取得された商品の座標が、その商品に対応する正しい位置(第1の領域F1又は第2の領域F2)にあるか否かを判定する。この判定は任意の方法で行われてよいが、例えば商品に対応する画素群のうち半数以上が、第1の領域F1に対応する画像中の領域内にある場合に商品の位置は第1の領域F1上にあると判定され、そうでない場合に第2の領域F2上にあると判定されてよい。あるいは、商品の領域の中心(重心)が第1の領域F1にある場合に商品の位置は第1の領域F1上にあると判定され、そうでない場合に第2の領域F2上にあると判定されてよい。第1の領域F1および第2の領域F2に対応する画像中の領域は、利用者によって予め設定されてよく、あるいは画像認識部120が第1の領域F1および第2の領域F2を区画する領域区分部212を画像認識することによって設定されてよい。
【0055】
商品の種類の数および領域の数は2つに限られず、少なくとも2つ以上の任意の数でよく、その場合には商品の配置される領域に応じた場合分けを適宜行えばよい。
【0056】
商品が正しい位置にない場合に(ステップS108のNO)、ステップS104で決定された商品を、正しい商品に変更する(ステップS109)。正しい商品は、ステップS106で取得された商品の座標を含む領域に対応する商品である。図5の例では、ステップS106で取得された商品の座標が第1の領域F1内にある場合には正しい商品は小さい商品であり、第2の領域F2内にある場合には正しい商品は大きい商品である。
【0057】
ステップS104で決定された商品に対して座標判定フラグが設定されていない場合(ステップS105のNO)又は商品が正しい位置にある場合に(ステップS108のYES)、ステップS104で決定された商品をそのまま用いる。
【0058】
最後に、商品情報取得部130は、ステップS104で決定された商品又はステップS109で変更された商品の商品IDに基づいて商品情報記憶部152から商品情報を取得し、表示制御部140は表示装置13を用いて商品情報を表示する制御を行う(ステップS110)。
【0059】
特に所定の時間ごとに図7のフローチャートが実行される場合には、載置台14に置かれたままの同一商品について繰り返し商品情報が取得されてしまい、会計において同一商品の価格が複数回集計されるおそれがある。そこで、画像認識部120が所定の時間以内又は所定のフレーム数以内に近似(例えば重心の位置の差が所定の値以下)の位置で同一の商品を識別した場合に、商品情報取得部130はステップS110において該商品についての商品情報の取得を行わない(図7のフローチャートには不図示)。
【0060】
図7のフローチャートでは、ステップS104で商品を仮に決定し、該商品の座標が誤った領域である場合にステップS109において正しい商品に変更するが、この具体的な形態に限られない。例えばステップS104で画像中の商品に類似する商品の複数の候補を抽出し、該複数の候補のうち座標が正しい領域である候補を、画像中の商品として決定してもよい。
【0061】
POS端末100のCPU101は、図7に示す画像認識方法に含まれる各ステップ(工程)の主体となる。すなわち、CPU101は、図7に示す画像認識方法を実行するためのプログラムをメモリ102又は記憶装置103から読み出し、該プログラムを実行してPOS端末100の各部を制御することによって図7に示す画像認識方法を実行する。
【0062】
本実施形態に係る画像認識システム10は、商品の外観に加えて、商品の配置される位置の方法を用いて商品の画像認識を行う。これにより、商品の外観からのみでは画像認識による区別をしづらい商品(本実施形態では外観が類似しているが大きさの異なる飲料缶)について、商品が配置される位置に基づいて画像認識の結果を絞り込むことができるため、画像認識の精度を向上させることができる。
【0063】
また、支持部200が商品を支持する角度は固定され、かつ既知であるため、該角度を用いて商品の画像を補正することができる。これにより、画像認識の精度をさらに向上させることができる。
【0064】
(第2の実施形態)
第1の実施形態では大きさの異なる商品を識別しやすくするために位置を用いるのに対して、本実施形態では種類の異なる商品を識別しやすくするために位置を用いる。本実施形態は、第1の実施形態と同様の構成を有する画像認識システム10を用いる。本実施形態は、第1の実施形態の代わりに用いられてよく、あるいは第1の実施形態に組み合わせて用いてられてよい。
【0065】
図8は、本実施形態に係る載置台14上の認識領域Aの上面図である。図8には、撮像装置11を載置台14上に投影した位置が破線で示されている。
【0066】
認識領域Aは、領域区分線Gによって第1の領域G1および第2の領域G2に区分される。領域区分線Gは、認識領域A上に表された線である。領域区分線Gは、領域を利用者に視覚的に示すことができれば、認識領域A上に表された記号又は色、あるいは投影装置12により投影された光、あるいは認識領域A上に設けられた構造でよい。画像認識部120は、商品が領域G1およびG2のどちらに配置されているか(すなわち商品が配置されている位置)によって異なる認識処理を行う。
【0067】
領域G1、G2の判別のために、画像認識部120は、撮像装置11によって取得される画像中の各画素が領域G1およびG2のどちらに属するかの情報を予め設定し、商品の位置に対応する画素に基づいて、商品が領域G1およびG2のどちらに配置されているかを判定してもよい。あるいは、画像認識部120は、領域区分線Gの位置を認識し、領域区分線Gの位置と商品との位置関係に基づいて、商品が領域G1およびG2のどちらに配置されているかを判定してもよい。
【0068】
本実施形態において認識対象とする第1の種類の商品H1および第2の種類の商品H2は、互いに種類が異なる商品である。具体的には、商品H1は、商品の内容を表すパッケージに包まれており外観が一定の一般物品である。一般物品は、外観が安定しているため、外観を用いる画像認識の処理で識別しやすい。一方、商品H2は、パッケージに包まれていない、又は透明なパッケージに包まれており、商品そのものが見える状態の生鮮食品である。生鮮食品は形状や色等の外観が多様であり、外観を用いる画像認識の処理で識別しづらい。生鮮食品には、商品名、価格およびバーコードを含むラベルが付与されていることが多い。
【0069】
例えば、商品が第1の領域G1に配置されている場合には、画像認識部120は、商品が一般物品であるものとして画像認識処理を行う。すなわち、図8の例では商品H1に対して一般物品用の画像認識処理が行われる。商品が第2の領域G2に配置されている場合には、画像認識部120は、商品が生鮮食品であるものとして画像認識処理を行う。すなわち、図8の例では商品H2に対して生鮮食品用の画像認識処理が行われる。
【0070】
一般物品用の画像認識処理は、商品全体から算出される特徴量(形状、色、色の分布等)を用いて識別を行う。生鮮食品用の画像認識処理は、商品全体ではなく、商品に付与されたラベル内の領域から算出される特徴量を用いて識別を行う。これにより、一般物品については通常の画像認識を適用するのに対して、外観が不定の生鮮食品については外観が安定したラベルの情報を用いて画像認識を適用するため、画像認識の精度を向上させることができる。それぞれの種類の商品に対する具体的な画像認識処理として、ここに示したものに限られず、その種類に適した任意の方法が用いられてよい。
【0071】
実際の運用においては、利用者が一般物品である商品H1を第1の領域G1に配置し、生鮮食品である商品H2を第2の領域G2に配置することによって、画像認識部120は種類の異なる商品H1、H2に対してそれぞれ適切な画像認識処理を適用することができる。
【0072】
換言すると、画像認識部120は、商品の外観の情報に加えて、商品が配置されている位置の情報に基づいて、商品の識別を行う。これにより商品が配置される位置によって適切な画像認識処理を選択することができ、識別の精度を向上させることができる。
【0073】
画像認識部120が利用する領域の数は2つに限られず、区別すべき商品の種類に応じた少なくとも2つ以上の任意の数でよい。
【0074】
図9は、本実施形態に係る画像認識方法のフローチャートを示す図である。図9のフローチャートは、利用者が画像認識システム10に対して画像認識を実行するための所定の操作を行うことによって開始される。例えば、利用者がPOS端末100に接続された入力装置15(キーボードやタッチパネル)のボタンを押下することによって、あるいは所定の時間ごとに、図9のフローチャートが開始される。
【0075】
まず、画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する(ステップS201)。
【0076】
次に、画像認識部120は、ステップS201で取得された画像中の商品の位置を取得する(ステップS202)。画像中で検出された各商品について、以下のステップS203〜S207を行う。
【0077】
画像認識部120は、商品の位置が認識領域A上の第1の領域G1および第2の領域G2のどちらにあるかを判定する。この判定は任意の方法で行われてよいが、例えば商品に対応する画素群のうち半数以上が、第1の領域G1に対応する画像中の領域内にある場合に商品の位置は第1の領域G1上にあると判定され、そうでない場合に第2の領域G2上にあると判定されてよい。第1の領域G1および第2の領域G2に対応する画像中の領域は、利用者によって予め設定されてよく、あるいは画像認識部120が第1の領域G1および第2の領域G2を区画する領域区分線Gを画像認識することによって設定されてよい。
【0078】
ステップS202で取得された商品の位置が第1の領域G1内にある場合には(ステップS203のYES)、画像認識部120は、該商品に対して一般物品用の画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS204)。
【0079】
ステップS202で取得された商品の位置が第2の領域G2内にある場合には(ステップS203のNO)、画像認識部120は、該商品に対して生鮮食品用の画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS205)。
【0080】
そして画像認識部120は、ステップS204又はS205で識別された商品を、画像中の商品として決定する(ステップS206)。
【0081】
最後に、商品情報取得部130は、ステップS206で決定された商品の商品IDに基づいて商品情報記憶部152から商品情報を取得し、表示制御部140は表示装置13を用いて商品情報を表示する制御を行う(ステップS207)。
【0082】
POS端末100のCPU101は、図9に示す画像認識方法に含まれる各ステップ(工程)の主体となる。すなわち、CPU101は、図9に示す画像認識方法を実行するためのプログラムをメモリ102又は記憶装置103から読み出し、該プログラムを実行してPOS端末100の各部を制御することによって図9に示す画像認識方法を実行する。
【0083】
本実施形態に係る画像認識システム10は、第1の実施形態と同様に、商品の外観に加えて、商品の配置される位置の方法を用いて商品の画像認識を行う。これにより、商品が配置される位置に基づいて商品の種類(本実施形態では一般物品および生鮮食品)ごとに適切な画像認識処理を実行できるため、画像認識の精度を向上させることができる。
【0084】
(第3の実施形態)
第1の実施形態では大きさの異なる商品を識別しやすくするために位置を用いるのに対して、本実施形態では認識領域中の位置によって環境が異なる場合であっても画像認識の精度を向上させるために位置を用いる。本実施形態は、第1の実施形態と同様の構成を有する画像認識システム10を用いる。本実施形態は、第1又は第2の実施形態の代わりに用いられてよく、あるいは第1又は第2の実施形態に組み合わせて用いてられてよい。
【0085】
図10は、本実施形態に係る載置台14上の認識領域Aの上面図である。図10には、撮像装置11を載置台14上に投影した位置が破線で示されている。
【0086】
認識領域Aは、各領域上に異なる色が付されることによって第1の領域J1および第2の領域J2に区分される。図10では、第2の領域J2上に多数の点を表すことによって、第1の領域J1とは色が異なることが示されている。各領域を利用者に視覚的に示すことができれば、認識領域A上に表された記号又は色、あるいは投影装置12により投影された光、あるいは認識領域A上に設けられた構造によって各領域が表されてよい。画像認識部120は、商品が領域J1およびJ2のどちらに配置されているか(すなわち商品が配置されている位置)によって異なる認識処理を行う。
【0087】
領域J1、J2の判別のために、画像認識部120は、撮像装置11によって取得される画像中の各画素が領域J1およびJ2のどちらに属するかの情報を予め設定し、商品の位置に対応する画素に基づいて、商品が領域J1およびJ2のどちらに配置されているかを判定してもよい。あるいは、画像認識部120は、各領域の色に基づいて範囲を特定し、商品が領域J1およびJ2のどちらに配置されているかを判定してもよい。
【0088】
本実施形態において、第1の領域J1および第2の領域J2では、環境光の明るさが異なる。光源と認識領域Aとの間に遮蔽物が存在すると、認識領域Aに影ができるため、認識領域A上の位置によって明るさが変わる。その結果、商品が配置される位置によって撮像装置11によって取得される商品の画像の明るさが変化するため、識別情報記憶部151に記録されている基準画像(特徴量)との比較結果に影響し得る。図10の例では、第1の領域J1は相対的に明るい明領域であり、第2の領域J2は相対的に暗い暗領域である。
【0089】
例えば、商品が第1の領域J1に配置されている場合には、画像認識部120は、明るい状態に適した画像認識処理を行う。すなわち、図10の例では商品K1に対して明領域用の画像認識処理が行われる。商品が第2の領域J2に配置されている場合には、画像認識部120は、暗い状態に適した画像認識処理を行う。すなわち、図10の例では商品K2に対して暗領域用の画像認識処理が行われる。
【0090】
例えば明領域用の画像認識処理は商品の画像データに対して明度を下げる補正を行った後に画像認識を行い、暗領域用の画像認識処理は商品の画像データに対して明度を上げる補正を行った後に画像認識を行う。これによって明るさを一定に近付けて画像認識を行うことができるため、商品が配置される位置によらず類似の画像認識の条件にすることができ、画像認識の精度を向上させることができる。それぞれの明るさの領域の商品に対する具体的な画像認識処理として、ここに示したものに限られず、その明るさに適した任意の方法が用いられてよい。ここでは単純に画像の明るさを補正しているが、例えば暗領域用の画像認識処理では画像中の色を用いず、明領域用の画像認識処理では画像中の色を用いることのように、領域ごとに処理を大幅に変えてもよい。
【0091】
換言すると、画像認識部120は、商品の外観の情報に加えて、商品が配置されている位置の情報に基づいて、商品の識別を行う。これにより商品が配置される位置の環境に対して適切な画像認識処理を適用することができ、識別の精度を向上させることができる。
【0092】
画像認識部120が利用する領域の数は2つに限られず、区別すべき商品の種類に応じた任意の数でよい。太陽や蛍光灯等の光源の状態が変わるために認識領域A上の明るさが変化する場合には、時間や日付によって各領域の範囲、ならびに各領域に対して行われる処理を変更してもよい。
【0093】
図11は、本実施形態に係る画像認識方法のフローチャートを示す図である。図11のフローチャートは、利用者が画像認識システム10に対して画像認識を実行するための所定の操作を行うことによって開始される。例えば、利用者がPOS端末100に接続された入力装置15(キーボードやタッチパネル)のボタンを押下することによって、あるいは所定の時間ごとに、図11のフローチャートが開始される。
【0094】
まず、画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する(ステップS301)。
【0095】
次に、画像認識部120は、ステップS301で取得された画像中の商品の位置を取得する(ステップS302)。画像中で検出された各商品について、以下のステップS303〜S307を行う。
【0096】
画像認識部120は、商品の位置が認識領域A上の第1の領域J1および第2の領域J2のどちらにあるかを判定する。この判定は任意の方法で行われてよいが、例えば商品に対応する画素群のうち半数以上が、第1の領域J1に対応する画像中の領域内にある場合に商品の位置は第1の領域J1上にあると判定され、そうでない場合に第2の領域J2上にあると判定されてよい。第1の領域J1および第2の領域J2に対応する画像中の領域は、利用者によって予め設定されてよく、あるいは画像認識部120が第1の領域J1および第2の領域J2の色を画像認識することによって設定されてよい。
【0097】
ステップS302で取得された商品の位置が第1の領域J1内にある場合には(ステップS303のYES)、画像認識部120は、該商品に対して明領域用の画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS304)。
【0098】
ステップS302で取得された商品の位置が第2の領域J2内にある場合には(ステップS303のNO)、画像認識部120は、該商品に対して暗領域用の画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS305)。
【0099】
そして画像認識部120は、ステップS304又はS305で識別された商品を、画像中の商品として決定する(ステップS306)。
【0100】
最後に、商品情報取得部130は、ステップS306で決定された商品の商品IDに基づいて商品情報記憶部152から商品情報を取得し、表示制御部140は表示装置13を用いて商品情報を表示する制御を行う(ステップS307)。
【0101】
POS端末100のCPU101は、図11に示す画像認識方法に含まれる各ステップ(工程)の主体となる。すなわち、CPU101は、図11に示す画像認識方法を実行するためのプログラムをメモリ102又は記憶装置103から読み出し、該プログラムを実行してPOS端末100の各部を制御することによって図11に示す画像認識方法を実行する。
【0102】
本実施形態に係る画像認識システム10は、第1の実施形態と同様に、商品の外観に加えて、商品の配置される位置の方法を用いて商品の画像認識を行う。これにより、商品が配置される位置の環境に対して適切な画像認識処理を実行できるため、画像認識の精度を向上させることができる。
【0103】
(その他の実施形態)
図12は、上述の各実施形態に係るPOS端末100の概略構成図である。図12には、POS端末100が商品の位置の情報を用いて画像認識を行う画像認識装置として機能するための構成例が示されている。POS端末100は、認識領域に配置されている商品の画像を取得する画像取得部110と、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部120と、を備える。
【0104】
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
【0105】
上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラム(例えば、図7、9および11に示す処理をPOS端末100に実行させるプログラム)を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。
【0106】
該記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0107】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0108】
(付記1)
認識領域に配置されている商品の画像を取得する画像取得部と、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、
を備える画像認識装置。
【0109】
(付記2)
前記認識領域は少なくとも2つの領域に区分されており、
前記画像認識部は、前記少なくとも2つの領域に対してそれぞれ異なる処理を用いて前記商品を識別することを特徴とする、付記1に記載の画像認識装置。
【0110】
(付記3)
前記少なくとも2つの領域は、前記認識領域に表された記号又は色、前記認識領域に投影された光、および前記認識領域に設けられた構造のいずれかによって示されることを特徴とする、付記2に記載の画像認識装置。
【0111】
(付記4)
前記画像取得部は、前記認識領域に設けられた支持構造によって支持されている前記商品の前記画像を取得し、
前記画像認識部は、取得した前記画像における前記商品の外観および前記商品の前記支持構造上の位置に基づいて、前記商品を識別することを特徴とする、付記1〜3のいずれか一項に記載の画像認識装置。
【0112】
(付記5)
前記画像認識部は、取得した前記画像を前記支持構造が前記商品を支持する角度に基づいて補正し、補正された前記画像を用いて前記商品を識別することを特徴とする付記4に記載の画像認識装置。
【0113】
(付記6)
前記画像認識部は、前記商品の前記認識領域中の前記位置に基づいて前記商品の大きさを判定し、前記大きさを用いて前記商品を識別することを特徴とする、付記1〜5のいずれか一項に記載の画像認識装置。
【0114】
(付記7)
前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて前記商品の種類を判定し、前記種類を用いて前記商品を識別することを特徴とする、付記1〜6のいずれか一項に記載の画像認識装置。
【0115】
(付記8)
前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて、取得した前記画像における前記商品の前記認識領域中の前記位置の明るさを判定し、前記明るさを用いて前記商品を識別することを特徴とする、付記1〜7のいずれか一項に記載の画像認識装置。
【0116】
(付記9)
認識領域に配置されている商品の画像を取得するステップと、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
を有する画像認識方法。
【0117】
(付記10)
コンピュータに、
認識領域に配置されている商品の画像を取得するステップと、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
を実行させるプログラム。
【0118】
(付記11)
商品を載置するための載置台と、
撮像装置によって取得される前記商品の画像に対して画像認識を行う画像認識装置と、
を備え、
前記画像認識装置は、
前記載置台上の認識領域に配置されている前記商品の前記画像を取得する画像取得部と、
取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、を備える
ことを特徴とする画像認識システム。
【符号の説明】
【0119】
10 画像認識システム
11 撮像装置
12 投影装置
13 表示装置
14 載置台
100 POS端末
101 CPU
102 メモリ
103 記憶装置
104 インターフェース
110 画像取得部
120 画像認識部
130 商品情報取得部
140 表示制御部
200 支持部
211 側面支持面
212 底面支持面
A 認識領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12