特許 6222345 ＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6222345

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】ＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20171023BHJP

   G06T 7/00 20170101ALI20171023BHJP

【ＦＩ】

   G07G1/00 311D

   G06T7/00 C

【請求項の数】14

【全頁数】30

(21)【出願番号】特願2016-508316(P2016-508316)

(86)(22)【出願日】2014年11月7日

(86)【国際出願番号】JP2014005618

(87)【国際公開番号】WO2015140855

(87)【国際公開日】20150924

【審査請求日】2016年9月14日

(31)【優先権主張番号】特願2014-57377(P2014-57377)

(32)【優先日】2014年3月20日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】井上 京騎

(72)【発明者】

【氏名】村松 英路

(72)【発明者】

【氏名】永井 道生

(72)【発明者】

【氏名】阿南 信一

(72)【発明者】

【氏名】小林 準

【審査官】 渡邉 洋

(56)【参考文献】

【文献】 特開２０１０−２３７８８６（ＪＰ，Ａ）

【文献】 特開２０００−０７６４５５（ＪＰ，Ａ）

【文献】 特開２０１３−１５６９３８（ＪＰ，Ａ）

【文献】 特表２００２−５０１３４９（ＪＰ，Ａ）

【文献】 特開２０１０−１１８７１６（ＪＰ，Ａ）

【文献】 特開２０１２−０４３３７１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１５８３１０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｇ １／００− １／１４

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００− ７／９０

Ｈ０４Ｎ１３／００−１３／０４

(57)【特許請求の範囲】

【請求項1】

複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する少なくとも１つの撮像手段と、
前記撮像手段によって生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成する三次元画像生成手段と、
前記三次元画像を用いて、前記商品の画像を抽出する商品画像抽出手段と
を有し、
前記三次元画像生成手段は、前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出し、
前記商品画像抽出手段は、前記三次元画像から、前記算出された距離が予め定められた第１の閾値以下の位置に対応する画像区域を、商品の画像として抽出する
ＰＯＳ端末装置。

【請求項2】

前記商品画像抽出手段は、前記商品以外の背景の画像を除去して、前記商品の画像を抽出する
請求項１に記載のＰＯＳ端末装置。

【請求項3】

前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段
をさらに有する請求項１又は２に記載のＰＯＳ端末装置。

【請求項4】

前記認識処理手段は、前記抽出された商品の画像における当該商品の凹凸形状を認識し、前記認識された商品の凹凸形状に基づいて、当該商品の認識処理を行う
請求項３に記載のＰＯＳ端末装置。

【請求項5】

前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段
をさらに有し、
前記認識処理手段は、
前記三次元画像における、前記抽出された商品の画像のサイズを算出し、
前記算出された商品の画像のサイズと、前記三次元画像生成手段よって算出された前記商品における各位置までの距離とに基づいて、前記商品のサイズを認識し、
前記認識された商品のサイズに基づいて、当該商品の認識処理を行う
請求項１に記載のＰＯＳ端末装置。

【請求項6】

前記三次元画像生成手段によって算出された距離が予め定められた第２の閾値以内に前記商品が接近したことを判別する判別手段
をさらに有し、
前記商品画像抽出手段は、前記判別手段によって前記商品が接近したと判別された場合に、前記抽出する処理を実行する
請求項１から５のいずれか１項に記載のＰＯＳ端末装置。

【請求項7】

前記撮像手段は、１つの撮像素子で構成され、前記撮像素子を移動させることによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
請求項１から６のいずれか１項に記載のＰＯＳ端末装置。

【請求項8】

前記撮像手段は、１つの撮像素子で構成され、前記１つの撮像素子の前に設けられた複数の鏡それぞれに映った複数の鏡像を撮像することによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
請求項１から６のいずれか１項に記載のＰＯＳ端末装置。

【請求項9】

前記撮像手段は、複数の撮像素子で構成され、前記複数の撮像素子それぞれによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
請求項１から６のいずれか１項に記載のＰＯＳ端末装置。

【請求項10】

前記抽出された商品の画像に基づいて当該商品の認識処理を行う管理装置に対して、前記抽出された商品の画像を示すデータを送信する送信手段
をさらに有する請求項１から９のいずれか１項に記載のＰＯＳ端末装置。

【請求項11】

請求項１から１０のいずれか１項に記載のＰＯＳ端末装置と、
前記ＰＯＳ端末装置と通信を行う管理装置と
を有するＰＯＳシステム。

【請求項12】

前記ＰＯＳ端末装置は、前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段をさらに有し、
前記ＰＯＳ端末装置と、前記管理装置とは、通信ネットワークを介して接続され、
前記ＰＯＳ端末装置の負荷が予め定められた第１の負荷値よりも増加した場合に、前記ＰＯＳ端末装置は、前記管理装置に対して、前記抽出された商品の画像を示すデータを送信し、前記管理装置が、当該商品の認識処理を行い、
前記管理装置の負荷が予め定められた第２の負荷値よりも増加している場合、又は前記通信ネットワークの負荷が予め定められた第３の負荷値よりも増加している場合に、前記ＰＯＳ端末装置は、前記管理装置に前記抽出された商品の画像を示すデータを送信せず、前記認識処理手段が、当該商品の認識処理を行う
請求項１１に記載のＰＯＳシステム。

【請求項13】

複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成し、
前記生成された前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出して、前記商品の画像を含む三次元画像を生成し、
前記三次元画像から、前記算出された距離が予め定められた第１の閾値以下の位置に対応する画像区域を、商品の画像として抽出する
画像処理方法。

【請求項14】

複数の視点で商品を少なくとも１つの撮像手段に撮像させて、当該複数の視点それぞれに対応する複数の二次元画像を生成させるステップと、
前記生成された前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出して、前記商品の画像を含む三次元画像を生成するステップと、
前記三次元画像から、前記算出された距離が予め定められた第１の閾値以下の位置に対応する画像区域を、商品の画像として抽出するステップと
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＰＯＳ（Point Of Sales）端末装置、ＰＯＳシステム、画像処理方法及びプログラムに関し、特に商品の決済を行うために用いられるＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

スーパマーケットや量販店等の決済場所（料金支払所：レジ）に設置するＰＯＳ（Point Of Sales）端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接ＰＯＳ端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する。

【0003】

そのため、ＰＯＳ端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。この技術に関連して、特許文献１には、撮像手段が撮像した画像を出力する画像出力手段と、出力された前記画像の特徴量を読み取ることによって特定の物体を認識する物体認識手段とを有する店舗システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５１３２７３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

カメラで商品を撮影する際、商品の画像だけでなく背景の画像も撮影されてしまう。商品の認識処理において、背景の画像は不要なノイズとなる。したがって、商品の認識処理をするためには、背景の画像を除去する必要がある。一方、特許文献１には、背景を除去する方法が開示されていない。よって、特許文献１に開示された技術では、背景の画像を含んだ画像を用いて商品の認識処理を行う。したがって、商品認識の精度が悪化するため、商品の認識率が悪化するおそれがある。

【0006】

本発明は、このような課題を解決するためになされたものであり、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明にかかるＰＯＳ端末装置は、複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する少なくとも１つの撮像手段と、前記撮像手段によって生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成する三次元画像生成手段と、前記三次元画像を用いて、前記商品の画像を抽出する商品画像抽出手段とを有する。

【0008】

また、本発明にかかるＰＯＳシステムは、ＰＯＳ端末装置と、前記ＰＯＳ端末装置と通信を行う管理装置とを有する。

【0009】

また、本発明にかかる画像処理方法は、複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成し、前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成し、前記三次元画像を用いて、前記商品の画像を抽出する。

【0010】

また、本発明にかかるプログラムは、複数の視点で商品を少なくとも１つの撮像手段に撮像させて、当該複数の視点それぞれに対応する複数の二次元画像を生成させるステップと、前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成するステップと、前記三次元画像を用いて、前記商品の画像を抽出するステップとをコンピュータに実行させる。

【発明の効果】

【0011】

本発明によれば、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムを提供できる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態にかかるＰＯＳ端末装置の概要を示す図である。

【図2】実施の形態１にかかるＰＯＳ端末装置の外観を示す側面図である。

【図3】実施の形態１にかかるＰＯＳ端末装置の外観を示す平面図である。

【図4】実施の形態１にかかるＰＯＳ端末装置のハードウェア構成を示す図である。

【図5】実施の形態１にかかるＰＯＳ端末装置の機能ブロック図である。

【図6】実施の形態１にかかるＰＯＳ端末装置の処理を示すフローチャートである。

【図7A】商品画像抽出部の処理を説明するための図である。

【図7B】商品画像抽出部の処理を説明するための図である。

【図8】形状及びパッケージが同じであっても、サイズが異なる商品を例示する図である。

【図9】実施の形態２にかかるＰＯＳ端末装置の外観を示す平面図である。

【図10】実施の形態２にかかるＰＯＳ端末装置の機能ブロック図である。

【図11】実施の形態２にかかるＰＯＳ端末装置の処理を示すフローチャートである。

【図12】実施の形態３にかかるＰＯＳ端末装置の外観を示す平面図である。

【図13】実施の形態３にかかるＰＯＳ端末装置の機能ブロック図である。

【図14】実施の形態３にかかるＰＯＳ端末装置の処理を示すフローチャートである。

【図15】左側の鏡像及び右側の鏡像を含む二次元画像を例示する図である。

【図16】実施の形態４にかかるＰＯＳ端末装置の外観を示す平面図である。

【図17】実施の形態４にかかるＰＯＳ端末装置の機能ブロック図である。

【図18】実施の形態４にかかるＰＯＳ端末装置の処理を示すフローチャートである。

【図19】実施の形態５にかかるＰＯＳ端末装置の開始制御部を示す機能ブロック図である。

【図20】実施の形態５にかかるＰＯＳ端末装置の開始制御部の処理を示すフローチャートである。

【図21】実施の形態６にかかるＰＯＳシステムを示す図である。

【図22】実施の形態６にかかる管理装置のハードウェア構成を示す図である。

【図23】実施の形態６にかかるＰＯＳ端末装置の機能ブロック図である。

【図24】実施の形態６にかかる管理装置の機能ブロック図である。

【発明を実施するための形態】

【0013】

（本発明にかかる実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかるＰＯＳ端末装置１の概要を示す図である。図１に示すように、ＰＯＳ端末装置１は、少なくとも１つの撮像部２（撮像手段）と、三次元画像生成部４（三次元画像生成手段）と、商品画像抽出部６（商品画像抽出手段）とを有する。

【0014】

撮像部２は、複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する。三次元画像生成部４は、撮像部２によって生成された複数の二次元画像を用いて、商品の画像を含む三次元画像を生成する。商品画像抽出部６は、三次元画像を用いて、商品の画像を抽出する。本発明の実施の形態にかかるＰＯＳ端末装置１は、商品の認識率の向上に寄与するために、撮像部２によって撮影された画像から商品の画像を抽出することが可能となる。また、上記ＰＯＳ端末装置１を有するＰＯＳシステム、上記処理を実行する画像処理方法についても、商品の認識率の向上に寄与するために、撮像部によって撮影された画像から商品の画像を抽出することが可能となる。

【0015】

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。
図２は、実施の形態１にかかるＰＯＳ端末装置１００の外観を示す側面図である。また、図３は、実施の形態１にかかるＰＯＳ端末装置１００の外観を示す平面図である。また、図４は、実施の形態１にかかるＰＯＳ端末装置１００のハードウェア構成を示す図である。

【0016】

ＰＯＳ端末装置１００は、店員用表示操作部１０２と、顧客用表示部１０４と、情報処理装置１１０と、撮像部１３０とを有する。ＰＯＳ端末装置１００は、例えばカウンタ台（図示せず）に載置され、ＰＯＳ端末装置１００を挟んで、図２の左側に顧客が、右側に店員が対峙する。

【0017】

店員用表示操作部１０２は、例えばタッチパネル、ＬＣＤ（Liquid Crystal Display）、又はキーボード等である。店員用表示操作部１０２は、情報処理装置１１０の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。

【0018】

顧客用表示部１０４は、例えばタッチパネル又はＬＣＤ等である。顧客用表示部１０４は、情報処理装置１１０の制御によって、顧客に必要な情報を表示する。また、顧客用表示部１０４は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。

【0019】

情報処理装置１１０は、例えばコンピュータである。情報処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等の制御部１１２と、例えばメモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１１０は、店員用表示操作部１０２、顧客用表示部１０４及び撮像部１３０の動作を制御する。また、情報処理装置１１０は、店員用表示操作部１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１１０は、撮像部１３０によって読み取られた画像情報に応じて、画像処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。

【0020】

撮像部１３０は、店員が顧客から受け取った商品Ａの画像（商品画像）を読み取る。これによって、ＰＯＳ端末装置１００は、商品の認識処理を行う。詳しくは後述する。撮像部１３０は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子（カメラ）であって、商品Ａの画像を読み取る処理を行う。具体的には、撮像部１３０は、商品Ａを撮像して、その商品Ａの画像を含む二次元のカラー画像又はモノクロ画像（二次元画像）を生成する。なお、以下、用語「二次元画像」は、情報処理における処理対象としての、「二次元画像を示す画像データ」も意味する。なお、撮像部１３０によって生成された二次元画像には、商品Ａの背後にある背景物体Ｂが、背景として含まれ得る。

【0021】

また、実施の形態１においては、撮像部１３０は、例えば２つの撮像素子である撮像部Ｌ１３０Ｌ及び撮像部Ｒ１３０Ｒから構成される。撮像部Ｌ１３０Ｌ及び撮像部Ｒ１３０Ｒは、間隔Ｄ離れて左右にそれぞれ設けられている。撮像部Ｌ１３０Ｌは、左側の視点から商品Ａを撮像して、左側の視点に対応する二次元画像ＩｍＬを生成する。同様に、撮像部Ｒ１３０Ｒは、右側の視点から商品Ａを撮像して、右側の視点に対応する二次元画像ＩｍＲを生成する。これにより、撮像部１３０は、複数の視点それぞれに対応する複数の二次元画像を生成する。

【0022】

図５は、実施の形態１にかかるＰＯＳ端末装置１００の機能ブロック図である。また、図６は、実施の形態１にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。実施の形態１にかかるＰＯＳ端末装置１００は、認識処理部２００を有する。認識処理部２００は、二次元画像撮影制御部２０２と、三次元画像生成部２０４と、商品画像抽出部２０６と、商品認識処理部２０８とを有する。

【0023】

なお、認識処理部２００は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、認識処理部２００は、制御部１１２の制御により、記憶部１１４に格納されたプログラムを実行させることによって実現される。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、認識処理部２００の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態における認識処理部及び開始制御部についても同様である。

【0024】

二次元画像撮影制御部２０２は、左側の視点から、商品画像を含む二次元画像ＩｍＬを、撮像部Ｌ１３０Ｌに撮影させる（Ｓ１０２）。具体的には、二次元画像撮影制御部２０２は、撮像部Ｌ１３０Ｌを制御して、撮像部１３０に向けられた商品を、左側の視点から撮像させる。そして、二次元画像撮影制御部２０２は、撮像部Ｌ１３０Ｌによって生成された二次元画像ＩｍＬを取得し、三次元画像生成部２０４に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Ｂの画像（背景画像）も含まれうる。

【0025】

二次元画像撮影制御部２０２は、右側の視点から、商品画像を含む二次元画像ＩｍＲを、撮像部Ｒ１３０Ｒに撮影させる（Ｓ１０４）。具体的には、二次元画像撮影制御部２０２は、撮像部Ｒ１３０Ｒを制御して、撮像部１３０に向けられた商品を、右側の視点から撮像させる。そして、二次元画像撮影制御部２０２は、撮像部Ｒ１３０Ｒによって生成された二次元画像ＩｍＲを取得し、三次元画像生成部２０４に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Ｂの画像（背景画像）も含まれうる。

【0026】

三次元画像生成部２０４は、二次元画像ＩｍＬ及び二次元画像ＩｍＲを用いて、三次元画像を生成する（Ｓ１１０）。そして、三次元画像生成部２０４は、生成された三次元画像を、商品画像抽出部２０６に対して出力する。具体的には、三次元画像生成部２０４は、二次元画像ＩｍＬ及び二次元画像ＩｍＲそれぞれで撮像された、商品Ａ及び背景物体Ｂの各位置までの距離（奥行き）を算出する。そして、三次元画像生成部２０４は、商品Ａ及び背景物体Ｂにおける各位置に対応する画素の集合として構成される三次元画像を生成する。なお、以下、用語「三次元画像」は、情報処理における処理対象としての、「三次元画像を示す画像データ」も意味する。

【0027】

ここで、三次元画像における画素は、商品Ａにおける各位置及び背景物体Ｂにおける各位置の色情報と、その各位置までの距離を示す距離情報とを含む。例えば、撮影対象の物体（商品Ａ又は背景物体Ｂ）における位置Ｐが三次元画像の画素（Ｘ１，Ｙ１）に対応する場合、画素（Ｘ１，Ｙ１）は、位置Ｐの色情報と、撮像部１３０から位置Ｐまでの距離を示す距離情報とを含む。なお、色情報は、ＲＧＢ（Red-Green-Blue）それぞれにおける輝度値、階調値又は色調値等を含む。

【0028】

さらに具体的には、三次元画像生成部２０４は、例えば、二次元画像ＩｍＬと二次元画像ＩｍＲとの視差を用いて、商品Ａ及び背景物体Ｂにおける各位置までの距離を算出する。視差は２つの二次元画像間の物体のずれ量であり、ブロックマッチングなどにより算出することができる。撮影された物体までの距離Ｚと視差ｄの関係は、ｄ＝ｆ×Ｄ／Ｚで表される。ここで、ｆは、撮像部Ｌ１３０Ｌ及び撮像部Ｒ１３０Ｒの焦点距離である。距離Ｚと視差ｄとは相関があり、本実施形態での距離情報（奥行き情報）として利用することができる。また、距離Ｚと視差ｄとは、互いに単調に減少する関係であり、これらの関係から視差情報を距離情報（奥行き情報）として利用することができる。

【0029】

商品画像抽出部２０６は、三次元画像において撮像部１３０からの距離が閾値Ｔｈ１（第１の閾値）以下の区域を判別し、三次元画像から、その区域に対応する画像区域を、商品画像として抽出する（Ｓ１１２）。さらに、商品画像抽出部２０６は、抽出された商品画像を、商品認識処理部２０８に対して出力する。

【0030】

具体的には、商品画像抽出部２０６は、三次元画像を構成する各画素について、各画素に含まれる距離情報が示す距離と、閾値Ｔｈ１とを比較する。そして、商品画像抽出部２０６は、閾値Ｔｈ１以下である距離を示す距離情報を含む画素を抽出する。これにより、商品画像抽出部２０６は、抽出された画素の集合を、商品画像に対応する画像区域として抽出する。

【0031】

図７Ａ及び図７Ｂは、商品画像抽出部２０６の処理を説明するための図である。図７Ａは、三次元画像生成部２０４によって生成された、商品画像を含む三次元画像Ｉｍ３を例示する図である。三次元画像Ｉｍ３には、商品画像Ａ（実線で示す）と、背景画像Ｂ（一点鎖線で示す）とが含まれる。図７Ａ及び図７Ｂの例において、商品画像Ａに対応する商品Ａは、ペットボトル飲料である。また、背景画像Ｂに対応する背景物体Ｂは、ＰＯＳ端末装置１００と対向するように配置された棚である。商品画像Ａに対応する商品Ａは、撮像部１３０からの距離が閾値Ｔｈ１以下である位置にある。一方、背景画像Ｂに対応する背景物体Ｂは、撮像部１３０からの距離が閾値Ｔｈ１を超える位置にある。

【0032】

商品画像抽出部２０６は、三次元画像Ｉｍ３において、閾値Ｔｈ１以下である距離を示す距離情報を含む画素の集合である画像区域を、三次元画像Ｉｍ３から抜き出す。ここで、上述したように、商品画像Ａに対応する商品Ａは、撮像部１３０からの距離が閾値Ｔｈ１以下である位置にある。これによって、図７Ｂに例示するような、商品画像Ｅが抽出される。ここで、商品画像Ｅには、背景画像が含まれていない。つまり、商品画像抽出部２０６は、三次元画像Ｉｍ３から、背景画像Ｂを除去している。

【0033】

商品認識処理部２０８（図５）は、商品画像抽出部２０６によって抽出された商品画像を用いて、商品認識処理を行う（Ｓ１１４）。ＰＯＳ端末装置１００は、商品認識処理部２０８による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。ここで、商品情報は、商品を識別するための情報であって、例えば、商品名、商品メーカ名、商品の価格等を含んでもよい。また、商品情報は、商品のサイズ（容量）を含んでもよい。

【0034】

商品認識処理について、具体的には、例えば、商品認識処理部２０８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２０８は、抽出された商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。基準商品情報については、以下に例示する。

【0035】

例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。その場合、商品認識処理部２０８は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部２０８は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。

【0036】

また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。この場合、商品認識処理部２０８は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２０８は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部２０８は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部２０８は、商品のパッケージに付された文字情報をＯＣＲ（Optical Character Reader）によって読み取ることによって、商品名を認識してもよい。

【0037】

ここで、商品画像抽出部２０６によって抽出された商品画像は、背景が除去されている。したがって、商品認識処理部２０８が商品の認識処理を行う際に、背景を除外して処理する必要がなくなる。三次元画像（又は二次元画像）に商品画像だけでなく背景画像が含まれると、商品認識処理において、まず、三次元画像において、商品画像がどこにあるかを認識する必要がある。特に、セルフレジ等のように、不特定多数の顧客がＰＯＳ端末装置１００を使用する場合、撮像部１３０に対してどの位置に商品を向けるかは、その顧客によって異なる。この、商品画像がどこにあるかを認識する処理は、例えば、基準商品情報を、三次元画像に含まれる全ての画像について照合しなければならない。そのため、処理時間が膨大となる。

【0038】

一方、本実施の形態においては、商品画像そのものを使用するので、三次元画像において商品画像がどこにあるかを認識する必要はない。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理の処理速度を向上させることが可能となる。言い換えると、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理における資源の負荷を低減させることが可能となる。また、商品画像のデータ量は、三次元画像のデータ量よりも、背景が除去されている分、小さくなる。したがって、処理対象のデータ量を削減できるので、資源の低減及び負荷の低減を実現することが可能となる。したがって、タブレット端末等の、資源に乏しい装置を、本実施の形態にかかるＰＯＳ端末装置１００として使用することも可能となる。なお、ここでいう「資源」とは、ＰＯＳ端末装置１００自体のハードウェア資源だけでなく、ネットワーク資源をも含む。つまり、本実施の形態においては、ネットワーク負荷を低減することも可能である。

【0039】

さらに、商品画像に背景画像が含まれると、商品認識処理において、その背景画像が考慮されてしまう。そのため、商品認識処理における認識率が悪化する。一方、商品画像抽出部２０６によって抽出された商品画像は、背景が除去されているので、認識率を向上させることが可能となる。

【0040】

また、撮像部１３０によって撮影された商品画像を含む二次元画像に、その商品を持った店員等の体の画像が含まれてしまう場合がある。ここで、商品画像を抽出する際に、予め撮影しておいた背景画像との差分を用いる方法では、この店員等の体も差分として認識される。したがって、抽出された商品画像に店員等の体の画像も含まれてしまい、店員等の体の画像がノイズとなって商品の認識率が低下する。

【0041】

ここで、人が商品を撮像部１３０に商品を向けるとき、通常、手を伸ばして商品を向ける。したがって、店員等の体は、通常、撮像部１３０から離れている。したがって、本実施の形態においては、商品画像抽出部２０６は、店員等の体の画像を除去することができる。そのため、商品認識処理部２０８は、店員等の体の画像を考慮せずに、商品の画像のみで、商品の認識処理を行うことができる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、商品の認識率をさらに向上させることが可能となる。

【0042】

また、予め撮影しておいた背景画像との差分を用いる方法では、外光（例えば夕日）等の影響で背景の色合いが予め撮影しておいた背景画像と異なる場合も、商品画像を抽出する際に、この背景も差分として認識されてしまうおそれがある。したがって、商品画像に背景の画像も含まれてしまい、背景の画像がノイズとなって商品の認識率が低下する。

【0043】

ここで、背景物体Ｂは、撮像部１３０から離れている。したがって、本実施の形態においては、商品画像抽出部２０６は、背景の色の変化に関わらず、背景を確実に除去できる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、商品の認識率をさらに向上させることが可能となる。

【0044】

また、抽出された商品画像は、三次元画像の一部である。したがって、抽出された商品画像には、商品Ａにおける各位置までの距離、つまり奥行きを示す距離情報が含まれている。これにより、商品認識処理部２０８は、商品Ａの表面の凹凸形状を認識することができる。したがって、商品認識処理部２０８は、この認識された商品Ａの表面の凹凸形状を用いて、商品Ａの認識処理を行うことが可能となる。

【0045】

例えば、図７Ａ及び図７Ｂの例で、商品Ａであるペットボトル飲料の容器は、略円筒形状である。したがって、商品Ａに対応する商品画像Ｅにおいて、中央部分ｅ１から両端ｅ２にかけて、距離が遠くなるようになっている。言い換えると、商品画像Ｅにおいて、中央部分に対応する画素の距離情報が示す距離は、両端部分に対応する画素の距離情報が示す距離よりも短い。これにより、商品認識処理部２０８は、商品画像Ｅにおいて、中央部分ｅ１が凸となっており、両端ｅ２が凹となっていることを認識することができる。したがって、商品特徴データが、距離情報に対応する凹凸形状を示すデータを含むことによって、凹凸形状を用いた商品認識処理を行うことが可能となる。

【0046】

これにより、本実施の形態にかかるＰＯＳ端末装置１００は、例えば、商品のパッケージに付された写真（例えばリンゴの写真）と、実物（例えばリンゴそのもの）とを区別して、商品の認識処理を行うことが可能となる。つまり、本実施の形態にかかるＰＯＳ端末装置１００は、リンゴの写真を、平面的であって凹凸がないと認識し、リンゴそのものを、立体的であって凹凸があると認識する。また、本実施の形態にかかるＰＯＳ端末装置１００は、例えばリンゴとトマトのように、外形形状及び色が類似しているが凹凸形状が異なる商品を区別して、商品の認識処理を行うことが可能となる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、商品の認識率をさらに向上させることが可能となる。

【0047】

また、商品の中には、商品の形状及びパッケージが同じであっても、サイズが異なるものがある。例えば、図８に示すように、ペットボトル飲料は、中身が同じであっても、サイズ（容量）が異なる複数の種類のものが販売されている。このような商品は、一般的に、サイズによって価格が異なる。このような場合、単に商品画像を用いて商品認識処理を行うだけでは、その商品のサイズは認識できない。したがって、適切な価格で決済するためには、店員等が価格又は容量等を手で入力する必要がある。

【0048】

一方、本実施の形態にかかるＰＯＳ端末装置１００は、上述したように、三次元画像生成部２０４において、商品までの距離を算出することができる。三次元画像における商品画像の寸法は、実際の商品の寸法が同じであっても、その距離（奥行き）が遠くなるほど小さくなり、距離（奥行き）が近くなるほど大きくなる。つまり、三次元画像における商品画像の寸法と、商品までの距離とから、幾何学的に、実際の商品のサイズを把握することができる。

【0049】

したがって、商品認識処理部２０８は、抽出された商品画像に含まれる、商品までの距離を示す距離情報を取得し、商品画像の寸法を計測することによって、商品のサイズを認識するようにしてもよい。具体的には、商品認識処理部２０８は、商品画像を構成する各画素の距離情報から、商品までの距離を算出する。算出方法は、例えば、商品画像のエッジに対応する画素が示す距離を、商品までの距離としてもよいし、商品画像の区域内の各画素が示す距離の平均を、商品までの距離としてもよい。

【0050】

さらに、商品認識処理部２０８は、三次元画像における商品画像のサイズを計測する。商品画像のサイズは、例えば、縦寸法及び横寸法が計測される。そして、商品認識処理部２０８は、商品画像のサイズと、商品までの距離とから、実際の商品の寸法を算出する。ここで、商品認識処理の基準となる基準商品情報は、商品の寸法と容量とを含んでもよい。したがって、商品認識処理部２０８は、商品の名称及び容量（図８の例では、「商品名ＡＢＣの容量５００ｍｌ」）といったことを把握することができる。これにより、本実施の形態にかかるＰＯＳ端末装置１００は、商品の認識率をさらに向上させることが可能となる。

【0051】

ここで、本実施の形態とは異なる距離を計測する手段として、距離センサ（深度センサ）を有する三次元カメラがある。三次元カメラは、距離センサの他に、さらに、本実施の形態と同様に二次元画像を生成する撮像部を有する。距離センサは、赤外線を照射する照射部と、物体を反射した赤外線を受光する受光部とを有する。距離センサは、例えばＴＯＦ（Time Of Flight）方式で、物体の各位置それぞれについて、距離を計測する。そして、距離センサは、物体の各位置までの距離を示す画素の集合である距離画像を生成する。照射部、受光部及び撮像部は、互いに近接して配置されている。

【0052】

さらに、三次元カメラは、撮像部によって生成された二次元画像と、距離画像とを対応付ける。具体的には、三次元カメラは、二次元画像における各画素に対応する物体の位置と、距離画像における各画素に対応する物体の位置とを対応付ける。このとき、撮像部と距離センサとの間の距離と、撮像部及び距離センサそれぞれの視野角とから、二次元画像における各画素位置と、距離画像における各画素位置との位置合わせを行うような処理を行う。ここで、この位置合わせを行う処理を精度よく行うことは容易ではなく、したがって、二次元画像と距離画像とを対応付けることは、容易ではない。

【0053】

一方、本実施の形態にかかるＰＯＳ端末装置１００は、撮像部として、二次元画像を生成する撮像素子を使用し、複数の視点で撮像された複数の二次元画像を用いて、三次元画像を生成するように構成されている。つまり、本実施の形態においては、距離センサは不要である。したがって、上記のような、位置合わせ処理を行う必要はない。したがって、本実施の形態においては、三次元画像を生成する処理を容易にすることが可能となる。

【0054】

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、撮像部が１つである点で、実施の形態１と異なる。なお、実施の形態１と実質的に同様の構成部分については同じ符号を付し、説明を省略する（後述する他の実施の形態についても同様）。

【0055】

図９は、実施の形態２にかかるＰＯＳ端末装置１００の外観を示す平面図である。実施の形態２にかかるＰＯＳ端末装置１００は、１つの撮像部１３０を有する。撮像部１３０は、情報処理装置１１０の制御部１１２による制御によって、例えば水平方向に移動するように構成されている。なお、これ以外の実施の形態２にかかるＰＯＳ端末装置１００のハードウェア構成は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一である。

【0056】

例えば、撮像部１３０は、左側位置Ｌから、水平方向に間隔Ｄ離れた右側位置Ｒに移動する。なお、撮像部１３０は、実施の形態２にかかる撮像部１３０と同様の機能を有する。つまり、撮像部１３０は、左側位置Ｌで、左側の視点から商品Ａを撮像して、左側の視点に対応する二次元画像ＩｍＬを生成する。同様に、撮像部１３０は、右側位置Ｒで、右側の視点から商品Ａを撮像して、右側の視点に対応する二次元画像ＩｍＲを生成する。これにより、撮像部１３０は、複数の視点それぞれに対応する複数の二次元画像を生成する。

【0057】

図１０は、実施の形態２にかかるＰＯＳ端末装置１００の機能ブロック図である。また、図１１は、実施の形態２にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。実施の形態２にかかるＰＯＳ端末装置１００は、認識処理部２２０を有する。認識処理部２２０は、二次元画像撮影制御部２２２と、三次元画像生成部２０４と、商品画像抽出部２０６と、商品認識処理部２０８とを有する。

【0058】

二次元画像撮影制御部２２２は、左側の視点から、商品画像を含む二次元画像ＩｍＬを、撮像部１３０に撮影させる（Ｓ２０２）。具体的には、二次元画像撮影制御部２２２は、撮像部１３０を左側位置Ｌに位置させる。二次元画像撮影制御部２２２は、撮像部１３０を制御して、撮像部１３０に向けられた商品を、左側の視点から撮像させる。そして、二次元画像撮影制御部２２２は、撮像部１３０によって生成された二次元画像ＩｍＬを取得し、三次元画像生成部２０４に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Ｂの画像（背景画像）も含まれうる。

【0059】

二次元画像撮影制御部２２２は、撮像部１３０を、左側位置Ｌから右側位置Ｒに移動させる（Ｓ２０４）。そして、二次元画像撮影制御部２２２は、右側の視点から、商品画像を含む二次元画像ＩｍＲを、撮像部１３０に撮影させる（Ｓ２０６）。具体的には、二次元画像撮影制御部２２２は、撮像部１３０を制御して、撮像部１３０に向けられた商品を、右側の視点から撮像させる。そして、二次元画像撮影制御部２２２は、撮像部１３０によって生成された二次元画像ＩｍＲを取得し、三次元画像生成部２０４に対して出力する。なお、この二次元画像には、商品画像の他に、背景物体Ｂの画像（背景画像）も含まれうる。

【0060】

三次元画像生成部２０４は、Ｓ１１０の処理と同様にして、二次元画像ＩｍＬ及び二次元画像ＩｍＲを用いて、三次元画像を生成する（Ｓ２１０）。二次元画像ＩｍＬは、左側の視点から撮影されている。また、二次元画像ＩｍＲは、右側の視点から撮像されている。したがって、二次元画像ＩｍＬと二次元画像ＩｍＲとで視差が生じる。したがって、Ｓ１１０の処理と同様に、三次元画像生成部２０４は、視差ｄを算出することができる。さらに、三次元画像生成部２０４は、左側位置Ｌと右側位置Ｒとの間隔Ｄと、視差ｄとから、ｄ＝ｆ×Ｄ／Ｚの関係式を用いて、距離Ｚを算出することができる。

【0061】

商品画像抽出部２０６は、Ｓ１１２の処理と同様にして、三次元画像において撮像部１３０からの距離が閾値Ｔｈ１（第１の閾値）以下の区域を判別し、三次元画像から、その区域に対応する画像区域を、商品画像として抽出する（Ｓ２１２）。さらに、商品認識処理部２０８は、Ｓ１１４の処理と同様にして、商品画像抽出部２０６によって抽出された商品画像を用いて、商品認識処理を行う（Ｓ２１４）。

【0062】

以上説明したように、実施の形態２にかかるＰＯＳ端末装置１００は、実施の形態１にかかるＰＯＳ端末装置１００と同様に、商品画像を含む三次元画像を用いて商品の認識処理を行う。したがって、実施の形態１と同様に、実施の形態２にかかるＰＯＳ端末装置１００は、商品の認識率をさらに向上させることが可能となる。さらに、距離センサを用いないので、距離センサを用いることによって必要な位置合わせ等の複雑な処理を行うことなく、三次元画像を生成することが可能となる。

【0063】

さらに、実施の形態２にかかるＰＯＳ端末装置１００は、１つの撮像部１３０のみを用いて三次元画像を生成するように構成されている。したがって、実施の形態１と比較して、撮像部１３０の個数を削減することが可能となる。

【0064】

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３は、撮像部が１つである点で、実施の形態１と異なる。また、実施の形態３は、撮像部を移動させない点で、実施の形態２と異なる。

【0065】

図１２は、実施の形態３にかかるＰＯＳ端末装置１００の外観を示す平面図である。実施の形態３にかかるＰＯＳ端末装置１００は、１つの撮像部１３０を有する。さらに、実施の形態３にかかるＰＯＳ端末装置１００は、光学ユニット１４０を有する。光学ユニット１４０は、撮像部１３０の前に設けられている。なお、これ以外の実施の形態３にかかるＰＯＳ端末装置１００のハードウェア構成は、上述した実施の形態にかかるＰＯＳ端末装置１００と実質的に同一である。

【0066】

光学ユニット１４０は、撮像部１３０が、左右それぞれの視点で商品を撮像するための部材である。光学ユニット１４０は、左側鏡１４２Ｌ及び左側鏡１４４Ｌと、右側鏡１４２Ｒ及び右側鏡１４４Ｒとを有する。左側鏡１４２Ｌ及び左側鏡１４４Ｌは、それらの鏡面が互いに向かい合うように配置されている。同様に、右側鏡１４２Ｒ及び右側鏡１４４Ｒは、それらの鏡面が互いに向かい合うように配置されている。

【0067】

左側鏡１４２Ｌは、商品Ａ（及び背景物体Ｂ）からの光を、左方向から反射させる。左側鏡１４４Ｌは、左側鏡１４２Ｌからの反射光を反射させる。撮像部１３０は、撮像素子の左側で、左側鏡１４２Ｌ及び左側鏡１４４Ｌで反射された、商品Ａ（及び背景物体Ｂ）からの光を受光する。

【0068】

右側鏡１４２Ｒは、商品Ａ（及び背景物体Ｂ）からの光を、右方向から反射させる。右側鏡１４４Ｒは、右側鏡１４２Ｒからの反射光を反射させる。撮像部１３０は、撮像素子の右側で、右側鏡１４２Ｒ及び右側鏡１４４Ｒで反射された、商品Ａ（及び背景物体Ｂ）からの光を受光する。

【0069】

これにより、撮像部１３０は、左側鏡１４４Ｌに映った左側の視点における商品Ａ（及び背景物体Ｂ）の鏡像ＭＬと、右側鏡１４４Ｒに映った右側の視点における商品Ａ（及び背景物体Ｂ）の鏡像ＭＲとを含む二次元画像を生成する。鏡像ＭＬは、二次元画像において左側に形成され、鏡像ＭＲは、二次元画像において右側に形成される。つまり、撮像部１３０は、左右の複数の視点で商品Ａを撮像して、複数の視点それぞれに対応する複数の二次元画像（鏡像ＭＬ及び鏡像ＭＲ）を生成する。

【0070】

図１３は、実施の形態３にかかるＰＯＳ端末装置１００の機能ブロック図である。また、図１４は、実施の形態３にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。実施の形態３にかかるＰＯＳ端末装置１００は、認識処理部２４０を有する。認識処理部２４０は、二次元画像撮影制御部２４２と、鏡像抽出部２４４と、三次元画像生成部２０４と、商品画像抽出部２０６と、商品認識処理部２０８とを有する。

【0071】

二次元画像撮影制御部２４２は、商品の鏡像ＭＬ及び鏡像ＭＲを含む二次元画像Ｉｍ２を、撮像部１３０に撮影させる（Ｓ３０２）。二次元画像撮影制御部２４２は、撮像部１３０を制御して、左側鏡１４４Ｌの鏡面及び右側鏡１４４Ｒの鏡面を撮像させる。これにより、上述したように、撮像部１３０によって撮像される二次元画像Ｉｍ２には、左側の視点おける商品Ａの鏡像ＭＲと、右側の視点における商品Ａの鏡像ＭＬとを含まれる。そして、二次元画像撮影制御部２４２は、撮像部１３０によって生成された二次元画像Ｉｍ２を取得し、鏡像抽出部２４４に対して出力する。

【0072】

鏡像抽出部２４４は、二次元画像Ｉｍ２から、鏡像ＭＬ及び鏡像ＭＲを抽出する（Ｓ３０４）。そして、鏡像抽出部２４４は、抽出された鏡像ＭＬ及び鏡像ＭＲを、三次元画像生成部２０４に対して出力する。これによって、三次元画像生成部２０４は、左側の視点から撮影された二次元画像である鏡像ＭＬと、右側の視点から撮影された二次元画像である鏡像ＭＲとを取得する。なお、鏡像ＭＬ及び鏡像ＭＲには、商品画像の他に、背景画像をも含まれ得る。

【0073】

図１５は、鏡像ＭＬ及び鏡像ＭＲを含む二次元画像Ｉｍ２を例示する図である。鏡像ＭＬは、二次元画像Ｉｍ２の左側の領域ＳＬに位置している。一方、鏡像ＭＲは、二次元画像Ｉｍ２の右側の領域ＳＲに位置している。鏡像ＭＬ及び鏡像ＭＲは、商品画像Ａ（実線で示す）及び背景画像Ｂ（一点鎖線で示す）を含む。

【0074】

ここで、撮像部１３０と光学ユニット１４０との位置関係を一定にすることにより、撮像部１３０によって撮像された二次元画像Ｉｍ２において、鏡像ＭＬの領域ＳＬ及び鏡像ＭＲの領域ＳＲを一定とすることができる。これにより、鏡像抽出部２４４は、二次元画像Ｉｍ２において鏡像ＭＬ及び鏡像ＭＲを認識することができる。したがって、鏡像抽出部２４４は、二次元画像Ｉｍ２から、鏡像ＭＬ及び鏡像ＭＲを抽出することができる。

【0075】

三次元画像生成部２０４は、Ｓ１１０の処理と同様にして、鏡像ＭＬ及び鏡像ＭＲを用いて、三次元画像を生成する（Ｓ３１０）。鏡像ＭＬは、左側の視点から撮影されている。また、鏡像ＭＲは、右側の視点から撮像されている。したがって、鏡像ＭＬと鏡像ＭＲとで視差が生じる。したがって、Ｓ１１０の処理と同様に、三次元画像生成部２０４は、視差ｄを算出することができる。さらに、三次元画像生成部２０４は、光学ユニット１４０における左側鏡と右側鏡との間隔をＤとすると、視差ｄから、ｄ＝ｆ×Ｄ／Ｚの関係式を用いて、距離Ｚを算出することができる。

【0076】

そして、商品画像抽出部２０６は、Ｓ１１２の処理と同様にして、三次元画像において撮像部１３０からの距離が閾値Ｔｈ１（第１の閾値）以下の区域を判別し、三次元画像から、その区域に対応する画像区域を、商品画像として抽出する（Ｓ３１２）。さらに、商品認識処理部２０８は、Ｓ１１４の処理と同様にして、商品画像抽出部２０６によって抽出された商品画像を用いて、商品認識処理を行う（Ｓ３１４）。

【0077】

以上説明したように、実施の形態３にかかるＰＯＳ端末装置１００は、実施の形態１にかかるＰＯＳ端末装置１００と同様に、商品画像を含む三次元画像を用いて商品の認識処理を行う。したがって、実施の形態１と同様に、実施の形態３にかかるＰＯＳ端末装置１００は、商品の認識率をさらに向上させることが可能となる。さらに、距離センサを用いないので、距離センサを用いることによって必要な位置合わせ等の複雑な処理を行うことなく、三次元画像を生成することが可能となる。

【0078】

さらに、実施の形態３にかかるＰＯＳ端末装置１００は、１つの撮像部１３０のみを用いて三次元画像を生成するように構成されている。したがって、実施の形態１と比較して、撮像部１３０の個数を削減することが可能となる。さらに、実施の形態３にかかるＰＯＳ端末装置１００は、撮像部１３０を左右に移動させることなく、三次元画像を生成するように構成されている。したがって、実施の形態２と比較して、構造を簡略化することが可能となる。

【0079】

（実施の形態４）
次に、実施の形態４について説明する。実施の形態４は、撮像部が１つである点で、実施の形態１と異なる。また、実施の形態４は、撮像部を移動させない点で、実施の形態２と異なる。また、実施の形態４は、光学ユニットが設けられていない点で、実施の形態３と異なる。

【0080】

図１６は、実施の形態４にかかるＰＯＳ端末装置１００の外観を示す平面図である。実施の形態４にかかるＰＯＳ端末装置１００は、１つの撮像部１３０を有する。この撮像部１３０は、商品Ａについて、複数のタイミングで、二次元画像を撮像する。例えば、撮像部１３０は、手などを用いて商品Ａを移動させたときの、二次元の動画を撮影する。なお、これ以外の実施の形態３にかかるＰＯＳ端末装置１００のハードウェア構成は、上述した実施の形態にかかるＰＯＳ端末装置１００と実質的に同一である。

【0081】

撮像部１３０は、例えば商品Ａを左右に移動させたときの、二次元の動画（二次元動画）を撮影する。このとき、二次元動画は、商品画像が含まれた複数の静止画（フレーム）から構成され得る。この複数の静止画は、商品Ａを、様々な視点から撮影して得られたものである。したがって、撮像部１３０は、複数の視点で商品Ａを撮像して、それぞれの視点に対応する複数の二次元画像（静止画）を生成する。

【0082】

図１７は、実施の形態４にかかるＰＯＳ端末装置１００の機能ブロック図である。また、図１８は、実施の形態４にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。実施の形態４にかかるＰＯＳ端末装置１００は、認識処理部２６０を有する。認識処理部２６０は、二次元動画撮影制御部２６２と、二次元画像取得部２６４と、三次元画像生成部２６８と、商品画像抽出部２７０と、商品認識処理部２０８とを有する。

【0083】

二次元動画撮影制御部２６２は、商品画像を含む二次元動画を、撮像部１３０に撮影させる（Ｓ４０２）。具体的には、二次元動画撮影制御部２６２は、撮像部１３０を制御して、撮像部１３０に向けられた商品Ａの動画を撮像させる。このとき、商品Ａは、ＰＯＳ端末装置１００に対して例えば水平方向に移動してもよいし、撮像部１３０の前で回転（自転）するように移動してもよい。そして、二次元動画撮影制御部２６２は、撮像部１３０によって生成された二次元動画を取得し、二次元画像取得部２６４に対して出力する。

【0084】

二次元画像取得部２６４は、二次元動画から、商品画像を含む複数の二次元画像を取得する（Ｓ４０４）。具体的には、二次元画像取得部２６４は、二次元動画に含まれる複数の静止画（フレーム）を、商品画像を含む二次元画像として抽出する。そして、二次元画像取得部２６４は、抽出された複数の二次元画像を、三次元画像生成部２６８に対して出力する。

【0085】

三次元画像生成部２６８は、複数の二次元画像を用いて、商品画像を含む三次元画像を生成する（Ｓ４１０）。さらに、三次元画像生成部２６８は、生成された三次元画像を、商品画像抽出部２７０に対して出力する。三次元画像生成部２６８は、商品Ａの水平方向への移動速度を判別可能である場合には、複数の二次元画像における視差を利用して、上述した実施の形態と同様に、商品画像を含む三次元画像を生成してもよい。

【0086】

また、三次元画像生成部２６８は、複数の視点から撮影された商品Ａの複数の二次元画像から、商品Ａの三次元形状のモデリングを行うことによって、三次元画像を生成してもよい。例えば、三次元画像生成部２６８は、ＳＦＭ（Structure from Motion）の手法を用いて、三次元形状のモデリングを行うことが可能となる。

【0087】

具体的には、三次元画像生成部２６８は、複数の二次元画像それぞれから、特徴点を抽出して、その特徴点を、複数の二次元画像間でマッチングする。これによって、三次元空間における商品Ａの各点の位置（三次元座標）を推定することができる。また、三次元画像生成部２６８は、複数の二次元画像間において移動していると推定される特徴点を、商品Ａに対応する点であると推定してもよい。一方、三次元画像生成部２６８は、複数の二次元画像間においてほとんど移動していないと推定される特徴点を、背景物体Ｂに対応する点であると推定してもよい。つまり、三次元画像生成部２６８によって生成される三次元画像において、商品Ａと背景物体Ｂとが区別され得る。

【0088】

商品画像抽出部２７０は、三次元画像から、商品画像を抽出する（Ｓ４１２）。三次元画像生成部２６８が視差を利用して三次元画像を生成した場合、商品画像抽出部２７０は、Ｓ１１２の処理と同様にして、商品画像を抽出することができる。一方、三次元画像生成部２６８が商品Ａの三次元形状のモデリングを行うことによって三次元画像を生成した場合、上述したように、三次元画像において商品Ａと背景物体Ｂとが区別される。したがって、商品画像抽出部２７０は、商品画像を抽出することができる。

【0089】

商品認識処理部２０８は、Ｓ１１４の処理と同様にして、商品画像抽出部２７０によって抽出された商品画像を用いて、商品認識処理を行う（Ｓ４１４）。このとき、商品画像には、商品Ａの三次元形状を示す情報が含まれ得る。したがって、商品特徴データが、三次元形状に関するデータを含むことによって、商品認識処理部２０８は、この三次元形状を用いた商品認識処理を行うことができる。

【0090】

以上説明したように、実施の形態４にかかるＰＯＳ端末装置１００は、実施の形態１にかかるＰＯＳ端末装置１００と同様に、商品画像を含む三次元画像を用いて商品の認識処理を行う。したがって、実施の形態１と同様に、実施の形態４にかかるＰＯＳ端末装置１００は、商品の認識率をさらに向上させることが可能となる。さらに、距離センサを用いないので、距離センサを用いることによって必要な位置合わせ等の複雑な処理を行うことなく、三次元画像を生成することが可能となる。

【0091】

さらに、実施の形態４にかかるＰＯＳ端末装置１００は、１つの撮像部１３０のみを用いて三次元画像を生成するように構成されている。したがって、実施の形態１と比較して、撮像部１３０の個数を削減することが可能となる。さらに、実施の形態４にかかるＰＯＳ端末装置１００は、撮像部１３０を左右に移動させることなく、三次元画像を生成するように構成されている。したがって、実施の形態２及び実施の形態３と比較して、構造を簡略化することが可能となる。

【0092】

（実施の形態５）
次に、実施の形態５について説明する。実施の形態５は、ＰＯＳ端末装置１００が、認識処理だけでなく、商品の認識処理を開始するか否かを制御する開始制御を行う点で、実施の形態１と異なる。なお、実施の形態５にかかる構成は、実施の形態１だけでなく、他の実施の形態にも適用可能である。

【0093】

図１９は、実施の形態５にかかるＰＯＳ端末装置１００の開始制御部３００を示す機能ブロック図である。また、図２０は、実施の形態５にかかるＰＯＳ端末装置１００の開始制御部３００の処理を示すフローチャートである。開始制御部３００は、二次元画像撮影制御部３０２と、三次元画像生成部３０４と、物体接近判別部と、認識処理実行制御部３０８とを有する。開始制御部３００は、物体が撮像部１３０に接近したか否かを判別して、認識処理部２００に処理を実行させるか否かを制御する。

【0094】

なお、開始制御部３００は、上述した認識処理部と同様に、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部１１４に格納されたプログラムを、制御部１１２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。

【0095】

開始制御部３００は、三次元画像を取得する（Ｓ５０２）。具体的には、二次元画像撮影制御部３０２は、二次元画像撮影制御部２０２と同様に、左側の視点から、物体の画像を含む二次元画像ＩｍＬを、撮像部Ｌ１３０Ｌに撮影させる。また、二次元画像撮影制御部３０２は、二次元画像撮影制御部２０２と同様に、右側の視点から、物体の画像を含む二次元画像ＩｍＲを、撮像部Ｒ１３０Ｒに撮影させる。三次元画像生成部３０４は、三次元画像生成部２０４と同様に、二次元画像ＩｍＬ及び二次元画像ＩｍＲを用いて、三次元画像を生成する。三次元画像生成部３０４は、生成された三次元画像を、物体接近判別部３０６に出力する。これにより、開始制御部３００は、三次元画像を取得する。

【0096】

物体接近判別部は、三次元画像を用いて、閾値Ｔｈ２（第２の閾値）以内に物体が接近したか否かを判別する（Ｓ５０４）。例えば、物体接近判別部３０６は、三次元画像を解析して、撮像部１３０から閾値Ｔｈ２以内の距離を示す画素が存在するか否かを判別する。物体接近判別部３０６は、閾値Ｔｈ２以内の距離を示す画素が存在する場合に、物体が接近していると判別する。一方、物体接近判別部３０６は、閾値Ｔｈ２以内の距離を示す画素が存在しない場合に、物体が接近していないと判別する。

【0097】

なお、閾値Ｔｈ２は、撮像部１３０に店員等が商品を向けて商品認識をさせようとするときの、撮像部１３０から商品（物体）までの距離を考慮して決定される。また、撮像部１３０から閾値Ｔｈ２の位置までの間には、店員等が撮像部１３０に商品を向けるとき以外のときには、物体が存在しないように、閾値Ｔｈ２が決定される。また、閾値Ｔｈ２は、閾値Ｔｈ１よりも大きな値であってもよい。

【0098】

物体接近判別部３０６によって閾値Ｔｈ２以内に物体が接近していると判別された場合（Ｓ５０４のＹＥＳ）、認識処理実行制御部３０８は、認識処理部２００に対し、商品認識処理を開始するように制御する（Ｓ５０６）。一方、物体接近判別部３０６によって閾値Ｔｈ２以内に物体が接近していないと判別された場合（Ｓ５０４のＮＯ）、認識処理実行制御部３０８は、認識処理部２００が商品認識処理を行っているか否かを判断する（Ｓ５０８）。認識処理部２００が商品認識処理を行っていない場合（Ｓ５０８のＮＯ）、処理はＳ５０２に戻る。

【0099】

一方、認識処理部２００が商品認識処理を行っている場合（Ｓ５０８のＹＥＳ）、認識処理実行制御部３０８は、認識処理部２００に対し、商品認識処理を終了するように制御する（Ｓ５１０）。つまり、開始制御部３００の処理は、ＰＯＳ端末装置１００が起動している間は、常に行われてもよい。一旦、物体（商品）が撮像部１３０に接近したために、認識処理部２００による商品の認識処理が開始された場合であっても、認識処理が終了したとき、又は認識処理を行っている間に物体（商品）が撮像部１３０から離れた（つまり撮像部１３０から物体までの距離が閾値Ｔｈ２を超過した）ときは、開始制御部３００は、認識処理部２００に対し、商品認識処理を終了するように制御する。

【0100】

このように、実施の形態５にかかるＰＯＳ端末装置１００は、物体（商品）が撮像部１３０に接近したときのみ商品認識処理を行う。商品認識処理を行うとき、ＰＯＳ端末装置１００（特に撮像部１３０、制御部１１２及び記憶部１１４）の負荷は増大する。したがって、このように構成されていることによって、商品認識処理を行う必要がないときに、ＰＯＳ端末装置１００の資源の負荷を低減させることが可能となる。なお、ここでいう「資源」とは、ＰＯＳ端末装置１００自体のハードウェア資源だけでなく、ネットワーク資源をも含む。

【0101】

（実施の形態６）
次に、実施の形態６について説明する。実施の形態６は、後述するように、商品認識処理をＰＯＳ端末装置１００が行わない点で、実施の形態１と異なる。なお、実施の形態６の構成は、実施の形態１だけでなく、他の実施の形態にも適用可能である。

【0102】

図２１は、実施の形態６にかかるＰＯＳシステム４００を示す図である。図２１に示すように、ＰＯＳシステム４００は、ＰＯＳ端末装置１００と、管理装置４２０とを有する。ＰＯＳ端末装置１００と、管理装置４２０とは、通信可能に接続されている。両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。ＰＯＳ端末装置１００と、管理装置４２０とは、ネットワーク（例えば、無線ＬＡＮ（Local Area Network）又はインターネット等）を介して互いに接続されていてもよい。また、ＰＯＳ端末装置１００と、管理装置４２０とは、赤外線通信又はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信方式によって互いに通信してもよい。

【0103】

実施の形態６にかかるＰＯＳ端末装置１００は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一のハードウェア構成を有している。ＰＯＳ端末装置１００は、通信装置１１６を用いて、管理装置４２０と通信を行う。この場合、通信装置１１６は、管理装置４２０と通信を行うために必要な処理を行う。

【0104】

管理装置４２０は、商品情報等を管理する情報処理装置である。管理装置４２０は、ＰＯＳ端末装置１００が配置された店舗に配置されていてもよい。また、管理装置４２０は、複数の店舗に配置された各ＰＯＳ端末装置１００を一括して管理してもよく、この場合、管理装置４２０は、ＰＯＳ端末装置１００が配置された店舗とは別の場所に配置されうる。また、管理装置４２０は、例えばサーバであって、クラウドサーバであってもよい。

【0105】

図２２は、実施の形態６にかかる管理装置４２０のハードウェア構成を示す図である。管理装置４２０は、例えばＣＰＵ等の制御部４２２と、例えばタッチパネル、ＬＣＤ又はキーボード等のユーザインタフェースである入出力部４２４と、例えばメモリ又はハードディスク等の記憶部４２６と、通信装置４２８とを有する。通信装置４２８は、ＰＯＳ端末装置１００（又は他の管理装置４２０）と通信を行うために必要な処理を行う。

【0106】

図２３は、実施の形態６にかかるＰＯＳ端末装置１００の機能ブロック図である。ＰＯＳ端末装置１００は、認識処理部４１０を有する。認識処理部４１０は、二次元画像撮影制御部２０２と、三次元画像生成部２０４と、商品画像抽出部２０６と、商品画像送信部４１８とを有する。上述したように、認識処理部４１０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。

【0107】

実施の形態６にかかる認識処理部４１０は、商品認識処理部２０８を有さず、商品画像送信部４１８を有する点で、実施の形態１にかかる認識処理部２００と異なる。商品画像抽出部２０６は、抽出された商品画像を、商品画像送信部４１８に対して出力する。商品画像送信部４１８は、商品画像（商品画像の画像データ）を、管理装置４２０に対して送信する。なお、商品画像送信部４１８は、商品画像を送信する際に、現在の時刻及びＰＯＳ端末装置１００の識別情報等も、管理装置４２０に対して送信してもよい。

【0108】

図２４は、実施の形態６にかかる管理装置４２０の機能ブロック図である。管理装置４２０は、認識処理部４３０を有する。また、認識処理部４３０は、商品画像受信部４３２と、商品認識処理部４３８とを有する。

【0109】

なお、認識処理部４３０は、例えば、制御部４２２の制御によって、プログラムを実行させることによって実現できる。より具体的には、認識処理部４３０は、制御部４２２の制御により、記憶部４２６に格納されたプログラムを実行させることによって実現される。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、認識処理部４３０の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。

【0110】

商品画像受信部４３２は、ＰＯＳ端末装置１００によって送信された商品画像（商品画像データ）等を受信し、商品認識処理部４３８に対して出力する。商品認識処理部４３８は、実施の形態１にかかる商品認識処理部２０８と実質的に同一の機能を有する。したがって、商品認識処理部４３８は、商品画像抽出部２０６によって抽出された商品画像を用いて、上述した実施の形態１と同様に、商品認識処理を行う。さらに、管理装置４２０は、得られた商品情報を、ＰＯＳ端末装置１００に対して送信する。ＰＯＳ端末装置１００は、管理装置４２０から受信した商品情報を用いて、その商品の決済処理等を行う。

【0111】

実施の形態６のように、商品認識処理をＰＯＳ端末装置１００ではなく管理装置４２０で行うことによって、商品認識処理に必要な基準商品情報を、各ＰＯＳ端末装置１００が記憶する必要がなく、また、ＰＯＳ端末装置１００が商品認識処理を行う必要がない。したがって、ＰＯＳ端末装置１００の資源を節約することが可能となる。また、タブレット端末等、資源の乏しいＰＯＳ端末装置１００においても、本実施の形態を適用することが可能となる。また、実施の形態６においても、商品画像抽出部２０６によって商品画像が抽出される。したがって、実施の形態１と同様に、管理装置４２０による商品認識処理において、資源の負荷を低減させること、処理速度を向上させること、商品の認識率を向上させること、商品の凹凸形状を把握すること、及び、商品のサイズ（容量）を把握することが、可能となる。

【0112】

また、上述したように、商品画像抽出部２０６によって抽出される商品画像は、三次元画像から背景画像が除去されている。したがって、商品画像のデータ量は、背景画像を含む三次元画像のデータ量よりも小さい。管理装置４２０で商品認識処理を行う場合に、管理装置４２０に対し、ＰＯＳ端末装置１００が背景画像を含む３次元画像の画像データを送信すると、データ量が大きいため、通信ネットワークの負荷が増大する。一方、管理装置４２０に対し、ＰＯＳ端末装置１００が商品画像の画像データを送信すると、データ量が小さいため、通信ネットワークの負荷が低減される。

【0113】

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも１つは、なくても構わない。例えば、図６のフローチャートにおいて、Ｓ１０２の処理は、Ｓ１０４の処理の後で行われてもよい。図１１のフローチャートにおいても同様である。つまり、撮像する順序は、左右どちらが先でも構わない。

【0114】

また、本実施の形態にかかる構成は、ＰＯＳ端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。

【0115】

また、本実施の形態にかかるＰＯＳ端末装置１００は、例えば、セルフレジにも適用可能である。セルフレジのように、顧客がＰＯＳ端末を使用する場合、顧客は、商品に付されたバーコードを読取装置に読み取らせることに慣れていない。そのため、セルフレジにおいては、バーコードを使用しない方法、つまり、商品を直接読み取らせる方法が求められる。したがって、セルフレジについて本実施の形態にかかるＰＯＳ端末装置１００を適用することで、上述したような、商品を直接読み取らせることに起因する問題が解決される。

【0116】

また、本実施の形態にかかるＰＯＳ端末装置１００は、上述したように、タブレット端末（タブレットＰＯＳ）等の、資源が乏しい端末にも応用可能である。この場合、撮像部１３０は、タブレット端末に内蔵されていなくてもよく、タブレット端末とは別個（外付け）の装置であってもよい。

【0117】

また、実施の形態１等では、複数の視点として、左からの視点及び右からの視点を例として挙げたが、このような構成に限られない。三次元画像を生成することが可能であれば、例えば上からの視点及び下からの視点でもよい。また、実施の形態２において、撮像部１３０は、水平方向に移動するとしたが、例えば垂直方向（上下方向）に移動してもよい。

【0118】

また、実施の形態２においては、撮像部１３０は左側位置Ｌ及び右側位置Ｒでそれぞれ二次元画像を撮影するとしたが、このような構成に限られない。例えば、撮像部１３０は、移動する間の動画を撮影してもよく、三次元画像生成部は、撮影された動画を構成する複数のフレーム（静止画）のうちの任意の複数の静止画を用いて三次元画像を生成してもよい。このとき、三次元画像生成部は、その静止画が撮影されたときの撮像部１３０の位置を認識することによって、ある静止画が撮影されてから次の静止画が撮影されるまでの移動距離を算出することができる。したがって、三次元画像生成部は、その移動距離をＤとして、上述したｄ＝ｆ×Ｄ／Ｚの関係式を用いて、三次元画像を生成することが可能である。

【0119】

また、例えば実施の形態１の構成と実施の形態６の構成とを組み合わせてもよい。つまり、実施の形態６にかかるＰＯＳ端末装置１００においても、商品認識処理を行うようにしてもよい。言い換えると、実施の形態６にかかるＰＯＳ端末装置１００が、商品認識処理部２０８を有してもよい。この場合、ＰＯＳ端末装置１００の負荷が予め定められた第１の負荷値よりも増加した場合に、ＰＯＳ端末装置１００が管理装置４２０に商品画像を送信し、商品認識処理を管理装置４２０が行うようにしてもよい。一方、管理装置４２０の負荷が予め定められた第２の負荷値よりも増加している場合、又は通信ネットワークの負荷が予め定められた第３の負荷値よりも増加している場合に、ＰＯＳ端末装置１００は、管理装置４２０に商品画像を送信しないで、自らのＰＯＳ端末装置１００で商品認識処理を行うようにしてもよい。同様に、実施の形態６の構成を、実施の形態１以外の別の実施の形態の構成と組み合わせてもよい。

【0120】

このように、ＰＯＳ端末装置１００の負荷、管理装置４２０の負荷及び通信ネットワークの負荷に応じて、適宜、負荷分散を行うことが可能となる。この場合、ＰＯＳ端末装置１００又は管理装置４２０が、ＰＯＳ端末装置１００の負荷、管理装置４２０の負荷及び通信ネットワークの負荷を計測する手段、及び、計測された負荷と第１〜第３の負荷値とをそれぞれ比較する手段を有してもよい。

【0121】

また、上述した実施の形態において、商品画像抽出部は、三次元画像から商品画像を抽出するとしたが、この「抽出」する処理は、三次元画像から商品画像を抜き出す処理に限られない。つまり、商品画像抽出部は、三次元画像においてどの領域が商品画像かを判断し、その三次元画像における商品画像を選択するように処理してもよい。この場合、商品認識処理部は、選択された商品画像を用いて、商品認識処理を行ってもよい。言い換えると、本実施の形態において、「商品画像を抽出する」とは、三次元画像において商品画像を選択する処理をも包含する概念である。

【0122】

また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0123】

（付記）
以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
複数の視点で商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成し、
前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成し、
前記三次元画像を用いて、前記商品の画像を抽出する
画像処理方法。
（付記２）
前記商品以外の背景の画像を除去して、前記商品の画像を抽出する
付記１に記載の画像処理方法。
（付記３）
前記抽出された商品の画像に基づいて、当該商品の認識処理を行う
付記１又は２に記載の画像処理方法。
（付記４）
前記抽出された商品の画像における当該商品の凹凸形状を認識し、前記認識された商品の凹凸形状に基づいて、当該商品の認識処理を行う
付記３に記載の画像処理方法。
（付記５）
前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出し、
前記三次元画像から、前記算出された距離が予め定められた第１の閾値以下の位置に対応する画像区域を、商品の画像として抽出する
付記１から４のいずれか１項に記載の画像処理方法。
（付記６）
前記三次元画像における、前記抽出された商品の画像のサイズを算出し、
前記算出された商品の画像のサイズと、前記算出された前記商品における各位置までの距離とに基づいて、前記商品のサイズを認識し、
前記認識された商品のサイズに基づいて、当該商品の認識処理を行う
付記５に記載の画像処理方法。
（付記７）
前記算出された距離が予め定められた第２の閾値以内に前記商品が接近したことを判別し、
前記商品が接近したと判別された場合に、前記抽出する処理を実行する
付記５又は６に記載の画像処理方法。
（付記８）
１つの撮像素子を移動させることによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
付記１から７のいずれか１項に記載の画像処理方法。
（付記９）
１つの撮像素子の前に設けられた複数の鏡それぞれに映った複数の鏡像を撮像することによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
付記１から７のいずれか１項に記載の画像処理方法。
（付記１０）
複数の撮像素子それぞれによって複数の視点で前記商品を撮像して、当該複数の視点それぞれに対応する複数の二次元画像を生成する
付記１から７のいずれか１項に記載の画像処理方法。
（付記１１）
複数の視点で商品を少なくとも１つの撮像手段に撮像させて、当該複数の視点それぞれに対応する複数の二次元画像を生成させるステップと、
前記生成された前記複数の二次元画像を用いて、前記商品の画像を含む三次元画像を生成するステップと、
前記三次元画像を用いて、前記商品の画像を抽出するステップと
をコンピュータに実行させるプログラム。
（付記１２）
前記商品以外の背景の画像を除去して前記商品の画像を抽出するステップ
をさらに前記コンピュータに実行させる付記１１に記載のプログラム。
（付記１３）
前記抽出された商品の画像に基づいて、当該商品の認識処理を行うステップ
をさらに前記コンピュータに実行させる付記１１又は１２に記載のプログラム。
（付記１４）
前記抽出された商品の画像における当該商品の凹凸形状を認識し、前記認識された商品の凹凸形状に基づいて、当該商品の認識処理を行うステップ
をさらに前記コンピュータに実行させる付記１３に記載のプログラム。
（付記１５）
前記複数の二次元画像を用いて、前記撮像された商品及び背景における各位置までの距離を算出するステップと、
前記三次元画像から、前記算出された距離が予め定められた第１の閾値以下の位置に対応する画像区域を、商品の画像として抽出するステップと
をさらにコンピュータに実行させる付記１１から１４のいずれか１項に記載のプログラム。
（付記１６）
前記三次元画像における、前記抽出された商品の画像のサイズを算出するステップと、
前記算出された商品の画像のサイズと、前記算出された前記商品における各位置までの距離とに基づいて、前記商品のサイズを認識するステップと、
前記認識された商品のサイズに基づいて、当該商品の認識処理を行うステップと
をさらにコンピュータに実行させる付記１５に記載のプログラム。
（付記１７）
前記算出された距離が予め定められた第２の閾値以内に前記商品が接近したことを判別するステップ
をさらに前記コンピュータに実行させ、
前記商品が接近したと判別された場合に、前記抽出するステップが実行される
付記１５又は１６に記載のプログラム。

【0124】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0125】

この出願は、２０１４年３月２０日に出願された日本出願特願２０１４−０５７３７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0126】

１ ＰＯＳ端末装置
２ 撮像部
４ 三次元画像生成部
６ 商品画像抽出部
１００ ＰＯＳ端末装置
１１０ 情報処理装置
１３０ 撮像部
１４０ 光学ユニット
１４２Ｌ 左側鏡
１４２Ｒ 右側鏡
１４４Ｌ 左側鏡
１４４Ｒ 右側鏡
２００ 認識処理部
２０２ 二次元画像撮影制御部
２０４ 三次元画像生成部
２０６ 商品画像抽出部
２０８ 商品認識処理部
２２０ 認識処理部
２２２ 二次元画像撮影制御部
２４０ 認識処理部
２４２ 二次元画像撮影制御部
２４４ 鏡像抽出部
２６０ 認識処理部
２６２ 二次元動画撮影制御部
２６４ 二次元画像取得部
２６８ 三次元画像生成部
２７０ 商品画像抽出部
３００ 開始制御部
３０２ 二次元画像撮影制御部
３０４ 三次元画像生成部
３０６ 物体接近判別部
３０８ 認識処理実行制御部
４００ ＰＯＳシステム
４１０ 認識処理部
４１８ 商品画像送信部
４２０ 管理装置
４３０ 認識処理部
４３２ 商品画像受信部
４３８ 商品認識処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】