知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-08
(45)【発行日】2023-05-16
(54)【発明の名称】物品認識装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20230509BHJP
G06V 10/22 20220101ALI20230509BHJP
G07G 1/00 20060101ALI20230509BHJP
【ＦＩ】
G06T7/00 300F
G06V10/22
G07G1/00 311D
【請求項の数】
4
(21)【出願番号】P 2022069355
(22)【出願日】2022-04-20
(62)【分割の表示】P 2018089976の分割
【原出願日】2018-05-08
(65)【公開番号】P2022106808
(43)【公開日】2022-07-20
【審査請求日】2022-04-20
(73)【特許権者】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】信岡 哲也
(72)【発明者】
【氏名】安永 真明
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１８－０６７３０７（ＪＰ，Ａ）
【文献】特開２０１８－０３６７７０（ＪＰ，Ａ）
【文献】特開２０１７－１２３１６３（ＪＰ，Ａ）
【文献】特開２０１５－０９５０２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／２２
Ｇ０７Ｇ １／００
(57)【特許請求の範囲】
【請求項1】
設置台に配置された物品を撮影した画像を取得する画像インターフェースと、前記設置台及び前記物品からの距離を示す距離情報を取得する距離情報インターフェースと、
前記画像から前記物品を認識するための画像情報を抽出し、前記画像情報を含むリストを生成し、
前記距離情報に基づいて、前記リストから前記設置台と同一の距離にある画像情報を削除し、
前記リストの画像情報に基づいて物品を認識する、
プロセッサと、
を備える物品認識装置。
【請求項2】
前記画像情報は、特徴点と特徴量とを含む、前記請求項１に記載の物品認識装置。
【請求項3】
前記プロセッサは、前記リストから、認識した物品の物品領域内にある画像情報を削除し、
認識した物品の物品領域内にある画像情報を削除した前記リストに基づいて物品を認識する、
前記請求項１又は２に記載の物品認識装置。
【請求項4】
前記物品領域は、前記物品の上面の領域と前記物品の側面の領域とを含む、前記請求項３に記載の物品認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、物品認識装置に関する。
【背景技術】
【0002】
物品認識装置には、物品を撮影した画像から特徴点を抽出し、抽出した特徴点に基づいて物品を認識するものがある。そのような物品認識装置は、物品が設置される設置台の模様又は外光などが画像に含まれることで、物品以外の領域から特徴点を抽出することがある。その結果、物品認識装置は、物品の認識精度が低下する可能性があるという課題がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－１２３１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の課題を解決するため、効果的に物品を認識することができる物品認識装置を提供する。
【課題を解決するための手段】
【0005】
実施形態によれば、物品認識装置は、画像インターフェースと、距離情報インターフェースと、プロセッサと、を備える。画像インターフェースは、設置台に配置された物品を撮影した画像を取得する。距離情報インターフェースは、前記設置台及び前記物品からの距離を示す距離情報を取得する。プロセッサは、前記画像から前記物品を認識するための画像情報を抽出し、前記画像情報を含むリストを生成し、前記距離情報に基づいて、前記リストから前記設置台と同一の距離にある画像情報を削除し、前記リストの画像情報に基づいて物品を認識する。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
第１の実施形態に係る物品認識装置は、物品を認識する。物品認識装置は、自身にセットされた物品を撮影する。物品認識装置は、撮影した画像から特徴点を抽出する。物品認識装置は、抽出された特徴点などに基づいて物品を認識する。
（第１の実施形態）
まず、第１の実施形態について説明する。
第１の実施形態に係る物品認識装置は、物品を認識する。物品認識装置は、自身にセットされた物品を撮影する。物品認識装置は、撮影した画像から特徴点を抽出する。物品認識装置は、抽出された特徴点などに基づいて物品を認識する。
【0008】
たとえば、物品認識装置は、商品を決済するためのレジなどに設置される。たとえば、物品認識装置は、商品を認識する。また、物品認識装置は、認識した商品を決済するものであってもよい。物品認識装置は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、物品認識装置は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。また、物品認識装置、決済後に購入された物品か否かを判定する検品装置などとして設置されてもよい。
【0009】
【0010】
筐体２は、物品認識装置１の外形を形成するフレームである。筐体２は、設置台７を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型に形成される。
【0011】
カメラ３は、筐体２の上部に下向きで設置される。カメラ３は、設置台７上の物品Ａを撮影する。即ち、カメラ３は、物品Ａを上方から撮影するように設置される。カメラ３は、斜め上方から物品Ａを撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。カメラ３は、撮影した画像を制御部１０に送信する。
【0012】
距離センサ４は、筐体２の上部に下向きで設置される。距離センサ４は、所定の基準面からの距離(たとえば、所定の基準面から距離センサ４までの距離又は所定の基準面から距離センサ４に水平な面まで距離)を測定する。
【0013】
距離センサ４は、測定結果に基づいて、所定の基準面からの距離を示す距離情報を生成する。たとえば、距離情報は、所定の三次元座標系における各点の座標を示す。距離センサ４は、生成した距離情報を制御部１０に送信する。
【0014】
たとえば、距離センサ４は、光源と光源から照射される光の反射光を検出するセンサとを備える。距離センサ４は、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、距離センサ４は、照射された光が測定対象で反射し距離センサ４に届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ－ｆｏ－Ｆｌｉｇｈｔ）方式を行ってもよい。
【0015】
距離センサ４は、２つのカメラ（ステレオカメラ）が撮影した各画像の視差に基づいて距離を算出するものであってもよい。また、距離センサ４は、ドットパターンを投影しドットパターンの歪みから距離を測定するものであってもよい。
距離センサ４の構成は、特定の構成に限定されるものではない。
距離センサ４の構成は、特定の構成に限定されるものではない。
【0016】
操作部５は、オペレータから種々の操作の入力を受け付ける。操作部５は、受け付けた操作を示す信号をプロセッサ１１へ送信する。ここでは、操作部５は、タッチパネルから構成される。なお、操作部５は、キーボード又はテンキーをさらに備えてもよい。
【0017】
表示部６は、プロセッサ１１の制御により種々の情報を表示する。たとえば、表示部６は、液晶モニタから構成される。ここでは、表示部６は、操作部５と一体的に形成される。
【0018】
設置台７は、筐体２の下部に設置される。設置台７は、物品Ａを設置する台である。たとえば、設置台７は、所定の大きさの矩形状に形成される。なお、設置台７は、物品Ａが配置されたことを検知するセンサを備えてもよい。センサは、物品Ａが配置されたことを示す信号をプロセッサ１１に送信する。
【0019】
制御部１０は、物品認識装置１全体を制御する。制御部１０は、オペレータからの指示などに基づいて、設置台７に設置される物品Ａを認識する。制御部１０は、操作部５を通じて、オペレータから種々の入力を受け付ける。また、制御部１０は、表示部６を通じて、オペレータに種々の情報を表示する。
【0020】
図２は、物品認識装置１の構成例を示すブロック図である。図２が示すように、物品認識装置１は、制御部１０、カメラ３、距離センサ４、操作部５及び表示部６などを備える。制御部１０と、カメラ３、距離センサ４、操作部５及び表示部６とは、電気的に接続する。カメラ３、距離センサ４、操作部５及び表示部６は、前述の通りである。
【0021】
制御部１０は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、距離センサインターフェース１６、操作部インターフェース１７及び表示部インターフェース１８などを備える。プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、距離センサインターフェース１６、操作部インターフェース１７及び表示部インターフェース１８とは、電気的に接続する。カメラインターフェース１５は、カメラ３と電気的に接続する。距離センサインターフェース１６は、距離センサ４と電気的に接続する。操作部インターフェース１７は、操作部５と電気的に接続する。表示部インターフェース１８は、表示部６と電気的に接続する。
【0022】
プロセッサ１１は、制御部１０全体の動作を制御する。即ち、プロセッサ１１は、物品認識装置１全体の動作を制御する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部キャッシュ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。
【0023】
なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。
【0024】
ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、制御部１０の仕様に応じて予め組み込まれる。ＲＯＭ１２は、たとえば、制御部１０の回路基板を制御するプログラムなどを格納する。
【0025】
ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0026】
ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read-Only Memory）又はフラッシュメモリなどから構成される。ＮＶＭ１４は、制御部１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【0027】
ＮＶＭ１４は、物品情報を格納する。物品情報は、物品に関する情報である。物品情報は、物品コードと辞書情報と外形情報とを対応付けて格納する。
物品コードは、物品を示す識別子である。たとえば、物品コードは、数値、文字列、記号又はそれらの組合せなどから構成される。
物品コードは、物品を示す識別子である。たとえば、物品コードは、数値、文字列、記号又はそれらの組合せなどから構成される。
【0028】
辞書情報は、局所特徴量を用いて物品を特定するための情報である。辞書情報は、物品画像の特徴点及び特徴量を格納する。たとえば、辞書情報は、複数の特徴点の位置と特徴量とを対応付けて特徴点セットとして格納する。また、辞書情報は、物品の各面の画像の特徴点セットを格納してもよい。
【0029】
外形情報は、辞書情報の特徴点の座標系における物品の外形を示す。即ち、外形情報は、特徴点の位置と外形との相対的な位置関係を示す。たとえば、外形情報は、物品の四隅の座標を示す。
【0030】
また、物品情報は、物品の外寸、物品名及び価格などを備えてもよい。物品情報の構成は、特定の構成に限定されるものではない。
【0031】
ＮＶＭ１４は、予め各物品に関する物品情報を格納する。たとえば、プロセッサ１１は、外部装置から物品情報を受信し、ＮＶＭ１４に格納する。また、物品情報は、適宜更新されてもよい。
【0032】
カメラインターフェース１５（画像インターフェース）は、カメラとデータを送受信するためのインターフェースである。たとえば、カメラインターフェース１５は、プロセッサ１１の制御に基づいて、カメラ３に撮影を指示する信号を送信する。また、カメラインターフェース１５は、カメラ３から撮影で得られた撮影画像を取得する。たとえば、カメラインターフェース１５は、ＵＳＢ接続をサポートするものであってもよい。
【0033】
距離センサインターフェース１６（距離情報インターフェース）は、距離センサ４とデータを送受信するためのインターフェースである。たとえば、距離センサインターフェース１６は、プロセッサ１１の制御に基づいて、距離センサ４に距離情報を取得させる信号を送信する。また、距離センサインターフェース１６は、距離センサ４から、距離情報を取得する。たとえば、距離センサインターフェース１６は、ＵＳＢ接続をサポートするものであってもよい。
【0034】
操作部インターフェース１７は、操作部５とデータを送受信するためのインターフェースである。たとえば、操作部インターフェース１７は、オペレータから受け付けた操作を示す信号を操作部５から受信する。たとえば、操作部インターフェース１７は、ＵＳＢ接続をサポートするものであってもよい。
【0035】
表示部インターフェース１８は、表示部６とデータを送受信するためのインターフェースである。また、表示部インターフェース１８は、プロセッサ１１の制御に基づいて、オペレータに表示する画面を示す情報を表示部６に送信する。たとえば、表示部インターフェース１８は、ＵＳＢ接続をサポートするものであってもよい。
【0036】
【0037】
次に、物品認識装置１が実現する機能について説明する。物品認識装置１が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。
【0038】
まず、プロセッサ１１は、物品が配置された設置台７を撮影した画像（撮影画像）を取得する機能を有する。ここでは、プロセッサ１１は、設置台７上に配置された物品を撮影した画像を取得する。
【0039】
たとえば、プロセッサ１１は、設置台７上に利用者によって物品が配置されたことを検知する。たとえば、プロセッサ１１は、設置台７からの信号に基づいて設置台７上に物品が配置されたことを検知する。なお、プロセッサ１１は、カメラ３からの画像に基づいて設置台７上に物品が配置されたことを検知してもよい。また、プロセッサ１１は、利用者から物品を設置台７上に配置したことを示す操作を受け付けてもよい。
【0040】
プロセッサ１１は、物品が配置されたことを検知すると、物品を含む画像を撮影する。たとえば、プロセッサ１１は、カメラ３に対して撮影を行う信号を送信する。プロセッサ１１は、カメラ３から撮影画像を取得する。なお、プロセッサ１１は、画像を撮影するために、撮影パラメータをカメラ３に設定してもよい。
なお、プロセッサ１１は、外部装置から撮影画像を取得してもよい。
なお、プロセッサ１１は、外部装置から撮影画像を取得してもよい。
【0041】
【0042】
外光５０は、設置台７上を照らす光である。たとえば、外光５０は、太陽光又は照明光などである。
【0043】
物品Ａ、Ｂ及びＣは、認識対象となる物品である。物品Ａ、Ｂ及びＣは、特定の面を上面に設置台７に配置される。
【0044】
なお、撮影画像は、４つ以上の物品を写してもよい。また、撮影画像は、１つ又は２つの物品を写してもよい。撮影画像が写す物品の個数は、特定の個数に限定されるものではない。
【0045】
また、プロセッサ１１は、距離センサ４から距離情報を取得する機能を有する。
プロセッサ１１は、設置台７上に利用者によって物品が配置されたことを検知すると、距離センサ４から距離情報を取得する。たとえば、プロセッサ１１は、距離センサ４に対して距離の測定を行う信号を送信する。プロセッサ１１は、距離センサ４から距離情報を取得する。
プロセッサ１１は、設置台７上に利用者によって物品が配置されたことを検知すると、距離センサ４から距離情報を取得する。たとえば、プロセッサ１１は、距離センサ４に対して距離の測定を行う信号を送信する。プロセッサ１１は、距離センサ４から距離情報を取得する。
【0046】
プロセッサ１１は、撮影画像を取得した後に距離情報を取得してもよい。また、プロセッサ１１は、撮影画像と同時に距離情報を取得してもよい。また、プロセッサ１１は、撮影画像を取得する前に距離情報を取得してもよい。
【0047】
また、プロセッサ１１は、撮影画像から物品を認識するための特徴点情報（画像情報）を抽出する機能を有する。
即ち、プロセッサ１１は、撮影画像から特徴点を抽出し、各特徴点の特徴量を算出する。特徴点情報は、特徴点及び特徴量などの情報を含む。
即ち、プロセッサ１１は、撮影画像から特徴点を抽出し、各特徴点の特徴量を算出する。特徴点情報は、特徴点及び特徴量などの情報を含む。
【0048】
たとえば、特徴点は、画像のコーナー部分の点、又は、画像濃度の２次微分関数の極点（極大・極小点）など局所領域内で一意に定められる点である。特徴点は、位置を表す座標（ｘ、ｙ）によって示される。
【0049】
特徴量は、特徴点又は特徴点周辺の画像から算出される値である。たとえば、特徴量は、特徴点近傍の濃度パターンなどに基づいて算出される。
【0050】
特徴点情報の構成は、特定の構成に限定されるものではない。
【0051】
プロセッサ１１は、抽出した特徴点情報を特徴点リストに格納する。
【0052】
図４は、プロセッサ１１が撮影画像から抽出した特徴点リストの例を示す。図４では、円１０１は、特徴点を示す。また、円１０１の大きさは、特徴量を示す。図４が示すように、プロセッサ１１は、複数の円１０１を抽出する。プロセッサ１１は、物品Ａ乃至Ｃ上にそれぞれ複数の円１０１を抽出する。また、プロセッサ１１は、外光５０上に複数の円１０１を抽出する。
【0053】
また、プロセッサ１１は、距離情報に基づいて特徴点リストから設置台７上に抽出された特徴点情報を削除する機能を有する。
【0054】
プロセッサ１１は、距離情報に基づいて、各特徴点の高さを特定する。各特徴点の高さを特定すると、プロセッサ１１は、設置台７と同一の高さの特徴点情報を特徴点リストから削除する。たとえば、プロセッサ１１は、設置台７からの高さが所定の閾値以下である特徴点情報を特徴点リストから削除する。
【0055】
図５は、設置台７の同一の高さを有する特徴点情報を削除した特徴点リストの例を示す。外光５０は、設置台７上に写る。従って、外光５０上に抽出される特徴点情報は、設置台７と同一の高さを有する。よって、プロセッサ１１は、図５が示すように、特徴点リストから外光５０上の特徴点情報を削除する。
【0056】
また、プロセッサ１１は、特徴点リストに基づいて物品を認識する機能を有する。即ち、プロセッサ１１は、設置台７上に抽出された特徴点情報以外の特徴点情報から物品を認識する。
【0057】
プロセッサ１１は、ＮＶＭ１４から１つの物品情報を取得する。物品情報を取得すると、プロセッサ１１は、物品情報の特徴点セットと特徴点リストとに基づいて特徴点セットの類似率Ｒを算出する。
【0058】
プロセッサ１１は、ＮＶＭ１４が格納する各物品情報について類似率Ｒを算出する。各物品情報の類似率Ｒを算出すると、プロセッサ１１は、類似率Ｒの中から最も高い類似率Ｒｍａｘを特定する。類似率Ｒｍａｘを特定すると、プロセッサ１１は、類似率Ｒｍａｘが閾値Ｒｔｈｒを超えるか判定する。類似率Ｒｍａｘが閾値Ｒｔｈｒを超えると判定すると、プロセッサ１１は、類似率Ｒｍａｘの物品情報に対応する物品を認識する。たとえば、プロセッサ１１は、物品の物品コードを取得する。
【0059】
なお、プロセッサ１１は、撮影画像からバーコードを読み取って物品を認識してもよい。たとえば、プロセッサ１１は、所定の画像処理によってバーコードが写るバーコード領域を抽出する。バーコード領域を特定すると、プロセッサ１１は、バーコード領域内のバーコードをデコードする。即ち、プロセッサ１１は、バーコードから物品を特定する物品コードを読み取る。プロセッサ１１は、物品コードを読み取った物品を認識する。
【0060】
また、プロセッサ１１は、撮影画像から認識した物品が写る物品領域を特定する機能を有する。
プロセッサ１１は、認識した物品の外形情報を取得する。プロセッサ１１は、撮影画像において認識に用いられた特徴点情報の特徴点の位置及び外形情報に基づいて物品領域を特定する。たとえば、プロセッサ１１は、撮影画像において認識に用いられた特徴点情報の特徴点の位置と外形情報とから撮影画像において物品の上面が写る領域を特定する。プロセッサ１１は、特定した領域を物品領域として特定する。
プロセッサ１１は、認識した物品の外形情報を取得する。プロセッサ１１は、撮影画像において認識に用いられた特徴点情報の特徴点の位置及び外形情報に基づいて物品領域を特定する。たとえば、プロセッサ１１は、撮影画像において認識に用いられた特徴点情報の特徴点の位置と外形情報とから撮影画像において物品の上面が写る領域を特定する。プロセッサ１１は、特定した領域を物品領域として特定する。
【0061】
なお、バーコードを読み取って物品を認識した場合、プロセッサ１１は、認識した物品の物品情報の辞書情報を取得する。プロセッサ１１は、特徴点リストの特徴点情報と辞書情報とをマッチングする。たとえば、プロセッサ１１は、特徴点リストから辞書情報の特徴点セットと最も近い特徴点を抽出する。プロセッサ１１は、バーコードの領域から所定の距離内又はバーコードの領域の位置に基づいて設定される所定の領域内の特徴点から特徴点セットに対応する特徴点を抽出してもよい。
【0062】
特徴点リストから辞書情報の特徴点セットと最も近い特徴点を抽出すると、プロセッサ１１は、抽出した特徴点の位置及び外形情報に基づいて物品領域を特定する。
【0063】
また、プロセッサ１１は、特徴点リストから物品領域内にある特徴点情報を削除する機能を有する。
プロセッサ１１は、特徴点リストの各特徴点情報の特徴点が物品領域内にあるか判定する。プロセッサ１１は、物品領域内にあると判定した特徴点の特徴点情報を特徴点リストから削除する。
プロセッサ１１は、特徴点リストの各特徴点情報の特徴点が物品領域内にあるか判定する。プロセッサ１１は、物品領域内にあると判定した特徴点の特徴点情報を特徴点リストから削除する。
【0064】
プロセッサ１１は、物品の認識動作から特徴点情報の削除動作までを繰り返して撮影画像から各物品を認識する。
【0065】
図５が示す例では、たとえば、プロセッサ１１は、特徴点リストに基づいて物品Ａを特定する。物品Ａを特定すると、プロセッサ１１は、物品Ａの物品領域を特定する。物品Ａの物品領域を特定すると、プロセッサ１１は、特徴点リストから物品Ａの物品領域内の特徴点情報を削除する。
【0066】
【0067】
特徴点リストから物品Ａの物品領域内の特徴点情報を削除すると、プロセッサ１１は、特徴点リストに基づいて物品Ｂを特定する。物品Ｂを特定すると、プロセッサ１１は、物品Ｂの物品領域を特定する。物品Ｂの物品領域を特定すると、プロセッサ１１は、特徴点リストから物品Ｂの物品領域内の特徴点情報を削除する。
【0068】
【0069】
同様に、プロセッサ１１は、物品Ｃを認識する。
【0070】
また、プロセッサ１１は、物品を認識できない場合、特徴点リストの特徴点情報の個数に基づいて警告を出力する機能を有する。
【0071】
たとえば、認識処理において類似率Ｒｍａｘが閾値Ｒｔｈｒ以下であると判定すると、プロセッサ１１は、物品を認識できない（認識に失敗した）と判定する。物品を認識できないと判定すると、プロセッサ１１は、特徴点リストの特徴点情報の個数をカウントする。特徴点リストの特徴点情報の個数をカウントすると、プロセッサ１１は、カウントした個数が所定の閾値以下であるか判定する。
【0072】
カウントした個数が所定の閾値以下であると判定すると、プロセッサ１１は、物品の認識を完了したものと判定する。
【0073】
カウントした個数が所定の閾値を超えていると判定すると、プロセッサ１１は、認識していない物品があるものと判定し、認識していない物品があることを示す警告を出力する。たとえば、プロセッサ１１は、表示部６を用いて警告を表示する。また、プロセッサ１１は、警告を外部装置に送信してもよい。プロセッサ１１が警告を出力する方法は、特定の方法に限定されるものではない。
【0074】
次に、物品認識装置１の動作例について説明する。図８は、物品認識装置１の動作例について説明するためのフローチャートである。
【0075】
まず、物品認識装置１のプロセッサ１１は、設置台７に物品が配置されたか判定する（ＡＣＴ１１）。設置台７に物品が配置されていないと判定すると（ＡＣＴ１１、ＮＯ）、プロセッサ１１は、ＡＣＴ１１に戻る。
【0076】
設置台７に物品が配置されたと判定すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ１１は、カメラ３を用いて撮影画像を取得する（ＡＣＴ１２）。撮影画像を取得すると、プロセッサ１１は、距離センサ４を用いて距離情報を取得する（ＡＣＴ１３）。
【0077】
距離情報を取得すると、プロセッサ１１は、撮影画像から特徴点情報を抽出し特徴点リストに格納する（ＡＣＴ１４）。撮影画像から特徴点情報を抽出し特徴点リストに格納すると、プロセッサ１１は、特徴点リストから設置台７上に抽出された特徴点情報を削除する（ＡＣＴ１５）。
【0078】
特徴点情報を削除すると、プロセッサ１１は、特徴点リストの特徴点情報に基づいて物品を認識する（ＡＣＴ１６）。物品の認識に成功すると（ＡＣＴ１７、ＹＥＳ）、プロセッサ１１は、撮影画像において認識した物品の物品領域を特定する（ＡＣＴ１８）。物品領域を特定すると、プロセッサ１１は、特徴点リストから物品領域内の特徴点情報を削除する（ＡＣＴ１９）。
【0079】
特徴点リストから物品領域内の特徴点情報を削除すると、プロセッサ１１は、ＡＣＴ１６に戻る。
【0080】
物品の認識に失敗すると、プロセッサ１１は、特徴点リストの特徴点情報の個数が所定の閾値以下であるか判定する（ＡＣＴ２０）。特徴点リストの特徴点情報の個数が所定の閾値以下であると判定すると（ＡＣＴ２０、ＹＥＳ）、プロセッサ１１は、認識処理が完了したことを表示部６に表示する（ＡＣＴ２１）。
【0081】
特徴点リストの特徴点情報の個数が所定の閾値を超えていると判定すると（ＡＣＴ２０、ＮＯ）、プロセッサ１１は、認識に失敗した物品があることを示す警告を出力する（ＡＣＴ２２）。
【0082】
認識処理が完了したことを表示部６に表示した場合（ＡＣＴ２１）、又は、認識に失敗した物品があることを示す警告を出力した場合（ＡＣＴ２２）、プロセッサ１１は、動作を終了する。
【0083】
なお、プロセッサ１１は、認識した物品を決済してもよい。たとえば、プロセッサ１１は、利用者からクレジットカード情報を取得して、当該クレジットカード情報に基づいて物品を決済する。また、プロセッサ１１は、利用者から現金を収受して物品を決済してもよい。
【0084】
また、プロセッサ１１は、認識した物品の物品コードを外部装置に送信してもよい。 また、プロセッサ１１は、認識した物品を示す情報を表示部６に表示してもよい。
【0085】
以上のように構成された物品認識装置は、撮影画像において、物品が配置される設置台上に抽出された特徴点情報を削除する。物品認識装置は、残った特徴点情報に基づいて物品を認識する。その結果、物品認識装置は、外光又は設置台の模様など物品以外の要因によって生じた特徴点情報を削除することができる。従って、物品認識装置は、適切に物品を認識することができる。
【0086】
また、物品認識装置は、認識した物品の物品領域内の特徴点情報を削除する。その結果、物品認識装置は、既に認識した物品によって生じた特徴点情報を削除することができる。従って、物品認識装置は、未認識の物品によって生じた特徴点情報に基づいて物品を認識することができる。
【0087】
また、物品認識装置は、物品の認識後に残った特徴点情報の個数が所定の閾値を超えている場合には警告を出力する。その結果、物品認識装置は、認識に失敗した物品が存在することを警告することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る物品認識装置は、認識した物品の上面よりも広い領域を物品領域として特定する点で第１の実施形態にかかるそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る物品認識装置は、認識した物品の上面よりも広い領域を物品領域として特定する点で第１の実施形態にかかるそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。
【0088】
第２の実施形態に係る物品認識装置１の構成は、第１の実施形態に係るそれと同様であるため説明を省略する。
【0089】
次に、物品認識装置１が実現する機能について説明する。物品認識装置１が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。
【0090】
プロセッサ１１は、認識した物品の上面よりも広い領域を物品領域として特定する機能を有する。
プロセッサ１１は、認識した物品の外形情報を取得する。プロセッサ１１は、撮影画像において認識に用いられた特徴点情報の特徴点の位置及び外形情報に基づいて物品の上面が写る領域を特定する。物品の上面が写る領域を特定すると、プロセッサ１１は、当該領域よりも大きな領域を物品領域として特定する。
プロセッサ１１は、認識した物品の外形情報を取得する。プロセッサ１１は、撮影画像において認識に用いられた特徴点情報の特徴点の位置及び外形情報に基づいて物品の上面が写る領域を特定する。物品の上面が写る領域を特定すると、プロセッサ１１は、当該領域よりも大きな領域を物品領域として特定する。
【0091】
たとえば、プロセッサ１１は、物品の上面が写る領域と物品の側面が写る領域とを物品領域として特定する。たとえば、プロセッサ１１は、カメラの特性、物品との距離、物品の位置及び／又は物品の高さなどに基づいて物品の側面が写る領域を特定する。
【0092】
なお、プロセッサ１１は、物品の上面が写る領域を所定の倍率で拡大した領域を物品領域として特定してもよい。また、プロセッサ１１は、物品の上面が写る領域を所定のドット分、拡大した領域を物品領域として特定してもよい。プロセッサ１１が物品領域を特定する方法は、特定の方法に限定されるものではない。
【0093】
図９は、プロセッサ１１が撮影画像から抽出した特徴点リストの例を示す。ここでは、撮影画像は、物品Ｄ、物品Ｅ及び物品Ｆを写すものとする。図９では、円１０２は、特徴点を示す。円１０２の大きさは、特徴量を示す。図９が示すように、プロセッサ１１は、複数の円１０２を抽出する。
【0094】
プロセッサ１１は、物品Ｄ、物品Ｅ及び物品Ｆの上面にそれぞれ複数の円１０２を抽出する。また、プロセッサ１１は、物品Ｅ及び物品Ｆの側面にそれぞれ複数の円１０２を抽出する。
【0095】
図１０は、プロセッサ１１が特定した物品領域の例を示す。ここでは、プロセッサ１１は、物品Ｆを認識したものとする。図１０が示すように、プロセッサ１１は、物品Ｆの上面及び側面を含む物品領域２０１を特定する。また、プロセッサ１１は、特徴点リストから物品領域２０１内の特徴点情報を削除する。
【0096】
物品認識装置１の動作例は、第１の実施形態に係るそれと同様であるため説明を省略する。
【0097】
以上のように構成された物品認識装置は、撮影画像から物品の上面よりも大きな領域を物品領域として抽出する。その結果、物品認識装置は、物品の認識に用いられた上面と当該物品の側面などとを含む領域を物品領域として抽出することができる。従って、物品認識装置は、認識した物品の側面などから抽出された特徴点情報を削除することができる。よって、物品認識装置は、後続する認識処理においてより適切に物品を認識することができる。
【0098】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
設置台に配置された物品を撮影した画像を取得する画像インターフェースと、
前記設置台及び前記物品からの距離を示す距離情報を取得する距離情報インターフェースと、
前記画像から前記物品を認識するための画像情報を抽出し、前記画像情報を含むリストを生成し、
前記距離情報に基づいて、前記リストから前記設置台の高さと同一の高さを有する画像情報を削除し、
前記リストの画像情報に基づいて物品を認識する、
プロセッサと、
を備える物品認識装置。
［Ｃ２］
前記画像情報は、特徴点と特徴量とを含む、
前記Ｃ１に記載の物品認識装置。
［Ｃ３］
前記プロセッサは、
前記リストから、認識した物品の物品領域内にある画像情報を削除し、
認識した物品の物品領域内にある画像情報を削除した前記リストに基づいて物品を認識する、
前記Ｃ１又は２に記載の物品認識装置。
［Ｃ４］
前記物品領域は、前記物品の上面の領域と前記物品の側面の領域とを含む、
前記Ｃ３に記載の物品認識装置。
［Ｃ５］
物品を撮影した画像を取得する画像インターフェースと、
前記画像から前記物品を認識するための画像情報を抽出し、前記画像情報を含むリストを生成し、
前記リストの画像情報に基づいて物品を認識し、
前記リストから、認識した物品の物品領域内にある画像情報を削除し、
認識した物品の物品領域内にある画像情報を削除した前記リストに基づいて物品を認識し、
前記リストから物品を認識できない場合、前記リストの画像情報の個数が所定の閾値を超えていると警告を出力する、
プロセッサと、
を備える物品認識装置。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
設置台に配置された物品を撮影した画像を取得する画像インターフェースと、
前記設置台及び前記物品からの距離を示す距離情報を取得する距離情報インターフェースと、
前記画像から前記物品を認識するための画像情報を抽出し、前記画像情報を含むリストを生成し、
前記距離情報に基づいて、前記リストから前記設置台の高さと同一の高さを有する画像情報を削除し、
前記リストの画像情報に基づいて物品を認識する、
プロセッサと、
を備える物品認識装置。
［Ｃ２］
前記画像情報は、特徴点と特徴量とを含む、
前記Ｃ１に記載の物品認識装置。
［Ｃ３］
前記プロセッサは、
前記リストから、認識した物品の物品領域内にある画像情報を削除し、
認識した物品の物品領域内にある画像情報を削除した前記リストに基づいて物品を認識する、
前記Ｃ１又は２に記載の物品認識装置。
［Ｃ４］
前記物品領域は、前記物品の上面の領域と前記物品の側面の領域とを含む、
前記Ｃ３に記載の物品認識装置。
［Ｃ５］
物品を撮影した画像を取得する画像インターフェースと、
前記画像から前記物品を認識するための画像情報を抽出し、前記画像情報を含むリストを生成し、
前記リストの画像情報に基づいて物品を認識し、
前記リストから、認識した物品の物品領域内にある画像情報を削除し、
認識した物品の物品領域内にある画像情報を削除した前記リストに基づいて物品を認識し、
前記リストから物品を認識できない場合、前記リストの画像情報の個数が所定の閾値を超えていると警告を出力する、
プロセッサと、
を備える物品認識装置。
【符号の説明】
【0099】
１…物品認識装置、２…筐体、３…カメラ、４…距離センサ、５…操作部、６…表示部、７…設置台、１０…制御部、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…カメラインターフェース、１６…距離センサインターフェース、１７…操作部インターフェース、１８…表示部インターフェース、５０…外光、１０１…円、１０２…円、２０１…物品領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
