特許第6971755号(P6971755)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝テック株式会社の特許一覧
<>
  • 特許6971755-画像処理装置及び画像処理方法 図000002
  • 特許6971755-画像処理装置及び画像処理方法 図000003
  • 特許6971755-画像処理装置及び画像処理方法 図000004
  • 特許6971755-画像処理装置及び画像処理方法 図000005
  • 特許6971755-画像処理装置及び画像処理方法 図000006
  • 特許6971755-画像処理装置及び画像処理方法 図000007
  • 特許6971755-画像処理装置及び画像処理方法 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6971755
(24)【登録日】2021年11月5日
(45)【発行日】2021年11月24日
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
   G07G 1/12 20060101AFI20211111BHJP
   G07G 1/01 20060101ALI20211111BHJP
   G07G 1/00 20060101ALI20211111BHJP
【FI】
   G07G1/12 331Z
   G07G1/01 301E
   G07G1/00 311D
   G07G1/00 311Z
【請求項の数】4
【全頁数】13
(21)【出願番号】特願2017-193399(P2017-193399)
(22)【出願日】2017年10月3日
(65)【公開番号】特開2018-67306(P2018-67306A)
(43)【公開日】2018年4月26日
【審査請求日】2020年6月23日
(31)【優先権主張番号】15/298,862
(32)【優先日】2016年10月20日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【弁理士】
【氏名又は名称】鵜飼 健
(72)【発明者】
【氏名】澤田 崇行
(72)【発明者】
【氏名】竹野 唯志
【審査官】 毛利 太郎
(56)【参考文献】
【文献】 特開2016−173657(JP,A)
【文献】 特開2015−228079(JP,A)
【文献】 特開2014−167749(JP,A)
【文献】 特開2016−119052(JP,A)
【文献】 特開2016−105225(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G07G 1/00− 1/14
G06Q 10/00−99/00
G06T 7/00− 7/90
(57)【特許請求の範囲】
【請求項1】
入力画像を取得するインターフェースと、
前記入力画像から第1の対象物領域を抽出し、
前記第1の対象物領域から第1の識別情報を読み取り、
前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域に写る対象物が、識別情報が付与されていない自然物であるか判定し、
前記対象物が前記自然物であると判定した場合、前記第1の対象物領域からオブジェクト認識で前記対象物を認識し、
前記対象物が前記自然物でないと判定した場合、前記第1の対象物領域と前記第1の対象物領域の読取失敗を示す情報とを含む出力画像を出力する、
プロセッサと、
を備える、
画像処理装置。
【請求項2】
前記プロセッサは、
前記入力画像から第2の対象物領域を抽出し、
前記第2の対象物領域から第2の識別情報を読み取り、
前記第2の対象物領域から前記第2の識別情報の読取に成功した場合、前記第2の対象物領域と前記第2の対象物領域の読取成功を示す情報とをさらに含む前記出力画像を出力する、
前記請求項1に記載の画像処理装置。
【請求項3】
前記対象物は、商品であり、
前記プロセッサは、
前記第1の対象物領域から前記第1の識別情報の読取に成功した場合、前記第1の識別情報に基づいて前記対象物の商品情報を取得し、
前記商品情報の少なくとも一部を含む商品情報画像を出力する、
前記請求項に記載の画像処理装置。
【請求項4】
プロセッサによって実行される画像処理方法であって、
入力画像を取得し、
前記入力画像から第1の対象物領域を抽出し、
前記第1の対象物領域から第1の識別情報を読み取り、
前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域に写る対象物が、識別情報が付与されていない自然物であるか判定し、
前記対象物が前記自然物であると判定した場合、前記第1の対象物領域からオブジェクト認識で前記対象物を認識し、
前記対象物が前記自然物でないと判定した場合、前記第1の対象物領域及び前記第1の対象物領域の読取失敗を示す情報を含む出力画像を出力する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
画像処理装置には、カメラが撮影する画像から商品を認識するものがある。画像処理装置は、画像から商品がある商品領域を特定し、商品領域からバーコードなどを読み取って商品を認識する。
【0003】
従来、画像処理装置は、商品領域から商品を認識することができない場合に、商品の認識に失敗した商品領域をユーザに対して通知することができないという課題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014−235530号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の課題を解決するために、対象物の認識に失敗した対象物領域をユーザに対して提示することができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、画像処理装置は、インターフェースと、プロセッサと、を備える。インターフェースは、入力画像を取得する。プロセッサは、前記入力画像から第1の対象物領域を抽出し、前記第1の対象物領域から第1の識別情報を読み取り、前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域に写る対象物が、識別情報が付与されていない自然物であるか判定し、前記対象物が前記自然物であると判定した場合、前記第1の対象物領域からオブジェクト認識で前記対象物を認識し、前記対象物が前記自然物でないと判定した場合、前記第1の対象物領域と前記第1の対象物領域の読取失敗を示す情報とを含む出力画像を出力する。
【図面の簡単な説明】
【0007】
図1図1は、第1実施形態に係る商品情報処理装置の構成例を概略的に示す図である。
図2図2は、第1実施形態に係る商品情報処理装置の構成例を示すブロック図である。
図3図3は、第1実施形態に係る商品情報処理装置の表示例を示す図である。
図4図4は、第1実施形態に係る商品情報処理装置の表示例を示す図である。
図5図5は、第1実施形態に係る商品情報処理装置の動作例を示すフローチャートである。
図6図6は、第1実施形態に係る商品情報処理装置の動作例を示すフローチャートである。
図7図7は、第2実施形態に係る商品情報処理装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照して説明する。
(第1実施形態)
まず、第1実施形態に係る商品情報処理装置(画像処理装置)について説明する。
図1は、第1実施形態に係る商品情報処理装置1の構成例を概略的に示す。
【0009】
商品情報処理装置1は、カゴ10内の商品について決済処理する。商品情報処理装置1は、商品を販売する店舗などに設置される。たとえば、商品情報処理装置1は、カゴ10が所定の位置に配置された場合又は所定の操作を受け付けた場合に、カゴ10内の商品について決済処理を実行する。商品情報処理装置1は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、商品情報処理装置1は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。
【0010】
商品情報処理装置1は、商品(対象物)を特定するパターン(識別情報)に基づいて、商品を認識する。カゴ10内の商品は、商品を特定するパターンを備える。たとえば、商品を特定するパターンは、バーコード、QRコード(登録商標)、文字、数字又はマークなどである。ここでは、商品を特定するパターンは、バーコードであるものとする。
【0011】
図1が示すように、商品情報処理装置1は、筐体2、カメラ3、ディスプレイ4、及び、操作部5などを備える。
筐体2は、商品情報処理装置1の外形を形成するフレームである。筐体2は、カゴ10を設置することができるように形成される。図1が示す例においては、筐体2は、コの字型であり、カゴ10を積載することができるように形成される。
【0012】
カメラ3は、カゴ10内の商品を撮影する。図1が示す例においては、カメラ3は、カゴ10を上方から撮影するように設置される。カメラ3は、斜め上方からカゴ10内を撮影するように設置されてもよい。カメラ3が設置される位置及び向きは、特定の構成に限定されるものではない。
【0013】
なお、商品情報処理装置1は、複数個のカメラ3を備えてもよい。この場合、複数のカメラ3は、それぞれ異なる位置及び角度でカゴ10内の商品を撮影するように設置されてもよい。
【0014】
たとえば、カメラ3は、CCDカメラなどである。また、カメラ3は、不可視光を撮影するものであってもよい。カメラ3の構成は、特定の構成に限定されるものではない。
【0015】
ディスプレイ4は、後述するCPU21が出力する画像を表示する表示装置である。ディスプレイ4は、たとえば、液晶モニタなどである。
【0016】
操作部5は、商品情報処理装置1の利用者によって、種々の操作指示が入力される。操作部5は、操作者に入力された操作指示のデータをCPU21へ送信する。操作部5は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部5は、利用者からジェスチャーの入力を受け付けてもよい。
ここでは、操作部5は、タッチパネルであり、ディスプレイ4と一体的に形成されているものとする。
【0017】
なお、カメラ3、ディスプレイ4又は操作部5は、筐体2と一体的に形成されてもよい。
また、商品情報処理装置1は、カゴ10内の商品を照らす照明などを備えてもよい。
【0018】
次に、商品情報処理装置1の構成例について説明する。
図2は、商品情報処理装置1の構成例を示すブロック図である。
図2が示すように、商品情報処理装置1は、カメラ3、ディスプレイ4、操作部5、CPU21、メモリ22、カメラインターフェース23及びディスプレイインターフェース24などを備える。これらの各部は、データバスを介して互いに接続される。なお、商品情報処理装置1は、図2が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。
【0019】
カメラ3、ディスプレイ4及び操作部5は、前述の通りである。
CPU21は、商品情報処理装置1全体の動作を制御する機能を有する。CPU21は、内部キャッシュおよび各種のインターフェースなどを備えても良い。CPU21は、内部メモリ又はメモリ22に予め記憶したプログラムを実行することにより種々の処理を実現する。CPU21は、たとえば、プロセッサである。
【0020】
なお、CPU21がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、CPU21は、ハードウエア回路により実行される機能を制御する。
【0021】
メモリ22は、揮発性メモリ及び不揮発性メモリなどから構成される。たとえば、メモリ22は、予め制御用のプログラム及び制御データなどを格納する。また、メモリ22は、CPU21の処理中のデータなどを一時的に格納する。たとえば、メモリ22は、CPU21からの命令に基づき種々の実行中のアプリケーションプログラムを格納する。また、メモリ22は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0022】
カメラインターフェース23は、CPU21がカメラ3と通信するためのインターフェースである。たとえば、CPU21は、カメラインターフェース23を通じて、カメラ3に画像を取得させる信号を送信する。また、CPU21は、カメラインターフェース23を通じて撮影のためのカメラパラメータをカメラ3に設定してもよい。
【0023】
また、カメラインターフェース23は、カメラ3が撮影した画像を取得する。カメラインターフェース23は、取得した画像をCPU21へ送信する。CPU21は、カメラインターフェース23からカメラ3が撮影した画像を取得する。
【0024】
ディスプレイインターフェース24は、CPU21がディスプレイ4と通信するためのインターフェースである。たとえば、CPU21は、ディスプレイインターフェース24を通じて所定の画像をディスプレイ4へ送信する。
【0025】
次に、CPU21が実現する機能について説明する。
まず、CPU21は、カゴ10内の商品を示すバーコードを含む商品画像(入力画像)を取得する機能を有する。商品画像は、商品を特定するためのバーコードを含む。たとえば、CPU21は、カメラ3を用いてカゴ10内の商品を撮影し、商品画像を取得する。CPU21は、商品画像を撮影するために、撮影パラメータをカメラ3に設定してもよい。
なお、CPU21は、外部装置から商品画像を取得してもよい。
【0026】
また、CPU21は、商品画像から商品が写る商品領域(対象物領域)を抽出する機能を有する。
たとえば、CPU21は、背景色(たとえば、カゴ10の内部の色)との差異に基づいて商品領域を特定する。たとえば、CPU21は、予め背景色を取得し、商品画像において背景色と異なる色の領域を商品領域として抽出する。
【0027】
また、CPU21は商品画像における高さに基づいて商品領域を抽出してもよい。たとえば、CPU21は、距離センサなどから所定の位置と商品画像の各領域との距離を取得する。CPU21は、カゴ10の底面よりも高い領域を商品領域として抽出する。
なお、CPU21が商品領域を抽出する方法は、特定の方法に限定されるものではない。
【0028】
また、CPU21は、商品領域からバーコードを読み取る機能を有する。
たとえば、CPU21は、商品領域から、バーコードが写るバーコード領域を抽出する。たとえば、CPU21は、商品画像に対してパターンマッチングなどを用いるラスタスキャンを実行し、バーコード領域を抽出する。
【0029】
CPU21は、バーコード領域が含むバーコードを認識する。たとえば、CPU21は、バーコード領域内のバーコードをデコードする。CPU21は、バーコードをデコードして商品を示す商品コードを取得する。
【0030】
なお、CPU21がバーコードを読み取る方法は、特定の方法に限定されるものではない。
また、商品にパターンとして文字列が付与される場合、CPU21は、商品領域に対してOCR処理などを実行して、文字列を読み取ってもよい。
【0031】
また、CPU21は、バーコードの読取に失敗した商品領域に写る商品が自然物であるか判定する機能を有する。
【0032】
自然物は、自然の状態である商品である。自然物は、たとえば、人が加工していない商品である。たとえば、自然物は、バーコードなどが付与されない商品である。たとえば、自然物は、野菜又は果物などである。
【0033】
たとえば、CPU21は、画像認識などを用いて商品領域に写る商品が自然物であるか判定する。CPU21は、商品領域に写る商品が自然物でないと判定すると、当該商品領域に対して商品の認識に失敗したことを示す警告フラグを設定する。
【0034】
また、CPU21は、自然物が写る商品領域から商品を特定する機能を有する。
たとえば、CPU21は、オブジェクト認識を用いて商品領域の商品を特定する。たとえば、CPU21は、オブジェクト認識を用いて商品領域に写る商品を示す商品コードを取得する。
【0035】
また、CPU21は、バーコードをデコードして得られた商品コード又はオブジェクト認識で得られた商品コードに基づいて商品情報を取得する機能を有する。
たとえば、メモリ22が商品コードと商品情報とを対応付けた商品テーブルを格納する。CPU21は、当該商品テーブルを参照して、商品コードに対応する商品情報を取得する。また、商品情報処理装置1の上位装置が商品テーブルを格納し、CPU21は、通信部などを通じて、上位装置から商品コードに対応する商品情報を取得してもよい。
商品情報は、商品に関する情報である。たとえば、商品情報は、商品名及び価格などを備える。商品情報の構成は、特定の構成に限定されるものではない。
【0036】
また、CPU21は、警告フラグが設定された商品領域を商品の認識に失敗した商品領域として表示する機能を有する。
たとえば、CPU21はディスプレイ4の所定の領域に、警告フラグが設定された商品領域を商品の認識に失敗した商品領域として表示する。たとえば、CPU21は、商品画像を表示する。CPU21は、商品画像において当該商品領域の周囲に破線枠(読取失敗を示す情報)を表示する。即ち、CPU21は、商品の認識に失敗した商品領域の周囲に破線枠を表示することで、当該商品領域において商品の認識に失敗したことを提示する。
【0037】
また、CPU21は、商品の認識に成功した商品領域を表示する機能を有する。
たとえば、CPU21はディスプレイ4の所定の領域に、商品の認識に成功した商品領域を表示する。たとえば、CPU21は、商品画像を表示する。CPU21は、商品画像において当該商品領域の周囲に実線枠(読取成功を示す情報)を表示する。即ち、CPU21は、商品の認識に成功した商品領域の周囲に実線枠を表示することで、当該商品領域において商品の認識に成功したことを提示する。
【0038】
なお、CPU21は、認識に成功した商品の商品情報を提示してもよい。たとえば、CPU21は、商品情報として商品名及び価格などを表示する。また、CPU21は、認識に成功した商品が複数ある場合、各商品の価格の合計を表示してもよい。
【0039】
次に、CPU21が一部の商品領域において商品の認識に失敗した場合のディスプレイ4の表示例について説明する。
図3は、CPU21が一部の商品領域において商品の認識に失敗した場合のディスプレイ4の表示例を示す。
【0040】
図3が示すように、CPU21は、ディスプレイ4内に表示領域41乃至43を備える。
表示領域41は、商品の認識に失敗した商品領域の商品をバーコードが上向きになるように置き直すことを促すメッセージを表示する。たとえば、表示領域41は、破線に囲まれた商品を置き直すことを促すメッセージを表示する。
【0041】
表示領域42(商品情報画像)は、認識に成功した商品の商品情報を表示する。たとえば、表示領域42は、認識に成功した商品の商品名及び価格を表示する。また、表示領域42は、認識に失敗した商品があることを提示するメッセージを表示してもよい。
【0042】
表示領域43(出力画像)は、商品の認識に成功した商品領域と商品の認識に失敗した商品領域とを区別して表示する。たとえば、表示領域43は、商品画像を表示する。表示領域43は、商品画像において、商品の認識に成功した商品領域の周囲に実線枠を表示する。また、表示領域43は、商品画像において、商品の認識に失敗した商品領域の周囲に破線枠を表示する。
【0043】
図3が示すように、表示領域43は、枠43a乃至43cを表示する。
枠43aは、破線である。従って、枠43aは、枠43a内の商品領域において商品の認識に失敗したことを示す。
【0044】
枠43b及び43cは、実線である。従って、枠43b及び43cは、それぞれ枠43b及び43c内の商品領域において商品の認識に成功したことを示す。
なお、CPU21がディスプレイ4に表示する内容は、特定の構成に限定されるものではない。
【0045】
次に、CPU21が各商品領域において商品の認識に成功した場合のディスプレイ4の表示例について説明する。
図4は、CPU21が各商品領域において商品の認識に成功した場合のディスプレイ4の表示例を示す。
【0046】
図4が示すように、CPU21は、ディスプレイ4内に表示領域41乃至43を備える。
表示領域41は、商品の合計金額を表示する。
表示領域42は、各商品の商品名及び価格を表示する。また、表示領域42は、消費税又は合計金額を表示してもよい。また、表示領域42は、各商品領域において商品の認識に成功したことを示すメッセージを表示してもよい。
【0047】
表示領域43は、商品の認識に成功した商品領域を表示する。たとえば、表示領域43は、商品画像を表示する。表示領域43は、商品画像において、商品の認識に成功した商品領域の周囲に実線枠を表示する。
【0048】
図4が示すように、表示領域43は、枠43d乃至43fを表示する。
枠43d乃至43fは、実線である。従って、枠43d乃至43fは、それぞれ枠43d乃至43f内の商品領域において商品の認識に成功したことを示す
なお、CPU21がディスプレイ4に表示する内容は、特定の構成に限定されるものではない。
【0049】
また、CPU21は、各商品領域において商品の認識に成功した場合、商品の代金を決済する機能を有する。
たとえば、CPU21は、商品を購入する購入者のクレジット情報を予め取得する。たとえば、CPU21は、購入者から操作部5などを通じてクレジット情報の入力を受け付けてもよい。また、CPU21は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。
【0050】
CPU21は、取得したクレジット情報に基づいて商品の代金を決済する。たとえば、CPU21は、クレジット情報と商品の代金とをクレジットサーバなどへ送信する。
【0051】
次に、CPU21の動作例について説明する。
図5及び6は、CPU21の動作例について説明するためのフローチャートである。
まず、CPU21は、決済処理を開始するか判定する(ACT11)。たとえば、CPU21は、カゴ10が所定の位置にセットされたことを検知すると、決済処理を開始すると判定する。また、CPU21は、操作部5を通じて所定の操作を受け付けると、決済処理を開始すると判定してもよい。
【0052】
決済処理を開始しないと判定すると(ACT11、NO)、CPU21は、ACT11に戻る。
【0053】
決済処理を開始すると判定すると(ACT11、YES)、CPU21は、カメラ3を通じて商品画像を取得する(ACT12)。
【0054】
商品画像を取得すると、CPU21は、商品画像から商品領域を抽出する(ACT13)。商品領域を抽出すると、CPU21は、1つの商品領域内からバーコードを読み取る(ACT14)。
【0055】
バーコードの読取に成功したと判定すると(ACT15、YES)、CPU21は、バーコードをデコードした商品コードを取得する(ACT16)。
バーコードの読取に失敗したと判定すると(ACT15、NO)、CPU21は、当該商品領域に写る商品が自然物であるか判定する(ACT17)。当該商品領域に写る商品が自然物であると判定すると(ACT18、YES)、CPU21は、当該商品領域においてオブジェクト認識を用いて商品コードを取得する(ACT19)。
【0056】
当該商品領域に写る商品が自然物でないと判定すると(ACT18、NO)、CPU21は、当該商品領域に警告フラグを設定する(ACT20)。
【0057】
バーコードをデコードした商品コードを取得した場合(ACT16)、又は、当該商品領域においてオブジェクト認識を用いて商品コードを取得した場合(ACT19)、CPU21は、商品コードに基づいて商品情報を取得する(ACT21)。
【0058】
当該商品領域に警告フラグを設定した場合(ACT20)、又は、商品コードに基づいて商品情報を取得した場合(ACT21)、CPU21は、他の商品領域があるか判定する(ACT22)。
【0059】
他の商品領域があると判定すると(ACT22、YES)、CPU21は、他の商品領域においてACT14以降を実行する。
【0060】
他の商品領域がないと判定すると(ACT22、NO)、CPU21は、警告フラグが設定された商品領域があるか判定する(ACT23)。警告フラグが設定された商品領域があると判定すると(ACT23、YES)、CPU21は、警告フラグがセットされた商品領域を商品の認識に失敗した商品領域としてディスプレイ4に表示する(ACT24)。
【0061】
警告フラグがセットされた商品領域を表示すると、CPU21は、認識に成功した商品の商品領域、商品名及び価格などをディスプレイ4に表示する(ACT25)。認識に成功した商品の商品領域、商品名及び価格などをディスプレイ4に表示すると、CPU21は、ACT12に戻る。なお、CPU21は、操作部5を通じて所定の操作を受け付けた場合に、ACT12に戻ってもよい。
【0062】
警告フラグが設定された商品領域がないと判定すると(ACT23、NO)、CPU21は、各商品領域、各商品の商品情報及び合計金額などをディスプレイ4に表示する(ACT26)。
【0063】
各商品領域、各商品の商品情報及び合計金額などをディスプレイ4に表示すると、CPU21は、合計金額を決済する(ACT27)。なお、CPU21は、操作部5を通じて所定の操作を受け付けた場合に、合計金額を決済してもよい。
合計金額を決済すると、CPU21は、動作を終了する。
【0064】
なお、CPU21は、ACT24及びACT25を同時並行して実行してもよい。また、CPU21は、ACT25を実行してからACT24を実行してもよい。
【0065】
以上のように構成された商品情報処理装置は、商品領域の商品の認識に失敗した場合、当該商品領域を商品の認識に失敗した商品領域としてディスプレイに表示する。その結果、商品情報処理装置は、認識に失敗した商品領域をユーザに対して提示することができる。
【0066】
また、商品情報処理装置は、商品領域においてバーコードの読取に失敗した場合に当該商品領域の商品が自然物であるかを判定する。商品情報処理装置は、当該商品が自然物である場合、オブジェクト認識を用いて商品を識別する。従って、商品情報処理装置は、バーコードの読取に失敗した場合であっても、商品を認識することができる。その結果、商品情報処理装置は、効果的に商品を認識することができる。
(第2実施形態)
次に、第2実施形態に係る商品情報処理装置について説明する。
第2実施形態に係る商品情報処理装置1は、商品領域の商品が自然物であるかの判定を行わない点で第1実施形態に係る商品情報処理装置1と異なる。従って、同一の構成については、同一の符号を付して詳細な説明を省略する。
【0067】
次に、CPU21の動作例について説明する。
図7は、CPU21の動作例について説明するためのフローチャートである。
ここでは、図5及び図6の動作と同一の動作については同一の符号を付して説明を省略する。
【0068】
商品領域からバーコードの読取に失敗したと判定すると(ACT15、NO)、CPU21は、当該商品領域に警告フラグを設定する(ACT20)
また、バーコードをデコードした商品コードを取得すると(ACT16)、CPU21は、商品コードに基づいて商品情報を取得する(ACT21)。
【0069】
以上のように構成された商品情報処理装置は、商品領域からバーコードの読取に失敗した場合、当該商品領域を商品の認識に失敗した商品領域としてディスプレイに表示する。その結果、商品情報処理装置は、認識に失敗した商品領域をユーザに対して提示することができる。
【0070】
また、商品情報処理装置は、バーコードの読取に失敗するとオブジェクト認識を行わない。その結果、商品情報処理装置は、処理時間を短縮し、かつ、処理コストを低減することができる。
【0071】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
入力画像を取得するインターフェースと、
前記入力画像から第1の対象物領域を抽出し、
前記第1の対象物領域から第1の識別情報を読み取り、
前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域と前記第1の対象物領域の読取失敗を示す情報とを含む出力画像を出力する、
プロセッサと、
を備える、
画像処理装置。
[C2]
前記プロセッサは、
前記入力画像から第2の対象物領域を抽出し、
前記第2の対象物領域から第2の識別情報を読み取り、
前記第2の対象物領域から前記第2の識別情報の読取に成功した場合、前記第2の対象物領域と前記第2の対象物領域の読取成功を示す情報とをさらに含む前記出力画像を出力する、
前記C1に記載の画像処理装置。
[C3]
前記プロセッサは、
前記第1の対象物領域から前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域に写る対象物が自然物であるか判定し、
前記対象物が前記自然物であると判定した場合、前記第1の対象物領域からオブジェクト認識で前記対象物を認識し、
前記対象物が前記自然物でないと判定した場合、前記出力画像を出力する、
前記C1に記載の画像処理装置。
[C4]
前記対象物は、商品であり、
前記プロセッサは、
前記第1の対象物領域から前記第1の識別情報の読取に成功した場合、前記第1の識別情報に基づいて前記対象物の商品情報を取得し、
前記商品情報の少なくとも一部を含む商品情報画像を出力する、
前記C3に記載の画像処理装置。
[C5]
入力画像を取得し、
前記入力画像から第1の対象物領域を抽出し、
前記第1の対象物領域から第1の識別情報を読み取り、
前記第1の識別情報の読取に失敗した場合、前記第1の対象物領域及び前記第1の対象物領域の読取失敗を示す情報を含む出力画像を出力する、
画像処理方法。
【符号の説明】
【0072】
1…商品情報処理装置、2…筐体、3…カメラ、4…ディスプレイ、5…操作部、10…カゴ、21…CPU、22…メモリ、23…カメラインターフェース、24…ディスプレイインターフェース。
図1
図2
図3
図4
図5
図6
図7