特許 7281569 物品読取装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-17

(45)【発行日】2023-05-25

(54)【発明の名称】物品読取装置およびプログラム

(51)【国際特許分類】

   G07G 1/00 20060101AFI20230518BHJP

   G07G 1/01 20060101ALI20230518BHJP

   G06K 7/10 20060101ALI20230518BHJP

【ＦＩ】

G07G1/00 311D

G07G1/00 311E

G07G1/01 301E

G06K7/10 428

【請求項の数】 2

(21)【出願番号】P 2022025952

(22)【出願日】2022-02-22

(62)【分割の表示】P 2020208557の分割

【原出願日】2016-09-02

(65)【公開番号】P2022066264

(43)【公開日】2022-04-28

【審査請求日】2022-03-24

(73)【特許権者】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内藤 英浩

(72)【発明者】

【氏名】飯坂 仁志

(72)【発明者】

【氏名】宮越 秀彦

(72)【発明者】

【氏名】畠中 雄一郎

(72)【発明者】

【氏名】佐々木 勇太

【審査官】塩治 雅也

(56)【参考文献】

【文献】特開２０１３－１７８７５０（ＪＰ，Ａ）

【文献】特開２０１３－２１０９３５（ＪＰ，Ａ）

【文献】特開２０１６－０９５８０１（ＪＰ，Ａ）

【文献】特開２０１３－０８９０８４（ＪＰ，Ａ）

【文献】特開２０１６－０９５７６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００－５／００

Ｇ０６Ｋ ７／１０

Ｇ０６Ｑ ２０／２０

(57)【特許請求の範囲】

【請求項1】

撮像装置の撮像範囲に物品が翳されたことを検知した際に、前記撮像装置によって当該物品の外観を撮像した撮像画像を取得する撮像手段と、
登録対象となる物品を選択するための選択ボタンを配置した画面、または前記撮像画像を表示する表示手段と、
前記撮像画像の中から、前記物品に付されたコードシンボルを読み取ることによって前記物品を認識するバーコード読取手段と、
前記バーコード読取手段が、前記コードシンボルを一定時間認識しないことを条件として、前記撮像画像に写っている前記物品を認識するオブジェクト認識手段と、
前記物品が、前記バーコード読取手段による認識対象であるかを判定する判定手段と、
前記判定手段が、前記物品が前記バーコード読取手段による認識対象であると判定したことを条件として、前記表示手段に前記撮像画像を第１の表示形態で表示させて、前記判定手段が、前記物品が前記バーコード読取手段による認識対象であると判定しないことを条件として、前記表示手段に前記撮像画像を、前記第１の表示形態よりも拡大表示した第２の表示形態で表示させる表示制御手段と、を備える、
物品読取装置。

【請求項2】

コンピュータを、
撮像装置の撮像範囲に物品が翳されたことを検知した際に、前記撮像装置によって当該物品の外観を撮像した撮像画像を取得する撮像手段と、
登録対象となる物品を選択するための選択ボタンを配置した画面、または前記撮像画像を表示する表示手段と、
前記撮像画像の中から、前記物品に付されたコードシンボルを読み取ることによって前記物品を認識するバーコード読取手段と、
前記バーコード読取手段が、前記コードシンボルを一定時間認識しないことを条件として、前記撮像画像に写っている前記物品を認識するオブジェクト認識手段と、
前記物品が、前記バーコード読取手段による認識対象であるかを判定する判定手段と、
前記判定手段が、前記物品が前記バーコード読取手段による認識対象であると判定したことを条件として、前記表示手段に前記撮像画像を第１の表示形態で表示させて、前記判定手段が、前記物品が前記バーコード読取手段による認識対象であると判定しないことを条件として、前記表示手段に前記撮像画像を、前記第１の表示形態よりも拡大表示した第２の表示形態で表示させる表示制御手段と、
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、物品読取装置およびプログラムに関する。

【背景技術】

【0002】

従来、店舗において、販売する商品を売上登録する際に、店員は、商品に付されたバーコードを読み取ることによって当該商品を登録していた。また、バーコードが付されていない商品は、店員が、商品と、画面に表示された各商品に対応する複数の選択ボタンと、を比較して、商品と対応する選択ボタンを操作することによって、商品を登録していた。一方、商品の外観を撮像した撮像画像の中から当該商品の特徴量を抽出して、抽出した特徴量を予め用意された照合用のデータと比較することによって、商品の種別等を認識する一般物体認識（オブジェクト認識）を用いて商品の登録を行う技術が存在している。そして、バーコードに基づく商品の登録と、オブジェクト認識結果に基づく商品の登録とを、切り替え等の操作を行うことなく、ともに実行可能な装置が提案されている（例えば、特許文献１）。

【0003】

このように、バーコードの読み取りとオブジェクト認識とを、切り替え等の操作を行うことなく実行可能な物品読取装置にあっては、商品登録の効率を上げるために、商品の登録を指示する選択ボタンと、実際に撮像した商品の画像と、を画面に同時に表示するのが望ましい。しかしながら、１つの画面内に異なる２つの情報が表示されるため、各々の表示範囲が小さくなって表示内容が見えにくくなり、これによって、登録操作の効率が低下するという課題があった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、バーコードの読み取りとオブジェクト認識とを、ともに実行可能な物品読取装置において、撮像した商品の画像を、必要に応じて、特別な操作を行うことなしに見やすく表示することができる物品読取装置およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の物品読取装置は、撮像手段と、表示手段と、バーコード読取手段と、オブジェクト認識手段と、判定手段と、表示制御手段と、を備える。撮像手段は、撮像装置の撮像範囲に物品が翳されたことを検知した際に、撮像装置によって物品の外観を撮像した撮像画像を取得する。表示手段は、登録対象となる物品を選択するための選択ボタンを配置した画面、または撮像画像を表示する。バーコード読取手段は、撮像画像の中から、物品に付されたコードシンボルを読み取る。オブジェクト認識手段は、バーコード読取手段が、コードシンボルを一定時間認識しないことを条件として、撮像画像に写っている物品を認識する。判定手段は、物品が、バーコード読取手段による認識対象であるかを判定する。表示制御手段は、判定手段が、物品がバーコード読取手段による認識対象であると判定したことを条件として、表示手段に撮像画像を第１の表示形態で表示させて、判定手段が、物品がバーコード読取手段による認識対象であると判定しないことを条件として、表示手段に撮像画像を、第１の表示形態よりも拡大表示した第２の表示形態で表示させる。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係る物品読取装置を備えたチェックアウトシステムの一例を示す外観斜視図である。

【図2】図２は、チェックアウトシステムのハードウェア構成の一例を示すハードウェアブロック図である。

【図3】図３は、ＰＬＵファイルのデータ構成の一例を示す概念図である。

【図4】図４は、チェックアウトシステムの機能構成の一例を示す機能ブロック図である。

【図5】図５は、チェックアウトシステムが第３の表示デバイスに表示する画面の一例を示す図であり、（ａ）は、プリセット画面の一例を示す図である。（ｂ）は、撮像された物品の画像とともに、商品候補の選択ボタンを表示した選択画面の一例を示す図である。（ｃ）は、商品に付されたバーコードの内容をバーコード読取処理によって読み取った際に表示する読取結果画面の一例である。（ｄ）は、商品候補が一意に決定しない場合に表示される再認識選択画面の一例を示す図である。

【図6】図６は、チェックアウトシステムが第３の表示デバイスに表示する画面の画面遷移の一例を示す状態遷移図である。

【図7】図７は、チェックアウトシステムが行う一取引分の処理例を示すシーケンス図である。

【図8】図８は、チェックアウトシステムが行う一連の処理の流れを示すフローチャートである。

【図9】図９は、チェックアウトシステムが行う一連の処理の流れの変形例を示すフローチャートである。

【発明を実施するための形態】

【0007】

（チェックアウトシステムの全体構成の説明）
以下、図面を参照して、物品読取装置およびプログラムの実施形態を詳細に説明する。本実施形態では、係る物品読取装置およびプログラムの一実施形態として、スーパーマーケット等の店舗に設けられた、物品読取装置１０１を備えたチェックアウトシステム１への適用例を示す。

【0008】

図１は、チェックアウトシステム１の一例を示す外観斜視図である。図１に示すように、チェックアウトシステム１は、売上登録を行う際に登録対象となる物品（商品）の画像を撮像して、撮像された物品の画像が有する特徴量（第１の特徴量）または物品に付されたバーコード等の識別情報を読み取る物品読取装置１０１を備える。また、チェックアウトシステム１は、物品読取装置１０１が読み取った商品を売上登録して精算処理を行う商品精算装置（ＰＯＳ（Point-of-Sales）端末）１１を備える。ＰＯＳ端末１１は、物品読取装置１０１から出力される物品の特徴量（第１の特徴量）に基づいて商品候補を選出する。また、ＰＯＳ端末１１は、店員（キャッシャ）に商品候補を提示して、正しい商品を選択させる。なお、実施形態のチェックアウトシステム１にあっては、物品読取装置１０１は、野菜、果物、精肉等の自然物に対してはオブジェクト認識によって商品を特定する。そして、その他の商品（例えば人工物等）に対しては、商品に付されたバーコードを読み取ることによって商品を特定するものとする。

【0009】

図１の例において、ＰＯＳ端末１１は、レジ台４１の上に、ドロワ２１に載置した状態で設けられる。ＰＯＳ端末１１は、上面に、操作用の押下キーが配列されたキーボード２２を有する。また、ＰＯＳ端末１１は、キーボード２２の上方に、キャッシャが登録情報の確認、および決済に必要な情報の入力に使用する第１の表示デバイス２３と、客が登録情報の確認に使用する第２の表示デバイス２４とを有する。第１の表示デバイス２３は、液晶パネル等の表示パネル２３ａを有し、表示パネル２３ａにタッチパネル２６が積層されたタッチ入力式のものである。第２の表示デバイス２４は液晶パネル等の表示パネル２４ａを有する。第２の表示デバイス２４は、ＰＯＳ端末１１の上部に、客から見やすい方向に回転可能に立設されている。ドロワ２１は、内部に紙幣や硬貨などを収納し、ＰＯＳ端末１１からの指示により開放する。

【0010】

レジ台４１の隣には、レジ台４１と共にＬ状に配置されたサッカー台１５１を設けている。サッカー台１５１の上面には、買物カゴ１５３などを載置するための荷受面１５２が形成されている。図１は、買物カゴ１５３として、第１の買物カゴ１５３ａと第２の買物カゴ１５３ｂとが載置された例を示している。第１の買物カゴ１５３ａは、客が持ち込んだ買物カゴ、つまり読み取り前の物品（例えば物品Ｇ）の入った買い物カゴである。第２の買物カゴ１５３ｂは、読み取りを終えた物品Ｇを収納するための買物カゴである。キャッシャは、第１の買物カゴ１５３ａから読み取り前の例えば物品Ｇを手に取り、物品読取装置１０１に物品Ｇを読み取らせた後、物品Ｇを第２の買物カゴ１５３ｂに移し替える。なお、買物カゴ１５３は、カゴ状のものに限らず、トレー状、箱状、袋状等であってもよい。

【0011】

物品読取装置１０１はサッカー台１５１の荷受面１５２の中央部に立設され、ＰＯＳ端末１１と有線または無線によりデータ送受信可能に接続される。物品読取装置１０１は、ハウジング１０２に読取窓１０３が正面（キャッシャ側）に配置された読取ユニット１１０を備える。読取窓１０３は透光性を有する、例えば透明なガラス板等により構成されている。また、物品読取装置１０１は、ハウジング１０２の上部に、表示・操作ユニット１０４を備える。表示・操作ユニット１０４は、液晶パネル等の第３の表示デバイス１０６を有する。表示・操作ユニット１０４は、キャッシャが、読取ユニット１１０が読み取った画像等の情報の確認、および物品読取装置１０１が認識した商品候補の中から商品を選択する際の情報の入力等に使用する。第３の表示デバイス１０６の画面には、タッチパネル１０５が積層されて、タッチ入力が可能となっている。また、第３の表示デバイス１０６の右隣にはキーボード１０７が設けられて、キャッシャによるキーボード入力が可能となっている。さらに、物品読取装置１０１は、客が、物品Ｇの読み取り結果等を確認するための第４の表示デバイス１０９を、表示・操作ユニット１０４の背面側（客側）に備える。

【0012】

読取ユニット１１０は、読取窓１０３の奥に、物品Ｇを撮像するための撮像部１６４（撮像手段）を備える。物品Ｇが撮像部１６４により撮像されると、読取ユニット１１０は、撮像された物品Ｇの画像（撮像画像）の中から物品Ｇの特徴量（第１の特徴量）を抽出し、抽出した特徴量をＰＯＳ端末１１に対して出力する。また、読取ユニット１１０は、撮像画像の中に、物品Ｇを識別するバーコード等のコードシンボルが存在することを認識すると、当該バーコードの内容を読み取って物品Ｇを特定する。

【0013】

表示・操作ユニット１０４は、ＰＯＳ端末１１から出力された、プリセット画面や商品候補の選択画面等の各種画面を第３の表示デバイス１０６に表示する。プリセット画面は、商品を選択するための複数の選択ボタン等が配置された画面である。選択画面は、読取ユニット１１０が読み取った商品候補情報が表示された画面である。なお、詳細な画面構成について、詳しくは後述する。

【0014】

また、表示・操作ユニット１０４は、撮像部１６４によって撮像された撮像画像を、表示手段の一例である第３の表示デバイス１０６に表示する。キャッシャは、第３の表示デバイス１０６に表示された撮像画像を確認することによって、物品Ｇが的確に撮像されたかを確認する。キャッシャは、第３の表示デバイス１０６に表示された撮像画像を確認して、物品Ｇのフレームアウトの発生や、ブレの発生等、読み取りを行うのに不適切な画像が撮像された際には、読取ユニット１１０に再度物品Ｇの読み取りを行わせる。

【0015】

（チェックアウトシステムのハードウェア構成の説明）
次に、ＰＯＳ端末１１および物品読取装置１０１のハードウェア構成について説明する。図２は、ＰＯＳ端末１１および物品読取装置１０１のハードウェア構成を示すハードウェアブロック図である。ＰＯＳ端末１１は、ＣＰＵ（Central Processing Unit）６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６３、ＨＤＤ（Hard Disk Drive）６４、接続インタフェース６５、プリンタ６６、ドロワ２１、キーボード２２、第１の表示デバイス２３、第２の表示デバイス２４、通信インタフェース２５、タッチパネル２６などを備える。ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３は、内部バス２７により接続される。また、ドロワ２１、キーボード２２、第１の表示デバイス２３、第２の表示デバイス２４、通信インタフェース２５、タッチパネル２６、ＨＤＤ６４、接続インタフェース６５、プリンタ６６は、いずれも各種の入出力回路（いずれも不図示）を介して上記内部バス２７に接続される。

【0016】

ＣＰＵ６１は、ＰＯＳ端末１１の全体の制御を司る中央演算処理装置である。ＲＯＭ６２は固定プログラムなどを格納する不揮発性メモリである。ＲＡＭ６３は、ＣＰＵ６１が作業エリアなどとして使用する揮発性メモリである。

【0017】

ＨＤＤ６４は、各種プログラムや各種ファイルを記憶する記憶部である。各種プログラムには、商品候補を決定してその商品候補を示す情報を選択画面に表示するなどの処理を含む、商品販売データ処理のためのプログラムＰＲなどが含まれる。各種ファイルは、ストアコンピュータＳＣから配信されて格納されたＰＬＵファイルＦ１などである。また、ＨＤＤ６４には、商品を登録するための登録テーブルや売上テーブルなどが記憶されている。

【0018】

通信インタフェース２５は、ストアコンピュータＳＣとデータ通信を行うためのネットワークカード等で構成される。ストアコンピュータＳＣは、店舗のバックヤード等に設置されたものである。ストアコンピュータＳＣは、ＨＤＤ（不図示）に、ＰＯＳ端末１１に配信するためのＰＬＵファイルＦ１などを格納している。

【0019】

接続インタフェース６５は、物品読取装置１０１の接続インタフェース１７５や接続インタフェース１７６と通信を行うためのインタフェースである。通信は、有線または無線により行う。プリンタ６６は、取引内容をレシート等に印字し、そのレシートを排出する印字装置である。

【0020】

物品読取装置１０１は、読取ユニット１１０と表示・操作ユニット１０４とを備える。
このうち読取ユニット１１０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、撮像部１６４と、音声出力部１６５と、接続インタフェース１７５とを有する。また、表示・操作ユニット１０４は、接続インタフェース１７６と、タッチパネル１０５と、第３の表示デバイス１０６と、キーボード１０７と、第４の表示デバイス１０９とを有する。

【0021】

ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３は、内部バス１６６により接続される。また、撮像部１６４と、音声出力部１６５と、接続インタフェース１７５とは、いずれも各種の入出力回路（いずれも図示せず）を介して上記内部バス１６６に接続される。そして、タッチパネル１０５と、第３の表示デバイス１０６と、キーボード１０７と、第４の表示デバイス１０９とは、いずれも各種の入出力回路（いずれも不図示）を介して接続インタフェース１７６に接続される。

【0022】

ＣＰＵ１６１は、物品読取装置１０１の全体の制御を司る中央演算処理装置である。ＲＯＭ１６２は制御プログラムなどを格納する不揮発性メモリである。制御プログラムには、撮像された撮像画像の中から特徴量（第１の特徴量）を抽出して、抽出した特徴量をＰＯＳ端末１１に出力する処理等のプログラムなどが含まれる。ＲＡＭ１６３は、ＣＰＵ１６１が作業エリアなどとして使用する揮発性メモリである。

【0023】

撮像部１６４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカラーイメージセンサである。撮像部１６４は、ＣＰＵ１６１からの撮像開始信号を受けて撮像を開始し、読取窓１０３に翳された物品Ｇを所定のフレームレート（例えば３０ｆｐｓなど）で電気信号に変換し、撮像された画像を順次出力する。

【0024】

音声出力部１６５は、予め設定された読取音（“ピッ”）や警告音や音声等を再生するための再生回路やスピーカ等を有する。音声出力部１６５は、ＣＰＵ１６１からの制御信号により読取音や警告音や音声等を再生して、物品Ｇの読取状態等を音で報知する。

【0025】

さらに、ＣＰＵ１６１には接続インタフェース１７５が接続される。接続インタフェース１７５は、ＰＯＳ端末１１の接続インタフェース６５と通信接続し、物品読取装置１０１とＰＯＳ端末１１との間のデータ送受信を行う。

【0026】

接続インタフェース１７６は、ＰＯＳ端末１１の接続インタフェース６５と通信接続し、物品読取装置１０１とＰＯＳ端末１１との間のデータ送受信を行う。

【0027】

ここで、ＰＬＵファイルＦ１について説明する。ＰＬＵファイルＦ１は、物品Ｇ毎に、商品情報とその商品の特徴量（第１の特徴量）とを対応付けたデータファイルである。商品情報は、商品を一意に識別するための商品識別情報（商品ＩＤ等）や、商品分類や、商品を示すイラスト画像や、単価などを示す情報である。特徴量は、それぞれの物品Ｇのサンプル画像から所定のアルゴリズムによって事前に抽出した、物品Ｇ毎の特徴を示す、例えば、色合いや表面の凹凸等の表面状態（テクスチャ）である。

【0028】

図３は、ＰＬＵファイルＦ１のデータ構成の一例を示す図である。ＰＬＵファイルＦ１は、物品Ｇ毎に商品情報とその商品の特徴量（第１の特徴量）とを対応付けたデータを格納する。図３に示す例では、商品情報として、商品ＩＤ欄ｆ１、商品分類欄ｆ２、商品名欄ｆ３、単価欄ｆ４、イラスト画像欄ｆ５等のデータを格納する。これらの商品情報に、商品の特徴量欄ｆ６のデータが対応付けられている。特徴量欄ｆ６に格納されるデータは、後述する類似度の判定の際に、照合用のデータとして用いられるものである。なお、商品ＩＤ欄ｆ１に示すデータ「ＸＸＸＸＸＸＸＸ」は、各商品と一意に対応する値である。また、特徴量欄ｆ６に示すデータ「ＹＹＹＹＹＹＹＹ」は、商品毎に算出された値である。

【0029】

（チェックアウトシステムの機能構成の説明）
次に、チェックアウトシステム１を構成するＰＯＳ端末１１および物品読取装置１０１の機能構成について説明する。図４は、ＰＯＳ端末１１および物品読取装置１０１のそれぞれの機能ブロックの構成の一例を示す図である。物品読取装置１０１では、図２に示すＣＰＵ１６１が、ＲＯＭ１６２に格納されたプログラムを適宜実行する。これにより、図４に示すように、ＣＰＵ１６１の内部に、画像取込部５１と、商品検知部５２と、バーコード認識部５３と、特徴量抽出部５４と、オブジェクト認識適用判定部５５とが機能部として実現される。また、ＰＯＳ端末１１では、図２に示すＣＰＵ６１が、ＲＯＭ６２に格納されたプログラム、およびＨＤＤ６４に格納されたプログラムＰＲを適宜実行する。これにより、図４に示すように、ＣＰＵ６１の内部に、商品候補抽出部７１と、表示制御部７２と、入力受付部７３と、売上登録部７４とが機能部として実現される。

【0030】

画像取込部５１は、撮像部１６４（図２）に対して撮像開始信号を出力して、撮像部１６４に撮像動作を開始させる。その後、画像取込部５１は、撮像部１６４が撮像して出力した画像を取り込み、ＲＡＭ１６３（図２）に順次保存する。

【0031】

商品検知部５２は、撮像部１６４が撮像して出力した連続する複数の撮像画像に基づいて、物品Ｇが読取窓１０３（図１）に翳されたことを検知する。具体的に、商品検知部５２は、撮像部１６４（図２）が出力した撮像画像をＲＡＭ１６３（図２）から読み出し、直近に読み出した撮像画像と、輝度を比較する。商品検知部５２は、輝度の比較によって輝度階調に変化があったことを条件として、手や物品Ｇ等の何等かの写り込みがある撮像画像と判断する。さらに、商品検知部５２は、写り込みのある撮像画像と連続する撮像画像を２値化して物品Ｇの輪郭線を抽出する。そして、商品検知部５２は、連続する撮像画像の輪郭線の位置に変化があったときに、その輪郭線内の領域が、読取窓１０３に翳された物品Ｇを示す領域であると特定する。このようにして、商品検知部５２は、物品Ｇが読取窓１０３に翳されたことを検知する。

【0032】

なお、物品Ｇが翳されたことを特定する方法は上記に限らず、他の方法を用いてもよい。例えば、撮像画像内の物品Ｇの輪郭線ではなく、肌色領域の有無によって特定するようにしてもよい。すなわち、撮像画像内に肌色領域がある場合には、キャッシャの手の写り込みがあることが予想される。したがって、例えば、撮像画像の中から輪郭線を抽出して、手の形状を示す輪郭線のうち、物品を把持する位置の輪郭線の内側の領域を、物品Ｇを示す領域として特定してもよい。

【0033】

バーコード認識部５３は、バーコード読取手段の一例であり、撮像画像の中にバーコード等のコードシンボルが写っていることを認識する。また、バーコード認識部５３は、認識したバーコードを読み取る読取処理を行い、読み取り結果を商品候補抽出部７１に通知する。また、バーコード認識部５３は、撮像画像にバーコード等のコードシンボルが写っていない場合には、バーコードが読み取れない旨を商品候補抽出部７１に通知する。なお、撮像画像の中にバーコードが写っているかの判定方法、および撮像画像の中に写っているバーコードが有するコード情報の読み取り方法については、既に公知の技術として用いられているため、ここでは詳細な説明は省略する。

【0034】

特徴量抽出部５４は、抽出手段の一例であり、撮像画像に写っている物品Ｇの領域から、オブジェクト認識による認識対象物品が有する特徴量８０ａ（第１の特徴量）を抽出する。そして、特徴量抽出部５４は、抽出した特徴量８０ａをＰＯＳ端末１１の商品候補抽出部７１に出力する。具体的に、特徴量抽出部５４は、ＲＡＭ１６３から撮像画像を読み出す。そして、特徴量抽出部５４は、撮像画像の中から物品Ｇの領域を特定する。次に、特徴量抽出部５４は、特定した領域の内部に対して、オブジェクト認識による認識対象物品が有する特徴量８０ａとして、予めＰＬＵファイルＦ１に登録されている特徴量欄ｆ６に相当する特徴量８０ａを抽出する。特徴量抽出部５４は、抽出した特徴量８０ａを接続インタフェース１７５（図２）に出力する。接続インタフェース１７５は、受信した特徴量８０ａを接続インタフェース６５（図２）に出力して、接続インタフェース６５から商品候補抽出部７１に特徴量８０ａを通知する。

【0035】

また、特徴量抽出部５４は、撮像画像に写っている物品Ｇの領域から、物品Ｇがオブジェクト認識の非対象物品であるかを判定するための特徴量８０ｂ（第２の特徴量）を抽出する。例えば、本実施例では、野菜、果物、精肉等の自然物に対してはオブジェクト認識によって商品を特定して、人工物に対しては商品に付されたバーコードによって商品を特定するものとする。そして、特徴量抽出部５４は、撮像画像に写っている物品Ｇの領域が人工物であるか自然物であるかを判別するための特徴量８０ｂを抽出する。具体的には、プラスチック、紙、布等の人工物に共通する特徴量のうち、野菜、果物、精肉等の自然物には存在しない特徴量８０ｂを選定して使用する。

【0036】

オブジェクト認識適用判定部５５は、判定手段の一例であり、特徴量抽出部５４が抽出した特徴量８０ｂに基づいて、撮像画像に写っている物品Ｇが、オブジェクト認識の非対象物品であるかを判定する。オブジェクト認識適用判定部５５は、さらに、撮像画像の中に写っている物品Ｇが人工物、すなわち、オブジェクト認識の非対象物品であると判定されたことを条件として、物品Ｇを特定するためにバーコードの読み取りが必要であると判定する。一方、オブジェクト認識適用判定部５５は、撮像画像の中に写っている物品Ｇが自然物、すなわち、オブジェクト認識の対象物品であると判定されたことを条件として、物品Ｇを特定するためにオブジェクト認識を行う必要があると判定する。なお、オブジェクト認識適用判定部５５の判定結果は、商品候補抽出部７１および表示制御部７２に通知される。

【0037】

商品候補抽出部７１は、オブジェクト認識手段の一例であり、撮像画像内の物品Ｇを認識するためのオブジェクト認識処理を行う。具体的には、商品候補抽出部７１は、特徴量抽出部５４から通知された物品Ｇの特徴量８０ａをＰＬＵファイルＦ１（図３）に登録されている各商品の特徴量欄ｆ６と照合して類似度を算出する。さらに、商品候補抽出部７１は、ＰＬＵファイルＦ１の中から、類似度が所定の閾値以上である商品を、物品Ｇの候補として選出する。そして、商品候補抽出部７１は、選出した商品候補情報を表示制御部７２に出力する。また、商品候補抽出部７１は、バーコードが付された物品Ｇに対して、バーコード認識部５３が読み取った商品ＩＤ欄ｆ１をＰＬＵファイルＦ１と照合することによって、商品を特定する。そして、商品候補抽出部７１は、特定した商品情報を表示制御部７２に出力する。

【0038】

なお、画像の中に含まれる物品Ｇを認識するオブジェクト認識は、一般物体認識（generic object recognition）とも呼ばれる。一般物体認識で用いられる各種認識技術については、下記の文献に詳しく解説されているため、説明は省略する。
柳井 啓司、“一般物体認識の現状と今後”、情報処理学会論文誌、Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２８年８月５日検索]、インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

【0039】

Jamie Shottonら、“Semantic Texton Forests for Image Categorization and Segmentation”、[平成２８年８月５日検索]、インターネット<URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf >

【0040】

ここで、商品候補抽出部７１がオブジェクト認識を行って物品Ｇを特定する際に算出する類似度は、例えばＰＬＵファイルＦ１内の各物品の特徴量欄ｆ６を１００％＝「類似度：１．０」とした場合に、撮像画像の中に写っている物品Ｇの特徴量８０ａがどの程度類似しているかを示すものである。なお、類似度は絶対評価で算出してもよいし、相対評価で算出してもよい。

【0041】

例えば、類似度を絶対評価で算出するとする。その場合、撮像画像の中に写っている物品Ｇの特徴量８０ａと、ＰＬＵファイルＦ１に登録された各物品の特徴量欄ｆ６とを１対１で比較し、この比較の結果算出される類似度をそのまま採用する。ここで、類似度９５％を閾値にしたとする。その場合、商品候補抽出部７１は、類似度９５％以上の商品（商品候補情報）を類似度の順に順番付けを行って表示制御部７２に出力する。

【0042】

また、類似度を相対評価で算出するとする。その場合、ＰＬＵファイルＦ１の各商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、ＰＬＵファイルＦ１に５つの商品（第１の商品、第２の商品、第３の商品、第４の商品、第５の商品）の特徴量が特徴量欄ｆ６に登録されているものとする。その場合の類似度は、例えば第１の商品に対する類似度「０．６」、第２の商品に対する類似度「０．１」、第３の商品に対する類似度「０．１」、第４の商品に対する類似度「０．１」、第５の商品に対する類似度「０．１」等とし、類似度の総和が常に１．０になるようにする。ここで類似度０．５を閾値にしたとする。その場合、商品候補抽出部７１は、類似度０．５以上の商品の商品情報（商品候補情報）を類似度の順に順番付けを行って表示制御部７２に出力する。

【0043】

表示制御部７２は、表示制御手段の一例であり、いずれも図２に示した第１の表示デバイス２３、第２の表示デバイス２４、第３の表示デバイス１０６、および第４の表示デバイス１０９の表示状態をそれぞれ制御する。なお、表示制御部７２は、第１の表示デバイス２３および第２の表示デバイス２４の表示状態を、内部バス２７を介して制御する。また、表示制御部７２は、第３の表示デバイス１０６および第４の表示デバイス１０９の表示状態を、接続インタフェース６５および接続インタフェース１７６を介して制御する。以下、本発明の特徴的な構成である、表示制御部７２が第３の表示デバイス１０６の表示状態を制御する構成について説明する。

【0044】

表示制御部７２は、第３の表示デバイス１０６に対して、商品を選択するための複数の選択ボタンなどが所定位置に配列されたプリセット画面Ｇ１（図５（ａ）参照）を表示させる。さらに、表示制御部７２は、商品候補抽出部７１から商品候補情報を受信すると、第３の表示デバイス１０６に対して、商品候補情報を含む選択画面Ｇ２（図５（ｂ）参照）を表示させる。

【0045】

具体的には、表示制御部７２は、商品候補情報として選出された、例えば上位４件の商品候補の選択ボタンの表示の設定を、商品候補であることを示す設定として、プリセット画面Ｇ１の更新情報を生成する。そして、表示制御部７２は、このプリセット画面Ｇ１の更新情報を、接続インタフェース６５に出力する。出力された更新情報は、接続インタフェース６５から接続インタフェース１７６を介して、第３の表示デバイス１０６に出力される。これにより、第３の表示デバイス１０６の表示画面は、プリセット画面Ｇ１から商品候補の選択画面Ｇ２に遷移する。

【0046】

また、表示制御部７２は、オブジェクト認識適用判定部５５が、撮像画像に写っている物品Ｇを特定するためにオブジェクト認識処理を行う必要があると判定したことを条件として、撮像部１６４が撮像した撮像画像を、第３の表示デバイス１０６に表示する際の表示形態を制御する。表示形態の具体的な制御内容については後述する。

【0047】

入力受付部７３は、キーボード２２、１０７、タッチパネル２６、１０５などの入出力機器からの各種入力操作を受け付ける。例えば、第３の表示デバイス１０６に商品候補の選択画面が表示されている間に、キャッシャが、キーボード１０７の選択ボタンを押下したり、タッチパネル１０５の選択ボタンをタッチしたりしたとする。その場合、操作された選択ボタンの操作情報が、その入出力機器から接続インタフェース１７６に出力される。そして、その操作情報は、接続インタフェース１７６から接続インタフェース６５に出力されて、接続インタフェース６５を介して、入力受付部７３に通知される。

【0048】

売上登録部７４は、入力受付部７３がキーボード１０７やタッチパネル１０５から受け付けた選択ボタンの操作情報に基づき、操作情報に対応する一商品の商品情報を登録テーブル等に売上登録する。また、売上登録部７４は、入力受付部７３がタッチパネル２６などから受け付けた締めの操作情報に基づき、それまでに売上登録した一取引分の商品の精算処理を行って、その売上情報を売上テーブル等に登録する。

【0049】

（表示画面の内容の説明）
次に、物品Ｇを登録する際に、チェックアウトシステム１が第３の表示デバイス１０６に表示する画面の内容について説明する。図５は、第３の表示デバイス１０６に表示される画面の一例を示す図である。図５（ａ）は、チェックアウトシステム１が動作を開始した際に表示されるプリセット画面Ｇ１の一例である。図５（ｂ）は、撮像部１６４が撮像した物品Ｇの画像の中から、商品候補抽出部７１が商品候補を抽出した際に表示される選択画面Ｇ２の一例である。図５（ｃ）は、バーコード認識部５３が、物品Ｇに付されたバーコードを読み取った際に表示される読取結果画面Ｇ３の一例である。図５（ｄ）は、撮像部１６４が撮像した物品Ｇの画像の中から、商品候補抽出部７１が商品候補を抽出できなかった際に表示される再認識選択画面Ｇ４の一例である。

【0050】

図５（ａ）に示すように、プリセット画面Ｇ１は、タブＴ１、Ｔ２、…と、選択ボタン表示領域Ｅ１等を有する。タブＴ１、Ｔ２、…は、選択ボタンをカテゴリ別に切り替えて表示させるためのボタンである。選択ボタン表示領域Ｅ１は、タブＴ１、Ｔ２、…によって指定された一カテゴリの選択ボタンＫ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５、…をそれぞれ決められた位置に表示する表示領域である。

【0051】

前述したオブジェクト認識処理やバーコード読取処理を行わずに商品の売上登録を行う場合には、キャッシャは、画面のタッチ入力などにより、タブＴ１、Ｔ２、…の中からカテゴリを指定して、さらに、選択されたカテゴリに対応する選択ボタン表示領域Ｅ１の中から、該当する選択ボタンＫ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５、…を選択する。この操作によって選択された選択ボタンＫ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５、…の操作情報が、ＰＯＳ端末１１の入力受付部７３により受け付けられる。そして、操作された選択ボタンＫ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５、…に対応する商品情報が、ＰＬＵファイルＦ１（図２）から呼び出されて、売上登録部７４（図４）によって売上登録される。

【0052】

バーコード認識部５３（図４）が物品Ｇのバーコードを読み取るバーコード読取処理を行って、バーコードの内容を認識した場合に、表示制御部７２は、図５（ｃ）に示す読取結果画面Ｇ３を表示する。すなわち、表示制御部７２は、読取結果画面Ｇ３の選択ボタン表示領域Ｅ１の中に、認識されたバーコードの内容に対応する選択ボタン（この場合は選択ボタンＫ５）のみを、点灯に相当する状態で表示する。そして、表示制御部７２は、読取結果画面Ｇ３に、選択ボタンＫ５以外の選択ボタンを消灯に相当する状態で表示する。キャッシャは、点灯に相当する状態で表示された選択ボタンＫ５が物品Ｇと対応していることを確認した上で選択ボタンＫ５を押下する。すると、選択ボタンＫ５の操作情報が、ＰＯＳ端末１１の入力受付部７３により受け付けられる。そして、操作された選択ボタンＫ５に対応する商品情報が、ＰＬＵファイルＦ１（図２）から呼び出されて、売上登録部７４（図４）によって売上登録される。なお、ここでは、バーコード読取処理を行った結果を読取結果画面Ｇ３として表示して、キャッシャが、表示された内容を確認した上で売上登録を行う構成として説明したが、構成はこの限りではない。すなわち、バーコード読取処理を行った結果に基づいて物品Ｇを特定したことを条件として、物品Ｇの特定結果をキャッシャに再確認させることなく売上登録を行う構成としてもよい。

【0053】

さらに、表示制御部７２は、撮像画像に写った物品Ｇを特定するためにオブジェクト認識が必要である場合に、図５（ｂ）に示すように、オブジェクト認識処理によって得られた商品候補を含む選択画面Ｇ２を表示する。なお、このとき、表示制御部７２は、撮像画像表示領域Ｅ２の中に、撮像部１６４が撮像した物品Ｇの画像を同時に表示する。このとき、表示制御部７２は、物品Ｇの画像に、商品候補抽出部７１がオブジェクト認識した物品Ｇの位置を示すオブジェクト検出枠Ｗ１を重畳表示する。キャッシャは、表示された画像を見て、撮像画像表示領域Ｅ２の中に物品Ｇが的確に撮像されていること、およびオブジェクト検出枠Ｗ１が物品Ｇに正しく重畳されていることを確認する。

【0054】

表示制御部７２は、選択画面Ｇ２の商品候補表示領域Ｅ３の中に、商品候補抽出部７１（図４）が抽出した商品候補のうち、類似度が高い、例えば上位４件を表示する。すなわち、表示制御部７２は、商品候補表示領域Ｅ３の中に、選択ボタン（Ｋ１０、Ｋ１１、Ｋ１２、Ｋ１３）を表示する。

【0055】

また、表示制御部７２は、撮像画像の中に写った物品Ｇがオブジェクト認識の対象物品であって、なおかつ、撮像画像の中から商品候補抽出部７１が商品候補を抽出できないことを条件として、図５（ｄ）に示す再認識の実行を促す再認識選択画面Ｇ４を表示する。すなわち、表示制御部７２は、再認識選択画面Ｇ４の撮像画像表示領域Ｅ２の中に、再認識の実行を促すメッセージと、再認識開始ボタンＫ２０とを表示する。さらに、表示制御部７２は、再認識選択画面Ｇ４の商品候補表示領域Ｅ３の中を、消灯に相当する状態で表示する。

【0056】

（第３の表示デバイスにおける画面遷移の説明）
次に、チェックアウトシステム１が第３の表示デバイス１０６に表示する画面遷移について説明する。図６は、チェックアウトシステム１が第３の表示デバイス１０６に表示する画面の画面遷移の一例を示す状態遷移図である。

【0057】

第３の表示デバイス１０６にプリセット画面Ｇ１（図５（ａ））が表示されている状態（ノードＮ１）において、オブジェクト認識適用判定部５５が、物品Ｇをオブジェクト認識の対象物品であると判定すると、商品候補抽出部７１がオブジェクト認識処理を行う。そして、商品候補が抽出される（アークＡ１）と、表示制御部７２は、第３の表示デバイス１０６に、撮像画像と商品候補を含む選択画面Ｇ２を表示させる（ノードＮ２）。

【0058】

一方、ノードＮ１の状態において、商品候補抽出部７１がオブジェクト認識処理を行い、商品候補が抽出されない（アークＡ２）と、表示制御部７２は、第３の表示デバイス１０６に再認識選択画面Ｇ４を表示させる（ノードＮ４）。

【0059】

さらに、ノードＮ１の状態において、オブジェクト認識適用判定部５５が、物品Ｇをオブジェクト認識の非対象物品であると判定すると、バーコード認識部５３はバーコード読取処理を行う（アークＡ３）。そして、表示制御部７２は、第３の表示デバイス１０６に読取結果画面Ｇ３を表示させる（ノードＮ３）。

【0060】

第３の表示デバイス１０６に選択画面Ｇ２が表示されている状態（ノードＮ２）において、キャッシャが選択画面Ｇ２で物品Ｇに対応する選択ボタン（Ｋ１０、Ｋ１１、Ｋ１２、Ｋ１３）（図５（ｂ））を押下する登録操作を行う（アークＡ４）と、売上登録部７４（図４）は、当該物品Ｇを購入商品として登録する。そして、表示制御部７２は、第３の表示デバイス１０６にプリセット画面Ｇ１を表示させる（ノードＮ１）。

【0061】

第３の表示デバイス１０６に再認識選択画面Ｇ４が表示されている状態（ノードＮ４）において、キャッシャが再認識開始ボタンＫ２０（図５（ｄ））を押下すると、物品読取装置１０１は、再度オブジェクト認識処理を行う。その結果、商品候補が抽出される（アークＡ５）と、表示制御部７２は、第３の表示デバイス１０６に、撮像画像と商品候補を含む選択画面Ｇ２を表示させる（ノードＮ２）。

【0062】

一方、ノードＮ４の状態において、再度オブジェクト認識処理を行った結果、商品候補が抽出されない場合（アークＡ６）には、表示制御部７２は、第３の表示デバイス１０６に、再び、再認識選択画面Ｇ４を表示させる（ノードＮ４）。

【0063】

第３の表示デバイス１０６に読取結果画面Ｇ３が表示されている状態（ノードＮ３）において、キャッシャが読取結果画面Ｇ３上で、バーコード読取処理によって選択された選択ボタンＫ５（図５（ｃ））を押下する登録操作を行う（アークＡ７）と、売上登録部７４は、当該物品Ｇを購入商品として登録する。そして、表示制御部７２は、第３の表示デバイス１０６に、プリセット画面Ｇ１を表示させる（ノードＮ１）。

【0064】

（チェックアウトシステムの動作の説明）
次に、チェックアウトシステム１の動作例について説明する。図７は、チェックアウトシステム１の商品登録および精算処理の一取引分の処理の一例を示すシーケンス図である。なお、以下の説明において、ＰＯＳ端末１１では、ＣＰＵ６１によって、ＲＯＭ６２に格納されたプログラムやＨＤＤ６４に格納されたプログラムＰＲが実行されて、商品候補抽出部７１、表示制御部７２、入力受付部７３、売上登録部７４などの機能部が立ち上がっているものとする。また、物品読取装置１０１では、ＣＰＵ１６１によって、ＲＯＭ１６２に格納されたプログラムが実行されて、画像取込部５１、商品検知部５２、バーコード認識部５３、特徴量抽出部５４、オブジェクト認識適用判定部５５などの機能部が立ち上がっているものとする。さらに、物品読取装置１０１では、第３の表示デバイス１０６にプリセット画面Ｇ１（図５（ａ））が表示されて、撮像部１６４も常時起動されているものとする。

【0065】

まず、物品読取装置１０１は、読取窓１０３に物品Ｇが翳されたことを検知して、物品Ｇの読取処理を行う（ステップＳ１）。具体的には、キャッシャが、図１に示した第１の買物カゴ１５３ａから読取前の物品Ｇを手に取り、第２の買物カゴ１５３ｂに移す際に、物品Ｇを読取窓１０３に翳して商品の外観を撮像部１６４（図２）に読み取らせる。物品読取装置１０１は、撮像部１６４により撮像された画像を画像取込部５１（図４）から取り込んでＲＡＭ１６３に保存する。そして、商品検知部５２が、その画像の中から物品Ｇを検知する。そして、このときに、特徴量抽出部５４が、検知された物品Ｇの特徴量８０ｂ（第２の特徴量）を抽出するとともに、オブジェクト認識適用判定部５５が、特徴量８０ｂに基づいて物品Ｇがオブジェクト認識の非対象物品であるかを判定する。

【0066】

次に、物品読取装置１０１のＣＰＵ１６１は、特徴量抽出部５４が抽出した特徴量８０ａ（第１の特徴量）を、ＰＯＳ端末１１の商品候補抽出部７１に通知する（ステップＳ２）。そして、さらに、ＣＰＵ１６１は、オブジェクト認識適用判定部５５の判定結果に基づいて、物品Ｇがオブジェクト認識の非対象物品でないことを条件として、オブジェクト認識処理を行う必要がある旨を商品候補抽出部７１に通知する。

【0067】

ＰＯＳ端末１１では、商品候補抽出部７１が、オブジェクト認識処理を行って、物品読取装置１０１から通知された特徴量８０ａを基にＰＬＵファイルＦ１の中から類似度の高い順に商品情報（商品候補情報）を抽出する。そして、商品候補抽出部７１は、抽出した商品候補情報を表示制御部７２に出力する（ステップＳ３）。出力する商品候補情報の数は、適宜設定してよい。本実施形態では上位４点の商品候補情報を抽出する。

【0068】

さらに、ＰＯＳ端末１１では、表示制御部７２が、商品候補情報として抽出された上位４点の商品候補に対応する選択ボタン（Ｋ１０、Ｋ１１、Ｋ１２、Ｋ１３）（図５（ｂ））を、プリセット画面Ｇ１の更新情報として、物品読取装置１０１の第３の表示デバイス１０６に向けて出力する（ステップＳ４）。

【0069】

物品読取装置１０１は、表示制御部７２により出力された更新情報に基づき、第３の表示デバイス１０６に、商品候補の選択画面Ｇ２（図５（ｂ））を表示させる（ステップＳ５）。

【0070】

キャッシャは、入力受付部７３であるタッチパネル１０５（またはキーボード１０７）を介して、選択画面Ｇ２の商品候補に対応する選択ボタン（図５（ｂ）のＫ１０、Ｋ１１、Ｋ１２、Ｋ１３のいずれか）を選択する。すると、物品読取装置１０１は、その操作情報をタッチパネル１０５（またはキーボード１０７）の入出力回路（不図示）がＰＯＳ端末１１の入力受付部７３に通知する（ステップＳ６）。

【0071】

ＰＯＳ端末１１の入力受付部７３は、キャッシャが選択した物品Ｇに対応する商品情報を受け付けると、売上登録部７４は、その商品情報を登録テーブル等に登録する（ステップＳ７）。

【0072】

以上のステップＳ１からステップＳ７までの処理が、図１に示した第１の買物カゴ１５３ａ内の物品Ｇの全てに対して行われる。その後、キャッシャは、ＰＯＳ端末１１において、キーボード２２やタッチパネル２６の締めキーを押下する。ＰＯＳ端末１１の入力受付部７３は、押下操作がなされたという通知を受けて、売上登録部７４が、一取引分の商品の精算処理を行い、その売上情報を売上テーブル等に登録する（ステップＳ８）。

【0073】

（チェックアウトシステムが行う処理の流れの説明）
次に、チェックアウトシステム１が行う処理の流れについて説明する。図８は、チェックアウトシステム１が行う一連の処理の流れを示すフローチャートである。

【0074】

表示制御部７２は、第３の表示デバイス１０６に、所定の選択ボタン（Ｋ１、Ｋ２、…）を配置したプリセット画面Ｇ１（図５（ａ））を表示する（ステップＳ１０）。

【0075】

画像取込部５１は、撮像部１６４（図２）を制御することによって、物品Ｇの画像を撮像する撮像処理を行う（ステップＳ１２）。

【0076】

商品検知部５２は、商品を検知したかを判定する（ステップＳ１４）。商品検知部５２が商品を検知したとき（ステップＳ１４：Ｙｅｓ）はステップＳ１６に進み、それ以外のとき（ステップＳ１４：Ｎｏ）はステップＳ１２に戻る。

【0077】

オブジェクト認識適用判定部５５（判定手段）は、撮像画像の中に写っている物品Ｇの特徴量８０ｂ（第２の特徴量）に基づいて、物品Ｇがオブジェクト認識の非対象物品であるかを判定する（ステップＳ１６）。オブジェクト認識の非対象物品であるとき（ステップＳ１６：Ｙｅｓ）はステップＳ１８に進み、それ以外のとき（ステップＳ１６：Ｎｏ）はステップＳ３０に進む。

【0078】

バーコード認識部５３（バーコード読取手段）は、撮像画像に対して、バーコードの内容を読み取るバーコード読取処理を行う（ステップＳ１８）。

【0079】

バーコード認識部５３は、バーコードの内容を読み取ったかを判定する（ステップＳ２０）。バーコードの内容を読み取ったとき（ステップＳ２０：Ｙｅｓ）はステップＳ２２に進み、それ以外のとき（ステップＳ２０：Ｎｏ）はステップＳ２６に進む。

【0080】

表示制御部７２（表示制御手段）は、第３の表示デバイス１０６に読取結果画面Ｇ３（図５（ｃ））を表示する（ステップＳ２２）。

【0081】

売上登録部７４は、キャッシャが入力受付部７３に対して、バーコード読取処理によって読み取った商品を選択する操作を行ったことを受けて、商品登録処理を行う（ステップＳ２４）。その後、図８の処理を終了する。なお、図８のフローチャートには記載しないが、未登録の商品が残っている場合は、ステップＳ１０に戻って、同じ処理を繰り返す。また、前述したように、バーコード認識部５３がバーコードの内容を読み取った際に、読取結果画面Ｇ３を表示させることなく商品登録処理を行う構成にしてもよい。

【0082】

ステップＳ２０において、バーコード認識部５３が、バーコードの内容を読み取っていないと判定したとき（ステップＳ２０：Ｎｏ）は、バーコード認識部５３は、所定時間が経過したかを判定する（ステップＳ２６）。所定時間が経過したとき（ステップＳ２６：Ｙｅｓ）はステップＳ２８に進み、所定時間が経過していないとき（ステップＳ２６：Ｎｏ）は、ステップＳ１８に戻る。

【0083】

所定時間が経過してもバーコード認識部５３がバーコードを読み取らないとき（ステップＳ２６：Ｙｅｓ）は、表示制御部７２は、第３の表示デバイス１０６に、例えば「商品を翳す向きを変えて下さい」等のガイダンス表示を行って（ステップＳ２８）、バーコードの読み取りを促す。その後、ステップＳ１８に戻る。

【0084】

ステップＳ１６において、オブジェクト認識適用判定部５５が、撮像画像の中に写っている物品Ｇが、オブジェクト認識の非対象物品でないと判定したとき（ステップＳ１６：Ｎｏ）は、商品候補抽出部７１がオブジェクト認識処理を行う（ステップＳ３０）。

【0085】

表示制御部７２は、第３の表示デバイス１０６に、撮像画像を表示する（ステップＳ３２）。

【0086】

商品候補抽出部７１は、オブジェクト認識処理を行った結果、商品候補が得られたかを判定する（ステップＳ３４）。商品候補が得られたとき（ステップＳ３４：Ｙｅｓ）はステップＳ３６に進み、商品候補が得られないとき（ステップＳ３４：Ｎｏ）はステップＳ４０に進む。

【0087】

表示制御部７２は、第３の表示デバイス１０６に、類似度が高い順に上位４件の商品候補を含む選択画面Ｇ２（図５（ｂ））を表示する（ステップＳ３６）。

【0088】

入力受付部７３は、選択画面Ｇ２の中から商品が選択されたかを判定する（ステップＳ３８）。商品が選択されたとき（ステップＳ３８：Ｙｅｓ）はステップＳ２４に進み、それ以外のとき（ステップＳ３８：Ｎｏ）はステップＳ３６に戻る。

【0089】

ステップＳ３４において、商品候補が得られないとき（ステップＳ３４：Ｎｏ）は、表示制御部７２は、第３の表示デバイス１０６に、再認識の実行を促す再認識選択画面Ｇ４（図５（ｄ））を表示する（ステップＳ４０）。

【0090】

入力受付部７３は、再認識が指示されたかを判定する（ステップＳ４２）。再認識が指示されたとき（ステップＳ４２：Ｙｅｓ）はステップＳ３０に戻り、それ以外のとき（ステップＳ４２：Ｎｏ）はステップＳ４０に戻る。

【0091】

なお、本実施形態では、表示制御部７２は、第３の表示デバイス１０６に、オブジェクト認識を実行したタイミングで、それまで表示されていなかった撮像画像を表示して、商品候補を選択したタイミングで、物品Ｇの画像を消去した。表示制御部７２が行う表示制御は、これに限定されるものではない。すなわち、表示制御部７２は、撮像部１６４が撮像した撮像画像を、第３の表示デバイス１０６の表示画面内に所定のサイズで常時表示しておき、オブジェクト認識を実行したタイミングで、撮像画像の表示サイズを拡大する表示制御を行うようにしてもよい。このとき、表示制御部７２は、拡大表示された撮像画像を、キャッシャが商品候補を選択したタイミングで所定のサイズに戻す。

【0092】

（チェックアウトシステムが行う処理の変形例の流れの説明）
次に、チェックアウトシステム１が行う一連の処理の変形例について、図９を用いて説明する。なお、この変形例の構成は前述したチェックアウトシステム１の構成と同一であるため、各構成要素は同じ符号を用いて説明する。

【0093】

この変形例は、オブジェクト認識適用判定部５５（判定部）の作用のみが、前述した構成と異なっている。すなわち、前述した構成（図８）では、オブジェクト認識適用判定部５５は、撮像画像の中に写っている物品Ｇの特徴量８０ｂ（第２の特徴量）に基づいて、物品Ｇがオブジェクト認識の非対象物品であるかを判定した。これに対して、後述する変形例（図９）では、オブジェクト認識適用判定部５５は、物品Ｇに対するバーコード読み取り結果に基づいて、物品Ｇがオブジェクト認識の非対象物品であるかを判定する。

【0094】

図９は、チェックアウトシステム１が行う一連の処理の流れの変形例を示すフローチャートである。表示制御部７２は、第３の表示デバイス１０６に、所定の選択ボタン（Ｋ１、Ｋ２、…）を配置したプリセット画面Ｇ１（図５（ａ））を表示する（ステップＳ５０）。

【0095】

画像取込部５１は、撮像部１６４（図２）を制御することによって、物品Ｇの画像を撮像する撮像処理を行う（ステップＳ５２）。

【0096】

商品検知部５２は、商品を検知したかを判定する（ステップＳ５４）。商品検知部５２が商品を検知したとき（ステップＳ５４：Ｙｅｓ）はステップＳ５６に進み、それ以外のとき（ステップＳ５４：Ｎｏ）はステップＳ５２に戻る。

【0097】

バーコード認識部５３（バーコード読取手段）は、撮像画像に対して、バーコードの内容を読み取るバーコード読取処理を行う（ステップＳ５６）。

【0098】

バーコード認識部５３は、バーコードの内容を読み取ったかを判定する（ステップＳ５８）。バーコードの内容を読み取ったとき（ステップＳ５８：Ｙｅｓ）はステップＳ６０に進み、それ以外のとき（ステップＳ５８：Ｎｏ）はステップＳ６４に進む。

【0099】

表示制御部７２（表示制御手段）は、第３の表示デバイス１０６に読取結果画面Ｇ３（図５（ｃ））を表示する（ステップＳ６０）。

【0100】

売上登録部７４は、キャッシャが入力受付部７３に対して、バーコード読取処理によって読み取った商品を選択する操作を行ったことを受けて、商品登録処理を行う（ステップＳ６２）。その後、図９の処理を終了する。なお、図９のフローチャートには記載しないが、未登録の商品が残っている場合は、ステップＳ５０に戻って、同じ処理を繰り返す。また、バーコード認識部５３がバーコードの内容を読み取った際に、読取結果画面Ｇ３を表示させることなく商品登録処理を行う構成にしてもよい。

【0101】

ステップＳ５８において、バーコード認識部５３が、バーコードの内容を読み取っていないと判定したとき（ステップＳ５８：Ｎｏ）は、バーコード認識部５３は、所定時間が経過したかを判定する（ステップＳ６４）。所定時間が経過したとき（ステップＳ６４：Ｙｅｓ）はステップＳ６６に進み、所定時間が経過していないとき（ステップＳ６４：Ｎｏ）は、ステップＳ５６に戻る。

【0102】

ステップＳ６４において、バーコード認識部５３が、所定時間が経過してもバーコードの内容を読み取らないと判定したとき（ステップＳ６４：Ｙｅｓ）は、オブジェクト認識適用判定部５５が、撮像画像の中に写っている物品Ｇが、オブジェクト認識の対象物品であると判定して、商品候補抽出部７１がオブジェクト認識処理を行う（ステップＳ６６）。

【0103】

表示制御部７２は、第３の表示デバイス１０６に、撮像画像を表示する（ステップＳ６８）。

【0104】

商品候補抽出部７１は、オブジェクト認識処理を行った結果、商品候補が得られたかを判定する（ステップＳ７０）。商品候補が得られたとき（ステップＳ７０：Ｙｅｓ）はステップＳ７２に進み、商品候補が得られないとき（ステップＳ７０：Ｎｏ）はステップＳ７６に進む。

【0105】

表示制御部７２は、第３の表示デバイス１０６に、類似度が高い順に上位４件の商品候補を含む選択画面Ｇ２（図５（ｂ））を表示する（ステップＳ７２）。

【0106】

入力受付部７３は、選択画面Ｇ２の中から商品が選択されたかを判定する（ステップＳ７４）。商品が選択されたとき（ステップＳ７４：Ｙｅｓ）はステップＳ６２に進み、それ以外のとき（ステップＳ７４：Ｎｏ）はステップＳ７２に戻る。

【0107】

ステップＳ７０において、商品候補が得られないとき（ステップＳ７０：Ｎｏ）は、表示制御部７２は、第３の表示デバイス１０６に、再認識の実行を促す再認識選択画面Ｇ４（図５（ｄ））を表示する（ステップＳ７６）。

【0108】

入力受付部７３は、再認識が指示されたかを判定する（ステップＳ７８）。再認識が指示されたとき（ステップＳ７８：Ｙｅｓ）はステップＳ６６に戻り、それ以外のとき（ステップＳ７８：Ｎｏ）はステップＳ７６に戻る。

【0109】

以上説明したように、実施形態に係るチェックアウトシステム１によれば、オブジェクト認識適用判定部５５（判定手段）が、物品Ｇの外観を撮像した撮像画像の中から、特徴量抽出部５４（抽出手段）が抽出した物品Ｇの特徴量８０ｂ（第２の特徴量）に基づいて、物品Ｇが、登録を行う際に商品候補抽出部７１（オブジェクト認識手段）の認識結果を必要とする対象物品であるか、もしくは、バーコード認識部５３（バーコード読取手段）の読み取り結果を必要とする対象物品であるかを判定する。そして、オブジェクト認識適用判定部５５の判定結果に基づいて、表示制御部７２（画像表示制御手段）が、第３の表示デバイス１０６（表示手段）への撮像画像の表示状態を制御する。したがって、商品登録を行う際に商品候補抽出部７１の認識結果を必要とする対象物品である場合には、物品Ｇの撮像画像を見やすく表示することができる。これによって、物品Ｇの画像を撮像する際に、商品の撮像範囲からのはみ出しを防止して、認識しやすい画像を撮像することができる。

【0110】

また、実施形態に係るチェックアウトシステム１によれば、オブジェクト認識適用判定部５５（判定手段）は、特徴量抽出部５４（抽出手段）が抽出した、オブジェクト認識の非対象物品らしさを表す特徴量８０ｂ（第２の特徴量）に基づいて、物品Ｇがオブジェクト認識の非対象物品かを判別する。したがって、物品Ｇの登録を行う際に、オブジェクト認識が必要であるかを確実に判定することができる。

【0111】

そして、実施形態に係るチェックアウトシステム１によれば、オブジェクト認識適用判定部５５（判定手段）は、バーコード認識部５３（バーコード読取手段）が物品Ｇのコードシンボルの読み取りを開始してから所定時間内にコードシンボルを読み取ることができないことを条件として、物品Ｇをオブジェクト認識の対象物品であると判定する。したがって、物品Ｇの登録を行う際に、オブジェクト認識が必要であるかを確実に判定することができる。

【0112】

さらに、実施形態に係るチェックアウトシステム１によれば、表示制御部７２（表示制御手段）は、オブジェクト認識適用判定部５５（判定手段）が、物品Ｇをオブジェクト認識の対象物品であると判定したことを条件として、第３の表示デバイス１０６（表示手段）に物品Ｇの撮像画像を表示する。そして、オブジェクト認識適用判定部５５が、物品Ｇをオブジェクト認識の非対象物品であると判定したことを条件として、第３の表示デバイス１０６（表示手段）に物品Ｇの撮像画像を表示しない。したがって、オブジェクト認識処理が必要であるときには、特別な操作を行うことなしに、撮像した物品Ｇの画像を見やすく表示することができる。

【0113】

また、実施形態に係るチェックアウトシステム１によれば、表示制御部７２（表示制御手段）は、オブジェクト認識適用判定部５５（判定手段）が、物品Ｇをオブジェクト認識の非対象物品であると判定したことを条件として、第３の表示デバイス１０６（表示手段）に撮像画像を所定の表示サイズで表示する。そして、オブジェクト認識適用判定部５５が、物品Ｇをオブジェクト認識の対象物品であると判定したことを条件として、第３の表示デバイス１０６（表示手段）に撮像画像を所定の表示サイズよりも拡大して表示する。したがって、オブジェクト認識処理が必要であるときには、特別な操作を行うことなしに、撮像した商品の画像を見やすく表示することができる。

【0114】

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0115】

１ チェックアウトシステム
１１ ＰＯＳ端末
５３ バーコード認識部（バーコード読取手段）
５４ 特徴量抽出部（抽出手段）
５５ オブジェクト認識適用判定部（判定手段）
７１ 商品候補抽出部（オブジェクト認識手段）
７２ 表示制御部（表示制御手段）
８０ａ 特徴量（第１の特徴量）
８０ｂ 特徴量（第２の特徴量）
１０１ 物品読取装置
１０６ 第３の表示デバイス（表示手段）

【先行技術文献】

【特許文献】

【0116】

【文献】特開２０１３－８９０８４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】