【解決手段】情報処理装置は、指定手段と、登録手段と、表示制御手段とを備える。前記指定手段は、物品を指定する。前記登録手段は、前記指定手段が指定した前記物品の情報を登録する。前記表示制御手段は、前記登録手段が登録した前記情報に基づいて、前記登録手段に指示するための操作部を表示部に表示させる。
前記表示制御手段は、前記指定手段が指定した前記物品を登録する前記操作部を表示する登録画面に、前記登録手段が登録した前記物品と同じ種類の前記物品を登録する前記操作部を表示させる、
請求項1に記載の情報処理装置。
前記登録手段は、前記操作部により指示された前記物品を登録したことを条件に、当該操作部が表示されていた位置を示す位置情報と、当該操作部により特定される前記物品の前記情報とを関連付けて登録し、
前記表示制御手段は、前記位置情報が示す位置に前記操作部を表示させる、
請求項1又は2に記載の情報処理装置。
【発明を実施するための形態】
【0008】
以下、図面を参照して、実施形態に係る情報処理装置及びプログラムについて詳細に説明する。以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【0009】
(第1の実施形態)
図1は、第1の実施形態に係るチェックアウトシステム1の一例を示す斜視図である。チェックアウトシステム1は、商品に関する情報を読み取る商品読取装置101と、一取引に係る商品の登録、精算を行うPOS(Point Of Sales)端末11とを備える。以下、POS端末11を第1の実施形態に係る情報処理装置として適用した例について説明する。また、一般物体認識の対象の物品の一例として、対象物品が商品である場合について説明するが、対象物品は商品以外の物品であってもよい。
【0010】
POS端末11は、チェックアウト台41上のドロワ21上面に載置される。ドロワ21は、POS端末11により開放動作が制御される。POS端末11は、上面に操作者(店員)によって操作されるキーボード22を備える。POS端末11は、キーボード22を操作する操作者から見てキーボード22よりも奥側に、操作者に向けて各種情報を表示する第1表示部23を備える。第1表示部23は、各種操作を受け付けるタッチパネル26を備える。POS端末11は、第1表示部23よりも更に奥側に、回転可能に立設した第2表示部24を備える。
図1に示す第2表示部24は、
図1中手前側に向いているが、
図1中奥側に向くように回転させることにより、顧客に各種情報を表示する。
【0011】
横長テーブル状のカウンタ台151は、POS端末11が載置されているチェックアウト台41とL字を形成するよう配置される。カウンタ台151には、商品を収納する買物カゴ153が載置される。なお、買物カゴ153は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。または、買物カゴ153は、箱状や袋状等であってもよい。買物カゴ153には、顧客が持ち込む第1の買物カゴ154と、第1の買物カゴ154から商品読取装置101を挟んだ位置に載置される第2の買物カゴ155とがある。
【0012】
カウンタ台151には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置される。商品読取装置101は、薄型矩形形状のハウジング102に内蔵される。ハウジング102は、正面に読取窓103を備える。ハウジング102は、上部に表示操作部104が取り付けられる。
【0013】
表示操作部104は、タッチパネル105が表面に積層された第1表示部106を備える。商品読取装置101は、第1表示部106の右隣にキーボード107を備える。商品読取装置101は、キーボード107の右隣には、カードリーダ111(
図2参照)のカード読取溝108を備える。商品読取装置101は、操作者から見て表示操作部104の裏面左奥側には、顧客に向けて情報を提供する第2表示部109を備える。
【0014】
商品読取装置101は、ハウジング102の内部に商品読取部110(
図2参照)を備える。商品読取部110は、読取窓103の奥側に撮像部164(
図2参照)を備える。
【0015】
第1の買物カゴ154には、一取引に係る商品が収納されている。商品読取装置101を操作する操作者は、第1の買物カゴ154内の商品を第2の買物カゴ155に移動する。操作者は、この移動過程において、商品を商品読取装置101の読取窓103にかざす。この際、読取窓103内に配置された撮像部164(
図2参照)は、商品を撮像する。
【0016】
図2は、POS端末11及び商品読取装置101のハードウェア構成の一例を示すブロック図である。POS端末11は、CPU(Central Processing Unit)61と、ROM(Read Only Memory)62と、RAM(Random Access Memory)63と、記憶部64と、通信インタフェース65と、キーボード22と、第1表示部23と、タッチパネル26と、第2表示部24と、接続インタフェース66と、ドロワ21と、プリンタ67とを備える。CPU61と、ROM62と、RAM63と、記憶部64と、通信インタフェース65と、キーボード22と、第1表示部23と、タッチパネル26と、第2表示部24と、接続インタフェース66と、ドロワ21と、プリンタ67とは、バスを介して接続されている。
【0017】
CPU61は、POS端末11の動作を統括的に制御する。ROM62は、各種プログラムやデータを記憶する。RAM63は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。また、RAM63は、後述する画像データテーブル72と、後述する売上登録テーブル73とを記憶する。なお、画像データテーブル72及び売上登録テーブル73は、RAM63に限らず、記憶部64等の他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
【0018】
キーボード22は、POS端末11を操作する各種キーを備える。例えば、キーボード22は、一取引に係る商品を登録する商品登録処理を終了する締めキー等を備える。
【0019】
記憶部64は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記憶装置である。記憶部64は、制御プログラム70と、PLUファイル71とを記憶する。なお、PLUファイル71は、記憶部64に限らず、他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。
【0020】
制御プログラム70は、オペレーティングシステムや、POS端末11が備えている機能を発揮させるためのプログラムである。制御プログラム70には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【0021】
PLUファイル71は、店舗に陳列して販売する各種商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。ここで、
図3は、PLUファイル71のデータ構成の一例を示す説明図である。PLUファイル71は、商品ごとに、商品コードと、商品情報と、イラスト画像と、照合用特徴量とを関連付けて記憶する。商品コードは、商品を識別可能な識別情報である。商品情報は、商品が属する商品分類、商品名、単価等の情報である。イラスト画像は、その商品を示す画像である。照合用特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。尚、照合用特徴量は、後述する類似度の判定に用いられる照合用のデータである。
【0022】
図2に戻り、POS端末11のCPU61には、通信インタフェース65が接続される。通信インタフェース65は、ネットワークを介して、ストアコンピュータ等の外部機器と通信するためのインタフェースである。
【0023】
接続インタフェース66は、商品読取装置101と接続するためのインタフェースである。プリンタ67は、一取引における取引内容をレシート用紙に印字する。
【0024】
商品読取装置101の商品読取部110は、CPU161と、ROM162と、RAM163と、撮像部164と、音声出力部165と、接続インタフェース175とを備える。CPU161と、ROM162と、RAM163と、撮像部164と、音声出力部165と、接続インタフェース175とは、バスを介して接続されている。
【0025】
CPU161は、商品読取装置101の動作を統括的に制御する。ROM162は、各種プログラムやデータを記憶する。RAM163は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。
【0026】
撮像部164は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等のイメージセンサ(不図示)とLEDなどの光源(不図示)とを備える。そして、撮像部164は、CPU161の制御の下で読取窓103の内部から撮像を行う。例えば撮像部164は、30fps(Frame Per Second)等のフレームレートで画像データを撮像する。撮像部164は、順次撮像した画像データをRAM163に保存する。
【0027】
音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音や音声による報知を行う。
【0028】
接続インタフェース175は、POS端末11及び表示操作部104と接続するためのインタフェースである。
【0029】
商品読取装置101の表示操作部104は、接続インタフェース176と、キーボード107と、第1表示部106と、タッチパネル105と、第2表示部109と、カードリーダ111とを備える。接続インタフェース176と、キーボード107と、第1表示部106と、タッチパネル105と、第2表示部109と、カードリーダ111とは、バスを介して接続されている。
【0030】
接続インタフェース176は、POS端末11及び商品読取部110と接続するためのインタフェースである。
【0031】
カードリーダ111は、クレジットカード等の決済に用いるカードの記憶媒体が記憶する情報の読み取りを実行する装置である。カードリーダ111は、カード読取溝108に挿入されたカードの記憶媒体が記憶する情報の読み取りを実行する。
【0032】
表示操作部104は、商品読取部110のCPU161、又はPOS端末11のCPU61によって動作が制御される。
【0033】
次に、POS端末11が有する特徴的な機能について説明する。ここで、
図4は、POS端末11が有する特徴的な機能構成を示すブロック図である。CPU61は、記憶部64の制御プログラム70をRAM63に展開し、制御プログラム70に従って動作することで、
図4に示す各機能部をRAM63に生成する。具体的には、CPU61は、機能部として、画像取込部611と、商品検出部612と、特徴量抽出部613と、類似度算出部614と、記憶制御部615と、商品識別部616と、商品登録部617と、表示制御部618と、操作制御部619とを備える。
【0034】
画像取込部611は、商品読取装置101に撮像要求を出力して撮像部164に撮像動作を開始させる。撮像部164は、順次撮像した画像データをRAM163に記憶する。商品読取装置101は、RAM163に記憶された画像データをPOS端末11の画像取込部611に順次出力する。そして、画像取込部611は、撮像部164が撮像した画像データの入力を順次受け付ける。
【0035】
検出手段である商品検出部612は、画像取込部611が受け付けた画像データに含まれている商品を検出する。例えば、商品検出部612は、画像データに含まれる商品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部612は、画像データを2値化した画像から輪郭線等を抽出する。商品検出部612は、予め用意した画像データから抽出した輪郭線と、検出対象の画像データから抽出した輪郭線との差分に基づいて、商品を検出する。ここで、予め用意した画像データは、商品等が含まれていない背景を撮像部164が撮像した画像データである。よって、商品検出部612は、検出対象の画像データに商品が含まれていることを条件に、予め用意した画像データから抽出した輪郭線にはない輪郭線を、検出対象の画像データから抽出した輪郭線から検出することができる。そして、商品検出部612は、予め用意した画像データから抽出した輪郭線にはない輪郭線に基づいて商品を検出する。
【0036】
特徴量抽出部613は、撮像部164が撮像した画像データから商品検出部612が検出した商品の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。
【0037】
類似度算出部614は、PLUファイル71に登録された商品の照合用特徴量と、特徴量抽出部613が抽出した商品の特徴量とを比較することで、PLUファイル71に登録された商品の各々との類似度を算出する。ここで、類似度は、PLUファイル71に記憶されている商品の照合用特徴量を100%=「類似度:1.0」とした場合に、商品の全部または一部がどの程度類似しているかを示すものである。なお、類似度算出部614は、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
【0038】
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成28年4月29日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【0039】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成28年4月29日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【0040】
なお、PLUファイル71に登録された各種商品の照合用特徴量と、特徴量抽出部613が抽出した商品の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度算出部614は、PLUファイル71に登録された商品の照合用特徴量と、特徴量抽出部613が抽出した商品の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【0041】
記憶制御部615は、撮像部164が撮像した画像データ等を画像データテーブル72に記憶させる。ここで、
図5は、画像データテーブル72のデータ構成の一例を示す説明図である。画像データテーブル72は、識別番号と、画像データと、特徴量と、類似度と、商品コードとを関連付けて一又は複数記憶する。識別番号は、画像データテーブル72に記憶された情報を識別可能な識別情報である。画像データは、画像取込部611が受け付けた画像データである。すなわち、画像データは、画像データに含まれる商品の一般物体認識に使用された画像データである。特徴量は、関連付けられた画像データに含まれる商品について特徴量抽出部613が抽出した特徴量である。類似度は、関連付けられた画像データに含まれる商品の特徴量と、PLUファイル71に登録された各種商品の照合用特徴量との類似度のうち最も高い類似度である。商品コードは、類似度が最も高かった商品の商品コードである。そして、記憶制御部615は、商品が売上登録されたことを条件に、画像データテーブル72に記憶させた画像データ等を全て削除する。なお、記憶制御部615は、画像データと、特徴量と、類似度と、商品コードとを同一のデータテーブルに限らず、それぞれ異なったデータテーブルに記憶させてもよい。
【0042】
図4に戻り、抽出手段である商品識別部616は、画像データテーブル72に記憶された類似度に基づいて、画像データに含まれる商品に該当する商品の商品情報をPLUファイル71から抽出する。すなわち、商品識別部616は、撮像部164が撮像した商品の商品情報を抽出する。本実施形態において商品識別部616は、画像データテーブル72に記憶された類似度に応じて、確定商品と、商品候補と、識別不可との段階に分けて抽出する。なお、類似度に応じた分類分けは、一例であって、他の方法による分類分けであってもよい。
【0043】
商品識別部616は、第1条件として、画像データテーブル72において同一の商品について第1閾値以上の類似度が所定個数以上登録されているか否かを判定する。商品識別部616は、第1条件を満たしていることを条件に確定商品として、商品検出部612が検出した商品に該当する商品をPLUファイル71から抽出する。そして、商品識別部616は、確定商品の商品情報をPLUファイル71から抽出する。確定商品とは、操作者による確認操作によらずに、画像データテーブル72に記憶された類似度に基づいて、自動登録可能な商品であることを示している。自動登録とは、操作者による確認操作を求めずに確定商品を販売対象の商品として売上登録する処理である。
【0044】
また、商品識別部616は、第1条件を満たしていないことを条件に第2条件として、画像データテーブル72において同一の商品について第2閾値以上の類似度が所定個数以上登録されているか否かを判定する。なお、第2閾値は、第1閾値よりも低いものとする。抽出手段である商品識別部616は、第2条件を満たしていることを条件に商品候補として、商品検出部612が検出した商品に該当する一又は複数の商品をPLUファイル71から抽出する。そして、商品識別部616は、商品候補の商品情報をPLUファイル71から抽出する。商品候補とは、画像データテーブル72に記憶された類似度に基づいて、商品検出部612が検出した商品に該当する商品の候補であることを示している。すなわち、商品候補は、撮像部164が撮像した商品の候補であることを示している。そして、商品候補は、一又は複数の商品候補から該当する商品を選択させる等の操作者の確認操作により販売対象の商品として売上登録される。
【0045】
また、商品識別部616は、第2条件を満たしていないことを条件に、識別不可と判定する。商品識別部616は、識別不可と判定したことを条件に、PLUファイル71から商品情報を抽出しない。
【0046】
商品登録部617は、商品識別部616等の指定手段により指定された商品を販売対象の商品として売上登録する。すなわち、商品登録部617は、販売対象の商品の商品情報を売上登録する。商品登録部617は、商品識別部616が確定商品と判定した場合には、該当する商品を販売対象の商品として売上登録する。または、商品登録部617は、商品識別部616が商品候補として抽出した場合には、商品候補から選択された商品を販売対象の商品として売上登録する。なお、商品登録部617は、撮像部164等がコードシンボル等を読み取った場合等においても、コードシンボルが示す商品コードにより特定される商品を販売対象の商品として売上登録する。
【0047】
さらに詳しくは、登録手段である商品登録部617は、商品識別部616等により販売対象の商品に指定された商品について各種情報を売上登録テーブル73に登録する。ここで、
図6は、売上登録テーブル73のデータ構成の一例を示す説明図である。売上登録テーブル73は、識別番号と、商品コードと、商品情報とを関連付けて記憶する。識別番号は、売上登録テーブル73に記憶された情報を識別可能な識別情報である。商品コードは、売上登録する商品の商品コードである。商品情報は、関連付けられた商品コードの商品の商品情報である。商品登録部617は、一取引に係る商品を登録する商品登録処理が終了した場合等に売上登録テーブル73に記憶された情報をストアサーバ等に送付する。さらに、商品登録部617は、売上登録テーブル73に記憶された情報を消去する。
【0048】
表示制御部618は、第1表示部23、第2表示部24、第1表示部106、及び第2表示部109の全部又は一部を制御して、各種画面を表示させる。例えば、表示制御部618は、第1表示部106に商品登録画面1000を表示させる。そして、表示制御部618は、商品登録画面1000において、商品登録部617が売上登録テーブル73に登録した各種情報に基づいて、商品コードにより特定される商品を商品登録部617に登録させる操作部を表示させる。
【0049】
ここで、
図7は、商品登録画面1000の一例を示す説明図である。商品登録画面1000は、販売対象の商品の商品コードを登録する画面である。商品登録画面1000は、撮像画像表示領域1100と、登録画面ボタン1200と、商品候補表示領域1300と、登録履歴表示領域1400とを備える。撮像画像表示領域1100は、画像取込部611が入力を受け付けた画像データを表示する領域である。すなわち、撮像画像表示領域1100は、撮像部164が撮像した画像データを表示する領域である。登録画面ボタン1200は、商品一覧から選択した商品のボタンを押下することで販売対象の商品を売上登録する画面を表示させるボタンである。商品候補表示領域1300は、商品候補ボタン1301を表示する領域である。商品候補ボタン1301は、商品識別部616が指定した商品候補の商品を販売対象の商品として売上登録することを指示する操作部である。登録履歴表示領域1400は、登録履歴ボタン1401(
図8参照)を表示する領域である。登録履歴ボタン1401は、売上登録テーブル73に記憶された商品コードにより特定される商品を販売対象の商品として売上登録することを指示する操作部である。ここで、
図7に示す商品登録画面1000は、売上登録テーブル73に商品コードが記憶されていない状態を想定しているため登録履歴ボタン1401が表示されていない。
【0050】
ここで、
図8は、売上登録テーブル73に商品コードが記憶されている状態の商品登録画面1000の一例を示す説明図である。表示制御手段である表示制御部618は、商品登録画面1000に、商品登録部617が売上登録テーブル73に登録した各種情報に基づいて、商品コードにより特定される商品を商品登録部617に登録させる操作部である登録履歴ボタン1401を表示させる。
図8に示す商品登録画面1000は、売上登録テーブル73に商品コードが記憶されている状態を想定しているため登録履歴ボタン1401が表示されている。ここで、表示制御部618は、売上登録テーブル73に商品コードが記憶されていることを条件に、商品コードにより特定される商品を販売対象の商品として売上登録する登録履歴ボタン1401を表示する。すなわち、表示制御部618は、商品識別部616が商品候補を抽出するか否かに関わらず登録履歴ボタン1401を表示する。よって、
図8に示す商品登録画面1000は、撮像画像表示領域1100に商品が撮像されておらず、商品候補表示領域1300に商品候補ボタン1301が表示されていない状態においても、登録履歴ボタン1401を表示している。
【0051】
表示制御部618は、売上登録テーブル73に記憶された商品の全部又は一部の商品を販売対象の商品として売上登録する登録履歴ボタン1401を登録履歴表示領域1400に表示させる。表示制御部618は、例えば登録履歴表示領域1400が狭くて全ての登録履歴ボタン1401を表示させることができない場合等には、登録履歴表示領域1400をスクロール可能とすることにより全ての登録履歴ボタン1401を表示させる。または、表示制御部618は、別画面に残りの登録履歴ボタン1401を表示させる。また、表示制御部618は、売上登録テーブル73に記憶された商品から選出した商品を登録履歴表示領域1400に表示してもよい。例えば、表示制御部618は、最近売上登録された商品の登録履歴ボタン1401を表示させる。または、表示制御部618は、最近使用された登録履歴ボタン1401を残し、使用されていない登録履歴ボタン1401を消去する等のアルゴリズムにより選出した登録履歴ボタン1401を登録履歴表示領域1400に表示させる。
【0052】
操作制御部619は、キーボード22、タッチパネル26、タッチパネル105、及びキーボード107の全部又は一部を制御して、各種操作を受け付ける。
【0053】
次に、POS端末11が実行する商品登録処理について説明する。ここで、
図9は、第1の実施形態のPOS端末11が実行する商品登録処理の一例を示すフローチャート図である。
【0054】
まず、POS端末11の表示制御部618は、商品登録画面1000を表示させる(ステップS1)。
【0055】
次いで、POS端末11の画像取込部611は、商品読取部110に撮像部164による撮像開始を要求する(ステップS2)。
【0056】
次いで、POS端末11の表示制御部618は、売上登録テーブル73に商品コードが記憶されているか否かを判定する(ステップS3)。売上登録テーブル73に商品コードが記憶されていないことを条件に(ステップS3;No)、POS端末11は、ステップS5に移行する。
【0057】
一方、売上登録テーブル73に商品コードが記憶されていることを条件に(ステップS3;Yes)、POS端末11の表示制御部618は、登録履歴ボタン1401を登録履歴表示領域1400に表示させる(ステップS4)。すなわち、表示制御部618は、売上登録テーブル73に登録されている商品コードにより特定された商品を売上登録する登録履歴ボタン1401を表示させる。
【0058】
次いで、POS端末11の画像取込部611は、商品読取部110から撮像部164が撮像した画像データの入力を受け付ける(ステップS5)。次いで、POS端末11の特徴量抽出部613は、商品検出部612が検出した商品の特徴量を抽出する(ステップS6)。次いで、POS端末11の類似度算出部614は、特徴量抽出部613が抽出した特徴量と、PLUファイル71の各商品の照合用特徴量とを比較して、商品ごとの類似度を算出する(ステップS7)。
【0059】
次いで、POS端末11の記憶制御部615は、類似度と、特徴量と、画像データと、類似度が最も高かった商品の商品コードとを画像データテーブル72に記憶させる(ステップS8)。
【0060】
次いで、POS端末11の商品識別部616は、類似度に基づいて、確定商品を抽出することができるか否かを判定する(ステップS9)。確定商品を抽出することができることを条件に(ステップS9;Yes)、POS端末11の商品登録部617は、抽出した確定商品を販売対象の商品として売上登録テーブル73に売上登録する(ステップS10)。
【0061】
一方、確定商品を抽出することができないことを条件に(ステップS9;No)、POS端末11の商品識別部616は、類似度に基づいて、商品候補を抽出することができるか否かを判定する(ステップS11)。商品候補を抽出することができないことを条件に(ステップS11;No)、POS端末11は、ステップS3に移行する。
【0062】
一方、商品候補を抽出することができることを条件に(ステップS11;Yes)、POS端末11の表示制御部618は、抽出した商品候補を売上登録する商品候補ボタン1301を商品候補表示領域1300に表示する(ステップS12)。
【0063】
次いで、POS端末11の商品登録部617は、商品候補ボタン1301が押下されたか否かを判定する(ステップS13)。商品候補ボタン1301が押下されないことを条件に(ステップS13;No)、POS端末11は、ステップS3に移行する。
【0064】
一方、商品候補ボタン1301が押下されたことを条件に(ステップS13;Yes)、POS端末11の商品登録部617は、商品候補ボタン1301に関連付けられた商品を販売対象の商品として売上登録テーブル73に売上登録する(ステップS14)。
【0065】
次いで、POS端末11の操作制御部619は、締めキーの押下を検出したか否かを判定する(ステップS15)。締めキーの押下を検出しないことを条件に(ステップS15;No)、POS端末11は、ステップS3に移行する。
【0066】
一方、締めキーの押下を検出したことを条件に(ステップS15;Yes)、POS端末11は、商品登録処理を終了する。
【0067】
以上により、POS端末11は、商品登録処理を終了する。
【0068】
以上のように、第1の実施形態に係るPOS端末11によれば、商品登録部617は、商品識別部616等が抽出した商品候補から選択された商品の商品コードを売上登録テーブル73に登録する。そして、表示制御部618は、売上登録テーブル73に登録された商品コードに基づいて、商品を売上登録する商品登録画面1000を表示する。さらに詳しくは、表示制御部618は、売上登録テーブル73に登録された商品コードにより特定される商品を登録する登録履歴ボタン1401を商品登録画面1000に表示する。よって、POS端末11の操作者は、売上登録済みの商品を再度売上登録する場合に、商品を撮像部164にかざすことなく、商品を売上登録することができる。従って、POS端末11は、容易に物品を登録させることができる。
【0069】
(第2の実施形態)
次に、第2の実施形態について説明する。なお、第1の実施形態との相違点の説明を主に行い、第1の実施形態と同様の機能を有する構成要素については、第1の実施形態と同様の名称・符号を付し、その説明を省略する。
【0070】
第2の実施形態に係るPOS端末11は、既に同一種類の商品を一般物体認識により売上登録していることを条件に、商品候補表示領域1300について、前回の一般物体認識と同一の位置に商品候補ボタン1301を表示させる。
【0071】
商品登録部617は、商品識別部616が一般物体認識により識別した商品候補から選択された商品を売上登録したことを条件に、売上登録した商品の各種情報を売上登録テーブル74に記憶させる。ここで、
図10は、第2の実施形態に係る売上登録テーブル74のデータ構成の一例を示す説明図である。売上登録テーブル74は、識別番号と、商品コードと、商品情報と、位置情報とを関連付けて記憶する。第2の実施形態に係る売上登録テーブル74の識別番号と、商品コードと、商品情報とは、第1の実施形態に係る売上登録テーブル73の識別番号と、商品コードと、商品情報と同じ情報である。位置情報は、商品候補表示領域1300における商品候補ボタン1301が表示されていた位置を示す情報である。
【0072】
表示制御部618は、商品登録画面1000を表示させる。表示制御部618は、商品候補表示領域1300に、商品登録部617が売上登録テーブル74に登録した各種情報に基づいて、商品コードにより特定される商品を商品登録部617に登録させる操作部である商品候補ボタン1301を表示させる。さらに詳しくは、表示制御部618は、商品識別部616が抽出した商品候補の商品コードが売上登録テーブル74に含まれていることを条件に、該当する商品コードに関連付けられている位置情報が示す位置に商品候補ボタン1301を表示させる。一方、表示制御部618は、商品識別部616が抽出した商品候補の商品コードが売上登録テーブル74に含まれていないことを条件に、予め定められた規則等に基づいた位置に商品候補ボタン1301を表示させる。ここで、予め定められた規則とは、例えば、抽出された商品候補の類似度の順番等である。
【0073】
ここで、
図11は、商品登録画面1000の一例を示す説明図である。
図11に示す商品登録画面1000は、商品Eと、商品Fと、商品Gと、商品Dとの商品候補ボタン1301を商品候補表示領域1300に表示している。また、売上登録テーブル74には、商品Dの商品コードが登録されている。そして、類似度の高さは、商品D、商品E、商品F、商品Gの順番になっている。よって、表示制御部618は、仮に商品Dが売上登録テーブル74に登録されていなければ、
図11に示す商品Eの位置に商品Dを、商品Fの位置に商品E、商品Gの位置に商品F、商品Dの位置に商品Gを表示する。しかし、表示制御部618は、商品Dの商品コードが売上登録テーブル74に登録されていることを条件に、
図11に示す位置に商品Dを表示する。なお、第2の実施形態に係る商品登録画面1000は、登録履歴表示領域1400を有していなくてもよい。
【0074】
次に、第2の実施形態に係るPOS端末11が実行する商品登録処理について説明する。ここで、
図12は、第2の実施形態のPOS端末11が実行する商品登録処理の一例を示すフローチャート図である。
【0075】
まず、POS端末11の表示制御部618は、商品登録画面1000を表示させる(ステップS21)。
【0076】
次いで、POS端末11の画像取込部611は、商品読取部110に撮像部164による撮像開始を要求する(ステップS22)。
【0077】
ステップS23からステップS29までの処理は、第1の実施形態に係るステップS5からステップS10までの処理と同じである。
【0078】
次いで、POS端末11の表示制御部618は、抽出した商品候補の商品コードが売上登録テーブル74に含まれているか否かを判定する(ステップS30)。抽出した商品候補の商品コードが売上登録テーブル74に含まれていることを条件に(ステップS30;Yes)、POS端末11の表示制御部618は、商品候補ボタン1301を位置情報が示す位置に表示する(ステップS31)。
【0079】
一方、抽出した商品候補の商品コードが売上登録テーブル74に含まれていないことを条件に(ステップS30;No)、POS端末11の表示制御部618は、商品候補ボタン1301を予め定められた規則に基づいた位置に表示する(ステップS32)。
【0080】
次いで、POS端末11の操作制御部619は、商品候補ボタン1301が押下されたか否かを判定する(ステップS33)。商品候補ボタン1301が押下されないことを条件に(ステップS33;No)、POS端末11は、ステップS23に移行する。
【0081】
一方、商品候補ボタン1301が押下されたことを条件に(ステップS33;Yes)、POS端末11の商品登録部617は、商品候補ボタン1301に関連付けられた商品を販売対象の商品として売上登録テーブル74に売上登録する(ステップS34)。
【0082】
次いで、POS端末11の操作制御部619は、締めキーの押下を検出したか否かを判定する(ステップS35)。締めキーの押下を検出しないことを条件に(ステップS35;No)、POS端末11は、ステップS23に移行する。
【0083】
一方、締めキーの押下を検出したことを条件に(ステップS35;Yes)、POS端末11は、商品登録処理を終了する。
【0084】
以上により、POS端末11は、商品登録処理を終了する。
【0085】
以上のように、第2の実施形態に係るPOS端末11によれば、商品登録部617は、商品識別部616が抽出した商品候補から選択された商品を売上登録したことを条件に、商品コードと、商品情報と、位置情報とを売上登録テーブル74に登録する。そして、表示制御部618は、商品識別部616が抽出した商品候補を登録する商品候補ボタン1301を表示させる場合に、商品候補の商品コードが売上登録テーブル74に含まれていることを条件に、位置情報が示す位置に商品候補ボタン1301を表示させる。すなわち、表示制御部618は、商品候補ボタン1301を前回表示した位置に表示させる。よって、POS端末11は、同じ商品を売上登録する場合に、同じ位置に商品候補ボタン1301を表示することから商品候補ボタン1301の押し間違いを低減させることができる。従って、POS端末11は、容易に物品を登録させることができる。
【0086】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0087】
また、上記実施形態では、特徴的な機能(画像取込部611、商品検出部612、特徴量抽出部613、類似度算出部614、記憶制御部615、商品識別部616、商品登録部617、表示制御部618、及び操作制御部619)を有する情報処理装置としてPOS端末11を適用した。しかし、これに限らず、これら特徴的な機能(画像取込部611、商品検出部612、特徴量抽出部613、類似度算出部614、記憶制御部615、商品識別部616、商品登録部617、表示制御部618、及び操作制御部619)を有する情報処理装置として商品読取装置101を適用してもよい。さらに、これら特徴的な機能は、POS端末11及び商品読取装置101に分散されていてもよい。
【0088】
また、上記実施形態では、POS端末11は、一般物体認識(オブジェクト認識)により識別された商品を売上登録する場合を例に説明している。しかしながら、POS端末11は、一般物体認識(オブジェクト認識)以外の方法により商品を識別してもよい。例えば、POS端末11は、バーコード等のコードシンボルにより指定された商品を売上登録してもよいし、置数キー等により入力された商品コードにより指定された商品を売上登録してもよい。例えば、POS端末11は、バーコード等により指定された商品コードの商品を売上登録した場合には、指定された商品コードを売上登録テーブル73に記憶させる。そして、POS端末11は、売上登録テーブル73に記憶された商品コードの商品を売上登録する登録履歴ボタン1401を表示させる。これにより、POS端末11は、同一商品のバーコードを複数回読み取らなくても、複数個の商品を売上登録することができる。
【0089】
また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像(基準画像)としてもよい。
【0090】
また、上記実施形態では、表示制御部618は、商品候補表示領域1300に商品候補ボタン1301を表示する。また、表示制御部618は、登録履歴表示領域1400に登録履歴ボタン1401を表示すると説明している。しかしながら、表示制御部618は、商品登録画面1000において商品候補表示領域1300と、登録履歴表示領域1400とを区別しなくてもよい。すなわち、表示制御部618は、商品候補ボタン1301と登録履歴ボタン1401とを同一の表示領域に表示してもよい。
【0091】
また、上記実施形態では、商品登録部617は、商品候補ボタン1301が押下されたことを条件に、商品候補ボタン1301の位置を示す位置情報等を売上登録テーブル74に記憶する。そして、表示制御部618は、商品識別部616が抽出した商品候補の商品が売上登録テーブル74に含まれていることを条件に、位置情報と同じ位置に表示させると説明している。しかしながら、商品登録部617は、商品候補ボタン1301以外の商品を登録する登録ボタンが押下された場合であっても、登録ボタンの位置を示す位置情報等を売上登録テーブル74に記憶してもよい。例えば、商品登録部617は、登録履歴ボタン1401が押下されたことを条件に、登録履歴ボタン1401の位置を示す位置情報等を売上登録テーブル74に記憶してもよい。この場合には、表示制御部618は、売上登録テーブル74に記憶された位置情報の位置に登録履歴ボタン1401を表示させる。
【0092】
また、上記実施形態では、POS端末11と商品読取装置101とを備えるチェックアウトシステム1に適用した。しかし、これに限るものではなく、POS端末11及び商品読取装置101の機能を備えた1台構成の装置に適用するようにしてもよい。POS端末11及び商品読取装置101の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。
【0093】
ここで、
図13は、セルフPOS200の構成の一例を示す斜視図である。
図14は、セルフPOS200のハードウェア構成の一例を示すブロック図である。尚、以下では、
図1および
図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。
図13および
図14に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された第1表示部106や、商品の種別等を認識(検出)するために商品画像を読み取る商品読取部110を備える。
【0094】
第1表示部106は、例えば液晶表示器である。第1表示部106は、商品登録画面1000を表示する。そして、第1表示部106は、売上登録テーブル73に記憶された商品の全部又は一部の商品を販売対象の商品として売上登録する登録履歴ボタン1401を登録履歴表示領域1400に表示させる。または、第1表示部106は、商品識別部616が抽出した商品候補の商品コードが売上登録テーブル73に含まれていることを条件に、該当する商品コードに関連付けられている位置情報が示す位置に商品候補ボタン1301を表示させる。または、第1表示部106は、顧客にセルフPOS200の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部110で読み込んだ商品情報を表示する登録画面を表示する。または、第1表示部106は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
【0095】
商品読取部110は、顧客が商品に付されたコードシンボルを商品読取部110の読取窓103にかざすことで商品画像を撮像部164により読み取る。
【0096】
また、セルフPOS200は、本体202の右側に、かごに入った未精算の商品を置くための商品載置台203を備える。セルフPOS200は、本体202の左側に、精算済みの商品を置くための商品載置台204を備える。商品載置台204は、精算済みの商品を入れるための袋を掛ける袋掛けフック205や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台206を備える。商品載置台203、204は、計量器207、208がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有する。
【0097】
また、セルフPOS200の本体202は、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器201を備える。
【0098】
このような構成のセルフPOS200をチェックアウトシステム1に適用した場合、セルフPOS200が情報処理装置として機能することになる。
【0099】
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【0100】
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。