特許第6863296号(P6863296)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
特許6863296情報処理装置、情報処理方法、及び、プログラム
<>
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000002
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000003
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000004
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000005
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000006
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000007
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000008
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000009
  • 特許6863296-情報処理装置、情報処理方法、及び、プログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6863296
(24)【登録日】2021年4月5日
(45)【発行日】2021年4月21日
(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム
(51)【国際特許分類】
   G07G 1/00 20060101AFI20210412BHJP
   G07G 1/12 20060101ALI20210412BHJP
【FI】
   G07G1/00 311D
   G07G1/12 361E
   G07G1/12 321N
   G07G1/12 321P
【請求項の数】12
【全頁数】22
(21)【出願番号】特願2017-562453(P2017-562453)
(86)(22)【出願日】2016年11月24日
(86)【国際出願番号】JP2016084745
(87)【国際公開番号】WO2017126217
(87)【国際公開日】20170727
【審査請求日】2019年10月9日
(31)【優先権主張番号】特願2016-9603(P2016-9603)
(32)【優先日】2016年1月21日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】金野 大
(72)【発明者】
【氏名】岩元 浩太
(72)【発明者】
【氏名】松本 信一
(72)【発明者】
【氏名】伊藤 善弘
(72)【発明者】
【氏名】山崎 晋哉
(72)【発明者】
【氏名】多賀 可菜子
【審査官】 毛利 太郎
(56)【参考文献】
【文献】 特開2004−213232(JP,A)
【文献】 特開2013−214282(JP,A)
【文献】 特開2012−053785(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G07G 1/00− 1/14
G06Q 10/00−99/00
(57)【特許請求の範囲】
【請求項1】
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも1つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識する媒体認識手段と、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段と、
を有し、
1つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つとが含まれる場合、前記商品認識手段は前記1つの画像内の前記商品を認識し、前記媒体認識手段は前記1つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを載置する場所を示す像を表示させる情報処理装置。
【請求項2】
請求項1に記載の情報処理装置において、
前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つが写る前記画像内のエリアで文字情報を認識する文字認識手段をさらに有し、
前記支払処理手段は、前記文字認識手段による認識結果を用いて、支払処理を行う情報処理装置。
【請求項3】
請求項2に記載の情報処理装置において、
同種の前記支払媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記支払媒体の前記デザインの特徴量が登録され、
前記媒体認識手段は、前記支払媒体の種類を認識し、
前記文字認識手段は、前記固有情報を認識する情報処理装置。
【請求項4】
請求項2又は3に記載の情報処理装置において、
同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
前記媒体認識手段は、前記ポイント蓄積媒体の種類を認識し、
前記文字認識手段は、前記固有情報を認識する情報処理装置。
【請求項5】
請求項1に記載の情報処理装置において、
前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定額の前記金券を認識する情報処理装置。
【請求項6】
請求項2に記載の情報処理装置において、
前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記金券を認識し、
前記文字認識手段は、前記金額を認識する情報処理装置。
【請求項7】
請求項1に記載の情報処理装置において、
前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定の割引内容の前記割引クーポンを認識する情報処理装置。
【請求項8】
請求項2に記載の情報処理装置において、
前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記割引クーポンを認識し、
前記文字認識手段は、前記割引内容を認識する情報処理装置。
【請求項9】
請求項1から8のいずれか1項に記載の情報処理装置において、
前記支払媒体及び前記ポイント蓄積媒体の少なくとも一方を載置する場所を示す像はテキストによる指示を含む情報処理装置。
【請求項10】
請求項1から9のいずれか1項に記載の情報処理装置において、
前記支払媒体及び前記ポイント蓄積媒体の少なくとも一方の認識結果に応じて、表示する像を変更する情報処理装置。
【請求項11】
コンピュータが、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得工程と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも1つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識する媒体認識工程と、
前記媒体認識工程での認識結果を用いて、支払処理を行う支払処理工程と、
を実行し、
1つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つとが含まれる場合、前記商品認識工程で前記1つの画像内の前記商品を認識し、前記媒体認識工程で前記1つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを載置する場所を示す像を表示させる情報処理方法。
【請求項12】
コンピュータを、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも1つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識する媒体認識手段、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段、
として機能させ、
前記コンピュータが、
1つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つとが含まれる場合、前記商品認識手段は前記1つの画像内の前記商品を認識し、前記媒体認識手段は前記1つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを載置する場所を示す像を表示させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【0002】
コンビニエンスストア、スーパー、その他の店舗等で、金銭登録機(例:POS(Point Of Sale)レジスター)が広く利用されている。従来、会計時における金銭登録機への対象商品の登録作業は、商品各々に付された商品コードを所定のリーダで読み取ったり、金銭登録機が備える操作対象(操作ボタン、タッチパネルディスプレイ装置等)を操作したりすることでなされていた。当該登録作業を効率化できる技術が求められている。関連技術が、特許文献1乃至3に開示されている。
【0003】
特許文献1には、第1撮像手段と、認識手段と、決定手段とを有する情報処理装置が開示されている。第1撮像手段は、対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する。認識手段は、第1撮像手段による複数の撮像方向の各々で撮像された第1撮像画像の各々から、第1撮像画像に含まれた対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を第1撮像画像毎に認識する。決定手段は、第1撮像画像毎での対象画像の認識結果に基づいて、載置台に載置された対象物の認識結果を決定する。当該発明において、各種情報は、ディスプレイ装置やプリンタを介して出力される。
【0004】
特許文献2には、表示部と、枠線表示手段と、修正受付手段と、枠線修正手段と、商品認識手段と、出力手段とを有する商品読み取り装置が開示されている。表示部は、撮像手段で撮像された画像を表示する。枠線表示手段は、表示部に表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる。修正受付手段は、枠線の修正指示を受付ける。枠線修正手段は、修正指示に従い、画面上の枠線を修正する。商品認識手段は、枠線内の画像に含まれる商品を認識する。出力手段は、商品認識手段により認識された商品の情報を出力する。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。
【0005】
特許文献3には、商品を搬送するベルトコンベア、動作を開始するスタートボタン、作業を指示するディスプレイ装置、商品の高さを計測する高さ計測装置、商品を撮像する撮像装置、高さ計測装置及び撮像装置が商品を検出すると計数する第1のカウンタ、焦点距離等を可変し通過する商品からバーコードを読取ってデコードするバーコードスキャナ、登録処理済みの商品数を計数する第2のカウンタ、撮像装置からの画像を処理して商品の位置、大きさ等を判定し、スキャナの商品データに基づいて登録処理を行い、かつ終了ボタンの操作後、第1、第2のカウンタの計数値が一致したとき登録完了を判断するPOS端末を含む装置が開示されている。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2013−54673号公報
【特許文献2】特開2013−175890号公報
【特許文献3】特開平7−320146号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1乃至3に開示のように、画像認識技術を利用して商品登録を行うことにより、登録作業の効率化が期待される。
【0008】
しかし、会計処理時には、登録作業のみならず、支払処理など他の作業も行われる。支払処理においては、支払いのための支払媒体(例:クレジットカード、金券、紙幣、硬貨、プリペイドカード等)の受け渡しや、当該支払媒体を用いた会計装置の操作や、ポイントカードの受け渡しや、当該ポイントカードを用いた会計装置の操作等の作業が行われる。このため、登録作業を効率化できても、依然、会計処理全体での作業の効率化の余地がある。
【0009】
本発明は、上記問題を解決する手段を提供することを課題とする。
【課題を解決するための手段】
【0010】
本発明によれば、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも1つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識する媒体認識手段と、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段と、
を有し、
1つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つとが含まれる場合、前記商品認識手段は前記1つの画像内の前記商品を認識し、前記媒体認識手段は前記1つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを載置する場所を示す像を表示させる情報処理装置が提供される。
【0011】
また、本発明によれば、
コンピュータが、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得工程と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも1つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識する媒体認識工程と、
前記媒体認識工程での認識結果を用いて、支払処理を行う支払処理工程と、
を実行し、
1つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つとが含まれる場合、前記商品認識工程で前記1つの画像内の前記商品を認識し、前記媒体認識工程で前記1つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを載置する場所を示す像を表示させる情報処理方法が提供される。
【0012】
また、本発明によれば、
コンピュータを、
載置台の上に載置された商品と、前記載置台の上に載置された支払媒体及びポイント蓄積媒体の少なくとも一方とを撮影するカメラが生成した画像のデータを取得する画像データ取得手段、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
媒体特徴量記憶手段に登録されている支払媒体、及び、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体の少なくとも1つの外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識する媒体認識手段、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段、
として機能させ、
前記コンピュータが、
1つの前記画像内に、前記商品と、前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つとが含まれる場合、前記商品認識手段は前記1つの画像内の前記商品を認識し、前記媒体認識手段は前記1つの画像内の前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを認識し、前記載置台の上に前記支払媒体及び前記ポイント蓄積媒体の少なくとも1つを載置する場所を示す像を表示させるプログラムが提供される。
【発明の効果】
【0013】
本発明によれば、会計処理を効率化する技術が実現される。
【図面の簡単な説明】
【0014】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0015】
図1】本実施形態の装置のハードウエア構成の一例を概念的に示す図である。
図2】本実施形態の会計装置の適用例を説明するための図である。
図3】本実施形態の会計装置の機能ブロック図の一例である。
図4】本実施形態の特徴量記憶部に登録される情報の一例を模式的に示す図である。
図5】本実施形態の商品情報記憶部に登録される情報の一例を模式的に示す図である。
図6】本実施形態の媒体特徴量記憶部に登録される情報の一例を模式的に示す図である。
図7】本実施形態の会計装置の処理の流れの一例を示すフローチャートである。
図8】本実施形態の会計装置の機能ブロック図の一例である。
図9】本実施形態の会計装置の適用例を説明するための図である。
【発明を実施するための形態】
【0016】
まず、本実施形態(第1乃至第3の実施形態)の会計装置(情報処理装置)のハードウエア構成の一例について説明する。会計装置の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。
【0017】
図1は、本実施形態の会計装置のハードウエア構成を例示する図である。当該ハードウエア構成は、レジ端末用途に設計された専用装置を用いて実現されてもよいし、PC(Personal Computer)や携帯端末などの汎用装置を用いて実現されてもよい。
【0018】
計算機200は、バス202、プロセッサ204、メモリ206、ストレージ208、入出力インタフェース210、及びネットワークインタフェース212を有する。バス202は、プロセッサ204、メモリ206、ストレージ208、入出力インタフェース210、及びネットワークインタフェース212が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ204などを互いに接続する方法は、バス接続に限定されない。プロセッサ204は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算処理装置である。メモリ206は、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。ストレージ208は、ハードディスク、SSD(Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ208は、RAMやROMなどのメモリであってもよい。
【0019】
入出力インタフェース210は、計算機200と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース210には、タッチパネルディスプレイ装置214、ドロア216、釣り銭機218、プリンタ220、撮像装置230及びプロジェクタ240などが接続される。タッチパネルディスプレイ装置214は、例えば商品の金額を手動で入力するために利用される。また、タッチパネルディスプレイ装置214は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア216は硬貨や紙幣を格納する。釣り銭機218は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。プリンタ220はレシート等の発行を行う。撮像装置230は静止画像及び/又は動画像を撮影する。プロジェクタ240は所定の像を投影する。なお計算機200には、キーボードなど、タッチパネルディスプレイ装置214以外の入力インタフェースが接続されていてもよい。
【0020】
ネットワークインタフェース212は、計算機200を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース212は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば会計装置を実現する計算機200は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。
【0021】
ストレージ208は会計装置の各機能(各機能部)を実現するプログラムモジュールを記憶している。プロセッサ204は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ204は、上記各モジュールを実行する際、これらのモジュールをメモリ206上に読み出してから実行してもよいし、メモリ206上に読み出さずに実行してもよい。
【0022】
会計装置のハードウエア構成は図1に示した構成に限定されない。例えば、各プログラムモジュールはメモリ206に格納されてもよい。この場合、計算機200は、ストレージ208を備えていなくてもよい。また計算機200は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機200はネットワークインタフェース212を有さなくてもよい。また会計装置が代金の支払いの処理に利用されない場合、会計装置はドロア216、釣り銭機218、及びプリンタ220を有さなくてもよい。また、会計装置は撮像装置230が撮影した画像を取得できればよく、撮像装置230自体を有さなくてもよい。この場合、会計装置は撮像装置230と通信可能に構成され、撮像装置230から画像データを取得する。また、会計装置はプロジェクタ240を有さなくてもよい。
【0023】
以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は1つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。
【0024】
<第1の実施形態>
まず、本実施形態の会計装置の概要について説明する。本実施形態の会計装置は、画像認識技術を用いて、商品登録を行うことができる。すなわち、会計装置は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを解析し、画像に写る1つ又は複数の商品を認識する。当該認識においては、各商品の外観の特徴を用いる。そして、会計装置は、認識した1つ又は複数の商品を、精算対象の商品として登録する。
【0025】
また、会計装置は、上記画像のデータを解析し、画像に写る支払媒体やポイント蓄積媒体を認識する。さらに、会計装置は、文字認識技術を用いて、認識した媒体が有する文字情報を認識する。そして、会計装置は、支払媒体やポイント蓄積媒体の認識結果、及び、文字認識結果を用いて、支払処理を実行する。
【0026】
このように、本実施形態の会計装置は、商品登録の効率化のために採用された画像認識技術を用いて、さらに、支払媒体やポイント蓄積媒体、及び、それらが有する文字情報を認識し、認識結果を用いて支払処理を実行する。結果、支払処理の効率化が実現される。
【0027】
次に、図2を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置1及び処理装置4を有する。会計装置は、さらに、撮像装置3を有してもよい。なお、図において、登録装置1及び処理装置4を分けて記載しているが、これらの装置は、物理的及び/又は論理的に一体になって構成されてもよい。また、撮像装置3及び処理装置4を分けて記載しているが、これらの装置は、物理的及び/又は論理的に一体になって構成されてもよい。
【0028】
図1のハードウエア構成は、登録装置1及び処理装置4が論理的に一体となって構成される例を示す。登録装置1及び処理装置4が図1に示す計算機200を備える。そして、登録装置1が図1に示すタッチパネルディスプレイ装置214、ドロア216、釣り銭機218及びプリンタ220を備える。そして、撮像装置3が図1に示す撮像装置230に対応する。
【0029】
撮像装置3は処理装置4と繋がり、通信可能になっている。また、登録装置1は処理装置4と繋がり、通信可能になっている。通信規格は設計的事項である。有線及び無線いずれで通信を行ってもよい。
【0030】
撮像装置3は、動画像及び/又は静止画像を撮像する機能を有する。撮像装置3は、動画像のデータを継続的に撮像してもよい。その他、撮像装置3は、間欠的(周期的も含む)に静止画像を撮像してもよい。この場合、撮像装置3は、予め定められた所定のタイミング(例:作業者からの指示があったタイミング)で撮像を行うことができる。
【0031】
撮像装置3は、例えば、載置台2の載置面を含んで撮像するよう、所定位置に設置される。設置位置は設計的事項である。例えば、撮像装置3は、載置台2の載置面の真上や斜め上方に設置され、当該方向から載置面を撮像してもよい。その他、撮像装置3は、載置台2の載置面上に設置され、横方向から載置面を撮像してもよい。その他、載置台2を透明の部材、及び/又は、透過性を有する半透明の部材を含んで構成し、載置台2の下方に撮像装置3を設置してもよい。この場合、撮像装置3は、載置台2の下側から、載置面を撮像する。
【0032】
処理装置4は、撮像装置3から画像データを取得する。そして、処理装置4は、画像解析を行い、画像に含まれる商品6を認識する。また、処理装置4は、画像解析により、支払媒体及び/又はポイント蓄積媒体である媒体8を認識する。次いで、処理装置4は、画像解析により、認識した媒体8が有する文字情報を認識する。そして、処理装置4は、認識結果を登録装置1に送信する。
【0033】
登録装置1は、処理装置4から受信した認識結果を用いて、精算対象の商品6を登録する機能を有する。すなわち、登録装置1は、処理装置4により認識された商品6を登録する。また、登録装置1は、処理装置4から受信した認識結果を用いて、支払処理を実行する機能を有する。すなわち、登録装置1は、処理装置4により認識された媒体8及び当該媒体8が有する文字情報を用いて、支払処理を実行する。
【0034】
図示する登録装置1は、ディスプレイ装置101、ディスプレイ装置102、コードリーダ103、操作ボタン104及びドロア105を有する。
【0035】
ディスプレイ装置101は、載置台2よりも手前側(商品登録の作業者側)に向いており、主に、登録作業を行う作業者が視認する。ディスプレイ装置101には、会計処理に関する情報や、警告等が表示される。ディスプレイ装置101は、タッチパネルディスプレイ装置であってもよい。
【0036】
ディスプレイ装置102は、載置台2よりも向こう側(顧客側)に向いており、主に、買い物客が視認する。ディスプレイ装置102には、会計処理に関する情報や、広告等が表示される。ディスプレイ装置102は、タッチパネルディスプレイ装置であってもよい。
【0037】
コードリーダ103は、各商品6に付された商品コード(1次元コード、2次元コード等)を読み取る。複数の操作ボタン104の各々は、各種商品、数字、各種機能(例:小計等)に対応しており、各々の入力に用いられる。なお、上述の通り、本実施形態では、画像認識技術を用いて、商品登録を行うことができる。このため、コードリーダ103や操作ボタン104は、補助的に用いられる。ドロア105には、お金や金券等が収納される。
【0038】
なお、登録装置1は、少なくとも精算対象の商品6を登録する機能及び支払処理を実行する機能を備えておればよく、図示する機能の少なくとも一部を備えなくてもよい。
【0039】
また、図示する登録装置1は、店員に操作されることを前提にした構成となっているが、買い物客に操作されることを前提とした構成となってもよい。
【0040】
次に、本実施形態の会計装置の構成を詳細に説明する。図3に、本実施形態の会計装置10の機能ブロック図の一例を示す。図示するように、会計装置10は、画像データ取得部11と、商品認識部12と、登録部13と、商品特徴量記憶部14、媒体認識部15と、媒体特徴量記憶部16と、支払処理部17と、文字認識部18とを有する。
【0041】
なお、会計装置10は、商品特徴量記憶部14及び媒体特徴量記憶部16の少なくとも一方を有さなくてもよい。この場合、会計装置10と論理的に分かれた他の装置が、その記憶部(商品特徴量記憶部14及び媒体特徴量記憶部16の少なくとも一方)を備える。そして、会計装置10は、当該他の装置と通信し、その記憶部(商品特徴量記憶部14及び媒体特徴量記憶部16)に記憶された情報を取得可能に構成される。
【0042】
上述の通り、会計装置10は、図2に示す登録装置1及び処理装置4を有する。画像データ取得部11は、処理装置4により実現される。商品認識部12は、処理装置4により実現される。登録部13は、登録装置1により実現される。商品特徴量記憶部14は、処理装置4により実現されてもよい。媒体認識部15は、処理装置4により実現される。媒体特徴量記憶部16は、処理装置4により実現されてもよい。支払処理部17は、登録装置1により実現される。文字認識部18は、処理装置4により実現される。
【0043】
画像データ取得部11は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを取得する。画像データ取得部11は、図2を用いて説明した撮像装置3が撮像した画像データをリアルタイムに取得する。
【0044】
商品認識部12は、画像データ取得部11が取得した画像のデータを用いて、画像に写る1つ又は複数の商品を認識する(認識処理)。商品認識部12は、フレーム毎に認識処理を行い、各フレーム内で1つ又は複数の商品を認識することができる。
【0045】
商品認識部12は、当該認識処理において、複数の商品各々の外観の特徴量が予め登録されている商品特徴量記憶部14を用いる。図4に、商品特徴量記憶部14が記憶する情報の一例を模式的に示す。図示する例では、複数の商品各々を識別するための商品ID(identifier)と、複数の商品各々の外観の特徴量とが対応付けられている。特徴量は、形状、色、色の分布等を例示できるが、これらに限定されない。商品特徴量記憶部14には、各商品に対応して、複数の方向各々から観察した際の複数の外観各々の特徴量が記憶されてもよい。
【0046】
商品特徴量記憶部14及び画像データを用いた商品認識部12による商品認識のアルゴリズムは設計的事項であり、あらゆる技術を採用できる。例えば、特許文献1乃至3に開示されている技術を採用してもよい。
【0047】
図3に戻り、登録部13は、商品認識部12により認識された1つ又は複数の商品を、精算対象の商品として登録する。例えば、登録部13は、複数の商品各々の商品情報が予め登録されている商品情報記憶部(不図示)を用いて、商品登録を行ってもよい。
【0048】
図5に、商品情報記憶部に記憶される商品情報の一例を模式的に示す。図示する商品情報では、商品IDと、各商品の名称と、価格とが互いに対応付けられている。なお、商品情報は、これらの一部を有さなくてもよいし、他の情報を有してもよい。
【0049】
会計装置10が、このような商品情報記憶部を備えてもよい。その他、会計装置10と論理的に分かれた他の装置が、商品情報記憶部を備えてもよい。後者の場合、会計装置10は、当該他の装置と通信し、商品情報記憶部に記憶された商品情報を取得可能に構成される。
【0050】
登録部13は、商品認識部12により認識された1つ又は複数の商品の商品情報(例:名称、価格等)を、商品情報記憶部から取得する。そして、登録部13は、取得した商品情報を登録する。
【0051】
図3に戻り、媒体認識部15は、画像データ取得部11が取得した画像のデータを用いて、画像に写る1つ又は複数の媒体(支払媒体及び/又はポイント蓄積媒体)を認識する。
【0052】
支払媒体は、支払いに利用される媒体であり、例えばクレジットカード、金券、ポイントカード、割引クーポン、紙幣、硬貨、プリペイドカード等が該当する。ポイント蓄積媒体は、支払(例:支払額等)に応じたポイントの蓄積に利用される媒体であり、例えばポイントカード等が該当する。
【0053】
同種のクレジットカード、同種のポイントカード、同種のプリペイドカード等には同じデザインが視認可能に付されることがある。そして、同種の複数のクレジットカード各々、同種の複数のポイントカード各々、又、同種のプリペイドカード各々には固有の固有情報(例:会員番号)が視認可能に付される。なお、同種のクレジットカード及び同種のポイントカードとは、例えば発行元(会社、自治体等)が同じであるクレジットカードやポイントカード、ポイントの種類が同じであるポイントカード等を意味する。
【0054】
また、同種の金券には、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されることがある。同種の金券とは、例えば発行元(会社、自治体等)が同じである金券等を意味する。
【0055】
また、同種の割引クーポンには、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容(割引額、割引率等)が視認可能に付されることがある。同種の割引クーポンとは、例えば発行元(会社、自治体等)が同じである割引クーポン等を意味する。
【0056】
このため、媒体認識部15は、支払媒体やポイント蓄積媒体の外観の特徴(例:デザインの特徴)に基づき、各種媒体を認識することができる。媒体認識部15は、1種類又は複数種類の支払媒体各々の外観の特徴量、及び/又は、1種類又は複数種類のポイント蓄積媒体各々の外観の特徴量が予め登録されている媒体特徴量記憶部16を用いて、媒体の認識を行う。
【0057】
図6に、媒体特徴量記憶部16が記憶する情報の一例を模式的に示す。図では、媒体種と、外観の特徴量と、文字認識処理での認識対象とが互いに対応付けられている。
【0058】
媒体特徴量記憶部16には、予め、各店舗で使用可能な各種支払媒体及び/又は各種ポイント蓄積媒体が登録される。媒体種の欄には、各種支払媒体及び各種ポイント蓄積媒体を識別する情報が記載される。クレジットカード、ポイントカード、金券、割引クーポン、プリペイドカード等の各媒体は、発行元(会社、自治体等)やポイントの種類等に応じてさらに細かく分類され、各々特徴量が登録されている。
【0059】
図示する特徴量の欄には、複数種類の支払媒体各々の外観の特徴量、及び/又は、複数種類のポイント蓄積媒体各々の外観の特徴量が記載される。特徴量は、例えば媒体のデザイン(形状、印刷される模様等)に関するものであり、形状、色、色の分布等を例示できるが、これらに限定されない。
【0060】
文字認識対象の欄には、以下で説明する文字認識部18により認識される情報が記載される。文字認識対象は、各種媒体を用いた支払処理に利用される情報であり、例えば、クレジットカード、ポイントカード、プリペイドカード等に付されたカード会員番号や、商品券に記載された金額や、割引クーポンに記載された割引額や有効期限などである。
【0061】
媒体特徴量記憶部16及び画像データを用いた媒体認識部15による媒体認識のアルゴリズムは設計的事項であり、あらゆる技術を採用できる。例えば、商品認識部12と同様なアルゴリズムであってもよい。
【0062】
文字認識部18は、支払媒体及び/又はポイント蓄積媒体が写る画像内のエリアで文字情報を認識する。文字認識部18は、あらゆる文字認識技術を用いて、文字情報を認識することができる。
【0063】
例えば、図6に示すように、予め、各種媒体に対応して文字認識対象の情報が登録されている場合、文字認識部18は、媒体認識部15による認識結果、及び、当該情報に基づき、文字認識すべき対象を特定することができる。そして、文字認識部18は、特定した対象に応じて、文字認識処理を実行することができる。
【0064】
例えば、文字認識対象がM桁の数字である場合、文字認識部18は、「数字」のテンプレートを用いて、画像内からM個の数字列を検索する。その他、文字認識対象が金額や割引額である場合、文字認識部18は、例えば、「円」、「¥」、「$」等の金額とともに用いられる文字情報のテンプレートを用いて、画像内から当該文字情報を検索する。その後、「数字」のテンプレートを用いて、認識した当該文字情報の前後で数字列(金額)を検索する。また、文字認識対象が有効期限である場合、文字認識部18は、「期限」等の文字情報のテンプレートを用いて、画像内から当該文字情報を検索する。その後、「数字」のテンプレートを用いて、認識した当該文字情報の付近で数字列(年月日等の有効期限情報)を検索する。
【0065】
図3に戻り、支払処理部17は、媒体認識部15による認識結果、及び、文字認識部18による認識結果を用いて、支払処理を実行する。以下、支払処理の一例を説明する。
【0066】
例えば、媒体認識部15が所定種類のクレジットカードを認識した場合、これに対応するクレジットカード会社を特定できる(例えば、媒体特徴量記憶部16は、各種クレジットカードと、クレジットカード会社との対応関係を示す情報を予め保持しておいてもよい。)。支払処理部17は、特定されたクレジットカード会社のシステムに、文字認識部18が認識した会員番号(所定桁数の数字列)や支払金額等を送信し、決済の承認を求めることができる。
【0067】
その他、媒体認識部15が所定種類のポイントカードを認識し、文字認識部18が会員番号(所定桁数の数字列)を認識した場合、支払処理部17は、認識されたポイントカードを管理するカード会社のシステムに、認識された会員番号や支払金額等を送信し、ポイントの付与を求めることができる。
【0068】
その他、媒体認識部15が所定種類のポイントカードやプリペイドカードを認識し、文字認識部18が会員番号(所定桁数の数字列)を認識した場合、支払処理部17は、認識されたポイントカードやプリペイドカードを管理するカード会社のシステムに、認識された会員番号や支払金額等を送信し、蓄積されたポイントや事前になされた入金の残高に基づく支払を求めることができる。
【0069】
その他、媒体認識部15が所定種類の商品券を認識し、文字認識部18が金額を認識した場合、支払処理部17は、登録されている商品の支払金額合計から当該商品券の金額を差し引き、残金額を算出することができる。その後、ディスプレイ装置101やディスプレイ装置102を介して、残金額を出力してもよい。
【0070】
その他、媒体認識部15が所定種類の割引クーポンを認識し、文字認識部18が割引額及び有効期限を認識した場合、支払処理部17は、まず、認識された有効期限と、現在の日時とを比較することで、有効期限内であるか確認することができる。そして、有効期限内である場合、登録されている商品の支払金額合計から当該商品券の金額を差し引き、残金額を算出することができる。その後、ディスプレイ装置101やディスプレイ装置102を介して、残金額を出力してもよい。一方、有効期限が過ぎている場合、その旨を示す情報を、ディスプレイ装置101やディスプレイ装置102を介して出力してもよい。
【0071】
次に、図2の適用例、及び、図7のフローチャートを用いて、本実施形態の会計装置10の処理の流れの一例を説明する。
【0072】
まず、買い物客は、店内を回り、購入対象の商品6を買物カゴ5に入れていく。その後、会計処理のため、会計装置10の場所に移動する。
【0073】
登録作業を行う店員は、図2に示すように、買物カゴ5に入っていた商品6を、載置台2の載置面上の所定位置に載置する。また、買い物客は、当該載置面上に、媒体8を載置する。これにより、撮像装置3が撮像する撮像画像内に、商品6及び媒体8が写るようになる。
【0074】
すると、画像データ取得部11(処理装置4)は、撮像装置3から画像のデータを取得する(S10)。
【0075】
S11では、商品認識部12(処理装置4)は、当該画像のデータを解析し、画像に写る商品6を認識する。また、媒体認識部15(処理装置4)は、当該画像のデータを解析し、画像に写る媒体8を認識する。商品6及び媒体8は、同じフレームから認識されてもよいし、異なるフレームから認識されてもよい。媒体8が認識された場合、文字認識部18(処理装置4)は、媒体8が写るエリアを検索し、所定の文字情報を認識する。これら認識結果が、登録装置1に順次送信される。
【0076】
登録部13(登録装置1)は、受信した認識結果、具体的には商品認識部12が認識した商品6を示す情報を受信すると、当該商品6を精算対象として登録する(S12)。
【0077】
購入対象の商品6すべての登録作業が完了すると、店員は、登録装置1を操作するなどして、精算処理や支払処理等を行う。
【0078】
例えば、店員は、操作ボタン104に対して所定の操作(例:「小計」ボタンの押下)を行い、登録作業を完了させる。すると、支払処理部17(登録装置1)は、受信した認識結果、具体的には媒体認識部15が認識した媒体8種を示す情報、及び、文字認識部18が認識した文字情報を用いて、支払処理を実行する(S13)。支払処理の具体例は、上述の通りである。
【0079】
なお、上記例では、S10、S11、S12及びS13をこの順に行う例を説明したが、これに限定されない。例えば、S10の後に行われるS11では商品6の認識のみを行い、このようなS11の後のS12で商品登録が行われてもよい。そして、その後に画像データが再び取得され(S10)、当該画像データに基づき媒体8の認識が行われてもよい(S11)。そして、その後に、S13で支払処理がなされてもよい。
【0080】
以上説明した本実施形態の会計装置10は、画像認識処理を用いて、商品登録を行うことができる。このため、商品登録の作業の効率化が実現される。
【0081】
また、本実施形態の会計装置10は、商品登録の効率化のために採用された画像認識技術を用いて、さらに支払媒体やポイント蓄積媒体の認識、及び、それらが有する文字情報の認識を行う。そして、認識結果を用いて支払処理を実行することができる。結果、支払処理の効率化が実現される。
【0082】
例えば、本実施形態の会計装置10は、各種クレジットカードを認識し、さらに、各種クレジットカードに固有の情報(会員番号等)を認識することができる。そして、認識結果を利用して、支払処理を実行することができる。かかる場合、クレジットカードの受け渡しの省略や、カード情報を登録装置1に読み込ませる操作の簡略化等が実現される。結果、支払処理の効率化が実現される。
【0083】
その他、本実施形態の会計装置10は、各種ポイントカードを認識し、さらに、各種ポイントカードに固有の情報(会員番号等)を認識することができる。そして、認識結果を利用して、ポイント付与等の支払処理を実行することができる。かかる場合、ポイントカードの受け渡しの省略や、カード情報を登録装置1に読み込ませる操作の簡略化等が実現される。結果、支払処理の効率化が実現される。
【0084】
その他、本実施形態の会計装置10は、各種プリペイドカードを認識し、さらに、各種プリペイドカードに固有の情報(会員番号等)を認識することができる。そして、認識結果を利用して、支払処理を実行することができる。かかる場合、プリペイドカードの受け渡しの省略や、カード情報を登録装置1に読み込ませる操作の簡略化等が実現される。結果、支払処理の効率化が実現される。
【0085】
その他、本実施形態の会計装置10は、各種商品券を認識し、さらに、認識した商品券の金額を認識することができる。そして、認識結果を利用して、支払額から商品券の金額を差し引いて残金額を算出する等の支払処理を実行することができる。かかる場合、商品券の受け渡しの省略や、店員による商品券の内容(金額等)の確認の省略等が実現される。結果、支払処理の効率化が実現される。
【0086】
その他、本実施形態の会計装置10は、各種割引クーポンを認識し、さらに、認識した割引クーポンの内容(割引額、割引率、有効期限等)を認識することができる。そして、認識結果を利用して、有効期限の確認や、支払額から割引額を差し引いて残金額を算出する等の支払処理を実行することができる。かかる場合、割引クーポンの受け渡しの省略や、店員による割引クーポンの内容(割引額、割引率、有効期限等)の確認の省略等が実現される。結果、支払処理の効率化が実現される。
【0087】
<第2の実施形態>
第1の実施形態では、支払媒体やポイント蓄積媒体の認識結果と、文字情報の認識結果とを用いて、支払処理を実行する例を説明した。本実施形態では、文字情報を認識する処理を行わずに、支払処理を実行する例を説明する。
【0088】
図8に、本実施形態の会計装置10の機能ブロック図の一例を示す。図示するように、会計装置10は、画像データ取得部11と、商品認識部12と、商品特徴量記憶部14、媒体認識部15と、媒体特徴量記憶部16と、支払処理部17とを有する。図示しないが、会計装置10は登録部13を有してもよい。なお、会計装置10は、商品特徴量記憶部14及び媒体特徴量記憶部16の少なくとも一方を有さなくてもよい。この場合の前提は、第1の実施形態と同様である。
【0089】
画像データ取得部11、商品認識部12、登録部13及び商品特徴量記憶部14の構成は、第1の実施形態と同様である。
【0090】
本実施形態の媒体認識部15に認識される媒体は、金券、割引クーポン、紙幣、硬貨等である。
【0091】
例えば、発行元や金額が互いに異なる各種金券には、発行元や金額に応じたデザインが視認可能に付されることがある。すなわち、発行元が同じであっても、金額が異なれば、互いに異なるデザインを付されることがある。本実施形態における同種の金券とは、発行元や金額が同じである金券を意味する。
【0092】
また、発行元や割引内容(割引額、割引率等)が互いに異なる各種割引クーポンには、発行元や割引内容に応じたデザインが視認可能に付されることがある。すなわち、発行元が同じであっても、割引内容が異なれば、互いに異なるデザインを付されることがある。本実施形態における同種の割引クーポンとは、発行元や割引内容が同じである割引クーポンを意味する。
【0093】
また、各国で流通している紙幣や硬貨各々には、その額に応じたデザインが視認可能に付される。
【0094】
このため、媒体認識部15は、金券、割引クーポン、紙幣及び硬貨等の外観の特徴(例:デザインの特徴)に基づき、各種金、各種割引クーポン、各種紙幣、及び、各種効果を認識することができる。媒体認識部15は、1種類又は複数種類の金券各々の外観の特徴量、及び/又は、1種類又は複数種類の割引クーポン各々の外観の特徴量、及び/又は、1種類又は複数種類の紙幣の外観の特徴量、及び/又は、1種類又は複数種類の硬貨の外観の特徴量が予め登録されている媒体特徴量記憶部16を用いて、媒体の認識を行う。
【0095】
すなわち、媒体認識部15は、上記媒体特徴量記憶部16を用いることで、各金額の各金券を認識することができる。また、媒体認識部15は、上記媒体特徴量記憶部16を用いることで、各割引内容の各割引クーポンを認識することができる。また、媒体認識部15は、上記媒体特徴量記憶部16を用いることで、各金額の各紙幣を認識することができる。また、媒体認識部15は、上記媒体特徴量記憶部16を用いることで、各金額の各硬貨を認識することができる。媒体認識部15及び媒体特徴量記憶部16のその他の構成は、第1の実施形態と同様である。
【0096】
支払処理部17は、媒体認識部15が認識した各金額の各金券、各割引内容の各割引クーポン、各金額の各紙幣、及び/又は、各金額の各硬貨を用いて、支払処理を実行する。支払処理の内容は、第1の実施形態と同様である。支払処理部17のその他の構成は、第1の実施形態と同様である。
【0097】
なお、媒体認識部15が紙幣や硬貨を認識した場合、支払処理部17はその合計金額を算出し、算出した合計金額を預かり金額として登録装置1に入力する。
【0098】
以上説明した本実施形態によれば、第1の実施形態と同様な作用効果を実現できる。また、本実施形態の場合、文字認識処理なしで、各種金券、各種割引クーポン、各種紙幣、及び/又は、各種硬貨を認識し、支払処理を実行することができる。結果、コンピュータの処理負担の軽減、処理に要する時間の短縮等が実現される。
【0099】
<第3の実施形態>
本実施形態の会計装置10は、会計処理に関する像を載置台の載置面や商品上に投影する投影装置を含む。
【0100】
図9を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置1、処理装置4及び投影装置7を有する。会計装置は、さらに、撮像装置3を有してもよい。登録装置1及び撮像装置3の構成は、第1及び第2の実施形態と同様である。
【0101】
投影装置7は、載置台2の載置面上及び/又は商品6上に、会計処理に関する像を投影する。投影装置7は、このような投影が実現可能な所定位置に設置される。設置位置は設計的事項である。例えば、投影装置7は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置7は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台2を透明の部材で構成し、載置台2の下方に投影装置7を設置してもよい。この場合、投影装置7は、載置台2の下側から、載置台2の載置面上に像を投影する。投影装置7が、図1に示すプロジェクタ240を備える。
【0102】
処理装置4は、投影装置7を制御する。すなわち、処理装置4は、投影する像や投影する位置を示す制御情報を投影装置7に送信する。投影装置7は、当該制御情報に従い、所定の像を載置台2の載置面上や商品6上に投影する。処理装置4のその他の構成は、第1及び第2の実施形態と同様である。
【0103】
投影装置7により投影される像は、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。
【0104】
例えば、投影装置7は、図9に示すように、支払媒体やポイント蓄積媒体を載置する場所を示す像7−1を投影してもよい。これにより、買い物客は、これら媒体を載置する場所を容易に認識できる。
【0105】
また、投影装置7は、文字情報で、当該媒体の載置の案内を投影してもよい。例えば、投影装置7は、図9に示す像7−1に加えて、「ここにクレジットカードやポイントカードを会員番号が上を向くようにおいてください」等の文字情報を載置台2上に投影してもよい。
【0106】
その他、投影装置7は、画像認識処理で支払処理を実行することの案内情報を投影してもよい。例えば、投影装置7は、載置台2の上にクレジットカードやポイントカードを載置すると、画像認識処理で支払処理が実行されることを示す動画像を投影してもよい。
【0107】
以上説明した本実施形態によれば、第1及び第2の実施形態と同様な作用効果が実現される。
【0108】
また、本実施形態によれば、画像認識処理を用いた支払処理の案内情報を、載置台2上に投影できる。このため、買い物客は、当該支払処理の流れや行うべきことを容易に把握できる。特に、支払媒体やポイント蓄積媒体の載置場所を載置台2の載置面上に直接示すことができるので、買い物客は容易に載置場所を把握することができる。
【0109】
以下、参考形態の例を付記する。
1 画像のデータを取得する画像データ取得手段と、
商品特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する商品認識手段と、
媒体特徴量記憶手段に登録されている支払媒体、及び/又は、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び/又は前記ポイント蓄積媒体を認識する媒体認識手段と、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段と、
を有する情報処理装置。
2 1に記載の情報処理装置において、
前記支払媒体及び/又は前記ポイント蓄積媒体が写る前記画像内のエリアで文字情報を認識する文字認識手段をさらに有し、
前記支払処理手段は、前記文字認識手段による認識結果を用いて、支払処理を行う情報処理装置。
3 2に記載の情報処理装置において、
同種の前記支払媒体及び/又は同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々及び/又は同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記支払媒体及び/又は各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
前記媒体認識手段は、前記支払媒体及び/又は前記ポイント蓄積媒体の種類を認識し、
前記文字認識手段は、前記固有情報を認識する情報処理装置。
4 1に記載の情報処理装置において、
前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定額の前記金券を認識する情報処理装置。
5 2に記載の情報処理装置において、
前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記金券を認識し、
前記文字認識手段は、前記金額を認識する情報処理装置。
6 1に記載の情報処理装置において、
前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定の割引内容の前記割引クーポンを認識する情報処理装置。
7 2に記載の情報処理装置において、
前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記割引クーポンを認識し、
前記文字認識手段は、前記割引内容を認識する情報処理装置。
8 コンピュータが、
画像のデータを取得する画像データ取得工程と、
商品特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する商品認識工程と、
媒体特徴量記憶手段に登録されている支払媒体、及び/又は、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び/又は前記ポイント蓄積媒体を認識する媒体認識工程と、
前記媒体認識工程での認識結果を用いて、支払処理を行う支払処理工程と、
を実行する情報処理方法。
8−2 8に記載の情報処理方法において、
前記コンピュータが、前記支払媒体及び/又は前記ポイント蓄積媒体が写る前記画像内のエリアで文字情報を認識する文字認識工程をさらに実行し、
前記支払処理工程では、前記文字認識工程での認識結果を用いて、支払処理を行う情報処理方法。
8−3 8−2に記載の情報処理方法において、
同種の前記支払媒体及び/又は同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々及び/又は同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記支払媒体及び/又は各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
前記媒体認識工程では、前記支払媒体及び/又は前記ポイント蓄積媒体の種類を認識し、
前記文字認識工程では、前記固有情報を認識する情報処理方法。
8−4 8に記載の情報処理方法において、
前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識工程では、所定額の前記金券を認識する情報処理方法。
8−5 8−2に記載の情報処理方法において、
前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識工程では、前記金券を認識し、
前記文字認識工程では、前記金額を認識する情報処理方法。
8−6 8に記載の情報処理方法において、
前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識工程では、所定の割引内容の前記割引クーポンを認識する情報処理方法。
8−7 8−2に記載の情報処理方法において、
前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識工程では、前記割引クーポンを認識し、
前記文字認識工程では、前記割引内容を認識する情報処理方法。
9 コンピュータを、
画像のデータを取得する画像データ取得手段、
商品特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する商品認識手段、
媒体特徴量記憶手段に登録されている支払媒体、及び/又は、支払に応じたポイントの蓄積に利用されるポイント蓄積媒体各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記支払媒体及び/又は前記ポイント蓄積媒体を認識する媒体認識手段、
前記媒体認識手段による認識結果を用いて、支払処理を行う支払処理手段、
として機能させるプログラム。
9−2 9に記載のプログラムにおいて、
前記コンピュータを、前記支払媒体及び/又は前記ポイント蓄積媒体が写る前記画像内のエリアで文字情報を認識する文字認識手段としてさらに機能させ、
前記支払処理手段は、前記文字認識手段による認識結果を用いて、支払処理を行うプログラム。
9−3 9−2に記載のプログラムにおいて、
同種の前記支払媒体及び/又は同種の前記ポイント蓄積媒体には同じデザインが視認可能に付されており、かつ、同種の複数の前記支払媒体各々及び/又は同種の複数の前記ポイント蓄積媒体各々には固有の固有情報が視認可能に付されており、
前記媒体特徴量記憶手段には、各種前記支払媒体及び/又は各種前記ポイント蓄積媒体の前記デザインの特徴量が登録され、
前記媒体認識手段は、前記支払媒体及び/又は前記ポイント蓄積媒体の種類を認識し、
前記文字認識手段は、前記固有情報を認識するプログラム。
9−4 9に記載のプログラムにおいて、
前記支払媒体は所定額の金券であり、金額に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、金額に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定額の前記金券を認識するプログラム。
9−5 9−2に記載のプログラムにおいて、
前記支払媒体は所定額の金券であり、金額に関わらず同じデザインが視認可能に付され、かつ、金額が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記金券を認識し、
前記文字認識手段は、前記金額を認識するプログラム。
9−6 9に記載のプログラムにおいて、
前記支払媒体は割引クーポンであり、割引内容に応じたデザインが視認可能に付されており、
前記媒体特徴量記憶手段には、割引内容に応じた前記デザイン各々の特徴量が登録され、
前記媒体認識手段は、所定の割引内容の前記割引クーポンを認識するプログラム。
9−7 9−2に記載のプログラムにおいて、
前記支払媒体は割引クーポンであり、割引内容に関わらず同じデザインが視認可能に付され、かつ、割引内容が視認可能に付されており、
前記媒体特徴量記憶手段には、前記デザインの特徴量が登録され、
前記媒体認識手段は、前記割引クーポンを認識し、
前記文字認識手段は、前記割引内容を認識するプログラム。
【0110】
この出願は、2016年1月21日に出願された日本出願特願2016−009603号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
図1
図2
図3
図4
図5
図6
図7
図8
図9