特許第6380543号(P6380543)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許6380543情報処理装置、情報処理方法、およびプログラム
<>
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000002
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000003
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000004
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000005
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000006
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000007
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000008
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000009
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000010
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000011
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000012
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000013
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000014
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000015
  • 特許6380543-情報処理装置、情報処理方法、およびプログラム 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6380543
(24)【登録日】2018年8月10日
(45)【発行日】2018年8月29日
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G07G 1/00 20060101AFI20180820BHJP
【FI】
   G07G1/00 331Z
   G07G1/00 301B
【請求項の数】9
【全頁数】21
(21)【出願番号】特願2016-548610(P2016-548610)
(86)(22)【出願日】2015年7月16日
(86)【国際出願番号】JP2015070359
(87)【国際公開番号】WO2016042906
(87)【国際公開日】20160324
【審査請求日】2017年2月2日
(31)【優先権主張番号】特願2014-190857(P2014-190857)
(32)【優先日】2014年9月19日
(33)【優先権主張国】JP
【前置審査】
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】関根 瑞人
(72)【発明者】
【氏名】矢島 明
(72)【発明者】
【氏名】安田 ゆり子
【審査官】 森林 宏和
(56)【参考文献】
【文献】 特開2009−289222(JP,A)
【文献】 特開2007−215658(JP,A)
【文献】 特開2007−226351(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G07G 1/00 − 1/14
(57)【特許請求の範囲】
【請求項1】
商品精算装置の近傍が撮像された画像を取得する画像取得手段と、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否かを検出する検出手段と、
を備え
前記検出手段は、商品をスキャンする位置の近傍のエリアを含む第2エリアが写っているか否かを更に検出する、
情報処理装置。
【請求項2】
前記検出手段は、前記第1エリア内の所定の部分エリアに人物が存在するか否かを更に検出する、
請求項1に記載の情報処理装置。
【請求項3】
前記検出手段による検出結果に応じて、警告情報を出力する警告出力手段を更に備える、
請求項1または2に記載の情報処理装置。
【請求項4】
特定端末から指示情報を取得する指示取得手段を更に備え、
前記警告出力手段は、
前記警告情報を前記特定端末の表示部に表示させ、
前記警告情報の表示後に前記指示取得手段により取得された指示情報に基づいて、前記警告情報を前記商品精算装置の表示部に表示させる、
請求項に記載の情報処理装置。
【請求項5】
前記取得された画像に基づいて、前記第1エリア内に存在する人物の属性を推定する推定手段を更に備え、
前記警告出力手段は、前記推定された人物の属性に基づいて、前記警告情報を出力するか否か、又は、前記警告情報の出力先を決定する、
請求項又はに記載の情報処理装置。
【請求項6】
前記警告情報を出力してから所定時間が経過するまでの前記検出手段による検出状態に基づいて、前記商品精算処理を中断する処理中断手段を更に備える、
請求項からのいずれか1項に記載の情報処理装置。
【請求項7】
前記警告情報を出力してから所定時間が経過するまでの前記検出手段による検出状態に基づいて前記商品精算処理を中断する処理中断手段を更に備え、
前記処理中断手段は、前記推定された人物の属性に基づいて、前記所定時間を短縮又は延長する、
請求項に記載の情報処理装置。
【請求項8】
コンピュータが、
商品精算装置の近傍が撮像された画像を取得し、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否か、および、商品をスキャンする位置の近傍のエリアを含む第2エリアが写っているか否かを検出する、
ことを含む情報処理方法。
【請求項9】
コンピュータを、
商品精算装置の近傍が撮像された画像を取得する画像取得手段、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否か、および、商品をスキャンする位置の近傍のエリアを含む第2エリアが写っているか否かを検出する検出手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
店舗において、精算業務(例えば、精算対象の商品に付されたバーコードの読み取りなど)を顧客自身が行う商品精算装置(所謂セルフPOS(Point of Sale)端末)が設置されている。このような商品精算装置によれば、精算業務に携わる人員にかかるコストの削減等といった効果が見込める。その反面、上述したような商品精算装置では顧客が店員と直接対面しないため、商品精算処理において不正行為が行われる危険性が高くなるという問題がある。
【0003】
不正行為を防止するための技術の一例が、例えば、下記特許文献1に開示されている。特許文献1に開示されているセルフPOSは、商品スキャン時の商品の画像と、未登録商品を置く台で撮像した商品の画像及び登録商品を置く台で撮像した商品の画像とを比較することで、顧客による商品精算処理が適切に行われていることを監視する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−289222号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
セルフPOS端末での不正行為は多様に考えられ、上述の特許文献1の技術では防げない可能性もある。特に、複数人で行われる不正行為を防ぐことは大変難しい。
【0006】
本発明は、セルフPOS端末での不正行為をより精度よく防ぐ技術を提供する。
【課題を解決するための手段】
【0007】
本発明によれば、
商品精算装置の近傍が撮像された画像を取得する画像取得手段と、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否かを検出する検出手段と、
を備え
前記検出手段は、商品をスキャンする位置の近傍のエリアを含む第2エリアが写っているか否かを更に検出する、
情報処理装置が提供される。
【0008】
本発明によれば、
コンピュータが、
商品精算装置の近傍が撮像された画像を取得し、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否か、および、商品をスキャンする位置の近傍のエリアを含む第2エリアが写っているか否かを検出する、
ことを含む情報処理方法が提供される。
【0009】
本発明によれば、
コンピュータを、
商品精算装置の近傍が撮像された画像を取得する画像取得手段、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否か、および、商品をスキャンする位置の近傍のエリアを含む第2エリアが写っているか否かを検出する検出手段、
として機能させるためのプログラムが提供される。
【発明の効果】
【0010】
本発明によれば、セルフPOS端末での不正行為をより精度よく防ぐことができる。
【図面の簡単な説明】
【0011】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0012】
図1】第1実施形態における情報処理装置の処理構成を概念的に示す図である。
図2】第1エリアの形状の一例を示す図である。
図3】第1実施形態における情報処理装置のハードウエア構成例を概念的に示す図である。
図4】第1実施形態における情報処理装置の処理の流れを示すフローチャートである。
図5】所定の部分エリアの一例を示す図である。
図6】第2実施形態における情報処理装置の処理の流れを示すフローチャートである。
図7】第2実施形態の変形例における情報処理装置の処理の流れを示すフローチャートである。
図8】第2実施形態における情報処理装置の処理の概要を説明するための図である。
図9】第3実施形態における情報処理装置の処理の流れを示すフローチャートである。
図10】第3実施形態の変形例における情報処理装置の処理の流れを示すフローチャートである。
図11】第4実施形態における情報処理装置の処理構成を概念的に示す図である。
図12】第4実施形態における情報処理装置の処理の流れを示すフローチャートである。
図13】第4実施形態の変形例における情報処理装置の処理構成を概念的に示す図である。
図14】第5実施形態における情報処理装置の処理構成を概念的に示す図である。
図15】商品をスキャンする位置の近傍の具体例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
[第1実施形態]
〔処理構成〕
図1は、第1実施形態における情報処理装置10の処理構成を概念的に示す図である。情報処理装置10は、商品精算装置(以下セルフPOS端末と表記、図示せず)と通信可能に接続された装置であってもよいし、セルフPOS端末そのものであってもよい。図1に示されるように、本実施形態の情報処理装置10は、画像取得部110および検出部120を備える。
【0015】
画像取得部110は、セルフPOS端末の近傍が撮像された画像を取得する。画像取得部110は、CCD(Charge Coupled Device)カメラといった撮像手段(図示せず)から画像を取得する。"セルフPOS端末の近傍"は、後述の第1エリアを少なくとも部分的に含む範囲である。撮像手段は、セルフPOS端末を監視するために、例えばセルフPOS端末本体、または、セルフPOS端末が設置されるエリアの天井や壁といった場所に備えられる。
【0016】
検出部120は、取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、セルフPOS端末の近傍の第1エリア内に複数の人物が存在するか否かを検出する。検出部120は、例えば、画像取得部110で取得された画像と基準画像(人物が写っていない状態の画像)とを比較して差分がある領域を抽出し、当該領域の大きさ、形状、色彩的特徴などから画像に存在する各人物を推定できる。また、検出部120は、その他の既知の人物検出アルゴリズムなどを用いて、人物と推定される領域を画像から抽出することができる。
【0017】
"商品精算処理の開始"とは、顧客がセルフPOS端末で商品の清算を行う一連の行為の始めの或るタイミングを意味する。但し、"商品清算処理の開始"のタイミングには或る程度時間幅が存在し得る。当該タイミングの例としては、例えば、顧客がセルフPOS端末の前に立ったタイミング、未精算商品を置くための台に未精算商品を置いたタイミング、精算対象の商品のバーコード等の読み取りを開始したタイミング等が挙げられる。検出部120は、顧客がセルフPOS端末の前に立ったか否か、或いは、未精算商品用の台に未精算商品を置いたか否かについて、例えば、近接センサや感圧センサ等を用いて判断できる。検出部120は、顧客がセルフPOS端末の前に立ったか否か、または、未精算商品用の台に未精算商品を置いたか否かについて、撮像手段によって撮像された画像に基づいて判断してもよい。但し、"商品精算処理の開始"のタイミングはこれらの例に制限されない。
【0018】
同様に、"商品精算処理の終了"とは、顧客がセルフPOS端末で商品の清算を行う一連の行為の終りの或るタイミングを意味する。但し、"商品清算処理の終了"のタイミングについても或る程度時間幅が存在し得る。当該タイミングの例としては、例えば、セルフPOS端末で読み取った各精算対象商品を確定するボタンを顧客が押下したタイミング、レシートの発行タイミング、商品代金を支払った後で購入した商品の入った袋を台から持ち上げたタイミング等が例として挙げられる。"商品精算処理の終了"のタイミングはこれらの例に制限されない。
【0019】
上記第1エリアは、当該エリアに複数の人物が存在した場合に、監視カメラや監視員(店員等)による不正行為の監視が妨害される可能性のある位置を少なくとも含むエリアである。第1エリアは、監視カメラの位置や監視員が通常時に存在する位置(例えば、監視員用の端末の設置位置等)とセルフPOS端末の位置との関係等に応じて、適宜設定される。第1エリアは、例えば、セルフPOS端末の監視用途等で設けられる撮像手段の撮像範囲によって定義される。この場合、検出部120は、撮像手段から得た画像全体を第1エリアとして、当該第1エリア内に複数の人物がいるか否かを検出する。これに限らず、第1エリアは、撮像手段によって撮像された画像の部分領域として定義されていてもよい。この場合、例えば床の色を変えるなど、第1エリアを示す目印を床に付けておくことにより、検出部120は、撮像手段によって撮像された画像から第1エリアを認識できる。また、検出部120は、第1エリアに対応する画像上の位置を示すパラメータを予め保持し、当該パラメータによって第1エリアを認識可能に構成されていてもよい。各セルフPOS端末に対して複数の撮像手段が設けられている場合、当該パラメータは撮像手段毎に保持される。
【0020】
第1エリアの形状の具体例について図2を用いて説明する。図2は、第1エリアの形状の一例を示す図である。第1エリアの形状は特に制限されないが、図2に示されるように、監視員(店員)のいる方向に対して膨らんだ形状を有していると好ましい。図2のような形状とすることにより、監視員に対して死角を作るような位置に、セルフPOS端末を操作する人物とは別の人物が立っている状況を精度よく検出できる。また、図2に示される例において、第1エリアは1つの連続するエリアであるが、これに限らず、第1エリアは互いに離間する複数のエリアで構成されていてもよい。
【0021】
〔ハードウエア構成〕
図3は、第1実施形態における情報処理装置のハードウエア構成例を概念的に示す図である。図3に示されるように、情報処理装置10は、CPU(Central Processing Unit)101、メモリ102、ストレージ103、入出力インタフェース104等を有する。バス105は、CPU101、メモリ102、ストレージ103、および入出力インタフェース104の間で、相互にデータを送受信するためのデータ伝送路である。但し、CPU101などを互いに接続する方法は、バス接続に限定されない。CPU101は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算処理装置である。メモリ102は、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。ストレージ103は、例えばハードディスク、SSD(Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ103は、RAM やROM等のメモリであってもよい。
【0022】
入出力インタフェース104は、情報処理装置10と外部の装置等との間でデータを送受信するために用いられる。例えば、情報処理装置10が外部の装置(例えば防犯カメラといった撮像装置)からセルフPOS端末の近傍の画像を取得する場合、当該情報処理装置10は入出力インタフェース104を介してその外部の装置と接続される。なお、入出力インタフェース104を介して情報処理装置10と外部の装置とを接続する方法は様々である。例えばこの接続は、バス回線(例えばUSB(Universal Serial Bus)回線)を介したバス接続や、ネットワーク回線を介したネットワーク接続などである。なお、ネットワーク回線は無線回線であってもよいし有線回線であってもよい。
【0023】
ストレージ103は、情報処理装置10の機能を実現するためのプログラムを記憶している。具体的には、画像取得部110および検出部120の機能をそれぞれ実現するプログラムモジュールを記憶している。CPU101は、これら各プログラムモジュールを実行することで、画像取得部110および検出部120の機能をそれぞれ実現する。ここでCPU101は、上記各モジュールを実行する際、これらのモジュールをメモリ102上に読み出してから実行してもよいし、メモリ102上に読み出さずに実行してもよい。
【0024】
なお、情報処理装置10のハードウエア構成は図3に示した構成に限定されない。例えば、各プログラムモジュールはメモリ102に格納されてもよい。この場合、情報処理装置10はストレージ103を備えていなくてもよい。また、情報処理装置10がセルフPOS端末である場合、入出力インタフェース104を介して、表示装置、入出力装置、読取装置などがさらに接続される。表示装置は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU101やGPU(図示せず)等により処理された描画データに対応する画面を表示する装置である。入力装置は、ユーザの操作による入力を受け付ける装置であり、例えば、ハードウェアボタンユニット、タッチセンサ等として実現される。表示装置及び入力装置は一体化され、タッチパネルとして実現されていてもよい。読取装置は、レンズ、撮像素子等を備えるカメラであり、精算対象商品の静止画像または動画像を撮像する。また、読取装置は、光源、受光素子等を備えるバーコードリーダーといったシンボル読取装置であってもよい。また、情報処理装置10がセルフPOS端末である場合、入出力インタフェース104を介して、少なくとも1つの撮像装置がさらに接続されていてもよい。撮像装置は、レンズ、撮像素子等を備え、セルフPOS端末の近傍を撮像する監視用のカメラである。
【0025】
〔動作例〕
図4を用いて、本実施形態における情報処理装置10の動作例を説明する。図4は、第1実施形態における情報処理装置10の処理の流れを示すフローチャートである。以下で説明する処理は、上述したような"商品精算処理が開始されたと判断するタイミング"に応じて実行される。
【0026】
画像取得部110は、商品精算処理が開始された場合、セルフPOS端末の近傍が撮像された画像を撮像手段から取得する(S101)。そして、検出部120は、取得された画像にたいして画像認識処理を実行し、当該画像に含まれる人物の数を算出する(S102)。そして、検出部120は、取得された画像から複数の人物が検出されたか否かを判定する(S103)。取得された画像から複数の人物が検出された場合(S103:YES)、検出部120は、複数の人物を検出したことを示す通知(検出通知)を、例えば監視員用の端末などに出力する、或いは、検出通知が既に出力されている状態であれば、検出通知の出力を継続する(S104)。S104の検出通知には、どのセルフPOS端末の近傍で複数の人物を検出したかを特定する情報(例えば、各セルフPOS端末に割り当てられた固有の識別情報など)が含まれる。一方、取得された画像から複数の人物が検出されなかった場合(S103:NO)、検出部120は、検出通知を出力しない、或いは、検出通知が既に出力されている状態であれば検出通知の出力を終了する(S105)。これらの処理は、上述したような"商品精算処理が終了したと判断するタイミング"まで繰り返される(S106)。
【0027】
〔第1実施形態の作用と効果〕
一般的に不正行為を目論む人物は不正行為が見つからないようにすることを考える。そこで、複数人でセルフPOS端末の近傍に立ち、周囲からの死角を作り出すことで、不正行為が見つからないようにする。ここで、本実施形態の情報処理装置10は、商品精算処理が開始されてから終了するまでの間に、第1エリアに複数の人物が存在することが検出する。言い換えると、本実施形態の情報処理装置10は、周囲からの死角を故意に作り出している状況を検出する。そして、商品精算処理が開始されてから終了するまでの間に、第1エリアに複数の人物が存在することが検出された場合、外部(例えば監視員用の端末)に検出通知が出力される。そして、この検出通知によって、監視員はセルフPOS端末において不正行為が行われる可能性のある状況を認識できる。これにより、該当のセルフPOS端末を利用する顧客に対する監視員の警戒を高めて、セルフPOS端末での不正行為を精度よく防止する効果が見込める。
【0028】
[第2実施形態]
本実施形態の情報処理装置10は、以下の点を除いて、第1実施形態の情報処理装置10と同様の構成を有する。
【0029】
〔処理構成〕
本実施形態の検出部120は、第1エリア内の所定の部分エリアに人物が存在するか否かを更に検出する。例えば第1エリア内で所定の部分エリアには特有の目印を付けるなど、第1エリア内で所定の部分エリアを識別可能しておくことにより、検出部120は、撮像手段により撮像された画像から所定の部分エリアを認識できる。これに限らず、検出部120に所定の部分エリアに対応する画像上の位置を示すパラメータが設定されており、検出部120は当該パラメータを用いて取得された画像から所定の部分エリアを認識するように構成されていてもよい。
【0030】
所定の部分エリアは、第1エリアのうち、セルフPOS端末を操作する人物が通常存在すると考えられる位置と監視員の位置との間のエリアであり、そのエリア内に人物が存在する場合、当該人物により監視員の死角が生じ得るエリアである。所定の部分エリアは、例えば、図5に示されるように設定される。図5は、所定の部分エリアの一例を示す図である。図5の例において、第1エリアのうち点線で囲まれるエリアが、所定の部分エリアである。図5の例では、矢印の方向に監視員が存在しており、所定の部分エリアに存在する人物によって監視員の死角が生じ得る。この場合、例えば、所定の部分エリアに人物が存在する場合、セルフPOS端末を操作する人物が商品をスキャンする位置が見えなくなる。商品をスキャンするタイミングは、何らかの不正行為が行われる可能性が高いタイミングである。そのため、商品をスキャンする位置が監視員から見えない状態のままでは、商品をスキャンするタイミングに実行される不正行為に監視員が気づかない虞がある。
【0031】
そこで、本実施形態の検出部120は、上述したような、監視員に対して死角を作るような人物が存在するか否かを検出するように構成される。
【0032】
〔動作例〕
図6を用いて、本実施形態における情報処理装置10の動作例を説明する。図6は、第2実施形態における情報処理装置10の処理の流れを示すフローチャートである。以下では、第1実施形態の処理と異なる処理について主に説明する。
【0033】
S103の判定が"YES"、すなわち、画像認識によって複数の人物が検出された場合、検出部120は、当該検出された複数の人物のうちの少なくとも一人が、所定の部分エリアに存在するか否かを更に判定する(S201)。所定の部分エリアに人物が存在する場合(S201:YES)、検出部120は、例えば監視員用の端末などに対して検出通知を出力する、或いは、検出通知が既に出力されている状態であればその出力を継続する。一方、所定の部分エリアに人物が存在しない場合(S201:NO)、検出通知を出力しない、或いは、検出通知が既に出力されている状態であれば検出通知の出力を終了する。
【0034】
〔第2実施形態の作用と効果〕
以上、本実施形態では、第1エリア内に複数の人物が存在することが検出された場合において、第1エリアの所定の部分エリアに人物が存在するか否かが更に検出される。ここで、所定の部分エリアは、そのエリア内に人物が存在する場合、当該人物により監視員の死角が生じ得るエリアである。つまり、本実施形態によれば、例えばセルフPOS端末を操作する人物が別の人物によって監視員の視界から隠されている等、セルフPOS端末において不正行為が行われる危険性が高い状況を検出することができる。そして、この検出結果に基づく通知によって、該当のセルフPOS端末を利用する顧客に対する監視員の警戒を高め、セルフPOS端末での不正行為を精度よく防止することができる。
【0035】
〔第2実施形態の変形例〕
第2実施形態では、"第1エリア内に複数の人物が存在すること"および"所定のエリア内に人物が存在すること"の双方が検出された場合に、検出通知が出力された。本変形例では、"第1エリア内に複数の人物が存在すること"が検出された場合において、"所定のエリア内に人物が存在すること"が検出されたか否かで異なる検出通知が出力される例を示す。
【0036】
図7は、第2実施形態の変形例における情報処理装置10の処理の流れを示すフローチャートである。以下では、図6のフローチャートと異なる点について主に説明する。
【0037】
S201の判定の結果、所定の部分エリアに人物が存在することが検出された場合、検出部120は、警戒度"高"の検出通知を出力する(S202)。一方、S201の判定の結果、所定の部分エリアに人物が存在することが検出されなかった場合、検出部120は、警戒度"低"の検出通知を出力する(S203)。
【0038】
以上、本変形例によれば、第1エリア内に複数の人物が存在することが検出された場合において、所定の部分エリアに人物が存在するか否かに基づき、該当するセルフPOS端末を利用する顧客に対する警戒度合を変えて監視員に通知することができる。これにより、監視員がより警戒すべき顧客を識別可能となり、セルフPOS端末での不正行為をより精度よく防止する効果が見込める。
【0039】
[第3実施形態]
本実施形態の情報処理装置10は、以下の点を除いて、上述の他の実施形態の情報処理装置10と同様の構成を有する。
【0040】
〔処理構成〕
本実施形態の検出部120は、画像取得部110で取得された画像に、セルフPOS端末の近傍の第2エリアが写っているか否かを更に検出する。検出部120には、例えば、撮像手段で撮像される画像上で第2エリアに対応する位置を示すパラメータが予め設定される。検出部120は、予め設定されたパラメータを用いて取得された画像から第2エリアを認識する。また、ここで"第2エリアが写っていない"という状態は、第2エリアの全てが写っていない状態であってもよいし、第2エリアが一定の割合以上写っていない状態であってもよい。
【0041】
第2エリアとは、セルフPOS端末を監視するために設けられた撮像手段による監視を妨害する位置を含むエリアである。第2エリアは、例えば、セルフPOS端末にスキャンさせるために顧客が商品をかざす位置の近傍のエリアとして定義することができる。この"商品をスキャンする位置の近傍のエリア"は、顧客自身がセルフPOS端末を操作する際に不正行為が行われる可能性の非常に高いエリアである。商品をスキャンする位置の近傍のエリアでは、例えば、顧客がある商品をスキャンしたと見せかける、ある商品のスキャン時に、当該スキャンした商品と手元に忍ばせておいたスキャンされていない商品とをすり替えるといった不正行為が行われる可能性がある。この場合、検出部120は、商品をスキャンする位置(例えば商品読取部)の近傍のエリアが画像に写っているか否かを更に検出する。
【0042】
商品をスキャンする位置の近傍"の具体例について、図15を用いて説明する。図15は、商品をスキャンする位置の近傍の具体例を示す図である。図15(a)には、前面から見た場合のセルフPOS端末20が示されている。図15(b)には、上側から見た場合のセルフPOS端末20が示されている。例えば、"商品をスキャンする位置の近傍"は、図15(a)および図15(b)において点線で示されるような範囲として設定することができる。図15に示されるように、"商品をスキャンする位置の近傍"は、セルフPOS端末20を利用する顧客が商品スキャン時の動作を行う範囲として、商品読取部210の位置に基づいて定めることができる。
【0043】
図8は、第2実施形態における情報処理装置の処理の概要を説明するための図である。図8の例では、セルフPOS端末20の上方に設置されている監視カメラ30でセルフPOS端末20の近傍を撮像する例を示している。人物AはセルフPOS端末20を操作している人物を示し、人物BはセルフPOS端末20を操作していないがセルフPOS端末20の近傍に存在する人物を示している。また、図8の点線は、監視カメラ30の撮像範囲を示している。図8に示されるように、監視カメラ30は、商品をスキャンする位置の近傍、すなわち、商品読取部210の近傍を撮像範囲に含めるように設けられている。図8の例において、人物Aおよび人物Bは共に第1エリア内に存在しており、人物Bは、監視カメラ30から見て商品読取部210の近傍が隠れるような位置に存在している。つまり、図8のような状況において、監視カメラ30で撮像される画像に商品読取部210の近傍のエリア(第2エリア)は写らない。本実施形態の検出部120はこのような状況を検出する。図示されていないが、監視カメラ30は、商品読取部210の近傍のエリアを撮像範囲に含めるようにして、セルフPOS端末20に備えられていてもよい。この場合も同様に、検出部120は、セルフPOS端末20に備えられた監視カメラ30で取得される画像に商品読取部210の近傍のエリアが写っているか否かを判定する。また、セルフPOS端末20に対して複数の監視カメラ30が備えられていてもよい。この場合、各々の監視カメラ30において商品読取部210の近傍のエリアが写っているか否かを判定し、少なくともいずれかにおいて当該エリアが写っていないことを検出する。
【0044】
〔動作例〕
図9を用いて、本実施形態における情報処理装置10の動作例を説明する。図9は、第3実施形態における情報処理装置10の処理の流れを示すフローチャートである。以下では、他の実施形態の処理と異なる処理について主に説明する。
【0045】
S103の判定が"YES"、すなわち、画像認識によって複数の人物が検出された場合、検出部120は、S101で取得された画像に第2エリアが写っているか否かを判定する(S301)。第2エリアが写っていない場合(S301:NO)、検出部120は、例えば監視員用の端末などに対して検出通知を出力する、或いは、検出通知が既に出力されている状態であればその出力を継続する。一方、第2エリアが写っている場合(S301:YES)、検出通知を出力しない、或いは、検出通知が既に出力されている状態であれば検出通知の出力を終了する。
【0046】
〔第3実施形態の作用と効果〕
以上、本実施形態では、第1エリア内に複数の人物が存在することが検出された場合において、セルフPOS端末の近傍の第2エリアが写っているか否かが更に検出される。ここで、第2エリアは、セルフPOS端末において商品をスキャンする位置の近傍のエリアである。つまり、本実施形態によれば、例えば商品をスキャンする位置が隠されているといった、不正行為が行われる危険性が高い状況を検出することができる。そしてこの検出結果に基づく通知によって、該当のセルフPOS端末を利用する顧客に対する監視員の警戒を高め、セルフPOS端末での不正行為をより精度よく防止することができる。
【0047】
〔第3実施形態の変形例〕
第2実施形態では、"第1エリア内に複数の人物が存在すること"および"第2エリアが写っていないこと"の双方が検出された場合に、検出通知が出力された。本変形例では、"第1エリア内に複数の人物が存在すること"が検出された場合に、"第2エリアが写っていないこと"が更に検出されたか否かで異なる検出通知が出力される。
【0048】
図10は、第3実施形態の変形例における情報処理装置10の処理の流れを示すフローチャートである。以下では、図9のフローチャートと異なる点について主に説明する。
【0049】
S301の判定の結果、第2エリアが写っていることが検出された場合、検出部120は、警戒度"低"の検出通知を出力する(S302)。一方、S301の判定の結果、第2エリアが写っていないことが検出されなかった場合、検出部120は、警戒度"高"の検出通知を出力する(S303)。
【0050】
以上、本変形例によれば、第1エリア内に複数の人物が存在することが検出された場合において、取得された画像に第2エリアが写っているか否かに基づき、該当するセルフPOS端末を利用する顧客に対する警戒度合を変えて監視員に通知することができる。これにより、監視員がより警戒すべき顧客を識別可能となり、セルフPOS端末での不正行為をより精度よく防止する効果が見込める。
【0051】
[第4実施形態]
本実施形態の情報処理装置10は、以下の点を除いて、他の実施形態の情報処理装置10と同様の構成を有する。
【0052】
〔処理構成〕
図11は、第4実施形態における情報処理装置10の処理構成を概念的に示す図である。図11に示されるように、本実施形態の情報処理装置10は、警告出力部130と処理中断部140とを更に有する。警告出力部130および処理中断部140は、第1実施形態と同様に、CPU101がストレージ103に記憶された警告出力部130の機能を実現するためのプログラムモジュールおよび処理中断部140の機能を実現するためのプログラムモジュールを実行することにより実現される。
【0053】
警告出力部130は、検出部120による検出結果に応じて、警告情報を出力する。警告情報は、第1エリア内に複数の人物が入らないように促すための情報であり、セルフPOS端末20の近傍の第1エリアに複数存在する人物に対して通知される。警告情報の具体例としては、例えば、「1人でスキャンしてください」といった警告メッセージや、所定の警告音などが挙げられる。但し、警告情報はこれらの例に制限されない。警告出力部130は、セルフPOS端末20の表示部(図示せず)や音声出力部(図示せず)などを介して、当該セルフPOS端末20を使用している人物に対してこれらの警告情報を通知する。
【0054】
処理中断部140は、警告情報を出力してから所定時間が経過するまでの検出部120の検出結果に基づいて、セルフPOS端末20における商品精算処理を中断させる。処理中断部140は、例えば、警告出力部130が警告情報を出力したことをトリガとして、タイマ(図示せず)を起動させ、予め保持された所定時間が経過したか否かを判断する。但し、処理中断部140による所定時間の管理方法はこれに制限されない。また、所定時間は、情報処理装置10において適切な値に設定および変更可能である。
【0055】
〔動作例〕
図12を用いて、本実施形態における情報処理装置10の動作例を説明する。図12は、第4実施形態における情報処理装置10の処理の流れを示すフローチャートである。以下では、他の実施形態の処理と異なる処理について主に説明する。
【0056】
警告出力部130は、S103の判定において、"第1エリアに複数の人物が存在すること"が検出部120によって検出された場合、セルフPOS端末20の表示部あるいは音声出力部から、警告情報を出力させる(S401)。警告出力部130は、"第1エリアに複数の人物が存在すること"に加え、第2実施形態で説明したように、"所定の部分エリアに人物が存在すること"が検出部120によって更に検出された場合に、警告情報を出力するように構成されていてもよい。また、警告出力部130は、"第1エリアに複数の人物が存在すること"に加え、第3実施形態で説明したように、"第2エリアが写っていないこと"が検出部120によって更に検出された場合に、警告情報を出力するように構成されていてもよい。一方、S103の判定において、"第1エリアに複数の人物が存在すること"が検出部120によって検出されなかった場合、警告出力部130は、警告情報の出力を終了する(S402)。
【0057】
警告情報が出力された場合、処理中断部140はタイマを起動させ、当該タイマの値に基づいて警告情報の出力から所定時間が経過したか否かを判定する(S403)。警告情報の出力から所定時間が経過していない場合(S403:NO)、処理はS106に遷移し、警告情報が出力されたまま所定時間が経過かしたか否かの判定が継続される。ここで、S403で管理される所定時間は、S402で警告情報の出力を終了した場合はリセットされる。警告情報の出力から所定時間が経過した場合(S403:NO)、処理中断部140は、セルフPOS端末20に商品精算処理を中断する旨の指示を出し、セルフPOS端末20における商品精算処理を中断させる(S404)。
【0058】
〔第4実施形態の作用と効果〕
以上、本実施形態では、検出部120の検出結果に応じて、セルフPOS端末20を使用している人物に対して、第1エリア内に複数の人物が入らないようにするための警告情報が出力される。これにより、第1エリア内に複数の人物が入らないように、セルフPOS端末20の使用している人物に促すことができる。言い換えると、不正行為が行われる可能性のある状況を解消させることができる。これにより、セルフPOS端末20での不正行為を未然に防ぐ効果が期待できる。
【0059】
また、本実施形態では、検出部120で複数の人物の存在が検出され、セルフPOS端末20に警告情報が出力されたにもかかわらず、第1エリア内に複数の人物が存在する状態が継続した場合、当該セルフPOS端末20における商品精算処理が中断される。これにより、本実施形態によれば、不正行為が行われる可能性のある状況下で顧客が商品精算処理を継続できないようにして、セルフPOS端末20での不正行為を精度よく防止することができる。
【0060】
〔第4実施形態の変形例〕
【0061】
本変形例では、検出部120で複数の人物の存在が検出された場合に、警告出力部130、監視員用の端末(特定端末)に警告情報を先に出力した後、当該警告情報を見た監視員からの指示に従ってセルフPOS端末20に警告情報を出力する例を示す。
【0062】
図13は、第4実施形態の変形例における情報処理装置10の処理構成を概念的に示す図である。図13に示されるように、本変形例の情報処理装置10は、指示取得部150を更に備える。指示取得部150は、特定端末40からの指示情報を取得する。特定端末40からの指示情報には、警告情報をセルフPOS端末20に出力する指示が含まれる。指示取得部150は、第1実施形態と同様に、CPU101がストレージ103に記憶された指示取得部150の機能を実現するためのプログラムモジュールを実行することにより実現される。
【0063】
本変形例の警告出力部130は、特定端末40に対して警告情報を出力する。そして、この出力を確認した監視員は、警告の対象となるセルフPOS端末20の状況を監視し、警告情報を当該セルフPOS端末20に出力すべきと判断した場合に、特定端末40の入力部(図示せず)を介して指示情報を入力する。これにより、上述の指示取得部150に指示情報が出力される。
【0064】
以上、本変形例によっても、上述の第4実施形態の効果と同様の効果を得ることができる。また、警告情報は先に監視員に出力されるため、警告情報を誤って顧客に通知する可能性を低減させることができる。
【0065】
[第5実施形態]
本実施形態の情報処理装置10は、以下の点を除いて、他の実施形態の情報処理装置10はと同様の構成を有する。
【0066】
〔処理構成〕
図14は、第5実施形態における情報処理装置10の処理構成を概念的に示す図である。図14に示されるように、本実施形態の情報処理装置10は、推定部160を更に備える。
【0067】
推定部160は、画像取得部110で取得された画像に基づいて、第1エリア内に存在する人物の属性を推定する。ここで、人物の属性とは、例えば、年齢層、性別、身体的特徴(例えば身長の高低)などである。推定部160は、これらの人物の属性を、既知の画像処理技術を用いて推定する。推定部160は、第1実施形態と同様に、CPU101がストレージ103に記憶された推定部160の機能を実現するためのプログラムモジュールを実行することにより実現される。
【0068】
本実施形態の警告出力部130は、推定部160で推定された人物の属性に基づいて、警告情報を出力するか否か、又は、警告情報の出力先を決定する。
【0069】
例えば、第1エリア内に二人の人物が存在することが検出された場合において、推定部160が、一方の人物の属性を"女性、普通の身長"と、他方の人物の属性を"低身長"と推定したとする。この場合、第1エリア内に存在する二人の人物は、母親とその子どもと考えられる。この場合、第1エリア内に複数の人物が存在する場合であっても、単に子どもが母親の傍にいるだけという可能性があるため、警告出力部130は例えば警告情報を出力しなくてもよいと判断する。また、この場合、警告出力部130は、セルフPOS端末20に警告情報を出力する前に、特定端末40に対して警告情報を出力し、監視員の判断を待つようにしてもよい。このとき、警告出力部130は、推定部160で推定された人物の属性を示す情報を含めて特定端末40に出力する。
【0070】
別の例として、推定部160が、第1エリア内の二人の人物それぞれの属性を共に"男性、高身長"と推定したとする。この場合、第1エリア内に存在する二人の人物は成人男性の二人組と考えられる。この場合、先の母親と子どもとの組み合わせの例のような事情はなく、警告出力部130は、少なくとも先の例のよりも不正行為が行われる可能性は高いと判断し、特定端末40に対して警告情報を出力する。またこの場合、警告出力部130は、特定端末40に警告情報を出力して監視員の判断を待つことなく、セルフPOS端末20に警告情報を出力するようにしてもよい。
【0071】
また、本実施形態の処理中断部140は、推定部160で推定された人物の属性に基づいて、警告情報を出力してから商品精算処理を中断させるまでの所定時間を短縮または延長する。具体的には、上記母親と子どもとの組み合わせの例においては、処理中断部140は、警告情報を出力してから商品精算処理を中断させるまでの所定時間を延長する。一方、上記成人男性二人組の例においては、処理中断部140は、警告情報を出力してから商品精算処理を中断させるまでの所定時間を短縮する。
【0072】
〔第5実施形態の作用と効果〕
以上、本実施形態では、推定部160により第1エリア内に存在する複数の人物について属性が推定され、その属性に基づいて、警告情報を出力するか否か、又は、警告情報の出力先が決定される。言い換えると、本実施形態では、推定部160によって推定された各人物の属性の組み合わせによって不正行為が行われる危険性の高さが判断され、その危険性の高さに応じて警告情報の出力処理が実行される。これにより、本実施形態によれば、セルフPOS端末20を利用する一般の顧客に対して無闇に警告情報を表示することを防止できる。
【0073】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0074】
例えば、各実施形態において、情報処理装置10は、第1エリア内に複数の人物が検出されない状態であっても、監視員や監視カメラによる監視を妨害する位置に人物が存在することを検出し、その旨の検出通知や警告情報を出力するように構成されていてもよい。例えば、情報処理装置10は、第1エリア内に存在する人物が一人のみであっても、当該人物が部分エリア内に存在する状況や、第2エリアを監視カメラ等から見えないように隠している状況を検出し、検出通知や警告情報を出力するように構成されていてもよい。
【0075】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0076】
以下、参考形態の例を付記する。
1.
商品精算装置の近傍が撮像された画像を取得する画像取得手段と、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否かを検出する検出手段と、
を備える情報処理装置。
2.
前記検出手段は、前記第1エリア内の所定の部分エリアに人物が存在するか否かを更に検出する、
1.に記載の情報処理装置。
3.
前記検出手段は、前記取得された画像に前記商品精算装置の近傍の第2エリアが写っているか否かを更に検出する、
1.又は2.に記載の情報処理装置。
4.
前記第2エリアは、前記商品精算装置において商品をスキャンする位置の近傍のエリアを含む、
3.に記載の情報処理装置。
5.
前記検出手段による検出結果に応じて、警告情報を出力する警告出力手段を更に備える、
1.から4.のいずれか1つに記載の情報処理装置。
6.
特定端末から指示情報を取得する指示取得手段を更に備え、
前記警告出力手段は、
前記警告情報を前記特定端末の表示部に表示させ、
前記警告情報の表示後に前記指示取得手段により取得された指示情報に基づいて、前記警告情報を前記商品精算装置の表示部に表示させる、
5.に記載の情報処理装置。
7.
前記取得された画像に基づいて、前記第1エリア内に存在する人物の属性を推定する推定手段を更に備え、
前記警告出力手段は、前記推定された人物の属性に基づいて、前記警告情報を出力するか否か、又は、前記警告情報の出力先を決定する、
5.又は6.に記載の情報処理装置。
8.
前記警告情報を出力してから所定時間が経過するまでの前記検出手段による検出状態に基づいて、前記商品精算処理を中断する処理中断手段を更に備える、
5.から7.のいずれか1つに記載の情報処理装置。
9.
前記警告情報を出力してから所定時間が経過するまでの前記検出手段による検出状態に基づいて前記商品精算処理を中断する処理中断手段を更に備え、
前記処理中断手段は、前記推定された人物の属性に基づいて、前記所定時間を短縮又は延長する、
7.に記載の情報処理装置。
10.
コンピュータが、
商品精算装置の近傍が撮像された画像を取得し、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否かを検出する、
ことを含む情報処理方法。
11.
前記コンピュータが、前記第1エリア内の所定の部分エリアに人物が存在するか否かを更に検出する、
ことを含む10.に記載の情報処理方法。
12.
前記コンピュータが、前記取得された画像に前記商品精算装置の近傍の第2エリアが写っているか否かを更に検出する、
ことを含む10.又は11.に記載の情報処理方法。
13.
前記第2エリアは、前記商品精算装置において商品をスキャンする位置の近傍のエリアを含む、
12.に記載の情報処理方法。
14.
前記コンピュータが、前記検出の結果に応じて警告情報を出力する、
ことを含む10.から13.のいずれか1つに記載の情報処理方法。
15.
前記コンピュータが、
前記警告情報を特定端末の表示部に表示させ、
前記特定端末から指示情報を取得し、
前記警告情報の表示後に取得された指示情報に基づいて、前記警告情報を前記商品精算装置の表示部に表示させる、
ことを含む14.に記載の情報処理方法。
16.
前記コンピュータが、
前記取得された画像に基づいて、前記第1エリア内に存在する人物の属性を推定し、
前記推定された人物の属性に基づいて、前記警告情報を出力するか否か、又は、前記警告情報の出力先を決定する、
ことを含む14.又は15.に記載の情報処理方法。
17.
前記コンピュータが、
前記警告情報を出力してから所定時間が経過するまでの前記検出の状態に基づいて、前記商品精算処理を中断させる、
ことを含む14.から16.のいずれか1つに記載の情報処理方法。
18.
前記コンピュータが、
前記推定された人物の属性に基づいて、所定時間を短縮又は延長し、
前記警告情報を出力してから前記所定時間が経過するまでの前記検出の状態に基づいて前記商品精算処理を中断させる、
ことを含む16.に記載の情報処理方法。
19.
コンピュータを、
商品精算装置の近傍が撮像された画像を取得する画像取得手段、
前記取得された画像に基づいて、商品精算処理を開始してから終了するまでの間に、前記商品精算装置の近傍の第1エリア内に複数の人物が存在するか否かを検出する検出手段、
として機能させるためのプログラム。
20.
前記検出手段は、前記第1エリア内の所定の部分エリアに人物が存在するか否かを更に検出する、
19.に記載のプログラム。
21.
前記検出手段は、前記取得された画像に前記商品精算装置の近傍の第2エリアが写っているか否かを更に検出する、
19.又は20.に記載のプログラム。
22.
前記第2エリアは、前記商品精算装置において商品をスキャンする位置の近傍のエリアを含む、
21.に記載のプログラム。
23.
前記コンピュータを、
前記検出手段による検出結果に応じて、警告情報を出力する警告出力手段、
として更に機能させるための19.から22.のいずれか1つに記載のプログラム。
24.
前記コンピュータを、
特定端末から指示情報を取得する指示取得手段として更に機能させ、
前記警告出力手段は、
前記警告情報を前記特定端末の表示部に表示させ、
前記警告情報の表示後に前記指示取得手段により取得された指示情報に基づいて、前記警告情報を前記商品精算装置の表示部に表示させる、
23.に記載のプログラム。
25.
前記コンピュータを
前記取得された画像に基づいて、前記第1エリア内に存在する人物の属性を推定する推定手段として更に機能させ、
前記警告出力手段は、前記推定された人物の属性に基づいて、前記警告情報を出力するか否か、又は、前記警告情報の出力先を決定する、
23.又は24.に記載のプログラム。
26.
前記コンピュータを、
前記警告情報を出力してから所定時間が経過するまでの前記検出手段による検出状態に基づいて、前記商品精算処理を中断する処理中断手段、
として更に機能させるための23.から25.のいずれか1つに記載の情報処理装置。
27.
前記コンピュータを、
前記推定された人物の属性に基づいて所定時間を短縮又は延長し、前記警告情報を出力してから前記所定時間が経過するまでの前記検出手段による検出状態に基づいて前記商品精算処理を中断する処理中断手段、
として更に機能させるための25.に記載のプログラム。
【0077】
この出願は、2014年9月19日に出願された日本出願特願2014−190857号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15