知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024014480
(43)【公開日】2024-02-01
(54)【発明の名称】監視装置及び取引処理装置
(51)【国際特許分類】
G07G 1/00 20060101AFI20240125BHJP
G07G 1/12 20060101ALI20240125BHJP
【ＦＩ】
G07G1/00 331B
G07G1/12 331Z
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022117332
(22)【出願日】2022-07-22
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】荻巣 高博
【テーマコード（参考）】
3E142
【Ｆターム（参考）】
3E142BA16
3E142CA06
3E142CA12
3E142DA07
3E142DA11
3E142EA25
3E142FA42
3E142GA02
3E142GA18
3E142GA32
3E142GA41
3E142JA01
(57)【要約】
【課題】 カメラの撮影状況に異常が生じている状態が放置されることを防止可能とする。
【解決手段】 実施形態の監視装置は、監視手段、判定手段及び報知手段を備える。監視手段は、カメラにより取得された画像に基づき、予め定められた対象領域内を監視する。判定手段は、対象領域の中に配置された評価用オブジェクトがカメラにより得られた画像に映り込む状況に基づいて、カメラの撮影状況の異常を判定する。報知手段は、判定手段により異常が判定されたことに応じて、予め定められた報知動作を行わせる。
【選択図】 図３
【解決手段】 実施形態の監視装置は、監視手段、判定手段及び報知手段を備える。監視手段は、カメラにより取得された画像に基づき、予め定められた対象領域内を監視する。判定手段は、対象領域の中に配置された評価用オブジェクトがカメラにより得られた画像に映り込む状況に基づいて、カメラの撮影状況の異常を判定する。報知手段は、判定手段により異常が判定されたことに応じて、予め定められた報知動作を行わせる。
【選択図】 図３
【特許請求の範囲】
【請求項1】
カメラにより取得された画像に基づき、予め定められた対象領域内を監視する監視手段と、
前記対象領域の中に配置された評価用オブジェクトが前記カメラにより得られた画像に映り込む状況に基づいて、前記カメラの撮影状況の異常を判定する判定手段と、
前記判定手段により異常が判定されたことに応じて、予め定められた報知動作を行わせる報知手段と、
を具備した監視装置。
前記対象領域の中に配置された評価用オブジェクトが前記カメラにより得られた画像に映り込む状況に基づいて、前記カメラの撮影状況の異常を判定する判定手段と、
前記判定手段により異常が判定されたことに応じて、予め定められた報知動作を行わせる報知手段と、
を具備した監視装置。
【請求項2】
前記評価用オブジェクトが前記カメラにより得られた画像に映り込む状況が予め定められた基準状況から変化したことに応じて、前記評価用オブジェクトが前記カメラにより得られた画像に映り込む状況を前記基準状況に近付けるべく前記カメラの撮影状況を調整する調整手段、
をさらに備える請求項１に記載の監視装置。
をさらに備える請求項１に記載の監視装置。
【請求項3】
前記監視手段は、前記対象領域内での人間の行動をＡＩ（artificial intelligence）処理により監視する、
請求項１又は請求項２に記載の監視装置。
請求項１又は請求項２に記載の監視装置。
【請求項4】
操作者による操作に基づいて取引を処理する処理手段と、
カメラにより取得された画像に基づき、予め定められた対象領域内での前記操作者の行動の整合性を監視する監視手段と、
前記対象領域の中に配置された評価用オブジェクトが前記カメラにより得られた画像に映り込む状況に基づいて、前記カメラの撮影状況の異常を判定する判定手段と、
前記判定手段により異常が判定されたことに応じて、予め定められた報知動作を行う報知手段と、
を具備した取引処理装置。
カメラにより取得された画像に基づき、予め定められた対象領域内での前記操作者の行動の整合性を監視する監視手段と、
前記対象領域の中に配置された評価用オブジェクトが前記カメラにより得られた画像に映り込む状況に基づいて、前記カメラの撮影状況の異常を判定する判定手段と、
前記判定手段により異常が判定されたことに応じて、予め定められた報知動作を行う報知手段と、
を具備した取引処理装置。
【請求項5】
前記判定手段により異常が判定されたことに応じて、前記処理手段による処理を禁止する禁止手段、
をさらに備える請求項４に記載の取引処理装置。
をさらに備える請求項４に記載の取引処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、監視装置及び取引処理装置に関する。
【背景技術】
【0002】
セルフレジ及びセミセルフレジ、あるいは無人店舗システムのような、取引に関する処理を客による操作を伴って行う取引処理システムにおいて、カメラを用いて客の行動監視を行うことは知られている。
また店員により操作される対面式レジにおいても、カメラを用いて店員の行動を監視する場合もある。
このように操作者の行動監視をカメラを用いて行う場合、カメラの撮影状況が変化してしまうと、行動監視を適正に行えなくなる恐れがあった。
このような事情から、カメラの撮影状況に異常が生じている状態が放置されることを防止できることが望まれていた。
また店員により操作される対面式レジにおいても、カメラを用いて店員の行動を監視する場合もある。
このように操作者の行動監視をカメラを用いて行う場合、カメラの撮影状況が変化してしまうと、行動監視を適正に行えなくなる恐れがあった。
このような事情から、カメラの撮影状況に異常が生じている状態が放置されることを防止できることが望まれていた。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１３５６２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、カメラの撮影状況に異常が生じている状態が放置されることを防止できる監視装置及び取引処理装置を提供することである。
【課題を解決するための手段】
【0005】
実施形態の監視装置は、監視手段、判定手段及び報知手段を備える。監視手段は、カメラにより取得された画像に基づき、予め定められた対象領域内を監視する。判定手段は、対象領域の中に配置された評価用オブジェクトがカメラにより得られた画像に映り込む状況に基づいて、カメラの撮影状況の異常を判定する。報知手段は、判定手段により異常が判定されたことに応じて、予め定められた報知動作を行わせる。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、実施の形態について図面を用いて説明する。なお、本実施の形態では、監視装置としての機能を備えたセルフタイプのチェックアウト装置を例に説明する。チェックアウト装置は、取引処理装置の一例である。
図１は本実施形態に係るチェックアウト装置１の外観の斜視図である。なおチェックアウト装置１は、セルフチェックアウト式のＰＯＳ端末、あるいはセルフレジ装置とも呼ばれる。
図１は本実施形態に係るチェックアウト装置１の外観の斜視図である。なおチェックアウト装置１は、セルフチェックアウト式のＰＯＳ端末、あるいはセルフレジ装置とも呼ばれる。
【0008】
チェックアウト装置１は、本体１００及び計量ユニット２００，３００を含む。
本体１００は、タッチパネル１０１、スキャナ窓１０２、ハンディスキャナ１０３、レシート発行口１０４、カード差込口１０５、硬貨投入皿１０６、釣銭皿１０７、紙幣挿入口１０８、紙幣排出口１０９、警報ランプ１１０及び監視カメラ１１１を含む。
本体１００は、タッチパネル１０１、スキャナ窓１０２、ハンディスキャナ１０３、レシート発行口１０４、カード差込口１０５、硬貨投入皿１０６、釣銭皿１０７、紙幣挿入口１０８、紙幣排出口１０９、警報ランプ１１０及び監視カメラ１１１を含む。
【0009】
タッチパネル１０１は、操作者に各種の情報を報知するための各種の画面を表示する。当該各種の画面は、一部がＧＵＩ（graphical user interface）を構成するものであって、タッチパネル１０１はＧＵＩの操作のためのタッチ操作を受け付ける。つまりタッチパネル１０１は、表示デバイスであり、入力デバイスでもある。
スキャナ窓１０２は、本体１００に形成した開口を透明な樹脂またはガラスなどで覆って形成される。スキャナ窓１０２は、スキャナ窓１０２の前に操作者により翳された商品を、本体１００の内部に配置される固定スキャナによりスキャン可能とする。固定スキャナについては後述する。
スキャナ窓１０２は、本体１００に形成した開口を透明な樹脂またはガラスなどで覆って形成される。スキャナ窓１０２は、スキャナ窓１０２の前に操作者により翳された商品を、本体１００の内部に配置される固定スキャナによりスキャン可能とする。固定スキャナについては後述する。
【0010】
ハンディスキャナ１０３は、操作者により持たれて用いられ、商品に表示されたバーコードに近接された場合に、当該バーコードを読み取って、そのバーコードが表したバーコード情報を出力する。
レシート発行口１０４は、レシートを本体１００の外部に排出するためのスリット状の開口である。
レシート発行口１０４は、レシートを本体１００の外部に排出するためのスリット状の開口である。
【0011】
カード差込口１０５は、決済のために操作者が挿入するクレジットカードを本体１００の内部へと挿し込むためのスリット状の開口である。
硬貨投入皿１０６は、操作者が投入する硬貨を受ける。硬貨投入皿１０６の底面には、開口が形成されており、硬貨投入皿１０６が受けた硬貨は、開口から本体１００の内部に取り込まれる。
釣銭皿１０７は、本体１００から釣銭などとして排出される硬貨を受ける。
硬貨投入皿１０６は、操作者が投入する硬貨を受ける。硬貨投入皿１０６の底面には、開口が形成されており、硬貨投入皿１０６が受けた硬貨は、開口から本体１００の内部に取り込まれる。
釣銭皿１０７は、本体１００から釣銭などとして排出される硬貨を受ける。
【0012】
紙幣挿入口１０８は、操作者が挿入する紙幣を本体１００の内部へと取り込むためのスリット状の開口である。
紙幣排出口１０９は、本体１００から釣銭などとしての紙幣を排出するためのスリット状の開口である。紙幣排出口１０９は、紙幣を、その一部を本体１００の外部に突出させた状態で保持する。
紙幣排出口１０９は、本体１００から釣銭などとしての紙幣を排出するためのスリット状の開口である。紙幣排出口１０９は、紙幣を、その一部を本体１００の外部に突出させた状態で保持する。
【0013】
警報ランプ１１０は、各種の警報のための点灯動作及び点滅動作を行う。
監視カメラ１１１は、タッチパネル１０１の表示面、ハンディスキャナ１０３、レシート発行口１０４、カード差込口１０５、硬貨投入皿１０６、釣銭皿１０７、紙幣挿入口１０８及び紙幣排出口１０９などを俯瞰撮影する。監視カメラ１１１は、ビデオカメラ又はスチルカメラ等の撮影デバイスを含む。
監視カメラ１１１は、タッチパネル１０１の表示面、ハンディスキャナ１０３、レシート発行口１０４、カード差込口１０５、硬貨投入皿１０６、釣銭皿１０７、紙幣挿入口１０８及び紙幣排出口１０９などを俯瞰撮影する。監視カメラ１１１は、ビデオカメラ又はスチルカメラ等の撮影デバイスを含む。
【0014】
計量ユニット２００は、未登録の商品を載置するための台２０１を含む。計量ユニット２００は、台２０１に載置された商品の総重量を計測する。
計量ユニット３００は、登録済みの商品を載置するための台３０１，３０２と、登録済みの商品を入れる袋を掛けるアーム３０３とを含む。計量ユニット３００は、台３０１，３０２に載置された商品と、アーム３０３に掛けられた袋に入れられた商品との総重量を計測する。
計量ユニット３００は、登録済みの商品を載置するための台３０１，３０２と、登録済みの商品を入れる袋を掛けるアーム３０３とを含む。計量ユニット３００は、台３０１，３０２に載置された商品と、アーム３０３に掛けられた袋に入れられた商品との総重量を計測する。
【0015】
図２はチェックアウト装置１の要部回路構成を示すブロック図である。なお、図２において図１に表されるのと同一の要素には同一の符号を付し、その詳細な説明は省略する。
本体１００は、前述のタッチパネル１０１、ハンディスキャナ１０３、警報ランプ１１０及び監視カメラ１１１の他に、プロセッサ１１２、メイン記憶ユニット１１３、補助記憶ユニット１１４、固定スキャナ１１５、プリンタ１１６、釣銭機１１７、クレジットカードリーダ１１８、電子マネーリーダライタ１１９、通信ユニット１２０、インタフェースユニット１２１及び伝送路１２２を含む。
本体１００は、前述のタッチパネル１０１、ハンディスキャナ１０３、警報ランプ１１０及び監視カメラ１１１の他に、プロセッサ１１２、メイン記憶ユニット１１３、補助記憶ユニット１１４、固定スキャナ１１５、プリンタ１１６、釣銭機１１７、クレジットカードリーダ１１８、電子マネーリーダライタ１１９、通信ユニット１２０、インタフェースユニット１２１及び伝送路１２２を含む。
【0016】
プロセッサ１１２、メイン記憶ユニット１１３及び補助記憶ユニット１１４は、伝送路１２２で接続されて、チェックアウト装置１を制御するためのコンピュータを構成する。
プロセッサ１１２は、上記コンピュータの中枢部分に相当する。プロセッサ１１２は、メイン記憶ユニット１１３及び補助記憶ユニット１１４に記憶されたオペレーティングシステム、ファームウェア及びアプリケーションプログラムなどの各種情報処理プログラムに基づいて、チェックアウト装置１の各種の機能を実現するべく各部を制御するための情報処理を実行する。
プロセッサ１１２は、上記コンピュータの中枢部分に相当する。プロセッサ１１２は、メイン記憶ユニット１１３及び補助記憶ユニット１１４に記憶されたオペレーティングシステム、ファームウェア及びアプリケーションプログラムなどの各種情報処理プログラムに基づいて、チェックアウト装置１の各種の機能を実現するべく各部を制御するための情報処理を実行する。
【0017】
メイン記憶ユニット１１３は、上記コンピュータの主記憶部分に相当する。メイン記憶ユニット１１３は、読み出し専用のメモリ領域と書き換え可能なメモリ領域とを含む。メイン記憶ユニット１１３は、読み出し専用のメモリ領域では上記の情報処理プログラムの一部を記憶する。またメイン記憶ユニット１１３は、プロセッサ１１２が各部を制御するための処理を実行する上で必要なデータを読み出し専用のメモリ領域又は書き換え可能なメモリ領域で記憶する場合もある。メイン記憶ユニット１１３は、書き換え可能なメモリ領域を、プロセッサ１１２によるワークエリアとして使用する。
【0018】
補助記憶ユニット１１４は、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット１１４としては、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ＨＤＤ（hard disc drive）又はＳＳＤ（solid state drive）等の周知の記憶デバイスを備える。補助記憶ユニット１１４は、プロセッサ１１２が各種の処理を行う上で使用するデータや、プロセッサ１１２での処理によって生成されたデータを保存する。補助記憶ユニット１１４は、アプリケーションプログラムを記憶する場合もある。補助記憶ユニット１１４は、本実施形態においては、取引処理プログラムＰＲＡ及び監視処理プログラムＰＲＢを記憶する。取引処理プログラムＰＲＡは、取引を処理するための情報処理に関する処理手順を記述したアプリケーションプログラムである。監視処理プログラムＰＲＢは、取引処理に際しての操作者の行動を監視するための情報処理に関する処理手順を記述したアプリケーションプログラムである。
【0019】
取引処理プログラムＰＲＡ及び監視処理プログラムＰＲＢは、チェックアウト装置１の譲渡時には、典型的には補助記憶ユニット１１４に記憶されている。しかしながら、取引処理プログラムＰＲＡ及び監視処理プログラムＰＲＢは、チェックアウト装置１の譲渡後に、任意の作業者による操作に応じてプロセッサ１１２によって補助記憶ユニット１１４に書き込まれてもよい。ただしこの場合、譲渡されるチェックアウト装置１の補助記憶ユニット１１４に、取引処理プログラムＰＲＡ及び監視処理プログラムＰＲＢとはバージョンが異なる同種のプログラムが記憶されていてもよいし、そのようなプログラムは記憶されていなくてもよい。前者の場合、後から補助記憶ユニット１１４に書き込まれたプログラムは、バージョンが異なる同種のプログラムの代わりに利用される。なお、取引処理プログラムＰＲＡ及び監視処理プログラムＰＲＢの譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行える。
【0020】
固定スキャナ１１５は、スキャナ窓１０２の前に翳された商品を撮像した上で、当該商品に表示されたバーコードを画像処理によって識別する。そして固定スキャナ１１５は、識別したバーコードが表す情報をプロセッサ１１２へ出力する。なお、固定スキャナ１１５は、レーザ光の反射を利用してバーコードを識別するような他のタイプの周知のデバイスを利用することもできる。
【0021】
プリンタ１１６は、レシートプリンタ及びジャーナルプリンタを含む。レシートプリンタは、レシート用紙に各種の情報をプリントすることにより各種の証票を発行する。各種の証票は、商取引の内容などを表したレシート及びクレジット決済に関するクレジット伝票などである。レシートプリンタにより発行される証票は、レシート発行口１０４から本体１００の外部へと排出される。ジャーナルプリンタは、レシートプリンタによりレシート用紙にプリントされる情報を含んだジャーナルデータをジャーナル用紙にプリントする。ジャーナル用紙は、保守者によって取り出されない限りは、本体１００の内部に保留される。
【0022】
釣銭機１１７は、硬貨を金種別に収容する硬貨金庫と、紙幣を金種別に収容する紙幣金庫とを備える。そして釣銭機１１７は、硬貨投入皿１０６に投入された硬貨を取り込み、金種を識別した上で硬貨金庫に金種別に収容する。釣銭機１１７は、紙幣挿入口１０８に投入された紙幣を取り込み、金種を識別した上で紙幣金庫に金種別に収容する。釣銭機１１７は、プロセッサ１１２からの出金指令に応じて、硬貨金庫又は紙幣金庫に収容されている硬貨又は紙幣を釣銭皿１０７又は紙幣排出口１０９から排出する。このような釣銭機１１７としては、周知の自動釣銭機を適用することができる。
【0023】
クレジットカードリーダ１１８は、カード差込口１０５へと操作者によって挿し込まれたクレジットカードに記録されたデータを読み取る。つまりクレジットカードリーダ１１８は、読取デバイスに相当する。
電子マネーリーダライタ１１９は、例えばＮＦＣ（near field communication）通信部を備え、近接した電子マネーカードから無線通信によりデータを読み取る。また電子マネーリーダライタ１１９は、近接した電子マネーカードから無線通信によりデータを書き込む。
電子マネーリーダライタ１１９は、例えばＮＦＣ（near field communication）通信部を備え、近接した電子マネーカードから無線通信によりデータを読み取る。また電子マネーリーダライタ１１９は、近接した電子マネーカードから無線通信によりデータを書き込む。
【0024】
通信ユニット１２０は、通信ネットワーク２を介したデータ通信を行う。通信ネットワーク２は、一例としてＬＡＮ（local area network）である。通信ユニット１２０としては、通信ネットワーク２がＬＡＮであるならば、ＬＡＮに適応した周知の通信デバイスを利用できる。
インタフェースユニット１２１には、計量ユニット２００に含まれる重量計２０２と、計量ユニット３００に含まれる重量計３０４とがそれぞれ接続される。重量計２０２は、台２０１に載置された商品の総重量を計測し、当該総重量を計量値として出力する。重量計３０４は、台３０１，３０２に載置された商品と、アーム３０３に掛けられた袋に入れられた商品との総重量を計測し、当該総重量を計量値として出力する。インタフェースユニット１２１は、重量計２０２，３０４が出力する計量値を取り込む。
伝送路１２２は、アドレスバス、データバス及び制御信号線等を含む。伝送路１２２は、接続されている各部の間で授受されるデータ及び信号を伝送する。
インタフェースユニット１２１には、計量ユニット２００に含まれる重量計２０２と、計量ユニット３００に含まれる重量計３０４とがそれぞれ接続される。重量計２０２は、台２０１に載置された商品の総重量を計測し、当該総重量を計量値として出力する。重量計３０４は、台３０１，３０２に載置された商品と、アーム３０３に掛けられた袋に入れられた商品との総重量を計測し、当該総重量を計量値として出力する。インタフェースユニット１２１は、重量計２０２，３０４が出力する計量値を取り込む。
伝送路１２２は、アドレスバス、データバス及び制御信号線等を含む。伝送路１２２は、接続されている各部の間で授受されるデータ及び信号を伝送する。
【0025】
次に以上のように構成されたチェックアウト装置１の動作について説明する。なお、以下に説明する処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。
チェックアウト装置１は、主として客が操作者となる。チェックアウト装置１は、操作者による操作に応じて、取引の対象となる商品の登録に関する登録処理と、登録された商品に関する代金の会計に関する会計処理とを行って、取引を処理する。
チェックアウト装置１は、主として客が操作者となる。チェックアウト装置１は、操作者による操作に応じて、取引の対象となる商品の登録に関する登録処理と、登録された商品に関する代金の会計に関する会計処理とを行って、取引を処理する。
【0026】
このような取引の処理を行う動作状態でチェックアウト装置１が起動されると、プロセッサ１１２は取引処理プログラムＰＲＡに基づく情報処理（以下、取引処理と称する）と、監視処理プログラムＰＲＢに基づく情報処理（以下、監視処理と称する）とをそれぞれ開始する。プロセッサ１１２は、取引処理及び監視処理を、例えば別スレッドの処理として並行処理する。
【0027】
図３は監視処理のフローチャートである。
ＡＣＴ１としてプロセッサ１１２は、監視カメラ１１１により撮影された画像を取得する。
ＡＣＴ２としてプロセッサ１１２は、上記の取得した画像中に映り込んだ評価用チャートを抽出する。
評価用チャートは、監視カメラ１１１により撮影される画像に映り込むように物理的に形成されたオブジェクトである。本実施形態では、タッチパネル１０１の筐体の上面に予め定められた色で形成した三角形のチャートとする。
ＡＣＴ１としてプロセッサ１１２は、監視カメラ１１１により撮影された画像を取得する。
ＡＣＴ２としてプロセッサ１１２は、上記の取得した画像中に映り込んだ評価用チャートを抽出する。
評価用チャートは、監視カメラ１１１により撮影される画像に映り込むように物理的に形成されたオブジェクトである。本実施形態では、タッチパネル１０１の筐体の上面に予め定められた色で形成した三角形のチャートとする。
【0028】
図４は監視カメラ１１１により撮影された画像の一例を表す図である。図４では、監視カメラ１１１により撮影された画像に映り込んでいるオブジェクトの一部の図示を省略している。
監視カメラ１１１が所期の撮影状態にあるとき、図４に表されるように、評価用チャートＣＨＡが、監視カメラ１１１により撮影された画像に映り込む。
そこでプロセッサ１１２は、形状及び色に基づいて評価用チャートＣＨＡを画像中から抽出する。
監視カメラ１１１が所期の撮影状態にあるとき、図４に表されるように、評価用チャートＣＨＡが、監視カメラ１１１により撮影された画像に映り込む。
そこでプロセッサ１１２は、形状及び色に基づいて評価用チャートＣＨＡを画像中から抽出する。
【0029】
ＡＣＴ３としてプロセッサ１１２は、評価用チャートＣＨＡに関して、予め定められた評価項目のそれぞれについての特徴量を抽出する。評価項目としては、一例として、画像内での位置、大きさ、傾き、色及び明るさなどが想定される。なお、プロセッサ１１２がＡＣＴ３にてどの評価項目についての特徴量を抽出するかは、例えばチェックアウト装置１の設計者又は管理者などによって適宜に定められてよい。
【0030】
ＡＣＴ４としてプロセッサ１１２は、抽出した特徴量の中に異常値があるか否かを確認する。プロセッサ１１２は例えば、ＡＣＴ３で抽出した特徴量のそれぞれを、各評価項目に関して予め定められた判定条件に照らして異常な値であるか否かを判定する。例えばプロセッサ１１２は、評価用チャートＣＨＡの画像内での位置に関する特徴量として座標値を抽出し、当該の座標値が画像内の予め定められた許容領域の外である場合に、位置に関する特徴量が異常値であると判定する。プロセッサ１１２は例えば、評価用チャートＣＨＡが抽出できずに、評価用チャートＣＨＡの画像内での位置を特定できなかった場合も、位置に関するが特徴量が異常値であると判定する。例えばプロセッサ１１２は、評価用チャートＣＨＡの明るさに関する特徴量として、評価用チャートＣＨＡ内での平均の明度を抽出し、当該の明度が予め定められた許容範囲から外れている場合に、明るさに関する特徴量が異常値であると判定する。なお、判定条件は、例えばチェックアウト装置１の設計者などによって適宜に定められてよい。
【0031】
以上のようにＡＣＴ１～ＡＣＴ４の処理によってプロセッサ１１２は、評価用チャートＣＨＡを用いて監視カメラ１１１の撮影状況が予め定められた所期の撮影状況にあるか否かを評価する。なお、監視カメラ１１１の撮影状況は、チェックアウト装置１の設置時、あるいはメンテナンス時等に、後述する行動監視に適するように調整される。撮影状況が適正に調整され、かつ大きな変化が生じていないならば、異常値は生じない。
そしてプロセッサ１１２は、異常値が１つも無ければＡＣＴ４にてＮＯと判定し、ＡＣＴ５へと進む。
そしてプロセッサ１１２は、異常値が１つも無ければＡＣＴ４にてＮＯと判定し、ＡＣＴ５へと進む。
【0032】
ＡＣＴ５としてプロセッサ１１２は、チェックアウト装置１の動作状態として許容状態を設定する。
プロセッサ１１２は、取引処理にあっては、取引開始のための操作者による操作を、許容状態が設定されている場合に受け付け、後述する禁止状態が設定されている場合には受け付けない。そしてプロセッサ１１２は、取引処理にあっては、許容状態が設定されている場合は、取引開始のための操作者による操作がなされたならば、一取引に関する登録及び会計のための処理を開始する。プロセッサ１１２が取引処理において一取引に関する登録及び会計のために実行する処理は、例えば既存の同種のチェックアウト装置１で実行されている処理と同様であってよいので、ここではその説明は省略する。かくして取引処理プログラムＰＲＡに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは処理手段として機能する。
プロセッサ１１２は、取引処理にあっては、取引開始のための操作者による操作を、許容状態が設定されている場合に受け付け、後述する禁止状態が設定されている場合には受け付けない。そしてプロセッサ１１２は、取引処理にあっては、許容状態が設定されている場合は、取引開始のための操作者による操作がなされたならば、一取引に関する登録及び会計のための処理を開始する。プロセッサ１１２が取引処理において一取引に関する登録及び会計のために実行する処理は、例えば既存の同種のチェックアウト装置１で実行されている処理と同様であってよいので、ここではその説明は省略する。かくして取引処理プログラムＰＲＡに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは処理手段として機能する。
【0033】
ＡＣＴ６としてプロセッサ１１２は、取引処理にて一取引に関する処理が開始されたか否かを確認する。そしてプロセッサ１１２は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ７へと進む。
ＡＣＴ７としてプロセッサ１１２は、評価タイミングとなったか否かを確認する。そしてプロセッサ１１２は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ６へと戻る。
かくしてプロセッサ１１２はＡＣＴ６及びＡＣＴ７として、一取引に関する処理が開始されるか、評価タイミングとなるのを待ち受ける。
ＡＣＴ７としてプロセッサ１１２は、評価タイミングとなったか否かを確認する。そしてプロセッサ１１２は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ６へと戻る。
かくしてプロセッサ１１２はＡＣＴ６及びＡＣＴ７として、一取引に関する処理が開始されるか、評価タイミングとなるのを待ち受ける。
【0034】
評価タイミングは、間欠的に成立するように、例えばチェックアウト装置１の設計者又は管理者などによって定められる。一例としてプロセッサ１１２は、ＡＣＴ１～ＡＣＴ４による評価を前回行ってからの経過時間が予め定められた時間を越えている場合に、評価タイミングであると判定することが想定される。あるいは、一例としてプロセッサ１１２は、取引処理による取引の処理が行われていない期間が予め定められた時間を越えている場合に、評価タイミングであると判定することが想定される。
【0035】
プロセッサ１１２は、評価タイミングであると判定したならば、ＡＣＴ７にてＹＥＳと判定してＡＣＴ１へと戻り、前述のような評価を再度行う。
一方、プロセッサ１１２は、取引処理にて一取引に関する処理を開始したならば、監視処理においてはＡＣＴ６にてＹＥＳと判定し、ＡＣＴ８へと進む。
一方、プロセッサ１１２は、取引処理にて一取引に関する処理を開始したならば、監視処理においてはＡＣＴ６にてＹＥＳと判定し、ＡＣＴ８へと進む。
【0036】
ＡＣＴ８としてプロセッサ１１２は、行動監視を実行する。行動監視は、監視カメラ１１１により撮影された画像に基づいて操作者の行動を監視するための処理である。行動監視は、一例としてはＡＩ処理として実現される。かくして監視処理プログラムＰＲＢに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは監視手段として機能する。なお、ＡＣＴ４で適用する判定条件は、ここでの行動監視の精度を低下させるような特徴量を異常値とするように定められることが望ましい。プロセッサ１１２は、取引処理にて一取引に関する処理を終了したならば、行動監視を終了し、ＡＣＴ６及びＡＣＴ７の待ち受け状態に戻る。
【0037】
さて、監視カメラ１１１の撮影状況が変化することがある。この変化の原因は、例えば、監視カメラ１１１の向きが変えられた場合、あるいは監視カメラ１１１に含まれる撮影デバイスのレンズが汚れた場合などのような監視カメラ１１１側の事情が想定される。また上記の変化の原因は、例えば、店舗照明の明るさが変わった場合などのような周囲環境の事情が想定される。そして監視カメラ１１１の撮影状況が大きく変化していると、ＡＣＴ１～ＡＣＴ４の評価によって得られる特徴量に異常値が生じることがある。そしてプロセッサ１１２は、このように異常値が生じているならばＡＣＴ４にてＹＥＳと判定し、ＡＣＴ９へと進む。このときにプロセッサ１１２は、監視カメラ１１１の撮影状況の異常を判定していることになる。かくして監視処理プログラムＰＲＢに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは判定手段として機能する。
【0038】
ＡＣＴ９としてプロセッサ１１２は、異常値であるとされた評価項目に関する調整が可能であるか否かを確認する。例えば、監視カメラ１１１に含まれる撮像デバイスが、絞り調整機能を備えるならば、明るさに関する調整が可能である。例えば、監視カメラ１１１が、撮影方向を変化させる機構を備えるならば、位置に関する調整が可能である。プロセッサ１１２は、異常値とされているのが、調整可能として予め定められた評価項目に関する特徴量であるならばＹＥＳと判定し、ＡＣＴ１０へと進む。
【0039】
ＡＣＴ１０としてプロセッサ１１２は、異常値とされている特徴量を正常な範囲に近付けるべく、監視カメラ１１１の撮影条件を調整する。かくして監視処理プログラムＰＲＢに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは調整手段として機能する。そしてプロセッサ１１２はこののち、ＡＣＴ１へと戻って、調整後の撮影条件を再評価する。
【0040】
プロセッサ１１２は、異常値であるとされた評価項目に関して調整することができないならば、ＡＣＴ９にてＮＯと判定し、ＡＣＴ１１へと進む。
ＡＣＴ１１としてプロセッサ１１２は、チェックアウト装置１の動作状態として禁止状態を設定する。これによりプロセッサ１１２は取引処理においては、新たな取引に関する操作の受け付けを行わない状態となる。かくして監視処理プログラムＰＲＢに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは禁止手段として機能する。
ＡＣＴ１１としてプロセッサ１１２は、チェックアウト装置１の動作状態として禁止状態を設定する。これによりプロセッサ１１２は取引処理においては、新たな取引に関する操作の受け付けを行わない状態となる。かくして監視処理プログラムＰＲＢに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは禁止手段として機能する。
【0041】
ＡＣＴ１２としてプロセッサ１１２は、報知処理を行う。報知処理は、予め定められた通報先に監視処理の異常を報知するための予め定められた報知動作を行わせるための処理である。報知動作は、一例としては、予め定められた端末での表示及び鳴動である。通報先となる端末は、チェックアウト装置１の管理を担当する店員が所持する携帯端末、あるいはチェックアウト装置１の近辺に設置されているアテンダント端末などとすることが想定される。この場合にプロセッサ１１２は報知処理として、報知動作の実行を指示する指示データを、通信ユニット１２０から通報先の端末に宛てて通信ネットワーク２へと送出させる。報知動作は、チェックアウト装置１での警報ランプ１１０の点滅、タッチパネル１０１での画面表示、あるいは図示されない鳴動デバイスによる鳴動などであっても構わない。この場合にプロセッサ１１２は報知処理として、該当のデバイスを動作させる。報知処理としてどのような処理を行うかは、例えばチェックアウト装置１の設計者又は管理者などによって適宜に定められてよい。かくして監視処理プログラムＰＲＢに基づく情報処理をプロセッサ１１２が実行することによって、プロセッサ１１２を中枢部分とするコンピュータは報知手段として機能する。
【0042】
店員などは、報知動作によって異常を認識したならば、異常の解消を図るように処置する。そして店員などは、該当の処置を終えたならば、例えばタッチパネル１０１での予め定められた操作によって復帰を指示する。
ＡＣＴ１３としてプロセッサ１１２は、復帰指示を待ち受ける。そしてプロセッサ１１２は、上述のように復帰を指示するための操作が行われたならばＹＥＳと判定し、ＡＣＴ１以降を繰り返す。
ＡＣＴ１３としてプロセッサ１１２は、復帰指示を待ち受ける。そしてプロセッサ１１２は、上述のように復帰を指示するための操作が行われたならばＹＥＳと判定し、ＡＣＴ１以降を繰り返す。
【0043】
以上のようにチェックアウト装置１は、評価用チャートＣＨＡが監視カメラ１１１により撮影された画像に映り込む状況に基づいて、監視カメラ１１１の撮影状況の異常を判定し、報知動作を行わせる。これにより、監視カメラ１１１の撮影状況の異常を店員などに報知して対処を促すことができ、カメラの撮影状況に異常が生じている状態が放置されることを防止できる。
【0044】
またチェックアウト装置１は、特徴量が異常値となっている評価項目が監視カメラ１１１の撮影状況の変更により調整可能であれば、調整を試みる。従って調整により正常な特徴量が得られるならば、チェックアウト装置１はそのまま動作を継続することが可能である。
【0045】
またチェックアウト装置１は、監視カメラ１１１の撮影状況に異常がある場合には、取引処理による取引のための処理の実行を禁止する。これにより、監視カメラ１１１での撮影画像に基づく監視を正しく行えない恐れのある状況では取引の処理が行われず、不正な操作が見逃されてしまうことを防止できる。
【0046】
この実施形態は、次のような種々の変形実施が可能である。
取引処理と監視処理とを別々のプロセッサにより実行しても構わない。この場合、各プロセッサは、別の装置に備えられたものであってもよい。つまり、チェックアウト装置１とは別の装置として監視装置を構成し、この監視装置に備えたプロセッサによって監視処理を実行しても構わない。
取引処理と監視処理とを別々のプロセッサにより実行しても構わない。この場合、各プロセッサは、別の装置に備えられたものであってもよい。つまり、チェックアウト装置１とは別の装置として監視装置を構成し、この監視装置に備えたプロセッサによって監視処理を実行しても構わない。
【0047】
評価用チャートＣＨＡに代えて、別の形状のチャートを用いてもよいし、あるいは立体的な物体などのようなチャートとは別態様のオブジェクトを用いてもよい。あるいは、例えばタッチパネル１０１の上面などをそのまま評価用オブジェクトとして流用してもよい。
【0048】
監視カメラ１１１の撮影状況の評価は、監視処理の開始時のみに行ってもよい。また監視カメラ１１１の撮影状況の評価は、監視処理の開始時には行わないようにしてもよい。また監視カメラ１１１の撮影状況の評価は、監視処理の開始時などの別のタイミングで行ってもよい。
【0049】
対面式レジ、セミセルフレジ、あるいは無人店舗システム用の処理装置のような別のタイプの取引処理装置においても実施が可能である。
【0050】
監視の対象は、取引処理のための操作者の行動には限らず、カメラにより取得された画像に基づき行われるものであれば、どのような監視であってもよい。
【0051】
監視カメラ１１１は、チェックアウト装置１に含まれなくてもよい。例えば店舗の天井に取り付けられたカメラにより撮影された画像を用いるのでもよい。
【0052】
チェックアウト装置１が備える要素の一部は、省略されても構わない。例えば、計量ユニット２００，３００の一方又は双方を備えなくてもよい。また例えば、計量ユニット２００，３００から重量計２０２，３０４を省いて、単なる置き台としても構わない。
【0053】
情報処理によりプロセッサ１１２が実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。
【0054】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0055】
１…チェックアウト装置、１０１…タッチパネル、１０２…スキャナ窓、１０３…ハンディスキャナ、１０４…レシート発行口、１０５…カード差込口、１０６…硬貨投入皿、１０７…釣銭皿、１０８…紙幣挿入口、１０９…紙幣排出口、１１０…警報ランプ、１１１…監視カメラ、１１２…プロセッサ、１１３…メイン記憶ユニット、１１４…補助記憶ユニット、１１５…固定スキャナ、１１６…プリンタ、１１７…釣銭機、１１８…クレジットカードリーダ、１１９…電子マネーリーダライタ、１２０…通信ユニット、１２１…インタフェースユニット、１２２…伝送路。
【図1】
【図2】
【図3】
【図4】
