特許 7590382 情報処理システム、情報処理方法、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】情報処理システム、情報処理方法、および情報処理プログラム

(51)【国際特許分類】

   G08B 13/196 20060101AFI20241119BHJP

   H04N 7/18 20060101ALI20241119BHJP

【ＦＩ】

G08B13/196

H04N7/18 D

【請求項の数】 4

(21)【出願番号】P 2022136416

(22)【出願日】2022-08-30

(62)【分割の表示】P 2018015408の分割

【原出願日】2018-01-31

(65)【公開番号】P2022171693

(43)【公開日】2022-11-11

【審査請求日】2022-08-30

【審判番号】

【審判請求日】2024-05-24

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】大島 明子

【合議体】

【審判長】土居 仁士

【審判官】寺谷 大亮

【審判官】衣鳩 文彦

(56)【参考文献】

【文献】特開２０１７－１５７２１６（ＪＰ，Ａ）

【文献】特開２０１５－１８７９（ＪＰ，Ａ）

【文献】特開２００４－１７１２４１（ＪＰ，Ａ）

【文献】特開２００９－９２３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３０９１３６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G08B13/00-15/02

H04N 7/18

(57)【特許請求の範囲】

【請求項1】

映像から客の動線情報を取得する情報取得手段と、
前記客が商品を取得したことを検出する行動検出手段と、
前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させる記録手段と、
取得した商品をレジスターで精算しようとする客が並ぶエリアであるレジスター前エリア内に客が入ったことを検出し、レジ待ちの最前列の客に対応する動線情報に紐付く第１商品点数と前記客がレジスターで精算した第２商品点数とが一致しないことを検出する検出手段と、
を備えたことを特徴とする情報処理システム。

【請求項2】

前記客が取得した商品点数とレジスターで前記客が精算した商品点数とが一致しないことを検出したことを報知する報知手段を更に備える請求項１に記載の情報処理システム。

【請求項3】

映像から客の動線情報を取得し、
前記客が商品を取得したことを検出し、
前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させ、
取得した商品をレジスターで精算しようとする客が並ぶエリアであるレジスター前エリア内に客が入ったことを検出し、
レジ待ちの最前列の客に対応する動線情報に紐付く第１商品点数と前記客がレジスターで精算した第２商品点数とが一致しないことを検出する
ことを特徴とする情報処理方法。

【請求項4】

映像から客の動線情報を取得することと、
前記客が商品を取得したことを検出することと、
前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させることと、
取得した商品をレジスターで精算しようとする客が並ぶエリアであるレジスター前エリア内に客が入ったことを検出することと、
レジ待ちの最前列の客に対応する動線情報に紐付く第１商品点数と前記客がレジスターで精算した第２商品点数とが一致しないことを検出することとをコンピュータに実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

情報処理方法、情報処理装置、および情報処理プログラムに関し、映像のデータを処理する技術に関する。

【背景技術】

【0002】

コンビニエンスストア、スーパーマーケットなどの小売量販店には、店内を撮影するための監視用カメラが設置されている。一般的に、店員または警備員が、映像をモニター上で監視することによって、万引きなどの犯罪や不正を発見する。しかしながら、万引きを防止するための別の方法も存在する。

【0003】

例えば、特許文献１には、商品にＲＦＩＤ（Radio Frequency Identification）タグを配置する方法が開示されている。しかしながら、特許文献１に記載された方法では、全ての商品にＲＦＩＤタグを付加する必要があるため、コストが嵩むという問題がある。また、どの客が商品を取得したのかという情報を得ることはできない。

【0004】

また、客の動線を追跡する技術（例えば、特許文献２）を用いて、客を監視する方法も存在する。特許文献３では、客が取得した商品点数の情報と、客を撮影した画像とを紐付けて管理する。客が取得した商品を精算したとき、ＰＯＳ（Point of Sales）端末に登録された商品点数と、客が取得した商品点数とを比較する。これらの商品点数が一致しない場合、不正の可能性があると判断する。

【0005】

特許文献３に開示された方法は、店員または警備員が映像を監視し続ける必要が無いという利点を有する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００７－０７９６１５号公報

【文献】特開２０１１－１７０５６２号公報

【文献】特開２００４－１７１２４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献３に開示された方法では、客を撮影した画像を客に無許可で管理するため、プライバシーに関する問題がある。

【0008】

本発明の目的は、客のプライバシーを考慮しつつ、個人を識別せずに、客ごとの商品の取得状況を正確に把握することにある。

【課題を解決するための手段】

【0009】

本発明の一態様に係わる情報処理方法は、映像から客の動線情報を取得し、前記客が商品を取得したことを検出し、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて、記憶手段に格納させる。

【0010】

本発明の一態様に係わる情報処理装置は、映像から客の動線情報を取得する情報取得手段と、前記客が商品を取得したことを検出する行動検出手段と、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶手段に格納させる記録手段とを備えている。

【0011】

本発明の一態様に係わる情報処理プログラムは、映像から客の動線情報を取得することと、前記客が商品を取得したことを検出することと、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶手段に格納させることとを、コンピュータに実行させる。

【発明の効果】

【0012】

本発明の一態様によれば、個人を識別せずに、客ごとの商品の取得状況を正確に把握することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態１に係わる店内監視装置の構成を示すブロック図である。

【図2】実施形態１に係わる店内監視装置の記憶部に格納されている動線－取得点数情報のＤＢ（Data Base）の一例を示す図である。

【図3】実施形態１に係わる店内監視装置の動作の第１の例を示すフローチャートである。

【図4】実施形態１に係わる店内監視装置の動作の第２の例を示すフローチャートである。

【図5】実施形態２に係わる店内監視装置の構成を示すブロック図である。

【図6】実施形態３に係わる店内監視装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0014】

〔実施形態１〕
図１～図４を参照して、本実施形態に係わる店内監視装置の構成および動作を説明する。

【0015】

（店内監視装置１の構成）
図１は、本実施形態に係わる店内監視装置１の構成を示すブロック図である。図１に示すように、店内監視装置１は、撮像部１１と、動線分析部１２と、棚前行動検出部１３と、異常検出部１４と、報知部１５と、記憶部１６とを備えている。

【0016】

撮像部１１は、店内を撮影して、映像（動画）のデータを生成する。撮像部１１は、映像を撮影するための１または複数台のカメラを含んでいてもよい。撮像部１１は、店内を撮影して得られた映像のデータ（映像フレームを構成する画素データ）を、動線分析部１２、棚前行動検出部１３、および異常検出部１４に送信する。記憶部１６は、動線－取得点数情報を記憶している。

【0017】

動線－取得点数情報とは、客の動線情報と、店内で客が取得した商品点数の情報とを紐付けた情報である。なお、客が取得した商品点数とは、ここでは、客が棚から手に取り、所持している商品の数を意味する。

【0018】

図２は、記憶部１６に格納されている動線－取得点数情報のＤＢの一例を示す図である。図３に示すように、動線－取得点数情報のＤＢでは、例えば、客の動線を特定するＩＤ（動線ＩＤ）と、客の時系列の位置情報（時刻／座標）と、客が取得した商品点数（個）とが互いに関連付けられていてよい。なお、図２において、客の時系列の位置は、撮像部１１のカメラから見た３Ｄの視点（ビュー）座標で表されている。なお、動線－取得点数情報は、図２に示すＤＢに限定されない。

【0019】

動線情報は、時間の経過に伴う移動体（ここでは客）の位置の変化の情報を含む。移動体が移動することによって描く軌跡が動線である。

【0020】

動線分析部１２、棚前行動検出部１３、異常検出部１４、および報知部１５の動作については後に説明する。

【0021】

なお、店内監視装置１は、撮像部１１および記憶部１６を含んでいなくてもよい。この場合、店内監視装置１は、撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置１は、動線－取得点数情報を記憶装置（例えばメモリ）に格納させる。

【0022】

（第１の異常検出処理）
図３を参照して、店内監視装置１が実行する異常検出処理の一例として、第１の異常検出処理の流れを説明する。図３は、第１の異常検出処理の流れを示すフローチャートである。

【0023】

図３に示すように、第１の異常検出処理では、動線分析部１２は、撮像部１１から受信した映像のデータを用いて、客の動線を追跡する（Ｓ１０１）。より詳細には、動線分析部１２は、一定時間ごとに、映像を構成する各フレームから客を検出し、検出した客の位置の時間変化を分析することによって、客の動線情報を生成し、出力する。移動体の動線を追跡する技術は、例えば、特許文献２に開示されている。本実施形態では、客の動線を追跡する技術に関する詳細な説明を省略する。

【0024】

棚前行動検出部１３は、撮像部１１より受信した映像のデータを分析することによって、客が棚（ゴンドラ）に対して行う行動を検出し、客が棚から取得した商品点数を計測する（Ｓ１０２）。客が棚から商品を取得したり、棚に商品を戻したりする行動（棚前行動）を検出する技術は、例えば、特許文献３に開示されている。本実施形態では、棚前行動を検出する技術に関する詳細な説明を省略する。

【0025】

棚前行動検出部１３は、動線分析部１２が生成した客の動線情報と、客が棚から取得した商品点数の情報とを紐付けて、動線－取得点数情報として、記憶部１６に格納させる（Ｓ１０３）。

【0026】

異常検出部１４は、レジ前エリア内に客が入ったことを検出する。レジ前エリア内には、取得した商品を精算しようとする客が並んでいる。店の構造等によって、レジ待ちの客が並ぶエリアの位置および形状は異なる。そのため、異常検出部１４が人を検出するためのレジ前エリアは、店ごとに設定されてよい。

【0027】

客がレジ前エリア内へ移動したことを検出したとき（Ｓ１０４でＹｅｓ）、異常検出部１４は、記憶部１６が記憶している動線－取得点数情報を参照して、レジ前エリア内にいる客のうち、最前列の客に対応する動線を特定するとともに、その最前列の客が取得した商品点数の情報を取得する（Ｓ１０５）。以下では、レジ前エリア内にいる客のうち、最前列の客のことを、判定対象と呼ぶ。

【0028】

また、異常検出部１４は、判定対象がレジ前エリア内へ移動した後でＰＯＳ端末に登録された商品点数の情報も取得する。そして、異常検出部１４は、ＰＯＳ端末に登録された商品点数と、判定対象が取得した商品点数とを比較する（Ｓ１０６）。

【0029】

第１の異常検出処理では、異常検出部１４は、判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数とが一致しないことを、異常として検出する。判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数とが一致しない場合（Ｓ１０７でＮｏ）、異常検出部１４は、報知部１５に異常を報知させる（Ｓ１０８）。報知部１５は、例えば、警備員が所持する携帯端末または事務所内の端末に、異常信号（アラート）を送信してもよい。

【0030】

一変形例では、判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数との差が１よりも大きい一定数（閾値）を超える場合、異常検出部１４は、報知部１５に異常を報知させてもよい。

【0031】

（第２の異常検出処理）
図４を参照して、店内監視装置１が実行する異常検出処理の他の例として、第２の異常検出処理の流れを説明する。図４は、第２の異常検出処理の流れを示すフローチャートである。

【0032】

図４に示すように、第２の異常検出処理では、動線分析部１２は、撮像部１１から受信した映像に基づいて、客の動線を追跡する（Ｓ２０１）。

【0033】

棚前行動検出部１３は、撮像部１１より受信した映像から、客が棚（ゴンドラ）に対して行う行動を検出し、客が棚から取得した商品点数を計測する（Ｓ２０２）。

【0034】

動線分析部１２および棚前行動検出部１３は、客の動線情報と、客が棚から取得した商品点数の情報とを紐付けて、動線－取得商品情報として、記憶部１６に格納させる（Ｓ２０３）。第２の異常検出処理のＳ２０１～Ｓ２０３は、第１の異常検出処理のＳ１０１～Ｓ１０３と同じである。

【0035】

異常検出部１４は、特定エリア外へ客が出たことを検出する。特定エリアとは、例えば、商品を陳列する棚が配置されているエリア、レジ前エリア、および、客が未精算の商品を持っていることを許容されるその他のエリアである。異常検出部１４は、特定エリア内から客が出たことを検出する代わりに、客が特定ラインを横切ったことを検出してもよい。特定ラインは、客が未精算の商品を所持していることを許容されるエリアと、許容されないエリアとの境界である。

【0036】

客が特定エリア内から出たことを検出したとき（Ｓ２０４でＹｅｓ）、異常検出部１４は、記憶部１６が記憶している動線－取得点数情報を参照して、特定エリア外へ出た客に対応する動線を特定するとともに、客が取得した商品点数の情報を記憶部１６から取得する（Ｓ２０５）。

【0037】

第２の異常検出処理では、異常検出部１４は、客が未精算の商品を取得したまま、特定エリア外へ出たことを異常として検出する。客が未精算の商品を取得したまま、特定エリア外へ出た場合（Ｓ２０６でＹｅｓ）、異常検出部１４は、報知部１５に異常を報知させる（Ｓ２０７）。報知の方法は特に限定されない。報知部１５は、例えば、警備員が所持する携帯端末または事務所内の端末に異常信号（アラート）を送信してもよい。

【0038】

（変形例）
一変形例に係わる店内監視装置１は、客の動線分析および棚前行動検出を行わず、外部装置（例えば、ネットワークサーバ）が、客の動線分析および棚前行動検出を代わりに行ってもよい。本変形例では、店内監視装置１は、動線分析結果、および棚前行動の検出結果を、外部装置から受信する。あるいは、外部装置が、動線－取得点数情報を生成して記憶部１６に格納し、店内監視装置１は、外部装置によって記憶部１６に格納された動線－取得点数情報を取得してもよい。

【0039】

本変形例の構成によれば、店内監視装置１は、動線分析部１２および棚前行動検出部１３を備えていなくてもよい。すなわち、客の動線分析（図３のＳ１０１）および棚前行動検出（図３のＳ１０２）の処理のために要するコンピュータリソースを削減することができる。

【0040】

（本実施形態の効果）
本実施形態の構成によれば、客の動線情報と、客の取得した商品点数の情報と紐付けて記憶する。記憶した情報を用いることにより、どの客がいくつの商品を取得したのかを、簡単な構成で、かつ正確に計測することができる。

【0041】

そのため、客が精算の済んでいない商品を所持したまま店を出るなど、不正が疑われる客の行動を検出することができる。さらに、客を撮影した映像を管理しないので、客のプライバシーを適切に保護することができる。

【0042】

加えて、不正が疑われる行動を検出したときに、異常を報知することにより、警備員や店員に対応を促すことができる。したがって、警備員や店員は、不正を発見するために、映像を継続的に監視している必要がない。これにより、警備員や店員の負担を軽減するとともに、警備員や店員が不正を見落とすことを防止することができる。

【0043】

〔実施形態２〕
図５を参照して、本実施形態に係わる店内監視装置について説明する。

【0044】

（店内監視装置２の構成）
図５は、本実施形態に係わる店内監視装置２の構成を示すブロック図である。図５に示すように、店内監視装置２は、情報取得部２１、行動検出部２２、および記録部２３を備えている。図示しないが、店内監視装置２は、外部の撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置２は、動線－取得点数情報を外部の記憶装置（例えばメモリ）に格納させる。あるいは、店内監視装置２は、撮像装置および記憶装置を含んでいてもよい。

【0045】

情報取得部２１は、外部の撮像装置が撮影した映像のデータを分析することによって生成された客の動線情報を取得する。ここで、映像中の客の動線を追跡する技術は、例えば、特許文献２に開示されている。

【0046】

行動検出部２２は、棚前行動の検出技術（例えば特許文献３）を用いて、店内で客が商品を取得したことを検出する。

【0047】

記録部２３は、客の動線情報と、前記客が取得した商品点数の情報とを紐付けて、前述した動線－取得点数情報として、記憶手段（図示せず）に記憶する。なお、本実施形態の記録部２３は、前記実施形態１の動線分析部１２および棚前行動検出部１３の一部と対応する。なお、一変形例に係わる店内監視装置２は、客の動線分析および棚前行動検出を行わず、外部装置（例えば、ネットワークサーバ）が、客の動線分析および棚前行動検出を代わりに行ってもよい。本変形例では、記録部２３は、外部装置が行った客の動線分析および棚前行動検出の各結果を取得して、記憶手段（図示せず）に記憶する。

【0048】

（本実施形態の効果）
本実施形態の構成によれば、客の動線情報と、客が取得した商品点数の情報とを紐付けて、記憶手段に記憶する。そのため、記憶手段に記憶された情報（動線－取得点数情報）を参照することによって、どの客がいくつの商品を取得したのかを正確に計測することができる。このようにして計測された商品点数の情報は、例えば、万引きを防止するために利用することができる。客が精算をしていない商品を店外に持ち出そうとしていることが分かるからである。また、客の動線情報は、客を撮影した画像とは異なり、プライバシーにかかわる情報を含んでいない。したがって、客のプライバシーを適切に保護することができる。

【0049】

〔実施形態３〕
図６を参照して、本実施形態に係わる店内監視装置について説明する。

【0050】

（店内監視装置３の構成）
図６は、本実施形態に係わる店内監視装置３の構成を示す図である。店内監視装置３は、コンピュータ装置によって、ハードウェアとして実現される。店内監視装置３は、ＣＰＵ（Central Processing Unit）３１、ＲＡＭ（Random Access Memory）３２、記憶装置３３、入出力装置３４、および通信インターフェース３５を備えている。

【0051】

店内監視装置３の機能は、前記実施形態１または２の店内監視装置１または２の機能と同じである。つまり、店内監視装置３は、前記実施形態１または２の店内監視装置１または２に含まれる機能ブロックの動作を実現する。店内監視装置３の機能は、ＣＰＵ３１がＲＡＭ３１に読み込んだプログラムを実行することによって実現される。

【0052】

記憶装置３３は、前記実施形態１の記憶部１６を含む。記憶装置３３には、動線－取得点数情報が格納されている。

【0053】

入出力装置３４は、前記実施形態１の報知部１５を含む。入出力装置３４は、ディスプレイなどのユーザインターフェースを含んでいてもよい。

【0054】

通信インターフェース３５は、外部の撮像装置から映像データを取得するために使用される。

【0055】

（本実施形態の効果）
本実施形態の構成によれば、前記実施形態１または２で説明した店内監視装置の機能が、ＣＰＵなどのコンピュータ資源を用いて、ハードウェアとして実現される。そのため、客のプライバシーを考慮しつつ、どの客がいくつの商品を取得したのかを正確に計測することができる。

【符号の説明】

【0056】

１、２、３ 店内監視装置
１２ 動線分析部
１３ 棚前行動検出部
１４ 異常検出部
１５ 報知部
１６ 記憶部
２１ 情報取得部
２２ 行動検出部
２３ 記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】