特開 2024-3628 画像認識装置および監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024003628

(43)【公開日】2024-01-15

(54)【発明の名称】画像認識装置および監視システム

(51)【国際特許分類】

   G03B 17/17 20210101AFI20240105BHJP

   G06Q 30/06 20230101ALI20240105BHJP

   H04N 23/55 20230101ALI20240105BHJP

   G08B 25/00 20060101ALI20240105BHJP

   G08B 13/196 20060101ALI20240105BHJP

   G06T 7/00 20170101ALI20240105BHJP

   G02B 5/09 20060101ALI20240105BHJP

   G02B 5/10 20060101ALI20240105BHJP

   G03B 15/00 20210101ALI20240105BHJP

   G03B 37/00 20210101ALI20240105BHJP

【ＦＩ】

G03B17/17

G06Q30/06

H04N5/225 400

G08B25/00 510M

G08B13/196

G06T7/00 300Z

G02B5/09

G02B5/10 A

G03B15/00 S

G03B15/00 Q

G03B37/00 A

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022102899

(22)【出願日】2022-06-27

(71)【出願人】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】100179969

【弁理士】

【氏名又は名称】駒井 慎二

(74)【代理人】

【識別番号】100176692

【弁理士】

【氏名又は名称】岡崎 ▲廣▼志

(72)【発明者】

【氏名】加沢 徹

【テーマコード（参考）】

2H042

2H059

2H101

5C084

5C087

5C122

5L049

5L096

【Ｆターム（参考）】

2H042DB14

2H042DD04

2H042DD05

2H042DE00

2H059BA03

2H101FF08

5C084AA02

5C084AA03

5C084AA09

5C084AA13

5C084CC13

5C084CC16

5C084CC33

5C084DD11

5C084HH02

5C084HH10

5C084HH12

5C084HH13

5C087AA02

5C087AA03

5C087AA10

5C087AA32

5C087AA37

5C087DD05

5C087DD06

5C087DD20

5C087FF01

5C087FF02

5C087FF23

5C087GG02

5C087GG06

5C087GG14

5C087GG19

5C087GG59

5C087GG66

5C087GG70

5C087GG83

5C122DA11

5C122EA56

5C122FA02

5C122FB11

5C122FH11

5C122FH14

5C122GC52

5C122HB01

5L049BB72

5L096BA02

5L096CA03

5L096FA69

5L096HA02

5L096JA11

(57)【要約】

【課題】特定領域の画像を認識する画像認識装置および店舗内の画像取得対象領域を効率よく監視する監視システムを提供する。
【解決手段】所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成された複数の反射鏡２０，１５ａ～１５ｊと、単一の高精細カメラ３とを用いて、店舗５０内の複数の監視対象領域２５ａ～２５ｋに存在する物体から発せられた光で構成される画像内容を認識する。そして、画像認識結果をもとに店舗５０内の客５の特徴情報を取得するとともに客５の特定の動作画像（商品の購入画像）を認識する。
【選択図】図７

【特許請求の範囲】

【請求項1】

複数の反射面を有する主反射手段と、
反射面を有し、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、
前記複数の副反射手段の反射面に反射して前記主反射手段の複数の反射面の各々に映った鏡像を撮像する単一の撮像手段と、
前記撮像手段が撮像した鏡像を画像情報として取得し、該画像情報に含まれる画像内容を認識する画像認識手段と、
を備え、
前記画像情報は、複数の画像取得対象領域の各々に存在する物体の像であることを特徴とする画像認識装置。

【請求項2】

前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする請求項１に記載の画像認識装置。

【請求項3】

前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする請求項１または２に記載の画像認識装置。

【請求項4】

前記複数の画像取得対象領域以外の画像取得対象領域に存在する物体の像を前記複数の副反射手段に対して反射する反射面を有する補助反射手段をさらに備えることを特徴とする請求項１または２に記載の画像認識装置。

【請求項5】

店舗に陳列された商品を購入する利用者を監視する監視システムであって、
複数の反射面を有する主反射手段と、
反射面を有し、該反射面により前記店舗内の複数の監視対象領域に存在する物体の像を反射するとともに、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、
前記複数の副反射手段の前記反射面に反射して前記主反射手段の前記複数の反射面の各々に映った鏡像を撮像する単一の撮像手段と、
前記撮像手段が撮像した鏡像を画像情報として取得し、該画像情報に含まれる画像内容を認識し、該画像内容の認識結果をもとに前記利用者の特徴情報を取得する画像認識手段と、
前記画像内容に前記利用者の特定の動作を示す画像が含まれているかを認識する動作認識手段と、
前記画像内容に前記特定の動作を示す画像が含まれていると認識された場合、前記特徴情報で特定される前記利用者に対して前記商品のうち、前記特定の動作が認識された際の該利用者の位置と関連づけた商品に対応する課金処理を行う課金手段と、
を備えることを特徴とする監視システム。

【請求項6】

前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする請求項５に記載の監視システム。

【請求項7】

前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする請求項５または６に記載の監視システム。

【請求項8】

前記複数の監視対象領域は前記店舗における商品棚近傍にある複数の領域であり、該複数の領域の各々に対応させて前記複数の副反射手段を配置することを特徴とする請求項５または６に記載の監視システム。

【請求項9】

前記複数の監視対象領域以外の監視対象領域に存在する物体の像を前記複数の副反射手段に対して反射させる補助反射手段をさらに備えることを特徴とする請求項５または６に記載の監視システム。

【請求項10】

前記特定の動作は、前記利用者が前記陳列された商品を商品棚から取り出す際の動作、あるいは取り出した商品を商品棚へ戻す際の動作であることを特徴とする請求項５または６に記載の監視システム。

【請求項11】

前記課金手段は、前記画像内容に、前記特定の動作を示す画像として、前記商品を商品棚から取り出す際の動作を示す画像が含まれていれば該商品に対応する積算処理を行い、該特定の動作を示す画像として該商品を商品棚へ戻す際の動作を示す画像が含まれていれば該商品に対応する減算処理を行うことを特徴とする請求項１０に記載の監視システム。

【請求項12】

前記課金手段は、前記商品棚の特定の位置に載置された商品群が同一価格であるとして、前記利用者の位置に対応させて前記積算処理および前記減算処理を行うことを特徴とする請求項１１に記載の監視システム。

【請求項13】

前記課金手段は、前記利用者の所持する携帯端末の通信機能を使用して前記課金処理を行うことを特徴とする請求項５または６に記載の監視システム。

【請求項14】

前記利用者の所持する携帯端末との通信により該利用者の特徴情報を取得する手段をさらに備えることを特徴とする請求項５または６に記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の反射鏡と単一のカメラで構成された画像認識装置および監視システムに関する。

【背景技術】

【0002】

生活様式（ライフスタイル）の変化により夜間に活動する人が増加し、それに伴い、深夜営業を行なうコンビニエンスストア等の店舗も増えている。一方、深夜営業は、店舗のオーナーには人件費が高騰する等の問題があり、従業員には労働環境の問題が生じ得る。そこで、従来、店舗を無人で運用するための種々の構成が提案されている。

【0003】

例えば、特許文献１は、無人店舗に適用可能な商品の自動認識、商品の自動決済を行う店舗装置を開示している。特許文献２は、客が店舗の商品棚から手に取った商品を認識して、店舗における精算の省人化、店舗の無人化等を実現する管理装置を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１４０８３０号公報

【特許文献2】特開２０２１－１８９６９１号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

上述した特許文献１に記載の技術では、商品棚から商品を取得する客とその動作を認識、検知するため、個々の商品棚に複数のカメラを設けるとともに、商品棚の上方に動作感知センサ（モーションセンサ）を設ける構成をとる。そのため、店舗の無人運営に要するコストが膨大になる。

【0006】

特許文献２においても、客が商品棚からピックアップした商品の種類、個数、重量を検出するために重量センサ、カメラ、測距センサを設けていることから、装置構成の複雑化のみならず、商品を正確に識別するために高精度のカメラが必要となり、管理装置のコストアップという問題が生じる。

【0007】

このように従来の無人店舗において、客の動作、客が選択・購入した商品等を監視するために、店舗内の商品棚の数と同等あるいはそれ以上の台数のカメラを用いているので、カメラおよびその工事費等に伴う監視システムの運用コストの増大、システム構成の複雑化という問題を回避できない。

【0008】

本発明は、上述した課題に鑑みてなされたものであり、その目的は、特定領域より取得した画像情報に含まれる画像内容を認識する画像認識装置、および簡易な構成の画像認識装置を用いて店舗内の画像取得対象領域を効率よく監視する監視システムを提供することである。

【課題を解決するための手段】

【0009】

上記の目的を達成し、上述した課題を解決する一手段として本発明に係る画像認識装置は、複数の反射面を有する主反射手段と、反射面を有し、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、前記複数の副反射手段の反射面に反射して前記主反射手段の複数の反射面の各々に映った鏡像を撮像する単一の撮像手段と、前記撮像手段が撮像した鏡像を画像情報として取得し、該画像情報に含まれる画像内容を認識する画像認識手段とを備え、前記画像情報は、複数の画像取得対象領域の各々に存在する物体の像であることを特徴とする。

【0010】

例えば、前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする。例えば、前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする。また、例えば、前記複数の画像取得対象領域以外の画像取得対象領域に存在する物体の像を前記複数の副反射手段に対して反射する反射面を有する補助反射手段をさらに備えることを特徴とする。

【0011】

上述した課題を解決する手段として、本発明は店舗に陳列された商品を購入する利用者を監視する監視システムであって、複数の反射面を有する主反射手段と、反射面を有し、該反射面により前記店舗内の複数の監視対象領域に存在する物体の像を反射するとともに、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、前記複数の副反射手段の前記反射面に反射して前記主反射手段の前記複数の反射面の各々に映った鏡像を撮像する単一の撮像手段と、前記撮像手段が撮像した鏡像を画像情報として取得し、該画像情報に含まれる画像内容を認識し、該画像内容の認識結果をもとに前記利用者の特徴情報を取得する画像認識手段と、前記画像内容に前記利用者の特定の動作を示す画像が含まれているかを認識する動作認識手段と、前記画像内容に前記特定の動作を示す画像が含まれていると認識された場合、前記特徴情報で特定される前記利用者に対して前記商品のうち、前記特定の動作が認識された際の該利用者の位置と関連づけた商品に対応する課金処理を行う課金手段とを備えることを特徴とする。

【0012】

例えば、前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする。例えば、前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする。また、例えば、前記複数の監視対象領域は前記店舗における商品棚近傍にある複数の領域であり、該複数の領域の各々に対応させて前記複数の副反射手段を配置することを特徴とする。例えば、前記複数の監視対象領域以外の監視対象領域に存在する物体の像を前記複数の副反射手段に対して反射させる補助反射手段をさらに備えることを特徴とする。また、例えば、前記特定の動作は、前記利用者が前記陳列された商品を商品棚から取り出す際の動作、あるいは取り出した商品を商品棚へ戻す際の動作であることを特徴とする。さらに例えば、前記課金手段は、前記画像内容に、前記特定の動作を示す画像として、前記商品を商品棚から取り出す際の動作を示す画像が含まれていれば該商品に対応する積算処理を行い、該特定の動作を示す画像として該商品を商品棚へ戻す際の動作を示す画像が含まれていれば該商品に対応する減算処理を行うことを特徴とする。さらには、例えば、前記課金手段は、前記商品棚の特定の位置に載置された商品群が同一価格であるとして、前記利用者の位置に対応させて前記積算処理および前記減算処理を行うことを特徴とする。また、例えば、前記課金手段は、前記利用者の所持する携帯端末の通信機能を使用して前記課金処理を行うことを特徴とする。例えば、前記利用者の所持する携帯端末との通信により該利用者の特徴情報を取得する手段をさらに備えることを特徴とする。

【発明の効果】

【0013】

本発明によれば、複数の画像取得対象領域に個別に対応させた複数のカメラを設置することなく、単一のカメラによって複数の画像取得対象領域を監視することで、簡易かつ安価な構成により、特定領域に注目した効率のよい監視が可能になる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る監視システムを設置した店舗を俯瞰的に見た様子を示す図である。

【図2】監視システムを構成する反射鏡の配置と、監視対象領域との対応を示す図である。

【図3】主反射鏡２０の外観斜視図である。

【図4】主反射鏡２０を平面視したときの外観形状を示す図である。

【図5】図４に示す主反射鏡２０と副反射鏡１５ａを矢視Ｂ－Ｂ´線に沿って切断した断面図である。

【図6】図５のｘ方向から主反射鏡２０と副反射鏡１５ａの双方を見た様子を模式的に示す図である。

【図7】監視システムを構成する監視装置の構成例を示すブロック図である。

【図8】監視システムにおける店舗内の客の行動監視、課金処理等の流れを時系列で示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係る画像認識装置およびその画像認識装置を使用した監視システムを設置した、例えば、コンビニエンスストア等の店舗を俯瞰的に見た様子を示す図である。

【0016】

図１に示す店舗５０は無人店舗であり、商品棚２ａ～２ｃに陳列された種々の商品の中から客５が手に取った商品を積算し、自動精算する監視システム１を備えている。そのため監視システム１は、店舗５０内の特定の領域を光学的に鏡面上に映す複数の反射鏡、その反射鏡の鏡面に映った画像を撮影する高精細カメラ３、高精細カメラ３で撮った画像を画像情報として取得し、所定の画像認識処理を行うとともに監視システム１全体を制御する監視装置１０等を備える。

【0017】

複数の反射鏡は店舗５０の天井５１に設置され、複数の凹凸面鏡を有する主反射鏡２０と、これら複数の凹凸面鏡各々と対向しながら主反射鏡２０を中心としてこれを囲むように配置された、凸面鏡あるいは凹凸面鏡を有する複数の副反射鏡１５ａ～１５ｊとからなる。ここでいう凹凸面鏡とは、複数の反射面を接合して構成し、該各反射面の形状が凹面及び／又は凸面の形状である、反射鏡のことをさす。

【0018】

主反射鏡２０は、副反射鏡１５ａ～１５ｊのすべてを見通せる場所に位置しており、主反射鏡２０を構成する複数の鏡面上には、副反射鏡１５ａ～１５ｊの各々の鏡面より反射された画像が映る。

【0019】

高精細カメラ３は、高解像度の画像撮影が可能なデジタルカメラ等からなり、主反射鏡２０の垂直方向下部に設置されている。高精細カメラ３は、主反射鏡２０の鏡面に映った像を撮像するため、そのレンズの中心軸を主反射鏡２０の中心軸に合わせ、互いに向き合う形で、主反射鏡２０から所定距離離れた位置に設置されている。高精細カメラ３で撮像された画像は、画像情報として、店舗５０内に設置した監視装置１０へ送信される。

【0020】

図２は、本実施形態に係る監視システムを構成する反射鏡の配置と、監視対象領域との対応を示す図である。店舗内の対象領域の監視に凸面鏡のみを使用した場合、映る範囲が広すぎて、監視対象領域以外の領域までが映り込み、監視対象領域を効率よく監視できない。また、上述した自動精算を行うには、店舗５０内における客５の動作を画像として詳細に捉える必要がある。

【0021】

そのため、店舗５０内の領域を重複のない状態で効率的に監視して、かつ、客５の動作を詳細な画像で捉えることが必要となる。

【0022】

図２において網かけを付して示す複数の監視対象領域２５ａ～２５ｊは、客５が商品棚２ａ～２ｃより商品を手に取る際に立ち入り、腕を伸ばす領域であり、店舗５０の床面から商品棚の天板に至る高さを有する空間領域である。

【0023】

監視対象領域２５ａ～２５ｊの各々の奥行方向（棚から離れる方向）の距離は、例えば、客が商品棚２ａ～２ｃに向かって腕を伸ばしたときの平均距離に基づいて決めることができ、棚に対し平行な方向の距離は、例えば、反射鏡の配置位置、鏡面の大きさ（像が映る範囲）等に応じて決める。

【0024】

図２の太い矢線は、監視対象領域２５ａ～２５ｊ内に位置する物体（ここでは、商品を手に取った客）から発した光による像が副反射鏡１５ａ～１５ｊの各々の鏡面に映り、そこで反射した反射像が主反射鏡２０に至る光路である。

【0025】

反射鏡の鏡面に映った像とは、店舗５０で商品棚２ａ～２ｃより商品を取り上げている客５の動作像である。よって、これらの矢印を逆に辿ることは、主反射鏡２０から監視対象領域２５ａ～２５ｊへの高精細カメラ３による監視視線となる。

【0026】

さらに、図２に示すように補助反射鏡１５ｋを設置することで、店舗５０への来店客の認証ゲートである入退ゲート７が設けられた領域（ここでは、監視対象領域２５ｋ）を通過する客から発せられた光が補助反射鏡１５ｋの鏡面で反射され、その反射像がさらに副反射鏡１５ｈの鏡面により反射して主反射鏡２０に至る構成となっている。

【0027】

なお、副反射鏡１５ｈの反射面の面積を、監視対象領域２５ｈ，２５ｋの双方を網羅する大きさとすることで、補助反射鏡１５ｋを省略することもできる。

【0028】

図３は、主反射鏡２０の外観斜視図である。図４は、主反射鏡２０を平面視したときの外観形状であり、図３の矢印Ａ方向から見たときの形状である。なお、図４では、店舗５０の天井５１に設置した主反射鏡２０を店舗５０の床側から見たときの主反射鏡２０と副反射鏡１５ａ～１５ｊとの位置関係を示している。

【0029】

図３、図４に示すように主反射鏡２０は下側に頂部を有し、全体が山型形状である。山型形状の山腹に相当する側面部分２４には、互いに隣接しながら頂上部２１から山裾部２３に向かって広がる、平面視ほぼ三角形状の反射面（凹面領域）２０ａ～２０ｊを有する。

【0030】

図４に示すように、主反射鏡２０の凹面領域２０ａ～２０ｊの数を、店舗に配置される副反射鏡１５ａ～１５ｊと同数とし、三角形状の頂角θは、円周方向に反射面を凹面領域２０ａ～２０ｊの数で分割したときの個々の中心角である。このとき、店舗の形状および商品棚の配置に合わせて、監視対象領域２５ａ～２５ｊに存在する物体の像を確実に反射できる位置に副反射鏡１５ａ～１５ｊを設置し、これに合わせて主反射鏡２０の凹面領域２０ａ～２０ｊの大きさを決定することから、各三角形状の頂角θは単一の値とならないこともある。

【0031】

各凹面領域２０ａ～２０ｊは、副反射鏡１５ａ～１５ｊで鏡面反射した監視対象の像を、さらに高精細カメラ３に対して鏡面反射させる機能を有する。このような反射面としての各凹面領域２０ａ～２０ｊは、図４において点線の矢線で示すように、それぞれが、対応する副反射鏡１５ａ～１５ｊの方向を向くとともに、各副反射鏡１５ａ～１５ｊの反射面からの反射像全体を反射可能な面積と曲率の凹面を有する。

【0032】

図５は、図４に示す主反射鏡２０とそれに対向する副反射鏡１５ａを、矢視Ｂ－Ｂ´線に沿って切断した断面図である。主反射鏡２０の複数の凹面領域の一つである凹面領域２０ａは、上述したように対応する副反射鏡１５ａと対向している。副反射鏡１５ａの反射面３５ａが、図５のｚ方向（天井に垂直な方向）においてａ１～ａ２までの範囲であるとした場合、反射面３５ａからの反射像を構成する、ａ１から出た光線は、上述した曲率を有する凹面領域２０ａ上のｂ１で反射されて、高精細カメラ３のｃ１に至る。同様に反射像を構成する、ａ２から出た光線は、凹面領域２０ａ上のｂ２で反射されて、高精細カメラ３のｃ２に至る。

【0033】

副反射鏡１５ａの反射面３５ａのａ１，ａ２から出た光線は、主反射鏡２０の凹面領域２０ａ上のｂ１，ｂ２において、それらｂ１，ｂ２における曲面接線に垂直な線を基準にして、入射角と反射角が等角となって反射する。

【0034】

なお、他の副反射鏡１５ｂ～１５ｊの各々からの反射像が、主反射鏡２０の他の凹面領域２０ｂ～２０ｊの各々に至る光線の経路についても、上述した凹面領域２０ａと副反射鏡１５ａとの間における経路と同様であるため、ここでは、それらの図示と説明を省略する。

【0035】

図６は、図５のｘ方向から主反射鏡２０と副反射鏡１５ａの双方を見た様子を模式的に示している。図６においてｘ方向手前側の天井面５１に副反射鏡１５ａが位置し、ｘ方向奥側に主反射鏡２０が位置する。副反射鏡１５ａのｄ１が、その反射面３５ａのｙ方向の一方端であり、ｄ２がｙ方向の他方端である。ここでは、ｄ１～ｄ２間の距離を、反射面３５ａのｙ方向において主反射鏡から視認可能な最大幅とする。

【0036】

主反射鏡２０は、図６において長い破線で囲んだ凹面領域２０ａが反射面となって、副反射鏡１５ａの反射面３５ａより到来した反射像が高精細カメラ３へ入射される。凹面領域２０ａは、図３を参照して説明したように平面視ほぼ三角形状の反射面であり、天井５１に近い部位は、三角形状の底辺部に相当する。よって、凹面領域２０ａは、一方端ｅ１と他方端ｅ２との間の距離がｙ方向における最大幅となる。

【0037】

本実施形態に係る監視システムでは、主反射鏡２０と副反射鏡１５ａそれぞれの反射面の面積、曲率を、図６のｄ１で反射した光線が、凹面領域２０ａのｅ１でさらに反射された後、高精細カメラ３ｃのｆ１に至り、ｄ２で反射した光線が、凹面領域２０ａのｅ２でさらに反射され、高精細カメラ３ｃのｆ２に至るように決める。その結果、反射面３５ａから凹面領域２０ａへは、ｙ方向に最大幅の反射像が送られることになる。また、反射対象物体が反射鏡の焦点外にあり、反射面に映った反射対象物体が拡大されて見えるように反射面の曲率を設定する。このとき、反射面の曲率は凹面領域２０ａ内において一律でなくてもよく、監視対象領域２５ａの形状、面積および監視目的等に適するよう決めることができる。

【0038】

次に、本実施形態に係る監視システムを構成する監視装置について説明する。図７は、監視装置１０の構成例を示すブロック図であり、制御部７１は、マイクロプロセッサ等からなる中央処理部（ＣＰＵ）を備え、監視装置１０全体を制御する。制御情報記憶部７２は、制御部７１の動作プログラム、監視制御データ等を格納する。制御情報記憶部７２は、例えば、ＲＯＭ（Read Only Memory）、不揮発性メモリ等からなる。

【0039】

画像認識部７３は、主反射鏡２０からの反射像を高精細カメラ３で撮影した画像より、店舗内にいる客の外観の特徴等を認識する。画像認識部７３で認識された客に関する情報は、その客の特徴を示す情報として特徴情報格納部７４に格納される。

【0040】

商品情報格納部７５は、店舗５０で販売する商品等に関するデータベースである。例えば、商品棚２ａ～２ｃの店舗５０内での設置位置、商品棚２ａ～２ｃを構成する棚板の構成、その棚板に載置された商品の配置、それらの販売価格等を商品情報として格納する。商品情報格納部７５は、例えば、ＨＤＤ（ハードディスクドライブ）、大容量半導体メモリ等からなる。

【0041】

動作認識部７６は、あらかじめ格納された画像認識プログラムにしたがって、高精細カメラ３で撮影した画像に特定の動作が含まれているかどうかを認識する。ここでは、監視対象である人が、腕を伸ばして商品を手にとる動作や、手に持った商品を商品棚へ戻す動作などを検出する。なお画像認識プログラムは、予め動作を示す画像を記憶させたプログラムでもよいし、ＡＩ（人工知能；Artificial Intelligence）により画像パターンを学習させる方法でもよい。

【0042】

課金・精算処理部７７は、客に対して、購入した商品について自動的に課金（積算あるいは減算）する。通信制御部７９は、客の所持するスマートフォン等の携帯情報通信端末との通信、外部の通信網８０との通信等を行う通信インタフェース（Ｉ／Ｆ）としての機能を有する。店舗５０での商品購入の決済結果は、後述するように通信制御部７９を介して客のスマートフォン６へ通知される。

【0043】

インタフェース部（Ｉ／Ｆ）８１は、監視装置１０と、後述する精算端末４、入退ゲート７、店内スピーカ３１等との情報・信号の送受信を行う際のインタフェースとして機能する。

【0044】

次に、本実施形態に係る監視システムにおける監視制御について説明する。図８は、本実施形態に係る監視システムにおける店舗内の客の行動監視、課金処理等の流れを時系列で示すフローチャートである。

【0045】

図８のステップＳ１において、監視システム１を構成する監視装置１０の制御部７１は、インタフェース部（Ｉ／Ｆ）８１を介して、入退ゲート７より人感知情報を得た場合、店舗５０へ入店客（図１に示す店舗５０の場合、破線で示す客５）があったと判断する。

【0046】

制御部７１は、続くステップＳ２において、通信制御部７９に対して客５の所持するスマートフォン６との通信を実行させる。その結果、スマートフォン６では、あらかじめにインストールされている、店舗５０での商品購入を可能にする専用のアプリケーションが起動する。そして、スマートフォン６より、入店客を特定するための情報、例えば、ＩＤコード、顧客コード等の特定情報を取得する。

【0047】

制御部７１は、ステップＳ３において画像認識部７３を起動し、高精細カメラ３で撮影した、主反射鏡２０の反射面２０ａ～２０ｊに映った像を画像情報として得る。そして、ステップＳ４において、その画像情報のうち、入退ゲート７に最も近い副反射鏡１５ｈの反射面２０ｈに映り込んだ像に対応する画像情報をもとに入店客の外観上の特徴を認識し、その客の特徴情報を作成する。

【0048】

客５の特徴情報として、例えば、服装とその色、髪型に関する情報、顔認識情報等が作成される。制御部７１は、ステップＳ５において、客５を特定する特定情報と、客５の特徴に関する特徴情報とを紐づけて、それを特徴情報格納部７４に格納する。

【0049】

このとき、図１では客５のみを示しているが、客５以外に既に入店中の他の客がいる場合、客５の特徴情報として、他の客の特徴情報とは異なるものを追加して取得するようにしてもよい。例えば、先に入店した客の特徴情報として「髪が長い」を登録していて、後から入店した客５が先の客と同じ特徴を有していた場合、後から入店した客５からは服の色などの他の特徴を追加の特徴情報として取得する。

【0050】

制御部７１は、ステップＳ７において、動作認識部７６を起動し、客５による商品の購入動作を検知する。具体的には、動作認識部７６において、高精細カメラ３で撮影した、主反射鏡２０の反射面２０ａ～２０ｊに映った像の画像情報の中に、客５が商品棚２ａ～２ｃから商品を手に取った動作を示す画像が含まれるか否かを検知する。ステップＳ７における画像情報からの動作認識では、客５の購入動作を検知し、客５が手に取った商品の種類、銘柄等は認識しない。

【0051】

ここで、「商品を手に取った動作」とは、客５が腕を伸ばして、商品棚にある商品を手で把持しながら商品棚から他の位置へ移動させる動作をいう。

【0052】

ステップＳ７では、上記の画像情報をもとに、さらに、客５が監視対象領域２５ａ～２５ｊ内のどの位置に留まっているかという店舗５０内での客５の立ち位置をもとに、客５が手に取った商品が載置された商品棚の棚板の位置を判断する。このとき、客５の腕の、床からの高さをもとに、客５が手にとった商品が載置された商品棚の棚板の位置を判断してもよい。

【0053】

本実施形態に係る監視システムにおける監視制御では、高精細カメラ３の精細度が有限であることから、店舗５０全体ではなく、監視の対象を監視対象領域２５ａ～２５ｊに絞り込み、客の商品購入動作の画像情報に注目することで、画像認識処理を簡易化する。

【0054】

上記の動作等が動作認識部７６において検知された場合、客５がその商品を購入したと判断して、画像認識部７３は、ステップＳ９において、購入動作検知時の画像情報をもとに、その客５の特徴を抽出する。そして、特徴情報格納部７４に格納された特徴情報を参酌して、抽出された特徴を有する客５を特定する。

【0055】

上記のステップＳ９において、抽出された特徴と、特徴情報格納部７４に格納された特徴情報とが一致するとして客５を特定できた場合、制御部７１は当該特徴情報に紐づけられた特定情報と一致する客５がその商品の購入者であるとして、ステップＳ１１において課金・精算処理部７７を起動し、所定の課金処理（積算処理）を実行する。

【0056】

課金処理として、客５が滞留する監視対象領域を特定し、客５が腕を伸ばした商品棚２ａ～２ｃの棚板の位置を判断した後、商品情報格納部７５に格納されている商品情報である商品棚の棚板の構成、その棚板における商品の配置位置、その商品の販売価格等をもとに、客５に対して購入した商品について課金する。

【0057】

なお、上記の課金処理において、例えば、通信制御部７９を介して、客５のスマートフォン６に対して、客５が商品を手にとった時点で「購入された商品を課金します。」等の通知を文字メッセージとして送信し、あるいは音声で知らせるようにしてもよい。

【0058】

制御部７１は、ステップＳ１３において、客５が商品を棚に戻す動作を行ったか否かを検知する。この動作の判断は、商品の購入時と同様、動作認識部７６において、主反射鏡２０の反射面２０ａ～２０ｊに映った像の画像情報中に、例えば、客５が手に商品を持ったまま腕を伸ばして、元の位置に腕を戻す動作をしたときに手に商品を把持していないなど、その商品をもとの棚に戻す動作を示す画像を検出したか否かの認識結果に基づいて行う。

【0059】

客５が商品を棚に戻す動作を行ったことが検知された場合、課金・精算処理部７７は、ステップＳ１５において所定の課金処理（減算処理）を実行する。例えば、この時点における客５に対する積算額から、棚に戻した商品の金額を減算する処理を行う。その際、例えば、客５のスマートフォン６に対して、「戻された商品を減額します。」等の通知を文字メッセージで送信、あるいは音声で知らせてもよい。

【0060】

次に制御部７１は、ステップＳ１７において、客５が商品の購入を終え、精算を希望しているか否かを判断する。例えば、店舗５０内に備えた精算端末４に向けて客５がスマートフォン６をかざしたことを示す信号を、インタフェース部（Ｉ／Ｆ）８１を介して精算端末４より受信した場合、制御部７１は、客５が精算の意思表示をしたと判断して、ステップＳ１９において、課金・精算処理部７７に対して精算処理を実行させる。

【0061】

課金・精算処理部７７は、例えば、客５の購入した商品の全数についての総額を算出し、その算出結果を、通信制御部７９を介して客５のスマートフォン６へ送信する。

【0062】

同時に課金・精算処理部７７は、客５に対して、精算額に不一致があれば再精算することを促すメッセージを、通信制御部７９を介してスマートフォン６へ送信する。このメッセージを見た客５は、再精算が必要であれば、精算レジ８を操作して、購入した商品に対して再精算する。

【0063】

ここでは、上記の精算処理とともに決済処理が行われる。例えば、客５のスマートフォン６にインストールされた決済アプリケーションにしたがって、決済サービス会社へ商品代金を支払う等の決済処理（クレジットカード、デビットカード、電子マネー等を使用したキャッシュレス決済）が行われる。

【0064】

制御部７１は、ステップＳ２１において、精算レジ８において再精算が行われたかを判定する。再精算が行われた場合、処理をステップＳ１９に戻して、課金・精算処理部７７において、再度、精算処理等を実行する。

【0065】

一方、再精算が行われなかった場合、制御部７１は、ステップＳ２３において、店舗５０からの客の退出の有無を判断する。例えば、インタフェース部（Ｉ／Ｆ）８１を介して、入退ゲート７より人感知情報が送信されたことを検出した場合、通信制御部７９を起動して、スマートフォン６より、入退ゲート７を通過した客の特定情報を取得する。

【0066】

取得した特定情報が、ステップＳ１７で精算端末４に向けてスマートフォン６をかざして精算の意思表示をした客５の特定情報と一致した場合、制御部７１は、客５が店舗５０を退出したと判断する。

【0067】

客５が退出したと判断した場合、制御部７１は、ステップＳ２５において、特徴情報格納部７４に格納されていた、個人を特定する情報である、客５の特徴を示す情報を削除する等の退出処理を行う。

【0068】

一方、客が精算を希望していない場合（ステップＳ１７でＮＯ）、あるいは、ステップＳ２３において、既に精算の意思表示をした客５の退出が確認できない場合には、制御部７１は、客５が買い物を続行する意思があると判断して、処理をステップＳ７へ戻す。

【0069】

監視システム１を構成する監視装置１０は、店舗５０内に入店客が複数いる場合にも、各々の入店客に対して上記の監視処理を行う。

【0070】

なお、上述した監視装置１０による監視処理と、店舗５０に設置した遠隔監視カメラ３３による画像撮影とを連動させて、客の不審な行動（商品の不自然な取り方）を監視するようにしてもよい。その場合、例えば、連携している外部の遠隔監視センター（例えば、警備会社）へ、通信網８０を介して監視結果を報告するとともに、入退ゲート７の封鎖、店内スピーカ３１からの警報音の鳴動等の処置により、不審客の店外への逃走を阻止する構成を付加する。

【0071】

以上説明したように本実施形態に係る監視システムは、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成された複数の反射鏡と、単一の撮像手段（カメラ）とを用いて、店舗内の複数の監視対象領域に存在する物体から発せられた光で構成される画像内容を認識し、その認識結果をもとに店舗内の購入者の特徴情報を取得するとともに購入者の特定の動作を認識する構成を有する。

【0072】

このように、監視対象領域における購入者の特定の動作のみに着目し、購入者の動線を逐一追跡しない構成とすることで、簡易な画像認識処理による低コストで効率の良い店舗監視ができる。

【0073】

特に、本実施形態に係る監視システムを、深夜帯や緊急事態において無人で店舗を営業する形態に適用して、商品棚の特定の位置に載置された商品群が同一価格である、つまり、監視側から同一方向に載置されて見える商品を同一価格とする、ダイナミックプライシングの実現が可能になる。

【0074】

本実施例では主反射鏡に凹凸面鏡を用いたが、主反射鏡、副反射鏡ともに凸面鏡を用いる構成でもよい。この場合、パンチルトズームカメラを用いることで、主反射鏡である凸面鏡上に移った監視対象の像が小さくても、拡大して画像認識することが可能となる。

【0075】

また、利用者（客）が商品を手にとった時点で課金を通知することにより、万引きや窃盗行為の発生を抑止し、牽制することが可能となる。

【0076】

また、狭い範囲に多くの棚を設置し、多数の商品を詰めて陳列せざるを得ない都会の既存の店舗において、効率的な店舗監視が可能となる。

【符号の説明】

【0077】

１ 監視システム
２ａ～２ｃ 商品棚
３ 高精細カメラ
４ 精算端末
５ 客
６ スマートフォン
７ 入退ゲート
８ 精算レジ
１０ 監視装置
１５ａ～１５ｊ 副反射鏡
１５ｋ 補助反射鏡
２０ 主反射鏡
２０ａ～２０ｊ 主反射鏡の凹面領域
２５ａ～２５ｋ 監視対象領域
３１ 店内スピーカ
５０ 店舗
５１ 天井（天井面）
７１ 制御部
７２ 制御情報記憶部
７３ 画像認識部
７４ 特徴情報格納部
７５ 商品情報格納部
７６ 動作認識部
７７ 課金・精算処理部
７９ 通信制御部
８０ 通信網
８１ インタフェース部（Ｉ／Ｆ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】