特開 2024-3629 物体検出装置および監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024003629

(43)【公開日】2024-01-15

(54)【発明の名称】物体検出装置および監視システム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20240105BHJP

   G06Q 30/06 20230101ALI20240105BHJP

   G01S 7/481 20060101ALI20240105BHJP

【ＦＩ】

G01S17/89

G06Q30/06

G01S7/481 A

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022102900

(22)【出願日】2022-06-27

(71)【出願人】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】100179969

【弁理士】

【氏名又は名称】駒井 慎二

(74)【代理人】

【識別番号】100176692

【弁理士】

【氏名又は名称】岡崎 ▲廣▼志

(72)【発明者】

【氏名】加沢 徹

【テーマコード（参考）】

5J084

5L049

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AA13

5J084AB07

5J084BA03

5J084BA20

5J084BA34

5J084BB22

5J084BB23

5J084BB27

5J084CA65

5J084CA67

5J084EA34

5L049BB72

(57)【要約】

【課題】簡易な構成で店舗の特定領域を効率よく監視する監視システムを提供する。
【解決手段】所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成された複数の反射鏡２０，１５ａ～１５ｊと、単一の測距センサ３（光検出測距装置としてのＬｉＤＡＲ）とを用いて、店舗５０内の監視対象領域２５ａ～２５ｋの空間点群マップを作成し、その点群データをもとに店舗５０内での商品購入者（客５）の進行、および監視対象領域２５ａ～２５ｋにおける商品購入者の特定動作（商品の購入動作）を認識する。
【選択図】図７

【特許請求の範囲】

【請求項1】

複数の反射面を有する主反射手段と、
反射面を有し、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、
前記主反射手段および前記複数の副反射手段の前記反射面を使用して前記店舗内の複数の画像取得対象領域へレーザ光を照射し、該画像取得対象領域から前記反射面を介して到来する前記レーザ光の反射光をもとに該画像取得対象領域の空間点群マップを作成する測距手段と、
を備え、
前記空間点群マップを構成する点群データをもとに前記複数の画像取得対象領域に存在する前記利用者を検出することを特徴とする物体検出装置。

【請求項2】

前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする請求項１に記載の物体検出装置。

【請求項3】

前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする請求項１または２に記載の物体検出装置。

【請求項4】

前記複数の画像取得対象領域以外の画像取得対象領域に存在する物体の像を前記副反射手段に対して反射する反射面を有する補助反射手段をさらに備えることを特徴とする請求項１または２に記載の物体検出装置。

【請求項5】

店舗に陳列された商品を購入する利用者を監視する監視システムであって、
複数の反射面を有する主反射手段と、
反射面を有し、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、
前記主反射手段および前記複数の副反射手段の前記反射面を使用して前記店舗内の複数の監視対象領域へレーザ光を照射し、該監視対象領域から前記反射面を介して到来する前記レーザ光の反射光をもとに該監視対象領域の空間点群マップを作成する測距手段と、
前記空間点群マップを構成する点群データをもとに前記複数の監視対象領域における前記利用者の特定の動作を認識する画像認識手段と、
前記特定の動作が認識された場合、前記利用者に対して前記商品のうち、前記特定の動作が認識された際の該利用者の位置と関連づけた商品に対応する課金処理を行う課金手段と、
を備えることを特徴とする監視システム。

【請求項6】

前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする請求項５に記載の監視システム。

【請求項7】

前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする請求項５または６に記載の監視システム。

【請求項8】

前記画像認識手段は、前記測距手段が所定時間間隔で作成した複数の前記空間点群マップの差分をもとに画像認識を行うことを特徴とする請求項５または６に記載の監視システム。

【請求項9】

前記測距手段はＬｉＤＡＲ（Light Detection and Ranging）であることを特徴とする請求項５または６に記載の監視システム。

【請求項10】

前記複数の監視対象領域は前記店舗における商品棚近傍の複数の領域であり、該複数の領域の各々に対応させて前記複数の副反射手段を配置することを特徴とする請求項５または６に記載の監視システム。

【請求項11】

反射面を有し、前記複数の監視対象領域以外の監視対象領域に対して前記レーザ光の照射および反射光の受光を可能にする補助反射手段をさらに備えることを特徴とする請求項５または６に記載の監視システム。

【請求項12】

前記特定の動作は、前記利用者が前記陳列された商品を商品棚から取り出す際の動作、あるいは取り出した商品を商品棚へ戻す際の動作であることを特徴とする請求項５または６に記載の監視システム。

【請求項13】

前記課金手段は、前記画像認識手段が認識した前記特定の動作が前記商品を商品棚から取り出す際の動作であれば該商品に対応する積算処理を行い、該特定の動作画像が該商品を商品棚へ戻す際の動作であれば該商品に対応する減算処理を行うことを特徴とする請求項１２に記載の監視システム。

【請求項14】

前記課金手段は、前記商品棚の特定の位置に載置された商品群が同一価格であるとして、前記利用者の位置に対応させて前記積算処理および前記減算処理を行うことを特徴とする請求項１３に記載の監視システム。

【請求項15】

前記課金手段は、前記利用者の所持する携帯端末の通信機能を使用して前記課金処理を行うことを特徴とする請求項５または６に記載の監視システム。

【請求項16】

前記利用者の所持する携帯端末との通信により該利用者の特徴情報を取得する手段をさらに備えることを特徴とする請求項５または６に記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の反射鏡と、光検出測距装置で構成された物体検出装置および監視システムに関する。

【背景技術】

【0002】

生活様式（ライフスタイル）の変化により夜間に活動する人が増加し、それに伴い、深夜営業を行なうコンビニエンスストア等の店舗も増えている。一方、深夜営業は、店舗のオーナーには人件費が高騰する等の問題があり、従業員には労働環境の問題が生じ得る。そこで、従来、店舗を無人で運用するための種々の構成が提案されている。

【0003】

例えば、特許文献１は、無人店舗に適用可能な商品の自動認識、商品の自動決済を行う店舗装置を開示している。特許文献２は、客が店舗の商品棚から手に取った商品を認識して、店舗における精算の省人化、店舗の無人化等を実現する管理装置を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１４０８３０号公報

【特許文献2】特開２０２１－１８９６９１号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

上述した特許文献１に記載の技術では、商品棚から商品を取得する客とその動作を認識、検知するため、個々の商品棚に複数のカメラを設けるとともに、商品棚の上方に動作感知センサ（モーションセンサ）を設ける構成をとる。そのため、店舗の無人運営に要するコストが膨大になる。

【0006】

特許文献２においても、客が商品棚からピックアップした商品の種類、個数、重量を検出するために重量センサ、カメラ、測距センサを設けていることから、装置構成の複雑化のみならず、商品を正確に識別するために高精度のカメラが必要となり、管理装置のコストアップという問題が生じる。

【0007】

このように従来の無人店舗において、客の動作、客が選択・購入した商品等を監視するために、店舗内の商品棚の数と同等あるいはそれ以上の台数のカメラを用いているので、カメラおよびその工事費等に伴う監視システムの運用コストの増大、システム構成の複雑化という問題を回避できない。

【0008】

また、カメラには精細度に限界があり、カメラで撮影した画像による物体検知は、背景画像が複雑な画角において背景とその手前の物体とが重なるため、物体の判別の精度が低下するという問題がある。

【0009】

本発明は、上述した課題に鑑みてなされたものであり、その目的は、簡易な構成で店舗の特定領域を効率よく監視する監視システムを提供することである。

【課題を解決するための手段】

【0010】

上記の目的を達成し、上述した課題を解決する一手段として本発明に係る物体検出装置は、複数の反射面を有する主反射手段と、反射面を有し、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、前記主反射手段および前記複数の副反射手段の前記反射面を使用して前記店舗内の複数の画像取得対象領域へレーザ光を照射し、該画像取得対象領域から前記反射面を介して到来する前記レーザ光の反射光をもとに該画像取得対象領域の空間点群マップを作成する測距手段とを備え、前記空間点群マップを構成する点群データをもとに前記複数の画像取得対象領域に存在する前記利用者を検出することを特徴とする。

【0011】

例えば、前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする。例えば、前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする。また、例えば、前記複数の画像取得対象領域以外の画像取得対象領域に存在する物体の像を前記副反射手段に対して反射する反射面を有する補助反射手段をさらに備えることを特徴とする。

【0012】

上述した課題を解決する手段として本発明は、店舗に陳列された商品を購入する利用者を監視する監視システムであって、複数の反射面を有する主反射手段と、反射面を有し、該反射面が、前記主反射手段の複数の反射面の各々と対向するように、前記主反射手段を中心としてその周囲に配置された複数の副反射手段と、前記主反射手段および前記複数の副反射手段の前記反射面を使用して前記店舗内の複数の監視対象領域へレーザ光を照射し、該監視対象領域から前記反射面を介して到来する前記レーザ光の反射光をもとに該監視対象領域の空間点群マップを作成する測距手段と、前記空間点群マップを構成する点群データをもとに前記複数の監視対象領域における前記利用者の特定の動作を認識する画像認識手段と、前記特定の動作が認識された場合、前記利用者に対して前記商品のうち、前記特定の動作が認識された際の該利用者の位置と関連づけた商品に対応する課金処理を行う課金手段とを備えることを特徴とする。

【0013】

例えば、前記反射面は、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成されていることを特徴とする。例えば、前記主反射手段の前記複数の反射面は、それぞれが異なる方向を向いていることを特徴とする。また、例えば、前記画像認識手段は、前記測距手段が所定時間間隔で作成した複数の前記空間点群マップの差分をもとに画像認識を行うことを特徴とする。例えば、前記測距手段はＬｉＤＡＲ（Light Detection and Ranging）であることを特徴とする。例えば、前記複数の監視対象領域は前記店舗における商品棚近傍の複数の領域であり、該複数の領域の各々に対応させて前記複数の副反射手段を配置することを特徴とする。また、例えば、反射面を有し、前記複数の監視対象領域以外の監視対象領域に対して前記レーザ光の照射および反射光の受光を可能にする補助反射手段をさらに備えることを特徴とする。さらに例えば、前記特定の動作は、前記利用者が前記陳列された商品を商品棚から取り出す際の動作、あるいは取り出した商品を商品棚へ戻す際の動作であることを特徴とする。さらには、例えば、前記課金手段は、前記画像認識手段が認識した前記特定の動作が前記商品を商品棚から取り出す際の動作であれば該商品に対応する積算処理を行い、該特定の動作画像が該商品を商品棚へ戻す際の動作であれば該商品に対応する減算処理を行うことを特徴とする。例えば、前記課金手段は、前記商品棚の特定の位置に載置された商品群が同一価格であるとして、前記利用者の位置に対応させて前記積算処理および前記減算処理を行うことを特徴とする。また、例えば、前記課金手段は、前記利用者の所持する携帯端末の通信機能を使用して前記課金処理を行うことを特徴とする。例えば、前記利用者の所持する携帯端末との通信により該利用者の特徴情報を取得する手段をさらに備えることを特徴とする。

【発明の効果】

【0014】

本発明によれば、簡易かつ安価な構成により、監視対象物を高精度に把握して特定領域に注目した効率のよい監視が可能になる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る監視システムを設置した店舗を俯瞰的に見た様子を示す図である。

【図2】監視システムを構成する反射鏡の配置と、監視対象領域との対応を示す図である。

【図3】主反射鏡２０の外観斜視図である。

【図4】主反射鏡２０を平面視したときの外観形状を示す図である。

【図5】図４に示す主反射鏡２０と副反射鏡１５ａを矢視Ｂ－Ｂ´線に沿って切断した断面図である。

【図6】図５のｘ方向から主反射鏡２０と副反射鏡１５ａの双方を見た様子を模式的に示す図である。

【図7】監視システムを構成する監視装置の構成例を示すブロック図である。

【図8】監視システムにおける店舗内の客の行動監視、課金処理等の流れを時系列で示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係る監視システムを設置した、例えば、コンビニエンスストア等の店舗を俯瞰的に見た様子を示す図である。

【0017】

図１に示す店舗５０は無人店舗であり、商品棚２ａ～２ｃに陳列された種々の商品の中から客５が手に取った商品を積算し、自動精算する監視システム１を備えている。そのため監視システム１は、店舗５０内における客５の位置等を検知する、例えば、ＬｉＤＡＲ（Light Detection and Ranging）等の測距センサ３、測距センサ３から照射された赤外レーザ光を店舗５０内の特定の領域に向けて反射するとともに、その特定の領域に居る客５等に当たって跳ね返った赤外レーザ光をさらに反射して、測距センサ３で受光可能にする複数の反射鏡、測距センサ３から測距データを取得して、所定の画像認識処理を行うとともに監視システム１全体を制御する監視装置１０等を備える。

【0018】

複数の反射鏡は、店舗５０の天井５１に設置された、複数の凹凸面鏡を有する主反射鏡２０と、これら複数の凹凸面鏡各々と対向しながら主反射鏡２０を中心としてこれを囲むように配置された、凸面鏡あるいは凹凸面鏡を有する複数の副反射鏡１５ａ～１５ｊとからなる。ここでいう凹凸面鏡とは、複数の反射面を接合して構成し、該各反射面の形状が凹面及び／又は凸面の形状である、反射鏡のことをさす。主反射鏡２０は、副反射鏡１５ａ～１５ｊの全てを見通せる場所に位置する。

【0019】

測距センサ３は、主反射鏡２０の垂直方向下部に、主反射鏡２０から所定距離離れて設置されている。測距センサ３は、主反射鏡２０の鏡面に対して赤外レーザ光等を照射する照射口３ａと、副反射鏡１５ａ～１５ｊで反射した赤外レーザ光等を受光する受光口３ｂを有し、照射口３ａおよび受光口３ｂの各中心は、主反射鏡２０の中心軸に合わせて設置されている。測距センサ３で得られた測距データは、店舗５０内に設置した監視装置１０へ送信される。

【0020】

図２は、本実施形態に係る監視システムを構成する反射鏡の配置と、監視対象領域との対応を示す図である。店舗内の対象領域の監視に凸面鏡のみを使用した場合、映る範囲が広すぎて、監視対象領域以外の領域までが映り込み、監視対象領域を効率よく監視できない。また、上述した自動精算を行うには、店舗５０内における客５の動作を画像として詳細に捉える必要がある。

【0021】

そのため、店舗５０内の領域を重複のない状態で効率的に監視して、かつ、客５の動作を詳細な画像で捉えることが必要となる。

【0022】

図２において網かけを付して示す複数の監視対象領域２５ａ～２５ｊは、客５が商品棚２ａ～２ｃより商品を手に取る際に立ち入って、腕を伸ばす領域であり、店舗５０の床面から商品棚の天板に至る高さを有する空間領域である。

【0023】

監視対象領域２５ａ～２５ｊの各々の奥行方向（棚から離れる方向）の距離は、例えば、客が商品棚２ａ～２ｃに向かって腕を伸ばしたときの平均距離に基づいて決めることができ、棚に対し平行な方向の距離は、例えば、反射鏡の配置位置、鏡面の大きさ（反射レーザ光の反射範囲）等に応じて決める。

【0024】

図２の太い矢線は、測距センサ３から照射されて主反射鏡２０で反射し、さらに副反射鏡１５ａ～１５ｊの各々で反射して監視対象領域２５ａ～２５ｊに至る赤外レーザ光等の光路、および、監視対象領域２５ａ～２５ｊで商品を手に取った客等から跳ね返った赤外レーザ光等が副反射鏡１５ａ～１５ｊ各々の鏡面で反射して主反射鏡２０に至る光路である。

【0025】

これらの光路は、店舗５０で商品棚２ａ～２ｃより商品を取り上げている客５の動作等を検知するための、測距センサ３から監視対象領域２５ａ～２５ｊへの監視視線となる。

【0026】

さらに、図２に示すように補助反射鏡１５ｋを設置することで、店舗５０への来店客の認証ゲートである入退ゲート７が設けられた領域（ここでは、監視対象領域２５ｋ）を通過する客から跳ね返った赤外レーザ光等が補助反射鏡１５ｋの鏡面で反射され、その赤外レーザ光等がさらに副反射鏡１５ｈの鏡面で反射して主反射鏡２０に至る構成となっている。

【0027】

なお、副反射鏡１５ｈの反射面の面積を、監視対象領域２５ｈ，２５ｋの双方を網羅する大きさとすることで、補助反射鏡１５ｋを省略することもできる。

【0028】

図３は、主反射鏡２０の外観斜視図である。図４は、主反射鏡２０を平面視したときの外観形状であり、図３の矢印Ａ方向から見たときの形状である。なお、図４では、店舗５０の天井５１に設置した主反射鏡２０を店舗５０の床側から見たときの主反射鏡２０と副反射鏡１５ａ～１５ｊとの位置関係を示している。

【0029】

図３、図４に示すように主反射鏡２０は下側に頂部を有し、全体が山型形状である。山型形状の山腹に相当する側面部分２４には、互いに隣接しながら頂上部２１から山裾部２３に向かって広がる、平面視ほぼ三角形状の反射面（凹面領域）２０ａ～２０ｊを有する。

【0030】

図４に示すように、主反射鏡２０の凹面領域２０ａ～２０ｊの数を、店舗に配置される副反射鏡１５ａ～１５ｊと同数とし、三角形状の頂角θは、円周方向に反射面を凹面領域２０ａ～２０ｊの数で分割したときの個々の中心角である。このとき、店舗の形状および商品棚の配置に合わせて、監視対象領域２５ａ～２５ｊを確実に反射できる位置に副反射鏡１５ａ～１５ｊを設置し、これに合わせて主反射鏡２０の凹面領域２０ａ～２０ｊの大きさを決定することから、各三角形状の頂角θは単一の値とならないこともある。

【0031】

各凹面領域２０ａ～２０ｊは、測距センサ３からの出射光を反射して副反射鏡１５ａ～１５ｊへ導き、また、監視対象領域２５ａ～２５ｊから到来し、副反射鏡１５ａ～１５ｊで反射した光を受光する機能を有する。このような反射面としての各凹面領域２０ａ～２０ｊは、図４において点線の矢線で示すように、それぞれが、対応する副反射鏡１５ａ～１５ｊの方向を向くとともに、各副反射鏡１５ａ～１５ｊの反射面からの反射像全体を反射可能な面積と曲率の凹面を有する。

【0032】

図５は、図４に示す主反射鏡２０とそれに対向する副反射鏡１５ａを、矢視Ｂ－Ｂ´線に沿って切断した断面図である。測距センサ３は、照射口３ａより複数の照射方向に向けて赤外レーザ光を照射し、物体等からの反射光を受光口３ｂで受光し、照射から受光までの時間間隔、各照射方向からの反射光強度をもとに、各照射方向における物体等までの距離等を算出する。

【0033】

主反射鏡２０の複数の凹面領域の一つである凹面領域２０ａは、上述したように対応する副反射鏡１５ａの反射面３５ａと対向している。副反射鏡１５ａの反射面３５ａが、図５のｚ方向（天井に垂直な方向）においてａ１～ａ２までの範囲にあるとした場合、測距センサ３の照射口３ａから主反射鏡２０へ照射された赤外レーザ光は、ｃ１→ｂ１→ａ１およびｃ２→ｂ２→ａ２で形成される範囲の光路を介して監視対象領域２５ａに至る。

【0034】

一方、監視対象領域２５ａの物体に当たって跳ね返った赤外レーザ光は、ａ１→ｂ１→ｃ１およびａ２→ｂ２→ｃ２で形成される範囲の光路を介して測距センサ３の受光口３ｂに至る。

【0035】

このとき、赤外レーザ光は、上述した曲率を有する凹面領域２０ａ上のｂ１，ｂ２、および副反射鏡１５ａのａ１，ａ２において、これらｂ１，ｂ２およびａ１，ａ２における曲面接線に垂直な線を基準にして、入射角と反射角が等角となって反射する。

【0036】

なお、他の副反射鏡１５ｂ～１５ｊの各々と、主反射鏡２０の他の凹面領域２０ｂ～２０ｊの各々との間における赤外レーザ光の経路についても、上述した凹面領域２０ａと副反射鏡１５ａ間における経路と同様であるため、ここでは、それらの図示と説明を省略する。

【0037】

図６は、図５のｘ方向から主反射鏡２０と副反射鏡１５ａの双方を見た様子を模式的に示している。図６においてｘ方向手前側の天井面５１に副反射鏡１５ａが位置し、ｘ方向奥側に主反射鏡２０が位置する。副反射鏡１５ａのｄ１が、その反射面３５ａのｙ方向の一方端であり、ｄ２がｙ方向の他方端である。ここでは、ｄ１～ｄ２間の距離を、反射面３５ａのｙ方向において主反射鏡から視認可能な最大幅とする。

【0038】

主反射鏡２０は、図６において長い破線で囲んだ凹面領域２０ａが反射面となって、測距センサ３の照射口３ａからの出射光を反射し、それがさらに、副反射鏡１５ａの反射面３５ａで反射して、監視対象領域２５ａに至る。また、監視対象領域２５ａより到来する、物体から跳ね返った赤外レーザ光は、副反射鏡１５ａの反射面３５ａで反射し、それがさらに凹面領域２０ａで反射して、測距センサ３の受光口３ｂに至る。

【0039】

凹面領域２０ａは、図３を参照して説明したように平面視ほぼ三角形状の反射面であり、天井５１に近い部位は、三角形状の底辺部に相当する。よって、凹面領域２０ａは、一方端ｅ１と他方端ｅ２との間の距離がｙ方向における最大幅となる。

【0040】

本実施形態に係る監視システムでは、主反射鏡２０と副反射鏡１５ａそれぞれの反射面の面積、曲率を、測距センサ３からの照射光が、ｙ方向の最大幅であるｅ１－ｅ２およびｄ１－ｄ２の範囲の反射面で反射して監視対象領域に至り、同様に、監視対象領域で跳ね返った光がｄ１－ｄ２およびｅ１－ｅ２の範囲の反射面で反射して測距センサ３で受光されるように決める。このとき、反射面の曲率は凹面領域２０ａ内において一律でなくてもよく、監視対象領域２５ａの形状、面積および監視目的等に適するよう決めることができる。

【0041】

次に、本実施形態に係る監視システムを構成する監視装置について説明する。図７は、監視装置１０の構成例を示すブロック図であり、制御部７１は、マイクロプロセッサ等からなる中央処理部（ＣＰＵ）を備え、監視装置１０全体を制御する。制御情報記憶部７２は、制御部７１の動作プログラム、監視制御データ等を格納する。制御情報記憶部７２は、例えば、ＲＯＭ（Read Only Memory）、不揮発性メモリ等からなる。

【0042】

画像認識部７３は、あらかじめ格納された画像認識プログラムにしたがって、測距センサ３からの計測データをもとに店舗内にいる客の動きを追跡し、動作等を認識する。

【0043】

商品情報格納部７５は、店舗５０で販売する商品等に関するデータベースである。例えば、商品棚２ａ～２ｃの店舗５０内での設置位置、商品棚２ａ～２ｃを構成する棚板の構成、その棚板に載置された商品の配置、それらの販売価格等を商品情報として格納する。商品情報格納部７５は、例えば、ＨＤＤ（ハードディスクドライブ）、大容量半導体メモリ等からなる。

【0044】

課金・精算処理部７７は、客に対して、購入した商品について自動的に課金（積算あるいは減算）する。通信制御部７９は、客の所持するスマートフォン等の携帯情報通信端末との通信、外部の通信網８０との通信等を行う通信インタフェース（Ｉ／Ｆ）としての機能を有する。店舗５０での商品購入の決済結果は、後述するように通信制御部７９を介して客のスマートフォン６へ通知される。

【0045】

インタフェース部（Ｉ／Ｆ）８１は、監視装置１０と、後述する精算端末４、入退ゲート７、店内スピーカ３１等との情報・信号の送受信を行う際のインタフェースとして機能する。

【0046】

次に、本実施形態に係る監視システムにおける監視制御について説明する。図８は、本実施形態に係る監視システムにおける店舗内の客の行動監視、課金処理等の流れを時系列で示すフローチャートである。

【0047】

図８のステップＳ１において、監視システム１を構成する監視装置１０の制御部７１は、インタフェース部（Ｉ／Ｆ）８１を介して、入退ゲート７より人感知情報を得た場合、測距センサ３より赤外レーザ光を照射し、主反射鏡２０、入退ゲート７に最も近い副反射鏡１５ｈの反射面２０ｈを使用して、入退ゲート７が設置された監視対象領域２５ｋをスキャンする。

【0048】

画像認識部７３は、測距センサ３による計測データ（スキャンデータ）の集合である点群データ（３次元点群）をもとに、監視対象領域２５ｋにおける対象物までの距離に応じた画素値からなる距離画像を作成する。ステップＳ１では、この距離画像が、監視対象物としての客の画像と判断された場合、店舗５０へ入店客（図１に示す店舗５０の場合、破線で示す客５）があったと判断する。

【0049】

なお、画像認識部７３は、検知した客（ここでは、客５）が商品購入等で店舗５０内を移動することから、測距センサ３が取得した距離画像によりその移動を追跡する。このとき例えば、客５に対して所定のマーキングを施して追跡してもよいし、客５の動線を逐一追跡してもよい。

【0050】

制御部７１は、続くステップＳ２において、通信制御部７９に対して客５の所持するスマートフォン６との通信を実行させる。その結果、スマートフォン６では、あらかじめにインストールされている、店舗５０での商品購入を可能にする専用のアプリケーションが起動する。そして、スマートフォン６より、客５を特定するための情報、例えば、ＩＤコード、顧客コード等の特定情報を取得する。

【0051】

画像認識部７３は、ステップＳ３において、主反射鏡２０等を使用して測距センサ３から監視対象領域２５ａ～２５ｊに向けて照射された赤外レーザ光と、監視対象領域２５ａ～２５ｊからの反射光をもとに、監視対象領域２５ａ～２５ｊの空間点群マップを作成する。

【0052】

空間点群マップは、赤外レーザ光の照射と反射の時間遅延に基づく三次元マッピングにより作成される、測定対象の三次元マップである。測距センサ３は、赤外レーザ光の照射方向に位置する異なる２つの対象物からの反射光を２つの点と識別する最小距離である距離分解能が高いため、ここでは、測定対象を監視対象領域２５ａ～２５ｊに滞留する客や商品等とし、時系列的に異なるタイミング（時間間隔）で監視対象領域２５ａ～２５ｊの空間点群マップを作成する。

【0053】

制御部７１は、ステップＳ５において、店舗５０内における客の進行、すなわち、客の移動を検知する。具体的には、客の移動時間よりも短い時間間隔で、監視対象領域２５ａ～２５ｊの空間点群マップを作成し、それらの差分をもとに客の進行（移動先）を検知する。

【0054】

制御部７１は、移動を追跡した客５の移動先を検知できた場合、ステップＳ７において、客５による商品の購入動作を検知する。ここでは、画像認識部７３が、監視対象領域２５ａ～２５ｊのうち、客５の移動先に対応する監視対象領域に絞り込んで作成した、その監視対象領域の距離画像に、客５が商品を手に取った動作を示す距離画像が含まれるか否かを認識する。

【0055】

ステップＳ７では、上記の距離画像をもとに、さらに、客５が監視対象領域２５ａ～２５ｊ内のどの位置に留まっているかという店舗５０内での客５の立ち位置をもとに、客５が手に取った商品が載置された商品棚の棚板の位置を判断する。

【0056】

「商品を手に取った動作」とは、客５が腕を伸ばして、商品棚にある商品を手で把持しながら商品棚以外の他の位置へ移動させる動作をいう。その際、客５の手先を含めた腕の伸びを検出し、商品棚に向かって腕を伸ばしている途中に、手先に商品がなく、腕を戻しているときに手先に商品があることを検出する。またこのとき、商品を手に取る動作をした客５の腕の床からの高さをもとに、客５が手に取った商品が載置された商品棚の棚板の位置を判断してもよい。

【0057】

上記のステップＳ７で客５の商品購入動作が検知された場合、制御部７１は、ステップＳ９において課金・精算処理部７７を起動し、所定の課金処理（積算処理）を実行する。課金処理として、客５が滞留する監視対象領域における商品棚２ａ～２ｃの棚板の位置を判断し、商品情報格納部７５に格納されている商品情報である商品棚の棚板の構成、その棚板に載置された商品販売価格等をもとに、客５に対して購入した商品について課金する。

【0058】

なお、上記の課金処理において、例えば、通信制御部７９を介して、客５のスマートフォン６に対して、客５が商品を手にとった時点で「購入された商品を課金します。」等の通知を文字メッセージとして送信し、あるいは音声で知らせるようにしてもよい。

【0059】

制御部７１は、ステップＳ１３において、客５が商品を棚に戻す動作を行ったか否かを検知する。ここでは、客５の手先を含めた腕の伸びを検出し、腕を伸ばしたときに手先に商品があり、腕を元の位置に戻したときに手先に商品がないことを検出する。この動作の判断も、商品の購入時における判断と同様、異なるタイミングで作成した監視対象領域２５ａ～２５ｊの空間点群マップに基づいて行う。

【0060】

客５が商品を棚に戻す動作を行ったことが検知された場合、課金・精算処理部７７は、ステップＳ１５において所定の課金処理（減算処理）を実行する。例えば、この時点における客５に対する積算額から、棚に戻した商品の金額を減算する処理を行う。その際、例えば、客５のスマートフォン６に対して、「戻された商品を減額します。」等の通知を文字メッセージで送信、あるいは音声で知らせてもよい。

【0061】

次に制御部７１は、ステップＳ１７において、客５が商品の購入を終え、精算を希望しているか否かを判断する。例えば、店舗５０内に備えた精算端末４に向けて客５がスマートフォン６をかざしたことを示す信号を、インタフェース部（Ｉ／Ｆ）８１を介して精算端末４より受信した場合、制御部７１は、客５が精算の意思表示をしたと判断して、ステップＳ１９において、課金・精算処理部７７に対して精算処理を実行させる。

【0062】

具体的には、課金・精算処理部７７は、客５の購入した商品の全数についての総額を算出し、その算出結果を、通信制御部７９を介して客５のスマートフォン６へ送信する。

【0063】

同時に課金・精算処理部７７は、客５に対して、精算額に不一致があれば再精算することを促すメッセージを、通信制御部７９を介してスマートフォン６へ送信する。このメッセージを見た客５は、再精算が必要であれば、精算レジ８を操作して、購入した商品に対して再精算する。

【0064】

ここでは、上記の精算処理とともに決済処理が行われる。例えば、客５のスマートフォン６にインストールされた決済アプリケーションにしたがって、決済サービス会社へ商品代金を支払う等の決済処理（クレジットカード、デビットカード、電子マネー等を使用したキャッシュレス決済）が行われる。

【0065】

制御部７１は、ステップＳ２１において、精算レジ８において再精算が行われたかを判定する。再精算が行われた場合、処理をステップＳ１９に戻して、課金・精算処理部７７において、再度、精算処理等を実行する。

【0066】

一方、再精算が行われなかった場合、制御部７１は、ステップＳ２３において、店舗５０からの客の退出の有無を判断する。例えば、インタフェース部（Ｉ／Ｆ）８１を介して、入退ゲート７より人感知情報が送信されたことを検出した場合、通信制御部７９を起動して、スマートフォン６より、入退ゲート７を通過した客の特定情報を取得する。

【0067】

取得した特定情報が、ステップＳ１７で精算端末４に向けてスマートフォン６をかざして精算の意思表示をした客５の特定情報と一致した場合、制御部７１は、客５が店舗５０を退出したと判断する。

【0068】

客が精算を希望していない場合（ステップＳ１７でＮＯ）、あるいは、ステップＳ２３において、既に精算の意思表示をした客５の退出が確認できない場合には、制御部７１は、客５が買い物を続行する意思があると判断して、処理をステップＳ３へ戻す。

【0069】

監視システム１を構成する監視装置１０は、店舗５０内に入店客が複数いる場合にも、各々の入店客に対して上記の監視処理を行う。

【0070】

なお、上述した監視装置１０による監視処理と、店舗５０に設置した遠隔監視カメラ３３による画像撮影とを連動させて、客の不審な行動（商品の不自然な取り方）を監視するようにしてもよい。その場合、例えば、連携している外部の遠隔監視センター（例えば、警備会社）へ、通信網８０を介して監視結果を報告するとともに、入退ゲート７の封鎖、店内スピーカ３１からの警報音の鳴動等の処置により、不審客の店外への逃走を阻止する構成を付加する。

【0071】

以上説明したように本実施形態に係る監視システムは、所定の曲率半径を有する凸面鏡あるいは凹凸面鏡で構成された複数の反射鏡と、単一の光検出測距装置（ＬｉＤＡＲ）とを用いて店舗内の監視対象領域の空間点群マップを作成し、その点群データをもとに店舗内での商品購入者の進行および監視対象領域における商品購入者の特定の動作を認識する構成を有する。

【0072】

これにより、距離分解能の高いＬｉＤＡＲのスキャン範囲を店舗内の商品購入者およびその周囲に限定できるので、効率的かつ高精度で商品購入者を捕捉して、その商品購入行動の詳細な監視が可能になる。

【0073】

特に、本実施形態に係る監視システムを、深夜帯や緊急事態において無人で店舗を営業する形態に適用して、商品棚の特定の位置に載置された商品群が同一価格である、つまり、監視側から同一方向に載置されて見える商品を同一価格とするダイナミックプライシングの実現が可能になる。

【0074】

また、利用者（客）が商品を手にとった時点で課金を通知することにより、万引きや窃盗行為の発生を抑止し、牽制することが可能となる。

【0075】

また、都会の既存の店舗は、狭い範囲に多くの棚を設置し、多数の商品を詰めて陳列せざるを得ない事情があるため、単一のＬｉＤＡＲという最小の設備で効率よく店舗監視ができる。

【符号の説明】

【0076】

１ 監視システム
２ａ～２ｃ 商品棚
３ 測距センサ
４ 精算端末
５ 客
６ スマートフォン
７ 入退ゲート
８ 精算レジ
１０ 監視装置
１５ａ～１５ｊ 副反射鏡
１５ｋ 補助反射鏡
２０ 主反射鏡
２０ａ～２０ｊ 主反射鏡の凹面領域
２５ａ～２５ｋ 監視対象領域
３１ 店内スピーカ
５０ 店舗
５１ 天井（天井面）
７１ 制御部
７２ 制御情報記憶部
７３ 画像認識部
７５ 商品情報格納部
７７ 課金・精算処理部
７９ 通信制御部
８０ 通信網
８１ インタフェース部（Ｉ／Ｆ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】