特許 7015430 見込み客情報収集システム及びその収集法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-26

(45)【発行日】2022-02-03

(54)【発明の名称】見込み客情報収集システム及びその収集法

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20220127BHJP

   G07G 1/00 20060101ALI20220127BHJP

   G07G 1/12 20060101ALI20220127BHJP

   G06T 7/00 20170101ALI20220127BHJP

【ＦＩ】

G06Q30/02 300

G07G1/00 331B

G07G1/12 341Z

G06T7/00 660A

G06T7/00 660Z

【請求項の数】 7

(21)【出願番号】P 2018086379

(22)【出願日】2018-04-27

(65)【公開番号】P2019192074

(43)【公開日】2019-10-31

【審査請求日】2021-02-16

(73)【特許権者】

【識別番号】516172042

【氏名又は名称】佐野 達広

(73)【特許権者】

【識別番号】513196463

【氏名又は名称】ＦＲＥＥ ＳＨＩＮＥ株式会社

(74)【代理人】

【識別番号】100101432

【弁理士】

【氏名又は名称】花村 太

(72)【発明者】

【氏名】佐野 達広

【審査官】石川 正二

(56)【参考文献】

【文献】特開２０１６－２１９０６５（ＪＰ，Ａ）

【文献】特開２０１１－００８５７１（ＪＰ，Ａ）

【文献】特開２００４－３４８６１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０７Ｇ １／００

Ｇ０７Ｇ １／１２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

店舗の入口に連通する通路領域を撮影する店舗外撮影手段と、
前記店舗外撮影手段で撮影された画像から店舗外の被撮影人物の顔を通行人の顔として検出する通行人特定手段と、
前記通行人特定手段で特定された前記通行人の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を通行人属性情報とする通行人属性取得手段と、
前記店舗の入口内部の領域を撮影する店舗内撮影手段と、
前記店舗内撮影手段で撮影された画像から店舗内の被撮影人物の顔を来店客の顔として検出する来店客特定手段と、
前記来店客特定手段で特定された前記来店客の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を来店客属性情報とする来店客属性取得手段と、
前記通行人属性情報及び前記来店客属性情報を記録する記録手段とを備えたことを特徴とする見込み客情報収集システム。

【請求項2】

前記来店客属性取得手段が、
前記店舗内撮影手段で撮影された画像から店舗内の被撮影人物の顔を来店客の顔として検出する来店客特定手段で特定された前記来店客の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を来店客属性情報とするものであることを特徴とする請求項１に記載の見込み客情報収集システム。

【請求項3】

前記店舗の内部の来店客の内、商品を購入する来店客を購入者属性情報とする購入者特定手段を更に備えたことを特徴とする請求項１又は２に記載の見込み客情報収集システム。

【請求項4】

前記通行人属性取得手段で特定された通行人属性情報の紐付けデータとして、通行人の衣服情報を取得してこれを前記記録手段に記録される紐付けデータ取得手段を更に備えたことを特徴とする請求項１～３の何れか１項に記載の見込み客情報収集システム。

【請求項5】

前記店舗外撮影手段又は前記店舗内撮影手段で撮影された画像から検出された前記通行人又は来店客の顔の向きの顔方向情報を前記通行人属性情報又は前記来店客属性情報に追加して前記記録手段に記録される顔方向情報取得手段を更に備えたことを特徴とする請求項１～４の何れか１項に記載の見込み客情報収集システム。

【請求項6】

請求項１に記載の見込み客情報収集システムを用いた見込み客情報収集法において、
前記店舗の外領域を撮影する撮影画像の前記店舗外の通行人の顔の特徴点から推定された通行人属性情報を得て、
前記店舗の入口内部の領域の撮影画像から来店客の来店客属性情報を得ることを特徴とする見込み客情報収集法。

【請求項7】

前記来店客の内、商品を購入した来店客の属性情報を購入者属性情報とする購入者特定手段を更に備え、
前記来店客属性情報から前記購入者属性情報を除いた店舗へ入店したが購入のなかった来店済見込み客情報を得ることを特徴とする請求項６に記載の見込み客情報収集法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、店舗の前を通過する通行人、店舗のショーウィンドウを眺める通行人、及び、店舗へ入店したが購入のなかった来店客等の見込み客の属性を収集するシステムに関する。特に、店舗での購入者を除く見込み客について、店舗の内外等に設置されたカメラからの撮影映像を利用することができ、尚且つ、肖像権やプライバシーを保護しながらも、その人物の属性を収集するシステム、また、その人物に応じた駆動を制御するシステム、更には、その人物の興味のあるものの分析に利用することが可能な属性を収集するシステムに関するものである。

【背景技術】

【0002】

オンラインの世界では、Ｗｅｂサイトを訪問した訪問者が商品を購入したり、資料を請求したりするサイト運営や広告出稿の目的となる特定のアクションを訪問者がとることを「コンバージョン」と喚び、このコンバージョン率を上げるため、Ｗｅｂサイトのページレイアウト、色、ボタン、行動を促すフレーズ、チェックアウトなどの要因の工夫を行っている。

【0003】

また、従来より、コンビニエンスストア等の店舗においては、お客様と金銭のやりとりをした時点での販売情報を管理するシステムであるＰＯＳレジを利用したＰＯＳ（Point Of Sales）システムが多く導入されている。導入初期は、レジスタにおける商品のバーコードの入力情報と単純な売り上げ情報によって、商品を管理するものであったが、その後のＰＯＳレジでは、レジスタ前に立った顧客の顔画像を記録したり、商品と顧客との関連を行うものも提案されている。

【0004】

特に、顧客の売場への立寄りを検出する立寄り検出機器からの立寄り情報と、顧客の購買情報を管理するＰＯＳ端末からの購買情報とを基に売場に立寄っても商品購入を行わなかった販売機会損失を測定することによって、消費者に煩わしさを与えることなく、消費者の真の購買意図を偽情報に惑わされることなく販売機会損失やそれを基にした商品の潜在的な需要を推定することができる装置が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００１－３３１８７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前述のＰＯＳ端末を始めとして多くのＰＯＳ端末では、購買者の肖像権やプライバシーを無視したものであった。近年、顔画像を含む個人情報の取扱いが厳しくなり、結局は、購買者の外観から店員の判断で入力するＰＯＳ端末が未だに主流となっている。

【0007】

本発明は、購入者のみに関する情報ではなく、店舗の前を通りながら来店しなかった見込み客、更に、来店客であったのに何も購入せずに店舗から出た見込み客の情報を収集し、購入客の増大を図ることを可能とする見込み客情報収集システム及び見込み客情報収集法を得ることを目的とする。

【課題を解決するための手段】

【0008】

請求項１に記載された発明に係る見込み客情報収集システムは、店舗の入口に連通する通路領域を撮影する店舗外撮影手段と、
前記店舗外撮影手段で撮影された画像から店舗外の被撮影人物の顔を通行人の顔として検出する通行人特定手段と、
前記通行人特定手段で特定された前記通行人の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を通行人属性情報とする通行人属性取得手段と、
前記店舗の入口内部の領域を撮影する店舗内撮影手段と、
前記店舗内撮影手段で撮影された画像から来店客属性情報を取得する来店客属性取得手段と、
前記通行人属性情報及び前記来店客属性情報を記録する記録手段とを備えたことを特徴とするものである。

【0009】

請求項２に記載された発明に係る見込み客情報収集システムは、請求項１に記載の来店客属性取得手段が、
前記店舗内撮影手段で撮影された画像から店舗内の被撮影人物の顔を来店客の顔として検出する来店客特定手段で特定された前記来店客の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を来店客属性情報とするものである。

【0010】

請求項３に記載された発明に係る見込み客情報収集システムは、請求項１又は２に記載の店舗の内部の来店客のうち、商品を購入する来店客を購入者属性情報とする購入者特定手段を更に備えたことを特徴とするものである。

【0011】

請求項４に記載された発明に係る見込み客情報収集システムは、請求項１～３の何れか１項に記載の通行人属性取得手段で特定された通行人属性情報の紐付けデータとして、通行人の衣服情報を取得してこれを前記記録手段に記録される紐付けデータ取得手段を更に備えたことを特徴とするものである。

【0012】

請求項５に記載された発明に係る見込み客情報収集システムは、請求項１～４の何れか１項に記載の店舗外撮影手段又は前記店舗内撮影手段で撮影された画像から検出された前記通行人又は来店客の顔の向きの顔方向情報を前記通行人属性情報又は前記来店客属性情報に追加して前記記録手段に記録される顔方向情報取得手段を更に備えたことを特徴とするものである。

【0013】

請求項６に記載された発明に係る見込み客情報収集法は、請求項１～５の何れか１項に記載の見込み客情報収集システムを用いた見込み客情報収集法において、
前記店舗の外領域を撮影する撮影画像の前記店舗外の通行人の顔の特徴点から推定された通行人属性情報を得て、
前記店舗の入口内部の領域の撮影画像から来店客の来店客属性情報を得ることを特徴とするものである。

【0014】

請求項７に記載された発明に係る見込み客情報収集法は、請求項６に記載の来店客の内、商品を購入した来店客の属性情報を購入者属性情報とする購入者特定手段を更に備え、
前記来店客属性情報から前記購入者属性情報を除いた店舗へ入店したが購入のなかった来店済見込み客情報を得ることを特徴とするものである。

【発明の効果】

【0015】

本発明は、購入者のみに関する情報ではなく、店舗の前を通りながら来店しなかった見込み客、更に、来店客であったのに何も購入せずに店舗から出た見込み客の情報を収集することができ、見込み客の現状を把握することにより、実店舗においてもコンバージョン率の最適化：Conversion Rate Optimization（CRO）に着目し運営することができ、購入客の増大を画策することが可能であるという効果がある。

【図面の簡単な説明】

【0016】

【図1】本発明の見込み客情報収集システムの一実施例の撮影状況を説明する説明図であり、ａ図は正面図、ｂ図は平面図、ｃ図はシステム構成図である。

【図2】図１の本発明の見込み客属性収集システムの一実施例の通行人特定手段を用いる場合のフローチャートである。

【図3】図１の本発明の見込み客属性収集システムの一実施例の来店客特定手段を用いる場合のフローチャートである。

【図4】図１の本発明の見込み客属性収集システムの一実施例の購入客特定手段を用いる場合のフローチャートである。

【発明を実施するための形態】

【0017】

本発明においては、店舗の入口に連通する通路領域を撮影する店舗外撮影手段と；店舗外撮影手段で撮影された画像から店舗外の被撮影人物の顔を通行人の顔として検出する通行人特定手段と；通行人特定手段で特定された前記通行人の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を通行人属性情報とする通行人属性取得手段と；店舗の入口内部の領域を撮影する店舗内撮影手段と；店舗内撮影手段で撮影された画像から来店客属性情報を取得する来店客属性取得手段と；通行人属性情報及び来店客属性情報を記録する記録手段とを備える。これにより、購入者のみに関する情報ではなく、店舗の前を通りながら来店しなかった見込み客、更に、来店客であったのに何も購入せずに店舗から出た見込み客の情報を収集することができる。

【0018】

本発明で付言する見込み客とは、店舗の前を通過する通行人、店舗のショーウィンドウを眺める通行人、及び、店舗へ入店したが購入のなかった来店客を含む。そのため、本発明では、店舗の外領域を撮影する店舗外撮影手段で撮影された画像から通行人の顔を特定し、通行人特定手段で通行人の顔を検出すればよい。具体的な店舗外撮影手段としては、当該店舗の外周囲の通行人を撮影することができるカメラを用いればよい。多くの場合は、通行人の顔を明確に撮影するため、通行人の上方から撮影されるような位置に配置される。また、当該店舗のショーウィンドー内のＬＥＤパネル広告やＰＯＰ広告の表面から裏面側に透明孔や穿設孔を形成し、その裏面側に配されたカメラでは、通行人がカメラで撮影されていると感じさせない上に、ＬＥＤパネル広告やＰＯＰ広告が注視されているか否かが判り易い利点もある。

【0019】

尚、本発明での店舗が、複数の商業店舗が入居する百貨店、ショッピングセンター、ショッピングモール等の商業施設内の一つの店舗の場合には、店舗外撮影手段として、商業施設内の出入り口の入場者を撮影するカメラや、商業施設内の通路のうち、当該店舗に至る通路の当該店舗へ向かう通行人を撮影するカメラ等を含んでもよい。また、当該店舗に至る通路脇に置かれたＬＥＤパネル広告やＰＯＰ広告に配置されたカメラでも有効に利用することもできる。特に、ＬＥＤパネル広告やＰＯＰ広告に配置されたカメラでは、通行人に注視されているか否かの判断を行うことで、店舗内に通行人を誘導させる効率の有無・変化を確認することができるため、実店舗においてもコンバージョン率の最適化に着目し運営することができ、購入客の増大を画策することが可能である。

【0020】

本発明の通行人特定手段としては、店舗外撮影手段で撮影された画像から店舗外の被撮影人物の顔の特徴点を検出して通行人の顔を検出するものであればよい。具体的には、店舗外撮影手段で撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々上方に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を顔として特定するものであればよい。

【0021】

本発明の通行人属性取得手段としては、前述の通行人特定手段で特定された通行人の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を通行人属性情報とするものであればよい。例えば、予め男女別に幅広い年齢層の個人顔特徴情報を作成し、これらの情報との類似度を求めることで、年齢・性別の判別を行う機能を用いたり、公知の男女の顔の加齢化モデルを用いることで可能となる。年齢・性別以外にも民族グループ的な外見的な相違（コーカソイド、モンゴロイド、ネグロイド、アウストラロイド等の肌、瞳、髪等の色の相違）も追加して推定し、記録させてもよい。

【0022】

本発明の店舗内撮影手段は、当該店舗の内部の領域を撮影するものであればよく、当該店舗内の被撮影人物の顔を認識するものであればよい。また、本発明の来店客属性取得手段としては、この店舗内撮影手段で入店が確認された通行人の通行人属性情報を来店客属性情報として変更してもよいし、通行人属性取得手段と同様に、個別に取得してもよい。

【0023】

即ち、本発明の来店客特定手段としては、店舗内撮影手段で撮影された画像から来店客の属性情報を来店客属性情報とするものであればよく、通行人特定手段で特定された通行人の特徴点から、通行人属性取得手段で性別、年齢を始めとする通行人属性情報が推定された通行人について、店舗の入口から入った通行人の通行人属性情報を来店客属性情報に変更すればよい。また、来店客特定手段は、通行人属性取得手段と同様に、店舗内撮影手段で撮影された画像から店舗内の被撮影人物の顔を来店客の顔として検出する来店客特定手段で特定された前記来店客の特徴点から性別、年齢を始めとする属性情報を推定し、推定された属性情報を来店客属性情報とする来店客属性取得手段であってもよい。

【0024】

本発明の記録手段としては、通行人属性取得手段で推定された通行人属性情報と来店客の属性情報としての来店客属性情報とを記録するものであればよい。即ち、店舗外を通過する通行人としての見込み客と、店舗内に来店した来店客とがどのような属性情報を有しているのかが記録され、後日の集客のための計画の情報として活用することができる。尚、記録手段は、通行人属性情報と来店客属性情報との情報以外にも、店舗近辺の気温、天候、季節、時間等の情報も同時に記録される。

【0025】

尚、保存されるデータとしては画像データではなく、通行人属性取得手段や来店客属性取得手段で得られた通行人属性情報及び来店客属性情報であるため、肖像権やプライバシーが保護される利点がある。尚、この通行人属性取得手段としては、性別、年齢を始めとする属性情報のみだけではなく、プライバシーを侵害しない範囲での顔特徴量情報や頭髪色を含めた頭髪スタイル等も加えてもよい。また、この顔特徴量情報や頭髪色を含めた頭髪スタイル等についても後述する紐付けデータの一つとしてもよい。

【0026】

本発明においては、来店客の前記来店客属性情報の内、店舗内外の商品を購入した来店客の来店客属性情報を購入者属性情報とする購入者特定手段を更に備えてもよい。即ち、来店客属性情報から購入者を分けることにより、純粋な見込み客の属性情報を取得することができる。購入者の特定には、例えば、ＰＯＳレジのように、店舗内のレジ近傍に配置されたカメラによって、購入者の来店客属性情報を購入者属性情報に変更したり、来店している来店者の来店客属性情報の一覧から接客者が購入者を選択することにより、選択された来店客属性情報を購入者属性情報に変更したりすることで行われる。尚、変更された購入者属性情報にバーコードリーダで特定された購入商品のデータを追加することにより、購入者属性情報と購入商品とを収集することができる。

【0027】

本発明においては、通行人属性取得手段や来店客属性取得手段で特定された通行人属性情報又は来店客属性情報の紐付けデータとして、通行人の衣服情報を取得してこれを前記記録手段に記録される紐付けデータ取得手段を更に備えてもよい。具体的な本発明の紐付けデータ取得手段としては、通行人属性取得手段や来店客属性取得手段で特定された通行人属性情報又は来店客属性情報の他データとして、通行人の衣服情報を紐付きデータとする。衣服情報としては、単純に衣服の画像を紐付けデータとすることが可能である。

【0028】

この場合、衣服情報についても、プライバシーを侵害する可能性があるため、衣服の特徴的な色調、ロゴ、模様を採用することも可能である。しかしながら、色調については他の通行人と重複することもあり、ロゴ、模様については、前面と背面との相違もある。尚、紐付けデータとしては、前述の通り、プライバシーを侵害しない範囲で顔特徴量情報も加えてもよい。また、プライバシーを侵害しないのであれば、頭髪色を含めた頭髪スタイル等も紐付けデータとして選択してもよい。

【0029】

より好ましくは、衣服情報の類似度算出は、１つ又は複数の手法を組み合わせることにより、認識率をより向上させることができる。例えば、それらの手法としては大きく分けて色情報と模様情報とを取得するものに分けられる。衣服の色情報を取得することにより、類似度を算出して、認識率を向上させればよい。具体的な衣服の色情報を取得する手法としては、例えばＨＳＶ表色系の画素値ヒストグラム特徴量とＬａｂ表色系モザイク画像特徴量とを用いることが挙げられる。

【0030】

具体的なＨＳＶ表色系の画素値ヒストグラムの取得方法と類似度算出方法は、まずカメラから取得した衣服領域カラー画像を１００×１００ピクセルサイズに統一する。そしてその画像をＲＧＢ表色系からＨＳＶ表色系に変換する。そして色相（Ｈ）画素値から、区間数１０ヒストグラムを、彩度（Ｓ）画素値から区間数３２のヒストグラムを、明度（Ｖ）画素値から区間数２のヒストグラムを作成する。その次に、各区間の数値をＨヒストグラム、Ｓヒストグラム、Ｖヒストグラムの順に繋げればよい。尚、具体的なヒストグラムの類似度はバタチャリヤ(BHATTACHARYYA)距離の値とした。

【0031】

また、具体的なＬａｂ表色系モザイク画像の取得方法と類似度算出方法は、まずカメラから取得した衣服領域画像をＲＧＢ表色系からＬａｂ表色系に変換する。そしてその画像を横９ピクセル縦１４ピクセルに縮小する。モザイク画像の類似度算出は、２つのモザイク画像の各ピクセルのＬａｂ値の差の２乗の和の値を全ピクセル分繰り返し足した値とすればよい。

【0032】

次に衣服の模様情報を取得することにより、類似度を算出して、認識率を向上させればよい。具体的な衣服の模様情報を取得する手法としては、例えばＬＢＰ(Local Binary Pattern)特徴量とＨＯＧ(Histograms of Oriented Gradients)特徴量とを用いることが挙げられる。

【0033】

具体的なＬＢＰ特徴量の取得方法と類似度算出方法は、まずカメラから取得した衣服領域グレー画像を１００×１００ピクセルサイズに統一する。そしてその画像の各ピクセル（中心ピクセル）値と周囲のピクセル値を比較し、中心ピクセル値の方が大きいならば１小さいならば０とし、それを繋げて２進数８桁の数字を得る。続いてその２進数の数を１０進数に変換しその値を中心ピクセル値に代入する。その操作を衣服画像の全ピクセルに対して繰り返しＬＢＰ画像を得る。次に、ＬＢＰ画像を縦横２５ピクセルの各小領域に分け、各領域の輝度値ヒストグラムを作成する。その際の区間数は５９とする。出来た各ヒストグラムを横につなげていきＬＢＰ特徴量を得ればよい。尚、具体的なＬＢＰ特徴量の類似度はユークリッド距離とした。

【0034】

また、具体的なＨＯＧ特徴量の取得方法と類似度算出方法は、まずカメラから取得した衣服領域グレー画像を１００×１００ピクセルサイズに統一する。そしてその画像の各ピクセルごとに輝度の勾配方向とその勾配強度を求める。そして画像を任意のピクセルの複数の正方形領域に分割し、各領域内で任意の角度範囲ごとのヒストグラムを作成する。また、そのヒストグラムの縦軸は対応する勾配方向の勾配強度の和とする。そして、そのヒストグラムを横につなげていきＨＯＧ特徴量を得ればよい。

【0035】

尚、衣服情報の類似度算出については、前述の４つの手法以外にも、認識率を向上させるのであれば、他の手法を用いても、また、他の手法単独又は前述の４つの手法を組み合わせることにより、認識率をより向上させることができる。そのため、好ましくは、紐付けデータとしての通行人の衣服情報は、通行人の衣服画像のヒストグラム情報である。即ち、具体的な手順としては、画像中の通行人の衣服領域を推定し、この衣服領域の画像のヒストグラムを作成し、このヒストグラムの比較によって該当する属性情報を有する通行人の紐付けデータとして付与させることにより、肖像権やプライバシーを保護しつつ、他の特定された通行人と明確に区別することが可能となる。

【0036】

先ず、衣服領域の推定は、属性情報と衣服情報とを紐付けするため、属性情報を推定する属性予測精度が高い通行人の正面を向いたときのみのデータ取得を行う。また、顔画像から属性予測できるカメラ－人距離ではおそらく通行人の上半身しか映らないため上半身から衣服情報を得ることになる。衣服領域決定の方法は、まず顔の横幅を基準長さとし、鼻頭から任意の長さ下方に四角形領域を作り、そこを衣服領域とする。

【0037】

次に衣服領域のヒストグラムの作成は、グレーの画像又はカラーの画像から、より好ましくは、明るさに影響されない色相のヒストグラムを作成する。例えば、衣服領域内の各色相の値(0-360)から区間幅１０、色相１０、彩度３２、明度２の組合せのヒストグラムを作成する。

【0038】

更に、ヒストグラムの比較としては、例えば、OpenCV（Open Source Computer Vision Library）にあらかじめ用意されているCorrelation法、Chi-Square法、Intersection法、Bhattacharyya distance法のどれか１つの方法を用いればよい。どの方法を用いるかは、精度や処理速度をもとに決定すればよい。具体的には、速さを求める場合にはIntersection法、正確さを求める場合にはBhattacharyya distance法かChi-square法がよい。

【0039】

本発明においては、店舗外撮影手段又は前記店舗内撮影手段で撮影された画像から検出された前記通行人又は来店客の顔の向きの顔方向情報を前記通行人属性情報又は前記来店客属性情報に追加して前記記録手段に記録される顔方向情報取得手段を更に備えてもよい。即ち、通行人又は来店客の顔の方向、伏仰角度を計測して、顔方向データを他の紐付けデータとして前記記録手段に保存する。通行人又は来店客の所定時間留まった顔方向に配置された情報の重み付けを行う。

【0040】

即ち、通行人又は来店客の顔方向が留まった先の商品と、来店客の顔方向が留まった時間とを紐付けデータとすることにより、後日、保存された多数の属性情報を統計処理して属性に応じた興味のある商品を選択することが可能となり、有益な商品情報の重み付けを行うことが可能となる。

【0041】

例えば、予め定められた領域の店舗内の商品を全方向カメラや複数のカメラで撮影し、領域中に商品を配置した商品配置図を準備しておく。実時間で店舗内の通行人の顔を認識しつつ、その顔の方向及び伏仰角度を計測して顔が向いた位置を推定する。その際の来店客の顔方向の商品が通行人が興味を示した商品の重み付けとして他の紐付けデータとして記録手段に保存されればよい。

【0042】

本発明では、好ましくは、複数の撮影手段による撮影画面から通行人又は来店客の顔の向きを推定する。複数の撮影手段によって、３次元的な位置関係を認識することができ、更にそれ以上の撮影手段によって正確な位置関係を補完することが可能となるからである。

【0043】

本発明における顔方向の推定としては、先ず、通行人又は来店客の顔の方向、伏仰角度から通行人又は来店客が大まかにどこを見ているかを推定するればよい。そして顔特徴点座標とそれに対応するあらかじめ作成した３次元座標からカメラの回転ベクトルと並進ベクトルを求める。それを顔の３次元回転角度に変換し、顔がどこを向いているかを推定する。そして、検出できた顔の３次元角度を一定時間ごとに記録すればよい。

【0044】

また、他の顔の向きの推定としては、上部からの顔の向きを計測することからも可能である。即ち、上から店内等室内を撮影し、そこに写った人がどの方向を向いているかを推定することからも可能である。先ず、一定時間ごとに撮影画像を背景画像とする。そして、撮影画像と背景画像との差分をとり、変化のあった領域を人候補領域とする。その人候補領域が通行人かどうかを予め撮影しておいた通行人画像と比較して判別する。そして、その通行人が向いている向きを肌色が多い方向やつま先の向いている向きで推定することで可能となる。

【0045】

このような顔の向きの推定によって、好ましくは、通行人又は来店客がどの方向に向いている頻度が高いかをヒートマップとして出力することにより、個々の通行人又は来店客の顔の向きのマップを紐付けデータとして保存することも可能となる。

【実施例】

【0046】

図１は本発明の見込み客情報収集システムの一実施例の撮影状況を説明する説明図であり、ａ図は正面図、ｂ図は平面図、ｃ図はシステム構成図である。図１のａ図及びｂ図に示す通り、本実施例では、店舗１１の外の通路２１には、出入り口１２近傍の天井位置と、ショウウィンドウ２２近傍の天井位置に店舗外撮影手段としての店外カメラ２０が配置されている。店舗１１内の中央部には店舗内撮影手段としての全方向店内カメラ１０が天井位置に配置され、通路２１の反対側の両隅部には出入り口１２を写す店内カメラ１０ａとレジカウンター１６前を写すカメラ１０ｂが配置されている。各々のカメラ１０、１０ａ、１０ｂ及び２０のデータは、ネットワーク回線でサーバー３０に送信される。尚、カメラ１０，２０は全方位カメラであり、個々の画像から１人以上の被撮影人物を特定し、重複の有無を判別すればよい。

【0047】

ａ図及びｂ図では通路２１には二人の通行人２３、２４が、店舗１１内には二人の来店客１３、１４が各々いる状態を示している。即ち、店舗１１外の通路２１に配置された店外カメラ２０はウィンドウショッピングをしている通行人２３と、店舗前の通路２１を通行している通行人１４を認識し、店舗１１内の店内カメラ１０の各々は二人の来店客１３、１４を認識している。具体的には、店舗外撮影手段としての個々のカメラ２０は、一定時間毎の撮影画像を背景画像とし、現実の撮影画像と背景画像との差分をとり、変化のあった領域を通行人候補領域とする。

【0048】

この通行人候補領域の画像について、ｃ図に示す通り、サーバー３０内で種々の処理を行う。まず、通行人特定手段３１によって被撮影人物の顔を検出する。具体的には、店舗外撮影手段の店外カメラ２０で撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を通行人の顔として検出する。

【0049】

この通行人特定手段３１で検出された通行人の顔の特徴点等から、通行人属性取得手段３２によって性別、年齢等の通行人属性情報を推定して記録手段３３に保存される。尚、通行人特定手段３１で特定された通行人については、更に通行人紐付けデータ保存手段３４によって他の紐付けデータを取得してこれを記録手段３３に保存される。

【0050】

また、通行人特定手段３１で特定された通行人２３、２４の顔の特徴点から、通行人顔方向情報取得手段３５によって、通行人の顔の方向、伏仰角度を計測して顔方向データを推定し、所定時間留まった顔方向データを他の紐付けデータとして記録手段３３に保存される。例えば、図１のｂ図の店舗１０外でショウウィンドウ２２越しに店舗１１内を見ている客２３の顔の方向、伏仰角度を通行人特定手段３１及び記録手段３３から得た上で推定して顔方向位置１５を判断している。

【0051】

店舗外で通行人属性取得手段３２によって性別、年齢等の属性情報を推定された通行人の内、出入り口１１から店舗１０内に入った通行人は、店外と同様に、来店客特定手段３６によって、来店客が特定される。即ち、店舗内撮影手段としての店内カメラ１０で撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を通行人の顔として来店客特定手段３６によって検出される。

【0052】

来店客特定手段３６で特定された来店客１３，１４の顔の特徴点等から、来店客属性取得手段３７によって性別、年齢等の来店客属性情報を推定して記録手段３３に保存される。尚、来店客特定手段３６で特定された来店客についても、通行人と同様に、更に来店客紐付けデータ保存手段３８によって他の紐付けデータを取得してこれを記録手段３３に保存される。加えて、通行人と同様に、来店客特定手段３６で特定された来店客１３，１４の顔の特徴点から、来店客顔方向情報取得手段３９によって、来店客の顔の方向、伏仰角度を計測して顔方向位置を推定し、所定時間留まった顔方向データを他の紐付けデータとして記録手段３３に保存してもよい。

【0053】

更に、来店客１３、１４の内、店舗１１内の商品を購入する来店客１４は、レジカウンター１６で購入作業を行う。この際、購入者特定手段（図示せず）によって、レジカウンター１６上部のカメラ１０で来店客１４のデータと照らし合わせて、来店客１４の来店客属性情報を購入者属性情報として変更し記録手段３３に保存する。これらの各手段による制御は１つのサーバー３０内のプログラムで行ってもよいし、分散したサーバー３０の各プログラムで行ってもよい。

【0054】

尚、店舗外撮影手段の外部カメラとしては、ショッピングモール等の商業施設内の出入り口の入場者を撮影するカメラや、当該店舗に至る通路の当該店舗へ向かう通行人を撮影するカメラや、当該店舗に至る通路脇に置かれたＬＥＤパネル広告やＰＯＰ広告に配置されたカメラでも有効に利用することができる。特に、ＬＥＤパネル広告やＰＯＰ広告に配置されたカメラでは、通行人に注視されているか否かの判断を行うことで、店舗内に通行人を誘導させる効率の有無・変化を確認することができるため、実店舗においてもコンバージョン率の最適化に着目し運営することができ、購入客の増大を画策することが可能である。

【0055】

図２は図１の本発明の見込み客属性収集システムの一実施例の通行人特定手段を用いる場合のフローチャートである。図３は図１の本発明の見込み客属性収集システムの一実施例の来店客特定手段を用いる場合のフローチャートである。図４は図１の本発明の見込み客属性収集システムの一実施例の購入客特定手段を用いる場合のフローチャートである。何れのフローチャートも基本的には同じであり、撮影されるカメラの画像を相違させることで通行人、来店客、購入客としている。

【0056】

具体的には、図２に示す通り、店舗外撮影手段の店外カメラ２０で撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を通行人の顔として検出する。

【0057】

この検出された通行人の顔の特徴点等から、性別、年齢等の通行人属性情報を推定する。更に、プライバシーを侵害しない範囲での顔特徴量情報や頭髪色を含めた頭髪スタイルや、通行人の衣服情報を取得して紐付けデータとして、通行人属性情報と合わせて記録手段３３に保存される。尚、通行人顔方向情報取得手段３５で、通行人の顔の向きの顔方向情報を通行人属性情報に追加して記録手段３３に記録させてもよい。この顔方向データによって、通行人の所定時間留まった顔方向に配置された商品について、情報の重み付けを行うことができる。

【0058】

次に、図３に示す通り、店舗内撮影手段の店内カメラ１０で撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を来店客の顔として検出する。

【0059】

この検出された来店客の顔の特徴点等から、性別、年齢等の来店客属性情報を推定する。更に、プライバシーを侵害しない範囲での顔特徴量情報や頭髪色を含めた頭髪スタイルや、来店客の衣服情報を取得して紐付けデータとして、来店客属性情報と合わせて記録手段３３に保存される。尚、来店客顔方向情報取得手段３９で、来店客の顔の向きの顔方向情報を来店客属性情報に追加して記録手段３３に記録させてもよい。この顔方向データによって、来店客の所定時間留まった顔方向に配置された商品について、情報の重み付けを行うことができる。

【0060】

尚、店舗１１の出入り口１２を写す店舗内撮影手段の店内カメラ１０と、店舗内中央の店内カメラ１０とを組み合わせて、出入り口１２を越えた通行人について、来店客として変更することも可能である。即ち、この場合には、図３に示す来店客属性取得手段での来店客属性情報の推定を行わず、来店する前に推定された通行人属性情報を来店客属性情報に書き換えて対応してもよい。

【0061】

最後に、図４に示す通り、店舗内撮影手段の店内カメラの内、レジカウンター１６前を写すカメラ１０ｂで撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を購入客の顔として検出する。尚、購入客として認定する場合には、同じ位置で５秒以上移動しない等の一定時間動かない条件を付けてもよい。また、顔方向情報取得手段で、カメラ１０ｂで撮影された人物の顔の向きの顔方向情報を計測し、顔方向が接客者を向いている場合に、購入者としてもよい。

【0062】

この検出された購入客の顔の特徴点等から、性別、年齢等の購入客属性情報を推定する。更に、プライバシーを侵害しない範囲での顔特徴量情報や頭髪色を含めた頭髪スタイルや、来店客の衣服情報を取得して紐付けデータとして、購入客属性情報と合わせて記録手段３３に保存される。

【0063】

以上、図２～図４に示す通り、通行人、来店客、及び、購入客は、写されるカメラに応じた相違であり、同じ処理によって通行人、来店客、及び、購入客を変更しているため、サーバー３０内での処理は、同一のものを使用することも可能であり、安価にシステムを構築することが可能となる利点もある。

【0064】

尚、本実施例では、通行人、来店客、及び、購入客は個別のＩＤを付さず、映像に映った人物毎にその属性情報を記録する例を示しているが、通行人、来店客、及び、購入客の個別のＩＤを付し、ＩＤ毎に領域内の動線をトラッキングしてもよい。この場合には、特に、衣服情報を取得して紐付けデータとすることで、人物のトラッキングがより容易となる。

【0065】

以上の通り、本実施例では、購入者のデータと絡めることにより、実店舗においてもコンバージョン率の最適化（CRO）に着目して、購入客の増大を画策することができる。例えば、店舗外撮影手段の店外カメラ２０で認識された通行人を最大潜在顧客として、この通行人数を分母として購入者数を分子とするコンバージョンＡを想定する。また、通行人であって、店舗に顔を向けた通行人はより高い潜在顧客であり、この通行人数を分母とし、購入客を分子とするコンバージョンＢを想定する。更に、店舗内撮影手段の店内カメラ１０で認識された来店客は更に湯降りた回線剤顧客であり、この来店客を分母とし、購入客を分子とするコンバージョンＣを想定する。

【0066】

また、店舗外撮影手段の店外カメラ２０で認識された通行人数を分母とし、前述の店舗に顔を向けた通行人の数を分子とするコンバージョンＤを想定する。更に、この店舗に顔を向けた通行人の数を分母とし、前述の実際に来店した来店客数を分子とするコンバージョンＥを想定する。これらコンバージョンＡ～Ｅの割合を上昇させる種々の工夫を行うことができる。例えば、店舗デザイン、店舗ファサードを工夫することにより、このコンバージョンＤの割合を上げることができ、店内の雰囲気や陳列、明るさなどの効果を検証することにより、コンバージョンＥの割合を上げることができる。

【符号の説明】

【0067】

１０…店内カメラ（店舗内撮影手段）、
１１…店舗、
１２…出入り口、
１３、１４…来店客、
１５…顔方向位置、
１６…レジカウンター、
２０…店外カメラ（店舗外撮影手段）、
２１…通路、
２２…ショウウィンドウ、
２３、２４…通行人、
３０…サーバー、
３１…通行人特定手段、
３２…通行人属性取得手段、
３３…記録手段、
３４…通行人紐付けデータ保存手段、
３５…通行人顔方向情報取得手段、
３６…来店客特定手段、
３７…来店客属性取得手段、
３８…来店客紐付けデータ保存手段、
３９…来店客顔方向情報取得手段、

【図1】

【図2】

【図3】

【図4】