(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】認知度推定装置、認知度推定方法、及び、プログラム
(51)【国際特許分類】
G06Q 30/0204 20230101AFI20231108BHJP
G06F 3/01 20060101ALI20231108BHJP
G06T 7/00 20170101ALI20231108BHJP
【ＦＩ】
G06Q30/0204
G06F3/01 510
G06T7/00 660A
【請求項の数】
9
(21)【出願番号】P 2022507105
(86)(22)【出願日】2020-03-12
(86)【国際出願番号】 JP2020010737
(87)【国際公開番号】W WO2021181597
(87)【国際公開日】2021-09-16
【審査請求日】2022-09-02
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】古川 あずさ
(72)【発明者】
【氏名】荒井 観
(72)【発明者】
【氏名】渋谷 恵
(72)【発明者】
【氏名】橋本 博志
(72)【発明者】
【氏名】花沢 健
(72)【発明者】
【氏名】秋口 万貴子
【審査官】塩田 徳彦
(56)【参考文献】
【文献】特開２０１７－１０２５７４（ＪＰ，Ａ）
【文献】特開２０１７－１０２５７３（ＪＰ，Ａ）
【文献】特開２０１７－１０２５６４（ＪＰ，Ａ）
【文献】特開２０１５－１４１５７２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ ３０／０２０４
Ｇ０６Ｆ ３／０１
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出する第１の映像処理手段と、前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出する第２の映像処理手段と、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定手段と、
を備える認知度推定装置。
【請求項2】
前記第２の映像処理手段は、前記顧客の手を含む映像から前記商品を認識し、前記認知度推定手段は、認識された商品と対応付けて前記認知度を記憶する請求項１に記載の認知度推定装置。
【請求項3】
前記認知度推定手段は、前記手元注視時間と前記商品保持時間から、前記顧客が商品を注視している時間である商品注視時間を算出し、前記商品注視時間に基づいて前記認知度を推定する請求項１又は２に記載の認知度推定装置。
【請求項4】
前記認知度推定手段は、前記商品注視時間が長いほど前記認知度が低く、前記商品注視時間が短いほど前記認知度が高いと推定する請求項３に記載の認知度推定装置。
【請求項5】
前記認知度推定手段は、前記商品注視時間の逆数を前記認知度として算出する請求項４に記載の認知度推定装置。
【請求項6】
前記第１の映像処理手段と前記第２の映像処理手段の少なくとも一方は、入力された撮影画像に基づいて前記顧客の属性を判定し、前記認知度推定手段は、前記顧客の属性毎に前記認知度を分類して記憶する請求項１乃至５のいずれか一項に記載の認知度推定装置。
【請求項7】
前記認知度推定手段は、前記顧客が前記商品を購入したか否かの情報を取得し、前記顧客が前記商品を購入した場合と購入していない場合とに分類して前記認知度を記憶する請求項１乃至６のいずれか一項に記載の認知度推定装置。
【請求項8】
コンピュータにより実行される認知度推定方法であって、
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定方法。
【請求項9】
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顧客の商品に対する認知度を推定する技術に関する。
【背景技術】
【0002】
カメラによる撮影画像を用いて、人物の視線の動きを検出し、分析する手法が提案されている。例えば、特許文献１は、レストラン等のメニュー表を見ているユーザの視線の動きを検出し、商品に対するユーザの注目度合を示す滞留時間を算出することを記載している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－０９１２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の手法は、ユーザの顔の向きと視線方向に基づいてユーザが商品を見ている時間を算出しているが、顔の向きと視線方向のみでは、実際にメニュー表に表示されている多数の商品のうちのどの商品をユーザが見ているかを正確に検出することは難しい。
【0005】
本発明の１つの目的は、店舗などにおける顧客の行動に基づいて、個々の商品に対する顧客の認知度を推定する手法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一つの観点では、認知度推定装置は、
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出する第１の映像処理手段と、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出する第２の映像処理手段と、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定手段と、を備える。
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出する第１の映像処理手段と、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出する第２の映像処理手段と、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定手段と、を備える。
【0007】
本発明の他の観点では、認知度推定方法は、
コンピュータにより実行される認知度推定方法であって、
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する。
コンピュータにより実行される認知度推定方法であって、
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する。
【0008】
本発明のさらに他の観点では、プログラムは、
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する処理をコンピュータに実行させる。
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する処理をコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、店舗などにおける顧客の行動に基づいて、個々の商品に対する顧客の認知度を推定することが可能となる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る認知度推定装置の概略構成を示す。
【図2】サーバのハードウェア構成を示すブロック図である。
【図3】サーバの機能構成を示すブロック図である。
【図4】商品保持時間と手元注視時間から商品注視時間を算出する例を示す。
【図5】商品注視時間から認知度を算出する例を示す。
【図6】認知度推定処理のフローチャートである。
【図7】各商品の認知度を顧客の属性で分類した例を示す。
【図8】各商品の認知度を、顧客が商品を購入したか否かで分類した例を示す。
【図9】認知度と、商品を購入したか否かの情報とに基づく分析例を示す。
【図10】第２実施形態に係る認知度推定装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明の好適な実施形態について説明する。
＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係る認知度推定装置の概略構成を示す。認知度推定装置１００は、店舗などに設置され、商品棚１に陳列される商品に対する顧客の認知度を推定する。認知度推定装置１００は、視線用カメラ２と、商品用カメラ３Ｒ、３Ｌと、サーバ１０とを備える。視線用カメラ２及び商品用カメラ３Ｒ、３Ｌは、有線又は無線によりサーバ１０と通信する。
＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係る認知度推定装置の概略構成を示す。認知度推定装置１００は、店舗などに設置され、商品棚１に陳列される商品に対する顧客の認知度を推定する。認知度推定装置１００は、視線用カメラ２と、商品用カメラ３Ｒ、３Ｌと、サーバ１０とを備える。視線用カメラ２及び商品用カメラ３Ｒ、３Ｌは、有線又は無線によりサーバ１０と通信する。
【0012】
視線用カメラ２は、商品棚１の上部に設置される。視線用カメラ２は、商品棚１の前にいる顧客を撮影するものであり、少なくとも顧客の顔を含む部分を撮影する。視線用カメラ２は、顧客を撮影した映像をサーバ１０へ送信する。なお、「映像」とは動画を指す。
【0013】
商品用カメラ３Ｒ、３Ｌは、顧客が商品棚１の商品を出し入れする様子を撮影するために設けられ、顧客が商品を棚から取り出したり、商品を棚に戻したりする様子を撮影した映像をサーバ１０へ送信する。本実施形態では、商品棚１の枠に対して一対の商品用カメラ３Ｒ、３Ｌが取り付けられている。商品用カメラ３Ｒ、３Ｌは、それぞれカメラユニット３ａと、照明ユニット３ｂを備える。商品棚１の右側に取り付けられた商品用カメラ３Ｒでは、照明ユニット３ｂが商品棚１の前面及び前方の領域を照明している状態で、商品棚１の右上の角に設けられたカメラユニット３ａが左下方向に商品棚１の前面及び前方の領域全体を撮影する。同様に、商品棚１の左側に取り付けられた商品用カメラ３Ｌでも、照明ユニット３ｂが商品棚１の前面及び前方の領域を照明している状態で、商品棚１の左下の角に設けられたカメラユニット３ａが右上方向に商品棚１の前面及び前方の領域全体を撮影する。左右の商品用カメラ３Ｒ、３Ｌを用いて、商品を出し入れする顧客の手を左右両側から撮影するので、左右の一方の映像では顧客が商品を持つ手で商品が隠れてしまう場合でも、他方の映像では顧客の手の中の商品を撮影することができる。
【0014】
［サーバのハードウェア構成］
図２は、サーバ１０のハードウェア構成を示すブロック図である。図示のように、サーバ１０は、通信部１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力部１６と、表示部１７とを備える。
図２は、サーバ１０のハードウェア構成を示すブロック図である。図示のように、サーバ１０は、通信部１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力部１６と、表示部１７とを備える。
【0015】
通信部１１は、有線又は無線により、視線用カメラ２及び商品用カメラ３Ｒ、３Ｌと通信する。プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、サーバ１０の全体を制御する。具体的に、プロセッサ１２は、後述する認知度推定処理を実行する。
【0016】
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
【0017】
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、サーバ１０に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。サーバ１０が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。
【0018】
データベース１５は、視線用カメラ２及び商品用カメラ３Ｒ、３Ｌから送信された映像を記憶する。また、データベース１５は、認知度推定の対象となる商品の画像、認知度推定処理において生成される各種の情報、認知度の推定結果などを記憶する。入力部１６は、ユーザが指示や入力を行うためのキーボード、マウスなどである。表示部１７は、液晶ディスプレイなどであり、ユーザの操作に応じて、認知度の推定結果やその統計量などを表示する。
【0019】
［サーバの機能構成］
図３は、サーバ１０の機能構成を示すブロック図である。サーバ１０は、機能的には、映像処理部２１と、手元注視時間記憶部２２と、映像処理部２３と、商品画像記憶部２４と、商品保持時間記憶部２５と、認知度推定部２６と、認知度記憶部２７と、出力部２８と、を備える。
図３は、サーバ１０の機能構成を示すブロック図である。サーバ１０は、機能的には、映像処理部２１と、手元注視時間記憶部２２と、映像処理部２３と、商品画像記憶部２４と、商品保持時間記憶部２５と、認知度推定部２６と、認知度記憶部２７と、出力部２８と、を備える。
【0020】
映像処理部２１は、視線用カメラ２から、商品棚１の前にいる顧客の顔を含む映像を取得し、その顧客の視線の方向を検出する。特に、映像処理部２１は、顧客の視線が顧客の手元の方向へ向けられているか否かを検出し、顧客が自分の手元を注視している時間（以下、「手元注視時間」と呼ぶ）を計測して手元注視時間記憶部２２に保存する。
【0021】
映像処理部２３は、商品用カメラ３Ｒ、３Ｌから、商品棚１に対して商品が出し入れされる様子を撮影した映像（以下、「出し入れ映像」とも呼ぶ。）を取得する。映像処理部２３は、商品用カメラ３Ｒ、３Ｌから取得した出し入れ映像と、商品画像記憶部２５に記憶されている各商品の画像とを照合して、顧客が手に持った商品を認識する。また、映像処理部２３は、顧客が商品を手に持っている時間（以下、「商品保持時間」と呼ぶ。）を計測し、商品ＩＤなどの商品識別情報と対応付けて商品保持時間記憶部２５に保存する。
【0022】
認知度推定部２６は、手元注視時間記憶部２２に記憶された手元注視時間と、商品保持時間記憶部２５に記憶された、商品毎の商品保持時間とを用いて、その商品に対する顧客の認知度を推定し、その結果を商品毎に認知度記憶部２７に記憶する。こうして、認知度記憶部２７には、各商品に対して、個々の顧客毎に推定された認知度が記憶される。その後、認知度推定部２６は、一定数の顧客による認知度が得られた時点で、それらの平均値をとるなどして、顧客全体の認知度を算出して認知度記憶部２７に記憶する。出力部２８は、ユーザの指示などに応じて、認知度記憶部２７に記憶されている商品毎の認知度を、認知度情報として外部装置へ出力する。
【0023】
［認知度の推定］
次に、認知度推定部２６により行われる認知度の推定について詳しく説明する。商品の認知度は、商品評価データの１つとして知られている。商品評価データとしては、店舗の商品陳列や、メーカの商品開発・マーケティング戦略などに活用できる有用なデータである。商品評価データとしては、誰が、いつ、どこで、何を買ったかを示す購買情報、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ）における不買情報（「クリックしたが買わなかった」、「カートに入れたが買わなかった」など）、商品を評価したアンケートデータなどに加え、商品の認知度がある。認知度は、適切なマーケティング方法（商品を誰に、どのように売り込むか）を決めるための情報として重要である。
次に、認知度推定部２６により行われる認知度の推定について詳しく説明する。商品の認知度は、商品評価データの１つとして知られている。商品評価データとしては、店舗の商品陳列や、メーカの商品開発・マーケティング戦略などに活用できる有用なデータである。商品評価データとしては、誰が、いつ、どこで、何を買ったかを示す購買情報、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ）における不買情報（「クリックしたが買わなかった」、「カートに入れたが買わなかった」など）、商品を評価したアンケートデータなどに加え、商品の認知度がある。認知度は、適切なマーケティング方法（商品を誰に、どのように売り込むか）を決めるための情報として重要である。
【0024】
（推定方法）
本実施形態では、認知度推定部２６は、顧客が商品を手に取って見ている時間に基づいて、その商品に対する顧客の認知度を推定する。基本的な考え方として、ある商品をよく知らない、即ち、その商品に対する認知度が低い顧客は、その商品を手に取ってよく観察すると考えられる。よって、商品を手に取って見ている時間が長いほど、その商品に対する認知度は低いと推測される。そこで、本実施形態では、映像処理部２１は、顧客がある商品を手に持っている時間を商品保持時間として計測し、映像処理部２３は、その顧客が手元を見ている時間を手元注視時間として計測する。そして、認知度推定部２６は、商品保持時間と手元注視時間とを用いて、顧客がその商品を見ている時間（以下、「商品注視時間」と呼ぶ。）を算出し、商品注視時間に基づいて、顧客のその商品に対する認知度を推定する。
本実施形態では、認知度推定部２６は、顧客が商品を手に取って見ている時間に基づいて、その商品に対する顧客の認知度を推定する。基本的な考え方として、ある商品をよく知らない、即ち、その商品に対する認知度が低い顧客は、その商品を手に取ってよく観察すると考えられる。よって、商品を手に取って見ている時間が長いほど、その商品に対する認知度は低いと推測される。そこで、本実施形態では、映像処理部２１は、顧客がある商品を手に持っている時間を商品保持時間として計測し、映像処理部２３は、その顧客が手元を見ている時間を手元注視時間として計測する。そして、認知度推定部２６は、商品保持時間と手元注視時間とを用いて、顧客がその商品を見ている時間（以下、「商品注視時間」と呼ぶ。）を算出し、商品注視時間に基づいて、顧客のその商品に対する認知度を推定する。
【0025】
図４は、商品保持時間と手元注視時間から商品注視時間を算出する例を示す。商品保持時間は、映像処理部２１により計測され、顧客がある商品Ａを手に持っている時間である。商品保持時間は、顧客が商品Ａを商品棚１から取り出し、その商品を手に持って観察し、買い物かごなどに入れるまでの時間である。手元注視時間は、単純に顧客が手元を見ている時間であり、実際に何を見ているかは、顧客が手に何を持っているかによる。よって、顧客が手に持った商品を見ている場合に限らず、手に持った財布やスマートフォンなどを見ている時間も、同じように手元注視時間として計測される。図４の例でも、実際には、手元注視時間５１は顧客が商品を見ている時間であるが、手元注視時間５２は顧客が商品以外を見ている時間である。よって、図４に示すように、認知度推定部２６は、商品保持時間と手元注視時間が重なっている時間帯を、商品注視時間として検出する。
【0026】
そして、認知度推定部２６は、商品注視時間に基づいて認知度を推定する。この際、認知度推定部２６は、商品注視時間が長いほど認知度が低く、商品注視時間が短いほど認知度が高いと推定する。図５は、商品注視時間から認知度を算出する例を示す。この例では、認知度推定部２６は、以下の式に示すように、商品注視時間の逆数を認知度として算出している。
（認知度）＝１／（商品注視時間＋１）
なお、商品注視時間が「０秒」である場合には逆数の計算ができないため、便宜上、商品注視時間に１を加算した値の逆数を認知度として算出している。
（認知度）＝１／（商品注視時間＋１）
なお、商品注視時間が「０秒」である場合には逆数の計算ができないため、便宜上、商品注視時間に１を加算した値の逆数を認知度として算出している。
【0027】
このように、本実施形態では、顧客が手元に持っている商品を見ている時間である商品注視時間を検出し、これに基づいて認知度を算出している。よって、対象となる商品を正しく特定した上で、その商品に対する顧客の認知度を推定することができる。
【0028】
（認知度推定処理）
図６は、認知度推定処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。なお、この処理は、視線用カメラ２が顧客を検出し、かつ、商品用カメラ３Ｒ、３Ｌが商品を認識したことをトリガに開始する。
図６は、認知度推定処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。なお、この処理は、視線用カメラ２が顧客を検出し、かつ、商品用カメラ３Ｒ、３Ｌが商品を認識したことをトリガに開始する。
【0029】
まず、映像処理部２３は、商品用カメラ３Ｒ、３Ｌから取得した映像から、商品を特定するとともに、商品保持時間を計測する（ステップＳ１１）。また、映像処理部２１は、視線用カメラ２から取得した映像から、手元注視時間を計測する（ステップＳ１２）。なお、ステップＳ１１とＳ１２の順序は逆でもよく、同時に行ってもよい。
【0030】
次に、認知度推定部２６は、商品保持時間と手元注視時間から、商品注視時間を算出する（ステップＳ１３）。そして、認知度推定部２６は、商品注視時間から認知度を算出し、認知度記憶部２７に記憶する（ステップＳ１４）。そして、処理は終了する。
【0031】
［変形例］
次に、本実施形態の変形例を説明する。以下の変形例は、適宜組み合わせて適用することができる。
次に、本実施形態の変形例を説明する。以下の変形例は、適宜組み合わせて適用することができる。
【0032】
（変形例１）
上記の実施形態で得られた認知度を、顧客の属性毎に分類して記憶してもよい。視線用カメラ２は顧客の顔を含む映像を撮影しており、商品用カメラ３Ｒ、３Ｌは、顧客の全身又は少なくとも上半身程度を含む映像を撮影している。よって、映像処理部２１及び２３の少なくとも一方を用いることにより、顧客の身長、性別などをある程度判定することができ、顧客を性別、大人と子供などの属性で分類することができる。図７は、得られた認知度を顧客の属性で分類した例を示す。この例では、性別及び大人／子供の属性の組み合わせにより各商品の認知度を大人（男）、大人（女）、子供（男）、子供（女）の４つのグループに分類している。なお、図７に例示する認知度は、各グループに属する複数の顧客の認知度の平均値である。このように、得られた認知度を顧客の属性で分類して記憶しておくと、マーケティングなどにおいてより有用な情報を得ることができる。
上記の実施形態で得られた認知度を、顧客の属性毎に分類して記憶してもよい。視線用カメラ２は顧客の顔を含む映像を撮影しており、商品用カメラ３Ｒ、３Ｌは、顧客の全身又は少なくとも上半身程度を含む映像を撮影している。よって、映像処理部２１及び２３の少なくとも一方を用いることにより、顧客の身長、性別などをある程度判定することができ、顧客を性別、大人と子供などの属性で分類することができる。図７は、得られた認知度を顧客の属性で分類した例を示す。この例では、性別及び大人／子供の属性の組み合わせにより各商品の認知度を大人（男）、大人（女）、子供（男）、子供（女）の４つのグループに分類している。なお、図７に例示する認知度は、各グループに属する複数の顧客の認知度の平均値である。このように、得られた認知度を顧客の属性で分類して記憶しておくと、マーケティングなどにおいてより有用な情報を得ることができる。
【0033】
（変形例２）
上記の実施形態で得られた認知度を、顧客が実際に商品を購入したか否かの情報と組み合わせて記憶してもよい。図８は、各商品の認知度を、その商品を顧客が実際に購入したか否かの情報で分類した例を示す。なお、図８に例示する認知度は、それぞれ各商品を購入した複数の顧客の認知度の平均値、及び、各商品を購入しなかった複数の顧客の認知度の平均値である。これにより、認知度と、その商品の購入との関連性を分析してマーケティングなどに活用することができる。図９は、各商品の認知度と、購入したか否かの情報とに基づく分析例を示す。この例では、認知度と顧客が実際に商品を購入したか否かの情報に基づいて、商品の見た目、商品コンセプト、知名度などの観点で分析が行われている。
上記の実施形態で得られた認知度を、顧客が実際に商品を購入したか否かの情報と組み合わせて記憶してもよい。図８は、各商品の認知度を、その商品を顧客が実際に購入したか否かの情報で分類した例を示す。なお、図８に例示する認知度は、それぞれ各商品を購入した複数の顧客の認知度の平均値、及び、各商品を購入しなかった複数の顧客の認知度の平均値である。これにより、認知度と、その商品の購入との関連性を分析してマーケティングなどに活用することができる。図９は、各商品の認知度と、購入したか否かの情報とに基づく分析例を示す。この例では、認知度と顧客が実際に商品を購入したか否かの情報に基づいて、商品の見た目、商品コンセプト、知名度などの観点で分析が行われている。
【0034】
なお、顧客が実際に商品を購入したか否かの情報は、店舗のＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）データなどから取得してもよいし、映像処理部２３が商品用カメラ３Ｒ、３Ｌからの映像を分析して生成してもよい。具体的に、商品用カメラ３Ｒ、３Ｌからの映像において、顧客が商品棚１から取り出した商品を買い物かごに入れた場合にはその商品を購入したと判定し、顧客がその商品を商品棚１に戻した場合にはその商品を購入しなかったと判定してもよい。
【0035】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。図１０は、第２実施形態に係る認知度推定装置の機能構成を示すブロック図である。認知度推定装置７０は、第１の映像処理部７１と、第２の映像処理部７２と、認知度推定部７３とを備える。第１の映像処理部７１は、顧客の顔を含む映像から、顧客が手元を注視している時間である手元注視時間を算出する。第２の映像処理部７２は、顧客の手を含む映像から、顧客が商品を保持している時間である商品保持時間を算出する。認知度推定部７３は、手元注視時間と、商品保持時間とに基づいて、顧客の商品に対する認知度を推定する。
次に、本発明の第２実施形態について説明する。図１０は、第２実施形態に係る認知度推定装置の機能構成を示すブロック図である。認知度推定装置７０は、第１の映像処理部７１と、第２の映像処理部７２と、認知度推定部７３とを備える。第１の映像処理部７１は、顧客の顔を含む映像から、顧客が手元を注視している時間である手元注視時間を算出する。第２の映像処理部７２は、顧客の手を含む映像から、顧客が商品を保持している時間である商品保持時間を算出する。認知度推定部７３は、手元注視時間と、商品保持時間とに基づいて、顧客の商品に対する認知度を推定する。
【0036】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0037】
（付記１）
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出する第１の映像処理部と、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出する第２の映像処理部と、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定部と、
を備える認知度推定装置。
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出する第１の映像処理部と、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出する第２の映像処理部と、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定部と、
を備える認知度推定装置。
【0038】
（付記２）
前記第２の映像処理部は、前記顧客の手を含む映像から前記商品を認識し、
前記認知度推定部は、認識された商品と対応付けて前記認知度を記憶する付記１に記載の認知度推定装置。
前記第２の映像処理部は、前記顧客の手を含む映像から前記商品を認識し、
前記認知度推定部は、認識された商品と対応付けて前記認知度を記憶する付記１に記載の認知度推定装置。
【0039】
（付記３）
前記認知度推定部は、前記手元注視時間と前記商品保持時間から、前記顧客が商品を注視している時間である商品注視時間を算出し、前記商品注視時間に基づいて前記認知度を推定する付記１又は２に記載の認知度推定装置。
前記認知度推定部は、前記手元注視時間と前記商品保持時間から、前記顧客が商品を注視している時間である商品注視時間を算出し、前記商品注視時間に基づいて前記認知度を推定する付記１又は２に記載の認知度推定装置。
【0040】
（付記４）
前記認知度推定部は、前記商品注視時間が長いほど前記認知度が低く、前記商品注視時間が短いほど前記認知度が高いと推定する付記３に記載の認知度推定装置。
前記認知度推定部は、前記商品注視時間が長いほど前記認知度が低く、前記商品注視時間が短いほど前記認知度が高いと推定する付記３に記載の認知度推定装置。
【0041】
（付記５）
前記認知度推定部は、前記商品注視時間の逆数を前記認知度として算出する付記４に記載の認知度推定装置。
前記認知度推定部は、前記商品注視時間の逆数を前記認知度として算出する付記４に記載の認知度推定装置。
【0042】
（付記６）
前記第１の映像処理部と前記第２の映像処理部の少なくとも一方は、入力された撮影画像に基づいて前記顧客の属性を判定し、
前記認知度推定部は、前記顧客の属性毎に前記認知度を分類して記憶する付記１乃至５のいずれか一項に記載の認知度推定装置。
前記第１の映像処理部と前記第２の映像処理部の少なくとも一方は、入力された撮影画像に基づいて前記顧客の属性を判定し、
前記認知度推定部は、前記顧客の属性毎に前記認知度を分類して記憶する付記１乃至５のいずれか一項に記載の認知度推定装置。
【0043】
（付記７）
前記認知度推定部は、前記顧客が前記商品を購入したか否かの情報を取得し、前記顧客が前記商品を購入した場合と購入していない場合とに分類して前記認知度を記憶する付記１乃至６のいずれか一項に記載の認知度推定装置。
前記認知度推定部は、前記顧客が前記商品を購入したか否かの情報を取得し、前記顧客が前記商品を購入した場合と購入していない場合とに分類して前記認知度を記憶する付記１乃至６のいずれか一項に記載の認知度推定装置。
【0044】
（付記８）
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定方法。
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する認知度推定方法。
【0045】
（付記９）
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
顧客の顔を含む映像から、前記顧客が手元を注視している時間である手元注視時間を算出し、
前記顧客の手を含む映像から、前記顧客が商品を保持している時間である商品保持時間を算出し、
前記手元注視時間と、前記商品保持時間とに基づいて、前記顧客の前記商品に対する認知度を推定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0046】
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0047】
１ 商品棚
２ 視線用カメラ
３Ｒ、３Ｌ 商品用カメラ
１０ サーバ
２１、２３ 映像処理部
２４ 商品画像記憶部
２６ 認知度推定部
２７ 認知度記憶部
２８ 出力部
２ 視線用カメラ
３Ｒ、３Ｌ 商品用カメラ
１０ サーバ
２１、２３ 映像処理部
２４ 商品画像記憶部
２６ 認知度推定部
２７ 認知度記憶部
２８ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】