特許 5873601 デジタル標識についてオーディエンスサイズを測定するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5873601

(24)【登録日】2016年1月22日

(45)【発行日】2016年3月1日

(54)【発明の名称】デジタル標識についてオーディエンスサイズを測定するための方法および装置

(51)【国際特許分類】

   G06T 7/20 20060101AFI20160216BHJP

   G06T 1/00 20060101ALI20160216BHJP

   G06Q 50/10 20120101ALI20160216BHJP

【ＦＩ】

   G06T7/20 C

   G06T1/00 340A

   G06Q50/10 180

【請求項の数】28

【全頁数】15

(21)【出願番号】特願2015-511813(P2015-511813)

(86)(22)【出願日】2013年5月30日

(65)【公表番号】特表2015-524098(P2015-524098A)

(43)【公表日】2015年8月20日

(86)【国際出願番号】US2013043480

(87)【国際公開番号】WO2014003964

(87)【国際公開日】20140103

【審査請求日】2014年11月7日

(31)【優先権主張番号】13/533,777

(32)【優先日】2012年6月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】マリク、シャハザード

(72)【発明者】

【氏名】ランジャン、アビシェーク

(72)【発明者】

【氏名】ヒューバート、フィリップ ジェイ．

(72)【発明者】

【氏名】パテル、ウメシュバイ

(72)【発明者】

【氏名】コルソン、ウィリアム ジェイ．

(72)【発明者】

【氏名】ミルザ、ハルーン エフ．

(72)【発明者】

【氏名】ジャバー、ファイザル エヌ．

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２０１１−２１０２３８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／００９８２９８（ＵＳ，Ａ１）

【文献】 米国特許第０６１６３８２２（ＵＳ，Ａ）

【文献】 五十嵐 勇，局所移動量に関する投票に基づく代表移動量を用いた映像からの通過人数測定，ＳＳＩＩ２０１１ 第１７回 画像センシングシンポジウム講演論文集，日本，画像センシング技術研究会，２０１１年 ６月 ８日，IS3-03 1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｑ ５０／１０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

デジタル標識のオーディエンスサイズを測定する方法であって、
前記デジタル標識に近接しているカメラによって撮像された第１のビデオフレームシーケンスにおいて検出された複数の顔のそれぞれについて１つのパスを生成することで、複数のパスを生成する段階と、
前記第１のビデオフレームシーケンスにおいて閾値に等しい数の前記パスが通過するゾーンを生成する段階と、
第２のビデオフレームシーケンスにおいて前記ゾーンを通過する前記オーディエンスサイズを算出するべく、前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定する段階と
を備える方法。

【請求項2】

前記デジタル標識に近接している前記カメラによって撮像された前記第１のビデオフレームシーケンスにおいて前記複数の顔を検出する段階と、
前記第１のビデオフレームシーケンスの各ビデオフレームにおいて検出された顔のそれぞれについて、矩形データを生成する段階と
をさらに備え、
前記検出された複数の顔のそれぞれについて１つのパスを生成することで、前記複数のパスを生成する段階は、前記矩形データに基づいて、検出された顔のそれぞれについてパスを生成する段階を有する請求項１に記載の方法。

【請求項3】

前記第１のビデオフレームシーケンスにおいて前記複数の顔を検出する段階は、前記第１のビデオフレームシーケンスにおいて前記デジタル標識を向いている複数の顔を検出する段階を有し、
正面顔検出アルゴリズムは、前記第１のビデオフレームシーケンスにおいて前記デジタル標識を向いている前記複数の顔を検出するために用いられる請求項２に記載の方法。

【請求項4】

特定の検出された顔について生成された前記矩形データは、前記特定の検出された顔を取り囲む矩形を表し、
前記矩形データは、前記検出された顔を取り囲む前記矩形の場所のピクチャ要素位置（画素位置）を含み
前記場所の前記画素位置は、ｘ，ｙの対の座標値および、画素数で表される前記矩形の幅および高さとして表される請求項２または３に記載の方法。

【請求項5】

前記矩形データに基づいて、前記検出された顔のそれぞれについて生成される前記パスは、前記第１のビデオフレームシーケンスの少なくとも一部分にわたる特定の検出された顔に対応付けられている一連の矩形データによって定義されている請求項２から４の何れか１項に記載の方法。

【請求項6】

前記検出された複数の顔のそれぞれについて１つのパスを生成することは、前記パスを定義する前記特定の検出された顔に対応付けられている前記一連の矩形データを、別箇のデータ構造に格納することを含む請求項５に記載の方法。

【請求項7】

前記第１のビデオフレームシーケンスにおいて閾値に等しい数の前記パスが通過するゾーンを生成する段階は、前記複数のパスを分析することによって、前記第１のビデオフレームシーケンスにおいて、閾値に等しい数の顔が全体的な動き方向に通過する矩形ゾーンを生成する段階を有する請求項１から６の何れか１項に記載の方法。

【請求項8】

前記矩形ゾーンは、動き方向、前記矩形ゾーン内の場所のピクチャ要素位置（画素位置）によって表され、前記画素位置は、ｘ，ｙの対の座標値、および、画素数で表される前記矩形ゾーンの幅および高さとして表される請求項７に記載の方法。

【請求項9】

前記第２のビデオフレームシーケンスは、前記第１のビデオフレームシーケンスの少なくとも一部分を含む請求項１から８の何れか１項に記載の方法。

【請求項10】

前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定する段階は、画素動き推定アルゴリズムによって前記ゾーン内の平均的な画素動きおよび動き方向を測定する段階を有する請求項１から９の何れか１項に記載の方法。

【請求項11】

前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定する段階は、前記第２のビデオフレームシーケンスにおいて前記ゾーン内の体の動きを測定して補償する段階を有する
請求項１から１０の何れか１項に記載の方法。

【請求項12】

コンピューティングデバイスに、
デジタル標識に近接しているカメラによって撮像された第１のビデオフレームシーケンスにおいて検出された複数の顔のそれぞれについて１つのパスを生成することで、複数のパスを生成する手順と、
前記第１のビデオフレームシーケンスにおいて閾値に等しい数の前記パスが通過するゾーンを生成する手順と、
第２のビデオフレームシーケンスにおいて前記ゾーンを通過するオーディエンスサイズを算出するべく、前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定する手順と
を実行させるためのプログラム。

【請求項13】

前記コンピューティングデバイスにさらに、
前記デジタル標識に近接している前記カメラによって撮像された前記第１のビデオフレームシーケンスにおいて前記複数の顔を検出する手順と、
各ビデオフレームについて、検出された顔のそれぞれについて、矩形データを生成する手順と
を実行させ、
前記検出された複数の顔のそれぞれについて１つのパスを生成することで、前記複数のパスを生成する手順は、前記矩形データに基づいて、検出された顔のそれぞれについてパスを生成する手順を有する請求項１２に記載のプログラム。

【請求項14】

前記第１のビデオフレームシーケンスにおいて前記複数の顔を検出する手順は、前記デジタル標識の正面に配置されている前記カメラによって撮像された前記第１のビデオフレームシーケンスにおいて前記デジタル標識を向いている複数の顔を、正面顔検出アルゴリズムを用いて検出する手順を有する請求項１３に記載のプログラム。

【請求項15】

前記矩形データに基づいて、検出された顔のそれぞれについてパスを生成する手順は、検出された顔のそれぞれについて、前記第１のビデオフレームシーケンスのうち少なくとも一部分にわたる前記検出された顔のそれぞれに対応付けられている一連の矩形データによって定義されるパスを生成する手順を含む請求項１３または１４に記載のプログラム。

【請求項16】

前記第１のビデオフレームシーケンスにおいて、閾値に等しい数の前記パスが通過するゾーンを生成する手順は、前記複数のパスを分析することによって、前記第１のビデオフレームシーケンスにおいて、特定の動き方向に閾値に等しい数の顔が通過する矩形ゾーンを生成する手順を有する請求項１２から１５の何れか１項に記載のプログラム。

【請求項17】

前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定する手順は、画素動き推定アルゴリズムを用いて、前記ゾーン内の平均的な画素動きおよび動き方向を測定する手順を有する請求項１２から１６の何れか１項に記載のプログラム。

【請求項18】

前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定する手順は、前記第２のビデオフレームシーケンスにおいて前記ゾーン内の体の動きについて測定を行い、結果に応じて前記動きの測定を調整する手順を有する請求項１２から１７の何れか１項に記載のプログラム。

【請求項19】

デジタル標識のオーディエンスサイズを測定する装置であって、
プロセッサと、
前記プロセッサに結合されているメモリと、
顔検出モジュールと、
キャリブレーションモジュールと、
カウンタモジュールと
を備え、
前記顔検出モジュールは、前記メモリからロードされ前記プロセッサによって実行されると、前記デジタル標識に近接しているカメラによって撮像された第１のビデオフレームシーケンスにおいて検出された複数の顔のそれぞれについて１つのパスを生成することで、複数のパスを生成する複数の機械命令を有し、
前記キャリブレーションモジュールは、前記メモリからロードされ前記プロセッサによって実行されると、前記第１のビデオフレームシーケンスにおいて、閾値に等しい数の前記パスが通過するゾーンを生成する複数の機械命令を有し、
前記カウンタモジュールは、前記メモリからロードされ前記プロセッサによって実行されると、第２のビデオフレームシーケンスにおいて前記ゾーンを通過する前記オーディエンスサイズを算出するべく、前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定する複数の機械命令を有する装置。

【請求項20】

前記顔検出モジュールは、前記メモリからロードされ前記プロセッサによって実行されると、前記デジタル標識に近接している前記カメラによって撮像された前記第１のビデオフレームシーケンスにおいて前記複数の顔を検出する別の複数の機械命令を有し、
前記顔検出モジュールは、前記メモリからロードされ前記プロセッサによって実行されると、各ビデオフレームについて、検出された顔のそれぞれについて矩形データを生成する別の複数の機械命令を有し、
前記顔検出モジュールが、検出された複数の顔のそれぞれについて１つのパスを生成することで、前記複数のパスを生成することは、前記顔検出モジュールが、前記矩形データに基づいて、検出された顔のそれぞれについてパスを生成することを含む請求項１９に記載の装置。

【請求項21】

前記顔検出モジュールが前記デジタル標識に近接している前記カメラによって撮像された前記第１のビデオフレームシーケンスにおいて前記複数の顔を検出することは、前記顔検出モジュールは、前記デジタル標識の正面に配置されている前記カメラによって撮像された前記第１のビデオフレームシーケンスにおいて前記デジタル標識を向いている複数の顔を、正面顔検出アルゴリズムを用いて、検出することを含む請求項２０に記載の装置。

【請求項22】

前記矩形データは、前記検出された顔のそれぞれを取り囲む矩形を表し、前記矩形データは、前記検出された顔のそれぞれを取り囲む前記矩形の場所のピクチャ要素位置（画素位置）を含み、前記場所の前記画素位置は、ｘ，ｙの対の座標値および画素数で表される前記矩形の幅および高さによって表される請求項２０または２１に記載の装置。

【請求項23】

前記顔検出モジュールが前記矩形データに基づいて検出された顔のそれぞれについてパスを生成することは、前記顔検出モジュールが、検出された顔のそれぞれについて、前記第１のビデオフレームシーケンスの少なくとも一部分にわたる、前記検出された顔のそれぞれに対応付けられている一連の矩形データによって定義されているパスを生成することを含む請求項２０から２２の何れか１項に記載の装置。

【請求項24】

前記顔検出モジュールが検出された顔のそれぞれについてパスを生成することは、前記顔検出モジュールが前記パスを定義する前記検出された顔のそれぞれに対応付けられている前記一連の矩形データを別箇の円形キューベースのデータ構造に保持することを含む請求項２３に記載の装置。

【請求項25】

前記キャリブレーションモジュールが前記第１のビデオフレームシーケンスにおいて閾値に等しい数の前記パスが通過するゾーンを生成することは、前記キャリブレーションモジュールが、前記複数のパスについて分析を行い、前記分析に基づいて、前記第１のビデオフレームシーケンスにおいて、閾値に等しい数の顔が特定の動き方向に通過する矩形ゾーンを生成することを含む請求項１９から２４の何れか１項に記載の装置。

【請求項26】

前記第２のビデオフレームシーケンスは、前記第１のビデオフレームシーケンスの少なくとも一部分を含む請求項１９から２５の何れか１項に記載の装置。

【請求項27】

前記カウンタモジュールが前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定することは、前記カウンタモジュールが画素動き推定アルゴリズムによって前記ゾーン内の平均的な画素動きおよび動き方向を測定することを含む請求項１９から２６の何れか１項に記載の装置。

【請求項28】

前記カウンタモジュールが前記第２のビデオフレームシーケンスにおいて前記ゾーン内の動きおよび動き方向を測定することは、前記カウンタモジュールが前記第２のビデオフレームシーケンスにおいて前記ゾーン内の体の動きを測定して補償することを含む
請求項１９から２７の何れか１項に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、デジタル標識についてオーディエンスサイズを測定するためのシステムに関する。

【背景技術】

【0002】

デジタル標識は、レストランまたはショッピングセンター等の公共の場所においてニュース、広告、地元関連の発表、および、その他のメディアコンテンツを表示するべく液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイまたはプロジェクタ型ディスプレイ等の電子ディスプレイデバイスを利用することを説明するためによく用いられる用語である。

【0003】

ターゲティング広告は、潜在的な視聴者を特定し易くなり、潜在的な視聴者に対してタイミング良く関連する広告を提供することで、広告者の投資利益率（ＲＯＩ）を改善する。デジタル標識産業において、ターゲティング広告は、デジタル標識の前を通過する潜在的な視聴者に応じて、場合によっては、潜在的な視聴者の性格に応じて、広告を動的に選択して再生する機能を持つデジタル標識を含む。

【0004】

オーディエンス測定は、特定の場所に設置されているデジタル標識について重要な事項である。オーディエンス測定によって、広告者は視聴者に対する広告コンテンツの露出に関して定量化データを取得すると共に、デジタル標識の操作者および広告者に対しては投資利益率（ＲＯＩ）データが提供される。オーディエンス測定における２つの関連するメトリックとして、デジタル標識を実際に視聴した、または、見た人の数を計数する視聴者数測定、および、デジタル標識を通過したが必ずしもデジタル標識を見なかった人の総数を計数する視聴機会（ＯＴＳ）測定が挙げられる。これら２つの値によって、広告者は、実際に何人が広告コンテンツを見たのかをより良く理解することができ、潜在的なオーディエンスサイズとデジタル標識を見た実際の視聴者との比率を測定する。視聴者数およびＯＴＳを自動で、単純に、且つ、高いコスト効率で測定する方法が必要とされている。

【図面の簡単な説明】

【0005】

本発明の実施形態は、以下に記載する詳細な説明、および、本発明のさまざまな実施形態を示す添付図面からより完全に理解されるであろう。しかし、添付図面は本発明を具体的な実施形態に限定すると解釈されるべきではなく、説明および理解を目的としたものに過ぎない。

【図1】本発明の実施形態に応じて用いられるコンピューティングシステムを示す機能ブロック図である。

【図2】本発明の実施形態を示す機能ブロック図である。

【図3】本発明の実施形態を説明するためのフローチャートである。

【発明を実施するための形態】

【0006】

本発明の実施形態は、デジタル標識操作者に定量的視聴者数情報および投資利益率（ＲＯＩ）のデータを提供するために用いられる、デジタル標識ネットワーク用の受動型且つ自動のオーディエンス測定システムを提供する。本発明の実施形態は、デジタル標識を通過する人々のビデオデータの収集、測定および分析を実行して、デジタル標識の広告のＲＯＩを改善する。

【0007】

本発明の実施形態は、デジタルディスプレイスクリーンまたはデジタルディスプレイデバイスを含むデジタル標識において特定の広告をターゲットとすること、または、運営することにどの程度効果があるかを推定する際に、ビデオ画像の処理および分析を行うソフトウェアを利用する。デジタル標識において、デジタルディスプレイデバイスの近くに正面を向いたカメラ等のセンサ、および、Ｉｎｔｅｌ Ｃｏｒｅ Ｉ５プロセッサおよびＩｎｔｅｌ Ｃｏｒｅ Ｉ７プロセッサ等のプロセッサに結合されたビデオ画像ソフトウェアを設けることによって、本発明の実施形態に係るデジタル標識は、視聴者数を検出し、オーディエンスサイズまたは必ずしもまたは実際にはデジタル標識に表示される広告を見ることなくデジタル標識を通過した人の数を算出する知能を持つ。デジタル標識に表示される広告を見ることなくデジタル標識を通過する人の数は、本明細書において、視聴機会（ＯＴＳ）カウントと呼ぶ。この視聴者数およびＯＴＳカウントの情報は、広告の有効性を計測し、それに応じて広告（ａｄ）コンテンツを適応させるために用いるとしてよい。

【0008】

図１および図２を参照すると、本発明の実施形態は、カメラ１０５、２０５から受信するビデオフィードを処理して視聴者数およびＯＴＳカウントを測定するソフトウェアモジュール２００を備える。一実施形態によると、ソフトウェアモジュールは、ビデオフィードを、カメラ１０５、２０５から直接受信するリアルタイムビデオフィードとして処理する。別の実施形態によると、ビデオフィードは、最初に永久ストア１３０、２３０に格納され、後に処理するべくソフトウェアモジュール２００によって永久ストア１３０、２３０から取り出されるとしてもよい。ソフトウェアモジュール２００は、自身が永久ストア１３０、２３０に格納されており、メモリ１２５にバス１３５を介してロードされてＣＰＵ１２０によって実行されるとしてよい。これに代えて、ソフトウェアモジュールは、当該ソフトウェアモジュールまたはそのユーザインターフェースがロードおよびＣＰＵ１２０による実行に適用可能である限りにおいて、別の箇所、例えば、ウェブ上のアプリケーションサーバに格納されているとしてもよい。ソフトウェアは、プラットフォーム１００および市販の標準的なオペレーティングシステム等の標準的なコンピューティングプラットフォームの汎用ＣＰＵで実行され得る。ソフトウェアモジュール２００は、一実施形態ではプラットフォーム１００から離れた位置にあり、入出力インターフェース１１５および通信リンク１４０を介してアクセス可能なカメラ１０５、２０５等の電子撮像デバイスにアクセスする。例えば、カメラ１０５、２０５は、ウェブベースカメラであってよい。通信リンク１４０は、有線リンクまたは無線リンクのいずれかである、ローカルエリアネットワーク（ＬＡＮ）等の、カメラ１０５、２０５から受信したビデオフィードを移動可能な任意の通信リンクであってよい。これに代えて、カメラ１０５、２０５は、直接Ｉ／Ｏインターフェース１１５、または、コンピュータバス１３５に結合されているとしてもよい。

【0009】

図１に図示している実施形態は、通信リンク１４０およびＩ／Ｏインターフェース１１５を介してコンピューティングプラットフォーム１００に結合されているデジタル標識ディスプレイスクリーン１１０（ディスプレイ１１０）を提供する。他の実施形態では、ディスプレイ１１０は、異なる通信リンクを介してコンピューティングプラットフォーム１００に結合されているか、または、Ｉ／Ｏインターフェース１１５またはコンピュータバス１３５を介してコンピューティングプラットフォーム１００に直接結合されていると考えられる。さらに別の実施形態によると、ディスプレイ１１０は、カメラ１０５、２０５によって、結合先のコンピューティングプラットフォームを介して、コンピューティングプラットフォーム１００に提供されるビデオフィードが、本発明の実施形態に応じて広告の有効性を測定し広告（ａｄ）コンテンツをこれに応じてディスプレイ１１０で適応させるための入力として利用される限りにおいて、コンピューティングプラットフォーム１００とは異なるコンピューティングプラットフォームに接続されているとしてもよいし、または、通信しているとしてもよいし、そして、制御されているとしてもよい。このような実施形態では、デジタル標識ディスプレイ１１０に表示されているａｄコンテンツを制御する別のコンピューティングプラットフォームと通信するべく、コンピューティングプラットフォーム１００およびその上で実行されているソフトウェアモジュール２００を含む。

【0010】

図２に図示しているように、ソフトウェアモジュール２００は、視聴者または顔の検出モジュール２１０、ＯＴＳキャリブレーションモジュール２１５、および、ＯＴＳカウンタモジュール２２０という３つの機能コンポーネントまたはモジュールを備える。図２および図３のフローチャート３００を参照すると、本発明の実施形態は以下のように動作する。実施形態は、３０５において、カメラ１０５、２０５が、リアルタイムで、または、永久ストア１３０、２３０を介して遅れて、ビデオフレームシーケンスを含むビデオフィードを提供することで、開始される。顔検出モジュール２１０は、３１０において、ビデオフレームシーケンスを受信して、３１５において、ビデオフレームシーケンスにおいて、デジタル標識のディスプレイ１１０に向いている、または、見ている顔を検出する。カメラ１０５、２０５は、一実施形態によると、ディスプレイ１１０内に、または、ディスプレイ１１０の正面に、固定されているか、または、取り付けられている。そして、ディスプレイ１１０から外側を向いており、カメラ１０５、２０５によって撮像されるビデオフィードは、ディスプレイ１１０を通過する人、または、ディスプレイ１１０の正面にいる人のビデオを撮像する。一実施形態によると、顔検出モジュール２１０は、正面顔検出アルゴリズムを用いて、ディスプレイ１１０に向かって、および／または、同一箇所に設けられているカメラ１０５、２０５に向かって、向きを変えたり、向いたりする人の顔を識別する。

【0011】

顔検出モジュール２１０は、一実施形態によると、３１５において、ビデオフレームシーケンスを処理して、処理されたビデオフレーム毎に検出したそれぞれの顔について矩形データを生成する。矩形データは実質的に、ビデオフレームにおいて検出された顔の周囲を取り囲む矩形を表す。一実施形態によると、矩形データは、ｘ，ｙの対の座標値である。矩形上または矩形内の特定の場所（例えば、矩形の左上の角）のピクチャ要素（画素）位置、および、複数の画素で表される当該矩形の幅および高さを含む。顔検出モジュール２１０は、一実施形態によると、キャリブレーションモジュール２１５が３２０においてプロセスを継続するまで、この矩形データを永久ストア２３０に出力するとしてよい。別の実施形態によると、矩形データは、メモリ１２５に保持されキャリブレーションモジュール２１５によってアクセスされる。顔検出モジュール２１０は、ビデオフレームシーケンスのサイズまたは長さによっては、矩形データの一部をメモリ１２５に保存またはキャッシュしつつ、矩形データの他の部分を永久ストア１３０、２３０に格納するとしてよい。一例として、ビデオフィードが１秒当たり３０枚のフレームを生成し、ビデオフィードの長さが１０秒であり、ビデオフレームシーケンスで検出される顔が３つである場合、顔検出モジュール２１０は、９００個の矩形に対応する矩形データを生成する。

【0012】

このプロセスは３２０に続き、ＯＴＳキャリブレーションモジュール２１５が、顔検出モジュール２１０が生成した矩形データを受信する。一実施形態によると、モジュール２１５は矩形データを受信して処理する。プロセスのこの部分は、例えば、日付、時刻、プラットフォーム１００のメモリ１２５またはストレージ１３０、２３０の要件または制限等の基準、または、ユーザ入力に応じて、矩形データが編集された後のあるタイミングにおいて、直後あるいはある程度の時間が経過した後で、または、定期的に、実行されるとしてよい。ＯＴＳキャリブレーションモジュール２１５は、ビデオフレームシーケンスにおいて検出したそれぞれの顔について１つのパス、つまり、複数のパスを決定する。各パスは、受信したビデオフレームシーケンスの少なくとも一部分において経時的に検出される特定の顔に対応付けられる矩形データのシーケンスまたはセットによって定義されている。キャリブレーションモジュール２１５は、このパス情報をデータ構造に格納する。一実施形態によると、パスを表す一連の矩形（ビデオフレームシーケンスにわたる検出される同じ顔に対応する矩形データのシーケンスによって表される）はそれぞれ、別箇のデータ構造に格納される。例えば、各パスの情報は別箇の円形のキューデータ構造に格納されるとしてよい。これらのキューは、メモリ１２５に保持されるとしてもよいし、または、本発明の異なる実施形態では永久ストア２３０に移動させるとしてもよい。ビデオフィードが１秒当たり３０枚のフレームを生成し、ビデオフィードの長さが１０秒で、ビデオフィード内のビデオフレームシーケンスにおいて検出される顔が３つである上述した例では、３つの円形のキューはそれぞれ、一の特定の顔に対応付けられる３００個の矩形に対応する矩形データを含むパス情報を保持する。

【0013】

一実施形態によると、ＯＴＳキャリブレーションモジュール２１５は、当該プロセスがさらに進む前に、閾値に等しい数のパスを編集または収集するように構成されている。例えば、モジュール２１５は、パス情報を保持するために割り当てられた複数の別箇の円形のキューの数に基づいた、または、この数に限定される数のパスを収集するとしてよい。別の実施形態によると、パス情報をキャリブレーションするための閾値を満たす十分な数のパス、例えば、１００個のパスが収集される。測定方法に関わらず、パスの数が閾値に到達すると、プロセスは３２５に続く。別の実施形態によると、プロセスは所定の時間間隔に基づいて３２５に続く。いずれの場合も、３２５において、ＯＴＳキャリブレーションモジュール２１５は、例えば、ストア２３０からパスを受信して、パスを分析し、分析に基づいて、ビデオフレームシーケンスにおいて、閾値に等しい数の顔が特定の方向に通過する一連の最適な矩形ゾーンを算出する。例えば、一実施形態によると、これらの矩形ゾーンは、ビデオフレームにおいて、最大数の顔がそれらの中を特定の方向（以下の数式および対応する説明では「最適方向」（ＯＤ）と呼ぶ）に通過する最も重要なエリアを表している。矩形ゾーンは、本発明の一実施形態において、単にｘ、ｙの対の座標値で表しており、例えば、検出された顔の中心を中心とする矩形、および、検出された顔の中心あるいはその周辺に位置するｘ、ｙの対の値、または、ｘ、ｙの対の座標値と、複数の画素で表す矩形の幅および高さとによって表される。（幅および高さは、以下に記載する数式および対応する説明において、「最適幅」（ＯＷ）および「最適高さ」（ＯＨ）と呼ばれる。）

【0014】

一実施形態によると、それぞれの矩形ゾーンに対応付けられている方向は部分的に、矩形データの限定された範囲または狭い範囲に対応する一連の１または複数のパスによって決まるとしてよい。この範囲は、一実施形態によるとユーザによって設定が可能であるとしてもよいし、または、別の実施形態によると自動的（統計的）にＯＴＳキャリブレーションモジュール２２０によって決定されるとしてもよい。例えば、２個の顔が同じ方向に移動しており、ビデオフレームシーケンス内のビデオフレームの同じ場所にある場合、これら２つの顔のパスは、同じ矩形ゾーンに属するか、または、対応付けられるとしてよい。しかし、２個の顔が概して別々の方向（例えば、反対方向または直交する方向）に移動する場合、ビデオフレームシーケンス内のビデオフレームの概して同じ場所において移動していても、これらの顔、および、これら２つの顔のパスは、異なる矩形ゾーンに対応付けられる。一実施形態によると、一連の矩形ゾーンには、最高で４個以上のゾーン、例えば、東ゾーン、西ゾーン、北ゾーンおよび南ゾーン（または左ゾーン、右ゾーン、上ゾーンおよび下ゾーン）が存在すると考えられる。

【0015】

本発明の一実施形態によると、一連の矩形ゾーンは、後に利用するために、プロセスの３３０において、ＯＴＳカウンタモジュール２２０によって格納される。カウンタモジュール２２０は、一連の矩形ゾーンおよびビデオフレームシーケンスを受信して、ビデオフレームシーケンスにおいて各ゾーンを通過するが必ずしもデジタル標識を見ているとは限らない人の数を推定する。ビデオフレームシーケンスは、全体的または部分的に同じであってもよいし、または、異なる（例えば、先行ビデオフレームシーケンス、後続ビデオフレームシーケンスまたは部分重複ビデオフレームシーケンス）としてもよい。一実施形態によると、ＯＴＳカウンタモジュール２２０は、ビデオフレームシーケンスにおいて各ゾーンを通過するが必ずしもデジタル標識を見ているとは限らない人の数を推定するべく、平均的な画素動き（以下では、ｘ軸水平平面に沿った動きＭｘおよびｙ軸垂直平面に沿った動きＭｙと呼ぶ）、および、ビデオフレームシーケンスにおける各ゾーン内の動き方向（ＯＤ）を測定する。一実施形態によると、この測定は、公知のオプティカルフロー法または画素動き推定アルゴリズムを用いて実行される。

【0016】

一実施形態によると、カウンタモジュール２２０はさらに、大きな体の動きに関する方向のゾーンについては、顔の動きとは対照的な、体の動きを測定して調整または補償する。例えば、カメラに向かう方向で歩いている人を含むゾーンでは、ｙ軸または垂直平面において大きな体の動きが見られる。このようなゾーンではＯＴＳカウントの精度を向上させるべく、当該ゾーン内の平均的な画素の動きおよび動き方向の測定において体の動きを考慮するとしてよい。一実施形態によると、特定のゾーンにおける大きな体の動きを補償することは、体の長さと顔の長さとの比率を表すキャリブレーション後の頭／体係数を設定することを含む。一実施形態によると、頭／体係数の値は６と８との間である。

【0017】

一実施形態によると、各ゾーンのＯＴＳカウントを算出するために用いられる数式は以下の通りである。

【数1】

式中、特定のゾーン（本例では、ｙ軸または垂直方向のゾーン）についての体の動きの補償の算出結果を、以下に説明するように、同じゾーンについての「増加分（Ｉｎｃｒｅｍｅｎｔ）」を算出する際に用いる。

【数2】

【0018】

上記の数式による結果、つまり、所与のゾーンについての増加分が０より大きい場合、当該ゾーンについてのＯＴＳカウントは増加分の値だけインクリメントされる。しかし、増加分が０または０未満である場合、ＯＴＳカウントはそのままとする。言い換えると、以下のようになる。

【数3】

【0019】

上記の数式は、動きの向きが逆方向であれば、ＯＴＳカウントが負の値にならないようにＯＴＳカウントは「インクリメント」されないようにするための境界条件となる。

【0020】

上述したように、本発明の実施形態は、ビデオフレームシーケンス内のゾーンをキャリブレーションする。ゾーンがキャリブレーションされると、ＯＴＳカウンタモジュール２２０は、各ゾーン内の画素動きを決定してＯＴＳカウントを推定する。本発明の実施形態は、ＯＴＳカウントの精度が高くなり、全体的なＣＰＵ利用率が低くなる。これは、１）キャリブレーションモジュール２１５によって収集された視聴者数および動き情報によって、本発明の実施形態は、最適ゾーンまたは検索領域を決定することができ、ビデオ処理アルゴリズムの負担が軽減され、２）カウンタモジュール２２０の処理は、複雑な画像セグメント化またはトラッキングではなく画素動きを利用することにより、光の変化または影が発生しにくくより効率的な解決方法が得られ、３）最適ゾーンのキャリブレーションは継続的に行われ、例えば、人の動きパターンが場所の変化に応じて変化する場合、本発明の実施形態は、デジタル標識のディスプレイ１１０における環境またはディスプレイ１１０の正面の環境に動的に適応することができるためである。

【0021】

以下に記載する例は、本発明の別の実施形態に関する。

【0022】

本発明の一実施形態は、デジタル標識のオーディエンスサイズを測定する方法を提供する。当該方法は、デジタル標識に近接しているカメラによって撮像された第１のビデオフレームシーケンスにおいて検出される顔のそれぞれについて１つのパスを生成して、複数のパスを生成する段階と、第１のビデオフレームシーケンスにおいて閾値に等しい数のパスが通過するゾーンを生成する段階と、第２のビデオフレームシーケンスにおいてゾーンを通過するオーディエンスサイズを算出するべく、第２のビデオフレームシーケンスにおいてゾーン内の動きおよび動き方向を測定する段階とを備える。一実施形態はさらに、デジタル標識に近接しているカメラによって撮像された第１のビデオフレームシーケンスにおいて顔を検出する段階と、第１のビデオフレームシーケンスの各ビデオフレームにおいて検出された顔のそれぞれについて、矩形データを生成する段階とを備え、検出された顔のそれぞれについてパスを生成して複数のパスを生成する段階は、矩形データに基づいて、検出された顔のそれぞれについてパスを生成する段階を有する。一実施形態によると、第１のビデオフレームシーケンスにおいて顔を検出する段階は、第１のビデオフレームシーケンスにおいてデジタル標識を向いている顔を検出する段階を有し、第１のビデオフレームシーケンスにおいてデジタル標識を向いている顔を検出するべく正面顔検出アルゴリズムを用いる。

【0023】

一実施形態によると、特定の検出された顔について生成される矩形データは、検出された顔を取り囲む矩形を表す。矩形データは、検出された顔を取り囲む矩形の場所のピクチャ要素（画素）位置、ｘ，ｙの対の座標値で表される場所の画素位置、および、画素数で表される矩形の幅および高さを含む。本発明の一実施形態によると、矩形データに基づいて、検出された顔のそれぞれについて生成されたパスは、第１のビデオフレームシーケンスの少なくとも一部分にわたる特定の検出された顔に対応付けられている一連の矩形データによって定義される。一実施形態によると、検出された顔のそれぞれについてパスを生成する段階は、パスを定義する特定の検出された顔に対応付けられている一連の矩形データを別箇のデータ構造に格納する段階を有する。

【0024】

本発明の一実施形態によると、第１のビデオフレームシーケンスにおいて閾値に等しい数のパスが通過するゾーンを生成する段階は、複数のパスを分析することによって、第１のビデオフレームシーケンスにおいて、閾値に等しい数の顔が全体的な動き方向に通過する矩形ゾーンを生成する段階を有する。矩形ゾーンは、動き方向、矩形ゾーン内の場所のピクチャ要素（画素）位置、および、画素数で表される矩形ゾーンの幅および高さによって表される。画素位置は、ｘ，ｙの対の座標値で表される。

【0025】

一実施形態によると、第２のビデオフレームシーケンスにおいてゾーンを通過するオーディエンスサイズを算出するべく第２のビデオフレームシーケンスにおいてゾーン内の動きおよび動き方向を測定する段階に関連して、第２のビデオフレームシーケンスは、第１のビデオフレームシーケンスの少なくとも一部分を含む。一実施形態によると、第２のビデオフレームシーケンスにおいてゾーン内の動きおよび動き方向を測定する段階は、画素動き推定アルゴリズムに応じてゾーン内の平均的な画素動きおよび動き方向を測定する段階を有する。一実施形態によると、第２のビデオフレームシーケンスにおいてゾーン内の動きおよび動き方向を測定する段階は、第２のビデオフレームシーケンスにおいてゾーン内の体の動きを測定して補償する段階を有する。

【0026】

一実施形態によると、少なくとも一の機械可読媒体は、コンピューティングデバイスで実行されることに応じて、さまざまな実施形態に関連して上述した限定事項の組み合わせをコンピューティングデバイスに実行させる複数の命令を備える。

【0027】

一実施形態によると、デジタル標識のオーディエンスサイズを測定する装置は、プロセッサと、プロセッサに結合されているメモリと、顔検出モジュールと、キャリブレーションモジュールと、カウンタモジュールとを備える。顔検出モジュールは、メモリからロードされてプロセッサで実行されると、デジタル標識に近接しているカメラによって撮像される第１のビデオフレームシーケンスにおいて検出される顔のそれぞれについて１つのパスを生成して、複数のパスを生成する機械命令を有する。キャリブレーションモジュールは、メモリからロードされてプロセッサで実行されると、閾値に等しい数のパスが通過するゾーンを第１のビデオフレームシーケンスにおいて生成する機械命令を有する。カウンタモジュールは、メモリからロードされてプロセッサで実行されると、第２のビデオフレームシーケンスにおいてゾーンを通過するオーディエンスサイズを算出する第２のビデオフレームシーケンスにおいてゾーン内の動きおよび動き方向を測定する機械命令を有する。一実施形態によると、顔検出モジュールは、メモリからロードされてプロセッサで実行されると、デジタル標識に近接しているカメラによって撮像された第１のビデオフレームシーケンスにおいて顔を検出する別の機械命令を有する。顔検出モジュールはさらに、各ビデオフレームについて、検出された顔のそれぞれについて、矩形データを生成するとしてよい。一実施形態によると、顔検出モジュールが検出された顔のそれぞれについてパスを生成して複数のパスを生成することは、顔検出モジュールが、矩形データに基づいて、検出された顔のそれぞれについてパスを生成することを含む。一実施形態によると、顔検出モジュールは、正面顔検出アルゴリズムを用いて、デジタル標識の正面に位置しているカメラによって撮像された第１のビデオフレームシーケンスにおいてデジタル標識を向いている顔を検出する。

【0028】

一実施形態によると、矩形データは、検出された顔を取り囲む矩形を表し、矩形データは、検出された顔を取り囲む矩形の場所のピクチャ要素位置（画素位置）を含み、場所の画素位置は、ｘ，ｙの対の座標値および画素数で表される矩形の幅および高さによって表される。顔検出モジュールは、検出された顔のそれぞれについて、第１のビデオフレームシーケンスの少なくとも一部分にわたる検出された顔に対応付けられている一連の矩形データによって定義されているパスを生成する。一実施形態によると、顔検出モジュールは、パスを定義する検出された顔のそれぞれに対応付けられている一連の矩形データを別箇の円形のキューベースのデータ構造に保持する。

【0029】

一実施形態によると、第１のビデオフレームシーケンスにおいて閾値に等しい数のパスが通過するゾーンを生成するキャリブレーションモジュールは、複数のパスについて分析を行い、分析に基づいて、第１のビデオフレームシーケンスにおいて、閾値に等しい数の顔が特定の動き方向に通過する矩形ゾーンを生成する。

【0030】

＜結論＞
本明細書では、本発明の実施形態についてより丁寧に説明するべく数多く詳細な内容を記載している。しかし、本発明の実施形態は上述した具体的且つ詳細な内容を採用することなく実施し得ることは当業者には明らかである。また、公知の構造およびデバイスは、本発明の実施形態をあいまいにすることを避けるべく、詳細な図示を省略してブロック図で図示している。

【0031】

上述した詳細な説明の一部は、コンピュータメモリ内で実行されるデータへの演算の記号表記およびアルゴリズムに基づいて記載されている。これらのアルゴリズムに基づく説明および表記は、データ処理分野の当業者間で研究内容を伝える上で最も効率的な手段として用いられている。本明細書において、そして、一般的に、アルゴリズムは、所望の結果を実現するための自己一貫した一連のステップと考えられている。ステップでは、物理量を物理的に操作することが必要である。大抵の場合、必ずしもそうではないが、これらの物理量は、電気信号または磁気信号であり、格納、転送、結合、比較およびその他の方法での操作が可能である。場合によっては、主に一般的に利用されているという理由で、これらの信号をビット、値、要素、シンボル、文字、項、数等の呼称で呼ぶことが便利であることが分かっている。

【0032】

しかし、これらおよび同様の用語は全て、適切な物理量に対応付けられ、これらの量に与えられた便利な名称に過ぎないことに留意されたい。特に明記されていない限り、この説明から明らかであるが、本明細書にわたって、「処理」または「算出」または「計算」または「決定」または「表示」等の用語を用いた説明は、コンピュータシステムのレジスタおよびメモリ内の物理量（電子量）として表されるデータを操作および変換して、コンピュータシステムのメモリまたはレジスタまたはその他の同様の情報格納デバイス、情報送信デバイスまたは情報表示デバイス内の同様に物理量として表される他のデータを生成するコンピュータシステムまたは同様の電子コンピューティングデバイスの動作およびプロセスを意味するものと認められる。

【0033】

本発明の実施形態はさらに、本明細書に記載する動作を実行する装置に関する。一部の装置は、必要な目的のために特別に構築されているとしてよく、または、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブ化または設定される汎用コンピュータを含むとしてよい。このようなコンピュータプログラムは、コンピュータ可読格納媒体に格納されるとしてよい。例えば、これらに限定されないが、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭおよび光磁気ディスク等の任意の種類のディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＮＶＲＡＭ、磁気カードまたは光カード、または、電子命令の格納に適した任意の種類の媒体、および、コンピュータシステムバスに結合されているものに格納されるとしてよい。

【0034】

本明細書に記載したアルゴリズムおよびディスプレイは、任意の特定のコンピュータまたはその他の装置に本質的に関連するものではない。本明細書の教示内容に応じたプログラムと共にさまざまな汎用システムを用いるとしてよい。または、より専門性の高い装置を必要な方法を実行するように構築することが便利である場合もあるとしてよい。このようなさまざまなシステムについて必要な構造は、本明細書の記載内容から明らかである。また、本発明の実施形態は、任意の特定のプログラミング言語に基づいて説明していない。さまざまなプログラミング言語を用いて本明細書に記載している本発明の実施形態を実装し得るものと認められる。

【0035】

機械可読媒体は、機械（例えば、コンピュータ）によって読み出しが可能な形態で情報を格納または送信する任意のメカニズムを含む。例えば、機械可読媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス等を含む。

【0036】

上記の記載を参照することで当業者には間違いなく本発明の実施形態の多くの代替例および変形例が明らかになるが、例示のために図示および説明した任意の特定の実施形態は本発明を限定するように解釈されることは決して意図していないと理解されたい。このため、さまざまな実施形態の詳細な内容については、本発明に必須と見なされる特徴のみを記載している請求項の範囲を限定することは意図していない。

【図1】

【図2】

【図3】