IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

特開2024-91015注目情報生成装置、注目情報生成方法、及びプログラム
<>
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図1
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図2
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図3
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図4
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図5
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図6
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図7
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図8
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図9
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図10
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図11
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図12
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図13
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図14
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図15
  • 特開-注目情報生成装置、注目情報生成方法、及びプログラム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024091015
(43)【公開日】2024-07-04
(54)【発明の名称】注目情報生成装置、注目情報生成方法、及びプログラム
(51)【国際特許分類】
   G06T 7/20 20170101AFI20240627BHJP
   G06V 20/52 20220101ALI20240627BHJP
   H04N 7/18 20060101ALI20240627BHJP
   G06V 10/70 20220101ALI20240627BHJP
【FI】
G06T7/20 300Z
G06V20/52
H04N7/18 K
G06V10/70
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022207265
(22)【出願日】2022-12-23
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】高橋 真那夢
(72)【発明者】
【氏名】清水 裕介
(72)【発明者】
【氏名】神保 靖
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FC13
5C054FC15
5C054HA14
5L096DA02
5L096HA13
(57)【要約】
【課題】対象物に対する人の注目度合いを特定する新たな技術を提供する。
【解決手段】注目情報生成装置2000は、算出部2100、補正部2120、及び生成部2060を有する。算出部2100は、撮像画像に含まれる一人以上の人物それぞれについて、その人物が対象物に注目している度合いを表す注目スコアを算出する。撮像画像は、対象物の周囲を撮像することで生成される。補正部2120は、人物が対象物に視線を向けている時間と、対象物に情報が一度表示される時間の長さである表示周期とに基づいて、その人物の注目スコアを補正する。
【選択図】図15
【特許請求の範囲】
【請求項1】
対象物の周囲を撮像することで生成された撮像画像に含まれる一人以上の人物それぞれについて、その人物が前記対象物に注目している度合いを表す注目スコアを算出する算出部と、
前記人物が前記対象物に視線を向けている時間と、前記対象物に情報が一度表示される時間の長さである表示周期とに基づいて、その人物の前記注目スコアを補正する補正部と、
を有する、注目情報生成装置。
【請求項2】
前記補正部は、前記人物が前記対象物に視線を向けている時間の長さが前記表示周期よりも大きい第1所定値以上である場合に、その人物が前記対象物に視線を向けている時間が長いほど、その人物の前記注目スコアが小さくなるように補正する、請求項1に記載の注目情報生成装置。
【請求項3】
前記補正部は、前記人物が前記対象物に視線を向けている時間の長さが、前記表示周期よりも大きく前記第1所定値よりも小さい第2所定値以上である場合に、その人物が前記対象物に視線を向けている時間が長いほど、その人物の前記注目スコアが大きくなるように補正する、請求項2に記載の注目情報生成装置。
【請求項4】
対象物の周囲を撮像することで生成された撮像画像に含まれる一人以上の人物それぞれについて、その人物が前記対象物に注目している度合いを表す注目スコアを算出する算出ステップと、
前記人物が前記対象物に視線を向けている時間と、前記対象物に情報が一度表示される時間の長さである表示周期とに基づいて、その人物の前記注目スコアを補正する補正ステップと、
前記注目スコアの履歴が含まれる注目情報を生成する生成ステップとを有する、コンピュータによって実行される注目情報生成方法。
【請求項5】
対象物の周囲を撮像することで生成された撮像画像に含まれる一人以上の人物それぞれについて、その人物が前記対象物に注目している度合いを表す注目スコアを算出する算出ステップと、
前記人物が前記対象物に視線を向けている時間と、前記対象物に情報が一度表示される時間の長さである表示周期とに基づいて、その人物の前記注目スコアを補正する補正ステップと、
前記注目スコアの履歴が含まれる注目情報を生成する生成ステップと、をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、注目情報生成装置、注目情報生成方法、及びプログラムに関する。
【背景技術】
【0002】
広告などの対象物がどれだけの注目を集めているのかを推定する技術が開発されている。例えば特許文献1は、表示画面に対する利用者の視線の移動量が少ないほど、表示画面に対するその利用者の関心度合いが高いと判定し、関心度合いの高さに応じて表示画面に表示される画像を切り返す技術を開示する。特許文献2は、所定の期間における、ユーザが視線を向けている点の分布と、ユーザの顔の向きの分布とに基づいて、画面に対するユーザの集中度合いを推定する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-113534号公報
【特許文献2】国際公開第2010/089989号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1と特許文献2はいずれも、人の視線や顔が対象物の方を向いていてもその人が対象物に注目していない可能性については言及していない。本開示は上記の課題に鑑みてなされたものであり、その目的の一つは、対象物に対する人の注目度合いを特定する新たな技術を提供することである。
【課題を解決するための手段】
【0005】
本開示の注目情報生成装置は、対象物の周囲を撮像することで生成された撮像画像に含まれる一人以上の人物それぞれについて、その人物が前記対象物に注目している度合いを表す注目スコアを算出する算出部と、前記人物が前記対象物に視線を向けている時間と、前記対象物に情報が一度表示される時間の長さである表示周期とに基づいて、その人物の前記注目スコアを補正する補正部と、を有する。
【0006】
本開示の注目情報生成方法は、コンピュータによって実行される。当該方法は、対象物の周囲を撮像することで生成された撮像画像に含まれる一人以上の人物それぞれについて、その人物が前記対象物に注目している度合いを表す注目スコアを算出する算出ステップと、前記人物が前記対象物に視線を向けている時間と、前記対象物に情報が一度表示される時間の長さである表示周期とに基づいて、その人物の前記注目スコアを補正する補正ステップと、を有する。
【0007】
本開示のプログラムは、対象物の周囲を撮像することで生成された撮像画像に含まれる一人以上の人物それぞれについて、その人物が前記対象物に注目している度合いを表す注目スコアを算出する算出ステップと、前記人物が前記対象物に視線を向けている時間と、前記対象物に情報が一度表示される時間の長さである表示周期とに基づいて、その人物の前記注目スコアを補正する補正ステップと、をコンピュータに実行させる。
【発明の効果】
【0008】
本開示によれば、対象物に対する人の注目度合いを特定する新たな技術が提供される。
【図面の簡単な説明】
【0009】
図1】実施形態1の注目情報生成装置の概要を例示する図である。
図2】実施形態1の注目情報生成装置の機能構成を例示するブロック図である。
図3】実施形態1の注目情報生成装置を実現するコンピュータのハードウエア構成を例示するブロック図である。
図4】実施形態1の注目情報生成装置によって実行される処理の流れを例示するフローチャートである。
図5】注目状態の遷移を例示する図である。
図6】履歴情報の構成を例示する図である。
図7】注目スコアの算出式の定義方法を例示する図である。
図8】注目情報の構成を例示する図である。
図9】実施形態2の注目情報生成装置の機能構成を例示するブロック図である。
図10】実施形態2の注目情報生成装置によって実行される処理の流れを例示するフローチャートである。
図11】対象画像ごとに注目スコアの集計が行われるケースを例示する図である。
図12】集計期間ごとに注目スコアの集計が行われるケースを例示する図である。
図13】代表スコアの決定方法について説明するための図である。
図14】集計情報の構成を例示する図である。
図15】実施形態3の注目情報生成装置の機能構成を例示するブロック図である。
図16】実施形態3の注目情報生成装置によって実行される処理の流れを例示するフローチャートである。
【発明を実施するための形態】
【0010】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶部などに予め格納されている。さらに、特に説明しない限り、記憶部は、1つ以上の任意の数の記憶装置によって構成される。
【0011】
[実施形態1]
<概要>
図1は、実施形態1の注目情報生成装置2000の概要を例示する図である。図1は、注目情報生成装置2000の理解を容易にするために注目情報生成装置2000の動作の一例を概念的に示す図であり、注目情報生成装置2000の動作は図1に示されているものに限定されない。
【0012】
注目情報生成装置2000は、対象物10が周囲の人からどの程度注目されているのかを表す情報を生成する。例えば対象物10は、広告、ニュース、注意喚起、又は情報提供の依頼等(以下、広告等)といった、種々の情報が表示される任意の物体である。この物体は、情報が印字、描画、又は刻印等されている紙、布、又は板等や、電子的に情報が表示されるディスプレイ装置等が含まれる。
【0013】
対象物10は、必ずしも情報が表示される物体に限定されず、任意の物体とすることができる。情報が表示される物体以外の対象物10は、例えば、立体造形物や立体看板などである。
【0014】
対象物10は、その位置が固定されていてもよいし、固定されていなくてもよい。後者の場合、例えば対象物10は、車両などの移動物体に設けられており、その移動物体と共に移動する。また、車両などの移動物体自体が対象物10であってもよい。例えば、車両の側面や背面などといった任意の場所に広告等を印字等したり、車両の側面や背面に設置されたディスプレイ装置に広告等を表示したりすることにより、その車両自体を対象物10とすることができる。
【0015】
注目情報生成装置2000は、対象物10の周囲を撮像することで生成された撮像画像20を取得する。撮像画像20は、対象物10の周囲を撮像できるように設けられているカメラ30によって生成される。具体的にはカメラ30は、対象物10を視認する人物の顔及び視線を撮像できるような角度で設けられている。カメラ30は、ビデオカメラであってもよいし、繰り返し撮像を行って複数の静止画像を生成するように構成されているスチルカメラであってもよい。
【0016】
注目情報生成装置2000は、撮像画像20に含まれる一人以上の人物40について、対象物10に対するその人物40の注目状態を特定する。人物40の注目状態は、対象物10に対するその人物40の注目度合いを表しうる要素に関連する、人物40の状態である。対象物10に対する人物40の注目度合いを表しうる要素は、対象物10の視線の向きや対象物10の顔の向きなどである。
【0017】
ここで、注目状態の種類として、予め複数種類の状態が定義されている。注目情報生成装置2000は、これら複数種類の状態の中から、人物40の注目状態に該当する状態を特定する。言い換えれば、人物40の注目状態は、所定の複数種類の状態のいずれかに分類される。
【0018】
注目情報生成装置2000は、それぞれ異なる時点の撮像画像20を利用して、人物40についての注目状態の特定を複数回行う。その結果、人物40の注目状態の履歴が生成される。以下、人物40の注目状態の履歴が示される情報は、「履歴情報」とも表現される。
【0019】
注目情報生成装置2000は、履歴情報60に示される人物40の注目状態の履歴を用いて、その人物40が対象物10に注目している度合いを表すスコアを算出する。以下、このスコアは、「注目スコア」とも表現される。
【0020】
注目情報生成装置2000は、それぞれ異なる時点について算出された注目スコアを用いて、注目スコアの履歴が含まれる注目情報50を生成する。
【0021】
<作用効果の例>
本実施形態の注目情報生成装置2000によれば、一人以上の人物40それぞれについて注目状態が特定され、注目状態の履歴に基づいて、各人物40が対象物10に注目している度合いを表す注目スコアが算出される。そして、注目スコアの履歴を表す注目情報50が生成される。このように、注目情報生成装置2000によれば、特定の物体に対する人の注目度合いを算出する新たな技術が提供される。
【0022】
以下、本実施形態の注目情報生成装置2000について、より詳細に説明する。
【0023】
<機能構成の例>
図2は、実施形態1の注目情報生成装置2000の機能構成を例示するブロック図である。この例において、注目情報生成装置2000は、特定部2020、算出部2040、及び生成部2060を有する。特定部2020は、対象物10に対する人物40の注目状態を特定する。算出部2040は、注目状態の履歴を用いて注目スコアを算出する。生成部2060は、注目スコアの履歴を表す注目情報50を生成する。注目情報生成装置2000は、必ずしも生成部2060を有さなくてもよい。
【0024】
<ハードウエア構成の例>
注目情報生成装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、注目情報生成装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0025】
図3は、実施形態1の注目情報生成装置2000を実現するコンピュータ500のハードウエア構成を例示するブロック図である。例えばコンピュータ500は、PC(Personal Computer)又はサーバマシンなどの据え置き型のコンピュータである。その他にも例えば、コンピュータ500は、スマートフォンやタブレット端末等の可搬型のコンピュータである。その他にも例えば、コンピュータ500は、SoC(System on Chip)などの半導体チップで実現されてもよい。コンピュータ500は、注目情報生成装置2000を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。なお、対象物10がコンピュータで実現される場合、コンピュータ500は、対象物10を実現するコンピュータであってもよいし、対象物10を実現するコンピュータとは別のコンピュータであってもよい。
【0026】
例えば、コンピュータ500に対して所定のアプリケーションをインストールすることにより、コンピュータ500で、注目情報生成装置2000の各機能が実現される。上記アプリケーションは、注目情報生成装置2000の各機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体(DVD ディスクや USB メモリなど)から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。
【0027】
コンピュータ500は、バス502、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512を有する。バス502は、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ504などを互いに接続する方法は、バス接続に限定されない。
【0028】
プロセッサ504は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ506は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス508は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
【0029】
入出力インタフェース510は、コンピュータ500と入出力デバイスとを接続するためのインタフェースである。入出力インタフェース510には、例えば、カメラ30が接続されている。ただし、カメラ30は、ネットワークインタフェース512を介してコンピュータ500と接続されてもよいし、コンピュータ500とは接続されなくてもよい。
【0030】
ネットワークインタフェース512は、コンピュータ500をネットワークに接続するためのインタフェースである。当該ネットワークは、LAN(Local area network)であってもよいし、WAN(Wide area network)であってもよい。
【0031】
ストレージデバイス508は、注目情報生成装置2000の各機能構成部を実現するプログラム(前述したアプリケーションを実現するプログラム)を記憶している。プロセッサ504は、このプログラムをメモリ506に読み出して実行することで、注目情報生成装置2000の各機能構成部を実現する。
【0032】
注目情報生成装置2000は、1つのコンピュータ500で実現されてもよいし、複数のコンピュータ500で実現されてもよい。後者の場合、複数のコンピュータ500は、互いに同一のハードウエア構成を有していてもよいし、互いに異なるハードウエア構成を有していてもよい。
【0033】
<処理の流れ>
図4は、実施形態1の注目情報生成装置2000によって実行される処理の流れを例示するフローチャートである。特定部2020は、撮像画像20を取得する(S102)。特定部2020は、撮像画像20を用いて、人物40の注目状態を特定する(S104)。算出部2040は、注目状態の履歴(履歴情報60)を用いて注目スコアを算出する(S106)。生成部2060は、注目スコアの履歴を表す注目情報50を生成する(S108)。
【0034】
<撮像画像20の取得:S102>
特定部2020は、撮像画像20を取得する(S102)。ここで、カメラによって生成された撮像画像を取得する方法には、様々な方法を利用できる。例えばカメラ30は、生成した撮像画像20を、注目情報生成装置2000からアクセス可能な記憶部に格納するように構成される。この場合、特定部2020は、この記憶部にアクセスすることで、撮像画像20を取得する。撮像画像20が格納されている記憶部は、例えば、入出力インタフェース510やネットワークインタフェース512を介して、注目情報生成装置2000と通信可能に接続されている。その他にも例えば、撮像画像20が格納されている記憶部は、注目情報生成装置2000の内部に設けられているストレージデバイス508などであってもよい。
【0035】
その他にも例えば、カメラ30は、生成した撮像画像20を注目情報生成装置2000へ送信するように構成される。この場合、特定部2020は、カメラ30から送信された撮像画像20を受信することにより、撮像画像20を取得する。
【0036】
ここで、カメラ30は、複数の時点で繰り返し撮像を行って、撮像画像20を複数生成する。特定部2020は、撮像画像20を1つずつ取得してもよいし、いくつかの撮像画像20をまとめて取得してもよい。後者の場合、例えばカメラ30は、所定長のビデオデータを繰り返し生成するように構成される。特定部2020は、カメラ30によってビデオデータが生成される度に、そのビデオデータを取得する。そして、特定部2020は、取得したビデオデータからビデオフレームを1つ以上抽出し、抽出した各ビデオフレームを撮像画像20として利用する。
【0037】
ここで、特定部2020は、全てのビデオフレームを撮像画像20として抽出してもよいし、一部のビデオフレームのみを撮像画像20として抽出してもよい。後者の場合、例えば特定部2020は、所定枚数ごとに一枚のビデオフレームをビデオデータから抽出して、撮像画像20として利用する。
【0038】
<注目状態の例>
人物40の注目状態は、予め定められている複数の状態のうちの1つに特定される。すなわち、注目状態は複数の状態に分類される。ここでは、注目状態の分類の例を説明する。なお、ここで説明される分類はあくまで一例であり、注目状態の分類は以下で説明するものに限定されない。
【0039】
図5は、注目状態の遷移を例示する図である。図5の例において、注目状態は、未検出状態、第1状態、第2状態、第3状態、第4状態、及び第5状態という6つの状態に分類される。ここで、初期値は未検出状態とする。人物40の注目状態は、人物40の視線の向きと、人物40の顔の向きと、人物40の視線が対象物10へ向いている状態の継続時間に基づいて特定される。ここで、図5において、チェック印は「対象物10へ向いている」を表し、バツ印は「対象物10へ向いていない」を表す。例えば、視線にチェック印が付いている場合には、人物40の視線が対象物10へ向いていることを表す。なお、図5における矢印は、状態から状態への遷移を表すが、図に表した以外の遷移が行われてもよい。
【0040】
第1状態は、人物40の視線が対象物10へ向いていない状態である。第1状態の人物40は、その顔を対象物10へ向けていてもよいし、向けていなくてもよい。第2状態は、人物40の視線が対象物10へ向いている一方で、人物40の顔が対象物10へ向いていない状態である。第3状態は、人物40の視線と顔の双方が対象物10へ向いている状態である。第4状態は、人物40の視線が対象物10へ向いている状態、すなわち第2状態または第3状態が、所定時間以上継続しており、なおかつ、人物40の顔が対象物10へ向いていない状態である。第5状態は、人物40の視線が対象物10へ向いている状態が所定時間以上継続し、なおかつ、人物40の顔が対象物10へ向いている状態である。すなわち第5状態は、第4状態から人物40の顔が対象物10へ向いた状態、または、第3状態が、所定時間以上継続した状態である。
【0041】
<履歴情報60について>
履歴情報60は、各人物40について、注目状態の履歴を示す。図6は、履歴情報60の構成を例示する図である。図6において、履歴情報60は、人物識別子62、時点64、及び注目状態66を示す。人物識別子62は、人物40に割り当てられている識別子を示す。時点64は、注目状態が特定された時点を示す。例えば、或る撮像画像20を用いて人物40の注目状態が特定された場合、時点64には、その撮像画像20の生成時点などが示される。注目状態66は、人物40について特定部2020によって特定された注目状態を示す。
【0042】
注目情報生成装置2000が履歴情報60を取得する方法は任意である。例えば履歴情報60は、注目情報生成装置2000からアクセス可能な記憶部に格納されている。この場合、注目情報生成装置2000は、この記憶部から履歴情報60を読み出すことで、履歴情報60を取得する。履歴情報60が格納されている記憶部は、例えば、入出力インタフェース510やネットワークインタフェース512を介して、注目情報生成装置2000と通信可能に接続されている。その他にも例えば、履歴情報60が格納されている記憶部は、注目情報生成装置2000の内部に設けられているストレージデバイス508などであってもよい。
【0043】
<注目状態の特定:S104>
特定部2020は、撮像画像20を用いて、人物40の注目状態を特定する(S104)。以下、人物40の注目状態の特定に利用される撮像画像20は、「対象画像」とも表現される。特定部2020は、取得する複数の撮像画像20のそれぞれを対象画像として扱って、対象画像に含まれる各人物40について、注目状態の特定を行う。
【0044】
特定部2020は、対象画像から一人以上の人物40を検出する。ここで、画像から人を検出する技術には、既存の種々の技術を利用することができる。特定部2020は、対象画像から一人も人物40を検出しない場合には、注目状態の特定を行わない。
【0045】
特定部2020は、対象画像から検出された各人物40について、その人物40の顔を表す対象画像上の画像領域を解析する。以下、人の顔を表す画像領域を、「顔画像領域」と呼ぶ。例えば特定部2020は、人物40の顔画像領域を解析することにより、1)人物40の視線が対象物10へ向いているか否か、及び2)人物40の顔が対象物10へ向いているか否かを判定する。
【0046】
人の視線や顔が特定の方向を向いているか否かを判定する方法には、種々の方法を利用することができる。例えば特定部2020は、人の視線が対象物10へ向いているか否かを判定するように構成されている視線方向判定モデルと、人の顔が対象物10を見ているか否かを判定するように構成されている顔方向判定モデルとを有する。視線方向判定モデルと顔方向判定モデルは例えば、ニューラルネットワークなどのような機械学習モデルとして構成される。
【0047】
視線方向判定モデルは、顔画像領域が入力されたことに応じて、その顔画像領域に対応する人の視線が対象物10へ向いているか否かの判定結果を出力するように、予め訓練されている。例えば視線方向判定モデルの判定結果は、向いている、向いていない、の2値である。視線方向判定モデルの判定結果は、2値に限らず、向いている確率を数値で表したものであってもよい。視線方向判定モデルの判定結果が確率を表す数値である場合、任意の閾値を設けて、確率が閾値以上の場合は向いている、閾値未満の場合は向いていないと判定してもよい。そこで特定部2020は、人物40の顔画像領域を視線方向判定モデルに入力することにより、その人物40の視線が対象物10へ向いているかの判定結果を、視線方向判定モデルから取得する。
【0048】
視線方向判定モデルは、訓練データを用いて予め訓練される。訓練データは、人の顔画像領域を表す入力画像と、その人の視線が対象物10へ向いているか否かを表す正解の出力データとのペアで構成される。訓練データを用いてモデルを訓練する手法には、既存の種々の手法を利用できる。
【0049】
同様に、顔方向判定モデルは、顔画像領域が入力されたことに応じて、その顔画像領域に対応する人の顔が対象物10へ向いているか否かの判定結果を出力するように、予め訓練されている。例えば顔方向判定モデルの判定結果は、向いている、向いていない、の2値を出力する。顔方向判定モデルの判定結果は、2値に限らず、向いている確率を数値で表したものを出力してもよい。顔方向判定モデルの判定結果が確率を表す数値である場合、任意の閾値を設けて、確率が閾値以上の場合は向いている、閾値未満の場合は向いていないと判定してもよい。そこで特定部2020は、人物40の顔画像領域を顔方向判定モデルに入力することにより、その人物40の顔が対象物10へ向いているかの判定結果を、視線方向判定モデルから取得する。
【0050】
ここで顔方向判定モデルは、その顔画像領域に対応する人の顔が対象物10へ向いているか否かではなく、その人の顔が対象物10へ振り返ったか否かの判定結果を出力してもよい。顔方向判定モデルは、複数の時点の撮像画像20を用いて、複数の時点の顔画像領域に対応する人の顔を時系列に解析することで、その人の顔が対象物10へ振り返ったか否かの判定を実現する。
【0051】
顔方向判定モデルは、訓練データを用いて予め訓練される。訓練データは、人の顔画像領域を表す入力画像と、その人の顔が対象物10へ向いているか否かを表す正解の出力データとのペアで構成される。訓練データを用いてモデルを訓練する手法には、既存の種々の手法を利用できる。
【0052】
さらに特定部2020は、各人物40について、これまでに解析された撮像画像20から既に検出されている人物であるか否かを判定する。以下、これまでに解析された撮像画像20から既に検出されている人物は、「既出人物」とも表現される。ここで、新たな画像から検出された人物が、他の画像から既に検出されている人物であるか否かを判定する技術には、既存の種々の技術を利用することができる。例えば、特定部20は、撮像装置20の前の現在解析している撮像画像20と、ひとつ前の時点で解析した撮像画像20とを比較し、ひとつ前の時点の撮像画像20では検出されておらず、現在解析している撮像画像20では検出されている人物40を、既出人物と判定する。
【0053】
特定部2020は、各人物40について、その人物40が既出人物であるか否かの判定結果、その人物40の視線が対象物10へ向いているか否かの判定結果、及びその人物40の顔が対象物10へ向いているか否かの判定結果に基づいて、その人物40の注目状態を特定する。人物40が既出人物でない場合、例えば特定部2020は、人物40の視線が対象物10へ向いているか否か、及び、人物40の顔が対象物10へ向いているか否かに基づいて、人物40の注目状態が、第1状態、第2状態、及び第3状態のうちのどの状態であるかを特定する。
【0054】
一方、人物40が既出人物である場合、例えば特定部2020は、まず、人物40の視線が対象物10へ向いているか否かを判定する。人物40の視線が対象物10へ向いていない場合、特定部2020は、対象物10の注目状態が第1状態であると特定する。一方、人物40の視線が対象物10へ向いている場合、特定部2020は、人物40の顔が対象物10へ向いているか否か、及び、人物40の視線が対象物10へ向いている時間が所定時間以上であるか否かに基づいて、人物40の注目状態が第2状態、第3状態、第4状態、及び第5状態のうちのどの状態であるかを特定する。なお、この所定時間は、予め定められているものとする。所定時間は例えば800ミリ秒であるが、これに限定されない。
【0055】
人物40の視線が対象物10へ向いている時間の長さは、例えば、履歴情報60に示されている、その人物40の注目状態の履歴に基づいて特定することができる。具体的には、特定部2020は、人物40について、第1状態以外の注目状態が継続している時間の長さを算出することにより、その人物40の視線が対象物10へ向いている時間の長さを算出することができる。
【0056】
ここで、人物40の視線が一時的に対象物10を向かないことがある場合にも、人物40の視線が所定時間以上対象物10へ向いていると判定されるようにしてもよい。例えば、人物40の視線が対象物10へ向いているか否かを判定するために、上記所定時間 T1 と、一時的に視線が対象物10から逸れることへの猶予を表す猶予時間 T2 とを予め定めておく。この場合、長さ T1 の時間枠のうち、T1-T2 以上の時間において人物40の視線が対象物10へ向いている場合に、「人物40の視線が対象物10へ向いている時間が所定時間以上継続している」と判定される。
【0057】
より具体的には、所定時間 T1 と猶予時間 T2 とがいずれも、人物40について特定された注目状態の回数で表されるとする。この場合、例えば特定部2020は、人物40について直近 T1 回特定された注目状態について、第1状態である回数が T2 回以下であれば、「人物40の視線が対象物10へ向いている時間が所定時間継続している」と判定する。
【0058】
特定部2020は、各人物40について特定された注目状態に関する情報を履歴情報60に加えることで、履歴情報60を更新する。なお、まだ履歴情報60が存在しない場合、特定部2020は、新たに空の履歴情報60を生成して、各人物40について特定された注目状態をその履歴情報60に加える。
【0059】
<追従状態の特定>
対象物10が移動している場合、特定部2020は、前述した注目状態の特定に加え、人物40が対象物10を追従している状態(以下、追従状態)であるか否かをさらに特定してもよい。ここで、人の視線が特定の物体を追従しているか否かを、その人が撮像されている複数の撮像画像を利用して判定する技術には、種々の技術を利用することができる。例えば特定部2020は、対象物10の視線が移動する速度(速さと向き)を表す速度ベクトルと、対象物10の移動速度を表す速度ベクトルとの関係を表す相関係数が、所定の正の値以上である場合に、人物40が対象物10を追従していると判定する。
【0060】
その他にも例えば、人物40の顔画像領域の時系列データが入力されたことに応じて、人物40の視線が対象物10を追従しているか否かの判定結果を出力するように構成されている追従判定モデルが利用されてもよい。このように時系列の画像データを扱うモデルには、例えば、3D CNN(Convolutional Neural Network)などの機械学習モデルを利用することができる。
【0061】
追従判定モデルは、顔画像領域の時系列データが入力されたことに応じて、それらの顔画像領域に対応する人の視線が対象物10を追従しているか否かの判定結果を出力するように、予め訓練されている。そこで特定部2020は、対象画像から得られた人物40の顔画像領域と、過去所定数の撮像画像20それぞれから得られた人物40の顔画像領域とで構成される時系列データを、追従判定モデルに入力する。これにより、特定部2020は、人物40の視線が対象物10を追従しているかの判定結果を、追従判定モデルから取得する。
【0062】
追従判定モデルは、訓練データを用いて予め訓練される。訓練データは、人の顔画像領域の時系列データを表す入力データと、その人の視線が対象物10を追従しているか否かを表す正解の出力データとのペアで構成される。訓練データを用いてモデルを訓練する手法には、既存の種々の手法を利用できる。
【0063】
<注目スコアの算出:S106>
算出部2040は、対象画像に含まれる各人物40について、その人物40の履歴情報60を利用して、その人物40の注目スコアを算出する(S106)。既出人物の注目スコアは、例えば、その人物の過去直近の注目状態、並びに、特定部2020によって特定されたその人物の視線の向き及び顔の向きに基づいて算出される。この場合、例えば、人物40の過去直近の注目状態と、人物40の現在の視線の向きと、人物40の現在の顔の向きとの組み合わせごとに、注目スコアの算出式が予め定義されている。さらに既出人物の注目スコアは、人物40の過去直近の注目状態と、人物40の現在の視線の向きと、人物40の現在の顔の向きと、その人物の現在の注目状態に基づいて算出されてもよい。
【0064】
なお、「人物40の過去直近の注目状態」は、履歴情報60に示されているその人物40の注目状態のうち、2番目に新しい注目状態である。前述したように、特定部2020によって履歴情報60が更新されるため、或る人物40について履歴情報60が示す最新の注目状態は、その人物40の現在の注目状態である。ただし、特定部2020による履歴情報60の更新が行われる前に、人物40の過去直近の注目状態が算出部2040によって取得されるようにする場合には、履歴情報60に示されている人物40の最新の注目状態が、その人物40の過去直近の注目状態として取得される。
【0065】
図7は、注目スコアの算出式の定義方法を例示する図である。図7では、複数種類の注目状態それぞれに対応づけて、マトリクス70が定義されている。マトリクス70は、人物40の視線が対象物10へ向いているか否かと、人物40の顔が対象物10へ向いているか否かとの組み合わせごとに、注目スコアの算出式を示す。
【0066】
ここで、注目スコアの算出式の中には、人物40の視線の向きに依存せずに決まるものや、人物40の顔の向きに依存せずに決まるものが存在してもよい。例えば図7において、人物40の過去直近の注目状態が第1状態である場合に対応するマトリクス70-1は、人物40の顔の向きにかかわらず、人物40の視線が対象物10へ向いている場合の算出式として a11() を示し、かつ、人物40の視線が対象物10へ向いていない場合の算出式として a12() を示す。
【0067】
また、人物40が追従状態である場合と人物40が追従状態でない場合とで、それぞれ異なる算出式が定義されてもよい。この場合、例えば、第4状態と第5状態それぞれについてのマトリクス70を、人物40が追従状態であるケースと人物40が追従状態でないケースのそれぞれについて用意しておく。
【0068】
算出部2040は、対象画像から検出された既出人物について、履歴情報60に示されているその人物の過去直近の注目状態、その人物の視線が対象物10へ向いているか否かの判定結果、及びその人物の顔が対象物10へ向いているか否かの判定結果の組み合わせに対応する算出式を特定する。より具体的にはまず、算出部2040は、人物40の過去直近の注目状態に対応するマトリクス70を特定する。そして、算出部2040は、特定したマトリクス70から、その人物40の視線が対象物10へ向いているか否かの判定結果と、その人物40の顔が対象物10へ向いているか否かの判定結果との組み合わせに対応する算出式を抽出する。そして算出部2040は、その人物40の注目スコアを、抽出した算出式を用いて算出する。
【0069】
例えば、算出式が図7に示す通りに定義されており、人物P1の過去直近の注目状態が第2状態であり、かつ、人物P1の視線と顔の双方が対象物10へ向いているとする。この場合、まず算出部2040は、人物P1の過去直近の注目状態に対応するマトリクス70として、マトリクス70-2を特定する。さらに算出部2040は、このマトリクス70-2から算出式 b11() を抽出し、この算出式 b11() を利用して、人物P1の注目スコアを算出する。
【0070】
なお、追従状態も考慮される場合、算出部2040は、人物40の過去直近の注目状態、人物40の視線が対象物10へ向いているかいなかの判定結果、人物40の顔が対象物10へ向いているか否かの判定結果、及び人物40が追従状態であるか否かの判定結果の組み合わせに対応する算出式を利用する。
【0071】
既出人物でない人物40の注目スコアは、例えば、その人物40の視線が対象物10へ向いているか否かと、その人物40の顔が対象物10へ向いているか否かとの組み合わせに基づいて算出される。そこで例えば、人物40の視線が対象物10へ向いているか否かと、人物40の顔が対象物10へ向いているか否かとの組み合わせごとに、注目スコアの算出式が予め定義される。例えば、既出人物でない人物40についても、図7に示されているマトリクス70と同様のマトリクスが1つ定義されている。
【0072】
算出部2040は、対象画像から検出された既出ではない各人物40について、その人物40の視線が対象物10へ向いているか否かの判定結果と、その人物40の顔が対象物10へ向いているか否かの判定結果との組み合わせに対応する注目スコアの算出式を特定する。そして算出部2040は、各人物40について、その人物40について特定した算出式を利用して、その人物40の注目スコアを算出する。
【0073】
ここで、既出ではない人物40の注目スコアの算出式には、既出人物について定義されている算出式が利用されてもよい。例えば、既出ではない人物40については、過去直近の注目状態が第1状態であったと仮定する。この場合、算出部2040は、過去直近の注目状態が第1状態である既出人物について定義されているマトリクス70(図7のマトリクス70-1)を、既出ではない人物40に関する算出式が定義されているマトリクスとして利用する。その他にも例えば、算出部2040は、既出ではない人物40については、過去直近の注目状態がその人物40の現在の注目状態と同じであったと仮定して、既出人物について定義されている各マトリクス70を利用する。なお、人物40の現在の注目状態は、特定部2020によって特定されたその人物40の注目状態である。
【0074】
その他にも例えば、既出ではない人物40については、その注目状態や視線の向き等にかかわらず、所定の値(例えば0)が注目スコアとして設定されてもよい。
【0075】
<<算出式についての詳細>>
ここでは、算出式の例を説明する。以下の各算出式で利用される定数はいずれも、0以上の実数である。まず、人物40の過去直近の注目状態が第1状態である場合についての算出式を例示する。人物40が現在対象物10へ視線を向けていない場合の算出式は、人物40の注目スコアに対し、定数G1を設定する。人物40が現在対象物10へ視線を向けており、かつ、人物40が現在対象物10へ顔を向けていない場合の算出式は、人物40の注目スコアに対して、定数A1を設定する。ここで、視線方向判定モデルの判定結果が確率を表す数値である場合、定数A1に判定結果を掛けたものを注目スコアとして設定してもよい。人物40が現在対象物10へ視線を向けており、かつ、人物40が現在対象物10へ顔を向けている場合の算出式は、人物40の注目スコアに対して、定数B1を設定する。ここで、顔方向判定モデルの判定結果が確率を表す数値である場合、定数B1に判定結果を掛けたものを注目スコアとして設定してもよい。ここで、A1>G1かつB1>G1である。例えば、G1=0である。また、B1≧A1である。
【0076】
次に、人物40の過去直近の注目状態が第2状態である場合についての算出式を例示する。人物40が現在対象物10へ視線を向けていない場合の算出式は、人物40の注目スコアに対し、定数G2を設定する。ここで、G2≧G1である。人物40が現在対象物10へ視線を向けており、かつ、人物40が現在対象物10へ顔を向けていない場合の算出式は、人物40の注目スコアに対して、定数A2を設定する。ここで、視線方向判定モデルの判定結果が確率を表す数値である場合、定数A2に判定結果を掛けたものを注目スコアとして設定してもよい。ここで、A2≧A1である。人物40が現在対象物10へ視線を向けており、かつ、人物40が現在対象物10へ顔を向けている場合の算出式は、人物40の注目スコアに対して、定数B2を設定する。ここで、顔方向判定モデルの判定結果が確率を表す数値である場合、定数B2に判定結果を掛けたものを注目スコアとして設定してもよい。ここで、B2≧B1である。また、A2>G2かつB2>G2である。さらに、B2≧A2である。
【0077】
ここで、人物40の過去直近の注目状態が第2状態である場合、特定部2020によって特定された人物40の現在の注目状態が第4状態であることもある。つまり、特定部2020によって人物40の注目状態が第2状態から第4状態に遷移したと特定されることもある。そこで、人物40の過去直近の注目状態が第2状態であり、かつ、特定部2020によって特定された人物40の現在の注目状態が第4状態である場合、人物40の注目スコアに対し、A2より大きい定数Dが設定されてもよい。視線方向判定モデルの判定結果が確率を表す数値である場合、定数Dに判定結果を掛けたものを注目スコアとして設定してもよい。また、人物40の前回の注目スコアに対して、定数D2を加算した値を人物40の注目スコアとして設定してもよい。定数D2は定数A2よりも以下でも構わない。
【0078】
次に、人物40の直近の注目状態が第3状態である場合についての算出式を例示する。人物40が現在対象物10へ視線を向けていない場合の算出式は、人物40の注目スコアに対し、定数G3を設定する。ここで、G3≧G2である。人物40が対象物10へ視線を向けており、かつ、人物40が対象物10へ顔を向けていない場合の算出式は、人物40の注目スコアに対して、定数A3を設定する。ここで、A3≧A2である。例えば、A3=A2+B2である。視線方向判定モデル及び顔方向判定モデルの判定結果が確率を表す数値である場合、定数A2に視線方向判定モデルの判定結果を掛けた値と、定数B2に顔方向判定モデルの判定結果を掛けた値と、を足した数値を注目スコアとして設定してもよい。人物40が対象物10へ視線を向けており、かつ、人物40が対象物10へ顔を向けている場合の算出式は、人物40の注目スコアに対して、定数B3を設定する。ここで、顔方向判定モデルの判定結果が確率を表す数値である場合、定数B3に判定結果を掛けたものを注目スコアとして設定してもよい。ここで、B3≧B2である。また、A3>G3かつB3>G3である。さらに、B3≧A3である。
【0079】
ここで、人物40の過去直近の注目状態が第3状態である場合、特定部2020によって特定された人物40の現在の注目状態が第4状態であることもある。つまり、特定部2020によって人物40の注目状態が第3状態から第4状態に遷移したと特定されることもある。そこで、人物40の過去直近の注目状態が第3状態であり、かつ、特定部2020によって特定された人物40の現在の注目状態が第4状態である場合、人物40の注目スコアに対し、前述した定数Dが設定されてもよい。視線方向判定モデルの判定結果が確率を表す数値である場合、定数Dに判定結果を掛けたものを注目スコアとして設定してもよい。また、人物40の前回の注目スコアに対して、前述した定数D2を加算した値を人物40の注目スコアとして設定してもよい。
【0080】
また、人物40の過去直近の注目状態が第3状態である場合、特定部2020によって特定された人物40の現在の注目状態が第5状態であることもある。つまり、特定部2020によって人物40の注目状態が第2状態から第5状態に遷移したと特定されることもある。そこで、人物40の過去直近の注目状態が第3状態であり、かつ、特定部2020によって特定された人物40の現在の注目状態が第5状態である場合、人物40の注目スコアに対し、Dより大きい定数Fが設定されてもよい。視線方向判定モデルの判定結果が確率を表す数値である場合、定数Fに判定結果を掛けたものを注目スコアとして設定してもよい。また、人物40の前回の注目スコアに対して、定数F2を加算した値を人物40の注目スコアとして設定してもよい。定数F2はD以下でも構わない。
【0081】
次に、人物40の直近の注目状態が第4状態である場合についての算出式を例示する。人物40が現在対象物10へ視線を向けていない場合の算出式は、人物40の注目スコアに対し、定数G4を設定する。ここで、G4≧G3である。人物40が対象物10へ視線を向けており、かつ、人物40が対象物10へ顔を向けていない場合の算出式は、人物40の前回の注目スコアに対して、定数X1を加算する。このことから、定数X1は、第4状態が継続する度に注目スコアに加算される。よって、人物40の状態が第4状態である間、人物40の注目スコアはX1ずつ増加していく。
【0082】
ただし、定数X1を加算するケースにおいては、注目スコアの上限値L1が設けられていてもよい。すなわち、このケースにおける算出式は、人物40の過去直近の注目スコアにX1を加算した値と、上限値L1とのうち、いずれか小さい方を人物40の注目スコアに設定してもよい。
【0083】
注目状態が第4状態であり、人物40が対象物10へ視線を向けており、かつ、人物40が対象物10へ顔を向けている場合の算出式は、人物40の前回の注目スコアに対して、定数X2を加算する。ここで、X2≧X1である。なお、人物40の直近の状態が第4状態である場合において、人物40が対象物10へ顔を向けているため、人物40の現在の注目状態は第5状態となっている。つまり、特定部2020によって人物40の注目状態が第4状態から第5状態に遷移したと特定される。
【0084】
次に、人物40の直近の注目状態が第5状態である場合についての算出式を例示する。人物40が現在対象物10へ視線を向けていない場合の算出式は、人物40の注目スコアに対し、定数G5を設定する。ここで、G5≧G4である。人物40が対象物10へ視線を向けており、かつ、人物40が対象物10へ顔を向けている場合の算出式は、人物40の前回の注目スコアに対して、定数X3を加算する。このことから、定数X3は、第5状態が継続する度に注目スコアに加算される。よって、人物40の状態が第5状態である間、人物40の注目スコアはX3ずつ増加していく。ここで、X3≧X1である。
【0085】
ただし、定数X3を加算するケースにおいては、注目スコアの上限値L2が設けられていてもよい。すなわち、このケースにおける算出式は、人物40の過去直近の注目スコアにX3を加算した値と、上限値L2とのうち、いずれか小さい方を人物40の注目スコアに設定してもよい。
【0086】
人物40が対象物10へ視線を向けており、かつ、人物40が対象物10へ顔を向けていない場合の算出式は、人物40の前回の注目スコアに対して、定数X1を加算する。なお、人物40の直近の状態が第5状態である場合において、人物40が現在対象物10へ顔を向けていないため、人物40の現在の注目状態は第4状態となっている。つまり、特定部2020によって人物40の注目状態が第5状態から第4状態に遷移したと特定される。
【0087】
<注目スコアの補正>
算出部2040は、前述した算出式に基づいて算出された人物40の注目スコアを、所定の方法で補正してもよい。例えば対象物10において、情報が時間と共に変化する態様で繰り返し表示されるとする。対象物10に繰り返し表示される情報は、例えば、広告等の映像や、広告等の静止画像列である。単位情報が静止画像列である場合、例えば3枚の広告画像I1、I2、及びI3がこの順で、5秒ずつ対象物10に表示されるとする。この場合、対象物10において、I1、I2、I3、I1、I2、I3、I1・・・という順に、広告画像が5秒ずつ表示される。
【0088】
以下では、このように対象物10において情報が繰り返し表示されるケースにおいて、繰り返しの一単位に相当する情報は、「単位情報」とも表現される。例えば広告等の映像が対象物10に繰り返し表示される場合、単位情報はその映像である。静止画像列が対象物10に繰り返し表示される場合、単位情報はその静止画像列である。例えば前述した、対象物10に広告画像が表示される例において、単位情報は静止画像の列(I1,I2,I3)である。
【0089】
また、以下では、単位情報が一度表示される時間の長さは「表示周期」とも表現される。単位情報が映像である場合、表示周期はその映像の長さである。また、単位情報が静止画像列である場合、表示周期は、その静止画像列の先頭の静止画像が表示されてから、次に当該静止画像が表示されるまでの時間の長さである。
【0090】
このように単位情報が対象物10に繰り返し表示される場合、対象物10の周囲の人物は、単位情報をある程度(例えば一度)見ることで、十分にその情報を把握できると考えられる。そのため、単位情報が繰り返し表示されている対象物10に対して或る人物が視線を向け続けている場合、その人物は、単に対象物10がある方向へ視線を向けているだけで、対象物10に注目してはいない可能性がある。
【0091】
そこで例えば、算出部2040は、単位情報が繰り返し表示される対象物10に対して人物40が視線を向け続けている場合に、その人物40の注目スコアを、前述した算出式を用いて算出される値よりも小さくするように補正する。ここで、値を小さくする補正には、その値に1より小さい実数を掛ける方法や、その値から0以上の実数を引く方法などがある。
【0092】
具体的には、例えば算出部2040は、各人物40について、以下の方法で注目スコアを補正する。まず算出部2040は、人物40について、前述した算出式を用いて注目スコアを算出する。さらに算出部2040は、その人物40が対象物10へ視線を向けている場合、人物40が対象物10へ視線を向けている時間の長さが、単位情報の表示周期以上であるか否かを判定する。人物40が対象物10へ視線を向けている時間の長さが、単位情報の表示周期以上でない場合、算出部2040は、注目スコアの補正を行わない。一方、人物40が対象物10へ視線を向けている時間の長さが、単位情報の表示周期以上である場合、算出部2040は、注目スコアの補正を行う。
【0093】
ここで、注目スコアに対する補正の大きさは、人物40が対象物10へ視線を向けている時間の長さに応じて決定されてもよい。例えば注目スコアに対する補正の大きさは、単位情報の表示周期に対する、人物40が対象物10へ視線を向けている時間の長さの比率に基づいて決定される。つまり算出部2040は、人物40が対象物10へ視線を向けている時間が長いほど、注目スコアが小さくなるように補正する。
【0094】
ここで、単位情報の表示周期を Tr で表し、人物40が対象物10へ視線を向けている時間の長さを Te で表す。そして、注目スコアに対する補正の大きさの基準値として、0より大きい実数 a が定められているとする。この場合、例えば算出部2040は、a*Te/Tr を、注目スコアに対する補正の大きさとする。すなわち、注目スコアに対して、a*Te/Tr を引くことにより、注目スコアが補正される。ただし、Te/Tr の代わりに、Te/Tr の整数部分のみを利用してもよい。言い換えれば、Te/Tr について、1未満の部分を無くす処理(切り捨て、切り上げ、又は四捨五入など)が行われてもよい。
【0095】
なお、上述の例では、人物40が対象物10へ視線を向けている時間の長さが表示周期以上になったタイミングから、注目スコアを小さくする補正が行われている。しかしながら、このように注目スコアを小さくする補正が開始されるタイミングは、人物40が対象物10へ視線を向けている時間の長さが表示周期以上になったタイミングには限定されない。例えば算出部2040は、人物40が対象物10へ視線を向けている時間の長さ Te が、単位情報の表示周期 Tr の定数 b(b>1)倍以上である場合に、その人物40の注目スコアを小さくする補正を行う。例えば b=2 とする場合、人物40が対象物10に表示されている単位情報を3周以上見ていると、人物40が対象物10に注目していないと推定されて、人物40の注目スコアが小さく補正される。
【0096】
また、算出部2040は、人物40が対象物10へ視線を向けている時間の長さが表示周期以上となった後、その時間の長さが特定の値に達するまでの間、人物40の注目スコアを大きくする補正を行ってもよい。つまり算出部2040は、人物40が対象物10へ視線を向けている時間の長さが表示周期以上となった後その時間の長さが特定の値に達するまでの間は、人物40が対象物10へ視線を向けている時間が長いほど、注目スコアが大きくなるように補正する。例えば、前述した比率 Te/Tr が 1<=Te/Tr<b を満たす間、算出部2040は、注目スコアを大きくする補正を行う。そして、算出部2040は、Te/Tr>=b が満たされるようになったら、注目スコアを小さくする補正を行う。
【0097】
このようにすることで、人物40が単位情報を見ている長さが単位情報の1周より長くなった後、所定の長さ(例えば表示周期の2倍の長さ)に達するまでの間は、人物40が単位情報に強く注目していると推定して、注目スコアがより大きくなるように補正することができる。一方で、人物40が単位情報を見ている長さが所定の長さよりも長くなった場合、人物40が単位情報に注目しなくなってきていると推定して、注目スコアをより小さくするように補正することができる。
【0098】
注目スコアを補正する方法は、例えば以下の方法であってもよい。まず算出部2040は、人物40が対象物10へ視線を向けている時間の長さが表示周期の長さを超えるまでは、前述した算出式を用いて、その人物40の注目スコアを算出する。その後、算出部2040は、その人物40が対象物10へ視線を向けている時間の長さが表示周期の長さ以上となったら、その時点について算出されたその人物40の注目スコアを、その人物40の注目スコアの基準スコアとして設定する。そして、算出部2040は、その人物40が対象物10へ視線を向けている時間の長さが表示周期を超えてからは、その人物40の基準スコアに対して補正を加えることで、その人物40の注目スコアを算出する。このようにすることで、人物40が対象物10へ視線を向けている時間の長さが表示周期を超えている間は、その人物40については、算出式を利用した注目スコアの算出を行う必要がない。
【0099】
<注目情報50の生成:S108>
生成部2060は、各人物40について算出された注目スコアが含まれる注目情報50を生成する(S108)。注目情報50は、各人物40について注目スコアの履歴を示す。既に注目情報50が存在する場合、生成部2060は、対象画像から検出された各人物40の注目スコアに関する情報を注目情報50に加えることにより、注目情報50を更新する。これにより、対象画像を用いて算出された各人物40の注目スコアが含まれる注目情報50が生成される。まだ注目情報50が存在しない場合、例えば生成部2060は、空の注目情報50を生成し、対象画像から検出された各人物40の注目スコアに関する情報をその注目情報50に加える。
【0100】
図8は注目情報50の構成を例示する図である。図8において、注目情報50は、人物識別子52、時点54、及び注目スコア56を含む。人物識別子52は、人物40に割り当てられた識別子である。時点54は、注目スコアに対応する時点である。例えば、或る撮像画像20から検出された人物40について算出された注目スコアに対応する時点54は、その撮像画像20の生成時点などを示す。注目スコア56は、注目スコアを示す。
【0101】
<注目情報50の出力>
注目情報生成装置2000は注目情報50を出力する。注目情報50の出力態様は様々である。例えば注目情報生成装置2000は、注目情報50の内容を表す画面を、注目情報生成装置2000のユーザが閲覧可能なディスプレイ装置に出力させる。その他にも例えば、注目情報生成装置2000は、注目情報50を任意の記憶部に格納する。
【0102】
ここで、注目情報50は注目スコアの履歴を示すため、注目情報50は、注目スコアの時間変化を把握することが容易な態様で出力されることが好ましい。そこで例えば、注目情報生成装置2000は、各人物40の注目スコアの時間変化を表すグラフを生成する。このグラフにおいて、横軸は時間を表し、縦軸は注目スコアの大きさを表す。注目情報生成装置2000は、生成したグラフが含まれる画面データや画像データを出力する。
【0103】
[実施形態2]
<概要>
実施形態2の注目情報生成装置2000は、注目情報50を利用して、複数の人物40それぞれについて算出された注目スコアを集計することにより、集計スコアを算出する。これにより、注目情報生成装置2000は、集計スコアの履歴を表す集計情報を生成する。
【0104】
このように人物40ごとに注目スコアを集計することにより、対象物10がどの程度周囲の人物から注目されているのかを複数の人物に亘って総合的に把握することができる。また、集計スコアの履歴を表す集計情報を生成することにより、対象物10が周囲の人物から注目されている度合いの時間変化を、複数の人物に亘って総合的に把握することができる。
【0105】
以下、本実施形態の注目情報生成装置2000について、より詳細に説明する。
【0106】
<機能構成の例>
図9は、実施形態2の注目情報生成装置2000の機能構成を例示するブロック図である。この例において、注目情報生成装置2000は、特定部2020、算出部2040、及び生成部2060に加え、集計部2080を有する。集計部2080は、注目情報50に示されている注目スコアを集計することで、集計情報80を生成する。
【0107】
<ハードウエア構成の例>
実施形態2の注目情報生成装置2000のハードウエア構成は、実施形態1の注目情報生成装置2000のハードウエア構成と同様に、例えば図3で表される。ただし、実施形態2の注目情報生成装置2000のストレージデバイス508は、実施形態2の注目情報生成装置2000の各機能構成部を実現するプログラムを格納する。
【0108】
<処理の流れ>
図10は、実施形態2の注目情報生成装置2000によって実行される処理の流れを例示するフローチャートである。S102からS108は、図4に示されている処理と同様である。集計部2080は、注目情報50を利用して集計情報80を生成する(S202)。
【0109】
ここで、集計情報80の生成が実行される契機は任意である。例えば集計部2080が、対象画像ごとに、その対象画像に基づいて算出された注目スコアの集計を行うとする。この場合、集計部2080は、注目情報50が生成される度に集計情報80を生成する。
【0110】
図11は、対象画像ごとに注目スコアの集計が行われるケースを例示する図である。図11の例では、時点t1からt12それぞれにおいて撮像画像20が取得される。そして、時点t1からt12それぞれについて、撮像画像人物P1とP2の注目スコアが算出されている。そこで、時点t1からt12それぞれについて、集計スコアが算出されている。
【0111】
その他にも例えば、集計部2080は、所定長の集計期間ごとに、その集計期間に得られた複数の撮像画像20それぞれに基づいて算出された注目スコアの集計を行う。この場合、例えば集計部2080は、集計期間ごとに、その集計期間に算出された各注目スコアが示されている注目情報50(例えば、集計期間の最後に生成された注目情報50)を利用して、集計情報80を生成する。なお、集計期間の長さは、例えば、集計期間の中で解析される撮像画像20の数で表すことができる。なお、対象画像ごとに注目スコアが集計されるケースは、集計期間の長さが1であるケースとも表現できる。
【0112】
図12は、集計期間ごとに注目スコアの集計が行われるケースを例示する図である。図12の例では、図11の例と同様に、時点t1からt12それぞれにおいて、人物P1とP2の注目スコアが算出されている。また、集計期間の長さは3である。そのため、時点t1からt3までの集計期間Q1、時点t4からt6までの集計期間Q2、時点t7からt9までの集計期間Q3、及び時点t10からt12までの集計期間Q4それぞれについて、集計スコアが1つずつ算出されている。
【0113】
<注目スコアの集計方法>
以下、集計部2080が注目スコアを集計する具体的な方法について説明する。まず、撮像画像20ごとに集計スコアが算出される場合、言い換えれば、集計期間の長さが1である場合について説明する。
【0114】
例えば集計部2080は、撮像画像20から検出された各人物40について算出された注目スコアの単純和や重み付き和を、集計スコアとして算出する。集計スコアとして注目スコアの重み付き和が算出される場合において、各注目スコアの重みを定める方法は様々である。注目スコアの重みは、例えば、対応する人物40の属性に基づいて定められる。人物40の属性としては、年齢層、性別、又は外見による分類などを利用することができる。外見による分類は、例えば、服装や所持品による分類である。人物40の属性に基づいてその人物40の注目スコアの重みを定めることにより、より重要度が高い属性を持つ人物40ほど、その人物40の注目スコアの重みを大きくすることができる。
【0115】
例えば、30歳代の人が主なターゲットに設定されている商品の広告が、対象物10に表示されているとする。この場合、30歳代の人物40の注目スコアの重みが、他の年齢層の人物40の注目スコアの重みよりも大きく設定される。これにより、30歳代の人物40が対象物10に注目している度合いを、他の年齢層の人物40が対象物10に注目している度合いよりも重視して、集計スコアを算出することができる。
【0116】
このように人物40の属性に基づいてその人物40の注目スコアに対して重み付けが行われる場合、算出部2040は、各人物40について、対象画像においてその人物40を表す画像領域を解析することで、その人物40の所定の属性の値を特定する。ここで、画像に含まれる人物について、その人物を表す画像領域を解析することで、その人物の所定の属性の値を特定する手法には、既存の種々の手法を利用することができる。
【0117】
また、集計スコアの算出対象とする人物40を指定することが可能であってもよい。例えば注目情報生成装置2000は、人物40が検出された撮像画像20を注目情報生成装置2000のユーザに提示することで、撮像画像20から検出された人物40のうちの一人以上をユーザが指定できるようにする。注目情報生成装置2000は、ユーザによって指定された人物40の注目スコアのみを集計することで、集計スコアを算出する。
【0118】
集計スコアの算出対象とする人物40は、属性によって指定できてもよい。例えば注目情報生成装置2000は、ユーザから、集計対象にしたい人物40の属性の種類と値のペア(例えば、属性の種類=年齢、かつ、属性値=30代)の指定を受け付ける。注目情報生成装置2000は、指定された種類の属性について指定された属性値を持つ人物40の注目スコアのみを集計することにより、集計スコアを算出する。
【0119】
次に、集計期間の長さが2以上である場合において注目スコアを集計する方法、すなわち、2つ以上の撮像画像20それぞれについて算出された注目スコアを集計する方法について説明する。例えば集計部2080は、人物40ごとに、集計期間の中でその人物40について算出された複数の注目スコアを用いて、代表スコアを特定する。例えば代表スコアは、集計期間内に人物40について算出された複数の注目スコアの統計値(最大値、最小値、又は平均値など)である。
【0120】
ここで、代表スコアの基準値を設けておき、値が基準値未満である代表スコアは、集計対象から除外されるようにしてもよい。つまり集計部2080は、値が基準値未満である代表スコアは、注目度が高い情報ではないと特定する。例えば、或る集計期間に人物P1、P2、及びP3の注目スコアが算出されており、人物P1、P2、及びP3の代表スコアがそれぞれ、80、60、及び90であるとする。さらに、代表スコアの基準値が70であるとする。この場合、人物P2の代表スコアは集計対象から除外されるため、集計スコアは170(=80+90)となる。これは、「統計値等を算出する手法で決定された代表スコアが基準値未満である場合には、代表スコアに0が設定する」と見ることもできる。
【0121】
人物40の代表スコアは、集計期間におけるその人物40の注目スコアの時間変化の特徴に応じて決定されてもよい。例えば代表スコアは、注目スコアの時間変化が正の勾配を持つ期間における注目スコアと、注目スコアの時間変化の勾配が正から0になる時点における注目スコアとを利用して決定されるようにする。つまり集計部2080は、注目スコアの時間変化が正の勾配を持つ期間における注目スコアと、注目スコアの時間変化の勾配が正から0になる時点における注目スコアとを注目度が高い情報として特定する。言い換えれば、注目スコアの時間変化が負の勾配を持つ期間と、注目スコアの時間変化の勾配が負から0になる時点における注目スコアは、代表スコアの算出対象から除外するようにする。つまり集計部2080は、注目スコアの時間変化が負の勾配を持つ期間と、注目スコアの時間変化の勾配が負から0になる時点における注目スコアとを注目度が高い情報ではないとして特定する。
【0122】
図13は、代表スコアの決定方法について説明するための図である。図13のグラフは、集計期間Q1からQ4までについて、人物P1の注目スコアの時間変化を示す。横軸は時間を示し、縦軸は注目スコアを示す。
【0123】
図13の例において、人物40の代表スコアには、その人物40の注目スコアの時間変化が正の勾配を持つ期間におけるその人物40の各注目スコアと、その人物40の注目スコアの時間変化の勾配が正から0になる時点におけるその人物40の注目スコアとのうちの最大値が用いられるとする。また、代表スコアの基準値がSrであるとする。
【0124】
集計期間Q1において、人物P1の注目スコアは増加し続けており、その最大値はS1である。また、S1>Srである。そのため、集計期間Q1における人物P1の代表スコアはS1となる。
【0125】
集計期間Q2において、人物P1の注目スコアは、増加した後に減少しており、その最大値はS2である。また、S2>Srである。そのため、集計期間Q2における人物P1の代表スコアはS2となる。
【0126】
集計期間Q3において、人物P1の注目スコアは、減少した後に増加し、再度減少している。ここで、集計期間Q3における人物P1の注目スコアの最大値はS3である。しかしながら、人物P1の注目スコアがS3である時点は、人物P1の注目スコアが減少している期間、すなわち、人物P1の注目スコアの時間変化が負の勾配を持つ期間に含まれる。そのため、S3は代表スコアとして採用されない。
【0127】
集計期間Q3において、代表スコアの算出対象に含まれる期間は、時点t4からt5である。そして、時点t4からt5における人物P1の注目スコアの最大値はS4である。また、S4>Srである。そのため、集計期間Q3における人物P1の代表スコアはS4となる。
【0128】
集計期間Q4において、人物P1の注目スコアは、集計期間Q3と同様に、減少した後に増加し、再度減少している。集計期間Q4において、代表スコアの算出対象に含まれる期間は、時点t7からt8である。そして、時点t7からt8における人物P1の注目スコアの最大値はS5である。そのため、集計期間Q4における人物P1の代表スコアはS5である。
【0129】
しかしながら、S5は基準値Srより小さい。すなわち、集計期間Q4において、人物P1の代表スコアは基準値未満である。そのため、集計期間Q4において、人物P1は集計対象から除外される。別の表現としては、S5<Srであることから、集計期間Q4における人物P1の代表スコアには、S5ではなく0が設定される。
【0130】
集計期間が1である場合と同様に、集計部2080は、集計対象とする人物40の指定を受け付けてもよい。前述したように、集計対象は、特定の人物40を指定することによって行われてもよいし、人物40の属性を指定することで行われてもよい。
【0131】
<集計情報80の生成>
集計部2080は、注目情報50を用いて算出された集計スコアの履歴を表す集計情報80を生成する。図14は、集計情報80の構成を例示する図である。集計情報80は、時点82及び集計スコア84を示す。時点82は、集計スコアに対応する時点を示す。撮像画像20ごとに集計スコアが算出される場合、時点82は、例えば、撮像画像20の生成時点などを示す。2つ以上の撮像画像20が含まれる集計期間ごとに集計スコアが算出される場合、時点82は、例えば、集計期間を表す代表的な時点(例えば、集計期間の開始時点又は終了時点)を示す。集計スコア84は、集計スコアを示す。
【0132】
集計情報80は、注目スコアの集計に関するその他の情報をさらに示してもよい。例えば集計情報80は、各集計スコアについて、集計対象となった人物40の人数や、集計対象となった人物40の属性の値(年齢層や性別など)などをさらに示す。
【0133】
例えば集計部2080は、既に存在する集計情報80に、注目情報50を用いて新たに算出された1つ以上の集計スコアの情報を加えることで、集計情報80を生成する。まだ集計情報80が存在しない場合、例えば集計部2080は、空の集計情報80を生成し、注目情報50を用いて算出された1つ以上の集計スコアの情報をその集計情報80に加えることで、集計情報80を生成する。
【0134】
<集計情報80の利用方法>
集計情報80の利用方法は任意である。例えば対象物10において、時間と共に内容が変化する情報(映像や静止画像列など)が表示されるとする。この場合、注目情報生成装置2000は、集計情報80を利用して、対象物10に表示される情報の中から、周囲の人に注目される度合いが高い情報を特定する。例えば対象物10に広告が表示される場合、この処理により、対象物10に表示される広告の中から、宣伝効果の大きい部分が特定される。
【0135】
例えば注目情報生成装置2000は、集計情報80を利用して、集計スコアの時間変化の勾配が正になっており、かつ、集計スコアの値が代表スコアの基準値以上となっている期間を特定する。そして、対象物10に表示される情報のうち、上記特定した期間に含まれる部分を、人に注目される度合いが高い情報として特定する。
【0136】
[実施形態3]
<概要>
実施形態3の注目情報生成装置2000が利用される環境において、対象物10には、前述した単位情報が繰り返し表示される。注目情報生成装置2000は、撮像画像20に含まれる各人物40について注目スコアを算出し、算出した注目スコアを利用して注目情報50を生成する。この際、実施形態3の注目情報生成装置2000は、人物40が対象物10に視線を向けている時間の長さと、単位情報の表示周期とに基づいて、人物40の注目スコアを補正する。注目スコアの補正方法については、前述した通りである。
【0137】
一方で、実施形態3の注目情報生成装置2000は、人物40の注目状態を特定する処理を行わなくてもよい。そのため、実施形態3の注目情報生成装置2000における注目スコアの算出方法は、実施形態1の注目情報生成装置2000における注目スコアの算出方法と異なっていてもよい。例えば注目情報生成装置2000は、人物40が対象物10に顔を向けている時間にかかわらず、人物40が対象物10に視線を向けている時間の長さが長いほど大きくなるように、注目スコアを算出する。その他にも例えば、注目情報生成装置2000は、人物40の視線が対象物10を向いている状況において、人物40の視線方向の分布の範囲が狭いほど人物40の注目スコアが大きくなるように、注目スコアを算出してもよい。
【0138】
本実施形態の注目情報生成装置2000によれば、単位情報が対象物10に繰り返し表示される状況において、人物40が対象物10に視線を向けている時間と、単位情報の表示周期との関係に基づいて、人物40の注目スコアが補正される。こうすることで、単位情報が繰り返し表示される対象物10に対して人物40が視線を向け続けている場合において、人物40の注目スコアを適切に補正することができる。
【0139】
例えば前述したように、表示周期よりも長い時間、人物40が対象物10へ視線を向け続けている場合、その人物40は、対象物10がある方向へ視線を向けているだけで、対象物10に注目してはいない可能性がある。そこで、このような状況において人物40の注目スコアを小さくする補正を行うことで、対象物10に対する人物40の注目度合いをより正確に算出することができる。
【0140】
以下、本実施形態の注目情報生成装置2000について、より詳細に説明する。
【0141】
<機能構成の例>
図15は、実施形態3の注目情報生成装置2000の機能構成を例示するブロック図である。注目情報生成装置2000は、算出部2100、補正部2120、及び生成部2060を有する。算出部2100は、撮像画像20に含まれる各人物40について、注目スコアを算出する。算出部2100が各人物40について注目スコアを算出する方法は、特定部2020が各人物40について注目スコアを算出する方法とは異なってもよい。補正部2120は、人物40が対象物10へ視線を向けている時間の長さと、単位情報の表示周期とに基づいて、人物40の注目スコアを補正する。生成部2060は注目情報50を生成する。
【0142】
<ハードウエア構成の例>
実施形態3の注目情報生成装置2000のハードウエア構成は、実施形態1の注目情報生成装置2000のハードウエア構成と同様に、例えば図3で表される。ただし、実施形態3の注目情報生成装置2000のストレージデバイス508は、実施形態3の注目情報生成装置2000の各機能構成部を実現するプログラムを格納する。
【0143】
<処理の流れ>
図16は、実施形態3の注目情報生成装置2000によって実行される処理の流れを例示するフローチャートである。算出部2100は、撮像画像20を取得する(S302)。算出部2100が撮像画像20を取得する方法は、特定部2020が撮像画像20を取得する方法と同じである。算出部2100は、撮像画像20に含まれる各人物40について注目スコアを算出する(S304)。補正部2120は、注目スコアの補正を行う(S306)。生成部2060は、注目情報50を生成する(S308)。
【0144】
なお、実施形態3の注目情報生成装置2000は、実施形態2の注目情報生成装置2000と同様に、注目スコアの集計を行ってもよい。この場合、実施形態3の注目情報生成装置2000は、集計部2080をさらに有する。
【0145】
以上、実施の形態を参照して本開示の発明について説明をしたが、本開示の発明は、上記実施形態に限定されものではない。本開示の発明の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0146】
上記実施形態において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【符号の説明】
【0147】
10 対象物
20 撮像画像
30 カメラ
40 人物
50 注目情報
52 人物識別子
54 時点
56 注目スコア
60 履歴情報
62 人物識別子
64 時点
66 注目状態
70 マトリクス
80 集計情報
82 時点
84 集計スコア
500 コンピュータ
502 バス
504 プロセッサ
506 メモリ
508 ストレージデバイス
510 入出力インタフェース
512 ネットワークインタフェース
2000 注目情報生成装置
2020 特定部
2040 算出部
2060 生成部
2080 集計部
2100 算出部
2120 補正部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16