特開 2024-108069 モデル生成装置、視線推定システム、視線推定装置、モデル生成方法および視線推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024108069

(43)【公開日】2024-08-09

(54)【発明の名称】モデル生成装置、視線推定システム、視線推定装置、モデル生成方法および視線推定方法

(51)【国際特許分類】

   G06V 20/52 20220101AFI20240802BHJP

   G06T 7/00 20170101ALI20240802BHJP

【ＦＩ】

G06V20/52

G06T7/00 350B

G06T7/00 660Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023012354

(22)【出願日】2023-01-30

(71)【出願人】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100111383

【弁理士】

【氏名又は名称】芝野 正雅

(74)【代理人】

【識別番号】100170922

【弁理士】

【氏名又は名称】大橋 誠

(72)【発明者】

【氏名】大塚 崇明

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096FA69

5L096GA19

5L096HA13

5L096KA04

(57)【要約】

【課題】注視対象の位置変更に応じて、簡便に、判定モデルを生成して、人が注視対象を見たか否かを判定することが可能なモデル生成装置、視線推定システム、視線推定装置、モデル生成方法および視線推定方法を提供する。
【解決手段】モデル生成装置は、２次元領域７０を格子状に分割して得られる各々の参照領域７１に人３が視線を向けたときの、撮像画像上における人の状態に関する状態データを、参照領域７１ごとに複数の状態について予め保持する記憶部と、注視対象の範囲に含まれる参照領域７１の状態データに真値を設定し、その他の状態データに偽値を設定して学習データを構成し、構成した学習データにより機械学習モデルを学習させて判定モデルを生成する制御部と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定するための判定モデルを生成するモデル生成装置であって、
２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め保持する記憶部と、
前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成する制御部と、を備える、
ことを特徴とするモデル生成装置。

【請求項2】

請求項１に記載のモデル生成装置において、
前記記憶部は、前記撮像画像上の人から取得される、複数の人体部位の位置を示すキーポイントデータを、前記状態データとして記憶する、
ことを特徴とするモデル生成装置。

【請求項3】

請求項１に記載のモデル生成装置において、
前記制御部は、前記２次元領域上における前記注視対象の範囲を示す範囲情報を取得し、取得した前記範囲情報に基づいて、前記学習データを構成する、
ことを特徴とするモデル生成装置。

【請求項4】

請求項３に記載のモデル生成装置において、
前記判定モデルにより前記判定を実行する視線推定装置と外部通信網を介して通信するための通信部を備え、
前記制御部は、前記視線推定装置において前記２次元領域上に設定された前記注視対象の範囲を示す情報を、前記範囲情報として、前記通信部を介して前記視線推定装置から取得する、
ことを特徴とするモデル生成装置。

【請求項5】

請求項４に記載のモデル生成装置において、
前記視線推定装置は、
前記注視対象を注視させるための処理を実行して前記注視対象付近の人の視線を前記注視対象に誘導し、
当該誘導時において、前記注視対象付近の撮像画像から、当該撮像画像に含まれる人について前記状態データと同様のデータを真値の教師データとして取得し、
取得した前記教師データを前記モデル生成装置に送信し、
前記モデル生成装置の前記制御部は、
受信した前記教師データを用いて前記判定モデルをさらに学習させ、
学習後の前記判定モデルを、前記外部通信網を介して前記視線推定装置に送信する、
ことを特徴とするモデル生成装置。

【請求項6】

請求項１ないし５の何れか一項に記載のモデル生成装置と、
外部通信網を介して前記モデル生成装置と通信可能な視線推定装置と、を備え、
前記視線推定装置は、記憶部と、制御部とを備え、
前記視線推定装置の前記制御部は、
前記外部通信網を介して前記モデル生成装置から前記判定モデルを取得し、
取得した前記判定モデルを前記視線推定装置の前記記憶部に記憶させ、
前記注視対象付近の撮像画像を取得し、
取得した前記撮像画像上における人の状態に関する状態データを取得し、
取得した前記状態データを前記判定モデルに適用して前記判定を行う、
ことを特徴とする視線推定システム。

【請求項7】

請求項６に記載の視線推定システムにおいて、
前記視線推定装置の前記制御部は、
前記注視対象の範囲の設定を受け付け、
受け付けた前記注視対象の範囲を示す範囲情報を、前記外部通信網を介して前記モデル生成装置に送信し、
前記モデル生成装置の前記制御部は、
受信した前記範囲情報に基づいて、前記学習データを構成し、
構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成し、
生成した前記判定モデルを、前記外部通信網を介して前記視線推定装置に送信し、
前記視線推定装置の前記制御部は、
受信した前記判定モデルを前記視線推定装置の前記記憶部に記憶させ、
記憶した前記判定モデルを用いて前記判定を行う、
ことを特徴とする視線推定システム。

【請求項8】

請求項６に記載の視線推定システムにおいて、
前記視線推定装置の前記制御部は、
前記注視対象を注視させるための処理を実行して前記注視対象付近の人の視線を前記注視対象に誘導し、
当該誘導時において、前記注視対象付近の撮像画像から、当該撮像画像に含まれる人について前記状態データと同様のデータを真値の教師データとして取得し、
取得した前記教師データを前記モデル生成装置に送信し、
前記モデル生成装置の前記制御部は、
受信した前記教師データを用いて前記判定モデルをさらに学習させ、
学習後の前記判定モデルを、前記外部通信網を介して前記視線推定装置に送信する、
ことを特徴とする視線推定システム。

【請求項9】

注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定モデルにより判定する視線推定装置であって、
前記判定モデルを記憶する記憶部と、
制御部と、を備え、
前記判定モデルは、
２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め準備し、
前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、
構成した前記学習データにより機械学習モデルを学習させることにより生成され、
前記制御部は、
前記注視対象付近の撮像画像を取得し、取得した前記撮像画像上における人の状態に関する状態データを取得し、取得した前記状態データを前記判定モデルに適用して前記判定を行う、
ことを特徴とする視線推定装置。

【請求項10】

注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定するための判定モデルを生成するモデル生成方法であって、
２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め保持し、
前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、
構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成する、
ことを特徴とするモデル生成方法。

【請求項11】

注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定モデルにより判定する視線推定方法であって、
前記判定モデルの生成において、
２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め保持し、
前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、
構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成し、
前記注視対象に人が視線を向けたか否かの判定において、
前記注視対象付近の撮像画像を取得し、
取得した前記撮像画像上における人の状態に関する状態データを取得し、
取得した前記状態データを前記判定モデルに適用して前記判定を行う、
ことを特徴とする視線推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、注視対象に人が視線を向けたか否かを判定するための判定モデルを生成するモデル生成装置およびモデル生成方法、並びに、当該判定モデルを用いて当該判定を行う視線推定システム、視線推定装置および視線推定方法に関する。

【背景技術】

【0002】

近年、デジタルサイネージ等の広告に対する商業的効果を確認する要求が高まっている。この場合、まずは、広告付近の人がその広告を見たか否かを判定する必要がある。この判定方法として、広告付近の空間をカメラで撮像した撮像画像を用いる方法が知られている。また、判定精度をより高めるために、機械学習による判定モデルを用いて人の視線を推定する方法が提案されている。たとえば、以下の特許文献１には、目を含む部分画像をニューラルネットワークの入力層に入力して、人の視線を判定する方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－０２８８４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

広告等の注視対象は、その位置が適宜変更されることが想定され得る。これに対し、上記のように、機械学習による判定モデルを用いて広告等の注視対象を人が見たか否かを判定する方法では、注視対象の位置が変更されるごとに、一から判定モデルを作り直す必要がある。このため、注視対象の位置変更に応じて、より簡便に、判定モデルを生成する方法が望まれる。

【0005】

かかる課題に鑑み、本発明は、注視対象の位置変更に応じて、簡便に、判定モデルを生成して、人が注視対象を見たか否かを判定することが可能なモデル生成装置、視線推定システム、視線推定装置、モデル生成方法および視線推定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定するための判定モデルを生成するモデル生成装置に関する。この態様に係るモデル生成装置は、２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め保持する記憶部と、前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成する制御部と、を備える。

【0007】

本態様に係るモデル生成装置によれば、参照領域ごとに複数の状態について状態データが予め保持されているため、注視対象の位置が変更された場合には、新たに設定された注視対象の範囲に含まれる参照領域の状態データに真値を設定し、その他の状態データに偽値を設定することで、新たに設定された注視対象に対する学習データを構成できる。このため、注視対象の位置変更に応じて、極めて簡便に、学習データを構成でき、結果、判定モデルを簡便に生成できる。

【0008】

本態様に係るモデル生成装置において、前記記憶部は、前記撮像画像上の人から取得される、複数の人体部位の位置を示すキーポイントデータを、前記状態データとして記憶するよう構成され得る。

【0009】

この構成によれば、たとえば、撮像画像に人の顔全体が含まれていなくても、両肩の位置や、鼻および耳の位置等の複数種類のキーポイントデータにより、各々の参照領域に視線が向けられているかを特定できる。よって、上記のように、判定モデルが扱う状態データにキーポイントデータを用いることにより、撮像画像に人の顔が完全に含まれていなくても、判定モデルの機械学習を精度良く行うことができ、また、学習後の判定モデルを用いて当該人が注視対象を見ているか否かを適正に判定できる。

【0010】

本態様に係るモデル生成装置において、記制御部は、前記２次元領域上における前記注視対象の範囲を示す範囲情報を取得し、取得した前記範囲情報に基づいて、前記学習データを構成するよう構成され得る。

【0011】

この構成によれば、取得した範囲情報の範囲に参照領域が含まれるか否かに基づき、各々の参照領域の状態データに真値または偽値を円滑に設定できる。

【0012】

この場合、モデル生成装置は、前記判定モデルにより前記判定を実行する視線推定装置と外部通信網を介して通信するための通信部を備え、前記制御部は、前記視線推定装置において前記２次元領域上に設定された前記注視対象の範囲を示す情報を、前記範囲情報として、前記通信部を介して前記視線推定装置から取得するよう構成され得る。

【0013】

この構成によれば、視線推定装置側において、注視対象の位置が変更され、注視対象の範囲が新たに設定された場合に、制御部は、新たに設定された注視対象の範囲を示す情報を新たな範囲情報として視線推定装置から取得することで、各々の参照領域の状態データに、新たな注視対象の位置に応じた真値または偽値を設定できる。よって、新たな注視対象の位置に応じた学習データを円滑に構成できる。

【0014】

この構成において、前記視線推定装置は、前記注視対象を注視させるための処理を実行して前記注視対象付近の人の視線を前記注視対象に誘導し、当該誘導時において、前記注視対象付近の撮像画像から、当該撮像画像に含まれる人について前記状態データと同様のデータを真値の教師データとして取得し、取得した前記教師データを前記モデル生成装置に送信し、前記制御部は、受信した前記教師データを用いて前記判定モデルをさらに学習させ、学習後の前記判定モデルを、前記外部通信網を介して前記視線推定装置に送信するよう構成され得る。

【0015】

この構成によれば、視線推定装置から受信した教師データを用いて、判定モデルがさらに学習される。よって、判定モデルの判定精度をさらに高めることができ、学習後の判定モデルを視線推定装置に提供することで、視線推定装置における判定をより高精度に行うことができる。

【0016】

本発明の第２の態様は視線推定システムに関する。この態様に係る視線推定システムは、上記第１の態様に係るモデル生成装置と、外部通信網を介して前記モデル生成装置と通信可能な視線推定装置と、を備える。前記視線推定装置は、記憶部と、制御部とを備える。前記視線推定装置の前記制御部は、前記外部通信網を介して前記モデル生成装置から前記判定モデルを取得し、取得した前記判定モデルを前記視線推定装置の前記記憶部に記憶させ、前記注視対象付近の撮像画像を取得し、取得した前記撮像画像上における人の状態に関する状態データを取得し、取得した前記状態データを前記判定モデルに適用して前記判定を行う、制御部を備える。

【0017】

本態様に係る視線推定システムによれば、第１の態様に係るモデル生成装置を備えるため、上記第１の態様と同様、注視対象の位置変更に応じて、極めて簡便に、学習データを構成でき、判定モデルを簡便に生成できる。また、視線推定装置側では、モデル生成装置から提供された判定モデルを用いることにより、撮像画像に含まれる人が注視対象を見ているか否かを高精度に判定できる。

【0018】

本態様に係る視線推定システムにおいて、前記視線推定装置の前記制御部は、前記注視対象の範囲の設定を受け付け、受け付けた前記注視対象の範囲を示す範囲情報を、前記外部通信網を介して前記モデル生成装置に送信するよう構成され得る。また、前記モデル生成装置の前記制御部は、受信した前記範囲情報に基づいて、前記学習データを構成し、構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成し、生成した前記判定モデルを、前記外部通信網を介して前記視線推定装置に送信するよう構成され得る。さらに、前記視線推定装置の前記制御部は、受信した前記判定モデルを前記視線推定装置の前記記憶部に記憶させ、記憶した前記判定モデルを用いて前記判定を行うよう構成され得る。

【0019】

この構成によれば、視線推定装置の使用者は、注視対象の位置変更に応じて、２次元領域上における新たな注視対象の範囲を視線推定装置に設定できる。また、モデル生成装置は、この設定に応じて、新たな注視対象の範囲を取得でき、取得した新たな注視対象の範囲に基づき、新たな注視対象の位置に応じた判定モデルを簡便に生成できる。さらに、視線推定装置は、新たに生成された判定モデルを円滑に受信して、新たな注視対象の位置に適する判定を行うことができる。よって、注視対象の位置変更に応じて、新たな判定モデルの生成と受け渡しを円滑に行うことができ、この判定モデルを用いて、撮像画像上の人が注視対象を見ているか否かを精度良く判定できる。

【0020】

この構成において、前記視線推定装置の前記制御部は、前記注視対象を注視させるための処理を実行して前記注視対象付近の人の視線を前記注視対象に誘導し、当該誘導時において、前記注視対象付近の撮像画像から、当該撮像画像に含まれる人について前記状態データと同様のデータを真値の教師データとして取得し、取得した前記教師データを前記モデル生成装置に送信し、前記モデル生成装置の前記制御部は、受信した前記教師データを用いて前記判定モデルをさらに学習させ、学習後の前記判定モデルを、前記外部通信網を介して前記視線推定装置に送信するよう構成され得る。

【0021】

この構成によれば、視線推定装置側において円滑に教師データを生成でき、モデル生成装置側では、視線推定装置から提供される教師データを用いて判定モデルにさらなる機械学習を実行できる。よって、判定モデルを高精度化でき、高精度化された判定モデルを用いて、撮像画像上の人が注視対象を見ているか否かをより精度良く判定できる。

【0022】

本発明の第３の態様は、注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定モデルにより判定する視線推定装置に関する。この態様に係る視線推定装置は、前記判定モデルを記憶する記憶部と、制御部とを備える。ここで、前記判定モデルは、２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め準備し、前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、構成した前記学習データにより機械学習モデルを学習させることにより生成される。前記制御部は、前記注視対象付近の撮像画像を取得し、取得した前記撮像画像上における人の状態に関する状態データを取得し、取得した前記状態データを前記判定モデルに適用して前記判定を行う。

【0023】

本態様に係る視線推定装置によれば、上記第１の態様と同様の方法で判定モデルが生成されるため、撮像画像上の人が注視対象を見ているか否かを精度良く判定できる。

【0024】

本発明の第４の態様は、注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定するための判定モデルを生成するモデル生成方法に関する。この態様に係るモデル生成方法は、２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め保持し、前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成する。

【0025】

本態様に係るモデル生成方法によれば、上記第１の態様と同様の効果が奏され得る。

【0026】

本発明の第５の態様は、注視対象付近の撮像画像から前記撮像画像に含まれる人が前記注視対象に視線を向けたか否かを判定モデルにより判定する視線推定方法に関する。この態様に係る視線推定方法は、前記判定モデルの生成において、２次元領域を格子状に分割して得られる各々の参照領域に人が視線を向けたときの、前記撮像画像上における前記人の状態に関する状態データを、前記参照領域ごとに複数の状態について予め保持し、前記注視対象の範囲に含まれる前記参照領域の前記状態データに真値を設定し、その他の前記状態データに偽値を設定して学習データを構成し、構成した前記学習データにより機械学習モデルを学習させて前記判定モデルを生成し、前記注視対象に人が視線を向けたか否かの判定において、前記注視対象付近の撮像画像を取得し、取得した前記撮像画像上における人の状態に関する状態データを取得し、取得した前記状態データを前記判定モデルに適用して前記判定を行う。

【0027】

本態様に係るモデル生成方法によれば、上記第２の態様と同様の効果が奏され得る。

【発明の効果】

【0028】

以上のとおり、本発明によれば、注視対象の位置変更に応じて、簡便に、判定モデルを生成して、人が注視対象を見たか否かを判定することが可能なモデル生成装置、視線推定システム、視線推定装置、モデル生成方法および視線推定方法を提供することができる。

【0029】

本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。

【図面の簡単な説明】

【0030】

【図1】図１は、実施形態に係る、視線推定システムの構成を示す図である。

【図2】図２は、実施形態に係る、視線推定システムを構成する視線推定装置およびモデル生成装置の構成を示すブロック図である。

【図3】図３は、実施形態に係る、モデル生成装置の記憶部における各種データの管理状態を示す図である。

【図4】図４は、実施形態に係る、状態データセットの生成に用いる２次元領域の構成を模式的に示す斜視図である。

【図5】図５（ａ）～（ｆ）は、それぞれ実施形態に係る、状態データセットの生成方法を模式的に示す図である。

【図6】図６（ａ）～（ｆ）は、それぞれ実施形態に係る、状態データセットの生成方法を模式的に示す図である。

【図7】図７は、実施形態に係る、モデル生成装置の記憶部に記憶される状態データセットの構成を示す図である。

【図8】図８は、実施形態に係る、学習データの生成方法を模式的に示す図である。

【図9】図９は、実施形態に係る、学習データの生成方法を模式的に示す図である。

【図10】図１０は、実施形態に係る、学習データの構成を示す図である。

【図11】図１１（ａ）、（ｂ）は、実施形態に係る、学習データを用いた学習処理を模式的に示す図である。

【図12】図１２は、実施形態に係る、判定モデルを用いた判定処理を模式的に示す図である。

【図13】図１３（ａ）は、実施形態に係る、判定モデルの生成処理を示すフローチャートである。図１３（ｂ）は、実施形態に係る、判定モデルを用いた判定処理を示すフローチャートである。

【図14】図１４（ａ）は、実施形態に係る、教師データの生成処理を示すフローチャートである。図１４（ｂ）は、実施形態に係る、教師データを用いた判定モデルの更新処理を示すフローチャートである。

【図15】図１５は、変更例に係る、カメラと２次元領域の位置関係を模式的に示す斜視図である。

【発明を実施するための形態】

【0031】

以下、本発明の実施形態について図面を参照して説明する。

【0032】

図１は、視線推定システム１の構成を示す図である。

【0033】

視線推定システム１は、カメラ２０と、視線推定装置３０と、モデル生成装置４０とを備える。カメラ２０と視線推定装置３０は、通信線により通信可能に接続されている。カメラ２０と視線推定装置３０とが無線で通信を行ってもよい。視線推定装置３０は、外部通信網６０を介して、モデル生成装置４０と通信可能である。外部通信網６０は、たとえばインターネットである。さらに、外部通信網６０には、データ収集装置５０が接続されている。視線推定装置３０は、外部通信網６０を介して、データ収集装置５０とも通信可能である。

【0034】

視線推定装置３０は、広告装置１０付近の人が、広告装置１０の表示領域１１（注視対象）に視線を向けたか否かを判定する。視線推定装置３０は、モデル生成装置４０によって生成された判定モデルとカメラ２０からの撮像画像とを用いて、この判定を行う。モデル生成装置４０は、後述の学習データにより機械学習モデルを学習させて判定モデルを生成し、生成した判定モデルを、外部通信網６０を介して視線推定装置３０に送信する。視線推定装置３０は、受信した判定モデルを記憶し、当該判定モデルを用いて上述の判定を行う。

【0035】

広告装置１０は、たとえば、デジタルサイネージである。広告装置１０は、図示しない制御装置からの制御により、所定の広告画面を表示領域１１に表示させる。制御装置は、視線推定装置３０に通信可能に接続されている。視線推定装置３０は、制御装置を介して、広告装置１０に表示される画像を制御可能である。視線推定装置３０が直接、広告装置１０に接続されてもよい。この場合、視線推定装置３０が、広告装置１０の制御装置として共用されてもよい。

【0036】

広告装置１０の上面にカメラ２０が設置されている。ここでは、カメラ２０が、広告装置１０の上面の幅方向中央位置に固定され、広告装置１０に一体化されている。カメラ２０は、広告装置１０と同じ方向を向いている。したがって、カメラ２０は、広告装置１０の前方付近にいる人を広告装置１０側から撮像する。

【0037】

カメラ２０により撮像された撮像画像は、随時、視線推定装置３０に送信される。視線推定装置３０は、受信した１フレーム分の撮像画像から、当該撮像画像上における人の状態に関する状態データを取得する。状態データは、たとえば、撮像画像上の人から取得される、複数の人体部位の位置を示すキーポイントデータである。キーポイントデータは、撮像画像上の当該人の画像範囲に骨格推定エンジンを適用することにより取得される。但し、状態データは、これに限られるものではない。たとえば、状態データが、当該撮像画像上の当該人の画像そのものであってもよい。

【0038】

視線推定装置３０は、取得した状態情報を判定モデルに適用して、当該人が、広告装置１０の表示領域１１に視線を向けたか否かを判定する。視線推定装置３０は、この判定結果を、当該人の状態情報とともに、データ収集装置５０に送信する。視線推定装置３０は、たとえば、パーソナルコンピュータによって構成される。この場合、視線推定のためのアプリケーションプログラムをパーソナルコンピュータにインストールすることで、視線推定装置３０が構成される。但し、これに限らず、視線推定装置３０が専用機であってもよい。

【0039】

モデル生成装置４０は、たとえば、サーバにより構成される。判定モデル生成のためのアプリケーションプログラムをサーバにインストールすることで、モデル生成装置４０が構成される。モデル生成装置４０における判定モデルの生成方法については、追って、図４～図１１（ｂ）を参照して説明する。

【0040】

データ収集装置５０は、たとえば、サーバにより構成される。データ収集装置５０は、視線推定装置３０から上述の判定結果および状態情報を収集し、収集したこれらの情報から、広告装置１０を見た人の数や頻度等を集計する。

【0041】

なお、図１には、広告装置１０、カメラ２０および視線推定装置３０の組が１つだけ示されているが、実際は、互いに異なる位置に設置された複数の広告装置１０ごとに、この組が成立する。モデル生成装置４０は、組ごとに判定モデルを生成して各々の視線推定装置３０に提供する。また、データ収集装置５０は、各組からの判定結果および状態情報を収集し、収集した情報から、組ごとに、広告装置１０を見た人の数や頻度等を集計する。

【0042】

図２は、視線推定システム１を構成する視線推定装置３０およびモデル生成装置４０の構成を示すブロック図である。

【0043】

視線推定装置３０は、制御部３１と、記憶部３２と、表示部３３と、入力部３４と、通信部３５とを備える。制御部３１は、ＣＰＵ等の演算処理回路を備え、記憶部３２に記憶されたプログラムにより各部を制御する。記憶部３２は、ＲＯＭ、ＲＡＭ、ハードディスク等のメモリを備え、上記プログラムを記憶する。表示部３３は、液晶パネル等の表示器を備え、制御部３１からの制御により所定の画面を表示する。入力部３４は、キーボードやマウス等の入力手段を有する。通信部３５は、制御部３１からの制御により、カメラ２０、モデル生成装置４０およびデータ収集装置５０と通信を行う。

【0044】

モデル生成装置４０は、制御部４１と、記憶部４２と、通信部４３とを備える。制御部４１は、ＣＰＵ等の演算処理回路を備え、記憶部４２に記憶されたプログラムにより各部を制御する。記憶部４２は、ＲＯＭ、ＲＡＭ、ハードディスク等のメモリを備え、上記プログラムを記憶する。この他、記憶部３２は、判定モデルの生成に必要な各種データを記憶する。

【0045】

図３は、モデル生成装置４０の記憶部４２における各種データの管理状態を示す図である。

【0046】

記憶部４２には、ユーザ管理情報４２１と、状態データセット４２２と、範囲情報４２３と、学習データ４２４と、教師データ４２５と、判定モデル４２６とが記憶されている。範囲情報４２３、学習データ４２４、教師データ４２５、および判定モデル４２６は、ユーザＵ１、Ｕ２ごとに管理されている。ユーザＵ１、Ｕ２は、広告装置１０、カメラ２０および視線推定装置３０の組をそれぞれ管理する店舗等である。図３には、ユーザＵ１、Ｕ２が示されているが、他のユーザについても同様に、範囲情報４２３、学習データ４２４、教師データ４２５、および判定モデル４２６が管理されている。

【0047】

ユーザ管理情報４２１は、ユーザを管理するための情報であり、ユーザＩＤや、当該ユーザの視線推定装置３０を識別するための装置ＩＤおよび当該装置と通信を行うためのアドレス情報等を含む。

【0048】

状態データセット４２２は、学習データを生成するための状態データのデータセットである。状態データセット４２２の各状態データは、図１の視線推定装置３０において扱われる状態データと同種のデータである。すなわち、視線推定装置３０が視線判定に用いる状態データがキーポイントデータである場合、状態データセット４２２の状態データもキーポイントデータである。状態データセット４２２に生成方法については、追って、図４ないし図７を参照して説明する。

【0049】

範囲情報４２３は、広告装置１０の表示領域１１等、注視対象の範囲を示す情報である。範囲情報４２３については、追って、図８および図９を参照して説明する。

【0050】

学習データ４２４は、判定モデル４２６の学習に用いるデータである。学習データ４２４は、状態データセット４２２と範囲情報４２３とを用いて生成される。学習データ４２４の生成方法については、追って、図８ないし図１０を参照して説明する。

【0051】

教師データ４２５は、各々のユーザの視線推定装置３０から提供され、判定モデル４２６の学習に用いるデータである。教師データ４２５の生成方法および取得方法については、追って、図１４（ａ）、（ｂ）を参照して説明する。

【0052】

判定モデル４２６は、注視対象付近の人が注視対象を見たか否かを判定するための機械学習モデルである。判定モデル４２６は、機械学習モデルを学習データ４２４で学習させて生成される。生成された判定モデル４２６は、さらに、ユーザ側の視線推定装置３０から提供された教師モデルにより学習されて更新される。判定モデル４２６の学習方法については、追って、図１１（ａ）、（ｂ）を参照して説明する。

【0053】

ユーザごとに生成および更新された判定モデル４２６は、図１の外部通信網６０を介して、ユーザ側の視線推定装置３０に送信される。視線推定装置３０は、受信した判定モデル４２６を記憶し、記憶した判定モデル４２６を用いて、注視対象付近の人が注視対象を見たか否かを判定する。上記のように、判定結果は、状態データとともにデータ収集装置５０に送信される。

【0054】

なお、図３では、ユーザＵ１、Ｕ２ごとに、範囲情報４２３、学習データ４２４、教師データ４２５および判定モデル４２６が管理されているが、１ユーザが、広告装置１０とカメラ２０の組合せを複数設置する場合、当該ユーザについては、これらの組合せごとに、範囲情報４２３、学習データ４２４、教師データ４２５および判定モデル４２６が管理される。

【0055】

図４は、状態データセット４２２の生成に用いる２次元領域７０の構成を模式的に示す斜視図である。

【0056】

図４には、通路２に面して広告装置１０が設置された状態が示されている。便宜上、図４には、互いに直交するＸＹＺ軸が示されている。Ｘ軸方向は、通路２に沿う方向であり、Ｙ軸方向は通路２の幅方向である。Ｚ軸正方向は、鉛直上向き方向である。図４の例では、３人の人３が、通路２をＸ軸正方向に歩いている。

【0057】

図４に示すように、状態データセット４２２の生成において、仮想平面である２次元領域７０が、注視対象である広告装置１０の付近に設定される。ここでは、２次元領域７０は、Ｘ－Ｚ平面に平行に設定されている。２次元領域７０は、カメラ２０の撮像方向Ｄ１（撮像視野の中心軸方向）に対して所定の位置関係となるように設定される。ここでは、カメラ２０の撮像方向Ｄ１は、Ｙ軸正方向であり、２次元領域７０は、カメラ２０の撮像方向Ｄ１に垂直となるように設定される。２次元領域７０は、広告装置１０の表示領域１１と実質的に平行である。２次元領域７０の中心は、カメラ２０の撮像視野の中心軸に一致している。

【0058】

２次元領域７０は、Ｘ軸方向（水平方向）およびＺ軸方向（鉛直方向）にそれぞれ所定の広さを有する。ここでは、２次元領域７０は、Ｘ軸方向に平行な長辺を有する長方形である。但し、２次元領域７０の設定方法は、図４に示した設定方法に限られるものではない。たとえば、２次元領域７０が正方形であってもよい。２次元領域７０は、広告装置１０の表示領域１１とともに、その他の注視対象が配置されると想定され得る範囲をカバーするように設定されればよい。

【0059】

２次元領域７０が格子状に分割されて、複数の参照領域７１が設定される。図４の例では、２次元領域７０が、Ｘ軸方向（水平方向）およびＺ軸方向（鉛直方向）に同じピッチで格子状に分割されている。ただし、２次元領域７０を格子状に分割する方法は、これに限られるものではない。たとえば、Ｘ軸方向における２次元領域７０の分割ピッチと、Ｚ軸方向における２次元領域７０の分割ピッチとが、異なっていてもよい。

【0060】

カメラ２０は、２次元領域７０に設定された各々の参照領域７１を人３が見たときの人３の状態を撮像可能に配置されればよい。すなわち、カメラ２０は、撮像方向Ｄ１と２次元領域７０との位置関係が固定された状態で、２次元領域７０付近の人３を撮像可能に配置されればよい。

【0061】

図５（ａ）～（ｆ）および図６（ａ）～（ｆ）は、状態データセット４２２の生成方法を模式的に示す図である。

【0062】

状態データセット４２２は、各々の参照領域７１に人が視線を向けたときの、撮像画像上における人の状態に関する状態データを、参照領域７１ごとに複数の状態について集めたデータセットである。

【0063】

図５（ａ）～（ｆ）には、２次元領域７０の左上の角（原点）から３行目および３列目にある参照領域７１ａに人３が視線を向けたときの人３の状態を、Ｙ軸正側から見たときの様子が示されている。図５（ａ）～（ｆ）では、人３の鼻３ａが向く方向に矢印が付されている。図５（ｄ）～（ｆ）では、図５（ａ）～（ｃ）よりも人３がＹ軸正側にいるため、人３の範囲が大きくなっている。

【0064】

この場合、参照領域７１ａに対して、６つの状態データが取得される。上記のように状態データがキーポイントデータである場合、図５（ａ）～（ｆ）の状態において、それぞれキーポイントデータが取得され、取得されたキーポイントデータが、参照領域７１ａに紐づけられる。

【0065】

ここで、キーポイントデータは、たとえば、撮像画像上における以下の人体部位（キーポイント）の座標位置（画素位置）として取得される。

【0066】

＜キーポイント＞
骨格中心（左右の肩間の中央）、左足首、右足首、左耳、右耳、左ひじ、右ひじ、左目、右目、左もも、右もも、左ひざ、右ひざ、首、鼻、左肩、右肩、左手首、右手首、口角左、口角右

【0067】

キーポイントデータの取得には、カメラ２０と２次元領域７０との関係を図４と同様の関係に設定した環境下で、カメラ２０の撮像視野内の様々な位置において、人が様々な姿勢で参照領域７１ａを見たときの撮像画像を実際に取得し、取得した各々の撮像画像を骨格推定エンジンに適用して、撮像画像における各キーポイントの座標位置（画素位置）を抽出する方法が用いられ得る。

【0068】

あるいは、キーポイントデータをバーチャル空間で抽出可能な抽出エンジンを用いて、人が参照領域７１ａを見たときのキーポイントデータが取得されてもよい。この種の抽出エンジンが既に種々開発され利用可能となっている。バーチャル空間には、予め上記キーポイントが付された仮想の人体モデルが含まれる。操作者は、この人体モデルの位置および姿勢を任意に変更できる。このバーチャル空間に、図４と同様の関係でカメラ２０の撮像視野と２次元領域７０とが設定される。操作者は、２次元領域７０の各々の参照領域７１に人体モデルの視線を向けることができる。また、操作者は、そのときの人体モデルのキーポイントの、カメラ２０の撮像画像上における座標位置を抽出エンジンに抽出させ得る。

【0069】

この場合、操作者は、図５（ａ）～（ｆ）のように、人３に対応する人体モデルの視線を参照領域７１ａに設定しつつ、人体モデルの位置および姿勢を変化させる操作を行った上で、キーポイントデータを抽出する操作を行う。これにより、それぞれの位置および姿勢に応じたキーポイントデータが取得される。取得されたキーポイントデータは、参照領域７１ａに紐付けられる。

【0070】

図６（ａ）～（ｆ）の場合も、上記と同様、実際の撮像またはバーチャル空間に基づく抽出エンジンを用いて、人３が参照領域７１ｂを見たときの状態データが取得され、参照領域７１ｂに紐付けられる。参照領域７１ａ、７１ｂ以外の参照領域７１についても、上記と同様の方法により、複数の状態データが取得され、各々の参照領域７１に紐付けられる。

【0071】

なお、図５（ａ）～（ｆ）および図６（ａ）～（ｆ）には、それぞれ、参照領域７１ａ、７１ｂを見たときの人の状態が６種類ずつ示されているが、状態データセット４２２において１つの参照領域７１に紐付けられる実際の状態データは、６つより多く設定される。後述の機械学習の観点からは、各々の参照領域７１に紐付けられる状態データの数は、なるべく多い方が好ましい。

【0072】

図７は、モデル生成装置４０の記憶部４２に記憶される状態データセット４２２の構成を示す図である。

【0073】

状態データセット４２２は、上記のとおり、各々の参照領域７１に複数の状態データが紐付けられて構成される。図７の例では、各々の参照領域７１にｍ個の状態データが紐付けられている。図７では、各々の参照領域７１に付された番号が括弧書きで示されている。参照領域７１の番号は、たとえば、２次元領域７０の左上の角の参照領域７１を原点（番号１）として、２次元領域７０の右下の角の参照領域７１（番号ｎ）まで行方向および列方向に順番に付される。

【0074】

たとえば、１番目の参照領域（１）には、Ｄ１＿１～Ｄ１＿ｍのｍ個の状態データが紐付けられている。上記のとおり、状態データＤ１＿１～Ｄ１＿ｍは、参照領域（１）を人が見たときの当該人の状態（位置および姿勢）を示すデータである。上記のとおり、状態データＤ１＿１～Ｄ１＿ｍは、それぞれ、複数の人体部位（キーポイント）の撮像画像上における座標位置を示すキーポイントデータからなっている。

【0075】

状態データセット４２２は、モデル生成装置４０とは別の装置によって生成されて、モデル生成装置４０にインストールされてよい。あるいは、モデル生成装置４０自体が状態データセット４２２を生成する機能を有していてもよい。

【0076】

この場合、たとえば、上述のバーチャル空間に配置された人体モデルを用いてキーポイントデータを抽出するための抽出エンジンが、モデル生成装置４０にインストールされる。モデル生成装置４０の管理者は、モデル生成装置４０に接続された表示部および入力部（図示せず）を用いて抽出エンジンを実行し、上記の操作により、状態データセット４２２を生成すればよい。

【0077】

なお、図７の例では、各々の参照領域７１に紐付けられる状態データの数が等しく設定されたが、各々の参照領域７１に紐付けられる状態データの数が互いに異なっていてもよい。

【0078】

図８は、図３に示した学習データ４２４の生成方法を模式的に示す図である。

【0079】

学習データ４２４は、上述の状態データセット４２２のうち、２次元領域７０において注視対象の範囲に対応する参照領域７１の状態データに真値を設定し、その他の参照領域７１に偽値を設定することにより生成される。図８の例では、広告装置１０の表示領域１１が注視対象であるため、表示領域１１に少なくとも一部が掛かる参照領域７１に対応する状態データに真値が設定され、その他の参照領域７１に対応する状態データには偽値が設定される。より詳細には、図８において斜線が付された領域Ｒ１に含まれる２０個の参照領域７１に対応する状態データには真値が設定され、その他の参照領域７１に対応する状態データには偽値が設定される。

【0080】

なお、注視対象は、広告装置１０の表示領域１１に限られるものではない。たとえば、図９のように、２次元領域７０にさらに広告媒体４が含まれる場合は、さらに、この広告媒体４が注視対象に設定されてもよい。この場合も、広告装置１０の場合と同様、広告媒体４の領域に少なくとも一部が掛かる参照領域７１に対応する状態データに真値が設定され、その他の参照領域７１に対応する状態データには偽値が設定される。より詳細には、図９において斜線が付された領域Ｒ２に含まれる１２個の参照領域７１に対応する状態データには真値が設定され、その他の参照領域７１に対応する状態データには偽値が設定される。

【0081】

モデル生成装置４０の制御部４１は、２次元領域７０上における注視対象の範囲を示す範囲情報４２３を取得し、取得した範囲情報４２３に基づいて、学習データ４２４を構成する。本実施形態では、上記のように、カメラ２０が広告装置１０の所定の位置に設置されているため、表示領域１１（注視対象）と２次元領域７０との間の位置関係は、固定される。このため、２次元領域７０上における、この注視対象（表示領域１１）の範囲も固定され、領域Ｒ１に含まれる参照領域７１も予め固定される。

【0082】

したがって、モデル生成装置４０の記憶部４２には、２次元領域７０上における表示領域１１（注視対象）の範囲を示す範囲情報４２３として固定の情報が予め保持されればよい。この場合、モデル生成装置４０の制御部４１は、広告装置１０の表示領域１１に対応する範囲の範囲情報４２３を、記憶部４２から取得すればよい。

【0083】

他方、図９の広告媒体４は、視線推定装置３０側のユーザが任意に設置するものであるため、モデル生成装置４０側では、その範囲を把握できない。このため、２次元領域７０上における広告媒体４の範囲は、視線推定装置３０側のユーザが、視線推定装置３０を介してモデル生成装置４０に提供する必要がある。

【0084】

この場合、たとえば、視線推定装置３０の表示部３３に、広告媒体４の範囲を設定するための入力画面が表示される。たとえば、この入力画面には、図８と同様、広告装置１０を正面から見たときの２次元領域７０および参照領域７１と、広告装置１０の表示領域１１に対応する領域Ｒ１とが表示される。視線推定装置３０のユーザは、この入力画面において、広告媒体４に対応する範囲を、入力部３４を操作して指定する。これにより、視線推定装置３０の制御部３１は、２次元領域７０上における、指定された範囲を示す範囲情報４２３を、新たな注視対象（広告媒体４）の識別情報とともに、モデル生成装置４０に送信する。

【0085】

こうして、モデル生成装置４０の制御部４１は、２次元領域７０上における広告媒体４の範囲を、受信した範囲情報４２３から把握する。そして、制御部４１は、広告装置１０の場合と同様、広告媒体４の範囲に対応する参照領域７１に対応する状態データに真値を設定し、その他の参照領域７１に対応する状態データに偽値を設定する。これにより、図９の例に対する学習データ４２４が生成される。

【0086】

図１０は、学習データ４２４の構成を示す図である。

【0087】

上記のように、学習データ４２４は、各々の参照領域７１の状態データに真値または偽値が設定されて構成される。ここで、図９のように注視対象（表示領域１１、広告媒体４）が２つある場合、注視対象ごとに真値または偽値が設定される。図１０には、この場合の学習データ４２４の構成例が示されている。この構成例において、注視対象（１）は表示領域１１であり、注視対象（２）は広告媒体４である。

【0088】

注視対象（１）（広告装置１０の表示領域１１）については、注視対象（１）の範囲に含まれる参照領域７１の状態データに真値が設定され、それ以外の参照領域７１の状態データには偽値が設定される。注視対象（２）（広告媒体４）については、注視対象（２）の範囲に含まれる参照領域７１の状態データに真値が設定され、それ以外の参照領域７１の状態データには偽値が設定される。

【0089】

図８のように注視対象が１つだけである場合、注視対象（１）のみについて、真値または偽値がそれぞれの参照領域７１の状態データに設定される。３つ以上の注視対象が２次元領域７０に設定された場合は、注視対象ごとに、真値または偽値がそれぞれの参照領域７１の状態情報に設定される。

【0090】

図１１（ａ）、（ｂ）は、学習データ４２４を用いた学習処理を模式的に示す図である。

【0091】

本実施形態では、機械学習として、ニューラルネットワークを用いた機械学習が適用される。たとえば、ニューロンを多段に組み合わせたディープラーニングによるニューラルネットワークが適用される。但し、適用される機械学習はこれに限られるものではなく、サポートベクターマシーンや決定木等の他の機械学習が適用されてもよい。

【0092】

モデル生成装置４０の制御部４１は、学習データ４２４において各々の参照領域７１に対応付けられている状態データを、図１１（ａ）、（ｂ）の機械学習モデル（ニューラルネットワーク）１０１の入力１０１ａに適用する。入力１０１ａには、状態データであるキーポイントデータの各々のキーポイント（鼻、首等の人体部位）の項目が割り当てられる。各々のキーポイントの座標位置が、対応する入力１０１ａの項目に入力される。機械学習モデル１０１の出力１０１ｂには、注視対象（１）～（ｋ）の項目が割り当てられている。

【0093】

機械学習は、学習データ４２４に含まれる状態データおよび各注視対象の真値／偽値を、参照領域７１ごとに順次、機械学習モデル１０１の入力１０１ａおよび出力１０１ｂに設定することにより行われる。すなわち、機械学習モデル１０１の入力１０１ａに、処理対象の状態データが入力される。また、この状態データとの間で真値が設定された注視対象（１）の出力１０１ｂの項目が１００％の確率値に設定され、その他の項目は０％の確率値に設定される。この状態で、当該状態情報を用いた学習が行われる。

【0094】

図１１（ａ）には、学習データ４２４のうち、注視対象（１）が真値に設定された状態データが入力１０１ａに入力されたときの出力１０１ｂの設定状態が示されている。この場合、出力１０１ｂの項目のうち、注視対象（１）の項目に１００％の確率値が設定され、その他の項目には０％の確率値が設定される。

【0095】

図１１（ｂ）には、学習データ４２４のうち、何れの注視対象も偽値に設定された状態データが入力１０１ａに入力されたときの出力１０１ｂの設定状態が示されている。この場合、出力１０１ｂの何れの項目にも、０％の確率値に設定される。

【0096】

モデル生成装置４０の制御部４１は、図１０に示した学習データ４２４に含まれる状態情報と各々の注視対象に対する真値／偽値との組合せの全てを、順番に入力１０１ａの各項目および出力１０１ｂの各項目に設定して、機械学習モデル１０１に対する学習を実行する。同じ参照領域７１に紐付けられた状態データを入力１０１ａに入力する際には、同じ確率値が出力１０１ｂの各項目に設定される。こうして、制御部４１は、当該学習データ４２４による学習済みの機械学習モデル１０１、すなわち、判定モデル４２６を生成する。

【0097】

上記のように、学習データ４２４は、各々のユーザから取得した範囲情報４２３に基づいて、ユーザごとに生成される。範囲情報４２３は、注視対象の数および位置に応じて、ユーザごとに異なっている。これに応じて、学習データ４２４もユーザごとに異なる。モデル生成装置４０の制御部４１は、各々のユーザに対応する学習データ４２４を上記のように機械学習モデル１０１に適用して、ユーザごとに、判定モデル４２６を生成する。制御部４１は、生成した判定モデル４２６を、図３のようにユーザごとに管理するとともに、対応するユーザの視線推定装置３０に送信する。

【0098】

なお、機械学習モデル１０１の入力１０１ａには、キーポイントデータの他に、撮像画像から得られる補助データが入力されてもよい。この場合、学習データ４２４には、各々の状態データに、さらに補助データが紐付けられる。補助データとして、たとえば、人３の顔サイズ（縦横幅）、顔中心、目中心、目間距離、顔角度ヨー（頷く方向の角度）、顔角度ピッチ（左右に回す方向の角度）、顔角度ロール（傾げる方向の角度）等が挙げられる。これらの補助データは、たとえば、撮像画像に対する画像処理（顔検出を含む）により取得され得る。

【0099】

また、学習データ４２４において参照領域７１に紐付けられる状態データが人の画像そのものである場合、入力１０１ａには状態データとして人の画像が入力される。この場合、入力１０１ａの各項目は、たとえば、撮像画像の各画素に対応付けられ、状態データである人の画像の、撮像画像における画素に対応する入力１０１ａの項目に、学習データ４２４の人の画像の各画素の画素値（たとえば、輝度値）が入力される。この場合の出力１０１ｂの設定および学習処理は、上記と同様である。

【0100】

あるいは、入力１０１ａの各項目は、撮像画像を縦横にマトリクス状に分割した各画素ブロックに対応付けられてもよい。この場合、学習データ４２４における各々の参照領域７１の状態データは、たとえば、人３の範囲に含まれる各々の画素ブロックの平均画素値（平均輝度値）として取得される。学習処理時には、学習データ４２４に含まれる各々の状態データの各画素ブロックの平均画素値が、入力１０１ａの対応する項目に入力される。この場合も、出力１０１ｂの設定および学習処理は、上記と同様である。

【0101】

このように、機械学習モデル１０１の入力１０１ａの各項目は、学習データ４２４において参照領域７１に紐付けられる状態データの内容に応じて、適宜、変更され得る。

【0102】

図１２は、判定モデル４２６を用いた判定処理を模式的に示す図である。

【0103】

視線推定装置３０の制御部３１は、１フレーム分の撮像画像から人３の画像を抽出する機能と、抽出した人３の画像から状態データを抽出する機能とを備えている。上記のように状態データがキーポイントデータである場合、制御部３１は、撮像画像から抽出した人３の画像から人の骨格を推定してキーポイントデータを抽出する骨格推定エンジンを備える。

【0104】

視線推定装置３０の制御部３１は、１フレーム分の撮像画像に含まれる人３ごとに状態データを抽出し、抽出した状態データを判定モデル４２６の入力４２６ａに入力する。こうして、判定モデル４２６の入力４２６ａに状態データが入力されると、判定モデル４２６の出力４２６ｂの各項目から、各項目に割り当てられた注視対象を当該人３が見た確率が出力される。図１２の例では、注視対象（１）の項目から８５％の確率が出力され、注視対象（２）、（３）の項目から１０％、５％の確率がそれぞれ出力されている。

【0105】

各項目の確率は、出力条件４２６ｃと照合される。出力条件４２６ｃには、たとえば、所定の閾値以上で且つ最高の確率を出力した項目の注視対象を人３が見たと判定する条件が適用される。閾値は、確度が低い判別結果が出力されることを防ぐために設定される。図１２の例では、確率が８５％である注視対象（１）を人が見たとの判定結果４２６ｄが出力される。

【0106】

人３が何れの注視対象も見ていない場合、出力４２６ｂの何れの項目からも低い確率が出力される。この場合、何れの確率も出力条件４２６ｃを充足しないため、人３が見た注視対象は存在しないことを示す判定結果４２６ｄが出力される。

【0107】

視線推定装置３０の制御部３１は、この判定を、１フレームの撮像画像に含まれる人３ごとに行う。そして、制御部３１は、各々の人３について取得した判定結果を、その人３から得た状態情報とともに、データ収集装置５０に送信する。

【0108】

図１３（ａ）は、判定モデル４２６の生成処理を示すフローチャートである。

【0109】

モデル生成装置４０の制御部４１は、ユーザの視線推定装置３０から判定モデル４２６の生成要求を受信することにより（Ｓ１０１：ＹＥＳ）、ステップＳ１０２以降の判定モデルの生成処理を実行する。ステップＳ１０１において、制御部４１は、生成要求とともに、当該ユーザが設定した注視対象の、撮像画像上における範囲を示す範囲情報４２３を受信する。

【0110】

制御部４１は、受信した範囲情報４２３に基づいて、図８および図９に示した処理により、状態データセット４２２に含まれる各々の参照領域の状態データに真値または偽値を設定して、学習データ４２４を生成する（Ｓ１０２）。そして、制御部４１は、生成した学習データ４２４を用いて、図１１（ａ）、（ｂ）に示した処理により、当該ユーザが設定した注視対象に対応する判定モデル４２６を生成する（Ｓ１０３）。制御部４１は、生成した判定モデル４２６を、記憶部４２に記憶するとともに、当該ユーザの視線推定装置３０に送信する（Ｓ１０４）。これにより、制御部４１は、図１３（ａ）の処理を終了する。

【0111】

視線推定装置３０の制御部３１は、図１３（ａ）のステップＳ１０４により送信された判定モデル４２６を受信する。制御部３１は、受信した判定モデル４２６を記憶部３２に記憶させる。制御部３１は、記憶した判定モデル４２６を用いて、注視対象を人が見たか否かの判定を行う。

【0112】

図１３（ｂ）は、判定モデル４２６を用いた判定処理を示すフローチャートである。

【0113】

視線推定装置３０の制御部３１は、一定周期で、カメラ２０から撮像画像を取得する（Ｓ２０１）。制御部３１は、取得した撮像画像から人３を抽出し（Ｓ２０２）、抽出した人ごとに状態データを取得する（Ｓ２０３）。そして、制御部３１は、取得した状態データを、図１２に示したように判定モデル４２６に適用して、人ごとに、それぞれの注視対象を見たか否かを判定する（Ｓ２０４）。制御部３１は、この判定結果を、当該人の状態情報とともに、データ収集装置５０に送信する（Ｓ２０５）。これにより、制御部３１は、図１３（ｂ）の処理を終了する。

【0114】

図１４（ａ）は、教師データ４２５の生成処理を示すフローチャートである。

【0115】

視線推定装置３０の制御部３１は、広告装置１０（注視対象）を注視させるための処理を実行して広告装置１０付近の人の視線を広告装置１０に誘導する（Ｓ２１１）。ステップＳ２１１において制御部３１は、たとえば、高輝度でフラッシュする誘導画像を、広告装置１０の制御装置を介して広告装置１０に表示させる。広告装置１０にスピーカが配置されている場合、このスピーカから効果音を出力させて、広告装置１０付近の人の視線を広告装置１０に誘導してもよい。

【0116】

制御部３１は、この誘導動作時にカメラ２０から撮像画像を取得する（Ｓ２１２）。制御部３１は、取得した撮像画像から人を抽出し（Ｓ２１３）、抽出した人ごとに状態データを取得する（Ｓ２１４）。制御部３１は、取得した状態データを記憶部３２に保持された判定モデル４２６に適用して、人ごとに、広告装置１０の表示領域１１（注視対象）を見たか否かを判定する（Ｓ２１５）。制御部３１は、広告装置１０の表示領域１１を見たと判定した状態データと、表示領域１１の範囲を示す情報および真値を示す情報とにより教師データ４２５を生成し、生成した教師データ４２５をモデル生成装置４０に送信する（Ｓ２１６）。これにより、制御部３１は、図１４（ａ）の処理を終了する。

【0117】

なお、図１４（ａ）の処理では、ステップＳ２１５の判定により、教師データ４２５として用いる状態データが制限されたが、ステップＳ２１１の誘導動作により広告装置１０付近の人３のほぼ全てが広告装置１０の表示領域１１を見る確率が高いと想定されれば、ステップＳ２１５が省略されてもよい。この場合、ステップＳ２１６では、ステップＳ２１４で取得された全ての人の状態データと、表示領域１１の範囲を示す情報および真値を示す情報とにより教師データ４２５が生成され、生成された教師データ４２５がモデル生成装置４０に送信される。

【0118】

また、上記では、注視対象の１つである広告装置１０の表示領域１１に対して教師データ４２５が生成されたが、他の注視対象についても、教師データ４２５が生成されてもよい。この場合、他の注視対象に視線を誘導するための処理が実行される。

【0119】

たとえば、教師データ４２５の生成対象が図９の広告媒体４である場合、この広告媒体４の四隅に発光器を配置し、この発光器を点滅させて、広告媒体４付近の人３の視線を広告媒体４に誘導してもよい。また、上記と同様、広告媒体４にスピーカを配置し、このスピーカから効果音を出力させて、広告媒体４付近の人３の視線を広告媒体４に誘導してもよい。この場合も、図１４（ａ）の処理により、広告媒体４に対する教師データ４２５の生成と、モデル生成装置４０に対する教師データ４２５の送信とが行われ得る。

【0120】

図１４（ｂ）は、教師データ４２５を用いた判定モデル４２６の更新処理を示すフローチャートである。

【0121】

モデル生成装置４０の制御部４１は、図１４（ａ）のステップＳ２１５で送信された教師データ４２５を受信すると（Ｓ１１１：ＹＥＳ）、受信した教師データ４２５を用いて、当該モデル生成装置４０に対応する判定モデル４２６を学習させて、当該判定モデル４２６を更新する（Ｓ１１２）。

【0122】

具体的には、制御部４１は、判定モデル４２６の出力４２６ｂの項目のうち、受信した教師データ４２５に含まれている範囲を示す情報に対応する注視対象の項目に、１００％の確率値を設定し、その他の項目に０％の確率値を設定する。そして、制御部４１は、判定モデル４２６の入力４２６ａに教師データ４２５の状態データを入力して、判定モデル４２６を学習させる。制御部４１は、受信した教師データ４２５に含まれる各人３の状態データごとに、この学習を実行する。そして、全ての人の状態データについて学習が終了すると、判定モデル４２６の更新が完了する。

【0123】

制御部４１は、更新後の判定モデル４２６を、記憶部４２に記憶させるとともに、教師データ４２５を受信した視線推定装置３０に送信する（Ｓ１１３）。これにより、制御部４１は、図１４（ｂ）の処理を終了する。

【0124】

更新後の判定モデル４２６を受信した視線推定装置３０の制御部３１は、既に記憶部４２に記憶している判定モデル４２６に代えて、受信した判定モデル４２６を記憶部４２に記憶させる。その後、視線推定装置３０の制御部３１は、新たに記憶した判定モデル４２６を用いて、注視対象付近の人が注視対象を見たか否かの判定を行う。

【0125】

視線推定装置３０の制御部３１は、図１４（ａ）の処理を任意のタイミングで、あるいは、所定の頻度で定期的に実行して、その時々に注視対象付近の人の状態に応じた教師データ４２５を生成し、生成した教師データ４２５をその都度、モデル生成装置４０に送信する。モデル生成装置４０の制御部４１は、視線推定装置３０から教師データ４２５を受信するごとに図１４（ｂ）の処理を実行して、判定モデル４２６を更新し、更新後の判定モデル４２６を視線推定装置３０に送信する。こうして、判定モデル４２６は、徐々に判定精度が向上する。これにより、視線推定装置３０の判定制度を向上させることができる。

【0126】

＜実施形態の効果＞
本実施形態によれば、以下の効果が奏され得る。

【0127】

図３に示したように、モデル生成装置４０の記憶部４２には、複数の状態で人が各々の参照領域７１を見たときの状態データ群（状態データセット４２２）が予め保持されている。このため、ユーザサイドにおいて注視対象の位置が変更された場合には、図８および図９に示したように、新たに設定された注視対象の範囲に含まれる参照領域７１の状態データに真値を設定し、その他の状態データに偽値を設定することで、新たに設定された注視対象に対する学習データ４２４を構成できる。このため、注視対象の位置変更に応じて、極めて簡便に、学習データ４２４を構成でき、結果、判定モデル４２６を簡便に生成できる。

【0128】

上記のように、モデル生成装置４０の記憶部４２は、撮像画像上の人から取得される、複数の人体部位の位置を示すキーポイントデータを、状態データとして記憶する。これにより、たとえば、撮像画像に人３の顔全体が含まれていなくても、両肩の位置や、鼻および耳の位置等の複数種類のキーポイントデータにより、各々の参照領域７１に視線が向けられているかを特定できる。よって、上記のように、判定モデル４２６が扱う状態データにキーポイントデータを用いることにより、撮像画像に人３の顔が完全に含まれていなくても、判定モデル４２６の機械学習を精度良く行うことができ、また、学習後の判定モデル４２６を用いて当該人が注視対象を見ているか否かを適正に判定できる。

【0129】

図８および図９を参照して説明したように、モデル生成装置４０の制御部４１は、２次元領域７０上における注視対象の範囲を示す範囲情報４２３を取得し、取得した範囲情報４２３に基づいて、学習データ４２４を構成する。これにより、取得した範囲情報４２３の範囲に参照領域７１が含まれるか否かに基づき、各々の参照領域７１の状態データに真値または偽値を円滑に設定できる。

【0130】

図９を参照して説明したように、モデル生成装置４０の制御部４１は、視線推定装置３０において２次元領域７０上に設定された注視対象（広告媒体４）の範囲を示す情報を、範囲情報４２３として、通信部４３を介して視線推定装置３０から取得する。これにより、視線推定装置３０側において、注視対象の位置が変更され、注視対象の範囲が新たに設定された場合に、制御部４１は、新たに設定された注視対象の範囲を示す情報を新たな範囲情報４２３として視線推定装置３０から取得することで、各々の参照領域７１の状態データに、新たな注視対象の位置に応じた真値または偽値を設定できる。よって、新たな注視対象の位置に応じた学習データ４２４を円滑に構成できる。

【0131】

図１４（ａ）に示したように、視線推定装置３０の制御部３１は、注視対象を注視させるための処理を実行して注視対象付近の人の視線を前記注視対象に誘導し（Ｓ２１１）、当該誘導時において、注視対象付近の撮像画像から、当該撮像画像に含まれる人について状態データと同様のデータを真値の教師データ４２５として取得し（Ｓ２１２～Ｓ２１６）、取得した教師データ４２５をモデル生成装置４０に送信する（Ｓ２１６）。また、図１４（ｂ）に示したように、モデル生成装置４０の制御部４１は、受信した教師データ４２５を用いて判定モデル４２６をさらに学習させ（Ｓ１１２）、学習後の判定モデル４２６を、外部通信網６０を介して視線推定装置３０に送信する。これにより、視線推定装置３０から受信した教師データ４２５を用いて、判定モデル４２６がさらに学習される。よって、判定モデル４２６の判定精度をさらに高めることができ、学習後の判定モデル４２６を視線推定装置３０に提供することで、視線推定装置３０における判定をより高精度に行うことができる。

【0132】

図１に示したように、視線推定システム１は、モデル生成装置４０と、外部通信網６０を介してモデル生成装置４０と通信可能な視線推定装置３０と、を備える。視線推定装置３０の制御部３１は、外部通信網６０を介してモデル生成装置４０から判定モデル４２６を取得し、取得した判定モデル４２６を自身の記憶部３２に記憶させる。図１３（ｂ）に示したように、視線推定装置３０の制御部３１は、注視対象付近の撮像画像をカメラ２０から取得し（Ｓ２０１）、取得した撮像画像上における人の状態に関する状態データを取得し（Ｓ２０２、Ｓ２０３）、取得した状態データを判定モデル４２６に適用して、撮像画像に含まれる人が注視対象に視線を向けたか否かを判定する（Ｓ２０４）。このように、視線推定システム１は、上述のモデル生成装置４０を備えるため、上記のように、注視対象の位置変更に応じて、極めて簡便に学習データ４２４を構成でき、判定モデル４２６を簡便に生成できる。また、視線推定装置３０側では、モデル生成装置４０から提供された判定モデル４２６を用いることにより、撮像画像に含まれる人が注視対象を見ているか否かを高精度に判定できる。

【0133】

また、このように構成された視線推定システム１において、視線推定装置３０の制御部３１は、図８および図９を参照して説明したように、注視対象の範囲の設定を受け付け、受け付けた注視対象の範囲を示す範囲情報を、外部通信網６０を介してモデル生成装置４０に送信する。また、モデル生成装置４０の制御部４１は、受信した範囲情報に基づいて、図１３（ａ）の処理により、学習データ４２４を構成し、構成した学習データ４２４により機械学習モデル１０１を学習させて判定モデル４２６を生成し、生成した判定モデル４２６を、外部通信網６０を介して視線推定装置３０に送信する。そして、視線推定装置３０の制御部３１は、受信した判定モデル４２６を自身の記憶部４２６に記憶させ、記憶した判定モデル４２６を用いて、人が注視対象に視線を向けたか否かの判定を行う。

【0134】

このような構成により、視線推定装置３０の使用者は、注視対象の位置変更に応じて、２次元領域上における新たな注視対象の範囲を視線推定装置３０に設定できる。また、モデル生成装置４０は、この設定に応じて、新たな注視対象の範囲を取得でき、取得した新たな注視対象の範囲に基づき、新たな注視対象の位置に応じた判定モデル４２６を簡便に生成できる。さらに、視線推定装置３０は、新たに生成された判定モデル４２６を円滑に受信して、新たな注視対象の位置に適する判定を行うことができる。よって、注視対象の位置変更に応じて、新たな判定モデルの生成と受け渡しを円滑に行うことができ、この判定モデルを用いて、撮像画像上の人が注視対象を見ているか否かを精度良く判定できる。

【0135】

また、このように構成された視線推定システム１において、視線推定装置３０の制御部３１は、図１４（ａ）に示したように、注視対象を注視させるための処理を実行して注視対象付近の人の視線を注視対象に誘導し（Ｓ２１１）、当該誘導時において、注視対象付近の撮像画像から、当該撮像画像に含まれる人について状態データと同様のデータを真値の教師データ４２５として取得し（Ｓ２１２～Ｓ２１６）、取得した教師データ４２５をモデル生成装置４０に送信し、モデル生成装置４０の制御部４１は、受信した教師データ４２５を用いて判定モデル４２６をさらに学習させ、学習後の判定モデル４２６を、外部通信網６０を介して視線推定装置３０に送信する。これにより、上記のように、視線推定装置３０側において円滑に教師データ４２５を生成でき、モデル生成装置４０側では、視線推定装置３０から提供される教師データ４２５を用いて判定モデル４２６にさらなる機械学習を実行できる。よって、判定モデル４２６を高精度化でき、高精度化された判定モデル４２６を用いて、撮像画像上の人が注視対象を見ているか否かをより精度良く判定できる。

【0136】

図２に示したように、視線推定装置３０は、判定モデル４２６を記憶する記憶部３２と、制御部３１とを備える。制御部３１は、注視対象付近の撮像画像をカメラ２０から取得し、取得した撮像画像上における人の状態に関する状態データを取得し、取得した状態データを判定モデル４２６に適用して、撮像画像に含まれる人が注視対象に視線を向けたか否かを判定する。この構成に係る視線推定装置３０によれば、上記方法で判定モデル４２６が生成されるため、撮像画像上の人が注視対象を見ているか否かを精度良く判定できる。

【0137】

＜変更例１＞
上記実施形態では、カメラ２０が広告装置１０の所定の位置に一体的に設置されたが、たとえば、図１５に示すように、カメラ２０が、広告装置１０とは別に設置されてもよい。たとえば、カメラ２０がユーザによって任意の場所に設置されてもよく、注視対象付近を撮像する汎用の監視カメラが、カメラ２０として用いられてもよい。この場合、２次元領域７０は、たとえば、広告装置１０の表示領域１１の所定位置（たとえば、上辺の中央位置）を基準に設定され得る。

【0138】

このように、カメラ２０の位置および撮像方向がユーザごとに異なると、カメラ２０の撮像視野と２次元領域７０との関係も、ユーザごとに異なることになる。このため、モデル生成装置４０は、ユーザごと、すなわち、カメラ２０の設置位置および視野方向ごとに、状態データセット４２２を保持する必要がある。

【0139】

但し、この場合も、図９および図１０に示したように、ユーザ側における注視対象の位置変更に応じて、当該ユーザの状態データセット４２２における各参照領域７１の状態データに真値または偽値を設定することにより、位置変更後の注視対象に応じた学習データ４２４を簡便に生成でき、生成した学習データ４２４を用いた学習により、当該ユーザの判定モデル４２６を簡便に生成できる。

【0140】

なお、上記実施形態のように、カメラ２０が広告装置１０の所定の位置に一体的に設置されている場合は、この広告装置１０を用いるユーザの間では、カメラ２０の撮像視野と２次元領域７０との関係が固定される。このため、これらのユーザに対しては、図３のように、共通の状態データセット４２２を用いることができ、これを用いて、各ユーザの注視対象の位置に応じた学習データ４２４を生成できる。

【0141】

＜変更例２＞
また、上記実施形態では、図１１（ａ）～図１２に示したように、判定モデル４２６としてニューラルネットワークが用いられたが、上記のように、判定モデル４２６がサポートベクターマシーンや決定木等の他の機械学習に基づく判定モデルであってもよい。

【0142】

たとえば、判定モデル４２６がサポートベクターマシーンである場合、注視対象ごとに判定モデル４２６が生成される。各々の判定モデル４２６の学習は、当該判定モデル４２６に対応する注視対象について真値が設定された状態データが入力される場合は判定結果（出力）が１００％に設定され、その他の状態データが入力される場合は判定結果（出力）が０％に設定される。

【0143】

この場合、視線推定装置３０の制御部３１は、各々の注視対象に対応する判定モデル４２６を並行して用いて、注視対象付近の撮像画像から、各々の注視対象を人が見たか否かの判定を行う。各々の判定モデル４２６に適用される状態データ（撮像画像から取得する状態データ）は、上記実施形態と同様であってよい。そして、制御部３１は、上記実施形態と同様、各々の人の状態データとその判定結果とを組み合わせた情報を、データ収集装置５０に送信する。

【0144】

＜その他の変更例＞
上記実施形態では、注視対象として広告装置１０の表示領域１１と広告媒体４とが例示されたが、注視対象はこれらに限られるものではなく、２次元領域７０にさらに展示品等の注視対象が含まれてもよい。また、広告装置１０の表示領域１１に複数のコンテンツがエリア分割して表示される場合、各々の分割エリアが個別に注視対象に設定されてもよい。この場合、ユーザは、視線推定装置３０に対して分割エリアごとに注視対象の範囲を設定し、視線推定装置３０の制御部３１は、各々の注視対象（分割エリア）の範囲を示す範囲情報４２３をモデル生成装置４０に送信する。

【0145】

また、上記実施形態では、視線推定装置３０が１つのユニット（パーソナルコンピュータ）で構成されたが、視線推定装置３０が、判定モデル４２６を用いた判定を行うユニットと、注視対象の範囲の設定を受け付けて範囲情報４２３をモデル生成装置４０に送信するユニットとによって構成されてもよい。また、モデル生成装置４０とデータ収集装置５０とが統合されてもよく、１つのクラウドサーバに、モデル生成装置４０およびデータ収集装置５０をそれぞれ実現するための２つの仮想サーバが設定されてもよい。

【0146】

この他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜変更可能である。

【符号の説明】

【0147】

１ 視線推定システム
４ 広告媒体（注視対象）
１０ 広告装置
１１ 表示領域（注視対象）
２０ カメラ
３０ 視線推定装置
３１ 制御部（視線推定装置の制御部）
３２ 記憶部（視線推定装置の記憶部）
４０ モデル生成装置
４１ 制御部（モデル生成装置の制御部）
４２ 記憶部（モデル生成装置の記憶部）
６０ 外部通信網
７０ ２次元領域
７１ 参照領域
４２２ 状態データセット
４２３ 範囲情報
４２４ 学習データ
４２５ 教師データ
４２６ 判定モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】