知財求人 - 知財ポータルサイト「IP Force」
▶ ＡＷＬ株式会社の特許一覧 ▶ 伊藤忠商事株式会社の特許一覧
特開2023-96652広告閲覧判定システム、情報処理装置、及び広告閲覧判定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023096652
(43)【公開日】2023-07-07
(54)【発明の名称】広告閲覧判定システム、情報処理装置、及び広告閲覧判定プログラム
(51)【国際特許分類】
G06Q 30/0242 20230101AFI20230630BHJP
G06Q 30/0201 20230101ALI20230630BHJP
【ＦＩ】
G06Q30/02 382
G06Q30/02 300
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021212551
(22)【出願日】2021-12-27
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
(71)【出願人】
【識別番号】516249414
【氏名又は名称】ＡＷＬ株式会社
(71)【出願人】
【識別番号】000000147
【氏名又は名称】伊藤忠商事株式会社
(74)【代理人】
【識別番号】100084375
【弁理士】
【氏名又は名称】板谷 康夫
(74)【代理人】
【識別番号】100125221
【弁理士】
【氏名又は名称】水田 愼一
(74)【代理人】
【識別番号】100142077
【弁理士】
【氏名又は名称】板谷 真之
(72)【発明者】
【氏名】土田 安紘
(72)【発明者】
【氏名】アロック ビショイ
(72)【発明者】
【氏名】ダルマワン アリーフ
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB02
(57)【要約】
【課題】広告閲覧判定システム、情報処理装置、及び広告閲覧判定プログラムにおいて、実際の広告及び撮影装置の設置条件における、人の位置と、この位置の人が広告を閲覧しているとみなせる視線方向との対応関係が、複雑な場合でも、上記の対応関係を、実際の広告及び撮影装置の設置条件に応じて適切に自動設定する。
【解決手段】広告の前方周辺領域の実際のフレーム画像に基づいて、フレーム画像に映り込んだ人の頭の位置と、頭の向きと、人が広告を視聴しているか否かを示す視聴判別用サインとを検出して（Ｓ１３及びＳ１５）、検出した人の頭の位置と、頭の向きと、視聴判別用サインとに基づいて、視聴判定用の学習済ＮＮモデルの教師データを生成するようにした（Ｓ１６）。これにより、人の位置と、この位置の人が広告を視聴しているとみなせる視線方向との対応関係が複雑な場合でも、この対応関係を、実際の設置条件に応じて適切に自動設定できる。
【選択図】図１０
【解決手段】広告の前方周辺領域の実際のフレーム画像に基づいて、フレーム画像に映り込んだ人の頭の位置と、頭の向きと、人が広告を視聴しているか否かを示す視聴判別用サインとを検出して（Ｓ１３及びＳ１５）、検出した人の頭の位置と、頭の向きと、視聴判別用サインとに基づいて、視聴判定用の学習済ＮＮモデルの教師データを生成するようにした（Ｓ１６）。これにより、人の位置と、この位置の人が広告を視聴しているとみなせる視線方向との対応関係が複雑な場合でも、この対応関係を、実際の設置条件に応じて適切に自動設定できる。
【選択図】図１０
【特許請求の範囲】
【請求項1】
広告の前方周辺の領域を撮影する撮影装置から撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、
前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部とを備える広告閲覧判定システム。
前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、
前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部とを備える広告閲覧判定システム。
【請求項2】
前記自動設定部は、ある位置における、ある視線方向の人が前記広告を閲覧しているか否かを示す複数の正解画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定することを特徴とする請求項１に記載の広告閲覧判定システム。
【請求項3】
前記閲覧判定部は、前記撮影画像に映り込んだ人の位置と、前記人の視線方向とを入力すると、前記人が前記広告を閲覧しているか否かの推論結果を出力する機械学習済みモデルを用いて、前記撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定することを特徴とする請求項１又は請求項２に記載の広告閲覧判定システム。
【請求項4】
前記自動設定部は、
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、
前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることを特徴とする請求項３に記載の広告閲覧判定システム。
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、
前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることを特徴とする請求項３に記載の広告閲覧判定システム。
【請求項5】
前記データ生成部は、前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の頭の位置と、前記人の頭の向きと、前記人が前記広告を閲覧しているか否かを示す閲覧判別用情報とを検出して、検出した前記人の頭の位置と、前記人の頭の向きと、前記閲覧判別用情報とに基づいて、前記教師データを生成することを特徴とする請求項４に記載の広告閲覧判定システム。
【請求項6】
前記広告閲覧判定システムの設置担当者が携帯する、撮像部を備えた情報処理端末をさらに備え、
前記情報処理端末は、いずれかの面に可視コードを有し、
前記データ生成部は、
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ前記可視コードの位置と向きを検出する可視コード位置向き検出手段と、
前記情報処理端末の撮像部で撮影した画像に、所定の面積以上の所定のパターンが存在するか否かを判定することにより、前記可視コード位置向き検出手段で検出した可視コードの位置と向きに対応した、頭の位置と向きの人が、前記広告を閲覧しているとみなすことができるか否かを判定する閲覧非閲覧判定部とを備え、
前記可視コード位置向き検出手段で検出した可視コードの位置と向き、及び前記閲覧非閲覧判定部により判定した、前記広告を閲覧しているとみなすことができるか否かの判定結果に基づいて、前記教師データを生成することを特徴とする請求項４に記載の広告閲覧判定システム。
前記情報処理端末は、いずれかの面に可視コードを有し、
前記データ生成部は、
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ前記可視コードの位置と向きを検出する可視コード位置向き検出手段と、
前記情報処理端末の撮像部で撮影した画像に、所定の面積以上の所定のパターンが存在するか否かを判定することにより、前記可視コード位置向き検出手段で検出した可視コードの位置と向きに対応した、頭の位置と向きの人が、前記広告を閲覧しているとみなすことができるか否かを判定する閲覧非閲覧判定部とを備え、
前記可視コード位置向き検出手段で検出した可視コードの位置と向き、及び前記閲覧非閲覧判定部により判定した、前記広告を閲覧しているとみなすことができるか否かの判定結果に基づいて、前記教師データを生成することを特徴とする請求項４に記載の広告閲覧判定システム。
【請求項7】
広告の前方周辺の領域を撮影する撮影装置と通信可能な情報処理装置であって、
前記撮影装置から撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、
前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部とを備える情報処理装置。
前記撮影装置から撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、
前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部とを備える情報処理装置。
【請求項8】
前記閲覧判定部は、前記撮影画像に映り込んだ人の位置と、前記人の視線方向とを入力すると、前記人が前記広告を閲覧しているか否かの推論結果を出力する機械学習済みモデルを用いて、前記撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定することを特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記自動設定部は、
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、
前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることを特徴とする請求項８に記載の情報処理装置。
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、
前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることを特徴とする請求項８に記載の情報処理装置。
【請求項10】
情報処理装置を、
広告の前方周辺の領域を撮影する撮影装置から撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、
前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部として機能させるための広告閲覧判定プログラム。
広告の前方周辺の領域を撮影する撮影装置から撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、
前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部として機能させるための広告閲覧判定プログラム。
【請求項11】
前記閲覧判定部は、前記撮影画像に映り込んだ人の位置と、前記人の視線方向とを入力すると、前記人が前記広告を閲覧しているか否かの推論結果を出力する機械学習済みモデルを用いて、前記撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定することを特徴とする請求項１０に記載の広告閲覧判定プログラム。
【請求項12】
前記自動設定部は、
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、
前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることを特徴とする請求項１１に記載の広告閲覧判定プログラム。
前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、
前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることを特徴とする請求項１１に記載の広告閲覧判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、広告閲覧判定システム、情報処理装置、及び広告閲覧判定プログラムに関する。
【背景技術】
【0002】
近年、いわゆるデジタルサイネージを利用した広告ビジネスが立ち上がりの兆しを見せている。このビジネスは、例えば、コンビニエンスストアのレジ裏等に設置された大型のデジタルサイネージに、メーカ等より募った広告を放映し、広告の放映回数や放映時間に応じてメーカより広告料を徴収するといったものである。
【0003】
従来の店舗等に設置されたデジタルサイネージで放映される広告は、この広告を、どのような属性の人がどの程度の時間視聴（又は閲覧）していたかを、計測することができなかったため、インターネット広告等と比較して、効果的な広告方法とみなされていなかった。しかし、近年、ディープラーニング・コンピュータビジョン（ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルを利用して、人間並みの視覚能力を実現するために行われる処理）を応用した人物や視線方向を認識する手法が、安価なデバイスでも実現可能になったことにより、店舗に設置されたデジタルサイネージの内蔵カメラや外付けカメラによる撮影画像に基づいて、顧客の属性の推定や、広告閲覧時間の計測を行うことが可能となり、デジタルサイネージを用いた広告ビジネスの成長への期待が高まっている。
【0004】
上記のデジタルサイネージを利用した広告ビジネスにおいて、広告の閲覧者数や閲覧時間の計測は、根幹をなす重要技術である。広告の閲覧者数や閲覧時間の計測が重要なのは、紙等の媒体を用いた広告ビジネスにおいても、同様である。この種の従来技術としては、例えば、下記の特許文献１が挙げられる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第２０２１／０３８８００号
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記のディープラーニング・コンピュータビジョンの進化により、人（顧客）の頭や視線方向を精度高く検出することが可能となった。ところが、店舗に設置されるデジタルサイネージ等の広告の設置位置や大きさ、形状、数、カメラの設置位置や向き、広告の前等に置かれる障害物、その他の店内の空間条件（棚位置、ライトの位置、階層構造等）（以下、これらの条件を「広告及びカメラの設置条件」という）には、多くのバリエーションが存在することから、人（又は人の頭）の位置と視線方向（例えば、頭の向き）の組み合わせだけで、単純に顧客が広告を閲覧しているとみなすことができるかどうかを判定することは困難であり、精度高く閲覧の有無の判定を行うためには、実際の店舗における広告及びカメラの設置条件を考慮して、人の位置と、この位置の人が広告を閲覧しているとみなすことができる視線方向との対応関係を、非常に細かく設定する必要がある。しかし、このような非常に細かい対応関係の設定を手動で行うことは、現実的ではない。
【0007】
なお、上記特許文献１には、（１）上記の「人の位置」に類似した「エリア」、及び上記の「人が広告を閲覧しているとみなすことができる視線方向」に類似した「角度範囲」を、システム管理者が手動で設定する例や、（２）上記の「エリア」及び「角度範囲」を、システム管理者が手動で入力した広告の位置と撮影範囲との関係に基づいて、サーバが設定する例が記載されている。しかしながら、実際の店舗における広告及びカメラの設置条件には、多くのバリエーションが存在することから、上記（１）の「エリア」及び「角度範囲」をシステム管理者が手動で設定する方法は、現実的ではない。また、実際の店舗における人の位置と、この位置の人が広告を閲覧しているとみなすことができる視線方向との対応関係は複雑である。例えば、広告の前に障害物が置かれただけでも、店舗における人の位置と、この位置の人が広告を閲覧しているとみなすことができる視線方向との対応関係は、複雑になる。このため、上記（２）の「エリア」及び「角度範囲」を、システム管理者が手動で入力した広告の位置と撮影範囲との関係のみに基づいて、サーバが設定する方法では、実際の店舗における人の位置（「エリア」）と、この位置の人が広告を閲覧しているとみなすことができる視線方向（「角度範囲」）との対応関係を、正確に設定することは不可能である。
【0008】
本発明は、上記課題を解決するものであり、実際の広告及び撮影装置の設置条件における、人の位置と、この位置の人が広告を閲覧しているとみなすことができる視線方向との対応関係が、複雑な場合でも、上記の対応関係を、実際の広告及び撮影装置の設置条件に応じて適切に自動設定することが可能な広告閲覧判定システム、情報処理装置、及び広告閲覧判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明の第1の態様による広告閲覧判定システムは、広告の前方周辺の領域を撮影する撮影装置から撮影画像を取得する撮影画像取得部と、前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部とを備える。
【0010】
この広告閲覧判定システムにおいて、前記自動設定部は、ある位置における、ある視線方向の人が前記広告を閲覧しているか否かを示す複数の正解画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定することが望ましい。
【0011】
この広告閲覧判定システムにおいて、前記閲覧判定部は、前記撮影画像に映り込んだ人の位置と、前記人の視線方向とを入力すると、前記人が前記広告を閲覧しているか否かの推論結果を出力する機械学習済みモデルを用いて、前記撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定することが望ましい。
【0012】
この広告閲覧判定システムにおいて、前記自動設定部は、前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることが望ましい。
【0013】
この広告閲覧判定システムにおいて、前記データ生成部は、前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の頭の位置と、前記人の頭の向きと、前記人が前記広告を閲覧しているか否かを示す閲覧判別用情報とを検出して、検出した前記人の頭の位置と、前記人の頭の向きと、前記閲覧判別用情報とに基づいて、前記教師データを生成するようにしてもよい。
【0014】
この広告閲覧判定システムにおいて、この広告閲覧判定システムの設置担当者が携帯する、撮像部を備えた情報処理端末をさらに備え、前記情報処理端末は、いずれかの面に可視コードを有し、前記データ生成部は、前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ前記可視コードの位置と向きを検出する可視コード位置向き検出手段と、前記情報処理端末の撮像部で撮影した画像に、所定の面積以上の所定のパターンが存在するか否かを判定することにより、前記可視コード位置向き検出手段で検出した可視コードの位置と向きに対応した、頭の位置と向きの人が、前記広告を閲覧しているとみなすことができるか否かを判定する閲覧非閲覧判定部とを備え、前記可視コード位置向き検出手段で検出した可視コードの位置と向き、及び前記視聴非視聴判定部により判定した、前記広告を閲覧しているとみなすことができるか否かの判定結果に基づいて、前記教師データを生成するようにしてもよい。
【0015】
本発明の第２の態様による情報処理装置は、広告の前方周辺の領域を撮影する撮影装置と通信可能な情報処理装置であって、前記撮影装置から撮影画像を取得する撮影画像取得部と、前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部とを備える。
【0016】
この情報処理装置において、前記閲覧判定部は、前記撮影画像に映り込んだ人の位置と、前記人の視線方向とを入力すると、前記人が前記広告を閲覧しているか否かの推論結果を出力する機械学習済みモデルを用いて、前記撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定することが望ましい。
【0017】
この情報処理装置において、前記自動設定部は、前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることが望ましい。
【0018】
本発明の第３の態様による広告閲覧判定プログラムは、情報処理装置を、広告の前方周辺の領域を撮影する撮影装置から撮影画像を取得する撮影画像取得部と、前記撮影画像取得部により取得した撮影画像に基づいて、前記撮影画像に映り込んだ人の位置と、この位置の人が前記広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定する自動設定部と、前記自動設定部により予め設定した対応関係に基づいて、前記撮影画像取得部により取得した撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定する閲覧判定部として機能させる。
【0019】
この広告閲覧判定プログラムにおいて、前記閲覧判定部は、前記撮影画像に映り込んだ人の位置と、前記人の視線方向とを入力すると、前記人が前記広告を閲覧しているか否かの推論結果を出力する機械学習済みモデルを用いて、前記撮影画像に映り込んだ人が、前記広告を閲覧しているか否かを判定することが望ましい。
【0020】
この広告閲覧判定プログラムにおいて、前記自動設定部は、前記撮影画像取得部により取得した撮影画像から、前記撮影画像に映り込んだ人の位置と、前記人の視線方向と、前記人が前記広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせた教師データを生成するデータ生成部と、前記教師データを用いて教師あり学習を行うことにより、前記機械学習済みモデルを生成する学習部とを備えることが望ましい。
【発明の効果】
【0021】
本発明の第１の態様による広告閲覧判定システム、第２の態様による情報処理装置、及び第３の態様による広告閲覧判定プログラムによれば、広告の前方周辺領域の実際の撮影画像に基づいて、撮影画像に映り込んだ人の位置と、この位置の人が広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定するようにした。これにより、実際の広告及び撮影装置の設置条件における、人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑な場合でも、この対応関係を、実際の広告及び撮影装置の設置条件に応じて適切に自動設定することができる。従って、上記の自動設定した対応関係に基づいて、撮影画像に映り込んだ人が、広告を閲覧しているか否かを正確に判定することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の第１の実施形態における広告視聴判定システムの概略のハードウェア構成を示すブロック構成図。
【図2】同広告視聴判定システムにおける、顧客が広告を視聴しているか否かを判定する方法の説明図。
【図5】上記の真ん中のサイネージとサイネージ学習管理サーバの機能ブロック構成図。
【図6】上記広告視聴判定システムの実運用時の処理のフローチャート。
【図10】上記広告視聴判定システムにおける視聴判定ＮＮモデルの学習時の処理のフローチャート。
【図14】人の位置と、この位置の人が広告を視聴しているとみなせる視線方向との対応関係が複雑な場合における、視聴判定処理の１つ目の例の説明図。
【図15】人の位置と、この位置の人が広告を視聴しているとみなせる視線方向との対応関係が複雑な場合における、視聴判定処理の２つ目の例の説明図。
【図16】人の位置と、この位置の人が広告を視聴しているとみなせる視線方向との対応関係が複雑な場合における、視聴判定処理の３つ目の例の説明図。
【図17】本発明の第２の実施形態における広告視聴判定システムの概略のハードウェア構成を示すブロック構成図。
【図21】上記第２の実施形態の広告視聴判定システムにおける、視聴判定ＮＮモデルの学習時の処理のフローチャート。
【図22】（ａ）（ｂ）は、それぞれ、上記タブレット端末の表面と裏面を示す図。
【図23】上記第２の実施形態の広告視聴判定システムにおける、視聴非視聴データの生成方法の説明図。
【図24】上記第２の実施形態の広告視聴判定システムにおける、視聴非視聴データ保存Ｆに格納された視聴非視聴データの例を示す図。
【図25】（ａ）（ｂ）は、上記第２の実施形態の広告視聴判定システムにおける、ＱＲコード位置向きデータの生成方法の説明図。
【図26】上記第２の実施形態の広告視聴判定システムにおける、ＱＲコード位置向き保存Ｆに格納されたＱＲコード位置向きデータの例を示す図。
【図27】上記第２の実施形態の広告視聴判定システムにおける、教師データ保存Ｆに格納された教師データの例を示す図。
【発明を実施するための形態】
【0023】
以下、本発明を具体化した実施形態による広告視聴判定システム（請求項における「広告閲覧判定システム」に相当）について、図面を参照して説明する。図１は、本発明の第１の実施形態による広告視聴判定システム１の概略のハードウェア構成を示すブロック構成図である。第１及び第２の実施形態では、広告が、サイネージで放映される広告である場合の例を示しているので、以下の説明では、請求項における（広告の）「閲覧」の代わりに、（広告の）「視聴」という用語を用いている。また、第１及び第２の実施形態では、図１及び図２に示すように、広告映像表示用の端末である３台のデジタルサイネージ（以下、「サイネージ」と略す）２ａ、２ｂ、及び２ｃを、チェーン店等の店舗Ｓ内に、横並びにして設置した場合の例について、説明する。
【0024】
図１に示すように、広告視聴判定システム１は、店舗Ｓ内に、上記のサイネージ２ａ、２ｂ、及び２ｃと、ルータ４とを備えている。サイネージ２ａ、２ｂ、及び２ｃのうち、真ん中のサイネージ２ａには、いわゆる広角レンズを有する広角Ｗｅｂカメラ３（請求項における「撮影装置」）が接続されている。サイネージ２ａ、２ｂ、及び２ｃは、例えば、図２に示すように、店舗Ｓ内のレジ裏に設置されて、そのディスプレイ１４（図３参照）上に、店舗に来店した顧客に対する広告映像（以下、「広告」と略す）を表示すると共に、外付けの広角Ｗｅｂカメラ３からのフレーム画像（撮影画像）に基づいて、フレーム画像に映りこんだ顧客が、サイネージ２ａ、２ｂ、又は２ｃの広告を視聴しているか否かを判定する。
【0025】
また、図１に示すように、広告視聴判定システム１は、クラウドＣ上のサイネージ学習管理サーバ５を備えている。各店舗のサイネージ２（サイネージ２ａ、２ｂ、及び２ｃの総称）は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）とルータ４とを介して、上記のサイネージ学習管理サーバ５と接続されている。サイネージ学習管理サーバ５は、例えば、店舗Ｓを含むチェーン店の管理部門（本社等）に設置されて、各店舗のサイネージ２の管理と、サイネージ２に配布するプログラムの管理と、サイネージ２ａに配布する推論用ニューラルネットワークモデル（以下、ＮＮ（Ｎｅｕｒａｌ Ｎｅｔｏｗｒｋ）モデルという）の機械学習を行う。詳細については後述するが、サイネージ学習管理サーバ５が機械学習を行うＮＮモデルには、サイネージ２ａに配布する学習済視聴判定ＮＮモデル１６ｂ（図３参照）が含まれている。店舗Ｓの管理者や、サイネージ２ａに表示される広告の広告主等は、自分のパソコンから、上記のクラウドＣ上のサイネージ学習管理サーバ５にアクセスして、サイネージ２に表示される広告の視聴者数や視聴時間を知ることができる。上記のサイネージ２ａとサイネージ学習管理サーバ５が、請求項における情報処理装置に相当する。
【0026】
ここで、図２を参照して、この広告視聴判定システム１における、顧客が広告を視聴しているか否かを判定する方法の概要について、簡単に説明する（詳細については、後述する）。上記のサイネージ学習管理サーバ５がサイネージ２ａに配布する学習済視聴判定ＮＮモデル１６ｂ（請求項における「機械学習済みモデル」に相当）は、フレーム画像に映りこんだ人（顧客）の位置と、人の視線方向（より正確に言うと、人の頭の向きから推定した視線方向）とを入力すると、人が広告を視聴しているか否かの推論結果を出力する学習済ＮＮモデルである。本実施形態の広告視聴判定システム１では、サイネージ学習管理サーバ５からサイネージ２ａに、この学習済視聴判定ＮＮモデル１６ｂをインストールしておいて、サイネージ２ａが、上記の学習済視聴判定ＮＮモデル１６ｂを用いて、広角Ｗｅｂカメラ３からのフレーム画像に映り込んだ顧客の位置と視線方向から、顧客がサイネージ２ａ、２ｂ、又は２ｃの広告を視聴しているか否かを判定する。図２の例では、視線方向９ａの顧客７ａと、視線方向９ｂの顧客７ｂは、広告（サイネージ２ｂの広告（１））を視聴していると判定され、視線方向９ｃの顧客７ｃは、広告を視聴していないと判定される。なお、図２における８ａ～８ｄは、商品棚を示し、６は、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）レジスタが載置されるカウンタ（レジカウンタ）を示す。
【0027】
次に、図３を参照して、上記（真ん中の）サイネージ２ａのハードウェア等の構成について説明する。サイネージ２ａは、上記の広角Ｗｅｂカメラ３に加えて、電源のオン・オフボタン等の操作部１０と、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）１１と、ディスプレイ１４と、スピーカ１５と、各種のデータやプログラムを記憶するメモリ１６と、通信部１７と、ＵＳＢインタフェース１８とを備えている。ＳｏＣ１１は、装置全体の制御及び各種演算を行うＣＰＵ１２と、各種の学習済ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）モデルの推論処理等に用いられるＧＰＵ１３とを備えている。通信部１７は、通信ＩＣとアンテナを備えている。サイネージ２ａは、通信部１７とネットワークとを介して、クラウドＣ上のサイネージ学習管理サーバ５と接続されている。また、広角Ｗｅｂカメラ３は、ＵＳＢケーブル２０を介して、ＵＳＢインタフェース１８と接続されている。
【0028】
上記のメモリ１６に格納されるプログラムには、サイネージ側広告視聴判定プログラム１６ａと広告表示プログラム１６ｃとが含まれている。上記のサイネージ側広告視聴判定プログラム１６ａと、サイネージ学習管理サーバ５における自動設定プログラム２９（図４参照）とが、請求項における広告閲覧判定プログラムに相当する。サイネージ側広告視聴判定プログラム１６ａは、上記の学習済視聴判定ＮＮモデル１６ｂを用いて、広角Ｗｅｂカメラ３からのフレーム画像に映り込んだ顧客が、広告を視聴しているか否かを判定する。また、上記の広告表示プログラム１６ｃは、サイネージ学習管理サーバ５から送信されたデータ（例えば、コンテンツの識別情報（ＵＲＬ等）や、コンテンツのストリームデータ）に基づいて、コンテンツの画像と音声とを、それぞれ、ディスプレイ１４とスピーカ１５とに出力する。
【0029】
なお、図１及び図２における左右のサイネージ２ｃ、２ｂのハードウェア等の構成は、広角Ｗｅｂカメラ３とＵＳＢインタフェース１８とを備えていない点と、メモリ１６にサイネージ側広告視聴判定プログラム１６ａ（学習済視聴判定ＮＮモデル１６ｂを含む）を格納していない点を除くと、図３に示す真ん中のサイネージ２ａのハードウェア等の構成と同じである。
【0030】
次に、図４を参照して、サイネージ学習管理サーバ５のハードウェア構成について説明する。サイネージ学習管理サーバ５は、ＳｏＣ２１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４と、ディスプレイ２５と、キーボード、マウス等の操作部２６と、学習済ＮＮモデルの配布等を行うための通信部２７と、各種のデータやプログラムを格納するハードディスク２８とを備えている。ＳｏＣ２１は、装置全体の制御及び各種演算を行うＣＰＵ２２と、各種の学習済ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）モデルの推論処理等に用いられるＧＰＵ２３とを備えている。
【0031】
上記のハードディスク２８に格納されるプログラムには、自動設定プログラム２９と、視聴情報集計プログラム３０とが含まれている。自動設定プログラム２９は、広角Ｗｅｂカメラ３から取得したフレーム画像に基づいて、フレーム画像に映りこんだ人（顧客）の位置と、この位置の人が広告を閲覧しているとみなすことができる視線方向との対応関係を自動的に設定するためのプログラム（請求項における「自動設定部」の機能を実現するためのプログラム）である。また、視聴情報集計プログラム３０は、サイネージ２ａにより行われる、顧客が広告を視聴しているか否かの判定の結果に基づいて、各広告の視聴者数や、各顧客による各広告の視聴時間や、延べ視聴時間（全顧客の広告視聴時間の合計）等の視聴情報を集計するためのプログラムである。
【0032】
また、上記のハードディスク２８に格納されるファイルには、教師データ保存ファイル３１（以下、「教師データ保存Ｆ」と記す）と、視聴判定結果保存ファイル３２（以下、「視聴判定結果保存Ｆ」と記す）とが含まれている。教師データ保存Ｆ３１に格納される教師データは、広角Ｗｅｂカメラ３から取得したフレーム画像に映りこんだ顧客の位置と、この顧客の頭の向き（視線方向）と、この顧客が広告を閲覧しているか否かを示す正解ラベルの情報とを組み合わせたデータである。視聴判定結果保存Ｆ３２に保存されるデータは、サイネージ２ａにより行われる、顧客が広告を視聴しているか否かの判定の結果のデータである。この視聴判定結果保存Ｆ３２に保存されたデータは、上記の視聴情報集計プログラム３０による視聴情報の集計に用いられる。
【0033】
図５は、上記のサイネージ２ａとサイネージ学習管理サーバ５の機能ブロックを示す。サイネージ２ａは、機能ブロックとして、撮影画像取得部３３と、位置向き検出部３８と、視聴判定部３９とを備えている。また、サイネージ学習管理サーバ５は、機能ブロックとして、自動設定部３４を備えている。この自動設定部３４は、データ生成部３５と学習部３７とを備えている。上記の視聴判定部３９は、請求項における「閲覧判定部」に相当する。サイネージ２ａ側の撮影画像取得部３３は、主に、図３中の通信部１７とＣＰＵ１２とサイネージ側広告視聴判定プログラム１６ａとにより実現される。位置向き検出部３８は、図３中のＳｏＣ１１とサイネージ側広告視聴判定プログラム１６ａとにより実現される。視聴判定部３９は、図３中のＳｏＣ１１とサイネージ側広告視聴判定プログラム１６ａ（学習済視聴判定ＮＮモデル１６ｂを含む）とにより実現される。また、サイネージ学習管理サーバ５側のデータ生成部３５と学習部３７とは、図４中のＳｏＣ２１と自動設定プログラム２９とにより実現される。
【0034】
まず、上記の機能ブロックのうち、上記の学習済視聴判定ＮＮモデル１６ｂの元になるニューラルネットワークの機械学習に関係する機能ブロックの説明を行う。この機械学習時には、広角Ｗｅｂカメラ３は、図１３（ａ）に示す視聴判別用サイン５３、５７（請求項における「閲覧判別用情報」）を掲げた（サイネージ２の）設置担当者が写りこんだ映像を撮影する。上記の機械学習に関係する機能ブロックは、サイネージ２ａ側の撮影画像取得部３３と、サイネージ学習管理サーバ５側の自動設定部３４である。
【0035】
サイネージ２ａ側の撮影画像取得部３３は、ディスプレイ１４に表示された広告の前方周辺の領域を撮影する広角Ｗｅｂカメラ３から撮影画像（フレーム画像）を取得する。より正確に言うと、撮影画像取得部３３は、外付けの広角Ｗｅｂカメラ３から入力された映像ストリームを受信してデコードし、フレーム画像のデータにする。
【0036】
サイネージ学習管理サーバ５側の自動設定部３４は、撮影画像取得部３３により取得したフレーム画像に基づいて、フレーム画像に映り込んだ設置担当者の位置（正確に言うと、設置担当者の頭の位置）と、この位置の設置担当者が広告を視聴しているとみなすことができる視線方向（正確に言うと、設置担当者の頭の向き）との対応関係を自動的に設定する。
【0037】
上記の自動設定部３４による対応関係の自動設定処理について、より詳細に説明する。自動設定部３４におけるデータ生成部３５は、撮影画像取得部３３により取得したフレーム画像から、フレーム画像に映り込んだ設置担当者の頭の位置と、頭の向きと、設置担当者が広告を視聴しているか否かを示す視聴判別用サインを検出して、検出した設置担当者の頭の位置と、頭の向きと、視聴判別用サインとに基づいて、教師データを生成する。より正確に言うと、データ生成部３５は、上記の検出した視聴判別用サイン５３、５７（図１３（ａ）参照）に基づいて、検出した頭の位置と頭の向きを有する設置担当者が、広告を視聴しているか否かを示す正解ラベルの情報を生成し、上記の検出した設置担当者の頭の位置と、頭の向きと、上記の生成した正解ラベルの情報とを組み合わせた教師データを生成する。自動設定部３４における学習部３７は、上記の教師データを用いて、学習済視聴判定ＮＮモデル１６ｂの元になるニューラルネットワークの教師あり学習を行うことにより、学習済視聴判定ＮＮモデル１６ｂを生成する。サイネージ学習管理サーバ５のＣＰＵ２２は、上記の学習済視聴判定ＮＮモデル１６ｂをサイネージ２ａに送って、サイネージ２ａのメモリ１６に格納する（インストールする）。なお、上記の設置担当者と視聴判別用サインが映りこんだフレーム画像が、請求項における「正解画像」に相当する。
【0038】
次に、図５に示す機能ブロックのうち、学習済視聴判定ＮＮモデル１６ｂの生成後の実運用時に使用する機能ブロックの説明を行う。実運用時に使用する機能ブロックは、サイネージ２ａ側における、撮影画像取得部３３と位置向き検出部３８と視聴判定部３９である。実運用時における、広角Ｗｅｂカメラ３の撮影対象、及び広告視聴判定システム１による視聴判定の対象は、店舗Ｓ内の顧客である。実運用時には、撮影画像取得部３３は、広角Ｗｅｂカメラ３から顧客のフレーム画像を取得する。位置向き検出部３８は、撮影画像取得部３３により取得したフレーム画像に基づいて、フレーム画像に映り込んだ顧客の頭の位置と頭の向きとを検出する。そして、視聴判定部３９は、フレーム画像に映り込んだ人の頭の位置と頭の向きとを入力すると、人が広告を視聴しているか否かの推論結果を出力する学習済視聴判定ＮＮモデル１６ｂを用いて、フレーム画像に映り込んだ各顧客が、サイネージ２ａ、２ｂ、又は２ｃの広告を視聴しているか否かを判定する。サイネージ２ａは、ＣＰＵ１２と通信部１７を用いて、上記の各顧客が広告を視聴しているか否かの判定結果（視聴判定結果）を、サイネージ学習管理サーバ５に送信して、サイネージ学習管理サーバ５のハードディスク２８の視聴判定結果保存Ｆ３２に保存する。
【0039】
次に、図６のフローチャートと、図７～図９の説明図を参照して、上記の広告視聴判定システム１の実運用時の処理（学習済視聴判定ＮＮモデル１６ｂの推論時の処理）について、詳述する。広告視聴判定システム１の実運用時には、サイネージ２ａの撮影画像取得部３３は、広角Ｗｅｂカメラ３から、広告の前方周辺の領域を撮影した映像を入力して、この映像から、図７に示すようなフレーム画像４１を切り出す（Ｓ１）。そして、サイネージ２ａの位置向き検出部３８が、上記の切り出したフレーム画像４１から、顧客７ａ～７ｃの頭を検出する（Ｓ２）。より詳細に説明すると、位置向き検出部３８は、切り出したフレーム画像４１を、学習済頭検出ＤＮＮモデル（ディープラーニングにより人の頭を検出するように学習したＤＮＮモデル）に入力して、切り出したフレーム画像４１に映りこんだ顧客７ａ～７ｃの頭の位置（顧客７ａ～７ｃの頭のバウンディングボックス４２ａ～４２ｃの左上座用と右下座標）を得る。そして、位置向き検出部３８は、上記のフレーム画像４１から頭のバウンディングボックス４２ａ～４２ｃの部分を切り出した頭画像を生成する（Ｓ３）。図９に示す頭画像４５は、図８における顧客７ｂの頭のバウンディングボックス４２ｂに対応する頭画像である。
【0040】
上記Ｓ３の頭画像の生成（切り出し）処理が完了すると、サイネージ２ａの位置向き検出部３８は、この頭画像を、学習済頭向き検出ＤＮＮモデル（人の頭画像が入力されると、この画像に映った頭の向きを、３軸の角度（Ｒｏｌｌ（ロール）角，Ｐｉｔｃｈ（ピッチ）角，Ｙａｗ（ヨー）角）で出力するように、ディープラーニングで学習したＤＮＮモデル）に入力して、頭画像に映った頭の向きを検出（取得）する（Ｓ４）。図９は、頭画像４５を上記の学習済頭向き検出ＤＮＮモデルに入力した場合に得られる頭の向き（ロール角，ピッチ角，ヨー角）が、（Ｒｏｌｌ０，Ｐｉｔｃｈ０，Ｙａｗ０）であることを示している。
【0041】
上記Ｓ４の頭の向きの検出処理が完了すると、サイネージ２ａの視聴判定部３９は、上記Ｓ２で検出した各顧客７ａ～７ｃの頭の位置と、上記Ｓ４で検出した各顧客７ａ～７ｃの頭の向きを、上記の学習済視聴判定ＮＮモデル１６ｂに入力して、フレーム画像４１に映りこんだ各顧客７ａ～７ｃが、広告を視聴しているか否かを判定する（Ｓ５）。そして、サイネージ２ａのＣＰＵ１２は、上記Ｓ２で検出した各顧客７ａ～７ｃの頭の位置と、上記Ｓ４で検出した各顧客７ａ～７ｃの頭の向きと、上記Ｓ５で判定した各顧客７ａ～７ｃが広告を視聴しているか否かの判定結果を、サイネージ学習管理サーバ５に送って、サイネージ学習管理サーバ５のハードディスク２８の視聴判定結果保存Ｆ３２に保存する（Ｓ６）。
【0042】
上記の視聴判定結果保存Ｆ３２には、上記Ｓ２で頭の位置が検出された各顧客７ａ～７ｃをトラッキングするためのトラッキングＩＤも保存されている。このトラッキングＩＤは、サイネージ２ａのＣＰＵ１２が、上記Ｓ２で検出した各顧客７ａ～７ｃの頭毎に付与したものである。視聴判定結果保存Ｆ３２に、上記の各顧客のトラッキングＩＤを付与したことにより、同じ顧客の視聴行動を追跡することができるので、上記の視聴情報集計プログラム３０による視聴情報の集計処理（例えば、各広告の視聴者数の集計処理や、各顧客による各広告の視聴時間の集計処理）において、適切な集計処理を行うことができる。
【0043】
次に、図１０のフローチャートと、図１１～図１３の説明図を参照して、上記の学習済視聴判定ＮＮモデル１６ｂの学習時（正確に言うと、学習済視聴判定ＮＮモデル１６ｂの元になるニューラルネットワークの学習時）における、広告視聴判定システム１の処理について、詳述する。
【0044】
学習済視聴判定ＮＮモデル１６ｂの学習時には、サイネージ２の設置担当者が、図１１、図１２及び図１３（ａ）に示す視聴判別用サイン５３（人が広告を視聴していることを示す視聴判別用サイン）、又は図１３（ａ）に示す視聴判別用サイン５７（人が広告を視聴していないことを示す視聴判別用サイン）を持って（掲げて）、店舗Ｓ内における各位置において、人が広告を視聴しているとみなすことができる視線方向の範囲内と、みなすことができない視線方向の範囲内で、首を振って、頭の向き（視線方向）を徐々に変える動作を繰り返す（Ｓ１１）。すなわち、まず、紙やプラスチック等のボードに記載された視聴判別用サイン５３（人が広告を視聴していることを示す視聴判別用サイン）を持った（掲げた）設置担当者が、店舗Ｓ内における、サイネージ２ａ、２ｂ、又は２ｃの広告を視聴可能な各位置に立って、上記の各位置で、サイネージ２ａ、２ｂ、又は２ｃの広告を視聴可能な頭の向き（視線方向）の範囲内で、首を振って、頭の向きを徐々に変える動作を繰り返す。次に、ボードに記載された視聴判別用サイン５７（人が広告を視聴していないことを示す視聴判別用サイン）を持った（掲げた）設置担当者が、店舗Ｓ内における各位置に立って、上記の各位置で、サイネージ２ａ、２ｂ、又は２ｃの広告を視聴することができない頭の向き（視線方向）の範囲内で、首を振って、頭の向きを徐々に変える動作を繰り返す。
【0045】
サイネージ２ａに接続された広角Ｗｅｂカメラ３は、上記の視聴判別用サイン５３又は視聴判別用サイン５７を掲げた設置担当者を撮影する。そして、サイネージ学習管理サーバ５のデータ生成部３５は、上記の視聴判別用サイン５３又は視聴判別用サイン５７を掲げた設置担当者が映りこんだフレーム画像に基づいて、上記の教師データを生成する。すなわち、まず、サイネージ２ａの撮影画像取得部３３が、広角Ｗｅｂカメラ３から、広告の前方周辺の領域を撮影した映像を入力して、この映像から、図１１に示すようなフレーム画像５１を切り出し（Ｓ１２）、サイネージ学習管理サーバ５に送信する。サイネージ学習管理サーバ５のデータ生成部３５は、サイネージ２ａから受信した上記のフレーム画像５１（図１１参照）から、各設置担当者５０ａ～５０ｃの頭と、設置担当者が掲げる（持つ）視聴判別用サイン５３又は視聴判別用サイン５７を検出する（Ｓ１３）。
【0046】
上記Ｓ１３の処理を、より詳細に説明する。先ず、データ生成部３５は、サイネージ２ａから受信したフレーム画像５１を、位置向き検出部３８が有する学習済頭検出ＤＮＮモデルと同様な学習済頭検出ＤＮＮモデルに入力して、図１２に示すように、フレーム画像５１に映りこんだ各設置担当者５０ａ～５０ｃの頭の位置（各設置担当者５０ａ～５０ｃの頭のバウンディングボックス５２ａ～５２ｃの左上座用と右下座標）を得る。次に、データ生成部３５は、上記のフレーム画像５１を学習済サイン検出ＤＮＮモデル（視聴判別用サイン５３、５７に対応する図形（例えば、「●」）や「▲」）を検出するように、ディープラーニングで学習したＤＮＮモデル）に入力して、フレーム画像５１に映りこんだ視聴判別用サイン５３又は視聴判別用サイン５７（図１３（ａ）参照）の位置（各視聴判別用サイン５３、５７のバウンディングボックス５４、５８の左上座用と右下座標）と、上記の各視聴判別用サイン５３、５７のクラス分け結果（「視聴」を示す視聴判別用サイン５３（例えば、「●」）と、「非視聴」を示す視聴判別用サイン５７（例えば、「▲」）とのクラス分け結果）を得る。なお、図１１、図１２及び図１３（ａ）では、紙やプラスチック等のボードに記載された視聴判別用サイン５３及び５７を、学習済サイン検出ＤＮＮモデルで検出する場合の例を示したが、視聴判別用サインは、ボードに記載されたものである必要は無く、例えば、設置担当者が自分の体で表現したサインであってもよい。具体的には、例えば、設置担当者が手で表したサイン（例えば、「パー」は、「視聴」を示すサインで、「グー」は、「非視聴」を示すサイン）であってもよい。
【0047】
次に、上記のデータ生成部３５は、上記のフレーム画像５１から、視聴判別用サイン５３、５７の近傍で検出された頭のバウンディングボックスの部分を切り出して、頭画像を生成する（Ｓ１４）。図１３（ａ）に示す頭画像５５は、図１２における設置担当者５０ｃの頭のバウンディングボックス５２ｃの部分を切り出した頭画像である。図１３（ａ）は、「視聴」を示す視聴判別用サイン５３（「●」）の近傍で検出された設置担当者の頭画像５５と、「非視聴」を示す視聴判別用サイン５７（「▲」）の近傍で検出された設置担当者の頭画像５６を示している。また、図１３（ａ）は、頭画像５５に対応するバウンディングボックス（図１２におけるバウンディングボックス５２ｃ）の左上座用と右下座標とが、（Ｘ１１，Ｙ１１）と（Ｘ１２，Ｙ１２）であり、頭画像５６に対応するバウンディングボックスの左上座用と右下座標とが、（Ｘ２１，Ｙ２１）と（Ｘ２２，Ｙ２２）であることを示している。
【0048】
上記Ｓ１４の頭画像の切り出し処理が終了すると、データ生成部３５は、上記の頭画像５５、５６を、サイネージ２ａの位置向き検出部３８が有する学習済頭向き検出ＤＮＮモデルと同様な学習済頭向き検出ＤＮＮモデルに入力して、頭画像５５、５６に映った頭の向きを検出（取得）する（Ｓ１５）。図１３（ａ）に示すように、頭画像５５と頭画像５６とを上記の学習済頭向き検出ＤＮＮモデルに入力した場合、このモデルにより得られる頭の向き（ロール角，ピッチ角，ヨー角）は、（Ｒｏｌｌ１，Ｐｉｔｃｈ１，Ｙａｗ１）と（Ｒｏｌｌ２，Ｐｉｔｃｈ２，Ｙａｗ２）である。なお、図１１における視聴判別用サイン５３と、この視聴判別用サイン５３近傍の人（設置担当者５０ｃ）とが映り込んだフレーム画像５１が、請求項における、ある位置における、ある視線方向の人が広告を閲覧しているか否かを示す「正解画像」に相当する。
【0049】
上記Ｓ１５の処理が終了すると、データ生成部３５は、上記Ｓ１３の検出結果と上記Ｓ１５の検出結果を用いて、上記の視聴判別用サイン５３、５７の近傍で検出された設置担当者の頭の位置（設置担当者の頭のバウンディングボックスの左上座用と右下座標）と、頭の向きと、該当の視聴判別用サイン５３、５７についての視聴・非視聴のクラス分け結果を組み合わせた教師データを生成して、上記サイネージ学習管理サーバ５のハードディスク２８の教師データ保存Ｆ３１に保存する（Ｓ１６）。
【0050】
図１３（ｂ）は、教師データ保存Ｆ３１に保存された教師データの例を示す。この教師データには、図１３（ｂ）に示すように、上記の設置担当者の頭の向き（ロール角，ピッチ角，ヨー角）と、設置担当者の頭のバウンディングボックスの左上座用及び右下座標と、設置担当者の頭の近傍の視聴判別用サインについての視聴・非視聴のクラス分け結果（視聴判定結果）に加えて、タイムスタンプが含まれている。このタイムスタンプは、例えば、上記フレーム画像の元になる（広角Ｗｅｂカメラ３からの）映像のタイムスタンプである。なお、図１３（ｂ）では、頭の向き（ロール角，ピッチ角，ヨー角）を、（Ｒｏｌｌ１，Ｐｉｔｃｈ１，Ｙａｗ１）等の抽象的な記載で表しているが、実際の教師データにおける、ロール角、ピッチ角、及びヨー角のデータは、数値のデータである。また、図１３（ｂ）では、視聴判別用サインについての視聴判定結果を、「●」（視聴）と「▲」（非視聴）の図形で表しているが、上記の視聴判定結果のデータは、実際には、“０”と“１”の二値データであることが望ましい。
【0051】
図１３（ｂ）に示す例では、教師データ保存Ｆ３１内の１つ目のレコードが、図１３（ａ）に示す視聴判別用サイン５３と頭画像５５に対応する教師データであり、２つ目のレコードが、図１３（ａ）に示す視聴判別用サイン５７と頭画像５６に対応する教師データである。
【0052】
データ生成部３５は、上記Ｓ１１～Ｓ１６の処理を繰り返すことにより、上記の教師データを教師データ保存Ｆ３１に蓄積する。そして、店舗Ｓ内における予定範囲内のエリアの教師データの生成が完了すると（Ｓ１７でＹＥＳ）、サイネージ学習管理サーバ５のＣＰＵ２２は、学習部３７により、教師データ保存Ｆ３１に蓄積された教師データを用いて、（学習済視聴判定ＮＮモデル１６ｂの）元になるニューラルネットワークの教師あり学習を行うことにより、学習済視聴判定ＮＮモデル１６ｂを生成する（Ｓ１８）。この学習済視聴判定ＮＮモデル１６ｂは、フレーム画像から検出された人の位置と頭の向き（視線方向）を入力すると、この人が広告を視聴しているか否か（視聴か非視聴か）を出力する関数（視聴判定関数）を、学習済ＮＮモデルで実現（実装）したものである。上記の学習部３７による（学習済視聴判定ＮＮモデル１６ｂの元になる）ニューラルネットワークの教師あり学習は、上記の視聴判定関数のパラメータ調整に相当する。また、上記の自動設定部３４（図５参照）による処理の全体は、上記の視聴判定関数のパラメータを自動的に調整することにより、視聴判定関数を自動的に最適化する処理に相当する。
【0053】
上記の学習済視聴判定ＮＮモデル１６ｂは、例えば、シンプルな３層程度の全結合層から構成されるニューラルネットワークである。このネットワークへの入力は、例えば、頭のバウンディングボックスの左上座標（のｘ座標及びｙ座標）と右下座標（のｘ座標及びｙ座標）を、それぞれ、０～１で正規化したものと、視線方向である頭の向き（３軸の角度）を０～１で正規化したものであり、このネットワークの出力は、例えば、“０”（非視聴）と“１”（視聴）の二値データである。
【0054】
上記Ｓ１８の学習済視聴判定ＮＮモデルの生成処理が完了すると、サイネージ学習管理サーバ５のＣＰＵ２２は、生成した学習済視聴判定ＮＮモデル１６ｂをサイネージ２ａに送信して、サイネージ２ａのメモリ１６に格納する（インストールする）（Ｓ１９）。
【0055】
上記のように、この広告視聴判定システム１では、サイネージ２を店舗Ｓに設置する際に、特に人工知能やディープラーニング・コンピュータビジョンの知識を有さない（サイネージ２の）設置担当者が、店舗Ｓ内のいくつかの場所に立って、「視聴」を示す視聴判別用サイン５３（「●」）を掲げながら、広告を視聴可能な視線方向（頭の向き）の範囲内で、首振りをする（頭の向きを徐々に変える）と共に、いくつかの場所に立って、「非視聴」を示す視聴判別用サイン５７（「▲」）を掲げながら、広告を視聴不可能な視線方向の範囲内で、首振りをするだけで、店舗Ｓにおける、人（顧客）の位置と、広告を視聴しているとみなすことができる視線方向（頭の向き）との対応関係を自動的に設定することができる。すなわち、フレーム画像から検出された人の位置と頭の向き（視線方向）を入力すると、この人が広告を視聴しているか否かを出力することが可能な学習済視聴判定ＮＮモデル１６ｂ（視聴判定関数）を、自動的に生成することができる。この学習済視聴判定ＮＮモデル１６ｂを用いて、店内の様々な位置にいる、様々な視線方向の人（顧客）が、広告を視聴しているか否かを正確に判定することができる。
【0056】
この広告視聴判定システム１によれば、実際の（サイネージ２の）広告及び広角Ｗｅｂカメラ３の設置条件における、人（顧客）の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑な場合でも、フレーム画像に映り込んだ人が、広告を視聴しているか否かを正確に判定することができる。
【0057】
次に、図１４乃至図１６を参照して、上記のように、人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑な場合における、広告視聴判定システム１による視聴判定処理の例について、説明する。
【0058】
図１４は、人６１の視線方向６２に、遮蔽物６３（例えば、商品棚や、いわゆるポップ広告（商品周りの広告））があり、遮蔽物６３に遮られて、人６１がサイネージ２ｃの広告（３）を視聴することができない場合の例を示している。このような場合に、もし、広角Ｗｅｂカメラ３からのフレーム画像に映り込んだ人６１の位置と視線方向（頭の向き）６２だけで判定すると、この人６１は、サイネージ２ｃの広告（３）を視聴することができると判定されるであろう。しかし、実際には、人６１は、遮蔽物６３に遮られて、サイネージ２ｃの広告（３）を視聴することができない。このような場合でも、本広告視聴判定システム１では、上記の学習済視聴判定ＮＮモデル１６ｂの学習時に、人（設置担当者）６１が掲げた「非視聴」を示す視聴判別用サイン５７（「▲」）を検出して、この人６１の位置と視線方向６２が、「非視聴」（広告を視聴しているとみなすことができない状態）に相当するという対応関係を学習（設定）することができるので、システムの実運用時に、上記の対応関係に基づいて、この位置と視線方向６２の人６１が、広告を視聴していないと判定することができる。
【0059】
また、図１５は、人６４の視線方向６５にある（サイネージ２ｃの）広告（３）に、店内照明６６の映り込み（照明映り込み箇所６７）があるので、人６４がサイネージ２ｃの広告（３）を視聴することができない場合の例を示している。この場合も、もし、広角Ｗｅｂカメラ３からのフレーム画像に映り込んだ人６４の位置と視線方向（頭の向き）６５だけで判定すると、この人６４は、サイネージ２ｃの広告（３）を視聴することができると判定されるであろう。このような場合でも、本広告視聴判定システム１では、図１４の場合と同様に、学習済視聴判定ＮＮモデル１６ｂの学習時に、人（設置担当者）６４が掲げた「非視聴」を示す視聴判別用サイン５７（「▲」）を検出して、この人６４の位置と視線方向６５が、「非視聴」に相当するという対応関係を学習（設定）することができるので、システムの実運用時に、上記の対応関係に基づいて、この位置と視線方向６５の人６４が、広告を視聴していないと判定することができる。
【0060】
また、この広告視聴判定システム１では、本実施形態のように、複数のサイネージ２ａ～２ｃの広告（１）～（３）を並べていることに起因して、人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑になる場合にも、広告の視聴の有無を正確に判定することができる。例えば、図１６に示すように、人６８の視線方向６９の先が、サイネージ２ａの広告（２）とサイネージ２ｃの広告（３）との間の隙間７０に相当する位置である場合には、人６８は、サイネージ２ａの広告（２）も、サイネージ２ｃの広告（３）も、視聴することができない。このような場合でも、本広告視聴判定システム１では、図１４及び図１５の場合と同様に、学習済視聴判定ＮＮモデル１６ｂの学習時に、人（設置担当者）６８が掲げた「非視聴」を示す視聴判別用サイン５７（「▲」）を検出して、この人６８の位置と視線方向６９が、「非視聴」に相当するという対応関係を学習（設定）することができるので、この対応関係に基づいて、この位置と視線方向６９の人６８が、広告を視聴していないと判定することができる。
【0061】
上記図１４～図１６では、遮蔽物や店内照明の映り込みの影響や、複数のサイネージの広告を並べていることに起因して、人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向（頭の向き）との対応関係が複雑になる場合の例について説明したが、人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑になる場合には、店内が階層構造になっているために、二次元の座標として検出される人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑になる場合もある。本広告視聴判定システム１では、上記の店内が階層構造になっているために、二次元の座標として検出される人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑になる場合は勿論、サイネージ２ａ、２ｂ、及び２ｃの設置位置や、広角Ｗｅｂカメラ３の設置位置及び向き等が、設置担当者により微妙に変わってしまうような状況でも、上記の設置担当者による僅少な工数の作業（視聴判別用サイン５３、５７を掲げて、数分間首振りをするという作業）で、学習済視聴判定ＮＮモデル１６ｂ（視聴判定関数）のパラメータを最適化して、顧客の広告視聴の有無を正確に判定することができる。
【0062】
また、この広告視聴判定システム１では、店舗Ｓの改装等により、店舗Ｓのレイアウトや照明条件が変化してしまった場合でも、変化後の環境の店舗Ｓにおいて、設置担当者が視聴判別用サイン５３、５７を掲げて首振りをするという作業を実施するだけで、学習済視聴判定ＮＮモデル１６ｂ（視聴判定関数）のパラメータを再度最適化して、上記の変化後の店舗Ｓでも、顧客の広告視聴の有無を正確に判定できるようにすることが可能である。
【0063】
本広告視聴判定システム１では、上記のように、設置担当者による僅少な工数の作業（視聴判別用サイン５３、５７を掲げて首振りをするという作業）で、学習済視聴判定ＮＮモデル１６ｂ（視聴判定関数）のパラメータを最適化することができる。ここで、サイネージ２が設置される店舗Ｓが、多店舗展開のチェーン店であることが多く、店舗内の状況が経時的に変化するという点を考慮すると、本広告視聴判定システム１に採用されている視聴判定技術は、サイネージを利用した広告ビジネスを展開する上で、必須の技術であるということができる。
【0064】
また、本実施形態のように、サイネージ２ａ、２ｂ、及び２ｃを横並びにして設置した場合や、サイネージの横幅が大きい場合には、人（顧客）の位置と視線方向との組み合わせが多くなる。このような場合でも、本広告視聴判定システム１によれば、上記のように、設置担当者による僅少な工数の作業で学習済視聴判定ＮＮモデル１６ｂのパラメータを最適化することにより、フレーム画像に映り込んだ人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向（頭の向き）との対応関係を自動的に設定することができる。
【0065】
上記のように、本実施形態の広告視聴判定システム１によれば、サイネージ２の広告の前方周辺領域の実際のフレーム画像に基づいて、フレーム画像に映り込んだ人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向（頭の向き）との対応関係を自動的に設定（学習）するようにした。これにより、実際の（サイネージ２の）広告及び広角Ｗｅｂカメラ３の設置条件における、人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係が複雑な場合でも、この対応関係を、実際の広告及び広角Ｗｅｂカメラ３の設置条件に応じて適切に自動設定することができる。従って、上記の自動設定した対応関係に基づいて、フレーム画像に映り込んだ人が、広告を視聴しているか否かを正確に判定することができる。
【0066】
また、本実施形態の広告視聴判定システム１によれば、自動設定部３４が、ある位置における、ある視線方向の人が広告を視聴しているか否かを示す複数の正解画像（例えば、図１１における視聴判別用サイン５３と、この視聴判別用サイン５３近傍の人（設置担当者５０ｃ）とが映り込んだフレーム画像５１）に基づいて、フレーム画像に映り込んだ人の位置と、この位置の人が広告を視聴しているとみなすことができる視線方向との対応関係を自動的に設定するようにした。これにより、上記の対応関係（のパラメータ）を手入力で調整する必要がなくなる。
【0067】
また、本実施形態の広告視聴判定システム１によれば、広角Ｗｅｂカメラ３より取得したフレーム画像から、フレーム画像に映り込んだ人の頭の位置と、人の頭の向きと、人が広告を視聴しているか否かを示す視聴判別用サイン５３、５７を検出して、検出した人の頭の位置と、人の頭の向きと、視聴判別用サイン５３、５７とに基づいて、学習済視聴判定ＮＮモデル１６ｂ生成用の教師データを生成するようにした。これにより、上記の教師データの作成時に、人が広告を視聴しているか否かを示す正解ラベルのアノテーションを手動で行う必要が無くなり、広角Ｗｅｂカメラ３より取得したフレーム画像から、上記の教師データを自動的に生成することができる。
【0068】
次に、図１７乃至図２７を参照して、本発明の第２の実施形態の広告視聴判定システム７１について説明する。第２の実施形態の広告視聴判定システム７１は、学習済視聴判定ＮＮモデル１６ｂの学習時に使用する教師データの生成方法が、第１の実施形態の広告視聴判定システム１と異なる。図１７に示すように、第２の実施形態の広告視聴判定システム７１のハードウェア構成は、タブレット端末７２（請求項における「情報処理端末」）と、ＷｉＦｉ ＡＰ（ＷｉＦｉ Ａｃｃｅｓｓ Ｐｏｉｎｔ）７４と、ハブ７５とを備えている点において、第１の実施形態の広告視聴判定システム１と異なる。第２の実施形態では、上記のサイネージ２ａとタブレット端末７２とサイネージ学習管理サーバ５が、請求項における情報処理装置に相当する。
【0069】
タブレット端末７２は、広告視聴判定システム７１の（主にサイネージ２の）設置担当者が携帯するモバイルタイプの情報処理端末であって、内蔵カメラ７３（請求項における「撮像部」）を備えている。詳細については後述するが、タブレット端末７２の裏面には、ＱＲコードのステッカー（図２２（ｂ）参照）が貼り付けられている。このＱＲコードは、請求項における「可視コード」に相当する。
【0070】
次に、図１８を参照して、上記のタブレット端末７２のハードウェア構成について説明する。タブレット端末７２は、上記の内蔵カメラ７３に加えて、ＳｏＣ８１と、タッチパネルディスプレイ８４と、スピーカ８５と、各種のデータやプログラムを記憶するメモリ８６と、通信部８７と、二次電池８８と、充電端子８９とを備えている。ＳｏＣ８１は、装置全体の制御及び各種演算を行うＣＰＵ８２と、各種の学習済ＤＮＮモデルの推論処理等に用いられるＧＰＵ８３とを備えている。
【0071】
上記のメモリ８６に格納されるプログラムには、上記の教師データの元データの一部を生成するタブレット側データ生成プログラム７６が含まれている。また、メモリ８６に格納されるファイルには、視聴非視聴データ保存ファイル７７（以下、「視聴非視聴データ保存Ｆ」と記す）が含まれている。詳細については後述するが、視聴非視聴データ保存Ｆ７７に保存されるデータは、タイムスタンプと広告の視聴／非視聴の判定結果とを組み合わせたデータ（視聴非視聴データ）である。通信部８７は、通信ＩＣとアンテナを備えている。タブレット端末７２は、通信部８７とネットワークとを介して、サイネージ２ａ、２ｂ、２ｃ、及びクラウドＣ上のサイネージ学習管理サーバ５と接続されている。また、二次電池８８は、リチウムイオン電池等の、充電により繰り返し使用することが可能な電池であり、ＡＣ／ＤＣコンバータにより直流電力に変換した後の商用電源からの電力を、蓄電して、タブレット端末７２の各部に供給する。
【0072】
次に、図１９を参照して、第２の実施形態のサイネージ学習管理サーバ５のハードウェア構成について、説明する。図１９に示すように、第２の実施形態のサイネージ学習管理サーバ５は、ハードディスク２８に、第１の実施形態における自動設定プログラム２９の代わりに、サーバ側自動設定プログラム７８を格納している点と、ＱＲコード位置向き保存ファイル７９（以下、「ＱＲコード位置向き保存Ｆ」と記す）を格納している点以外は、第１の実施形態のサイネージ学習管理サーバ５（図４参照）と同じである。従って、図１９におけるサーバ側自動設定プログラム７８とＱＲコード位置向き保存Ｆ７９以外の構成要素（ブロック）については、図１中の各ブロックと同じ符号を付して、その説明を省略する。
【0073】
上記のサーバ側自動設定プログラム７８は、図２０で後述するサーバ側自動設定部９６の機能を果たすためのプログラムであり、上記のタブレット端末７２側のタブレット側データ生成プログラム７６と合わせて、請求項における「自動設定部」の機能を実現するためのプログラムである。第２実施形態では、上記のサーバ側自動設定プログラム７８と、上記のサイネージ２ａのサイネージ側広告視聴判定プログラム１６ａと、タブレット端末７２のタブレット側データ生成プログラム７６とが、請求項における広告閲覧判定プログラムに相当する。また、ＱＲコード位置向き保存Ｆ７９に格納されるデータは、設置担当者が掲げたタブレット端末７２の裏面のＱＲコードの位置と向きの検出結果とタイムスタンプとを組み合わせたデータである。
【0074】
次に、図２０を参照して、第２の実施形態におけるサイネージ２ａとサイネージ学習管理サーバ５とタブレット端末７２の機能ブロックについて、説明する。図２０に示すように、第２の実施形態におけるサイネージ２ａの機能ブロックの構成は、検出パターン表示制御部９５を備えている点以外は、第１の実施形態のサイネージ２ａの機能ブロック（図５参照）と同じである。また、第２の実施形態におけるサイネージ学習管理サーバ５の機能ブロックとファイルの構成は、第１の実施形態における自動設定部３４とデータ生成部３５（図５参照）の代わりに、サーバ側自動設定部９６とサーバ側データ生成部９７を備えている点と、上記のＱＲコード位置向き保存Ｆ７９を備えている点と、サーバ側データ生成部９７がＱＲコード位置向き検出部９８を備えている点以外は、第１の実施形態のサイネージ学習管理サーバ５と同じである。従って、図５に示した第１の実施形態のサイネージ２ａとサイネージ学習管理サーバ５の構成要素（機能ブロック及びファイル）と同じものについては、図５と同じ符号を付して、その説明を省略する。
【0075】
まず、タブレット端末７２の機能ブロックから説明する。図２０に示すように、タブレット端末７２は、機能ブロックとして、上記の内蔵カメラ７３と、タブレット側データ生成部９０とを備えている。また、タブレット側データ生成部９０は、検出パターン表示指示部９１と、画像入力部９２と、視聴非視聴判定部９３（請求項における「閲覧非閲覧判定部」に相当）と、データ結合要求部９４と、上記の視聴非視聴データ保存Ｆ７７とを備えている。上記のタブレット側データ生成部９０と、サイネージ学習管理サーバ５のサーバ側データ生成部９７とが、請求項における「データ生成部」に相当する。検出パターン表示指示部９１は、主に、図１８中のタッチパネルディスプレイ８４と、ＣＰＵ８２と、通信部８７と、タブレット側データ生成プログラム７６とにより実現される。画像入力部９２及び視聴非視聴判定部９３は、図１８中のＳｏＣ８１とタブレット側データ生成プログラム７６とにより実現される。データ結合要求部９４は、図１８中のＣＰＵ８２と、通信部８７と、タブレット側データ生成プログラム７６とにより実現される。
【0076】
上記のタブレット側データ生成部９０は、上記の教師データの元データの一部である視聴非視聴データ（タイムスタンプと広告の視聴／非視聴の判定結果とを組み合わせたデータ）を生成する機能ブロックである。上記の検出パターン表示指示部９１は、サイネージ２ａのディスプレイ１４に、容易に検出可能な色及びパターンを有する所定の検出パターン（請求項における「所定のパターン」に相当）（の画像）を表示するように、サイネージ２ａに対して指示する機能を有している。上記の所定の検出パターンの画像には、検出し易い色（単色）のみで構成された塗りつぶしの画像や、検出し易い模様で構成された白黒の画像等が含まれる。画像入力部９２は、内蔵カメラ７３から撮影画像（フレーム画像）を入力する。より正確に言うと、画像入力部９２は、内蔵カメラ７３から入力された映像ストリームをデコードして、フレーム画像のデータにする。
【0077】
上記の視聴非視聴判定部９３は、内蔵カメラ７３で撮影したフレーム画像に、所定の面積以上の所定の検出パターンが存在するか否かを判定することにより、ＱＲコード位置向き検出部９８で検出したＱＲコードの位置と向きに対応した、頭の位置と向きの人が、広告を視聴しているとみなすことができるか否かを判定して、この（広告の）視聴／非視聴の判定結果とタイムスタンプとを組み合わせたデータ（視聴非視聴データ）を、視聴非視聴データ保存Ｆ７７に保存する。データ結合要求部９４は、設置担当者がタブレット端末７２のタッチパネルディスプレイ８４から、サイネージ学習管理サーバ５へのデータ結合要求を指示入力した時に、サイネージ学習管理サーバ５に対して、視聴非視聴データ保存Ｆ７７に保存された視聴非視聴データと共に、データ結合要求を送信する。
【0078】
次に、サイネージ２ａの検出パターン表示制御部９５について、説明する。サイネージ２ａの検出パターン表示制御部９５は、タブレット端末７２の検出パターン表示指示部９１から送信された、上記所定の検出パターンの表示指示に基づいて、所定の検出パターンの画像をディスプレイ１４に表示する。
【0079】
次に、サイネージ学習管理サーバ５のサーバ側データ生成部９７とＱＲコード位置向き検出部９８について、説明する。ＱＲコード位置向き検出部９８は、撮影画像取得部３３により取得したフレーム画像から、フレーム画像に映り込んだ（タブレット端末７２裏面の）ＱＲコード（図２２（ｂ）及び図２５参照）の位置と向きを検出して、検出したＱＲコードの位置及び向きとタイムスタンプとを組み合わせたデータ（ＱＲコード位置向きデータ）を、ＱＲコード位置向き保存Ｆ７９に保存する。サーバ側データ生成部９７は、タブレット端末７２のデータ結合要求部９４から送信されたデータ結合要求に応じて、ＱＲコード位置向き検出部９８で検出したＱＲコードの位置と向き、及びタブレット端末７２のデータ結合要求部９４から送信された上記の視聴非視聴データ（視聴非視聴判定部９３により判定した、広告を視聴しているとみなすことができるか否かの判定結果）に基づいて、教師データを生成して、教師データ保存Ｆ３１に保存する。
【0080】
次に、図２１のフローチャートと、図２２～図２７の説明図を参照して、上記の学習済視聴判定ＮＮモデル１６ｂの学習時（正確に言うと、学習済視聴判定ＮＮモデル１６ｂの元になるニューラルネットワークの学習時）における、第２の実施形態の広告視聴判定システム７１の処理について、詳述する。
【0081】
図２１に示す学習時の処理では、設置担当者は、図２２（ａ）（ｂ）に示すタブレット端末７２を用いて、上記の教師データを生成する。図２２（ａ）に示すように、タブレット端末７２は、その表面７２ａに、タッチパネルディスプレイ８４を有している。また、タブレット端末７２は、図２２（ｂ）に示すように、その裏面７２ｂに、ＱＲコード９９を有している。より正確に言うと、タブレット端末７２の裏面７２ｂに、ＱＲコード９９のステッカーが貼り付けられている。なお、このＱＲコード９９は、タブレット端末７２の裏面７２ｂに印字したもの等であってもよい。
【0082】
この学習時の処理では、設置担当者が、まず、タブレット端末７２において、上記の検出パターン表示指示部９１を用いて、サイネージ２ａ、２ｂ、及び２ｃに、上記の容易に検出可能な色及びパターンを有する所定の検出パターンを表示するように、指示入力する（Ｓ２１）。具体的には、設置担当者が、タブレット端末７２において、タブレット側データ生成プログラム７６を起動するように指示すると、タブレット端末７２のＣＰＵ８２は、タブレット側データ生成プログラム７６を起動した後、このプログラムに従って、図２３の左側に示すように、「タップして、サイネージ上に検出パターンを表示させてください」というメッセージ１０１を、タッチパネルディスプレイ８４上に表示する。設置担当者が、このメッセージ１０１に従って、タッチパネルディスプレイ８４をタップすると、図２０で説明したタブレット端末７２側の検出パターン表示指示部９１と、サイネージ学習管理サーバ５側の検出パターン表示制御部９５の機能により、図２３の右上に示すように、上記の容易に検出可能な所定の検出パターン１０３が、サイネージ２ａ、２ｂ、及び２ｃのディスプレイ１４に表示される。また、上記のタッチパネルディスプレイ８４のタップにより、タブレット端末７２のＣＰＵ８２が、タブレット側データ生成プログラム７６に従って、図２３の右上に示すように、「端末を色んな方向に回転させてください」というメッセージ１０２を、タッチパネルディスプレイ８４上に表示すると共に、タブレット側データ生成プログラム７６に含まれる検出用アプリケーション（上記の検出パターン１０３の検出用アプリケーション）を起動して、検出パターン１０３の検出の準備に入る。
【0083】
上記のように、サイネージ２ａ、２ｂ、及び２ｃのディスプレイ１４に、容易に検出可能な所定の検出パターン１０３を表示した状態で、設置担当者が、タッチパネルディスプレイ８４に表示された上記のメッセージ１０２に従って、裏面７２ｂにＱＲコード９９（のステッカー）が貼り付けられたタブレット端末７２を、頭の位置に掲げて、様々な向きに回転させる（Ｓ２２）。すると、タブレット端末７２のＣＰＵ８２が、画像入力部９２（図２０参照）を用いて内蔵カメラ７３の撮影映像を入力して、図２３の右下に示すように、この撮影映像をタッチパネルディスプレイ８４に表示すると共に、画像入力部９２を用いて、この撮影映像からフレーム画像を切り出す（Ｓ２３）。
【0084】
次に、タブレット端末７２のＣＰＵ８２は、上記の検出用アプリケーションを用いて、図２３の右下に示すように、上記の撮影映像から切り出したフレーム画像の検出領域１０４内において、検出パターン１０３を検出する。そして、タブレット端末７２のＣＰＵ８２（の視聴非視聴判定部９３）は、上記の検出領域１０４内に、一定面積以上の検出パターン１０３が検出された否かに基づいて、図２５の説明で後述する方法で検出したＱＲコードの位置と向きに対応した、頭の位置と向きの人が、広告を視聴しているとみなすことができるか否かを判定して、この（広告の）視聴／非視聴の判定結果とタイムスタンプとを組み合わせたデータ（視聴非視聴データ）を、視聴非視聴データ保存Ｆ７７に保存する（Ｓ２４）。タブレット端末７２のＣＰＵ８２（の視聴非視聴判定部９３）は、例えば、図２３の右下の左側の検出領域１０４と検出パターン１０３のように、検出領域１０４内に一定面積以上の検出パターン１０３が検出されなかった場合は、非視聴（上記の頭の位置と向きの人が、広告を視聴しているとみなすことができない）と判定し、図２３の右下の右側の検出領域１０４と検出パターン１０３のように、検出領域１０４内に一定面積以上の検出パターン１０３が検出された場合は、視聴（上記の頭の位置と向きの人が、広告を視聴しているとみなすことができる）と判定する。
【0085】
図２４は、視聴非視聴データ保存Ｆ７７に保存されたデータの例を示す。図２４に示すように、視聴非視聴データ保存Ｆ７７には、タイムスタンプと（広告の）視聴／非視聴の判定結果とを組み合わせたデータ（視聴非視聴データ）が格納されている。このタイムスタンプは、例えば、上記フレーム画像の元になる（内蔵カメラ７３からの）映像のタイムスタンプである。なお、図２４では、視聴／非視聴の判定結果を、「視聴」と「非視聴」の文字で表しているが、上記の視聴／非視聴の判定結果のデータは、実際には、“０”と“１”の二値データであることが望ましい。
【0086】
上記Ｓ２２で説明したように、設置担当者１０５が、店舗Ｓ内の様々な位置で、図２５(ａ)（ｂ）に示すように、裏面７２ｂにＱＲコード９９が貼り付けられたタブレット端末７２を、様々な向きに回転させると、サイネージ２ａ側の撮影画像取得部３３（図２０参照）が、広角Ｗｅｂカメラ３より入力された撮影映像から、フレーム画像を切り出して（Ｓ２５）、サイネージ学習管理サーバ５に送信する。
【0087】
サイネージ学習管理サーバ５のＳｏＣ８１（のＱＲコード位置向き検出部９８）は、サイネージ２ａから受信した上記のフレーム画像から、フレーム画像に映り込んだ、タブレット端末７２の裏面７２ｂのＱＲコード９９の位置と向きを検出して、検出したＱＲコード９９の位置及び向きを、タイムスタンプと共に、ＱＲコード位置向き保存Ｆ７９に保存する（Ｓ２６）。
【0088】
上記のＱＲコード９９の位置と向きの検出処理について、より詳細に説明する。サイネージ学習管理サーバ５のＱＲコード位置向き検出部９８は、サイネージ２ａから受信した上記のフレーム画像を、学習済ＱＲコード検出ＤＮＮモデル（ディープラーニングによりＱＲコード９９を検出するように学習したＤＮＮモデル）に入力して、上記のフレーム画像内のＱＲコード９９の位置（ＱＲコード９９のバウンディングボックスの左上座標と右下座標）を得る。そして、ＱＲコード位置向き検出部９８は、上記のフレーム画像からＱＲコード９９のバウンディングボックスの部分を切り出したＱＲコード画像を生成する。
【0089】
上記のＱＲコード画像の生成（切り出し）処理が完了すると、ＱＲコード位置向き検出部９８は、このＱＲコード画像を、学習済ＱＲコード向き検出ＤＮＮモデル（ＱＲコード画像が入力されると、この画像に映ったＱＲコード９９の向きを、３軸の角度（Ｒｏｌｌ（ロール）角，Ｐｉｔｃｈ（ピッチ）角，Ｙａｗ（ヨー）角）で出力するように、ディープラーニングで学習したＤＮＮモデル）に入力して、ＱＲコード画像に映ったＱＲコード９９の向きを検出する。
【0090】
図２６は、ＱＲコード位置向き保存Ｆ７９に保存されるＱＲコード位置向きデータの例を示す。この例では、ＱＲコード位置向き保存Ｆ７９に格納された１つ目のＱＲコード位置向きデータ（のレコード）は、図２５(ａ)に示すＱＲコード９９の位置と、ＱＲコード９９の向き１０７において、ＱＲコード位置向き検出部９８で検出したＱＲコード９９の位置（ＱＲコード９９のバウンディングボックスの左上座標（Ｘ１１，Ｙ１１）、右下座標（Ｘ１２，Ｙ１２））と、ＱＲコード９９の３軸の角度（Ｒｏｌｌ１，Ｐｉｔｃｈ１，Ｙａｗ１）で構成されている。また、ＱＲコード位置向き保存Ｆ７９に格納された２つ目のＱＲコード位置向きデータ（のレコード）は、図２５(ｂ)に示すＱＲコード９９の位置と、ＱＲコード９９の向き１０８において、ＱＲコード位置向き検出部９８で検出したＱＲコード９９の位置（ＱＲコード９９のバウンディングボックスの左上座標（Ｘ２１，Ｙ２１）、右下座標（Ｘ２２，Ｙ２２））と、ＱＲコード９９の３軸の角度（Ｒｏｌｌ２，Ｐｉｔｃｈ２，Ｙａｗ２）で構成されている。なお、図２６では、ＱＲコード９９の３軸の角度を、（Ｒｏｌｌ１，Ｐｉｔｃｈ１，Ｙａｗ１）等の抽象的な記載で表しているが、実際のＱＲコード位置向きデータにおける、ＱＲコード９９の３軸の角度のデータは、数値のデータである。
【0091】
上記Ｓ２２～Ｓ２６の処理を繰り返すことによる、教師データの元データ（視聴非視聴データとＱＲコード位置向きデータ）の採取が完了して（Ｓ２７でＹＥＳ）、設置担当者が、タブレット端末７２のタッチパネルディスプレイ８４を用いて、サイネージ学習管理サーバ５へのデータ結合要求を指示入力すると（Ｓ２８）、タブレット端末７２が、データ結合要求部９４を用いて、サイネージ学習管理サーバ５に対して、視聴非視聴データ保存Ｆ７７に保存された視聴非視聴データと共に、データ結合要求を送信する。
【0092】
サイネージ学習管理サーバ５（のサーバ側データ生成部９７）は、タブレット端末７２から、上記の視聴非視聴データ（視聴／非視聴の判定結果とタイムスタンプとを組み合わせたデータ）と、データ結合要求を受信すると（Ｓ２９）、受信した視聴非視聴データと、サイネージ学習管理サーバ５側で生成したＱＲコード位置向きデータ（ＱＲコードの位置と向きの検出結果とタイムスタンプとを組み合わせたデータ）とを結合して、人の頭の位置と、頭の向きと、視聴／非視聴の判定結果とを組み合わせた教師データを生成し、教師データ保存Ｆ３１に保存する（Ｓ３０）。
【0093】
例えば、視聴非視聴データ保存Ｆ７７が、図２４に示す視聴非視聴データ（のレコード）を格納しており、ＱＲコード位置向き保存Ｆ７９が、図２６に示すＱＲコード位置向きデータ（のレコード）を格納しているときには、同じタイムスタンプを有するレコード同士が結合されて、図２７に示す教師データ保存Ｆ３１の教師データが生成される。ここで、このサーバ側データ生成部９７による教師データの生成では、設置担当者が頭の位置に掲げたタブレット端末７２に貼り付けられたＱＲコード９９の位置（ＱＲコード９９のバウンディングボックスの左上座標と右下座標）と、ＱＲコード９９の向き（３軸の角度）とを、それぞれ、人の頭の位置と、頭の向きとみなして、人の頭の位置と、頭の向きと、視聴／非視聴の判定結果とを組み合わせた教師データを生成する。例えば、図２５(ａ)に示すＱＲコード９９の位置と、ＱＲコード９９の向き１０７とが、人の頭の位置と、頭の向きである時には、この人は、広告を視聴しているとみなすことができると判定されるので、図２７に示す図２５(ａ)に対応する教師データ（１つ目のレコード）の視聴／非視聴判定結果は、「視聴」である。これに対して、図２５(ｂ)に示すＱＲコード９９の位置と、ＱＲコード９９の向き１０８とが、人の頭の位置と、頭の向きである時には、この人は、広告を視聴しているとみなすことができないと判定されるので、図２７に示す図２５(ｂ)に対応する教師データ（２つ目のレコード）の視聴／非視聴判定結果は、「非視聴」である。なお、図２７では、視聴／非視聴の判定結果を、「視聴」、「非視聴」という文字で表しているが、上記の視聴／非視聴の判定結果は、実際には、“０”と“１”の二値データであることが望ましい。
【0094】
上記Ｓ３０の教師データの生成処理が完了すると、上記第１の実施形態における学習時処理の場合と同様に、サイネージ学習管理サーバ５のＣＰＵ２２は、学習部３７により、教師データ保存Ｆ３１に蓄積された教師データを用いて、（学習済視聴判定ＮＮモデル１６ｂの）元になるニューラルネットワークの教師あり学習を行うことにより、学習済視聴判定ＮＮモデル１６ｂを生成する（Ｓ３１）。そして、サイネージ学習管理サーバ５のＣＰＵ２２は、生成した学習済視聴判定ＮＮモデル１６ｂをサイネージ２ａに送信して、サイネージ２ａのメモリ１６に格納する（インストールする）（Ｓ３２）。
【0095】
上記のように、本実施形態の広告視聴判定システム１によれば、設置担当者が、裏面７２ｂにＱＲコード９９（のステッカー）が貼り付けられたタブレット端末７２を、頭の位置に掲げて、様々な向きに回転させ、広角Ｗｅｂカメラ３からのフレーム画像に映り込んだＱＲコード９９の位置と向きを検出すると共に、タブレット端末７２の内蔵カメラ７３で撮影したフレーム画像に、所定の面積以上の所定の検出パターンが存在するか否かを判定することにより、上記の検出したＱＲコードの位置と向きに対応した、頭の位置と向きの人が、広告を視聴しているとみなすことができるか否かを判定する。そして、上記の検出したＱＲコードの位置と向き、及び上記の広告を視聴しているとみなすことができるか否かの判定結果に基づいて、教師データを生成するようにした。これにより、上記の第１の実施形態の場合のように、設置担当者が、自分の頭の位置と視線方向（頭の向き）が、「視聴」を示す視聴判別用サイン５３（「●」）を掲げるべきケースであるか、「非視聴」を示す視聴判別用サイン５７（「▲」）を掲げるべきケースであるかを判断する場合と比べて、設置担当者による教師データの質のバラツキを抑えて、より安定した良質の教師データを生成することができる確率を高めることが可能になる。従って、上記の良質の教師データに基づいて、広角Ｗｅｂカメラ３からのフレーム画像に映り込んだ人が、広告を視聴しているか否かをより正確に判定することが可能な学習済視聴判定ＮＮモデル１６ｂを生成することができる。
【0096】
変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
【0097】
変形例１：
上記第１及び第２の実施形態では、請求項における「広告」が、サイネージ２で放映される広告である場合の例を示したが、本発明における広告は、これに限られず、他の種類のデジタル広告（例えば、Ｗｅｂ広告）であってもよいし、紙やプラスチック等の媒体による広告であってもよい。
上記第１及び第２の実施形態では、請求項における「広告」が、サイネージ２で放映される広告である場合の例を示したが、本発明における広告は、これに限られず、他の種類のデジタル広告（例えば、Ｗｅｂ広告）であってもよいし、紙やプラスチック等の媒体による広告であってもよい。
【0098】
変形例２：
上記第１及び第２の実施形態では、広告の設置場所がチェーン店等の店舗Ｓ内である場合を示したが、広告の設置場所は、これに限られず、例えば、店舗以外の施設内であってもよいし、街中等の施設外の場所であってもよい。
上記第１及び第２の実施形態では、広告の設置場所がチェーン店等の店舗Ｓ内である場合を示したが、広告の設置場所は、これに限られず、例えば、店舗以外の施設内であってもよいし、街中等の施設外の場所であってもよい。
【0099】
変形例３：
上記第１の実施形態では、人の視線方向が、人の頭の向きから推定した視線方向（人の頭の向きの角度）である場合の例を示したが、請求項における「視線方向」は、これに限られず、例えば、人の瞳の中心位置と目領域を検出して、検出した瞳の中心位置と目領域に基づいて求めた目線の方向であってもよい。
上記第１の実施形態では、人の視線方向が、人の頭の向きから推定した視線方向（人の頭の向きの角度）である場合の例を示したが、請求項における「視線方向」は、これに限られず、例えば、人の瞳の中心位置と目領域を検出して、検出した瞳の中心位置と目領域に基づいて求めた目線の方向であってもよい。
【0100】
変形例４：
上記第１及び第２の実施形態では、サイネージ２ａに外付けの広角Ｗｅｂカメラ３を接続した場合の例を示したが、請求項における「撮影装置」は、これに限られず、例えば、サイネージの内蔵カメラであってもよいし、広告の前方周辺の領域を撮影する監視カメラであってもよい。
上記第１及び第２の実施形態では、サイネージ２ａに外付けの広角Ｗｅｂカメラ３を接続した場合の例を示したが、請求項における「撮影装置」は、これに限られず、例えば、サイネージの内蔵カメラであってもよいし、広告の前方周辺の領域を撮影する監視カメラであってもよい。
【0101】
変形例５：
上記第１の実施形態では、請求項における「情報処理装置」が、サイネージ２ａとサイネージ学習管理サーバ５とで構成される場合の例を示したが、「情報処理装置」を、サイネージのみで構成してもよいし、サイネージ学習管理サーバのみで構成してもよい。
上記第１の実施形態では、請求項における「情報処理装置」が、サイネージ２ａとサイネージ学習管理サーバ５とで構成される場合の例を示したが、「情報処理装置」を、サイネージのみで構成してもよいし、サイネージ学習管理サーバのみで構成してもよい。
【0102】
変形例６：
上記第１及び第２の実施形態では、サイネージ２ａが、撮影画像取得部３３と位置向き検出部３８と視聴判定部３９とを備える構成にしたが、この構成に限られず、例えば、サイネージに接続するカメラを、いわゆるエッジコンピューティング機能を有するＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラにして、このＡＩカメラに、頭検出処理、頭向き検出処理、及び広告視聴判定処理等の推論処理用の学習済ＤＮＮモデルを備えたアプリパッケージをインストールし、ＡＩカメラが、上記の撮影画像取得部３３、位置向き検出部３８、及び視聴判定部３９と同様な機能を備えるようにしてもよい。
上記第１及び第２の実施形態では、サイネージ２ａが、撮影画像取得部３３と位置向き検出部３８と視聴判定部３９とを備える構成にしたが、この構成に限られず、例えば、サイネージに接続するカメラを、いわゆるエッジコンピューティング機能を有するＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラにして、このＡＩカメラに、頭検出処理、頭向き検出処理、及び広告視聴判定処理等の推論処理用の学習済ＤＮＮモデルを備えたアプリパッケージをインストールし、ＡＩカメラが、上記の撮影画像取得部３３、位置向き検出部３８、及び視聴判定部３９と同様な機能を備えるようにしてもよい。
【0103】
変形例７：
上記第１及び第２の実施形態では、サイネージ２（サイネージ２ａ、２ｂ、及び２ｃ）が、ディスプレイ１４と、ＳoＣ１２等のコンピューティング処理用の部分とを一体化した構成である場合の例を示したが、サイネージは、ディスプレイと、コンピューティング処理用の部分とが分離したタイプのものであってもよい。
上記第１及び第２の実施形態では、サイネージ２（サイネージ２ａ、２ｂ、及び２ｃ）が、ディスプレイ１４と、ＳoＣ１２等のコンピューティング処理用の部分とを一体化した構成である場合の例を示したが、サイネージは、ディスプレイと、コンピューティング処理用の部分とが分離したタイプのものであってもよい。
【0104】
変形例８：
上記第１及び第２の実施形態では、サイネージ２が３台である場合の例を示したが、サイネージの台数は、１つであっても、複数であってもよい。また、上記の実施形態では、３台のサイネージ２ａ、２ｂ、及び２ｃのうち、サイネージ２ａだけに、カメラ（広角Ｗｅｂカメラ３）を接続した場合の例を示したが、サイネージの台数が複数である場合に、全てのサイネージにカメラを接続して、各サイネージにインストールした学習済視聴判定ＮＮモデルを用いて、各サイネージの前方周辺の領域の撮影画像（フレーム画像）に映り込んだ人が、広告を視聴しているか否かを判定するようにしてもよい。
上記第１及び第２の実施形態では、サイネージ２が３台である場合の例を示したが、サイネージの台数は、１つであっても、複数であってもよい。また、上記の実施形態では、３台のサイネージ２ａ、２ｂ、及び２ｃのうち、サイネージ２ａだけに、カメラ（広角Ｗｅｂカメラ３）を接続した場合の例を示したが、サイネージの台数が複数である場合に、全てのサイネージにカメラを接続して、各サイネージにインストールした学習済視聴判定ＮＮモデルを用いて、各サイネージの前方周辺の領域の撮影画像（フレーム画像）に映り込んだ人が、広告を視聴しているか否かを判定するようにしてもよい。
【0105】
変形例９：
上記第１及び第２の実施形態では、サイネージ２が、ＧＰＵ１３を備え、このＧＰＵ１３を用いて、各種の学習済ＤＮＮモデルの推論処理を行う場合の例を示したが、サイネージが、必ずしも、ＧＰＵを備えている必要はなく、ＣＰＵを用いて、各種の学習済ＤＮＮモデルの推論処理を行ってもよい。
上記第１及び第２の実施形態では、サイネージ２が、ＧＰＵ１３を備え、このＧＰＵ１３を用いて、各種の学習済ＤＮＮモデルの推論処理を行う場合の例を示したが、サイネージが、必ずしも、ＧＰＵを備えている必要はなく、ＣＰＵを用いて、各種の学習済ＤＮＮモデルの推論処理を行ってもよい。
【符号の説明】
【0106】
１、７１ 広告視聴判定システム（広告閲覧判定システム）
２、２ａ、２ｂ、２ｃ サイネージ（２ａは、「情報処理装置」の一部）
３ 広角Ｗｅｂカメラ（撮影装置）
５ サイネージ学習管理サーバ（「情報処理装置」の一部）
１６ａ サイネージ側広告視聴判定プログラム（「広告閲覧判定プログラム」の一部）
１６ｂ 学習済視聴判定ＮＮモデル（機械学習済みモデル）
２９ 自動設定プログラム（「広告閲覧判定プログラム」の一部）
３３ 撮影画像取得部
３４ 自動設定部
３５ データ生成部
３７ 学習部
３９ 視聴判定部（閲覧判定部）
５３ 視聴判別用サイン（閲覧判別用情報）
５７ 視聴判別用サイン（閲覧判別用情報）
７２ タブレット端末（情報処理端末、「情報処理装置」の一部）
７３ 内蔵カメラ（撮像部）
７６ タブレット側データ生成プログラム（「広告閲覧判定プログラム」の一部）
７８ サーバ側自動設定プログラム（「広告閲覧判定プログラム」の一部）
９０ タブレット側データ生成部（「データ生成部」の一部）
９３ 視聴非視聴判定部（閲覧非閲覧判定部）
９６ サーバ側自動設定部（「自動設定部」の一部）
９７ サーバ側データ生成部（「データ生成部」の一部）
９８ ＱＲコード位置向き検出部（可視コード位置向き検出手段）
９９ ＱＲコード（可視コード）
２、２ａ、２ｂ、２ｃ サイネージ（２ａは、「情報処理装置」の一部）
３ 広角Ｗｅｂカメラ（撮影装置）
５ サイネージ学習管理サーバ（「情報処理装置」の一部）
１６ａ サイネージ側広告視聴判定プログラム（「広告閲覧判定プログラム」の一部）
１６ｂ 学習済視聴判定ＮＮモデル（機械学習済みモデル）
２９ 自動設定プログラム（「広告閲覧判定プログラム」の一部）
３３ 撮影画像取得部
３４ 自動設定部
３５ データ生成部
３７ 学習部
３９ 視聴判定部（閲覧判定部）
５３ 視聴判別用サイン（閲覧判別用情報）
５７ 視聴判別用サイン（閲覧判別用情報）
７２ タブレット端末（情報処理端末、「情報処理装置」の一部）
７３ 内蔵カメラ（撮像部）
７６ タブレット側データ生成プログラム（「広告閲覧判定プログラム」の一部）
７８ サーバ側自動設定プログラム（「広告閲覧判定プログラム」の一部）
９０ タブレット側データ生成部（「データ生成部」の一部）
９３ 視聴非視聴判定部（閲覧非閲覧判定部）
９６ サーバ側自動設定部（「自動設定部」の一部）
９７ サーバ側データ生成部（「データ生成部」の一部）
９８ ＱＲコード位置向き検出部（可視コード位置向き検出手段）
９９ ＱＲコード（可視コード）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】