特許 6148785 情報処理システム、情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6148785

(24)【登録日】2017年5月26日

(45)【発行日】2017年6月14日

(54)【発明の名称】情報処理システム、情報処理装置及びプログラム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20170607BHJP

   H04N 21/239 20110101ALI20170607BHJP

   H04N 21/44 20110101ALI20170607BHJP

   H04N 21/437 20110101ALI20170607BHJP

【ＦＩ】

   H04N21/234

   H04N21/239

   H04N21/44

   H04N21/437

【請求項の数】12

【全頁数】30

(21)【出願番号】特願2016-251688(P2016-251688)

(22)【出願日】2016年12月26日

【審査請求日】2017年1月16日

【早期審査対象出願】

(73)【特許権者】

【識別番号】511249637

【氏名又は名称】株式会社Ｃｙｇａｍｅｓ

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100154748

【弁理士】

【氏名又は名称】菅沼 和弘

(72)【発明者】

【氏名】倉林 修一

【審査官】 福西 章人

(56)【参考文献】

【文献】 特開２０１１−７７６０７（ＪＰ，Ａ）

【文献】 特開２０１４−１２３８３９（ＪＰ，Ａ）

【文献】 特開２００７−４９５８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ ５／７６−５／９５６

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記Ｍ枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える情報処理システム。

【請求項2】

クライアントとサーバからなる情報処理システムにおける前記クライアントとして機能する情報処理装置であって、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記Ｍ枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備える情報処理装置。

【請求項3】

前記サーバにおいては、前記クライアント側映像の前記メタデータと同一の前記基準色リストに基づいて、前記コンテンツの前記映像からサーバ側メタデータが生成され、前記クライアント側映像の前記メタデータと比較されて前記クライアント側映像の正当性が判定され、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するＭ個の単位画像を要素とし、行又は列の他方を、前記Ｎ個の基準色を要素とする行列である、
請求項２に記載の情報処理装置。

【請求項4】

前記クライアント側映像の情報から、前記Ｍ枚の単位画像の情報の夫々のうち、前記コンテンツが表示される前記表示面に対応する情報を夫々抽出する抽出手段をさらに備え、
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる
請求項２又は３に記載の情報処理装置。

【請求項5】

クライアントとサーバからなる情報処理システムにおける前記クライアントに、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得ステップと、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記コンテンツの放送中又は放送前に前記サーバにより生成された当該基準色リストを取得する基準色リスト取得ステップと、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記Ｍ枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成ステップと、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御ステップと、
を含む制御処理を実行させるプログラム。

【請求項6】

クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストが取得され、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記Ｎ個の基準色の何れかに分類され、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報が生成され、Ｍ枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える情報処理装置。

【請求項7】

前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するＭ個の単位画像を要素とし、行又は列の他方を、Ｎ個の基準色を要素とする行列である、
請求項６に記載の情報処理装置。

【請求項8】

前記判定手段は、
前記サーバ側メタデータのうち、前記クライアント側映像の前記メタデータの取得時刻から所定時間前の単位画像を開始画像として処理を開始し、
前記開始画像から時間的に連続するＭ枚の単位画像についてのメタデータと、前記クライアント側映像の前記メタデータを比較する処理を、
前記開始画像となる単位画像を１つずつずらしながら繰り返し実行し、
これらの実行結果に基づいて、前記クライアント側映像の正当性を判定する、
請求項６又は７に記載の情報処理装置。

【請求項9】

前記基準色リスト等送信制御手段は、
前記クライアント又は前記グループ毎の前記基準色リストと、前記クライアントを操作するユーザのＩＤ又は前記ユーザが属するグループのＩＤとを紐付けたうえで、
当該クライアント又は当該グループ毎の前記基準色リストを、前記送信情報として、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する、
請求項６乃至８のうち何れか１項に記載の情報処理装置。

【請求項10】

前記コンテンツの放送時間を管理する第１管理手段をさらに備え、
前記第１管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行する、
請求項６乃至９のうちいずれか１項に記載の情報処理装置。

【請求項11】

前記コンテンツの放送地域を管理する第２管理手段をさらに備え、
前記第２管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行する、
請求項６乃至９のうちいずれか１項に記載の情報処理装置。

【請求項12】

クライアントとサーバからなる情報処理システムにおける前記サーバに制御処理を実行させるプログラムであって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストが取得され、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記Ｎ個の基準色の何れかに分類され、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報が生成され、前記Ｍ枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に、前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を前記送信情報として生成する基準色リスト等生成ステップと、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御ステップと、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成ステップと、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定ステップと、
を含む制御処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

近年、テレビジョン放送とスマートフォン等のアプリを連動し、所定のテレビジョン放送等の視聴状況に応じてサービスの提供を行うことは広く一般的に行われている。
そのようなサービスを提供するに辺り、スマートフォン等のカメラを用いた「チェックイン」操作により、視聴者が特定のテレビジョン番組を視聴していることを確認する技術は、極めて有用である。
従来では、二次元バーコードや可聴域外の音波を用いてチェックインを行っていた。しかしながら、これらの技術は、コンテンツと直接関係ないコード等を画面上に表示することや、特殊なスピーカーを必要とするものであり、テレビジョン放送に直接適用することはできなかった。
この点、テレビジョン放送に適用することができる技術としては、あらかじめシステムに格納されているビデオ映像を対象に特徴量を抽出し、その特徴量に応じてチェックインの照合を行う技術（例えば特許文献１を参照）が存在する。また、テレビジョン映像を携帯電話機で撮像した画像の情報をそのままサーバに送信し、その画像の情報を対象として、チェックインの照合を行う技術が存在する（例えば特許文献２を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０−３２０４００号公報

【特許文献2】特開２００５−２１５９２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば、上述の特許文献１の技術では、利用者が事前に用意した特徴量をクエリとして用いることができるため、不正行為（いわゆるチート行為）に対して脆弱であるという問題があった。
他方、上述の特許文献２の技術では、撮影した画像の情報自体をサーバ側に送信し、サーバ側で照合するため、信頼できない入力に対しても用いることができるものの、画像の情報自体をサーバ側に送信するため大量の視聴者の同時チェックインに耐えることが難しい（いわゆるスケーラビリティが低い）という問題があった。
以上のように、テレビジョン放送へのスマートフォン等を用いたチェックイン技術には、多くの問題が含有していた。
そのような従来技術の課題を解決すべく、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビジョン受像機やスマートフォン機種の異種性の吸収と、テレビジョン映像を偽装することによる不正なチェックイン防止の３点を実現することができるチェックイン技術の開発が望まれていた。

【0005】

本発明は、このような状況に鑑みてなされたものであり、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる技術を提供する。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様の情報処理システムは、
クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記Ｍ枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える。

【0007】

本発明の一態様の情報処理方法及びプログラムも、本発明の一態様の情報処理システムに対応する方法及びプログラムとして提供される。

【発明の効果】

【0008】

本発明によれば、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る情報処理システムの概要を示すブロック図である。

【図2】本発明の一実施形態に係る基準色にクラスタリングする手法の一例を示す図である。

【図3】本発明の一実施形態に係る色彩の適合性計量プロセスの手順の一例を示す図である。

【図4】本発明の一実施形態に係る基準色リストをつくるための基準色の一例を示す図である。

【図5】本発明の一実施形態に係るユーザ端末のハードウェア構成の一例を示すブロック図である。

【図6】本発明の一実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。

【図7】図５のユーザ端末及び図６のサーバの機能的構成例を示す機能ブロック図である。

【図8】図５のユーザ端末が実行するチェックイン判定処理の流れを説明するフローチャートである。

【図9】図６のサーバが実行する正当判定準備処理及び正当判定処理の流れを説明するフローチャートである。

【図10】ユーザ端末及びサーバが実行するチェックイン判定処理及び正当判定処理の流れを説明するアローチャートである。

【図11】ユーザによる対象となるテレビ画面の取り込み手法の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を用いて説明する。

【0011】

なお、以下において、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」との両方を含むものとする。
また、「動画像」には、次の第１処理乃至第３処理の夫々により表示される画像を含むものとする。
第１処理とは、平面画像（２Ｄ画像）におけるオブジェクト（例えばアニメのキャラクタ）の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、２次元アニメーション、いわゆるパラパラ漫画的な処理が第１処理に該当する。
第２処理とは、立体画像（３Ｄモデルの画像）におけるオブジェクト（例えばアニメのキャラクタ）の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、３次元アニメーションが第２処理に該当する。
第３処理とは、オブジェクト（例えばアニメのキャラクタ）の夫々の動作に対応した映像（即ち動画）を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像（即ち動画）」は、複数のフレームやフィールド等の画像（以下、「単位画像」と呼ぶ）から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
また、後述する本実施形態では、映像は、テレビジョン放送により伝達されるが、以下、「テレビジョン」を「テレビ」と省略する。

【0012】

本発明は、リアルタイムに撮像されるテレビ映像を用いたチェックイン（正当性の確認）を実現するために、テレビ番組等の映像の分析処理をユーザ端末上で実行する分散アーキテクチャを実現する。
図１を用いて、本発明の一実施形態に係る情報処理システムの概要について説明する。
図１に示す情報処理システムは、オンエア中のテレビ放送等をユーザが視聴していることをリアルタイムに確認するための「チェックイン」を実現する。
ここで「チェックイン」とは、所定のユーザが、ある特定の事柄や手続きを行ったか否かを確認することである。
特に本実施形態における「チェックイン」とは、所定のユーザが、特定のテレビ番組等を視聴しているか否かをリアルタイムに確認するための技術である。
特に図１に示す情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのデータ（後述するメタデータ）を偽装することによる不正なチェックインの防止との３点を同時に実現することができる。
その結果、図１に示す情報処理システムは、大規模な視聴を想定したテレビ放送やインターネット放送に有用である。
サービス提供者は、このようなテレビ放送等のチェックインの結果を用いて、例えば、スマートフォン等で提供されるゲーム等における様々なサービスにも応用することができる。

【0013】

さらに図１を用いて、本発明の一実施形態に係る情報処理システムの行う一連のプロセスについて説明していく。
図１に示す情報処理システムは、全ユーザに共通のプロセスａと、各ユーザ／グループに固有のプロセスｂと、チェックイン認証のプロセスｃという３つのプロセスからなる一連の処理を実行する。
図１に示す情報処理システムは、ユーザにより使用されるユーザ端末１と、サーバ２とを含むシステムである。
ユーザ端末１とサーバ２とは、インターネット等の所定のネットワークを介して相互に接続されている。
なお、図１には１台のユーザ端末１のみが図示されているが、実際には多数のユーザが存在し、その分だけユーザ端末１の台数も多数存在する。
ここでユーザ端末１は、ユーザによって操作される例えばスマートフォン等であって、サーバ２が行うチェックインを行うためのテレビ番組等の映像がテレビの表示画面に表示されている場合に、その表示面の撮影等を行う。なお、テレビの表示面の部分を専ら含む映像を本明細書では「テレビ映像」と呼んでいる。
サーバ２は、サービス提供者によって管理され、所定のユーザが、特定のテレビ番組等を視聴しているか否かのチェックインを行う。

【0014】

次に、全ユーザに共通のプロセスａと各ユーザ／グループに固有のプロセスｂとについて説明する。全ユーザに共通のプロセスａと各ユーザ／グループに固有のプロセスｂとは、ユーザ端末１側で実行される映像分析プロセスである。
全ユーザに共通のプロセスａは、全ユーザが共通の情報を生成する前処理段階のプロセスである。
各ユーザ／グループに固有のプロセスｂは、ユーザ毎又は複数のユーザが属するグループ毎に異なる情報（後述するメタデータ）を生成する後処理段階のプロセスである。

【0015】

前処理段階の全ユーザに共通のプロセスａにおいて、ユーザ端末１に内蔵されるカメラ等は、ユーザの操作により、テレビの表示面に映るコンテンツ（例えばテレビの放送番組等）の映像を撮像し、その結果得られるテレビ映像の情報を出力する。
このテレビ映像の情報は、コンテンツの映像のうちの一定時区間（例えば一定の時間方向範囲を示す）の情報、即ち一定時区間に含まれる全フレーム又は複数フレームの各情報である。各フレームの情報は、均等性のある色空間（例えば、ＨＳＶ空間等を示す）に写像された情報、即ち色空間の各要素を画素値として有する情報である。
ここで、均等性のある色空間とは、色空間の座標上の２点間距離と肉眼での色差感とが可能な限り一致するように設計された色空間のことを言う。
一般に、ユーザ端末１上で色を表現するＲＧＢ空間は、均等性がない色空間であり、空間内の任意の２点間の距離と、肉眼での色差感は大きく乖離している。即ち、ユーザ端末１のカメラ等から得られた画像の情報は、ＲＧＢ画像の情報であり、それぞれの画素値をＨＳＶ等の均等性のある色空間の画素値に変換する必要がある。
なお、ＲＧＢからＨＳＶへの変換は、次の式（１）から（３）のように定義することができる。

【数1】

【数2】

【数3】

以上が、全ユーザ共通のプロセスａについての説明である。引き続き、各ユーザ／グループに固有のプロセスｂ及びチェックイン認証のプロセスｃの詳細については、図１以降の図面を使って説明していく。

【0016】

次に、図２を用いて、フレームを構成する各画素の色を予め決められた色にクラスタリングする手法、即ち、前述の後処理段階で適用される手法（例えば図１の各ユーザ／グループに固有のプロセスｂ）について説明する。
ここで、クラスタリングについて説明するための前提として、クラスタリング用カラーリスト（以下、「基準色リスト」と呼ぶ）について説明する。本実施形態では、クラスタリングの基準となり得る色（以下、「基準色」と呼ぶ）の母集合として、例えば１２０種類程度の色が用意されており、これらの色を示す情報がサーバ２に記憶されている。そして、この１２０種類程度の色の中から選ばれたＮ個（Ｎは２以上の整数値）の色に関する情報の順列によって示されるリストが、基準色リストとして採用される。

【0017】

図２は、本発明の一実施形態に係る情報処理システムに適用される基準色にクラスタリングする手法の一例を示す図である。図２の画像αは、ユーザ端末１のカメラ等で撮影された画像そのものを示している。
そして、図２の画像β１は、上述の基準色のうち９０色の基準色リストを用いてクラスタリングをした結果得られる画像である。これにより、画像αの複雑な色彩は、基準となる９０色のいずれかの色に分類される。
さらに、図２の画像β２は、上述の基準色のうち３０色の基準色リストを用いてクラスタリングした画像であり、９０色でクラスタリングを行った画像β１に比べ、さらに単調な色彩のみで元の画像αが表現されている。
なお、このように画像αの複雑な色彩は、様々な所定の色の基準色リストを用いて、適宜、クラスタリングすることが可能である。
このように９０色や３０色等の限定されたＮ個の色にクラスタリングを行うことで、テレビ受像器やスマートフォン等の機種の異種性によらず、元の画像（図２の画像α）に比較して、類似性の高い画像（図２の画像β１や画像β２）として再現される。したがって、テレビ受像器やスマートフォン等の機種の異種性の吸収することができる。

【0018】

図３を用いて、色彩の適合性計量プロセス（例えば図１のチェックイン認証のプロセスｃ）について説明する。
図３は、本発明の一実施形態に係る情報処理システムに適用される色彩の適合性計量プロセスの手順の一例を示す図である。

【0019】

サーバ２側での色彩の適合性計量プロセスを説明するにあたり、ユーザ端末１側で行うプロセスについて簡単に説明する。
まず、チェックインの対象となるテレビ番組等の映像Ｃがテレビの表示面に映っている状態で、ユーザ端末１によって撮像されることで、その撮像映像Ｃ１の情報が取得される。
この撮像映像Ｃ１の情報は、前述の前処理段階（例えば図１の全ユーザ共通のプロセスａ）においてトリミングにより、表示面以外の部分（具体的には、テレビ番組が表示された表示面以外の、例えばモニタの別の部分や背景等）が除去されて、テレビ映像Ｃ１の情報となる。
さらに、このトリミング後のテレビ映像Ｃ１の情報に対して、基準色リストＣＬによるクラスタリングが行われることで、当該テレビ映像Ｃ１の分析結果を示す情報としてメタデータが生成される。
ここで、クラスタリングの手法は、特に限定されないが、元画像の色と基準色の色との距離の計量に基づいてクラスタリングを行う手法が採用されている。この距離の計量には、ｇｏｏｄｌｏｖｅ色差系や、ＣＩＥ２０００等を用いることも考えられるが、本実施形態では、評価実験により有効であることが確認された、円錐空間上のユークリッド距離を採用するものとする。
このように、本明細書でいう「メタデータ」とは、映像の情報そのものとは異なる情報の意であり、具体的には、その映像の少なくとも一部（例えば所定枚数の各フレーム）に関する分析結果を示す情報である。
本実施形態では、処理対象の映像を構成する時系列の各フレームについてクラスタリングされ、各フレームのクラスタリングの結果から、メタデータが生成される。具体的には例えば次の式（４）で定義される時系列カラーヒストグラム行列Ｍが、メタデータとして採用されている。
なお、図３中、テレビ映像Ｃ２は、テレビ映像Ｃ１の情報をクラスタリングした結果得られる情報により表示される映像である。オリジナルの映像Ｄ１は、オリジナルの映像Ｄの情報をクラスタリングした結果得られる情報により表示される映像である。これらのテレビ映像Ｃ２及びオリジナルの映像Ｄ１は、説明の便宜上図３中に描画しているに過ぎず、本実施形態では、これらのテレビ映像Ｃ２及びオリジナルの映像Ｄ１の情報は実際には生成されない。即ち、本実施形態では、テレビ映像Ｃ１やオリジナルの映像Ｄが処理対象の映像として、次の式（４）で定義される時系列カラーヒストグラム行列Ｍが、メタデータとして生成される。

【数4】

ここで、ｎとｍは１以上の任意の整数値であり、ｍは、識別する色の種類、即ち、ヒストグラムのビンの数に対応し、ｎは、処理対象の映像を構成する時系列の各フレームの数に対応する。
ユーザ端末１側で行うプロセスでは、メタデータを生成するための処理対象の映像は、テレビ映像Ｃ１である。従って、テレビ映像Ｃ１の情報に対して、前述の基準色リストＣＬによるクラスタリングが実行される。このクラスタリングンの結果から、時系列カラーヒストグラム行列Ｍが、メタデータとして生成される。
このようにしてユーザ端末１側で行うプロセスにより生成されるメタデータを、以下、「Ｃメタデータ」と呼ぶ。

【0020】

次に、サーバ２側でのプロセスについて説明する。
サーバ２側では、チェックインの対象のテレビ番組のオリジナルの映像Ｄの情報が保管されている。サーバ２は、このオリジナルの映像Ｄの情報に対して、前述の基準色リストＣＬによるクラスタリングを実行する。なお、詳細については図７を用いて説明するが、上記２つの基準色リストＣＬは同一の基準色リストを使用するものとする。
サーバ２は、このクラスタリングの結果から、時系列カラーヒストグラム行列Ｍを、メタデータとして生成する。
このようにしてサーバ２側で行うプロセスにより生成されるメタデータを、以下、「Ｓメタデータ」と呼ぶ。

【0021】

このようなＳメタデータが生成された後、ユーザ端末１からＣメタデータがチェックインのために提供されると、サーバ２は、Ｃメタデータと、Ｓメタデータのうち比較対象部分とについて、類似度（差分）を演算する。サーバ２は、Ｓメタデータにおいて時系列にフレームシフトをすることで比較対象部分をずらしながら、類似度（差分）の演算を繰り返す。サーバ２は、この繰り返し演算により算出された複数の類似度（差分）に基づいて、チェックインの可否を判定する。

【0022】

ここで、Ｓメタデータのうち比較対象部分とは、次のような部分をいう。即ち、Ｓメタデータは、チェックインの対象となるテレビ番組等のオリジナルの映像全体を構成する時系列の各フレームのヒストグラムの集合体である。これに対して、Ｃメタデータは、当該テレビ番組等のテレビ映像のうち一部分（ユーザ端末１側で撮像された際に放映されていた一部分）を構成する時系列の各フレームのヒストグラムの集合体である。従って、Ｓメタデータのうち、Ｃメタデータと比較できる一部分、即ちオリジナルの映像の一部分を構成する時系列の各フレームのヒストグラムの集合体が、比較対象部分である。
具体的には、チェックインの対象となるテレビ番組等のオリジナルの映像全体を構成する各フレームのうち、所定のフレームを開始点フレームとして、その開始点フレームを含む時系列のＭ枚（Ｍは、Ｃメタデータにおけるフレーム数（ヒストグラム数）を示す）の各フレームのカラーヒストグラムの集合体が、比較対象部分である。

【0023】

比較対象部分は、次のようなフレームシフトが行われることにより、Ｓメタデータの中で変化していき、変化する毎にＣメタデータとの類似度（差分）が夫々演出される。
具体的には例えば、Ｃメタデータのサーバ２への送信時刻（或いはＣメタデータの生成時刻や、Ｃメタデータに対応するテレビ映像の撮像時刻等）よりも少し前の時刻に放映された、オリジナルの映像の対応するフレームが、開始点フレームとして最初に設定される。その開始点フレームを含む時系列のＭ枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として最初に設定される。なお、最初の開始点フレームの放映時刻は、後述する放送時間情報及び放送地域情報等により判断される。そして、Ｓメタデータのうち最初の比較対象部分と、Ｃメタデータとについて、最初の類似度（差分）が演算される。
その後、これまで開始点フレームであったものより時間的に後のフレームが、新たな開始点フレームとして設定される（フレーム１枚分のフレームシフトが行われる）。その開始点フレームを含む時系列のＭ枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として新たに設定される。つまり、比較対象部分が変化する。Ｓメタデータの変化後の比較対象部分と、Ｃメタデータとについて、類似度（差分）が新たに演算される。
このようなフレーム１枚毎のフレームシフトが繰り返し行われて、比較対象部分が変化する毎に、Ｓメタデータの変化後の比較対象部分と、Ｃメタデータとについて、類似度（差分）が新たに演算される。
このようなフレーム１枚毎のフレームシフトの繰り返しにより演算された複数の類似度（差分）に基づいて、チェックインの可否が判定される。例えば、複数の類似度（差分）のうち最高の類似度が一定値以上（最少の差分が一定値以下）の場合、ユーザのチェックイン（正当性）が判定される。換言すると、このようなフレームシフトの繰り返しにより設定された複数の比較対象部分の中に、Ｃメタデータと同一又は一定以上の類似度（一定以下の差分量）を有する比較対象部分が存在した場合、ユーザのチェックイン（正当性）が判定される。

【0024】

即ち、図３の例では、生成されたメタデータ同士を比較することであたかもテレビ映像Ｃ１とオリジナルの映像Ｄの情報同士が比較されて、図１のチェックイン認証のプロセスｃが行われるようになされている。
これに対して、画像データは情報量が多いため、そのままサーバ２へ送信すると、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
具体的に例えば、１２０色の基準色リストを使用して、１秒間に３フレームを分析対象として５秒間のメタデータを生成した場合、１回のチェックインに送信されるメタデータのサイズは、１２０色と、４バイト（浮動小数点）と、３フレームと、５秒間との積算であり、およそ７キロバイトである。
一方、１秒間に３フレームを分析対象として５秒間分の画像の情報をそのまま送信した場合、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の圧縮アルゴリズムを適用しても、およそ３０００キロバイト程度になる。したがって、メタデータを生成した場合と比較して、画像の情報は４００倍以上大きなサイズとなる。情報量は、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
さらに言えば、画像の情報をサーバ２が直接受信した場合、サーバ２はメタデータの分析を別途行う必要があるため、サーバ２のＣＰＵ負荷は、極めて増大することになる。
このように、画像の情報を直接サーバ２へ送信してしまうと、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができない。
そこで、本実施形態では、時系列カラーヒストグラム行列Ｍ（図１の例では時系列カラーヒストグラム行列ＣＭＤ）という情報量の少ないＣメタデータに変換されて、ユーザ端末１からサーバ２に送信される。そして、サーバ２において、オリジナルの映像から作成された時系列カラーヒストグラム行列Ｍ（図１の例では時系列カラーヒストグラム行列ＳＭＤ）としてのＳメタデータの比較対象部分と比較されて、チェックインの認証が行われる。
このようにして、サーバ２側で処理する情報量が劇的に抑えられ、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができる。

【0025】

さらに、このような時系列カラーヒストグラム行列Ｍ（メタデータ）を作成するために必要な基準色リストは、チェックインの対象となるテレビ番組等（コンテンツ）の放送中又は放送開始前の一定期間にサーバ２からユーザ端末１に送信されてくる。
したがって、第三者がこの基準色リストを再現してＣメタデータを偽造することは実質不可能である。即ち、不正なチェックインの防止を実現することができる。

【0026】

図４は、本発明の一実施形態に係る情報処理システムに適用される基準色リストをつくるための基準色の一例を示す図である。
図４を見ると、例えば、上段にはＲ／Ｖ、ＹＲ／Ｖ、Ｙ／Ｖ・・・と１０色の色が配置されている。これらは、夫々、各基準色の色彩を表しており、例えば、Ｒ／Ｖは、色彩が赤で、色のトーンがＶｉｖｉｄ（鮮やか）であることを示している。
ここで、色のトーンとは、明度と彩度のバランスのことを示しており、例えば、１２段階に分類される。即ち、図４の例では、１０種類の色彩と１２種類のトーンの積算による合計１２０種類の色が基準色として採用され、リスト化されているものである。
また、上述したように、本実施形態におけるチェックイン処理の最大の特徴は、ユーザ／グループ毎に異なる基準色リストが放送直前にユーザ端末１へ配信されるか、若しくは、チェックイン時にユーザ端末１側が基準色リストをダウンロードさせることにより、事前に作成できず、かつ他ユーザと共有できないチェックインデータ（Ｃメタデータ）をユーザ端末１側に生成させる点にある。
具体的には、図４に基づく基準色リストを、チェックインの直前等にサーバ２側で決定することにより、ユーザ端末１側でのクラスタリングの結果を不正に偽造することや、あるいは、他ユーザへ送信し、実際には映像を見ていない他ユーザにチェックインさせることを防止することができる。
即ち、ユーザ端末１側で、サーバ２側で生成される時系列カラーヒストグラム行列Ｍ（Ｓメタデータ）と適合性の高いＣメタデータを生成するためには、サーバ２側と同一の基準色リストを使用する必要があり、かつサーバ２側と同じ映像を入力する必要があることから不正なチェックインの防止を実現することができるのである。
換言すると、基準色リストの動的配信により、ユーザ間によるＣメタデータの共有、及び、事前の分析によるＣメタデータのバッチ生成の両方を防止することができる。
このように、本実施形態では、基準色リストの動的な配信により、従来不可能であった分散処理によるスケーラビリティの向上とチート防止の両立を実現している。

【0027】

図５は、本発明の一実施形態に係るユーザ端末１のハードウェア構成を示すブロック図である。

【0028】

ユーザ端末１は、スマートフォン等で構成される。
ユーザ端末１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、バス２４と、入出力インターフェース２５と、タッチ操作入力部２６と、表示部２７と、入力部２８と、記憶部２９と、通信部３０と、撮像部３１と、ドライブ３２と、を備えている。

【0029】

ＣＰＵ２１は、ＲＯＭ２２に記録されているプログラム、又は、記憶部２９からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要な情報等も適宜記憶される。

【0030】

ＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インターフェース２５も接続されている。入出力インターフェース２５には、タッチ操作入力部２６、表示部２７、入力部２８、記憶部２９、通信部３０、撮像部３１及びドライブ３２が接続されている。

【0031】

タッチ操作入力部２６は、例えば表示部２７に積層される静電容量式又は抵抗膜式（感圧式）の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。
表示部２７は、液晶等のディスプレイにより構成され、ゲームに関する画像等、各種画像を表示する。
このように、本実施形態では、タッチ操作入力部２６と表示部２７とにより、タッチパネルが構成されている。
なお、本明細書で「表示媒体」と呼ぶ場合、単に表示部２７を意味せず、タッチ操作入力部２６と表示部２７とから構成される「タッチパネル」を意味する。

【0032】

入力部２８は、各種ハードウェア釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部２９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種情報を記憶する。
通信部３０は、図示せぬインターネットを含むネットワークを介して他の装置（図示せぬサーバや図示せぬ他のユーザ端末）との間で行う通信を制御する。
撮像部３１は、被写体を撮像するカメラ等である。

【0033】

ドライブ３２は、必要に応じて設けられる。ドライブ３２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア４１が適宜装着される。ドライブ３２によってリムーバブルメディア４１から読み出されたプログラムは、必要に応じて記憶部２９にインストールされる。
また、リムーバブルメディア４１は、記憶部２９に記憶されている各種情報も、記憶部２９と同様に記憶することができる。

【0034】

図６は、本発明の一実施形態に係るサーバ２のハードウェア構成を示すブロック図である。

【0035】

サーバ２は、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、バス５４と、入出力インターフェース５５と、出力部５６と、入力部５７と、記憶部５８と、通信部５９と、ドライブ６０とを備えている。
サーバ２の構成は、ユーザ端末１のタッチパネルを除いた構成と基本的に同様であるので、ここではその説明は省略する。また、リムーバブルメディア６１についても、同様である。

【0036】

このような図５のユーザ端末１及び図６のサーバ２の各種ハードウェアと各種ソフトウェアとの協働により、ユーザ端末１及びサーバ２において、各種処理の実行が可能になる。
即ち、ユーザ端末１及びサーバ２は、各種処理の実行にあたり、図７に示すような機能的構成を有する。

【0037】

図７は、図１のユーザ端末１及びサーバ２の機能的構成の一例を示す機能ブロック図である。
図７に示すように、ユーザ端末１のＣＰＵ２１においては、ユーザインターフェイス制御部１０１と、Ｃメタデータ生成部１０２と、Ｃメタデータ送信制御部１０３と、基準色リスト取得部１０４と、判定取得部１０５とが機能する。
また、サーバ２のＣＰＵ５１においては、Ｃメタデータ取得部２０１と、基準色リスト生成部２０２と、基準色リスト送信制御部２０３と、Ｓメタデータ生成部２０４と、番組情報管理部２０５と、正当判定部２０６と、判定送信制御部２０７とが機能する。
さらに、サーバ２の記憶部５８の一領域には、ＲＶＤＢ（Ｒａｗ Ｖｉｄｅｏ Ｄａｔａ Ｂａｓｅ）３００と、ＣＬＤＢ（Ｃｏｌｏｒ Ｌｉｓｔ Ｄａｔａ Ｂａｓｅ）４００と、ＣＭＤＢ（Ｃｏｌｏｒ Ｍｅｔａｄａｔａ Ｄａｔａ Ｂａｓｅ）５００と、ＴＶＰＤＢ（ＴＶ Ｐｒｏｇｒａｍ Ｄａｔａ Ｂａｓｅ）６００とが設けられる。
図７において点線で示す枠は、図１で上述したプロセスａ、プロセスｂ、及びプロセスｃのうち、図７中の引き出し線で示すプロセスに該当することを意味している。

【0038】

放送局から放送される各種テレビ番組の放送時間に関する情報（以下、「放送時間情報」と呼ぶ）や放送地域に関する情報（以下、「放送地域情報」と呼ぶ）等、各種テレビ番組に関する様々な情報（以下、これらの情報をまとめて「番組詳細情報」と呼ぶ）は、ＴＶＰＤＢ６００に予め格納されているものとする。
番組情報管理部２０５は、このような番組詳細情報を管理し、例えばチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングになると、その旨を基準色リスト生成部２０２等に通知する。

【0039】

基準色リスト生成部２０２は、ＣＬＤＢ４００に格納された基準色リストに基づいて、ユーザ毎又は複数のユーザが属するグループ毎に、基準色リストを生成する。ここで、ＣＬＤＢ４００は、現在有効な基準色リストを複数個格納するデータベースである。なお、基準色リストの生成タイミングは、基準色リストのユーザ端末１への送信タイミングより前であれば特に限定されず、当該送信タイミングの直前でもよいし、それより前の所定タイミングでもよい。つまり、基準色リストは予め生成しておくことも可能である。
基準色リスト送信制御部２０３は、基準色リスト生成部２０２により生成された基準色リストを、番組情報管理部２０５から通知されたタイミング、即ちチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングにおいて、ユーザ端末１へと送信するための制御を実行する。

【0040】

さらに、基準色リスト生成部２０２により生成された基準色リストは、基準色リストの生成後の所定タイミング、即ちチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミング（基準色リストのユーザ端末１への送信タイミングとは必ずしも一致する必要はない）において、Ｓメタデータ生成部２０４にも提供される。
Ｓメタデータ生成部２０４は、チェックインの対象となるテレビ番組のオリジナルの映像の情報をＲＶＤＢ３００から取得する。Ｓメタデータ生成部２０４は、取得したオリジナルの映像を構成する各フレームの各情報に対して、基準色リスト生成部２０２によりユーザ毎又はグループ毎に生成された基準色リストを適用してクラスタリングを行う。そして、Ｓメタデータ生成部２０４は、クラスタリング後の映像を構成する時系列の各フレームのカラーヒストグラムの集合体を、ユーザ毎又はグループ毎のＳメタデータとして生成する。
このようにして生成されたＳメタデータは、ＣＭＤＢ５００に格納される。なお、ＣＭＤＢ５００では、Ｓメタデータと、その生成に使用された基準色リストとが紐づけられて格納されている。

【0041】

続いて、ユーザがチェックインする際に機能するユーザ端末１の機能的構成について説明する。
ユーザインターフェイス制御部１０１は、タッチパネルを用いてユーザインターフェイスの制御を実行する。このユーザインターフェイス制御部１０１には、映像取得部１２１と、表示制御部１２２とが設けられている。

【0042】

ユーザは、チェックインをするに際し、チェックインの対象のテレビ番組等の映像が表示画面に表示されている状態で、当該表示画面を含むようにユーザ端末１の撮像部３１等を操作して、テレビ番組の表示画面を撮像する。
映像取得部１２１は、このようにしてユーザ端末１の撮像部３１等で撮像された映像の情報をフレームを単位として取得する。ここで言う映像の情報は、前述の通り、ＲＧＢを保持したＲＧＢ画像の情報である。なお、映像取得部１２１は、図１の全ユーザ共通のプロセスａに該当する処理を実行する。

【0043】

ここで、上述したように、チェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングにおいて、ユーザ毎又はグループ毎の基準色リストのうちユーザ端末１に適用されるものは、当該ユーザ端末１に送信される。
そこで、基準色リスト取得部１０４は、このようにしてサーバ２から送信されてきた基準色リストを、通信部３０を介して取得する。

【0044】

Ｃメタデータ生成部１０２は、映像取得部１２１により取得された映像を構成する各フレームの各情報に対して、基準色リスト取得部１０４により取得された基準色リストを適用することで、クラスタリングを行う。そして、Ｃメタデータ生成部１０２は、クラスタリング後の映像を構成する時系列の各フレームのカラーヒストグラムの集合体を、Ｃメタデータとして生成する。

【0045】

Ｃメタデータ送信制御部１０３は、Ｃメタデータ生成部１０２により生成されたＣメタデータを通信部３０を介してサーバ２へと送信するための制御を実行する。

【0046】

このようにしてユーザ端末１から送信されたＣメタデータは、サーバ２に受信されると、サーバ２においてチェックインの可否の判定に用いられる。そして、その可否の判定の結果はサーバ２からユーザ端末１へと送信されてくる。
そこで、判定取得部１０５は、サーバ２から送信されてきた当該判定の結果を、通信部３０を介して取得する。
表示制御部１２２は、判定取得部１０５によって取得された判定の結果を表示部２７へと表示するための制御を実行する。

【0047】

以上、ユーザがチェックインする際に機能するユーザ端末１の機能的構成について説明した。次に、このようにユーザがチェックインする際のサーバ２側の機能的構成について説明する。
Ｃメタデータ取得部２０１は、前述の通り、ユーザ端末１から送信されてきたＣメタデータを通信部５９を介して取得する。

【0048】

正当判定部２０６は、取得されたＣメタデータの生成用の基準色リストと同一のものを用いて生成されたＳメタデータをＣＭＤＢ５００から抽出する。ここで、抽出対象は、Ｓメタデータの全てである必要はなく、上述したフレームシフト（開始点フレームの時系列の順次シフト）が可能となる分量、即ちフレームシフトを繰り返しながらＣメタデータと順次比較していくことが可能な分量であれば足りる。
ここで、同一の放送番組であっても、放送時間帯や放送地域によっては、同一時刻に放送される内容が異なることがある。そこで、正当判定部２０６は、番組情報管理部２０５により管理される放送時間情報及び放送地域情報等も考慮して、抽出対象を決定する。
正当判定部２０６は、このようにしてＣＭＤＢ５００により抽出されたＳメタデータについて、上述した開始点フレームを時系列に順次シフトさせながら（フレームシフトを繰り返しながら）、開始点フレームを含む比較対象部分を順次設定していく。正当判定部２０６は、比較対象部分が設定される毎に、その比較対象部分と、Ｃメタデータ取得部２０１により取得されたＣメタデータとの類似度（差分）を夫々演算する。
正当判定部２０６は、これらの繰り返し演算の結果において、Ｃメタデータと同一又は一定以上の類似度を有する比較対象部分が存在した場合、ユーザのチェックイン（正当性）を判定する。

【0049】

具体的には例えば本実施形態では、Ｓメタデータのうち比較対象部分とＣメタデータとについての類似度（差分）の演算には、適合性評価関数が採用されている。
本実施形態における適合性評価関数は、オリジナルの映像の情報から生成された時系列カラーヒストグラム行列Ｍ（例えばＳメタデータ）のうち比較対象部分と、ユーザ端末１により表示画面が撮像された結果から得られるテレビ映像の情報から生成された時系列カラーヒストグラム行列Ｑ（例えばＣメタデータ）との適合性を評価し、各フレームの適合性を０以上の実数として返す関数として定義できる。以下、式の詳細を示す。

【数5】

このｆｒａｍｅｓｈｉｆｔｉｎｇ（Ｍ、Ｑ）関数は、時系列カラーヒストグラム行列Ｍの各フレームを開始点フレームの夫々としたときの各比較対象部分の夫々と、時系列カラーヒストグラム行列Ｑとの適合性の夫々を評価する関数である。時系列カラーヒストグラム行列Ｍの各フレームを開始点フレームの夫々としたときの各比較対象部分の夫々と、時系列カラーヒストグラム行列Ｑとの適合性を示すスコア（以下、「適合性スコア」と呼ぶ）が、Ｓｍで表されている。適合性スコアＳｍは、０以上の実数値であって、好ましくは０から１に正規化された実数値である。
つまり、正当判定部２０６は、ｋ回のフレームシフトの繰り返しにより、ｋ＋１個の適合性スコアＳ０乃至Ｓｋを演算する。そして、正当判定部２０６は、これらの適合性スコアＳ０乃至Ｓｋのうちの例えば最も０に近いものを用いてチェックインの可否を判定する。

【0050】

判定送信制御部２０７は、チェックインの可否に関する正当判定部２０６による判定の結果を、ユーザ端末１に送信するための制御を行う。

【0051】

以上、ユーザ端末１とサーバ２との機能的構成例について図７を参照して説明した。
次に、図８以降の図面を参照して、図７の機能的構成を有するユーザ端末１及びサーバ２が実行する処理の流れについて説明する。
図８は、ユーザ端末１側の処理の流れの一例を説明するフローチャートである。
図９は、サーバ２側の処理の流れの一例を説明するフローチャートである。
そして、ユーザ端末１側の処理とサーバ２側の処理との関係は、図１０に示されている。
即ち、図１０は、ユーザ端末１側の処理とサーバ２側の処理との関係を説明するアローチャートである。

【0052】

上述したように、ユーザは、チェックインをするに際し、チェックインの対象のテレビ番組等の映像が表示画面に表示されている状態で、当該表示画面を含むようにユーザ端末１の撮像部３１に撮像させる。これにより、図８のユーザ端末１側の処理が開始され、次のような一連の処理が実行される。
ステップＳ１において、ユーザインターフェイス制御部１０１の映像取得部１２１は、撮像部３１から出力された映像の情報に対してトリミング処理等を施すことで、テレビ映像の情報を取得する。

【0053】

ステップＳ２において、基準色リスト取得部１０４は、基準色リストがあるか否かを判定する。
チェックインの対象のテレビ番組等が放送される前に基準色リストがサーバ２により生成され、ユーザ端末１で既に取得されている場合、当該基準色リストは基準色リスト取得部１０４に検出され、ステップＳ２においてＹＥＳであると判定される。この場合、ステップＳ３及びＳ４は実行されずに、処理はそのままステップＳ５に進む。
これに対して、基準色リストがユーザ端末１に未だ取得されていない場合、ステップＳ２においてＮＯであると判定されて、処理はステップＳ３に進む。そして、ステップＳ３及びステップＳ４の処理の実行後、処理はステップＳ５に進む。

【0054】

ステップＳ３において、基準色リスト取得部１０４は、サーバ２に基準色リストを要求する。
すると、サーバ２側では送信条件が満たされたと判定され（後述するステップＳ２２参照）、基準色リストが送信される（後述するステップＳ２３参照）。
ステップＳ４において、基準色リスト取得部１０４は、サーバ２から送信されてきた基準色リストを取得する。

【0055】

ステップＳ５において、Ｃメタデータ生成部１０２は、ステップＳ２で検出された又はステップＳ４で取得された基準色リストを用いて、ステップＳ１で取得されたテレビ映像の情報から、Ｃメタデータを生成する。
ステップＳ６において、Ｃメタデータ送信制御部１０３は、ステップＳ５で生成されたＣメタデータをサーバ２に送信する。

【0056】

すると、サーバ２においては、Ｃメタデータが取得され（後述するステップＳ４１ＹＥＳ、及びステップＳ４２参照）、当該Ｃメタデータの生成用の基準色リストと同一のものを用いて生成されたＳメタデータの一部が抽出される（後述するステップＳ４３参照）。そして、Ｃメタデータと抽出されたＳメタデータの一部とに基づいて、ユーザのチェックインの可否（正当性）が判定され（後述するステップＳ４４参照）、その判定の結果がユーザ端末１に送信される（後述するステップＳ４５参照）。

【0057】

ステップＳ７において、判定取得部１０５は、サーバ２から送信されてきた判定の結果を通信部３０を介して取得する。
ステップＳ８において、ユーザインターフェイス制御部１０１の表示制御部１２２は、ステップＳ７で取得された判定の結果を表示部２７に表示させる。
ステップＳ９において、ユーザ端末１のＣＰＵ２１は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではユーザ端末１の電源遮断が採用されている。つまり、ユーザ端末１において電源が遮断されると、ステップＳ９においてＹＥＳであると判断されて、ユーザ端末１の処理は終了になる。
これに対して、ユーザ端末１において電源が遮断されない限り、ステップＳ９においてＮＯであると判断されて処理はステップＳ１に戻され、それ以降の処理が繰り返される。

【0058】

図８を参照して説明したユーザ端末１側の処理に対応する、サーバ２側の処理の流れについて図９を参照しつつ説明する。
まず、後述する図９（ｂ）の処理前に準備処理として実行される図９（ａ）の処理について説明する。
図９（ａ）の処理のタイミングは、図９（ｂ）の処理前であれば特に限定されないが、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングに開始されるとよい。基準色リストの生成タイミングは、なるべく使用タイミングに近いほうが、チート対策として有効になるからである。

【0059】

ステップＳ２１において、基準色リスト生成部２０２は、ＣＬＤＢ４００から基準色リストを生成する。
ステップＳ２２において、基準色リスト送信制御部２０３は、ステップＳ２１で生成された基準色リストの送信条件が満たされているか否かを判定する。
ここで、基準色リストの送信条件としては、各種各様な条件を採用することができる。例えば本例では、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングになったことと、ユーザ端末１から送信の要求があったこと（図８のステップＳ３の処理が実行されたこと）という２つの条件が採用されているものとする。
２つの送信条件の何れもが満たされていないと判定された場合、ステップＳ２２においてＮＯであると判定されて処理はステップＳ２１に戻される。
これに対して、２つの基準色リストのうち少なくとも一方の送信条件が満たされた場合、ステップＳ２２においてＹＥＳであると判定されて処理はステップＳ２３に進む。
ステップＳ２３において、基準色リスト送信制御部２０３は、基準色リストをユーザ端末１に送信する。
ステップＳ２４において、Ｓメタデータ生成部２０４は、ステップＳ２１で作成された基準色リストと、ＲＶＤＢ３００に格納されたテレビ放送番組等のオリジナル映像の情報とから、Ｓメタデータを生成する。
ステップＳ２５において、Ｓメタデータ生成部２０４は、ステップＳ２４で生成したＳメタデータをＣＭＤＢ５００に格納する。
ステップＳ２６において、サーバ２のＣＰＵ５１は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ２の電源遮断が採用されている。つまり、サーバ２において電源が遮断されると、ステップＳ２６においてＹＥＳであると判断されて、サーバ２の処理は終了になる。
これに対して、サーバ２において電源が遮断されない限り、ステップＳ２６においてＮＯであると判断されて処理はステップＳ２１に戻され、それ以降の処理が繰り返される。

【0060】

次に、図９（ｂ）のサーバ２側の処理の流れについて説明する。
ステップＳ４１において、Ｃメタデータ取得部２０１は、ユーザ端末１からＣメタデータが送信されてきたか否かを判定する。
Ｃメタデータ取得部２０１によりＣメタデータが送信されてきたことが検出されなければ、ステップＳ４１においてＮＯであると判定されて処理はステップＳ４１に戻される。
これに対して、図８のステップＳ６においてＣメタデータがユーザ端末１から送信され、そのことがＣメタデータ取得部２０１により検出されれば、ステップＳ４１においてＹＥＳであると判定されて処理はステップＳ４２に進む。
ステップＳ４２において、Ｃメタデータ取得部２０１は、ユーザ端末１から送信されてきたＣメタデータを取得する。
ステップＳ４３において、正当判定部２０６は、ステップＳ４２において取得されたＣメタデータの生成用の基準色リストと同一のものを用いて生成されたＳメタデータ（図９（ａ）のステップＳ２４参照）の一部を、ＣＭＤＢ５００から抽出する。
ステップＳ４４において、正当判定部２０６は、ステップＳ４３で抽出されたＳメタデータの一部とステップＳ４２で取得されたＣメタデータとに基づいて、チェックインの可否を判定する。
ステップＳ４５において、判定送信制御部２０７は、チェックインの可否についての判定の結果をユーザ端末１へ送信する。
ステップＳ４６において、サーバ２のＣＰＵ５１は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ２の電源遮断が採用されている。つまり、サーバ２において電源が遮断されると、ステップＳ４６においてＹＥＳであると判断されて、サーバ２の処理は終了になる。
これに対して、サーバ２において電源が遮断されない限り、ステップＳ４６においてＮＯであると判断されて処理はステップＳ４１に戻され、それ以降の処理が繰り返される。

【0061】

最後に、図１１を用いてユーザがテレビ映像を読み取る方法について説明する。
図１１は、ユーザによる対象となるテレビ画面の取り込み方法の一例を示す図である。
図１１の状態では、ユーザがテレビ映像を撮影するためのアプリケーションソフトウェアを起動している状態であり、この状態では表示部２７上に、テレビ映像の読み取り領域３０１と、説明文表示領域３０２が配置される。
ユーザは、テレビ映像の読み取り領域３０１の中央に対象となるテレビ番組の画面を維持し、テレビ映像の撮影を行うことで、前述のチェックイン処理が開始される。
ここで、説明文表示領域３０２には、「アニメが表示されているテレビ画面を枠に入れて３秒間待って下さい」というメッセージが表示されている。即ち、説明文表示領域３０２は、ユーザがスムーズにテレビ映像の撮影を行うための説明文等を示すメッセージが表示される。
なお、テレビ映像を撮像するための操作方法はいかなる方法でも構わないが、例えば表示部２７のいずれかの部位にタッチ操作を行った場合に撮影できるような仕様としても良い。また、図示はしないが、別途、撮影用のボタン表示部上に設けても良い。

【0062】

以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0063】

例えば上述の実施形態では、サーバ２側で基準色リストの生成を行っているが、基準色リストの生成をサーバ２側若しくはユーザ端末１側のいずれか一方のみで行う必要はない。
例えば、予め決められた所定の種類の色を固定的にユーザ端末１が所持し、サーバ２は、ユーザ端末１又はグループ毎に基準色の順列が異なるよう生成された基準色リストの順序情報をユーザ端末１へと送信するという構成を取ることで、基準色リストの生成を可能にすることもできる。
なお、ここでいう「基準色リストの生成」とは、上述の通り、予め用意された所定数の色の中から選ばれたＮ個（Ｎは２以上で所定数未満の整数値）の色を基準色として選択し、それらのＮ個の基準色の順列を決定するまでの一連の処理のことをいう。

【0064】

例えば上述の実施形態では、基準色をＮ個と記載しているが、ここで言うＮ個とはＮ種類の概念を含む概念である。
また、上述の実施形態では、基準色がその全てが互いに異なるＮ種類の色を用いているが、基準色リストの順列の中に同一の色を含むことも自由である。即ち、ここで言うＮよりも色の種類が少ない場合も本発明の技術的範囲に含まれるものである。

【0065】

また、上述の実施形態において使用した適合性評価関数は、特定の適合性関数に依存するものではなく、任意の適合性評価関数を用いることができるが、例えば次のような適合性評価関数を用いることが考えられる。以下、式の詳細を示す。

【数6】

ここで、ｎは、時系列カラーヒストグラム行列Ｑの時間軸方向のサイズであり、ｍは、基準色リストの個数に対応する。なお、ｋは、時間軸に沿って開始点フレームを移動させるフレームの数に対応する。
また例えば、ヒストグラム差分の代わりに、ヒストグラムの非類似性を計量する任意の関数として以下のような式を用いることもできる。以下、式の詳細を示す。

【数7】

ここで、Ｍｉは、オリジナル映像のｉ番目のフレームに対応するヒストグラムであり、Ｑｉはクエリ映像（テレビ映像等）のｉ番目に対応するヒストグラムであり、距離関数ｄｉｓｔは、二つのヒストグラムの距離を０から１の実数として計量する任意の関数である。
このようにして得られた複数の適合性と、現在時刻を用いて、ユーザから送信されたＣメタデータが、現在放送されているオリジナルの映像のＳメタデータに適合することを確認する。

【0066】

また例えば、本実施形態において説明は省略したが、本発明の実装例について簡単に説明する。本発明に係る情報処理システムは、ＩＯバウンドな処理を主とする通常のアプリケーションサーバと異なり、内部処理のほとんどが行列演算というＣＰＵバウンドな処理であるため、キャッシュによる演算の高速化は望めない。
そのため、チェックイン用のサーバ２へ、クライアントのユーザ端末１から直接アクセスできるようにしつつ、チェックインのピークに合わせてロードバランサによる負荷分散を実施するのが好ましい。
また、チェックイン結果をデータベースに格納する際、データベーストラフィックの輻輳がおきるため、定期的にチェックイン結果を更新するのが望ましい。こうすることで、例えば５０万人が同時にチェックインしてもＤＢは輻輳しにくい。
さらに、本発明に係る情報処理システムは、２つの独立したＡＰＩとして実装することができる。一つは、クラスタリング用の基準色リストをサーバ２に問い合わせるＡＰＩであり、もう一つは実際にチェックインを受付けるＡＰＩである。ユーザ端末１は、第１のＡＰＩである基準色リストＡＰＩを呼び出し、基準色リストを受け取り、カメラから得た映像をその基準色リストを用いて分析する。そして、ユーザ端末１は、その分析結果を、第２のＡＰＩであるチェックインＡＰＩへ送信することにより、チェックイン処理を完了する。

【0067】

また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図７の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。また、機能ブロックの存在場所も、図７に特に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

【0068】

また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

【0069】

また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。

【0070】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

【0071】

以上を換言すると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
クライアント（例えば図１のユーザ端末１）とサーバ（例えば図１のサーバ２）からなる情報処理システムであって、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段（例えば図７の映像取得部１２１）と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段（例えば図７の基準色リスト取得部１０４）と、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記Ｍ枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段（例えば図７のＣメタデータ生成部１０２）と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段（例えば図７のＣメタデータ送信制御部１０３）と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段（例えば図７の基準色リスト生成部２０２）と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段（例えば図７の基準色リスト送信制御部２０３）と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段（例えば図７のＳメタデータ生成部２０４）と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段（例えば図７の正当判定部２０６）と、
を備える情報処理システムであれば足りる。

【0072】

これにより、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
即ち、本発明が適用される情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止の３点を実現することができる。

【0073】

さらに詳細に言えば、本発明が適用される情報処理システムは、以下のような利点を有するものである。
本発明が適用される情報処理システムが生成するメタデータは、数キロバイト程度であるため、ネットワーク上を高速に送信することができる。また、チェックイン認証のコア関数であるフレームシフト色差距離系は、比較的高速なアルゴリズムであるため、リアルタイムにチェックイン認証を行うことができる。リアルタイム性を有することにより、例えば、照明やスマートフォンの持ち方が良くなかったために認証できなかったユーザであっても再度、チェックインすることが可能となる。
本発明が適用される情報処理システムは、映像コンテンツ内に、二次元コードや特徴的な画像などを埋め込む必要がなく、非侵襲的なチェックイン認証機構である。したがって、チェックインを実現するために映像コンテンツを加工する必要がない。
本発明が適用される情報処理システムによる基準色の動的変更機能により、サーバ側で生成されるＳメタデータ（時系列カラーヒストグラム行列）と高い適合性を示すＣメタデータを生成するためには、サーバ側と同一の基準色リスト（即ち、クラスタリング用カラーリスト）を使用する必要があり、かつ、サーバ側と同じ映像の情報を入力とする必要があるため、チートを行うことは極めて困難である。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定の放送回の色彩に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定のスマートフォン機種のカメラの特性に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。

【0074】

さらにクライアントとサーバからなる情報処理システムにおける前記クライアントとして機能する情報処理装置であって、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段（例えば図７の映像取得部１２１）と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段（例えば図７の基準色リスト取得部１０４）と、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記Ｍ枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段（例えば図７のＣメタデータ生成部１０２）と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段（例えば図７のＣメタデータ送信制御部１０３）と、
を備える情報処理装置とすることもできる。
これにより、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
即ち、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。

【0075】

さらに、前記サーバにおいては、前記クライアント側映像の前記メタデータと同一の前記基準色リストに基づいて、前記コンテンツの前記映像からサーバ側メタデータが生成され、前記クライアント側映像の前記メタデータと比較されて前記クライアント側映像の正当性が判定され、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するＭ個の単位画像を要素とし、行又は列の他方を、前記Ｎ個の基準色を要素とする行列であることができる。
これにより、クライアント側メタデータ（例えば図７のＣメタデータ）及びサーバ側メタデータ（例えば図７のＳメタデータ）の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、Ｍ個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント（例えば図１のユーザ端末１）であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。

【0076】

さらに、前記映像取得手段は、前記クライアント側映像の情報から、前記Ｍ枚の単位画像の情報の夫々のうち、前記コンテンツが表示される前記表示面に対応する情報を夫々抽出する抽出手段（例えば図７の映像取得部１２１の一機能）をさらに備え、
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる。
これにより、クライアント側映像の情報から表示面以外の情報を除去して、表示面に映るコンテンツの映像（テレビ映像等）の情報を抽出できることから、結果として、より正確な「チェックイン」操作を行うことができる。

【0077】

さらにまた、
クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され（例えば図７の映像取得部１２１）、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、Ｎ個（Ｎは２以上の整数値）の基準色の順列によって示される基準色リストが取得され（例えば図７の基準色リスト取得部１０４）、
前記クライアント側映像を構成するＭ枚（Ｍは２以上の整数値）の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記Ｎ個の基準色の何れかに分類され、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報が生成され、Ｍ枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され（例えば図７のＣメタデータ生成部１０２）、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段（例えば図７の基準色リスト生成部２０２）と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段（例えば図７の基準色リスト送信制御部２０３）と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記Ｎ個の基準色の何れかに分類し、当該処理対象についての前記Ｎ個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段（例えば図７のＳメタデータ生成部２０４）と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段（例えば図７の正当判定部２０６）と、
を備える情報処理装置とすることができる。
カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
これにより、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。

【0078】

さらに前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記Ｍ枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するＭ個の単位画像を要素とし、行又は列の他方を、Ｎ個の基準色を要素とする行列であることができる。
これにより、クライアント側メタデータ（例えば図７のＣメタデータ）及びサーバ側メタデータ（例えば図７のＳメタデータ）の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、Ｍ個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント（例えば図１のユーザ端末１）であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。

【0079】

さらに、前記判定手段は、前記サーバ側メタデータのうち、前記クライアント用映像の前記メタデータの取得時刻から所定時間前の単位画像を開始画像として処理を開始し、前記開始画像から時間的に連続するＭ枚の単位画像についてのメタデータと、前記クライアント側映像の前記メタデータを比較する処理を、前記開始画像となる単位画像を１つずつずらしながら繰り返し実行し、これらの実行結果に基づいて、前記クライアント側映像の正当性を判定することができる。
これにより、時間的に連続する画像についても正確に「チェックイン」操作を行うことが可能となり、結果として、より正確な「チェックイン」操作を行うことができる。

【0080】

さらに、前記基準色リスト等送信制御手段は、前記クライアント又は前記グループ毎の前記基準色リストと、前記クライアントを操作するユーザのＩＤ又は前記ユーザが属するグループのＩＤとを紐付けたうえで、当該クライアント又は当該グループ毎の前記基準色リストを、前記送信情報として、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行することができる。
これにより、各ユーザ又や各グループ毎に異なる基準色リストを利用することが可能となり、不正な手段による「チェックイン」操作を効果的に予防することができる。

【0081】

さらに前記情報処理装置は、コンテンツの放送時間を管理する第１管理手段をさらに備え、第１管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行することができる。
これにより、コンテンツの放送時間を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。

【0082】

さらに前記情報処理装置は、コンテンツの放送地域を管理する第２管理手段をさらに備え、第２管理手段の判断結果に基づいて、基準色リスト等生成手段は前記送信情報を生成し、基準色リスト等送信制御手段は当該送信情報を送信する制御を実行することができる。
これにより、コンテンツの放送地域の差を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。

【符号の説明】

【0083】

１・・・ユーザ端末、２・・・サーバ、２１・・・ＣＰＵ、表示部・・・２７、５１・・・ＣＰＵ、１０１・・・ユーザインターフェイス制御部、１０２・・・Ｃメタデータ生成部、１０３・・・Ｃメタデータ送信制御部、１０４・・・基準色リスト取得部、１０５・・・判定取得部、１２１・・・映像取得部、１２２・・・表示制御部、２０１・・・Ｃメタデータ取得部、２０２・・・基準色リスト生成部、２０３・・・基準色リスト送信制御部、２０４・・・Ｓメタデータ生成部、２０５・・・番組情報管理部、２０６・・・正当判定部、２０７・・・判定送信制御部、３００・・・ＲＶＤＢ、４００・・・ＣＬＤＢ、５００・・・ＣＭＤＢ、６００・・・ＴＶＰＤＢ

【要約】

【課題】カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる技術を提供する。
【解決手段】サーバ２の基準色リスト生成部２０２は、番組情報管理部２０５から通知されたタイミングでＣＬＤＢ４００に格納された基準色リストに基づいて基準色リストを生成する。Ｓメタデータ生成部２０４は、ＲＶＤＢ３００に格納されたテレビ番組の情報と、基準色リストからＳメタデータを生成する。ユーザ端末１のＣメタデータ生成部１０２は、撮像画像を構成する各フレームの各情報と基準色リストからＣメタデータを生成する。正当判定部２０６は、取得されたＣメタデータと、ＣＭＤＢ５００により抽出されたＳメタデータと、番組情報管理部２０５により管理された番組詳細情報に基づいて、ユーザのチェックインの可否を判定する。
【選択図】図７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】