ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181568
(43)【公開日】2023-12-25
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20231218BHJP
G06T 7/00 20170101ALI20231218BHJP
【ＦＩ】
G06Q50/10
G06T7/00 300F
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2020190541
(22)【出願日】2020-11-16
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(72)【発明者】
【氏名】近藤 茜
(72)【発明者】
【氏名】杉原 賢次
(72)【発明者】
【氏名】岩瀬 広
(72)【発明者】
【氏名】飯田 文彦
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049CC18
5L096BA02
5L096CA02
5L096DA02
5L096MA07
(57)【要約】 （修正有）
【課題】イベントの参加者の内的状態を把握して、イベントの演出に反映させる情報処理装置及び情報処理方法を提供する。
【解決手段】情報処理装置は、ユーザのセンシング情報に基づいて特徴量を抽出する特徴量抽出部１２と、特徴量に基づいて、ユーザの属性及び行動の少なくとも一方を推定する第１推定部１３と、第１推定部１３による推定に基づいて、ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部１４と、第１推定部１３による推定とクラスタリング部１４による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部１５と、を備える。
【選択図】図３
【解決手段】情報処理装置は、ユーザのセンシング情報に基づいて特徴量を抽出する特徴量抽出部１２と、特徴量に基づいて、ユーザの属性及び行動の少なくとも一方を推定する第１推定部１３と、第１推定部１３による推定に基づいて、ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部１４と、第１推定部１３による推定とクラスタリング部１４による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部１５と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
ユーザのセンシング情報に基づいて特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定する第１推定部と、
前記第１推定部による推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部と、
前記第１推定部による推定と前記クラスタリング部による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部と、を備える、情報処理装置。
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定する第１推定部と、
前記第１推定部による推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部と、
前記第１推定部による推定と前記クラスタリング部による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部と、を備える、情報処理装置。
【請求項2】
前記センシング情報は、撮像装置の撮像画像を含んでおり、
前記クラスタリング部は、前記撮像画像の解析結果に基づいて前記複数のクラスタに分類する、請求項１に記載の情報処理装置。
前記クラスタリング部は、前記撮像画像の解析結果に基づいて前記複数のクラスタに分類する、請求項１に記載の情報処理装置。
【請求項3】
前記撮像画像は、前記ユーザの画像を含んでおり、
前記特徴量抽出部は、前記ユーザの顔、姿勢、体の動き、骨格情報、音声の少なくとも一つを含む前記特徴量を抽出する、請求項２に記載の情報処理装置。
前記特徴量抽出部は、前記ユーザの顔、姿勢、体の動き、骨格情報、音声の少なくとも一つを含む前記特徴量を抽出する、請求項２に記載の情報処理装置。
【請求項4】
前記特徴量抽出部は、音響データ、物体認識、及び周波数解析情報の少なくとも一つに基づいて前記特徴量を抽出する、請求項１に記載の情報処理装置。
【請求項5】
前記ユーザが参加するイベントの経過情報を取得するイベント情報取得部をさらに備え、
前記第１推定部は、前記特徴量と前記イベントの経過情報とに基づいて、前記イベントに参加する前記ユーザの属性及び行動の少なくとも一方を推定する、請求項１に記載の情報処理装置。
前記第１推定部は、前記特徴量と前記イベントの経過情報とに基づいて、前記イベントに参加する前記ユーザの属性及び行動の少なくとも一方を推定する、請求項１に記載の情報処理装置。
【請求項6】
前記第１推定部による推定に基づいて、前記ユーザ又は前記グループを単位として、タグ情報を付与するタグ付け部を備える、請求項１に記載の情報処理装置。
【請求項7】
前記情報処理部は、同一の前記タグ情報が付与された前記ユーザ又は前記グループに対して、前記タグ情報に基づいた情報を提供する、請求項６に記載の情報処理装置。
【請求項8】
前記情報処理部は、ユーザの属性及び行動の少なくとも一方に応じた情報提供及び情報交換の少なくとも一方を行う、請求項７に記載の情報処理装置。
【請求項9】
前記ユーザを撮影した画像に、前記センシング情報に基づいて決定される前記ユーザの内的状態を示す識別子を付加した状況画像を生成する状況画像生成部を備える、請求項１に記載の情報処理装置。
【請求項10】
前記状況画像生成部は、前記ユーザが参加するイベントの経過情報と、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方に関する情報とを含む前記状況画像を生成する、請求項９に記載の情報処理装置。
【請求項11】
前記第１推定部は、前記センシング情報に基づいて、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方を含む内的状態を推定し、
前記クラスタリング部は、前記特徴量及び前記内的状態に基づいて、前記複数のクラスタに分類する、請求項１に記載の情報処理装置。
前記クラスタリング部は、前記特徴量及び前記内的状態に基づいて、前記複数のクラスタに分類する、請求項１に記載の情報処理装置。
【請求項12】
前記クラスタリング部は、イベントの経過情報に応じた前記内的状態の変化に基づいて、前記複数のクラスタに分類する、請求項１１に記載の情報処理装置。
【請求項13】
イベントの会場にいるユーザと、リモート環境から前記イベントに参加するユーザとの少なくとも一方に関する前記センシング情報を取得するセンシング情報取得部をさらに備える、請求項１に記載の情報処理装置。
【請求項14】
前記クラスタリング部は、前記イベントにリモート環境から参加するユーザ又は複数のユーザからなるグループを単位として、前記複数のクラスタに分類する、請求項１３に記載の情報処理装置。
【請求項15】
前記センシング情報に基づいて、前記イベントにリモート環境から参加するユーザの盛り上がり度合い及び集中度の少なくとも一つを含む内的状態を推定する第２推定部と、
前記第２推定部で推定された前記内的状態に基づいて、前記イベントに関する情報を表示する表示領域のサイズを調整する表示制御部と、備える、請求項１３に記載の情報処理装置。
前記第２推定部で推定された前記内的状態に基づいて、前記イベントに関する情報を表示する表示領域のサイズを調整する表示制御部と、備える、請求項１３に記載の情報処理装置。
【請求項16】
前記表示制御部は、前記イベントにリモート環境から参加するユーザが見る表示部に、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方が高まることに応じて、前記イベントの開催場所の観客席との一体感を高める映像を表示させる、請求項１５に記載の情報処理装置。
【請求項17】
前記表示制御部は、前記イベントにリモート環境から参加するユーザの内的状態が所定の条件を満たすときに、前記ユーザが視認可能な範囲内に、前記所定の条件に応じた情報提供画像及び視覚効果画像の少なくとも一方を表示させる、請求項１５に記載の情報処理装置。
【請求項18】
前記視覚効果画像は、前記イベントの会場に参加しており、内的状態が前記所定の条件を満たす別のユーザの仮想人物画像である、請求項１７に記載の情報処理装置。
【請求項19】
前記イベントにリモート環境から参加するユーザは、前記所定の条件を満たすときに、前記仮想人物画像を介して、前記仮想人物画像に対応する前記別の人物と情報交換を行う情報交換部を備える、請求項１８に記載の情報処理装置。
【請求項20】
ユーザのセンシング情報に基づいて特徴量を抽出するステップと、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定するステップと、
前記推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するステップと、
前記推定と前記複数のクラスタとの少なくとも一方に基づいて、所定の情報処理を行うステップと、を備える、情報処理方法。
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定するステップと、
前記推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するステップと、
前記推定と前記複数のクラスタとの少なくとも一方に基づいて、所定の情報処理を行うステップと、を備える、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
ライブやスポーツイベントの盛り上がりや演出の効果は主観的なものであり、その効果を定量的に測定する有効な手段はなく、担当者の主観や経験により効果を評価しているのが実情である。また、イベントの演出は、静的なシナリオに沿ったものであり、観客の内的状態に即応した演出を行うのは現実的には困難である。
【0003】
特許文献１には、観客席に設置されたシートセンサと観客が装着するウェアラブルセンサにて顧客の盛り上がり度合いをリアルタイムに推定し、盛り上がり度合いに応じて演出コンテンツを効果的なタイミングで観客に提供することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１４４８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１では、盛り上がり度合いを推定するだけであり、個々の観客の内的状態を推測したり、観客の属性や趣向に合わせた演出を行うことはできない。
【0006】
また、特許文献１は、実際にイベント会場に足を運んだ観客に対する演出だけを念頭に置いており、リモート環境からネットワーク経由でイベントに参加する観客に対して、何らかの演出を提供することは全く考慮に入れていない。最近は、リモート環境でイベントに参加するユーザが増えており、リモート環境でイベントに参加するユーザに配慮したイベント演出の重要性が高まっている。
【0007】
そこで、本開示では、イベントに参加するユーザの内的状態を把握して、イベントの演出に反映させることができる情報処理装置及び情報処理方法を提供するものである。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本開示の一態様によれば、
ユーザのセンシング情報に基づいて特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定する第１推定部と、
前記第１推定部による推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部と、
前記第１推定部による推定と前記クラスタリング部による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部と、を備える、情報処理装置が提供される。
ユーザのセンシング情報に基づいて特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定する第１推定部と、
前記第１推定部による推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部と、
前記第１推定部による推定と前記クラスタリング部による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部と、を備える、情報処理装置が提供される。
【0009】
前記センシング情報は、撮像装置の撮像画像を含んでおり、
前記クラスタリング部は、前記撮像画像の解析結果に基づいて前記複数のクラスタに分類してもよい。
前記クラスタリング部は、前記撮像画像の解析結果に基づいて前記複数のクラスタに分類してもよい。
【0010】
前記撮像画像は、前記ユーザの画像を含んでおり、
前記特徴量抽出部は、前記ユーザの顔、姿勢、体の動き、及び骨格情報の少なくとも一つを含む前記特徴量を抽出してもよい。
前記特徴量抽出部は、前記ユーザの顔、姿勢、体の動き、及び骨格情報の少なくとも一つを含む前記特徴量を抽出してもよい。
【0011】
前記特徴量抽出部は、音響データ、物体認識、及び周波数解析情報の少なくとも一つに基づいて前記特徴量を抽出してもよい。
【0012】
前記ユーザが参加するイベントの経過情報を取得するイベント情報取得部を備え、
前記第１推定部は、前記特徴量と前記イベントの経過情報とに基づいて、前記イベントに参加するユーザの属性及び行動の少なくとも一方を推定してもよい。
前記第１推定部は、前記特徴量と前記イベントの経過情報とに基づいて、前記イベントに参加するユーザの属性及び行動の少なくとも一方を推定してもよい。
【0013】
前記第１推定部による推定に基づいて、前記ユーザ又は前記グループを単位として、タグ情報を付与するタグ付け部を備えてもよい。
【0014】
前記情報処理部は、同一の前記タグ情報が付与された前記ユーザ又は前記グループに対して、前記タグ情報に基づいて情報を提供してもよい。
【0015】
前記情報処理部は、前記ユーザの属性及び行動の少なくとも一方に応じた情報提供及び情報交換をの少なくとも一方を行ってもよい。
【0016】
前記ユーザを撮影した画像に、前記センシング情報に基づいて決定される前記ユーザの内的状態を示す識別子を付加した状況画像を生成する状況画像生成部を備えてもよい。
【0017】
前記状況画像生成部は、前記ユーザが参加するイベントの経過情報と、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方に関する情報とを含む前記状況画像を生成してもよい。
【0018】
前記第１推定部は、前記センシング情報に基づいて、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方を含む内的状態を推定し、
前記クラスタリング部は、前記特徴量及び前記内的状態に基づいて、前記複数のクラスタに分類してもよい。
前記クラスタリング部は、前記特徴量及び前記内的状態に基づいて、前記複数のクラスタに分類してもよい。
【0019】
前記クラスタリング部は、イベントの経過情報に応じた前記内的状態の変化に基づいて、前記複数のクラスタに分類してもよい。
【0020】
イベントの会場にいるユーザと、リモート環境から前記イベントに参加するユーザとの少なくとも一方に関する前記センシング情報を取得するセンシング情報取得部を備えていてもよい。
【0021】
前記クラスタリング部は、前記イベントにリモート環境から参加するユーザ又は複数のユーザからなるグループを単位として、前記複数のクラスタに分類してもよい。
【0022】
前記センシング情報に基づいて、前記イベントにリモート環境から参加するユーザの盛り上がり度合い及び集中度の少なくとも一つを含む内的状態を推定する第２推定部と、
前記第２推定部で推定された前記内的状態に基づいて、前記イベントに関する情報を表示する表示領域のサイズを調整する表示制御部と、備えてもよい。
前記第２推定部で推定された前記内的状態に基づいて、前記イベントに関する情報を表示する表示領域のサイズを調整する表示制御部と、備えてもよい。
【0023】
前記表示制御部は、前記イベントにリモート環境から参加するユーザが見る表示部に、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方が高まることに応じて、前記イベントの開催場所の観客席との一体感を高める映像を表示させてもよい。
【0024】
前記表示制御部は、前記イベントにリモート環境から参加するユーザの内的状態が所定の条件を満たすときに、前記ユーザが視認可能な範囲内に、前記所定の条件に応じた情報提供画像及び視覚効果画像の少なくとも一方を表示させてもよい。
【0025】
前記視覚効果画像は、前記イベントの会場に参加しており、内的状態が前記所定の条件を満たす別のユーザの仮想人物画像であってもよい。
【0026】
前記イベントにリモート環境から参加するユーザは、前記所定の条件を満たすときに、前記仮想人物画像を介して、前記仮想人物画像に対応する前記別の人物と情報交換を行う情報交換部を備えてもよい。
【0027】
本開示の他の一態様によれば、ユーザのセンシング情報に基づいて特徴量を抽出するステップと、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定するステップと、
前記推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するステップと、
前記推定と前記複数のクラスタとの少なくとも一方に基づいて、所定の情報処理を行うステップと、を備える、情報処理方法が提供される。
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定するステップと、
前記推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するステップと、
前記推定と前記複数のクラスタとの少なくとも一方に基づいて、所定の情報処理を行うステップと、を備える、情報処理方法が提供される。
【図面の簡単な説明】
【0028】
【図1】本開示の一実施形態による情報処理装置を備えた情報処理システムの概略構成を示すブロック図。
【図2】リモート環境でのイベント参加に対応した情報処理装置を備えた情報処理システムの概略構成を示すブロック図。
【図3】本実施形態による情報処理装置の機能ブロック図。
【図4】本実施形態による情報処理装置のソフトウェア構成を示すブロック図。
【図5】本実施形態による情報処理装置の処理動作を示すフローチャート。
【図6A】ボーンデータ抽出プログラムにて抽出されたボーンデータの一例を示す図。
【図6B】属性判定を行った結果の一例を示す図。
【図7A】試合が行われている最中の「意味のある属性」の種別を示す図。
【図7B】試合が中断している最中の「意味のある属性」の種別を示す図。
【図7C】試合中の全時間帯の「意味のある属性」の種別を示す図。
【図8】運営者用ツール画面の一例を示す図。
【図10】運営者用ツール画面を生成する処理動作の一例を示す図。
【図12】グラフ表示プログラムが生成するグラフの一例を示す図。
【図13】指標評価プログラムで生成された指標の一例を示す図。
【図15A】推定タグを含む映像データを示す図。
【図15B】正解タグを含む映像データを示す図。
【図16】本実施形態による情報処理装置の主要な応用例を例示した図。
【図17A】オンライン観戦の一例を示す図。
【図18】種々のスポーツとバスケットボールとの類似性を示した図。
【図19】スポーツ以外の種々のイベントとバスケットボールとの類似性を示した図。
【発明を実施するための形態】
【0029】
以下、図面を参照して、情報処理装置及び情報処理方法の実施形態について説明する。以下では、情報処理装置及び情報処理方法の主要な構成部分を中心に説明するが、情報処理装置及び情報処理方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
【0030】
図１は本開示の一実施形態による情報処理装置１を備えた情報処理システム２の概略構成を示すブロック図である。図１の情報処理システム２は、スポーツイベントが開催されるコート（スタジアム）３に設置されたカメラ４でスタジアム３の観客を撮影した映像データに基づいて種々の情報処理を行うものである。以下では、スポーツイベントの一例として、バスケットボールの試合を観戦する例を主に説明するが、スポーツの種類は問わない。また、本実施形態は、スポーツ以外の種々のイベント（例えば、音楽のライブ演奏、催し物のイベントなど）に幅広く適用可能である。また、イベントはスタジアムなどの特定の会場で開催されるものに限定されず、後述するライブ配信で配信されるイベントであってもよい。イベントに参加するユーザが会場およびライブ配信先のリモート環境からイベントに参加可能なイベントであってもよい。
【0031】
図１の情報処理システム２は、コート（スタジアム）３の観客を撮影可能な位置に治具４ａで固定された複数のカメラ４と、ネットワーク機器５と、処理サーバ６と、データベース（以下、ＤＢと略する）サーバ７と、を備えている。なお、本実施形態による情報処理システム２には、図１に示した以外の機器が接続されていてもよい。なお、コート（スタジアム）３で行われる試合を撮影するカメラは別にあるものとする。
【0032】
ネットワーク機器５は、複数のカメラ４で撮影された映像データをネットワーク経由で処理サーバ６に送信する制御を行う。ネットワークは、インターネット等の公衆回線でもよいし、専用回線でもよい。また、ネットワークは、無線と有線のどちらでもよい。
【0033】
処理サーバ６は、複数のカメラ４で撮影された映像データを、ネットワーク機器５を介して受信し、種々の情報処理を行う。例えば、処理サーバ６は、複数のカメラ４で撮影された複数の映像データに対して、歪み補正、色補正、複数のカメラ４で撮影された複数の映像データを正規化するカメラ４制御処理などを行った上で、種々の情報処理を行う。
【0034】
ＤＢサーバ７は、開催中のスポーツイベントの試合経過情報や、出場選手の成績等のスタッツ情報などを格納する他、処理サーバ６が加工した映像データを格納する。処理サーバ６とＤＢサーバ７は一つのサーバに統合してもよいし、処理サーバ６とＤＢサーバ７の少なくとも一方を２以上のサーバに分割してもよい。
【0035】
この他、図１の情報処理システム２は、スタジアム３の観客が所持する携帯端末８等に情報を配信する配信サーバ９を備えていてもよい。配信サーバ９は、処理サーバ６から送信された観客向けの配信情報を、対応する観客の携帯端末８等に送信する制御を行う。観客の携帯端末８は、例えば、スマートフォン、時計等のウェアラブルデバイス、イベント応援用に観客が所持するペンライトなどである。
【0036】
本実施形態による情報処理装置１は、処理サーバ６を少なくとも備えており、この他に、ＤＢサーバ７や配信サーバ９などを備えていてもよい。
【0037】
スポーツイベントを観戦する観客は、必ずしも、コート（スタジアム）３で観戦するとは限らず、自宅等のＴＶやＰＣ、携帯端末８を通して観戦したり、パブリックビューイングで観戦する場合がある。特に、今後は、大容量のデータを高速かつ低コストで無線通信する無線ネットワークが急速に普及するため、スタジアム３以外で観戦する観客が増えると予想されている。本明細書では、スタジアム３等のイベント会場以外でイベントに参加することをリモート環境でのイベント参加、又はオンライン観戦（参加）と呼ぶ。
【0038】
図１の情報処理システム２は、イベントの運営者のＰＣ等に各種情報を配信するための不図示の運営者サーバを備えていてもよい。運営者サーバは、スポーツイベントの場合には、観客の映像データに、観客の盛り上がり度合いと集中度が把握できるような識別子を付加した映像データを生成して、後述する運営者ツール画面に表示する。なお、処理サーバ６や配信サーバ９が運営者サーバの機能を備えていてもよい。
【0039】
図２はリモート環境でのイベント参加に対応した情報処理装置１を備えた情報処理システム２の概略構成を示すブロック図である。図２の情報処理システム２は、観客がコート（スタジアム）３とは別の場所（例えば、自宅など）のＴＶ１０ａ又はＰＣ１０ｂ、あるいはパブリックビューイング会場１０ｃにてスポーツイベントを観戦する場合のシステム構成を示している。スポーツイベントを観戦するＴＶ１０ａやＰＣ１０ｂには、観客を撮影するカメラ４が設置されているものとする。また、パブリックビューイング会場１０ｃには、パブリックビューイングで観戦する観客を撮影するカメラ４が設置されているものとする。
【0040】
図２の情報処理システム２は、上述したカメラ４からの映像データを取得して種々の情報処理を行う処理サーバ６と、ＤＢサーバ７と、配信サーバ９とを備えている。これらサーバの基本的な処理は、図１に示した各サーバと同様である。ただし、処理サーバ６と配信サーバ９は、リモート環境で観戦している観客に対して、スタジアム３で観戦している観客と同様の臨場感を与えるための種々の工夫を施すことも可能である。その具体例については後述する。
【0041】
図１の処理サーバ６は図２の処理サーバ６と統合してもよく、同様に、図１のＤＢサーバ７は図２のＤＢサーバ７と統合してもよく、同様に、図１の配信サーバ９は図２の配信サーバ９と統合してもよい。また、図１や図２の処理サーバ６、ＤＢサーバ７及び配信サーバ９の少なくとも２つ以上を統合してもよいし、その逆に、より多くのサーバに分散させて、種々の情報処理を分散して実行してもよい。すなわち、図１及び図２のサーバ構成は一例に過ぎない。
【0042】
【0043】
図３の情報処理装置１は、センシング情報取得部１１と、特徴量抽出部１２と、第１推定部１３と、クラスタリング部１４と、情報処理部１５とを備えている。
【0044】
センシング情報取得部１１は、センシング情報を取得する。センシング情報とは、種々のセンサで検知された検知情報である。センシング情報の代表例は、撮像装置の撮影画像である。より具体的な一例としては、センシング情報は、イメージセンサで撮像された映像データであってもよい。なお、撮像装置の撮像画像やイメージセンサによる映像データは必ずしも必須のセンシング情報ではない。センシング情報は、スタジアム３等のイベント会場の音響データを含んでいてもよい。音響データは、イベントの盛り上がり度合いを判断するために有効である。センシング情報は、スタジアム３等のイベント会場の観客席に設置された振動センサの検知情報を含んでいてもよい。あるいは、センシング情報は、観客が所持する携帯端末８や応援用のペンライトに内蔵された加速度センサやジャイロセンサ等の検知情報を含んでいてもよい。このように、センシング情報は、観客の盛り上がり度合いや集中度等の内的状態を判断するのに用いることができれば、その具体的な種類は問わない。
【0045】
スポーツイベントは、試合の経過に従って、観客の盛り上がり度合いや集中度が変化する。このため、センシング情報取得部１１は、試合開始から試合終了までの間、定期的又は不定期的に、あるいは継続的に、センシング情報を取得する。
【0046】
特徴量抽出部１２は、ユーザをセンシングしたセンシング情報に基づいて特徴量を抽出する。例えば、特徴量抽出部１２は、ユーザ（例えば、イベントの参加者）の顔、姿勢、体の動き、及び骨格情報（ボーンデータとも呼ぶ）の少なくとも一つを含む特徴量を抽出する。センシング情報が映像データを含んでいる場合、特徴量抽出部１２は、映像データを解析して、スタジアム３で観戦している各観客を識別し、識別された各観客の笑顔の度合い、手首の移動量、頭の移動量、目の開き度合い、視線方向などにより、特徴量を抽出することができる。また、特徴量抽出部１２は、音響データ、物体認識、及び周波数解析情報の少なくとも一つに基づいて、特徴量を抽出してもよい。
【0047】
第１推定部１３は、特徴量抽出部１２で抽出された特徴量に基づいて、ユーザの属性及び行動の少なくとも一方を推定する。第１推定部１３の具体的な推定内容は後述するが、例えばスポーツイベントの場合、各観客の試合への盛り上がり度合いや集中度などを推定する。
【0048】
クラスタリング部１４は、第１推定部１３による推定に基づいて、ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類する。クラスタの種類は任意である。例えば、スポーツイベントの場合、応援の仕方に着目して、同じような応援の仕方をしている観客を同一のクラスタに割り振ってもよい。あるいは、試合への関心の高さに着目して、試合への関心度別に各観客を複数のクラスタのいずれかに分類してもよい。
【0049】
情報処理部１５は、第１推定部１３による推定とクラスタリング部１４による分類との少なくとも一方に基づいて、所定の情報処理を行う。情報処理部１５が行う具体的な情報処理の中身は任意である。後述するように、情報処理部１５は、クラスタリングされた観客に対して、個々の観客に見合った情報を提供するための情報処理を行ってもよい。あるいは、情報処理部１５は、リモート環境で観戦している観客に対して、観客の盛り上がり度合いに応じて、臨場感の度合いを制御するための情報提供を行ってもよい。
【0050】
図３に示すように、情報処理装置１は、イベント情報取得部１６を備えていてもよい。イベント情報取得部１６は、ユーザが参加するイベントの経過情報を取得する。例えば、スポーツイベントの場合、イベント情報取得部１６は、試合が始まってから何分後にどのチームの誰が得点を上げたか等の経過情報を取得する。第１推定部１３は、特徴量とイベントの経過情報に基づいて、イベントに参加するユーザの属性及び行動の少なくとも一方を推定してもよい。
【0051】
図３に示すように、情報処理装置１は、タグ付け部１７を備えていてもよい。タグ付け部１７は、第１推定部１３による推定に基づいて、イベントに参加するユーザ又はグループを単位として、タグ情報を付与する。タグ情報とは、例えばスポーツイベントの場合には、ホームチームを応援するホームファン、アウェイチームを応援するアウェイファン、及び試合観戦の初心者を識別する情報であってもよい。タグ付け部１７は、観客の映像データに基づいて、ホームチームが得点を上げたときに盛り上がっている観客をホームファンとしてタグ付け、アウェイチームが得点を上げたときに盛り上がっている観客をアウェイファンとしてタグ付け、どちらのチームが得点を上げても盛り上がらない観客を初心者としてタグづけてもよい。
【0052】
情報処理部１５は、同一のタグ情報が付与されたユーザ又はグループに対して、タグ情報に基づく情報を提供してもよい。また、情報処理部１５は、ユーザの属性及び行動の少なくとも一方に応じた情報提供及び情報交換の少なくとも一方を行ってもよい。情報提供とは、例えば、イベントに関連し、かつユーザが関心を持つと思われる情報の提供である。情報交換とは、例えば、イベントに参加している他の観客との会話などである。情報処理部１５の機能は、例えば図１の配信サーバ９に内蔵することができる。配信サーバ９は、処理サーバ６からの指示に基づいて、タグ情報に関連した種々の情報を、タグ付けされた観客の携帯端末８等に送信する。一例としては、初心者にタグ付けされた観客に、試合のルールに関する情報を提供したり、得点を上げたチームを応援している観客に、得点を上げた選手のスタッツ情報を提供してもよい。
【0053】
図３に示すように、情報処理装置１は、状況画像生成部１８を備えていてもよい。状況画像生成部１８は、イベントの会場を撮影した映像データ中のユーザの画像に、ユーザの内的状態を示す識別子を付加した状況画像を生成する。イベントにおいては、状況画像は、運営者がイベント状況を確認するための運営者用画像として使用される。より詳細には、状況画像生成部１８は、イベントの進行情報と、ユーザの盛り上がり度合い及び集中度の少なくとも一方に関する情報とを含む状況画像（運営者用画像）を生成してもよい。状況画像（運営者用画像）の具体例については後述する。イベントの演出を行う運営者は、状況画像（運営者用画像）により、演出が意図された通りの効果を生じさせたか否かを確認することができる。ユーザの内的状態とは、例えば、ユーザの盛り上がり度合いや集中度などである。内的状態を示す識別子とは、例えば、ユーザの盛り上がり度合いに応じた径サイズの円であり、この円はユーザの顔画像に重畳されてもよい。
【0054】
図３に示すように、情報処理装置１は、第２推定部１９と表示制御部２０を備えていてもよい。第２推定部１９は、センシング情報に基づいて、イベントにリモート環境から参加するユーザの盛り上がり度合い及び集中度の少なくとも一つを含む内的状態を推定する。
【0055】
表示制御部２０は、第２推定部１９で推定された内的状態に基づいて、イベントに関する情報を表示する表示領域のサイズを調整する。また、表示制御部２０は、イベントにリモート環境から参加するユーザが見る表示部に、イベントの実際の会場との類似度を内的状態に応じて調整した映像を表示させてもよい。また、表示制御部２０は、イベントにリモート環境から参加するユーザが所定の条件を満たすときに、ユーザが視認可能な範囲内に、所定の条件に応じた情報提供画像及び視覚効果画像の少なくとも一方を表示させてもよい。視覚効果画像は、イベントの会場に参加しており、内的状態が所定の条件を満たす別のユーザの仮想人物画像を含んでいてもよい。
【0056】
図３に示すように、情報処理装置１は、情報交換部２１を備えていてもよい。情報交換部２１は、イベントにリモート環境から参加するユーザが所定の条件を満たすときに、アバタを介して、アバタに対応する別の人物と情報交換を行う。
【0057】
【0058】
図４に示すように、情報処理装置１のソフトウェア構成は、リアルタイム処理３１と、予測処理３２と、データ配信処理３３とを備えている。リアルタイム処理３１と予測処理３２は主に処理サーバ６とＤＢサーバ７により実行される。データ配信処理３３は主に配信サーバ９により実行される。
【0059】
リアルタイム処理３１は、センシング情報（例えば映像データ）に基づいてリアルタイムに特徴量を抽出する処理を行う。リアルタイム処理３１は、顔認識実行プログラム３１ａと、ボーンデータ抽出プログラム３１ｂと、音響データ抽出プログラム３１ｃと、試合実況データ抽出プログラム３１ｄと、抽出結果格納処理３１ｅとを有する。
【0060】
顔認識実行プログラム３１ａは、映像データに基づいて顔認識処理を行って、各観客の笑顔の度合い、手首の移動量、頭の移動量、目の開き度合い、視線方向などを推測する。ボーンデータ抽出プログラム３１ｂは、映像データに基づいて、各顧客のボーンデータを抽出する。音響データ抽出プログラム３１ｃは、イベント会場の音響データを抽出する。抽出される音響データは、例えば、音の方向と音量に関する情報を含んでいる。試合実況データ抽出プログラム３１ｄは、例えば主催チームのオフィシャルサイトで試合の実況データを配信している場合、この実況データを取得する。
【0061】
抽出結果格納処理３１ｅは、顔認識実行プログラム３１ａの出力データと、ボーンデータ抽出プログラム３１ｂで抽出されたデータと、音響データ抽出プログラム３１ｃで抽出されたデータと、試合実況データ抽出プログラム３１ｄで抽出されたデータとを、特徴量としてＤＢサーバ７に格納する制御を行う。
【0062】
予測処理３２は、各観客にタグ情報を付与する処理と、各観客を複数のクラスタに分類する処理と、各観客の行動判定を行う処理とを行う。より具体的には、予測処理３２は、予測データ作成プログラム３２ａと、ファンタグ付けプログラム３２ｂと、ファンクラスタリングプログラム３２ｃと、ファン行動判定プログラム３２ｄと、予測結果格納処理３２ｅとを有する。
【0063】
予測データ作成プログラム３２ａは、ファンタグ付けプログラム３２ｂ、ファンクラスタリングプログラム３２ｃ、及びファン行動判定プログラム３２ｄを作成するためのプログラムである。
【0064】
ファンタグ付けプログラム３２ｂは、リアルタイム処理３１で得られた特徴量に基づいて、イベントに参加するユーザ（スポーツイベントの場合はファン）にタグ情報を付与する。タグ情報は、上述したように、例えばホームファン、アウェイファン、初心者などである。
【0065】
ファンクラスタリングプログラム３２ｃは、リアルタイム処理３１で得られた特徴量に基づいて、イベントに参加するユーザ（ファンなど）を複数のクラスタに分類する。複数のクラスタは、上述したように、例えば試合の盛り上がり度合いで複数のクラスタに分類してもよいし、試合への集中度で複数のクラスタに分類してもよいし、いくつかの条件を組み合わせて、複数のクラスタに分類してもよい。
【0066】
ファン行動判定プログラム３２ｄは、イベントに参加するユーザ（ファンなど）の行動を判定する。例えば、試合を凝視している熱心なファン、試合を観ずに飲食や会話等をしているファン、スマートフォンばかり見て退屈していそうなファン等を判定する。
【0067】
予測結果格納処理３２ｅは、ファンタグ付けプログラム３２ｂ、ファンクラスタリングプログラム３２ｃ、及びファン行動判定プログラム３２ｄの実行により得られた予測結果を、所定のデータベースに格納する処理を行う。
【0068】
データ配信処理３３は、配信サーバ９と運営者サーバ（ツール選択用サーバ）３０に対して、予測処理３２により得られた予測結果のデータに基づいて、観客と運営者への配信用の情報を生成する。観客向けの配信用の情報は、配信サーバ９から、対応する観客の携帯端末８に送信される。運営者向けの配信用の情報は、運営者サーバ３０から、運営者のＰＣ等に送信される。運営者サーバ３０には、クラウドストレージ２２に格納された観客席の映像データと試合の映像データが入力される。
【0069】
図５は本実施形態による情報処理装置１の処理動作を示すフローチャートである。このフローチャートは、イベントの開催期間中に、定期的、不定期的、又は継続的に実施される。まず、イベントに参加するユーザの氏名等のユーザ情報を取得する（ステップＳ１）。イベントに参加するユーザがイベントへの参加を申し込むにあたって、氏名や連絡先などのユーザ情報を登録している場合には、この登録情報を取得してもよい。例えば、イベントの観客席が予め指定されている場合、観客席の座席情報を含めてユーザ情報を取得してもよい。ユーザの座席情報を取得できれば、どの席に誰が座っているかを把握でき、情報配信の信頼性を向上できる。
【0070】
次に、センシング情報を取得して、センシング情報に基づいてユーザの特徴量を抽出する（ステップＳ２）。センシング情報に観客席の映像データが含まれている場合、上述した顔認識実行プログラム３１ａとボーンデータ抽出プログラム３１ｂを実行して、ユーザの顔の表情、姿勢、体の動き、骨格情報などを含む特徴量を抽出できる。また、映像データに基づいて、オプティカルフローによりユーザの動き量を含む特徴量を抽出できる。さらに、センシング情報に音響データが含まれている場合、ユーザの音声を含む特徴量を抽出できる。
【0071】
次に、イベントの環境情報及びコンテンツ情報を取得する（ステップＳ３）。例えば、スポーツイベントの場合、図４に示した試合実況データ抽出プログラム３１ｄにて、試合の経過情報を取得してもよい。あるいは、試合の出場選手や所属チームの選手のスタッツ情報をＤＢサーバ７等から取得してもよい。あるいは、イベントの参加人数や、開催場所、天気、温度、季節、開催時刻等の環境情報を取得してもよい。
【0072】
次に、イベントに参加するユーザ又はグループ単位での属性判定と行動判定を行い、その判定結果に基づいてクラスタリング処理を正常に行えたか否かを判断する（ステップＳ４）。ここでは、例えば、映像データに基づいて抽出された特徴量に対して、既存のデータベースを用いて教師有りの学習を行った結果を利用して、各ユーザの属性判定と行動判定を行う。また、属性が似ている複数の参加人をグループ化して、複数のクラスタに分類するクラスタリング処理を行う。
【0073】
学習が正しく行われていない場合など、クラスタリング処理を正常に行えない場合、あるいは行えても信頼性が低い場合は、複数のクラスタへの分類を行わずに、解析結果をデータ保持ＤＢに登録する（ステップＳ５）。
【0074】
ステップＳ４で、属性判定と行動判定を行って、クラスタリング処理を正常に行えた場合は、複数のクラスタへの分類結果を結果ＤＢに登録する（ステップＳ６）。
【0075】
次に、ステップＳ５とＳ６の処理結果に基づいて、出力処理を行う（ステップＳ７）。クラスタリング処理を正常に行えた場合は、各クラスタに分類されたユーザに対して、各クラスタに対応する情報提供を行ったり、運営者に対して複数のクラスタの分類結果を提供したりする。あるいは、イベントの会場全体または一部に、イベントを盛り上げるための演出等を行ってもよい。このように、出力処理の具体的な内容は任意である。
【0076】
図６Ａはボーンデータ抽出プログラム３１ｂにて抽出されたボーンデータ３４の一例を示す図である。図６Ａはスタジアム３の観客席を撮影した映像データにボーンデータ３４を重畳したものである。ボーンデータ３４は、図示のように、円と折れ線で構成されている。円は観客の顔の位置を示しており、円に接続された折れ線は体の動きを表している。立ち上がって応援している観客は、折れ線が長くなる。また、拍手をしているかどうかも、ボーンデータ３４で検出できる。例えば、得点を上げたタイミングで折れ線が長くなった観客は、その得点を上げたチームを応援しているファンであると推定できる。
【0077】
図６Ｂは属性判定を行った結果の一例を示す図である。上述したように、得点を上げたときに体の動きが大きかった否かで、ホームファンか、アウェイファンか、初心者かを判別することができる。図６Ｂは、観客席を撮影した映像データを解析することにより、ホームエリア３５ａ内のホームファンが集まっているエリア３５ｂと、アウェイファンが集まっているエリア３５ｃと、初心者が集まっているエリア３５ｄとを自動判別した例を示している。
【0078】
本実施形態による情報処理装置１は、イベントに参加するユーザの内的状態の推定と属性判定を行うために、イベントの状況に合わせて、「意味のある属性」を予め用意している。情報処理装置１は、映像データを解析した結果に基づいて、予め用意した「意味のある属性」のどれかに当てはめる処理を行う。これにより、ユーザの属性判定を簡易に行うことができる。
【0079】
図７Ａ、図７Ｂ及び図７Ｃは、スポーツイベントの観客の内的状態の推定と属性判定を行うための「意味のある属性」の種別の一例を示す図である。図７Ａは試合が行われている最中（ピリオド中とも呼ぶ）の「意味のある属性」の種別を示し、図７Ｂは試合が中断している最中（ピリオド以外とも呼ぶ）の「意味のある属性」の種別を示し、図７Ｃは試合中の全時間帯の「意味のある属性」の種別を示している。
【0080】
図７Ａに示すように、試合の継続中には、試合を盛り上げるための属性として、試合展開への反応と、試合を見ているかどうかがある。試合展開への反応は、笑顔の度合いと、手首の移動量と、目の開き度合いで判断できる。試合を見ているかどうかは、笑顔の度合いと、コート（スタジアム）３を見ているか否かで判断できる。
【0081】
また、試合の継続中には、他の候補の属性として、反応の有無（意図のない反応）と、意図のある反応と、得点前後の反応と、イベント会場全体の音声量と、解説がある。意図のない反応は、コート（スタジアム）３を見ているか否かでプレー中の集中度を判断でき、コートを見ているかと目の開き度合いで、コートを凝視しているかを判断できる。意図のある反応は、手首の移動量により意図して手首を動かしていることを判断でき、また、顔の下の領域のオプティカルフローの移動量により、拍手していると判断できる。また、笑顔の度合いで、得点を上げて喜んだか、悲しんだかを判断できる。音響データの大きさにより、会場全体の音声量を判断できる。また、口の開き方により、試合の解説をしているのか、解説を聞いているかを判断できる。
【0082】
図７Ｂに示すように、試合の中断中には、パフォーマンスへの反応度のための属性として、観客巻き込み型のパフォーマンスへの参加度と、非観客巻き込み型のパフォーマンスへの関心度がある。観客巻き込み型のパフォーマンスへの参加度は、パフォーマンスが行われているコート（スタジアム）３を見ているかでギブアウェイ参加度を判断でき、オプティカルフローにて観客巻き込み型チアダンス参加度を判断できる。非観客巻き込み型パフォーマンス参加度は、コート（スタジアム）３を見ていることと目の開き度合いの平均により、チアダンス関心度、スタッフダンス関心度、フリースロー関心度、記念撮影関心度、コント関心度を判断できる。また、顔の移動量、骨格の移動量、及びオプティカルフローの移動量により、ＤＪの関心度を判断できる。
【0083】
図７Ｃに示すように、試合の全時間帯において、他の人とのシンクロ率に関する属性と、試合に直接関係しない行動に関する属性とがある。他の人とのシンクロ率については、ボーンデータ、目の開き度合い、笑顔の度合い、顔の移動量に基づいて教師有り学習を行うことで、ファン属性（ホームファン、アウェイファン、初心者）と応援スタイル属性（じっと観戦する、声を上げて応援する、身振り手振りで応援する、撮影重視）を判断できる。また、顔の周りの色を検出することで、チームのグッズの属性と、チームカラーの服の属性を判断できる。その他、他の人とのシンクロ率については、私服か否かの属性と、年代の属性と、グループで応援に来たか否かの属性と、小さい子供と一緒に来たか否かの属性とがある。
【0084】
また、試合に直接関係しない行動については、バスケットボールに無関係な属性として、飲んでいるか否かの属性と、食べているか否かの属性とがある。また、観客席にいるか否かに関して、データの有無により離席しているか否かの属性を判断できる。また、手首の位置が顔より上か否かで、両手を上げているか否かの属性を判断でき、手首のＸ方向がクロスしているか否かで、腕を組んでいるか否かの属性を判断でき、顔と手首の距離により顔に手を付けているか否かの属性を判断できる。
【0085】
また、試合に直接関係しない行動については、バスケットボールに関係するかもしれない行動の属性として、スマートフォンを見ているか否かの属性がある。また、試合展開に関係なく体が動いているか否かで、落ち着いているか否の属性を判断できる。また、笑顔の度合いで、表情（心配、変化頻度）の属性を判断できる。この他、パンフレットを見ているか否かの属性と、会話が多いか少ないかの属性と、写真撮影（試合撮影、自撮り、演出撮影）をしているか否かの属性と、コート（スタジアム）３のスクリーンを見ているか否かの属性がある。
【0086】
スポーツイベントを含めて種々のイベントでは、参加するユーザの盛り上がり度合いや集中度をより高めるために、イベントの運営者が種々の演出を行うことが多い。本実施形態では、運営者が行った演出の効果を運営者自身で客観的に検証するための運営者用ツール画面を用意している。この運営者用ツール画面には、上述した状況画像（運営者用画像）が表示される。
【0087】
図８は運営者用ツール画面４０の一例を示す図である。図８の運営者用ツール画面４０は、運営者が所持するＰＣ等に表示させることができる。運営者は、運営者用ツール画面４０に表示された状況画像（運営者用画像）により、イベント中に行った演出に対するイベント参加者の反応等を詳細に検証できる。
【0088】
図８の運営者用ツール画面４０は、バスケットボールの試合中にパフォーマンス等の演出を行った例を示している。図８の運営者用ツール画面４０は、試合の映像データを表示する第１エリア４０ａと、観客の反応を表示する第２エリア４０ｂと、試合の得点変化と観客の盛り上がり度合い、集中度を表示する第３エリア４０ｃとを有する。本明細書では、第２エリア４０ｂと第３エリア４０ｃに表示される画像を総称して、状況画像（運営者用画像）と呼ぶ。
【0089】
図９Ａは図８の第２エリア４０ｂに表示される画像を拡大した図である。第２エリア４０ｂの画像には、観客の顔に、盛り上がり度合いを示す円（識別子）４１が重畳されている。盛り上がり度合いが大きいほど、円４１の半径を大きくしている。第２エリア４０ｂの上側には、第２エリア４０ｂに表示する観客席の範囲を選択する複数のボタン４２が並んでいる。図９Ａの例では、Tokyo benchの範囲が選択されている。運営者は、ボタンを任意に選択することで、スタジアム３全体の観客席中の任意の場所を表示させて、その場所での観客の盛り上がり度合いを視覚的に把握することができる。
【0090】
図９Ｂは図８の第３エリア４０ｃに表示される画像の一部を拡大した図である。図９Ｂのグレイの範囲４３は試合継続期間であり、グレイの間の黒の範囲４４は試合中断期間である。横軸は時間であり、縦実線は対戦チーム同士の得点を表している。図９Ｂには、２本の折れ線が図示されているが、そのうちの一方は観客の盛り上がり度合いを示し、他方は観客の集中度を示している。また、矩形枠４５内の数字は、その時点での各チームの得点と得点差を示している。
【0091】
運営者用ツール画面４０内の第２エリア４０ｂと第３エリア４０ｃの画像により、運営者は、試合の経過とともに、観客の盛り上がり度合いと集中度がどのように変化したかを詳細に検証することができる。スポーツイベントでは、ホームファンとアウェイファンでは、得点状況により異なった反応を示すが、図８の運営者用ツール画面４０では、ホームファンとアウェイファンが座っている範囲を別々に詳細に検証できる。
【0092】
図１０は運営者用ツール画面４０を生成する処理動作の一例を示す図である。図１０の処理動作は、処理サーバ６が行ってもよいし、運営者サーバ３０が行ってもよい。本明細書では、運営者用ツール画面４０を生成する処理を盛り上がり可視化ツールと呼ぶ。
【0093】
盛り上がり可視化ツールは、試合解析処理４６ａと、盛り上がりの円描画プログラム４６ｂと、解析データ処理プログラム４６ｃと、ウェブ表示プログラム４６ｄと、ＣＳＳ（Cascading Style Sheets）４６ｅとを有する。
【0094】
試合解析処理４６ａは、後述するように、映像データを解析した結果に基づいて、各観客の分析項目として、各観客の集中度、盛り上がり度合い、ファン属性の情報を出力する。また、試合解析処理４６ａは、試合の分析項目として、得点、選手交代、試合停止期間、試合中断中に行われるパフォーマンス内容、パフォーマンス時間の情報を出力する。また、試合解析処理４６ａは、映像データのフレームごと、及びファンごとの集中度と盛り上がり度合いの情報を出力する。
【0095】
盛り上がりの円描画プログラム４６ｂは、観客席の映像データと試合解析処理４６ａの出力データとに基づいて、個々の観客の盛り上がり度合いに比例した円を観客の顔画像に重畳させる。
【0096】
解析データ処理プログラム４６ｃは、解析後のＣＳＶデータから、ツールで必要な情報のみを抽出する。解析後にpickleデータをjson形式に変換する。
【0097】
ウェブ表示プログラム４６ｄは、試合のビデオ映像と、円描画プログラム４６ｂで生成された画像と、ツールのレイアウト定義を記述したＣＳＳ４６ｅとに基づいて、運営者用ツール画面４０の第１エリア４０ａに試合のビデオ映像を再生する処理を行うとともに、第２エリア４０ｂ及び第３エリア４０ｃの画像を生成する。ウェブ表示プログラム４６ｄとＣＳＳ４６ｅの処理は、ＷｅｂＡＰサーバ４７が行ってもよい。
【0098】
図１１は図１０の試合解析処理４６ａの詳細を示す図である。試合解析処理４６ａは、観客映像データ処理プログラム４８ａと、試合データ処理プログラム４８ｂと、グラフ表示プログラム４８ｃと、指標評価プログラム４８ｄと、デザイナ用簡易ＣＳＶ作成プログラム４８ｅと、設定変更プログラム４８ｆとを有する。
【0099】
観客映像データ処理プログラム４８ａには、特徴量化処理４８ｇで生成された特徴量に関するデータが入力される。特徴量化処理４８ｇでは、観客席の映像と試合の映像に対して顔認識実行プログラム３１ａ、ボーンデータ抽出プログラム３１ｂ、オプティカルフロー処理等を実行することにより、特徴量を抽出する。特徴量化処理４８ｇにより、特徴量を表す検出データとファン属性情報とが出力される。特徴量化処理４８ｇでは、観客の振るまいと試合展開からファンの属性を決定する。
【0100】
観客映像データ処理プログラム４８ａは、観客席の映像データに基づいて、個人識別、分析項目の追加、複数カメラ４の映像データ統合、カメラ４間の補正等を行い、各観客の集中度、盛り上がり度合い、及びファン属性などを出力する。
【0101】
試合データ処理プログラム４８ｂには、試合経過データが例えばインターネットを介して入力される。試合経過データは、試合経過情報の他、試合中に行われるパフォーマンス情報や試合の映像時間などの情報を含んでいる。試合データ処理プログラム４８ｂは、観客映像データ処理プログラム４８ａの出力データと試合経過データとに基づいて、試合データ処理、個人項目統合、パフォーマンス情報処理、手入力数値の矛盾検出等を行って、各観客の集中度、盛り上がり度合い及びファン属性を出力するとともに、試合についての分析項目として、得点、選手交代、試合停止期間、パフォーマンス内容と期間の情報を出力する。
【0102】
グラフ表示プログラム４８ｃは、試合データ処理プログラム４８ｂの実行で得られたデータに基づいて、集中度と盛り上がり度の時間変化を示すグラフ４９を生成する。
【0103】
図１２はグラフ表示プログラム４８ｃが生成するグラフ４９の一例を示す図であり、図１１に図示されたものを拡大した図である。横軸は試合の経過時間、縦軸は観客の盛り上がり度合いと集中度を示している。図１２には、観客の盛り上がり度合いのグラフと集中度のグラフが図示されている。図１２のグレーの期間４９ａは試合継続期間であり、濃いグレーの期間４９ｂは、何らかの演出が行われた期間を示している。このグラフを運営者に提示することで、演出により観客が盛り上がったか否かを一目で把握できる。
【0104】
図１１の指標評価プログラム４８ｄは、集中度と盛り上がり度合いの評価のための指標を生成する。図１３は指標評価プログラム４８ｄで生成された指標５０の一例を示す図であり、図１１に図示されたものを拡大した図である。図１３の指標５０の例では、ホームチームが１～３ポイントの得点を上げた場合と、ホームチームの得点との相関と、アウェイチームが１～３ポイントの得点を上げた場合と、アウェイチームの得点との相関とのそれぞれについて、盛り上がり度合いが増加した観客の総数についての指標と、盛り上がり度合いが減少した観客の総数についての指標と、増加率についての指標と、所定期間内の盛り上がり度合いの平均値についての指標とが図示されている。
【0105】
図１１のデザイナ用簡易ＣＳＶ作成プログラム４８ｅは、試合データ処理プログラム４８ｂの実行結果に基づいて、映像のフレームごと、及びファンごとの集中度と盛り上がり度合いの情報を含むＣＳＶファイルを作成する。
【0106】
図１１の設定変更プログラム４８ｆは、試合データ処理プログラム４８ｂ、グラフ表示プログラム４８ｃ、指標評価プログラム４８ｄ、及びデザイナ用簡易ＣＳＶ作成プログラム４８ｅの実行により得られたファイルを格納する入出力フォルダを切り替える。また、設定変更プログラム４８ｆは、グラフ表示プログラム４８ｃが生成するグラフの色や表示位置の変更などを行う。また、設定変更プログラム４８ｆは、指標評価プログラム４８ｄが生成する指標を計算するための映像フレームを切り替える。
【0107】
図１４は図４のファンタグ付けプログラム３２ｂの実行により生成された各観客のタグ情報を自動検証する処理動作を示す図である。本明細書では、タグ情報を自動検証する処理をタグ情報自動検証ツールと呼ぶ。タグ情報自動検証ツールの処理は、図１の処理サーバ６が行ってもよいし、運営者サーバ３０等が行ってもよい。
【0108】
タグ情報自動検証ツールは、得点情報ファイル生成プログラム５１ａと、ボーンデータクリーニングプログラム５１ｂと、ファンタグ付け／評価プログラム５１ｃとを有する。
【0109】
得点情報ファイル生成プログラム５１ａは、特徴量化処理４８ｇで得られた特徴量に関するデータに基づいて、試合映像と観客映像の時間のずれ補正と、得点チームと観客映像中の時間ファイル（以下、得点情報ファイル）を生成する。
【0110】
ボーンデータクリーニングプログラム５１ｂは、得点情報ファイルに基づいて、ホームチームとアウェイチームが得点を上げたときに観客のボーン座標を抽出し、ボーン座標に基づいて得点時の観客の移動量を出力する。
【0111】
ファンタグ付け／評価プログラム５１ｃは、ホームチームが得点を上げたときとアウェイチームが得点を上げたときで、ボーンデータの変化と得点時のボーンデータの平均値とを比較して、観客のタグ付けの判定を行う。判定は、例えばルールベース又は深層学習（ＤＮＮ：Deep Neural Network）により行う。
【0112】
図１５Ａはファンタグ付け／評価プログラム５１ｃで生成されたタグ情報（推定タグとも呼ぶ）を含む映像データ５２ａを示し、図１５Ｂは正しいタグ情報（正解タグとも呼ぶ）を含む映像データ５２ｂを示している。図１５Ａ及び図１５Ｂは、図１４に図示された画像を拡大したものである。図１５Ａ及び図１５Ｂでは、異なるタグ情報５２ａ～５２ｃをそれぞれ異なる色で表示している。
【0113】
ファンタグ付け／評価プログラム５１ｃでは、正解タグと推定タグを比較した結果を、図１４に示したような表形式で提示するとともに、タグ情報の正解率を数値で提示する。
【0114】
本実施形態による情報処理装置１は、種々の目的に使用可能である。図１６は本実施形態による情報処理装置１の主要な応用例を例示した図である。なお、本実施形態による情報処理装置１は、図１６に示した応用例以外にも適用可能である。
【0115】
図１６に示すように、本実施形態による情報処理装置１は、イベントが盛り上がるタイミングをアーカイブ自動撮影する機能を有していてもよい。これにより、イベントが盛り上がるタイミングの映像を容易に取得できる。
【0116】
また、本実施形態による情報処理装置１は、コート（スタジアム）３上の注目されていないエリアで演出を行ったり、清掃作業を行う機能を備えていてもよい。注目されていないエリアで演出を行うことで、注目されていないエリアに観客の視線を向けることができる。また、注目されていないエリアで清掃作業を行うことで、観客の目を煩わすことなく、コートを清掃することができる。
【0117】
また、本実施形態による情報処理装置１は、観客の応援スタイルに応じて演出を変えてもよい。本実施形態によれば、観客の応援スタイルを自動抽出できるため、観客の盛り上がり度合いや集中度に応じて、演出の種類を切り替えることができる。例えば、声を出している観客には、観客席を振動させるなどして、盛り上がり度合いをより高めてもよい。
【0118】
また、本実施形態による情報処理装置１は、観客の試合への集中度が低下したときに、広告情報を提供したり、飲食の情報を提供してもよい。例えば、試合が一時的に中断した期間を見計らって、広告情報や飲食の情報を提供することで、広告効果を高めたり、スタジアム３内のレストラン等の売上を向上できる。
【0119】
また、本実施形態による情報処理装置１は、注目選手のグッズに関する情報を観客のスマートフォン等に配信する機能を備えていてもよい。
【0120】
また、本実施形態による情報処理装置１は、観客の応援スタイルに応じて、仮想通貨やポイント等の特典を観客に付与する機能を備えていてもよい。また、イベントの参加回数の情報を観客ごとに取得して、参加回数の多い観客に対して、ポイント等の特典を付与してもよい。
【0121】
また、本実施形態による情報処理装置１は、イベント会場全体やチーム間の盛り上がりを可視化して、主催者チームにフィードバックする機能を備えていてもよい。これにより、主催者チーム内の各選手の気迫を高めることができる。
【0122】
また、本実施形態による情報処理装置１は、盛り上がったタイミングでの観客自身と友人が写った撮影画像を、対応する観客のスマートフォンに配信する機能を備えていてもよい。
【0123】
また、本実施形態による情報処理装置１は、盛り上がりの少ない属性やエリア内の観客だけに所定の音源を届ける機能を備えていてもよい。
【0124】
また、本実施形態による情報処理装置１は、属性ごとの特徴を捉えたフェイククラウドによる仮想スタジアム３の映像を作成する機能を備えていてもよい。例えば、観客の盛り上がり度合いが高まったときに、仮想人物（アバタ）を表示させて、観客がアバタと一緒に応援することができるようにしたり、観客の盛り上がり度合いがさらに高まると、アバタと会話ができるようにしたり、ハイタッチができるようにするなどの機能を備えてもよい。この機能の具体例は、後述する図１７Ｄや図１７Ｅ等で説明する。
【0125】
また、本実施形態による情報処理装置１は、オンライン観戦（リモート環境での観戦）をしている観客の盛り上がり度合いをイベントの開催場所に伝送するとともに、イベントの開催場所での盛り上がり度合いをオンライン観戦場所に伝送する機能を備えていてもよい。例えば、オンライン観戦場所での盛り上がり総量が基準量に達した場合に、基準量に達した旨の情報をネットワーク経由でイベントの開催場所に伝送し、イベントの開催場所で、エフェクトサウンドや視覚効果画像等による演出を行ってもよい。また、逆に、イベントの開催場所での音声量等が基準量に達した場合には、オンライン観戦場所で何らかの視覚効果の演出等を行ってもよい。
【0126】
また、本実施形態による情報処理装置１は、シンクロ率の高い、同じタイミングで反応している観客同士のマッチングを行う機能を備えていてもよい。観客同士は、互いに離れた場所にいることを想定しており、例えばイベントの開催場所にいる観客と、オンライン観戦をしている観客とのマッチングである。例えば、オンライン観戦している観客の応援スタイルに合致する、他の場所で応援しているアバタを表示させて、会話やハイタッチなどができるようにしてもよい。この機能の具体例も後述する図１７Ｄや図１７Ｅ等で説明する。
【0127】
図１７Ａ～図１７Ｈはリモート環境でのイベント参加、すなわちオンライン観戦の一例を示す図である。図１７Ａ～図１７Ｈでは、オンライン観戦を行う場所に観客を案内して、観戦の仕方を説明した後に、実際に観戦を行う様子を示している。この場所は、観客の自宅ではなく、壁面に試合の映像を表示できる機能と、ＡＲ（Augmented Reality）技術を利用したアバタ等の３Ｄ映像を表示できる機能とを備えていることを想定している。なお、ＡＲを利用した３Ｄ映像の代わりに、壁面に表示される映像中の一部に、イベントの開催場所等の他の場所で応援している観客や、仮想的な人物等を表示させる機能を備えていてもよい。図１７Ａ～図１７Ｆは、サッカーの試合をオンライン観戦する例を示しているが、オンライン観戦するスポーツイベントの種類は問わない。
【0128】
まず、図１７Ａは、案内者が観客を観戦場所に案内する様子を示している。観客は、多面プロジェクタシステムを備えた空間（以下、ワープスクエアと呼ぶ）と呼ばれる観戦場所に案内される。ワープスクエアには、ソファがあり、ソファの前方の壁面にスタジアム３の映像が表示されるようになっている。壁面への表示は、例えばプロジェクタにて行う。また、ソファに座った観客の画像を撮影する不図示のカメラ４が設けられており、このカメラ４で撮影された映像データに基づいて、観客の盛り上がり度合いと集中度などが解析される。案内者は、観客に対してメガホンを渡して、メガホンを使って大声で応援できることを説明する。これにより、ワープスクエア内の観客は、スタジアム３の観客と同じ応援スタイルで応援することができる。
【0129】
次に、図１７Ｂに示すように、観客はワープスクエア内のソファに座って、リモートコントローラの実行ボタンを押すか、あるいはユーザの動作（例えば、ソファに座るとか、壁面に視線を向けるなど）を自動認識する行動センシングにより、前方の壁面にスタジアム３の映像が映し出される。
【0130】
次に、図１７Ｃに示すように、試合が始まって観客が応援すると、観客の盛り上がり度合いと集中度が高くなるほど、又は／及び、イベントで提供されるコンテンツの盛り上がりが観客の行動から推定される場合、壁面に表示される映像のサイズが大きくなる。観客は、声を上げて応援をするだけでなく、メガホンを大きく振り回して応援するほど、映像のサイズが大きくなる。図１７Ｃの右側の図に示すように、盛り上がり度合いが最高潮に達すると、ソファーの前方の壁面全体にスタジアム３の試合の映像が映し出される。このように、観客の盛り上がり度合いや集中度で映像サイズを可変させることで、より大きな映像サイズでの観戦を楽しみたい観客の盛り上がり度合いをより高めることができる。
【0131】
次に、図１７Ｄの左側の図に示すように、贔屓のチームが得点を上げた場合には、ＡＲ技術を利用して、仮想人物（アバタ）を３Ｄ画像で表示させて、アバタとの間で会話ができるようにしてもよい。また、図１７Ｄの右側の図に示すように、贔屓のチームが得点を上げた場合には、メガホンを激しく振ることで、紙吹雪の画像を表示させるとともに、「ゴーーーーーール」の音声を流すような機能を設けてもよい。アバタは、スタジアム３で同じような応援スタイルをしている観客の姿を反映させた仮想人物でもよい。これにより、スタジアム３にいる観客との一体感や連帯感を高めることができる。
【0132】
贔屓チームの選手が得点を上げた場合には、図１７Ｅに示すように、アバタも大喜びするような３Ｄ画像を表示させてもよい。図１７Ｅの右側の図に示すように、アバタがメガホンを介してのハイタッチを求める仕草をする例を示している。アバタの動作に従ってメガホンを介してのハイタッチをすると、図１７Ｆの左側の図に示すように、ハイタッチをした場所でエフェクトサウンドが響くような演出や、視覚効果画像の表示を行ってもよい。
【0133】
その後、試合の中断期間になると、観客はソファに座って応援を止めるため、それに応じて、壁面に表示される映像のサイズも、図１７Ｆの右側の図のように小さくなる。
【0134】
その後、試合が再開されると、上述した図１７Ｃ～図１７Ｆと同様の映像を表示させる。映像の表示のさせ方は、図１７Ｃ～図１７Ｆに図示したものに限定されない。例えば、図１７Ｇの左側の図のように、試合が盛り上がったときに、画面を縦方向に二分割して、上側には試合の映像を表示し、下側にはスタジアム３の観客席で応援しているかのようなパノラマ映像を表示してもよい。この状態でメガホンを振って応援すると、図１７Ｇの右側の図のように、スタジアム３の観客のアバタのシルエットが表示されて、アバタの応援の音声が聞こえるようにしてもよい。
【0135】
ゴール直前の盛り上がり度合いが高まった状態では、図１７Ｈの左側の図のように、隣のアバタから話しかけられて、それに対して音声で答えると、「いいね」のアイコンを表示させてもよい。ゴールすると、図１７Ｈの右側の図に示すように、「ゴーーーーーール」の音声が聞こえ、メガホンの動きに同期して、紙吹雪の映像が表示されてもよい。
【0136】
上述した実施形態では、主にバスケットボールのスポーツイベントを観戦する例を主に説明したが、バスケットボールとは映像データの撮影条件が異なっていたり、観客の行動が異なるスポーツがある。この場合、図５、図１０、図１１及び図１４等に示した処理を必要に応じて変更する必要がある。
【0137】
図１８は種々のスポーツとバスケットボールとの類似性を示した図である。図１８の横軸は、バスケットボールと撮影条件が異なる度合いを示しており、右側ほど撮影条件がより異なることを示している。撮影条件とは、屋内／屋外と、暗い／明るい、広い／狭い、人数が多い／少ないなどである。図１８の縦軸は、バスケットボールと観客の行動が異なる度合いを示しており、下側ほど観客の行動がより異なることを示している。
【0138】
図１８からわかるように、撮影条件と観客の行動を総合的に勘案すると、アイスホッケが最もバスケットボールに類似しており、ゴルフが最もバスケットボールと相違している。よって、ゴルフについては、上述した図５、図１０、図１１及び図１４等に示した処理を大幅に変更する必要がありうる。また、ゴルフ以外のスポーツについても、図５、図１０、図１１及び図１４等の処理を必要に応じて変更する必要性が生じうる。
【0139】
本実施形態による情報処理装置１及び情報処理システム２は、スポーツイベント以外の種々のイベントにも適用可能である。図１９はスポーツ以外の種々のイベントとバスケットボールとの類似性を示した図である。図１８と同様に、図１９の横軸はバスケットボールと撮影条件が異なる度合いを示し、縦軸はバスケットボールと観客の行動が異なる度合いを示している。
【0140】
図１９からわかるように、撮影条件と観客の行動を総合的に勘案すると、音楽（ライブ）イベントが最もバスケットボールに類似しており、映画館での映画鑑賞が最もバスケットボールと相違している。よって、映画館については、上述した図５、図１０、図１１及び図１４等に示した処理を大幅に変更する必要がありうる。また、映画館以外のイベントについても、図５、図１０、図１１及び図１４等の処理を必要に応じて変更する必要性が生じうる。
【0141】
このように、本実施形態では、センシング情報に基づいて、イベントに参加するユーザの内的状態を推測するため、ユーザの属性及び行動の少なくとも一方を推定できるとともに、ユーザを複数のクラスタに分類することができる。また、本実施形態によれば、イベントに参加するユーザの属性や行動の推定結果と複数のクラスタの分類結果に基づいて、ユーザやユーザのグループをタグ付けすることができ、ユーザやユーザのグループに適した情報を提供できる。これにより、例えば、ホームチームのファン、アウェイチームのファン、初心者のそれぞれに見合った情報を提供でき、スポーツ観戦の魅力をより向上できる。
【0142】
さらに、ユーザの盛り上がり度合いと集中度に基づいて、盛り上がり度合いを高めるための演出を行うことができる。また、イベントの経過情報と、ユーザの盛り上がり度合いや集中度の時間変化を示す情報とを表示する運営者用ツール画面４０を設けることで、従来は主観的にしか判断できなかった演出の効果を詳細かつ客観的に分析及び評価することができ、より魅力的な演出の制作に役立てることができる。
【0143】
さらに、本実施形態では、リモート環境でイベントに参加するユーザの内的状態を推測して、イベント会場にいるかのような演出を提供することができる。例えば、リモート環境のユーザの盛り上がり度合いに応じて演出方法を変化させて、盛り上がり度合いをより高めるように仕向けたり、イベント会場にいるかのような演出を行ったり、イベント会場にいるユーザをアバタとして表示させて、アバタとの会話やハイタッチなどができるようにすることで、離れた場所で応援しているファン同士での一体感や連帯感を高めて、イベントへの参加意欲を高めることができる。
【0144】
上述した実施形態で説明した情報処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、情報処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0145】
また、情報処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0146】
なお、本技術は以下のような構成を取ることができる。
（１）ユーザのセンシング情報に基づいて特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定する第１推定部と、
前記第１推定部による推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部と、
前記第１推定部による推定と前記クラスタリング部による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部と、を備える、情報処理装置。
（２）前記センシング情報は、撮像装置の撮像画像を含んでおり、
前記クラスタリング部は、前記撮像画像の解析結果に基づいて前記複数のクラスタに分類する、（１）に記載の情報処理装置。
（３）前記撮像画像は、前記ユーザの画像を含んでおり、
前記特徴量抽出部は、前記ユーザの顔、姿勢、体の動き、及び骨格情報の少なくとも一つを含む前記特徴量を抽出する、（２）に記載の情報処理装置。
（４）前記特徴量抽出部は、音響データ、物体認識、及び周波数解析情報の少なくとも一つに基づいて前記特徴量を抽出する、（１）乃至（３）のいずれか一項に記載の情報処理装置。
（５）前記ユーザが参加するイベントの経過情報を取得するイベント情報取得部をさらに備え、
前記第１推定部は、前記特徴量と前記イベントの経過情報とに基づいて、前記イベントに参加するユーザの属性及び行動の少なくとも一方を推定する、（１）乃至（４）のいずれか一項に記載の情報処理装置。
（６）前記第１推定部による推定に基づいて、前記ユーザ又は前記グループを単位として、タグ情報を付与するタグ付け部を備える、（１）乃至（５）のいずれか一項に記載の情報処理装置。
（７）前記情報処理部は、同一の前記タグ情報が付与された前記ユーザ又は前記グループに対して、前記タグ情報に基づいた情報を提供する、（６）に記載の情報処理装置。
（８）前記情報処理部は、前記ユーザの属性及び行動の少なくとも一方に応じた情報提供及び情報交換の少なくとも一方を行う、（７）に記載の情報処理装置。
（９）前記ユーザを撮影した画像に、前記センシング情報に基づいて決定される前記ユーザの内的状態を示す識別子を付加した状況画像を生成する状況画像生成部を備える、（７）又は（８）に記載の情報処理装置。
（１０）前記状況画像生成部は、前記ユーザが参加するイベントの経過情報と、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方に関する情報とを含む前記状況画像を生成する、（９）に記載の情報処理装置。
（１１）前記第１推定部は、前記センシング情報に基づいて、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方を含む内的状態を推定し、
前記クラスタリング部は、前記特徴量及び前記内的状態に基づいて、前記複数のクラスタに分類する、（１）乃至（１０）のいずれか一項に記載の情報処理装置。
（１２）前記クラスタリング部は、イベントの経過情報に応じた前記内的状態の変化に基づいて、前記複数のクラスタに分類する、（１１）に記載の情報処理装置。
（１３）イベントの会場にいるユーザと、リモート環境から前記イベントに参加するユーザとの少なくとも一方に関する前記センシング情報を取得するセンシング情報取得部をさらに備える、（１）乃至（１２）のいずれか一項に記載の情報処理装置。
（１４）前記クラスタリング部は、前記イベントにリモート環境から参加するユーザ又は複数のユーザからなるグループを単位として、前記複数のクラスタに分類する、
１３）に記載の情報処理装置。
（１５）前記センシング情報に基づいて、前記イベントにリモート環境から参加するユーザの盛り上がり度合い及び集中度の少なくとも一つを含む内的状態を推定する第２推定部と、
前記第２推定部で推定された前記内的状態に基づいて、前記イベントに関する情報を表示する表示領域のサイズを調整する表示制御部と、備える、（１３）又は（１４）に記載の情報処理装置。
（１６）前記表示制御部は、前記イベントにリモート環境から参加するユーザが見る表示部に、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方が高まることに応じて、前記イベントの開催場所の観客席との一体感を高める映像を表示させる、（１５）に記載の情報処理装置。
（１７）前記表示制御部は、前記イベントにリモート環境から参加するユーザの内的状態が所定の条件を満たすときに、前記ユーザが視認可能な範囲内に、前記所定の条件に応じた情報提供画像及び視覚効果画像の少なくとも一方を表示させる、（１５）乃至（１６）のいずれか一項に記載の情報処理装置。
（１８）前記視覚効果画像は、前記イベントの会場に参加しており、内的状態が前記所定の条件を満たす別のユーザの仮想人物画像である、（１７）に記載の情報処理装置。
（１９）前記イベントにリモート環境から参加するユーザは、前記所定の条件を満たすときに、前記仮想人物画像を介して、前記仮想人物画像に対応する前記別の人物と情報交換を行う情報交換部を備える、（１８）に記載の情報処理装置。
（２０）ユーザのセンシング情報に基づいて特徴量を抽出するステップと、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定するステップと、
前記推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するステップと、
前記推定と前記複数のクラスタとの少なくとも一方に基づいて、所定の情報処理を行うステップと、を備える、情報処理方法。
（１）ユーザのセンシング情報に基づいて特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定する第１推定部と、
前記第１推定部による推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するクラスタリング部と、
前記第１推定部による推定と前記クラスタリング部による分類との少なくとも一方に基づいて、所定の情報処理を行う情報処理部と、を備える、情報処理装置。
（２）前記センシング情報は、撮像装置の撮像画像を含んでおり、
前記クラスタリング部は、前記撮像画像の解析結果に基づいて前記複数のクラスタに分類する、（１）に記載の情報処理装置。
（３）前記撮像画像は、前記ユーザの画像を含んでおり、
前記特徴量抽出部は、前記ユーザの顔、姿勢、体の動き、及び骨格情報の少なくとも一つを含む前記特徴量を抽出する、（２）に記載の情報処理装置。
（４）前記特徴量抽出部は、音響データ、物体認識、及び周波数解析情報の少なくとも一つに基づいて前記特徴量を抽出する、（１）乃至（３）のいずれか一項に記載の情報処理装置。
（５）前記ユーザが参加するイベントの経過情報を取得するイベント情報取得部をさらに備え、
前記第１推定部は、前記特徴量と前記イベントの経過情報とに基づいて、前記イベントに参加するユーザの属性及び行動の少なくとも一方を推定する、（１）乃至（４）のいずれか一項に記載の情報処理装置。
（６）前記第１推定部による推定に基づいて、前記ユーザ又は前記グループを単位として、タグ情報を付与するタグ付け部を備える、（１）乃至（５）のいずれか一項に記載の情報処理装置。
（７）前記情報処理部は、同一の前記タグ情報が付与された前記ユーザ又は前記グループに対して、前記タグ情報に基づいた情報を提供する、（６）に記載の情報処理装置。
（８）前記情報処理部は、前記ユーザの属性及び行動の少なくとも一方に応じた情報提供及び情報交換の少なくとも一方を行う、（７）に記載の情報処理装置。
（９）前記ユーザを撮影した画像に、前記センシング情報に基づいて決定される前記ユーザの内的状態を示す識別子を付加した状況画像を生成する状況画像生成部を備える、（７）又は（８）に記載の情報処理装置。
（１０）前記状況画像生成部は、前記ユーザが参加するイベントの経過情報と、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方に関する情報とを含む前記状況画像を生成する、（９）に記載の情報処理装置。
（１１）前記第１推定部は、前記センシング情報に基づいて、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方を含む内的状態を推定し、
前記クラスタリング部は、前記特徴量及び前記内的状態に基づいて、前記複数のクラスタに分類する、（１）乃至（１０）のいずれか一項に記載の情報処理装置。
（１２）前記クラスタリング部は、イベントの経過情報に応じた前記内的状態の変化に基づいて、前記複数のクラスタに分類する、（１１）に記載の情報処理装置。
（１３）イベントの会場にいるユーザと、リモート環境から前記イベントに参加するユーザとの少なくとも一方に関する前記センシング情報を取得するセンシング情報取得部をさらに備える、（１）乃至（１２）のいずれか一項に記載の情報処理装置。
（１４）前記クラスタリング部は、前記イベントにリモート環境から参加するユーザ又は複数のユーザからなるグループを単位として、前記複数のクラスタに分類する、
１３）に記載の情報処理装置。
（１５）前記センシング情報に基づいて、前記イベントにリモート環境から参加するユーザの盛り上がり度合い及び集中度の少なくとも一つを含む内的状態を推定する第２推定部と、
前記第２推定部で推定された前記内的状態に基づいて、前記イベントに関する情報を表示する表示領域のサイズを調整する表示制御部と、備える、（１３）又は（１４）に記載の情報処理装置。
（１６）前記表示制御部は、前記イベントにリモート環境から参加するユーザが見る表示部に、前記ユーザの盛り上がり度合い及び集中度の少なくとも一方が高まることに応じて、前記イベントの開催場所の観客席との一体感を高める映像を表示させる、（１５）に記載の情報処理装置。
（１７）前記表示制御部は、前記イベントにリモート環境から参加するユーザの内的状態が所定の条件を満たすときに、前記ユーザが視認可能な範囲内に、前記所定の条件に応じた情報提供画像及び視覚効果画像の少なくとも一方を表示させる、（１５）乃至（１６）のいずれか一項に記載の情報処理装置。
（１８）前記視覚効果画像は、前記イベントの会場に参加しており、内的状態が前記所定の条件を満たす別のユーザの仮想人物画像である、（１７）に記載の情報処理装置。
（１９）前記イベントにリモート環境から参加するユーザは、前記所定の条件を満たすときに、前記仮想人物画像を介して、前記仮想人物画像に対応する前記別の人物と情報交換を行う情報交換部を備える、（１８）に記載の情報処理装置。
（２０）ユーザのセンシング情報に基づいて特徴量を抽出するステップと、
前記特徴量に基づいて、前記ユーザの属性及び行動の少なくとも一方を推定するステップと、
前記推定に基づいて、前記ユーザ又は複数のユーザからなるグループを単位として、複数のクラスタに分類するステップと、
前記推定と前記複数のクラスタとの少なくとも一方に基づいて、所定の情報処理を行うステップと、を備える、情報処理方法。
【0147】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0148】
１ 情報処理装置、２ 情報処理システム、３ コート（スタジアム）、４ カメラ、５ ネットワーク機器、６ 処理サーバ、７ ＤＢサーバ、８ 携帯端末、９ 配信サーバ、１１ センシング情報取得部、１２ 特徴量抽出部、１３ 第１推定部、１４ クラスタリング部、１５ 情報処理部、１６ イベント情報取得部、１７ タグ付け部、１８ 状況画像生成部、１９ 第２推定部、２０ 表示制御部、２１ 情報交換部、２２ クラウドストレージ、３０ 運営者サーバ（ツール選択用サーバ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16】
【図17A】
【図17B】
【図17C】
【図17D】
【図17E】
【図17F】
【図17G】
【図17H】
【図18】
【図19】
