特開 2024-159279 情報提示システム、情報提示方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159279

(43)【公開日】2024-11-08

(54)【発明の名称】情報提示システム、情報提示方法、およびプログラム

(51)【国際特許分類】

   H04N 21/488 20110101AFI20241031BHJP

   H04N 21/442 20110101ALI20241031BHJP

   H04N 21/6377 20110101ALI20241031BHJP

   H04L 67/306 20220101ALI20241031BHJP

   H04L 67/131 20220101ALI20241031BHJP

【ＦＩ】

H04N21/488

H04N21/442

H04N21/6377

H04L67/306

H04L67/131

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023075155

(22)【出願日】2023-04-28

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】望月 理香

(72)【発明者】

【氏名】齋藤 晴美

(72)【発明者】

【氏名】笹川 真奈

(72)【発明者】

【氏名】木村 淳

(72)【発明者】

【氏名】城間 真

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA11

5C164SA51S

5C164TB35P

5C164UB41P

5C164UD11P

5C164YA12

(57)【要約】

【課題】 スポーツ観戦において視聴する誰もがコンテンツを楽しめるようにすること。
【解決手段】 この発明の一態様に係わる情報提示システムは、データベースと、データベースにアクセス可能なサーバとを具備する。データベースは、配信されるスポーツコンテンツのユーザごとに、当該ユーザの特性とスポーツコンテンツに対する知識情報とを対応付けて保持する。サーバは、データ処理部と、解析部とを備える。データ処理部は、スポーツコンテンツに対するユーザの属性を得る。解析部は、属性に基づいてデータベースを参照してユーザに提示すべき知識情報を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

配信されるスポーツコンテンツのユーザごとに、当該ユーザの特性と前記スポーツコンテンツに対する知識情報とを対応付けて保持するデータベースと、
前記データベースにアクセス可能なサーバとを具備し、
前記サーバは、
前記スポーツコンテンツに対する前記ユーザの属性を得るデータ処理部と、
前記属性に基づいて前記データベースを参照して前記ユーザに提示すべき知識情報を生成する解析部とを備える、情報提示システム。

【請求項2】

前記データ処理部は、
前記スポーツコンテンツに対する前記ユーザの視線方向を取得するセンシングデータ処理部と、
前記視線方向から前記スポーツコンテンツに対する前記ユーザの注視領域を特定し、その結果に基づいて前記ユーザの特性を推定するユーザ特性推定部と、
前記推定された特性に基づいて前記データベースを参照して前記知識情報を生成する付与知識決定部とを備える、請求項１に記載の情報提示システム。

【請求項3】

前記サーバは、前記生成された知識情報に対する前記ユーザの反応に応じて前記データベースの内容を更新するフィードバック反映部をさらに備える、請求項１に記載の情報提示システム。

【請求項4】

配信されるスポーツコンテンツのユーザごとに、当該ユーザの特性と前記スポーツコンテンツに対する知識情報とを対応付けて保持するデータベースにアクセス可能なコンピュータが実行する遠隔操作方法であって、
前記スポーツコンテンツに対する前記ユーザの属性を得る過程と、
前記属性に基づいて前記データベースを参照して前記ユーザに提示すべき知識情報を生成する過程とを具備する、情報提示方法。

【請求項5】

配信されるスポーツコンテンツのユーザごとに、当該ユーザの特性と前記スポーツコンテンツに対する知識情報とを対応付けて保持するデータベースにアクセス可能なコンピュータのプロセッサを、
前記スポーツコンテンツに対する前記ユーザの属性を得るデータ処理部と、
前記属性に基づいて前記データベースを参照して前記ユーザに提示すべき知識情報を生成する解析部として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一態様は、スポーツ等の中継映像を効果的に視聴できるようにするための技術に関する。

【背景技術】

【0002】

映像コンテンツ配信事業者は、ユーザ（視聴者）へのサービス向上のための技術開発に余念がない。例えば、スポーツ中継を家族で視聴するといったニーズにおいては、観戦者同士の一体感を高めたり、より盛り上がれるようにするための工夫が求められる。

【0003】

ところで、スポーツに詳しい人とそうでない人が一緒に試合観戦する場合、同じタイミングで熱狂したり、それによって一体感を感じることが難しい。詳しい人は状況を瞬時に理解して盛り上がれるが、詳しくない人はおいてけぼりにされることが多い。そこで、実況内容を音声で観戦シーンに付与することが考えられる。スポーツ中継での字幕生成、音声解説付与に関わる技術（非特許文献１、２を参照）を用いれば、音声や字幕を自動で付与することができる。また、ＶＲ（Virtual Reality）やＸＲで用いられるゴーグルやアイトラッキングデバイスを用いて文字情報を付与することもできる（非特許文献３を参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－３０２９８５号公報

【非特許文献】

【0005】

【非特許文献1】“解説音声の自動生成技術”，[online]，技研だより，NHK放送技術研究所，［令和5年3月6日検索］,インターネット，<URL:https://www.nhk.or.jp/strl/publica/giken_dayori/204/4.html>

【非特許文献2】“生放送番組向けの自動解説音声の挿入タイミング決定法 ～ スポーツ中継における実況音声の発話末予測 ～”,一木ら, 信学技報, vol. 118, no. 270,WIT2018-29, pp. 45-50.

【非特許文献3】“視線追跡データから算出された注目領域に基づく視線移動の少ない字幕配置法の提案と評価”, 赤堀ら, 2015-EC-38, 研究報告エンタテインメントコンピューティング（EC）

【発明の概要】

【発明が解決しようとする課題】

【0006】

既存の技術では、スポーツ観戦における試合の内容や映像から読みとれる事実が文字化されるにとどまる。このためスポーツに詳しくない人にとっては、選手名だけではどんな選手かがわからず、技の名称を聞いてもそのすごさが伝わらない。スポーツに詳しい人と詳しくない人の境界を無くし、どんな人でも楽しめるようにする技術が求められている。

【0007】

この発明は上記事情に着目してなされたもので、スポーツの試合を視聴する誰もがコンテンツを楽しむことを可能にする技術を提供しようとするものである。

【課題を解決するための手段】

【0008】

この発明の一態様に係わる情報提示システムは、データベースと、データベースにアクセス可能なサーバとを具備する。データベースは、配信されるスポーツコンテンツのユーザごとに、当該ユーザの特性とスポーツコンテンツに対する知識情報とを対応付けて保持する。サーバは、データ処理部と、解析部とを備える。データ処理部は、スポーツコンテンツに対するユーザの属性を得る。解析部は、属性に基づいてデータベースを参照してユーザに提示すべき知識情報を生成する。

【発明の効果】

【0009】

この発明の一態様によれば、スポーツの試合を視聴する誰もがコンテンツを楽しむことを可能にする技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る情報提示システムの一例を示す図である。

【図2】図２は、図１に示されるサーバ１００の一例を示す機能ブロック図である。

【図3】図３は、特性－知識データベース１０１に保持されるデータの一例を示す図である。

【図4】図４は、図１に示されるサーバ１００の処理手順の一例を示すフローチャートである。

【図5】図５は、実施形態に係わる情報提示システムにおけるデータの流れを説明するための図である。

【図6】図６は、［変形例１］に係わるデータ処理部１００Ｂ、解析部１００Ａの処理機能を示す機能ブロック図である。

【図7】図７は、［変形例２］に係わるデータ処理部１００Ｂ、解析部１００Ａの処理機能を示す機能ブロック図である。

【図8】図８は、［変形例３］に係わるデータ処理部１００Ｂ、解析部１００Ａの処理機能を示す機能ブロック図である。

【図9】図９は、実施形態に係わるサーバ１００のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照してこの発明に係わる実施形態を説明する。以下では、スポーツ観戦に係わる配信コンテンツ（スポーツコンテンツと称する）を念頭において説明する。
［一実施形態］
図１は、実施形態に係る情報提示システムの一例を示す図である。図１に示されるシステムは、クラウド１に属するサーバ１００、および特性－知識データベース１０１を備える。さらにコンテンツ配信サーバ２００がクラウド１に接続されても良い。

【0012】

サーバ１００は、例えばＴＣＰ／ＩＰネットワークを介して特性－知識データベース１０１にアクセスすることが可能である。特性－知識データベース１０１は、クラウド１経由で配信されるスポーツコンテンツ（以下、コンテンツと略記する）のユーザごとに、当該ユーザの特性とコンテンツに対する知識情報とを対応付けて保持する。

【0013】

ユーザ側デバイスとしてのゴーグル１１、スマートフォン１２、端末装置１３、スマートウォッチ１４、マイク１５、およびカメラ１６が、例えば無線通信リンクを介してクラウド１と相互に通信可能である。これらのデバイスは、コンテンツに対するユーザの反応を表すデータ（フィジカルデータ）を取得する、センシングデバイスである。例えば、ゴーグル１１により、コンテンツに対するユーザの視線データを取得することができる。スマートウォッチ１４は、心拍数などのバイタルデータを取得することができる。また、カメラ１６やマイク１５により、視聴時のリアクションといったセンシングデータを取得することもできる。取得されたセンシングデータはクラウド１を介してサーバ１００に送信される。

【0014】

図２は、図１に示されるサーバ１００の一例を示す機能ブロック図である。サーバ１００は、センシングデータ処理部１０２、解析部１００Ａ、出力処理部１０５、および、フィードバック反映部１０６を備える。

【0015】

センシングデータ処理部１０２は、コンテンツに対するユーザの属性を得る。例えば、注視領域を特定するためのセンシングデータが、センシングデータ処理部１０２に入力される。つまりセンシングデータ処理部１０２は、コンテンツを視聴しているユーザの視線方向をセンシングデータとして取得する。視線方向は、例えばアイトラッキング機能を有するゴーグル１１から直接、視線データとして出力される。あるいは、カメラ１６で取得された画像データを処理してユーザの顔の向きを直接抽出したり、頭部の角度から顔の向きを間接的に抽出することで得ることができる。また、コンテンツ内の対象物にユーザが着目する方向（着目方向）も、センシングデータの一例になりうる。

【0016】

解析部１００Ａは、ユーザの属性に基づいて特性－知識データベース１０１を参照して、ユーザに提示すべき知識情報を生成する。生成された知識情報は、出力処理部１０５から付与知識として出力される。付与知識は、類似特性をもつユーザの集合に向けた付与情報といえる。

【0017】

フィードバック反映部１０６は、出力された付与知識に対するユーザの反応に応じて特性－知識データベース１０１の内容を更新する。
特性－知識データベース１０１の内容を更新することで、出力される付与知識の精度の向上が期待できる。例えば、特性－知識データベース１０１内の各項目（テーブルのカラム）の優先度を値として持たせ、出力提示時のユーザの発話や表情をセンシングしたり、評価ボタンを押下してもらう等の方法で反応の良し悪しを取得し、優先度値を更新する。

【0018】

ところで、解析部１００Ａは、ユーザ特性推定部１０３、および、付与知識決定部１０４を備える。
ユーザ特性推定部１０３は、視線方向からコンテンツに対するユーザの注視領域を特定し、その結果に基づいてユーザの特性を推定する。付与知識決定部１０４は、推定された特性に基づいて特性－知識データベース１０１を参照して、ユーザに提示するのに適した知識を決定し、知識情報を生成する。

【0019】

図３は、特性－知識データベース１０１に保持されるデータの一例を示す図である。特性－知識データベース１０１は、ユーザごとの特性と、その特性を持つユーザに提示するのに適する知識の一覧（テーブル）を蓄積する。ユーザの特性としては、興味、知識量の大小、ユーザが盛り上がるパターンの種別などを挙げることができる。テーブルは、興味の対象が異なるユーザごとに、例えばユーザアンケート等で観戦時にあると嬉しい知識を事前に抽出することで作成可能である。あるいは、解説者や当該競技の有識者から暗黙知等を収集する、などの方法で作成してもよい。

【0020】

図３（ａ）に示されるように、特性－知識データベース１０１は、ユーザの特性を表す［興味］と、興味に対応する［知識］をカラムとするテーブルを保持することができる。例えば、［興味］の対象が［Ａ選手］であるユーザに対しては、［Ａ選手］の［ケガから復帰したばかり。活躍が期待されている］という知識を対応付けることができる。

【0021】

図３（ｂ）に示されるように、特性－知識データベース１０１は、ユーザの特性を表す［知識量］と、知識量に応じた［知識］をカラムとするテーブルを保持することができる。例えば、［知識量］が少ないユーザに対しては、［Ａ選手はケガから復帰したばかりの元エース］という知識を対応付けることができる。

【0022】

図３（ｃ）に示されるように、特性－知識データベース１０１は、ユーザの特性を表す［盛り上がりパターン］と、盛り上がりパターンに対応する［知識］をカラムとするテーブルを保持することができる。例えば、［逆転］で盛り上がるユーザに対しては、［次に打席に入るＢ選手は今シーズン打率が高く期待できる］という知識を対応付けることができる。

【0023】

図４は、図１に示されるサーバ１００の処理手順の一例を示すフローチャートである。ステップＳ１において、サーバ１００は、センシングデータ等からユーザの状態を取得する。例えば、ゴーグル１１のアイトラッキング機能で取得された視線データがサーバ１００に収集される。

【0024】

ステップＳ２において、サーバ１００は、ユーザ特性推定部１０３により、上記取得したデータをもとに各ユーザの特性を推定する。ここでは、例えばユーザの興味や対象コンテンツに対する知識量の大小等の特性が推定される。

【0025】

ステップＳ３において、サーバ１００は、特性－知識データベース１０１を参照し、付与知識決定部１０４において、ユーザの特性に応じて付与すべき知識を決定する。
ステップＳ４において、サーバ１００は、決定された知識に応じた字幕用の文章データ、あるいは音声用の読み上げデータ等の提示内容データを作成する。
ステップＳ５において、サーバ１００は、字幕を画面に重畳する、あるいは音声を映像に付与するなど、知識を付与したコンテンツを生成する。
さらに、ステップＳ６において、サーバ１００は、知識を付与されたコンテンツをユーザに提示する。

【0026】

ところで、コンテンツに知識を付与する実施例としては、例えば以下の＜実施例１＞～＜実施例３＞がある。順を追って説明する。

【0027】

＜実施例１＞
実施例１では、ユーザの視線の先にあるものをユーザの興味の対象として捉え、ユーザの興味にマッチする知識を付与する。例えば、ユーザが或る選手を見ているとき、その選手のバックグラウンド（背景となる生い立ちなど）を選手付近に表示する。または、バスケットボールの試合でドリブルを見ているとき、技術のすごい点をボール付近に表示する。または、シーン全体を見ているとき、試合を俯瞰できるメタ情報（支配率など）を表示する。

【0028】

場面および視線先の暗黙知は、予め収集して特性－知識データベース１０１に保存することができる。例えば、ある程度パターン化した収集プロセスによりリアルタイムでネットワークをクロールし、自動で生成したデータを特性－知識データベース１０１に登録しても良い。

【0029】

図３（ａ）のテーブル内容に則して説明する。実施例１では、ステップＳ１（図４）において取得された視線データがユーザ特性推定部１０３に渡され、ユーザの注視先が推定される。例えば、ユーザの注視先としてＡ選手が推定されたならば、特性－知識データベース１０１を参照して［ケガから復帰したばかり。活躍が期待されている］という知識を付与することが決定される。一方、ユーザの注視先として［ヒールリフト］が推定されたならば、特性－知識データベース１０１を参照して［頭上を跳び越すドリブル。決まるのは珍しい］という知識を付与することが決定される（ステップＳ３）。

【0030】

次に、得られた知識から字幕データが作成され（ステップＳ４）、ユーザの注視先付近に字幕を付与した映像データが作成される（ステップＳ５）。そして、字幕が付与された映像データがディスプレイ等に表示される（ステップＳ６）。

【0031】

＜実施例２＞
実施例２では、字幕を読む速度や注視時間を知識量として捉え、知識量の多さ（少なさ）にマッチする知識を付与する。例えば、ユーザが或る単語をじっと見ているならば、その単語の意味がわからないと見做し、その単語に関連する解説を付与する。または、ユーザが全く見ていない単語を不要とみなし、字幕を消す。ユーザの読み取りスピードが間に合っていない場合には要約を提示する。

【0032】

図３（ｂ）のテーブル内容に則して説明する。実施例２では、ステップＳ１（図４）において取得された視線データがユーザ特性推定部１０３に渡され、ユーザの字幕を追う速度が推定される。例えば、表示された［今シーズンのＡ選手は注目です！］という字幕に対し、字幕を追う速度＝１０字／秒を閾値として知識量の大小が推定される（ステップＳ２）。例えば、知識量が少ないと推定されたならば、特性－知識データベース１０１を参照して［Ａ選手はケガから復帰したばかりの元エース］という知識を付与することが決定される。一方、知識量が多いことが推定されたならば、特性－知識データベース１０１を参照して［Ａ選手はいつものルーティンもやり絶好調とのこと］という知識を付与することが決定される（ステップＳ３）。

【0033】

次に、得られた知識から、例えば［Ａ選手はケガから復帰したばかりの元エース］という情報を付与した字幕データが作成され（ステップＳ４）、ユーザの注視先付近に字幕を付与した映像データが作成される（ステップＳ５）。そして、字幕が付与された映像データがディスプレイ等に表示される（ステップＳ６）。

【0034】

＜実施例３＞
実施例３では、予測される盛り上がり前に関連する知識を付与する。例えば、参考文献[1]に記載される技術を用いて、盛り上がりとそのパターンを事前に予測することができる。

【0035】

例えばセンシングデータ処理部１０２により、どのような場面で盛り上がるかの個人特性を予め収集し、その結果を特性－知識データベース１０１に保存する。盛り上がり場面は、このように事前に生成されたデータを利用して予測することができる。あるいは、視線計測による各場面への注視度等の生体情報などを用いて、盛り上がり場面をリアルタイムに推定してもよい

【0036】

図３（ｃ）のテーブル内容に則して説明する。実施例３では、ステップＳ１（図４）において取得されたユーザ状態がユーザ特性推定部１０３に渡され、ユーザの盛り上がりパターンが推定される。例えば、が盛り上がりパターンとして［逆転］が推定されたならば、特性－知識データベース１０１を参照して［次に打席に入るＢ選手は今シーズン打率が高く期待できる］という知識を付与することが決定される。一方、盛り上がりパターンとして［チャンス］が推定されたならば、特性－知識データベース１０１を参照して［次の打席は打率の高い選手が連続で打席に立つ］という知識を付与することが決定される（ステップＳ３）。

【0037】

次に、得られた知識から字幕データが作成され（ステップＳ４）、ユーザの注視先付近に字幕を付与した映像データが作成される（ステップＳ５）。そして、字幕が付与された映像データがディスプレイ等に表示される（ステップＳ６）。

【0038】

図５は、実施形態に係わる情報提示システムにおけるデータの流れを説明するための図である。なお、図５に示されるデータ処理部１００Ｂは、図２のセンシングデータ処理部１０２、出力処理部１０５と同様の機能を有する機能ブロックである。

【0039】

図５において、データ処理部１００Ｂは、ユーザ側デバイス（図１）からユーザの映像、音声、ＩＭＵなどのセンサデータを取得し、ユーザセンシング結果の認識処理を行う。処理により得られたアクション認識、視線（注視点）頭部向き、音声認識などのデータは、ヒューマンセンシング結果、ユーザアクション結果としてクラウド１の解析部１００Ａに渡される。

【0040】

解析部１００Ａは主に、ファン（ユーザ）の行動結果に応じて、フィードバック情報、知識情報の決定を行う。フィードバック内容、および知識付与（映像、音響、触覚、テキスト情報など）はデータ処理部１００Ｂにフィードバックされる。データ処理部１００Ｂは、デバイスごとの応答情報を生成し、各デバイスに渡す。

【0041】

ところで、コンテンツに知識を付与する実施例として、以下の［変形例１］～［変形例３］も挙げることができる。順を追って説明する。

【0042】

［変形例１］
図６は、［変形例１］に係わるデータ処理部１００Ｂ、解析部１００Ａの処理機能を示す機能ブロック図である。図６において、データ処理部１００Ｂのセンシングデータ処理部１０２は、入力処理部３１、ヒューマン認識処理部３２、判定部３３、データベース更新部３４、および、コンテンツ解析部３５を備える。入力処理部３１は、ユーザの顔向き、表情、視線、行動、音声等のデータをヒューマン認識処理部３２に渡す。また、コンテンツ解析部３５は配信コンテンツを解析して、試合展開（シーンコンテキスト）、タイムライン等のデータをヒューマン認識処理部３２に渡す。

【0043】

ヒューマン認識処理部３２は、渡されたデータから、ユーザデータ、アクション認識レベル、見ているコンテンツオブジェクト、コンテキスト判定（応援レベル）、リズム同期等のデータを抽出し、ユーザトリガを判定部３３に与える。判定部３３は、一体感・熱狂、などのエンハンスを判定する。その結果はデータベース更新部３４に渡され、時間、シーンごとのユーザアクション結果、応援行動レベルなどのデータにより特性－知識データベース１０１が更新される。

【0044】

また、ユーザアクション結果、応援行動レベルは、解析部１００Ａのユーザ特性推定部１０３に渡され、クラスタリングなどの処理によりファン属性情報が抽出される。ファン属性情報は特性－知識データベース１０１に登録される。特性－知識データベース１０１から読み出された知識付与情報候補は、付与知識決定部１０４に渡されて出力処理部１０５にフィードバックすべき内容が決定される。

【0045】

出力処理部１０５は、出力処理部４２、および、出力コンテンツ生成部４１を備える。出力コンテンツ生成部４１は、付与知識決定部１０４からの情報（フィードバック内容、知識付与（映像、音響、触覚、テキスト情報など））をもとに映像、音響、触覚などの、ユーザコンテキストに応じたコンテンツを生成し、出力処理部４２に渡す。出力処理部４２は、ユーザデバイスに応じた画面配置、音響、触覚等の、カスタムコンテンツを生成してユーザデバイスに向けて出力する。

【0046】

図６において、入力処理部３１、出力処理部４２の各処理を遠隔のユーザが担っても良い。例えば、入力処理部３１に遠隔の類似特性ユーザを解析させてもよい。あるいは逆に、出力処理部４２が遠隔ユーザ向けのデータを出力しても良い。

【0047】

［変形例２］
図７は、［変形例２］に係わるデータ処理部１００Ｂ、解析部１００Ａの処理機能を示す機能ブロック図である。機能構成は図６と同様であり、作用の異なる部分を以下に説明する。

【0048】

変形例２では、入力されたセンシングデータと対象スポーツコンテンツの両方を用いて情報を付与する。また、変形例２では、注視領域に関するセンシングデータに加えてリアクションやコンテキストを入力に加え、遠隔地の他ユーザから／に向けて情報を付与する。実現手法としては次の（例１）～（例３）が挙げられる。

【0049】

（例１）
・注視領域及び視聴時のリアクションのセンシングデータ、コンテキストを入力とし、ユーザ向けの付与情報を出力する。
・ユーザの反応・状況に応じて付与する情報を細分化する。
・ユーザ特性に加えて、その時の反応や状況に合わせた情報により、理解を促進し、知識がなくとも楽しませる。

【0050】

（例２）
・注視領域及び視聴時のリアクションのセンシングデータを入力とし、類似特性をもつユーザ全体向けの付与情報を出力する。
・ある一人のセンシングデータだけをもとに、特性が類似する他の全ユーザ向けに付与情報を生成する。
・類似特性のユーザ全体やスタジアムに対して、入力として取得したリアクションも合わせて見せることでより楽しませる。

【0051】

（例３）
・類似特性をもつ他ユーザの注視領域及びリアクションのセンシングデータを入力とし、ユーザ向けの付与情報を出力する。
・特性を事前登録しておくことで、自分をセンシングせずに付与情報を生成する。
・スタジアムや、類似の特性をもつ他ユーザの反応を付与情報と共に見せることでより楽しませる。
［変形例３］
図８は、［変形例３］に係わるデータ処理部１００Ｂ、解析部１００Ａの処理機能を示す機能ブロック図である。

【0052】

変形例３では、その場での対象スポーツコンテンツのみを用いて情報を付与する。つまりセンシングデータは必ずしも必要でない。入力としてセンシングは行わず、予め登録されたユーザ特性を入力として、試合展開に応じた情報を付与する。センシング処理を不要とすることで、プライバシーやセキュリティを確保できるといったメリットがある。

【0053】

図８において、センシングデータ処理部１０２は、表情、行動、音声などに応じたファン属性を登録するためのファン属性登録部３６を備える。
変形例３は、対象スポーツコンテンツのみを用いて情報を付与する例であり、リアルタイムに取得したセンシングデータではなく、過去に取得したセンシングデータを利用する。対象スポーツコンテンツの内容・展開を入力とし、ユーザ、類似特性をもつ他ユーザへの付与情報を出力として付与する。ユーザへの出力内容は、過去にセンシング～フィードバックして有効であった結果を用いる。

【0054】

特に、試合展開に応じて、出力コンテンツ生成部４１により、付与情報の声量・提示時の配色・装飾・効果音の追加等を制御してもよい。このようにすることで、より盛り上げる効果を与えることができる。

【0055】

（ハードウェア構成について）
図９は、実施形態に係わるサーバ１００のハードウェア構成の一例を示すブロック図である。サーバ１００は、ＣＰＵ（Central Processing Unit）などのプロセッサ１１０を備え、このプロセッサ１１０に対し、バス１１４を介して、プログラム記憶部１１１およびデータ記憶部１１２を有する記憶ユニットと、入出力インタフェース（以後インタフェースをＩ／Ｆと略称する）部１１３を接続したものとなっている。すなわち、サーバ１００は、プロセッサと記憶部とを有するコンピュータである。

【0056】

入出力Ｉ／Ｆ部１１３は、通信インタフェース機能を有し、信号ケーブルまたはネットワークを介して、クラウド１と通信する。

【0057】

プログラム記憶部１１１は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込み／読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等に加えて、一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。

【0058】

データ記憶部１１２は、例えば、記憶媒体として、ＳＳＤ等の随時書込み／読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたものである。

【0059】

プロセッサ１１０は、一実施形態を実施するために必要な処理機能として、図２の機能ブロックを有する解析部１１０Ａ、および／または、図５のデータ処理部１００Ｂを備える。これらの機能ブロックは、何れもプログラム記憶部１１１に格納されたアプリケーション・プログラムをプロセッサ１１０に実行させることにより実現される。これらの機能ブロックの一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

【0060】

以上のように実施形態では、ユーザの属性・知識レベルに応じて一体感・熱狂感を高めるためのデータを保持するデータベース（特性－知識データベース１０１）を構築する。そして、センシングによる視線計測等に基づく興味や知識等のユーザ特性判定結果から、コンテンツにユーザごとに適した知識を付与するようにした。これにより、ユーザの知識・属性レベルに応じてスポーツ観戦時の一体感・熱狂感を上げる環境を提供することができる。また、ユーザフィードバックをシステムに与えることで、知識の付与がうまく行ったか、行かなかったかに応じて動的にデータベースを更新する。これにより、付与される知識の精度を向上させることができる。

【0061】

このようにしたので、スポーツファンはより一体感、熱狂、臨場感を感じる視聴ができる。また、スポーツに疎いユーザがよりスポーツを理解し、楽しめるようになる。

【0062】

既存の技術では、時々刻々と変化するユーザの興味に適合する映像を取得してユーザに提示する新たな映像を推薦する技術が知られている。この技術は、ユーザの興味や注目度を検出して動的に表示を変更するものであるが、コンテンツ自体を切り替えるものであって、コンテンツに情報を付与して価値を向上させることはできなかった。また、視線の先に字幕を自動配置する技術も知られている。しかし、ユーザごとの興味特性まで反映することは考慮されていなかった。

【0063】

また、サポータ、ユーザの属性・知識レベルが不明であり、センシングができていないため、どのような情報を提示すると価値があるかも不明であった。この種の情報はクラブ運営、編集者の暗黙知となっており、モデル化もされていない。他にも、聴覚障がい者向け支援の字幕を付与する技術は知られているが、詳しくない人向けの支援技術は依然知られていない。

【0064】

これに対し実施形態では、興味や知識等のユーザ特性を取得し、ユーザの属性・知識レベルに応じて一体感・熱狂感を高める知識を付与するようにした。これにより、スポーツ観戦時の一体感・熱狂感を上げる環境を提供することができる。例えば、スポーツ観戦に実施形態の技術を適用することで、スポーツに詳しいファンは一体感、熱狂、臨場感をより感じる視聴ができ、スポーツに疎いユーザはよりスポーツを理解し、楽しめるようになる。これらのことから、実施形態によれば、属性や知識レベルによらず、視聴する誰もがコンテンツを楽しむことができる。

【0065】

なお、この発明は上記実施の形態に限定されるものではない。例えば、付与されたデータは表示メディアに文字として出力しても良いし、または、より解り易いアニメーションであったり、音声でもよい。視覚情報は、ディスプレイに限らず、各ユーザのゴーグル１１やＡＲグラス（ゴーグル）に表示してもよい。また、各ユーザの興味ありコンテンツは、視線データをもとに推定することもできるし、他のコンテンツにおける興味を参照して推定することもできる。例えば、バスケットボールで素早い動きをよく見ているユーザには、サッカーでも素早い動きの選手や技術に関する知識を付与するようにする。さらに、視線からだけでなく、心拍数や発汗量などの生体情報（バイタルデータ）から興味の対象を推定することもできる。

【0066】

また、知識・属性に応じてイベント発生時に付与すべき情報をデータベース化するのに加え、付与すべき情報の提示方法をデータベース化しても良い。つまり、環境・状況に応じた最適な情報の提示手段をデータベース化してもよい。
また、ユーザセンシングの対象は個人に限らずスポーツファンの似たコミュニティの情報を活用しても良い。
フィードバックする情報、内容のバリエーションとしては、他者、選手、スタッフの状態、スポーツコンテンツシーン、選手パフォーマンス”ＳＴＡＴＳ”情報などが挙げられる。

【0067】

属性やコンテキストに応じたフィードバック内容のバリエーションとしては、蓄積された盛り上がり、一体感、熱狂の変動結果の履歴データベースを参照し、フィードバック内容を決定する、または、視聴しているユーザの属性（年代や居住地等）に応じてフィードバック内容を決定するなどが挙げられる。

【0068】

センシング場所（センシングＯＦＦの際の対応）としては、リモート、スタジアムによらず設定可能である。リモートが自宅の場合はセンシングＯＦＦもありうるため、その場合は他の会場や、属性の近い結果を活用して、情報を付与すればよい。

【0069】

コンテキストに応じた出力方法、反応取得によるデータの更新は、一体感・熱狂感、臨場感などエンハンスする内容フィードバック（画面に出す）する。さらに、クラウド１に保持されたデータを用いてフィードバック内容を決定してもよい。

【0070】

この発明の実施形態について、実施例１～実施例３、および変形例１～変形例３について説明した。前述までの説明は、あらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施に際して、実施形態に応じた具体的構成が適宜採用されてもよい。

【0071】

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【0072】

（参考文献）
参考文献[1] 藤本ら,"少量の実況ツイートからの状況推定モデルとスポーツ観戦支援", 第13回データ工学と情報マネジメントに関するフォーラム論文集, 2021.

【符号の説明】

【0073】

１…クラウド
１１…ゴーグル
１２…スマートフォン
１３…端末装置
１４…スマートウォッチ
１５…マイク
１６…カメラ
３１…入力処理部
３２…ヒューマン認識処理部
３３…判定部
３４…データベース更新部
３５…コンテンツ解析部
３６…ファン属性登録部
４１…出力コンテンツ生成部
４２…出力処理部
１００…サーバ
１００Ａ…解析部
１００Ｂ…データ処理部
１０１…特性－知識データベース
１０２…センシングデータ処理部
１０３…ユーザ特性推定部
１０４…付与知識決定部
１０５…出力処理部
１０６…フィードバック反映部
１１０…プロセッサ
１１０Ａ…解析部
１１１…プログラム記憶部
１１２…データ記憶部
１１３…入出力Ｉ／Ｆ部
１１４…バス
２００…コンテンツ配信サーバ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】