特許 7622638 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 21/258 20110101AFI20250121BHJP

   H04L 67/131 20220101ALI20250121BHJP

   G06F 3/0481 20220101ALI20250121BHJP

【ＦＩ】

H04N21/258

H04L67/131

G06F3/0481

【請求項の数】 13

(21)【出願番号】P 2021556021

(86)(22)【出願日】2020-10-30

(86)【国際出願番号】 JP2020040878

(87)【国際公開番号】W WO2021095573

(87)【国際公開日】2021-05-20

【審査請求日】2023-09-21

(31)【優先権主張番号】P 2019207477

(32)【優先日】2019-11-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】本間 俊一

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０１９－１２６１０１（ＪＰ，Ａ）

【文献】特開２０１９－１９２１７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｌ ６７／１３１

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内のディスプレイへ出力する
制御部
を具備し、
前記制御部は、前記変換された視線パラメータを基に、前記ディスプレイと前記仮想的な視線との交点座標を算出し、前記視線情報として、前記ディスプレイの当該交点座標に対応する位置に前記視聴者に対応する画像を出力させる
情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記制御部は、所定数以上の視聴者に対応する前記交点座標が前記ディスプレイの所定領域に存在する場合、前記各視聴者に対応する画像に代えて視聴者群を示す所定の１つの画像を出力させる
情報処理システム。

【請求項3】

請求項１に記載の情報処理システムであって、
前記制御部は、前記視聴者の属性を示す属性情報を前記視線パラメータと共に取得し、当該属性情報に応じて前記画像の出力態様を変更する
情報処理システム。

【請求項4】

請求項１に記載の情報処理システムであって、
前記制御部は、前記変換された視線パラメータを基に、前記視聴者が前記演者に視線を向けているか否かを判定し、当該判定結果に応じて前記画像の出力態様を変更する
情報処理システム。

【請求項5】

請求項１に記載の情報処理システムであって、
前記制御部は、第１の時刻に算出された第１の視聴者識別情報を有する第１の視聴者に対応する第１の交点座標と、前記第１の時刻より後の第２の時刻に算出された前記第１の視聴者に対応する第２の交点座標とが異なる場合、前記視聴者に対応する画像を前記第１の交点座標から前記第２の交点座標とを結ぶ軌跡上で移動させながら表示させる
情報処理システム。

【請求項6】

請求項１に記載の情報処理システムであって、
前記画像と共に再生可能な複数種類のエフェクトを示す情報を、当該エフェクトを識別するエフェクト識別情報と対応付けて記憶する記憶部をさらに具備し、
前記制御部は、前記視聴者の端末から、前記視聴者識別情報及び前記エフェクト識別情報を含むエフェクト再生リクエストを受信した場合、当該エフェクト識別情報に対応するエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍から出力させる
情報処理システム。

【請求項7】

請求項６に記載の情報処理システムであって、
前記制御部は、所定数以上の視聴者に対応するエフェクト再生リクエストが前記ディスプレイの所定領域について存在する場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
情報処理システム。

【請求項8】

請求項６に記載の情報処理システムであって、
前記制御部は、所定数以上の視聴者から同一のエフェクト識別情報を有するエフェクト再生リクエストを受信した場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
情報処理システム。

【請求項9】

請求項６に記載の情報処理システムであって、
前記ディスプレイ上の異なる位置には複数のスピーカが設置されており、
前記制御部は、前記エフェクト再生リクエストに含まれる前記エフェクト識別情報に対応するエフェクトがサウンドエフェクトである場合、当該サウンドエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍に存在するスピーカから出力させる
情報処理システム。

【請求項10】

請求項１に記載の情報処理システムであって、
前記制御部は、前記演者の視線を示す視線パラメータを取得し、当該演者の視線パラメータから得られる視線ベクトルと、前記視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満であるであると判断した場合、前記視聴者識別情報に対応する前記交点座標の近傍から所定のエフェクトを出力させる
情報処理システム。

【請求項11】

請求項１に記載の情報処理システムであって、
前記制御部は、前記演者の視線を示す視線パラメータを取得し、複数の視聴者毎に、当該演者の視線パラメータから得られる視線ベクトルと、当該各視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満となった回数をカウントし、前記各視聴者の各回数に対応する値を、各視聴者に対応する前記交点座標の近傍に対応付けたヒストグラムを前記ディスプレイに表示させる
情報処理システム。

【請求項12】

演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内のディスプレイへ出力し、
前記変換された視線パラメータを基に、前記ディスプレイと前記仮想的な視線との交点座標を算出し、前記視線情報として、前記ディスプレイの当該交点座標に対応する位置に前記視聴者に対応する画像を出力させる
情報処理方法。

【請求項13】

情報処理装置に、
演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得するステップと、
前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換するステップと、
前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内のディスプレイへ出力するステップと、
前記変換された視線パラメータを基に、前記ディスプレイと前記仮想的な視線との交点座標を算出し、前記視線情報として、前記ディスプレイの当該交点座標に対応する位置に前記視聴者に対応する画像を出力させるステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、演者によるパフォーマンスを撮影したコンテンツを、ネットワークを介してリアルタイムに視聴者へ配信するシステムにおいて、演者に視聴者に関する情報を提示可能な情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

ネットワーク技術の発達に伴い、遠隔地へのコンテンツ配信サービスは成長を続けている。例えば映画コンテンツをはじめとする動画配信は、配信者から視聴者へコンテンツデータを配信し、視聴者は配信されたコンテンツを楽しむという一方向性のシステムで実現されてきた。

【0003】

近年では、例えばリアルタイム動画配信サービスにおいて、配信者と視聴者がお互いにコミュニケーションを取ることが可能な双方向性のシステムが実現されている。このシステムによってコンテンツそのものだけではなく、コンテンツを通したコミュニケーションを体験するという新しい価値が提供されている。

【0004】

このようなシステムにおける、視聴者から配信者に発信するためのコミュニケーション手段は、主に文字情報や音声情報である。特に文字情報については、配信される動画上に視聴者によって入力された文字情報を重畳することによって、配信者と視聴者だけでなく、視聴者同士のコミュニケーションを実現している。

【0005】

ネットワークを介したコミュニケーションを実現する手段として、例えば下記特許文献１には、複数のユーザ同士が同じ仮想空間で対等なテキストベースのコミュニケーションをとる手段について開示されている。

【0006】

また下記特許文献２には、同じコンテンツを利用しているユーザが互いの状態を把握するための手段について開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００９－２１１５２８号公報

【文献】特許第６５１９４６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

従来技術では、配信者と視聴者のコミュニケーションの手段としては主にテキスト情報と音声情報が用いられてきた。しかし、これらネットワークを介してとられるコミュニケーションと、これまで物理的に近い距離（相手が見える距離）でとられていたコミュニケーションとには、体験として大きなかい離がある。

【0009】

例えば、ある限られた場所で開催される音楽ライブコンサートを、遠隔地にいる顧客にも体験してもらうために、配信者が演者の画像や音声データをリアルタイムに取得し、それらのデータを配信用コンテンツデータに変換し、ネットワークを介して映画館や各家庭に配信するサービスを考える。この場合コンテンツは、映画館へはスクリーン上に映し出されるコンテンツとして、また、各家庭へは、テレビで見ることができるコンテンツや、ＨＭＤ（Head Mount Display）で見ることができるコンテンツとして配信される。

【0010】

実際に音楽ライブコンサートが行われている会場では、演者はどれくらいの観客がいるのか、観客がどこにいるか、物理的にどのように分布しているか、自分の演技・演出・パフォーマンスに対してどのような反応をしているか、などを確認しながら次の行動を適切に決定することができる。また、観客の立場では、演者が自分の位置や反応を見ながら次の行動を決めているため、自分の方向に視線を向けてもらえたり、演者の呼びかけに対して答える・答えられるといった、いわゆる「コールアンドレスポンス」といった演出を楽しむことができたり、自分以外の観客の反応を感じることができたりするなど、音楽を聴く以外のコミュニケーションを体験することができる。

【0011】

一方、これらのコミュニケーション体験は、従来のテキストや音声を用いたネットワークを介するコミュニケーション手段を用いて再現することは難しい。そのため、同じ音楽ライブコンサートの観客でも、実際の会場で得られる体験と、ネットワークを介した遠隔地で得られる体験には大きな隔たりがある。

【0012】

また、ネットワーク技術の発達により、個人単位でのライブストリーミングサービスを利用したコンテンツ配信も活発に行われるようになった。このようなコンテンツ配信は、実際の撮影現場には視聴者は存在せず、ネットワークを介した遠隔地にのみ視聴者が存在する形態で行われることが多い。この環境では、演者は視聴者を直接見たり、視聴者の視線を感じたりすることができないため、どこへ視線を向けて、どの方向を向いてパフォーマンスをすればよいか分からず、適切な行動ができない。更に、自身のパフォーマンスに対する視聴者の反応を見ることができないため、次の行動を適切に決めることができない、などの問題がある。

【0013】

上記特許文献１及び２に記載の各技術においても、コンテンツに出演している演者と視聴者とのコミュニケーションや視聴者の反応を演者に伝える点については開示がない。

【0014】

以上のような事情に鑑み、本技術の目的は、リアルタイムで配信されるコンテンツに出演する演者に、遠隔地の視聴者の反応に応じたパフォーマンスを行わせることが可能な情報処理システム、情報処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0015】

上記目的を達成するため、本技術の一形態に係る情報処理システムは、制御部を有する。上記制御部は、演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得する。また制御部は、上記取得された視線パラメータを、上記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換する。そして制御部は、上記変換された視線パラメータを基に、上記視聴者の上記仮想的な視線を示す視線情報を、上記演者の存在する空間内の出力装置へ出力する。

【0016】

これにより情報処理システムは、演者に視聴者の仮想的な視線を把握させることが可能となり、演者に、遠隔地の視聴者に対しても、視聴者の反応に応じた適切なパフォーマンスを行わせることができる。上記視線情報は、画像情報でもよいし音声情報でもよく、また視聴者の仮想的な位置情報を含んでいてもよい。

【0017】

上記出力装置はディスプレイであってもよい。この場合上記制御部は、上記制御部は、上記変換された視線パラメータを基に、上記ディスプレイと上記仮想的な視線との交点座標を算出し、上記視線情報として、上記ディスプレイの当該交点座標に対応する位置に上記視聴者に対応する画像を出力させてもよい。

【0018】

これにより演者はディスプレイを見るだけで遠隔地の視聴者が自らに視線を向けていることを把握し、それに対して視線を向けたり、パフォーマンスを行う等、適切に反応することができる。上記画像は、例えば視聴者のアバター画像であってもよい。

【0019】

上記制御部は、所定数以上の視聴者に対応する上記交点座標が上記ディスプレイの所定領域に存在する場合、上記各視聴者に対応する画像に代えて視聴者群を示す所定の１つの画像を出力させてもよい。

【0020】

これにより情報処理システムは、複数の視聴者に対応する画像が重なって表示されて演者の視認性が下がるのを防止できる。

【0021】

上記制御部は、上記視聴者の属性を示す属性情報を上記視線パラメータと共に取得し、当該属性情報に応じて上記画像の出力態様を変更してもよい。

【0022】

これにより情報処理システムは、各視聴者の属性に応じて画像を変更することで、演者にそれに応じた細かな対応をさせることができる。ここで属性とは、例えば年齢、性別、国籍、居住地、視聴時間、同じ演者が出演するコンテンツの視聴回数や購入回数、コンテンツの座標系における演者との距離等である。属性態様の変更とは、例えば、アバター画像に異なる色の枠を付けたり、アバター画像の大きさを変えたり、透過度を変えること等である。

【0023】

上記制御部は、上記変換された視線パラメータを基に、上記視聴者が上記演者に視線を向けているか否かを判定し、当該判定結果に応じて上記画像の出力態様を変更してもよい。

【0024】

これにより情報処理システムは、各視聴者が演者の方を向いているか否かを把握させ、例えば視線を向けている視聴者に向けてパフォーマンスする等、視聴者の視線に応じたパフォーマンスを行わせることができる。

【0025】

上記制御部は、第１の時刻に算出された第１の視聴者識別情報を有する第１の視聴者に対応する第１の交点座標と、上記第１の時刻より後の第２の時刻に算出された上記第１の視聴者に対応する第２の交点座標とが異なる場合、上記視聴者に対応する画像を上記第１の交点座標から上記第２の交点座標とを結ぶ軌跡上で移動させながら表示させてもよい。

【0026】

これにより情報処理システムは、演者にパフォーマンス中の視聴者の移動を把握させそれに応じたパフォーマンスを行わせることができる。

【0027】

上記情報処理システムは、上記画像と共に再生可能な複数種類のエフェクトを示す情報を、当該エフェクトを識別するエフェクト識別情報と対応付けて記憶する記憶部をさらに有してもよい。この場合上記制御部は、上記視聴者の端末から、上記視聴者識別情報及び上記エフェクト識別情報を含むエフェクト再生リクエストを受信した場合、当該エフェクト識別情報に対応するエフェクトを、上記視聴者識別情報に対応する上記交点座標の近傍から出力させてもよい。

【0028】

これにより情報処理システムは、演者に視聴者の反応や盛り上がりを把握させることが可能となり、それに応じたパフォーマンスを行わせることができる。ここでエフェクト再生リクエストの対象となるエフェクトは、視聴者の端末における任意の入力（ジェスチャやボタン等）と紐付けられていてもよい。

【0029】

上記制御部は、上記所定数以上の視聴者に対応するエフェクト再生リクエストが上記ディスプレイの所定領域について存在する場合、上記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させてもよい。

【0030】

これにより情報処理システムは、複数の視聴者に対応するエフェクトが重なって表示されて演者の視認性が下がるのを防止できる。

【0031】

上記制御部は、上記所定数以上の視聴者から同一のエフェクト識別情報を有するエフェクト再生リクエストを受信した場合、上記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させてもよい。

【0032】

これにより情報処理システムは、視聴者全体の盛り上がりを演者に把握させることができる。

【0033】

上記ディスプレイ上の異なる位置には複数のスピーカが設置されていてもよい。この場合上記制御部は、上記エフェクト再生リクエストに含まれる上記エフェクト識別情報に対応するエフェクトがサウンドエフェクトである場合、当該サウンドエフェクトを、上記視聴者識別情報に対応する上記交点座標の近傍に存在するスピーカから出力させてもよい。

【0034】

これにより情報処理システムは、あたかも視聴者が演者に声をかけているかのようなエフェクトを再生でき、演者にそれを把握させることができる。

【0035】

上記制御部は、上記演者の視線を示す視線パラメータを取得し、当該演者の視線パラメータから得られる視線ベクトルと、上記視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満であるであると判断した場合、上記視聴者識別情報に対応する上記交点座標の近傍から所定のエフェクトを出力させてもよい。

【0036】

これにより情報処理システムは、演者に視聴者と目が合ったことを把握させ、それに応じたパフォーマンスを行わせることができる。

【0037】

上記制御部は、上記演者の視線を示す視線パラメータを取得し、複数の視聴者毎に、当該演者の視線パラメータから得られる視線ベクトルと、当該各視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満となった回数をカウントし、上記各視聴者の各回数に対応する値を、各視聴者に対応する上記交点座標の近傍に対応付けたヒストグラムを上記ディスプレイに表示させてもよい。

【0038】

これにより演者は、このヒストグラムをもとに、視聴者と視線の合った頻度の低い方向へパフォーマンスを行うことで、視聴者全体の満足度を上げることができる。

【0039】

本技術の他の形態に係る情報処理方法は、
演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
上記取得された視線パラメータを、上記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
上記変換された視線パラメータを基に、上記視聴者の上記仮想的な視線を示す視線情報を、上記演者の存在する空間内の出力装置へ出力する、ことを含む。

【0040】

本技術の他の形態に係るプログラムは、情報処理装置に、
演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得するステップと、
上記取得された視線パラメータを、上記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換するステップと、
上記変換された視線パラメータを基に、上記視聴者の上記仮想的な視線を示す視線情報を、上記演者の存在する空間内の出力装置へ出力するステップと、を実行させる。

【発明の効果】

【0041】

以上のように、本技術によれば、リアルタイムで配信されるコンテンツに出演する演者に、遠隔地の視聴者の反応に応じたパフォーマンスを行わせることができる。しかし、当該効果は本技術を限定するものではない。

【図面の簡単な説明】

【0042】

【図1】本技術の一実施形態に係るコンテンツ配信システムの構成を示した図である。

【図2】上記コンテンツ配信システムのスタジオにおける機材設置例を示した図である。

【図3】上記コンテンツ配信システムが有する視聴者情報管理サーバのハードウェア構成を示した図である。

【図4】上記コンテンツ配信システムによるコンテンツ配信処理の流れを示したフローチャートである。

【図5】上記コンテンツ配信システムにおいてコンテンツに対し異なる位置姿勢を持つ視聴者がいる場合の表示例を示した図である。

【図6】上記コンテンツ配信システムによる視聴者情報表示処理の流れを示したフローチャートである。

【図7】上記コンテンツ配信システムにおける演者に対する視聴者の視線情報の提示例を示した図である。

【図8】上記コンテンツ配信システムにおいて視聴者の移動に応じた視線情報の表示例を示した図である。

【図9】上記コンテンツ配信システムのスタジオにおける機材設置例の変形例を示した図である。

【図10】上記コンテンツ配信システムにおいて、異なる視線を有する異なる視聴者の情報が同じ位置に表示される例を示した図である。

【図11】上記コンテンツ配信システムにおいて、視聴者の視線が演者の方を向いているか否かに応じた視線情報の表示例を示した図である。

【図12】上記コンテンツ配信システムにおいて視聴者がリクエスト可能な演者に対するエフェクトとそのためのアクションとの関係を示した表である。

【図13】上記コンテンツ配信システムにおける視聴者から演者に対するエフェクトの表示例を示した図である。

【図14】上記コンテンツ配信システムにおいて演者と視聴者の視線が合った回数を示すヒストグラムの表示例を示した図である。

【図15】上記コンテンツ配信システムが視聴者からのリクエストに応じてコンテンツにエフェクトを付与する流れを示したフローチャートである。

【図16】上記コンテンツ配信システムにおいてが視聴者からのリクエストに応じてコンテンツにエフェクトを付与する流れを示した概念図である。

【図17】上記コンテンツ配信システムにおけるコンテンツに対するエフェクトの付与処理の変形例を示した図である。

【図18】上記コンテンツ配信システムにおいて、演者、複数の視聴者、ディスプレイが、ある位置関係を持つ場合を示した図である。

【図19】図１８の場合において、ある視聴者が視聴するコンテンツに対して、他視聴者の視聴状態を表現する情報が付加された様子を示した図である。

【図20】図１８の場合において、ある視聴者が視聴するコンテンツに対して、仮想的にディスプレイを移動・拡大して視聴者の視聴状態を表現する情報が付加された様子を示した図である。

【図21】上記コンテンツ配信システムにおける視聴者からのリクエストによる光線のエフェクトの再生例を示した図である。

【図22】図２１のエフェクトの再生位置の調整例を示した図である。

【図23】上記コンテンツ配信システムにおいて演者を中心として設定されたエフェクト発生中心を設定可能な領域を示した図である。

【図24】図２３の例で設定された領域を用いて、視聴者ごとにエフェクト発生中心が設定される様子を示した図である。

【図25】上記コンテンツ配信システムにおいて視線の異なる各視聴者に対して異なる平面パラメータを持つ背景コンテンツが配置された例を示した図である。

【図26】図２５の場合におけるエフェクトの再生例を示した図である。

【発明を実施するための形態】

【0043】

以下、本技術に係る実施形態を、図面を参照しながら説明する。

【0044】

［システムの概要］
図１は、本技術の一実施形態に係るコンテンツ配信システムの構成を示した図である。

【0045】

図１は、当該システムの全体構成を示した図であり、図２は、当該システムが有するコンテンツ撮影スタジオにおける機材設置例を示した図である。

【0046】

両図に示すように、本システムは、コンテンツ撮影スタジオ内の視聴者情報管理サーバ、演者出力システム３００、コンテンツ作成サーバ４００、コンテンツ配信サーバ５００と、それらとインターネット等のネットワーク５０を介して接続された複数の視聴者出力システム２００とを有する。

【0047】

コンテンツ作成サーバ４００は、コンテンツ作成専用の上記スタジオを用いて、リアルタイムに演者のパフォーマンスを撮影したコンテンツを作成する。作成されたコンテンツは、ネットワーク５０を介して視聴者にストリーミング配信される。

【0048】

視聴者に配信されるコンテンツは、３Ｄモデルとサラウンド音声をベースに構成されるＶＲ(Virtual Reality)コンテンツである。図２に示すように、上記スタジオは、コンテンツ作成のために１台以上のカメラ５１およびマイク５２を含む撮影機材を備え、コンテンツ作成サーバ４００が、当該撮影されたデータを基に配信コンテンツを作成する。

【0049】

視聴者情報管理サーバ１００は、視聴者の仮想視線や仮想位置等の視聴者の視聴状態に関する情報を適宜視聴者出力システム２００から取得して管理する。

【0050】

演者出力システム３００は、コンテンツに出演する演者に対して視聴者の視聴状態に関する情報を出力するための、１台以上のディスプレイ５３を有する。

【0051】

視聴者情報管理サーバ１００は、視聴者出力システム２００から受信した視聴者の視聴状態等の情報をコンテンツ作成サーバ４００に送信し、コンテンツ作成サーバ４００は、当該情報に応じて配信コンテンツに変化を加えることも可能である。

【0052】

コンテンツ作成サーバ４００で作成・変更されたコンテンツは、コンテンツ配信サーバ５００からネットワーク５０を介して、コンテンツ配信サーバ５００によって各コンテンツ視聴者（視聴者出力システム２００）へ配信される。

【0053】

［視聴者情報管理サーバのハードウェア構成］
図３は、上記視聴者情報管理サーバ１００のハードウェア構成を示した図である。

【0054】

同図に示すように、視聴者情報管理サーバ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、およびＲＡＭ（Random Access Memory）１３を含む。また、視聴者情報管理サーバ１００は、ホストバス１４、ブリッジ１５、外部バス１６、インタフェース１７、入力装置１８、出力装置１９、ストレージ装置２０、ドライブ２１、接続ポート２２、通信装置２３を含んでもよい。さらに、視聴者情報管理サーバ１００は、必要に応じて、撮像装置２６、およびセンサ２７を含んでもよい。視聴者情報管理サーバ１００は、ＣＰＵ１１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。

【0055】

ＣＰＵ１１は、演算処理装置および制御装置として機能し、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記録された各種プログラムに従って、視聴者情報管理サーバ１００内の動作全般またはその一部を制御する。ＲＯＭ１２は、ＣＰＵ１１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１３は、ＣＰＵ１１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、ＣＰＵバスなどの内部バスにより構成されるホストバス１４により相互に接続されている。さらに、ホストバス１４は、ブリッジ１５を介して、視聴者情報管理サーバＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス１６に接続されている。

【0056】

入力装置１８は、例えば、タッチパネル、物理ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置１８は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、視聴者情報管理サーバ１００の操作に対応したスマートフォンやスマートウォッチなどの外部接続機器２５であってもよい。入力装置１８は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ１１に出力する入力制御回路を含む。ユーザは、この入力装置１８を操作することによって、視聴者情報管理サーバ１００に対して各種のデータを入力したり処理動作を指示したりする。

【0057】

出力装置１９は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置１９は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカなどの音声出力装置などでありうる。出力装置１９は、視聴者情報管理サーバ１００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。

【0058】

ストレージ装置２０は、視聴者情報管理サーバ１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２０は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置２０は、例えばＣＰＵ１１が実行するプログラムや各種データ、および外部から取得した各種のデータ、並びに、視聴者出力システム２００から取得したデータ（後述する視線パラメータや各視聴者のアバター画像等）などを格納する。

【0059】

ドライブ２1は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体２４のためのリーダライタであり、視聴者情報管理サーバ１００に内蔵、あるいは外付けされる。ドライブ２1は、装着されているリムーバブル記録媒体２４に記録されている情報を読み出して、ＲＡＭ１３に出力する。また、ドライブ２1は、装着されているリムーバブル記録媒体２４に記録を書き込む。

【0060】

接続ポート２２は、機器を視聴者情報管理サーバ１００に接続するためのポートである。接続ポート２２は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート２２は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート２２に外部接続機器２５を接続することで、視聴者情報管理サーバ１００と外部接続機器２５との間で各種のデータが交換されうる。

【0061】

通信装置２３は、例えば、通信ネットワーク５０に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置２３は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置２３は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置２３は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置２３に接続される通信ネットワーク５０は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。

【0062】

撮像装置２６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成するカメラである。撮像装置２６は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

【0063】

センサ２７は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、デプスセンサ、または音センサ（マイクロフォン）などの各種のセンサである。

【0064】

上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

【0065】

図示しないが、視聴者出力システム２００、演者出力システム３００、コンテンツ作成サーバ４００及びコンテンツ配信サーバ５００も、上記視聴者情報管理サーバ１００が有するのと同様の、コンピュータとして機能するためのハードウェアを有する。

【0066】

［コンテンツ配信システムの動作］
次に、以上のように構成されたコンテンツ配信システムの動作について説明する。当該動作は、視聴者情報管理サーバ１００のＣＰＵ１１及び通信部等のハードウェアと、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記憶されたソフトウェアとの協働により実行される。

【0067】

図４は、コンテンツ配信処理のフローチャートを示した図である。また図５は、コンテンツに対し異なる位置姿勢を持つ視聴者がいる場合のコンテンツの表示例を示した図である。

【0068】

コンテンツ視聴者は、コンテンツを受信し、各視聴者の持つ視聴者出力システムを通してコンテンツを視聴する。ここで、視聴者出力システム２００は、例えば、視聴者の頭部の位置姿勢の推定が可能なヘッドトラッキング機能を持つヘッドマウントディスプレイである。

【0069】

図４に示すように、視聴者出力システム２００は、コンテンツの座標系（演者が存在する空間における座標系）における視聴者頭部の位置姿勢を初期化し（ステップ４１）、ヘッドトラッキング機能により、コンテンツ座標系における視聴者の頭部の位置姿勢を推定する（ステップ４２）。

【0070】

続いて視聴者出力システム２００は、この位置姿勢に応じて配信された３Ｄコンテンツを仮想画像平面上に投影し（ステップ４３）、投影したコンテンツをディスプレイに出力する（ステップ４４）。

【0071】

ヘッドトラッキング機能を実現する技術として、例えばカメラとＩＭＵ（Inertial Measurement Unit）センサを用いたＳＬＡＭ(Simultaneous Localization And Mapping)技術が挙げられる。

【0072】

一般にＶＲコンテンツの視聴に用いられる両眼立体視には、視聴者の左右の眼の位置姿勢が必要だが、これらは推定された頭部位置から両眼へのオフセットを用いることで計算することができる。

【0073】

図５に示すように、コンテンツ座標系においてコンテンツを真横から見ている視聴者１と（同図Ａ）、コンテンツを正面から見ている視聴者２（同図Ｂ）とでは、その頭部の位置・姿勢に応じてコンテンツの見え方が異なることになる。

【0074】

ヘッドトラッキング機能の有無に関わらず、視聴者出力システム２００が視聴者の実際の頭部の位置姿勢を推定して使用する代わりに、視聴者が、コントローラ等の入力デバイスによって、頭部の位置姿勢を仮想的に動かすことも可能である。

【0075】

本実施形態のコンテンツ配信システムは、上記コンテンツの配信処理中に、演者に対して視聴者の仮想的な視線情報（視聴者の仮想的な位置情報を含む）及び視聴者の反応を示すエフェクトを、演者に提示することが可能である。またその一方でコンテンツ配信システムは、コンテンツの配信処理中に、視聴者の反応を示すエフェクトをコンテンツに付与することが可能である。以下、これらの処理の詳細について説明する。

【0076】

［演者に対する視聴者の視線情報の提示］
図６は、上記演者に対する視聴者の視線情報及びエフェクトの提示処理の流れを示したフローチャートである。

【0077】

同図の左側のフローに示すように、まず、視聴者出力システム２００が、コンテンツ座標系における視聴者の視線パラメータを計算する（ステップ５１）。

【0078】

視聴者出力システム２００はこれを、あらかじめヘッドマウントディスプレイ座標系（視聴者が存在する空間の座標系）で定義された視線パラメータをコンテンツ座標系に変換することで求めてもよいし、視聴者出力システム２００がリアルタイムに視聴者の視線方向を推定する装置を持つ場合は、そのパラメータをコンテンツ座標系に変換することで求めてもよい。

【0079】

視線パラメータは、右眼と左眼とで個別に出力される場合もあるが、ここではどちらか一方を採用する、もしくは左右の平均を取得する、など、何らかの方法でひとつのパラメータに限定されることを考える。また視聴者出力システム２００は、視聴者の眼の位置を使うかわりに、視聴者は常に演者の方向を向いている前提を用いて、例えば演者頭部位置と視聴者頭部位置を結ぶ直線を視線パラメータとして用いてもよい。また視聴者出力システム２００は、ヘッドマウントディスプレイの機体座標系における特定の方向を視線方向として視線パラメータを決めてもよい。

【0080】

当該コンテンツ座標系における視線パラメータは、視聴者出力システム２００ではなく、スタジオ側の視聴者情報管理サーバ１００によって算出されてもよい。この場合、視聴者出力システム２００は、上記ヘッドマウントディスプレイ座標系における視聴者の視線パラメータを視聴者情報管理サーバ１００へ送信し、視聴者情報管理サーバ１００が、当該視線パラメータをコンテンツ座標系の視線パラメータへと変換する。

【0081】

続いて、視聴者出力システム２００は、コンテンツ座標系で表現された視聴者の視線パラメータを視聴者情報管理サーバ１００に送信する（ステップ５２）。

【0082】

視聴者情報管理サーバ１００は、各視聴者から送られた視線パラメータに対し、演者出力システム３００が必要とする処理を行う。

【0083】

例えば、視聴者情報管理サーバ１００は、演者出力システム３００において、視線情報として視聴者のアバター画像を出力する場合には、視線パラメータとその情報を送った視聴者のアバター画像との紐付けを行う処理を行ってもよい。

【0084】

視聴者情報管理サーバ１００（ＣＰＵ１１）は、スタジオに設置されたディスプレイ５３の、コンテンツ座標系における位置姿勢情報を持ち、同じくコンテンツ座標系で表現された視聴者の視線パラメータをもとに、ディスプレイ５３と視聴者の視線の交点座標を計算する（ステップ５３）。

【0085】

例えば、演者出力システム３００が複数のディスプレイ５３から構成される場合、視聴者情報管理サーバ１００は、各ディスプレイ５３を平面方程式で表現し、視聴者の視線パラメータを直線方程式で表現すれば、ディスプレイ５３と視線の交点座標を計算することができる。

【0086】

これは、ディスプレイ５３が曲面であった場合にも適用できる。または、視聴者情報管理サーバ１００は、視線パラメータを各ディスプレイ座標系に変換した後に、各ディスプレイ座標系における交点座標を求めてもよい。

【0087】

続いて、視聴者情報管理サーバ１００（ＣＰＵ１１）は、上記算出した交点座標をもとに、演者出力システム３００に、視聴者の視線情報を演者が認識できる形でディスプレイ５３に出力させる（ステップ５４）。

【0088】

これは、例えば図７に示すように、コンテンツ座標系で表現された交点座標Ｉをディスプレイ座標系に変換し、対応する位置に各視聴者のアバター画像７１を表示することで実現できる。同図の例では、視聴者１の仮想視線ＶＬ１、視聴者２の仮想視線ＶＬ２、視聴者３の仮想視線ＶＬ３とディスプレイ５３の交点座標Ｉに、それぞれ対応するアバター画像７１ａ、７１ｂ、７１ｃが表示されている。

【0089】

図８に示すように、演者Ｐは、ディスプレイ５３に表示されたアバター画像７１を見ることで、遠隔地にいる視聴者Ｖの視線や、視聴者Ｖの存在する方向をリアルタイムに認識し、そこに視線を向けたり、そこに向かってパフォーマンスを行うなど、適切な行動をとることができるようになる。同図の例では、同図Ｂに示すように視聴者Ｖがｔ１、ｔ２、ｔ３と時系列で右から左へ視線Ｌを移動させるに応じて、同図Ａに示すように仮想視線ＶＬも移動し、それに応じてアバター画像７１も移動する様子が示されている。

【0090】

また、これにより視聴者Ｖは、あたかも演者Ｐと自身が物理的に近い距離にいるかのようなコミュニケーション体験（例えば視線が合うなど）ができるようになる。

【0091】

[視線情報の提示に関する変形例]
以下、上記演者への視聴者の視線情報の提示に関する変形例について説明する。

【0092】

視聴者の数が増えると、演者出力システム３００のディスプレイ５３上の同じ座標に視聴者の視線が集中する場合がある。このとき、視聴者毎に設定されたアバター画像７１等を表示すると、複数のアバター画像７１が重なるなどして、演者の視認性が下がってしまう。

【0093】

このような場合、視聴者情報管理サーバ１００は、演者出力システム３００に、視聴者毎の複数のアバター画像７１を、複数の視聴者の視線の集中を表現する他の画像等に差し替えて表示させてもよい。

【0094】

例えば、Ｘ人以上の視点がディスプレイ５３上の所定面積以下の領域内に集まった場合、演者出力システム３００は、視聴者のアバター画像７１群を画像Ａに差し替えて表示し、Ｙ人以上の視点が上記領域内に集まった場合、上記画像Ａとは異なる画像Ｂに差し替えて表示するようにしてもよい。また、演者出力システム３００は、アバター画像７１の代わりに、視線の集中具合を表すヒートマップをディスプレイ５３に表示してもよい。

【0095】

視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、演者出力システム３００のディスプレイに表示する視聴者のアバター画像７１を変更、または、加工してもよい。

【0096】

例えば、視聴者情報管理サーバ１００は、視聴者の年齢や、性別、国籍、住居地、視聴時間、同じ演者が出演するコンテンツの視聴回数や購入回数、コンテンツ座標系における演者との距離、その他視聴者に紐付くパラメータに応じて、アバター画像７１に異なる色の枠を付けたり、アバター画像７１の大きさを変えたり、透過度を変えたりしてもよい。

【0097】

演者出力システム３００の映像出力装置として、ディスプレイ５３以外の使用も考えられる。例えば、プロジェクターを用いる場合は、視聴者情報管理サーバ１００は、プロジェクターの投影先平面をコンテンツ座標系で表現しておくことで、ディスプレイ５３を使用した場合と同じように、視聴者のアバター画像７１等を描画すべき位置を計算することができる。

【0098】

また、演者に対するディスプレイ５１の視認性を向上させるために、図２に示したような構成に代えて、図９に示すように、ディスプレイ５３と同じ平面に複数のカメラ５１やマイク５２が（例えばマトリクス状に）埋め込まれた表示装置が用いられてもよい。

【0099】

図１０に示すように、演者出力システム３００において異なる視聴者の情報、例えばアバター画像７１が、ディスプレイ５３の同じ位置に表示されていても、視聴者が演者の方へ視線を向けていない場合も考えられる（視線ＶＬ１は演者Ｐを向いているが、視線ＶＬ２は演者Ｐの方を向いていない）。

【0100】

そこで、演者Ｐに対してより正確な視聴者Ｖの視線情報を伝えるために、視聴者情報管理サーバ１００は、例えば図１１に示すように、視聴者Ｖの視線がコンテンツ座標系において演者Ｐの方を向いている場合と、そうでない場合とで、アバター画像７１のサイズや枠の色を変えたり、アバター画像７１そのものを表示しないようにしてもよい。

【0101】

同図の例では、仮想視線ＶＬ１とＶＬ２は演者Ｐの方を向いているため、それらに対応する各アバター画像７１Ａ及び７１Ｂは通常通りの大きさで表示されているが、仮想視線ＶＬ３は演者Ｐの方を向いていないため、それに対応するアバター画像７１Ｃは、アバター画像７１Ａ及び７１Ｂに比べて小さく表示されている。

【0102】

視聴者の視線が演者Ｐの方を向いているか否かは、例えば視聴者の視線を中心とする任意のサイズのビューイングコーン内に演者が含まれているか否かによって判定することができる。

【0103】

演者出力システム３００に表示する視聴者情報（アバター画像７１）の位置は、任意の間隔で更新されてもよい。視聴者情報管理サーバ１００は、ある視聴者の視線とディスプレイの交点位置ｃ（ｔ）が、直前に計算された同じ視聴者に対する交点位置ｃ（ｔ－1）と異なる場合、２つの交点を結ぶ軌跡上を移動するように視聴者情報を動かしてもよい。

【0104】

［演者に対する視聴者のエフェクトの提示］
次に、演者出力システム３００において視聴者の視線以外の情報を追加で表示することで、視聴者の反応や盛り上がりといった情報を演者に伝える手段について述べる。

【0105】

演者は、これらの情報を得ることによって、視聴者に向けて適切なパフォーマンスを行うことができる。コンテンツ配信者は、図１２Ａのエフェクトテーブルのように、視聴者が演者出力システムに再生リクエストが可能なエフェクトを作成する。当該エフェクトテーブルは、エフェクトを識別するエフェクトＩＤと、それが示すエフェクトの内容とが対応付けられたものである。当該エフェクトテーブルは、例えば視聴者情報管理サーバ１００のストレージ装置２０に記憶される。

【0106】

各視聴者は、図１２Ｂ１～Ｂ３の視聴者アクションテーブルのように、自身が持つ入力デバイスに合わせて、各エフェクトの再生リクエストを発行するためのアクションを登録する。ここでのアクションとは、視聴者出力システム２００が有するデバイスへの特定のコマンドや動きの入力を意味している。

【0107】

図６の右側のフローに示すように、まず、視聴者出力システム２００は、視聴者のアクションから再生リクエスト対象のエフェクトのエフェクトＩＤを取得する（ステップ６１）。

【0108】

例えば、図１２Ｂにおける視聴者１は、頭部の繰り返し上下運動を行うことで、エフェクトＩＤ：１０００のエフェクトに対して、演者出力システム３００におけるエフェクトの再生リクエストを発行する。ヘッドトラッキング機能を持つ視聴環境を持つ視聴者は、図１２Ｂにおける視聴者１のように、頭部の動きをリクエストに用いてもよいし、モーションコントローラを使用している視聴者は、視聴者２のように、特定のモーションをリクエストに用いてもよい。

【0109】

続いて視聴者出力システム２００は、上記エフェクトＩＤに対応するエフェクト再生リクエストを視聴者情報管理サーバ１００へ送信する（ステップ６２）。

【0110】

当該各視聴者のエフェクト再生リクエストは、視聴者を識別する視聴者ＩＤと上記エフェクトＩＤとが関連付けられたデータとして視聴者情報管理サーバ１００に送られる。

【0111】

そして視聴者情報管理サーバ１００（ＣＰＵ１１）は、上記交点座標を基に、演者出力システム３００の当該交点座標に対応する位置（例えばアバター画像７１の近傍）に上記エフェクトＩＤに対応するエフェクトを再生させる（ステップ６３）。

【0112】

例えば、図１３に示すように、視聴者１からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ：１００４（虹）のビジュアルエフェクト７２が再生され、視聴者２からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ：１００３（星）のビジュアルエフェクト７２が再生され、視聴者３からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ１０００（「かわいい」の吹き出しコメント）のビジュアルエフェクト７２が再生される。

【0113】

[演者に対するエフェクト提示処理の変形例]
以下、演者に対するエフェクト提示処理の変形例について説明する。

【0114】

上記視線情報と同様に、視聴者の数が増えると、演者出力システム３００のディスプレイ５１の同じ座標付近にエフェクト再生リクエストが集中する場合がある。このとき、視聴者毎にリクエストされたエフェクトを再生すると、複数のエフェクトが重なるなどして演者の視認性が下がってしまう。

【0115】

このような場合、視聴者情報管理サーバ１００は、演者出力システム３００に、複数の視聴者のエフェクトを、当該複数のエフェクト再生リクエストの集中を表現する、他のエフェクトに差し替えて再生させてもよい。

【0116】

例えば、Ｘ人以上から同じエフェクト再生リクエストをディスプレイ５３上の所定領域内について受けた場合、演者出力システム３００は、各視聴者のエフェクトを、エフェクトの集中を表現する特別なエフェクトに差し替えて再生してもよい。

【0117】

視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、演者出力システム３００で再生されるエフェクトのサイズや、リクエスト可能なエフェクトの種類を制御してもよい。

【0118】

例えば、視聴者情報管理サーバ１００は、視聴者の視聴時間や、同じ演者が出演するコンテンツの視聴回数、購入回数、その他視聴者に紐付くパラメータに応じて、リクエスト可能なエフェクトの種類を制御してもよい。

【0119】

視聴者情報管理サーバ１００は、視聴者全体の盛り上がりを表現するために、視線位置に寄らないエフェクトを再生してもよい。

【0120】

例えば、視聴者情報管理サーバ１００は、特定のタイミングで、特定の数以上の視聴者から同じエフェクト再生リクエストを受けた場合、それを示す特別なエフェクト（例えばディスプレイ５３全体に亘って表示されるビジュアルエフェクト）を演者出力システム３００に再生させてもよい。

【0121】

演者出力システム３００は、スピーカ等の音声再生デバイスを含んでもよい。これにより、視聴者は、ビジュアルエフェクトだけでなくサウンドエフェクトのリクエストが可能になる。

【0122】

例えば、図９と同様の形式でディスプレイ５３に複数のスピーカを埋め込んだ表示デバイスを用いることによって、サウンドエフェクトの再生リクエストを発行した視聴者に対応するアバター画像７１（交点座標Ｉ）の近傍のスピーカから、当該視聴者からリクエストされたサウンドエフェクトを再生することなどが可能になる。

【0123】

［コンテンツに対するエフェクトの付与］
次に、視聴者のアクションに応じて、配信コンテンツに特定のエフェクトを加えることによって、同じ配信コンテンツを視聴している視聴者同士に、お互いがどのような反応をしているかリアルタイムに知らせる方法について説明する。

【0124】

上記演者に対して提示されるエフェクトと同様に、コンテンツ配信者は、視聴者が配信コンテンツに付与リクエストが可能なエフェクトを作成する。各視聴者も同様に、自身が持つ入力デバイスに合わせて、各エフェクトの付与リクエストを発行するためのアクションを登録する。このエフェクトに関するテーブル（例えば図１２に示したのと同様の形式のもの）も、例えば上記視聴者管理サーバ１００のストレージ装置２０に記憶される。

【0125】

図１５は、ある視聴者のエフェクト付与リクエストから、エフェクトが付与されたＶＲコンテンツが視聴者に配信されるまでの流れを示すフローチャートである。また図１６は当該流れを示した概念図である。

【0126】

図１５に示すように、まず、視聴者情報管理サーバ１００のＣＰＵ１１は、各視聴者の視聴者出力システム２００から、各視聴者のエフェクト付与リクエストを受信する（ステップ１５１）。当該エフェクト付与リクエストは、視聴者ＩＤとエフェクトＩＤが関連付けられたデータとして受信される。

【0127】

続いてＣＰＵ１１は、上記エフェクト付与リクエストからエフェクトＩＤを特定する（ステップ１５２）。

【0128】

続いてＣＰＵ１１は、上記エフェクトＩＤを含むエフェクトの付与リクエストをコンテンツ作成サーバ４００へ送信する（ステップ１５３）。

【0129】

そして、コンテンツ作成サーバ４００によって上記エフェクトＩＤに対応するエフェクトが付与されたコンテンツが、コンテンツ配信サーバ５００から視聴者出力システム２００へ配信される（ステップ１５４）。

【0130】

上記エフェクト付与リクエストは、視聴者情報管理サーバ１００を経ずにコンテンツ作成サーバ４００に直接送られてもよい。

【0131】

図１６に示すように、視聴者２から例えば演者Ｐの周囲を輝かせるビジュアルリクエストが視聴者情報管理サーバ１００に送信されると、当該エフェクトがコンテンツ作成サーバ４００によってコンテンツに付与され、各視聴者の視聴者出力システム２００へ配信される。これにより、各視聴者は、異なる視線Ｌ１，Ｌ２，Ｌ３から、当該付与されたエフェクトを視認できる。特に、視聴者１及び３は、視聴者２がコンテンツに対してどのような反応をしているのかをリアルタイムで知ることができる。

【0132】

[コンテンツに対するエフェクトの付与に関する変形例]
以下、コンテンツに対するエフェクト付与処理の変形例について説明する。

【0133】

上記演者に対するエフェクトの提示処理において説明したのと同様の変形が可能である。

【0134】

すなわち、上記演者に対して提示される視線情報やエフェクトと同様に、視聴者の数が増えると、コンテンツの同じ位置付近（例えば演者の周囲）にエフェクト付与リクエストが集中する場合がある。このとき、視聴者毎にリクエストされたエフェクトを付与すると、複数のエフェクトが重なるなどして視聴者の視認性が下がってしまう。

【0135】

このような場合、視聴者情報管理サーバ１００は、コンテンツ作成サーバ４００に、複数の視聴者のエフェクトを、当該複数のエフェクト付与リクエストの集中を表現する、他のエフェクトに差し替えて付与させてもよい。

【0136】

例えば、Ｘ人以上から同じエフェクト付与リクエストを受けた場合、コンテンツ作成サーバ４００は、各視聴者のエフェクトを、エフェクトの集中を表現する特別なエフェクトに差し替えて付与してもよい。

【0137】

視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、コンテンツに付与されるエフェクトのサイズや、リクエスト可能なエフェクトの種類を制御してもよい。

【0138】

例えば、視聴者情報管理サーバ１００は、視聴者の視聴時間や、同じ演者が出演するコンテンツの視聴回数、購入回数、その他視聴者に紐付くパラメータに応じて、付与リクエスト可能なエフェクトの種類を制御してもよい。

【0139】

また、コンテンツ作成サーバ４００は、特定のタイミングで、特定の数以上の視聴者から同じエフェクト付与リクエストを受けた場合、それを示す特別なエフェクト（例えばコンテンツ全体に亘って表示されるビジュアルエフェクト）を付与してもよい。

【0140】

視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００の管理する視聴者属性情報、または、視線パラメータ情報に付与されてきた視聴者属性情報を使い、視聴者が意図的にリクエストを発行することなく、ＶＲコンテンツを変化させてもよい。

【0141】

例えば、図１７に示すように、視聴者情報管理サーバ１００は、世界各地の視聴者の居住地毎の視聴者数を示す視聴者居住地区属性テーブルを記憶しておく。そしてコンテンツ作成サーバ４００は、当該居住地における視聴者数の数に応じて、各地を代表するランドマーク（例えば、日本であれば東京タワー、アメリカ合衆国であれば自由の女神像、イタリアであればピサの斜塔、シンガポールであればマーライオン像等）等の３Ｄモデルの表示サイズを変化させ、演者Ｐの背景に合成してコンテンツを作成してもよい。

【0142】

同図の例では、視聴者数が日本、アメリカ、イタリア、シンガポールの順に多いため、コンテンツの背景として、東京タワー、自由の女神像、ピサの斜塔、マーライオン像の順に３Ｄモデルの大きさが設定されている。

【0143】

[コンテンツに対するエフェクトの付与に関する拡張例]
視聴者の視線情報および位置情報と、演者の視線情報および位置情報を用いることで、視聴者同士の視聴状態の共有や、コンテンツへのエフェクトの追加をより効果的に行うことができる。以下、いくつかの例について説明する。

【0144】

・視聴者同士の視聴状態の共有
視聴状態の共有方法のひとつとして、他視聴者の視聴状態（視聴者の位置等）を配信コンテンツに付加し、コンテンツを視聴する方法が考えられる。この時、無条件に他視聴者の視聴状態が配信コンテンツに付加されると、配信コンテンツの視聴の妨げとなる位置に付加コンテンツ（エフェクト）が現れたり、配信コンテンツが付加コンテンツに埋もれて見られなくなる、といった問題が発生する。

【0145】

図１８は、演者Ｐ、仮想的な複数の視聴者Ｖ、ディスプレイ５３がある位置関係を持つ場合を示している。このとき、視聴者Ｖ１が視聴するコンテンツに対し、他視聴者の視聴位置、または、他視聴者のアバター画像７１の位置に基づき、他視聴者の視聴状態を表現するアバターコンテンツが付加されると、図１９に示す通り、視聴者１のビューイングコーン内の交点座標Ｉ付近に付加コンテンツ（アバターコンテンツ７２）が現れ、視聴者Ｖ１の配信コンテンツの視聴が妨げられる可能性がある。

【0146】

この問題に対し、コンテンツ作成サーバ４００は、図２０のように、視聴者Ｖ１の位置を基準に、仮想的にディスプレイ５３を移動・拡大し、他視聴者の視線と仮想ディスプレイ５３との交点を付加コンテンツの表示位置に用いることで、視聴者Ｖ１の視聴を妨げることなく、配信コンテンツへ他視聴者の視聴状態を表現するコンテンツを付加することができる。

【0147】

上記仮想ディスプレイの位置やサイズの変更は任意で行われてもよい。例えば、コンテンツ作成サーバ４００は、コンテンツに対する視聴者Ｖ１の視聴位置より仮想ディスプレイが必ず後方に来るように設定してもよい。

【0148】

またコンテンツ作成サーバ４００は、仮想ディスプレイの代わりに、任意の平面や球面、またはその組み合わせを用いて他視聴者の視線との交点を求め、それを付加コンテンツの表示位置に用いてもよい。

【0149】

視聴者の数が多い場合、全視聴者のアバター画像７１がコンテンツに付加されると、コンテンツ作成サーバ４００の処理負荷が増大したり、付加コンテンツが過密になることによるコンテンツ全体の質が劣化してしまうことが考えられる。

【0150】

これに対し、視聴者情報管理サーバ１００は、各視聴者が属するグループまたはコミュニティのメンバー（例えばＳＮＳ等から取得される）に限定して、視聴状態の共有を行ってもよい。またコンテンツ作成サーバ４００は、視聴者のアバターコンテンツ７２をより描画が簡易な（解像度の低い）画像に置換してもよい。

【0151】

・エフェクトの再生位置の調整
上記エフェクト付与リクエストによって付与されたエフェクトを視聴者間で共有する場合、エフェクト付与位置が適切に調整されてもよい。ここでは３つの具体的なケースについて述べるが、これらに限定するものではない。

【0152】

（ケース１：各視聴者のビューイングコーン内でエフェクトを再生）
他視聴者からの付与リクエストによってあるエフェクトが再生されても、ビューイングコーン内でエフェクトが再生されない限り、視聴者は気付くことができない。

【0153】

例えば、図２１に示すように、コンテンツ座標系内にランダムに光線のエフェクトを再生する「Random Rays」というエフェクトを想定する。このエフェクトが再生される場合、各視聴者のビューイングコーンの位置によって、各視聴者が見ることのできる光線の数が変わってしまう。

【0154】

これに対し、コンテンツ作成サーバ４００は、各視聴者のビューイングコーン内でエフェクトが再生されるように、エフェクトの再生位置を調節することで、各視聴者が見る再生エフェクトの質を一定に保つことができる。

【0155】

図２２は、他視聴者からリクエストされた「Random Rays」のエフェクト再生位置が、視聴者1のビューイングコーンＶＣに合わせて調整される様子を示している。同図上図が調整前、同図下図が調整後を示しており、上図においてビューイングコーンＶＣから外れた位置にあったｒａｙ２およびｒａｙ４の再生位置が、下図においては、ビューイングコーンＶＣ内で視認可能なように調整されている。

【0156】

このようにエフェクト再生位置を決定するビューイングコーンＶＣの作成は、視聴者の視線方向が中心とされてもよいし、頭部方向が中心とされてもよい。

【0157】

（ケース２：各視聴者の視線方向と演者の位置によってエフェクト発生中心を調整）
ある視聴者から付与リクエストされたエフェクトが、他視聴者に配信されるコンテンツに対しても同じように付与されると、リクエスト元の視聴者とは別の視点から配信コンテンツを視聴している視聴者にとって、視聴の妨げになる可能性がある。

【0158】

例えば、視聴者と演者の間の空間で他視聴者がリクエストしたエフェクトが再生される場合が挙げられる。この問題を避ける手段の一つとして、特定の属性を持つ、または持たないエフェクトが、視聴者と演者の間の空間で再生されようとした場合、その視聴者の視聴者出力システム２００では対象エフェクトの再生を中止する、といった手段が考えられる。しかしこの手段を用いられると、ある視聴者が、異なる視点を持つ他視聴者からリクエストされたエフェクトを見ることができなくなる可能性がある。

【0159】

この問題に対し、各視聴者出力システム２００は、各視聴者の視線方向と演者の位置によって、再生エフェクトの発生中心を調整してもよい。

【0160】

ここでは演者の位置を基準として定義される演者座標系において、エフェクト発生中心を設定することを考える。エフェクト発生中心は、特定の属性を持つ、または持たないエフェクトの再生位置を決める基準となる座標である。

【0161】

図２３は、演者Ｐを中心として設定されたエフェクト発生中心を設定可能な領域Ａを表している。ここでは例として、地面と水平な半径ｒ［ｍ］の円を高さｈ［ｍ］に、その中心を演者Ｐとして設定しているが、領域Ａの設定方法を制限するものではない。

【0162】

図２４は、上記設定された領域Ａを用いて、視聴者ごとにエフェクト発生中心Ｃが設定される様子を示している。エフェクト発生中心Ｃは、各視聴者の視線Ｌを、エフェクト発生中心設定可能領域Ａが存在する平面へ写像し、写像された視線とエフェクト発生中心設定可能領域Ａの交点のうち、視聴者から遠い方として設定されている。

【0163】

同図では、視聴者ごとに異なるエフェクト発生中心Ｃ１～Ｃ３が設定されていることが分かる。同図の状態で、例えば視聴者２（視線Ｌ２に対応）があるエフェクト再生リクエストを発行した場合、視聴者１（視線Ｌ１に対応）の視聴者出力システム２００Ａは、視聴者１のエフェクト発生中心Ｃ１の位置にエフェクトを再生し、視聴者３の出力システム２００Ｃは、視聴者３のエフェクト発生中心Ｃ３の位置にエフェクトを再生する。

【0164】

これにより、どの視聴者にとっても配信コンテンツの視聴が妨げることなく、他視聴者のリクエストしたエフェクトが視聴可能となる。

【0165】

上記領域Ａ及びエフェクト発生中心Ｃの設定処理は、各視聴者出力システム２００ではなく、コンテンツ作成サーバ４００が、視聴者情報管理サーバ１００を介してまたは直接、各視聴者出力システム２００から各視聴者の視線パラメータを受信することで実行してもよい。

【0166】

（ケース３：各視聴者の視線方向とエフェクト属性によってエフェクト再生位置を調整）
特定の属性を持つエフェクトに対し、視聴者の視線方向と背景コンテンツの属性を用いて再生位置が調整されることで、各視聴者に適切なエフェクト再生が可能になる。

【0167】

例として、再生するエフェクトがテキスト属性を持ち、当該テキスト属性を持つエフェクトは、ある一定以上の広がりを持つ背景コンテンツの平面上で再生されると定義する。図２５では、視聴者１と視聴者２の視線（Ｌ１及びＬ２）の先には、それぞれ異なる平面パラメータを持つ背景コンテンツＰｌａｎｅ１およびＰｌａｎｅ２が配置されている。

【0168】

このとき、テキスト属性を持つエフェクトの再生リクエストが発生した場合、図２６に示すように、視聴者１の視聴者出力システム２００ＡはＰｌａｎｅ１上にエフェクトを再生し、視聴者２の視聴者出力システム２００ＢはＰｌａｎｅ２上にエフェクトを再生する。

【0169】

これにより、テキスト属性を持つエフェクトを各視聴者に適した形で再生することができる。なお、視聴者の視線の先に適切な平面が存在しない場合、視聴者から見た演者の後方に仮想的な平面を作成し、その平面上にエフェクトを再生するなどが考えられる。

【0170】

上記各背景コンテンツの表示処理は、各視聴者出力システム２００ではなく、コンテンツ作成サーバ４００が、視聴者情報管理サーバ１００を介してまたは直接、各視聴者出力システム２００から各視聴者の視線パラメータを受信することで実行してもよい。

【0171】

・配信コンテンツへのエフェクト付加の処理や処理位置
大量のエフェクト再生リクエストが発生した場合、配信コンテンツにエフェクトを付加するための処理量増大による配信の遅延や、通信データの増大といった問題が発生する。この問題を避けるために、視聴者の視線情報を用いて再生リクエストのフィルタリング処理を行うことが考えられる。

【0172】

例えば、コンテンツ作成サーバ４００は、ある視聴者に配信するコンテンツには、その視聴者と近い視線パラメータを持つ他視聴者のエフェクト再生リクエストのみを反映してもよい。

【0173】

他にも、同時視聴者の数によって、エフェクトの効果を調整することが考えられる。例えば、図２１、図２２で説明した「Random Rays」エフェクトの場合、コンテンツ作成サーバ４００は、同時視聴者数がＸ人以上であれば、ひとつの再生リクエストに対して再生する光線の数をｎ本とし、同時視聴者数が上記Ｘよりも大きいＹ人以上であれば、上記ｘよりも大きいｙ本としてもよい。

【0174】

また、コンテンツ作成サーバ４００は、視聴者の視線情報に応じて再生位置が決定するエフェクトについては、コンテンツ配信サーバ５００から配信されるコンテンツに付与せず、各視聴者の出力システム２００に当該エフェクトに関する情報を送信してエフェクトを付与させることによって、コンテンツ作成サーバ４００やコンテンツ配信サーバ５００の負荷を下げることが可能になる。

【0175】

・エフェクトの属性によって異なる再生方法を用いる
エフェクトが持つ属性によって再生方法を変える方法として、上述したもの以外にも次のような属性が考えられる。

【0176】

例えば、視聴者の視線方向に応じて表示姿勢を変える、または変えない属性を持つエフェクト、演者の向きによって表示姿勢を変える、または変えない属性を持つエフェクト、視聴者と演者間のビューイングコーン内には表示されない属性を持つエフェクト、視聴者と演者の距離をパラメータとして再生が行われる属性を持つエフェクト、演者と視聴者の視線の一致度をパラメータとして再生が行われる属性を持つエフェクト等が考えられる。

【0177】

以上説明したように、本実施形態によれば、コンテンツ配信システムは、演者に自身と同じ空間内で視聴者の仮想的な視線を把握させることが可能となり、演者に、遠隔地の視聴者に対しても、視聴者の反応に応じた適切なパフォーマンスを行わせることができる。

【0178】

また上記に伴い、演者と視聴者は、遠隔地においても物理的に近距離にいるかのようなコミュニケーションをとることができる。

【0179】

また、各視聴者は、各自が持つ入力デバイスに合わせてエフェクト再生のリクエストが設定可能なため、どのデバイスからでも同じリクエストの送信ができる。（所持デバイスによる差が吸収される。）

【0180】

また、視聴者のアクションがエフェクトＩＤにマッピングされて視聴者情報管理サーバ１００に送られるため、視聴者のアクションを表現するための通信データ量が大幅に削減される。

【0181】

また、コンテンツ配信者がリクエスト可能なエフェクトを作成するため、例えば任意のテキストが利用可能なコミュニケーションで起きる、悪意のあるアクションが排除される。

【0182】

また、コンテンツ配信システムは、視聴者のアクションを配信コンテンツに反映することによって、共通のコンテンツを視聴している視聴者同士に体験を共有させることができる。

【0183】

また、コンテンツ配信システムは、視聴者ごとに再生・付与リクエスト可能なエフェクトを制御することによって、視聴者ごとに提供するサービスを差別化できる。

【0184】

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

【0185】

上述の実施形態において、視聴者情報提供サーバ１００またはコンテンツ作成サーバ３００は、演者と視聴者との間で特定のコミュニケーションが成立したと判断された場合に、対象視聴者の配信コンテンツ、または、全視聴者の配信コンテンツに特別なエフェクトを付与することで、コミュニケーション体験をエンハンスすることが考えられる。特定のコミュニケーションの成立としては、例えば、演者と視聴者の視線が合った場合や、演者の特定のパフォーマンスに対して、視聴者の特定のエフェクト再生リクエストを受けた場合などが挙げられる。

【0186】

視聴者情報管理サーバ１００またはコンテンツ作成サーバ３００は、演者と視聴者の視線が合ったかどうかを、例えば、演者の視線が、ディスプレイ上のある視聴者のアバター画像７１の方向を向いている、かつ、演者とその視聴者の視線ベクトルの内積の絶対値が、両視線ベクトルがほぼ平行となるような所定の閾値未満であるか否かによって判定すればよい。

【0187】

また、視聴者情報管理サーバ１００は、演者と視聴者の視線が合った場合に、ディスプレイ５３上の当該視聴者に対応するアバター画像（交点座標）の近傍から特別なビジュアルエフェクトまたはサウンドエフェクトを出力させてもよい。

【0188】

また、視聴者情報管理サーバ１００は、各視聴者に対して視線が合った回数をカウントしておくことで、各方向でどのくらいの頻度で視線が合ったかを示す値をディスプレイ５３の各交点座標Ｉと対応付けてヒストグラムとして表示することができる。演者はこの情報をもとに、視聴者と視線の合った頻度の低い方向へパフォーマンスを行うことで、視聴者全体の満足度を上げることができる。

【0189】

図１４は、上記頻度を示す頻度ヒストグラム７３がディスプレイ５３に表示された例を示す。頻度ヒストグラム７３の値としては、各方向に存在する視聴者と視線が合った回数の総和を、その方向に存在する視聴者数で割った値を使うこと等が考えられる。

【0190】

また、遠隔地でも演者と視聴者が実体験に近いコミュニケーションを取れることにより、ライブストリーミングサービスにおける特定の視聴位置に対して付加価値を付けることが可能になる。

【0191】

例えば、コンテンツ配信システムは、特定の視聴位置に向けて演者が頻繁にコミュニケーションを取ることを前提に、その位置を利用する視聴者に対して、通常より高い視聴料を課しつつ、その視聴位置を利用できる視聴者数を限定するなどによって、高付加価値な視聴位置を作ることができる。

【0192】

上述の実施形態において、コンテンツは撮影スタジオに固定されたカメラ５１によって撮影されたが、カメラ５１に代えて、例えばドローンによって移動しながら撮影されてもよい。

【0193】

［その他］
本技術は以下のような構成もとることができる。
（１）
演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力する
制御部
を具備する情報処理システム。
（２）
上記（１）に記載の情報処理システムであって、
前記出力装置はディスプレイであり、
前記制御部は、前記変換された視線パラメータを基に、前記ディスプレイと前記仮想的な視線との交点座標を算出し、前記視線情報として、前記ディスプレイの当該交点座標に対応する位置に前記視聴者に対応する画像を出力させる
情報処理システム。
（３）
上記（２）に記載の情報処理システムであって、
前記制御部は、所定数以上の視聴者に対応する前記交点座標が前記ディスプレイの所定領域に存在する場合、前記各視聴者に対応する画像に代えて視聴者群を示す所定の１つの画像を出力させる
情報処理システム。
（４）
上記（２）または（３）に記載の情報処理システムであって、
前記制御部は、前記視聴者の属性を示す属性情報を前記視線パラメータと共に取得し、当該属性情報に応じて前記画像の出力態様を変更する
情報処理システム。
（５）
上記（２）～（４）のいずれかに記載の情報処理システムであって、
前記制御部は、前記変換された視線パラメータを基に、前記視聴者が前記演者に視線を向けているか否かを判定し、当該判定結果に応じて前記画像の出力態様を変更する
情報処理システム。
（６）
上記（２）～（５）のいずれかに記載の情報処理システムであって、
前記制御部は、第１の時刻に算出された第１の視聴者識別情報を有する第１の視聴者に対応する第１の交点座標と、前記第１の時刻より後の第２の時刻に算出された前記第１の視聴者に対応する第２の交点座標とが異なる場合、前記視聴者に対応する画像を前記第１の交点座標から前記第２の交点座標とを結ぶ軌跡上で移動させながら表示させる
情報処理システム。
（７）
上記（２）～（６）のいずれかに記載の情報処理システムであって、
前記画像と共に再生可能な複数種類のエフェクトを示す情報を、当該エフェクトを識別するエフェクト識別情報と対応付けて記憶する記憶部をさらに具備し、
前記制御部は、前記視聴者の端末から、前記視聴者識別情報及び前記エフェクト識別情報を含むエフェクト再生リクエストを受信した場合、当該エフェクト識別情報に対応するエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍から出力させる
情報処理システム。
（８）
上記（７）に記載の情報処理システムであって、
前記制御部は、前記所定数以上の視聴者に対応するエフェクト再生リクエストが前記ディスプレイの所定領域について存在する場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
情報処理システム。
（９）
上記（７）または（８）に記載の情報処理システムであって、
前記制御部は、前記所定数以上の視聴者から同一のエフェクト識別情報を有するエフェクト再生リクエストを受信した場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
情報処理システム。
（１０）
上記（７）～（９）のいずれかに記載の情報処理システムであって、
前記ディスプレイ上の異なる位置には複数のスピーカが設置されており、
前記制御部は、前記エフェクト再生リクエストに含まれる前記エフェクト識別情報に対応するエフェクトがサウンドエフェクトである場合、当該サウンドエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍に存在するスピーカから出力させる
情報処理システム。
（１１）
上記（２）～（１０）のいずれかに記載の情報処理システムであって、
前記制御部は、前記演者の視線を示す視線パラメータを取得し、当該演者の視線パラメータから得られる視線ベクトルと、前記視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満であるであると判断した場合、前記視聴者識別情報に対応する前記交点座標の近傍から所定のエフェクトを出力させる
情報処理システム。
（１２）
上記（２）～（１０）のいずれかに記載の情報処理システムであって、
前記制御部は、前記演者の視線を示す視線パラメータを取得し、複数の視聴者毎に、当該演者の視線パラメータから得られる視線ベクトルと、当該各視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満となった回数をカウントし、前記各視聴者の各回数に対応する値を、各視聴者に対応する前記交点座標の近傍に対応付けたヒストグラムを前記ディスプレイに表示させる
情報処理システム。
（１３）
演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力する
情報処理方法。
（１４）
情報処理装置に、
演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得するステップと、
前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換するステップと、
前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力するステップと
を実行させるプログラム。

【符号の説明】

【0194】

１１…ＣＰＵ
１８…入力装置
１９…出力装置
２０…ストレージ装置
２６…撮像装置
２３…通信装置
５１…カメラ
５２…マイク
５３…ディスプレイ
７１…アバター画像
７２…エフェクト
７３…ヒストグラム
１００…視聴者情報管理サーバ
２００…演者出力システム
３００…視聴者出力システム
４００…コンテンツ作成サーバ
５００…コンテンツ配信サーバ
Ｐ…演者
Ｖ…視聴者
Ｌ…視線
ＶＬ…仮想視線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】