特許 7743934 自由視点映像についての視点切り替え方法、装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-09-16

(45)【発行日】2025-09-25

(54)【発明の名称】自由視点映像についての視点切り替え方法、装置及びシステム

(51)【国際特許分類】

   H04N 21/4728 20110101AFI20250917BHJP

   H04N 21/431 20110101ALI20250917BHJP

   G06F 3/04815 20220101ALI20250917BHJP

【ＦＩ】

H04N21/4728

H04N21/431

G06F3/04815

【請求項の数】 16

(21)【出願番号】P 2024534181

(86)(22)【出願日】2022-12-01

(65)【公表番号】

(43)【公表日】2025-01-22

(86)【国際出願番号】 CN2022135954

(87)【国際公開番号】W WO2023103875

(87)【国際公開日】2023-06-15

【審査請求日】2024-07-16

(31)【優先権主張番号】202111508547.9

(32)【優先日】2021-12-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】シュ、ウェイシン

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１５－０１８０１３（ＪＰ，Ａ）

【文献】特開２０２０－１２９３７７（ＪＰ，Ａ）

【文献】特開２０１１－１０９３７１（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２９２９６３１（ＣＮ，Ａ）

【文献】木村 洋介，階層化３次元データを扱う対話的なコンテンツマネジメントシステム，ヒューマンインタフェースシンポジウム2006 論文集 思いがあふれるインタフェース－「身体」から「身体」へ [CD-ROM] ヒューマンインタフェースシンポジウム2006 論文集，2006年09月25日，pp.201-206

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｆ ３／０４８１５

(57)【特許請求の範囲】

【請求項1】

自由視点映像についての視点切り替え方法であって：
端末が、第１のインタフェースを表示する段階、ここで、前記第１のインタフェースは、第１の視点における第１の自由視点映像の映像画像、及び第１の弾幕コメントを有し、前記第１の弾幕コメントは、前記第１の自由視点映像の第２の視点に対応する；及び
前記端末が、ユーザによって前記第１の弾幕コメントに対して実行された第１の操作を検出した場合に第２のインタフェースを表示する段階、ここで、前記第２のインタフェースは、前記第２の視点における前記第１の自由視点映像の映像画像を有する
を備える、方法。

【請求項2】

端末が、第１のインタフェースを前記表示する段階は：
前記端末が、第１の再生瞬間において前記第１のインタフェースを表示する段階
を有し；
前記端末が、ユーザによって前記第１の弾幕コメントに対して実行された第１の操作を検出した場合に第２のインタフェースを前記表示する段階は：
前記端末が、前記ユーザによって前記第１の弾幕コメントに対して実行された前記第１の操作を検出した場合、第２の再生瞬間において前記第２のインタフェースを表示する段階、ここで、前記第２の再生瞬間は前記第１の再生瞬間に関連している
を有する、請求項１に記載の方法。

【請求項3】

前記第２の再生瞬間が前記第１の再生瞬間に関連していることは：
前記第２の再生瞬間が、前記第１の再生瞬間に等しいこと、又は、前記第２の再生瞬間が、前記第１の再生瞬間から第１の予め設定された時間オフセット値を引いたものに等しいこと；又は、前記第２の再生瞬間が、前記第１の弾幕コメントの発生瞬間に等しいこと、又は、前記第２の再生瞬間が、前記第１の弾幕コメントの発生瞬間から第２の予め設定された時間オフセット値を引いたものに等しいこと
を含む、請求項２に記載の方法。

【請求項4】

前記第１の弾幕コメントは、前記第２の視点を更に含む、請求項１に記載の方法。

【請求項5】

前記端末が、前記ユーザによって前記第１の弾幕コメントに対して実行された前記第１の操作を検出した場合、第２の再生瞬間において前記第２のインタフェースを前記表示する段階は：
前記端末が、前記ユーザによって前記第１の弾幕コメントに対して実行された前記第１の操作を検出した場合、メディアサーバに切り替え要求を送信する段階；及び、前記端末が、前記メディアサーバによって返された第１の映像ファイルを受信する段階、ここで、前記第１の映像ファイルは、前記第２の視点における前記第１の自由視点映像の前記第２の再生瞬間に対応する映像ファイルである；及び
前記端末が、前記第１の映像ファイルに基づき、前記第２の視点における前記第１の自由視点映像の前記第２の再生瞬間の前記映像画像を表示する段階
を含む、請求項２に記載の方法。

【請求項6】

前記端末が、第１の再生瞬間において前記第１のインタフェースを前記表示する段階の前に、前記方法は：
前記端末が、前記第１の自由視点映像の前記第１の再生瞬間に対応する弾幕コメントデータを弾幕コメントサーバに要求する段階、ここで、前記第１の再生瞬間に対応する前記弾幕コメントデータは、前記第１の弾幕コメントのデータを有し、前記第１の弾幕コメントの前記データは、前記第２の視点を含む
を更に備える、請求項２に記載の方法。

【請求項7】

前記端末が、第２の再生瞬間において前記第２のインタフェースを前記表示する段階の後に、前記方法は：
前記端末が、第２の弾幕コメントを送信する第２の操作を受信する段階、及び、前記端末が、前記第２の弾幕コメントのデータを弾幕コメントサーバに送信する段階、ここで、前記第２の弾幕コメントの前記データは、前記第２の弾幕コメントのコンテンツ、及び第３の視点を含み、前記第３の視点は、前記第２の弾幕コメントの送信中における前記第１の自由視点映像に対応する視点である
を更に備える、請求項２に記載の方法。

【請求項8】

前記第２の弾幕コメントの前記データは、前記第２の弾幕コメントの発生瞬間を更に含み、前記第２の弾幕コメントの前記発生瞬間は、前記第２の再生瞬間に等しい、又は、前記第２の弾幕コメントの前記発生瞬間は、前記第２の再生瞬間から第３の予め設定された時間オフセット値を引いたものに等しい、請求項７に記載の方法。

【請求項9】

前記第２のインタフェースは、前記第１の弾幕コメントを更に有する
請求項１に記載の方法。

【請求項10】

前記端末が、第２の再生瞬間において前記第２のインタフェースを前記表示する段階の後に、前記方法は：
前記端末が、第３の再生瞬間において第３のインタフェースを表示する段階、ここで、前記第３の再生瞬間は、前記第１の弾幕コメントの表示時間の後であり、前記第３のインタフェースは、前記第２の視点における前記第１の自由視点映像の前記映像画像を有し、前記第３のインタフェースは、前記第１の弾幕コメントを有しない
を更に備える、請求項２に記載の方法。

【請求項11】

前記方法は：
前記端末が、第４の再生瞬間において第４のインタフェースを表示する段階、ここで、前記第４のインタフェースは前記第１の視点及び推奨視点における前記第１の自由視点映像の前記映像画像を有し、前記推奨視点は第４の視点を含む；及び
前記端末が、前記ユーザによる前記第４の視点を選択する第３の操作を検出した場合、前記第４の視点における前記第１の自由視点映像の第５の再生瞬間の映像画像を表示する段階、ここで、前記第５の再生瞬間は前記第４の再生瞬間に関連している
を更に備える、請求項１に記載の方法。

【請求項12】

前記第５の再生瞬間が前記第４の再生瞬間に関連していることは：
前記第５の再生瞬間が、前記第４の再生瞬間に等しいこと、又は、前記第５の再生瞬間が、前記第４の再生瞬間から第４の予め設定された時間オフセット値を引いたものに等しいこと
を含む、請求項１１に記載の方法。

【請求項13】

前記端末が、第４の再生瞬間において第４のインタフェースを前記表示する段階の前に、前記方法は：
前記端末が、前記第１の視点における前記第１の自由視点映像の前記第４の再生瞬間に対応する第２の映像ファイルをメディアサーバに要求する段階、及び、前記第１の自由視点映像の前記第４の再生瞬間に対応する推奨視点を弾幕コメントサーバに要求する段階、ここで、前記第４の再生瞬間に対応する前記推奨視点は、前記第１の自由視点映像の前記第４の再生瞬間に対応する弾幕コメントの数量に基づき、前記弾幕コメントサーバによって決定される
を更に備える、請求項１１に記載の方法。

【請求項14】

プロセッサ、メモリ、及びタッチスクリーンを備える端末であって、前記メモリ及び前記タッチスクリーンは前記プロセッサに結合されており、前記メモリはコンピュータプログラムコードを記憶するように構成されており、前記コンピュータプログラムコードはコンピュータ命令を含み、前記プロセッサが前記メモリ内の前記コンピュータ命令を読み出した場合、前記端末は、請求項１～１３のいずれか一項に記載の方法を実行することが可能になる、端末。

【請求項15】

コンピュータ命令を備えるコンピュータ可読記憶媒体であって、前記コンピュータ命令が端末上で実行された場合、前記端末は、請求項１～１３のいずれか一項に記載の方法を実行することが可能になる、コンピュータ可読記憶媒体。

【請求項16】

処理装置によって実行された場合、前記処理装置に請求項１～１３のいずれか一項に記載の方法を実行させるコンピュータプログラム命令を備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、インターネット技術の分野に関し、特に、自由視点映像についての視点切り替え方法、装置、及びシステムに関する。

【背景技術】

【0002】

自由視点映像（ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ，ＦＶＶ）とは、対象物体が複数の周囲カメラによって共同で撮影されて映像ストリームが生成され、そのようなファイルにエンコードされることになる、特殊形式における映像ファイルである。次に、生成された自由視点映像は記憶用にメディアサーバにアップロードされ、その後、コンテンツ配信ネットワーク（ｃｏｎｔｅｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ Ｎｅｔｗｏｒｋ，ＣＤＮ）を通じて端末側のクライアントに配信される。端末側のクライアントを使用することにより自由視点映像を鑑賞する場合、ユーザは、指のドラッグ操作を使用することにより、視点を自由に切り替えることができる。従来映像と比較すると、自由視点映像は、ユーザが自由に視点を選択することを可能にし、従って、ディレクタによって視点が決定される従来映像の欠点を克服している。自由視点映像は、ユーザに、没入型のインタラクティブな再生体験を提供する。

【0003】

しかしながら、対象物体が広大な撮影シーンを有する場合、ユーザは、クライアント上で限られた視点範囲を有し、従って、ブラインド領域を有し、その中で、ユーザは、現在の視点範囲以外の視点において視聴することのできる幾つかのハイライトを見逃す可能性がある。この場合、ユーザのために視聴体験を向上させる必要がある。

【発明の概要】

【0004】

本願において提供される自由視点映像についての視点切り替え方法、装置及びシステムによれば、ユーザが第１の弾幕コメントを操作したことを検出した後に、端末は、自由視点映像の再生視点を第１の弾幕コメントに対応する視点に自動的に切り替え、従って、当該自由視点映像の視聴体験を向上させることができる。

【0005】

上述の目的を達成するために、本願の実施形態は、以下の技術的解決手段を提供する。

【0006】

第１の態様によれば、自由視点映像についての視点切り替え方法が提供される。本方法は、端末が、第１のインタフェースを表示する段階、ここで、第１のインタフェースは、第１の視点における第１の自由視点映像の映像画像、及び第１の弾幕コメントを有し、第１の弾幕コメントは、第１の自由視点映像の第２の視点に対応する；及び、端末が、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合、第２のインタフェースを表示する段階、ここで、第２のインタフェースは、第２の視点における第１の自由視点映像の映像画像を有する、を備える。

【0007】

第１の自由視点映像を鑑賞する場合、ユーザは、第１の弾幕コメントを操作することによって第１の弾幕コメントに対応する視点に速やかに切り替えることができ、それにより、ユーザは、当該視点のハイライトを容易に視聴することができることが把握され得る。第１の自由視点映像が、端末上での限られた視点範囲及び更にはブラインド領域を伴う広大な撮影シーンを有する場合において、ユーザは依然として、映像画像上に表示される弾幕コメントのコンテンツから、ハイライトを有する視点を把握することができることが理解され得る。ハイライトとは、大部分のユーザによって高く称賛されている映像クリップであり得、又は、視聴者が関心を寄せている映像クリップ等であり得る。ユーザは、特定の弾幕コメントを操作することにより、当該特定の弾幕コメントに対応する視点に速やかに切り替えて当該視点のハイライトを鑑賞し、従って、ユーザの視聴体験を向上させることができる。

【0008】

可能な実装形態において、端末が第１のインタフェースを表示することは、端末が、第１の再生瞬間において第１のインタフェースを表示することを有する。端末が、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合に第２のインタフェースを表示することは、端末が、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合、第２の再生瞬間において第２のインタフェースを表示すること、ここで、第２の再生瞬間は第１の再生瞬間に関連している、を有する。

【0009】

換言すれば、第１のインタフェースは、第１の視点における第１の自由視点映像の第１の再生瞬間の映像画像を有する。第２のインタフェースは、第２の視点における第１の自由視点映像の第２の再生瞬間の映像画像を有する。

【0010】

可能な実装形態において、第２の再生瞬間が第１の再生瞬間に関連していることは、第２の再生瞬間が、第１の再生瞬間に等しいこと、又は、第２の再生瞬間が、第１の再生瞬間から第１の予め設定された時間オフセット値を引いたものに等しいこと；又は、第２の再生瞬間が、第１の弾幕コメントの発生瞬間に等しいこと、又は、第２の再生瞬間が、第１の弾幕コメントの発生瞬間から第２の予め設定された時間オフセット値を引いたものに等しいこと、を含む。

【0011】

すなわち、幾つかの例において、ユーザが第１のインタフェース内の第１の弾幕コメントに対して第１の操作を実行した後に、再生視点は第１の弾幕コメントに対応する視点に切り替えられ、再生瞬間は、第１の操作が実行されたときの第１のインタフェースの現在の再生瞬間、すなわち、第１の再生瞬間に切り替えられる。代替的に、再生瞬間は、第１の再生瞬間よりも早い瞬間に切り替えられ、すなわち、第２の再生瞬間は、第１の再生瞬間から第１の予め設定された時間オフセット値を引いたものに等しい。幾つかの他の例において、ユーザが第１のインタフェース内の第１の弾幕コメントに対して第１の操作を実行した後に、再生視点は第１の弾幕コメントに対応する視点に切り替えられ、再生瞬間は、第１の弾幕コメントの発生瞬間に切り替えられる、又は、第１の弾幕コメントの発生瞬間よりも早い再生瞬間、すなわち、第１の弾幕コメントの発生瞬間から第２の予め設定された時間オフセット値を引いたものに切り替えられる。

【0012】

可能な実装形態において、第１の弾幕コメントは、第２の視点を更に含む。すなわち、第１の弾幕コメントに対応する視点が、第１の弾幕コメント内で更に表示される。

【0013】

可能な実装形態において、端末が、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合、第２の再生瞬間において第２のインタフェースを表示することは：端末が、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合、メディアサーバに切り替え要求を送信すること；端末が、メディアサーバによって返された第１の映像ファイルを受信すること、ここで、第１の映像ファイルは、第２の視点における第１の自由視点映像の第２の再生瞬間に対応する映像ファイルである；及び、端末が、第１の映像ファイルに基づき、第２の視点における第１の自由視点映像の第２の再生瞬間の映像画像を表示すること、を含む。

【0014】

可能な実装形態において、端末が第１の再生瞬間において第１のインタフェースを表示する前に、本方法は、端末が、第１の自由視点映像の第１の再生瞬間に対応する弾幕コメントデータを弾幕コメントサーバに要求すること、ここで、第１の再生瞬間に対応する弾幕コメントデータは、第１の弾幕コメントのデータを有し、第１の弾幕コメントのデータは、第２の視点を含む、を更に備える。

【0015】

可能な実装形態において、端末が第２の再生瞬間において第２のインタフェースを表示した後に、本方法は、端末が、第２の弾幕コメントを送信する第２の操作を受信すること、及び、端末が、第２の弾幕コメントのデータを弾幕コメントサーバに送信すること、ここで、第２の弾幕コメントのデータは、第２の弾幕コメントのコンテンツ、及び第３の視点を含み、第３の視点は、第２の弾幕コメントの送信中における第１の自由視点映像に対応する視点である、を更に備える。

【0016】

すなわち、ユーザによって第３の視点における映像画像に対して入力された第２の弾幕コメントを端末が受信した場合、第２の弾幕コメント及び第３の視点の間で関連付けが確立され、第２の弾幕コメントのコンテンツ、及び第３の視点に関する情報が弾幕コメントサーバに送信される。

【0017】

可能な実装形態において、第２の弾幕コメントのデータは、第２の弾幕コメントの発生瞬間を更に含み、第２の弾幕コメントの発生瞬間は、第２の再生瞬間に等しい、又は、第２の弾幕コメントの発生瞬間は、第２の再生瞬間から第３の予め設定された時間オフセット値を引いたものに等しい。

【0018】

可能な実装形態において、第２のインタフェースは、第１の弾幕コメントを更に有する。すなわち、ユーザが第１の弾幕コメントに対して第１の操作を実行した場合、切り替え後の第２の再生瞬間は依然として、第１の弾幕コメントを継続的に表示している持続時間内にある。

【0019】

可能な実装形態において、端末が第２の再生瞬間において第２のインタフェースを表示した後に、本方法は、端末が、第３の再生瞬間において第３のインタフェースを表示すること、ここで、第３の再生瞬間は、第１の弾幕コメントの表示時間の後であり、第３のインタフェースは、第２の視点における第１の自由視点映像の映像画像を有し、第３のインタフェースは、第１の弾幕コメントを有しない、を更に備える。

【0020】

可能な実装形態において、本方法は、端末が、第４の再生瞬間において第４のインタフェースを表示すること、ここで、第４のインタフェースは、第１の視点及び推奨視点における第１の自由視点映像の映像画像を有し、推奨視点は第４の視点を含む；及び、端末が、ユーザによる第４の視点を選択する第３の操作を検出した場合、第４の視点における第１の自由視点映像の第５の再生瞬間の映像画像を表示すること、ここで、第５の再生瞬間は第４の再生瞬間に関連している、を更に備える。

【0021】

可能な実装形態において、第５の再生瞬間が第４の再生瞬間に関連していることは、第５の再生瞬間が、第４の再生瞬間に等しいこと、又は、第５の再生瞬間が、第４の再生瞬間から第４の予め設定された時間オフセット値を引いたものに等しいこと、を含む。

【0022】

可能な実装形態において、端末が第４の再生瞬間において第４のインタフェースを表示する段階の前に、本方法は、端末が、第１の視点における第１の自由視点映像の第４の再生瞬間に対応する第２の映像ファイルをメディアサーバに要求すること、及び、第１の自由視点映像の第４の再生瞬間に対応する推奨視点を弾幕コメントサーバに要求すること、ここで、第４の再生瞬間に対応する推奨視点は、第１の自由視点映像の第４の再生瞬間に対応する弾幕コメントの数量に基づき、弾幕コメントサーバによって決定される、を更に備える。

【0023】

換言すれば、ユーザは、端末上に表示された推奨視点を使用することにより、第１の自由視点映像の再生視点を速やかに切り替え、従って、ユーザの映像視聴体験を向上させることができる。

【0024】

幾つかの実施形態において、弾幕コメントサーバは、収集された弾幕コメントデータに基づき、ユーザが選択するために、ハイライトが配置されている視点をユーザに代替的に推奨し得る。例えば、自由視点映像を再生するプロセスにおいて、映像クリップに対応する弾幕コメントの数量は、当該映像クリップの人気度及びハイライト度合いを反映し得る。映像クリップに対応する弾幕コメントの数量が予め設定された閾値よりも大きい場合、当該映像クリップは、ハイライトとみなされ得る。ユーザは、推奨視点を操作することにより、所望の視点に速やかに切り替えることができる。

【0025】

第２の態様によれば、弾幕コメントを切り替えるための方法が提供されて弾幕コメントサーバに適用され、本方法は、第１の端末によって送信された第１の弾幕コメントのデータを受信すること、ここで、第１の弾幕コメントのデータは、第１の自由視点映像の識別子、第１の視点、及び第１の弾幕コメントのコンテンツを含み、第１の弾幕コメントは、第１の端末が第１の視点において第１の自由視点映像の映像画像を再生するときに第１の端末によって送信される；及び、第１の弾幕コメントのデータを記憶すること、を備える。

【0026】

可能な実装形態において、第１の弾幕コメントのデータは、第１の弾幕コメントの発生瞬間を更に含む。

【0027】

可能な実装形態において、本方法は、第２の端末によって送信された第１の要求を受信すること、ここで、第１の要求は、第１の自由視点映像の第１の再生瞬間の弾幕コメントデータを要求するために使用され、第１の再生瞬間は、第１の弾幕コメントの発生瞬間よりも小さい又はそれに等しい；及び、第１の要求を受信したことに応答して、第１の弾幕コメントのデータを第２の端末に返すこと、を更に備える。

【0028】

可能な実装形態において、第２の端末によって送信された第１の要求を受信した後に、本方法は、第１の自由視点映像の第１の再生瞬間に対応する推奨視点リストを第２の端末に送信すること、を更に備える。

【0029】

可能な実装形態において、第１の自由視点映像の第１の再生瞬間に対応する推奨視点リストを第２の端末に送信する前に、本方法は、第１の自由視点映像の第１の再生瞬間に対応する異なる視点の弾幕コメントの数量に関する統計情報を別個に収集すること；及び、第１の自由視点映像の第１の再生瞬間に対応する異なる視点の弾幕コメントの数量に基づき、第１の自由視点映像の第１の再生瞬間に対応する推奨視点リストを決定すること、を更に備える。

【0030】

可能な実装形態において、第１の自由視点映像の第１の再生瞬間に対応する異なる視点の弾幕コメントの数量に基づき、第１の自由視点映像の第１の再生瞬間に対応する推奨視点リストを決定することは、第１の自由視点映像の第１の再生瞬間に対応する第２の視点の弾幕コメントの数量が予め設定された閾値よりも大きいと決定された場合、第１の自由視点映像の第１の再生瞬間に対応する推奨視点リストが第２の視点を含むと決定すること、を更に有する。

【0031】

可能な実装形態において、１つ又は複数の第２の視点が存在する。

【0032】

第３の態様によれば、端末が提供され、これは、プロセッサ、メモリ、及びタッチスクリーンを備え、当該メモリ及び当該タッチスクリーンは当該プロセッサに結合されており、当該メモリはコンピュータプログラムコードを記憶するように構成されており、当該コンピュータプログラムコードはコンピュータ命令を含み、当該プロセッサが当該メモリ内の当該コンピュータ命令を読み出した場合、当該端末は、第１の態様、及び、第１の態様の可能な実装形態のうちのいずれか１つによる方法を実行することが可能になる。

【0033】

第４の態様によれば、弾幕コメントサーバが提供され、これは、プロセッサ、メモリ、及び通信インタフェースを備え、当該メモリ及び当該通信インタフェースは当該プロセッサに結合されており、当該メモリはコンピュータプログラムコードを記憶するように構成されており、当該コンピュータプログラムコードはコンピュータ命令を含み、当該プロセッサが当該メモリ内の当該コンピュータ命令を読み出した場合、当該弾幕コメントサーバは、第２の態様、及び、第２の態様の可能な実装形態のうちのいずれか１つによる方法を実行することが可能になる。

【0034】

第５の態様によれば、コンピュータ可読記憶媒体が提供され、これは、コンピュータ命令を備え、当該コンピュータ命令が端末上で実行された場合、当該端末は、第１の態様又は第２の態様、及び、第１の態様又は第２の態様の可能な実装形態のうちのいずれか１つによる方法を実行することが可能になる。

【0035】

第６の態様によれば、コンピュータプログラム製品が提供される。当該コンピュータプログラム製品がコンピュータ上で実行された場合、端末は、第１の態様又は第２の態様、及び、第１の態様又は第２の態様の可能な実装形態のうちのいずれか１つによる方法を実行することが可能になる。

【0036】

第３の態様～第６の態様において提供される、端末、弾幕コメントサーバ、コンピュータ可読記憶媒体、及びコンピュータプログラム製品によって達成され得る技術的効果については、第１の態様、及び第１の態様の可能な実装形態における技術的効果に関する説明を参照されたい。ここでは、詳細を再度説明しない。

【図面の簡単な説明】

【0037】

【図1】本願の実施形態による、自由視点映像再生システムの構造の概略図である。

【0038】

【図2】本願の実施形態による、端末の構造の概略図である。

【0039】

【図3】本願の実施形態による、自由視点映像クライアント／アプリケーションの構造の概略図である。

【0040】

【図4】本願の実施形態による、サーバの構造の概略図である。

【0041】

【図5A】本願の実施形態による、自由視点映像についての弾幕コメント送信方法の概略フローチャートである。

【0042】

【図5B】本願の実施形態による、自由視点映像についての視点切り替え方法の概略フローチャートである。

【0043】

【図6(1)】本願の実施形態による、幾つかの端末インタフェースの概略図である。

【図6(2)】本願の実施形態による、幾つかの端末インタフェースの概略図である。

【0044】

【図7(1)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図7(2)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図7(3)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【0045】

【図8(1)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図8(2)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【0046】

【図9(1)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図9(2)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図9(3)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【0047】

【図10(1)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図10(2)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図10(3)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【0048】

【図11】本願の実施形態による、自由視点映像についての別の視点切り替え方法の概略フローチャートである。

【0049】

【図12(1)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【図12(2)】本願の実施形態による、幾つかの他の端末インタフェースの概略図である。

【0050】

【図13】本願の実施形態による、自由視点映像についての更に別の視点切り替え方法の概略フローチャートである。

【0051】

【図14】本願の実施形態による、チップシステムの構造の概略図である。

【発明を実施するための形態】

【0052】

本願の実施形態の説明において、別段の指定がない限り、「／」は「又は」を意味する。例えば、Ａ／Ｂは、Ａ又はＢを表し得る。本明細書において、「及び／又は」は、関連付けられた物体間の関連関係のみを説明し、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、以下の、Ａのみが存在する場合、Ａ及びＢの両方が存在する場合、及び、Ｂのみが存在する場合という３つの場合を表し得る。「第１」及び「第２」という用語は、説明の目的を意図したものに過ぎず、相対的重要性の指示又は示唆、又は、示された技術的特徴の数量の黙示的な指示として理解されるべきではない。従って、「第１」又は「第２」によって限定される特徴は、１つ又は複数の特徴を明示的又は黙示的に含み得る。本願の実施形態の説明において、別段の定めがない限り、「複数の」は２つ又は２つよりも大きいことを意味する。加えて、本願の実施形態において、「例」又は「例えば」という単語は、例、図解、又は説明を提示することを表すために使用される。本願の実施形態において「例」又は「例えば」として説明される任意の実施形態又は設計スキームは、別の実施形態又は設計スキームに比べてより好ましいか又はより多くの利点を有するものとして説明されるべきではない。正確には、「例」又は「例えば」等の単語の使用は、具体的な様式における相対的概念を提示することを意図している。

【0053】

本願の実施形態において提供される技術的解決手段の理解を容易にするために、本願の実施形態における技術用語が最初に説明される。

【0054】

自由視点映像とは、対象物体を取り囲む複数のカメラによって当該対象物体に対して実行される共同画像撮影、及び、当該共同画像撮影を通じて取得された映像ストリームに対する特定の映像エンコーディングを通じて生成される、特殊形式における映像ファイルである。次に、生成された自由視点映像が記憶用にメディアサーバにアップロードされ、その後、コンテンツ配信ネットワーク（ｃｏｎｔｅｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ Ｎｅｔｗｏｒｋ，ＣＤＮ）を通じて端末側のクライアントに配信される。ユーザが端末側のクライアント上で自由視点映像を鑑賞する場合、ユーザは手動で視聴点を選択することができる。

【0055】

カメラ位置とは、対象物体を取り囲む複数のカメラが当該対象物体に対する画像撮影を実行しているときに、各カメラが配置される位置の番号である。通常、１つのカメラ位置は１つの画像撮影角度に対応する。１つの画像撮影角度を使用して、特定の角度範囲内にある対象物体の画像を撮影することができる。

【0056】

視点とは、視聴点（ｖｉｅｗｉｎｇ ｐｏｉｎｔ）又は再生視点（ｐｌａｙｉｎｇ ｖｉｅｗｐｏｉｎｔ）等とも称され、ユーザが自由視点映像を鑑賞する画像撮影角度である。換言すれば、或る視点で見た対象物体の画像は、カメラが当該視点の位置（カメラ位置）において画像撮影を実行したときに捉えられた画像とみなされ得る。

【0057】

映像再生とは、（自由視点映像を含む）映像ファイルに対してデコーディング又はレンダリング等が実行された後に、一群の画像を表示ウィンドウ内に時系列で表示し、対応する音声を再生するプロセスである。

【0058】

弾幕コメントとは、（自由視点映像を含む）映像上に、指定された時点で、又は指定された時間帯においてルールに従い表示され、関心を引く予期せぬ体験を映像視聴にもたらすコメント又は注釈である。

【0059】

図１は、本願の実施形態による、システムアーキテクチャの概略図である。システムアーキテクチャは、カメラアレイ５００、メディア処理サーバ２００、メディアサーバ３００、コンテンツ配信ネットワーク（ｃｏｎｔｅｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ ｎｅｔｗｏｒｋ，ＣＤＮ）４００、端末１００、及び弾幕コメントサーバ６００を含む。

【0060】

カメラアレイ５００は、対象物体（撮影される物体／画像撮影シーン）の周囲の複数の（例えば、１８～３６台の）カメラ、又はカメラを有する別のデバイスを含む。カメラは、カメラ位置０、カメラ位置１、...、及びカメラ位置ｎに別個に対応する。カメラアレイ５００は、対象物体に対して複数の角度から別個に画像撮影を実行し、複数の角度からの画像撮影を通じて取得された映像ストリームをメディア処理サーバ２００にアップロードする。

【0061】

メディア処理サーバ２００は、受信された複数の角度の映像ストリームをトランスコードして自由視点映像を生成するように構成されており、その後、メディア処理サーバ２００は、生成された自由視点映像を記憶用にメディアサーバ３００にアップロードする。

【0062】

例えば、メディア処理サーバ２００によって複数の角度の映像ストリームに対して実行される処理プロセスは、フォーカスアライメント、フレームアライメント同期コーディング、回転補助ストリーム生成、及び仮想視点合成を含むが、これらに限定されない。フォーカスアライメントは、視点を切り替えるプロセスにおいて、撮影された物体の画像の円滑な遷移を確実にすべく、例えば、画像切り出し様式で実行され得る。フレームアライメント同期コーディングは、複数のカメラによる画像撮影を通じて取得された映像フレームを同じ瞬間にアライメントさせるために使用される。仮想視点合成は、画像撮影中に使用される必要があるカメラの台数を削減するために、又は、視点を切り替えるプロセスにおいて、撮影された物体の画像の円滑な遷移を可能にするために、２つの実映像ストリームに仮想映像ストリームを挿入することである。回転補助ストリームは回転表示のために使用されて、総トラフィック使用量の低減に役立つ。

【0063】

メディア処理サーバ２００によって実行される処理プロセスは例に過ぎず、カメラアレイ５００によってアップロードされた映像ストリームに基づき自由視点映像を生成するプロセスにおいて使用される特定の技術的解決手段は、本願の実施形態において限定されないことに留意されたい。

【0064】

本明細書におけるメディア処理サーバ２００は、１つの独立した物理サーバ、複数の独立した物理サーバ、クラウドコンピューティングを提供するクラウドサーバ、クラウドコンピューティングプラットフォーム、及び仮想化センターのうちの少なくとも１つであり得ることに更に留意されたい。

【0065】

メディアサーバ３００は、大量の自由視点映像を記憶し、維持する。メディアサーバ３００が、自由視点映像のコンテンツを要求する旨の、端末１００によって送信された要求を受信した場合、メディアサーバ３００は、ＣＤＮ４００を通じて端末１００に、当該自由視点映像の対応するコンテンツを速やかに返す。

【0066】

本明細書におけるメディアサーバ３００は、１つの独立した物理サーバ、複数の独立した物理サーバ、クラウドコンピューティングを提供するクラウドサーバ、クラウドコンピューティングプラットフォーム、及び仮想化センターのうちの少なくとも１つであり得ることに留意されたい。

【0067】

ＣＤＮ４００は、端末（例えば、端末１００）のユーザが、中央プラットフォームの機能モジュール、例えば、負荷分散モジュール、コンテンツ配信モジュール、及びスケジューリングモジュールを通じて、自由視点映像などの必要とされるコンテンツを、所々に配備されたエッジサーバを使用することによって近くで取得することを可能にし、従って、ネットワーク混雑を軽減し、ユーザアクセス応答速度及びヒット率を向上させる。

【0068】

端末１００は、端末１００にインストールされた自由視点映像クライアントを使用することにより、自由視点映像のコンテンツをメディアサーバ３００に要求し、ＣＤＮ４００を通じてメディアサーバ３００によって返された自由視点映像のコンテンツに基づき、自由視点映像を再生することができる。端末１００が、自由視点映像を再生するときに弾幕コメント機能を更に有効にする場合、端末１００は更に、現在の再生瞬間又は時間帯に対応する弾幕コメント情報を弾幕コメントサーバ６００に要求する必要がある。換言すれば、端末１００によって再生される画像は、自由視点映像の画像及び対応する弾幕コメント情報を含む。加えて、自由視点映像を再生するとき、端末１００は更に、ユーザによって入力された弾幕コメントコンテンツを受信して、ユーザによって入力された弾幕コメントコンテンツ及び他の弾幕コメント情報を、記憶用に弾幕コメントサーバ６００にアップロードすることができる。

【0069】

例えば、本願の本実施形態における端末１００は、例えば、移動電話、タブレットコンピュータ、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＰＣ）、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ，ＰＤＡ（登録商標））、ネットブック、ウェアラブルデバイス、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，ＡＲ）デバイス、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ，ＶＲ）デバイス、車載デバイス、スマートスクリーン、又はインテリジェント車両等であり得る。端末１００の具体的な形態は、本願において特別に限定されない。

【0070】

弾幕コメントサーバ６００は、各端末（例えば、端末１００を含む）によって送信された弾幕コメント情報を受信するように構成されている。弾幕コメント情報は、自由視点映像の識別子、弾幕コメントの発生瞬間、弾幕コメントの持続時間、弾幕コメントコンテンツ、及び弾幕コメントの送信中における視聴点等を含むが、これらに限定されない。パラメータの意味は、後に詳細に説明されるものであり、ここでは説明されない。

【0071】

本明細書における弾幕コメントサーバ６００は、１つの独立した物理サーバ、複数の独立した物理サーバ、クラウドコンピューティングを提供するクラウドサーバ、クラウドコンピューティングプラットフォーム、及び仮想化センターのうちの少なくとも１つであり得ることに留意されたい。

【0072】

本願の本実施形態において示されるシステム構造は、技術的解決手段が適用可能であるシステムアーキテクチャに対する特定の制限を構成するものではないことが理解され得る。本願の幾つかの他の実施形態において、本願の実施形態において提供される技術的解決手段が適用可能であるシステムアーキテクチャは、本図に示されているものに比べてより多いか又はより少ないデバイス、又は、デバイスの一部の組み合わせ、又は、デバイスの一部からの分割等を更に含み得る。

【0073】

図２は、本願の実施形態による、端末１００の構造の例の概略図である。端末１００は、プロセッサ１１０、外部メモリインタフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ，ＵＳＢ）インタフェース１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、移動通信モジュール１５０、無線通信モジュール１６０、音声モジュール１７０、スピーカ１７０Ａ，受信器１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、及び加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｕｌｅ，ＳＩＭ）カードインタフェース１９５等を含み得る。

【0074】

本願の本実施形態において示される構造は、端末１００に対する特定の制限を構成するものではないことが理解され得る。本願の幾つかの他の実施形態において、端末１００は、本図に示されるものに比べてより多いか又はより少ないコンポーネントを含み得、又は、幾つかのコンポーネントが組み合わされ得、又は、幾つかのコンポーネントが分割され得、又は、異なるコンポーネントレイアウトが存在し得る。本図に示されるコンポーネントは、ハードウェア、ソフトウェア、又は、ソフトウェア及びハードウェアの組み合わせによって実装され得る。

【0075】

プロセッサ１１０は、１つ又は複数の処理ユニットを含み得る。例えば、プロセッサ１１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ，ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＧＰＵ）、画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ，ＩＳＰ）、コントローラ、映像コーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＮＰＵ）等を含み得る。異なる処理ユニットは、独立したコンポーネントであってよく、又は、１つ又は複数のプロセッサに統合されてよい。

【0076】

映像コーデックは、デジタル映像を圧縮又は展開するように構成されている。端末１００は、１つ又は複数の映像コーデックをサポートし得る。このように、端末１００は、複数のコーディング形式、例えば、動画専門家集団（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）－１、ＭＰＥＧ－２、ＭＰＥＧ－３、及びＭＰＥＧ－４等で映像を再生又は記録することができる。本願の本実施形態において、映像コーデックは、端末１００によってメディアサーバ３００からダウンロードされた自由視点映像をデコードして、端末１００上で当該自由視点映像を再生することができる。

【0077】

内部メモリ１２１は、コンピュータ実行可能プログラムコードを記憶するように構成されてよく、実行可能プログラムコードは命令を含む。内部メモリ１２１は、プログラム記憶領域及びデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、及び、少なくとも１つの機能（例えば、自由視点映像用の再生機能）によって必要とされるアプリケーション等を記憶し得る。データ記憶領域は、端末１００の使用中に作成されたデータ（例えば、音声データ及びコンタクト）等を記憶し得る。加えて、内部メモリ１２１は、高速ランダムアクセスメモリを含み得る、又は、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリ、又はユニバーサルフラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ，ＵＦＳ）等を含み得る。プロセッサ１１０は、内部メモリ１２１に記憶された命令及び／又はプロセッサに配設されたメモリに記憶された命令を実行して、端末１００の様々な機能アプリケーション及びデータ処理を実行する。

【0078】

本願の幾つかの実施形態において、内部メモリ１２１は、自由視点映像クライアント／アプリケーションによって必要とされるプログラムコードを記憶する。自由視点映像クライアント／アプリケーションは、メディアサーバ３００から自由視点映像をダウンロードして当該自由視点映像を再生する機能を実装する、ユーザによって入力された弾幕コメントコンテンツを受信する、ユーザによって入力された弾幕コメントコンテンツ、及び他の弾幕コメント情報を弾幕コメントサーバ６００にアップロードする、及び、ユーザによって実行された視点切り替え操作を受信して現在再生中の自由視点映像の視聴点を切り替える、等を行うことができる。

【0079】

例えば、図３は、本願の実施形態による、自由視点映像クライアント／アプリケーションの構造の概略図である。自由視点映像クライアント／アプリケーションは、ユーザインタフェースモジュール、ユーザ制御モジュール、弾幕コメントモジュール、及び再生モジュールを含む。

【0080】

ユーザインタフェースモジュールは、クライアント／アプリケーション及びユーザの間の対話のためのグラフィカルユーザインタフェース（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ，ＧＵＩ）を提供する、及び、自由視点映像の映像画像を表示する、等を行うように構成されている。

【0081】

ユーザ制御モジュールは、ユーザによって実行された視点切り替え操作（例えば、ユーザの指によってディスプレイ上で実行されるスライド操作、又はユーザによるリモートコントロールのボタン押下の操作）を受信し、視点切り替え方向（例えば、左への視点切り替え又は右への視点切り替え）及び切り替え角度振幅（例えば、１０度又は２０度の切り替え）を算出し、かつ、算出された視点切り替え方向及び切り替え角度振幅を再生モジュール内の視点制御モジュールに送信して、現在の自由視点映像の視聴点を切り替える、ように構成されている。

【0082】

幾つかの例において、端末１００のディスプレイはタッチスクリーンである。この場合、ユーザ制御モジュールは、ディスプレイスライド制御モジュールを含む。ディスプレイスライド制御モジュールは、ディスプレイイベントをキャプチャするように構成されており、ディスプレイイベントは、検出された指スライドイベントを含み、かつ、指スライド方向及び指スライド距離を含む。ディスプレイイベントは、視聴点の切り替え方向及び切り替え角度に変換される。幾つかの他の例において、端末１００は、リモートコントロールを伴って構成されている。この場合、ユーザ制御モジュールは、リモートコントロール用のボタン制御モジュールを含む。リモートコントロール用のボタン制御モジュールは、リモートコントロールのボタンイベントを受信するように構成されており、ボタンイベントは、ボタンの識別子、及びボタンの押下回数又は押下持続時間の数量を含む。次に、ボタンイベントに基づき、視聴点の切り替え方向及び切り替え角度が決定される。例えば、ユーザによって操作されたボタンはボタンの識別子に基づき識別され、例えば、左ボタン又は右ボタンがタップされて切り替え方向が決定される。切り替え角度振幅は、ボタンの押下回数又は押下持続時間の数量に基づき識別される。

【0083】

再生モジュールは、視点制御モジュール、データデカプセル化モジュール、映像レンダリングモジュール、データダウンロードモジュール、音声及び映像エンコーディングモジュール、及び、音声及び映像同期モジュールを含む。

【0084】

視点制御モジュールは、ユーザによって指示され、かつユーザ制御モジュールによって送信された視点切り替え方向及び切り替え角度振幅を受信し、自由視点映像の現在の視点に基づき切り替え後の対象視点を算出して、対象視点の映像ファイルをダウンロードするようデータダウンロードモジュールに通知するように構成されている。データダウンロードモジュールは、端末１００の関連するソフトウェア及びハードウェアインタフェースを呼び出すことにより、対象視点に対応する映像ファイルをメディアサーバ３００に要求する。次に、端末１００のクライアント／アプリケーションのデータデカプセル化モジュールが使用されて、サーバ３００によって返された映像ファイルをデカプセル化して音声及び映像データを取得し、音声及び映像デコーディングモジュールを使用することによって当該映像ファイルがデコードされ、映像レンダリングモジュールを使用することによって映像画像がレンダリングされ、音声及び映像同期モジュールを使用することによってメディアデータ内の映像及び音声が同期され、その後、対象視点に対応する映像が再生され、従って、自由視点映像の視点切り替えが実装される。

【0085】

弾幕コメントモジュールは、弾幕コメント入力モジュール、弾幕コメント表示モジュール、及び弾幕コメント制御モジュールを含む。弾幕コメント入力モジュールは、ユーザによって入力された弾幕コメントコンテンツ（これは、色、フォント、太字、及び斜体などの、ユーザによって選択された弾幕コメントコンテンツの形式を更に含み得る）を受信し、弾幕コメントコンテンツ及び他の弾幕コメント情報を弾幕コメントサーバ６００にアップロードするように構成されている。任意選択的に、弾幕コメント入力モジュールは、ユーザが弾幕コメントコンテンツを入力した場合、自由視点映像に対応する視点を更に自動的に記入し得る。弾幕コメント表示モジュールは、自由視点映像の現在の再生瞬間に対応する弾幕コメント情報を表示するように構成されている。弾幕コメント制御モジュールは、ユーザによる視点切り替えの操作（例えば、ユーザが対象弾幕コメントに対応するコントロールをタップする、又はユーザが推奨視点リストから特定の視点のオプションを選択する）を受信し、当該ユーザ操作に基づき、構文解析を通じて、切り替えられることになる対象視点を取得して、再生モジュールの視点制御モジュールに当該対象視点を送信し、それにより、視点制御モジュールが再生された自由視点映像を当該対象視点に切り替える、ように構成されている。

【0086】

端末１００の無線通信機能は、アンテナ１、アンテナ２、移動通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、及びベースバンドプロセッサ等を通じて実装され得る。

【0087】

移動通信モジュール１５０は、端末１００に適用される、２Ｇ／３Ｇ／４Ｇ／５Ｇ／６Ｇ／次世代無線通信技術を含む無線通信解決手段を提供し得る。幾つかの実施形態において、移動通信モジュール１５０における少なくとも幾つかの機能モジュールはプロセッサ１１０に配設され得る。幾つかの実施形態において、移動通信モジュール１５０の少なくとも幾つかの機能モジュールは、プロセッサ１１０の少なくとも幾つかのモジュールと同じデバイスに配設され得る。

【0088】

無線通信モジュール１６０は、端末１００に適用される無線通信、例えば、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ，ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ，Ｗｉ－Ｆｉ（登録商標））ネットワーク）、Ｂｌｕｅｔｏｏｔｈ（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標），ＢＴ）、全地球航法衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ，ＧＮＳＳ）、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ，ＦＭ）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＮＦＣ）技術、及び赤外線（ｉｎｆｒａｒｅｄ，ＩＲ）技術等に、解決手段を提供し得る。

【0089】

端末１００は、ＧＰＵ、ディスプレイ１９４、及びアプリケーションプロセッサ等を使用することにより表示機能を実装し得る。ＧＰＵは、画像処理のためのマイクロプロセッサであり、ディスプレイ１９４及びアプリケーションプロセッサに接続されている。ＧＰＵは、数学的及び幾何学的計算を実行し、画像をレンダリングするように構成されている。プロセッサ１１０は、表示情報を生成又は変更するためにプログラム命令を実行する１つ又は複数のＧＰＵを含み得る。

【0090】

端末１００は、ＩＳＰ、カメラ１９３、映像コーデック、ＧＰＵ、ディスプレイ１９４、及びアプリケーションプロセッサ等を使用することにより、画像撮影機能を実装し得る。

【0091】

外部メモリインタフェース１２０を使用して、外部メモリカード、例えば、マイクロＳＤカードに接続して、端末１００の記憶能力を拡張することができる。外部メモリカードは、外部メモリインタフェース１２０を通じてプロセッサ１１０と通信し、データ記憶機能を実装する。例えば、音楽ファイル又は映像ファイルは、外部ストレージカードに記憶される。

【0092】

端末１００は、音声モジュール１７０、スピーカ１７０Ａ、受信器１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、及びアプリケーションプロセッサ等を使用することにより、例えば、音楽再生及び録音等の音声機能を実装し得る。

【0093】

充電管理モジュール１４０は、充電器からの充電入力を受信するように構成されている。充電器は、無線充電器又は有線充電器であってよい。有線充電の幾つかの実施形態において、充電管理モジュール１４０は、ＵＳＢインタフェース１３０を通じて有線充電器の充電入力を受信し得る。無線充電の幾つかの実施形態において、充電管理モジュール１４０は、端末１００の無線充電コイルを通じて無線充電入力を受信し得る。充電管理モジュール１４０は、バッテリ１４２を充電するとき、電力管理モジュール１４１を使用することにより、端末に更に電力を供給し得る。

【0094】

電力管理モジュール１４１は、バッテリ１４２、充電管理モジュール１４０、及びプロセッサ１１０に接続するように構成されている。電力管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０から入力を受信し、プロセッサ１１０、内部メモリ１２１、ディスプレイ１９４、カメラ１９３、及び無線通信モジュール１６０等に電力を供給する。電力管理モジュール１４１は、バッテリ容量、バッテリサイクル数、及び、バッテリ健康状態（電気漏洩又はインピーダンス）などのパラメータをモニタリングするように更に構成され得る。幾つかの他の実施形態において、電力管理モジュール１４１は、代替的に、プロセッサ１１０に配設され得る。幾つかの他の実施形態において、電力管理モジュール１４１及び充電管理モジュール１４０は、代替的に、同じコンポーネントに配設され得る。

【0095】

図４を参照されたい。図４は、弾幕コメントサーバ６００の構造の概略図である。弾幕コメントサーバ６００は、１つ又は複数のプロセッサ６１０、１つ又は複数のメモリ６２０、及び１つ又は複数の通信インタフェース６３０を含む。

【0096】

プロセッサ６１０、メモリ６２０、及び通信インタフェース６３０は、バスを通じて接続されている。プロセッサ６１０は、汎用中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）（例えば、ＣＰＵ０及びＣＰＵ１）、マイクロプロセッサ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＧＰＵ）、ニューラルネットワーク処理ユニット（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＮＰＵ）、又は、本願の解決手段のプログラム実行を制御するように構成された集積回路を含み得る。

【0097】

通常、メモリ６２０はコンピュータ実行可能プログラムコードを記憶するように構成され得、実行可能プログラムコードは命令を含む。メモリ６２０は、プログラム記憶領域及びデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム及びアプリケーションプログラムコード等を記憶し得る。幾つかの例において、データ記憶領域は、ユーザによってアップロードされた各自由視点映像の弾幕コメントデータを記憶する。幾つかの他の例において、データ記憶領域は、ユーザによってアップロードされた弾幕コメントデータに基づき決定された、各自由視点映像のハイライトの視点リスト等を更に記憶する。加えて、メモリ６２０は、高速ランダムアクセスメモリを含み得る、又は、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリ、又はユニバーサルフラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ，ＵＦＳ）等を含み得る。

【0098】

プロセッサ６１０は、メモリ６２０に記憶された命令を実行することにより、弾幕コメントサーバ６００の様々な機能アプリケーション及びデータ処理を実行する。プロセッサ６１０は、複数のＣＰＵを更に含み得、プロセッサ６１０は、シングルＣＰＵ（ｓｉｎｇｌｅ－ＣＰＵ）プロセッサ又はマルチＣＰＵ（ｍｕｌｔｉ－ＣＰＵ）プロセッサであり得る。本明細書におけるプロセッサは、データ（例えば、コンピュータプログラム命令）を処理するように構成された１つ又は複数のデバイス、回路、又は処理コアであり得る。

【0099】

通信インタフェース６３０は、別のデバイス又は通信ネットワーク、例えば、イーサネット（登録商標）又は無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ，ＷＬＡＮ）と通信するように構成され得る。

【0100】

図１に示されるメディア処理サーバ２００及びメディアサーバ３００等については、図３に示される弾幕コメントサーバ６００の構造を参照するよう留意されたい。メディア処理サーバ２００及びメディアサーバ３００は、弾幕コメントサーバ６００のそれらに比べてより多いか又はより少ないコンポーネントを含み得る、又は幾つかのコンポーネントが組み合わされ得る、又は幾つかのコンポーネントが分割され得る、又は異なるコンポーネント配置が使用され得る。これは、本願の実施形態において限定されない。

【0101】

以下では、本願の実施形態において提供される技術的解決手段を詳細に説明する。

【0102】

図５Ａは、本願の実施形態による、自由視点映像についての弾幕コメント送信方法の概略フローチャートである。本プロセスは、以下の段階を含む。

【0103】

Ｓ５００：第１の端末は、視点Ａにおける第１の自由視点映像の映像ファイルａをメディアサーバに要求する。

【0104】

Ｓ５０１：メディアサーバは、第１の端末に映像ファイルａを返す。

【0105】

Ｓ５０２：第１の端末は、映像ファイルａに基づき、視点Ａにおける第１の自由視点映像の映像画像を再生する。

【0106】

例えば、段階Ｓ５００～Ｓ５０２において、自由視点映像を再生するために使用されるクライアント／アプリケーションが第１の端末（これは、図１における端末１００のうちのいずれか１つであり得る）にインストールされ、当該クライアント／アプリケーションは、自由視点映像クライアント／アプリケーションと称され得る。ユーザは、クライアント／アプリケーションを起動して、当該クライアント／アプリケーションのディスプレイインタフェース内で第１の自由視点映像を再生することを選択し得る。幾つかの実施形態において、第１の端末は、デフォルトで、視点Ａにおける第１の自由視点映像の映像画像を再生する。ユーザによる第１の自由視点映像を再生することを選択する操作を検出した場合、第１の端末は、視点Ａにおける第１の自由視点映像の映像ファイルａを、ＣＤＮを通じてメディアサーバに要求する。これに応じて、メディアサーバは、ＣＤＮを通じて第１の端末に映像ファイルａを返し、第１の端末は、映像ファイルａに基づき、視点Ａにおける第１の自由視点映像の映像画像を表示する。幾つかの他の実施形態において、第１の端末は、最初に、視点Ａ以外の視点における第１の自由視点映像の映像画像を再生する。第１の端末が、ユーザによる視点Ａへの切り替えを指示する操作を検出した場合、第１の端末は、視点Ａにおける第１の自由視点映像の映像ファイルａを、ＣＤＮを通じてメディアサーバに要求する。これに応じて、メディアサーバは、ＣＤＮを通じて第１の端末に映像ファイルａを返し、第１の端末は、映像ファイルａに基づき、視点Ａにおける第１の自由視点映像の映像画像を表示する。

【0107】

例えば、第１の端末は移動電話である。移動電話にインストールされた映像アプリケーションは、自由視点映像の再生をサポートする。この場合、ユーザは、移動電話内の映像アプリケーションを起動して、当該映像アプリケーションのインタフェース内で第１の自由視点映像を再生することを選択することができる。例えば、図６（１）は、第１の自由視点映像を再生するための、移動電話によって表示された再生インタフェース６０１を示す。再生インタフェース６０１は、或る視点における第１の自由視点映像の映像画像６０２、及び、ルールに従い映像画像６０２内に現れる（例えば、弾幕コメント６０３を含む）弾幕コメントを含む。再生インタフェース６０１は、幾つかの機能コントロール、例えば、再生プログレスバー６０４、再生コントロール６０９、次コントロール６１０、弾幕コメントオン／オフコントロール６０５、弾幕コメント入力ボックス６０６、弾幕コメント送信コントロール６０７、及び視点コントロール６０８等を更に含み得る。

【0108】

再生プログレスバー６０４は、現在の映像の再生プログレスを示し、ドラッグ様式で現在の映像の再生プログレスを調整するためにユーザによって使用される。再生コントロール６０９は、現在の映像の再生を一時停止又は継続するために使用される。次コントロール６１０は、次の映像に切り替えるために使用される。弾幕コメントオン／オフコントロール６０５は、弾幕コメント機能を有効又は無効にするために使用される。弾幕コメント入力ボックス６０６は、ユーザによって入力された弾幕コメントコンテンツを受信するために使用される。弾幕コメント送信コントロール６０７は、ユーザによって入力された弾幕コメントコンテンツ又はデフォルトの弾幕コメントコンテンツを送信するために使用される。

【0109】

視点コントロール６０８は、移動電話によって現在再生されている映像画像６０２に対応する視点（例えば、６０度）を表示するために使用され、視点を切り替えるために使用される視点ルーラを呼び出すために使用される。ユーザが視点コントロール６０８を操作したことが検出された場合、移動電話は、図６（２）に示される再生インタフェース６１１を表示し、視点ルーラ６１２が再生インタフェース６１１内に表示される。ユーザは、指を使用することにより、視点ルーラ６１２上を左方向又は右方向にスライドさせて、移動電話によって現在再生されている自由視点映像の視点を切り替えることができる。例えば、ユーザの指をルーラ上の右方向にスライドさせる操作を検出した場合、移動電話は、図７（１）に示される再生インタフェース６１３を表示する。再生インタフェース６１３は、視点Ａ（例えば、７０度）における第１の自由視点映像の映像画像である。

【0110】

ここでは、説明のために、ユーザが視点コントロール６０８を操作して視点ルーラ６１２を呼び出す例が使用されていることに留意されたい。幾つかの他の例において、移動電話は、自由視点映像の再生インタフェース６０１内に視点ルーラ６１２等を直接表示し得る。視点ルーラ６１２を表示するためのインタフェースは、本願の実施形態において限定されない。

【0111】

幾つかの例において、予め設定された持続時間１内に移動電話が視点ルーラ上でのユーザ操作を受信しなかった後に、移動電話は、例えば、図７（２）に示される再生インタフェース６１４のように、視点ルーラを非表示にし得る。幾つかの他の例において、ユーザによる再生インタフェース６１４上のディスプレイをタップする操作を検出した場合、移動電話は、図７（３）に示される再生インタフェース６１５を表示し、再生プログレスバー６０４、再生コントロール６０９、次コントロール６１０、弾幕コメントオン／オフコントロール６０５、弾幕コメント入力ボックス６０６、弾幕コメント送信コントロール６０７、及び視点コントロール６０８などの上述の機能コントロールが再生インタフェース６１５内に再び表示される。

【0112】

Ｓ５０３：視点Ａにおける第１の自由視点映像の映像画像を再生しているとき、第１の端末は、ユーザによる第１の弾幕コメントを入力する操作１を受信し、第１の端末は、第１の弾幕コメントのデータを生成する。第１の弾幕コメントのデータは、視点Ａ及び再生瞬間Ｔ１を含む。

【0113】

幾つかの実施形態において、視点Ａにおける第１の自由視点映像の映像画像を再生しているとき、第１の端末は、弾幕コメント機能を更に有効にする。この場合、第１の端末は、第１の自由視点映像の再生プログレスに基づき、第１の自由視点映像の対応する再生瞬間に対応する弾幕コメントデータを弾幕コメントサーバに更に要求する必要がある。図５Ａにおける段階Ｓ５０３'。これに応じて、弾幕コメントサーバによって返された弾幕コメントデータを受信した後に、第１の端末は、表示された映像画像上に対応する弾幕コメントを表示する。図５Ａにおける段階Ｓ５０３''。幾つかの例において、第１の自由視点映像を鑑賞しているとき、ユーザは更に、第１の端末を使用することにより、第１の弾幕コメントのコンテンツを入力し、第１の弾幕コメントのデータを弾幕コメントサーバに送信することができる。

【0114】

例えば、図７（３）に示されている通り、移動電話が視点Ａにおける第１の自由視点映像の映像画像を再生するとき、移動電話は、ユーザが第１の弾幕コメントのコンテンツを弾幕コメント入力ボックス６０６に入力し、弾幕コメント送信コントロール６０７を操作したことを検出する。この場合、移動電話は、第１の弾幕コメントのデータを生成する。この例において、操作１は、弾幕コメント入力ボックス６０６に第１の弾幕コメントのコンテンツ（例えば、「素晴らしい」）を入力すること、及び、弾幕コメント送信コントロール６０７を操作することを含む。本願の本実施形態において、移動電話によって生成された第１の弾幕コメントのデータは、視点Ａ（例えば、７０度）を含む。加えて、第１の弾幕コメントのデータは、第１の自由視点映像の識別子、第１の弾幕コメントの識別子、第１の弾幕コメントのコンテンツ、再生瞬間Ｔ１（第１の弾幕コメントの発生瞬間、又は第１の弾幕コメントの発生位置と称され、例えば２０：１０である）、第１の弾幕コメントの持続時間ΔＴ、第１の弾幕コメントの形式、及び第１の弾幕コメントの送信位置（第１の弾幕コメントが送信された再生瞬間）等のうちの１つ又は複数を更に含み得る。

【0115】

表１は、第１の弾幕コメントのデータについて使用されるデータ形式の例を示す。

【表1】

【0116】

動画識別子フィールドの値は、第１の自由視点映像、例えば動画１の識別子である。弾幕コメント識別子フィールドの値は、第１の弾幕コメント、例えば弾幕コメント１の識別子である。弾幕コメントコンテンツフィールドの値は、ユーザによって入力された第１の弾幕コメントのコンテンツ、例えば「素晴らしい」である。

【0117】

発生瞬間フィールドの値は、再生瞬間Ｔ１、すなわち、第１の弾幕コメントのディスプレイ上での表示が開始される再生瞬間である。幾つかの実施形態において、再生瞬間Ｔ１は、第１の弾幕コメントの送信瞬間に等しい。例えば、第１の端末のユーザが自由視点映像の２０：１０で第１の弾幕コメントを送信した場合、第１の弾幕コメントの発生瞬間、すなわち、再生瞬間Ｔ１は、２０：１０であり得る。幾つかの他の実施形態において、第１の弾幕コメントの発生瞬間は、第１の弾幕コメントの送信瞬間とは異なることが理解され得る。例えば、幾つかのシナリオにおいて、映像内のハイライトの持続時間が長い、又は、ユーザは、ハイライトの開始時に弾幕コメントを送信することに慣れている。この場合、別のユーザに、映像内のハイライトに注意を払うようリマインドするために、第１の弾幕コメントの送信瞬間が再生瞬間Ｔ１として決定される。幾つかの他の実施形態において、再生瞬間Ｔ１は、第１の弾幕コメントの送信瞬間から予め設定された時間オフセット値１を引いたものに等しい。予め設定された時間オフセット値１は、予め定義され得る、又は、ユーザによって設定され得る。これは、本願の実施形態において限定されない。本明細書における別の予め設定された時間オフセット値（例えば、予め設定された時間オフセット値２～予め設定された時間オフセット値５）の設定様式及び算出方法は、予め設定された時間オフセット値１のそれらと同様であり、予め設定された時間オフセット値１のそれらと同じであり得る、又は異なり得る。以下において、詳細は説明されない。例えば、第１の弾幕コメントの送信瞬間が２０：１０であり、かつ予め設定された時間オフセット値１が５秒である場合、第１の弾幕コメントの発生瞬間、すなわち、再生瞬間Ｔ１は、２０：０５である。幾つかの他のシナリオにおいて、映像内のハイライトの持続時間が短い、又は、ユーザは、ハイライトの終了時に弾幕コメントを送信することに慣れていることが理解され得る。この場合、別のユーザに、映像内のハイライトに注意を払うよう事前にリマインドするために、第１の弾幕コメントの送信瞬間から予め設定された時間オフセット値１を引いたものが再生瞬間Ｔ１として決定される。幾つかの他の実施形態において、再生瞬間Ｔ１は、第１の弾幕コメントの送信瞬間に予め設定された時間オフセット値２を加えたものに等しい。例えば、第１の弾幕コメントの送信瞬間が２０：１０であり、かつ予め設定された時間オフセット値２が３秒である場合、第１の弾幕コメントの発生瞬間、すなわち、再生瞬間Ｔ１は、２０：１３である。予め設定された時間オフセット値１及び予め設定された時間オフセット値２は、同じであり得る、又は異なり得る。幾つかの他のシナリオにおいて、ユーザは、ハイライトの前に議論を交わすことに慣れていること等が理解され得る。この場合、別のユーザに、時間内に映像内のハイライトに注意を払うようリマインドするために、第１の弾幕コメントの送信瞬間に予め設定された時間オフセット値２を加えたものが再生瞬間Ｔ１として決定される。

【0118】

持続時間フィールドの値は、第１の弾幕コメントがディスプレイ上に継続的に現れる持続時間ΔＴ（例えば、１５秒）である。幾つかの例において、第１の弾幕コメントは、端末のディスプレイの最右側から現れ、その後、第１の弾幕コメントがディスプレイから消えるまで、第１の弾幕コメントはディスプレイの最右側から左側に移動する。ディスプレイの最右側からディスプレイの最左側まで第１の弾幕コメントを表示するプロセス全体は、ΔＴ、例えば１５秒を要する。持続時間ΔＴは、予め設定された値であり得る、又は、ユーザによって設定され得る。例えば、ユーザは、弾幕コメントモードを設定し得る。異なる弾幕コメントモードは、異なる持続時間に対応する。フォントフィールド及び色フィールド等の値は、ユーザが第１の弾幕コメントのコンテンツを入力するときにユーザによって設定される、又は、デフォルトで第１の端末によって設定される。視点フィールドの値は、視点Ａである。

【0119】

Ｓ５０４：第１の端末は、第１の弾幕コメントのデータを弾幕コメントサーバに送信する。

【0120】

Ｓ５０５：弾幕コメントサーバは、第１の端末によって送信された第１の弾幕コメントのデータを記憶する。

【0121】

幾つかの実施形態において、第１の端末によって送信された第１の弾幕コメントのデータを受信した後に、弾幕コメントサーバは、第１の弾幕コメントのデータをレビューし、例えば、コンテンツレビュー及びフォーマットレビュー等を実行し、レビューが成功した後に、弾幕コメントサーバは、第１の弾幕コメントのデータを記憶する。

【0122】

次に、別のユーザが、別の端末を使用することにより第１の自由視点映像を鑑賞し、弾幕コメント機能を有効にしたとき、第１の自由視点映像が再生瞬間Ｔ１まで再生された場合、再生された映像画像は、第１の弾幕コメントのコンテンツを含む。

【0123】

以下では、説明のために、別のユーザが第２の端末（これは、図１における端末１００のうちのいずれか１つであり得る、又は、第１の端末であり得る）を使用することにより第１の自由視点映像を鑑賞する例を使用する。

【0124】

図５Ｂは、本願の実施形態による、自由視点映像についての視点切り替え方法の概略フローチャートである。本プロセスは、以下の段階を含む。

【0125】

Ｓ５０６：図５Ｂにおける段階Ｓ５０６ａに示されている通り、第２の端末は、視点Ｂにおける再生瞬間Ｔ２の第１の自由視点映像の映像ファイルｂを再生するようメディアサーバに要求する。視点Ｂは、視点Ａとは異なる。図５Ｂにおける段階Ｓ５０６ｂに示されている通り、第２の端末は、第１の自由視点映像の再生瞬間Ｔ２に対応する弾幕コメントデータを弾幕コメントサーバに更に要求する。再生瞬間Ｔ２に対応する弾幕コメントデータは、第１の弾幕コメントのデータを含む。

【0126】

段階Ｓ５０６ｂは、段階Ｓ５０６ａの前、後、又はそれと同時に実行され得ることに留意されたい。段階Ｓ５０６ａ及び段階Ｓ５０６ｂの実行順序は、本願の実施形態において限定されない。

【0127】

Ｓ５０７：図５Ｂにおける段階Ｓ５０７ａに示されている通り、メディアサーバは、第２の端末に映像ファイルｂを返す。図５Ｂにおける段階Ｓ５０７ｂに示されている通り、弾幕コメントサーバは、第１の自由視点映像の再生瞬間Ｔ２に対応する弾幕コメントデータを第２の端末に返す。

【0128】

段階Ｓ５０７ｂは、段階Ｓ５０７ａの実行の前、実行の後、又は実行時に実行され得ることに留意されたい。段階Ｓ５０７ａ及び段階Ｓ５０７ｂの実行順序は、本願の実施形態において限定されない。

【0129】

Ｓ５０８：第２の端末は、映像ファイルｂに基づき、視点Ｂにおける第１の自由視点映像の再生瞬間Ｔ２の映像画像、及び第１の弾幕コメントを表示する。任意選択的に、第２の端末は、第１の弾幕コメントの視点情報、すなわち、視点Ａを更に表示する。

【0130】

再生瞬間Ｔ２は、再生瞬間Ｔ１よりも大きい又はそれに等しく、再生瞬間Ｔ１に第１の弾幕コメントの持続時間ΔＴを加えたものよりも小さい又はそれに等しい。

【0131】

段階Ｓ５０６～段階Ｓ５０８において、自由視点映像を再生するために使用されるクライアント／アプリケーションが第２の端末にインストールされる。第２の端末にインストールされるクライアント／アプリケーションは、第１の端末にインストールされるクライアント／アプリケーションと同じであり得る、又は異なり得る。ユーザは、第２の端末において自由視点映像のクライアント／アプリケーションを操作することにより、任意の視点における第１の自由視点映像の映像画像を再生するよう第２の端末に指示し得る。任意選択的に、ユーザが弾幕コメント機能を有効にした後に、第２の端末は、第１の自由視点映像の再生プログレスに基づき、対応する再生瞬間の弾幕コメントデータを弾幕コメントサーバに更に要求し、対応する瞬間において弾幕コメントを表示する。ユーザによって第２の端末に対して実行される関連操作については、段階Ｓ５００～段階Ｓ５０２における第１の端末に対する関連操作を参照されたい。ここでは、詳細を再度説明しない。

【0132】

例えば、第２の端末は移動電話である。図８（１）に示されている通り、再生瞬間Ｔ１（例えば、再生瞬間Ｔ０、例えば２０：０５）の前に、移動電話は、視点Ｂにおける第１の自由視点映像の映像画像を再生し続ける。すなわち、第２の端末は、視点Ｂにおける第１の自由視点映像の（視点Ｂにおける再生瞬間Ｔ２の第１の自由視点映像の映像ファイルｂを含む）映像ファイルを、ＣＤＮを通じてメディアサーバに要求し、ＣＤＮを通じてメディアサーバによって返された映像ファイルに基づき、視点Ｂにおける第１の自由視点映像の映像画像を再生する。任意選択的に、第２の端末による第１の自由視点映像の再生プロセス中にある場合、ユーザは、弾幕コメント機能を更に有効にし、第２の端末は、対応する再生瞬間における第１の自由視点映像の（第１の自由視点映像の再生瞬間Ｔ２に対応する弾幕コメントデータを含む）弾幕コメントデータを、弾幕コメントサーバに更に要求する。第２の端末は、弾幕コメントサーバによって返された第１の自由視点映像の弾幕コメントデータに基づき、対応する弾幕コメントを更に表示する。

【0133】

この例において、第２の端末は、最初に、視点Ｂにおける第１の自由視点映像の映像ファイルをメディアサーバに要求し、その後、対応する再生瞬間における第１の自由視点映像の弾幕コメントデータを弾幕コメントサーバに要求し得る、すなわち、最初に段階Ｓ５０６ａを実行し、その後、段階Ｓ５０６ｂを実行することに留意されたい。任意選択的に、第２の端末は、最初に、対応する再生瞬間における第１の自由視点映像の弾幕コメントデータを弾幕コメントサーバに要求し、その後、視点Ｂにおける第１の自由視点映像の映像ファイルをメディアサーバに要求し得る、すなわち、最初に段階Ｓ５０６ｂを実行し、その後、段階Ｓ５０６ａを実行する。

【0134】

図８（２）に示されている通り、再生瞬間が再生瞬間Ｔ１（例えば、２０：１０）に等しいとき、第２の端末は、第１の弾幕コメントの表示を開始する。幾つかの例において、第２の端末によって表示された第１の弾幕コメントは、第１の弾幕コメントが消えるまで、ディスプレイの一方の側からもう一方の側まで特定の速度で移動する。第２の端末が第１の弾幕コメントの表示を開始した瞬間から第１の弾幕コメントが消える瞬間までの持続時間は、第１の弾幕コメントの持続時間ΔＴ（例えば、１５秒）に等しい。換言すれば、第２の端末は、再生瞬間Ｔ１から、Ｔ１に第１の弾幕コメントの持続時間ΔＴを加えたものまでの時間帯（例えば、２０：１０～２０：２５）において、第１の弾幕コメントを表示する。幾つかの他の例において、第２の端末は、第１の弾幕コメントに対応する視点、すなわち、視点Ａを更に表示する。すなわち、第２の端末上で第１の弾幕コメントを視た場合、ユーザは、第１の弾幕コメントが視点Ａに対応していることを更に把握することができる。

【0135】

この例において、再生瞬間Ｔ２は、再生瞬間Ｔ１から、再生瞬間Ｔ１に第１の弾幕コメントの持続時間ΔＴを加えたものまでの時間帯における任意の瞬間である。例えば、再生瞬間Ｔ２は、２０：１０及び２０：２５の間の任意の再生瞬間であり得る。

【0136】

説明のために、第２の端末が移動電話である例が依然として使用される。図９（１）に示されている通り、再生瞬間Ｔ１の前（例えば、再生瞬間Ｔ０、例えば、２０：０５）に、第２の端末は、視点Ｅ（ここで、視点Ｅは、視点Ａであり得る、又は、視点Ｂ以外の別の視点であり得る）における第１の自由視点映像の映像画像を再生し続ける。図９（２）に示されている通り、再生瞬間が再生瞬間Ｔ１（例えば、２０：１０）であるとき、第２の端末は、第１の弾幕コメントの表示を開始する。この場合、第２の端末は、視点Ｅにおける第１の自由視点映像の映像画像を表示することに留意されたい。第１の弾幕コメントの表示様式については、図８（１）及び図８（２）における第１の弾幕コメントの表示様式の説明を参照するものとし、ここでは、詳細を再度説明しない。

【0137】

次に、図９（３）に示されている通り、第１の自由視点映像が再生瞬間Ｔ３（例えば、２０：１５）の映像画像まで再生されるとき、再生瞬間Ｔ３は再生瞬間Ｔ１の後であり、かつＴ１＋ΔＴの前であり、端末は、ユーザによる視点Ｂへの切り替えの操作を検出する。この場合、第２の端末は、視点Ｂにおける第１の自由視点映像の映像ファイルｂを、ＣＤＮを通じてメディアサーバに要求し、ＣＤＮを通じてメディアサーバによって返された映像ファイルｂに基づき、視点Ｂにおける第１の自由視点映像の映像画像を再生する。この場合、第２の端末が第１の弾幕コメントのコンテンツを依然として表示していることに留意されたい。すなわち、この場合、第２の端末は、視点Ｂにおける第１の自由視点映像の映像画像及び第１の弾幕コメントを表示している。

【0138】

この例において、再生瞬間Ｔ２は、再生瞬間Ｔ３（第１の自由視点映像が視点Ｂに切り替えられた後の瞬間）から、再生瞬間Ｔ１に第１の弾幕コメントの持続時間ΔＴを加えたものまでの時間帯における任意の瞬間である。例えば、再生瞬間Ｔ５は、２０：１５及び２０：２５の間の任意の再生瞬間であり得る。

【0139】

この例において、第２の端末は、最初に、対応する再生瞬間における第１の自由視点映像の弾幕コメントデータを弾幕コメントサーバに要求し、その後、視点Ｂにおける第１の自由視点映像の映像ファイルをメディアサーバに要求する、すなわち、最初に段階Ｓ５０６ｂを実行し、その後、段階Ｓ５０６ａを実行することが留意され得る。

【0140】

Ｓ５０９：第２の端末が視点Ｂにおける第１の自由視点映像の再生瞬間Ｔ２の映像画像を再生するとき、第２の端末は、ユーザが第１の弾幕コメントに対して操作２を実行したことを検出し、この場合、第２の端末は、メディアサーバに視点切り替え要求を送信して、視点Ａにおける第１の自由視点映像の再生瞬間Ｔ４の映像ファイルｃを要求する。

【0141】

操作２は、例えば、ユーザの指が、第２の端末のディスプレイ（これは、タッチスクリーンである）上で第１の弾幕コメントに対応する仮想コントロールを操作することであり、又は、ユーザが、リモートコントロールのボタンを操作することにより、第２の端末上に表示された第１の弾幕コメントに対応するコントロールを選択することである。

【0142】

再生瞬間Ｔ４は、再生瞬間Ｔ１に関連している。例えば、再生瞬間Ｔ４は、再生瞬間Ｔ１に等しい、又は、再生瞬間Ｔ４は、再生瞬間Ｔ１から予め設定された時間オフセット値３（例えば、５秒又は１０秒）を引いたものに等しい。代替的に、再生瞬間Ｔ４は、再生瞬間Ｔ２に関連している。例えば、再生瞬間Ｔ４は、再生瞬間Ｔ２に等しい、又は、再生瞬間Ｔ４は、再生瞬間Ｔ２から予め設定された時間オフセット値４を引いたものに等しい。

【0143】

説明のために、第２の端末が移動電話である例が使用される。図１０（１）は、移動電話によって表示される再生インタフェース１００１を示す。再生インタフェース１００１は、視点Ｂ（例えば、８０度）における第１の自由視点映像の映像画像及び（第１の弾幕コメントに対応するコントロール１００２を含む）対応する弾幕コメントを含む。例えば、再生インタフェース１００１は、８０度の視点における再生瞬間２０：１５の映像画像である。ユーザがコントロール１００２を操作（例えば、タップ、ダブルタップ、タッチ＆ホールド、又は重力押下を実行）したこと（操作２）を移動電話が検出した場合、移動電話は、コントロール１００２に基づき第１の弾幕コメントを決定し、第１の弾幕コメントの視点（視点Ａ、例えば、７０度）を切り替え後の視点として決定する。

【0144】

加えて、移動電話は、視点が切り替えられた後の再生瞬間を更に決定する。幾つかの例において、移動電話は、第１の弾幕コメントの発生瞬間（再生瞬間Ｔ１）に基づき、視点が切り替えられた後の再生瞬間、すなわち、再生瞬間Ｔ４を決定する。例えば、再生瞬間Ｔ４は、再生瞬間Ｔ１に等しい。例えば、図１０（１）に示されている通り、移動電話は、再生瞬間Ｔ２において（例えば、２０：１５において）、ユーザが再生インタフェース１００１における第１の弾幕コメントに対応するコントロール１００２をタップしたことを検出し、移動電話は、視点Ｂから視点Ａに切り替え、移動電話は、図１０（２）における再生インタフェース１００３を表示する。第１の弾幕コメントの発生瞬間（再生瞬間Ｔ１）は２０：１０であり、従って、再生瞬間Ｔ４は、２０：１０である。段階Ｓ５０３における再生瞬間Ｔ１の説明を参照すると、再生瞬間Ｔ１は、ハイライトの開始瞬間に調整されている（例えば、再生瞬間Ｔ１は、第１の弾幕コメントの送信瞬間から予め設定された時間オフセット値１を引いたものに等しい）ことが把握され得る。従って、再生瞬間Ｔ４が再生瞬間Ｔ１に等しいとき、それは、移動電話が、視点Ａに切り替えた後にハイライトの再生を開始することを意味する。別の例として、再生瞬間Ｔ４は、再生瞬間Ｔ１から予め設定された時間オフセット値３を引いたものに等しい。段階Ｓ５０３における再生瞬間Ｔ１の説明を参照すると、再生瞬間Ｔ１は、ハイライトの開始瞬間に調整されていない（例えば、再生瞬間Ｔ１は、第１の弾幕コメントの送信瞬間に等しい）ことが把握され得る。この場合、ユーザが弾幕コメントを送信する瞬間は、ハイライトが開始した後である。従って、移動電話は、移動電話が視点を切り替えた後に、実際のハイライトの瞬間から再生が開始されるよう、再生瞬間Ｔ４（再生瞬間Ｔ４は、再生瞬間Ｔ１から予め設定された時間オフセット値３を引いたものに等しい）を調整し得る。代替的に、再生瞬間Ｔ１は、ハイライトの開始瞬間に調整され（例えば、再生瞬間Ｔ１は、第１の弾幕コメントの送信瞬間から予め設定された時間オフセット値１を引いたものに等しい）、移動電話は依然として、ハイライト前のより早い再生瞬間から再生を開始し得、従って、ユーザがハイライト瞬間を見逃さないことを更に確実にする。例えば、再生瞬間Ｔ１は２０：１０であり、再生瞬間Ｔ４は２０：０８である。別の例として、再生瞬間Ｔ４は、代替的に、再生瞬間Ｔ１の後になり得る。例えば、再生瞬間Ｔ１は２０：１０であり、再生瞬間Ｔ４は２０：１５である。

【0145】

幾つかの他の例において、移動電話は、視点が切り替えられた再生瞬間（再生瞬間Ｔ２）に基づき、視点が切り替えられた後の再生瞬間、すなわち、再生瞬間Ｔ４を決定する。例えば、再生瞬間Ｔ４は、再生瞬間Ｔ２に等しい。図１０（１）に示されている通り、移動電話は、再生瞬間Ｔ２において（例えば、２０：１５において）、ユーザが再生インタフェース１００１における第１の弾幕コメントに対応するコントロール１００２をタップしたことを検出し、移動電話は、視点Ｂから視点Ａに切り替え、移動電話は、図１０（３）における再生インタフェース１００４を表示する。再生瞬間Ｔ４は、再生瞬間Ｔ２と同じである（例えば、再生瞬間Ｔ４は２０：１５である）ことが留意され得る。別の例として、再生瞬間Ｔ４は、再生瞬間Ｔ２から予め設定された時間オフセット値４を引いたものに等しい。例えば、再生瞬間Ｔ２は２０：１５であり、再生瞬間Ｔ４は２０：０８である。当然ながら、幾つかの他の例において、再生瞬間Ｔ４は、代替的に、再生瞬間Ｔ２の後であり得る。例えば、再生瞬間Ｔ２は２０：１５であり、再生瞬間Ｔ４は２０：１８である。

【0146】

移動電話が、切り替えられることになる視点及び当該視点が切り替えられた後の再生瞬間を決定した後に、移動電話は、メディアサーバに視点切り替え要求を送信して、視点Ａにおける第１の自由視点映像の再生瞬間Ｔ４の映像ファイルｃを要求する。

【0147】

視点切り替え要求は、第１の自由視点映像の識別子及び切り替え後の視点情報（視点Ａ）を含む。任意選択的に、視点切り替え要求は、視点が切り替えられた後の再生瞬間、すなわち、再生瞬間Ｔ４を更に含む。

【0148】

幾つかの他の実施形態において、移動電話は再生瞬間Ｔ４を決定しない場合があるが、メディアサーバは再生瞬間Ｔ４を決定する。例えば、移動電話によってメディアサーバに送信される要求は、再生瞬間Ｔ１又は再生瞬間Ｔ２を更に含む。この場合、メディアサーバは、切り替え要求を受信した後に、再生瞬間Ｔ１又は再生瞬間Ｔ２に基づき再生瞬間Ｔ４を決定し、第２の端末に再生瞬間Ｔ４の映像ファイルｃを返す。

【0149】

Ｓ５１０：メディアサーバは、第２の端末に映像ファイルｃを返す。

【0150】

Ｓ５１１：第２の端末は、映像ファイルｃに基づき、視点Ａにおける第１の自由視点映像の再生瞬間Ｔ４の映像画像を再生する。

【0151】

このように、第２の端末は、視点Ｂにおける第１の自由視点映像の映像画像の再生から視点Ａにおける第１の自由視点映像の映像画像の再生に切り替える。本願の本実施形態において提供される視点切り替え解決手段では、視点切り替えの前に、第２の端末は、視点Ｂにおける第１の自由視点映像の映像ファイルを、ＣＤＮを通じてメディアサーバに要求することが留意され得る。視点切り替えの後に、第２の端末は、視点Ａにおける第１の自由視点映像の映像ファイルを、ＣＤＮを通じてメディアサーバに要求する。すなわち、視点切り替えプロセスにおいて、第２の端末は、視点Ａ及び視点Ｂ以外の別の視点における第１の自由視点映像の映像ファイルをメディアサーバに要求しない。

【0152】

従来技術において、ユーザがディスプレイ上で指をスライドさせることにより又はリモートコントロールを操作することにより視点を切り替える解決手段において、端末は、第１の自由視点映像の視点Ｂから視点Ａまでの全ての視点の映像ファイルをメディアサーバに要求する。例えば、ユーザが６０度から１２０度に切り替えるよう指示した場合、端末は、６０度及び１２０度の間の全ての視点（例えば、７０度、８０度、９０度、１００度、及び１１０度）における第１の自由視点映像の映像ファイルを要求し、当該視点に対応する映像画像を角度ごとに直線的に切り替えて表示する。しかしながら、本願の本実施形態において、端末は、１２０度における第１の自由視点映像の映像ファイルのみをメディアサーバに要求し、１２０度における映像画像を表示する。

【0153】

本願の本実施形態において提供される視点切り替え解決手段では、従来技術のそれと比較して、第２の端末は、視点Ａ及び視点Ｂ以外の別の視点における第１の自由視点映像の映像ファイルをメディアサーバにもはや要求せず、従って、トラフィックを削減する。加えて、端末は、視点Ｂにおける第１の自由視点映像の映像ファイルを受信して、視点Ｂにおける第１の自由視点映像の映像ファイルを処理する必要があるのみであり、従って、端末の映像処理作業を軽減し、端末の処理効率を向上させ、端末の応答速度を加速させ、かつ、端末の電力消費量を削減する。

【0154】

加えて、従来技術における視点切り替え解決手段が使用された場合、視点Ｂから視点Ａへの切り替えのプロセスにおいて、第２の端末は、視点Ｂ及び視点Ａの間の全ての視点における映像画像を切り替えて表示する必要がある。ユーザが動く映像画像を鑑賞する場合、当該動く映像画像に対して頻繁な視点切り替えが実行され、これは、ユーザに眩暈を引き起こし易い。結果として、映像視聴体験が劣化する。しかしながら、本願の本実施形態において提供される視点切り替え解決手段においては、頻繁な視点切り替えが行われず、これは、ユーザの眩暈を回避し、映像視聴体験を向上させる上で役立つ。

【0155】

幾つかの他の実施形態において、視点Ｂにおける第１の自由視点映像の映像画像から視点Ａにおける第１の自由視点映像の映像画像への切り替えのプロセスでは、幾つかの遷移画像が追加され得る。例えば、切り替え中に、端末によって表示される視点Ｂにおける第１の自由視点映像の画像フレームの最後のＮ個のフレーム（Ｎは、１よりも大きい、又はそれに等しい自然数である）及び端末によって表示されることになる視点Ａにおける第１の自由視点映像の画像フレームの最初のＭ個のフレーム（Ｍは、１よりも大きい、又はそれに等しい自然数である）に基づき、遷移画像フレームが生成され、当該遷移画像フレームは、視点Ｂにおける第１の自由視点映像の画像フレームの最後のフレーム及び視点Ａにおける第１の自由視点映像の画像フレームの最初のフレームの間に挿入され、それにより、第１の自由視点映像の視点切り替えが、より自然で現実的なものになる。別の例として、切り替え中に、視点Ｂから視点Ａまでの幾つかの視点における画像フレームが選択され、視点Ｂにおける第１の自由視点映像の画像フレームの最後のフレーム及び視点Ａにおける第１の自由視点映像の画像フレームの最初のフレームの間に挿入されて、それにより、第１の自由視点映像の視点切り替えがより自然で現実的なものになる。視点切り替えプロセスにおける遷移画像は、本願の実施形態において限定されない。

【0156】

第１の弾幕コメントを送信する第１の端末、及び、第１の弾幕コメントに基づき視点を切り替える第２の端末は、弾幕コメントサーバと別個に対話することが更に留意され得る。従って、第１の端末及び第２の端末が同じタイプの端末であるかどうか、第１の端末及び第２の端末が同じオペレーティングシステムを実行しているかどうか、及び、第１の端末及び第２の端末が同じ自由視点映像再生クライアント／アプリケーションを実行しているかどうかは、限定されない。換言すれば、本願の本実施形態において提供される技術的解決手段は、端末間、実行プラットフォーム間、及びアプリケーション間の視点切り替えを実装することができ、広く適用可能である。

【0157】

結論として、本願の本実施形態において、ユーザが第１の端末を使用することにより第１の弾幕コメントを送信した場合、第１の端末は、第１の弾幕コメント及び当該ユーザによって現在鑑賞されている映像の視点の間の対応関係を自動的に確立する。その後、別のユーザが第２の端末を使用することにより同じ自由視点映像を鑑賞した場合、かつ第１の弾幕コメントを視た場合、当該ユーザは、第１の弾幕コメントを操作することにより、第１の弾幕コメントに対応する視点に速やかに切り替えることができる。従って、対象物体が、クライアント／アプリケーション上での限られた視点範囲及び更にはブラインド領域を伴う広大な撮影シーンを有する場合において、ユーザは依然として、映像画像上に表示される弾幕コメントのコンテンツから、ハイライトを有する視点を把握することができる。ハイライトとは、大部分のユーザによって高く称賛されている映像クリップであり得、又は、視聴者が関心を寄せている映像クリップ等であり得る。更に、ユーザは、特定の弾幕コメントを操作することにより、当該特定の弾幕コメントに対応する視点に速やかに切り替えて当該視点のハイライトを鑑賞することができる。

【0158】

幾つかの他の実施形態において、メディアサーバ又は第２の端末は、第１の自由視点映像のコンテンツを自動的に識別し、例えば、第１の自由視点映像を、当該映像のプロット、シーン、画像撮影方法（例えば、全身撮影）、及び人物等のうちの１つ又は複数に基づき、異なるクリップとして識別することができる。例えば、クリップ１の再生瞬間範囲は、１５：００～２５：００である。

【0159】

再生瞬間Ｔ２（２０：１５）における第１の弾幕コメントに対してユーザによって実行された操作に応答して、第２の端末は、第１の弾幕コメントに対応する視点Ａに切り替え、再生瞬間Ｔ４がクリップ１の開始瞬間（１５：００）であり得る、又は、第１の弾幕コメントの発生瞬間Ｔ１（２０：１０）であり得る、又は、現在の瞬間Ｔ２（２０：１５）であり得る、瞬間Ｔ４の映像画像を再生する。

【0160】

幾つかの実施形態において、再生瞬間Ｔ４は、クリップ１の開始瞬間（１５：００）であり得、クリップ１の再生瞬間範囲は、１５：００～２５：００である。第２の端末が視点Ａにおけるクリップの再生を終了した後、すなわち、クリップの終了瞬間２５：００において、第２の端末は、元の視点（例えば、視点Ｂ）に自動的に再び切り替えて、瞬間２５：００の後も引き続きクリップを再生することができる。当然ながら、幾つかの他の例において、第２の端末は、代替的に、元の視点に再び切り替えて瞬間２５：００の後も引き続きクリップを再生するかどうかをユーザに問い合わせることができる。ユーザの同意を受領した後、元の視点に再び切り替えられて、２５：００の後のクリップが引き続き再生される。幾つかの他の実施形態において、元の視点Ｂに再び切り替えられない場合があるが、視点Ａにおける時点２５：００の後のクリップが引き続き再生される。

【0161】

当然ながら、幾つかの他の実施形態において、図１０（２）又は図１０（３）に示されるシナリオでは、第２の端末が第１の弾幕コメントに対応する映像クリップを再生した後に、第１の弾幕コメントが２０：１０で現れて１５秒間持続し、すなわち、第２の端末は２０：１０～２０：２５に対応する映像クリップを再生し、２５：００において、第２の端末は、７０度の元の視点に再び切り替えず、８０度の視点において、第１の弾幕コメントが終了した２０：２５の後のクリップを引き続き再生することができる。

【0162】

当然ながら、幾つかの他の実施形態において、図１０（２）又は図１０（３）に示されるシナリオでは、第１の弾幕コメントの表示が終了した後、端末は、代替的に、２０：２５における元の視点に自動的に再び切り替えて、２０：２５の後もクリップを引き続き再生することができる。

【0163】

上述の実施形態において、ユーザは、弾幕コメントコンテンツに基づき、鑑賞のために関心を寄せている視点に切り替えることを選択する。幾つかの他の実施形態において、弾幕コメントサーバは、収集された弾幕コメントデータに基づき、ユーザが選択するために、ハイライトが配置されている視点を代替的に推奨し得る。例えば、自由視点映像を再生するプロセスにおいて、映像クリップに対応する弾幕コメントの数量は、当該映像クリップの人気度及びハイライト度合いを反映し得る。映像クリップに対応する弾幕コメントの数量が予め設定された閾値よりも大きい場合、当該映像クリップは、ハイライトとみなされ得る。以下では、本実施形態において提供される解決手段を詳細に説明する。

【0164】

本実施形態では、ネットワーク全体における各ユーザが、任意の視点における第１の自由視点映像の映像画像を鑑賞することを選択でき、更に、第１の自由視点映像の視点を意のままに切り替えることができる。第１の自由視点映像を再生するプロセスにおいて、ユーザが、或る映像クリップが素晴らしいと考える場合、当該ユーザは、関連する弾幕コメントコンテンツを入力することができる。端末は、ユーザによって入力された弾幕コメントコンテンツ及び弾幕コメントの他のデータを弾幕コメントサーバに送信する。端末によって弾幕コメントサーバに送信される弾幕コメントのデータは、弾幕コメントコンテンツ、第１の自由視点映像の識別子、弾幕コメントの視点、及び弾幕コメントの発生瞬間などの情報を含むことに留意されたい。当然ながら、弾幕コメントのデータは、他のコンテンツを更に含み得る。表１内の関連コンテンツを参照されたい。加えて、端末がサーバに弾幕コメントデータを送信するプロセスについては、上述の段階Ｓ５００～段階Ｓ５０５における関連コンテンツを参照されたい。ここでは、詳細を再度説明しない。

【0165】

以下では、弾幕コメントサーバが、収集された弾幕コメントデータに基づき推奨視点リストを算出し、別のユーザが、推奨視点リストを使用することにより視点を切り替えることを選択するプロセスを詳細に説明する。

【0166】

図１１は、本願の実施形態による、自由視点映像についての別の視点切り替え方法の概略フローチャートであり、本方法は以下の段階を含む。

【0167】

Ｓ１１０１：弾幕コメントサーバは、第１の自由視点映像の弾幕コメントデータに基づき、各再生瞬間に対応する推奨視点を決定する。

【0168】

幾つかの実施形態において、弾幕コメントサーバは、第１の自由視点映像における各再生瞬間に対応する推奨視点を定期的に（例えば、１分の間隔で）算出する。特定の実装形態において、第１の自由視点映像の再生瞬間は、複数の時間帯（例えば、各時間帯の長さは１０～１５秒である）に分割される。次に、時間帯を単位として使用することにより、異なる視点に基づき統計情報が収集されて、各時間帯に対応する推奨視点を算出する。例えば、各弾幕コメントに対応する時間帯は、当該弾幕コメントデータ内の各弾幕コメントに対応する発生瞬間に基づき決定される。次に、各時間帯について、弾幕コメントデータ内の弾幕コメントに対応する視点に基づき、当該時間帯における各視点に対応する弾幕コメントの数量についての統計情報が収集される。当該時間帯における１つの視点又は複数の視点の弾幕コメントの数量が予め設定された閾値よりも大きい、又はそれに等しい場合、当該１つの視点又は複数の視点が推奨視点として決定される。例において、或る時間帯内の複数の視点における弾幕コメントの数量が全て、予め設定された閾値よりも大きい、又はそれに等しい場合、最初のＲ個の視点が、当該視点に対応する弾幕コメントの数量の降順で推奨視点として選択され得、ここで、Ｒは０よりも大きい整数である。例えば、Ｒ＝１又はＲ＝５である、又は、ユーザは、Ｒの値を手動で構成することができる。本明細書における算出段階は特定の実装形態の例に過ぎず、各時間帯における推奨視点を算出するための方法に対する制限を構成するものではないことに留意されたい。

【0169】

例えば、表２は、弾幕コメントサーバに記憶された幾つかの弾幕コメントデータの例を示す。各弾幕コメントに対応する発生瞬間に基づき、弾幕コメント１～弾幕コメント４が時間帯１（１０：００～１０：１５）に対応することが決定され得る。更に、時間帯１について、視点１に対応する弾幕コメントの数量は３であり、視点２に対応する弾幕コメントの数量は１であると算出され得る。視点１に対応する弾幕コメントの数量及び視点２に対応する弾幕コメントの数量は予め設定された閾値未満であり、いかなる視点も時間帯１において推奨されない。

【0170】

同様に、弾幕コメント５～弾幕コメント８は、時間帯２（１０：１６～１０：３０）に対応する。更に、時間帯２について、視点１に対応する弾幕コメントの数量は２であり、視点２に対応する弾幕コメントの数量は１であり、視点３に対応する弾幕コメントの数量は１であると算出され得る。視点１に対応する弾幕コメントの数量、視点２に対応する弾幕コメントの数量、及び視点３に対応する弾幕コメントの数量は全て、予め設定された閾値未満であり、いかなる視点も時間帯２において推奨されない。

【0171】

同様に、弾幕コメント１００～弾幕コメント２０１は、時間帯３（２０：１６～２０：３０）に対応する。更に、時間帯３について、視点３に対応する弾幕コメントの数量は２００であり、視点１に対応する弾幕コメントの数量は１であると算出され得る。視点３に対応する弾幕コメントの数量が予め設定された閾値（例えば、１５０）よりも大きい、又はそれに等しい場合、時間帯３に対応する推奨視点は視点３であると決定される。

【表2】

【0172】

幾つかの他の実施形態において、弾幕コメントサーバは、弾幕コメントの特定のコンテンツ及び弾幕コメントの数量を参照して、推奨視点を更に決定することができる。例えば、幾つかの弾幕コメントのコンテンツは、その視点の映像画像が素晴らしいことを示す。例えば、弾幕コメントのコンテンツは、「素晴らしい」及び「これはお勧めです」等である。次に、その視点の弾幕コメントの数量が特定の条件を満たす（例えば、数量が予め設定された閾値よりも大きい）という条件を参照して、当該視点が推奨視点として決定される。別の例として、幾つかの弾幕コメントのコンテンツは、その視点の映像画像が素晴らしいものではないことを示す。例えば、弾幕コメントのコンテンツが「酷過ぎる」又は「これはスキップする」等である場合、当該視点は推奨視点としては除外され得る。結論として、推奨視点を決定するための方法は、本願の実施形態において特に限定されない。

【0173】

Ｓ１１０２：弾幕コメントサーバは、各再生瞬間に対応する推奨視点を記憶する。

【0174】

Ｓ１１０３：第２の端末は、視点Ｃにおける第１の自由視点映像の再生瞬間Ｔ５の映像ファイルｄをメディアサーバに要求する。

【0175】

再生瞬間Ｔ５は、第１の自由視点映像の任意の再生瞬間であり得る。

【0176】

Ｓ１１０４：メディアサーバは、第２の端末に映像ファイルｄを返す。

【0177】

Ｓ１１０５：第２の端末は、第１の自由視点映像の再生瞬間Ｔ５の推奨視点を弾幕コメントサーバに要求する。

【0178】

Ｓ１１０６：弾幕コメントサーバは、第１の自由視点映像の再生瞬間Ｔ５の推奨視点を第２の端末に返す。第１の自由視点映像の再生瞬間Ｔ５の推奨視点は、視点Ｄを含む。

【0179】

段階Ｓ１１０５は、段階Ｓ１１０３の前、後、又はそれと同時に実行され得ることに留意されたい。段階Ｓ１１０５及び段階Ｓ１１０３の実行順序は、本願の実施形態において限定されない。

【0180】

幾つかの実施形態において、第２の端末が弾幕コメント機能を有効にした場合、第２の端末は、第１の自由視点映像の再生プログレスに基づき、各再生瞬間に対応する弾幕コメントデータを弾幕コメントサーバに要求するのみならず、各再生瞬間に対応する推奨視点をも弾幕コメントサーバに要求することに留意されたい。幾つかの他の実施形態において、第２の端末が弾幕コメント機能を有効にしないが視点を推奨する機能を有効にする場合、第２の端末は、第１の自由視点映像の再生プログレスに基づき、各再生瞬間に対応する推奨視点を弾幕コメントサーバに要求する。幾つかの他の実施形態において、第２の端末が第１の自由視点映像の再生を開始した場合、第２の端末は、全ての再生瞬間に対応する推奨視点を弾幕コメントサーバに要求する。その後、弾幕コメントサーバによって算出された推奨視点が変更された場合、第２の端末は、最新の推奨視点を取得するよう通知され得る。弾幕コメントサーバによって算出された推奨視点が変更されない、又は僅かに変更された場合、第２の端末は、最新の推奨視点を取得するよう通知されないことがある。このようにして、その後、第２の端末は、再生が開始されたときに要求された、全ての再生瞬間に対応する推奨視点、その後取得された更新後の推奨視点、及び第１の自由視点映像の再生プログレスに基づき、対応する再生瞬間に対応する推奨視点を表示し得る。

【0181】

Ｓ１１０７：第２の端末は、映像ファイルｄに基づき、視点Ｃにおける第１の自由視点映像の再生瞬間Ｔ５の映像画像を再生し、第２の端末は、再生瞬間Ｔ５の推奨視点を更に表示する。

【0182】

例えば、第２の端末は移動電話である。図１２（１）は、移動電話によって表示された第１の自由視点映像の再生インタフェース１２０１を示す。再生インタフェース１２０１は推奨視点リスト１２０２を含み、推奨視点リスト１２０２は推奨視点を含む。１つ又は複数の推奨視点が存在する。幾つかの例において、弾幕コメントサーバが統計情報を収集する再生瞬間に対応する複数の推奨視点が存在する場合、推奨視点リスト１２０２は、複数の推奨視点を含み得る。任意選択的に、複数の推奨視点は、当該推奨視点に対応する弾幕コメントの数量の降順でソートされ得、より大量の弾幕コメントを有する推奨視点がユーザに優先的に推奨される、又は、より大量の弾幕コメントを有する推奨視点が首位にランク付けされる。幾つかの他の例において、推奨視点リスト１２０２は、推奨視点の優先順位を表すために使用される推奨インデックスを更に含む。推奨視点の優先順位は、推奨視点に対応するする弾幕コメントの数量の順序に関連し得る。幾つかの他の例において、推奨視点リスト１２０２は、推奨視点の数量等を更に含む。

【0183】

Ｓ１１０８：第２の端末は、ユーザによる視点Ｄを選択する操作を検出し、第２の端末は、視点Ｄにおける第１の自由視点映像の再生瞬間Ｔ６の映像ファイルｅをメディアサーバに要求する。

【0184】

幾つかの実施形態において、再生瞬間Ｔ６は、再生瞬間Ｔ５に関連している。例えば、再生瞬間Ｔ６は、再生瞬間Ｔ５に等しい、又は、再生瞬間Ｔ６は、再生瞬間Ｔ５から予め設定された時間オフセット値５（例えば、予め設定された時間オフセット値は５秒である）を引いたものに等しい。

【0185】

例えば、第２の端末は移動電話である。図１２（１）に示される再生インタフェース１２０１において、移動電話は、視点Ｃ（例えば７０度）における再生瞬間Ｔ５（例えば、２０：１６）の映像画像を表示する。移動電話が、図１２（１）に示される再生インタフェース１２０１内の推奨視点リスト１２０２における視点Ｄ（例えば、６０度）を選択するユーザによる操作を検出した場合、移動電話は、視点Ｄにおける第１の自由視点映像の再生瞬間Ｔ６（例えば、２０：１６又は２０：１１）の映像ファイルｅをメディアサーバに要求する。

【0186】

幾つかの他の実施形態において、再生瞬間Ｔ６は、再生瞬間Ｔ５に対応するクリップに関連している。具体的には、メディアサーバ又は第２の端末は、第１の自由視点映像のコンテンツを自動的に識別し、例えば、第１の自由視点映像を、当該映像のプロット、シーン、画像撮影方法（例えば、全身撮影）、及び人物等のうちの１つ又は複数に基づき、異なるクリップとして識別することができる。再生瞬間Ｔ６は、再生瞬間Ｔ５に対応するクリップの再生開始瞬間である。例えば、再生瞬間は２０：１６であり、クリップ２の再生瞬間範囲は、例えば２０：００～２５：００である。再生瞬間Ｔ５は２０：１６であり、クリップ２に対応することが把握され得る。従って、再生瞬間Ｔ６は２０：００であり得る。

【0187】

Ｓ１１０９：メディアサーバは、第２の端末に映像ファイルｅを返す。

【0188】

Ｓ１１１０：第２の端末は、映像ファイルｅに基づき、視点Ｄにおける第１の自由視点映像の再生瞬間Ｔ６の映像画像を再生する。

【0189】

例えば、図１２（２）に示される再生インタフェース１２０３において、移動電話は、視点Ｄにおける映像画像を表示する。

【0190】

このように、第２の端末は、視点Ｃにおける第１の自由視点映像の映像画像の再生から視点Ｄにおける第１の自由視点映像の映像画像の再生に切り替える。本願の本実施形態において提供される視点切り替え解決手段では、視点切り替えの前に、第２の端末は、視点Ｃにおける第１の自由視点映像の映像ファイルを、ＣＤＮを通じてメディアサーバに要求することが留意され得る。視点切り替えの後に、第２の端末は、視点Ｄにおける第１の自由視点映像の映像ファイルを、ＣＤＮを通じてメディアサーバに要求する。すなわち、視点切り替えプロセスにおいて、第２の端末は、視点Ｃ及び視点Ｄ以外の別の視点における第１の自由視点映像の映像ファイルをメディアサーバに要求しない。

【0191】

加えて、第２の端末が弾幕コメント機能を有効にしない、又は、弾幕コメントを表示するための条件を満たさない場合、第２の端末は、代替的に推奨視点リストを表示し得、ユーザは、当該推奨視点リストに基づき、弾幕コメントを表示し得る。

【0192】

本実施形態の他のコンテンツについては、上述の説明を参照されたい。ここでは、詳細を再度説明しない。

【0193】

図１３は、本願の実施形態による、自由視点映像についての別の視点切り替え方法の概略フローチャートであり、本方法は以下の段階を含む。

【0194】

Ｓ１３１０：端末は第１のインタフェースを表示し、ここで、第１のインタフェースは、第１の視点における第１の自由視点映像の映像画像、及び第１の弾幕コメントを有し、第１の弾幕コメントは、第１の自由視点映像の第２の視点に対応する。

【0195】

任意選択的に、第１のインタフェース内の第１の弾幕コメントは、第２の視点を更に含む。

【0196】

幾つかの例において、端末は、第１の再生瞬間において第１のインタフェースを表示する。換言すれば、第１のインタフェースは、第１の視点における第１の自由視点映像の第１の再生瞬間の映像画像を有する。

【0197】

幾つかの他の例において、第１の再生瞬間において第１のインタフェースを表示する前に、端末は、第１の自由視点映像の第１の再生瞬間に対応する弾幕コメントデータを弾幕コメントサーバに要求し、ここで、第１の再生瞬間に対応する弾幕コメントデータは、第１の弾幕コメントのデータを有し、第１の弾幕コメントのデータは、第２の視点を含む。

【0198】

Ｓ１３２０：端末は、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合、第２のインタフェースを表示し、ここで、第２のインタフェースは、第２の視点における第１の自由視点映像の映像画像を含む。

【0199】

幾つかの例において、端末は、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合、第２の再生瞬間において第２のインタフェースを表示する。第２の再生瞬間は、第１の再生瞬間に関連している。例えば、第２の再生瞬間は、第１の再生瞬間に等しい、又は、第２の再生瞬間は、第１の再生瞬間から第１の予め設定された時間オフセット値を引いたものに等しい。別の例として、第１の再生瞬間は、第１の弾幕コメントの発生瞬間に関連している。第２の再生瞬間はまた、第１の弾幕コメントの発生瞬間に関連している。この場合、第２の再生瞬間は第１の弾幕コメントの発生瞬間に等しい、又は、第２の再生瞬間は、第１の弾幕コメントの発生瞬間から第２の予め設定された時間オフセット値を引いたものに等しい。

【0200】

幾つかの他の例において、端末は、ユーザによって第１の弾幕コメントに対して実行された第１の操作を検出した場合、メディアサーバに切り替え要求を送信する。メディアサーバは、第１の映像ファイルを端末に返し、ここで、第１の映像ファイルは、第２の視点における第１の自由視点映像の第２の再生瞬間に対応する映像ファイルである。端末は、第１の映像ファイルに基づき、第２の視点における第１の自由視点映像の第２の再生瞬間の映像画像を表示する。

【0201】

任意選択的に、第２のインタフェースは、第１の弾幕コメントを含む。

【0202】

任意選択的に、端末は、第３の再生瞬間において第３のインタフェースを再生し、ここで、第３の再生瞬間は、第１の弾幕コメントの表示時間の後であり、第３のインタフェースは、第２の視点における第１の自由視点映像の映像画像を有し、第３のインタフェースは、第１の弾幕コメントを有しない。

【0203】

幾つかの他の例において、端末は、第４の再生瞬間において第４のインタフェースを表示し、ここで、第４のインタフェースは、第１の視点及び推奨視点における第１の自由視点映像の映像画像を有し、推奨視点は、第４の視点を含む。端末は、ユーザによる第４の視点を選択する第３の操作を検出した場合、第４の視点における第１の自由視点映像の第５の再生瞬間の映像画像を表示し、ここで、第５の再生瞬間は、第４の再生瞬間に関連している。例えば、第５の再生瞬間は、第４の再生瞬間に等しい、又は、第５の再生瞬間は、第４の再生瞬間から第４の予め設定された時間オフセット値を引いたものに等しい。

【0204】

任意選択的に、第４の再生瞬間において第４のインタフェースを表示する前に、端末は、第１の視点における第１の自由視点映像の第４の再生瞬間に対応する第２の映像ファイルをメディアサーバに要求し、かつ、第１の自由視点映像の第４の再生瞬間に対応する推奨視点を弾幕コメントサーバに要求する、ここで、第４の再生瞬間に対応する推奨視点は、第１の自由視点映像の第４の再生瞬間に対応する弾幕コメントの数量に基づき、弾幕コメントサーバによって決定される。

【0205】

本願の実施形態は、チップシステムを更に提供する。図１４に示されている通り、チップシステムは、少なくとも１つのプロセッサ１３０１及び少なくとも１つのインタフェース回路１３０２を含む。プロセッサ１３０１及びインタフェース回路１３０２は、回線を通じて相互接続され得る。例えば、インタフェース回路１３０２は、別の装置（例えば、端末１００内のメモリ）からの信号を受信するように構成され得る。別の例として、インタフェース回路１３０２は、信号を別の装置（例えば、プロセッサ１３０１）に送信するように構成され得る。例えば、インタフェース回路１３０２は、メモリに記憶された命令を読み出し、当該命令をプロセッサ１３０１に送信し得る。当該命令がプロセッサ１３０１によって実行された場合、端末は、上述の実施形態において端末１００（例えば、移動電話）によって実行された段階を実行することが可能になり得る。当然ながら、チップシステムは、別のディスクリートデバイスを更に含み得る。これは、本願の実施形態において特に限定されない。

【0206】

本願の実施形態は、装置を更に提供する。装置は端末に含まれ、当該装置は、上述の実施形態における任意の方法で端末の挙動を実装する機能を有する。本機能は、ハードウェアによって実装されてよく、又は、対応するソフトウェアを実行するハードウェアによって実装されてよい。ハードウェア又はソフトウェアは、上述の機能に対応する少なくとも１つのモジュール又はユニット、例えば、検出モジュール又はユニット、表示モジュール又はユニット、決定モジュール又はユニット、及び算出モジュール又はユニットを含む。

【0207】

本願の実施形態は、コンピュータ命令を含むコンピュータ可読記憶媒体を更に提供する。コンピュータ命令が端末上で実行された場合、当該端末は、上述の実施形態における任意の方法を実行することが可能になる。

【0208】

本願の実施形態は、コンピュータプログラム製品を更に提供する。コンピュータプログラム製品がコンピュータ上で実行されたとき、コンピュータは、上述の実施形態における任意の方法を実行することが可能になる。

【0209】

本願の実施形態は、端末上のグラフィカルユーザインタフェースを更に提供する。端末は、ディスプレイ、カメラ、メモリ、及び１つ又は複数のプロセッサを含む。１つ又は複数のプロセッサは、メモリに記憶された１つ又は複数のコンピュータプログラムを実行するように構成されており；グラフィカルユーザインタフェースは、端末が上述の実施形態における任意の方法を実行した場合に表示されるグラフィカルユーザインタフェースを含む。

【0210】

上述の機能を実装するために、端末等は、機能を実行するための対応するハードウェア構造及び／又はソフトウェアモジュールを含むことが理解され得る。当業者であれば、本明細書において開示される実施形態において説明される例と組み合わせて、ユニット、アルゴリズム、及び段階が、本願の実施形態におけるハードウェア、又はハードウェアの組み合わせ、及びコンピュータソフトウェアによって実装され得ることを容易に認識するはずである。機能がハードウェア又はコンピュータソフトウェアによって駆動されるハードウェアのいずれによって実行されるかは、技術的解決手段の具体的な用途及び設計上の制約に依存する。当業者は、異なる方法を使用して、各特定の用途の説明される機能を実装し得るが、当該実装形態が本願の実施形態の範囲を超えるものとみなされるべきではない。

【0211】

本願の実施形態において、端末等は、上述の方法の例に基づき機能モジュールに分割されてよい。例えば、各機能モジュールは、各対応する機能に基づく区分を通じて取得されてよい、又は、２つ又はそれより多くの機能が、１つの処理モジュールに統合されてよい。統合モジュールは、ハードウェアの形態で実装され得る、又はソフトウェア機能モジュールの形態で実装され得る。本願の実施形態において、モジュール分割は例であり、論理機能分割に過ぎないことに留意されたい。実際の実装時には、別の分割様式が使用され得る。

【0212】

実装形態に関する上述の説明は、当業者が、便宜的かつ簡潔な説明を目的として、上述の機能モジュールの分割が説明のための例として解釈されることを明確に理解することを可能にする。実際の用途において、上述の機能は異なるモジュールに割り当てられ、要件に従って実装され得る、すなわち、装置の内部構造が異なる機能モジュールに分割されて、上記で説明された機能の全部又は一部が実装される。上述のシステム、装置、及びユニットの詳細な作業プロセスについては、上述の方法の実施形態における対応する処理を参照するものとし、ここでは、詳細を再度説明しない。

【0213】

本願の実施形態における機能ユニットが１つの処理ユニットに統合されてよく、又は、当該ユニットの各々が物理的に単独で存在してよく、又は、２つ又はそれより多くのユニットが１つのユニットに統合される。統合ユニットは、ハードウェアの形態で実装され得る、又はソフトウェア機能ユニットの形態で実装され得る。

【0214】

統合ユニットがソフトウェア機能ユニットの形態で実装されて、独立した製品として販売又は使用される場合、当該統合ユニットは、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づき、本願の実施形態における技術的解決手段は、本質的に、又は、従来技術に寄与する部分、又は、技術的解決手段の全部又は一部が、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は記憶媒体に記憶され、本願の実施形態において説明される方法の段階の全部又は一部を実行するようにコンピュータデバイス（これらは、パーソナルコンピュータ、サーバ、又はネットワークデバイス等であり得る）又はプロセッサに指示するための複数の命令を含む。上述の記憶媒体は、フラッシュメモリ、リムーバブルハードディスク、リードオンリメモリ、ランダムアクセスメモリ、磁気ディスク、又は光ディスクのような、プログラムコードを記憶することができる任意の媒体を含む。

【0215】

上述の説明は、本願の特定の実装形態に過ぎず、本願の保護範囲を限定することが意図されるものではない。本願において開示された技術的範囲内の任意の変形又は置換は、本願の保護範囲に含まれるものとする。従って、本願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
（他の可能な項目）
（項目１）
自由視点映像についての視点切り替え方法であって：
端末が、第１のインタフェースを表示する段階、ここで、前記第１のインタフェースは、第１の視点における第１の自由視点映像の映像画像、及び第１の弾幕コメントを有し、前記第１の弾幕コメントは、前記第１の自由視点映像の第２の視点に対応する；及び
前記端末が、ユーザによって前記第１の弾幕コメントに対して実行された第１の操作を検出した場合に第２のインタフェースを表示する段階、ここで、前記第２のインタフェースは、前記第２の視点における前記第１の自由視点映像の映像画像を有する
を備える、方法。
（項目２）
端末が、第１のインタフェースを前記表示する段階は：
前記端末が、第１の再生瞬間において前記第１のインタフェースを表示する段階
を有し；
前記端末が、ユーザによって前記第１の弾幕コメントに対して実行された第１の操作を検出した場合に第２のインタフェースを前記表示する段階は：
前記端末が、前記ユーザによって前記第１の弾幕コメントに対して実行された前記第１の操作を検出した場合、第２の再生瞬間において前記第２のインタフェースを表示する段階、ここで、前記第２の再生瞬間は前記第１の再生瞬間に関連している
を有する、項目１に記載の方法。
（項目３）
前記第２の再生瞬間が前記第１の再生瞬間に関連していることは：
前記第２の再生瞬間が、前記第１の再生瞬間に等しいこと、又は、前記第２の再生瞬間が、前記第１の再生瞬間から第１の予め設定された時間オフセット値を引いたものに等しいこと；又は、前記第２の再生瞬間が、前記第１の弾幕コメントの発生瞬間に等しいこと、又は、前記第２の再生瞬間が、前記第１の弾幕コメントの発生瞬間から第２の予め設定された時間オフセット値を引いたものに等しいこと
を含む、項目２に記載の方法。
（項目４）
前記第１の弾幕コメントは、前記第２の視点を更に含む、項目１～３のいずれか一項に記載の方法。
（項目５）
前記端末が、前記ユーザによって前記第１の弾幕コメントに対して実行された前記第１の操作を検出した場合、第２の再生瞬間において前記第２のインタフェースを前記表示する段階は：
前記端末が、前記ユーザによって前記第１の弾幕コメントに対して実行された前記第１の操作を検出した場合、メディアサーバに切り替え要求を送信する段階；及び、前記端末が、前記メディアサーバによって返された第１の映像ファイルを受信する段階、ここで、前記第１の映像ファイルは、前記第２の視点における前記第１の自由視点映像の前記第２の再生瞬間に対応する映像ファイルである；及び
前記端末が、前記第１の映像ファイルに基づき、前記第２の視点における前記第１の自由視点映像の前記第２の再生瞬間の前記映像画像を表示する段階
を含む、項目２～４のいずれか一項に記載の方法。
（項目６）
前記端末が、第１の再生瞬間において前記第１のインタフェースを前記表示する段階の前に、前記方法は：
前記端末が、前記第１の自由視点映像の前記第１の再生瞬間に対応する弾幕コメントデータを弾幕コメントサーバに要求する段階、ここで、前記第１の再生瞬間に対応する前記弾幕コメントデータは、前記第１の弾幕コメントのデータを有し、前記第１の弾幕コメントの前記データは、前記第２の視点を含む
を更に備える、項目２～５のいずれか一項に記載の方法。
（項目７）
前記端末が、第２の再生瞬間において前記第２のインタフェースを前記表示する段階の後に、前記方法は：
前記端末が、第２の弾幕コメントを送信する第２の操作を受信する段階、及び、前記端末が、前記第２の弾幕コメントのデータを弾幕コメントサーバに送信する段階、ここで、前記第２の弾幕コメントの前記データは、前記第２の弾幕コメントのコンテンツ、及び第３の視点を含み、前記第３の視点は、前記第２の弾幕コメントの送信中における前記第１の自由視点映像に対応する視点である
を更に備える、項目２～６のいずれか一項に記載の方法。
（項目８）
前記第２の弾幕コメントの前記データは、前記第２の弾幕コメントの発生瞬間を更に含み、前記第２の弾幕コメントの前記発生瞬間は、前記第２の再生瞬間に等しい、又は、前記第２の弾幕コメントの前記発生瞬間は、前記第２の再生瞬間から第３の予め設定された時間オフセット値を引いたものに等しい、項目７に記載の方法。
（項目９）
前記第２のインタフェースは、前記第１の弾幕コメントを更に有する
項目１～８のいずれか一項に記載の方法。
（項目１０）
前記端末が、第２の再生瞬間において前記第２のインタフェースを前記表示する段階の後に、前記方法は：
前記端末が、第３の再生瞬間において第３のインタフェースを表示する段階、ここで、前記第３の再生瞬間は、前記第１の弾幕コメントの表示時間の後であり、前記第３のインタフェースは、前記第２の視点における前記第１の自由視点映像の前記映像画像を有し、前記第３のインタフェースは、前記第１の弾幕コメントを有しない
を更に備える、項目２～９のいずれか一項に記載の方法。
（項目１１）
前記方法は：
前記端末が、第４の再生瞬間において第４のインタフェースを表示する段階、ここで、前記第４のインタフェースは前記第１の視点及び推奨視点における前記第１の自由視点映像の前記映像画像を有し、前記推奨視点は第４の視点を含む；及び
前記端末が、前記ユーザによる前記第４の視点を選択する第３の操作を検出した場合、前記第４の視点における前記第１の自由視点映像の第５の再生瞬間の映像画像を表示する段階、ここで、前記第５の再生瞬間は前記第４の再生瞬間に関連している
を更に備える、項目１～１０のいずれか一項に記載の方法。
（項目１２）
前記第５の再生瞬間が前記第４の再生瞬間に関連していることは：
前記第５の再生瞬間が、前記第４の再生瞬間に等しいこと、又は、前記第５の再生瞬間が、前記第４の再生瞬間から第４の予め設定された時間オフセット値を引いたものに等しいこと
を含む、項目１１に記載の方法。
（項目１３）
前記端末が、第４の再生瞬間において第４のインタフェースを前記表示する段階の前に、前記方法は：
前記端末が、前記第１の視点における前記第１の自由視点映像の前記第４の再生瞬間に対応する第２の映像ファイルをメディアサーバに要求する段階、及び、前記第１の自由視点映像の前記第４の再生瞬間に対応する推奨視点を弾幕コメントサーバに要求する段階、ここで、前記第４の再生瞬間に対応する前記推奨視点は、前記第１の自由視点映像の前記第４の再生瞬間に対応する弾幕コメントの数量に基づき、前記弾幕コメントサーバによって決定される
を更に備える、項目１１又は１２に記載の方法。
（項目１４）
プロセッサ、メモリ、及びタッチスクリーンを備える端末であって、前記メモリ及び前記タッチスクリーンは前記プロセッサに結合されており、前記メモリはコンピュータプログラムコードを記憶するように構成されており、前記コンピュータプログラムコードはコンピュータ命令を含み、前記プロセッサが前記メモリ内の前記コンピュータ命令を読み出した場合、前記端末は、項目１～１３のいずれか一項に記載の、自由視点映像についての前記視点切り替え方法を実行することが可能になる、端末。
（項目１５）
コンピュータ命令を備えるコンピュータ可読記憶媒体であって、前記コンピュータ命令が端末上で実行された場合、前記端末は、項目１～１３のいずれか一項に記載の、自由視点映像についての前記視点切り替え方法を実行することが可能になる、コンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6(1)】

【図6(2)】

【図7(1)】

【図7(2)】

【図7(3)】

【図8(1)】

【図8(2)】

【図9(1)】

【図9(2)】

【図9(3)】

【図10(1)】

【図10(2)】

【図10(3)】

【図11】

【図12(1)】

【図12(2)】

【図13】

【図14】