知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6334644
(24)【登録日】2018年5月11日
(45)【発行日】2018年5月30日
(54)【発明の名称】没入コンテンツの優れたストリーミングのための方法および装置
(51)【国際特許分類】
H04N 21/2387 20110101AFI20180521BHJP
H04N 21/2389 20110101ALI20180521BHJP
H04N 5/232 20060101ALI20180521BHJP
【ＦＩ】
H04N21/2387
H04N21/2389
H04N5/232 380
【請求項の数】18
【外国語出願】
【全頁数】35
(21)【出願番号】特願2016-208356(P2016-208356)
(22)【出願日】2016年10月25日
(65)【公開番号】特開2017-85566(P2017-85566A)
(43)【公開日】2017年5月18日
【審査請求日】2016年12月6日
(31)【優先権主張番号】14/922,450
(32)【優先日】2015年10月26日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100141162
【弁理士】
【氏名又は名称】森 啓
(74)【代理人】
【識別番号】100141254
【弁理士】
【氏名又は名称】榎原 正巳
(72)【発明者】
【氏名】スジート シャムスンダル マテ
(72)【発明者】
【氏名】イゴール ダニロ ディエゴ クルチョ
【審査官】
久保 光宏
(56)【参考文献】
【文献】
特開２００４−７２６９４（ＪＰ，Ａ）
【文献】
特開２０１３−１８３２０９（ＪＰ，Ａ）
【文献】
Ochi, D., et al.，"Live Streaming System for Omnidirectional Video"，Proceedings of IEEE Virtual Reality Conference 2015，２０１５年 ３月２７日，Pages 349-350，ISBN: 978-1-4799-1727-3, <DOI: 10.1109/VR.2015.7223439>
【文献】
King-To Ng, et al.，"The compression issues of panoramic video"，Proceedings of 2001 International Symposium on Intelligent Multimedia, Video and Speech Processing，２００１年 ５月 ４日，Pages 36-39，ISBN: 962-85766-2-3, <DOI: 10.1109/ISIMP.2001.925324>
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ２１／００−２１／８５８
Ｈ０４Ｎ５／２２２−５／２８
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
没入コンテンツの帯域幅効率的なストリーミングのための方法であって、
プロセッサにより没入コンテンツの生成を引き起こす段階と、
現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報をメモリから読出す段階であって、該CVBは、該没入コンテンツの現在光景を具備し、該一個以上のPFBは、該没入コンテンツの該現在光景に隣接する一つ以上の光景を具備し、該FVBは、所定スレッショルド値を満たす速度での視認者のヘッドの移動時における提供のための、該現在光景の外側の一つ以上の光景と、該現在光景に隣接する該一つ以上の光景と、を具備し、該CVBおよびPFBは、該FVBと異なる品質レベルで該没入コンテンツの異なる部分を記憶する、段階と、
該CVB、該一個以上のPFB、および、該FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対するストリーミング・サーバによる没入コンテンツの部分の送信を引き起こす段階と、
を備えて成り、
該CVB、該一個以上のPFB、および該FVBに関する該バッファ情報は、少なくとも、該CVB、PFB、およびFVBの各々に記憶されるコンテンツとカメラ・インデックスとの間の関係、についての情報である、
方法。
プロセッサにより没入コンテンツの生成を引き起こす段階と、
現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報をメモリから読出す段階であって、該CVBは、該没入コンテンツの現在光景を具備し、該一個以上のPFBは、該没入コンテンツの該現在光景に隣接する一つ以上の光景を具備し、該FVBは、所定スレッショルド値を満たす速度での視認者のヘッドの移動時における提供のための、該現在光景の外側の一つ以上の光景と、該現在光景に隣接する該一つ以上の光景と、を具備し、該CVBおよびPFBは、該FVBと異なる品質レベルで該没入コンテンツの異なる部分を記憶する、段階と、
該CVB、該一個以上のPFB、および、該FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対するストリーミング・サーバによる没入コンテンツの部分の送信を引き起こす段階と、
を備えて成り、
該CVB、該一個以上のPFB、および該FVBに関する該バッファ情報は、少なくとも、該CVB、PFB、およびFVBの各々に記憶されるコンテンツとカメラ・インデックスとの間の関係、についての情報である、
方法。
【請求項2】
該プロセッサにより、且つ、没入コンテンツ視認システムから、該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信する段階と、
受信された信号通知メッセージに基づき、該CVB、該各PFBまたは該FVBに関する該バッファ情報を該プロセッサにより更新する段階と、
を更に備えて成る、請求項１に記載の方法。
受信された信号通知メッセージに基づき、該CVB、該各PFBまたは該FVBに関する該バッファ情報を該プロセッサにより更新する段階と、
を更に備えて成る、請求項１に記載の方法。
【請求項3】
該方法は、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージの送信を、該ストリーミング・サーバにより引き起こす段階、を更に備えて成り、
該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する該信号通知メッセージは、該利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する該信号通知メッセージの送信に応じて受信される、
請求項２に記載の方法。
該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する該信号通知メッセージは、該利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する該信号通知メッセージの送信に応じて受信される、
請求項２に記載の方法。
【請求項4】
該信号通知メッセージは、該CVBに対して関連付けられた一つ以上のカメラ・インデックス、該一個以上のPFBに対して関連付けられる一つ以上のカメラ・インデックス、または、両方を特定する、請求項２に記載の方法。
【請求項5】
該信号通知メッセージは、コンテンツ品質レベルを更に特定し、且つ、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こす該段階は更に、該コンテンツ品質レベルに基づく、請求項２に記載の方法。
【請求項6】
該信号通知メッセージは、該FVBの利用を表し、且つ、該ストリーミング・サーバに対し、該CVBまたは該一個以上のPFBに対応する没入コンテンツの部分の送信を一時停止することを指示する、請求項２に記載の方法。
【請求項7】
該信号通知メッセージは、該ストリーミング・サーバに対し、該CVBまたは該一個以上のPFBに対応する没入コンテンツの部分の送信を再開することを指示する、請求項２に記載の方法。
【請求項8】
没入コンテンツの帯域幅効率的なストリーミングのための装置であって、該装置は、少なくとも一つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも一つのメモリと、を備えて成り、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツの生成を引き起こさせ、
現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報を読出させ、該CVBは、該没入コンテンツの現在光景を具備し、該一個以上のPFBは、該没入コンテンツの該現在光景に隣接する一つ以上の光景を具備し、該FVBは、所定スレッショルド値を満たす速度での視認者のヘッドの移動時における提供のための、該現在光景の外側の一つ以上の光景と、該現在光景に隣接する該一つ以上の光景と、を具備し、該CVBおよびPFBは、該FVBと異なる品質レベルで該没入コンテンツの異なる部分を記憶しており、
該CVB、該一個以上のPFB、および、該FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こさせる、
ように構成され、
該CVB、該一個以上のPFB、および該FVBに関する該バッファ情報は、少なくとも、該CVB、PFB、およびFVBの各々に記憶されるコンテンツとカメラ・インデックスとの間の関係、についての情報である、
装置。
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツの生成を引き起こさせ、
現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報を読出させ、該CVBは、該没入コンテンツの現在光景を具備し、該一個以上のPFBは、該没入コンテンツの該現在光景に隣接する一つ以上の光景を具備し、該FVBは、所定スレッショルド値を満たす速度での視認者のヘッドの移動時における提供のための、該現在光景の外側の一つ以上の光景と、該現在光景に隣接する該一つ以上の光景と、を具備し、該CVBおよびPFBは、該FVBと異なる品質レベルで該没入コンテンツの異なる部分を記憶しており、
該CVB、該一個以上のPFB、および、該FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こさせる、
ように構成され、
該CVB、該一個以上のPFB、および該FVBに関する該バッファ情報は、少なくとも、該CVB、PFB、およびFVBの各々に記憶されるコンテンツとカメラ・インデックスとの間の関係、についての情報である、
装置。
【請求項9】
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツ視認システムから、該CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信させ、
受信された信号通知メッセージに基づき、該CVB、該各PFBまたは該FVBに関する該バッファ情報を更新させる、
ように構成されている、請求項８に記載の装置。
没入コンテンツ視認システムから、該CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信させ、
受信された信号通知メッセージに基づき、該CVB、該各PFBまたは該FVBに関する該バッファ情報を更新させる、
ように構成されている、請求項８に記載の装置。
【請求項10】
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野とを特定する信号通知メッセージの送信を引き起こさせるように構成され、
該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する該信号通知メッセージは、該利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する該信号通知メッセージの送信に応じて受信される、
請求項９に記載の装置。
利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野とを特定する信号通知メッセージの送信を引き起こさせるように構成され、
該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する該信号通知メッセージは、該利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する該信号通知メッセージの送信に応じて受信される、
請求項９に記載の装置。
【請求項11】
没入コンテンツの帯域幅効率的なストリーミングのための方法であって、
没入コンテンツ供給システムから没入コンテンツの部分を受信する段階と、
受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の内の一つ以上に記憶する段階と、
ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、該FVBの内の一つからの表示可能メディアの生成を引き起こす段階と、
没入コンテンツ消費デバイスにより、該表示可能メディアの表示を引き起こす段階と、
を備えて成り、
該方法は、
該没入コンテンツ供給システムから、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージを受信する段階と、
ヘッド・トラッキング・モジュールにより、ユーザのヘッドの配向の決定を引き起こす段階と、
没入相互作用依存適合化モジュールにより、且つ、ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、両方に対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす段階と、
該没入相互作用依存適合化モジュールにより、該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こす段階と、
を更に備えて成り、
該没入コンテンツ供給システムから該没入コンテンツの部分を受信する該段階は、該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージの該送信に応じて行われる、
方法。
没入コンテンツ供給システムから没入コンテンツの部分を受信する段階と、
受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の内の一つ以上に記憶する段階と、
ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、該FVBの内の一つからの表示可能メディアの生成を引き起こす段階と、
没入コンテンツ消費デバイスにより、該表示可能メディアの表示を引き起こす段階と、
を備えて成り、
該方法は、
該没入コンテンツ供給システムから、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージを受信する段階と、
ヘッド・トラッキング・モジュールにより、ユーザのヘッドの配向の決定を引き起こす段階と、
没入相互作用依存適合化モジュールにより、且つ、ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、両方に対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす段階と、
該没入相互作用依存適合化モジュールにより、該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こす段階と、
を更に備えて成り、
該没入コンテンツ供給システムから該没入コンテンツの部分を受信する該段階は、該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージの該送信に応じて行われる、
方法。
【請求項12】
該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージは、コンテンツ品質レベルを更に特定し、且つ、没入コンテンツ視認システムに対して受信された該没入コンテンツの部分は、該コンテンツ品質レベルに基づく、請求項１１に記載の方法。
【請求項13】
該方法は、
該ヘッド・トラッキング・モジュールから、ユーザのヘッドの変更済み配向を表す光景変化信号を受信する段階と、
ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階と、
を更に備えて成り、
ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列する場合、該表示可能メディアの生成を引き起こす該段階は、該CVBからの表示可能メディアの生成を引き起こす段階を備えて成る、
請求項１１に記載の方法。
該ヘッド・トラッキング・モジュールから、ユーザのヘッドの変更済み配向を表す光景変化信号を受信する段階と、
ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階と、
を更に備えて成り、
ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列する場合、該表示可能メディアの生成を引き起こす該段階は、該CVBからの表示可能メディアの生成を引き起こす段階を備えて成る、
請求項１１に記載の方法。
【請求項14】
ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列しない場合、該表示可能メディアの生成を引き起こす該段階は、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階と、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列する場合には、該各PFBの内の一つからの表示可能メディアの生成を引き起こす段階と、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列しない場合には、該FVBからの表示可能メディアの生成を引き起こす段階と、
を備えて成る、請求項１３に記載の方法。
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階と、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列する場合には、該各PFBの内の一つからの表示可能メディアの生成を引き起こす段階と、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列しない場合には、該FVBからの表示可能メディアの生成を引き起こす段階と、
を備えて成る、請求項１３に記載の方法。
【請求項15】
該各PFBの内の一つからの該表示可能メディアの生成を引き起こす段階に応じて、該方法は、
該表示可能メディアがそれから生成された該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスを該CVBに対して関連付けることを該没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を、該没入相互作用依存適合化モジュールにより引き起こす段階、
を更に備えて成る、請求項１４に記載の方法。
該表示可能メディアがそれから生成された該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスを該CVBに対して関連付けることを該没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を、該没入相互作用依存適合化モジュールにより引き起こす段階、
を更に備えて成る、請求項１４に記載の方法。
【請求項16】
該FVBからの該表示可能メディアの生成を引き起こす段階に応じて、該方法は、
該CVBまたは該一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを該没入コンテンツ供給システムに対して指示する一時停止信号通知メッセージの送信を、該没入相互作用依存適合化モジュールにより引き起こす段階、
を更に備えて成る、請求項１４に記載の方法。
該CVBまたは該一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを該没入コンテンツ供給システムに対して指示する一時停止信号通知メッセージの送信を、該没入相互作用依存適合化モジュールにより引き起こす段階、
を更に備えて成る、請求項１４に記載の方法。
【請求項17】
没入コンテンツの帯域幅効率的なストリーミングのための装置であって、該装置は、少なくとも一つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも一つのメモリと、を備えて成り、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツ供給システムから没入コンテンツの部分を受信させ、
受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の各バッファの内の一つ以上に記憶させ、
ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上からの表示可能メディアの生成を引き起こさせ、
ユーザに対する該表示可能メディアの表示を引き起こさせる、
ように構成され、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野とを特定する信号通知メッセージを、該没入コンテンツ供給システムから受信させ、
ユーザのヘッドの配向の決定を引き起こさせ、
ユーザのヘッドの該配向に基づき、該CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせ、
該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こさせる、
ように構成され、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージの送信に応じて、該没入コンテンツ供給システムからの没入コンテンツの部分を受信させるように構成されている、
装置。
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツ供給システムから没入コンテンツの部分を受信させ、
受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の各バッファの内の一つ以上に記憶させ、
ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上からの表示可能メディアの生成を引き起こさせ、
ユーザに対する該表示可能メディアの表示を引き起こさせる、
ように構成され、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野とを特定する信号通知メッセージを、該没入コンテンツ供給システムから受信させ、
ユーザのヘッドの配向の決定を引き起こさせ、
ユーザのヘッドの該配向に基づき、該CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせ、
該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こさせる、
ように構成され、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージの送信に応じて、該没入コンテンツ供給システムからの没入コンテンツの部分を受信させるように構成されている、
装置。
【請求項18】
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
ユーザのヘッドの配向に基づき、該一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせるように構成され、
該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージは、一個以上のPFBに対して関連付けられた該一つ以上のカメラ・インデックスを更に特定する、
請求項１７に記載の装置。
ユーザのヘッドの配向に基づき、該一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせるように構成され、
該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージは、一個以上のPFBに対して関連付けられた該一つ以上のカメラ・インデックスを更に特定する、
請求項１７に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の代表的実施形態は、概略的には没入コンテンツ(immersive content)の送信方法に関し、更に詳細には、没入コンテンツの帯域幅効率的な送信のための方法および装置に関する。
【背景技術】
【0002】
一つの形式の没入コンテンツは、全方向性コンテンツを備えて成る。通常、全方向性コンテンツの捕捉は、(習用のまたは魚眼的なレンズを使用する)複数台のカメラを要すると共に、斯かるカメラからの夫々の光景は、全方向性コンテンツの生成を許容する。習用的に、この形式のコンテンツをストリーミングするためには、単一のカメラにより生成されたコンテンツのストリーミングと比較されたときに、大きな帯域幅の拘束を必要とする。しかし、多くのユーザにとり、斯かる大量の帯域幅を専用とすることは実用的でなく、多くの状況においては、可能でさえない。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Oculusベスト・プラクティス・ガイド(http://static.oculus.com/sdk-downloads/documents/Oculus_Best_Practices Guide.pdf)
【発明の概要】
【0004】
非特許文献１は、一つの卓越したプラットフォームを用いて没入コンテンツを提供するための多くのベスト・プラクティスを含んでいる。この非特許文献１は、“ディスプレイは、例外なく常に、ヘッド・トラッキングおよび視点変化に応答すべきであり；ゲームが一時停止され、または、カットシーンを表示しているときでさえも、ユーザは周囲を見回し得るべきである”と述べている。更に、非特許文献１は、“ユーザは常に周囲環境を見回す自由度を有すべきであることから、ユーザのコンテンツのデザインに対して新たな要件が付加されることがある”と述べている。これらの推奨内容は、ヘッド移動の自由度を提供するシームレスな視認体験を提供するとの要望を例証している。没入コンテンツをストリーミングする習用的なモードは相当な帯域幅の拘束を要するという事実と併せて、これらの推奨内容は、満足できるユーザ体験を提供するためには、感じない程度の待ち時間を以てユーザがアクセス可能である複数のカメラ・ストリームに対する必要性を例証している。
【0005】
従って、本明細書中に記述される代表的実施形態は、没入的なユーザ体験を阻害せずに上記要件に対処する、没入コンテンツの帯域幅効率的なストリーミングのための方法、システムおよび装置を包含する。これを行うために、代表的実施形態は、没入コンテンツの異なる部分を異なるレベルの品質にて記憶する複数のバッファを利用する。詳細には、代表的実施形態は、現在光景バッファ(CVB)内に完全消費品質コンテンツを蓄積する習用のストリーミング・バッファを利用する。上記CVB内に記憶されたコンテンツは概略的に、ユーザの現在光景に対応する没入コンテンツのカメラ光景から調達される。但し、同時に、斯かる実施形態は、上記現在光景に隣接する一つ以上の光景に対する先読みバッファ(PFB)を利用すると共に、これらのPFBは、中間もしくは完全な消費品質のコンテンツを記憶する。最後に、斯かる実施形態はまた、素早いヘッド移動に対する自由視点バッファ(FVB)も利用し得ると共に、これらのバッファは、低品質の概観的コンテンツを記憶する。
【0006】
第一の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのための方法が提供される。該方法は、没入コンテンツ捕捉モジュールにより没入コンテンツの生成を引き起こす段階と、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報をメモリから読出す段階と、上記CVB、一個以上のPFB、および、FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対するストリーミング・サーバによる没入コンテンツの部分の送信を引き起こす段階と、を含む。
【0007】
幾つかの実施形態において、上記方法は、没入適合化モジュールにより、且つ、没入コンテンツ視認システムから、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信する段階と、受信された信号通知メッセージに基づき、上記CVB、各PFBまたはFVBに関する上記バッファ情報を没入適合化モジュールにより更新する段階と、を更に含む。
【0008】
一つの斯かる実施形態において、上記方法は、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージの送信を、上記ストリーミング・サーバにより引き起こす段階を更に含み得、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する上記信号通知メッセージは、上記利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する上記信号通知メッセージの送信に応じて受信される。別の斯かる実施形態において、上記信号通知メッセージは、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスを特定する。更に別の斯かる実施形態において、上記信号通知メッセージは、上記一個以上のPFBに対して関連付けられる一つ以上のカメラ・インデックスを特定する。この点に関し、上記信号通知メッセージはコンテンツ品質レベルを特定し得ると共に、没入コンテンツ視認システムに対して送信される没入コンテンツの部分は更に、上記コンテンツ品質レベルに基づき得る。
【0009】
更に別の斯かる実施形態において、上記信号通知メッセージは、上記FVBの利用を表し、且つ、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を一時停止することを指示する。また、更に別の斯かる実施形態において、上記信号通知メッセージは、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を再開することを指示する。
【0010】
第二の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのための装置が提供される。該装置は、少なくとも一つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも一つのメモリとを備えて成り、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは、上記少なくとも一つのプロセッサとともに、当該装置に、没入コンテンツの生成を引き起こさせ、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報を読出させ、且つ、上記CVB、一個以上のPFB、および、FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こさせる、様に構成される。
【0011】
幾つかの実施形態において、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、没入コンテンツ視認システムから、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信させ、且つ、受信された信号通知メッセージに基づき、没入適合化モジュールにより、上記CVB、各PFBまたはFVBに関する上記バッファ情報を更新させる、様に構成される。
【0012】
一つの斯かる実施形態において、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージの送信を、上記ストリーミング・サーバにより、引き起こさせる様に構成され、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する上記信号通知メッセージは、上記利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する上記信号通知メッセージの送信に応じて受信される。
【0013】
別の斯かる実施形態において、上記信号通知メッセージは、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスを特定する。更に別の斯かる実施形態において、上記信号通知メッセージは、上記一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスを特定する。この点に関し、上記信号通知メッセージはコンテンツ品質レベルを特定し得ると共に、没入コンテンツ視認システムに対して送信される没入コンテンツの部分は更に、上記コンテンツ品質レベルに基づき得る。更に別の斯かる実施形態において、上記信号通知メッセージは、上記FVBの利用を表し、且つ、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を一時停止することを指示する。また、更に別の斯かる実施形態において、上記信号通知メッセージは、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を再開することを指示する。
【0014】
第三の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのためのコンピュータ・プログラム製品が提供される。該コンピュータ・プログラム製品は、自身内に記憶されたコンピュータ実行可能プログラム・コード部分を有する少なくとも一つの持続的なコンピュータ可読記憶媒体を含み、上記コンピュータ実行可能プログラム・コード部分は、プログラム・コード命令であって、実行されたときに、装置に、没入コンテンツの生成を引き起こさせ、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報を読出させ、且つ、上記CVB、一個以上のPFB、および、FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こさせる、というプログラム・コード命令を備えて成る。
【0015】
幾つかの実施形態において、上記プログラム・コード命令は、実行されたときに更に、上記装置に、没入コンテンツ視認システムから、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信させ、且つ、受信された信号通知メッセージに基づき、没入適合化モジュールにより、上記CVB、各PFBまたはFVBに関する上記バッファ情報を更新させる。
【0016】
一つの斯かる実施形態において、上記プログラム・コード命令は、実行されたときに更に、上記装置に、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージの送信を、上記ストリーミング・サーバにより、引き起こさせ、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する上記信号通知メッセージは、上記利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する上記信号通知メッセージの送信に応じて受信される。
【0017】
別の斯かる実施形態において、上記信号通知メッセージは、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスを特定する。更に別の斯かる実施形態において、上記信号通知メッセージは、上記一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスを特定する。この点に関し、上記信号通知メッセージはコンテンツ品質レベルを特定し得ると共に、没入コンテンツ視認システムに対して送信される没入コンテンツの部分は更に、上記コンテンツ品質レベルに基づき得る。更に別の斯かる実施形態において、上記信号通知メッセージは、上記FVBの利用を表し、且つ、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を一時停止することを指示する。また、更に別の斯かる実施形態において、上記信号通知メッセージは、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を再開することを指示する。
【0018】
第四の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのための装置が提供される。該装置は、没入コンテンツの生成を引き起こす手段と、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報を読出す手段と、上記CVB、一個以上のPFB、および、FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こす手段と、を含んでいる。
【0019】
幾つかの実施形態において、上記装置は更に、没入コンテンツ視認システムから、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信する手段と、受信された信号通知メッセージに基づき、上記CVB、各PFBまたはFVBに関する上記バッファ情報を更新する手段と、を含む。
【0020】
一つの斯かる実施形態において、上記装置は利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージの送信を引き起こす手段を更に含み得、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する上記信号通知メッセージは、上記利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する上記信号通知メッセージの送信に応じて受信される。
【0021】
別の斯かる実施形態において、上記信号通知メッセージは、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスを特定する。更に別の斯かる実施形態において、上記信号通知メッセージは、上記一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスを特定する。この点に関し、上記信号通知メッセージはコンテンツ品質レベルを特定し得ると共に、没入コンテンツ視認システムに対して送信される没入コンテンツの部分は更に、上記コンテンツ品質レベルに基づき得る。更に別の斯かる実施形態において、上記信号通知メッセージは、上記FVBの利用を表し、且つ、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を一時停止することを指示する。また、更に別の斯かる実施形態において、上記信号通知メッセージは、上記ストリーミング・サーバに対し、上記CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を再開することを指示する。
【0022】
第五の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのための方法が提供される。該方法は、没入コンテンツ供給システムから没入コンテンツの部分を受信する段階と、受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の内の一つ以上に記憶する段階と、ユーザのヘッドの配向に基づき、上記CVB、一個以上のPFB、または、FVBの内の一つからの表示可能メディアの生成を引き起こす段階と、没入コンテンツ消費デバイスにより、上記表示可能メディアの表示を引き起こす段階と、を含んでいる。
【0023】
幾つかの実施形態において、上記方法は、上記没入コンテンツ供給システムから、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージを受信する段階と、ヘッド・トラッキング・モジュールにより、ユーザのヘッドの配向の決定を引き起こす段階と、没入相互作用依存適合化モジュールにより、且つ、ユーザのヘッドの配向に基づき、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす段階と、上記没入相互作用依存適合化モジュールにより、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こす段階と、を更に含み、上記没入コンテンツ供給システムから上記没入コンテンツの部分を受信する上記段階は、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージの上記送信に応じて行われる。
【0024】
幾つかの斯かる実施形態において、上記方法は、上記没入相互作用依存適合化モジュールにより、且つ、ユーザのヘッドの配向に基づき、上記一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす段階を更に含み、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージは、一個以上のPFBに対して関連付けられた上記一つ以上のカメラ・インデックスを更に特定する。この点に関し、上記信号通知メッセージは、上記CVB、上記一個以上のPFB、または、両方に対して関連付けられた上記一つ以上のカメラ・インデックスを特定し得ると共に、コンテンツ品質レベルを更に特定し、且つ、受信された上記没入コンテンツの部分は、上記コンテンツ品質レベルに基づき得る。
【0025】
他の斯かる実施形態において、上記方法は、上記ヘッド・トラッキング・モジュールから、ユーザのヘッドの変更済み配向を表す光景変化信号を受信する段階と、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階と、を更に含み、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合、上記表示可能メディアの生成を引き起こす上記段階は、上記CVBからの表示可能メディアの生成を引き起こす段階を備えて成る。この点に関し、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合、上記表示可能メディアの生成を引き起こす上記段階は、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合には、上記各PFBの内の一つからの表示可能メディアの生成を引き起こす段階、および、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合には、上記FVBからの表示可能メディアの生成を引き起こす段階、を含み得る。
【0026】
更に、上記各PFBの内の一つからの上記表示可能メディアの生成を引き起こす段階に応じて、上記方法は、上記表示可能メディアがそれから生成された上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスを上記CVBに対して関連付けることを上記没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を、上記没入相互作用依存適合化モジュールにより引き起こす段階、を更に含み得る。
【0027】
代替的に、上記FVBからの上記表示可能メディアの生成を引き起こす段階に応じて、上記方法は、上記CVBまたは上記一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを上記没入コンテンツ供給システムに対して指示する一時停止信号通知メッセージの送信を、上記没入相互作用依存適合化モジュールにより引き起こす段階、を更に含み得る。
【0028】
第六の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのための装置が提供される。該装置は、少なくとも一つのプロセッサとコンピュータ・プログラム・コードを含む少なくとも一つのメモリとを含み、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは、上記少なくとも一つのプロセッサとともに、当該装置に、没入コンテンツ供給システムから没入コンテンツの部分を受信させ、受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の各バッファの内の一つ以上に記憶させ、ユーザのヘッドの配向に基づき、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上からの表示可能メディアの生成を引き起こさせ、且つ、ユーザに対する上記表示可能メディアの表示を引き起こさせる、様に構成される。
【0029】
幾つかの実施形態において、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージを、上記没入コンテンツ供給システムから受信させ、ユーザのヘッドの配向の決定を引き起こさせ、ユーザのヘッドの上記配向に基づき、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせ、且つ、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こさせる、様に構成され、上記没入コンテンツ供給システムから上記没入コンテンツの部分を受信する上記段階は、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージの上記送信に応じて行われる。
【0030】
斯かる実施形態において、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、ユーザのヘッドの配向に基づき、上記一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせる様に構成され、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージは、上記一個以上のPFBに対して関連付けられた上記一つ以上のカメラ・インデックスを更に特定する。この点に関し、上記信号通知メッセージは、上記CVB、上記一個以上のPFB、または、両方に対して関連付けられた上記一つ以上のカメラ・インデックスを特定し得ると共に、コンテンツ品質レベルを更に特定し、且つ、受信された上記没入コンテンツの部分は、上記コンテンツ品質レベルに基づき得る。
【0031】
他の斯かる実施形態において、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、ユーザのヘッドの変更済み配向を表す光景変化信号を受信させ、且つ、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こさせ、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、上記CVBからの表示可能メディアの生成を引き起こすことにより、上記表示可能メディアの生成を引き起こさせる様に構成される。この点に関し、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こさせ、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合には、上記各PFBの内の一つからの表示可能メディアの生成を引き起こさせ、且つ、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合には、上記FVBからの表示可能メディアの生成を引き起こさせる、ことにより、上記表示可能メディアの生成を引き起こさせる様に構成される。
【0032】
更に、上記各PFBの内の一つからの上記表示可能メディアの生成を引き起こす段階に応じて、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、上記表示可能メディアがそれから生成された上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスを上記CVBに対して関連付けることを上記没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を、上記没入相互作用依存適合化モジュールにより引き起こさせる様に構成される。
【0033】
代替的に、上記FVBからの上記表示可能メディアの生成を引き起こす段階に応じて、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、上記CVBまたは上記一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを上記没入コンテンツ供給システムに対して指示する一時停止信号通知メッセージの送信を、上記没入相互作用依存適合化モジュールにより引き起こさせる様に構成される。
【0034】
第七の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのためのコンピュータ・プログラム製品が提供される。該コンピュータ・プログラム製品は、自身内に記憶されたコンピュータ実行可能プログラム・コード部分を有する少なくとも一つの持続的なコンピュータ可読記憶媒体を含み、上記コンピュータ実行可能プログラム・コード部分は、プログラム・コード命令であって、実行されたときに、装置に、没入コンテンツ供給システムから没入コンテンツの部分を受信させ、受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の各バッファの内の一つ以上に記憶させ、ユーザのヘッドの配向に基づき、上記CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上からの表示可能メディアの生成を引き起こさせ、且つ、ユーザに対する上記表示可能メディアの表示を引き起こさせる、というプログラム・コード命令を備えて成る。
【0035】
幾つかの実施形態において、上記プログラム・コード命令は更に、実行されたときに、上記装置に、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージを、上記没入コンテンツ供給システムから受信させ、ユーザのヘッドの配向の決定を引き起こさせ、ユーザのヘッドの上記配向に基づき、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせ、且つ、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こさせ、上記没入コンテンツ供給システムから上記没入コンテンツの部分を受信する上記段階は、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージの上記送信に応じて行われる。
【0036】
幾つかの斯かる実施形態において、上記プログラム・コード命令は更に、実行されたときに、上記装置に、ユーザのヘッドの配向に基づき、上記一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせ、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージは、一個以上のPFBに対して関連付けられた上記一つ以上のカメラ・インデックスを更に特定する。この点に関し、上記信号通知メッセージは、上記CVB、上記一個以上のPFB、または、両方に対して関連付けられた上記一つ以上のカメラ・インデックスを特定し得ると共に、コンテンツ品質レベルを更に特定し、且つ、受信された上記没入コンテンツの部分は、上記コンテンツ品質レベルに基づき得る。
【0037】
他の斯かる実施形態において、上記プログラム・コード命令は更に、実行されたとき、上記装置に、ユーザのヘッドの変更済み配向を表す光景変化信号を受信させ、且つ、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こさせ、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合、上記プログラム・コード命令は更に、実行されたときに、上記装置に、上記CVBからの表示可能メディアの生成を引き起こすことにより、上記表示可能メディアの生成を引き起こさせる。この点に関し、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合、上記プログラム・コード命令は更に、実行されたときに、上記装置に、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こさせ、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合には、上記各PFBの内の一つからの表示可能メディアの生成を引き起こさせ、且つ、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合には、上記FVBからの表示可能メディアの生成を引き起こさせる、ことにより、上記表示可能メディアの生成を引き起こさせる。
【0038】
更に、上記各PFBの内の一つからの上記表示可能メディアの生成を引き起こす段階に応じて、上記プログラム・コード命令は更に、実行されたときに、上記装置に、上記表示可能メディアがそれから生成された上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスを上記CVBに対して関連付けることを上記没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を、上記没入相互作用依存適合化モジュールにより引き起こさせる。
【0039】
代替的に、上記FVBからの上記表示可能メディアの生成を引き起こす段階に応じて、上記プログラム・コード命令は更に、実行されたときに、上記装置に、上記CVBまたは上記一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを上記没入コンテンツ供給システムに対して指示する一時停止信号通知メッセージの送信を、上記没入相互作用依存適合化モジュールにより引き起こさせ得る。
【0040】
第八の代表的実施形態においては、没入コンテンツの帯域幅効率的なストリーミングのための装置が提供される。該装置は、没入コンテンツ供給システムから没入コンテンツの部分を受信する手段と、受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の内の一つ以上に記憶する手段と、ユーザのヘッドの配向に基づき、上記CVB、一個以上のPFB、または、FVBの内の一つからの表示可能メディアの生成を引き起こす段階と、上記表示可能メディアの表示を引き起こす手段と、を含んでいる。
【0041】
幾つかの実施形態において、上記装置は更に、上記没入コンテンツ供給システムから、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野とを特定する信号通知メッセージを受信する手段と、ユーザのヘッドの配向の決定を引き起こす手段と、ユーザのヘッドの配向に基づき、上記CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす手段と、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こす手段と、を更に含み、上記没入コンテンツ供給システムから上記没入コンテンツの部分を受信する上記段階は、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージの上記送信に応じて行われる。
【0042】
幾つかの斯かる実施形態において、上記装置は、上記没入相互作用依存適合化モジュールにより、且つ、ユーザのヘッドの配向に基づき、上記一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす手段を更に含み、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスを特定する上記信号通知メッセージは、一個以上のPFBに対して関連付けられた上記一つ以上のカメラ・インデックスを更に特定する。この点に関し、上記信号通知メッセージは、上記CVB、上記一個以上のPFB、または、両方に対して関連付けられた上記一つ以上のカメラ・インデックスを特定し得ると共に、コンテンツ品質レベルを更に特定し、且つ、受信された上記没入コンテンツの部分は、上記コンテンツ品質レベルに基づき得る。
【0043】
他の斯かる実施形態において、上記装置は、ユーザのヘッドの変更済み配向を表す光景変化信号を受信する手段と、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす手段と、を更に含み、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合、上記表示可能メディアの生成を引き起こす上記手段は、上記CVBからの表示可能メディアの生成を引き起こす手段を備えて成る。この点に関し、ユーザのヘッドの上記変更済み配向が、上記CVBに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合、上記表示可能メディアの生成を引き起こす上記手段は、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす手段、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列する場合には、上記各PFBの内の一つからの表示可能メディアの生成を引き起こす手段、および、ユーザのヘッドの上記変更済み配向が、上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスに対応する視野と整列しない場合には、上記FVBからの表示可能メディアの生成を引き起こす手段、を含み得る。
【0044】
更に、上記各PFBの内の一つからの上記表示可能メディアの生成を引き起こす段階に応じて、上記装置は、上記表示可能メディアがそれから生成された上記各PFBの内の一つに対して関連付けられた上記一つ以上のカメラ・インデックスを上記CVBに対して関連付けることを上記没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を、上記没入相互作用依存適合化モジュールにより引き起こす手段、を更に含み得る。
【0045】
代替的に、上記FVBからの上記表示可能メディアの生成を引き起こす段階に応じて、上記装置は、上記CVBまたは上記一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを上記没入コンテンツ供給システムに対して指示する一時停止信号通知メッセージの送信を引き起こす手段、を更に含み得る。
【0046】
上記の概要は単に、本発明の幾つかの見地の基本的な理解を提供するために幾つかの代表的実施形態を要約する目的で提供される。従って、上述の実施形態は単なる一例であり、且つ、本発明の有効範囲もしくは精神を何らか狭めると解釈されるべきでないことは理解される。本発明の有効範囲は、此処で要約された実施形態であって、その幾つかが以下において更に記述されるという実施形態に加え、多くの可能的な実施形態を包含することは理解される。
【図面の簡単な説明】
【0047】
上記においては、概略的な語句にて本開示内容の幾つかの代表的実施形態を記述してきたが、次に、必ずしも縮尺通りではない添付図面が参照される。
【0048】
【発明を実施するための形態】
【0049】
次に、以下においては、発明の全てではないが幾つかの実施形態が示される添付図面を参照して本発明の幾つかの実施形態が更に十分に記述される。実際、これらの発明は、多くの異なる形態で具現され得ると共に、本明細書中に示された実施形態に限定されると解釈されるべきでなく、寧ろ、これらの実施形態は、本開示内容が、該当する法的要件を満足するために提供される。全体に亙り、同様の番号は同様の要素を指している。本明細書中で用いられる如く、“データ”、“コンテンツ”、“情報”という語句、および、同様の語句は、本発明の実施形態に従って送信、受信および／または記憶され得るデータを指すべく互換的に使用され得る。故に、一切の斯かる語句の使用は、本発明の実施形態の精神および有効範囲を制限すると解釈されるべきでない。
【0050】
付加的に、本明細書中で用いられる如く、“回路機構”という語句は、(a)(たとえば、アナログ回路機構および／またはデジタル回路機構での実施形態などの)ハードウェアのみの回路実施形態、(b)本明細書中に記述された一つ以上の機能を装置に実施させるべく協働して作用する一つ以上のコンピュータ可読メモリ上に記憶されたソフトウェアおよび／またはファームウェア命令を備えて成る回路およびコンピュータ・プログラム製品の組み合わせ、および、(c)たとえば、ソフトウェアまたはファームウェアが物理的に存在しないとしても、動作のために該ソフトウェアまたはファームウェアを必要とする単一もしくは複数のマイクロプロセッサ、または、単一もしくは複数のマイクロプロセッサの一部などの如き回路、を指している。“回路機構”のこの定義は、一切の請求項におけるものを含め、本明細書中におけるこの語句の全ての使用箇所に適用される。更なる例として、本明細書中で用いられる如く、“回路機構”という語句はまた、一つ以上のプロセッサおよび／またはその一部、および、付随するソフトウェアおよび／またはファームウェアを備えて成る実施形態も包含する。別の例として、本明細書中で用いられる如き“回路機構”という語句は、たとえば、携帯電話のためのベースバンド集積回路もしくはアプリケーション・プロセッサ集積回路、または、サーバ内の同様の集積回路、セル式ネットワーク・デバイス、他のネットワーク・デバイス、及び／又は、他の演算デバイスも包含している。
【0051】
本明細書中で用いられる如く、(たとえば、揮発性もしくは不揮発性のメモリデバイスなどの)持続的な物理的記憶媒体を指す“コンピュータ可読記憶媒体”は、電磁的信号を指す“コンピュータ可読送信媒体”から区別され得る。
【0052】
本明細書中に記述される実施形態は、没入コンテンツの帯域幅効率的なストリーミングを提供すべく設計された代表的な方法、装置およびコンピュータ・プログラム製品を例証する。本明細書中に記述される方法は、没入コンテンツ供給システムおよび没入コンテンツ視認システムの一つ以上により実施され(、且つ、それにより、上記装置およびコンピュータ・プログラム製品が具現され)得る。上記没入コンテンツ供給システムは、幾つかの場合、たとえば、NokiaのOZOプレゼンス捕捉デバイス、もしくは、複数台のカメラを用いてコンテンツを捕捉すべく構成された他の任意のデバイスの如き、種々の没入コンテンツ捕捉デバイスの内の任意のものにより具現され(または、それと通信し)得るが、上記没入コンテンツ供給システムは、当該装置自体は、没入コンテンツ捕捉機能を提供しないが、代わりに、別体的な没入コンテンツ捕捉デバイスを用いて予め捕捉された没入コンテンツを記憶し得るという装置によっても具現され得る。一方、上記没入コンテンツ視認システムは、(たとえば、Oculus Rift(登録商標)などの如き)ヘッド・マウント・ディスプレイの如き、没入コンテンツをレンダリングし得るデバイスを備えて成る没入コンテンツ消費デバイスにより具現され(または、それと通信し)得る。上記没入コンテンツ供給システムおよび没入コンテンツ視認システムは、(たとえば、ローカル・エリア・ネットワーク(LAN)、インターネットの如きワイド・エリア・ネットワーク(WAN)などの)ネットワークを介して相互に通信すべく構成される。
【0053】
没入型のユーザ体験を阻害せずに、非特許文献１に記述された上記要件に対処する没入コンテンツの帯域幅効率的なストリーミングを可能とするために、代表的実施形態は、没入コンテンツの種々の部分を記憶する複数のバッファを利用する。
【0054】
詳細には、代表的実施形態は、CVB内に完全消費品質コンテンツを蓄積する習用のストリーミング・バッファを利用する。上記CVBを利用するコンテンツは、概略的に、ユーザの現在視野に対応する没入コンテンツの単一もしくは複数のカメラ光景(camera view)である。但し、同時に、斯かる実施形態は、現在光景に隣接する一つ以上の光景に対して複数のPFBを利用し、且つ、これらのPFBは、これらの隣接光景の中間もしくは完全な消費品質のコンテンツを記憶する。最後に、斯かる実施形態はまた、素早いヘッド移動に対するFVBも利用すると共に、これらのバッファは、低品質の概観的コンテンツを記憶する。
【0055】
斯かる例においては、視認者のヘッド位置(および移動)に基づき、先読みカメラ・インデックスが選択される。利用可能な帯域幅、および、上記没入コンテンツ消費デバイスのメモリの利用可能性に依存して、先読みされる隣接カメラ・インデックスの個数が、決定および／または調節され得る。もし、ユーザの視野が、CVBに付随する第一部分集合のカメラ光景にもはや含まれない様に、ユーザが自身のヘッドを動かしたなら、上記消費デバイス上のレンダリングは、(たとえば、上記第一部分集合のカメラ光景から、ユーザの視野の全体を含む第二部分集合のカメラ光景へと、)ユーザが変更した視野に対応するPFBにより提供される光景へと切換わる。
【0056】
引き続き、もしユーザのヘッド移動が、上記第二部分集合のカメラ光景の視野(FOV)限界内に留まるなら、上記消費デバイスは、上記没入コンテンツ供給システムに対してPFB-TO-CVBメッセージを信号通知して、予見的に上記CVBを利用して、上記第二部分集合のカメラ光景からのデータをバッファリングし得る。引き続き、上記CVBは、上記第二部分集合のカメラ光景に付随する一群のカメラからのコンテンツをバッファリングする。
【0057】
代替的に、もしユーザが、上記CVBまたは各PFBに対して関連付けられたカメラ光景の外側である視点まで素早く自身のヘッドを移動させるなら、上記没入コンテンツ消費デバイスは、各FVBからのコンテンツをレンダリングする。この時点において、上記没入コンテンツ視認システムは、上記CVBおよび各PFBを一時停止させる信号を送信し得ると共に、結果として、各FVBからのコンテンツは、ユーザのヘッド移動が停止する(または、所定スレッショルド値よりも低速になる)までストリーミングされ、その時点において、上記没入コンテンツ視認システムは、上記CVBが、新たな部分集合のカメラ光景に関連付けられた一群のカメラから予見的にデータをバッファリングすべきことを表す信号を送信する。この信号は、上記の新たな部分集合のカメラ光景に対応するカメラ・インデックスの識別情報を含み得る。次に、対応する各PFBが導出され得る。幾つかの実施形態において、この導出は上記没入コンテンツ供給システムにより実施され得る一方、他の実施形態において、該導出は、上記没入コンテンツ視認システムにより実施され得る。いずれの形式の実施形態においても、上記導出は、上記新たな部分集合のカメラ光景に基づくか、特定されたカメラ・インデックスに基づくか、または、該導出は、上記新たな部分集合のカメラ光景に対応するカメラ・インデックスを特定する上記信号に加え、上記没入コンテンツ視認システムにより送信され得るこれらの隣接光景を定義するパラメータに基づき得る。
【0058】
次に図１を参照すると、ブロック図は、没入コンテンツ供給システムまたは没入コンテンツ視認システムを具現し得る代表的な装置100を示している。装置100は、プロセッサ102、メモリ104、および、通信インタフェース106を含み得るか、さもなければ、それらと通信し得る。没入コンテンツ視認システムを具現するとき、装置100は更に、没入コンテンツ消費モジュール108を含む(か、あるいは、それと通信する)。没入コンテンツ供給システムを具現するとき、装置100は更に、没入コンテンツ供給モジュール110を含む(か、または、それと通信する)と共に、幾つかの実施形態においては、没入コンテンツ捕捉モジュール112を更に含み得る(か、それと通信し得る)。装置100は、コンピュータ端末の如き演算デバイスにより具現され得る。但し、幾つかの実施形態において、上記装置は、チップまたはチップ群として具現され得る。換言すると、装置100は、(たとえば基板などの)構造的アセンブリ上の器材、構成要素および／または配線を含む(たとえばチップなどの)一つ以上の物理的パッケージを備えて成り得る。上記構造的アセンブリは、物理的強度、サイズの節約、および／または、その上に含まれた構成要素の回路機構に対する電気的相互作用の制限を実現し得る。故に装置100は、幾つかの場合、単一チップ上で、または、単一の“チップ上システム”として、本発明の各見地を実現すべく構成され得る。その故に、幾つかの場合、本明細書中に記述される機能性を提供する一つ以上の動作を実施する手段を、一つのチップまたはチップセットが構成し得る。
【0059】
プロセッサ102は、多くの異なる様式で具現され得る。たとえば、プロセッサ102は、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ(DSP)、付随するDSPありまたはなしでの処理要素の如き、種々のハードウェア処理手段の内の一つ以上として、または、たとえば、ASIC(特定用途集積回路)、FPGA(フィールド・プログラマブル・ゲート・アレイ)、マイクロコントローラ・ユニット(MCU)、ハードウェア・アクセラレータ、専用コンピュータチップなどの如き、集積回路を含む他の処理回路機構、の内の一つ以上として、具現され得る。その故に、幾つかの実施形態において、プロセッサ102は、独立的に機能すべく構成された一つ以上の処理コアを含み得る。マルチコア・プロセッサは、単一の物理的パッケージ内における多重処理を可能とし得る。付加的もしくは代替的に、プロセッサ102は、バスを介して協働することで命令の独立的な実行、パイプライニング、および／または、マルチスレッディングを可能とすべく構成された一つ以上のプロセッサを含み得る。
【0060】
代表的実施形態において、プロセッサ102は、メモリ104内に記憶された命令、または、別様に該プロセッサ102に対してアクセス可能な命令を実行すべく構成され得る。代替的または付加的に、プロセッサ102は、ハードコーディングされた機能性を実行すべく構成され得る。その故に、ハードウェアもしくはソフトウェア方法により構成されるか、または、それらの組み合わせにより構成されるかに関わらず、プロセッサ102は、相応に構成され乍ら本発明の実施形態に従う動作を実施し得る(たとえば、回路機構において物理的に具現された)構成体を表し得る。故に、たとえば、プロセッサ102がASIC、FPGAなどとして具現されたとき、該プロセッサ102は、本明細書中に記述された動作を行うべく特に構成されたハードウェアであり得る。代替的に、別の例として、プロセッサ102がソフトウェア命令の実行体として具現されたとき、該命令は詳細には、該命令が実行されたときに本明細書中に記述されたアルゴリズムおよび／または動作を実施すべくプロセッサ102を構成し得る。但し、幾つかの場合、プロセッサ102は、本明細書中に記述されたアルゴリズムおよび／または動作を実施すべく命令により当該プロセッサを更に構成することにより、本発明の実施形態を採用すべく構成された(たとえば、端点デバイスもしくはゲートウェイ・デバイスなどの)特定デバイスのプロセッサであり得る。プロセッサ102は、とりわけ、クロック、演算論理ユニット(ALU)、および、該プロセッサ102の動作をサポートすべく構成された論理ゲートを含み得る。
【0061】
幾つかの実施形態において、プロセッサ102(および／または、該プロセッサを支援し、もしくは、該プロセッサに対して別様に関連付けられたコプロセッサ、または、他の任意の処理回路機構)は、上記装置の各構成要素間で情報を受け渡すバスを介してメモリ104と通信し得る。メモリ104は、持続的であり得ると共に、たとえば、一つ以上の揮発性および／または不揮発性のメモリを含み得る。換言すると、たとえば、メモリ104は、(たとえば、プロセッサなどの演算デバイスなどの)マシンにより読出し可能であり得る(たとえばビットなどの)データを記憶すべく構成されたゲートを備えて成る(たとえば、コンピュータ可読記憶媒体などの)電子的記憶デバイスであり得る。メモリ104は、上記装置が本発明の代表的実施形態に従う種々の機能を実施することを可能とするために、情報、データ、コンテンツ、アプリケーション、命令などを記憶すべく構成され得る。たとえば、メモリ104は、プロセッサ102による処理ために入力データをバッファリングすべく構成され得る。付加的にまたは代替的に、メモリ104は、プロセッサ102による実行のために命令を記憶すべく構成され得る。
【0062】
一方、通信インタフェース106は、ハードウェアまたはハードウェアとソフトウェアとの組み合わせにおいて具現されたデバイスまたは回路機構であって、一つ以上のネットワークからデータを受信し且つそれらに対してデータを送信すべく構成されたというデバイスまたは回路機構の如き、任意の手段であり得る。この点に関し、通信インタフェース106は、たとえば、一つのアンテナ(または複数のアンテナ)と、複数の無線通信ネットワークによる通信を可能とする支援ハードウェアおよび／またはソフトウェアとを含み得る。付加的もしくは代替的に、通信インタフェース106は、上記単一もしくは複数のアンテナと相互作用する回路機構であって、単一もしくは複数のアンテナを介して信号の送信を引き起こし、または、単一もしくは複数のアンテナを介して受信された信号の受け取りを取り扱うという回路機構を含み得る。一定の環境において、通信インタフェース106は付加的に、有線通信をサポートし得る。その故に、たとえば、通信インタフェース106は、ケーブル、デジタル加入者回線(DSL)、汎用シリアルバス(USB)、または、他の機構を介した通信をサポートする通信モデムおよび／または他のハードウェア／ソフトウェアを含み得る。通信インタフェース106は、種々の実施形態において、(たとえば、装置100が没入コンテンツ供給システムを具現し、他のデバイスは没入コンテンツ視認システムの要素を備えて成り得るとき、または、その逆のときに)装置100が別のデバイスと直接的に通信することを可能とする一種類以上の接近系の通信技術を包含し得ることを理解すべきである。
【0063】
装置100が没入コンテンツ視認システムを備えて成るという実施形態において、(たとえばユーザ・インタフェースなどの)没入コンテンツ消費モジュール108が配備され得る。一方、没入コンテンツ消費モジュール108は、プロセッサ102と通信して、ユーザに対する出力を提供し得る。この点に関し、没入コンテンツ消費モジュール108は、ユーザによる視認のために没入コンテンツをレンダリングすべく構成された一つ以上のディスプレイを備えて成る(たとえば、Oculus Rift(登録商標)などの)ヘッド・マウント・デバイスを備えて成り得る。幾つかの実施形態において、没入コンテンツ消費モジュール108は更に、たとえば、ユーザのヘッドの移動を表すヘッド・トラッキング機能性の如きユーザ・トラッキング機能性を提供し得る。更に、没入コンテンツ消費モジュール108は、タッチ領域、マイクロフォン、スピーカ、または、他の入力／出力機構の如き、ユーザのフィードバックを可能とする要素を更に含み得る。代替的または付加的に、プロセッサ102は、一台以上のディスプレイ、および、幾つかの実施形態においてはスピーカ、リンガ、マイクロフォン、および／または、類似物の如き、没入コンテンツ消費モジュール108の一つ以上の要素の少なくとも幾つかの機能を制御すべく構成された没入コンテンツ・インタフェース回路機構を備えて成り得る。プロセッサ102、または、該プロセッサ102を構成する没入コンテンツ・インタフェース回路機構は、(たとえば、メモリ104、および／または、類似物などの)プロセッサ102に対してアクセス可能なメモリ上に記憶された(たとえば、ソフトウェアおよび／またはファームウェアなどの)コンピュータ・プログラム命令により没入コンテンツ消費モジュール108の一つ以上の要素の一つ以上の機能を制御すべく構成され得る。
【0064】
装置100が没入コンテンツ供給システムを備えて成るという実施形態においては、没入コンテンツ供給モジュール110が配備され得る。一方、没入コンテンツ供給モジュール110は、(たとえばメモリ104などの)メモリから、または、(幾つかの実施形態においては、装置100の要素であり得るか、代替的に、別体的なデバイスの要素であり得る)没入コンテンツ捕捉モジュールから、データを読出し得ると共に、更に通信インタフェース106を利用して、没入コンテンツを装置100から別のデバイスへと送信し得る。この点に関し、没入コンテンツ供給モジュール110は、没入コンテンツを受信かつ供与すべく構成されたハードウェアまたはハードウェアとソフトウェアとの組み合わせのいずれかで具現されたデバイスもしくは回路機構の如き、任意の手段であり得る。この点に関し、幾つかの実施形態において、プロセッサ102は、没入コンテンツ供給モジュール110の一つ以上の要素の少なくとも幾つかの機能を制御すべく構成された没入コンテンツ供給回路機構を備えて成り得る。プロセッサ102、および／または、プロセッサ102を構成する没入コンテンツ・インタフェース回路機構は、(たとえば、メモリ104、および／または、類似物などの)プロセッサ102に対してアクセス可能なメモリ上に記憶された(たとえば、ソフトウェアおよび／またはファームウェアなどの)コンピュータ・プログラム命令により没入コンテンツ供給モジュール110の一つ以上の要素の一つ以上の機能を制御すべく構成され得る。
【0065】
装置100が没入コンテンツ供給システムを備えて成るという幾つかの実施形態において、該装置100は、没入コンテンツ捕捉モジュール112も含み得る。没入コンテンツ捕捉モジュール112は、複数の同時的な画像もしくは動画を捕捉するための、または、多方向コンテンツを別様に生成するための手段を備えて成り得ると共に、対応する音響を捕捉する手段も含み得る。多方向コンテンツを生成する上記手段は、複数台のカメラを備えて成り得る。斯かる実施形態において、各カメラは、捕捉された画像からデジタル画像ファイルを生成するために必要な全てのハードウェア(たとえば、レンズ、もしくは、他の単一もしくは複数の光学的構成要素、画像センサ、画像信号プロセッサ、および／または、類似物)、および、ソフトウェアを含み得る。代替的に、複数台のカメラの内の幾つかは、これらの機能を実施する幾つかの通常的なハードウェアを利用し得る。幾つかの実施形態において、多方向コンテンツを生成する上記手段は、仮想的なカメラ光景を生成する手段を備えて成り得、(たとえば、ゲーム内の仮想的環境を表すときには、複数の仮想的光景が、一連のカメラを用いてこれらの光景を捕捉することによってではなく、(たとえばメモリ104内に記憶された)ソフトウェアを実行する(たとえば、プロセッサ102などの)プロセッサにより生成され得)、その場合、“カメラ光景”という語句は、単に特定の仮想的な光景を指し得る。(たとえば、カメラ捕捉またはコンピュータ生成によるなど)没入コンテンツが如何にして捕捉されるかに関わらず、捕捉された没入コンテンツは引き続き、(たとえば、メモリ104などの)ローカルまたは遠隔的なメモリにより記憶もしくは送信され得る。
【0066】
先に言及された如く、本発明の実施形態は、没入コンテンツの帯域幅効率的なストリーミングを提供する種々の手段を備えて成る。以下においては、帯域幅の消費を最適化すべく上記没入コンテンツ供給システムおよび上記没入コンテンツ視認システムにより使用される手順に関する更なる考察が提供される。
【0067】
没入コンテンツの帯域幅効率的な消費のためのシステム現在、没入コンテンツは、ローカルの再生により消費されている。これを行うために、(たとえば、複数台の異なるカメラから捕捉されたコンテンツなどの)没入コンテンツを送信する没入コンテンツ供給システムが配備され得る。図２Ａに示されて提供された例において、没入コンテンツ捕捉モジュールは、(たとえば、図２Ａに示された如き(１〜８とラベル表示された)８台のカメラなどの)一連のカメラを利用し得る。任意の所定の時点において、(たとえば、カメラ１および２などの)部分集合のカメラからのコンテンツは、没入コンテンツ視認システムを用いてユーザに対してレンダリングされる。コンテンツが引出される特定の部分集合のカメラは、ユーザのヘッド位置に依存することを理解すべきである。もし、(上記没入コンテンツ視認システムの一部であるか、それに対して付加的であり得るヘッド・トラッキング技術の助けにより検出される如く)ユーザのヘッドが動いたなら、ユーザに対してレンダリングされるコンテンツは、変化すると共に、(たとえば、カメラ２および３を含む、隣接する部分集合のカメラなどの)異なる部分集合のカメラから取り込まれる。図２Ａに示されたカメラの台数、および、それらの位相幾何は、一例として提供されると共に、異なる形態の要素、および／または、カメラの台数を用いて、同一の処置が適用され得る。この点に関し、本明細書において企図された幾つかの実施形態においては、全方向性コンテンツが企図される。たとえば、一群のＮ台のカメラが与えられたなら、該Ｎ台のカメラは、単一の平面上に円形様式で配置される必要はなく、且つ、球状の配置、または、他の3Dの多平面配置における如く、3D空間内におけるＫ個の平面間に分散され得る。
【0068】
次に図３に移ると、没入コンテンツの帯域幅効率的な消費を可能とする端末間システム300の概観が提供される。端末間システム300は、前述の如く、没入コンテンツ供給システム302および没入コンテンツ視認システム304を備えて成る。没入コンテンツ供給システム302は、没入コンテンツ視認システム304に対してストリーミングされるべきコンテンツに関する情報を受信する。没入コンテンツ視認システム304は、消費デバイス306を含むか、其処に位置する。異なるレベルの品質にて没入コンテンツの異なる部分に対処すべく複数のバッファを利用して、端末間システム300は、視認体験における一切の中断なしで、没入コンテンツの自由視点探索を促進する。更に詳細には、この成果は、ユーザの移動に反応して、適切な信号通知パラメータをストリーミング・サーバ308に対して送信し、且つ、これらの信号通知パラメータをバッファ管理モジュール310により利用するという、没入コンテンツ視認システム304により達成される。
【0069】
選択的に、没入コンテンツ供給システム302は、没入コンテンツ視認システム304に対して引き続き送信される視覚的コンテンツを捕捉する没入コンテンツ捕捉デバイス312Aを含み得る。但し、他の実施形態において、没入コンテンツ捕捉デバイス312Bは没入コンテンツ供給システム302内に配置される必要はなく、代わりに、没入コンテンツ供給システム302は、先に別体的なデバイスにより捕捉されて記憶のために該没入コンテンツ供給システム302に対して送信された(たとえばVRメディア・ストリームなどの)未処理データを記憶し得る。更に別の実施形態において、上記未処理データは、(たとえば、ローカルもしくは遠隔的であり得る大容量メモリなどの)別体的な記憶システムにより記憶され得ると共に、必要とされたときに没入コンテンツ供給システム302により読出され得る。但し、これらの実施形態のいずれにおいても、未処理データを没入コンテンツ供給システム302が一旦獲得したなら、それは次に、未処理データを没入コンテンツ視認システム304に対して送信(たとえば、ストリーミング)し得る。314Aおよび314Bにて示された如く、複数のカメラ光景の各々に関する未処理データは、没入コンテンツ捕捉モジュール312Aまたは312Bから、同様に没入コンテンツ供給システム302の要素であるストリーミング・サーバ308へと送信され得る。幾つかの実施形態において、上記没入コンテンツ捕捉モジュールおよびストリーミング・サーバ308は単一デバイスの部品であるが、他の実施形態において、それらは、単に相互に通信する別体的なデバイスである。ストリーミング・サーバ308は、二つのモジュールを備えて成り得る。第一のものは、没入コンテンツ消費デバイス306から情報を受信する没入適合化モジュール316である。この受信された情報は、たとえば、複数のカメラ光景の内の一つ以上とCVBおよびPFBとの間の対応性に対する更新に関する信号通知メッセージ、または、FVBの利用に基づいてCVBおよびPFBに対応する没入コンテンツの送信を一時停止もしくは再開する信号通知メッセージを備えて成る。これらの信号通知メッセージの全ては、没入適合化モジュール316により(たとえばメモリ104などの)メモリ内に記憶され得る。ストリーミング・サーバ308における第二のモジュールは、矢印320により示された如く、適切なコンテンツをコード化／パケット化して没入コンテンツ消費デバイス306へとストリーミングするコンテンツ適合化モジュール318である。
【0070】
没入コンテンツ供給システム302に加え、端末間システム300は、没入コンテンツ消費デバイス306上に位置する没入コンテンツ視認システム304を含んでいる。没入コンテンツ視認システム304は、少なくとも四つのモジュールを備えて成る：ヘッド・トラッキング・モジュール322、没入相互作用依存適合化モジュール324、バッファ管理モジュール310、および、コンテンツ再生モジュール326。
【0071】
没入コンテンツ消費デバイス306は、センサ情報を用いて、ユーザのヘッド移動をトラッキングする。これを行うために、没入コンテンツ消費デバイス306は、視認者により消費されつつある全方向性または没入的なコンテンツの下位領域を決定するヘッド・トラッキング・モジュール320を含む。
【0072】
没入相互作用依存適合化モジュール324は、ユーザのヘッド移動(たとえば、その方向、速度など)に依存し、且つ、ユーザの現在の視野と、没入コンテンツ捕捉デバイス312に含まれたセンサの一つ以上との間における対応性に依存して、適切なカメラ光景を選択するロジックを含んでいる。以下において図５Ａに示される如く、ユーザの視野と、センサの特定の部分集合との間の対応性に関するこの情報は、没入コンテンツ供給システム302により(たとえばコンテンツ適合化モジュール318を介して)没入コンテンツ視認システム304に対して送信され得る。328にて示された如く、没入相互作用依存適合化モジュール324は、ストリーミング・サーバ308に対する消費デバイスの状態情報の信号通知の制御も行わねばならない。
【0073】
バッファ管理モジュール310は、CVB、PFBおよびFVBバッファの生成、保持および消去を制御する。バッファ管理モジュール310は、これらの種々のバッファが同期する様に、個々のバッファ状態を追尾する。各バッファ状態の追尾は、(ヘッド移動の如き)没入相互作用に起因する(たとえば、静的な視認、低速の移動、および、素早い移動の間で)消費状態を切換え乍ら、シームレスな体験を確実とするために必須である。バッファ管理モジュール310は更に、再生の間においてバッファの各々に対するフレーム・レベルでのマーカを保持することで、CVBからPFB、PFBからFVB、または、FVBからCVBもしくはPFBへと切換える間における不連続性を確実に最小限とし得る。
【0074】
最後に、コンテンツ再生モジュール326は、音響−視覚コンテンツの再生も行わねばならない。コンテンツ再生モジュール326は付加的に、遅延の隠匿に関して補償する(たとえば、ヘッド移動に応じてPFBもしくはFVBバッファを用いてコンテンツをレンダリングすることにより、高品質のCVBデータのバッファリングの遅延は隠匿される)ことにより、シームレスな再生体験を確実とすべく構成される。コンテンツ再生モジュール326は、各バッファからのフレーム番号レベルの情報、ならびに、ヘッド移動情報を取り込むことで、(もしあるなら)従前の光景データを一掃し、再生バッファを新たな光景に切換える。
【0075】
図４Ａ、図４Ｂおよび図４Ｃは、三つの形式のバッファ(CVB、PFBおよびFVB)を示している。これらのバッファのバッファ長、および、これらのバッファ内に記憶されるコンテンツの品質は、没入コンテンツ消費デバイス306のメモリ利用可能性と、ネットワークの帯域幅と、没入コンテンツ消費デバイス306およびストリーミング・サーバ308の間における信号通知情報の送信に対して予期される往復遅延時間(RTT)と、に基づいて規定される。
【0076】
図４Ａは、CVBを示している。この点に関し、CVBのバッファ長は、習用のストリーミング方法に基づいて判断されることを理解すべきである。本明細書中に記述される幾つかの代表的実施形態は、上記バッファ管理モジュールにより利用されてCVBからPFBまたはFVBへの切換えを促進するフレーム・レベルのバッファ再生ポインタを提供するフィードバック機構を必要とする。
【0077】
図４Ｂは、PFBを示している。各PFBは、特定の持続時間長の循環バッファから成り、且つ、このバッファの長さは理想的には、RTT/2より大きくされることで、ヘッド位置が、PFBに対して関連付けられたカメラ光景の方向に位置されたままである場合において、PFBからCVBへのシームレスな移行を確実とすべきである。時間RTT/2は、ストリーミング・サーバ308に対し、CVB品質へのPFB光景の変換を伝えるに必要な最小時間により決定される。幾つかの実施形態において、CVBおよびPFBは同一の品質を有し得、その場合には、光景品質の切換えのためにストリーミング・サーバ308に対して信号通知することは必要とされず、且つ、局所化されたバッファの再構成のみが必要とされる。この点に関し、PFBはCVBよりも短い持続時間のバッファを有し得る、と言うのも、PFBは、過渡的な機能性を提供することのみが意味されるからである。もし、PFBおよびCVBの両方が同一品質のコンテンツを有するなら、PFBからCVBへの特定のバッファ光景の変更時に、バッファ長が増大され得るか、または、先のCVBメモリが、新たなCVBに対して再割当てされ得る。一個より多いPFBが在り得ると共に、与えられた任意の実施形態において使用されるPFBの個数は、没入コンテンツ捕捉デバイス312Aもしくは312Bにおいて使用されるカメラの台数、ならびに、没入コンテンツ消費デバイス306のメモリ利用可能性、ネットワークの帯域幅、および、没入コンテンツ消費デバイス306とストリーミング・サーバ308の間における信号通知情報の送信に対して予期されるRTTの如き、種々の要因に依存し得ることを理解すべきである。
【0078】
図４Ｃは、FVBを示している。該FVBは、現在再生位置を追尾する制限された持続時間の連続的バッファである。FVBバッファは、コンテンツの不連続性なしで自由なヘッド移動応答を許容するが、FVBは没入コンテンツの全ての光景に関する情報を記憶するという事実の故に、FVBに記憶されるコンテンツの品質は、通常は、CVBまたはPFBの品質よりも低い。この点に関し、FVBに記憶されるコンテンツの品質は、没入コンテンツ捕捉デバイス312Aもしくは312Bにおいて使用されるカメラの台数、ならびに、没入コンテンツ消費デバイス306のメモリ利用可能性、ネットワークの帯域幅、および、没入コンテンツ消費デバイス306とストリーミング・サーバ308との間における信号通知情報の送信に対して予期されるRTTの如き、種々の要因に依存し得る。
【0079】
次に図５Ａ乃至図５Ｅに移ると、没入コンテンツ供給システム302と没入コンテンツ視認システム304との間で実施される信号授受の例が示される。この信号授受によれば、没入コンテンツ視認システム304は、(たとえば、ユーザのヘッド移動などの)ユーザの没入相互作用をストリーミング・サーバ308に対して記述することが可能とされる。この信号授受は更に、(たとえば、そのコンテンツ適合化モジュール318を介したストリーミング・サーバ308からなどの)没入コンテンツ供給システム302からストリーミング・サーバ308に対する適切なコンテンツのストリーミングを促進すべく、且つ、ネットワークの待ち時間を増大することにより且つ／又はネットワークにおける輻輳を引き起こすことによりシームレスな自由視点消費を阻害し得る不要なコンテンツのストリーミングも阻止すべく、利用される。図５Ａ乃至図５Ｅの各々に示されたストリーミング・サーバ308と没入コンテンツ消費デバイス306との間における信号授受は、順次に記述される。
【0080】
図５Ａは、(たとえばコンテンツ適合化モジュール318を介して)没入コンテンツ供給システム302により、没入コンテンツ視認システム304(たとえば、バッファ管理モジュール310)に対して送信され得る信号通知メッセージを示している。先に言及された如く、幾つかの実施形態において、没入コンテンツ供給システム302は、それ自体、メディアを記録する没入コンテンツ捕捉デバイス312Aを含み得ることを理解すべきである。但し、代替実施形態において、没入コンテンツ供給システム302は単にストリーミング・サーバ308のみを含み得、該サーバは、先に記録された未処理データを送信のために記憶し得るか、該サーバは、没入コンテンツ視認システム304に対する送信に先立ち、別体的な没入コンテンツ捕捉デバイス312Bから未処理データを収集し得る。但し、これらの実施形態のいずれにおいても、図５Ａに示された信号通知メッセージは、利用可能なカメラ光景の個数、利用可能なカメラ光景の各々に対応するカメラ・インデックス、および、各カメラ光景の視野(FOV)の広がり(単位は度)を特定し得る。FOVの広がりの情報によれば、各光景間の切換え、PFBからCVBへの変更、または、FVBストリーミングからPFBもしくはCVBストリーミングへ(あるいは、その逆)の移動に対するスレッショルド値の決定が許容される。
【0081】
図５Ｂは、(たとえば没入相互作用依存適合化モジュール324を介して)没入コンテンツ視認システム304により没入コンテンツ供給システム302(たとえば没入適合化モジュール316)へと送信されて、(モノスコープ的なコンテンツのストリーミングのための)初期のカメラ・インデックス、または、CVBとして使用されるべき(立体的な没入コンテンツのストリーミングのための)初期のカメラ対のインデックスを特定し得るという信号通知メッセージを示している。これに加え、この信号通知メッセージは、各PFBを使用すべきカメラ光景の個数を表し得る。この点に関し、図５Ｂにおいて注記された如く、Ｎ個の利用可能なカメラ光景が在るとき、PFBを利用するＫ個の隣接するカメラ光景が在り得る。斯かる幾つかの実施形態においては、最少で２個の隣接するカメラ光景、および、最多で(Ｎ−２）／２個の隣接するカメラ光景が在る。
【0082】
一方、図５Ｃは、(たとえば没入相互作用依存適合化モジュール324を介して)没入コンテンツ視認システム304により没入コンテンツ供給システム302(たとえば、没入適合化モジュール316)へと送信されて、CVBにおける変更が生じたことを没入コンテンツ供給システム302に対して指示し得るという信号通知メッセージを示している。変更されたCVBは、先のCVBに対して関連付けられたカメラ・インデックスのFOXの広がりの外側であるFOVへのユーザのヘッド位置の変化によりトリガされたものであり得る。この信号通知メッセージは、新たなFOVが既存のPFBにより覆われたときに使用され得ると共に、該信号通知メッセージは、(モノスコープ的なコンテンツのストリーミングのための)カメラ・インデックス、または、新たなCVBとして使用される(立体的な没入コンテンツのストリーミングのための)カメラ対のインデックスのいずれかを特定する。この点に関し、ユーザのヘッド位置が新たな位置に留まると想定すると、対応するPFBがCVBへと転用され得ると共に、結果として、新たな複数のPFBが開始される。この後者の点に関し、上記信号通知メッセージは、各PFBを利用すべきカメラ光景の個数を表し得る。この点に関し、図５Ｃにおいて注記された如く、Ｎ個の利用可能なカメラ光景が在るとき、PFBを利用するＫ個の隣接するカメラ光景が在り得る。斯かる幾つかの実施形態においては、最少で２個の隣接するカメラ光景、および、最多で(Ｎ−２）／２個の隣接するカメラ光景(たとえば、PFBを利用する各カメラ光景の各側における最少で１台のカメラから、各側における最多で全てのカメラの半分まで)が在る。
【0083】
一方、図５Ｄは、(たとえば没入相互作用依存適合化モジュール324を介して)没入コンテンツ視認システム304により没入コンテンツ供給システム302(たとえば、没入適合化モジュール316)へと送信される信号通知メッセージであって、素早いユーザのヘッド移動が行われて、高品質のコンテンツ視認の再開のためにユーザのヘッドがどの位置に静止するかが明確でないので、CVBおよびPFBのストリームを一時停止／リセットすることを没入コンテンツ供給システム302に対して指示するという信号通知メッセージを示している。
【0084】
図５Ｅは、(たとえば没入相互作用依存適合化モジュール324を介して)没入コンテンツ視認システム304により没入コンテンツ供給システム302(たとえば、没入適合化モジュール316)へと送信されて、ユーザの素早いヘッド移動が、所定スレッショルド値より低く減速されたことを没入コンテンツ供給システム302に対して指示し得る信号通知メッセージを示している。この所定スレッショルド値は、幾つかの実施形態においては、ハードコーディングされた値であり得るが、他の実施形態において、この所定スレッショルド値は、信号通知パラメータとして含まれ得る。従って、図５Ｅに示された信号通知メッセージは、図５Ｃに示された如き信号通知メッセージにより追随されて、(必要であれば)CVBにおける変更を実施し、没入コンテンツ供給システム302に対しては、更新されたCVBおよびPFBストリームにはどのカメラ・インデックスが対応するかを特定し、且つ、没入コンテンツ供給システム302に対し、新たなCVBおよびPFBのカメラ・インデックス割当てに従って送信を開始することを指示し得る。
【0085】
上記に記述された各信号通知メッセージに加え、没入コンテンツ視認システム304は、ストリーミング・サーバ308に対する各信号通知メッセージの送信の間に、数個のバッファの現在再生位置をストリーミング・サーバ308に対して信号通知し得る。この情報によれば、ストリーミング・サーバ308は、この特定のクライアントに応答するために残存する時間のマージンを推定し得る。ストリーミング・サーバ308は次に、減少されたマージンに適合するために、CVB、PFBまたはFVBの内の一つ以上の品質を低減すべく選択し得る。
【0086】
FVBは、ストリーミング・セッションの全体に亙り利用可能とされて、自由な視点移動の間における品質の低下を最小限度に抑えることを理解すべきである。自由な視点移動の間において、CVBおよびPFBは一時停止され得るが、ユーザのヘッド移動が特定の視認方向に定着すると直ちに、CVBおよびPFBは再開され得る。この実施形態における没入相互作用は、ユーザのヘッド移動として記述されたが、同一方向におけるものであるが、異なる距離の焦点を有するという複数のカメラ光景(たとえば、複数の視野深度に対して関連付けられたカメラ光景)の間における平行移動に関するユーザ移動の如き、他の形式の没入相互作用も企図される。
【0087】
没入コンテンツ視認システム304からの信号通知メッセージは、バッファ状態情報(たとえば、各バッファのサイズおよび利用可能性)も含み得る。これにより、ストリーミング・サーバ308は、送信されるべきコンテンツの量を決定することが許容される。幾つかの実施形態においては、(ユーザのヘッド位置における切迫した変化の高い可能性の故に)特定の光景に対する不要なデータ送信を阻止するために、CVBのバッファ長は、没入コンテンツ視認システム304のユーザにより、(図３において不図示の)別体的なユーザ・インタフェースを介してストリーミング・サーバ308に対して信号通知され得る。付加的に、幾つかの代表的実施形態においては、更に多用されるカメラ光景から離れる光景変更の更に低い可能性の故に、更に多用されるカメラ光景は、他のカメラ光景よりも大きなバッファ長が提供され得ることを理解すべきである。
【0088】
没入コンテンツ供給システムにより実施される動作端末間システム300、および、その使用を促進すべく送信される信号通知メッセージの概要を提供してきたが、次に、幾つかの代表的な手順が記述される。図６Ａおよび図６Ｂに移ると、没入コンテンツ供給システム302により実施されて没入コンテンツの帯域幅効率的なストリーミングを促進する一連の動作を含むフローチャートが示される。図６Ａおよび図６Ｂに示された動作は、たとえば、没入コンテンツ供給システム302を具現する装置100の支援により、および／または、その制御下で、更に詳細には、プロセッサ102、メモリ104、通信インタフェース106、および、没入コンテンツ供給モジュール110および／または没入コンテンツ捕捉モジュール112の内の一つ以上の使用により、実施され得る。
【0089】
動作602において、装置100は、没入コンテンツの帯域幅効率的なストリーミングを初期化するために、プロセッサ102、メモリ104、通信インタフェース106，没入コンテンツ供給モジュール110などの手段を含んでいる。該初期化動作は、図６Ｂに関して以下に相当に詳細に記述される。
【0090】
動作604に移ると、装置100は、没入コンテンツ捕捉デバイスによる没入コンテンツの生成を引き起こすために、プロセッサ102、没入コンテンツ捕捉モジュール112などの如き手段を含む。先に言及された如く、上記没入コンテンツ捕捉デバイスは、装置100の要素であり得るか、または、装置100とは別体的であり得る。幾つかの実施形態において、没入コンテンツの生成は予め実施され得ると共に、装置100は単に、予め生成された没入コンテンツを記憶し得るものであり、斯かる実施形態において、動作604は、以下における残存動作に先立つ別体的プロセスとして行われ得るか、または、動作604は、没入コンテンツが装置100の指示にて捕捉されたのでなければ、全く行われなくてもよい。
【0091】
動作606において、装置100は、特定の没入コンテンツ視認システム304に対して関連付けられたCVB、一個以上のPFB、および、FVBに関するバッファ情報を読み出すために、プロセッサ102、メモリ104、通信インタフェース106などの如き手段を含んでいる。このバッファ情報は、図６Ｂに関して以下に記述される初期化動作において追加されることを理解すべきである。
【0092】
動作608において、装置100は、CVB、一個以上のPFB、および、FVBに関して読出されたバッファ情報に基づいて没入コンテンツの一部を没入コンテンツ視認システムへと送信させるために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ供給モジュール110などの如き手段を含んでいる。この点に関し、装置100は、読出されたバッファ情報に基づいて、送信すべき没入コンテンツの部分を生成するコンテンツ適合化モジュール318を利用し得る。この点に関し、コンテンツ適合化モジュール318は、CVBに対して関連付けられたカメラ光景に関する高品質コンテンツ、一個以上のPFBに対して関連付けられたカメラ光景に関する高品質もしくは中品質のコンテンツ、および、FVBバッファに記憶されるための全てのカメラ光景に関する低品質コンテンツを送信し得る。但し、送信されるコンテンツ品質は、ネットワーク状態に依存し得ること、および、このコンテンツ品質は、幾つかの実施形態においては上記装置により、または、(没入コンテンツの帯域幅効率的なストリーミングの初期化の間において、没入コンテンツ視認システム304から、決定されたコンテンツ品質レベルの表示が受信され得るという場合における)他の実施形態においては没入コンテンツ視認システム304により、決定され得ることを理解すべきである。但し、ネットワーク状態に関わらず、没入コンテンツの全体より少なく送信することにより、動作608は、没入コンテンツをストリーミングするための帯域幅要件を低減させる。
【0093】
従って、次に図６Ｂに移ると、帯域幅効率的なストリーミング・システムの初期化のための動作が記述される。動作610において、装置100は、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージの送信を引き起こすために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ供給モジュール110などの如き手段を含んでいる。この情報は、没入コンテンツ視認システム304に対し、没入コンテンツ捕捉デバイス312の技術的仕様を通知することで、没入コンテンツ視認システム304が適切なバッファ対応性を展開することを可能とする。
【0094】
動作612において、装置100は、CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを、上記没入適合化モジュールにより、且つ、没入コンテンツ視認システム304から受信するために、プロセッサ102、メモリ104、通信インタフェース106などの如き手段を含んでいる。種々の実施形態において、この信号通知メッセージは、多数の形態を取り得る。たとえば、上記信号通知メッセージは、CVBに対して関連付けられた一つ以上のカメラ・インデックス、および／または、一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスを特定し得る。代替的に、上記信号通知メッセージは、没入コンテンツ視認システム304により選択されたコンテンツ品質レベルであって、動作608において没入コンテンツ視認システム304に対して送信される没入コンテンツの選択の間において利用され得るというコンテンツ品質レベルを表し得る。更に別の代替策として、上記信号通知メッセージは、CVBに対して関連付けられたカメラ・インデックス、および／または、一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスを特定および／または修正すべく装置100が利用し得るというユーザのヘッド配向における変化を表し得る。幾つかの実施形態において、没入コンテンツ視認システム304から受信された信号通知メッセージは、(たとえば、ユーザのヘッドが迅速に動き始めたなどの故に)FVBの利用を表すことから、CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を一時停止することを上記ストリーミング・サーバに対して指示する。その後、没入コンテンツ視認システム304から受信された次続的な信号通知メッセージは、(たとえば、ユーザのヘッド移動が所定スレッショルド値より低く減速されたという状況において)CVBまたは一個以上のPFBに対応する没入コンテンツの部分の送信を再開することを上記ストリーミング・サーバに対して指示し得る。
【0095】
動作614において、装置100は、受信した信号通知メッセージに基づいてCVB、各PFBまたはFVBに関するバッファ情報を没入適合化モジュールにより更新するために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ供給モジュール110などの如き手段を含んでいる。
【0096】
没入コンテンツ視認システムにより実施される動作次に図７および図８に移ると、没入コンテンツ視認システム304により実施されて没入コンテンツの帯域幅効率的なストリーミングを促進する一連の動作を含むフローチャートが示される。図７および図８に示された動作は、たとえば、この場合において没入コンテンツ視認システム304を具現し得る装置100の支援により、および／または、その制御下で、更に詳細には、プロセッサ102、メモリ104、通信インタフェース106、または、没入コンテンツ消費モジュール108の内の一つ以上の使用により、実施され得る。
【0097】
動作702において、装置100は、没入コンテンツの帯域幅効率的なストリーミングを初期化するために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。上記初期化動作は、図８に関して以下に相当に詳細に記述される。
【0098】
動作704において、装置100は、没入コンテンツ供給システムから没入コンテンツの部分を受信するために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。これらの没入コンテンツの部分は、図６Ａおよび図６Ｂに関して上記に記述されている。
【0099】
動作706において、装置100は、受信された没入コンテンツの部分を、CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に記憶させるために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。
【0100】
動作708において、装置100は、ユーザのヘッドの配向に基づいて、CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上からの表示可能メディアの生成を引き起こすために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。ユーザのヘッドが変更済み配向を有することを表す信号が無い場合、動作708は、CVBからの表示可能メディアを生成し得る。
【0101】
動作710において、装置100は、没入コンテンツ消費デバイスによる表示可能メディアの表示を引き起こすために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。
【0102】
動作706から、上記手順は選択的動作712へと進行し得、そこで装置100は、ユーザのヘッドの変更済み配向を表す光景変化信号を受信するために、没入コンテンツ消費モジュール108などの如き手段を含み得る。
【0103】
動作712における光景変化信号の受信に応じて、上記手順は、動作714へと進行する。動作714において、装置100は、表示可能メディアを生成するためにどのバッファを使用するかを決定するために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。この点に関し、装置100は先ず、ユーザのヘッドの変更済み配向が、CVBに対して関連付けられた一つ以上のカメラ・インデックスに対応する視野と整列しているか否かを決定し得る。もしそうであれば、装置100は、CVBに基づく表示可能メディアの生成のために、動作708へと進展し得る。
【0104】
但し、ユーザのヘッドの変更済み配向が、CVBに対して関連付けられた一つ以上のカメラ・インデックスに対して関連付けられた視野と整列しないとき、装置100は、表示可能メディアを生成するために各PFBまたはFVBの内の一方を使用するか否かを決定せねばならない。従って、装置100は、ユーザのヘッドの変更済み配向が、各PFBの内の一つのPFBと関連付けられた一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こし得る。もしそうであれば、装置100は、特定されたPFBに基づく表示可能メディアの生成のために、動作708へと進展し得る。但し、もしそうでなければ、装置100は、FVBに基づく表示可能メディアの生成のために、動作708へと進展し得る。この様にして、ユーザのヘッド移動が如何に激しいとしても、装置100は、ユーザのヘッドの変更済み配向に対応する表示可能メディアを生成し得る。
【0105】
各PFBの内の一つから表示可能メディアの生成を引き起こすときに、動作714は、上記表示可能メディアがそれから生成された各PFBの内の一つのPFBに対して関連付けられた一つ以上のカメラ・インデックスをCVBに対して関連付けることを上記没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を引き起こすために、通信インタフェース106などの如き手段を更に含み得ることを銘記すべきである。この点に関し、もしユーザのヘッドが配向を変化させたなら、それに応じて現在光景は更新されるべきである。
【0106】
代替策として、動作714は、ユーザのヘッド位置の変化に基づき、いずれのバッファを利用するかを特定する必要はない。寧ろ、斯かる実施形態において決定は没入コンテンツ供給システム302により行われ得、その場合に動作714は単に、ユーザのヘッド位置の変化を特定する。
【0107】
更に別の代替策として、動作714は、上述の動作608において没入コンテンツ視認システム304へと送信される没入コンテンツの選択の間に利用されるべきコンテンツ品質レベルを特定する動作であって、装置100によるという特定動作を代わりに含み得る。この点に関し、斯かる実施形態は、この情報を没入コンテンツ供給システム302へと伝達するMPEG-DASHの如きプロトコルを利用し得る。
【0108】
但し、上記表示可能メディアがFVBから生成されるとき、このことは、CVBおよび一個以上のPFBはもはや、現在のまたは隣接する光景の正確な表現物ではないという信号として解釈され得る。従って、動作714は、CVBに対し、または、一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを没入コンテンツ供給システム302に対して指示する“一時停止”信号通知メッセージの送信を引き起こすために、通信インタフェース106などの如き手段を更に含み得る。引き続き、ユーザのヘッド移動が所定スレッショルド値より低く一旦減速したなら、動作714は、CVBに対し、または、一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を再開することを没入コンテンツ供給システム302に対して指示する“再開”信号通知メッセージの送信を引き起こすために、通信インタフェース106などの如き手段を更に含み得る。
【0109】
次に図８に移ると、没入コンテンツの帯域幅効率的なストリーミングの初期化が相当に詳細に記述される。動作802において、装置100は、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージを上記没入コンテンツ供給システムから受信するために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。
【0110】
動作804において、装置100は、ヘッド・トラッキング・モジュールによるユーザのヘッドの配向の決定を引き起こすために、プロセッサ102、メモリ104、通信インタフェース106、没入コンテンツ消費モジュール108などの如き手段を含んでいる。
【0111】
動作806において、装置100は、没入相互作用依存適合化モジュールにより、且つ、ユーザのヘッドの配向に基づき、CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こすために、プロセッサ102、メモリ104、通信インタフェース106などの如き手段を含んでいる。幾つかの実施形態において、この動作は更に、ユーザのヘッドの配向に基づき、一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす段階を含み得る。
【0112】
動作808において、装置100は、CVBに対して関連付けられた一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を、没入相互作用依存適合化モジュールにより引き起こすために、プロセッサ102、メモリ104、通信インタフェース106などの如き手段を含んでいる。動作806が、一個以上のPFBに対して関連付けられたカメラ・インデックスの決定を含むという実施形態において、動作808の信号通知メッセージは、一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスを付加的に特定し得る。いずれの場合においても、動作808の終結に続き、上記手順は、先に記述された動作704へと戻る。
【0113】
上述された如く、代表的実施形態は、没入的なユーザ体験を阻害せずに上記の要件に対処するという、没入コンテンツの帯域幅効率的なストリーミングのための方法、装置、および、コンピュータ・プログラム製品を提供する。上述された如く、代表的実施形態は、没入コンテンツの異なる部分を異なるレベルの品質にて記憶する複数のバッファを利用する。没入コンテンツの種々の部分を種々のレベルの品質にてバッファリングすることにより、代表的実施形態は、視認体験における何らの中断なしに、没入コンテンツの自由視点探索を促進する。従って、代表的実施形態は、帯域幅効率を維持し乍ら、シームレスな消費体験を提供する。更に、代表的実施形態は、ストリーミング・サーバに対する没入コンテンツ消費デバイスの状態の信号通知を可能とする。この機能性に基づいて構築すると、代表的実施形態は更に、ズームイン動作またはズームアウト動作などの如き他の形式の没入相互作用に関する信号通知メッセージの付加にまで拡張され得る。
【0114】
上述された如く、図６Ａ乃至図８は、本発明の代表的実施形態に係る装置、方法およびコンピュータ・プログラム製品の動作を記述するフローチャートを示している。各フローチャート・ブロック、および、フローチャート・ブロックの組み合わせは、ハードウェア、ファームウェア、プロセッサ、回路機構、および／または、一つ以上のコンピュータ・プログラム命令を含むソフトウェアの実行に関連付けられた他のデバイスの如き、種々の手段により実現され得ることは理解される。たとえば、上述された手順の内の一つ以上は、コンピュータ・プログラム命令により具現され得る。この点に関し、上述された手順を具現するコンピュータ・プログラム命令は、本発明の実施形態を具現する装置100のメモリ104により記憶され、且つ、装置100のプロセッサ102により実行され得る。理解される様に、斯かる一切のコンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能な装置(たとえば、ハードウェア)にロードされて、結果的なコンピュータまたは他のプログラム可能な装置が、フローチャート・ブロックにおいて特定された機能を実現する如く、マシンを生成し得る。これらのコンピュータ・プログラム命令はまた、当該コンピュータ可読メモリ内に記憶された命令が、上記フローチャート・ブロックにおいて特定された各機能が当該製品の実行により実現されるという製品を生成する如く、コンピュータまたは他のプログラム可能な装置に特定様式で機能することを指示し得るコンピュータ可読メモリ内に記憶され得る。上記コンピュータ・プログラム命令はまた、コンピュータまたは他のプログラム可能な装置にロードされて、該コンピュータまたは他のプログラム可能な装置上で一連の動作を実施させることで、上記コンピュータまたは他のプログラム可能な装置上で実行された命令が、各フローチャート・ブロックにおいて特定された機能を実現する動作を提供する如く、コンピュータ実行型プロセスを生成し得る。
【0115】
各フローチャート・ブロックは、特定された機能を実施する手段の組み合わせ、および、特定された機能を実施する動作の組み合わせをサポートする。一つ以上のフローチャート・ブロック、および、フローチャート・ブロックの組み合わせは、特定された機能を実施する専用のハードウェア式コンピュータ・システムにより、または、専用のハードウェアおよびコンピュータ命令の組み合わせにより実現され得ることも理解される。
【0116】
幾つかの実施形態において、上記の動作の幾つかは、改変され、または、更に拡充され得る。更に、幾つかの実施形態においては、付加的な選択的動作が含まれ得る。上記の動作に対する改変、拡充または付加は、任意の順序および任意の組み合わせで実施され得る。
【0117】
これらの発明が属するという、上述の説明および添付図面において示された教示の利益を有する分野の当業者であれば、本明細書中に示された発明の多くの改変および他の実施形態を想起し得よう。故に、上記発明は、開示された特定実施形態に限られないこと、および、添付の各請求項の有効範囲内には改変および他の実施形態が包含されることが意図されることは理解される。更に、上述の説明および添付図面は、要素および／または機能の幾つかの例示的な組み合わせに関して好適実施形態を記述しているが、添付の各請求項の有効範囲から逸脱せずに、要素および／または機能の異なる組み合わせが代替実施形態により提供され得ることを理解すべきである。この点に関し、たとえば、添付の各請求項の幾つかにおいて示され得る如く、上記に明示的に記述されたのとは異なる要素および／または機能の組み合わせもまた企図される。本明細書においては特定の語句が採用されたが、それらは、限定の目的でなく、包括的で記述的な意味でのみ使用されている。
【符号の説明】
【0118】
100 装置102 プロセッサ
104 メモリ
106 通信インタフェース
108 没入コンテンツ消費モジュール
110 没入コンテンツ供給モジュール
112 没入コンテンツ捕捉モジュール
300 端末間システム
302 没入コンテンツ供給システム
304 没入コンテンツ視認システム
306 没入コンテンツ消費デバイス
308 ストリーミング・サーバ
310 バッファ管理モジュール
312 没入コンテンツ捕捉デバイス
312A 没入コンテンツ捕捉デバイス
312B 没入コンテンツ捕捉デバイス
316 没入適合化モジュール
318 コンテンツ適合化モジュール
320 矢印
322 ヘッド・トラッキング・モジュール
324 没入相互作用依存適合化モジュール
326 コンテンツ再生モジュール
602〜614、712〜714、802〜808 動作