特表 2024-517734 ３６０ビデオ会議におけるオクルージョンフリー領域のセッション記述プロトコル（ＳＤＰ）信号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-23

(54)【発明の名称】３６０ビデオ会議におけるオクルージョンフリー領域のセッション記述プロトコル（ＳＤＰ）信号化

(51)【国際特許分類】

   H04N 21/234 20110101AFI20240416BHJP

   H04N 21/235 20110101ALI20240416BHJP

   H04N 21/2381 20110101ALI20240416BHJP

   H04L 67/565 20220101ALI20240416BHJP

【ＦＩ】

H04N21/234

H04N21/235

H04N21/2381

H04L67/565

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023566477

(86)(22)【出願日】2022-12-13

(85)【翻訳文提出日】2023-10-27

(86)【国際出願番号】 US2022052640

(87)【国際公開番号】W WO2023149954

(87)【国際公開日】2023-08-10

(31)【優先権主張番号】63/307,550

(32)【優先日】2022-02-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/073,207

(32)【優先日】2022-12-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．３ＧＰＰ

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ソダガァ，イラジ

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164SB01P

5C164SB08P

5C164SB24P

5C164UB81S

(57)【要約】

360度ビデオに対応する第１ビデオ入力を受信するステップと、１つ以上の第２ビデオ入力を受信するステップと、第１ビデオ入力内に１つ以上のオクルージョンフリー領域を定義するステップであり、各オクルージョンフリー領域は、別の画像またはビデオによってオーバーレイされないビデオの領域を示すステップと、第3世代パートナーシッププロジェクト(3GPP)オーバーレイ属性を介してセッション記述プロトコル(SDP)において１つ以上のオクルージョンフリー領域の位置情報を信号化するステップであり、3GPPオーバーレイ属性は、それぞれの3GPPオーバーレイが、オクルージョンフリー領域のために意図されたものであるか、または、特定のオーバーレイ専用のものであるか否かを信号化するステップと、SDPを受信器に送信するステップと、１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた１つ以上の第２ビデオ入力を伴う第１ビデオ入力を含む、出力ビデオをレンダリングするステップと、を含む。

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによって実行される方法であって、該方法は、
360度ビデオに対応する第１ビデオ入力を受信するステップと、
１つ以上の第２ビデオ入力を受信するステップと、
前記第１ビデオ入力において１つ以上のオクルージョンフリー領域を定義するステップであり、
各オクルージョンフリー領域は、別の画像またはビデオによってオーバーレイされないビデオの領域を示している、
ステップと、
第3世代パートナーシッププロジェクト(3GPP)オーバーレイ属性を介して、セッション記述プロトコル(SDP)において１つ以上のオクルージョンフリー領域の位置情報を信号化するステップであり、
前記3GPPオーバーレイ属性は、それぞれの3GPPオーバーレイが、オクルージョンフリー領域のために意図されたものであるか、または、特定のオーバーレイ専用のものであるか否かを信号化する、
ステップと、
前記SDPを受信器に送信するステップと、
前記１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた前記１つ以上の第２ビデオ入力を伴う前記第１ビデオ入力を含む、出力ビデオをレンダリングするステップと、
を含む、方法。

【請求項2】

各オクルージョンフリー領域の前記位置情報は、座標系内のそれぞれのオクルージョンフリー領域の位置に基づいている、
請求項１に記載の方法。

【請求項3】

前記１つ以上の第２ビデオ入力は、360度ビデオ、または、二次元ビデオである、
請求項１に記載の方法。

【請求項4】

前記方法は、さらに、
前記SDP内の各オクルージョンフリー領域を更新するステップ、を含み、
各オクルージョンフリー領域を更新するステップは、
セッションの最中に新しいオクルージョンフリー領域を除去するステップ、または、追加するステップと、
前記セッションの最中に１つ以上の新しいSDPラインを提供するステップと、
を含む、請求項１に記載の方法。

【請求項5】

前記オクルージョンフリー領域それぞれのサイズが更新される、
請求項４に記載の方法。

【請求項6】

前記方法は、さらに、
選択された3GPPオーバーレイ属性が、オクルージョンフリー領域のために意図されているものか否か、または、決定された3GPPオーバーレイが特定のオーバーレイ専用であるか否かを信号化するためのフラグを、前記SDPに追加するステップ、
を含む、請求項１に記載の方法。

【請求項7】

前記SDPにおける更新に応答して、前記出力ビデオにおけるレンダリングを変更する、
請求項４に記載の方法。

【請求項8】

装置であって、
プログラムコードを保管するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み出し、かつ、前記プログラムコードによる命令どおりに動作するように構成された少なくとも１つのプロセッサと、
を含み、前記プログラムコードは、
前記少なくとも１つのプロセッサに、360度ビデオに対応する第１ビデオ入力を受信させるように構成された、第１受信コードと、
前記少なくとも１つのプロセッサに、１つ以上の第２ビデオ入力を受信させるように構成された、第２受信コードと、
前記少なくとも１つのプロセッサに、前記第１ビデオ入力において１つ以上のオクルージョンフリー領域を定義させるように構成された、定義コードであり、
各オクルージョンフリー領域は、別の画像またはビデオによってオーバーレイされないビデオの領域を示している、
定義コードと、
前記少なくとも１つのプロセッサに、第3世代パートナーシッププロジェクト(3GPP)オーバーレイ属性を介してセッション記述プロトコル(SDP)において１つ以上のオクルージョンフリー領域の位置情報を信号化させるように構成された、シグナリングコードであり、
前記3GPPオーバーレイ属性は、それぞれの3GPPオーバーレイがオクルージョンフリー領域のために意図されたものであるか、または、特定のオーバーレイ専用のものであるか否かを信号化する、
シグナリングコードと、
前記少なくとも１つのプロセッサに、前記SDPを受信器に送信させるように構成された、送信コードと、
前記少なくとも１つのプロセッサに、前記１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた前記１つ以上の第２ビデオ入力を伴う前記第１ビデオ入力を含む、出力ビデオをレンダリングさせるように構成された、レンダリングコードと、
を含む、装置。

【請求項9】

各オクルージョンフリー領域の前記位置情報は、座標系内のそれぞれのオクルージョンフリー領域の位置に基づいている、
請求項８に記載の装置。

【請求項10】

前記１つ以上の第２ビデオ入力は、360度ビデオ、または、二次元ビデオである、
請求項８に記載の装置。

【請求項11】

前記プログラムコードは、さらに、更新コードを含み、
前記更新コードは、前記少なくとも１つのプロセッサに、
SDP内の各オクルージョンフリー領域を更新させ、
セッションの最中に新しいオクルージョンフリー領域を除去または追加させ、かつ、
前記セッションの最中に１つ以上の新しいSDPラインを提供させる、
ように構成されている、
請求項８に記載の装置。

【請求項12】

前記オクルージョンフリー領域それぞれのサイズが更新される、
請求項１１に記載の装置。

【請求項13】

前記プログラムコードは、さらに、追加コードを含み、
前記追加コードは、前記少なくとも１つのプロセッサに、
フラグを前記SDPに追加させ、
選択された3GPPオーバーレイ属性が、オクルージョンフリー領域のために意図されているものか否か、または、決定された3GPPオーバーレイが特定のオーバーレイ専用であるか否かを信号化させる、
ように構成されている、
請求項８に記載の装置。

【請求項14】

前記SDPにおける更新に応答して、
前記プログラムコードは、さらに、
前記少なくとも１つのプロセッサに、前記出力ビデオにおけるレンダリングを変更させる、
ように構成されている、
請求項１１に記載の装置。

【請求項15】

命令を保管している非一時的コンピュータ可読記憶媒体であって、
少なくとも１つのプロセッサによって該命令が実行されると、前記少なくとも１つのプロセッサに、
360度ビデオに対応する第１ビデオ入力を受信し、
１つ以上の第２ビデオ入力を受信し、
前記第１ビデオ入力において１つ以上のオクルージョンフリー領域を定義し、各オクルージョンフリー領域は、別の画像またはビデオによってオーバーレイされないビデオの領域を示しており、
第3世代パートナーシッププロジェクト(3GPP)オーバーレイ属性を介して、セッション記述プロトコル(SDP)において１つ以上のオクルージョンフリー領域の位置情報を信号化し、前記3GPPオーバーレイ属性は、それぞれの3GPPオーバーレイが、オクルージョンフリー領域のために意図されたものであるか、または、特定のオーバーレイ専用のものであるか否かを信号化し、
前記SDPを受信器に送信し、かつ、
前記１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた前記１つ以上の第２ビデオ入力を伴う前記第１ビデオ入力を含む、出力ビデオをレンダリングする、
ようにさせる、非一時的コンピュータ可読記憶媒体。

【請求項16】

各オクルージョンフリー領域の前記位置情報は、座標系内のそれぞれのオクルージョンフリー領域の位置に基づいている、
請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記１つ以上の第２ビデオ入力は、360度ビデオ、または、二次元ビデオである、
請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

前記命令は、さらに、前記少なくとも１つのプロセッサに、
前記SDP内の各オクルージョンフリー領域を更新させ、
各オクルージョンフリー領域を更新することは、
セッションの最中に新しいオクルージョンフリー領域を除去すること、または、追加すること、および、
前記セッションの最中に１つ以上の新しいSDPラインを提供すること、
を含む、
請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記オクルージョンフリー領域それぞれのサイズが更新される、
請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記命令は、さらに、前記少なくとも１つのプロセッサに、
選択された3GPPオーバーレイ属性が、オクルージョンフリー領域のために意図されているものか否か、または、決定された3GPPオーバーレイが特定のオーバーレイ専用であるか否かを信号化するためのフラグを、前記SDPに追加させる、
請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、セッション記述プロトコル(Session Description Protocol、SDP)を使用して360ビデオ会議においてオクルージョンフリー領域（occlude-free region）を信号化する方法を提供する。360ビデオにおけるオクルージョンフリー領域は、重要な情報を含んでいるので、オーバーレイによってカバーされるべきでない360ビデオの領域である。

【0002】

関連出願の相互参照
本出願は、2022年2月7日に出願された米国特許出願第63/307,550号および2022年12月1日に出願された米国特許出願第１8/073,207号について優先権を主張するものであり、それらの開示の全体が、参照により本明細書において援用されている。

【背景技術】

【0003】

第3世代パートナーシッププロジェクト(3GPP) TS26.114は、モバイルハンドセットのためのビデオ会議システムを定義している。その新しいリリースにおいて、仕様は、360ビデオのキャプチャおよび送信をサポートする端末を用いたビデオ会議をサポートする。この規格は、また、360ビデオにオーバーレイを追加することもサポートする。360ビデオ、および、そのオーバーレイは、電話会議における他のリモート参加者からの他の二次元（2-d）ビデオと一緒にレンダリングされ得る。

【0004】

3GPP TS26.114において定義されている現在の5Gメディアストリーミングアーキテクチャは、モバイルネットワークを介したビデオ会議のための一般的なフレームワークを提供する。リモート参加者は、部屋Aから360ビデオを受信し、かつ、ユーザCから2-dビデオを受信するユーザB、といったものである。ユーザは、自分の（his/her）端末上で両方のビデオを見たいだろう。しかしながら、ユーザがデバイスディスプレイを最大限に利用したい場合、部屋Aの360ビデオは、ユーザBのデバイスのスクリーン全体を取り込む必要があり得る。そして、次いで、ユーザCからの2Dビデオが、部屋Aの360のビデオの上にオーバーレイされる必要がある。

【0005】

現在の規格は、部屋Aのオクルージョンフリー領域を信号化するためのいかなる方法も定義していない。これらの領域は、部屋Aの360ビデオの領域であり、重要な情報(部屋における参加者、またはプレゼンテーション表示)を有するものであり、かつ、受信リモート端末において他のユーザからのビデオ(ユーザCの2Dビデオといったもの)をオーバーレイすることによって遮断されるべきものではない。

【発明の概要】

【0006】

以下は、本開示の１つ以上の実施形態の基本的な理解を提供するために、そうした実施形態の簡略化された概要を提示する。この概要は、全ての企図された実施形態の広範な概観ではなく、そして、全ての実施形態の主要または重要な要素を識別するように、もしくは、いずれか又は全ての実施形態の範囲の輪郭を描くようにも意図されたものではない。その唯一の目的は、後に提示される、より詳細な説明に対する前置きとして、本開示の１つ以上の実施形態のいくつかの概念を簡略化された形で提示することである。

【0007】

本開示は、オクルージョンフリー領域を信号化するための方法を提供する。

【0008】

いくつかの実施形態に従って、少なくとも１つのプロセッサによって実行される方法が提供される。本方法は、360度ビデオに対応する第１ビデオ入力を受信するステップを含む。本方法は、さらに、１つ以上の第２ビデオ入力を受信するステップを含む。本方法は、さらに、第１ビデオ入力において１つ以上のオクルージョンフリー領域を定義するステップを含み、各オクルージョンフリー領域は、別の画像またはビデオによってオーバーレイされないビデオの領域を示している。本方法は、さらに、3GPPオーバーレイ属性を介してセッション記述プロトコル(SDP)において１つ以上のオクルージョンフリー領域の位置情報を信号化するステップを含み、ここで、3GPPオーバーレイ属性は、それぞれの3GPPオーバーレイが、オクルージョンフリー領域（occlude-free area）のために意図されたものであるか、または、特定のオーバーレイ専用のものであるか否かを信号化する。本方法は、さらに、SDPを受信器に送信するステップ、および、１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた１つ以上の第２ビデオ入力を伴う第１ビデオ入力を含む、出力ビデオをレンダリングするステップを含む。

【0009】

いくつかの実施形態に従って、本装置は、プログラムコードを保管するように構成された少なくとも１つのメモリと、プログラムコードを読み出し、かつ、プログラムコードによる命令どおりに動作するように構成された少なくとも１つのプロセッサとを含む。本プログラムコードは、少なくとも１つのプロセッサに、360度ビデオに対応する第１ビデオ入力を受信させるように構成された第１受信コードを含む。本プログラムコードは、さらに、少なくとも１つのプロセッサに、１つ以上の第２ビデオ入力を受信させるように構成された第２受信コードを含む。本プログラムコードは、さらに、少なくとも１つのプロセッサに、第１ビデオ入力において１つ以上のオクルージョンフリー領域を定義させるように構成された定義コードを含み、ここで、各オクルージョンフリー領域は、別の画像またはビデオによってオーバーレイされないビデオの領域を示している。本プログラムコードは、さらに、少なくとも１つのプロセッサに、3GPPオーバーレイ属性を介してセッション記述プロトコル(SDP)において１つ以上のオクルージョンフリー領域の位置情報を信号化させるように構成されたシグナリングコードを含み、ここで、3GPPオーバーレイ属性は、それぞれの3GPPオーバーレイがオクルージョンフリー領域のために意図されたものであるか、または、特定のオーバーレイ専用のものであるか否かを信号化する。本プログラムコードは、さらに、少なくとも１つのプロセッサに、SDPを受信器に送信させるように構成された送信コードを含む。本プログラムコードは、さらに、１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた１つ以上の第２ビデオ入力を伴う第１ビデオ入力を含む、出力ビデオをレンダリングさせるように構成されたレンダリングコードを含む。

【0010】

いくつかの実施形態に従って、非一時的コンピュータ可読記憶媒体は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、360度ビデオに対応する第１ビデオ入力を受信させる命令を保管している。本命令は、さらに、少なくとも１つのプロセッサに、１つ以上の第２ビデオ入力を受信させる。本命令は、さらに、少なくとも１つのプロセッサに、第１ビデオ入力において１つ以上のオクルージョンフリー領域を定義させ、各オクルージョンフリー領域は、別の画像またはビデオによってオーバーレイされないビデオの領域を示している。本命令は、さらに、少なくとも１つのプロセッサに、3GPPオーバーレイ属性を介して、セッション記述プロトコル(SDP)において１つ以上のオクルージョンフリー領域の位置情報を信号化させ、ここで、3GPPオーバーレイ属性は、それぞれの3GPPオーバーレイが、オクルージョンフリー領域のために意図されたものであるか、または、特定のオーバーレイ専用のものであるか否かを信号化する。本命令は、さらに、少なくとも１つのプロセッサに、SDPを受信器に送信させる。本命令は、さらに、少なくとも１つのプロセッサに、１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた１つ以上の第２ビデオ入力を伴う第１ビデオ入力を含む、出力ビデオをレンダリングさせる。

【0011】

追加的な実施形態が、以下の説明に記載され、そして、部分的に、説明から明らかになり、かつ／あるいは、本開示の提示された実施形態の実施によって習得され得る。

【図面の簡単な説明】

【0012】

本開示の実施形態に係る上記および他の特徴と態様は、添付の図面と併せて以下の説明から明らかになるだろう。

【図1】図1は、本開示の様々な実施形態に従った、一つの例示的なネットワークデバイスの図である。

【図2】図2は、本開示の様々な実施形態に従った、オクルージョンフリー領域を画定するための一つの例示的なプロセスのフローチャートである。

【図3】図3は、本開示の様々な実施形態に従った、オクルージョンフリー領域および閉塞領域（occluded region）の図である。

【図4】図4は、本開示の様々な実施形態に従った、360ビデオシステムの図である。

【図5】図5は、本開示の様々な実施形態に従った、360ビデオシステムの図である。

【発明を実施するための形態】

【0013】

例示的な実施形態に係る以下の詳細な説明は、添付の図面を参照している。異なる図面における同じ参照番号は、同一または類似の要素を特定し得る。

【0014】

前述の開示は、例示および説明を提供するものであるが、網羅的であること、または、実装を開示された厳密な形態に限定するように意図されたものではない。上記の開示に照らして、修正および変形が可能であり、または、実装の実線から獲得され得る。さらに、１つの実施形態に係る１つ以上の特徴またはコンポーネントが、別の実施形態(または、別の実施形態の１つ以上の特徴)に組み込まれてよく、または、組み合わされてもよい。加えて、以下に提供されるフローチャートおよび動作の説明においては、１つ以上の動作（operation）が省略されてよく、１つ以上の動作が追加されてよく、１つ以上の動作が同時に(少なくとも部分的に)実行されてよく、そして、１つ以上の動作の順序が入れ替えられてよいことが、理解される。

【0015】

本明細書で説明される、システム及び／又は方法は、ハードウェア、ファームウェア、または、ハードウェアとソフトウェアとの組合せの異なる形態で実装され得ることが明らかだろう。これらのシステム及び／又は方法を実装するために使用される実際の専用制御ハードウェアまたはソフトウェアコードは、実装を限定するものではない。従って、システム及び／又は方法に係る動作および挙動が、特定のソフトウェアコードを参照することなく本明細書で説明された。ソフトウェアおよびハードウェアは、本明細書の説明に基づいて、システム及び／又は方法を実装するように設計され得ることが理解される。

【0016】

特徴の特定の組合せが請求項（claims）に記載され、かつ／あるいは、本明細書に開示されているが、これらの組合せは、可能な実装に係る開示を限定するように意図されたものではない。実際、これらの特徴の多くは、具体的に、請求項において記載されていない、かつ／あるいは、明細書に開示されていない方法で組み合わせることができる。以下に列挙される各従属請求項は、１つの請求項のみに直接的に依存し得るが、可能な実装の開示は、請求項セットにおける他の全ての請求項と組み合わせた各従属請求項を含んでいる。

【0017】

本明細書において使用される要素、動作、または命令は、そのように明示的に説明されない限り、重要または必須なものとして解釈されるべきではない。また、本明細書で使用される際に、冠詞「a」および「an」は、１つ以上の項目を含むように意図されており、そして、「１つ以上（“one or more”）」と互換的に使用され得る。１つだけの項目が意図されている場合には、「１つ（“one”）」また類似の言語が使用される。また、本明細書で使用される際に、用語「有する(“has”、“have”、“having)”」、「含む(“include”、“including”)」などは、オープンエンドの用語であることが意図されている。さらに、フレーズ「に基づいて（“based on”）」は、明示的に別段の定めがない限り、「に少なくとも部分的に基づいて（“based, at least in part, on”）」を意味するように意図されている。さらに、「[A]および[B]のうちの少なくとも１つ」または「[A]または[B]のうちの少なくとも１つ」といった表現は、Aのみ、Bのみ、または、AおよびBの両方、を含むものとして理解されるべきである。

【0018】

360ビデオによるビデオ会議のための従来の方法を使用するとき、現在のシステムは、360ビデオを二次元空間に転記し、そして、二次元描画を他の関連情報とオーバーレイすることに依存する。例えば、ユーザがある種のプレゼンテーションを伴う360会議にいるとき、現在のシステムは、会議(360ビデオ)、プレゼンテーション(2Dビデオ)、または、会議の一部にわたり描画されたプレゼンテーションを伴う会議ビデオのある種のオーバーラップしたレンダリングのいずれかを表示することを選択する必要がある。リモートワークの発生が増加するため、ピア間のコラボレーションの必要性は、参加者および仮想会議の主題の両方を見るためのより良い方法を必要とする。

【0019】

本開示は、オクルージョンフリー領域としてタグ付けされた360ビデオ内の関心領域（regions of interest）について説明する。各領域の位置および領域は受信器に転送され、その結果、各受信器は、他の端末からのビデオおよび画像とのレンダリングの最中にそれらの領域がオクルージョンフリーに保たれることが想定されていることを知る。例えば、会議室の各参加者の顔は、その会議室の360ビデオにおける１つの関心領域であり得る。

【0020】

これらの関心領域は動的であり、かつ、ビデオ会議セッションの最中に変化し得る。例えば、新たな参加者が会議室に参加してよく、かつ／あるいは、他の誰かが会議室を離れてもよい。従って、オクルージョンフリー領域の数及び／又はサイズは、ビデオ会議セッションの最中に変化し得る。

【0021】

いくつかの実施形態において、360ビデオのグローバル座標系が、任意のオクルージョンフリー領域の基準として使用されている。オクルージョンフリー領域は、その座標系内のその位置、および、その座標系内のその領域によって定義される。例えば、球形の矩形領域は、その中心、および、中心の周りのヨー（yaw）とピッチ（pitch）範囲によって定義される。同様に、様々な座標系において、領域は、その座標系のパラメータを使用して定義することができる。

【0022】

いくつかの実施形態において、360ビデオのオクルージョンフリー領域は、3gpp_overlay属性を介して、SDP内で信号化され得る。追加のフラグを追加して、決定された3GPPオーバーレイがオクルージョンフリー領域について意図されているか否か、または、特定のオーバーレイ専用であるか否かを信号化することを可能にする。例えば、

【数1】

である。

【0023】

for_additional_overlayフラグは、以下のセマンティクスを有している。
1.for_additional_overlayフラグが含まれず、または、0に設定されている場合に、このオーバーレイは、overlay_id値で識別される専用メディアを有している。
2.for_additional_overlayが含まれ、かつ、1に設定される場合に、このオーバーレイは、オクルージョンフリーオーバーレイであり、そして、受信器は、望まれる任意のメディアをオーバーレイするためにこれを使用することができる。このオーバーレイは、この領域が特定的にオクルージョンフリー領域としてマークされるので、いかなる重要な情報の結果として生じない。

【0024】

SDPは、それぞれが１つのオクルージョンフリー領域を表す上記のアナウンス（announcement）のうちの１つ以上を含むことができる。さらに、SDPを使用して、セッションの最中に新しいSDPラインを提供することによって、セッションの最中に、領域が更新され、除去され、または、新しい領域を追加され得る。

【0025】

SDPを使用してオクルージョンフリー領域のクリアマップを定義することによって、受信端末は、それらの領域上に、いかなるオーバーレイもレンダリングしないことを知る。各オクルージョンフリー領域の数、位置、およびサイズは、セッションの最中に更新することができる。この情報は、ソースにおいて抽出され、そして、次いで、ソースから配信され、または、MRFにおいて追加され得る。

【0026】

図1は、360ビデオ会議方法を使用するための実施形態に係る一つの例示的なシステム100を示している。例示的なシステム100は、パーソナルコンピュータ、モバイルデバイス、コンピュータのクラスタ、サーバ、組み込みデバイス、ASIC、マイクロコントローラ、または、コードを実行することが可能な任意の他のデバイスといった、様々なシステムのうちの１つであり得る。バス110は、全てのコンポーネントが相互に通信することができるように、例示的なシステム100を一緒に接続する。バス110は、プロセッサ120、メモリ130、ストレージコンポーネント40、入力コンポーネント150、出力コンポーネント160、およびインターフェイスコンポーネントを接続する。

【0027】

プロセッサ120は、単一のプロセッサ、内部に複数のプロセッサを有するプロセッサ、プロセッサのクラスタ(２つ以上)、及び／又は、分散処理であり得る。プロセッサは、メモリ130およびストレージコンポーネント40の両方に保管された命令を実行する。プロセッサ120は、計算デバイスとして動作し、テキスト正規化（text normalization）装置のために動作を実行する。メモリ130は、高速ストレージであり、そして、メモリデバイスのいずれかへの検索は、１つ以上のCPUに密接に関連付けられ得る、キャッシュメモリの使用を通じて可能にされ得る。ストレージコンポーネント40は、HDD、SSD、磁気テープ、または、任意の他の長期ストレージフォーマットといった、任意の長期ストレージのうちの１つであり得る。

【0028】

入力コンポーネント150は、カメラまたはテキストキャプチャ装置といった、ユーザインターフェイスコンポーネントからの任意のファイルタイプまたは信号であり得る。出力コンポーネント160は、処理された情報を通信インターフェイス170に対して出力する。通信インターフェイスは、ユーザ、または、別のコンピューティングシステムといった別の観察者（observer）に対して情報を表示し得る、スピーカまたは他の通信デバイスであり得る。

【0029】

図2は、ビデオ会議を実行するプロセスの一つの例示的な実施形態のフローチャートを示している。

【0030】

図2に示されるように、本プロセスは、360度ビデオ会議（360-degree video conference）に対応する第１ビデオ入力を受信することを含み得る。

【0031】

図2にさらに示されるように、本プロセスは、１つ以上の第２ビデオ入力を受信することを含み得る。

【0032】

図2にさらに示されるように、本プロセスは、第１ビデオ入力において１つ以上のオクルージョンフリー領域を定義することを含むことができる。オクルージョンフリー領域は、いずれの画像またはビデオによってもオーバーラップされないビデオの領域（areas of the video）を示している。

【0033】

図2にさらに示されるように、本プロセスは、3GPPオーバーレイ属性を介して、セッション記述プロトコルにおいて、１つ以上のオクルージョンフリー領域の位置情報を信号化することを含み得る。

【0034】

図2にさらに示されるように、本プロセスは、SDPを受信器に対して送信することを含み得る。

【0035】

図2にさらに示されるように、本プロセスは、１つ以上のオクルージョンフリー領域を含んでいない領域においてオーバーレイされた１つ以上の第２ビデオ入力を伴う第１ビデオ入力を含む、出力ビデオをレンダリングすること、を含み得る。

【0036】

図3は、閉塞領域320およびオクルージョンフリー領域310の実施形態を示している。スクリーン300上で、空間は、オクルージョンフリー領域310または閉塞された領域320のいずれかに割り当てられ得る。オクルージョンフリー領域310は、コンテンツまたは他の情報が描画/レンダリングされているか、または、他の方法で出力されているスクリーン300の領域である。このオクルージョンフリー領域310は、他のコンテンツが上にレンダリングされず、または、そうでなければ、オーバーラップされないようにし得る。一方で、閉塞領域320は、コンテンツがなく、優先度の低いコンテンツを有し、または、他のコンテンツがその上に配置され得る領域としてマークされている。オクルージョンフリー領域は、その座標系内のその位置、および、その座標系内のその領域によって定義される。例えば、球状の矩形領域は、その中心、および、中心の周りのヨーとピッチ範囲よって定義される。同様に、様々な座標系において、領域は、その座標系のパラメータを使用して定義され得る。いくつかの実施形態において、スクリーン300の領域、スクリーン全体、または複数のスクリーンは、閉塞領域またはオクルージョンフリー領域のいずれかとしてマークされ得る。

【0037】

様々なメカニズムが、オクルージョンフリー領域を信号化するために使用され得る。例えば、いくつかの実施形態において、オクルージョンフリー領域を信号化することは、セッション記述の一部として、そうした領域の座標をオクルージョンフリー領域のリスト内の項目として送信することであり得る。他の実施形態において、オクルージョンフリー領域を信号化することは、オクルージョンフリー領域およびそのプロパティ(例えば、透明であり、かつ、メディアオブジェクトを含まない)を定義するシーン記述においてノードを定義することによって行われ得る。他の実施形態において、オクルージョンフリー領域を信号化することは、オクルージョンフリー領域のみを定義する別個のシーン記述を定義することによって実行され得る。360ビデオのオクルージョンフリー領域は、SDP a=3gpp_occludefree属性において信号化され得る。ビデオコンポーネントは、領域の位置およびサイズ(範囲)を有し得る。コンポーネントは3gpp_occludefreeによって定義されているので、ITT4RTは、この信号化が実際のメディアを含まないが、カバーされるべきでない領域を信号化するために使用されることを知っている。

【0038】

いくつかの実施形態において、シーン記述は、各オクルージョンフリー領域に対するノードを含み得る。ノードテクスチャプロパティは、0の不透明度（opacity of 0）(完全な透明度)を有するアルファチャネルに設定され得る。代替的に、新しいMIMEタイプが、オクルージョンフリーノードに対して定義され得る。例えば、glTFシーン記述において、テクスチャについて、alphaMode=MASKであり、かつ、alphaCutOff=1.1である場合、オブジェクトは透明である(レンダリングされない)。これらの領域をオクルージョンフリー領域として明示的に信号化するために、新しい属性がglTF仕様に追加され得る。

【0039】

図4は、使用中の360ビデオシステムの一つの実施形態を詳細に示している。例示的な実施形態において、360ビデオプレゼンテーションが行われている。ビデオプレゼンテーションは、例えば、ビデオ会議、ビデオチャット、視覚情報と音声情報が存在するビデオまたは他の情報交換であり得る。この実施形態において、ユーザB 460は、ユーザA 400から360ビデオ、および、ユーザC 450から2-dビデオを受信する。ユーザは、自分の（his/her）端末上で両方のビデオを見たいだろう。しかしながら、ユーザがデバイスディスプレイを最大限利用したい場合、部屋Aの360ビデオは、ユーザBのデバイスのスクリーン全体を撮る必要があり得るし、そして、次いで、ユーザCからの2Dビデオが、部屋A 400の360ビデオの上にオーバーレイされねばならない。この実施形態において、ユーザB 460のビデオフィード420は、背景としてのユーザAのビデオ 400の組合せであり、それは、次いで、定義されたオクルージョンフリー領域および閉塞領域を有している。ユーザAのビデオ 400のこれらの領域は、送信側から受信側に送信されるか、もしくは、他のソフトウェアソリューションまたはデバイスを通じて共有される。ここで、ユーザB 460は、ビデオ情報をユーザC 450およびユーザA 400に送信する。加えて、ユーザA 400およびユーザC 450は、個々のビデオ情報それぞれを、彼らの間で、および、ユーザB 460に対して送信する。オクルージョンフリー領域は、通常のシーン記述（regular scene description）とは別のシーン記述オブジェクトを用いて記述され得る。この追加的なシーン記述は、オクルージョンフリー領域に関する情報を含むだけであり、そして、従って、レンダリングのためには使用されないが、オクルージョンフリー領域についてマップを提供する。

【0040】

他のユーザのビデオ表示に関する情報を受信した後で、領域は、閉塞（occluded）またはオクルージョンフリー（occlude-free）として定義され、そして、次いで、２つの組み合わせが、ユーザBのスクリーン410上にレンダリングされる。図4に示される、ユーザBのスクリーン410は、ユーザAのビデオ400を背景として使用し、少なくとも１つの領域がオクルージョンフリー領域460としてマークされ、かつ、別の領域が閉塞領域430としてマークされている。図4において、閉塞領域430は、領域上に描かれたユーザCのビデオ440を有している。ある場合には、新しい情報のために、１つ以上のスクリーンの配置を変更する必要があり得る。追加のユーザ、描画されているより多くのプレゼンテーション情報、もしくは、例えば、ユーザが焦点（focal point）になり、または、より多くのスクリーン領域（real estate）を必要とすること、といったものである。追加情報を用いて、各ユーザのスクリーンは、閉塞領域またはオクルージョンフリー領域が、変化する状況のために、変化し、かつ、考慮するように再定義されることを要求する。例えば、図4を参照すると、追加のユーザがプレゼンテーションに参加するとすれば、全てのユーザの現在のスクリーンは、閉塞領域またはオクルージョンフリー領域を再定義し、そして、重要な情報が遮蔽されないことを確実にするために、ユーザのスクリーンそれぞれを再レンダリングしなければならないだろう。

【0041】

図5は、使用中の360ビデオシステムの一つの実施形態を詳細に示している。例示的な実施形態において、360ビデオプレゼンテーションが行われている。ビデオプレゼンテーションは、例えば、ビデオ会議、ビデオチャット、視覚情報と音声情報が存在するビデオまたは他の情報交換であり得る。この実施形態において、ユーザB 460は、ユーザA 500から360ビデオ、および、ユーザC 540から2-dビデオを受信する。ユーザは、自分の（his/her）端末上で両方のビデオを見たいだろう。しかしながら、ユーザがデバイスディスプレイを最大限利用したい場合、部屋Aの360ビデオは、ユーザBのデバイスのスクリーン全体を取り込む必要があり得るし、そして、次いで、ユーザCからの2Dビデオが、部屋A 360のビデオの上にオーバーレイされねばならない。この実施形態において、ユーザBのビデオフィード 520は、背景としてのユーザAのビデオ 500の組合せであり、それは、次いで、定義されたオクルージョンフリー領域および閉塞領域を有している。ユーザAのビデオ 500のこれらの領域は、MRF 550を介して送信側から受信側に送信されるか、もしくは、他のソフトウェアソリューションまたはデバイスを介して共有される。MRF 550は、会話セッションについて単一のシーン記述を作成するために使用され得る。このシーン記述は、各リモートクライアントに対して全体的なシーンを記述する。同じシーン記述は、任意的に、オクルージョンフリー領域を信号化するために追加的なノードを含んでよく、または、オクルージョンフリー領域のノードのみを含む、別個のルートノードを含んでもよい。

【0042】

ここで、ユーザBは、自身のビデオ情報をユーザCおよびユーザAに送信する。加えて、ユーザAおよびユーザCは、個々のビデオ情報それぞれを彼ら自身の間で、かつ、ユーザBに対して送信する。オクルージョンフリー領域は、通常のシーン記述とは別のシーン記述オブジェクトを用いて記述され得る。この追加的なシーン記述は、オクルージョンフリー領域に関する情報を含むだけであり、そして、従って、レンダリングのためには使用されないが、オクルージョンフリー領域についてマップを提供する。

【0043】

他のユーザのビデオ表示についての情報を受信した後で、領域は、閉塞、または、オクルージョンフリーとして定義され、そして、次いで、２つの組み合わせが、ユーザBのスクリーン510上にレンダリングされる。図5に示される、ユーザBのスクリーン510は、ユーザAのビデオ500を背景として使用し、少なくとも１つの領域がオクルージョンフリー領域560としてマークされ、かつ、別の領域が閉塞領域530としてマークされている。図5において、閉塞領域530は、領域上に描かれたユーザCのビデオ440を有してい。ある場合には、新しい情報のために、１つ以上のスクリーンの配置を変更する必要があり得る。追加のユーザ、描画されているより多くのプレゼンテーション情報、もしくは、例えば、ユーザが焦点になり、または、より多くのスクリーン領域を必要とすること、といったものである。追加情報を用いて、各ユーザのスクリーンは、閉塞領域またはオクルージョンフリー領域が、変化する状況のために、変化し、かつ、考慮するように再定義されることを要求する。例えば、図5を使用して、追加のユーザがプレゼンテーションに参加するとすれば、全てのユーザの現在のスクリーンは、閉塞領域またはオクルージョンフリー領域を再定義し、そして、重要な情報が遮蔽されないことを確実にするために、ユーザのスクリーンそれぞれを再レンダリングしなければならないだろう。

【0044】

前述の開示は、例示および説明を提供するが、網羅的であること、または、実装を開示された厳密な形態に限定するように意図されたものではない。修正および変形が、上記の開示に照らして可能であり、または、実装の実施から獲得され得る。

【0045】

いくつかの実施形態は、統合に係る任意の可能な技術的詳細レベルにおいてシステム、方法、及び／又は、コンピュータ可読媒体に関連し得る。さらに、上記で説明した上記のコンポーネントのうちの１つ以上は、コンピュータ可読媒体上に保管され、かつ、少なくとも１つのプロセッサによって実行可能な命令として、実装され得る(かつ／あるいは、少なくとも１つのプロセッサを含み得る)。コンピュータ可読媒体は、プロセッサに動作を実行させるためのコンピュータ可読プログラム命令を有しているコンピュータ可読非一時的記憶媒体(または、メディア)を含み得る。

【0046】

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のために命令を保持し、かつ、保管することができる有形デバイスであり得る。コンピュータ可読記憶媒体は、これらに限定されるわけではないが、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または、前述のものの任意の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下のものを含む。ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピー(登録商標)ディスク、記録された命令を有しているパンチカードまたは溝内の隆起構造といった機械的に符号化されたデバイス、および、上記の任意の適切な組合せ。コンピュータ可読記憶媒体は、本明細書で使用される際には、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通じ伝搬する電磁波(例えば、光ファイバケーブルを通過する光パルス)、または、ワイヤを通じて伝送される電気信号といった、それ自体が一時的な信号であると解釈されるべきではない。

【0047】

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理デバイスに対して、または、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は、ワイヤレスネットワークを介して外部コンピュータまたは外部ストレージデバイスに対してダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又は、エッジサーバを含み得る。各コンピューティング/処理デバイス内のネットワークアダプタカードまたはネットワークインターフェイスは、ネットワークからコンピュータ可読プログラム命令を受信し、そして、それぞれのコンピューティング/処理デバイス内のコンピュータ可読記憶媒体に保管するためにコンピュータ可読プログラム命令を転送する。

【0048】

動作を実行するためのコンピュータ可読プログラムコード/命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、または、Smalltalk（登録商標）、C++（登録商標）などのオブジェクト指向プログラミング言語、および、「C」プログラミング言語または同様のプログラミング言語といった、手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組合せで書かれたソースコードまたはオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上および部分的にリモートコンピュータ上で、もしくは、完全にリモートコンピュータまたはサーバ上で実行することができる。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む、任意のタイプのネットワークを介して、ユーザのコンピュータに接続されてよく、または、外部コンピュータに対して(例えば、インターネットサービスプロバイダを使用してインターネットを介して)接続が行われ得る。いくつかの実施形態において、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)、または、プログラマブル論理アレイ(PLA)を含む、電子回路は、態様または動作を実行するために、電子回路をパーソナライズするようにコンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行し得る。

【0049】

これらのコンピュータ可読プログラム命令は、機械（machine）を生成するように、汎用コンピュータ、専用コンピュータ、または、他のプログラム可能データ処理装置のプロセッサに対して提供され得る。その結果、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図の１つ以上のブロック（block or blocks）において指定される動作を実施する。これらのコンピュータ可読プログラム命令は、また、コンピュータ、プログラム可能データ処理装置、及び／又は、他のデバイスに特定の方法で動作するように指示することができるコンピュータ可読記憶媒体に保管することもでき、その結果、保管された命令を有しているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図の１つ以上のブロックにおいて指定される動作の態様を実施する命令を含んでいる製品を含む。

【0050】

コンピュータ可読プログラム命令は、また、コンピュータ、他のプログラム可能データ処理装置、または、他のデバイスにロードされてもよく、コンピュータ実装プロセスを生成するように、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作を実行させる。その結果、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行される命令は、フローチャート及び／又はブロック図の１つ以上のブロックで指定された動作を実施する。

【0051】

図におけるフローチャートおよびブロック図は、様々な実施形態に従ったシステム、方法、およびコンピュータ可読媒体の可能な実装に係るアーキテクチャ、機能、および動作を示している。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理演算を実施するための１つ以上の実行可能命令を含む、モジュール、セグメント、または命令の一部を表すことができる。方法、コンピュータシステム、およびコンピュータ可読媒体は、追加的なブロック、より少ないブロック、異なるブロック、または、図に示されたものとは異なって配置されたブロックを含み得る。いくつかの代替的な実装において、ブロックに記載された動作は、図に記載された順序とは異なる順序で発生し得る。例えば、連続して示される２つのブロックは、実際には、同時または実質的に同時に実行されてよく、もしくは、ブロックは、含まれる機能に応じて、ときどき、逆の順序で実行されてよい。ブロック図及び／又はフローチャート図の各ブロック、並びに、ブロック図及び／又はフローチャート図におけるブロックの組み合わせは、指定された動作または行為を実行する、もしくは、専用ハードウェアおよびコンピュータ命令の組み合わせを実行する、専用ハードウェアベースのシステムによって実施され得ることも、また、留意される。
本明細書で説明されるシステム及び／又は方法は、ハードウェア、ファームウェア、または、ハードウェアとソフトウェアとの組合せに係る異なる形態で実装され得ることが明らかだろう。これらのシステム及び／又は方法を実装するために使用される実際の専用制御ハードウェアまたはソフトウェアコードは、実装を限定するものではない。従って、システム及び／又は方法の動作および挙動は、特定のソフトウェアコードを参照することなく本明細書で説明されている。－ソフトウェアおよびハードウェアは、本明細書の説明に基づいて、システム及び／又は方法を実装するように設計され得ることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】