IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特表2024-509837360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム
<>
  • 特表-360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム 図1
  • 特表-360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム 図2
  • 特表-360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム 図3
  • 特表-360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム 図4
  • 特表-360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-05
(54)【発明の名称】360ビデオ会議においてオクルードフリー領域をシグナリングするための方法、装置およびプログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20240227BHJP
【FI】
H04N7/15
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023553380
(86)(22)【出願日】2022-10-26
(85)【翻訳文提出日】2023-09-01
(86)【国際出願番号】 US2022047940
(87)【国際公開番号】W WO2023081051
(87)【国際公開日】2023-05-11
(31)【優先権主張番号】63/275,795
(32)【優先日】2021-11-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/973,301
(32)【優先日】2022-10-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】イーラジ・ソダガー
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA10
5C164UB88S
5C164VA07P
5C164VA23S
5C164VA35P
(57)【要約】
360ビデオ会議においてオクルードフリー領域を定義するための技術であって、360度ビデオ会議である第1のビデオ入力を受信するステップと、1つまたは複数の第2のビデオ入力を受信するステップと、第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義するステップと、1つまたは複数のオクルードフリー領域を受信機に送信するステップと、1つまたは複数のオクルードフリー領域を含まない領域において1つまたは複数の第2のビデオ入力がオーバレイされた第1のビデオ入力を含む出力ビデオをレンダリングするステップと、含む、技術。
【特許請求の範囲】
【請求項1】
360ビデオ会議においてオクルードフリー領域を定義する方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、
360度ビデオ会議に対応する第1のビデオ入力を受信するステップと、
1つまたは複数の第2のビデオ入力を受信するステップと、
前記第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義するステップと、
前記1つまたは複数のオクルードフリー領域を受信機に送信するステップと、
前記1つまたは複数のオクルードフリー領域を含まない領域において前記1つまたは複数の第2のビデオ入力がオーバレイされた前記第1のビデオ入力を含む出力ビデオをレンダリングするステップと、
を含む、方法。
【請求項2】
前記オクルードフリー領域が座標系における前記オクルードフリー領域の位置によって定義される、請求項1に記載の方法。
【請求項3】
前記1つまたは複数の第2のビデオ入力が360度ビデオまたは2-Dビデオである、請求項1に記載の方法。
【請求項4】
前記オクルードフリー領域が、動的であり、ビデオ会議セッション中に変化する、請求項1に記載の方法。
【請求項5】
前記出力ビデオにおける前記レンダリングを変更することによって、前記入力ビデオにおける前記少なくとも1つの情報の変化に応答するステップ、
をさらに含む、請求項1に記載の方法。
【請求項6】
前記オクルードフリー領域をシグナリングするステップが、以下の動作、すなわち、
i)前記1つまたは複数のオクルードフリー領域の前記座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信すること、
ii)前記1つまたは複数のオクルードフリー領域および前記1つまたは複数のオクルードフリー領域のプロパティを定義するシーン記述のノードを定義すること、
iii)前記オクルードフリー領域のみを定義する別個のシーン記述を定義すること、
のうちの1つまたは複数を含む、請求項1に記載の方法。
【請求項7】
各オクルードフリー領域の前記情報が前記セッション中に更新され、新しいオクルードフリー領域が追加され、または既存のオクルードフリー領域が除去される、請求項1に記載の方法。
【請求項8】
360ビデオ会議においてオクルードフリー領域を定義するための装置であって、前記装置は、
コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって指示されたように動作するように構成された少なくとも1つのプロセッサであって、前記コンピュータプログラムコードが、
前記少なくとも1つのプロセッサに、360度ビデオ会議に対応する第1のビデオ入力を受信させるように構成された第1の受信コードと、
前記少なくとも1つのプロセッサに、1つまたは複数の第2のビデオ入力を受信させるように構成された第2の受信コードと、
前記少なくとも1つのプロセッサに、前記第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義させるように構成された定義コードと、
前記少なくとも1つのプロセッサに、前記1つまたは複数のオクルードフリー領域を受信機に送信させるように構成された送信コードと、
前記少なくとも1つのプロセッサに、前記1つまたは複数のオクルードフリー領域を含まない領域において前記1つまたは複数の第2のビデオ入力がオーバレイされた前記第1のビデオ入力を含む出力ビデオをレンダリングさせるように構成されたレンダリングコードと、
を含む、少なくとも1つのプロセッサと、を備える、装置。
【請求項9】
前記オクルードフリー領域が座標系における前記オクルードフリー領域の位置によって定義される、請求項8に記載の装置。
【請求項10】
前記1つまたは複数の第2のビデオ入力が360度ビデオまたは2-Dビデオである、請求項8に記載の装置。
【請求項11】
前記オクルードフリー領域が、動的であり、ビデオ会議セッション中に変化する、請求項8に記載の装置。
【請求項12】
前記少なくとも1つのプロセッサに、前記出力ビデオにおける前記レンダリングを変更することによって、前記入力ビデオにおける前記少なくとも1つの情報の変化に応答させるように構成された応答コード
をさらに備える、請求項8に記載の装置。
【請求項13】
前記少なくとも1つのプロセッサに前記オクルードフリー領域をシグナリングさせるように構成された前記シグナリングコードが、前記少なくとも1つのプロセッサに、さらに、以下の動作、すなわち、
i)前記1つまたは複数のオクルードフリー領域の前記座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信すること、
ii)前記1つまたは複数のオクルードフリー領域および前記1つまたは複数のオクルードフリー領域のプロパティを定義するシーン記述のノードを定義すること、
iii)前記オクルードフリー領域のみを定義する別個のシーン記述を定義すること、
のうちの1つまたは複数を実行させる、請求項8に記載の装置。
【請求項14】
各オクルードフリー領域の前記情報が、前記セッション中に更新され、新しいオクルードフリー領域が追加され、または既存のオクルードフリー領域が除去される、請求項8に記載の装置。
【請求項15】
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
360度ビデオ会議に対応する第1のビデオ入力を受信させ、
1つまたは複数の第2のビデオ入力を受信させ、
前記第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義させ、
前記1つまたは複数のオクルードフリー領域を受信機に送信させ、
前記1つまたは複数のオクルードフリー領域を含まない領域において前記1つまたは複数の第2のビデオ入力がオーバレイされた前記第1のビデオ入力を含む出力ビデオをレンダリングさせる、
コンピュータ命令が記憶された非一過性コンピュータ可読媒体。
【請求項16】
前記オクルードフリー領域が座標系における前記オクルードフリー領域の位置によって定義される、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項17】
前記1つまたは複数の第2のビデオ入力が360度ビデオまたは2-Dビデオである、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項18】
前記オクルードフリー領域が、動的であり、ビデオ会議セッション中に変化する、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項19】
前記少なくとも1つのプロセッサに、さらに、
前記出力ビデオにおける前記レンダリングを変更することによって、前記入力ビデオにおける前記少なくとも1つの情報の変更に応答させる、請求項15に記載の非一過性コンピュータ可読媒体。
【請求項20】
前記オクルードフリー領域のシグナリングが、以下の動作、すなわち、
i)前記1つまたは複数のオクルードフリー領域の前記座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信すること、
ii)前記1つまたは複数のオクルードフリー領域および前記1つまたは複数のオクルードフリー領域のプロパティを定義するシーン記述のノードを定義すること、
iii)前記オクルードフリー領域のみを定義する別個のシーン記述を定義すること、
のうちの1つまたは複数を含む、請求項15に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2022年11月4日に出願された米国特許出願第63/275,795号、および2021年10月25日に出願された米国特許出願第17/973,301号に基づき、これらの優先権を主張し、これらの開示は、参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、360ビデオ会議においてオクルードフリー領域をシグナリングする方法を提供する。360ビデオにおけるオクルードフリー領域には重要な情報が含まれているため、このオクルードフリー領域は、いかなるオーバレイによっても覆われるべきではない360ビデオの領域である。
【背景技術】
【0003】
3GPP TS26.114は、モバイルハンドセットのためのビデオ会議システムを定義する。本仕様は、360ビデオのキャプチャおよび送信をサポートする端末によるビデオ会議をサポートする。この規格は、360ビデオにオーバレイを追加することもサポートする。360ビデオおよび対応するオーバレイは、電話会議の他のリモートの参加者からの他の2-dビデオと一緒にレンダリングされることがある。
【0004】
3GPP TS26.114において定義される現在の5Gメディアストリーミングアーキテクチャは、モバイルネットワークを介したビデオ会議のための一般的なフレームワークを提供する。ビデオ会議中、リモートの参加者は、最初の部屋から360ビデオを、そして別のユーザから2-dビデオを受信することができる。ユーザは、自分の端末で両方のビデオを見たい場合がある。しかしながら、ユーザがデバイスのディスプレイを最大限に活用したい場合は、最初の部屋の360-ビデオが別のユーザのデバイスの画面全体を占める必要があり、その後、別のユーザからの2-dビデオを最初の部屋のビデオの上にオーバレイしなければならない。
【0005】
現在の規格では、最初の部屋のオクルードフリー領域をシグナリングするための方法は定義されていない。これらの領域は、最初の部屋についての重要な情報(部屋にいる参加者、またはプレゼンテーションディスプレイ)を有するべきあり、受信側リモート端末において他のユーザからのビデオをオーバレイすることで遮られるべきではない360ビデオの領域である。
【発明の概要】
【課題を解決するための手段】
【0006】
以下は、本開示の1つまたは複数の実施形態の基本的な理解を提供するために、そのような実施形態の簡略化された概要を提示する。本概要は、すべての企図された実施形態の広範な概要ではなく、すべての実施形態の主要なまたは重要な要素を特定することも、いずれかまたはすべての実施形態の範囲を線引きすることも意図されていない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、本開示の1つまたは複数の実施形態の一部の概念を簡略化された形で提示することである。
【0007】
本開示は、360ビデオ会議においてオクルードフリー領域をシグナリングする方法を提供する。
【0008】
例示的な実施形態によると、少なくとも1つまたは複数のプロセッサによって実行される360ビデオ会議においてオクルードフリー領域を定義する方法。本方法は、360度ビデオ会議に対応する第1のビデオ入力を受信するステップを含む。本方法は、1つまたは複数の第2のビデオ入力を受信するステップをさらに含む。本方法は、第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義するステップをさらに含む。本方法は、1つまたは複数のオクルードフリー領域を受信機に送信するステップと、1つまたは複数のオクルードフリー領域を含まない領域において1つまたは複数の第2のビデオ入力がオーバレイされた第1のビデオ入力を含む出力ビデオをレンダリングするステップと、をさらに含む。
【0009】
例示的な実施形態によると、360ビデオ会議においてオクルードフリー領域を定義するための装置。本装置は、コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、コンピュータプログラムコードにアクセスし、コンピュータプログラムコードによって指示されたように動作するように構成された少なくとも1つのプロセッサと、を含む。コンピュータプログラムコードは、少なくとも1つのプロセッサに、360度ビデオ会議に対応する第1のビデオ入力を受信させるように構成された第1の受信コードを含む。コンピュータプログラムコードは、少なくとも1つのプロセッサに、1つまたは複数の第2のビデオ入力を受信させるように構成された第2の受信コードをさらに含む。コンピュータプログラムコードは、少なくとも1つのプロセッサに、第1のビデオ入力における1つまたは複数の領域を、他の画像またはビデオとオーバラップしないオクルードフリー領域として定義させるように構成された定義コードをさらに含む。コンピュータプログラムコードは、少なくとも1つのプロセッサに、1つまたは複数のオクルードフリー領域を受信機に送信させるように構成された送信コードと、少なくとも1つのプロセッサに、1つまたは複数のオクルードフリー領域を含まない領域において1つまたは複数の第2のビデオ入力がオーバレイされた第1のビデオ入力を含む出力ビデオをレンダリングさせるように構成されたレンダリングコードと、をさらに含む。
【0010】
例示的な実施形態によると、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに方法を実行させるコンピュータ命令が記憶された非一過性コンピュータ可読媒体。本方法は、360度ビデオ会議に対応する第1のビデオ入力を受信するステップを含む。本方法は、1つまたは複数の第2のビデオ入力を受信するステップをさらに含む。本方法は、第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義するステップをさらに含む。本方法は、1つまたは複数のオクルードフリー領域を受信機に送信するステップと、1つまたは複数のオクルードフリー領域を含まない領域において1つまたは複数の第2のビデオ入力がオーバレイされた第1のビデオ入力を含む出力ビデオをレンダリングするステップと、をさらに含む。
【0011】
追加の実施形態は、以下の説明に記載され、部分的には、説明から明らかになり、および/または本開示の提示された実施形態の実施によって学ぶことができる。
【0012】
本開示の実施形態の上記および他の特徴ならびに態様は、添付の図面と併せて以下の説明から明らかになるであろう。
【図面の簡単な説明】
【0013】
図1】本開示の様々な実施形態による、例示的なネットワークデバイスの図である。
図2】本開示の様々な実施形態による、オクルードフリー領域を定義するための例示的なプロセスの流れ図である。
図3】本開示の様々な実施形態による、オクルードフリー領域およびオクルード領域の略図である。
図4】本開示の様々な実施形態による、360ビデオシステムの略図である。
図5】本開示の様々な実施形態による、360ビデオシステムの略図である。
【発明を実施するための形態】
【0014】
例示的な実施形態の以下の詳細な説明は、添付の図面を参照する。異なる図面における同じ参照番号は、同じまたは同様の要素を識別することができる。
【0015】
前述の開示は、例示および説明を提供しているが、網羅的であることも、実施態様を開示された厳密な形態に限定することも意図されていない。修正形態および変形形態が上記の開示に照らして可能であり、または実施態様の実践から取得されてもよい。さらに、一実施形態の1つもしくは複数の特徴または構成要素は、別の実施形態(または別の実施形態の1つもしくは複数の特徴)に組み込まれてもよく、または組み合わされてもよい。さらに、以下に提供される動作の流れ図および説明では、1つまたは複数の動作が省略されてもよく、1つまたは複数の動作が追加されてもよく、1つまたは複数の動作が(少なくとも部分的に)同時に行われてもよく、1つまたは複数の動作の順序が入れ替えられてもよいことを理解されたい。
【0016】
本明細書に記載のシステムおよび/または方法は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組合せの異なる形態で実装されてもよいことは明らかであろう。これらのシステムおよび/または方法を実装するために使用される実際の専用の制御ハードウェアまたはソフトウェアコードは、実施態様を限定するものではない。したがって、システムおよび/または方法の動作ならびに挙動は、特定のソフトウェアコードを参照することなく本明細書で説明された。ソフトウェアおよびハードウェアは、本明細書の説明に基づいてシステムおよび/または方法を実施するように設計され得ることを理解されたい。
【0017】
特定の特徴の組合せが、特許請求の範囲に記載され、かつ/または本明細書に開示されていても、これらの組合せは、可能な実施態様の開示を限定することを意図されたものではない。実際、これらの特徴の多くは、特許請求の範囲に具体的に記載されておらず、かつ/または本明細書に開示されていない方法で組み合わせることができる。以下に列挙されている各従属請求項は、1つの請求項のみに直接従属することができるが、可能な実施態様の開示は、請求項セット内のすべての他の請求項との組合せにおいて各従属請求項を含む。
【0018】
本明細書で使用される要素、行為、または指示は、そのようなものとして明示的に記載されていない限り、重要または必須であると解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」は、1つまたは複数の項目を含むことを意図されており、「1つまたは複数」と交換可能に使用されてもよい。1つの項目のみが意図されている場合、「1つ」という用語または同様の言葉が使用される。また、本明細書で使用される場合、用語「有する(has)」、「有する(have)」、「有している(having)」、「含む(include)」、「含んでいる(including)」などは、オープンエンドの用語であることが意図されている。さらに、「に基づいて」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味することが意図されている。さらに、「[A]および[B]のうちの少なくとも1つ」あるいは「[A]または[B]のうちの少なくとも1つ」などの表現は、Aのみ、Bのみ、またはAとBの両方を含むものとして理解されるべきである。
【0019】
360ビデオによるビデオ会議のための従来の方法を使用する場合、現在のシステムは、360ビデオを2次元空間に転写し、その2次元図を他の関連情報とオーバレイすることに依存している。例えば、ユーザが何らかのプレゼンテーションを伴う360会議に参加している場合、現在のシステムは、会議(360ビデオ)、プレゼンテーション(2Dビデオ)、または会議ビデオを会議の一部の上に描画されたプレゼンテーションとオーバラップさせたある種のレンダリングのいずれかを表示することを選択する必要がある。リモートワークの発生の増加に起因して、同僚間のコラボレーションの必要性から、参加者と仮想会議の主題の両方を見るためのより良い方法が必要とされている。
【0020】
図1は、360ビデオ会議方法を使用するための一実施形態の例示的なシステム100を示す。例示的なシステム100は、パーソナルコンピュータ、モバイルデバイス、コンピュータのクラスタ、サーバ、組み込みデバイス、ASIC、マイクロコントローラ、またはコードを実行することが可能な任意の他のデバイスなどの様々なシステムのうちの1つであってもよい。バス110は、すべての構成要素が互いに通信することができるように、例示的なシステム100を互いに接続する。バス110は、プロセッサ120、メモリ130、ストレージコンポーネント140、入力コンポーネント150、出力コンポーネント160およびインターフェースコンポーネントを接続する。
【0021】
プロセッサ120は、単一のプロセッサ、複数のプロセッサを内部に有するプロセッサ、プロセッサのクラスタ(2つ以上)、および/または分散処理であってもよい。プロセッサは、メモリ130およびストレージコンポーネント140の両方に記憶された命令を実行する。プロセッサ120は、計算デバイスとして動作し、テキスト正規化装置のための演算を実行する。メモリ130は、高速ストレージであり、1つまたは複数のCPUと密接に関連付けられ得るキャッシュメモリを使用することによって、任意のメモリデバイスへの検索を可能にすることができる。ストレージコンポーネント140は、HDD、SSD、磁気テープ、または任意の他の長期ストレージフォーマットなどの任意の長期ストレージのうちの1つであってもよい。
【0022】
入力コンポーネント150は、任意のファイルタイプ、またはカメラもしくはテキストキャプチャ機器などのユーザインターフェースコンポーネントからの信号であってもよい。出力コンポーネント160は、処理された情報を通信インターフェース170に出力する。通信インターフェースは、スピーカまたは他の通信デバイスであってもよく、ユーザまたは別のコンピューティングシステムなどの別の観察者に情報を表示することができる。
【0023】
図2は、ビデオ会議を行うプロセスの例示的な実施形態の流れ図を示す。プロセスにおいて詳述される動作は、入力ビデオ200を受信するステップと、オクルードフリー領域210を定義するステップと、オクルード領域220を定義するステップと、を含む。210および220の定義された領域は、受信機230に送信される。次に、レンダリング240が行われ、オクルードフリーのビデオとオクルードされたビデオとの何らかの組合せを有する出力ビデオが描画される。次いで、プロセスは、入力ビデオ200の受信時にプロセスを再開する変更250があるかどうかを判定する。変更がないと判定された場合、プロセスは終了する(260)。
【0024】
図3は、オクルード領域320およびオクルードフリー領域310の一実施形態を示す。画面300上で、空間は、オクルードフリー領域310またはオクルード領域320のいずれかに割り当てられてもよい。オクルード領域310は、コンテンツまたは他の情報が描画/レンダリングされている、またはその他の方法で出力されている画面300の領域である。このオクルード領域310は、その上にレンダリングされる、またはその他の方法でオーバラップされる他のコンテンツがなくてもよい。一方、オクルード領域320は、コンテンツがないか、優先度の低いコンテンツを有するか、または他のコンテンツが上に配置され得る領域としてマークされている。オクルードフリー領域は、その座標系におけるその位置およびその座標系におけるその領域によって定義される。例えば、球形の矩形領域は、その中心と、中心の周りのそのヨーおよびピッチの範囲とによって定義される。同様に、様々な座標系において、領域は、その座標系のパラメータを使用して定義されてもよい。一部の実施形態では、画面300の領域、画面全体、または複数の画面が、オクルード領域またはオクルードフリー領域のいずれかとしてマークされてもよい。
【0025】
様々なメカニズムがオクルードフリー領域をシグナリングするために使用されてもよい。例えば、一部の実施形態では、オクルードフリー領域をシグナリングすることは、そのような領域の座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信することであってもよい。他の実施形態では、オクルードフリー領域をシグナリングすることは、オクルードフリー領域およびそのプロパティ(例えば、透明であり、メディアオブジェクトを含んでいない)を定義するシーン記述のノードを定義することによって行われてもよい。他の実施形態では、オクルードフリー領域をシグナリングすることは、オクルードフリー領域のみを定義する別個のシーン記述を定義することによって行われてもよい。360ビデオのオクルードフリー領域は、SDP a=3gpp_occludefree属性でシグナリングされてもよい。ビデオコンポーネントは、領域の位置およびサイズ(範囲)を有することができる。このコンポーネントは、3gpp_occludefreeによって定義されているため、ITT4RTは、このシグナリングが実際のメディアを含んでいないが、覆われるべきでない領域をシグナリングするために使用されていることを知る。
【0026】
一部の実施形態では、シーン記述は、各オクルードフリー領域に対するノードを含むことができる。ノードのテクスチャプロパティは、不透明度0(完全な透明度)を有するアルファチャネルに設定することができる。代替として、新しいMIMEタイプがオクルードフリーノードのために定義されてもよい。例えば、glTFシーン記述では、テクスチャについてalphaMode=MASKおよびalphaCutOff=1.1の場合、オブジェクトは透明である(レンダリングされない)。これらの領域をオクルードフリー領域として明示的にシグナリングするために、glTF仕様に新しい属性が追加されてもよい。
【0027】
図4は、使用中の360ビデオシステムの一実施形態を詳細に示す。例示的な実施形態では、360ビデオプレゼンテーションが行われている。ビデオプレゼンテーションは、例えば、ビデオ会議、ビデオチャット、ビデオ、または視覚および音声情報が存在する他の情報交換であってもよい。本実施形態では、ユーザB 460は、ユーザA 400から360ビデオを受信し、ユーザC 450から2-dビデオを受信する。ユーザは、自分の端末で両方のビデオを見たい場合がある。しかしながら、ユーザがデバイスのディスプレイを最大限に活用したい場合、部屋Aの360-ビデオがユーザBのデバイスの画面全体を占める必要があり、その後、ユーザCからの2-dビデオを部屋A 400の360-ビデオの上にオーバレイしなければならない。本実施形態では、ユーザB 460のビデオフィード420は、ユーザAのビデオ400を背景として組み合わせたものであり、オクルードフリー領域およびオクルード領域が定義されている。ユーザAのビデオ400のこれらの領域は、送信機から受信機に伝送され、または他のソフトウェアソリューションもしくはデバイスを通して共有される。ここで、ユーザB 460は、自分のビデオ情報をユーザC 450およびユーザA 400に送信する。加えて、ユーザA 400およびユーザC 450は、自分たちの個々のビデオ情報のそれぞれを、自分達の間で、およびユーザB 460に送信する。オクルードフリー領域は、通常のシーン記述とは別個のシーン記述オブジェクトで記述されてもよい。この追加のシーン記述は、オクルードフリー領域に関する情報のみを含むため、レンダリングには使用されないが、オクルードフリー領域のマップを提供する。
【0028】
他のユーザのビデオディスプレイに関する情報を受信した後、領域をオクルードまたはオクルードフリーとして定義し、次いで、両者を組み合わせたものをユーザBの画面410上にレンダリングする。図4に示すユーザBの画面410は、ユーザAの画面400を背景として使用し、少なくとも1つの領域がオクルードフリー460としてマークされ、別の領域がオクルード430としてマークされている。図4において、オクルード領域430では、ユーザCのビデオ440がその領域上に描画されている。場合によっては、追加のユーザ、より多くのプレゼンテーション情報が描画されること、または、例えば、ユーザが焦点になること、さもなければより多くの画面スペースを必要とすることなどの新しい情報のために、画面のうちの1つまたは複数の配置を変更する必要がある場合がある。情報が追加されたことで、各ユーザの画面では、オクルード領域またはオクルードフリー領域を再定義して、状況の変化を考慮して変更する必要がある。例えば、図4を参照すると、追加のユーザがプレゼンテーションに参加した場合、すべてのユーザの現在の画面は、オクルード領域またはオクルードフリー領域を再定義して、重要な情報が確実にオクルードされないようにユーザの画面のそれぞれを再レンダリングしなければならない。
【0029】
図5は、使用中の360ビデオシステムの一実施形態を詳細に示す。例示的な実施形態では、360ビデオプレゼンテーションが行われている。ビデオプレゼンテーションは、例えば、ビデオ会議、ビデオチャット、ビデオ、または視覚および音声情報が存在する他の情報交換であってもよい。本実施形態では、ユーザB 460は、ユーザA 500から360ビデオを受信し、ユーザC 540から2-dビデオを受信する。ユーザは、自分の端末で両方のビデオを見たい場合がある。しかしながら、ユーザがデバイスのディスプレイを最大限に活用したい場合、部屋Aの360-ビデオがユーザBのデバイスの画面全体を占める必要があり、その後、ユーザCからの2-dビデオを部屋Aの360-ビデオの上にオーバレイしなければならない。本実施形態では、ユーザBのビデオフィード520は、ユーザAのビデオ500を背景として組み合わせたものであり、オクルードフリー領域およびオクルード領域が定義されている。ユーザAのビデオ500のこれらの領域は、MRF 550を介して送信機から受信機に送信され、または他のソフトウェアソリューションもしくはデバイスを介して共有される。MRF 550は、会話セッションのための単一のシーン記述を作成するために使用されてもよい。このシーン記述は、各リモートクライアントに対してシーン全体を記述する。同じシーン記述は、任意選択で、オクルードフリー領域をシグナリングするための追加のノードを含んでいてもよく、またはオクルードフリー領域のノードのみを含む別個のルートノードを含んでいてもよい。
【0030】
ここで、ユーザBは、自分達のビデオ情報をユーザCおよびユーザAに送信する。加えて、ユーザAおよびユーザCは、それらの個々のビデオ情報のそれぞれを自分達の間で、およびユーザBに送信する。オクルードフリー領域は、通常のシーン記述とは別個のシーン記述オブジェクトで記述されてもよい。この追加のシーン記述は、オクルードフリー領域に関する情報のみを含み、したがって、レンダリングのために使用されないが、オクルードフリー領域のマップを提供する。
【0031】
他のユーザのビデオディスプレイに関する情報を受信した後、領域をオクルードまたはオクルードフリーとして定義し、次いで、両者を組み合わせたものをユーザBの画面510上にレンダリングする。図5に示すユーザBの画面510は、ユーザAの画面500を背景として使用し、少なくとも1つの領域がオクルードフリー560としてマークされ、別の領域がオクルード530としてマークされている。図5において、オクルード領域530では、ユーザCのビデオ440がその領域上に描画されている。場合によっては、追加のユーザ、より多くのプレゼンテーション情報が描画されること、または、例えば、ユーザが焦点になること、さもなければより多くの画面スペースを必要とすることなどの新しい情報のために、画面のうちの1つまたは複数の配置を変更する必要がある場合がある。情報が追加されたことで、各ユーザの画面では、オクルード領域またはオクルードフリー領域を再定義して、状況の変化を考慮して変更する必要がある。例えば、図5を使用すると、追加のユーザがプレゼンテーションに参加する場合、すべてのユーザの現在の画面は、オクルード領域またはオクルードフリー領域を再定義し、重要な情報が確実にオクルードされないようにユーザの画面のそれぞれを再レンダリングしなければならない。
【0032】
前述の開示は、例示および説明を提供しているが、網羅的であることも、実施態様を開示された厳密な形態に限定することも意図されていない。修正形態および変形形態が上記の開示に照らして可能であり、または実施態様の実践から取得されてもよい。
【0033】
一部の実施形態は、任意の可能な技術的詳細の統合レベルでシステム、方法、および/またはコンピュータ可読媒体に関することができる。さらに、上述した構成要素のうちの1つまたは複数は、コンピュータ可読媒体上に記憶され、少なくとも1つのプロセッサによって実行可能な命令として実装され得る(および/または少なくとも1つのプロセッサを含み得る)。コンピュータ可読媒体は、プロセッサに動作を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読非一時的記憶媒体を含むことができる。
【0034】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶することができる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の適切な組合せであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下を、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM:random access memory)、読み出し専用メモリ(ROM:read-only memory)、消去可能プログラマブル読み出し専用メモリ(EPROM:erasable programmable read-only memoryまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM:static random access memory)、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM:compact disc read-only memory)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、命令が記録されたパンチカードまたは溝内の隆起構造などの機械的に符号化されたデバイス、および上記の任意の適切な組合せを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を伝搬する電磁波(例えば、光ファイバケーブルを通過する光パルス)、または電線を介して伝送される電気信号などの一時的な信号自体であると解釈されるべきではない。
【0035】
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理デバイスに、またはネットワーク、例えば、インターネット、ローカル領域ネットワーク、広域ネットワーク、および/もしくはワイヤレスネットワークを介して外部コンピュータもしくは外部記憶デバイスにダウンロードされてもよい。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および/またはエッジサーバを含むことができる。各コンピューティング/処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング/処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。
【0036】
動作を実行するためのコンピュータ可読プログラムコード/命令は、アセンブラ命令、命令セットアーキテクチャ(ISA:instruction-set-architecture)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、またはSmalltalkもしくはC++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語もしくは同様のプログラミング言語などの手続き型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組合せで記述されたソースコードもしくはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータは、ローカル領域ネットワーク(LAN)もしくはワイド領域ネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は、(例えば、インターネット・サービス・プロバイダを使用してインターネットを介して)外部コンピュータに対して行われてもよい。一部の実施形態では、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)、またはプログラマブル論理アレイ(PLA:programmable logic array)を含む電子回路が、態様または動作を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによってコンピュータ可読プログラム命令を実行することができる。
【0037】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、流れ図および/またはブロック図の1つまたは複数のブロックで指定された動作を実施するように、機械を製造することができる。これらのコンピュータ可読プログラム命令は、内部に命令が記憶されたコンピュータ可読記憶媒体が流れ図および/またはブロック図のブロックで指定された動作の態様を実施する命令を含む製造物品を備えるように、コンピュータ・プログラム可能なデータ処理装置および/または他の装置が特定のやり方で動作するように指図することができるコンピュータ可読記憶媒体に記憶されてもよい。
【0038】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令が、流れ図および/またはブロック図のブロックで指定された動作を実施するように、一連の動作をコンピュータ、他のプログラム可能な装置、または他のデバイス上で実行させて、コンピュータ実施プロセスを生成することができる。
【0039】
図中の流れ図およびブロック図は、様々な実施形態によるシステム、方法、およびコンピュータ可読媒体の可能な実施態様のアーキテクチャ、機能、および動作を示す。これに関して、流れ図またはブロック図の各ブロックは、指定された論理動作を実施するための1つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の一部を表すことができる。方法、コンピュータシステム、およびコンピュータ可読媒体は、図に示されているものと比べて、追加のブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。一部の代替実施態様では、ブロックに示された動作は、図に示された順序とは異なる順序で行われてもよい。例えば、連続して示されている2つのブロックは、実際には、同時にまたは実質的に同時に実行されてもよく、またはブロックは、関連する機能に応じて、場合によっては逆の順序で実行されてもよい。ブロック図および/または流れ図の各ブロック、ならびにブロック図および/または流れ図のブロックの組合せは、指定された動作もしくは行為を実行する、または専用のハードウェアおよびコンピュータ命令の組合せを実行する専用のハードウェア・ベースのシステムによって実施されてもよいことにも留意されたい。
【0040】
本明細書に記載のシステムおよび/または方法は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアとの組合せの異なる形態で実装されてもよいことは明らかであろう。これらのシステムおよび/または方法を実装するために使用される実際の専用の制御ハードウェアまたはソフトウェアコードは、実施態様を限定するものではない。したがって、システムおよび/または方法の動作ならびに挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェアおよびハードウェアは、本明細書の記載に基づいてシステムおよび/または方法を実装するように設計され得ることが理解される。
【0041】
上記の開示は、以下に列挙される実施形態も包含する。
【0042】
(1)360ビデオ会議においてオクルードフリー領域を定義する方法であって、方法は、少なくとも1つのプロセッサによって実行され、360度ビデオ会議に対応する第1のビデオ入力を受信するステップと、1つまたは複数の第2のビデオ入力を受信するステップと、第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義するステップと、1つまたは複数のオクルードフリー領域を受信機に送信するステップと、1つまたは複数のオクルードフリー領域を含まない領域において1つまたは複数の第2のビデオ入力がオーバレイされた第1のビデオ入力を含む出力ビデオをレンダリングするステップと、を含む、方法。
【0043】
(2)オクルードフリー領域が座標系におけるオクルードフリー領域の位置によって定義される、特徴(1)に記載の方法。
【0044】
(3)1つまたは複数の第2のビデオ入力が360度ビデオまたは2-Dビデオである、特徴(1)または(2)に記載の方法。
【0045】
(4)オクルードフリー領域が、動的であり、ビデオ会議セッション中に変化する、特徴(1)から(3)のいずれか一項に記載の方法。
【0046】
(5)出力ビデオにおけるレンダリングを変更することによって、入力ビデオにおける少なくとも1つの情報の変化に応答するステップ、をさらに含む、特徴(1)から(4)のいずれか一項に記載の方法。
【0047】
(6)オクルードフリー領域のシグナリングが、以下の動作、すなわち、1つまたは複数のオクルードフリー領域の座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信すること、1つまたは複数のオクルードフリー領域と1つまたは複数のオクルードフリー領域のプロパティとを定義するシーン記述のノードを定義すること、オクルードフリー領域のみを定義する別個のシーン記述を定義すること、のうちの1つまたは複数を含む、特徴(1)から(5)のいずれか一項に記載の方法。
【0048】
(7)各オクルードフリー領域の情報がセッション中に更新され、新しいオクルードフリー領域が追加され、または既存のオクルードフリー領域が除去される、特徴(1)から(6)のいずれか一項に記載の方法。
【0049】
(8)360ビデオ会議においてオクルードフリー領域を定義するための装置であって、装置は、コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリと、コンピュータプログラムコードにアクセスし、コンピュータプログラムコードによって指示されたように動作するように構成された少なくとも1つのプロセッサであって、コンピュータプログラムコードが 少なくとも1つのプロセッサに、360度ビデオ会議に対応する第1のビデオ入力を受信させるように構成された第1の受信コードと、少なくとも1つのプロセッサに、1つまたは複数の第2のビデオ入力を受信させるように構成された第2の受信コードと、少なくとも1つのプロセッサに、第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義させるように構成された定義コードと、少なくとも1つのプロセッサに、1つまたは複数のオクルードフリー領域を受信機に送信させるように構成された送信コードと、少なくとも1つのプロセッサに、1つまたは複数のオクルードフリー領域を含まない領域において1つまたは複数の第2のビデオ入力がオーバレイされた第1のビデオ入力を含む出力ビデオをレンダリングさせるように構成されたレンダリングコードと、を含む、少なくとも1つのプロセッサと、を備える、装置。
【0050】
(9)オクルードフリー領域が座標系におけるオクルードフリー領域の位置によって定義される、特徴(8)に記載の装置。
【0051】
(10)1つまたは複数の第2のビデオ入力が360度ビデオまたは2-Dビデオである、特徴(8)または(9)に記載の装置。
【0052】
(11)オクルードフリー領域が動的であり、ビデオ会議セッション中に変化する、特徴(8)から(10)のいずれか一項に記載の装置。
【0053】
(12)少なくとも1つのプロセッサに、出力ビデオにおけるレンダリングを変更することによって、入力ビデオにおける少なくとも1つの情報の変化に応答させるように構成された応答コードをさらに備える、特徴(8)から(11)のいずれか一項に記載の装置。
【0054】
(13)少なくとも1つのプロセッサにオクルードフリー領域をシグナリングさせるように構成されたシグナリングコードが、少なくとも1つのプロセッサに、さらに、以下の動作、すなわち、1つまたは複数のオクルードフリー領域の座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信すること、1つまたは複数のオクルードフリー領域と1つまたは複数のオクルードフリー領域のプロパティとを定義するシーン記述のノードを定義すること、オクルードフリー領域のみを定義する別個のシーン記述を定義すること、のうちの1つまたは複数を実行させる、特徴(8)から(12)のいずれか一項に記載の装置。
【0055】
(14)各オクルードフリー領域の情報がセッション中に更新され、新しいオクルードフリー領域が追加され、または既存のオクルードフリー領域が除去される、特徴(8)から(13)のいずれか一項に記載の装置。
【0056】
(15)少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、360度ビデオ会議に対応する第1のビデオ入力を受信させ、1つまたは複数の第2のビデオ入力を受信させ、第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義させ、1つまたは複数のオクルードフリー領域を受信機に送信させ、1つまたは複数のオクルードフリー領域を含まない領域において1つまたは複数の第2のビデオ入力がオーバレイされた第1のビデオ入力を含む出力ビデオをレンダリングさせる、コンピュータ命令が記憶された非一過性コンピュータ可読媒体。
【0057】
(16)オクルードフリー領域が座標系におけるオクルードフリー領域の位置によって定義される、特徴(15)に記載の非一過性コンピュータ可読媒体。
【0058】
(17)1つまたは複数の第2のビデオ入力が360度ビデオまたは2-Dビデオである、特徴(15)または(16)に記載の非一過性コンピュータ可読媒体。
【0059】
(18)オクルードフリー領域が、動的であり、ビデオ会議セッション中に変化する、特徴(15)から(17)のいずれか一項に記載の非一過性コンピュータ可読媒体。
【0060】
(19)少なくとも1つのプロセッサに、さらに、出力ビデオにおけるレンダリングを変更することによって、入力ビデオにおける少なくとも1つの情報の変更に応答させる、特徴(15)から(18)のいずれか一項に記載の非一過性コンピュータ可読媒体。
(20)オクルードフリー領域のシグナリングが、以下の動作、すなわち1つまたは複数のオクルードフリー領域の座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信すること、1つまたは複数のオクルードフリー領域と1つまたは複数のオクルードフリー領域のプロパティとを定義するシーン記述のノードを定義すること、オクルードフリー領域のみを定義する別個のシーン記述を定義すること、のうちの1つまたは複数を含む、特徴(15)から(19)のいずれか一項に記載の非一過性コンピュータ可読媒体。
【符号の説明】
【0061】
100 システム
110 バス
120 プロセッサ
130 メモリ
140 ストレージコンポーネント
150 入力コンポーネント
160 出力コンポーネント
170 通信インターフェース
200 入力ビデオ
210 オクルードフリー領域
220 オクルード領域
230 受信機
300 画面
310 オクルードフリー領域
320 オクルード領域
400 画面
410 画面
420 ビデオフィード
430 オクルード領域
440 ビデオ
460 オクルードフリー
500 ビデオ
510 画面
520 ビデオフィード
530 オクルード領域
560 オクルードフリー
図1
図2
図3
図4
図5
【手続補正書】
【提出日】2023-09-01
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
360ビデオ会議においてオクルードフリー領域を定義する方法であって、前記方法は、少なくとも1つのプロセッサによって実行され、
360度ビデオ会議に対応する第1のビデオ入力を受信するステップと、
1つまたは複数の第2のビデオ入力を受信するステップと、
前記第1のビデオ入力における1つまたは複数の領域を、任意の他の画像またはビデオとオーバラップしないオクルードフリー領域として定義するステップと、
前記1つまたは複数のオクルードフリー領域を受信機に送信するステップと、
前記1つまたは複数のオクルードフリー領域を含まない領域において前記1つまたは複数の第2のビデオ入力がオーバレイされた前記第1のビデオ入力を含む出力ビデオをレンダリングするステップと、
を含む、方法。
【請求項2】
前記オクルードフリー領域が座標系における前記オクルードフリー領域の位置によって定義される、請求項1に記載の方法。
【請求項3】
前記1つまたは複数の第2のビデオ入力が360度ビデオまたは2-Dビデオである、請求項1に記載の方法。
【請求項4】
前記オクルードフリー領域が、動的であり、ビデオ会議セッション中に変化する、請求項1に記載の方法。
【請求項5】
前記出力ビデオにおける前記レンダリングを変更することによって、前記ビデオ入力における前記少なくとも1つの情報の変化に応答するステップ、
をさらに含む、請求項1に記載の方法。
【請求項6】
前記オクルードフリー領域をシグナリングするステップが、以下の動作、すなわち、
i)前記1つまたは複数のオクルードフリー領域の前記座標を、セッション記述の一部として、オクルードフリー領域のリスト内の項目として送信すること、
ii)前記1つまたは複数のオクルードフリー領域および前記1つまたは複数のオクルードフリー領域のプロパティを定義するシーン記述のノードを定義すること、
iii)前記オクルードフリー領域のみを定義する別個のシーン記述を定義すること、
のうちの1つまたは複数を含む、請求項1に記載の方法。
【請求項7】
各オクルードフリー領域の情報が前記セッション中に更新され、新しいオクルードフリー領域が追加され、または既存のオクルードフリー領域が除去される、請求項1に記載の方法。
【請求項8】
請求項1から7のいずれか一項に記載の方法を実行するように構成された、360ビデオ会議においてオクルードフリー領域を定義するための装置
【請求項9】
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1から7のいずれか一項に記載の方法を実行させる、プログラム。
【国際調査報告】