ホーム > 特許ランキング > Ａｐｐｌｅ Ｉｎｃ．
特許7133650ビデオ会議のための補足コンテンツを用いたビデオストリームの修正
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-31
(45)【発行日】2022-09-08
(54)【発明の名称】ビデオ会議のための補足コンテンツを用いたビデオストリームの修正
(51)【国際特許分類】
H04N 7/15 20060101AFI20220901BHJP
H04L 65/40 20220101ALI20220901BHJP
【ＦＩ】
H04N7/15
H04L65/40
【請求項の数】
16
(21)【出願番号】P 2020562621
(86)(22)【出願日】2019-03-14
(65)【公表番号】
(43)【公表日】2021-09-09
(86)【国際出願番号】 US2019022340
(87)【国際公開番号】W WO2019216988
(87)【国際公開日】2019-11-14
【審査請求日】2020-11-06
(31)【優先権主張番号】62/668,126
(32)【優先日】2018-05-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/151,244
(32)【優先日】2018-10-03
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．
【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】110003281
【氏名又は名称】特許業務法人大塚国際特許事務所
(74)【代理人】
【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100115071
【弁理士】
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100112508
【弁理士】
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100116894
【弁理士】
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100130409
【弁理士】
【氏名又は名称】下山 治
(74)【代理人】
【識別番号】100134175
【弁理士】
【氏名又は名称】永川 行光
(72)【発明者】
【氏名】ガリド， クリストファー エム．
(72)【発明者】
【氏名】チェン， エリク エル．
(72)【発明者】
【氏名】シュウ， オースティン ダブリュー．
(72)【発明者】
【氏名】ジン， ミン
(72)【発明者】
【氏名】ヤン， ヤン
(72)【発明者】
【氏名】ベアード， イアン ジェイ．
(72)【発明者】
【氏名】アブアン， ジョー エス．
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特表２０１４－５３２３３０（ＪＰ，Ａ）
【文献】国際公開第２０１６／０３９８３５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／０３６５６２７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１５
Ｈ０４Ｌ ６５／４０
(57)【特許請求の範囲】
【請求項1】
メモリと、前記メモリに通信可能に接続された少なくとも１つのプロセッサとを備えるデバイスであって、
前記少なくとも１つのプロセッサは、
リモートデバイスから着信ビデオストリームを受信すること、又は前記デバイスのカメラから前記リモートデバイスに発信ビデオストリームを送信すること、のうち少なくとも１つを含む会議セッションを、前記デバイスと前記リモートデバイスとの間で確立し、
補足コンテンツオプションと、前記着信ビデオストリーム又は前記発信ビデオストリームの少なくとも１つとを、表示するために提供し、
前記補足コンテンツオプションの選択を受信し、
前記選択に応じて、前記選択された補足コンテンツオプションに関連付けられた補足コンテンツを用いて、前記発信ビデオストリームと、前記補足コンテンツを取得してレンダリングするための命令とを前記リモートデバイスに送信することによって、前記発信ビデオストリームを修正する、
ように構成されている、デバイス。
【請求項2】
前記補足コンテンツが、前記発信ビデオストリームの一部分の上に表示される静的補足コンテンツである、請求項１に記載のデバイス。
【請求項3】
前記補足コンテンツが、前記発信ビデオストリームの一部分の上に表示されるアニメーション補足コンテンツである、請求項１に記載のデバイス。
【請求項4】
前記補足コンテンツが、前記発信ビデオストリームの一部分の上に表示される適応型補足コンテンツであり、前記少なくとも１つのプロセッサが、前記発信ビデオストリーム内のコンテンツに基づいて前記適応型補足コンテンツを修正するように構成されている、請求項１に記載のデバイス。
【請求項5】
前記適応型補足コンテンツが、顔修正コンテンツを含み、前記少なくとも１つのプロセッサが、前記発信ビデオストリームの前記一部分で顔を検出し、
前記検出された顔に前記顔修正コンテンツを適用し、
前記検出された顔の変化に基づいて、前記顔修正コンテンツを能動的に修正する、
ように構成されている、請求項４に記載のデバイス。
【請求項6】
前記少なくとも１つのプロセッサが、前記選択に応じて、前記選択された補足コンテンツオプションに関連付けられた補足コンテンツを用いて、前記発信ビデオストリームと前記補足コンテンツとを統合して、統合された修正出力ビデオストリームを形成し、
前記統合された修正出力ビデオストリームを前記リモートデバイスに送信する、
ことによって、前記発信ビデオストリームを修正するように構成されている、請求項１に記載のデバイス。
【請求項7】
前記少なくとも１つのプロセッサが、前記発信ビデオストリームのための更なる補足コンテンツを前記リモートデバイスから受信し、前記更なる補足コンテンツを用いて前記発信ビデオストリームを更に修正し、
前記更に修正された発信ビデオストリームを前記リモートデバイスに送信する、
ように更に構成されている、請求項１に記載のデバイス。
【請求項8】
前記会議セッションが、前記デバイス、前記リモートデバイス、及び追加のリモートデバイスの間の会議セッションを含み、前記会議セッションは、追加の着信ビデオストリームを前記追加のリモートデバイスから受信すること、又は、前記デバイスの前記カメラからの前記発信ビデオストリームを前記追加のリモートデバイスに送信すること、の少なくとも１つを更に含む、請求項１に記載のデバイス。
【請求項9】
命令を含むコンピュータプログラムであって、前記命令はコンピュータによって実行されると、前記コンピュータに、ライブ着信ビデオストリームと、前記ライブ着信ビデオストリームのための補足コンテンツに関連付けられたメタデータとをリモートデバイスから受信することと、ここで、前記ライブ着信ビデオストリームは、前記リモートデバイスのカメラによってキャプチャされ、キャプチャ後に前記リモートデバイスによって直ちに送信される画像フレームのストリームを含み、
前記メタデータを使用して、前記補足コンテンツを含むように前記ライブ着信ビデオストリームを修正することと、
前記修正されたライブ着信ビデオストリームを表示することと、
を含む動作を実行させ、
前記メタデータは、前記補足コンテンツを取得するための命令と、前記ライブ着信ビデオストリームを修正して前記補足コンテンツを含めるための命令と、を含み、前記メタデータを使用して、前記ライブ着信ビデオストリームを修正して前記補足コンテンツを含めることは、
前記メタデータ内の識別子を使用して、ローカルストレージ又はクラウドベースのストレージから前記補足コンテンツを取得することと、
前記取得した補足コンテンツを、前記ライブ着信ビデオストリームの前記画像フレームのうちの１つ以上の一部分であって、前記メタデータ内において特定される一部分に適用することと、を含む、コンピュータプログラム。
【請求項10】
前記動作が、前記ライブ着信ビデオストリームの前記受信と並行してライブ発信ビデオストリームをローカルカメラから送信することを更に含む、請求項９に記載のコンピュータプログラム。
【請求項11】
前記メタデータが、前記補足コンテンツと、前記補足コンテンツを含めるように前記ライブ着信ビデオストリームを修正するための命令と、を含む、請求項９に記載のコンピュータプログラム。
【請求項12】
前記動作が、補足コンテンツオプションと、前記補足コンテンツを有する前記修正されたライブ着信ビデオストリームとを、表示のために提供することと、前記補足コンテンツオプションの選択を受信することと、
前記選択に応じて、前記選択された補足コンテンツオプションに関連付けられた追加の補足コンテンツを用いて、前記修正されたライブ着信ビデオストリームを修正することと、
を更に含む、請求項９に記載のコンピュータプログラム。
【請求項13】
前記動作が、前記追加の補足コンテンツを表示するために命令を前記リモートデバイスに送信することを更に含む、請求項１２に記載のコンピュータプログラム。
【請求項14】
ローカルデバイスと複数のリモートデバイスとの間に会議セッションを確立することと、ここで、前記会議セッションは、前記複数のリモートデバイスのそれぞれに送信するために、前記ローカルデバイスのカメラから発信ビデオストリームを提供することを含み、前記ローカルデバイスでの表示のために、補足コンテンツオプション及び前記発信ビデオストリームを提供することと、
前記補足コンテンツオプションの選択を受信することと、
前記選択に応じて、前記選択された補足コンテンツオプションに関連付けられた補足コンテンツを用いて、前記発信ビデオストリームを修正することと、
前記補足コンテンツを有する前記修正された発信ビデオストリームを、前記複数のリモートデバイスの少なくとも１つに送信するために提供することと、
前記補足コンテンツを有しない前記発信ビデオストリームを、前記複数のリモートデバイスの他の少なくとも１つに送信するために提供することと、
を含む、方法。
【請求項15】
前記補足コンテンツを有する前記修正された発信ビデオストリームを、前記複数のリモートデバイスのそれぞれに送信するために提供することを更に含む、請求項１４に記載の方法。
【請求項16】
前記複数のリモートデバイスのそれぞれから着信ビデオストリームを受信することと、前記複数のリモートデバイスのそれぞれからの前記着信ビデオストリームの表示とともに表示するために、前記修正された発信ビデオストリームを提供するための選択可能なオプションを提供することと、
を更に含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１８年５月７日に出願された「Ｍｏｄｉｆｙｉｎｇ Ｖｉｄｅｏ Ｓｔｒｅａｍｓ ｗｉｔｈ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｃｏｎｔｅｎｔ ｆｏｒ Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｉｎｇ」と題する米国仮特許出願第６２／６６８，１２６号の利益を主張する。同出願はその全体が全ての目的のために参照によって本明細書に組み込まれる。
本出願は、２０１８年５月７日に出願された「Ｍｏｄｉｆｙｉｎｇ Ｖｉｄｅｏ Ｓｔｒｅａｍｓ ｗｉｔｈ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｃｏｎｔｅｎｔ ｆｏｒ Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｉｎｇ」と題する米国仮特許出願第６２／６６８，１２６号の利益を主張する。同出願はその全体が全ての目的のために参照によって本明細書に組み込まれる。
【0002】
本発明の説明は、概して、ビデオストリームを修正することに関し、より具体的には、ビデオ会議のために補足コンテンツを用いて画像を修正することに関する。
【背景技術】
【0003】
ビデオ会議は、遠隔地間でライブビデオストリームを交換することによって、遠隔地にいる人々がまるで対面で会議しているかのように対話することを可能にする。例えば、シカゴの会議室のカメラを使用して、シカゴ会議室のビデオをキャプチャして直ちに送信し、ニューヨーク市のリモート会議室で表示する。ニューヨーク市会議室のテレビは、シカゴ会議室の着信ビデオを表示するので、ニューヨーク市会議室の人々は、シカゴ会議室の人々の現在の行動を見ることができる。同様に、ニューヨーク市会議室のカメラを使用して、ニューヨーク市会議室のビデオをキャプチャして直ちに送信し、シカゴ会議室のテレビで表示するので、シカゴ会議室の人々は、ニューヨーク市会議室の人々の現在の行動を見ることができる。このようにして、２つのリモート会議室は、実質的に１つの会議室に結合される。
【0004】
歴史的に、ビデオ会議は、それぞれの会議室内の専用カメラ及び専用テレビによってビデオ会議が促進されてきたが、発信又は着信するビデオ配信の制御については、カメラの位置、ズーム、及び焦点の調整に限定されていた。しかしながら、いまや、カメラ及び関連するディスプレイは、一般に、スマートフォン、タブレット、ラップトップコンピュータ、又はデスクトップコンピュータなどの単一のデバイスにおいて提供されており、これには、過去の会議室構成よりもはるかに大きな処理能力が備わっている。
【0005】
これらのデバイスには、ビデオ会議アプリケーションを備え、それによって、デバイスのカメラから発信ビデオを送信し、その同じデバイスのディスプレイ上にリモートデバイスのカメラからの着信ビデオを表示することができる。これらのアプリケーションは、より安価かつより効率的な会議システムを容易化することができ、いまや、ユーザのオフィス、自宅などの任意の場所から、又はユーザがスマートフォン若しくはタブレットを携帯して場所から場所へ移動しながらであっても、ビデオ会議を行うことを可能としている。
【図面の簡単な説明】
【0006】
主題の技術の一定の特徴を、添付の特許請求の範囲に示す。しかしながら、説明の目的のため、主題の技術のいくつかの実施形態を、以下の図に示す。
【0007】
【図1】１つ以上の実装形態に係る、ビデオ会議のための補足コンテンツを用いたビデオストリームの修正が実施され得る例示的なネットワーク環境を示す。
【0008】
【図2】１つ以上の実装形態に係る、ビデオ会議のために補足コンテンツを用いてビデオストリームが修正される例示的なユーザインタフェースビューを示す概略図を示す。
【0009】
【図3】１つ以上の実装形態に係る、ビデオ会議のために補足コンテンツを用いてビデオストリームを修正する例示的なプロセスのフロー図を示す。
【0010】
【図4】１つ以上の実装形態に係る、送信のためのビデオストリームに補足コンテンツを統合するための例示的なデータフローを示す概略図を示す。
【0011】
【図5】１つ以上の実装形態に係る、送信のためのビデオストリームに付随する補足コンテンツメタデータをパッケージ化する例示的なデータフローを示す概略図を示す。
【0012】
【図6】１つ以上の実装形態に係る、ビデオストリームが補足コンテンツを用いてマルチパーティビデオ会議のために修正される例示的なユーザインタフェースビューを示す概略図を示す。
【0013】
【図7】１つ以上の実装形態に係る、補足コンテンツを用いて画像を修正するマルチパーティビデオ会議の例示的なプロセスのフロー図を示す。
【0014】
【図8】１つ以上の実装形態に係る、補足コンテンツを用いて着信ビデオストリームを修正する間の例示的なユーザインタフェースビューを示す概略図を示す。
【0015】
【図9】１つ以上の実装形態に係る、補足コンテンツを用いて着信ビデオストリームを修正する例示的なプロセスのフロー図を示す。
【0016】
【図10】１つ以上の実装形態に係る、発信ビデオストリーム及び着信ビデオストリームを共に示し、補足コンテンツモードオプションを有する例示的なユーザインタフェースを示す。
【0017】
【図11】１つ以上の実装形態に係る、補足コンテンツオプションを有する発信ビデオストリームの例示的なユーザインタフェースを示す。
【0018】
【図12】１つ以上の実装形態に係る、補足コンテンツを有する発信ビデオストリームの例示的なユーザインタフェースを示す。
【0019】
【図13】１つ以上の実装形態に係る、発信ビデオストリーム内のユーザの顔が検出された動作に応じて移動する適応型補足コンテンツ（adaptive supplemental content）の例示的なユーザインタフェースを示す。
【0020】
【図14】１つ以上の実装形態に係る、補足コンテンツを有する発信ビデオストリームを示すビデオストリームビューのサイズ縮小の例示的なユーザインタフェースを示す。
【0021】
【図15】１つ以上の実装形態に係る、補足コンテンツを含む着信ビデオストリームの例示的なユーザインタフェースを示す。
【0022】
【図16】主題技術の１つ以上の実装形態を実施することができる電子システムを示す。
【発明を実施するための形態】
【0023】
以下に述べる詳細な説明は、主題の技術の様々な構成の説明として意図されており、主題の技術を実践できる唯一の構成を表すことを意図するものではない。添付の図面は、本明細書に組み込まれ、詳細な説明の一部を構成する。詳細な説明は、主題の技術の完全な理解を提供するために特定の詳細を含む。しかしながら、主題の技術は、本明細書で示された特定の詳細には限定されず、１つ以上の他の実装形態を使用して実施することができる。１つ以上の実装形態では、主題の技術の概念を不明瞭にすることを避けるために、構造及び構成要素がブロック図形式で示されている。
【0024】
電子デバイス用のビデオ会議アプリケーションによって、ユーザが、自身のデバイス上でリモートデバイスのカメラからのビデオ配信を見ることが可能になる。配信を見るユーザのデバイスはまた、それ自体のカメラからリモートユーザにビデオストリームを送信することもできる。多くの場合、それぞれのユーザは自身のデバイス上のカメラを使用して、そのユーザの顔及び／又はそのデバイスに限定された若しくは近辺にいる他ユーザの顔のビデオ画像を取得し、発信ビデオストリームにおいて、１人以上のリモートユーザに送信する。このようにして、隔地間のユーザが、他のユーザ又はユーザの顔の着信ビデオストリームを見ながらリアルタイムでの会話を行い、直接対面式での会話又は会議を模することができる。発信及び着信ビデオストリームは、セルラー通信ネットワーク、無線若しくは有線のローカル通信チャネル（例えば、Ｂｌｕｅｔｏｏｔｈ若しくは他の直接的なピアツーピア通信、又はローカルエリアネットワークを介した通信）、又はインターネットなどのより広域のネットワーク上で交換することができる。
【0025】
特にモバイルデバイスでは、ビデオ会議セッション中に発信ビデオストリーム以外の情報をリモートユーザと共有することが困難な場合がある。例えば、第２のユーザとのビデオ会議セッションに参加する第１のユーザは、画像又はアニメーションを第２のユーザに送信することを望む場合がある。しかしながら、第１のユーザは多くの場合、ビデオ会議アプリケーションの外部で画像又は動画にアクセスして、メッセージングアプリケーション又は電子メールアプリケーションを介するなど別のチャネルを介して画像又は動画を送信するために、ビデオ会議アプリケーションを一時停止することによって、発信ビデオストリームを中断しなければならない。このプロセスは、時間がかかり、非効率的であり、ビデオ会議に混乱を生じさせる可能性があり、その結果、ビデオ会議アプリケーション中の補足コンテンツの使用を抑制し、電子デバイスをあまり効果的でないコミュニケーション手段とする可能性がある。
【0026】
いくつかの実施形態は、ビデオ会議アプリケーションを実行するように構成されたカメラ及び処理回路を備えた電子デバイスを提供し、これにより、（例えば、ビデオストリームのローカルストレージを必要とせず、かつビデオ会議アプリケーションを終了したり、又は他のアプリケーションにアクセスしたりすることなく）ビデオ会議アプリケーション内から発信ビデオストリームに補足コンテンツを直接追加することができる能力をユーザに提供する。
【0027】
補足コンテンツは、以下を含み得る。発信ビデオストリームの一部分の上に配置することができるステッカーアイコンなどの静的コンテンツ（例えば、位置、サイズ、及び向きがビデオストリームのコンテンツ又は時間の経過に無関係である、発信ビデオストリームの複数の画像フレーム内の静止画素位置に表示される、変化せずアニメーションしないない画像）、発信ビデオストリームの一部の上に配置することができるアニメーションキャラクタなどのアニメーションコンテンツ（例えば、位置、サイズ、及び向きがビデオストリームのコンテンツに無関係である、発信ビデオストリームの複数の画像フレーム内の静止画素位置に表示される、変化する画像若しくは複数の画像）、又は、発信ビデオストリームの一部分の上に配置することができ、発信ビデオストリームのコンテンツの変化に基づいて適応的に（例えば、位置、サイズ、向き、又はコンテンツなどが）変化する適応型コンテンツ。
【0028】
したがって、様々な実施形態は、例えば、上述の既存のビデオ会議アプリケーションを有するデバイスと比較して、ユーザがより効率的かつより効果的にビデオ会議セッションに参加することを可能にする。
【0029】
図１は、１つ以上の実装形態に係る、ビデオ会議のために補足コンテンツを用いてビデオストリームを修正することが実施され得る例示的なネットワーク環境１００を示す。しかしながら、描写された構成要素の全てが全ての実装形態において使用され得るわけではなく、１つ以上の実装形態は、図に示されたものに追加の又は異なる構成要素を含むことができる。本明細書で示された特許請求の範囲の趣旨又は範囲から逸脱することなく、構成要素の構成及びタイプの変形を行うことができる。追加の構成要素、異なる構成要素、又はより少ない構成要素が提供されてもよい。
【0030】
ネットワーク環境１００は、電子デバイス１１０、電子デバイス１１５、及びサーバ１２０を含む。ネットワーク１０６は、電子デバイス１１０及び／若しくはサーバ１２０、電子デバイス１１５及び／若しくはサーバ１２０、並びに／又は電子デバイス１１０及び／若しくは電子デバイス１１５を（直接的又は間接的に）通信可能に接続することができる。１つ以上の実装形態では、ネットワーク１０６は、インターネットを含むか、又はインターネットに通信可能に接続されている、相互接続されたデバイスのネットワークであってもよい。説明のために、ネットワーク環境１００は、電子デバイス１１０、電子デバイス１１５、及びサーバ１２０を含むものとして図１に示されている。しかしながら、ネットワーク環境１００は、任意の数の電子デバイス及び任意の数のサーバを含むことができる。
【0031】
電子デバイス１１０は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォンなどのポータブルコンピューティングデバイス、周辺デバイス（例えば、デジタルカメラ、ヘッドホン）、タブレットデバイス、独立型ビデオ会議ハードウェア、携帯時計、バンドなどのウェアラブルデバイス又は、例えば、ＷＬＡＮ無線通信、セルラー無線通信、Ｂｌｕｅｔｏｏｔｈ無線通信、Ｚｉｇｂｅｅ無線通信、近距離通信（near field communication、ＮＦＣ）無線通信、及び／若しくは他の無線通信などの、１つ以上の無線インタフェースを含む任意の他の適切なデバイス、であってもよい。図１では、例として、電子デバイス１１０がデスクトップコンピュータとして描写されている。電子デバイス１１０は、図１６に関して以下で説明する電子システムであってもよく、かつ／又はその全て若しくは一部を含んでもよい。１つ以上の実装形態では、電子デバイス１１０は、カメラを含んでもよく、ネットワーク１０６上で電子デバイス１１５を用いてビデオストリームを交換かつ／又は修正するためのビデオ会議アプリケーションを提供することができる。
【0032】
電子デバイス１１５は、タッチスクリーンを含んでもよく、例えば、タッチスクリーンを含むラップトップコンピュータなどのポータブルコンピューティングデバイス、タッチスクリーンを含むスマートフォン、タッチスクリーンを含む周辺デバイス（例えば、デジタルカメラ、ヘッドホン）、タッチスクリーンを含むタブレットデバイス、タッチスクリーンを含むウェアラブルデバイス、例えば、携帯時計、バンドなど、及び、例えばタッチスクリーンを含む任意の他の適切なデバイス、又はタッチパッドを有する任意の電子デバイスなどであってもよい。１つ以上の実装形態では、電子デバイス１１５は、タッチスクリーンを含まなくてもよいが、仮想現実環境又は拡張現実環境内などの、タッチスクリーンのようなジェスチャをサポートしてもよい。図１では、例として、電子デバイス１１５が、タッチスクリーンを有するタブレットデバイスとして描写されている。１つ以上の実装形態では、電子デバイス１１５は、図１６に関して以下で説明する電子システムに関して以下で説明する電子デバイスであってもよく、かつ／又はその全て若しくは一部を含んでもよい。１つ以上の実装形態では、電子デバイス１１５はまた、カメラを含んでもよく、ネットワーク１０６上で電子デバイス１１０と共にビデオストリームを交換かつ／又は修正するビデオ会議アプリケーションを提供することができる。
【0033】
１つ以上の実装形態では、サーバ１２０は、電子デバイス１１０と１１５との間のビデオストリームの安全な交換を管理する。１つ以上の実装形態では、サーバ１２０は、ビデオストリームに含むためのコンテンツを記憶してもよい。例えば、サーバは、リモートデバイスへ送信する前の発信ビデオストリームに、又は、リモートデバイスから受信した後の着信ビデオストリームに追加することができる補足コンテンツを記憶してもよい。しかしながら、発信又は着信ビデオストリームを修正するための補足コンテンツは、送信前又は受信後のビデオストリームの修正のために、電子デバイス１１０及び／又は電子デバイス１１５によってローカルに記憶されてもよいことを理解されたい。発信ビデオストリームの修正は、修正を実行しているローカルデバイス上のカメラによってキャプチャされているビデオストリームのビデオ会議アプリケーション（又は他のアプリケーション若しくはオペレーティングシステムのプロセス）による、修正を含んでもよい。着信ビデオストリームの修正（例えば、リモートデバイスによって生成され、ローカルデバイスに送信されるビデオストリーム）は、ローカルデバイス上でローカルユーザによって提供された修正命令に基づいて実行されてもよく、又は、着信ビデオストリームを提供するリモートユーザによって行われた修正をレンダリングするために（例えば、着信ビデオストリームを修正するための及び／若しくは修正された着信ビデオストリームをレンダリングするための命令を含むメタデータに基づいて）実行されてもよい。
【0034】
補足コンテンツを用いて発信ビデオストリームを修正する例を、図２に示す。補足コンテンツを用いて発信ビデオストリームを修正するための例示的なプロセスを、図３に関して以下で更に説明する。複数のリモートデバイスのために補足コンテンツを用いて発信ビデオストリームを修正する例を、図６に示す。複数のリモートデバイスのために補足コンテンツを用いて発信ビデオストリームを修正するための例示的なプロセスを、図７に関して以下で更に説明する。補足コンテンツを用いて着信ビデオストリームを修正する例を、図８に示す。補足コンテンツを用いて着信ビデオストリームを修正するための例示的なプロセスを、図９に関して以下で更に説明する。
【0035】
図２は、ビデオ会議アプリケーションの動作中の電子デバイス１１５の様々なユーザインタフェースビューを示す。図２に示すように、ビデオ会議アプリケーションは、プライマリビデオストリームビュー２２０、及びピクチャインピクチャのビデオストリームビューなどのセカンダリビデオストリームビュー２１２を含むことができる。電子デバイス１１５は、図２に示すように、電子デバイス１１５のユーザ（例えば、ユーザ「Ａ」）による視聴のため及び／又はリモートユーザ（例えば、ユーザ「Ｂ」）への送信のために、ビデオ会議アプリケーションに提供される画像フレームの連続ストリームを取得するカメラ２０１を含む。
【0036】
図２の例では、カメラ２０１からのビデオストリーム２２１は、電子デバイス１１５からリモートユーザ「Ｂ」の電子デバイス（例えば、電子デバイス１１０）に送信され、セカンダリビデオストリームビュー２１２でユーザＡのために表示されている発信ビデオストリームである。図２の例では、ユーザ「Ｂ」からの着信ビデオストリーム２２３が、プライマリビデオストリームビュー２２０におけるユーザ「Ａ」による視聴のために表示される。図２の例では、プライマリビデオストリームビュー２２０は、電子デバイス１１５のディスプレイ全体を概ね覆っており、一部はセカンダリビデオストリームビュー２１２によって覆われている。しかしながら、これは単なる例示に過ぎず、プライマリ及びセカンダリビデオストリームビュー２２０及び２１２の他の構成を提供することができる（例えば、２つの同じサイズの並列又は上下のビデオストリームビュー）。
【0037】
図２に示すように、ビデオ会議アプリケーションはまた、実行時に、カメラ選択オプション２１０（例えば、背面カメラ又は他のカメラに切り替えて、発信ビデオストリーム２２１を提供するための）及び補足コンテンツモードオプション２０８などの入力オプションも提供する。ビデオ会議アプリケーションにおける補足コンテンツモードオプション２０８が選択されると、ビデオ会議アプリケーションは、表示されているビデオストリーム（例えば、発信ビデオストリーム２２１及び／又は着信ビデオストリーム２２３）と共に１つ以上の補足コンテンツオプション２２２を表示する。
【0038】
図２の例では、補足コンテンツモードオプション２０８の選択によって、ビデオ会議アプリケーションは、カメラ２０１からの発信ビデオストリーム２２１の位置と、ユーザ「Ｂ」からの着信ビデオストリーム２２３の位置を入れ替え、補足コンテンツオプション２２２を用いる修正のために発信ビデオストリーム２２１がプライマリビデオストリームビュー２２０に示され、着信ビデオストリーム２２３はセカンダリビデオストリームビュー２１２に示される。しかしながら、発信ビデオストリーム２２１と着信ビデオストリーム２２３の位置を入れ替えることなく、補足コンテンツオプション２２２が提供されてもよいことも理解されたい。例えば、カメラ２０１からの発信ビデオストリーム２２１及び着信ビデオストリーム２２３の位置並びにサイズは、同じままであってもよく、又は補足コンテンツモードオプション２０８の場合、（例えば、矢印２４５によって示されるように、セカンダリビデオストリームビュー２１２のサイズを増加させることによって）他の方法で移動及び／若しくはサイズ変更されてもよい。発信ビデオストリーム及び１つ以上の着信ビデオストリームの相対的なサイズ並びに位置は、デバイスの１人以上のユーザによる入力などの他の入力に基づいて、又は音声入力に基づいて（例えば、現在話しているユーザからのビデオストリームのサイズを大きくすることによって）決定することができる。
【0039】
以下で更に詳細に説明するようないくつかのシナリオでは、補足コンテンツを用いる修正のために、補足コンテンツオプション２２２は、着信ビデオストリーム２２３と共にプライマリビデオストリームビュー２２０内で提供されてもよいことを理解されたい。
【0040】
図２の例に戻ると、補足コンテンツオプション２２２は選択されると、電子デバイス１１５のプロセッサに、（例えば、選択された補足コンテンツオプション２２２に対応する補足コンテンツである）対応する補足コンテンツ２２９を、プライマリビデオストリームビュー２２０に表示されているビデオストリームに結合させる。補足コンテンツ２２９は、カメラ２０１によって取得され、プライマリビデオストリームビュー２２０に表示される発信ビデオストリーム２２１の上に若しくは発信ビデオストリーム２２１と共に表示される静的補足コンテンツ、発信ビデオストリーム２２１の上に若しくは発信ビデオストリーム２２１と共に表示されるアニメーション補足コンテンツ、又は、発信ビデオストリーム２２１の上に若しくは発信ビデオストリーム２２１と共に表示される適応型補足コンテンツであってもよい。
【0041】
静的補足コンテンツ２２９は、デジタルステッカー、ワードアート、ユーザが描画したコンテンツ（例えば、ユーザの指若しくはスタイラスデバイスによるデバイスのタッチスクリーンへの入力を使用して描画されるコンテンツ）、又はビデオストリームの１つ以上のフレームの一部分をオーバーレイするか若しくは置き換えることができる他の静的コンテンツを含んでもよい。静的補足コンテンツは、発信ビデオストリーム２２１の一部の上に又はその一部と共に表示される時、ビデオストリームがローカル電子デバイス１１５に表示されている間、及び静的補足コンテンツを用いて修正されたビデオストリームが送信されている間、移動、サイズ変更、回転、又は他の方法で編集することができる。所望であれば、送信されるビデオストリームのサイズを縮小するために、静的コンテンツによって覆われるであろうビデオストリームの部分のサイズをゼロにするか、又はその他縮小し、その結果、サイズを縮小したビデオストリーム（例えば、覆われる部分をゼロ化し、圧縮し、解像度を低減し、又は送信から除去して）を送信することができる。
【0042】
アニメーション補足コンテンツ２２９は、アニメーション化されたデジタル画像、ダウンロード若しくはクラウドアクセス可能な動画、又は電子デバイス１１５若しくはサーバ１２０によって以前より記憶されているユーザ生成動画などの、以前に記憶された動画を含んでもよい。動画化された補足コンテンツは、発信ビデオストリーム２２１の一部の上に表示される場合、ビデオストリームがローカル電子デバイス１１５で表示されている間、および静的補足コンテンツで修正されたビデオストリームが送信されている間に、移動、サイズ変更、回転、またはその他の編集が可能である。アニメーション化された静的コンテンツは時間の経過と共に変化し得るが、アニメーション化されたコンテンツの変化は、修正されているビデオストリームのコンテンツの変化に無関係である。
【0043】
対照的に、発信ビデオストリーム２２１に追加される適応型補足コンテンツ２２９は、発信ビデオストリーム２２１内のコンテンツに基づいて変化することができる（例えば、電子デバイス１１５のプロセッサによって修正され得る）。例えば、適応型補足コンテンツは、発信ビデオストリーム２２１の画像フレーム内の顔を修正するための顔修正コンテンツを含んでもよい。顔修正コンテンツのための補足コンテンツオプション２２２がビデオ会議アプリケーション内から選択されると、デバイスのプロセッサは、カメラ２０１からの発信ビデオストリーム２２１において顔を検出し、検出された顔に顔修正コンテンツを適用し、検出された顔の変化（例えば、ビデオストリーム内の検出された変化）に基づいて、顔修正コンテンツを能動的に修正することができる。
【0044】
例えば、顔修正コンテンツは、ビデオストリーム２２１内のユーザの顔を置き換えるか又はオーバーレイし、ビデオストリーム内のユーザの顔の表情に追随し、表情を強調、誇張し、若しくはその他の方法で表情に応答する表情を含む、動物（例えば、キツネ、象、犬、若しくはネズミなど）の頭部の１つ以上の特徴又は動物の頭部全体を含み得る。顔修正コンテンツはまた、（例えば、ユーザの頭部の位置及び／若しくは方向の変化、並びに／又はユーザの頭部とデバイスとの間の距離の変化による）ビデオストリーム内のユーザの頭部のサイズ、位置及び／又は向きに連係して、サイズ、位置、及び／又は向きを変更することができる。
【0045】
ビデオ会議アプリケーションは、ビデオストリームと、静的、アニメーション、または適応型補足コンテンツとをプライマリビデオストリームビュー２２０に表示し、並行してビデオストリームと、静的、アニメ－ション、または適応型補足コンテンツとをリモートデバイスに送信することにより、２つのリモートデバイスのユーザが同じ修正されたビデオストリームを実質的に同時に見ることができるようにする。
【0046】
いくつかのシナリオでは、発信ビデオストリームと共に提供される補足コンテンツは、受信デバイスによって編集可能であることも理解されたい（例えば、補足コンテンツを有する受信されたビデオストリームが、画像の層と補足コンテンツとをマージするなど、送信デバイスが画像画素値を直接修正することによる画素値自体への統合が行われず、代わりに補足コンテンツが受信電子デバイスでレンダリングされる場合）。このようなシナリオでは、電子デバイス１１０のプロセッサは、着信ビデオストリームとして電子デバイス１１５から発信ビデオストリーム２２１を受信することができ、着信ビデオストリームは、ビデオストリーム２２１及び補足コンテンツ２２９を含む。電子デバイス１１０のビデオ会議アプリケーションは、ビデオストリーム２２１及び補足コンテンツ２２９を表示し、ビデオストリームを（例えば、補足コンテンツ２２９を異なる補足コンテンツで置き換えることによって、及び／又は補足コンテンツ２２９を削除することによって）更に修正するための補足コンテンツオプションを電子デバイス１１０で提供する。
【0047】
補足コンテンツをビデオストリームと統合することにより、記載された補足コンテンツ機能は、補足ビデオストリームをレンダリングするための機能を有しないリモートデバイス（例えば、まだアップデートされていないソフトウェアや古いデバイス上のソフトウェアに起因する）と後方互換性を持つことが可能となり、また、記載された補足コンテンツ機能は、記載された補足コンテンツ機能をリモートデバイスが有するかどうかを、送信デバイスが判定できない第三者ソフトウェア及び／又はデバイスと、互換性を持つことが可能となる。場合によっては、電子デバイス１１５のユーザは、統合又は非統合補足コンテンツをビデオストリームと共に提供するかどうかを選択する能力を提供され得る。場合によっては、電子デバイス１１５は、統合又は非統合補足コンテンツをビデオストリームと共に提供するかどうかを（例えば、利用可能な送信帯域幅、受信デバイスの利用可能な機能性、又は受信デバイスの機能性に関する情報の欠如に基づいて）自動的に決定してもよい。いくつかのシナリオでは、電子デバイス１１５のビデオ会議アプリケーションは、リモートデバイスが、受信されたビデオストリームで補足コンテンツをレンダリングすることができるかどうか、及び／又は補足コンテンツが、リモートデバイスで利用可能かどうか、若しくはビデオストリームと共に（例えば、補足コンテンツのメタデータに含めて）リモートデバイスに提供されるべきかどうかを判定するために、リモートデバイスとの事前会議（例えば、ハンドシェイク）動作を実行してもよい。
【0048】
一実施例では、補足コンテンツ２２９は、発信ビデオストリーム２２１内のユーザ「Ａ」との顔と共に移動し、かつそれに適応する適応型漫画（adaptive cartoon）のキツネの頭部であり、更なる補足コンテンツが、ユーザ「Ｂ」によって、例えば、サングラス又は帽子をキツネの頭部に追加することによって、ユーザ「Ａ」のビデオストリームに追加されてもよい。図２の例では、ユーザ「Ｂ」は、電子デバイス１１５から提供された修正されたビデオストリームにリモート補足コンテンツ２３０（例えばサングラス）を追加しており、電子デバイス１１５はまた、プライマリビデオストリームビュー２２０に示される、表示された発信ビデオストリームにリモート補足コンテンツ２３０を（例えば、リモートデバイスから受信した命令に基づいて）追加している。
【0049】
リモート補足コンテンツは、電子デバイス１１５のプロセッサによってレンダリングするために、リモートデバイスによって電子デバイス１１５に送信されてもよく、又はリモートデバイスからの命令に基づいて電子デバイス１１５によって取得されてもよい。電子デバイス１１５が電子デバイス１１５のローカルストレージから又はサーバ１２０から更なる補足コンテンツを取得するための命令を受信するシナリオでは、電子デバイス１１５のプロセッサは、受信した命令に基づいて、ローカルストレージ又はクラウドベースのストレージから更なる補足コンテンツを取得し、カメラ２０１からの発信ビデオストリーム２２１、リモート補足コンテンツ２３０、及び／又は電子デバイス１１５のユーザによって追加された元の補足コンテンツ２２９を、（例えば、元の補足コンテンツが受信デバイスで削除されなかった場合）プライマリビデオストリームビュー２２０に表示する。
【0050】
図３は、１つ以上の実装形態に係る、ビデオ会議のために補足コンテンツ２２９などの補足コンテンツを用いて発信ビデオストリーム２２１などの発信ビデオストリームを修正するための例示的なプロセス３００のフロー図を示す。説明のために、プロセス３００を、本明細書では主として、図１及び図２の電子デバイス１１５の１つ以上のプロセッサによって実行され得る、図１及び図２の構成要素を参照しながら（特に電子デバイス１１５に関して）記載する。しかしながら、プロセス３００は電子デバイス１１５に限定されず、プロセス３００の１つ以上のブロック（又は動作）は、１つ以上の電子デバイス１１０又はサーバ１２０などの、他の好適なデバイスの１つ以上の他の構成要素によって実行されてもよい。更に、説明のために、プロセス３００のブロックは、本明細書では逐次的に又は直線的に発生するものとして説明している。しかしながら、プロセス３００の複数のブロックは、並行して発生してもよい。加えて、プロセス３００のブロックは、図示された順序で実行される必要はなく、並びに／又は、プロセス３００の１つ以上のブロックは、実行される必要はなく、及び／若しくは他の動作によって置き換えることができる。
【0051】
ブロック３０２において、電子デバイス１１５のプロセッサは、電子デバイス１１５と電子デバイス１１０などのリモート電子デバイスとの間の会議セッションを確立する。会議セッションは、リモート電子デバイス１１０から着信ビデオストリーム２２３を受信すること、又は電子デバイス１１５のカメラ２０１などのカメラからリモートデバイスに発信ビデオストリーム２２１を送信することの少なくとも１つを含む。例えば、いくつかのシナリオでは、電子デバイス１１５及び１１０の両方が、ビデオストリームを送受信する。カメラ（及び／又は関連するセンサ）は、深度感知能力を有し、深度情報（例えば、拡張現実メタデータなどのメタデータとして）をローカルビデオ会議アプリケーション及び／又は受信機に送信することができる。ローカルビデオ会議アプリケーション及び／又は受信機は、カメラ（及び／又は他のセンサ）から深度情報を取得し、（例えば、基礎となる画像フレーム内の顔などのオブジェクトに対して補足コンテンツを位置付ける、サイズ変更する、方向付ける、及び／又は適応させるために）その深度情報を使用して補足コンテンツオーバーレイを描写する。他のシナリオでは、電子デバイス１１５若しくは電子デバイス１１０のビデオ性能が一時的に利用不可能、又は電子デバイス１１５若しくは電子デバイス１１０のうちの１つが限られた帯域幅を有し、ビデオを受信して表示しているが、音声は送信のみ行なっている場合がある。
【0052】
ブロック３０４において、電子デバイス１１５のプロセッサは（例えば、補足コンテンツモードオプション２０８の選択に応じて）、表示のために、補足コンテンツオプション２２２と、着信ビデオストリーム２２３又は発信ビデオストリーム２２１の少なくとも１つとを提供する。
【0053】
ブロック３０６において、電子デバイス１１５のプロセッサは、補足コンテンツオプション２２２の選択物を受信する。例えば、ユーザ「Ａ」は、タッチスクリーンデバイス上でそのオプションをタップすることによって、表示されたオプションの位置で若しくはその近くの物理的なボタンを押すことによって、音声コマンドを提供することによって、及び／又は任意の他の選択メカニズムによって、１つ又は１つ以上の補足コンテンツオプション２２２を選択することができる。
【0054】
ブロック３０８において、電子デバイス１１５のプロセッサは、選択に応じて、選択された補足コンテンツオプション２２２に関連付けられた補足コンテンツを用いて、着信ビデオストリーム２２３又は発信ビデオストリーム２２１の少なくとも１つを修正する。次いで、修正された発信ビデオストリームは、１つ以上のリモートデバイスに送信され得る。いくつかのシナリオでは、電子デバイス１１５のプロセッサは、リモートデバイスからの発信ビデオストリームのための更なる補足コンテンツ（例えば、リモート補足コンテンツ２３０）を受信する。これらのシナリオでは、電子デバイス１１５のプロセッサは、リモート補足コンテンツ２３０を用いて発信ビデオストリーム２２１を更に修正し、更に修正された発信ビデオストリームをリモート電子デバイスに送信することができる。
【0055】
いくつかのシナリオでは、発信ビデオストリームを修正し、修正された発信ビデオストリームを送信することは、発信ビデオストリームに補足コンテンツを統合して、統合された修正発信ビデオストリームを形成すること、及び、統合された修正出力ビデオストリームをリモートデバイスに送信することを含むことができる。例えば、補足コンテンツの層（複数可）と発信ビデオストリームの層（複数可）とを単一の層にマージすることによって、補足コンテンツを発信ビデオストリームに統合することができる。
【0056】
図４は、電子デバイス１１５が、送信のための統合された修正出力ビデオストリームを生成する例を示す。図４の例に示すように、電子デバイス１１５は、カメラから一連の画像フレームを含むビデオデータを受信するコンテンツマージエンジン（content merging engine）４０６（例えば、ビデオ会議アプリケーション４１１のハードウェアコンポーネント又はコンテンツマージ部分）を含むことができる。コンテンツマージエンジン４０６はまた、デバイスのユーザによって選択された静的補足コンテンツ４００、アニメーション補足コンテンツ４０２、及び／又は適応型補足コンテンツ４０４などの補足コンテンツ２２９を受信してもよい。
【0057】
所望であれば、別個の拡張現実メタデータがコンテンツマージエンジンに提供されてもよい。拡張現実（ＡＲ）メタデータは、人、顔の特徴、動物、木、低木、花、道路、道路標識、家具、又はビデオデータ画像フレーム内に表される他の物理オブジェクトなどの物理的オブジェクトを記述する情報を含むことができる。例えば、ＡＲメタデータは、深度情報、サイズ情報、画素位置情報、動き情報、向き情報、又は物理的オブジェクトに関する他の情報を含むことができる。コンテンツマージエンジン４０６は、ＡＲメタデータを使用して、カメラからビデオストリームに追加される補足コンテンツを、時間の経過と共に、位置付ける、方向付ける、サイズ変更する、及び／又は適応させることができる。例えば、アニメーション化された動物の顔を含む適応型補足コンテンツが、ユーザのスマートフォンの前面カメラによってキャプチャされたユーザの顔の画像をオーバーレイするように選択される場合、ＡＲメタデータは、ユーザの顔の境界、位置、サイズ、奥行き、及び特徴（例えば、目、耳、口などの位置）を示すことができ、それを使用して、これを使用して、アニメーション化された動物の顔の顔表現のサイズ、位置、向き、および決定することができ、ユーザの顔が画像化される奥行き、画像化された顔の向き若しくは位置、及び／又はユーザの表情の変化に対応するように、アニメーション化された動物の顔をアニメーションすることができる。
【0058】
図４の例では、カメラからのビデオストリームの画像フレームは、画像フレームの画素値の一部若しくは全てに補足コンテンツ値を追加することによって、及び／又は画像フレームの画素値の一部若しくは全てを補足コンテンツ値で置き換えることによって、静的補足コンテンツ４００、アニメーション補足コンテンツ４０２、及び／又は適応型補足コンテンツ４０４の追加によって修正される。このようにして、補足コンテンツは、修正に関する情報を記憶することなく、画像フレーム自体の画素値に統合されて、統合された補足ビデオストリームを形成する。統合された補足ビデオストリームは、リモートデバイス（例えば、電子デバイス１１０）のデコーダ４１３に送信するために（例えば、デバイスの通信回路及び／又はネットワークインタフェースを介して、並びにネットワーク１０６を介して）、コンテンツマージエンジン４０６から、電子デバイス１１５の、ビデオエンコーダなどのエンコーダ４１０に提供されてもよい。図３に示す例では、ビデオデータと補足コンテンツとの統合は、コンテンツマージエンジン４０６によって実行される。しかしながら、他のシナリオでは、エンコーダ４１０は、ビデオデータと補足コンテンツとの統合の一部又は全てを実行してもよい。これらの統合された送信例では、統合された補足ビデオストリームは、カメラからのビデオストリームとは別個の補足コンテンツを記述する補足コンテンツメタデータなしで、及び深度情報のようなＡＲメタデータなしで送られる。
【0059】
リモートデバイスのデコーダ４１３は、リモートデバイスでの表示のために（例えば、リモートデバイス上で実行されているビデオ会議アプリケーション内で）、符号化された統合補足ビデオストリームを復号することができる。補足ビデオストリームは送信前に統合されたので、リモートデバイスで修正することなく、リモートデバイスは受信した補足ビデオストリームを表示する。
【0060】
これらの統合送信シナリオでは、リモート補足コンテンツ２３０は、ビデオ会議アプリケーション４１４によって統合された補足ビデオストリームに、受信デバイスにおいて又は送信デバイスにおいて（例えば、リモート補足コンテンツを追加するための命令が、受信デバイスから送信デバイスに提供される場合）追加することができる。しかしながら、リモートデバイスは、リモート補足コンテンツの追加のために（例えば、統合された補足ビデオストリームはこの情報を含まないので）、画像フレーム内の物理的オブジェクト及び／又は補足コンテンツを検出する画像解析動作を実行する場合があり、送信デバイスにおいて以前に追加された補足コンテンツは、元の画像フレームを得るために受信デバイスにおいて修正又は除去することはできない。リモート補足コンテンツ２３０は、電子デバイス１１５におけるプレビューストリームに含めるために、又は他のリモートデバイスに送信するために、（例えば、ネットワーク１０６及び／若しくはサーバ１２０を介して）電子デバイス１１５に（例えば、コンテンツマージエンジン４０６に）提供されてもよい。所望であれば、送信デバイスにおいて、送信デバイスで補足コンテンツへの修正を可能にするために、補足コンテンツが編集可能な形式（例えば、プレビューデータは、カメラ画像フレーム及び補足コンテンツを別々に含むことができる）で発信ビデオストリームと共に表示され得るように、プレビューデータがプライマリビデオストリームビュー２２０に提供される。図４の例では、プライマリビデオストリームビュー２２０は、ビデオ会議アプリケーション４１１の一部として示されているが、ビデオ会議アプリケーション４１１が、電子デバイス１１５のディスプレイ上に表示するためのプライマリビデオストリームビューコンテンツを生成することを理解されたい。
【0061】
上記のとおり、いくつかのシナリオでは、カメラからの未修正の画像フレームに補足コンテンツのためのメタデータを追加することによって、補足コンテンツを有する修正されたビデオストリームを提供することが望ましい場合があり、メタデータは、受信デバイスにおいて補足コンテンツを用いて画像フレームを修正するための命令を含む。このようにして、受信ユーザに、行われた修正を特定し、修正を元に戻し、及び／又は受信デバイスを用いてビデオストリームを更に修正する能力を提供することができる。このようにして、転送されるデータ量も削減することができる（例えば、補足コンテンツが両方のデバイスに記憶され、受信デバイスでレンダリングされる場合、未修正のビデオストリーム画像フレームを有するメタデータ内で受信された命令に基づいて、そのデバイスに記憶された補足コンテンツを使用する）。
【0062】
したがって、いくつかのシナリオでは、発信ビデオストリームを修正し、修正された発信ビデオストリームを送信することは、発信ビデオストリーム、補足コンテンツ、並びに、発信ビデオストリーム及び補足コンテンツをリモートデバイスにレンダリングするための命令を送信することを含み得る。いくつかのシナリオでは、発信ビデオストリームを修正し、修正された発信ビデオストリームを送信することは、発信ビデオストリーム、及び補足コンテンツを取得してリモートデバイスにレンダリングするための命令を送信することを含み得る。
【0063】
例えば、図５に示すように、送信電子デバイス（例えば、電子デバイス１１５）のビデオ会議アプリケーションのコンテンツマージエンジン４０６が、カメラから一連の画像フレームを含むビデオデータを受信し、電子デバイス１１５のユーザによって選択された静的補足コンテンツ４００、アニメーション補足コンテンツ４０２、及び／又は適応型補足コンテンツ４０４を受信する場合、補足コンテンツを画像フレームの画素値に統合し、修正された画素値を符号化及び送信のためにエンコーダ４１０に提供する代わりに、補足コンテンツメタデータ及び／又はＡＲメタデータが、デバイスのパッケージ化エンジン（packaging engine）５１１（例えば、リアルタイムトランスポートプロトコル（real-time transport protocol、ＲＴＰ）エンジンのようなトランスポートプロトコルエンジン）に直接提供されると同時に、コンテンツマージエンジン４０６は、画像フレーム（ビデオ）のみをエンコーダ４１０に送信してもよい。
【0064】
図５に示すように、パッケージ化エンジン５１１は、エンコーダ４１０から符号化されたビデオデータを受信し、符号化されたビデオ、補足コンテンツメタデータ、及び／又はＡＲメタデータをパッケージ化して、リモートデバイスのパッケージ化エンジ５１２（例えば、ＲＴＰエンジンのようなトランスポートプロトコルエンジン）に（例えば、ネットワーク１０６を介して）送信することができる。リモートデバイスのパッケージ化エンジン５１２は、補足コンテンツメタデータ及び／又はＡＲメタデータを符号化ビデオストリームから分離（アンパック）し、補足コンテンツメタデータ及び／又はＡＲメタデータをビデオ会議アプリケーション４１４に提供し、符号化されたビデオデータをデコーダ４１３に提供する。デコーダ４１３は、ビデオデータを復号し、着信ビデオストリームをビデオ会議アプリケーション４１４に提供する。
【0065】
ビデオ会議アプリケーション４１４が、補足コンテンツメタデータ、ＡＲメタデータ、及び復号された着信ビデオストリームを受信すると、ビデオ会議アプリケーション４１４は、リモートデバイスのビデオ会議アプリケーションに表示するために、補足コンテンツメタデータに基づいて着信ビデオストリームを修正する。例えば、リモートデバイスのビデオ会議アプリケーション４１４は、補足コンテンツメタデータ内の命令に基づいて、補足コンテンツメタデータ自体から又はリモートデバイスのローカルストレージ若しくはクラウドベースのストレージから、補足コンテンツを取得することができる。次に、ビデオ会議アプリケーション４１４は、表示のために取得した補足コンテンツ２２９を追加することによって（例えば、画像フレームの画素値の一部若しくは全てに補足コンテンツ値を追加することによって、及び／又は画像フレームの画素値の一部若しくは全てを補足コンテンツ値で置き換えることによって）、ビデオストリームの一連の画像フレームのそれぞれを修正することができる。
【0066】
これらの統合されていない送信シナリオでは、送信デバイスからの補足コンテンツを、リモートデバイスでビデオストリームを修正若しくはビデオストリームから除去することができ、及び／又は追加のリモート補足コンテンツ２３０を、受信デバイスで補足ビデオストリームに追加することができる。
【0067】
図２～図５に関連して上述した例は、２つのデバイス間のビデオ会議セッションを示す。しかしながら、補足コンテンツを有するビデオ会議は、３つ以上のデバイス間のグループ会議のために提供され得ることを理解されたい。
【0068】
図６は、３人以上の参加者によるビデオ会議セッションのための、ビデオ会議アプリケーションの動作中の電子デバイス１１５の様々なユーザインタフェースビューを示す。
【0069】
図６に示すように、電子デバイス１１５上で実行されているビデオ会議アプリケーションは、ユーザ「Ｂ」からの着信ビデオストリーム２２３をプライマリビデオストリームビュー２２０に、ユーザ「Ａ」の発信ビデオストリーム２２１をセカンダリビデオストリームビュー２１２に、並びに追加のリモートデバイス（例えば、ユーザ「Ｃ」及び「Ｄ」のリモートデバイス）からの追加の着信ビデオストリーム２２３を追加のセカンダリビデオストリームビュー２１２に表示することができる。
【0070】
発信ビデオストリーム２２１は、ユーザ「Ｂ」、「Ｃ」、及び「Ｄ」のそれぞれのリモートデバイスに提供され、ビデオ性能及び十分な帯域幅がそのデバイスで利用可能である場合、それらのリモートデバイス上に表示される。図に示すように、発信ビデオストリームのためのセカンダリビデオストリームビュー２１２は、他のセカンダリビデオストリームビュー内の着信ビデオストリームからオフセットされてもよく、又は別の方法で区別されてもよい。
【0071】
図６に示すように、ビデオ会議アプリケーションの補足コンテンツ入力モードを入力するために補足コンテンツモードオプション２０８が選択されると、補足コンテンツオプション２２２が提供され、発信ビデオストリーム２２１は、補足コンテンツを用いる修正のために、プライマリビデオストリームビュー２２０に入れ替えられる（又は他の方法で、図２に関連して上述したようにサイズ若しくは位置を増加させる）。図６の例はまた、補足コンテンツ入力モードにおいて、ビデオ会議セッションにおけるそれぞれのリモートデバイスに対して選択可能なオプション２４０がどのように提供されるかを示す。リモートデバイスの選択可能なオプション２４０を選択することにより、リモートデバイスは、発信ビデオストリームに追加された補足コンテンツを見ることができる。リモートデバイスに対する選択可能なオプション２４０の選択を解除することにより、そのリモートデバイスは、発信ビデオストリームに追加された補足コンテンツを視聴しないようにされ、それにより、ビデオ会議セッション内の他のデバイスが、補足コンテンツを用いて修正された発信ビデオストリームを受信しても、そのデバイスは未修正の発信ビデオストリームを受信する。選択可能オプション２４０のいずれもチェックされない場合、補足コンテンツは、ローカルデバイスにおいてのみ（例えば、プレビューとして）表示されてもよい。
【0072】
図６の例では、ユーザ「Ｂ」のリモートデバイスに対する選択可能なオプション２４０が選択解除され、補足コンテンツオプション２２２の１つが選択されて、発信ビデオストリーム２２１に補足コンテンツ２２９を追加する。この例では、ユーザ「Ｃ」及び「Ｄ」のリモートデバイスは、補足コンテンツ２２９を用いて修正された発信ビデオストリーム２２１を受信し、ユーザのリモートデバイス「Ｂ」は、未修正の発信ビデオストリーム２２１（又は異なる修正ビデオストリーム）を受信する。いくつかのシナリオでは、電子デバイス１１５は、（例えば、ソフトウェアの互換性、帯域幅の可用性、リモートデバイス機能などに基づいて）リモートデバイスのうちの１つ以上に補足コンテンツを提供するかどうかを自動的に決定することができることも理解されたい。
【0073】
図６の例では、ユーザ「Ｃ」は次に、ビデオストリームにリモート補足コンテンツ２３０を追加することによってユーザ「Ａ」のビデオストリームを（例えば、電子デバイス１１５に命令を送信して、ユーザ「Ｃ」のリモートデバイスの補足コンテンツオプション２２２を選択するユーザ「Ｃ」に応じてリモート補足コンテンツを追加することによって）更に修正する。ユーザ「Ａ」の更に修正されたビデオストリームは、プライマリビデオストリームビュー２２０に表示され、ユーザ「Ｃ」及び「Ｄ」に送信される。
【0074】
図７は、１つ以上の実装形態に係る、３人以上の参加者とのビデオ会議のために補足コンテンツ２２９などの補足コンテンツを用いて発信ビデオストリーム２２１などの発信ビデオストリームを修正するための例示的なプロセス７００のフロー図を示す。説明のために、プロセス７００を、本明細書では主として、図１、図２及び図４の電子デバイス１１５の１つ以上のプロセッサによって実行され得る、図１及び図２の構成要素を参照しながら（特に電子デバイス１１５に関して）記載する。しかしながら、プロセス７００は電子デバイス１１５に限定されず、プロセス７００の１つ以上のブロック（又は動作）は、１つ以上の電子デバイス１１０又はサーバ１２０などの、他の好適なデバイスの１つ以上の他の構成要素によって実行されてもよい。更に、説明のために、プロセス７００のブロックは、本明細書では逐次的に又は直線的に発生するものとして説明している。しかしながら、プロセス７００の複数のブロックは、並行して発生してもよい。加えて、プロセス７００のブロックは、図示された順序で実行される必要はなく、並びに／又は、プロセス７００の１つ以上のブロックは、実行される必要はなく、及び／若しくは他の動作によって置き換えることができる。
【0075】
ブロック７０２において、電子デバイス１１５のプロセッサは、電子デバイス１１５（例えば、ローカルデバイス）と複数のリモートデバイス（例えば、複数の電子デバイス１１０及び／又は他の電子デバイス１１５）との間に会議セッションを確立し、この会議セッションは、ローカル電子デバイスのカメラ２０１などのカメラからの発信ビデオストリーム２２１をリモート電子デバイスのそれぞれに送信することを含む。発信ビデオストリームは、電子デバイス１１５のメモリに記憶され、電子デバイス１１５のプロセッサによって実行されるビデオ会議アプリケーションのビデオストリームビューに表示することができる。１つ以上の実装形態では、サーバは、電子デバイス１１５とリモートデバイスとの間の会議セッションを調整及び／又は促進することができる。例えば、電子デバイス１１５は、単一の発信ビデオストリーム２２１をサーバ１２０に提供することができ、サーバ１２０は、発信ビデオストリームを複数のリモート電子デバイスのそれぞれに配信することができる。
【0076】
ブロック７０４において、電子デバイス１１５のプロセッサは、ローカルデバイスでの表示のために、補足コンテンツオプション２２２及び発信ビデオストリーム２２１を提供する。補足コンテンツオプション２２２及び発信ビデオストリーム２２１は、ビデオ会議アプリケーション内に表示される。例えば、図２に関連して上述したように、補足コンテンツオプションは、静的、アニメーション、及び／又は適応型コンテンツを発信ビデオストリームに追加するオプションであってもよい。
【0077】
ブロック７０６において、電子デバイス１１５のプロセッサは、（例えば、ユーザ「Ａ」が表示された補足コンテンツオプションをタップするか、又は別の方法で選択することに応じて）補足コンテンツオプションの選択を受信する。
【0078】
ブロック７０８において、電子デバイス１１５のプロセッサは、選択に応じて、選択された補足コンテンツオプション２２２に関連付けられた補足コンテンツ２２９を用いて発信ビデオストリーム２２１を修正する。次いで、修正された発信ビデオストリームは、一部又は全てのリモートデバイスに提供されてもよい。いくつかの動作シナリオでは、補足コンテンツを有さない発信ビデオストリームが、少なくとも１つのリモートデバイスに提供される。３つ以上のデバイス間のビデオ会議セッション中に、発信ビデオストリームの修正のために補足コンテンツオプション２２２が提供される時、それぞれのリモートデバイスの選択可能オプション２４０も表示用に提供されてもよく、それぞれのリモートデバイスの選択可能オプションは、そのリモートデバイスが発信ビデオストリームと共に補足コンテンツを受信することを許可する又は防止するように構成されている。各リモートデバイスに補足コンテンツを提供するための選択可能なオプションは、そのリモートデバイスに対する着信ビデオストリーム又は別の可視インジケータに関連して表示されてもよい。
【0079】
上記のとおり、いくつかのシナリオにおいて、発信ビデオストリームと共に提供される補足コンテンツは、受信デバイスによって編集可能であり得る。具体的には、補足コンテンツと発信ビデオストリームが送信前に統合されないシナリオでは、送信と共に提供されるメタデータは、送信者によって追加された補足コンテンツを受信デバイスが特定、修正、及び／又は更に補足することを可能にすることができる。
【0080】
図８は、３人以上の参加者とのビデオ会議セッションのためのビデオ会議アプリケーションの動作中のユーザ「Ｃ」の受信電子デバイス１１５Ｃの様々なユーザインタフェース図を示す。図８に示すように、ユーザ「Ｂ」、「Ｃ」、及び「Ｄ」とのビデオ会議セッションにおけるユーザ「Ａ」が、その発信ビデオストリーム２２１に補足コンテンツ２２９を追加すると（例えば、図６を参照）、その修正されたストリームは、着信ビデオストリーム２２３としてユーザ「Ｃ」の電子デバイス１１５Ｃで受信され、セカンダリビデオストリームビュー２１２に表示される。
【0081】
図８の例では、ユーザ「Ｃ」の発信ビデオストリーム２２１は、補足コンテンツオプション２２２と共にプライマリビデオストリームビュー２２０に表示される。この構成では、補足コンテンツオプション２２２のうちの１つを選択することにより、関連付けられた補足コンテンツは、ユーザ「Ｃ」の発信ビデオストリーム２２１に追加され、ユーザ「Ａ」、「Ｂ」、及び「Ｄ」のそれぞれのリモートデバイスに提供される（この例では、それぞれの選択可能なオプション２４０が選択されているため）。
【0082】
図８に示すように、ユーザ「Ｃ」は、修正された着信ビデオストリーム２２３をユーザ「Ａ」からプライマリビデオストリームビュー２２０に入れ替え、ユーザ「Ｃ」の補足コンテンツ２３０（ユーザ「Ａ」のデバイスを参照する場合、図６にリモート補足コンテンツとして示される）を、すでに補足コンテンツ２２９が追加されているユーザ「Ａ」のビデオストリームに追加することができる。図８の例では、ユーザ「Ｃ」は、次に、ユーザ「Ａ」から着信ビデオストリーム２２３を入れ替え、ユーザ「Ａ」によって追加された補足コンテンツ２２９（例えば、ユーザ「Ａ」のビデオストリーム内におけるユーザ「Ａ」の顔を覆うキツネの頭部）、及びユーザ「Ｃ」によって追加された補足コンテンツ２３０（例えば、キツネの頭部上のサングラス）を含むように修正し、セカンダリビデオストリームビュー２１２のうちの１つに表示する。
【0083】
図９は、１つ以上の実装形態に係る、補足コンテンツを用いて修正されたリモートカメラからの着信ビデオストリームを含む、修正された着信ビデオストリーム（例えば、図８に記載されるような補足コンテンツ２２９を備えたユーザ「Ａ」の着信ビデオストリーム２２３）を受信して表示するための例示的なプロセス９００のフロー図を示す。説明のために、プロセス９００を、本明細書では主として図１及び図２の構成要素を参照しながら記載する。しかしながら、プロセス９００は電子デバイス１１５に限定されず、プロセス９００の１つ以上のブロック（又は動作）は、１つ以上の電子デバイス１１０又はサーバ１２０などの、他の好適なデバイスの１つ以上の他の構成要素によって実行されてもよい。更に、説明のために、プロセス９００のブロックは、本明細書では逐次的に又は直線的に発生するものとして説明している。しかしながら、プロセス９００の複数のブロックは、並行して発生してもよい。加えて、プロセス９００のブロックは、図示された順序で実行される必要はなく、並びに／又は、プロセス９００の１つ以上のブロックは、実行される必要はなく、及び／若しくは他の動作によって置き換えることができる。
【0084】
ブロック９０２において、電子デバイス１１０などの受信デバイスは、リモートデバイス（例えば、電子デバイス１１５）からのライブ着信ビデオストリーム２２３及びライブ着信ビデオストリームに対する補足コンテンツ２２９に関連付けられたメタデータを、（例えば、ビデオ会議アプリケーションで）受信する。ライブ着信ビデオストリーム２２３は、リモートデバイスのカメラ２０１などのカメラによって現在キャプチャされている（及び／又は同時にキャプチャされる）画像フレームのストリームを含んでもよい。ライブ着信ビデオストリーム２２３は、リモートデバイスのカメラによってキャプチャされ、キャプチャ後にリモートデバイスによって直ちに送信される画像フレームのストリームを含んでもよい。受信デバイスはまた、ライブ着信ビデオストリームの受信と同時に、ローカルカメラからライブ発信ビデオストリームを送信してもよい。１つ以上の実装形態では、ビデオ会議アプリケーション内のライブ着信ビデオストリームは、ビデオストリームがキャプチャされる時間に対して最小遅延で又は遅延なく、電子デバイス１１０に即時表示するために、リモートデバイスでキャプチャされ、（例えば、サービスの品質が高い）電子デバイス１１０に（例えば、ビデオストリームのそれぞれのフレームがキャプチャされると）即時に送信されるビデオストリームを指してもよい。
【0085】
メタデータは、補足コンテンツ及び補足コンテンツを含むようにライブ着信ビデオストリームを修正するための命令を含んでもよく、又はライブ着信ビデオストリーム、並びに補足コンテンツを取得するための命令及び補足コンテンツ自体を含まずに補足コンテンツを含むようにライブ着信ビデオストリームを修正するための命令を含んでもよい。
【0086】
ブロック９０４において、受信デバイス（例えば、受信デバイスのプロセッサ）は、メタデータを使用してライブ着信ビデオストリーム２２３を補足コンテンツ２２９を含むように修正する。ライブ着信ビデオストリームを修正することは、ライブ着信ビデオストリームで受信した命令に基づいて、ライブ着信ビデオストリームで受信した補足コンテンツをライブ着信ビデオストリームに追加することを含み得る。ライブ着信ビデオストリームを修正することはまた、又は代替的に、メタデータ内の識別子を使用して、ローカルストレージ又はクラウドベースのストレージから補足コンテンツを取得することと、取得した補足コンテンツを、メタデータ内において特定される、ライブ着信ビデオストリームの画像フレームの１つ以上の一部分（例えば、画素位置）に適用することを含んでもよい。
【0087】
ライブ着信ビデオストリーム２２３は、最小遅延で表示するためにキャプチャされ送信されるライブ着信ビデオストリームであるため、受信デバイスは、ビデオストリームの修正が受信デバイスにおけるライブ着信ビデオストリーム２２３の表示に全く遅延を加えないように（又は遅延を最小化するように）、高い優先度のプロセスでライブ着信ビデオストリーム２２３を修正することができる。
【0088】
ブロック９０６において、受信デバイスは、（例えば、ビデオ会議アプリケーション内で）補足コンテンツを用いて修正されたライブ着信ビデオストリームを表示する。いくつかのシナリオでは、受信デバイスはまた、表示のために、補足コンテンツを用いて修正されたライブ着信ビデオストリームと共に、補足コンテンツオプションを提供することができる。受信デバイスはまた、補足コンテンツオプションの選択を受信し、選択に応じて、選択された補足コンテンツオプションに関連付けられた追加の補足コンテンツを用いて、修正されたライブ着信ビデオストリームを修正してもよい。補足コンテンツオプションが、補足コンテンツをリモートデバイスからの着信ビデオストリームに追加するために受信デバイスで受信されると、受信デバイスは、また、追加の補足コンテンツを表示するために命令をリモートデバイス（例えば、ライブ着信ビデオストリームを提供しているデバイス）に送信することもできる。このようにして、受信デバイスから追加されたコンテンツを、送信及び受信デバイスの両方に表示することができる。
【0089】
本明細書で説明されたユーザインタフェース（例えば、図２、図６、及び図８を参照）は、図１０～図１５に示される１つ以上のユーザインタフェースの１つ以上の要素（又はその全体）を利用してもよい。例えば、図１０のユーザインタフェース１０００は、ハッピーフェイス（例えば、要素１０１２を参照）を有する星として表される補足コンテンツモードオプション２０８と共に、発信ビデオストリーム２２１（例えば、図１０の要素１００２を参照）並びにいくつかの着信ビデオストリーム２２３（例えば、図１０の要素１００４、１００６、１１０８及び１０１０を参照）を示す。別の例として、図１１のユーザインタフェース１１００の要素１１０２は、補足コンテンツオプション２２２（図１１の要素１１０４、１１０６及び１１０８として表される）を有する発信ビデオストリームのディスプレイを表すことができる。別の例として、図１２のユーザインタフェース１２００は、図１２の補足コンテンツオプション１２０４の選択に応じて、発信ビデオストリームに追加された補足コンテンツ２２９（例えば、サルの顔１２０２を参照）を有する発信ビデオストリーム２２１を示す。別の例として、図１３のユーザインタフェース１３００は、発信ビデオストリーム内のユーザの顔の検出された動作に応じて、（図１３に示す向きに対して）移動する適応型補足コンテンツ（例えば、サルの顔１３０２を参照）を示すことができる。別の例として、図１４のユーザインタフェース１４００は、補足コンテンツ２２９（例えば、要素１４０４を参照）を有する発信ビデオストリーム２２１（例えば、要素１４０２を参照）を示すビデオストリームビューのサイズの縮小を示すことができる。別の例として、図１５のユーザインタフェース１５００は、補足コンテンツ（例えば、リモートユーザの顔を覆うロボットの頭部１５０４）を含む着信ビデオストリーム（例えば、要素１５０２を参照）を示すことができる。本開示の一態様では、図１０～図１５に列挙される要素は、電子デバイス１１５、電子デバイス１１０、及び／又はサーバ１２０のうちの１つ以上によって提示されてもよい。図１０～図１５は、サンプル順序での様々なステップ、動作、又は工程の要素を提示し、提示された特定の順序又は階層に限定されることを意味しなくてもよい。
【0090】
図１６は、主題の技術の１つ以上の実装形態を実施することができる電子システム１６００を示す。電子システム１６００は、図１に示す電子デバイス１１０、電子デバイス１１５、及び／若しくはサーバ１２０とすることができ、並びに／又はそれらの一部とすることができる。電子システム１６００は、各種コンピュータ可読媒体及び、他の各種コンピュータ可読媒体用のインタフェースを含むことができる。電子システム１６００は、バス１６０８、１つ以上の処理ユニット１６１２、システムメモリ１６０４（及び／若しくはバッファ）、ＲＯＭ１６１０、永久記憶デバイス１６０２、入力デバイスインタフェース１６１４、出力デバイスインタフェース１６０６、並びに１つ以上のネットワークインタフェース１６１６、又はそれらのサブセット及び変形を含む。
【0091】
バス１６０８は、電子システム１６００の多数の内部デバイスを通信可能に接続する全てのシステム、周辺機器、及びチップセットバスを集合的に表す。１つ以上の実装形態では、バス１６０８は、１つ以上の処理ユニット１６１２を、ＲＯＭ１６１０、システムメモリ１６０４、及び永久記憶デバイス１６０２と通信可能に接続する。これらの様々なメモリユニットから、１つ以上の処理ユニット１６１２は、本願の開示のプロセスを実行するために、実行すべき命令及び処理すべきデータを取り出す。１つ以上の処理ユニット１６１２を、異なる実装形態においては、シングルプロセッサ又はマルチコアプロセッサとすることができる。
【0092】
ＲＯＭ１６１０は、１つ以上の処理ユニット１６１２及び電子システム１６００の他のモジュールによって必要とされる静的データ及び命令を記憶する。一方、永久記憶デバイス１６０２は、読み出し及び書き込みメモリデバイスであってもよい。永久記憶デバイス１６０２は、たとえ電子システム１６００がオフであっても、命令及びデータを記憶する不揮発性メモリユニットであってもよい。１つ以上の実装形態では、永久記憶デバイス１６０２として、大容量記憶デバイス（磁気ディスク又は光ディスク、及びそれに対応するディスクドライブなど）を使用することができる。
【0093】
１つ以上の実装形態では、永久記憶デバイス１６０２として、脱着可能記憶デバイス（フロッピーディスク、フラッシュドライブ、及びそれに対応するディスクドライブなど）を使用することができる。永久記憶デバイス１６０２と同様に、システムメモリ１６０４は、読み出し及び書き込みメモリデバイスであってもよい。しかしながら、永久記憶デバイス１６０２とは異なり、システムメモリ１６０４は、ランダムアクセスメモリなどの、揮発性の読み出し及び書き込みメモリであってもよい。システムメモリ１６０４は、実行時に１つ以上の処理ユニット１６１２が必要とし得る命令及びデータのいずれかを記憶してもよい。１つ以上の実装形態では、本願の開示のプロセスは、システムメモリ１６０４、永久記憶デバイス１６０２、及び／又はＲＯＭ１６１０に記憶される。これらの様々なメモリユニットから、１つ以上の処理ユニット１６１２は、１つ以上の実装形態のプロセスを実行するために、実行すべき命令及び処理すべきデータを取り出す。
【0094】
バス１６０８は、入力デバイスインタフェース１６１４及び出力デバイスインタフェース１６０６にも接続する。入力デバイスインタフェース１６１４により、ユーザは、電子システム１６００に対して、情報を伝送し、コマンドを選択することができる。入力デバイスインタフェース１６１４と共に使用され得る入力デバイスは、例えば、英数字キーボード及びポインティングデバイス（「カーソル制御デバイス」とも称される）を含むことができる。出力デバイスインタフェース１６０６は、例えば、電子システム１６００によって生成された画像を表示することができる。出力デバイスインタフェース１６０６と共に使用され得る出力デバイスは、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルディスプレイ、フラットパネルディスプレイ、ソリッドステートディスプレイ、プロジェクタ、又は情報を出力するための任意の他のデバイスなどのプリンタ及び表示デバイスを含むことができる。１つ以上の実装形態は、タッチスクリーンなどの、入力及び出力デバイスの両方として機能するデバイスを含むことができる。これらの実装形態では、ユーザに提供されるフィードバックは、視覚フィードバック、聴覚フィードバック、触知フィードバックなどの任意の形態の感覚フィードバックであることができ、ユーザからの入力は、音響入力、音声入力、又は触知入力を含む任意の形態で受け取ることができる。
【0095】
最後に、図１６に示すように、バス１６０８はまた、１つ以上のネットワークインタフェース（単数又は複数）１６１６を通じて、電子システム１６００を、１つ以上のネットワーク、及び／又は図１に示す電子デバイス１１５などの１つ以上のネットワークノードに接続する。このようにして、電子システム１６００は、コンピュータのネットワーク（ＬＡＮや広域ネットワーク（「ＷＡＮ」）など）、若しくはイントラネット、又はインターネットなどの複数のネットワーク中のネットワークとすることができる。電子システム１６００のいずれか又は全ての構成要素は、本願の開示と併せて使用することができる。
【0096】
本開示の様々な態様によれば、メモリと、メモリに通信可能に接続され、デバイスとリモートデバイスとの間に会議セッションを確立するように構成された少なくとも１つのプロセッサと、を含むデバイスが提供され、会議セッションは、リモートデバイスから着信ビデオストリームを受信すること、又はデバイスのカメラからリモートデバイスに発信ビデオストリームを送信すること、の少なくとも１つを含む。少なくとも１つのプロセッサはまた、表示のために、補足コンテンツオプション、及び着信ビデオストリーム又は発信ビデオストリームの少なくとも１つを提供するように構成されている。少なくとも１つのプロセッサはまた、補足コンテンツオプションの選択を受信するように構成されている。少なくとも１つのプロセッサはまた、選択に応じて、選択された補足コンテンツオプションに関連付けられた補足コンテンツを用いて、着信ビデオストリーム又は発信ビデオストリームの少なくとも１つを修正するように構成されている。
【0097】
本開示の様々な態様によれば、少なくとも１つのコンピューティングデバイスによって実行されると、少なくとも１つのコンピューティングデバイスに、ライブ着信ビデオストリーム及びライブ着信ビデオストリームのための補足コンテンツに関連付けられたメタデータをリモートデバイスから受信することを含む動作を実行させる、命令を含む、非一時的コンピュータ可読媒体が提供される。ライブ着信ビデオストリームは、リモートデバイスのカメラによってキャプチャされ、キャプチャ後にリモートデバイスによって直ちに送信される画像フレームのストリームを含む。この動作はまた、補足コンテンツを含むように、メタデータを使用して、ライブ着信ビデオストリームを修正することを含む。この動作はまた、補足コンテンツを用いて修正されたライブ着信ビデオストリームを表示することを含む。
【0098】
本開示の様々な態様によれば、ローカルデバイスとリモートデバイスとの間に会議セッションを確立することを含む方法が提供され、この会議セッションは、ローカルデバイスのカメラからリモートデバイスのそれぞれへの発信ビデオストリームの送信を含む。この方法はまた、ローカルデバイスでの表示のために、補足コンテンツオプション及び発信ビデオストリームを提供することを含む。この方法はまた、補足コンテンツオプションの選択を受信することを含む。この方法はまた、選択に応じて、選択された補足コンテンツオプションに関連付けられた補足コンテンツを用いて、発信ビデオストリームを修正することを含む。
【0099】
本開示の範囲内の実装形態は、１つ以上の命令を符号化する有形のコンピュータ可読記憶媒体（又は１つ以上のタイプの、複数の有形のコンピュータ可読記憶媒体）を使用して、部分的に又は完全に実現することができる。有形のコンピュータ可読記憶媒体はまた、事実上、非一時的なものであってもよい。
【0100】
コンピュータ可読記憶媒体は、命令を実行することができる任意の処理電子機器及び／又は処理回路を含む、汎用又は専用コンピューティングデバイスによって読み取られ、書き込まれ、又は他の方法でアクセスされ得る任意の記憶媒体とすることができる。例えば、限定はしないが、コンピュータ可読媒体は、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、Ｔ－ＲＡＭ、Ｚ－ＲＡＭ、及びＴＴＲＡＭなどの任意の揮発性半導体メモリを含むことができる。コンピュータ可読媒体はまた、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＮＶＲＡＭ、フラッシュ、ｎｖＳＲＡＭ、ＦｅＲＡＭ、ＦｅＴＲＡＭ、ＭＲＡＭ、ＰＲＡＭ、ＣＢＲＡＭ、ＳＯＮＯＳ、ＲＲＡＭ、ＮＲＡＭ、レーストラックメモリ、ＦＪＧ、及びミリピードメモリなどの任意の不揮発性半導体メモリを含むことができる。
【0101】
更に、コンピュータ可読記憶媒体は、光ディスク記憶装置、磁気ディスク記憶装置、磁気テープ、他の磁気記憶デバイス、又は１つ以上の命令を記憶できる任意の他の媒体などの、任意の非半導体メモリを含むことができる。１つ以上の実装形態では、有形のコンピュータ可読記憶媒体はコンピューティングデバイスに直接的に接続することができ、他の実装形態では、有形のコンピュータ可読記憶媒体は、例えば、１つ以上の有線接続、１つ以上の無線接続、又はそれらの任意の組み合わせを介して、コンピューティングデバイスに間接的に接続することができる。
【0102】
命令は直接実行可能とすることができ、又は実行可能命令を開発するために使用することができる。例えば、命令は、実行可能又は非実行可能なマシンコードとして、又は実行可能又は非実行可能なマシンコードを生成するようにコンパイルされ得る高級言語の命令として、実現することができる。更に、命令はまた、データとして実現され又はデータを含むこともできる。コンピュータ実行可能命令はまた、ルーチン、サブルーチン、プログラム、データ構造、オブジェクト、モジュール、アプリケーション、アプレット、関数などを含む任意のフォーマットで構造化することができる。当業者によって認識されるように、命令の数、構造、順序、及び構造を含むがこれに限定はされない詳細は、基本的なロジック、機能、処理、及び出力を変更することなく大幅に変えることができる。
【0103】
上記の検討は、主として、ソフトウェアを実行するマイクロプロセッサ又はマルチコアプロセッサに言及しているが、１つ以上の実装形態は、ＡＳＩＣ又はＦＰＧＡ（単数又は複数）などの、１つ以上の集積回路によって実行される。１つ以上の実装形態では、そのような集積回路は、その回路自体に記憶されている命令を実行する。
【0104】
当業者であれば、本明細書で説明される様々の例示的なブロック、モジュール、エレメント、構成要素、方法、及びアルゴリズムが、電子ハードウェア、コンピュータソフトウェア、又はそれら両方の組み合わせとして実装され得ることを理解するであろう。ハードウェアとソフトウェアのこの互換性を示すために、様々の例示的なブロック、モジュール、エレメント、構成要素、方法、及びアルゴリズムを、それらの機能性の点から一般的に上述してきた。そのような機能性がハードウェア又はソフトウェアとして実装されるかは、特定のアプリケーション及びシステム全体に課される設計上の制約に依存する。当業者であれば、特定のアプリケーション毎に様々な方法で説明した機能性を実装することができるであろう。様々な構成要素及びブロックは、主題の技術の範囲から全く逸脱することなく、異なるように（例えば、異なる順序で配置されるか、又は異なる方法で分割されて）配置されてもよい。
【0105】
開示されたプロセスにおけるブロックのいかなる特定の順序又は階層も、例示的なアプローチの一例であることが理解されよう。設計選択に基づいて、プロセス内のブロックの特定の順序又は階層は並び替えられてもよいこと、又は例示されているブロックが全て実行されてもよいことが理解される。いずれのブロックも、同時に実行されてよい。１つ以上の実装形態では、マルチタスク及び並列処理が有利であり得る。更に、上述した実装における様々なシステム構成要素の分離は、全ての実装においてそのような分離が必要とされていると理解すべきではない。記載されたプログラム構成要素及びシステムは、単一のソフトウェアプロダクトに同一化されてもよく、又は複数のソフトウェア製品にパッケージ化されてもよいことを理解すべきである。
【0106】
本出願の本明細書及びいずれかの特許請求の範囲で使用される時、用語「基地局」、「受信機」、「コンピュータ」、「サーバ」、「プロセッサ」、及び「メモリ」は全て、電子的又は他の技術的デバイスを指す。これらの用語は、人又は人のグループを除外する。本明細書の目的上、「表示する（display）」又は「表示すること（displaying）」という用語は、電子デバイス上に表示することを意味する。
【0107】
本明細書で使用する、一連の項目に先行する「少なくとも１つ」というフレーズは、項目のいずれかを分離する「及び」又は「又は」という用語と共に、リストの各要素（すなわち、各項目）ではなく、全体としてリストを修飾する。「少なくとも１つ」というフレーズは、リスト化された各項目の少なくとも１つの選択を必要とはせず、むしろ、そのフレーズは、項目のうちのいずれか１つの少なくとも１つ、及び／又は項目の任意の組み合わせの少なくとも１つ、及び／又は項目のそれぞれの少なくとも１つ、を含む意味を可能にする。例として、「Ａ、Ｂ、及びＣの少なくとも１つ」又は「Ａ、Ｂ、又はＣの少なくとも１つ」というフレーズは、それぞれが、Ａのみ、Ｂのみ、又はＣのみ、Ａ、Ｂ、及びＣの任意の組み合わせ、並びに／又は、Ａ、Ｂ、及びＣのそれぞれの少なくとも１つを指す。
【0108】
「～ように構成された（configured to）」、「～ように動作可能な（operable to）」、及び「～ようにプログラムされた（programmed to）」という述語は、対象物の特有の有形又は無形の改変を意味するものではなく、むしろ交換可能に使用されることを意図している。１つ以上の実装形態では、動作若しくは構成要素を監視及び制御するように構成されたプロセッサとは、プロセッサが、動作を監視及び制御するようにプログラムされていること、又はプロセッサが、動作を監視及び制御するように動作可能であることも意味し得る。同様に、コードを実行するように構成されたプロセッサは、コードを実行するようにプログラムされた、又はコードを実行するように動作可能なプロセッサ、として解釈することができる。
【0109】
１つの態様、その態様、別の態様、いくつかの態様、１つ以上の態様、１つの実装形態、その実装形態、別の実装形態、いくつかの実装形態、１つ以上の実装形態、１つの実施形態、その実施形態、別の実施形態、いくつかの実施形態、１つ以上の実施形態、１つの構成、その構成、別の構成、いくつかの構成、１つ以上の構成、主題の技術、開示、本開示、それらの他の変形、及び同様のフレーズは、便宜上のものであり、そのようなフレーズ（単数又は複数）に関する開示が主題の技術に不可欠であること、又はそのような開示が主題の技術の全ての構成に適用されること、の意味を含むものではない。そのようなフレーズ（単数又は複数）に関する開示は、全ての構成、又は１つ以上の構成に適用することができる。そのようなフレーズ（単数又は複数）に関する開示は、１つ以上の例を提供することができる。態様又はいくつかの態様などのフレーズは、１つ以上の態様を指すことができ、その逆も同様であり、これは他の前述のフレーズと同様に適用される。
【0110】
単語「例示的（exemplary）」は、本明細書において、「例、事例、又は実例の役割を果たすこと」を意味するために使用される。「例示的」又は「例」として本明細書で説明されたいかなる実施形態も、必ずしも他の実施形態を超えて好ましい又は有利であると解釈されるべきではない。更に、「含む」、「有する」などの用語が明細書又は特許請求の範囲で使用される限りにおいて、そのような用語は、「備える」が特許請求の範囲において移行語として使用される時に解釈されるように、「備える」というフレーズと同様の方法で包括的であることを意図する。
【0111】
当業者に知られているか又は後に知られるようになる、本開示を通じて説明される様々な態様のエレメントに対する全ての構造的及び機能的な均等物は、参照により明示的に本明細書に組み込まれ、かつ、特許請求の範囲に包含されるものと意図する。更に、本明細書で開示されたいかなるものも、そのような開示が特許請求の範囲に明白に列挙されているかどうかにかかわらず、公共に捧げられることを意図しない。いかなる特許請求の範囲のエレメントも、エレメントがフレーズ「手段（means for）」を使用して明示的に列挙するか、又は方法の請求項の場合には、エレメントがフレーズ「ステップ（step for）」を使用して列挙しない限り、米国特許法第１１２条第６パラグラフの規定に基づいて解釈されるべきではない。
【0112】
前述の説明は、当業者が本明細書で説明した様々な態様を実施することを可能にするために提供される。これらの態様に対する様々な変更は、当業者には容易に明らかであり、本明細書で定義される一般的な原理は、他の態様にも適用することができる。それゆえ、請求項は、本明細書に示される態様に限定されること意図されておらず、文言による請求項に合致した全範囲を認められるべきであり、単数形によるエレメントへの言及は、特に断りのない限り、「唯一の（one and only one）」を意味することを意図されておらず、むしろ、「１つ以上の（one or more）」を意味することを意図されている。特記しない限り、「いくつかの（some）」という用語は、１つ以上のものを指す。男性形（例えば、彼）の代名詞は、女性及び中性の性別（例えば、彼女及びその）を含み、並びにその逆である。もしあれば、見出し及び小見出しは、便宜上のみに使用され、本願の開示を限定するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】