特表 2024-500956 オンラインミーティングにおける拡張ビューのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-10

(54)【発明の名称】オンラインミーティングにおける拡張ビューのためのシステムおよび方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20231227BHJP

【ＦＩ】

H04N7/15

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023538797

(86)(22)【出願日】2021-12-22

(85)【翻訳文提出日】2023-08-02

(86)【国際出願番号】 US2021064859

(87)【国際公開番号】W WO2022140539

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】63/130,192

(32)【優先日】2020-12-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/153,064

(32)【優先日】2021-02-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】596130705

【氏名又は名称】キヤノン ユーエスエイ，インコーポレイテッド

【氏名又は名称原語表記】ＣＡＮＯＮ Ｕ．Ｓ．Ａ．，ＩＮＣ

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】村田 伸吾

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164SC11S

5C164VA21P

5C164YA08

(57)【要約】

ネットワークを介して接続された複数のクライアント間で実施されるリモートミーティングのためのサーバが提供される。サーバは、実行されると、リモートミーティングに参加するクライアントのユーザＩＤ情報とクライアントのビデオとを互いに関連付けて１つ以上のメモリに記憶し、所定のカメラによってキャプチャされたビデオと仮想ユーザＩＤ情報とを互いに関連付けて１つ以上のメモリに記憶し、かつ、ユーザＩＤ情報に関連付けられたビデオと仮想ユーザＩＤ情報に関連付けられたビデオとをリモートミーティングに参加するクライアントに送信するように１つ以上のプロセッサを構成する命令を記憶する１つ以上のメモリを含む。

【特許請求の範囲】

【請求項1】

ネットワークを介して接続された複数のクライアント間で実施されるリモートミーティングのためのサーバであって、前記サーバは、
１つ以上のプロセッサと、
１つ以上のメモリであって、実行されると、
前記リモートミーティングに参加するクライアントのユーザＩＤ情報と前記クライアントのビデオとを互いに関連付けて１つ以上のメモリに記憶し、
所定のカメラによってキャプチャされたビデオと仮想ユーザＩＤ情報とを互いに関連付けて１つ以上のメモリに記憶し、
前記ユーザＩＤ情報に関連付けられた前記ビデオと前記仮想ユーザＩＤ情報に関連付けられた前記ビデオとを前記リモートミーティングに参加するクライアントに送信する、
ように前記１つ以上のプロセッサを構成する命令を記憶する１つ以上のメモリと、
を備える、サーバ。

【請求項2】

請求項１に記載のサーバであって、前記所定のカメラは、ミーティングスペースに配されたネットワークカメラである、サーバ。

【請求項3】

請求項１に記載のサーバであって、前記クライアントの前記ビデオは、前記クライアントのコンピュータに接続または実装されたウェブカメラによってキャプチャされたビデオである、サーバ。

【請求項4】

請求項１に記載のサーバであって、前記１つ以上のプロセッサは、前記所定のカメラによってキャプチャされた前記ビデオから、ホワイトボード、表示画面、および、文書のうちの少なくとも１つの部分領域を特定するようにさらに構成され、
各部分領域は、異なる仮想ユーザＩＤ情報に関連付けられる、サーバ。

【請求項5】

請求項４に記載のサーバであって、前記クライアントから部分領域のビデオのリクエストを受信する受信ユニットをさらに備え、前記部分領域の前記ビデオは、前記ビデオのリクエストに応答して前記クライアントに送信される、サーバ。

【請求項6】

請求項１に記載のサーバであって、前記ユーザＩＤ情報に関連付けられた前記ビデオおよび前記仮想ユーザＩＤ情報に関連付けられた前記ビデオは、前記リモートミーティングの終了後に、リモートミーティングのビデオを再生するクライアントに送信される、サーバ。

【請求項7】

請求項１に記載のサーバであって、前記複数のクライアントの各ユーザＩＤ情報は、セキュリティレベル情報に関連付けられて前記１つ以上のメモリに記憶され、前記仮想ユーザＩＤ情報に関連付けられた前記ビデオは、所定のセキュリティレベル情報に関連付けられたクライアントに送信される、サーバ。

【請求項8】

請求項７に記載のサーバであって、前記所定のカメラによってキャプチャされた前記ビデオのうち各部分領域に対応する各仮想ユーザＩＤ情報は、セキュリティレベル情報に関連付けられて前記１つ以上のメモリに記憶され、前記クライアントに送信される部分領域のビデオは、前記クライアントの前記ユーザＩＤ情報に関連付けられた前記セキュリティレベル情報と、前記仮想ユーザＩＤ情報のそれぞれに関連付けられた前記セキュリティレベル情報と、に基づいて決定される、サーバ。

【請求項9】

請求項１に記載のサーバであって、前記ビデオは、前記ユーザＩＤ情報に関連付けられた前記ビデオと前記仮想ＩＤユーザ情報に関連付けられた前記ビデオとが異なるウィンドウに表示されるように、前記クライアントに送信される、サーバ。

【請求項10】

請求項１に記載のサーバであって、前記ユーザ情報と前記仮想ユーザＩＤ情報とは同じフォーマットである、サーバ。

【請求項11】

請求項４に記載のサーバであって、前記所定のカメラによってキャプチャされた前記ビデオ内の前記部分領域の位置を示す位置情報が、前記クライアントにさらに送信される、サーバ。

【請求項12】

ネットワークを介して接続された複数のクライアント間で実施されるリモートミーティングのためのクライアントであって、前記クライアントは、
１つ以上のプロセッサと、
１つ以上のメモリであって、実行されると、
各クライアントのビデオを受信し、
第１ウィンドウに、各クライアントの受信された前記ビデオを表示し、
前記第１ウィンドウの所定のボタンの指示に応答して、第２ウィンドウを表示する、
ように前記１つ以上のプロセッサを構成する命令を記憶する１つ以上のメモリと、を含み、
前記第２ウィンドウは、所定のカメラによってキャプチャされたビデオを表示する、クライアント。

【請求項13】

請求項１１に記載のクライアントであって、前記第２ウィンドウは、前記所定のカメラによってキャプチャされたビデオのうち、ホワイトボード、表示画面、および、文書のうち少なくとも１つの部分領域のビデオをさらに表示する、クライアント。

【請求項14】

請求項１１に記載のクライアントであって、前記１つ以上のプロセッサは、前記リモートミーティングのための参加ボタンに応答して、ミーティングＩＤ情報をサーバに送信し、かつ、前記第１ウィンドウの前記所定のボタンの指定に応答して、前記ミーティングＩＤ情報を含み、前記所定のカメラによってキャプチャされたビデオをリクエストするビデオリクエストを前記サーバに送信するようにさらに構成され、
前記第２ウィンドウは、前記ビデオリクエストを送信した後に前記サーバから受信された前記ビデオを表示する、クライアント。

【請求項15】

請求項１１に記載のクライアントであって、前記第２ウィンドウは、ウェブブラウザのウィンドウである、クライアント。

【請求項16】

請求項１３に記載のサーバであって、前記１つ以上のプロセッサは、前記所定のカメラによってキャプチャされた前記ビデオの前記部分領域の位置を示す位置情報を受信するようにさらに構成される、クライアント。

【請求項17】

請求項１６に記載のサーバであって、前記１つ以上のプロセッサは、前記位置情報によって位置が示される前記部分領域のユーザによる指定を検出するようにさらに構成され、
前記部分領域の拡大ビデオが、前記部分領域の前記指定の前記検出に応答して表示される、クライアント。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１２月２３日に出願された米国特許仮出願第６３／１３０，１９２号および２０２１年２月２４日に出願された米国特許仮出願第６３／１５３，０６４号の利益を主張するものであり、いずれもその全体が、参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、通信ネットワークを介した双方向オーディオビジュアル通信に関する。

【背景技術】

【0003】

１つの場所にいる個人のグループが、当該１つの場所に現在位置していない１人以上の個人とリモートで通信しているときを含む、ユーザ間のオンラインミーティングが知られている。現在のオンラインミーティングソリューションは、１人あたり１つのビュー、または、特定のカメラからの１つのビューを提供する。特定のミーティングルーム内のオフィスの個人とリモートユーザ（例えば、自宅のユーザ）との間のオンラインミーティングの場合、リモートユーザは、オフィススペースの固定ビューのみを見ることができる。本開示によるシステムおよび方法は、ミーティングルームのユーザと、オンラインでミーティングに参加し、リモートに位置するユーザと、の間のコラボレーションを向上するために、現在のオンラインミーティングソリューションに関する欠点を改善する。

【発明の概要】

【0004】

本開示の態様によると、ネットワークを介して接続された複数のクライアント間で実施されるリモートミーティングのためのサーバが提供される。サーバは、１つ以上のメモリであって、実行されると、リモートミーティングに参加するクライアントのユーザＩＤ情報とクライアントのビデオとを互いに関連付けて１つ以上のメモリに記憶し、所定のカメラによってキャプチャされたビデオと仮想ユーザＩＤ情報とを互いに関連付けて１つ以上のメモリに記憶し、ユーザＩＤ情報に関連付けられたビデオと仮想ユーザＩＤ情報に関連付けられたビデオとをリモートミーティングに参加するクライアントに送信するように１つ以上のプロセッサを構成する命令を記憶する１つ以上のメモリを含む。

【0005】

１つの実施形態によると、所定のカメラは、ミーティングスペースに配されたネットワークカメラである。別の実施形態において、クライアントのビデオは、クライアントのコンピュータに接続または実装されたウェブカメラによってキャプチャされたビデオである。

【0006】

別の実施形態において、１つ以上のプロセッサは、所定のカメラによってキャプチャされたビデオから、ホワイトボード、表示画面、および、文書のうちの少なくとも１つの部分領域を特定するようにさらに構成され、各部分領域は、異なる仮想ユーザＩＤ情報に関連付けられる。別の実施形態において、サーバは、クライアントから部分領域のビデオのリクエストを受信し、部分領域のビデオは、ビデオのリクエストに応答してクライアントに送信される。

【0007】

別の実施形態において、ユーザＩＤ情報に関連付けられたビデオおよび仮想ユーザＩＤ情報に関連付けられたビデオは、リモートミーティングの終了後に、リモートミーティングのビデオを再生するクライアントに送信される。複数のクライアントの各ユーザＩＤ情報は、セキュリティレベル情報に関連付けられて１つ以上のメモリに記憶され、仮想ユーザＩＤ情報に関連付けられたビデオは、所定のセキュリティレベル情報に関連付けられたクライアントに送信され、所定のカメラによってキャプチャされたビデオのうちの各部分領域に対応する各仮想ユーザＩＤ情報は、セキュリティレベル情報に関連付けられて１つ以上のメモリに記憶され、クライアントに送信される部分領域のビデオは、クライアントのユーザＩＤ情報に関連付けられたセキュリティレベル情報と、仮想ユーザＩＤ情報のそれぞれに関連付けられたセキュリティレベル情報と、に基づいて決定される。

【0008】

別の実施形態によると、ビデオは、ユーザＩＤ情報に関連付けられたビデオと仮想ＩＤユーザ情報に関連付けられたビデオとが異なるウィンドウに表示されるように、クライアントに送信される。

【0009】

別の実施形態において、ネットワークを介して接続された複数のクライアント間で実施されるリモートミーティングのためのクライアントが提供される。クライアントは、１つ以上のプロセッサと、実行されると、各クライアントのビデオを受信し、第１ウィンドウに、各クライアントの受信されたビデオを表示し、かつ、第１ウィンドウの所定のボタンの指示に応答して、第２ウィンドウを表示するように１つ以上のプロセッサを構成する命令を記憶する１つ以上のメモリと、を含み、第２ウィンドウは、所定のカメラによってキャプチャされたビデオを表示する。

【0010】

別の実施形態において、第２ウィンドウは、所定のカメラによってキャプチャされたビデオのうち、ホワイトボード、表示画面、および、文書のうち少なくとも１つの部分領域のビデオをさらに表示する。

【0011】

さらなる実施形態において、１つ以上のプロセッサは、リモートミーティングのための参加ボタンに応答して、ミーティングＩＤ情報をサーバに送信し、かつ、第１ウィンドウの所定のボタンの指定に応答して、ミーティングＩＤ情報を含み、所定のカメラによってキャプチャされたビデオをリクエストするビデオリクエストをサーバに送信するようにさらに構成され、第２ウィンドウは、ビデオリクエストを送信した後にサーバから受信されたビデオを表示する。

【0012】

別の実施形態において、１つ以上のプロセッサは、所定のカメラによってキャプチャされたビデオの部分領域の位置を示す位置情報を受信し、位置情報によって位置が示される部分領域のユーザによる指定を検出するようにさらに構成され、部分領域の拡大ビデオが、部分領域の指定の検出に応答して表示される。

【0013】

本開示のこれらおよび他の目的、特徴および利点は、添付の図面および提供される特許請求の範囲と併せて、本開示の例示的な実施形態の以下の詳細な説明を読むことによって明らかになるのであろう。

【図面の簡単な説明】

【0014】

【図1】図１は、本開示によるオンラインミーティングソリューションの説明図である。

【0015】

【図2】図２は、本開示によるオンラインミーティングソリューションのブロック図である。

【0016】

【図3】図３は、本開示によるオンラインミーティングソリューションの例示的な動作を示すフロー図である。

【0017】

【図4】図４は、本開示によるオンラインミーティングソリューションを使用するリモート参加者のための例示的なユーザインタフェース表示である。

【0018】

【図5A】、

【図5B】図５Ａ～図５Ｂは、本開示によるオンラインミーティングソリューションを使用するリモート参加者のための例示的なユーザインタフェース表示である。

【0019】

【図6A】、

【図6B】、

【図6C】、

【図6D】図６Ａ～図６Ｄは、本開示によるオンラインミーティングのソリューションを使用するリモート参加者のための例示的なユーザインタフェース表示である。

【0020】

【図7】図７は、本開示によるオンラインミーティングソリューションの説明図である。

【0021】

【図8】図８は、本開示によるアルゴリズムを実行する装置のハードウェアコンポーネントを詳述するブロック図である。

【0022】

図面全体を通して、同じ参照符号および文字は、別段の記載がない限り、図示された実施形態の同様の特徴、要素、構成要素または部分を示すために使用される。さらに、本開示は、図面を参照して詳細に説明されるが、それは、例示的に示される実施形態に関連して行われる。添付の特許請求の範囲によって定義される主題の開示の真の範囲および趣旨から逸脱することなく、記載された例示的な実施形態に対して変更および修正を行うことができることが意図される。

【発明を実施するための形態】

【0023】

図面全体を通して、同じ参照符号および文字は、別段の記載がない限り、図示された実施形態の同様の特徴、要素、構成要素または部分を示すために使用される。さらに、本開示は、図面を参照して詳細に説明されるが、それは、例示的に示される実施形態に関連して行われる。添付の特許請求の範囲によって定義される主題の開示の真の範囲および趣旨から逸脱することなく、記載された例示的な実施形態に対して変更および修正を行うことができることが意図される。

【0024】

以下、本開示の例示的な実施形態が、図面を参照しながら詳細に説明される。なお、以下の例示的な実施形態は、本開示を実施するための一例に過ぎず、本開示が適用される装置の個々の構成や様々な条件に応じて適切に修正または変更することができる。したがって、本開示は、以下の例示的な実施形態に限定されるものではなく、以下に説明する図および実施形態によれば、以下に例として説明する状況以外の状況において、以下に説明する実施形態を適用／実施することができる。

【0025】

オンラインミーティングなどのリアルタイム通信環境において、オンラインミーティングアプリケーションは、データ通信量を低減する必要がある。その結果、オンラインミーティングシステムからのビデオデータのストリーミングは、より低い画質でビデオデータを提供することがある。オフィススペースのミーティングルームおよび１人以上のリモートの個人（例えば、自宅のユーザ）などの１つの場所での個人間のミーティングの場合、リモートユーザであるそのような個人は、１つの被写体に焦点が合うズームアウトビューまたはズームインビューのみを見ることができる。さらに、現在のオンラインミーティングアプリケーションは、典型的には、ソースから、ビデオストリームがキャプチャされているソースにないリモートユーザへの一方向の配信である。参加者の操作に従ってストリーミングビデオを変更することは困難であり、これは、リモート参加者が、イメージキャプチャデバイスの所定のビューを見ることを余儀なくされ、参加者が、ビデオストリームがキャプチャされている場所で見たいものに焦点を合わせることができないことを意味する。これらの理由から、ミーティング参加者（リモートユーザ）は、自分が見たいものを見ることができない。

【0026】

以下の開示は、オフィスなどの１つの場所に物理的に位置しうるユーザと、リモートに位置する１人以上の個人と、の間の即時のコラボレーションを可能にするオンラインミーティングアプリケーションを示す。このシステムは、有利には、リモートのユーザがイメージキャプチャデバイスによって１つの場所でキャプチャされた視野に対する強化された制御を有することを可能にする、この環境での通信を容易にするために、異なる識別子を割り当て、管理し、使用する。したがって、リモートユーザは、リモートユーザの定義付けまたは選択に従って、１つの場所を閲覧することができる。これは、ミーティングスペースにおいてカメラによってキャプチャされたビデオと、キャプチャされたビデオから切り出された１つ以上の切り出しビデオと、のそれぞれに、ユーザＩＤ情報（仮想参加者ＩＤ／仮想ウェブカメラＩＤ）を割り当て、オンラインミーティングシステムが、実参加者のビデオだけでなく、これらのビデオも配信することを可能にすることによって達成される。

【0027】

図１に示される本開示によると、サーバ（図２）上で実行されるオンラインミーティングアプリケーションは、カメラなどの単一のイメージキャプチャデバイスによってキャプチャされたイメージストリーム内の１つ以上の異なるタイプの被写体および１人以上の異なるユーザを識別するために認識処理を実施する。１つ以上の異なるタイプの被写体は、ホワイトボード、人、文書、ノートを含むが、これらに限定されない。他の実施形態において、被写体の検出は、手書きまたはタイプされたコンテンツ、１つ以上の画像、コンピューティングデバイス（たとえば、ラップトップ、タブレット、スマートフォンなど）のディスプレイを含む任意の被写体を自動的に検出してもよい。認識処理は、イメージキャプチャエリア内の１人以上のユーザを識別する顔検出アルゴリズムを実行することをさらに含んでいてもよい。

【0028】

図１に示されるように、イメージキャプチャデバイス１０８によって選択的にキャプチャされる１つ以上の被写体１０４および１人の人１０６を含むイメージキャプチャエリア１０２が示されている。上述のように、１つ以上の被写体は、ホワイトボードなどの書き込み面を含む。追加して、後述するように、１つ以上の被写体は、イメージキャプチャエリア内に位置する人間のユーザではない任意の被写体である。図１において、ユーザ１０６は、ユーザＡ、ユーザＢ、ユーザＣおよびユーザＤとして示されているが、これに限定されるものではない。任意の人数のユーザ１０６が、イメージキャプチャエリア１０２内に存在しうる。

【0029】

１つの実施形態において、認識処理は、ミーティングの前に行われ、キャプチャされたビデオストリーム内の１つ以上の被写体が識別されると、カメラからオンラインミーティングシステムにビデオデータをストリーミングする前に、それらの被写体が切り出される。別の実施形態において、ミーティングが起動されてもよく、イメージキャプチャエリアに入る、および／または、イメージキャプチャエリアから出るユーザおよび被写体の存在が新たに検出されたことに基づいて、認識処理が継続的に実施される。

【0030】

図２のサーバ上で実行されるミーティングアプリケーションは、イメージキャプチャデバイス１０８によってキャプチャされているビデオデータ内の認識処理の結果に基づいて、所定の領域を切り出すためにビデオイメージ切り出し動作を実施する。これらの切り出し領域は、ミーティングアプリケーションがサーバ上で実行することによって抽出され、図１に示すように、個々の仮想参加者ストリームのソースになるように制御される。したがって、ミーティングアプリケーションによって作成された切り出されたストリーミングビデオ領域は、個々の切り出されたビデオストリームをオンラインミーティングシステムにフィードおよび送信するための入力として提供される、それぞれの仮想ビデオフィードを表す。

【0031】

オンラインミーティングアプリケーションは、これらの仮想ビデオフィード（例えば、仮想ウェブカメラ）を取得し、個々の仮想ビデオを仮想参加者としてオンラインミーティングに参加させる。図１に示されるように、イメージキャプチャデバイス１０８は、認識処理を実施し、認識処理の実施中に認識された、イメージキャプチャエリア１０２を示すフレームから切り出されたユーザまたは被写体を示すキャプチャエリア内の６つの領域を識別し、それぞれ個別の仮想ビデオストリームとして提供される。第１ビデオストリーム１１０は、イメージキャプチャデバイス１０８によってキャプチャされたイメージキャプチャエリア１０２全体を示し、イメージキャプチャエリア１０２内のイメージキャプチャデバイス１０８の視野内のすべてのユーザおよびオブジェクトのルーム内完全ビューを提供する。第１仮想ビデオストリーム１１０は、（以下で説明するように）第１仮想ビデオストリーム１１０を一意に識別するための第１仮想識別子を割り当てられ、その結果、第１仮想ビデオストリーム内のビデオデータは、以下で説明するようにリモートユーザインタフェースによって処理されうる。認識処理の結果は、イメージキャプチャエリア内の５つの領域に、ビデオフレーム内のアイテムを識別するように訓練された認識エンジンによって認識された被写体またはユーザのいずれかが含まれていることを示す。

【0032】

イメージキャプチャデバイス１０８によってキャプチャされたビデオデータに対して実施された認識処理は、ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤが認識されたことを示す。１つの実施形態において、ユーザのイメージがキャプチャされ、ユーザ名と識別情報とがリンクされたイメージリポジトリと比較され、これらのユーザが認識される結果となる。この認識に基づいて、ミーティングアプリケーションは、ユーザＡ、Ｂ、Ｃ、Ｄの認識された顔の周りに境界ボックスを形成し、切り出しによってそれぞれの境界ボックス内に含まれるビデオデータを抽出し、切り出された各領域に仮想ビデオストリーム識別子を割り当てる。第２仮想ビデオストリーム１１２が、ユーザＡに関連付けられる。第３仮想ビデオストリーム１１４が、ユーザＢに関連付けられる。第４仮想ビデオストリーム１１６が、ユーザＣに関連付けられ、第５仮想ビデオストリーム１１８が、ユーザＤに関連付けられる。

【0033】

また、図２のサーバ上で実行されるミーティングアプリケーションによって実施される認識処理は、書き込み面１０４に対応する被写体を認識する。１つの実施形態において、認識処理は、ミーティングアプリケーションに入力され、認識対象の被写体がイメージキャプチャエリア１０２内のどこに位置するかを画素単位で表すプリセットされた位置情報に基づいて、この被写体を認識する。別の実施形態において、認識エンジンが、フレーム内の種々の被写体を自動的に識別するために、複数の異なるタイプの被写体を認識するように訓練されている。いくつかの実施形態において、認識エンジンが、イメージキャプチャデバイス１０８によってキャプチャされたビデオデータストリームから抽出されうる、その上に書き込まれたテキストを含む、本または紙などの被写体を認識するように訓練されうる。この例示的な実施形態において、認識処理は、書き込み面１０４を識別し、認識された被写体１０４に対応するイメージキャプチャエリアの領域からビデオデータを抽出し、この情報を第６仮想ビデオストリーム１２０に関連付ける。

【0034】

仮想参加者（切り出された被写体）を実参加者から効果的に分離するために、ミーティングアプリケーションは、ミーティング識別子１２４を有する仮想ミーティングセッション１２２を起動し、その仮想ミーティングセッションを現在のオンラインミーティングセッション１２６に関連付ける。現在のオンラインミーティングは、現在のオンラインミーティングセッション１２６に参加した参加者間の音声通信を含むバックエンドミーティングプロセスを制御する。１つの実施形態において、オンラインミーティングセッション１２６は、ＭＩＣＲＯＳＯＦＴ ＴＥＡＭＳ（登録商標）または他の同様のタイプのアプリケーションなどの制御アプリケーションを使用して起動され、それによって、ユーザＡ～ｄの各々はミーティング参加者として参加している。１つの実施形態において、仮想ミーティングセッション識別子１２４を生成するミーティングアプリケーションと、現在のオンラインミーティングセッションを制御する制御アプリケーションと、は別個のアプリケーションである。仮想ミーティングセッション１２２は、仮想ミーティングセッションへのリモートアクセスを可能にする仮想ミーティング識別子を含む。１つの実施形態において、現在のオンラインミーティングセッション１２６は、すべてのオンライン参加者１４０が参加することを可能にし、参加者１４０によって閲覧可能である現在のオンラインミーティングセッションユーザインタフェース１４２、および、仮想ミーティングセッション１２２もまた含む。

【0035】

仮想ミーティング識別子は、すべての仮想ビデオストリーム１１０～１２０を識別する情報にリンクし、図２のサーバ上で実行されるミーティングアプリケーションによって起動される仮想ミーティングセッション識別子１２４を使用して、現在のオンラインミーティングセッション１２６に参加者として参加する。別の実施形態において、別の仮想ミーティングセッションを開始する代わりに、我々のアプリケーションは、仮想参加者を実参加者から区別するために、仮想フラグを参加者情報に設定してもよい。これらの仮想ウェブカメラフィード参加者を使用して、すべてのユーザ（ミーティング参加者）は、オンラインミーティングシステムを介して、切り出されたビデオを見ることができる。最も重要なことは、ユーザが、仮想参加者を選択することによって、オフィスの人または被写体の詳細を見ることができることである。

【0036】

仮想ミーティングセッション１２２に関連付けられた種々の仮想ビデオストリーム１１０～１２０は、ユーザインタフェースの異なる領域における仮想ビデオデータストリーム１１０のうちの１つ以上の表示を可能にする拡張ユーザインタフェース１３０を表示することができる１つ以上のリモートユーザに通信される。仮想ミーティングセッション１２４は、ラップトップ、デスクトップ、スマートフォン、または、タブレットコンピュータなどのコンピューティングデバイス上で実行されるウェブブラウザを使用して選択的にアクセス可能な識別子を含む。仮想ミーティングセッション識別子は、ウェブブラウザユーザインタフェース内でレンダリングすることができる一連の個々のビデオソースを提供し、以下で説明するように、ユーザが、複数の仮想ビデオストリーム１１０～１２０から選択して、リモートコンピューティングデバイス上でレンダリングされているユーザインタフェース内の定義された場所に表示することを可能にする。図１に示される例示的なビューでは、ユーザインタフェース１３０は、アクセスを得るために使用される仮想ミーティング識別子１２２に関連付けられた仮想ビデオデータストリーム１１０～１２０の１つ以上をそれぞれが表示することができる３つの表示領域を含む。この例において、１つの表示領域が、画像キャプチャエリア全体を示す第１仮想ビデオストリーム１１０を表示する。第２の異なる表示領域が、書き込み面１０４であると認識された被写体を示す第６仮想ビデオデータストリーム１２０を表示し、第１表示領域および第２表示領域とは異なる第３表示領域が、それぞれのユーザＡ～Ｄのそれぞれに関連付けられた第２ビデオデータストリーム～第４ビデオデータストリームを表示する。表示領域およびそれらのそれぞれのコンテンツの位置は、単なる例示であり、リモートユーザは、仮想ミーティング識別子１２２を使用するアクセスに基づいて受信されたビデオデータストリームの位置を選択的に変更してもよい。

【0037】

本開示によるシステムはまた、図２に示される、１つ以上のサーバ２００、１つ以上のクラウドサービスアプリケーション２３０、および、ラップトップ、タブレット、コンピュータ、スマートフォンなどのクライアントコンピューティングデバイス２５０上で実行する１つ以上のクライアントアプリケーションを含む。

【0038】

システムは、イメージキャプチャエリア１０２をキャプチャするためにオフィスまたはミーティングルームなどの特定の物理的な場所でカメラ１０８と接続する１つ以上のサーバ２００を含む。サーバ２００は、カメラ１０８を制御し、カメラ１０８の所定の視野内のビデオイメージ２０１を継続的にキャプチャする。カメラ１０８は、ビデオデータフォーマットのビデオデータ２０１を受信するストリーミングインタフェース２０２を介してサーバ２００に接続される。ストリーミングインタフェース２０２は、ＨＤＭＩ規格に適合するコネクタケーブルを介してカメラ１０８に結合されるビデオキャプチャカードを含みうる。別の実施形態において、ストリーミングインタフェース２０２は、ネットワークに結合され、パケット化されたビデオデータ２０１を受信するネットワークコネクタでありうる。サーバ２００は、図１および以下の両方で本明細書に記載される機能を実施する複数のアプリケーションを含み、人および／またはホワイトボードなどの上述の被写体を検出するアプリケーションを含む。サーバ２００は、１つ以上の検出された被写体に関連付けられた画像データを切り出し、補正し、切り出された領域の仮想ビデオデータストリーム識別子を割り当てる、ビデオ処理アプリケーション２０４を含む。ビデオ処理アプリケーションは、表１に示される定義されたフォーマットを有する仮想識別子を割り当てる。

【表1】

仮想識別子フォーマットは、それに関連付けられた仮想ビデオデータストリームを特徴付ける、または、他の方法で記述する「｛タイプ｝」情報を含む。サーバは、「タイプ」情報を取得するためにイメージ認識処理を実施する。サーバ２００は、ルーム、人、ホワイトボード、リモート、被写体からタイプの１つを決定する。タイプ情報の例は、（ａ）ルーム情報、（ｂ）被写体情報、および、（ｃ）ユーザ情報を含むが、これに限定されない。ルーム情報は、切り出されたビデオデータストリームがイメージキャプチャエリアの描写を識別することを識別する。被写体情報は、それに関連付けられた切り出された仮想ビデオデータストリームが上述の認識処理を使用して認識された被写体であることを識別する。ユーザ情報は、切り出されたビデオデータストリームが認識処理の結果、認識された人（またはユーザ）のビデオを含むことを示す。別の実施形態において、タイプ情報はまた、リモートユーザビデオデータがキャプチャできる場合に、ビデオデータストリームがリモートユーザから発信されることを示すリモートユーザ情報であってもよい。｛名前｝情報は、特定の切り出された仮想ビデオデータストリームを特徴付ける情報を含む。例は、システムが導入されているルームの名前、顔認識に基づいて決定されたユーザの名前、記憶された顔に関連付けられたユーザ名を有する顔イメージリポジトリとの比較を含む（ユーザが認識されない場合には、「ゲストユーザ」などの一般名が、代わりに使用できる）。また、｛名前｝情報の一部として、「ホワイトボード」、「本」、「紙」、「注目領域」など、認識された被写体のタイプの名前が、使用されてもよい。複数の同じタイプの被写体が認識される場合に、システムが同じタイプの２つの異なる被写体を認識できるように、数値識別子が、追加されてもよい（例えば、「ホワイトボード１」および「ホワイトボード２」）。例示的な１つの実施形態において、サーバは、「名前」情報を取得するために顔認識処理を実施する。サーバが特定の人を識別できない場合、「名前」は「ゲスト」と決定される。人以外のタイプの「名前」は、所定のルールに基づいて決定される。例えば、タイプがホワイトボードであるビデオストリームの名前は、「ホワイトボードＡ」と決定される。「｛ＩＤ｝」は、認識処理中に認識された異なる数の仮想ビデオデータストリームに注目する一意の識別子である。１つの実施形態において、サーバは、名前ラベルに基づいてデータベースを参照することによって「ＩＤ」を識別する。上述の例示的な実施形態で説明したように、カメラ１０８によってキャプチャされ、ストリーミングインタフェース２０２を介して受信されたビデオデータストリーム２０１に対して実行される認識処理は、処理アプリケーション２０４によって処理される。図１に対するその処理の結果、複数の領域が認識され、表２のビデオストリーム名の列の括弧内に図１からの参照番号が示される。次に、以下の表２の情報が、登録サービス２０６によって、以下で説明するシステムの他のコンポーネントによって使用される仮想参加者およびそれらの関連識別子を登録するために使用される。

【表2】

【0039】

サーバはまた、ミーティングコネクタ２０８として動作し、１つのイメージフレーム内から切り出されたビデオ領域のそれぞれを、現在のオンラインミーティングの一部として参加することができる仮想ミーティングの一部として参加する、表２からの仮想ビデオストリーム識別子に関連付ける。

【0040】

システムはまた、オンラインミーティングセッションおよび仮想ミーティングセッションを管理するための１つ以上のクラウドサービス２３０を含む。例示的なクラウドサービスは、ＭＩＣＲＯＳＯＦＴ ＴＥＡＭＳ、ＺＯＯＭ、ＷＥＢＥＸなどのオンラインミーティングアプリケーションである。サーバ上で実行されるアプリケーションは、オンラインミーティングアプリケーションへの入力として機能する。より具体的には、登録された仮想参加者識別子は、コネクタ２０８からミーティング管理制御アプリケーション２３２の入力として、現在のオンラインミーティングセッション２３６に同時に提供される。仮想ビデオデータストリームを形成する切り出し領域のそれぞれからのそれぞれの識別子に関連付けられた１つ以上の仮想ビデオデータストリームを示すビデオデータ２１０は、仮想ミーティングセッション２３４に提供される。

【0041】

システムは、各リモート参加者２６０が、オンラインミーティングアプリケーション２５４にアクセスし、本開示のミーティングアプリケーションを使用する仮想ミーティングセッションを介してサーバ２００に接続されたカメラ１０８によってキャプチャされた異なる仮想ビデオデータストリーム２１０を、ウェブブラウジングアプリケーション２５２を介して受信し、対話することを可能にする、クライアントコンピューティングデバイス２５０上で実行される１つ以上のクライアントアプリケーションを、システムはさらに含む。クライアントは、クラウドサービス２３０に接続し、ユーザがオンラインミーティング２５２に関連する任意の機能を操作することを可能にする。クライアントデバイス２５０は、クラウドサービス２３０から仮想ビデオデータストリーム２１０の１つ以上を示すストリーミングビデオを取得し、それらをクライアントデバイス２１０のディスプレイ上のユーザインタフェースに表示することができる。クライアントデバイス２５０は、２つのユーザインタフェースを有し、一方は、サードパーティミーティングアプリケーション（例えば、ＴＥＡＭＳ）などのオンラインミーティング２５４用であり、他方は、ウェブブラウザ２５２を介した仮想オンラインミーティング仮想オンラインミーティング用である。

【0042】

例示的な動作において、ユーザインタフェース（ＵＩ）ジェネレータが、クラウドサービスから受信された表示名に基づいて表示レイアウトを決定する。表示名は、ユーザインタフェースが表示されるビデオカンファレンスプラットフォームに表示される各参加者の名前である。ログイン後、クライアントＡは、クラウドサービスから受信したビデオストリームから、タイプが「ルーム」であるビデオストリームを識別し、表示する。ユーザＡが「ホワイトボードビューモード」を選択すると、クライアントＡは、タイプが「ホワイトボード」であるビデオストリームを識別し、タイプが「ルーム」であるビデオストリームの代わりにそれを表示する。ユーザＡが「２つのビューモード」を選択すると、クライアントＡは、タイプが「ルーム」であるビデオストリームを識別し、それを表示画面の大きな領域に表示し、タイプが「ホワイトボード」であるビデオストリームもまた識別し、それを表示画面のより小さな領域に表示する。切替ボタンを用いて、大領域および小領域のビデオは、入れ替えることができる。

【0043】

図３は、本開示に関して本明細書で説明されるデータフローおよびアルゴリズム動作を詳細に説明するフロー図である。サーバ２００は、オフィスなどの所定の場所のユーザからミーティング開始リクエスト３００を受信する。サーバ２００は、クラウドサービス２３０にリクエスト３００を送信する。１つの実施形態において、ミーティングリクエストは、サーバ２００に結合されたユーザインタフェースから開始ミートコマンドを送信する、または、サーバ２００に結合されたカメラ１０８によって認識されるジェスチャコマンドを介して、起動されてもよい。次に、クラウドサービス２３０は、第１オンラインミーティングセッション３０２を開始する。この第１オンラインミーティングセッション３０２は、ＴＥＡＭＳによって作成されるなどのコントロールミーティングアプリケーションセッションである。オンラインミーティングセッションが開始されると、クラウドサービスは、「ミーティングＩＤ」３０４を取得する。コントロールミーティングアプリケーションとの統合により、「ミーティングＩＤ」３０４が、コントロールミーティングアプリケーションによって発行される。統合がない場合、「ミーティングＩＤ」３０４は、サーバ２００によって生成される。

【0044】

第１オンラインミーティングセッション３０２を開始した後に、クラウドサービス２３０は、仮想ミーティングセッションを示す第２ミーティングセッション３０３を開始する。仮想ミーティングセッション３０３が開始されると、クラウドサービス２３０は、「仮想ミーティングＩＤ」３０５を取得する。「仮想ミーティングＩＤ」３０５は、サーバ２００によって生成される。クラウドサービス２３０は、コントロールミーティングセッション３０２に関連付けられたユーザインタフェースから、拡張オフィスビューのための別個のＵＩを生成するために使用されるべき情報を提供するために、第２（仮想）ミーティングセッション３０３を開始する。クラウドサービス２３０は、上記で説明した「ミーティングＩＤ」３０４を取得または生成する前に、「仮想ミーティングＩＤ」３０５を取得することができることに留意されたい。

【0045】

クラウドサービス２３０は、「ミーティングＩＤ」３０４を「仮想ミーティングＩＤ」３０５に関連付けてデータベース３０７にそれらを記憶する関連付けステップ３０６を実施する。クラウドサービス２３０は、「仮想ミーティングＩＤ」３０５をサーバ２００に送信する。サーバは、「仮想ミーティングＩＤ」をそのメモリまたはデータベースに保持する。さらに、「ミーティングＩＤ」３０４を「仮想ミーティングＩＤ」３０５に関連付けた後に、コントロールミーティングアプリケーションを介してオンラインミーティングセッション３０２に接続されたユーザが、上述したように、ウェブブラウザアプリケーションをクライアントデバイス上で開かせるリンク３０８を選択することによって、仮想ミーティングセッション３０３に直接リンクし、アクセスすることができるように、仮想ミーティングセッション３０３へのリンク３０８が、コントロールミーティングアプリケーションによって作成されたオンラインミーティングセッション３０２に提供される。

【0046】

第１ミーティングセッション３０２および第２仮想ミーティングセッション３０３の両方が開始されると、サーバ２００は、カメラ１０８からストリーミングビデオデータ３１０のキャプチャを開始するようにカメラ１０８を制御する。１つの実施形態において、カメラは、ネットワークカメラである。別の実施形態において、カメラは、オフィスのミーティングルームなど、実質的に所定の場所の全体の視野を有する任意の専用のカメラである。

【0047】

サーバ２００は、認識処理３１２を実施し、カメラ１０８によってキャプチャされたビデオデータ３１０のフレーム内から１つ以上の被写体を検出する。認識処理３１２は、人、ホワイトボード、表示画面、および、文書などの１つ以上の所定の被写体を識別する。これらは単なる例示であり、任意の被写体が、被写体検出中に検出された所定の被写体の１つとして設定されてもよい。

【0048】

各被写体検出のための決定処理は、３１４で開始し、サーバ２００は、さらに処理されておらず、かつ、仮想ビデオデータストリームがまだ作成されていない検出された被写体３１２が存在するかどうかを問い合わせる。検出された被写体ごとの反復処理は、以下の通りである。サーバは、３１６において、ビデオデータ３１０から検出された被写体を切り出すために画像処理を実施し、３１８において、切り出された領域内のビデオデータの仮想ビデオデータストリームまたは仮想イメージフィードなどの新しい（別の）ストリーミングビデオ被写体を作成する。仮想ビデオデータストリーム被写体は、メモリまたはデータベースに記憶されるサーバによって生成される、表１および表２に示されるような「仮想ビデオデータストリームＩＤ」３２０を割り当てられる。「仮想ウェブカメラＩＤ」は、検出された被写体およびそのストリーミングビデオに関連する。

【0049】

３１６～３２０における被写体の検出に基づいて仮想被写体を作成した後、かつ、３１４において、ビデオデータストリーム３１０が、さらなる認識された被写体または人を含まないと決定された後に、サーバは、検出され、それに関連付けられた仮想ビデオデータストリーム識別子３２０を有する仮想被写体ごとに、以下の処理を実行する。

【0050】

それぞれの仮想ビデオデータストリーム識別子３２０を使用して、サーバ２００は、サーバ２００からクラウドサービス３２０に送信される参加リクエスト３２４を介して、それぞれの検出された被写体を仮想参加者として仮想ミーティングセッション３０５を参加３２２させる。検出された被写体が仮想ミーティングセッション３０３に参加すると、サーバ２００は、クラウドサービス２３０から「仮想参加者ＩＤ」３２６を取得する。クラウドサービスは、誰か（または何か）が仮想ミーティングセッション３０３に参加すると、「（仮想）参加者ＩＤ」３２６を生成する。サーバは、参加者ＩＤ３２６をメモリまたはデータベースに記憶（３２７）させる。

【0051】

サーバは、関連付け処理３２８を実施し、「（仮想）参加者ＩＤ」３２６を「仮想ビデオデータストリームＩＤ」３２０に関連付け、関連付けられた仮想ビデオデータストリーム３２０を仮想参加者ストリームビデオとして仮想ミーティングセッション３０３に入力としてフィードする。仮想ミーティングセッションに関連付けられた１つ以上のビデオは、図１および図４および図５Ａおよび図５Ｂで再び説明されるように、クライアントアプリケーションまたはデバイスから受信されたリクエストに応答してクライアントに提供される。ステップ３２２～３２８に関連付けられた処理は、仮想ビデオデータストリームＩＤ３２０ごとに繰り返される。

【0052】

ミーティング終了処理が、受信されたミーティング終了リクエストがあるかどうかを判定する３３０で始まる。ミーティング終了リクエストがない場合、処理は３１０に戻る。終了ミーティングリクエストが受信されている場合、サーバは、仮想ミーティングセッション３０３に送信される切断（例えば、終了ミーティング）メッセージ３３４を生成する切断処理３３２を実施し、すべての参加者ビデオデータストリームが仮想ミーティングセッション３０３から退出し、結果として、すべてのビデオストリーミングが停止する。その後、終了処理３３６が実施され、サーバ２００は、「仮想ミーティングＩＤ」３０５および終了ミーティングリクエスト３３８をクラウドサービス２３０に送信する。クラウドサービスは、「仮想ミーティングＩＤ」３０５に関連する「オンラインミーティングＩＤ」３０４を取得し、クラウドサービスは、第１終了処理３３８を介して仮想ミーティングセッション３０３を終了し、第２終了処理３４０を介してコントロールミーティングセッションを終了する。

【0053】

図４および図５Ａおよび図５Ｂは、オンラインミーティングに参加しうるクライアントデバイスによって表示される例示的なユーザインタフェースである。コントロールミーティングセッション３０２が開始すると、ユーザは、それ自体の専用ユーザインタフェースを有する専用コントロールミーティングアプリケーションを使用して、コントロールミーティングセッションに参加する。ユーザは、クライアントデバイス上で実行されるウェブブラウジングアプリケーションを介して仮想ミーティングセッション３０３に参加する。クラウドサービス２３０は、オンラインミーティングセッションを仮想ミーティングセッションに既に関連付けているため、オンラインミーティングセッションは、仮想ミーティングセッションへのリンクを有する。ユーザが仮想ミーティングへのリンクを選択すると、クライアントＵＩが開く。ユーザは、クライアントＵＩを介して仮想ミーティングセッションに参加することができ、クライアントは、１つ以上の仮想ビデオデータストリーム（例えば、部分領域のビデオを示す切り出されたビデオ）のリクエストをクラウドサービス２３０に送信し、クライアントは、クラウドサービス２３０から受信した１つ以上の仮想ビデオデータストリームを表示する。

【0054】

クライアントデバイス上で実行されるウェブブラウザを介して閲覧可能な仮想ミーティングセッション３０３において、検出された被写体または検出された人を示す仮想ビデオデータストリームは、（仮想）参加者ビデオとしてストリーミングされる。クライアントデバイス上で実行されるウェブブラウザ内のユーザインタフェースは、ユーザが上記の認識処理に基づいて生成される仮想ビデオストリームのすべての間でビューを変更することができるように、画面上のストリーミングビデオを切り替える機能をユーザに提供する。ユーザインタフェースは、クライアントデバイスがオンラインミーティングセッションの終端後に、参加者ＩＤにそれぞれ関連付けられた１つ以上のビデオと、仮想参加者ＩＤにそれぞれ関連付けられた１つ以上のビデオと、を再生することを可能にすることに留意されたい。別の実施形態において、サーバが、各ビデオを記憶し、クライアントからのリクエストに応答してそれを提供してもよい。

【0055】

別の実施形態において、各参加者ＩＤは、セキュリティレベル情報に関連付けられ、仮想ビデオデータストリームＩＤ（または仮想参加者ＩＤ）に関連付けられた１つ以上のビデオは、所定のレベルよりも高いセキュリティレベルを有するセキュリティレベル情報に対応するセキュリティレベル情報を有するクライアントデバイスにのみ提供される。代わりに、サーバ２００は、仮想ビデオデータストリームをリクエストするクライアント（またはクライアントデバイス）のセキュリティレベルと、ビデオデータストリームに帰属されるセキュリティレベルと、の比較に基づいて、仮想ビデオデータストリームＩＤに関連付けられたビデオが提供されるべきか否かを決定することが可能であってもよい。

【0056】

別の実施形態として、クラウドサービスは、ユーザが位置情報によって定義されたミーティングスペースのビデオ上の領域を示すときに、クライアントが切り出されたものを表示するように、ミーティングスペースのビデオ内の切り出された領域の位置を示す位置情報を提供してもよい。

【0057】

図４は、仮想ミーティングＩＤリンクを使用して仮想ミーティングセッションに参加するウェブブラウザを介してクライアントデバイスに表示されるようにされるユーザインタフェース４００を示す。ユーザインタフェース４００は、上述したように、ビデオデータ上で実施された認識処理中に検出された被写体および／または人に対応する仮想ビデオデータストリームのそれぞれ１つずつを選択的に表示することができる複数の表示セクションを含む。ユーザインタフェースジェネレータは、クライアントデバイスに表示されているユーザインタフェースを生成するために、関連付けられたフォーマットの仮想ビデオデータストリームＩＤを利用する。

【0058】

ユーザインタフェースジェネレータは、ユーザインタフェース４００を生成させ、第１表示領域４０２、第２表示領域４０４、および、第３表示領域４０６を含む。この例示的な実施形態において、第１表示領域４０２は、フルイメージキャプチャエリアが表示されていることに対応する仮想ビデオデータストリーム１１０を表示するように制御される。ユーザインタフェースジェネレータは、仮想ビデオデータストリームＩＤを取得し、その情報を使用して、ユーザインタフェース４００内にビデオデータストリームを配置する。第２表示領域４０４には、検出された１つ以上の選択可能な被写体を示す１つ以上のアイコンが表示される。本明細書に示されるように、書き込み面被写体１０４の仮想ビデオデータストリーム識別子１２０に対応するアイコンが表示される。ユーザは、アイコンを選択することで、ユーザインタフェースジェネレータにホワイトボードのビデオストリームをリクエストし、そのビデオデータストリームを第１表示領域４０２内に表示させ、以前に表示されたビデオデータストリームの表示を停止させ、第２表示領域４０４内に以前のビデオデータストリームを表示させることができる。換言すると、ビデオデータストリームは、ユーザインタフェース４００内の位置を入れ替え、これによって、ユーザが、複数の仮想ビデオデータストリームのうちのどれを所定の時間に閲覧するかを選択的に決定することを可能にする。ユーザインタフェース４００は、上述のユーザ認識処理の一部として認識された１人以上のユーザに対応するユーザ識別アイコンを表示する第３表示領域４０６を含む。本明細書に示されるように、アイコンは、図１の仮想ビデオデータストリーム１１２、１１４、１１６、１１８に対応する。アイコンは、各個別の仮想ビデオデータストリームに関連付けられた仮想ビデオデータストリーム識別子の｛名前｝情報を用いて得られうるユーザのそれぞれについての情報を表示する。さらに、識別子内の｛タイプ｝フィールドが、仮想ビデオデータストリームまたは仮想ビデオデータストリームを示すユーザが選択可能アイコンの１つ以上を配置するときに、ユーザインタフェースジェネレータによって使用される。

【0059】

１つの実施形態において、第３表示領域内のアイコンは選択可能であり、そのユーザの対応する仮想ビデオデータストリームを第１表示領域内に表示させる。別の実施形態において、特定の時間にのみ、または、それぞれのユーザに関連付けられた特定の指定に基づいて、第３表示領域内のアイコンを選択して、第１表示領域４０２に示すことができる。例えば、それぞれのユーザの１人が、プレゼンタまたはスピーカとして識別される場合、ユーザアイコンが第１表示領域４０２内にユーザの仮想ビデオデータストリームを表示させるために選択可能である。

【0060】

図５Ａおよび図５Ｂは、図４に示されるユーザインタフェース４００の追加の実施形態を示す。ユーザインタフェース４００は共通のエレメントを含み、その説明は、図４の説明と繰り返す必要はない。したがって、異なるようにラベル付けされたエレメントおよびそれらの制御動作のみが説明される。

【0061】

図５Ａにおいて、ユーザインタフェース４００のメイン表示領域４０２において。仮想ビデオデータストリーム１１０が、表示されるように制御される。より具体的には、ユーザインタフェースジェネレータは、図１の画像キャプチャデバイス１０８によってキャプチャされている画像キャプチャエリア１０２全体を示すビデオデータストリームを表示するためのソースとして、第１仮想ビデオデータストリーム識別子を使用する。表示されているこのビュー内から、選択インジケータ５０２（図５Ａの破線で示されている）がリモートユーザに見えるようにされる。選択インジケータ５０２は、選択インジケータ内のエリアが、それ自体の仮想ビデオデータストリームおよび関連する仮想ビデオデータストリーム識別子を有する認識処理中に認識された被写体（または人）を含む注目領域５０４を表すことを示す。これは、選択インジケータ５０２内のビデオデータが表示されることを可能にする。ユーザは、セクションインジケータ５０２を選択し、それに関連付けられたビデオデータストリームを、選択インジケータ５０２内の情報のズームインバージョンを提供する選択されたビデオデータ５０４として第１表示領域４０２内に表示させることができる。その際に、ユーザインタフェース４０２は、選択アイコンのユーザインタフェースにおけるユーザ入力を介して選択指示を受信する。ユーザインタフェースジェネレータは、選択インジケータ５０２に関連付けられた仮想ビデオデータストリームＩＤを取得し、それぞれの仮想ビデオデータストリームＩＤに関連付けられたビデオデータを第１表示領域内に表示させる。より具体的には、仮想ビデオデータが、仮想参加者として仮想ミーティングセッションに参加されており、選択インジケータ５０２の選択は、仮想ビデオデータに対応する参加者ＩＤに関連付けられたビデオデータを第１表示領域５０２に表示させる。本明細書に示されるように、選択された仮想ビデオデータは、選択が行われたビデオデータの上に重ね合わされる。しかしながら、これは例示のみを目的とするものであり、いくつかの実施形態において、選択は、選択された仮想ビデオデータを、第１領域において選択が行われた仮想ビデオデータストリームを選択された仮想ビデオデータと置き換えさせ、ユーザが、選択が行われた仮想ビデオデータを再選択することを可能にするアイコンを第２表示領域４０４に表示させる。図５Ｂは、選択インジケータ６０２がユーザＢを表す注目領域を識別し、その選択がユーザＢに関連付けられた参加者ＩＤの仮想ビデオデータストリームを、注目領域ビデオデータストリーム６０４として第１表示領域内に表示させることを除いて、図５Ａで説明したものと同じ処理を示す。

【0062】

図６Ａ～図６Ｄは、本開示に従って生成されたユーザインタフェース６００の別の実施形態を示す。本明細書に示されるように、ユーザインタフェース６００は、ビュー制御領域６０２のアイコンに対応する仮想ビデオデータストリームを表示させる表示領域６０４の表示ビューを制御するためのユーザが選択可能なアイコンを含むビュー制御領域６０２を含む。ユーザインタフェース６００はまた、図３に記載されるように、それぞれがそれぞれの仮想ビデオデータストリームを有し、仮想ミーティングセッション３０３に参加する仮想参加者を示すユーザが選択可能な参加者アイコン６２０ａ～６２０ｆを含む参加者領域６０６を含む。参加者領域６０６は、認識領域の一部として認識された異なる人（６２０ａ～６２０ｅ）を示す１つ以上のアイコン、および、上述の認識処理の一部として認識された１つ以上の被写体（図６Ｄの６２０ｆ）を含む。

【0063】

ビュー制御領域６０２内のビュー制御アイコンは、図１の画像キャプチャデバイス１０８によってキャプチャされているイメージキャプチャ領域の全体に対応するビデオデータストリームを示すイメージキャプチャ領域アイコン６１２を含む。これは、本開示によるシステムが導入されているルームの全体視野を提供する。図６Ａは、イメージキャプチャ領域アイコンが選択され、それによって、イメージキャプチャ領域（図１の１１０）に関連付けられた仮想ビデオデータストリームが上述の方法で表示されるようにされるときの表示処理を示す。

【0064】

少なくとも１つの被写体アイコン６１０も存在し、その選択により、特定の認識された被写体に対応するビデオデータストリームが表示領域６０４に表示される。１つの例において、被写体アイコンは、図１の認識された書き込み面１０４に対応する。被写体アイコン６１０の選択は、図６Ｂに示されるように、その被写体に関連付けられた仮想ビデオデータストリームを表示領域６０４内に表示させる。ビュー制御領域６０２には単一の被写体アイコン６１０のみが示されているが、それぞれが異なる被写体に対応する複数の被写体アイコン６１０が表示されてもよいことを理解されたい。いくつかの実施形態において、同じタイプの被写体の異なる被写体に対応する複数の被写体アイコンが、ビュー制御領域６０２内に存在していてもよい。図６Ｂに示される例において、被写体アイコン６１０に対応する被写体は、ホワイトボードであり、アイコン６１０の選択は、画像キャプチャ領域の単一のカメラビューから抽出されたホワイトボードのビデオストリームを表示領域６０４内にリアルタイムで表示させる。

【0065】

マルチビューアイコン６１４は、ユーザインタフェース６００のビュー制御領域６０２に存在する。マルチビューアイコン６１４の選択は、表示領域６０４に異なるタイプのビューを表示させる。より具体的には、マルチビューアイコン６１４は、複数の仮想ビデオデータストリームを表示領域６０４内に同時に表示させる。これは、図６Ｃに示される。１つの実施形態において、マルチビューアイコンの選択は、全体のイメージキャプチャ領域１０２に関連付けられた仮想ビデオデータストリームを、被写体アイコン６１４に対応する被写体に関連付けられた仮想ビデオデータストリームと共に自動的に表示させる。図６Ｃに示す例において、マルチビューアイコン６１４の選択は、図１のイメージキャプチャエリア１０２を示す仮想ビデオデータストリームに重ね合わされた表示領域６０４のサブ領域に、図１の書き込み面１０４の仮想ビデオデータストリームが表示される。２つのビデオデータストリームの表示は、図６Ｃにおいて互いに重ね合わされているが、これは単なる例である。別の例示的な実施形態において、２つの異なるビデオデータストリームが、表示領域６０４内で互いに隣接する別個のウィンドウ内に表示されうる。別の実施形態において、表示領域６０４内に表示される最大３つの異なる参加者ビデオデータストリームの選択を可能にする複数のビューアイコン６１４が含まれてもよい。

【0066】

ビュー制御領域６０２はまた、ユーザが、表示領域６０４のサブ領域内に表示される参加者アイコン６２０ａ～６２０ｆを選択することを可能にする参加者選択アイコン６１６を含む。図６Ｄに示されるように、参加者選択アイコン６１６は、仮想セッションに仮想参加者として参加したユーザのうちの１人に対応するユーザアイコン６２０ａと共に選択される。これは、選択されたユーザ６２０ａに関連付けられた仮想ビデオデータストリームを、図６Ｄの表示領域６０４のサブ領域に示させる。

【0067】

別の実施形態において、ビュー制御領域６０２は、進行中のミーティング内の１つ以上のアクションを制御する１つ以上のアクションアイコンを含む。ビデオアイコン６１５は、リモートユーザインタフェース６００をリモートユーザが閲覧し、リモートコンピューティングデバイス上のカメラを制御し、リモートユーザのビデオデータをキャプチャし始め、リモートユーザのキャプチャされたビデオを仮想ミーティングセッション３０３に送信し始めることを可能にする。いくつかの実施形態において、これは、ミーティングアプリケーションがリモートユーザの仮想ビデオデータストリームを取得し、そのストリームをリモートユーザとして識別し、図３で上述した方法でリモートユーザビデオを仮想ミーティングセッション３０３に参加させることを可能にする。音声アイコン６１７も示されており、その選択は、マイクが音声をキャプチャすることを許可または禁止するようにリモートコンピューティングデバイスのマイクを制御する。記録アイコン６１９がさらに含まれ、記録プロセスを制御し、ユーザインタフェースに表示されている、仮想ミーティングセッションから生じるすべての情報をメモリ内のデータファイルに記憶し始める。１つの実施形態において、記録されたミーティングが、リモートコンピューティングデバイスにおいてローカルに記憶されてもよい。別の実施形態において、記録されたミーティングが、サーバ２００またはクラウドサービス２３０に記憶されてもよい。

【0068】

図６Ａ～図６Ｄのさらなる動作について説明する。図６Ａ～６Ｄに示されるユーザインタフェースを生成するために、リモートクライアントデバイスは、クラウドサービス２３０から、表３に示される以下のビデオデータストリームを受信する。

【表3】

【0069】

クラウドサービス２３０は、ビデオストリーム８を送信するための通信セッションとは異なる通信セッションを使用して、ビデオストリーム１～７をリモートクライアントデバイスに送信する。サーバ２００は、クラウドサービス２３０を介して、上記の表１および表２に記載され、参照により本明細書に組み込まれる所定の表示フォーマットを有する表示名情報をリモートクライアントデバイスに提供する。
クラウドサービスから受信した情報に基づいて、リモートクライアントデバイスは、図６Ａに示されるように、タイプが「ルーム」であるビデオを表示領域６０４に表示し始める。リモートユーザ、リモートクライアントデバイスがホワイトボードビューモードを選択すると（図６Ａ～図６Ｄの６１０）、ユーザインタフェースジェネレータは、タイプが「ミーティングルーム」であるビデオから、タイプが「ホワイトボード」であるビデオへのビデオ表示に、図６Ｂに示すように切り替える。マルチビューモードに対応するマルチビューアイコン６１６が選択されると、クライアントデバイスは、図６Ｃに示されるように、タイプが「ルーム」であるビデオと、タイプが「ホワイトボード」であるビデオと、の両方を表示領域６０４に表示させる。リモートユーザ、クライアントデバイスが参加者領域６０６（例えば、メニューバー）から被写体を選択すると、クライアントデバイスは、図６Ｄに示される２つのビューモード中に表示されるビデオを変更する。

【0070】

別の例示的な実施形態において、クライアントデバイスは、ビデオストリームのそれぞれに対してイメージ認識処理を実施することによって、ミーティングルームのビデオおよびホワイトボードのビデオを識別してもよい。クライアントデバイスは、表３の仮想参加者ＩＤ１～７の中から最も古い仮想参加者ＩＤを有するビデオをミーティングルームのビデオとして識別してもよく、クライアントデバイスは、表３の仮想参加者ＩＤ１～７の中から２番目に古い仮想参加者ＩＤを有するビデオをホワイトボードのビデオとして識別してもよい。

【0071】

別の実施形態において、クラウドサービス２３０は、例えばＳｉｇｎａｌＲというＷｅｂＳｏｃｋｅｔを使用して、イメージキャプチャエリア１０２を示すビデオ内の各人および被写体の位置を示す位置情報を提供する。これは、クライアントの位置を提供するために使用される方法の単なる例であり、本実施形態の実施を可能にする任意の方法が適用可能である。クライアントデバイスは、リモートユーザによって選択された画面の位置に基づいて、リモートユーザによって選択された被写体の表示名を識別し、識別された表示名に関連付けられたビデオストリームを表示する。例えば、「２つのビューモード」中にユーザ操作が行われた場合、表示領域６０４内のサブ領域にビデオストリームが表示される。

【0072】

キャプチャされたビデオからホワイトボードが検出されなかった場合、ユーザインタフェースジェネレータは、ビュー制御領域６０２にホワイトボードビューボタンを表示する被写体選択アイコン６１０を無効にする。これは、ユーザがホワイトボードビューボタン６１０を選択したときに、アクションを取らないようにする。別の実施形態において、ユーザインタフェースジェネレータが「ホワイトボード」として識別されたビデオデータストリームを受信しない場合、ユーザインタフェースジェネレータは、ユーザがホワイトボードビューボタン６１０を選択すると、エラーメッセージを発生させる。

【0073】

別の例示的な実施形態において、キャプチャされたビデオから２つ以上のホワイトボードが検出され、クライアントデバイスが、タイプがホワイトボードである２つ以上のビデオストリームを受信する場合、クライアントＡは、ホワイトボードビューボタン６１０が選択されるたびに、画面に表示されるビデオストリームを切り替えてもよい。（例えば、ホワイトボードＡ→ホワイトボードＢ→ホワイトボードＣ→ホワイトボードＡ、ホワイトボードのビデオストリームが３つある場合）。さらに別の例示的な実施形態において、２つ以上のホワイトボードが検出された場合、クライアントは、２つ以上のホワイトボードボタンを表示してもよい。

【0074】

表示名情報に含まれるエレメントのそれぞれのためのソースは、サーバ６００であり、本明細書で説明されるユーザインタフェースを生成するためにユーザインタフェースジェネレータによって使用される。これらのエレメントは、以下のように決定される。「タイプ」情報について、サーバ２００は、「タイプ」情報を取得するために画像認識処理を実施する。サーバは、ルーム、人、ホワイトボード、リモート、被写体からタイプの１つを決定する。「名前」について、サーバは、検出された顔に対して顔認識処理を実施して、「名前」情報を取得する。サーバが特定の人を識別できない場合、「名前」は「ゲスト」と決定される。人以外のタイプの「名前」は、所定のルールに基づいて決定される。例えば、タイプがホワイトボードであるビデオストリームの名前は、「ホワイトボードＡ」と決定される。「ＩＤ」について、サーバ２００は、名前ラベルに基づいてデータベースを参照することによって「ＩＤ」を識別する。

【0075】

ユーザインタフェース（ＵＩ）ジェネレータは、クラウドサービス２３０から受信された表示名に基づいて表示レイアウトを決定する。表示名は、ユーザインタフェースが表示されるビデオカンファレンスプラットフォームに表示される仮想ミーティングセッションに参加した各参加者の名前である。ユーザ、被写体およびルームは、すべて、仮想ミーティングセッションの参加者であることに留意されたい。したがって、参加者は単に人間の参加者であると理解されるべきではない。仮想ミーティングセッションに参加した後に、クライアントデバイスのリモートユーザは、クラウドサービス２３０から受信した「ルーム」タイプのビデオストリームを識別し、そのビデオストリームを表示領域６０４に表示させる（図６Ａ）。リモートユーザが「ホワイトボードビューモード」６１０を選択すると、ユーザインタフェースジェネレータは、タイプが「ホワイトボード」であるビデオストリームを取得し、タイプが「ルーム」であるビデオストリームの代わりにそれを表示し、そのビデオストリームを表示領域６０４に表示させる（図６Ｂ）。「２つのビューモード」６１６の選択に応じて、ユーザインタフェースジェネレータは、タイプが「ルーム」であるビデオストリームを取得し、表示領域６０４画面の大領域に表示するとともに、タイプが「ホワイトボード」であるビデオストリームを取得し、表示領域６０４の小領域に表示する（図６Ｃ）。切替ボタンを用いて、大領域および小領域のビデオは、入れ替えることができる。メニューバー（参加者領域６０６）のうちから被写体を選択のとき、ユーザインタフェースジェネレータは、選択された画面内の位置に基づいて、被写体の表示名を取得し、識別された表示名に関連付けられたビデオストリームを表示する。「２つのビューモード」中にユーザ操作が行われると、ビデオストリームは、小領域に表示される（図６Ｄ）。

【0076】

本開示によると、図７に示されるように、オンラインクラウドミーティングシステムは、参加者ＩＤを有さない何れのビデオも受信せず処理しない。したがって、本開示によるサーバは、オンラインミーティングシステムが従来、参加者ＩＤを含まないビデオを処理することができるように、参加者ＩＤを有しない任意のビデオソースに参加者ＩＤを追加する機能を提供する。サーバは、その場所でキャプチャされたビデオから切り出された１つ以上のビデオストリームに一意の仮想ＩＤを追加する。切り出し処理を介して抽出されたこれらの部分ストリームは、仮想ビデオデータストリームおよびビデオデータストリームの両方として識別され、したがって、これらの用語は本開示を通して互換的に使用され、同じことを意味すると理解されるべきであることを理解されたい。これらの部分ビデオストリームは、オンラインミーティングシステムによって、オンラインミーティング用のビデオとして認識することができる。オンラインミーティングシステムは、ＩＤを使用して、受信したビデオを、特定のオンラインミーティングシステムに関連するものとして認識する、または、別の方法で関連付けて、各個々のビデオを識別する。したがって、これらの部分ビデオストリームは、「仮想ビデオデータストリーム」である個々のビデオデータストリームである。オンラインミーティングシステムが、ビデオデータストリームを送信するとき、クライアントデバイスに送信されるビデオを識別するために、クライアントからのＩＤおよびセッションＩＤを使用する。クライアントが、ビデオデータストリームを受信すると、クライアントは、ＩＤを使用して、受信したビデオが特定のオンラインミーティングに関連することを認識し、個々のビデオを識別する。

【0077】

例示的な動作によると、クライアントデバイスは、参加者ＩＤを、カメラ（室内またはリモートコンピューティングデバイスのいずれか）によって取得されたビデオのそれぞれ１つに関連付け、それらをクラウドサービス２３０に送信する。サーバ２００は、ミーティングルームのネットワークカメラによって取得された各ビデオに仮想参加者ＩＤを関連付け、それらをクラウドサービスに送信する。ネットワークカメラは、特定のユーザに関連付けられていない。オンラインミーティングシステムは、クライアントからのリクエストに応じて、ビデオおよび参加者ＩＤをクライアントに送信する。

【0078】

クライアントからの仮想参加者ＩＤに関連付けられたビデオの開始リクエストに従って、クラウドサービス（例えば、オンラインミーティングシステム）は、リクエストを送信するクライアントに仮想参加者ＩＤに関連付けられたビデオを送信し始める。クラウドサービスは、従来のミーティングセッションを介して、実参加者ＩＤに関連付けられたビデオを送信し、別の別個のセッション（例えば、サーバ固有セッション）を介して、仮想参加者ＩＤに関連付けられたビデオを送信する。サーバセッションのセッションＩＤは、クライアントが開始リクエストを発行した時点で作成される。

【0079】

クライアントは、従来のミーティングのための第１ウィンドウ内に、従来のミーティングセッションを介してクラウドサービスから受信され、実参加者ＩＤに関連付けられたビデオを表示する。クライアントは、第２ウィンドウ内に、サーバセッションを介してクラウドサービスから受信され、仮想参加者ＩＤに関連付けられたビデオを表示する。クライアントは、実参加者ＩＤと仮想参加者ＩＤとを区別しない。クライアントは、サーバシステムおよび従来のミーティングシステムのビデオを、そのビデオを送信するために使用されるセッションＩＤをチェックすることによって区別する。別の実施形態において、すべてのビデオを単一のウィンドウ内に表示してもよい。

【0080】

さらなる実施形態において、サーバはまた、所定の場所（例えば、オフィスミーティングルーム）のユーザに対して、その場所でイメージキャプチャデバイスによってキャプチャされたビデオの切り出されたセクションに関連付けられたビデオストリームを表示することができる専用表示画面を含む。別の実施形態において、表示画面がタッチスクリーンであり、イメージキャプチャデバイスによってキャプチャされた特定の被写体の選択可能性を可能にする。

【0081】

別の実施形態において、システムが、各実参加者ＩＤのユーザレベル情報に基づいて、各対応するビデオがそのビデオをリクエストするクライアントに送信できるか否かを決定するために使用される、セキュリティレベル情報などのメタデータを利用してもよい。さらなる実施形態において、その場所にいる実参加者が、サーバが自分自身のビデオまたは自分が被写体のビデオをクライアントデバイスに提供することを禁じる制限または権利を設定することができる。このように、システムは、ユーザの傾向に基づいて検出された１つ以上の被写体のための仮想ＩＤの生成を抑制することができる。

【0082】

図８は、上述の開示を実施する際に使用することができるサーバ、クラウドサービス、および／または、クライアントデバイスの何れかを示すハードウェアを示す。装置は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入力ユニット、外部インタフェースおよび出力ユニットを含む。ＣＰＵは、コンピュータプログラム（ＣＰＵによって実行可能な１つ以上の一連の記憶された命令）と、ＲＡＭまたはＲＯＭに記憶されたデータと、を用いて装置を制御する。ここで、装置は、ＣＰＵとは異なる１つ以上の専用ハードウェアまたはグラフィックスプロセッシングユニット（ＧＰＵ）を含み、ＧＰＵまたは専用ハードウェアが、ＣＰＵによる処理の一部を実施してもよい。専用ハードウェアの一例として、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）などがある。ＲＡＭ３０６は、ＲＯＭから読み出されたコンピュータプログラムやデータ、外部から外部インタフェースを介して供給されたデータなどを一時的に記憶する。ＲＯＭは、変更する必要がない、装置の基本動作を制御することができるコンピュータプログラムおよびデータを記憶する。入力ユニットは、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、マウスなどからなり、ユーザの操作を受け付け、ＣＰＵに対して種々の命令を入力する。外部インタフェースは、ＰＣ、スマートフォン、カメラなどの外部デバイスと通信する。外部デバイスとの通信は、ローカルエリアネットワーク（ＬＡＮ）ケーブル、シリアルデジタルインタフェース（ＳＤＩ）ケーブル、ＷＩＦＩ接続などを用いて有線で実施されてもよいし、アンテナを介して無線で実施されてもよい。出力ユニットは、例えば、ディスプレイなどの表示ユニットと、スピーカなどの音声出力ユニットと、からなり、グラフィカルユーザインタフェース（ＧＵＩ）を表示し、ユーザが必要に応じて装置を操作できるように誘導音を出力する。

【0083】

本開示のスコープは、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、本明細書で説明する本発明の１つ以上の実施形態を実行させる命令を記憶する非一時的コンピュータ可読媒体を含む。コンピュータ可読媒体の例としては、ハードディスク、フロッピーディスク、光磁気ディスク（ＭＯ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスクレコーダブル（ＣＤ－Ｒ）、ＣＤ－リライタブル（ＣＤ－ＲＷ）、デジタルバーサタイルディスクＲＯＭ（ＤＶＤ－ＲＯＭ）、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性メモリカード、ＲＯＭなどがある。コンピュータ実行可能命令はまた、ネットワークを介してダウンロードされることによって、コンピュータ可読記憶媒体に供給され得る。

【0084】

本発明の１つ以上の態様を記載する本開示の文脈における「ａ」および「ａｎ」および「ｔｈｅ」および同様の指示対象の使用（特に、以下の特許請求の範囲の文脈における）は、本明細書で別段の指示がない限り、または、文脈によって明らかに矛盾しない限り、単数および複数の両方を包含すると解釈されるべきである。ターム「ｃｏｍｐｒｉｓｉｎｇ」、「ｈａｖｉｎｇ」、「ｉｎｃｕｌｕｄｉｎｇ」および「ｃｏｎｔａｉｎｉｎｇ」は、特に断りのない限り、オープンエンドターム（すなわち「～を含むが限定しない」という意味）として解釈される。本明細書中の数値範囲の記述は、本明細書中で特に指示しない限り、単にその範囲内に該当する各値を個々に言及するための略記法としての役割を果たすことだけを意図しており、各値は、本明細書中で個々に列挙されるかのように、明細書に組み込まれる。本明細書で記載した全ての方法は、本明細書に別段の指示がない限り、または、明らかに文脈に矛盾しない限り、任意の適切な順序で実施されうる。本明細書で提供される任意のおよびすべての例、または、例示的な言葉（例えば、「など」）の使用は、本明細書で開示される主題をより明瞭にすることのみを意図し、他に特許請求されない限り、本開示から導出される任意の発明の範囲に対する限定を提示しない。本明細書中のいかなる言語も、特許請求されていない要素を必須であると示すものと解釈されるべきにおいてない。

【0085】

当然のことながら、本開示は、様々な実施形態の態様に組み込むことができ、そのうちの少数のみが本明細書に開示されている。これらの実施形態の変形は、前述の説明を読めば当業者には明らかになるのであろう。したがって、本開示およびそれから導出される任意の発明は適用法によって許可されるように、本明細書に添付される特許請求の範囲に列挙される主題のすべての修正および均等物を含む。さらに、本明細書に別段の指示がない限り、または、文脈によって明らかに矛盾しない限り、そのすべての可能な変形形態における上記の要素の任意の組合せが、本開示によって包含される。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【国際調査報告】