特表 2024-506390 空間仮想現実環境を用いたテレビ会議装置、テレビ会議方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-13

(54)【発明の名称】空間仮想現実環境を用いたテレビ会議装置、テレビ会議方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240205BHJP

   H04N 21/431 20110101ALI20240205BHJP

【ＦＩ】

H04N7/15

H04N21/431

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023548887

(86)(22)【出願日】2022-02-10

(85)【翻訳文提出日】2023-10-11

(86)【国際出願番号】 EP2022053302

(87)【国際公開番号】W WO2022171767

(87)【国際公開日】2022-08-18

(31)【優先権主張番号】17/175,335

(32)【優先日】2021-02-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100134119

【弁理士】

【氏名又は名称】奥町 哲行

(72)【発明者】

【氏名】フェーセル・ジークフリート

(72)【発明者】

【氏名】ラグーゼ－フェーセル・アンゲラ

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164GA08

5C164UB41S

5C164UB81P

5C164VA07P

5C164YA11

(57)【要約】

テレビ会議装置（１００）は、複数のテレビ会議参加者の映像（１１０ａ，１１０ｂ）を、空間仮想現実環境（１２０，２００，３００，４００，４５０）に配置された複数の映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間で再生するように構成されている。前記テレビ会議装置は、前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を有する前記空間仮想現実環境（１２０，２００，３００，４００，４５０）を単一のテレビ会議参加者のための全体画像（１１２）に描画するように構成されている。テレビ会議方法及びコンピュータプログラムも開示される。

【特許請求の範囲】

【請求項1】

テレビ会議装置（１００）であって、
前記テレビ会議装置は、複数のテレビ会議参加者の映像（１１０ａ，１１０ｂ）を、空間仮想現実環境（１２０，２００，３００，４００，４５０）に配置された複数の映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間で再生するように構成され、
前記テレビ会議装置は、前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を有する前記空間仮想現実環境（１２０，２００，３００，４００，４５０）を単一のテレビ会議参加者のための全体画像（１１２）に描画するように構成されている、テレビ会議装置。

【請求項2】

複数の前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間の向きが異なる、
請求項１に記載のテレビ会議装置（１００）。

【請求項3】

前記テレビ会議装置は、ユーザ入力に応じて観察者位置を調整し、
前記観察者位置に応じて、前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を有する前記空間仮想現実環境（１２０，２００，３００，４００，４５０）を描画するように構成されている、
請求項１から２のいずれか一項に記載のテレビ会議装置（１００）。

【請求項4】

前記テレビ会議装置は、ユーザ入力に応じて観察者視線方向を調整し、
前記観察者視線方向に応じて、前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を有する前記空間仮想現実環境（１００，２００，３００，４００，４５０）を描画するように構成されている、
請求項１から３のいずれか一項に記載のテレビ会議装置（１００）。

【請求項5】

他のユーザにそれぞれ関連付けられた１つ又はいくつかの映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は、１つ又はいくつかの映像再生空間をユーザ入力に応じて選択的に描画するように構成されている、
請求項１から４のいずれか一項に記載のテレビ会議装置（１００）。

【請求項6】

前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を輪郭（３５０，４１０，４６０）に沿って配置するように構成されている、
請求項１から５のいずれか一項に記載のテレビ会議装置（１００）。

【請求項7】

前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を、円形（３５０，４１０）、楕円形、正方形、又は長方形（４６０）に沿って配置するように構成されている、
請求項１から６のいずれか一項に記載のテレビ会議装置（１００）。

【請求項8】

前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を、空間仮想現実環境（１２０，２００，３００，４００，４５０）内のユーザ位置に配置するように構成されている、
請求項１から７のいずれか一項に記載のテレビ会議装置（１００）。

【請求項9】

１つ又はいくつかの観察パラメータ（１５２）を取得し、前記１つ又はいくつかの観察パラメータに応じて前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を有する前記空間仮想現実環境（１２０，２００，３００，４００，４５０）を描画するように構成されている、
請求項１から８のいずれか一項に記載のテレビ会議装置（１００）。

【請求項10】

前記観察パラメータ（１５２）は、回転角度及び／又は拡縮因子を含む、
請求項１から９のいずれか一項に記載のテレビ会議装置（１００）。

【請求項11】

調整可能な視線方向及び／又は調整可能な拡縮因子を用いて、所定の観察点（２４０）から見た前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間を有する前記空間仮想現実環境（１２０，２００，３００，４００，４５０）を描画するように構成されている、
請求項１から１０のいずれか一項に記載のテレビ会議装置（１００）。

【請求項12】

可変観察点（３４０ａ，３４０ｂ，３４０ｃ）から見た映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は前記再生空間を有する前記空間仮想現実環境（１２０，２００，３００，４００，４５０）を描画するように構成されている、
請求項１から１０のいずれか一項に記載のテレビ会議装置（１００）。

【請求項13】

観察情報又は角度情報に応じて前記可変観察点（３４０ａ，３４０ｂ，３４０ｃ）を調整するように構成されている、
請求項１２に記載のテレビ会議装置（１００）。

【請求項14】

前記テレビ会議装置は観察情報又は角度情報に応じて前記可変観察点（３４０ａ，３４０ｂ，３４０ｃ）を調整するように構成され、前記可変観察点（３４０ａ，３４０ｂ，３４０ｃ）は、前記仮想現実環境（１００，３０，４００，４５０）内の曲線（３５０，４１０，４６０）に沿って前記ユーザによって選択可能又は変位可能である、
請求項１３に記載のテレビ会議装置（１００）。

【請求項15】

観察者位置情報に応じて前記可変観察点（３４０ａ，３４０ｂ，３４０ｃ）を調整するように構成され、
前記観察者位置情報に応じて観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）を調整するように構成されている、
請求項１２から１４のいずれか一項に記載のテレビ会議装置（１００）。

【請求項16】

前記テレビ会議装置は、前記観察者位置情報に応じて前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）を調整し、
前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）は、前記可変観察点が移動する方向に対して＋／－１０度の公差で垂直であり、又は
前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）は、前記可変観察点が移動する曲線（３５０，４１０，４６０）に対して＋／－１０度の公差で垂直である、
請求項１５に記載のテレビ会議装置（１００）。

【請求項17】

前記テレビ会議装置は、前記観察者位置情報に応じて前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）を調整し、
前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）は、前記可変観察点（３４２ａ，３４２ｂ，３４２ｃ）が前記観察者位置情報に応じて移動する曲線（３５０，４１０，４６０）の内側に常に向いており、又は
前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）は、前記可変観察点（３４２ａ，３４２ｂ，３４２ｃ）が前記観察者位置情報に応じて移動する曲線（３５０，４１０，４６０）の中心（３４４）に常に向いている、
請求項１５又は１６に記載のテレビ会議装置（１００）。

【請求項18】

前記テレビ会議装置は、前記観察者位置情報に応じて前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）を調整するように構成され、
前記観察者視線方向（３４２ａ，３４２ｂ，３４２ｃ）は、前記可変観察点（３４０ａ，３４０ｂ，３４０ｃ）とは反対側の映像再生領域（１２０ａ，１２０ｂ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）、又は前記可変観察点とは反対側の映像再生空間に向いている、
請求項１５、１６、又は１７に記載のテレビ会議装置（１００）。

【請求項19】

前記空間仮想現実環境（１２０，２００，３００，４００，４５０）内の前記テレビ会議参加者に関連付けられた前記映像再生領域（１２０ａ，１２０ｂ，２２０ａ－２２０ｃ，４２０ａ－４２０ｄ，４７０ａ－４７０ｈ）又は映像再生空間の配置に従って、１人又は何人かのテレビ会議参加者からの音響信号を描画するように構成されている、
請求項１から１８のいずれか一項に記載のテレビ会議装置（１００）。

【請求項20】

複数のテレビ会議参加者の映像を、空間仮想現実環境に配置された複数の映像再生領域又は映像再生空間で再生することを含む、
テレビ会議方法。

【請求項21】

コンピュータ上で実行されるときに請求項２０に記載の方法を実行するためのコンピューティングプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明による実施形態は、テレビ会議装置に関する。
本発明によるさらなる実施形態は、テレビ会議方法に関する。
本発明によるさらなる実施形態は、テレビ会議方法を実行するためのコンピュータプログラムに関する。
概して、本発明による実施形態は、円卓テレビ会議を実施するための概念に関する。

【背景技術】

【0002】

テレビ会議システムは、現在、人気が高まっている。特に、コロナ禍の時代には、テレビ会議システムの人気が高まっている。

【0003】

今日、そのようなアプリケーションでは、参加者の映像ストリームは、大部分が画面上の個々のタイルとして表される。参加人数が多すぎると、映像ストリームが一部表示されなかったり、現在の話者に応じて見え方が変化したりする。

【0004】

テレビ会議の一例を図５に示す。
ＭｉｃｒｏｓｏｆｔはＴＥＡＭＳで「ｔｏｇｅｔｈｅｒモード」を発表している。ここでは、参加者は、演習室内のように固定された座席に結び付けられる。しかしながら、これも平面配置に過ぎない。一例を図６に示す。

【0005】

この状況を考慮して、テレビ会議に参加するときの改善されたユーザ体験を提供する概念を創造することが望まれている。

【発明の概要】

【0006】

本発明による実施形態は、テレビ会議装置を創造する。テレビ会議装置は、複数のテレビ会議参加者の映像を、空間（例えば三次元又は空間的に三次元）仮想現実環境に配置された複数の映像再生領域又は映像再生空間で再生するように構成されている。テレビ会議装置は、（例えば、仮想カメラ位置における仮想カメラの視点からの）映像再生領域及び／又は映像再生空間を有する空間（例えば三次元）仮想現実環境を、例えば特定（又は単一又は個別）のテレビ会議参加者（例えば観察者）のための全体画像（又は総合画像）に（例えば、会議参加者の視野を表す仮想カメラ（１２２）によって見えるように）描写するように構成されている。

【0007】

映像再生領域は、典型的には、映画館内のモニタ又はキャンバスの表面であり、この文脈においては仮想再生スクリーンである。映像再生空間は、典型的には複数のカメラ及び／又は３Ｄセンサによって取り込まれた場面からの位置及びライトフィールド／画像テクスチャ情報を有する３Ｄデータのセットであり、処理され、点群、多視点画像又はライトフィールドデータとして表される。映像再生空間は、取り込まれたオブジェクト又は場面のための様々な視野及び深度情報をレンダラによって提供することができる。

【0008】

本発明によるこの実施形態は、複数のテレビ会議参加者の映像を複数の映像再生領域で、又は仮想現実環境に配置された映像再生空間（又は映像再生室）上又は中で再生することによってテレビ会議における改善されたユーザ体験を提供することができるという考えに基づいており、特定（又は単一又は個別）のテレビ会議参加者のための全体画像（又は総合画像）を取得するために、映像再生領域又は映像再生空間を有する空間仮想現実環境を描画する。空間仮想現実環境における複数のテレビ会議参加者の映像の描画は、描画された全体画像又は総合画像を見るテレビ会議参加者に、従来のタイル配置と比較してはるかに良好な関与感を提供することが分かった。特に、テレビ会議参加者は、現在関心のある（１人又は複数の）テレビ会議参加者に焦点を合わせ、実際の現場会議に参加することから得られる印象と同様の印象を得る可能性があることが分かった。

【0009】

例えば、空間仮想現実環境における映像再生領域及び／又は映像再生空間の配置は、テレビ会議参加者が自分の視点及び／又は自分の視線方向及び／又は自分の焦点（例えば、拡縮の意味）を選択することを可能にする。さらに、（長方形の格子内の平坦なタイルとしてではなく）三次元場面内の「自然な」位置に映像再生領域及び／又は映像再生空間を配置すると、テレビ会議がよりリアルになり、したがって多くの場合、より有益になることも分かっている。対照的に、従来の「平坦なタイル」形式は、多く人々を混乱させ、疲れさせることが分かっているため、従来の手法を使用すると集中力が比較的急速に失われることが多い。

【0010】

結論として、空間仮想現実環境に配置された複数の映像再生領域又は映像再生空間での複数のテレビ会議参加者の映像の再生と、映像再生領域又は映像再生空間を有する空間仮想現実環境の描画とが、著しく改善されたユーザ体験を可能にし、さらにユーザの交流（例えば、所望の視野を選択すること）を容易にし、集中力の損失を低減するのに役立つ。

【0011】

好ましい環境では、複数の映像再生領域、又は複数の映像再生空間は異なる向きにある（例えば、異なる空間的な向きを含む、又は異なる非平行平面内に位置する）。異なる映像再生領域及び／又は異なる映像再生空間に対して異なる向きを選択することにより、テレビ会議参加者の「空間的」印象を改善することができる。さらに、異なるテレビ会議参加者の映像を、異なる向きを有する映像再生領域又は映像再生空間上又は中に描画することにより、視線方向の変更のような「自然な」ユーザの交流は、所与のテレビ会議参加者が利用可能な総合画像（又は全体画像）の変更をもたらし、これは当該参加者の「自然な」期待に十分に合致する。したがって、従来のテレビ会議システムと比較して、ユーザ体験をより自然で、より疲れにくくすることができる。

【0012】

好ましい実施形態では、テレビ会議装置は、ユーザ入力に応じて観察者位置（例えば、仮想カメラの位置）を調整するように構成される。テレビ会議装置はまた、観察者位置に応じて映像再生領域及び／又は映像再生空間を有する空間（三次元）仮想現実環境を描画して、例えば、観察者位置にいる観察者の視点からの映像再生領域及び／又は映像再生空間を有する空間又は三次元仮想現実環境の二次元画像を得るように構成される。ユーザ入力は、押下されたキー、コンピュータマウス上の動作、又はユーザの頭の回転、又は観察下にあるユーザの目の視線方向の変化であってもよい。

【0013】

したがって、（例えば、可変観察者位置によって定義される）異なる視点から、映像再生領域及び／又は映像再生空間に含まれる複数のテレビ会議参加者の映像を有する空間仮想現実環境の画像を描画することができる。したがって、観察者位置を調整可能であることによって、観察者位置は、例えば、誰が現在話しているかに応じて、及び／又はユーザの好みに応じて調整され得る。その結果、空間仮想現実環境を可変観察者位置から描画することができ、これにより、現在最も関連性の高い話者及び（場合によっては）彼らのそれぞれの環境に焦点を合わせることができる。さらに、観察者位置の変化は、例えば、ＴＶスタジオ内の異なるカメラ間の混合に相当し、テレビ会議参加者に自身が馴染んでいる印象を与え得る。したがって、例えば、ユーザ入力に応じて（これに代えて又はこれに加えて、誰が現在話しているかに応じて）観察者位置を調整することにより、肯定的なユーザ体験を得ることができる。

【0014】

好ましい実施形態では、テレビ会議装置は、ユーザ入力に応じて観察者視線方向（例えば仮想カメラの視線方向）を調整し、観察者視線方向に応じて、映像再生領域又は映像再生空間を有する空間（例えば三次元）仮想現実環境を描画するように構成されている。例えば、観察者視線方向への視野を有し、観察者位置にいる観察者の視点からの映像再生領域又は映像再生空間を有する空間又は三次元仮想現実環境の二次元画像を得るように空間仮想現実環境を描画することができる。テレビ会議参加者（観察者でもよい）が観察者視線方向を調整可能にすることにより、テレビ会議参加者は、特にリアルな印象を得ることができる。例えば、（全体画像又は総合画像の描画で考慮される）観察者視線方向を調整可能にすることにより、テレビ会議参加者は、自然な方法で１人又は複数の他のテレビ会議参加者（又は１人又は複数の他のテレビ会議参加者からの映像）に注意を集中させることができる。

【0015】

例えば、観察者視線方向の調整は、テレビ会議参加者の頭部の回転に対応してもよい。したがって、他のテレビ会議参加者と共に共通の部屋に座っている、又は共通の卓の周りに座っているという印象をテレビ会議参加者に与えることができる。したがって、テレビ会議参加者への印象は、特にリアルで快適である。

【0016】

好ましい実施形態では、テレビ会議装置は、ユーザ入力に応じて、他のユーザに関連付けられた１つ又はいくつかの映像再生領域及び／又は１つ又はいくつかの映像再生空間を選択的に描画するように構成される。したがって、ユーザは、空間又は三次元仮想現実環境のそれぞれの映像再生領域及び／又は映像再生空間上に描画された１人の他のユーザ（テレビ会議参加者）の映像、又は数人の他のユーザ（例えばテレビ会議参加者）の映像を現在見たいかを選択することができる。したがって、テレビ会議参加者は、１人の他のテレビ会議参加者を「拡大」することができ、又は複数の他のテレビ会議参加者の映像を示す映像再生領域又は映像再生空間を見るために「縮小」することができる。その結果、テレビ会議参加者は、（例えば、他の１人のテレビ会議参加者の映像と、場合によってはこの他の１人のテレビ会議参加者に関連付けられた映像再生領域又は映像再生空間の環境のみを見るように「拡大」することで）単一の他のテレビ会議参加者に注意を集中させることができる。しかしながら、ユーザは、「縮小」し、複数の他のテレビ会議参加者を同時に見ることもできる。したがって、必要な場合には単一の他のテレビ会議参加者に選択的に注意を集中させ、別の状況では複数のテレビ会議参加者を観察する柔軟性をユーザに与える。

【0017】

さらに、複数のテレビ会議参加者の映像が表示される映像再生領域又は映像再生空間を空間仮想現実環境に配置することにより、単一の他のテレビ会議参加者の視野と複数の他のテレビ会議参加者の視野との間の遷移を視覚的に快適な方法で、例えば視野を拡大及び／又は縮小し、場合によっては（描画が実行されると現在考えられているテレビ会議参加者に関連付けられ得る）観察者位置及び／又は観察者視線方向の（滑らかな）変化によって実行することができる。

【0018】

好ましい実施形態では、テレビ会議装置は、輪郭に沿って（例えば、閉じた輪郭又は閉じた線に沿って）映像再生領域又は映像再生空間を配置するように構成される。このようにして、例えば、異なるテレビ会議参加者に関連付けられた映像再生領域又は映像再生空間の重複（例えば遮蔽）を回避することができる。さらに、映像再生領域又は映像再生空間のそのような配置は、多くの「現実世界」の会議状況における席順によく似ていることがある。

【0019】

さらに、映像再生領域及び／又は映像再生空間を輪郭に沿って配置することにより、異なるテレビ会議参加者に関連付けられた映像再生領域又は映像再生空間の配置が、観察者位置の複雑な（例えば三次元的な）選択を必要でなくするので、現在考慮されているテレビ会議参加者のための可変観察者位置及び／又は観察者視線方向の選択を容易にすることができる。むしろ、例えば、それぞれの映像再生領域又は映像再生空間が輪郭に沿って配置されている場合、観察者位置及び／又は観察者視線方向を選択し、それによって他のテレビ会議参加者の映像上で所望の視野を選択するのに少ない数のパラメータで十分であり得る。例えば、単一の（一次元の）移動パラメータは、輪郭に沿った位置を記述するのに十分であり得、その結果、ユーザインターフェース用の非常に単純な人的交流装置は、現在考慮されているテレビ会議参加者の観察者位置を選択するのに十分であり得る。

【0020】

好ましい実施形態では、テレビ会議装置は、円形、楕円形、正方形、又は長方形に沿って映像再生領域又は映像再生空間を配置するように構成される。このような形状に沿って映像再生領域及び／又は映像再生空間を配置することにより、テレビ会議参加者が円形、楕円形、正方形又は長方形の卓の周りに座っている「現実の」会議環境をモデル化し得る。したがって、「自然な」ユーザ体験を達成することができる。

【0021】

さらに、空間仮想現実環境においてそのような閉じた輪郭に沿って映像再生領域及び／又は映像再生空間を配置することによって、多くの場合、観察者（すなわち、全体画像が描画されるテレビ会議参加者）を輪郭上、又は輪郭によって縁取られた領域（例えば、円形、楕円形、正方形又は長方形）内に配置すれば十分であるため、観察者位置及び／又は観察者視線方向の選択を特に容易かつ効率的な方法で行うことができる。したがって、「合理的な」観察者位置の範囲が、典型的には映像再生領域又は映像再生空間のそのような配置によって制限されるので、観察者位置及び／又は観察者視線方向を入力するためのユーザインターフェースは単純であり得る。

【0022】

好ましい実施形態では、テレビ会議装置は、空間（又は三次元）仮想現実環境内のユーザ位置に（例えば座席位置に／例えば卓の座席又は卓の周りに／例えば卓の周り又はカウンタの周りの立ち位置に）映像再生領域及び／又は映像再生空間を配置（又は描画）するように構成される。したがって、仮想現実環境は、典型的な実際の会議環境を反映し、それゆえに非常に有利なユーザの印象をもたらす。特に、他のテレビ会議参加者の映像が（例えばテクスチャとして）表示（又は描画）される映像再生領域又は映像再生空間は、「現実の」会議の経験から生じるユーザの期待に従って配置される。したがって、テレビ会議装置は、「社内」会議と同様の「見た目と感覚」をテレビ会議参加者に提供する。これは、ユーザの印象を改善し、集中力を維持するのに役立つ。

【0023】

好ましい実施形態では、テレビ会議装置は、（例えば、ユーザから、及び／又はユーザ入力を介して、及び／又はユーザインターフェースから）１つ又はいくつかの観察パラメータ（例えば、観察点パラメータ又は「視点」パラメータ及び／又は回転角度及び／又は拡縮因子）を取得し、１つ又はいくつかの観察パラメータに応じて映像再生領域又は映像再生空間を有する空間（例えば三次元）仮想現実環境を描画するように構成される。ユーザ（例えば、テレビ会議参加者）がユーザインターフェースを介して１つ又はいくつかの観察パラメータを入力可能にすることにより、ユーザは空間仮想現実環境での視野を自分の期待に適合させることができる。したがって、ユーザは、例えば、自分の観察者位置及び／又は自分の観察者視線方向を決定することができ、それゆえに、どの１人又は複数の他のテレビ会議参加者に注目したいかを決定することができる。１つ又は複数の観察パラメータをいくつかの方法で取得することができる。例えば、ユーザは、（手動）ユーザインターフェースを使用して（例えば、タッチスクリーンを使用して、又はキーを使用して、又はコンピュータマウスのようなポインティングデバイスを使用して）１つ又は複数の観察パラメータを入力することができる。あるいは、１つ又は複数の観察パラメータを、ユーザの動作、ユーザの視線方向、ユーザの位置等から導出することもできる。テレビ会議参加者の動作に基づいて１つ又は複数の観察パラメータを取得するために、位置追跡機、視線追跡機、頭部追跡機等のような様々な技術的手段を適用することができる。したがって、テレビ会議参加者は、自身の必要に応じて１つ又は複数の観察パラメータを手動又は自動で適合させることができる。

【0024】

好ましい実施形態では、観察パラメータは、回転角度（例えば、仮想現実環境の中心、又は再生領域若しくは映像再生空間が周囲に配置されている中心に位置する観察者、観察者カメラ、又は仮想カメラの回転角度）及び／又は拡縮因子を含む。観察パラメータとして回転角度を使用することにより、仮想カメラの視線方向を（場合によっては仮想カメラの位置をも）容易に決定することができる。

【0025】

例えば、回転角度は、仮想カメラの視線方向を定義することができ、その視点から全体画像（又は総合画像）が生成される。しかしながら、例えば、仮想カメラの位置（観察者位置に等しくてもよい）が所定の線に沿って、又は所定の閉じた輪郭（円形、楕円形、正方形又は長方形等）に沿って移動するように適合されている場合、回転角度は仮想カメラの位置も定義し得る。しかしながら、回転角度は、任意に仮想カメラの視線方向（つまり、観察者視線方向）及び仮想カメラの位置（つまり、同時に観察者位置）を同時に定義してもよい。これは、例えば、仮想カメラの各位置に対して、仮想カメラの関連する（例えば、仮想カメラが沿って移動可能である輪郭の中心に向かう）視線方向が存在し得るため、仮想カメラの視線方向（言い換えれば観察者視線方向）が仮想カメラの位置（言い換えれば観察者位置）に関連し得るという事実に起因する。

【0026】

結論として、回転角度は、ユーザインターフェースから容易に取得することができる単一のスカラ値の形態で観察者位置及び／又は観察者視線方向を十分に定義することができるので、非常に効率的な観察パラメータである。

【0027】

さらに、拡縮因子を使用すると、ユーザ（テレビ会議参加者）が単一の他のテレビ会議参加者に焦点を合わせることか、複数の異なる他のテレビ会議参加者の映像を含む「広い視野」かを選択できるため、拡縮因子も非常に効率的な観察パラメータを構成することが分かっている。

【0028】

好ましい実施形態では、テレビ会議装置は、調整可能な視線方向及び／又は調整可能な拡縮因子で、所定の（例えば固定された）観察点（例えば、仮想現実環境の中心、又は映像再生領域若しくは映像再生空間が周囲に配置された中心）から見た映像再生領域又は映像再生空間を有する空間（又は三次元）仮想現実環境を描画するように構成される。例えば、描画は、ユーザが視線方向及び／又は拡縮因子を選択することができ、それゆえに、例えば、どの他のテレビ会議参加者の映像入力が自分の視野内にあるか、又はいくつのテレビ会議参加者の映像入力が自分の視野内にあるかを選択することができるようなものであってもよい。

【0029】

所定の（例えば固定された）観察点から見た空間仮想現実環境の描画は、観察点を調整する必要がないため、特に簡単なユーザ制御を可能にすることが分かっている。さらに、それにもかかわらず、ユーザ（テレビ会議参加者）は、（例えば、ユーザインターフェースを介して）視線方向の選択及び／又は拡縮因子の選択を入力することによって所望の視野を選択することが可能であることが分かっている。視線方向情報及び拡縮因子情報の両方が典型的には一次元の情報のみであるため、視線方向の選択及び拡縮因子の選択の両方は、単純な入力手段を使用して実行されてもよい。さらに、固定された所定の観察点の使用は、会議参加者が典型的には静止している（例えば、自分の座席に座っている）現場会議におけるユーザ体験と十分に一致することが分かっている。したがって、そのような制御の類型は、特に良好なユーザ体験をもたらす。

【0030】

この問題に関して、所定の観察点の様々な選択が可能であることに留意すべきである。所定の観察点は、例えば、仮想現実環境の中心、又は映像再生領域若しくは映像再生空間が周囲に配置されている中心にあり得る。しかしながら、代替的に、所定の観察点は、（例えば、卓に配置された席に対応し得る）映像再生領域又は映像再生空間が沿って配置される輪郭（例えば、円形、楕円形、正方形、又は長方形）の上（又はその近く）にもあり得る。しかしながら、所定の観察点の両方の選択が良好なユーザ体験を提供することが示されている。

【0031】

好ましい実施形態では、テレビ会議装置は、可変観察点から見た映像再生領域又は映像再生空間を（及び任意で、調整可能な視線方向及び／又は調整可能な拡縮因子をも）有する空間（又は三次元）仮想現実環境を描画するように構成される。可変パラメータ又は可変観察点は、例えば、観察パラメータの１つによって決定される。

【0032】

この実施形態は、現場会議における通常の状況から逸脱しているにもかかわらず、一部のユーザにとって可変観察点を有することが有利であるという知見に基づいている。可変観察点から見た映像再生領域及び／又は映像再生空間を有する空間仮想現実環境を描画することにより、描画が実行されるテレビ会議参加者が、すべての会議参加者の映像をよく見ることができるようになる。例えば、仮想現実環境が描画されるテレビ会議参加者から（仮想的に）比較的遠くに座っている別のテレビ会議参加者が話しているときに観察点を変更することが有利であり得る。

【0033】

現場（現実世界の）会議では、遠くに座っている別の会議参加者は、遠距離からしか見ることができない（場合によってはあまり明確に見えない）が、そのような状況で観察点を変更することにより、「遠く離れた」テレビ会議参加者のはるかに良い画像を、描画された「全体画像」又は総合画像に提供することができる。

【0034】

同様に、観察点の変更は、例えば、画像が描画されるテレビ会議参加者のそばに座っている別のテレビ会議参加者が話している場合に特に有利であり得る。「現実世界」の会議参加者は、通常、隣の人の「正面」を見る機会がないが、隣の人が会議で話をしているときに観察点を変更することによって、すなわち可変観察点を使用することによって「正面」を見ることが可能である。したがって、状況によっては、印象が現場会議よりもさらに良好であり得る。しかしながら、可変観察点を使用するための他の多くの有用なシナリオも可能であることに留意すべきである。

【0035】

好ましい実施形態では、テレビ会議装置は、（例えば、ユーザインターフェースを介して取得される）観察情報に応じて、又は例えばユーザインターフェースによって取得され得る角度情報（又は回転角度情報）に応じて、可変観察点（例えば、仮想カメラの位置）を調整するように構成される。例えば、可変観察点は、仮想現実環境の曲線に沿って（例えば、映像再生領域又は映像再生空間が配置される曲線に沿って）、ユーザによって選択可能又は変位可能であるように調整されてもよい（又は調整可能であってもよい）。

【0036】

（例えば、ユーザインターフェースを介してユーザによって提供されてもよい）観察情報又は角度情報に応じて可変観察点を調整可能にすることにより、ユーザ（テレビ会議参加者）は、自身の「お気に入り」の観察点を選択する大きな自由度を得ることができる。したがって、描画された総合画像又は全体画像をユーザの好みによく適合させることができる。

【0037】

好ましい実施形態では、可変観察点（例えば、仮想カメラの位置）が仮想現実環境の曲線に沿って（例えば、映像再生領域又は映像再生空間が配置される曲線に沿って）、ユーザ（例えば、ユーザインターフェースを介して）によって選択可能又は変位可能であるように、テレビ会議装置は、（例えば、ユーザインターフェースを介して取得される）観察情報に応じて、又はユーザインターフェースを介して取得され得る角度情報（又は回転角度情報）に応じて、可変観察点を調整するように構成される。

【0038】

ユーザが曲線に沿って（例えば線に沿って）可変観察点を容易に移動させることができるようにすることで、例えば、可変観察点を移動させることができる所定の経路（曲線）を有することができる。仮想現実環境における所定の曲線に沿った位置を単一の（一次元の）変数によって定義することができるため、この曲線（所定の経路であってもよい）に沿った移動を、例えば、一次元のユーザ入力によって制御することができる。したがって、仮想現実環境の曲線を、例えば、当該曲線に沿った各点が三次元（空間）仮想現実環境の良好な視野を提供するように予め定義することができる。

【0039】

さらに、例えば、描画における視線方向を指定する観察者視線方向が観察者位置に自動的に適合されるように、テレビ会議装置は、観察者位置情報に応じて観察者視線方向を調整するように構成されていてもよい。

【0040】

したがって、例えば、仮想現実環境の（予め定義された）曲線に沿った各位置について、対応する観察者視線方向を定義し得るので、ユーザが観察点と観察者視線方向を独立して選択する必要はない。むしろ、ユーザインターフェースを介して入力される単一の（スカラ）パラメータは、（所定の曲線に沿って移動可能な）可変観察点と観察者視線方向の両方を定義するのに十分であり得る。例えば、（所定の）曲線に沿った位置と観察者視線方向との間の関係は、曲線に沿った各観察点に対して良好なユーザ体験を提供するように定義されてもよい。

【0041】

さらに、仮想現実環境における所定の曲線に沿った移動は、例えば、実質的に異なる描画された全体画像を提供する複数の位置間での「ハード」スイッチングがないように、又は段階的に（例えば、各ステップが、別の映像再生領域又は映像再生空間に焦点をもたらすように）疑似連続的であり得ることに留意すべきである。

【0042】

結論として、観察者位置情報に基づいて可変観察点及び観察者視線方向を一緒に調整することによって、描画された全体画像の視点に対する簡単なユーザ制御が提供され、これは良好なユーザ体験を達成するのに役立つ。

【0043】

さらに結論として、実施形態はテレビ会議装置を提供し、テレビ会議装置は、例えば観察点が仮想現実環境の曲線に沿って（例えば、映像再生領域又は映像再生空間が配置される曲線に沿って）、ユーザによって選択可能又は変位可能であるように、（例えば、ユーザインターフェースを介して取得される）観察者位置情報に応じて可変観察点（例えば仮想カメラの位置）を調整するように構成される。さらに、この実施形態では、例えば、描画における視野方向を指定する観察者視線方向が観察者位置に自動的に適合されるように、テレビ会議装置は、観察者位置情報に応じて観察者視線方向を調整するように構成される。

【0044】

好ましい実施形態では、テレビ会議装置は、観察者視線方向が、可変観察点が移動する方向に対して＋／－１０度の公差で垂直になるように、又は、観察者視線方向が、可変観察点が移動する曲線に対して＋／－１０度の公差で垂直になるように、観察者位置情報に応じて観察者視線方向を調整するように構成される。

【0045】

観察者視線方向を、可変観察点が移動する方向又は曲線に対して実質的に垂直になるように位置合わせすることで、快適なユーザ体験が提供されることが分かっている。さらに、可変観察点が移動する曲線が、映像再生領域又は映像再生空間が配置される曲線である場合、観察者視線方向の上記適応は、すべてのテレビ会議参加者の映像を良好に見ることを可能にする。例えば、様々な映像再生領域又は映像再生空間（及びその結果として様々なテレビ会議参加者からの映像）の正面図に、このような概念を使用した効率的な調整機構を提供することができる。これにより、ユーザの利便性とユーザの印象とを良好に両立させることができる。

【0046】

好ましい実施形態では、観察者位置に応じて可変観察点が移動する曲線、例えば閉曲線又は輪郭、例えば円形又は楕円形の内側に観察者視線方向を常に向けられるように、テレビ会議装置は、観察者位置情報に応じて観察者視線方向を調整するように構成される。あるいは、観察者位置情報に応じて、可変観察点が移動する曲線の（例えば閉曲線又は輪郭の／例えば円形又は楕円形の）中心に（少なくとも近似的に）観察者視線方向を常に向けてもよい。

【0047】

曲線の内側に、又は曲線の中心に（少なくとも近似的に）視線方向を常に向けることによって、反対側に座ったテレビ会議参加者の視野を描画することができる。したがって、他のテレビ会議参加者の視野は、他のテレビ会議参加者が卓の反対側に座っているという印象を一貫して提供することができるようになる。これは多くの現実世界の会議経験を反映するので、快適な印象とも考えられる。

【0048】

さらに、このような概念を用いることで、観察者位置と、描画された映像再生領域又は映像再生空間との間の距離が十分に確保され、良好なユーザ印象をもたらす。

【0049】

好ましい実施形態では、可変観察点に対向する映像再生領域、又は可変観察点に対向する映像再生空間に観察者視線方向を向けるように、テレビ会議装置は観察者位置情報に応じて観察者視線方向を調整するように構成される。したがって、１つ又は複数の対向する映像再生空間又は映像再生領域上の視野が提供され、これにより、実際の観察者位置及び観察者視線方向のユーザ制御を適度に単純に保ちながら、１人又は複数の他のテレビ会議参加者の良好な視野を得ることが可能になる。特に、ユーザは、観察者視線方向を別々に調整する必要はないが、反対に、自動的に調整された有利な観察者視線方向が提供される。

【0050】

好ましい実施形態では、テレビ会議装置は、空間（例えば三次元）仮想現実環境におけるテレビ会議参加者に関連付けられた映像再生領域又は映像再生空間（例えば映像タイル）の配置に従って、１人又は何人かのテレビ会議参加者からの音響信号（例えば音声信号）を描画するように（例えば、音響信号を、映像再生領域又は映像再生空間のそれぞれの位置から生じるものとして描画するように）構成される。

【0051】

したがって、ユーザは良好な聴覚的印象を持ち、様々なテレビ会議参加者の音声の発生源は、例えば、テレビ会議参加者が見られる方向に対応することができる。言い換えれば、様々なテレビ会議参加者の音声を、例えば、当該テレビ会議参加者に関連付けられた映像再生領域又は映像再生空間が位置する場所から発生するように描画することができる。その結果、他のテレビ会議参加者の話と、様々なテレビ会議参加者の映像とが整合した知覚が提供される。

【0052】

本発明による別の実施形態は、テレビ会議方法を与え、本方法は、複数のテレビ会議参加者の映像を、空間（三次元）仮想現実環境に配置された複数の映像再生領域又は映像再生空間で再生するステップを含む。

【0053】

本発明によるこの実施形態は、上述のテレビ会議装置と同じ考慮事項に基づいている。複数のテレビ会議参加者の映像を、空間（三次元）仮想現実環境に配置された複数の映像再生領域、又は空間（三次元）仮想現実環境に配置された映像再生空間で再生することにより、良好なユーザ体験を達成することができる。さらに、テレビ会議方法は、本明細書に開示された特徴、機能、及び詳細のいずれかを個別に及び組み合わせて任意に補足されてもよいことに留意すべきである。

【0054】

本発明による別の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときにテレビ会議方法を実行するためのコンピュータプログラムを与える。コンピュータプログラムは、上述したテレビ会議装置、及び上述したテレビ会議方法と同じ考慮事項に基づいている。コンピュータプログラムは、本明細書に開示された特徴、機能、及び詳細のいずれかを個別に及び組み合わせて任意に補足されてもよいことに留意すべきである。

【0055】

本発明による実施形態を、添付の図面を参照して以下に説明する。

【図面の簡単な説明】

【0056】

【図1】本発明の一実施形態によるテレビ会議装置のブロック概略図を示す。

【図2】本発明による実施形態で使用することができる空間仮想現実環境の概略図を示す。

【図3】本発明による実施形態で使用することができる空間仮想現実環境の概略図を示す。

【図4a】本発明による実施形態で使用することができる空間仮想現実環境の概略図を示す。

【図4b】本発明による実施形態で使用することができる空間仮想現実環境の概略図を示す。

【図5】従来のテレビ会議アプリケーションの概略図を示す。

【図6】別の従来のテレビ会議アプリケーションの概略図を示す。

【発明を実施するための形態】

【0057】

１．図１によるテレビ会議装置
図１は、本発明の一実施形態によるテレビ会議装置１００の概略図を示す。

【0058】

テレビ会議装置１００は、例えば、複数のテレビ会議参加者の映像情報１１０ａ，１１０ｂを受信し、それらに基づいて描画された総合画像１１２を提供することができる。

【0059】

テレビ会議装置１００は、例えば、映像情報１１０ａ，１１０ｂによって記述される複数のテレビ会議参加者の映像を、空間（例えば三次元）仮想現実環境１２０に配置された複数の映像再生領域、又は空間（例えば三次元）仮想現実環境１２０に配置された複数の映像再生空間１２０ａ，１２０ｂで再生するように構成される。例えば、テレビ会議装置１００は、空間仮想現実環境１２０の記述又は定義を（例えば、保存された形態で）含んでいてもよい。空間仮想現実環境のこの定義は、例えば、映像再生領域又は映像再生空間１２０ａ，１２０ｂの位置の定義を含んでいてもよい。

【0060】

テレビ会議装置１００は、（例えば、仮想カメラ位置１２２における仮想カメラの視点からの）映像再生領域又は映像再生空間１２０ａ，１２０ｂを有する空間（例えば三次元）仮想現実環境１２０を、例えば、特定のテレビ会議参加者（又は個々のテレビ会議参加者又は単一のテレビ会議参加者）向けであり得る「全体画像」又は総合画像１１２に描画するように構成された描画１４０を備えていてもよい。例えば、描画１４０は、空間仮想現実環境を定義する情報、仮想カメラ１２２の位置を記述する情報、及び仮想カメラの視線方向を記述する情報を受信してもよい（仮想カメラの位置を記述する情報を観察者位置と考えてもよいし、仮想カメラの視線方向を観察者視線方向と考えてもよい）。

【0061】

したがって、描画１４０は、仮想カメラ１２２の視点から見たときに適切な情報によって記述される（又は定義される）仮想現実環境の画像（例えば総合画像１１２）を生成してもよい。例えば、描画１４０は、様々なテレビ会議参加者の映像情報１１０ａ，１１０ｂを、それぞれの関連する映像再生領域のテクスチャとして、又はそれぞれの関連する映像再生空間のテクスチャとして使用することができる。言い換えれば、第一会議参加者の映像情報１１０は、第一映像再生領域の向き（又は空間的な位置合わせ）を考慮して、第一映像再生領域１２０ａの位置に表示（又は描画）されてもよい。同様に、第二テレビ会議参加者の映像情報１１０ｂは、第二映像再生領域１２０ｂの空間的な向き（又は位置合わせ）を考慮して、第二映像再生領域１２０ｂの位置に表示（又は描画）されてもよい。

【0062】

言い換えれば、異なる映像再生領域１２０ａ，１２０ｂの異なる空間的な向きが考慮されてもよく、例えば、映像再生領域１２０ａ，１２０ｂ，及び結果として映像再生領域１２０ａ，１２０ｂ上に描画された映像コンテンツの視点変形の考慮を含んでいてもよい。さらに、仮想カメラからの距離に応じた大きさの変化等の追加の三次元描画効果、遮蔽効果、又は陰影効果も描画１４０によって考慮されてもよい。したがって、描画１４０は、例えば、空間仮想現実環境の記述（又は定義）に基づいて、仮想カメラの（言い換えれば観察者の）位置及び視線方向を記述する情報に基づいて、そして様々なテレビ会議参加者の映像情報１１０ａ，１１０ｂも考慮して、総合画像情報１１２を提供してもよい。その結果、描画１４０は、様々なテレビ会議参加者の映像情報が、空間的に配置された映像再生キャリアに（又は空間的に配置された映像再生空間に）表示されるように総合画像を提供することができ、仮想カメラの（又は観察者の）位置及び／又は視線方向は調整可能である。

【0063】

したがって、いくつかの実施形態では予め定義されてもよいが、他の実施形態ではユーザの制御下で調整可能であってもよい視点からの空間仮想現実環境の視野を、総合画像は通常反映する。その画像が映像再生領域１２０ａ，１２０ｂに表示される（他の）テレビ会議参加者が、例えば様々な向きで三次元（空間）場面に配置されているように見える印象を与えるように総合画像を描画することができる。例えば、総合画像は、他のテレビ会議参加者が様々な非平行な位置に座っている（又は立っている）という印象をユーザに提供することができ、例えば、他のテレビ会議参加者が周りに位置する会議卓（例えば、円卓）の印象を与えることができる。したがって、例えば、仮想カメラの位置及び／又は視線方向（すなわち、観察位置又は観察者視線方向）を調整する可能性があるテレビ会議装置のユーザに快適なユーザ体験を提供することができる。

【0064】

（任意の）ユーザインターフェース１５０は、（任意の）ユーザ入力１５２を受信して、（仮想カメラ１２２の位置及び／又は向きに対応する）観察者位置及び／又は観察者視線方向１２２ａをユーザ入力に従って調整してもよい。様々なタイプのユーザ入力が受信されてもよく、例えば、ユーザ入力から観察者位置及び／又は観察者視線方向及び／又は観察者拡縮因子を導出するためにユーザインターフェースによって処理されてもよい。

【0065】

一般的に言えば、ユーザインターフェース１５０は、（その映像が映像再生領域及び／又は映像再生空間に表示される）一人又は複数の他のテレビ会議参加者の良好な視野を提供し、ユーザの期待を満たす適切な観察位置及び／又は観察視線方向をユーザが選択することを可能な限り容易にするように適合されてもよい。例えば、ユーザインターフェースは、ユーザ入力として観察者位置情報を受信してもよく、観察者位置情報は、例えば線に沿って、又は閉じた輪郭に沿って、観察者位置を記述する一次元観察者位置情報であってもよい。しかしながら、観察者位置情報はまた、２つ又は３つの（例えば、３Ｄ調整可能な）座標を使用して空間仮想現実環境内の観察者位置を定義する二次元又は三次元の情報であり得る。さらに、観察者位置情報は、代替的に、例えば、別個の観察者位置として認識されるまで離間され得る別個の観察者位置の予め定義されたセットの中から、観察者位置を指定する離散値のセットに限定されてもよい。

【0066】

代替的に又は追加的に、観察者視線方向情報は、ユーザインターフェースを介してユーザから受信されてもよく、観察者視線方向（言い換えれば仮想カメラ１２２の視線方向）を定義してもよい。

【0067】

いくつかの実施形態では、観察者位置及び観察者視線方向の独立した調整を可能にするために、観察者位置情報及び観察者視線方向情報の両方がユーザインターフェースを介して受信されてもよい。しかしながら、他の実施形態では、観察者位置情報及び観察者視線方向情報のうちの一方のみがユーザインターフェースを介してユーザから受信されてもよく、ユーザインターフェース１５０は、例えば、観察者視線方向情報からユーザ観察者位置情報を導出してもよく、又はその逆であってもよい。したがって、ユーザによる観察者視線方向の特定は、ユーザインターフェースによる観察者位置情報の決定をもたらすことができ、又はユーザによる観察者位置情報の定義は、ユーザインターフェースによる観察者視線方向の決定をもたらすことができる。したがって、ユーザは、２つのパラメータ（観察者位置、観察者視線方向）の一方を設定するだけでよく、ユーザインターフェース１５０は、他方のパラメータを自動的に選択し得る。これは、例えば、ユーザ位置情報が、例えば、線に沿った、曲線に沿った、又は（閉じた）輪郭に沿った位置を指定する一次元（スカラ）値に限定される場合に特に有利である。あるいは、ユーザによって入力される観察者視線方向情報が、例えば（固定された仰角を使用している間の）方位角を定義する単一のスカラ値に限定されている場合、観察者視線方向情報から観察者位置情報を導出することが有利であり得る。

【0068】

そのような一次元（スカラ）値をユーザインターフェースを介して非常に簡単な方法で入力することができ、一次元（スカラ）値の使用は、テレビ会議装置の技術的制御ではなく、主に会議内の議論に集中すべきユーザに過度に負担をかけるリスクを回避することに留意すべきである。

【0069】

代替的又は追加的に、ユーザインターフェースは、ユーザが特定の他のテレビ会議参加者の映像を拡大したいか否か、又は、例えば、空間仮想現実環境のより広い視野で見るために、及び／又は複数のテレビ会議参加者の映像を見るために、ユーザが縮小したいか否かを記述する拡縮情報をユーザから受信してもよい。

【0070】

さらに、観察者位置情報は、例えば「視点パラメータ」の形式で入力されてもよく、観察者視線方向情報は、例えば「角度パラメータ」の形式で入力されてもよいことに留意すべきである。

【0071】

結論として、ユーザインターフェースを介して入力された観察者位置、及び／又は使用インターフェースを介して入力された観察者視線方向、及び／又はユーザインターフェースを介して入力された拡縮情報は、観察者位置、観察者視線方向、及び（任意の）拡縮情報によって定義された視点から「総合画像」１１２を提供するために、描画１４０によって使用されてもよい。

【0072】

さらなる（任意の）詳細を以下に記載する。
さらに、テレビ会議装置１００は、任意で音声描画１６０を備える。音声描画１６０は、例えば、テレビ会議参加者に関連する音声信号を描画してもよい。例えば、それぞれの音声信号が、テレビ会議参加者に関連付けられた映像が空間仮想現実環境１２０内に表示される位置に由来するという仮定に基づいて、音声描画１６０は音声描画を実行してもよい。さらに、音声描画１６０は、例えば、観察者位置及び／又は観察者視線方向に関する（例えば、全体画像及び音声コンテンツが描画されるテレビ会議参加者の）情報を使用してもよい。したがって、音声描画１６０は、例えば、全体画像及び音声信号が描画されるテレビ会議参加者と他のテレビ会議参加者との間の相対的な位置に基づいて、他のテレビ会議参加者に関連付けられた音声信号を描画してもよい。

【0073】

したがって、音声描画１６０は、例えば、他のテレビ会議参加者の映像が表示されている場所から発生しているように見えるように、他のテレビ会議参加者の音声信号を描画してもよい。したがって、音声描画１６０は、他のテレビ会議参加者の視覚的認知と、他のテレビ会議参加者の話の聴覚的認知とを一致させる役割を果たしてもよい。

【0074】

したがって、テレビ会議装置１６０は、１つ又は複数のチャネル信号を含み得る、描画された音響情報１６２を任意に提供してもよい。

【0075】

結論として、他のテレビ会議参加者の映像が三次元場面（空間仮想現実環境）に示されるので、テレビ会議装置１００は、テレビ会議に参加するときに著しく改善されたユーザ体験を提供し、テレビ会議の知覚をより現実的にし、テレビ会議参加者の集中力を維持するのに役立つ。

【0076】

２．空間仮想現実環境と観察者位置、観察者視線方向及び拡縮情報の調整とに関する詳細
以下では、空間仮想現実環境に関する、並びに観察者位置、観察者視線方向及び拡縮情報の調整に関するいくつかの任意の詳細について説明する。以下で説明される詳細は、本明細書に開示される実施形態のいずれかに任意に導入されてもよいことに留意すべきである。

【0077】

図２は、（空間）仮想現実環境２００の概略図を示す。仮想現実環境２００は、例えば、「円卓」の状況を含む。

【0078】

円卓の周囲には、着座位置が配置されている。言い換えれば、空間仮想現実環境２００では、映像再生領域及び／又は映像再生空間は、例えば、円卓の周り（又は楕円形の卓の周り、正方形の卓の周り、長方形の卓の周り、又はＵ字形のような任意の他の形状を有する卓の周り）の座席位置に配置され得る。例えば、映像再生領域２２０ａ，２２０ｂ，２２０ｃは、映像再生領域１２０ａ，１２０ｂに対応していてもよく、例えば卓の中心に位置し得るカメラ位置から見えるように卓の周囲に（例えば、卓の最大延長又は卓の直径の＋／－２０の公差で）配置されていてもよい。言い換えれば、映像再生領域又は映像再生空間２２０ａ，２２０ｂ，２２０ｃは、卓２３０の外周によって定義され得る輪郭に沿って配置される。このように、映像再生領域２２０ａから２２０ｃが配置される輪郭は、円形であってもよいが、代えて楕円形、正方形、長方形、又はその他の幾何学的形状であってもよい。さらに、映像再生領域２２０ａから２２０ｃは、空間仮想現実環境内のユーザ位置に配置され、ユーザ位置は、例えば、卓２３０の周りの座席位置であってもよいことに留意すべきである。一例として、テレビ会議参加者の数が卓２３０の周りの椅子の数よりも少ない場合、空の椅子も空間仮想現実環境によって定義されてもよい。あるいは、多数のユーザ位置及び／又は卓の大きさを、多数のテレビ会議参加者に（例えば自動的に）適合させることができる。

【0079】

図２の例では、観察者位置（又は仮想カメラ位置）２４０は、例えば卓２３０の中心、又は卓２３０の中心の周囲に固定されてもよい。したがって、ユーザが観察者位置（又は仮想カメラ位置）を定義する必要はなく、むしろ観察者視線方向２４０ａ（又は仮想カメラ視線方向）を定義すれば十分であり得る。総合画像が描画されるテレビ会議参加者は、そのような概念を使用して、すべてのテレビ会議参加者の映像を同じように良好に見ることができる可能性がある。

【0080】

図３は、本明細書に開示された実施形態で使用され得る別の空間仮想現実環境３００の概略図を示す。図２による空間仮想現実環境２００と同様に、映像再生領域（図３には示されていない）は、卓（例えば、円卓）３３０の縁に沿って、例えば座席位置（すなわち、ユーザ位置）に配置されてもよい。図３の空間仮想現実環境３００における映像再生領域の配置は、例えば、図２の空間仮想現実環境２００における映像再生領域の配置と同じであってもよい。

【0081】

しかしながら、観察点（又は仮想カメラ）の動きは異なっていてもよい。例えば、仮想カメラ（又は観察点）３４０は、例えば、ユーザインターフェースによって提供されるユーザ入力に従って、線、輪郭、又は円形（又は楕円形、正方形、又は長方形）３４２に沿って移動可能であってもよい。例えば、仮想カメラの第一位置が参照番号３４０ａで示され、仮想カメラ３４０の第二位置が参照番号３４０ｂで示され、仮想カメラ３４０の第三の位置が参照番号３４０ｃで示される。異なる位置３４０ａ，３４０ｂ，３４０ｃ間の移動は、例えば、描画された全体画像の著しい変化を引き起こす比較的大きなステップにおいて段階的であってもよく、又は準連続的であってもよい（描画された全体画像の滑らかな遷移を提供する）。図から分かるように、仮想カメラは、例えば、映像再生領域を配置し得る線（又は閉じた輪郭）３５０に沿って（例えば、卓３３０の縁に沿って）移動してもよい。さらに、仮想カメラ３４０の視線方向３４２ａ，３４２ｂ，３４２ｃは、例えば、卓の中心３４４、又は仮想カメラが移動する輪郭３５０の中心３４４に向けられるように自動的に調整されてもよい。例えば、仮想カメラ３４０の視線方向は、例えば、（観察者視線方向に対応する）仮想カメラの視線方向が、可変観察点が移動する方向に対して＋／－１０度の公差内で垂直になるように、又は仮想カメラの視線方向が、仮想カメラ３４０（又は可変観察点）が移動する曲線３５０に対して＋／－１０度の公差内で垂直になるように、ユーザインターフェースによって適合され得る。可変観察点（すなわち、仮想カメラの場所）は、例えば、観察者位置情報に応じてユーザインターフェース１５０によって調整されてもよく、観察者視線方向（すなわち、仮想カメラの視線方向）は、観察者位置情報に応じて調整されてもよい。

【0082】

したがって、仮想カメラ３４０の位置及び視線方向は、例えば、角度情報（これより仮想カメラの位置及び仮想カメラの視線方向の両方がユーザインターフェースによって導出されてもよい）又は線形位置情報（これより仮想カメラ位置及び仮想カメラ視線方向の両方がユーザインターフェースによって導出される）のいずれかによって制御されてもよい。その結果、仮想カメラ位置及び仮想カメラ視線方向の非常に簡単な制御が提供される。そのような実施形態では、非常に簡単な方法で、可変観察点が観察者位置情報に応じて移動する曲線３５０（例えば、閉曲線又は輪郭）の内側に観察者視線方向を常に向けることができるようになる。あるいは、非常に簡単な方法で、観察者位置情報に応じて可変観察点が移動する曲線の中心に観察方向を常に向けることを保証することもできる。したがって、観察者視線方向は、例えば、可変観察点の反対側の映像再生領域に向けられてもよく、又は可変観察点の反対側の映像再生空間に向けられてもよい。
その結果、良好なユーザ体験を得ることができる。

【0083】

図４ａは、本発明による実施形態で使用することができる空間仮想現実環境の概略図を示す。図４に見られるように、異なるテレビ会議参加者の映像を表示するために使用される複数の映像再生空間４２０ａ，４２０ｂ，４２０ｃ，４２０ｄは、円形又は楕円形の形状をとり得る閉じた輪郭４１０に沿って配置される。映像再生領域４２０ａから４２０ｄの表面が、空間仮想現実環境４００において異なる方向に配置されていることは明らかである。その結果、関連する仮想カメラ視線方向を有する仮想カメラの地点から見たときの空間仮想現実環境を描画する際に、遠近効果が考慮される。したがって、映像再生領域及び仮想カメラのそれぞれの位置と向きとの関係に応じて、異なるテレビ会議参加者の映像がそれぞれ歪み得る。

【0084】

図４ｂは、本発明による実施形態で使用することができる別の空間仮想現実環境４５０の概略図を示す。図から分かるように、映像再生領域４７０ａから４７０ｈは、正方形又は長方形の卓の周囲に対応し得る正方形又は長方形４６０に沿って配置されている。仮想カメラ位置は、例えば、映像再生領域が配置される領域内で可変であってもよい。したがって、空間仮想現実環境４５０は、例えば、会議参加者が卓の周囲に沿って座っている現実の会議状況に対応し得る。

【0085】

しかしながら、異なる空間仮想現実環境も当然可能であることに留意すべきであり、映像再生領域は、様々な態様、例えば不規則に、又は遮蔽が発生し得る態様で配置されてもよい。

【0086】

結論として、空間仮想現実環境２００，３００，４００，４５０はすべて本発明の実施形態で使用することができ、良好なユーザ体験を達成するのに役立てることができる。

【0087】

３．さらなる態様及び実施形態
本発明の一態様によると、３６０度仮想現実技術がテレビ会議ストリームと組み合わされた構成（又は装置）が提案される。

【0088】

一態様によると、これは、いわゆる円卓会議にとって特に興味深い。この目的のために、仮想カメラ（例えば仮想カメラ２４０）が円卓（例えば円卓２３０）の中央に視点として配置される。次いで、それぞれの参加者（例えば、全体画像が描画されるテレビ会議参加者）は、３６０度ＶＲアプリケーション（例えば、ｈｔｔｐｓ：／／ｉｂｃ２０２０．ｄｉｇｉｔａｌｍｅｄｉａ．ｆｒａｕｎｈｏｆｅｒ．ｄｅを参照されたい）のように、自ら視線方向を選択することができる。マウス（例えばコンピュータマウス）を使用して、左及び右に移動し、拡大及び縮小し、それによってそれぞれの会話の相手に注意（例えば視覚的注意）を向けることができる。参加者は、１つの座席位置（又はそれぞれの座席位置）に示される（又は重ね合わされる）。背景を仮想現実部屋として設計することができる。

【0089】

一例を図３に示す。
さらなる発展形態（又は代替形態）は、仮想現実部屋内の３６０度の視線方向に応じて、円形の経路又は異なる形状の湾曲した経路（例えば円３５０上）上にカメラを配置することが可能である。次いで、観察者は、例えば、湾曲した経路に沿って「駆動」（例えば、ユーザインターフェースを使用して位置を制御）してもよい。これは、カメラが卓の反対側で「自然な」位置をとることができるという利点を有する。視野角（又は視点）及び焦点距離は、例えば、自然な知覚に（例えば、ユーザインターフェースによって自動的に）適合される。

【0090】

以下、本発明に係るいくつかの態様について説明する。
本発明による一実施形態は、テレビ会議システムからの映像タイル（例えば映像再生領域）を有する３６０度仮想現実表現の組み合わせを与える。

【0091】

一態様によると、参加者は、視点パラメータ（回転角度及び／又は拡縮因子等）を自ら調整することができる。

【0092】

別の態様によると、拡張変形形態では、仮想カメラは、回転角度に応じて異なる仮想位置にある。

【0093】

実装の代替手段
いくつかの態様を装置の観点から説明したが、これらの態様は対応する方法の説明も表すことは明らかであり、ブロック又は装置は、方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの観点から説明される態様は、対応する装置の対応するブロック、部品又は特徴の説明も表す。方法ステップの一部又はすべては、例えばマイクロプロセッサ、プログラマブルコンピュータ、又は電子回路等のハードウェア装置によって（又は使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つ又は複数は、そのような装置によって実行されてもよい。

【0094】

本発明の符号化された音声信号をデジタル記憶媒体に記憶することができ、又は無線伝送媒体等の伝送媒体又はインターネット等の有線伝送媒体上で伝送することができる。

【0095】

特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリを使用して実行することができ、これらはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ可読であってもよい。

【0096】

本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。

【0097】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの１つを実行するように動作する。プログラムコードを、例えば、機械可読キャリアに格納してもよい。

【0098】

他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。

【0099】

したがって、言い換えれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0100】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録して含むデータキャリア（又はデジタル記憶媒体、又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、又は記録媒体は、典型的には、有形及び／又は非一時的である。

【0101】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は一連の信号である。データストリーム又は一連の信号を、例えば、データ通信接続を介して、例えばインターネットを介して伝送するように構成してもよい。

【0102】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成又は適合された処理手段、例えばコンピュータ又はプログラマブル・ロジック・デバイスを含む。

【0103】

さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

【0104】

本発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的又は光学的に）伝送するように構成された装置又はシステムを備える。受信機は、例えば、コンピュータ、携帯型デバイス、メモリデバイス等であってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に伝送するためのファイルサーバを備えていてもよい。

【0105】

いくつかの実施形態では、プログラマブル・ロジック・デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）を使用して、本明細書に記載の方法の機能の一部又はすべてを実行してもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働してもよい。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。

【0106】

本明細書に記載の装置は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組み合わせを使用して実装されてもよい。

【0107】

本明細書に記載の装置、又は本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェア及び／又はソフトウェアで実装されてもよい。

【0108】

本明細書に記載の方法は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組み合わせを使用して実行されてもよい。

【0109】

本明細書に記載の方法、又は本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェア及び／又はソフトウェアによって実行されてもよい。

【0110】

上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載の構成及び詳細の修正及び変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の記述及び説明として提示された特定の詳細によってではなく、当面の特許請求の範囲によってのみ限定されることが意図される。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【国際調査報告】