特許 7069085 一群のデバイスにより視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-09

(45)【発行日】2022-05-17

(54)【発明の名称】一群のデバイスにより視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための方法およびシステム

(51)【国際特許分類】

   H04N 21/422 20110101AFI20220510BHJP

   G09G 5/00 20060101ALI20220510BHJP

   H04N 5/232 20060101ALI20220510BHJP

   H04R 3/12 20060101ALI20220510BHJP

【ＦＩ】

H04N21/422

G09G5/00 510V

H04N5/232

H04R3/12 Z

【請求項の数】 23

【外国語出願】

(21)【出願番号】P 2019097326

(22)【出願日】2019-05-24

(65)【公開番号】P2020010318

(43)【公開日】2020-01-16

【審査請求日】2019-09-12

(31)【優先権主張番号】18174573.8

(32)【優先日】2018-05-28

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】503113186

【氏名又は名称】ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー

【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】アイネッケ，ニルス

(72)【発明者】

【氏名】メンツェル，シュテファン

【審査官】吉川 康男

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０３０２７７３（ＵＳ，Ａ１）

【文献】特開２０１０－０９７４９１（ＪＰ，Ａ）

【文献】特開２００５－０９９０６４（ＪＰ，Ａ）

【文献】特開２０１５－０９９３４６（ＪＰ，Ａ）

【文献】特開２０１２－１０３８８８（ＪＰ，Ａ）

【文献】特開２０１２－１３７５８１（ＪＰ，Ａ）

【文献】特開２０１２－１７８０６４（ＪＰ，Ａ）

【文献】特表２０１８－５０３１６５（ＪＰ，Ａ）

【文献】特開２０１７－１３０１４６（ＪＰ，Ａ）

【文献】特開２０１７－２１２７３１（ＪＰ，Ａ）

【文献】特開２０１２－２５２５１９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０５５８６０（ＷＯ，Ａ１）

【文献】特開２００１－０２２９３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／４２２

Ｇ０９Ｇ ５／００

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｒ ３／１２

(57)【特許請求の範囲】

【請求項1】

デバイスの群（１）によって視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための方法であって、
－ 前記群（１）の前記デバイスの各々の空間的位置を決定するステップと、
－ 前記視覚コンテンツ及び又はオーディオコンテンツを部分コンテンツに分割するステップであって、部分コンテンツのそれぞれは、前記デバイスの前記空間的位置に基づいて、前記群（１）の１つのデバイスによって再生されるように専用化されたものである、ステップと、
－ 前記専用化された部分コンテンツのそれぞれに対応するデータを、タイムスタンプと共に、それらに関連付けられたデバイスに送信するステップと、
－ 前記送信された部分コンテンツのそれぞれに対応するデータをデバイスの前記群（１）によって共通して同期的に再生するステップと含み、
前記群（１）の前記デバイスの分布が解析され、前記視覚コンテンツの前記分割は、再生される前記視覚コンテンツの少なくとも１つの特徴が最適化されるように、前記分布にマッピングされ、
前記視覚コンテンツの前記特徴は、前記視覚コンテンツの局所構造の周波数、明度、輝度、または色のうちの１つまたは複数のヒストグラムまたはクラスターモデルに基づいて計算され、前記最適化は、クラスターまたはヒストグラムの類似性について実行される
方法。

【請求項2】

デバイスが群（１）に参入するとき又は群（１）から離脱するときに必ず、前記視覚コンテンツ及び又はオーディオコンテンツを分割する前記ステップが繰り返し実行されることを特徴とする、請求項１に記載の方法。

【請求項3】

前記視覚コンテンツ及び又はオーディオコンテンツは、画像、ビデオ、録音、３次元物体ファイル、または仮想３次元空間のうちの１つであることを特徴とする、請求項１または２に記載の方法。

【請求項4】

前記群（１）の前記デバイスの各々の前記空間的位置の前記決定は、前記デバイスの内蔵カメラによって撮影された画像に基づいて実行されることを特徴とする、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記デバイスの内蔵カメラによって撮影された前記画像は、既知の位置を持つ１つまたは複数のマーカーを含んでおり、前記空間的位置の前記決定は、前記画像内の前記マーカーに基づいて実行されることを特徴とする、請求項４に記載の方法。

【請求項6】

位置決定のために画像を撮影する各デバイスは、それらの画像を中央プロセッサに送信し、前記中央プロセッサは、前記デバイスの前記空間的位置を計算して、位置情報を前記デバイスに返送することを特徴とする、請求項４または５に記載の方法。

【請求項7】

前記空間的位置の前記決定は、既知の位置を持つビーコンノードから放出されるビーコンに基づいて実行されることを特徴とする、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記空間的位置の最初の決定が行われた後に、前記デバイスの慣性測定装置（ＩＭＵ）によって記録されたデータに基づいて前記空間的位置の更新及び又は改良が実行されることを特徴とする、請求項４から７のいずれか一項に記載の方法。

【請求項9】

１つの専用デバイスが、内蔵カメラによって少なくとも１つの画像を記録して局所座標系を登録し、前記少なくとも１つの画像は、それぞれが自身の内蔵カメラによって撮影した画像を自身で記録する前記群の他のデバイスと共有され、前記他のデバイスの各々は、前記１つの専用デバイスから受信した前記少なくとも１つの画像及び前記局所座標系、および前記自身で記録した画像に基づいてその空間的位置を算出し、その空間的位置を前記専用デバイスへ送信する、ことを特徴とする、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記デバイスの内蔵カメラによって撮影された画像に基づく前記デバイスの空間的位置の前記決定は、８点アルゴリズム、５点アルゴリズム、ＲＡＮＳＡＣ、バンドル調整、およびこれらの組み合わせ、のうちの少なくとも１つを適用することによる、基本行列及び又は基礎行列の計算に基づく、ことを特徴とする、請求項４から９のいずれか一項に記載の方法。

【請求項11】

前記デバイスの内蔵カメラによって撮影された画像に基づく前記デバイスの空間的位置の前記決定は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎアルゴリズムまたは多視点幾何アルゴリズムの計算に基づくことを特徴とする、請求項４から１０のいずれか一項に記載の方法。

【請求項12】

前記視覚コンテンツの局所構造の周波数、明度、輝度、および色のうちの少なくとも１つに基づいて、前記視覚コンテンツの前記特徴が計算されることを特徴とする、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記クラスターまたはヒストグラムの類似性は、Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅまたはユークリッド距離に基づいて算出されることを特徴とする、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

クラスターまたはヒストグラムの類似性の改善をもたらす前記デバイスの空間的位置に向かう方向に関する情報が、前記群の前記デバイスに送信されることを特徴とする、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

前記群（１）の前記デバイスにまたがって広がる仮想表示領域（７）が決定され、前記仮想表示領域内（７）の前記デバイスの前記位置および前記デバイスのサイズに基づいて、前記視覚コンテンツが分割されることを特徴とする、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

前記群（１）の前記デバイスにまたがって広がる仮想表示領域（７）が決定され、前記仮想表示領域内（７）の前記デバイスの前記位置に基づいて、前記オーディオコンテンツが分割されることを特徴とする、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

前記オーディオコンテンツは音楽であり、前記オーディオコンテンツの各部分が１つの楽器に対応することを特徴とする、請求項１６に記載の方法。

【請求項18】

前記オーディオコンテンツの部分は、前記群（１）の前記デバイス全体によってオーディオビーム形成または波動場合成が実現されるように、個別に処理されることを特徴とする、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

前記群（１）の前記デバイスにまたがって広がる仮想表示領域（７）は、凸包アルゴリズムを使用して算出される角点によって決定されることを特徴とする、請求項１から１８のいずれか一項に記載の方法。

【請求項20】

前記部分コンテンツは、すべて前記群（１）の前記デバイスの各々に送信され、前記部分コンテンツのそれぞれには、関連付けられたデバイスを識別できるようにするための情報が付加され、各デバイスはその専用化された部分コンテンツを再生する、
ことを特徴とする、請求項１から１９のいずれか一項に記載の方法。

【請求項21】

再生の同期は、ネットワークタイムプロトコルに基づく、
ことを特徴とする、請求項１から２０のいずれか一項に記載の方法。

【請求項22】

視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するためのシステムであって、前記システムは、デバイスの群および前記デバイスによって共通して使用されるプロセッサを備えており、前記デバイスおよびプロセッサは、請求項１から２１のいずれか一項の前記方法のステップを実行するように構成されており、前記プロセッサは前記分割を実行するよう構成されている、システム。

【請求項23】

前記共通して使用されるプロセッサは、前記群（１）の前記デバイスのうちの１つに含まれる、
ことを特徴とする、請求項２２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、一群のデバイスにより視覚コンテンツ及び又はオーディオ（音響）コンテンツを同期的に再生するための方法およびシステムに関する。本発明は、コンピュータおよびコンピュータアプリケーションを用いて、好ましくは一組の固定されたコンピューティングユニットとデバイス（好ましくは、モバイルデバイス）を用いて、例えば視覚コンテンツまたはオーディオコンテンツなどの、位置制約のあるデジタルコンテンツ（ｌｏｃａｔｉｏｎ－ｂｏｕｎｄ ｄｉｇｉｔａｌ ｃｏｎｔｅｎｔ）を処理して同期的に再生する。

【背景技術】

【0002】

最先端のデバイスの多くは、高性能なコンピューティングユニットと、内部センサ（例えば、全地球測位システム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）、慣性測定装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）、内蔵カメラ、内蔵マイクロホンなど）のセットとを備えている。それらのデバイスは、通常、再生デバイスとして使用されるように構成される。すなわち、それらのデバイスは、デジタルコンテンツを再生するためのディスプレイ及び又はスピーカを備える。上述した一般的な構成は、特に、最新のモバイルデバイスも表している。それらのモバイルデバイスは、携帯することができるので、ユーザに対して視覚コンテンツ及び又はオーディオコンテンツを再生するよう操作され得る。通常、それぞれの再生デバイスは、ユーザに対する再生及び伝達の対象となる単一種類の視覚コンテンツ及び又はオーディオコンテンツを参照するか、または仮想コンテンツの一部を参照する。

【0003】

特許文献１には、ＧＰＳ情報を必要とすることなく画像のジオローカライゼーションを行うための手法が記載されている。その基本的な考え方は、地球規模の３次元データベースを使用することである。画像を撮影する位置、したがってカメラの位置が、このデータベースに対して決定される。カメラの位置を決定するための他の方法が、特許文献２において開示されている。ここには、パノラマ画像を用いてカメラの位置を決定するための手法が記載されている。その考え方は、パノラマ表示の特徴を、環境の３次元モデルからの特徴と比較することである。パノラマ表示は単一のカメラ画像よりも多くの特徴を包含しているため、ローカライゼーションの品質が大きく改善される。

【0004】

特許文献３には、地理位置情報に基づいて画像を閲覧するためのシステムが記載されている。正確な検索キーワードに基づいて表示する画像を選択する代わりに、このシステムのユーザは、撮影された単一カメラの画像の位置を含むマップを取得できる。これにより、ユーザは、より簡単に特定の表示を選択することができる。とはいえ、再生の際には、１つのデバイスにつき１つの視覚コンテンツしか再生できない。

【0005】

最後に、特許文献４は、複数のユーザによってプレイされる狩猟ゲーム、または捜索救助のシナリオにおけるような、協力行動（ｃｏｌｌａｂｏｒａｔｉｖｅ ａｃｔｉｏｎｓ）を実現するためのモバイルデバイスのアドホックネットワークを開示している。その考え方は、参加中の各ユーザの位置および活動地域（狩猟、捜索）の情報を、他のユーザに配布することである。これにより、例えば、すべてのユーザおよびユーザの活動地域をマップ上に表示して、ユーザ間におけるより良い協力の実現を可能とする。しかし、この手法は、単に他のプレイヤーの情報を伝えることを意図したものであり、異なるデバイスにおいて共通に単一のコンテンツを再生するものではない。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許出願公開第２０１４／０３１４３２２（Ａ１）号

【文献】米国特許出願公開第２０１２／０３０００２０（Ａ１）号

【文献】米国特許出願公開第２０１２／０１６９７３４（Ａ１）号

【文献】米国特許第９，４１７，６９１（Ｂ２）号

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、本発明の目的は、一群のデバイスにおいて視覚コンテンツ及び又はオーディオコンテンツの同期処理を可能にすることである。その一群のデバイスの全体が一緒になって視覚コンテンツ及び又はオーディオコンテンツの一貫性のある印象を生み出すように、その一群のデバイスのそれぞれが、空間内における当該デバイスの位置に応じてそのコンテンツの一部を再生し、当該コンテンツが、その群のデバイスによって協調的な態様で再生される。

【0008】

この目的は、独立クレームに従う方法およびシステムによって実現される。さらに有利な態様および特徴が、従属クレームにおいて定義される。

【課題を解決するための手段】

【0009】

本発明に従う、一群のデバイスにより共通に且つ同期的に視覚コンテンツ及び又はオーディオコンテンツを再生するための本方法は、以下のステップを含む。まず、その一群のデバイスの、各々の空間的位置が決定される。これらデバイスの空間的位置を把握しているということは、具体的には、それらのデバイスの互いに対する相対的な位置（好ましくは、向きを含む）が既知であるということを意味する。次に、それらの位置に基づいて、視覚コンテンツ及び又はオーディオコンテンツは、それぞれがその一群のデバイスの一つにより再生されるように専用化された複数の部分コンテンツに分割される。その後、専用化された部分コンテンツは、それぞれ関連するデバイスへタイムスタンプと共に送信され、その一群のデバイスによって共通的に且つ同期的に再生される。その結果、これら部分コンテンツの再生は、１つの大きな再生デバイスであるかのような印象を生み出す。「分割」という用語は、一のデバイスに対応する仮想コンテンツの一部分が、その仮想コンテンツの全体から抽出されることを意味していることに留意されたい。このことは、また、視覚的なものの場合には、仮想コンテンツの全てがその一群のデバイスに対して配布されるわけではないことをも意味する。それらデバイスのディスプレイ間には、ギャップが存在するためである。

【0010】

これは、特に、異なる複数のデバイスが一つの画像または動画（ビデオ）の部分（部分コンテンツ）をそれぞれ表示するような、視覚コンテンツの場合において明らかである。すなわち、その画像のそれぞれの部分が、一群のデバイスの全体にまたがって広がる仮想表示エリア内における個々のデバイスの位置に対応するように、分割が実行される。本発明の方法、および従って対応するシステムは、それらのデバイスを予め定めて配置しておくことを要しない。上記分割には、各デバイスの位置を決定する際に生成された位置情報を用いるので、本方法は、動的配置を行うような場合に特に有用である。その一例は、互いに対して様々な相対位置に配される可能性のある携帯電話などの、複数のモバイルデバイスであり得る。

【0011】

本方法においては、一のデバイスが群に加わるか又は離脱する際には必ず、視覚コンテンツ及び又はオーディオコンテンツを分割するステップを繰り返し実行することが好ましい。本発明の意味においては、群から離脱するということは、その群の他のデバイスとの関係がもはや推定できないような形で、当該離脱したデバイスの位置が変化することを意味する。これは、デバイス間距離の関係に基づいて判断され得る。例えば、あるデバイスとその群の他の全てのデバイスとの間の最短距離が、その群の他のデバイス同士の平均距離の倍数を超えた場合に、そのデバイスは、その群から離れたと判断することができる。逆に、これと同じ閾値を用いて、新しいデバイスがその群に加わったことを判断するものとすることができる。近接性の尺度になるその他のしきい値も、使用され得る。

【0012】

本発明は、有利には、画像、ビデオ、録音、３次元物体ファイル、または仮想３次元空間のうちの１つである、視覚コンテンツ及び又はオーディオコンテンツに関する。

【0013】

さらに、デバイスの内蔵カメラによって撮影された画像に基づいて上記空間的位置の決定が実行されることが好ましい。通常使用される位置決めシステムを利用できない場合にも、そのような決定が可能であるということは、大きな利点になる。したがって、デバイス自体によって撮影された画像に基づく位置決定は、衛星信号に基づくローカライゼーションが失敗することがある建物内で使用できる。さらに、本発明の実装に特に役立つモバイルデバイスは、ほとんどの場合、内蔵カメラを備えており、撮影された画像の解析による位置決定を可能にする。

【0014】

デバイスのカメラによって撮影された画像は、有利には、既知の位置を持つ１つまたは複数のマーカーを含み、空間的位置の決定は、画像内のそれらのマーカーに基づいて実行される。そのようなマーカーを画像内で検出するのは容易であり、マーカーの位置は、例えば、正確な位置情報に関連付けられたマーカーの情報をデバイスからアクセスできるデータベースに格納しておくことでアプリオリ（ａ ｐｒｉｏｒｉ）に知られるので、位置決定の精度を容易に向上させることができる。

【0015】

好ましい一実施形態によれば、各デバイスは、位置決定用の画像を撮影し、それらの画像を中央プロセッサに送信する。中央プロセッサは、デバイスの空間的位置を計算し、位置情報をデバイスに返送する。撮影された画像の送信は、例えば移動しないコンピュータ内の中央プロセッサの使用を可能にする。「中央プロセッサ」は、少なくともその群の複数のデバイスについての位置を計算する一つのプロセッサとして理解されるべきである。中央プロセッサの計算能力は、それらのデバイス間で共有される。複数の中央プロセッサを使用して、その群のデバイス全体の位置情報を計算してもよい。デバイスの外部にある少なくとも１つのそのような中央プロセッサを使用することには、エネルギー消費が重要な問題とならず、したがって、非常に高性能なプロセッサを使用できる、という利点がある。本発明は、特に動的構成（つまり、デバイスの位置および数が変化する構成）に対処するものであるので、そのような中央プロセッサを使用することには、デバイスの配置の変化に対する応答時間を短くすることができる、という大きな利点がある。

【0016】

空間的位置を決定する他の方法は、位置が既知であるビーコンノードから放出されたビーコン（ビーコン信号）を用いる。そのようなビーコン信号の解析は、光条件が厳しく、撮影された画像に基づくローカライゼーション（位置特定）が困難であるような状況において、有利に使用され得る。ビーコンを測定するためのセンサは、デバイスに含まれる。

【0017】

空間的位置の初期決定（初期特定）が行われた後に、デバイスの慣性測定装置（ＩＭＵ）によって記録されたデータに基づいてデバイスの空間的位置の更新及び又は精度向上が実行されることが、さらに好ましい。そうすれば、初期空間的位置の計算が上述したようにリモートの中央プロセッサによって実行される場合において、このプロセッサとの接続が中断されたとしても、重大問題とはならない。その一方で、デバイスの位置を計算するための第２の方法を用いることで、位置誤差が低減される。

【0018】

その群のデバイスの各々の空間的位置を決定するための様々な異なる方法の全部または一部が組み合わせられ得ることは明らかである。

【0019】

本発明の一の他の態様によれば、一の専用のデバイスが、その内蔵カメラによって少なくとも１つの画像を記録して、局所座標系を登録する。上記少なくとも１つの画像は、それぞれが自身の内蔵カメラによって撮影した画像をそれら自身が記録するその群の他のデバイスと共有される。他のデバイスの各々は、受信された画像、受信された局所座標系、および自身が記録した画像に基づいて、自身の空間的位置を計算し、その空間的位置を上記専用のデバイスに送信する。その群のデバイスの全部又は少なくとも複数の位置を計算する一の中央プロセッサを設ける場合とは異なり、この方法には、一の専用のデバイスの画像、または当該デバイスが撮影した複数の画像のみを、他の参加している（または参加を要求している）デバイスに送信すればよい、という利点がある。デバイスの各々は、自身の位置を決定するべく、適切なアルゴリズムを自身で計算するよう構成される。

【0020】

デバイスの内蔵カメラによって撮影された画像に基づくデバイスの空間的位置の決定は、８点アルゴリズム、５点アルゴリズム、ＲＡＮＳＡＣ、バンドル調整、およびこれらの組み合わせのうちの少なくとも１つを適用することにより、基本行列及び又は基礎行列の計算に基づいて行われるものとすることができる。

【0021】

これに代えて、デバイスの内蔵カメラによって撮影された画像に基づくデバイスの空間的位置の決定は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎアルゴリズムまたは多視点幾何アルゴリズムの計算に基づく。

【0022】

その群のデバイスの分布が解析され、再生される視覚コンテンツの少なくとも１つの特徴が最適化されるように、視覚コンテンツの分割が上記分布にマッピングされることが好ましい。その群のデバイス全体にまたがって広がる仮想表示領域に再生される画像またはビデオの相対位置をこの分布に適合させることによって、視聴者が受ける印象が大幅に改善される。すなわち、その群のデバイスによって生成される仮想ディスプレイに対する視覚コンテンツの最良の相対位置を用いて、複数のデバイスのディスプレイの不均等配置についての最良の利用状態を実現する。

【0023】

上記デバイスの分布に対する、上記画像についてのこのような最適化されたマッピングを実現するために、視覚コンテンツの、局所構造周波数（ａ ｌｏｃａｌ ｓｔｒｕｃｔｕｒｅ ｆｒｅｑｕｅｎｃｙ）、明度、輝度、および色のうちの少なくとも１つに基づいて、当該視覚コンテンツの特徴が計算される。

【0024】

視覚コンテンツの特徴は、具体的には、視覚コンテンツの局所構造周波数、明度、輝度、または色のうちの１つまたは複数の、ヒストグラムまたはクラスターモデルに基づいて算出されるものとすることができ、クラスターの類似性またはヒストグラムの類似性に関して最適化が実行される。クラスターまたはヒストグラムの類似性は、具体的には、Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅまたはユークリッド距離に基づいて計算されるものとすることができる。

【0025】

最適化の結果として、その群のデバイスのうちの１つまたは複数の位置をどのように変更すればマッピングのさらなる改善となるのか、を特定することができる。したがって、クラスターまたはヒストグラムの類似性を改善することとなるこれらデバイスの空間的位置を指す方向に関する情報を、その群のデバイスに送信することが好ましい。本発明を利用する多くの状況では、ユーザは携帯電話などのモバイルデバイスを保持する。視覚コンテンツの再生の改善につながる移動方向が提示された後に、ユーザは、それに応じてデバイスを移動することができ、このようにして、改善に積極的に参加することができる。より多くのデバイスが参加するほど、結果が良くなる。

【0026】

その群のデバイスにまたがって広がる領域として決定される仮想表示領域を、まず決定することが、特に有利である。そのような仮想表示領域を決定した後に、仮想表示領域内のデバイスの位置およびデバイスのサイズに基づいて、視覚コンテンツが分割される。デバイスのサイズは、デバイスごとにアプリオリに設定されたサイズであるものとすることができる。これに代えて、このサイズは、各デバイスにより与えられる情報に基づいて、デバイスごとに決定されるものとすることができる。例えば、あるデバイスをその群に登録したい場合には、そのデバイスがディスプレイのサイズを少なくとも含んだディスプレイに関する情報を必ず送信しなければならないものとすることができる。

【0027】

また、オーディオコンテンツを再生する場合も、その群のデバイスにまたがって広がる仮想表示領域（又は、仮想提示領域）を、最初に決定することが有利である。次に、仮想表示領域内のデバイスの位置に基づいて、オーディオコンテンツが分割される。

【0028】

オーディオコンテンツは音楽であるものとすることができ、オーディオコンテンツの各部分が１つの楽器に対応し得る。オーディオコンテンツのそのような再生は、通常のステレオ再生とは異なり、各楽器（または、オーケストラ全体のうちのサブグループを形成する複数の楽器等）を１つのデバイスによって個別に再生できるため、オーケストラが存在している印象を生み出す。したがって、音の発生源が、はるかに現実に対応している。

【0029】

他の態様によれば、オーディオコンテンツの各部分は、その群のデバイス全体によって音響ビーム形成（ａｕｄｉｏ ｂｅａｍｆｏｒｍｉｎｇ）または波動場合成（ｗａｖｅ ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ）が実現されるように、個別に処理される。

【0030】

角点を含む仮想表示領域を決定するための好ましい方法は、凸包アルゴリズムを使用して角点を算出することである。

【0031】

他の有利な態様によれば、部分コンテンツのすべてが、その群のデバイスの各々に送信される。コンテンツの各部分ごとに、それらに関連付けられたデバイスを識別するための情報が付加され、各デバイスは、自身に専用化された部分コンテンツを再生する。この方法には、コンテンツを個々のデバイスに対して処理する必要がない、という利点がある。複数の部分コンテンツは、ブロードキャストされるものとすることができ、各デバイスは、そのデバイスに関連する部分についてのみ、さらなる処理を行う。

【0032】

望ましくは、再生の同期は、ネットワークタイムプロトコルに基づいて行われる。ネットワークタイムプロトコルを用いることにより、その群のすべてのデバイスに共通する時間基準の使用が可能となり、したがって、仮想コンテンツの同期的な再生の基盤がシンプルな方法で提供される。

【0033】

視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための本方法に対応するシステムは、一群のデバイスと、少なくとも複数のこれらデバイスによって共通に使用される中央プロセッサと、を備えており、これらのデバイスおよびプロセッサは、上述した方法のステップを実行するように構成され、上記プロセッサは、仮想コンテンツの分割を実行するように構成されている。

【0034】

分割を実行するプロセッサは、部分コンテンツの再生に使用されるすべてのデバイスから分離したプロセッサであってもよいが、共通して使用されるプロセッサがその群のデバイスのうちの１つに含まれているものとしてもよい。その利点は、参加しているデバイスの各々と通信する必要がある分離した中央プロセッサがなくても、そのような再生システムを確立できることである。デバイスのうちの１つのプロセッサが分割を実行するように構成されているため、コンテンツ再生のためのアドホックな、本発明の方法に沿ったシステムを、任意の場所で確立することができる。

【0035】

以下、添付の図面に示した好ましい実施形態に関連して、本発明を説明する。

【図面の簡単な説明】

【0036】

【図1】仮想コンテンツと、一群のモバイルデバイスによる当該仮想コンテンツの再生と、について示す図である。

【図2】アドホックな大表示画面を形成するモバイルデバイスの、整列配置および非整列配置を示す図である。

【図3】デバイスの所与の配置に対して仮想表示領域を決定する他の方法を示す図である。

【図4】可能性のあるアドホックなディスプレイ用の仮想コンテンツのヒストグラムを示す図である。

【図5】現実世界でのアドホックな画面の３つの例示的な形状を示す図である。

【図6】主要な方法のステップを含む簡易フローチャートを示す図である。

【発明を実施するための形態】

【0037】

以下、本発明の実施形態について説明するが、一部の実施形態に関してはその詳細のみを説明する。したがって、本発明の全体的な理解を促すために、まず、本発明のアイデアについて説明する。概して、適応化が可能な全体としてのデバイスにおいて視覚コンテンツ及び又はオーディオコンテンツの同期的な再生を行う。そのような視覚コンテンツ及び又はオーディオコンテンツは、以下では、仮想コンテンツとも称され得る。このシステムは、一群のデバイスを備え、各デバイスは、当該デバイスに内蔵されたディスプレイ及び又はスピーカを用いて視覚コンテンツ及び又はオーディオコンテンツを再生できるように構成される。もちろん、本発明は、再生用の複数の静止したデバイスと共に用いられるものとすることができるが、ここでは、一の仮想コンテンツを共通して再生するその群に属するモバイルデバイスが動的に変化し得るものとするので、主な利用分野は、モバイルデバイスと共に用いる場合である。以下では、専らそのようなモバイルデバイスに関して説明を行うが、それらのすべての態様および特徴は、モバイルデバイス以外にも適用され得ることは明らかである。

【0038】

本発明に従う各モバイルデバイスは、モバイルデバイス全体におけるその空間的位置によって、その群に属しているとして識別されて登録され、当該空間的位置に応じて仮想コンテンツの一のコンテンツ部分（以下、部分コンテンツという）が割り当てられる。その群の各モバイルデバイス上でのコンテンツ（仮想コンテンツの部分）の再生を同期させることによって、仮想コンテンツが表示される際には、その仮想コンテンツの全体ではなくとも当該仮想コンテンツ全体のほとんどの部分が再生される。モバイルデバイスは、リアルタイム方式で、仮想コンテンツを共通して再生するその群に参加するか、またはその群から離脱することができる。そのような参加または離脱は、必要であれば、その一群のデバイスよって確立された仮想ディスプレイのサイズを適合させるべく処理され、仮想コンテンツの部分コンテンツも適合される。例えば画像またはビデオ（動画）などの視覚的なもの（以下、映像ともいう）の場合、モバイルデバイスの各々は、そのモバイルデバイスのディスプレイサイズにまで拡大または縮小された、１ピクセル（またはサブピクセル）に至るまでの小さな上記映像の一部のみを処理するものとすることができ、それらモバイルデバイスの全体が、当該映像の小部分（部分コンテンツ）のみを表示する。オーディオ（音または音響）の場合、モバイルデバイスのそれぞれは、空間内の一の特定位置に対して予め定められたオーディオの一部分を再生するか、または、空間内の一の特定位置に対して予め定められた音配置（ａｕｄｉｏ ａｒｒａｎｇｅｍｅｎｔ）の一の楽器を再生するものとすることができる。

【0039】

図１は、本発明の原理を示している。右側の複数のデバイスの群１は、映像およびオーディオの再生体験のための、いわゆる大きいアドホックな画面を作成する。この例では、群１は、１１個のいわゆるスマートフォンをモバイルデバイスとして含んでいる。当然ながら、デバイスの数は１１個以下に制限されず、さらに多くのデバイスがその群１に存在してもよい。単に説明の目的で、図面においては、図２ｂに示されている長方形の仮想表示領域７の角に最も近いモバイルデバイス２、３、４、および５について、参照番号が示されている。仮想表示領域７は、群１のモバイルデバイス２、３、４、および５にまたがって広がる領域である。仮想表示領域７は、図１の左側に示されているような視覚コンテンツを再生するために使用されるものとする。この例示的な実施形態では、複数の物体を含む画像を示している。本発明によれば、図１の右側からわかるように、画像の複数の部分がモバイルデバイス２、３、４、５のディスプレイに表示される。デバイスのディスプレイ間に隙間があるため、デバイスの群１は視覚コンテンツ全体の一部のみを再生することとなるが、その群１内のモバイルデバイス２、３、４、５の密度が十分に大きい限り、仮想コンテンツに似せた表示を行うには十分である。

【0040】

群１のデバイスによって仮想コンテンツを再生するための本発明の一の実施形態は、各デバイスの位置を計算するステップと、当該位置によって各デバイスを登録するステップと、再生される部分コンテンツをデバイスごとに準備するステップと、部分コンテンツに対応するデータを各デバイスに送信するステップと、部分コンテンツを各デバイス上で再生するステップとを繰り返すことを含む。例えばビデオの同期的な再生が可能になるように、仮想コンテンツを再生するすべてのデバイスに共通する時間基準が使用される。本発明の一の態様は、参加しているデバイスの数が変化する状態において、再生されるコンテンツを適合することである。すでに上述したように、これは、群１を現在形成しているデバイスが仮想表示領域７におけるそれらデバイスの現在の位置に対応した仮想コンテンツの一部を再生するように、再生すべき仮想コンテンツを常に分割できるよう、デバイスの空間的位置が反復的に決定されることを意味する。デバイス位置の反復決定は、離脱又は参入するデバイスの識別に用いられるだけでなく、その群１（したがって、仮想表示領域７）内のデバイス位置の変化を識別するのにも用いられ得る。

【0041】

可能性のある適用シナリオとして、ミュージックショーまたはスポーツイベントが想定され得る。この場合、観客席にいる訪問者は、例えばディスプレイの方向が向かい側の観客席にいる訪問者の方へ向くようにモバイルデバイス２、３、４、５を保持するものとすることができる。これにより、それらディスプレイの全体が大きなアドホック画面を形成し、当該大きなアドホック画面上に、画像またはライブビデオの画面が表示される。モバイルデバイス２、３、４、５を追加または削除することにより、仮想コンテンツのサイズおよび位置が、これらデバイスの全体に応じて適合される。

【0042】

上記繰り返しステップの各々において、大きなアドホック画面への参加を要求するモバイルデバイス２、３、４、５は、空間における自身の位置を登録し及び提供する必要がある。標準的な解決策として、例えば座席または座席券に付されたバーコードなどのローカル識別子のスキャンを利用することができるが、ローカル識別子はデバイスの位置を固定し、再生中におけるオンラインでの適合を妨げる。好ましい適用領域であって上述において既に説明した動的な解決策では、必要とされる解像度、および屋内又は屋外のいずれのシナリオかに応じて、その他のさまざまな方法が適用される。使用可能であれば全地球的航法衛星システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、慣性測定装置（ＩＭＵ）センサ、及び又はビーコンシステムが位置情報を提供する。特に屋内シナリオの場合に、位置の精度を向上させるため、これに加えて又はスタンドアロンの代替策として、モバイルデバイス２、３、４、５のカメラを用いて画像を記録し、複数のモバイルデバイス２、３、４、５の記録画像を処理して、群１の又は参加を要求している各モバイルデバイス２、３、４、５の位置が算出される。この場合、モバイルデバイス２、３、４、５のカメラは、起動されて環境内の物体（例えば、再生モードにおいてディスプレイが向けられるべき方向にある物体）に向けて配置される。空間内におけるモバイルデバイスの位置を算出するため、記録された画像が中央処理装置に送信される。そのような処理装置は、単一のプロセッサとして実現されるものとすることもできるし、あるいは複数のプロセッサとして実現されてもよい。いずれの場合でも、処理装置は、その群１のモバイルデバイス２、３、４、５と情報を交換可能である必要がある。その群１の配置全体の複雑さに応じて、群１のデバイスのうちの一のプロセッサを中央処理装置として使用すると有利である。この場合、群１の一のデバイスに含まれる中央処理装置は、デバイスのうちの１つに局所座標系を割り当て、記録された画像に基づき、他のすべての参加しているデバイスの相対位置をこの局所座標系に従って算出する。このプロセスを支援するために、参加を要求しているモバイルデバイス２、３、４、５のそれぞれに物体を含む画像を送信し、画像が確実にオーバラップするようにカメラの焦点をこの物体に合わせるようユーザに要求することもできる。

【0043】

従来技術において通常は一般的に知られているように、３次元空間内のカメラの位置は、異なるカメラからの画像間、またはカメラの異なる姿勢からの画像間で一致するピクセルを検出し、検出された対応関係を用いて基本行列または基礎行列を計算することによって算出される。これらの行列は、画像が撮影されたカメラの姿勢間の、相対的な向きおよび並進移動を表している。基本行列または基礎行列を計算するための方法は、例えば、８点アルゴリズムまたは５点アルゴリズムあるいはこれらの変形である。より安定した結果を得るために、多くの場合、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）およびバンドル調整も使用される。ＲＡＮＳＡＣは、外れ値を除外することによってモデルパラメータを推定することができ、一方、バンドル調整は、多くの異なる画像（したがって、カメラの姿勢）の推定を組み合わせ、共通する妥当な解に最適化することによって、堅牢性を向上させる。デバイスの各々の空間的位置を決定するための計算は、次のように、分散的態様で実行され得る。
（ａ）位置情報を要求しているモバイルデバイス２、３、４、５が、他の参加しているデバイスと共に１つまたは複数の記録された画像を共有し、それらのデバイスのサブセット上で位置が算出され、位置情報が返送されるか、または、
（ｂ）モバイルデバイス２、３、４、５が、それらに記録されている画像および位置情報を、位置情報を要求しているデバイスと共有し、位置を要求しているモバイルデバイス２、３、４、５上で計算が実行される。

【0044】

画像の共有が、必ずしも、その群１に現在含まれているすべてのデバイスに対して実行されないということに注意するべきである。デバイス（またはそれらの画像）のサブセットのみをローカライゼーションに使用することも可能であり、データトラフィックの観点からは合理的でもある。複数のカメラのセットの位置は、それらのカメラから撮影された画像のセットから算出され、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎアルゴリズムまたは複数のカメラの登録が、この計算を実現するために適用され得る。

【0045】

空間的位置を決定する代替のまたは追加の方法は、ビーコンノードから放出されたビーコン信号（ビーコンまたはショートビーコン）を使用することに依拠する。

【0046】

ビーコンノードは、既知の位置に配置される。各ビーコンは、既定のビーコン信号（例えば無線ビーコン信号または可視光通信（ＶＬＣ：ｖｉｓｕａｌ ｌｉｇｈｔ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を介したビーコン信号）を送信する。ビーコンを測定するためのセンサがデバイス（モバイルデバイス２、３、４、５）に備えられ得る。センサは、例えば、無線受信器またはＶＬＣ受信器であり得る。受信されたビーコン信号が評価され、デバイスの現在の位置を少なくとも含み且つ好ましくはデバイスの現在の向きに関する情報をさらに含む姿勢情報が、受信されたビーコン信号から算出され得る。

【0047】

ビーコンノードは、無線アクセスポイントであり得る。受信されたビーコン信号の解析は、受信信号強度インジケータ（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｏｒ）およびラテレーション（トリラテレーション）に基づくローカライゼーション、フィンガープリンティングに基づくローカライゼーション、到着角（ＡｏＡ：Ａｎｇｌｅ ｏｆ Ａｒｒｉｖａｌ）に基づくローカライゼーション、または経過時間（ＴｏＦ：Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）に基づくローカライゼーションなどの、既存のローカライゼーション手法を用いて実行できる。これらの手法を組み合わせて、計算されたデバイス位置の精度を向上させることができる。

【0048】

受信されたビーコン信号の解析および位置の算出は、これらのデバイス（具体的には、モバイルデバイス２、３、４、５）のうちの少なくとも１つにおいて、または中央処理装置において、実行され得る。

【0049】

ビーコン信号のそのような解析は、光条件が厳しくて、撮影された画像のみに基づくローカライゼーションが困難であるか、または精度が低いローカライゼーション結果しか得られないような状況および環境において、有利である。

【0050】

３次元再構築（３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）の分野における最先端のアルゴリズムは、インターネットからの構造化されていない画像を用いて建物の３次元モデルを再構築することができる。この文脈において「構造化されていない」とは、カメラの位置が不明であり、画像の撮影に使用されたカメラの仕様も不明である画像を意味する。３次元構築の処理の際、建物の３次元形状への正確な寄与を算出するべく、各カメラの３次元位置が推定される。この３次元再構築手法は、群１の中で仮想コンテンツの一部を再生することとなるデバイスの位置を決定するのに用いられる。インターネットの画像データの代わりに、モバイルデバイスのカメラからの画像がシステムに入力される。カメラと当該カメラが搭載されているデバイスとの間の関係は既知であるので、この手法を用いることによってデバイスのカメラの位置と向きが全体フレームの中で推定される。既知のアルゴリズムにおいて３次元モデルを再構築する手順については説明を省略する。いくつかのシナリオにおいては、モバイルデバイス２、３、４、５の位置の推定を改善するために、既知の３次元位置および方位を持つ追加の視覚的マーカーを使用することが、有益であり得る。そのようなマーカーは、簡単に検出されるように、正方形または円形の標準的な黒色または白色のパターンである。

【0051】

登録されたデバイスの情報（すなわち、モバイルデバイスの識別子および空間内の位置、ならびに、好ましくはサイズ、および場合によっては内蔵ディスプレイの解像度）に基づいて、コンテンツの配分が計算される。コンテンツの配分は、部分コンテンツの同期再生が仮想コンテンツの全体的印象を与えるように、群１の個々のデバイスによって再生される部分コンテンツを決定する必要があることを意味する。デバイスの位置に関する情報により、そのデバイスが仮想表示領域内で果たす役割についての認識が可能となる。

【0052】

標準的な方法で、それらデバイスの現実空間の位置が平坦な平面に投影され、モバイルデバイスの投影された位置の凸包が計算される。仮想表示領域７を定義するための多くのさまざまな解決策が存在するが、ほとんどの場合、長方形の仮想表示領域７が好ましい。図２および３は、仮想表示領域７を決定する方法の好ましい例を示している。

【0053】

図２ａでは、コンテンツが、長方形の４つの辺を定義するモバイルデバイス２、３、４、５に切り抜かれ、各デバイスが規則的に配置されている。一方、最も現実的な状況では、デバイスは規則的に配置されず、ほとんどランダムに配置される。それが、図２ｂに示されている。再生に参加しているすべてのデバイスの空間的位置を１つの共通の平面に投影した後に、平面に投影された位置にまたがって広がる長方形の仮想表示領域７が、決定される。これを実行するための１つの方法は、その群１のデバイスの上端、下端、左端、および右端の座標を決定することである。示されている例では、デバイス２、３、４、および５がそれらの座標を定義しており、さらに、破線で示されている広がった長方形を定義している。

【0054】

他の方法は、まず凸包を平面内のデバイスの投影に合わせ、次に、図３に示されているように、凸包８内で合わせられた最大の長方形を決定することによって、最大の領域に広がるように、長方形を平面に合わせることである。仮想表示領域７の長方形は、その群１のモバイルデバイス２、３、４、５の位置によって与えられる外側境界に合わせるように長方形を最大化することによって、計算される。

【0055】

さらに高度な手法では、コンテンツを分割する際に仮想コンテンツが考慮され得る。ここで、画像およびビデオフレームが、デバイスの位置に関して、特にモバイルデバイス２、３、４、５の密度に関して、解析されて処理される。一例として、仮想コンテンツとして再生される画像が大きい暗い領域を含んでいる場合、暗い領域がモバイルデバイス２、３、４、５の密度の低い領域に一致するような方法で、再生される画像の位置が整列されるように、仮想画像を分割することによって、生成される部分コンテンツが決定される。この決定は、例えば、元の画像（仮想コンテンツ）のヒストグラムと、デバイスの分布にマッピングされた再生される可能性がある画像のヒストグラムと、を算出することにより実行され得る。分割は、さまざまなマッピングに対して、すなわち群１のデバイスを基準にした再生される画像のさまざまな位置に対して実行される。それらの可能性のある分割の結果ごとに、ヒストグラムが算出される。それらのヒストグラムの、再生される仮想コンテンツのヒストグラムからの距離が、ユークリッド距離またはＥａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ（ＥＭＤ）を用いて算出され得る。すなわち、再生される仮想コンテンツの、仮想表示領域７に対する相対的な位置を変えることにより、コンテンツの位置、したがってコンテンツの分割を、最適化することができる。再生される仮想コンテンツの位置を、仮想表示領域７を基準にして変えることによって、コンテンツの位置、したがってコンテンツの分割を最適化できる。ヒストグラムの距離が最小になる位置が、最終的に再生に使用される。

【0056】

他の変形は、クラスターモデル（例えば、混合ガウス分布）を用いて密度をモデル化することである。混合ガウス分布間の距離は、クラスターの中心（例えば、ガウス分布の中心点）間の距離により算出され得る。それらの距離を用いて、仮想コンテンツをモバイルデバイス２、３、４、５の分布に最適にマッピングするように、最適化アルゴリズムが実装される。

【0057】

ただし、再生中のデバイス全体に対して仮想コンテンツの相対位置を最適化するだけでなく、仮想表示領域７内のデバイスの位置を最適化するものとすることもできる。群１のデバイスを保持しているユーザがこれを行えるようにするため、中央処理装置によって提供されたマーカーが、モバイルデバイスのディスプレイ上で視覚化されるものとすることができ、これにより、デバイスの分布を改善してコンテンツのマッピングがより改善されるように、ユーザに対し特定の方向へ移動する動機を与えることができる。マッピングプロセスからそのようなマーカーの情報を生成するために、ヒストグラムの変化に対する特定のデバイスの影響が用いられる。視覚的マーカーの代替として、モバイルデバイスの振動が用いられる。

【0058】

図４ａ、４ｂ、および４ｃは、マッピングプロセスを示している。図４ａは、特定の視覚コンテンツ（例えば、画像、ビデオ）を示しており、領域Ａがより関心を引くコンテンツを含んでおり、関心を引く強さは、局所構造の周波数（例えば、フーリエ変換によって計算される）、明度、彩度、輝度などであり得る。図４ｂは、仮想表示領域７内のモバイルデバイス２、３、４、５の分布を示している。領域Ｂは、モバイルデバイス２、３、４、５の密度がより高い。したがって、図４ａの仮想コンテンツの位置は、仮想コンテンツ内のあまり関心を引かない領域がモバイルデバイス２、３、４、５の密度が低い領域（図４ｂの領域Ｂの外側の領域）内で再生されるように、仮想表示領域７を基準にして配置されることとなる。最後に、図４ｃは、均等に分布しているモバイルデバイス２、３、４、５を示している。仮想画像およびデバイスの分布の図の下方に、対応するヒストグラムが図示されている。これらのヒストグラムから、中央の図に示すシナリオにおけるデバイスの分布は、視覚的に関心を引くコンテンツがより多く表示されるため、有利であることがわかる。図示左のヒストグラムと図示中央のヒストグラムとの間、および図示左のヒストグラムと図示右のヒストグラムとの間のユークリッド距離またはＥａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅの計算から、図示左のホストグラムと図示中央のヒストグラムとの間でより良い値が得られることとなる。したがって、図４ｃの図示右の分布状態にあるデバイス上に、位置を変更する動機をそのデバイスのユーザに与えるためのマーカーが視覚化され得る。その結果、分布が図４ｂに示された分布に近づくこととなる。

【0059】

適用シナリオに応じて、前処理ステップをモバイルデバイスの位置に適用してから、コンテンツの配分を計算することが有利である。モバイルデバイスが図５ａに示されているような平坦な平面に配置される場合、前処理ステップが省略され、深度座標が規定されたしきい値未満である限り、その深度座標が無視される（すなわち、しきい値の範囲内にないすべてのモバイルデバイスは、大きなアドホック画面では無視される）。大きなアドホック画面の形状にとって現実世界の幾何学的レイアウトが重要であるようなシナリオの場合には、そのレイアウトの形状が仮想表現として事前に格納され、その仮想表現を用いてモバイルデバイスの位置が平坦な平面にマッピングされる。その後、仮想コンテンツの分割が計算され、部分コンテンツがデバイスに送信される。

【0060】

一例として、スタジアムまたは室内競技場内の観客席の場合、参加しているモバイルデバイス２、３、４、５の計算（すなわち、モバイルデバイス２、３、４、５が、仮想表示領域７からの距離に関して規定されたしきい値の範囲内であるか否かの計算）を可能にするために、図５ｂに示されているような観客席の円筒形状が既知である必要がある。そのような場合、モバイルデバイス２、３、４、５の空間的位置が算出され、次に、それらの位置は、現実世界の形状の仮想表現を用いてマッピングされ、それらのマッピングされた位置は、正常登録のために規定されたしきい値未満であることが検証され、正常登録されたデバイスに対して仮想コンテンツが分割されて最終的に配分される。「正常登録された」という表現は、登録されたデバイスの全体がデバイスの群１を形成するということを意味する。上記円筒形状は単なる例であり、同じ方法が、図５ｃに示されている任意の形状などの、さらに複雑な形状を有する配置に対しても有効である。

【0061】

モバイルデバイス２、３、４、５の配置に応じて、モバイルデバイスの分布密度を測定する中間ステップが導入されるものとすることができ、密度の低い領域内のモバイルデバイスが除外され得る。モバイルデバイス２、３、４、５のうち、他のモバイルデバイス２、３、４、５までの距離が大きく孤立したモバイルデバイスは、コンテンツが何も表示されない領域を導入することとなるので、大きなアドホック画面の体験全体を悪化させ得るためである。コンテンツの配分に基づいて、コンテンツが各モバイルデバイス２、３、４、５に送信されて、再生される。

【0062】

特にビデオコンテンツまたはオーディオコンテンツが含まれている場合、同期的送信であることが望ましい。ネットワークタイムプロトコルを有利に利用することができ、またはＧＮＳＳ信号を使用できる場合は、それらの信号を介して地球時間を提供できる。タイミング情報が、デバイスに送信される部分コンテンツに追加され、各デバイスは、この情報に基づいて、そのデバイスに専用化された部分コンテンツを他のデバイスと同期して再生する。このようにして、例えばビデオの異なる部分が、同期的に再生される。

【0063】

その群１のデバイスの現在の位置に加えて、アドホックなディスプレイへの参加を要求しているデバイスの現在の位置を繰り返しチェックすることによって、群１のデバイスによって確立された大きなアドホック画面の最大限の適合性が実現される。場合によっては、群１のデバイスの位置がある程度固定されているか、または位置の大きい変化が発生することが想定され得る。これは、例えば訪問者がスタジアムから離れる場合であり得る。しかし、そのような場合でも、デバイスの位置が仮想表示領域７から離脱する程度にまで変化したかどうかを判定するために、デバイスのローカライゼーションを定期的に繰り返す必要がある。

【0064】

一方で、新しいモバイルデバイス２、３、４、５が参加を要求することがある。そのような要求が行われた場合、または仮想表示領域７の端に近い１つのモバイルデバイス２、３、４、５がその群１から離れた場合、仮想表示領域７は適合化が必要となり得る。すなわち、位置の変化の観察から仮想表示領域７の変更が必要であると決定された場合、上述において説明した仮想表示領域７の決定およびコンテンツの分割が繰り返される。

【0065】

それらの変更イベントは、大きなアドホック画面の仮想表示領域７に参入するかまたは大きなアドホック画面の仮想表示領域７から離脱するモバイルデバイス２、３、４、５によってトリガーされ得る。領域の外側境界のモバイルデバイス２、３、４、５が変化する場合、大きなアドホック画面の外側境界を再計算して部分コンテンツを調整する必要があり、それらの部分コンテンツがモバイルデバイス２、３、４、５に送信される。すなわち、参入する新しいデバイスによりアドホック画面の面積が増える場合や、離脱するデバイスによりアドホック画面の面積が減る場合があり得る。領域内のモバイルデバイスが変化する場合、モバイルデバイス２、３、４、５の密度が、規定された密度しきい値と比較される。モバイルデバイス２、３、４、５の数および分布が十分である場合、それらのデバイスはその群１に属し、仮想コンテンツが分割されて送信される際にはそれらのデバイスが考慮される。密度が十分でない場合、大きなアドホック画面の外側境界が調整され、分割が更新されてデバイスへ送信される。十分に大きなしきい値を規定すること及び又は静的なモバイルデバイスを指定された外側境界に配置することによって、境界が継続的に変化するのを防止することができる。

【0066】

上述した説明はすべて、視覚コンテンツが再生される場合の例を用いている。ただし、すでに導入部で述べたように、本発明は、オーディオコンテンツの再生、またはオーディオコンテンツと視覚コンテンツの組み合わせの再生にも適している。オーディオコンテンツとビデオコンテンツとを組み合わせたものが仮想コンテンツである場合の、オーディオコンテンツおよびビデオコンテンツの分割は、時間的関係が維持される限り、個別に実行されるものとすることができる。

【0067】

オーディオコンテンツは、例えば、ギター、ベース、ドラム、ボーカルなどに分離された、別々のオーディオトラック上で利用できるものであるものとすることができ、特定の位置（例えば、画面の左側にあるギター、中央部分にあるドラム、および右側にあるベース）に配分される。

【0068】

オーディオコンテンツが伝達される場合、複数のデバイスの配置は、モバイルデバイスの内蔵スピーカを用いたビーム形成および波動場合成（ｗａｖｅ ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ）の手法の利用を可能にする。前者の手法は、知覚される音質を調節することができ、例えば、特定の位置で知覚される音の大きさを増やしながら、他の位置での音の大きさを減らすことができる。どちらの場合も、部分コンテンツは、仮想（オーディオ）コンテンツから生成され、群１内の個々のデバイスに対して決定された空間的位置に基づいて再生される。このように実行すれば、マイクロホンの入力を考慮して、反射に起因する音のアーチファクトの影響を減らすこともできる。マイクロホンの測定を用いて、環境音の特性を推定することができ、したがって、放出されるオーディオをそれに応じて修正し、例えば、反射の影響を減らすことができる。

【0069】

波動場合成は、ホイヘンス－フレネルの原理に基づく。この原理は、任意の波面が球面波の重ね合わせで表現され得ることを示している。この原理を使用して、仮想音源または仮想音響環境を生成することができる。

【0070】

オーディオビーム形成および波動場合成は両方とも、音質を改善するため、または単一のデバイスまたは同期されていないデバイスでは不可能なオーディオの印象を生み出すように知覚されるオーディオの印象を形成するべく、放出されるオーディオ信号を変更するものであり、本発明についての好ましい拡張である。

【0071】

最後に、図６は、上述において詳細に説明した本方法のステップを要約したフローチャートである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】