▶ ピーシーエムエス ホールディングス インコーポレイテッドの特許一覧
特許7376496優先順位付けされた変換に基づいて動的点群を最適化するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-30
(45)【発行日】2023-11-08
(54)【発明の名称】優先順位付けされた変換に基づいて動的点群を最適化するためのシステムおよび方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231031BHJP
G06T 19/20 20110101ALI20231031BHJP
G06T 7/254 20170101ALI20231031BHJP
H04N 19/54 20140101ALI20231031BHJP
H04N 21/234 20110101ALI20231031BHJP
H04N 21/24 20110101ALI20231031BHJP
【ＦＩ】
G06T7/00 C
G06T19/20
G06T7/254
H04N19/54
H04N21/234
H04N21/24
【請求項の数】
16
(21)【出願番号】P 2020550126
(86)(22)【出願日】2019-03-19
(65)【公表番号】
(43)【公表日】2021-08-02
(86)【国際出願番号】 US2019022994
(87)【国際公開番号】W WO2019183113
(87)【国際公開日】2019-09-26
【審査請求日】2022-03-22
(31)【優先権主張番号】62/645,603
(32)【優先日】2018-03-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】315012286
【氏名又は名称】ピーシーエムエス ホールディングス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ハルヴィアニネン、タトゥ ヴィ． ジェイ．
【審査官】佐藤 実
(56)【参考文献】
【文献】特表２０１５－５２２９８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｔ １９／２０
Ｈ０４Ｎ １９／５４
Ｈ０４Ｎ ２１／２３４
Ｈ０４Ｎ ２１／２４
(57)【特許請求の範囲】
【請求項1】
サーバにおいて実行される方法であって、第１の点群の表現をクライアントデバイスに送信するステップと、
第２の点群を取得するステップであって、前記第２の点群は前記第１の点群の時間的に後のバージョンを表現する、ステップと、
前記第１の点群と前記第２の点群との間の変化の階層的な表現を生成するステップであって、
前記第1の点群と前記第２の点群との間の変化に対応する前記第１の点群内のエリアを識別するステップ、
前記識別したエリアを、前記対応する変化の視覚的重要性に基づいて、優先順位付けするステップ、
前記識別したエリアのうちの最高優先順位のエリアを選択するステップ、
前記選択した最高優先順位のエリアについて前記第1の点群と前記第２の点群との間の前記変化を表現する変換を判定するステップ、
前記クライアントデバイスへ前記判定した変換の表現を送るステップ、および
前記判定した変換を前記第１の点群に適用することによって前記第１の点群を更新するステップ
を含むステップと
を含む、方法。
【請求項2】
前記第1の点群を記憶するステップと、前記変換が判定されている場合、前記第1の点群に前記変換を適用することによって、前記サーバにおいて記憶した前記第１の点群を更新するステップと
をさらに含む、請求項１に記載の方法。
【請求項3】
変化の前記階層的な表現を生成するステップは、前記最高優先順位を有する前記エリア内の１つまたは複数のサブエリアを識別するステップと、
前記サブエリアを優先順位付けするステップと、
前記優先順位付したサブエリアを残りの優先順位付けしたエリアに追加するステップと
をさらに含む、請求項１から２のいずれか一項に記載の方法。
【請求項4】
変化の前記階層的な表現を生成するステップは、残差変化の１つまたは複数の細かい粒度のエリアについて前記第１の点群と前記第２の点群との間の第２の変化を最もよく表現する第２の変換を判定するステップと、
前記クライアントデバイスへ前記第２の変換の表現を送るステップと、
前記第２の変換を前記第１の点群に適用することによって前記第１の点群を更新するステップと
を含む反復処理を、第1の停止基準に達するまで、繰り返すことをさらに含む、請求項１から２のいずれか一項に記載の方法。
【請求項5】
前記エリアを優先順位付けするステップは、前記エリアの各々に対する重要性を示すそれぞれの第１のスコアを計算することによって、前記エリアを優先順序付けするステップであって、各第１のスコアが、前記クライアントデバイスの現在の視点に少なくとも部分的に基づいて計算される、優先順序付けするステップ
を含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記識別したエリアを優先順位付けするステップは、前記識別したエリアのサイズに少なくとも従ってエリアを優先順位付けするステップを含む、請求項１から４のいずれか一項に記載の方法。
【請求項7】
前記識別したエリアを優先順位付けするステップは、前記識別したエリアに対応する前記変化に関連付けられた変化の量に少なくとも従ってエリアを優先順位付けするステップを含む、請求項１から４のいずれか一項に記載の方法。
【請求項8】
前記識別したエリアを優先順位付けするステップは、前記クライアントデバイスのユーザの現在の視点に対する前記識別したエリアの近接度に少なくとも従ってエリアを優先順位付けするステップを含む、請求項１から４のいずれか一項に記載の方法。
【請求項9】
前記識別したエリアを優先順位付けするステップは、前記クライアントデバイスのユーザと前記識別したエリアとの間の有効閲覧距離に少なくとも従ってエリアを優先順位付けするステップを含む、請求項１から４のいずれか一項に記載の方法。
【請求項10】
前記クライアントデバイスのユーザの現在の視点を記述する情報を受信するステップと、前記クライアントデバイスの前記ユーザに現在可視のエリアについてのみ変化の前記階層的な表現を生成するステップと
をさらに含む、請求項１から３および５から９のいずれか一項に記載の方法。
【請求項11】
エリアを識別するステップは、前記第１の点群と前記第２の点群との間で偏差するエリアをクラスター化するステップを含む、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前記判定した変換の前記表現は、バウンディングボリューム座標のセット、変換行列、回転の量、および平行移動の量の少なくとも１つを含む、請求項１から１１のいずれか一項に記載の方法。
【請求項13】
前記識別するステップ、前記優先順位付けするステップ、前記選択するステップ、前記判定するステップ、前記送るステップ、および前記更新するステップを、第２の停止基準に達するまで、繰り返すステップをさらに含み、前記第２の停止基準は、時間の量、処理リソースの量、およびネットワーク帯域の量のうちの１つを含む、請求項１から１２のいずれか一項に記載の方法。
【請求項14】
前記変換の後のエリアについて前記第1の点群と前記第２の点群との間の偏差を最もよく表現する第２の変換を判定するステップと、前記クライアントデバイスへ前記第２の変換の表現を送るステップと、
前記変換の後の前記第１の点群に前記第２の変換を適用することによって、前記第１の点群を更新するステップと
をさらに含む、請求項１から１３のいずれか一項に記載の方法。
【請求項15】
前記変換は、剛性３Ｄ変換である、請求項１から１４のいずれか一項に記載の方法。
【請求項16】
プロセッサと、前記プロセッサによって実行された時、前記プロセッサに請求項１から１５のいずれかに記載の方法を実行させる複数の命令を格納した非一時的コンピュータ読取可能媒体と
を備えた、システム。
【発明の詳細な説明】
【背景技術】
【0001】
相互参照
本出願は、参照によりその全体が本明細書に組み込まれている、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｏｐｔｉｍｉｚｉｎｇ Ｄｙｎａｍｉｃ Ｐｏｉｎｔ Ｃｌｏｕｄｓ Ｂａｓｅｄ ｏｎ Ｐｒｉｏｒｉｔｉｚｅｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ」と題する、２０１８年３月２０日に出願した米国特許仮出願第６２／６４５，６０３号の非仮出願であり、そこからの米国特許法第１１９（ｅ）に基づく利益を主張するものである。
本出願は、参照によりその全体が本明細書に組み込まれている、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｏｐｔｉｍｉｚｉｎｇ Ｄｙｎａｍｉｃ Ｐｏｉｎｔ Ｃｌｏｕｄｓ Ｂａｓｅｄ ｏｎ Ｐｒｉｏｒｉｔｉｚｅｄ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ」と題する、２０１８年３月２０日に出願した米国特許仮出願第６２／６４５，６０３号の非仮出願であり、そこからの米国特許法第１１９（ｅ）に基づく利益を主張するものである。
【0002】
新しいシステムおよびセンサーが高解像度３次元（３Ｄ）データをキャプチャするために利用可能になるにつれて、大きなデータサイズの動的点群シーケンスを送信する課題が新たに出現している。たとえば、１人の人物の完全な３Ｄ外観を配信するために必要とされるデータスループットのテストは、高解像度データキャプチャおよび分配の実用性を制限するいくつかのネットワークボトルネックを露わにした。
【先行技術文献】
【非特許文献】
【0003】
【文献】Ｃｏｌｌｅｔ， Ａｌｖａｒｏ ｅｔ ａｌ．， “Ｈｉｇｈ－ｑｕａｌｉｔｙ ｓｔｒｅａｍａｂｌｅ ｆｒｅｅ－ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ，” ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＴＯＧ）， ３４．４： ６９， ２０１５
【文献】Ｏｒｔｓ－Ｅｓｃｏｌａｎｏ， Ｓｅｒｇｉｏ ｅｔ ａｌ．， “Ｈｏｌｏｐｏｒｔａｔｉｏｎ： Ｖｉｒｔｕａｌ ３ｄ ｔｅｌｅｐｏｒｔａｔｉｏｎ ｉｎ ｒｅａｌ－ｔｉｍｅ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ Ａｎｎｕａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， ＡＣＭ， ｐｐ． ７４１－７５４， ２０１６
【文献】Ｔｈａｎｏｕ， Ｄｏｒｉｎａ ｅｔ ａｌ．， “Ｇｒａｐｈ－ｂａｓｅｄ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ ｄｙｎａｍｉｃ ３Ｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ，” Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）， ２０１５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ． ３２３５－３２３９， ２０１５
【文献】Ｄｅ Ｇｕｅｉｒｏｚ， Ｒｉｃａｒｄｏ ｅｔ ａｌ．， “Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ３ｄ ｐｏｉｎｔ ｃｌｏｕｄｓ ｕｓｉｎｇ ａ ｒｅｇｉｏｎ－ａｄａｐｔｉｖｅ ｈｉｅｒａｒｃｈｉｃａｌ ｔｒａｎｓｆｏｒｍ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２５．８： ３９４７－３９５６， ２０１６
【文献】ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｔｒａｎｓｆｏｒｍａｔｉｏｎ＿ｍａｔｒｉｘ
【文献】ＨＵＡＮＧ， Ｊｉｎｇ ｅｔ ａｌ．， “Ｐｏｉｎｔ ｃｌｏｕｄ ｍａｔｃｈｉｎｇ ｂａｓｅｄ ｏｎ ３Ｄ ｓｅｌｆ－ｓｉｍｉｌａｒｉｔｙ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ （ＣＶＰＲＷ）， ２０１２ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＩＥＥＥ， ２０１２． ｐ． ４１－４８
【文献】ＢＯＵＡＺＩＺ， Ｓｏｆｉｅｎ ｅｔ ａｌ．， “Ｓｐａｒｓｅ ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ，” Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ｆｏｒｕｍ． Ｂｌａｃｋｗｅｌｌ Ｐｕｂｌｉｓｈｉｎｇ Ｌｔｄ， ２０１３． ｐ． １１３－１２３
【文献】ｗｗｗ．ｐｏｉｎｔｃｌｏｕｄｓ．ｏｒｇ／ｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｓ／ｃｌｕｓｔｅｒ＿ｅｘｔｒａｃｔｉｏｎ．ｐｈｐ
【文献】ｐｏｉｎｔｃｌｏｕｄｓ．ｏｒｇ／ｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｓ／ｒｅｇｉｓｔｒａｔｉｏｎ＿ａｐｉ．ｐｈｐ＃ｒｅｇｉｓｔｒａｔｉｏｎ－ａｐｉ
【発明の概要】
【課題を解決するための手段】
【0004】
いくつかの実施形態によれば、サーバにおいて実行される方法は、第１の点群をクライアントに送信するステップであって、第１の点群が基準点群に対応する、送信するステップと、第２の点群を受信するステップと、基準点群からの第２の点群内の変化を階層的に判定するステップとを含み、変化を階層的に判定するステップが、基準点群から変化した第２の点群内の第１のエリアを識別するステップと、第１のエリアを優先順位付けするステップと、最高優先順位を有する第１のエリアに対して、基準点群からの第１の変化に近似する第１の剛性（ｒｉｇｉｄ）３Ｄ変換が存在するかどうかを判定するステップと、第１の剛性３Ｄ変換が存在するとの判定に応答して、基準点群からの第１の変化に近似する第１の剛性３Ｄ変換を判定するステップと、第１の剛性３Ｄ変換が存在しないとの判定に応答して、基準点群を修正するために使用されることになる第１の点をさらに判定するステップであって、第１の点が第１の変化を表す、判定するステップとを含む。
【0005】
いくつかの実施形態によれば、サーバにおいて実行される方法は、第１の点群をクライアントに送信するステップであって、第１の点群が基準点群に対応する、送信するステップと、第２の点群を受信するステップと、基準点群からの第２の点群内の変化を階層的に判定するステップとを含み、変化を階層的に判定するステップが、基準点群から変化した第２の点群内の第１のエリアを識別するステップと、第１のエリアを優先順位付けするステップと、最高優先順位を有する第１のエリアに対して、基準点群からの第１の変化に近似する第１の剛性３Ｄ変換を判定するステップと、第１の剛性３Ｄ変換が判定され得ない場合、基準点群を修正するために使用されることになる第１の点をさらに判定するステップであって、第１の点が第１の変化を表す、判定するステップとを含む。
【0006】
いくつかの実施形態では、基準点群を修正するために使用されることになる第１の点は、（ｉ）基準点群から除去されることになる点、または（ｉｉ）基準点群に追加されることになる点の少なくとも１つを含む。いくつかの実施形態では、第１のエリアを識別するステップは、第２の点群を基準点群と比較して、基準点群から偏差する第２の点群内のエリアを識別するステップを含む。第１のエリアを優先順位付けするステップは、いくつかの実施形態では、クライアントの現在の視点に少なくとも部分的に基づいて、それぞれの第１の優先順位を第１のエリアの各々に割り当てるステップを含む。いくつかの実施形態では、それぞれの第１の優先順位を第１のエリアの各々に割り当てるステップは、メインエリアのサイズ、基準点群からの第１のエリアの偏差の量、およびクライアントの現在の視点からの第１のエリアの距離を使用して、それぞれの第１の優先順位を判定するステップを含む。さらに、いくつかの実施形態では、第１の剛性３Ｄ変換が存在するかどうかを判定するステップは、基準点群および第２の点群の間の形状対応が見出されているかどうかを判定するステップを含む。
【0007】
いくつかの実施形態では、この方法は、現在の視点をクライアントから受信するステップをさらに含む。いくつかの実施形態では、この方法は、基準点群を記憶するステップと、第１の３Ｄ剛性変換が判定されている場合、基準点群に第１の剛性３Ｄ変換を適用することによって、サーバにおいて記憶された基準点群を更新するステップとをさらに含む。いくつかの実施形態では、この方法は、最高優先順位を有する第１のエリアの表示および３Ｄ変換をクライアントに送信して、クライアントにおいて基準点群を更新するステップをさらに含む。最高優先順位を有する第１のメインエリアの表示は、いくつかの実施形態では、バウンディングボリューム座標（ｂｏｕｎｄｉｎｇ ｖｏｌｕｍｅ ｃｏｏｒｄｉｎａｔｅｓ）を含む。
【0008】
この方法は、いくつかの実施形態では、基準点群を記憶するステップと、第１の点が判定されている場合、第１の点で基準点群を修正することによって、サーバにおいて記憶された基準点群を更新するステップとをさらに含む。いくつかの実施形態では、この方法は、第１の点の表示をクライアントに送信して、クライアントにおいて基準点群を更新するステップをさらに含む。
【0009】
いくつかの実施形態では、変化を階層的に判定するステップは、最高優先順位を有する第１のエリア内の１つまたは複数の第１のサブエリアを識別するステップと、第１のサブエリアを優先順位付けするステップと、優先順位付けされた第１のサブエリアを残りの優先順位付けされた第１のエリアに追加するステップとをさらに含む。いくつかの実施形態では、この方法は、残りの優先順位付けされた第１のエリアおよび優先順位付けされた第１のサブエリアの中で次の最高優先順位を有するエリアに対して、（ｉ）更新された基準点群からの第２の変化に近似する第２の剛性３Ｄ変換、または（ｉｉ）更新された基準点群を修正するために使用されることになる第２の点を判定するステップであって、第２の点が第２の変化を表す、判定するステップをさらに含む。この点について、いくつかの実施形態では、この方法は、処理バジェットについてクライアントと折衝するステップであって、ここで、処理バジェットが、点群更新のために利用可能な時間量および帯域幅を少なくとも提供し、ここで、第２の剛性３Ｄ変換または次の最高優先順位を有するエリアに対する第２の点を判定するステップが、処理バジェットが利用可能なときのみ実行される、折衝するステップをさらに含む。
【0010】
１つまたは複数の第１のサブエリアを識別するステップは、いくつかの実施形態では、第２の点群を更新された基準点群と比較して、更新された基準点群から偏差するより細かい粒度のエリアを識別するステップを含む。第１のサブエリアに優先度付けするステップは、いくつかの実施形態では、それぞれの第２の優先順位を第１のサブエリアの各々に割り当てるステップを含む。いくつかの実施形態では、この方法は、処理バジェットについてクライアントと折衝するステップであって、処理バジェットが、点群更新に利用可能な時間量および帯域幅を少なくとも提供する、折衝するステップを含む。
【0011】
基準点群または第２の点群の少なくとも１つは、いくつかの実施形態では、センサーデータを含む。いくつかの実施形態では、基準点群および第２の点群は、点群データのプリキャプチャされた動的シーケンスとして記憶媒体から受信される。さらに、いくつかの実施形態では、この方法は、複数のクライアントと通信するステップと、複数のクライアントの各々に対してこの方法を実行するステップとをさらに含む。
【0012】
いくつかの実施形態によれば、サーバにおいて実行される方法は、初期点群をクライアントに送信するステップと、初期点群からの現在の点群内の変化を階層的に判定するステップとを含み、変化を階層的に判定するステップは、現在の点群内の変化のメインエリアを識別するステップと、変化の第１のメインエリアを使用して、初期点群からの第１の変化に近似する第１の剛性３Ｄ変換が存在するかどうかを判定するステップと、第１の剛性３Ｄ変換が存在するとの判定に応答して、初期点群からの第１の変化に近似する第１の剛性３Ｄ変換を判定するステップと、第１の剛性３Ｄ変換が存在しないとの判定に応答して、初期点群を修正するために使用されることになる第１の点をさらに判定するステップであって、第１の点が第１の変化を表す、判定するステップと、変化のメインエリア内の残差変化の１つまたは複数のより細かい粒度のエリアを識別するステップと、残差変化の１つまたは複数のより細かい粒度のエリアおよび変化の残りのメインエリアを使用して、初期点群からの第２の変化に近似する第２の剛性３Ｄ変換が存在するかどうかを判定するステップと、第２の剛性３Ｄ変換が存在するとの判定に応答して、初期点群からの第２の変化に近似する第２の剛性３Ｄ変換を判定するステップと、第２の剛性３Ｄ変換が存在しないとの判定に応答して、初期点群をさらに修正するために使用されることになる第２の点を判定するステップであって、第２の点が第２の変化を表す、判定するステップとを含む。
【0013】
いくつかの実施形態によれば、時間的に変化する点群データの送信の、サーバにおいて実行される方法は、初期点群をクライアントに送信するステップと、初期点群からの現在の点群内の変化を階層的に判定するステップとを含み、変化を階層的に判定するステップは、現在の点群内の変化のメインエリアを識別するステップと、変化の第１のメインエリアを使用して、初期点群からの第１の変化に近似する第１の剛性３Ｄ変換を判定するステップと、第１の剛性３Ｄ変換が判定され得ない場合、初期点群を修正するために使用されることになる第１の点をさらに判定するステップであって、第１の点が第１の変化を表す、判定するステップと、変化のメインエリア内の残差変化の１つまたは複数のより細かい粒度のエリアを識別するステップと、残差変化の１つまたは複数のより細かい粒度のエリアおよび変化の残りのメインエリアを使用して初期点群からの第２の変化に近似する第２の剛性３Ｄ変換を判定するステップと、第２の剛性３Ｄ変換が判定され得ない場合、初期点群をさらに修正するために使用されることになる第２の点をさらに判定するステップであって、第２の点が第２の変化を表す、判定するステップとを含む。
【0014】
いくつかの実施形態では、第２の剛性３Ｄ変換は、残差変化の１つまたは複数のより細かい粒度のエリアの１つに対して判定される。いくつかの実施形態では、変化の残りのメインエリアの１つに対する第２の剛性３Ｄ変換が判定される。いくつかの実施形態では、変化の残りのメインエリアの１つに対する第２の剛性３Ｄ変換が判定される。さらに、いくつかの実施形態では、この方法は、（ｉ）第１の剛性３Ｄ変換および第１の変化したエリアを示す第１のバウンディングボリューム座標、（ｉｉ）第２の剛性３Ｄ変換および第２の変化したエリアを示す第２のバウンディングボリューム座標、（ｉｉｉ）第１の点、および（ｉｖ）第２の点の少なくとも１つをクライアントに送信するステップをさらに含む。
【0015】
いくつかの実施形態によれば、サーバにおいて実行される方法は、初期点群として第１の３Ｄデータを受信するステップと、点群データストリーミングに対するクライアントからの要求に応じて、初期点群をクライアントに送信し、初期点群を基準点群として記憶するステップと、各現在の点群に対して、プロセスを反復的に実行するステップとを含み、プロセスは、現在の点群として第２の３Ｄデータを受信するステップと、第２の３Ｄデータを現在の点群として受信するステップと、基準点群に対する現在の点群の階層的検査を実行するステップとを含み、実行するステップは、基準点群から偏差するエリアを識別するステップと、偏差しているエリアを第１のクラスタに分離するステップと、第１のクラスタの各々に対する重要性を示すそれぞれの第１のスコアを計算することによって、第１のクラスタを優先順序付けするステップであって、各第１のスコアが、クライアントの現在の視点に少なくとも部分的に基づいて計算される、優先順序付けするステップと、最高優先順位を有する第１のクラスタに対して、基準点群からの第１の偏差に近似する変換が存在するかどうかを判定するステップと、変換が存在する場合、記憶された基準点群に変換を適用して基準点群を更新し、第１のクラスタ内のエリアの表示および変換をクライアントに送信するステップと、変換が存在しない場合、記憶された基準点群から点を追加することまたは除去することの少なくとも１つを実行して基準点群を更新し、点をクライアントに送信するステップとを含む。
【0016】
いくつかの実施形態では、基準点群に対する現在の点群の階層的検査を実行するステップは、最高優先順位を有する第１のクラスタを処理した後、更新された基準点群から依然として偏差する第１のクラスタ内のサブエリアを識別するステップと、偏差しているサブエリアを第２のクラスタに分離するステップと、第２のクラスタの各々に対する重要性を示すそれぞれの第２のスコアを計算することによって、第２のクラスタを優先順位付けするステップであって、各第２のスコアが、クライアントの現在の視点に少なくとも基づいて計算される、優先順位付けするステップと、優先順位付けされた第２のクラスタを優先順位付けされた第１のクラスタの残りに追加するステップと、次の最高優先順位を有する次のクラスタに対して、更新された基準点群からの第２の偏差に近似する別の変換が存在するかどうかを判定するステップと、別の変換が存在する場合、更新された記憶された更新された基準点群に別の変換を適用して基準点群をさらに更新するステップと、処理された第１のクラスタ内のサブエリアの別の表示および別の変換をクライアントに送信するステップと、別の変換が存在しない場合、更新された基準点群から追加の点を追加することまたは除去することの少なくとも１つを実行して基準点群を更新し、追加の点をクライアントに送信するステップとをさらに含む。
【0017】
いくつかの実施形態では、この処理は、クライアントからの要求時に、またはサーバおよびクライアントの間で折衝される処理バジェットがさらなる処理のためにもはや利用可能でないときに終了される。
【0018】
他の実施形態は、本明細書において説明される方法を実行するように構成された（たとえば、プロセッサ、およびプロセッサによって実行するための複数の命令を記憶した非一時的コンピュータ可読媒体を有する）システムおよびサーバを含む。いくつかの実施形態では、システムは、少なくとも１つの３Ｄセンサーも含む。
【図面の簡単な説明】
【0019】
より詳細な理解は、添付の図面に関連して例として提示される、以下の説明から得られるであろう。さらに、図面における同様の参照番号は同様の要素を示す。
【0020】
【図1A】１つまたは複数の開示される実施形態が実装され得る例示的な通信システムを例示するシステム図である。
【図2】いくつかの実施形態による、本開示の様々な実施形態が採用され得る例示的なシステム構成を例示する図である。
【図3A】いくつかの実施形態による、キャプチャおよび処理され得る例示的なシーンを例示する図である。
【図3B】いくつかの実施形態による、処理され得る例示的な点群を例示する図である。
【図4】いくつかの実施形態による、メッセージシーケンス図である。
【図5】いくつかの実施形態による、点群データを処理する例示的な方法のフローチャートである。
【図6】いくつかの実施形態による、点群データを処理する別の例示的な方法のフローチャートである。
【図7A】いくつかの実施形態による、点群データを処理するさらに別の例示的な方法のフローチャートである。
【図7B】いくつかの実施形態による、点群データを処理するさらに別の例示的な方法のフローチャートである。
【図8】いくつかの実施形態による、クラスタを処理する例示的な方法のフローチャートである。
【図9】いくつかの実施形態による、例示的な方法を例示するフローチャートである。
【図10A】いくつかの実施形態による、別の例示的な方法を例示するフローチャートである。
【図10B】いくつかの実施形態による、別の例示的な方法を例示するフローチャートである。
【発明を実施するための形態】
【0021】
様々な図面に示され、それらに関する、エンティティ、接続、構成などは、限定としてではなく、例として提示される。したがって、特定の図面が何を示すか、特定の図面における特定の要素またはエンティティが何であるかまたは何を有するかに関する、任意のすべての記述および他の表示、ならびに絶対的およびしたがって限定的として読まれる、独立し得るか、またはコンテキストから切り離され得る、任意のすべての同様の記述は、「少なくとも１つの実施形態では、．．．」などの節によって構成上先行されるようにのみ適切に読み取られ得る。提示の簡潔さおよび明快さのために、この暗黙的主節は、図面の詳細な説明において不必要に繰り返されない。
【0022】
次に、例示的な実施形態の詳細な説明が様々な図面を参照して説明される。この説明は、可能な実装形態の詳細な例を提供するが、詳細は、例示的であることが意図され、本出願の範囲を限定することが意図されないことに留意されたい。
【0023】
例示的な実施形態の実装のための例示的なネットワークが次に説明される。
【0024】
図１Ａは、１つまたは複数の開示される実施形態が実装され得る例示的な通信システム１００を例示する図である。通信システム１００は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数のワイヤレスユーザに提供する多元接続システムであり得る。通信システム１００は、複数のワイヤレスユーザが、ワイヤレス帯域幅を含めて、システムリソースを共有することを通じてそのようなコンテンツにアクセスすることを可能にし得る。たとえば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ拡散ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ：ｚｅｒｏ－ｔａｉｌ ｕｎｉｑｕｅ－ｗｏｒｄ ＤＦＴ－Ｓｐｒｅａｄ ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ－ＯＦＤＭ）、リソースブロックフィルタリングされたＯＦＤＭ（ｒｅｓｏｕｒｃｅ ｂｌｏｃｋ－ｆｉｌｔｅｒｅｄ ＯＤＦＭ）、フィルタバンクマルチキャリア（ＦＢＭＣ）など、１つまたは複数のチャネルアクセス方法を採用し得る。
【0025】
図１Ａに示されるように、通信システム１００は、ワイヤレス送信／受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、ＲＡＮ１０４／１１３、ＣＮ１０６／１１５、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、および他のネットワーク１１２を含み得るが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図することを諒解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、ワイヤレス環境において動作および／または通信するように構成された任意のタイプのデバイスであってよい。例として、そのいずれもが「局」および／または「ＳＴＡ」と呼ばれることがある、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、ワイヤレス信号を送信および／または受信するように構成され得、ユーザ機器（ＵＥ）、移動局、固定またはモバイル加入者局、サブスクリプションベースユニット、ページャ、セルラー電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサー、ホットスポットまたはＭｉ－Ｆｉデバイス、モノのインターネット（ＩｏＴ）デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ（ＨＭＤ）、車両、ドローン、医療デバイスおよびアプリケーション（たとえば、遠隔手術）、産業用デバイスおよびアプリケーション（たとえば、ロボット、ならびに／または産業および／もしくは自動処理チェーンのコンテキストで動作する他のワイヤレスデバイス）、家庭用電子デバイス、商用および／または産業用ワイヤレスネットワーク上で動作するデバイスなどを含んでよい。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃおよび１０２ｄのいずれも、互換的にＵＥと呼ばれることがある。
【0026】
通信システム１００は、基地局１１４ａおよび／または基地局１１４ｂも含んでよい。基地局１１４ａ、１１４ｂの各々は、ＣＮ１０６／１１５、インターネット１１０、および／または他のネットワーク１１２など、１つまたは複数の通信ネットワークに対するアクセスを円滑にするためにＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの少なくとも１つとワイヤレスにインターフェースするように構成された任意のタイプのデバイスであってよい。例として、基地局１１４ａ、１１４ｂは、トランシーバ基地局（ＢＴＳ）、ノードＢ、ｅＮｏｄｅＢ、ホームノードＢ、ホームｅＮｏｄｅＢ、ｇＮＢ、ＮＲ ＮｏｄｅＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ワイヤレスルータなどであってよい。基地局１１４ａ、１１４ｂは各々、単一の要素として示されるが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含み得ることを諒解されよう。
【0027】
基地局１１４ａは、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、リレーノードなど、他の基地局および／またはネットワーク要素（図示せず）も含み得るＲＡＮ１０４／１１３の部分であってよい。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示せず）と呼ばれることもある、１つまたは複数のキャリア周波数上でワイヤレス信号を送信および／または受信するように構成され得る。これらの周波数は、認可スペクトル、無認可スペクトル、または認可スペクトルおよび無認可スペクトルの組合せであってよい。セルは、比較的固定であり得るか、または経時的に変化し得る、特定の地理的エリアに対してワイヤレスサービスのカバレージを提供し得る。セルは、セルセクタにさらに分割され得る。たとえば、基地局１１４ａに関連するセルは、３個のセクタに分割され得る。したがって、一実施形態では、基地局１１４ａは、３個のトランシーバを、すなわち、セルの各セクタに対して１個を含み得る。ある実施形態では、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を採用してよく、セルの各セクタに対して複数のトランシーバを利用し得る。たとえば、ビームフォーミングが所望の空間方向に信号を送信および／または受信するために使用され得る。
【0028】
基地局１１４ａ、１１４ｂは、任意の好適なワイヤレス通信リンク（たとえば、無線周波数（ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であってよい、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１つまたは複数と通信し得る。エアインターフェース１１６は、任意の好適な無線アクセス技術（ＲＡＴ）を使用して確立され得る。
【0029】
より具体的には、上述のように、通信システム１００は、複数のアクセスシステムであってよく、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡなど、１つまたは複数のチャネルアクセス方式を採用し得る。たとえば、ＲＡＮ１０４／１１３内の基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を使用してエアインターフェース１１５／１１６／１１７を確立し得る、ユニバーサル移動体通信システム（ＵＭＴＳ）地上波無線アクセス（ＵＴＲＡ）などの無線技術を実装し得る。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または発展型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含んでよい。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）および／または高速ＵＬパケットアクセス（ＨＳＵＰＡ）を含んでよい。
【0030】
ある実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／もしくはＬＴＥアドバンスト（ＬＴＥ－Ａ）ならびに／またはＬＴＥ－アドバストプロ（ＬＴＥ－Ａ Ｐｒｏ）を使用してエアインターフェース１１６を確立し得る、発展型ＵＭＴＳ地上波無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実装し得る。
【0031】
ある実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ニューラジオ（ＮＲ）を使用してエアインターフェース１１６を確立し得る、ＮＲ無線アクセスなどの無線技術を実装し得る。
【0032】
ある実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実装し得る。たとえば、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、たとえば、デュアル接続性（ＤＣ）原理を使用して、ＬＴＥ無線アクセスおよびＮＲ無線アクセスを一緒に実装し得る。したがって、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術および／または複数のタイプの基地局（たとえば、ｅＮＢおよびｇＮＢ）に／から送られる送信によって特徴付けられ得る。
【0033】
他の実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、ワイヤレスフェディリティ（ＷｉＦｉ））、ＩＥＥＥ８０２．１６（すなわち、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ＥＶ－ＤＯ、暫定基準２０００（ＩＳ－２０００）、暫定基準９５（ＩＳ－９５）、暫定基準８５６（ＩＳ－８５６）、モバイル通信用グローバルシステム（ＧＳＭ）、ＧＭＳ進化型高速データレート（ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実装し得る。
【0034】
図１Ａにおける基地局１１４ｂは、たとえば、ワイヤレスルータ、ホームノードＢ、ホームｅＮｏｄｅＢ、またはアクセスポイントであってよく、事業所、自宅、車両、キャンパス、産業設備、空中回廊（たとえば、ドローンによって使用するための）、道路など、局在化エリア内のワイヤレス接続性を円滑にするために任意の好適なＲＡＴを利用し得る。ある実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実装して、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）を確立し得る。ある実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実装して、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）を確立し得る。さらに別の実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、セルラーベースＲＡＴ（たとえば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用して、ピコセルまたはフェムトセルを確立し得る。図１Ａに示されるように、基地局１１４ｂは、インターネット１１０に対する直接的な接続を有し得る。したがって、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスすることが必要とされないことがある。
【0035】
ＲＡＮ１０４／１１３は、音声、データ、アプリケーション、および／またはボイスオーバーインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１つまたは複数に提供するように構成された任意のタイプのネットワークであってよい、ＣＮ１０６／１１５と通信していることがある。データは、異なるスループット要件、レイテンシ要件、誤差許容要件、信頼性要件、データスループット要件、モビリティ要件など、異なるサービス品質（ＱｏＳ）要件を有し得る。ＣＮ１０６／１１５は、呼制御、課金サービス、モバイルロケーションベースサービス、プリペイド呼出し、インターネット接続性、ビデオ分配などを提供し、および／またはユーザ認証などのハイレベルセキュリティ機能を実行し得る。図１Ａに示されていないが、ＲＡＮ１０４／１１３および／またはＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを採用する他のＲＡＮと直接的または間接的に通信していることがあることを諒解されよう。たとえば、ＮＲ無線技術を利用し得る、ＲＡＮ１０４／１１３に接続されていることに加えて、ＣＮ１０６／１１５は、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、またはＷｉＦｉ無線技術を採用する別のＲＡＮ（図示せず）と通信していることもある。
【0036】
ＣＮ１０６／１１５は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄがＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするためのゲートウェイとしてサービスすることもある。ＰＳＴＮ１０８は、簡易電話サービス（ＰＯＴＳ）を提供する回路交換電話網を含んでよい。インターネット１１０は、相互接続されたコンピュータネットワークのグローバルシステムおよび送信制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）インターネットプロトコルスイートにおけるＴＣＰ、ユーザデータグラムプロトコル（ＵＤＰ）および／またはＩＰなど、共通通信プロトコルを使用するデバイスを含んでよい。ネットワーク１１２は、他のサービスプロバイダによって所有される、および／または動作させられる、ワイヤードおよび／またはワイヤレス通信ネットワークを含んでよい。たとえば、ネットワーク１１２は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを採用し得る、１つまたは複数のＲＡＮに接続された別のＣＮを含んでよい。
【0037】
通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいくつかまたはすべては、マルチモード能力を含み得る（たとえば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なるワイヤレスリンク上で異なるワイヤレスネットワークと通信するための複数のトランシーバを含み得る）。たとえば、図１Ａに示されるＷＴＲＵ１０２ｃは、セルラーベース無線技術を採用し得る基地局１１４ａと、またＩＥＥＥ８０２無線技術を採用し得る基地局１１４ｂと通信するように構成され得る。
【0038】
図１Ｂは、例示的なＷＴＲＵ１０２を例示するシステム図である。図１Ｂに示されるように、ＷＴＲＵ１０２は、中でも、プロセッサ１１８、トランシーバ１２０、送受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、および／または他の周辺装置１３８を含んでよい。ＷＴＲＵ１０２は、ある実施形態と一致する状態を保ちながら、前述の要素の任意の部分組合せを含み得ることを諒解されよう。
【0039】
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械などであってよい。プロセッサ１１８は、信号コーディング、データ処理、電力制御、入出力処理、および／またはＷＴＲＵ１０２がワイヤレス環境で動作することを可能にする任意の他の機能性を実行し得る。プロセッサ１１８は、送受信要素１２２に結合され得るトランシーバ１２０に結合されてよい。図１Ｂは別個の構成要素としてプロセッサ１１８およびトランシーバ１２０を示すが、プロセッサ１１８およびトランシーバ１２０は、電子パッケージまたはチップ内に一緒に組み込まれてよいことを諒解されよう。
【0040】
送受信要素１２２は、エアインターフェース１１６上で基地局（たとえば、基地局１１４ａ）に信号を送信するように、またはそこから信号を受信するように構成され得る。たとえば、一実施形態では、送受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであってよい。ある実施形態では、送受信要素１２２は、たとえば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成されたエミッタ／検出器であってよい。さらに別の実施形態では、送受信要素１２２は、ＲＦ信号および光信号の両方を送信および／または受信するように構成され得る。送受信要素１２２は、ワイヤレス信号の任意の組合せを送信および／または受信するように構成され得ることを諒解されよう。
【0041】
送受信要素１２２は図１Ｂにおいて単一の要素として示されているが、ＷＴＲＵ１０２は、任意の数の送受信要素１２２を含んでよい。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を採用し得る。したがって、一実施形態では、ＷＴＲＵ１０２は、エアインターフェース１１６上でワイヤレス信号を送信および受信するための２つ以上の送受信要素１２２（たとえば、複数のアンテナ）を含んでよい。
【0042】
トランシーバ１２０は、送受信要素１２２によって送信されるための信号を変調するように、および送受信要素１２２によって受信される信号を復調するように構成され得る。上述のように、ＷＴＲＵ１０２は、マルチモード能力を有し得る。したがって、トランシーバ１２０は、ＷＴＲＵ１０２が、たとえば、ＮＲおよびＩＥＥＥ８０２．１１など、複数のＲＡＴを介して通信することを可能にするための複数のトランシーバを含んでよい。
【0043】
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（たとえば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニットまたは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されてよく、それらからユーザ入力データを受信し得る。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力してもよい。加えて、プロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２など、任意のタイプの好適なメモリからの情報にアクセスし、その中にデータを記憶し得る。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリ記憶デバイスを含んでよい。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードなどを含んでよい。他の実施形態では、プロセッサ１１８は、サーバまたはホームコンピュータ（図示せず）など、ＷＴＲＵ１０２上に物理的に位置しないメモリからの情報にアクセスし、その中にデータを記憶し得る。
【0044】
プロセッサ１１８は、電源１３４から電力を受信し得、ＷＴＲＵ１０２内の他の構成要素に電力を分配および／または制御するように構成され得る。電源１３４は、ＷＴＲＵ１０２に電力供給するための任意の好適なデバイスであってよい。たとえば、電源１３４は、１つまたは複数の乾電池バッテリー（たとえば、ニッケルカドミウム（ＮｉＣｄ））、ニッケル亜鉛（ＮｉＺｎ）、ニッケル金属水素化物（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）、など）、太陽電池、燃料電池などを含んでよい。
【0045】
プロセッサ１１８は、ＷＴＲＵ１０２の現在のロケーションに関するロケーション情報（たとえば、経度および緯度）を提供するように構成され得るＧＰＳチップセット１３６に結合されてもよい。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、エアインターフェース１１６上で基地局（たとえば、基地局１１４ａ、１１４ｂ）からロケーション情報を受信し、および／または２つ以上の近くの基地局から信号が受信されるタイミングに基づいてそのロケーションを判定し得る。ＷＴＲＵ１０２は、ある実施形態に一致する状態を保ちながら、任意の好適なロケーション判定方法によってロケーション情報を収集し得ることを諒解されよう。
【0046】
プロセッサ１１８は、追加の特徴、機能性および／またはワイヤードまたはワイヤレス接続性を提供する、１つまたは複数のソフトウェアおよび／またはハードウェアモジュールを含み得る他の周辺装置１３８にさらに結合され得る。たとえば、周辺装置１３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真および／またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、電話トランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、デジタルミュージックプレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および／または拡張現実（ＶＲ／ＡＲ）デバイス、アクティビティトラッカーなどを含んでよい。周辺装置１３８は、１つまたは複数のセンサーを含んでよく、センサーは、ジャイロスコープ、加速度計、ホール効果センサー、磁力計、配向センサー、近接センサー、温度センサー、時間センサー、ジオロケーションセンサー、高度計、光センサー、タッチセンサー、磁力計、気圧計、ジェスチャセンサー、生体認証センサー、および／または湿度センサーの１つまたは複数であってよい。
【0047】
ＷＴＲＵ１０２は、（たとえば、ＵＬ（たとえば、送信用）およびダウンリンク（たとえば、受信用）の両方に対する特定のサブフレームに関連する）信号のいくつかまたはすべての送信および受信が並行および／または同時であり得る全二重無線を含んでよい。全二重無線は、ハードウェア（たとえば、チョーク）またはプロセッサ（たとえば、別個のプロセッサ（図示せず）またはプロセッサ１１８を介した）を介した信号処理のいずれかを介して自己干渉を低減させるためのおよびまたは実質的に除去するための干渉管理ユニットを含んでよい。ある実施形態では、ＷＴＲＵ１０２は、（たとえば、ＵＬ（たとえば、送信用）またはダウンリンク（たとえば、受信用）のいずれかに対する特定のサブフレームに関連する）信号のいくつかまたはすべての送信および受信のための半二重無線を含んでよい。
【0048】
図１Ｃは、ある実施形態による、ＲＡＮ１０４およびＣＮ１０６を例示するシステム図である。上述のように、ＲＡＮ１０４は、Ｅ－ＵＴＲＡ無線技術を採用して、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信し得る。ＲＡＮ１０４は、ＣＮ１０６と通信していることもある。
【0049】
ＲＡＮ１０４は、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃを含んでよいが、ＲＡＮ１０４は、ある実施形態に一致する状態を保ちながら、任意の数のｅＮｏｄｅ－Ｂを含み得ることを諒解されよう。ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃは各々、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つまたは複数のトランシーバを含んでよい。一実施形態では、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実装し得る。したがって、ｅＮｏｄｅ－Ｂ１０６ａは、たとえば、ＷＴＲＵ１０２ａにワイヤレス信号を送信するため、および／またはＷＴＲＵ１０２ａからワイヤレス信号を受信するために、複数のアンテナを使用し得る。
【0050】
ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃの各々は、特定のセル（図示せず）に関連付けられてよく、無線リソース管理決定、ハンドオーバ決定、ＵＬおよび／またはＤＬ内のユーザのスケジューリングなどを扱うように構成され得る。図１Ｃに示されるように、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェース上で互いと通信し得る。
【0051】
図１Ｃに示されるＣＮ１０６は、モビリティ管理エンティティ（ＭＭＥ）１６２、サービングゲートウェイ（ＳＧＷ）１６４、パケットデータネットワーク（ＰＤＮ）ゲートウェイ（または、ＰＧＷ）１６６を含んでよい。前述の要素の各々はＣＮ１０６の部分として示されているが、これらの要素のいずれもＣＮオペレータ以外のエンティティによって所有されてよい、および／または動作させられてよいことを諒解されよう。
【0052】
ＭＭＥ１６２は、Ｓ１インターフェースを介してＲＡＮ１０４内でｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃの各々に接続されてよく、制御ノードとしてサービスし得る。たとえば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザの認証、ベアラアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期アタッチの間の特定のサービングゲートウェイの選択などを担当し得る。ＭＭＥ１６２は、ＲＮ１０４、ならびにＧＳＭおよび／またはＷＣＤＭＡなど、他の無線技術を採用する他のＲＡＮ（図示せず）の間の切替えのための制御プレーン機能を提供し得る。
【0053】
ＳＧＷ１６４は、Ｓ１インターフェースを介してＲＡＮ１０４内でｅＮｏｄｅＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続されてよい。ＳＧＷ１６４は、概して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに／からユーザデータパケットを経路指定および転送し得る。ＳＧＷ１６４は、ｅＮｏｄｅＢ間ハンドオーバの間のユーザプレーンの固着、ＤＬデータがＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに利用可能なときのページングのトリガ、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストの管理および記憶など、他の機能を実行し得る。
【0054】
ＳＧＷ１６４は、インターネット１１０などのパケット交換網へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃおよびＩＰ対応デバイスの間の通信を円滑にし得るＰＧＷ１６６に接続されてよい。
【0055】
ＣＮ１０６は、他のネットワークとの通信を円滑にし得る。たとえば、ＣＮ１０６は、ＰＳＴＮ１０８などの回路交換網をＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃおよび典型的な固定通信デバイスの間の通信を円滑にし得る。たとえば、ＣＮ１０６は、ＣＮ１０６およびＰＳＴＮ１０８の間のインターフェースとしてサービスするＩＰゲートウェイ（たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含み得るか、またはそれと通信し得る。加えて、ＣＮ１０６は、他のサービスプロバイダによって所有される、および／または動作させられる、他のワイヤードおよび／またはワイヤレスネットワークを含み得る、他のネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。
【0056】
ＷＴＲＵは図１Ａ～１Ｄにおいてワイヤレス端末として示されているが、いくつかの代表的な実施形態では、そのような端末は通信ネットワークとのワイヤード通信インターフェースを（たとえば、一時的にまたは永続的に）使用し得ることが企図される。
【0057】
代表的な実施形態では、他のネットワーク１１２はＷＬＡＮであってよい。
【0058】
インフラストラクチャ基本サービスセット（ＢＳＳ）モードのＷＬＡＮは、ＢＳＳに対するアクセスポイント（ＡＰ）およびＡＰに関連する１つまたは複数の局（ＳＴＡ）を有し得る。ＡＰは、分散型システム（ＤＳ）対するアクセスまたはインターフェース、またはＢＳＳ内におよび／またはその外部にトラフィックを搬送する別のタイプのワイヤード／ワイヤレスネットワークを有し得る。ＢＳＳの外部から生じるＳＴＡに対するトラフィックは、ＡＰを通じて到着し得、ＳＴＡに配信され得る。ＳＴＡからＢＳＳの外部の宛先に対して生じるトラフィックは、それぞれの宛先に配信されるようにＡＰに送られてよい。ＢＳＳ内のＳＴＡ同士の間のトラフィックは、たとえば、ＡＰを通じて送られてよく、ここで、ソースＳＴＡはトラフィックをＡＰに送ってよく、ＡＰはトラフィックを宛先ＳＴＡに配信してよい。ＢＳＳ内のＳＴＡ同士の間のトラフィックは、ピアツーピアトラフィックと見なされること、および／または呼ばれることがある。ピアツーピアトラフィックは、直接リンクセットアップ（ＤＬＳ）を用いてソースＳＴＡおよび宛先ＳＴＡの間で（たとえば、その間で直接的に）送られてよい。いくつかの代表的な実施形態では、ＤＬＳは、８０２．１１ｅ ＤＬＳまたは８０２．１１ｚトンネリングされたＤＬＳ（ＴＤＬＳ）を使用し得る。独立ＢＳＳ（ＩＢＳＳ）モードを使用するＷＬＡＮは、ＡＰを有さないことがあり、ＩＢＳＳ内のまたはそれを使用するＳＴＡ（たとえば、ＳＴＡのすべて）は、互いと直接的に通信し得る。ＩＢＳＳ通信モードは、本明細書において、時々、「アドホック」通信モードと呼ばれることがある。
【0059】
８０２．１１ａｃインフラストラクチャ動作モードまたは同様の動作モードを使用するとき、ＡＰは、１次チャネルなど、固定チャネル上でビーコンを送信し得る。１次チャネルは、固定幅（たとえば、２０ＭＨｚ高帯域幅）であってよく、またはシグナリングを介して動的に設定された幅であってよい。１次チャネルは、ＢＳＳの動作チャネルであってよく、ＡＰとの接続を確立するためにＳＴＡによって使用され得る。いくつかの代表的な実施形態では、キャリア検知多重アクセス／衝突回避（ＣＳＭＡ／ＣＡ）が、たとえば、８０２．１１システム内で実装され得る。ＣＳＭＡ／ＣＡの場合、ＡＰを含めて、ＳＴＡ（たとえば、すべてのＳＴＡ）が１次チャネルを検知し得る。１次チャネルが特定のＳＴＡによってビジーであると検知／検出および／または判定された場合、その特定のＳＴＡはバックオフし得る。１つのＳＴＡ（たとえば、１つのみのステーション）が、所与のＢＳＳ内で所与の時点において送信し得る。
【0060】
高スループット（ＨＴ）ＳＴＡは、たとえば、４０ＭＨｚ幅のチャネルを形成するために、１次２０ＭＨｚチャネルと隣接または非隣接２０ＭＨｚチャネルの組合せによって、通信のために４０ＭＨｚ幅のチャネルを使用し得る。
【0061】
超高スループット（ＶＨＴ）ＳＴＡは、２０ＭＨｚ、４０ＭＨｚ、８０ＭＨｚ、および／または１６０ＭＨｚ幅チャネルをサポートし得る。４０ＭＨｚ、および／または８０ＭＨｚチャネルは、連続２０ＭＨｚチャネルを組み合わせることによって形成され得る。１６０ＭＨｚチャネルは、８個の連続２０ＭＨｚチャネルを組み合わせることによって、または８０＋８０構成と呼ばれることがある、２個の非連続８０ＭＨｚチャネルを組み合わせることによって形成され得る。８０＋８０構成の場合、データは、チャネル符号化の後、データを２つのストリームに分割し得るセグメントパーサを通過し得る。逆高速フーリエ変換（ＩＦＦＴ）処理、および時間領域処理は、各ストリーム上で別個に行われてよい。ストリームは、２個の８０ＭＨｚチャネル上にマッピングされてよく、データは、送信側ＳＴＡによって送信され得る。受信ＳＴＡの受信機において、８０＋８０構成に対する上記の動作は反転されてよく、組み合わせられたデータは、媒体アクセス制御（ＭＡＣ）に送られてよい。
【0062】
サブ１ＧＨｚ動作モードが８０２．１１ａｆおよび８０２．１１ａｈによってサポートされる。チャネル動作帯域幅、およびキャリアは、８０２．１１ｎ、および８０２．１１ａｃにおいて使用されるそれらと比較して８０２．１１ａｆおよび８０２．１１ａｈにおいて低減される。８０２．１１ａｆは、ＴＶホワイトスペース（ＴＶＷＳ）スペクトルにおいて５ＭＨｚ、１０ＭＨｚおよび２０ＭＨｚ帯域幅をサポートし、８０２．１１ａｈは、非ＴＶＷＳスペクトルを使用して、１ＭＨｚ、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、および１６ＭＨｚ帯域幅をサポートする。代表的な実施形態によれば、８０２．１１ａｈは、マクロカバレージエリア内のＭＴＣなど、メートルタイプ制御／マシンタイプ通信をサポートし得る。ＭＴＣデバイスは、いくつかの能力、たとえば、いくつかのおよび／または限定された帯域幅に対するサポート（たとえば、それのみに対するサポート）を含む、限定された能力を有し得る。ＭＴＣデバイスは、（たとえば、非常に長いバッテリー寿命を維持するための）しきい値を超えるバッテリー寿命を備えたバッテリーを含んでよい。
【0063】
複数のチャネル、および８０２．１１ｎ、８０２．１１ａｃ、８０２．１１ａｆ、および８０２．１１ａｈなどのチャネル帯域をサポートし得るＷＬＡＮシステムは、１次チャネルとして指定され得るチャネルを含む。１次チャネルは、ＢＳＳ内のすべてのＳＴＡによってサポートされる最大共通動作帯域幅に等しい帯域幅を有し得る。１次チャネルの帯域幅は、最小帯域幅動作モードをサポートする、ＢＳＳ内で動作しているすべてのＳＴＡの中から、ＳＴＡによって設定および／または限定され得る。８０２．１１ａｈの例では、ＡＰ、およびＢＳＳ内の他のＳＴＡが２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、１６ＭＨｚ、および／または他のチャネル帯域幅動作モードをサポートする場合ですら、１次チャネルは、１ＭＨｚモードをサポートする（たとえば、それのみをサポートする）ＳＴＡ（たとえば、ＭＴＣタイプデバイス）に対して１ＭＨｚ幅であってよい。キャリア検知および／またはネットワーク割振りベクトル（ＮＡＶ）設定は、１次チャネルのステータスに依存し得る。たとえば、（１ＭＨｚ動作モードのみをサポートする）ＳＴＡにより１次チャネルがビジーである場合、周波数帯域の大部分が、アイドル状態のままであり、利用可能であり得るとしても、利用可能な全周波数帯域幅をＡＰに送信することはビジーと見なされ得る。
【0064】
合衆国では、８０２．１１ａｈによって使用され得る、利用可能な周波数帯域幅は、９０２ＭＨｚから９２８ＭＨｚである。韓国では、利用可能な周波数帯域は、９１７．５ＭＨｚから９２３．５ＭＨｚである。日本では、利用可能な周波数帯域は、９１６．５ＭＨｚから９２７．５ＭＨｚである。８０２．１１ａｈに対して利用可能な総帯域幅は、国コードに応じて、６ＭＨｚから２６ＭＨｚである。
【0065】
図１Ｄは、ある実施形態によるＲＡＮ１１３およびＣＮ１１５を例示するシステム図である。上述のように、ＲＡＮ１１３は、ＮＲ無線技術を採用して、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信し得る。ＲＡＮ１１３は、ＣＮ１１５と通信していてもよい。
【0066】
ＲＡＮ１１３は、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃを含んでよいが、ＲＡＮ１１３は、ある実施形態に一致する状態を保ちながら、任意の数のｇＮＢを含み得ることを諒解されよう。ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは各々、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１つまたは複数のトランシーバを含んでよい。一実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実装し得る。たとえば、ｇＮＢ１８０ａ、１０８ｂは、ビームフォーミングを利用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃに信号を送信し、および／またはそこから信号を受信し得る。したがって、ｇＮＢ１８０ａは、複数のアンテナを使用して、たとえば、ＷＴＲＵ１０２ａにワイヤレス信号を送信し、および／またはそこからワイヤレス信号を受信し得る。ある実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、キャリアアグリゲーション技術を実装し得る。たとえば、ｇＮＢ１８０ａは、複数のコンポーネントキャリアをＷＴＲＵ１０２ａ（図示せず）に送信し得る。これらのコンポーネントキャリアのサブセットは、無認可スペクトル上にあってよいが、残りのコンポーネントキャリアは、認可スペクトル上にあってよい。ある実施形態では、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、協調マルチポイント（ＣｏＭＰ）技術を実装し得る。たとえば、ＷＴＲＵ１０２ａは、協調された送信をｇＮＢ１８０ａおよびｇＮＢ１８０ｂ（ならびに／またはｇＮＢ１８０ｃ）から受信し得る。
【0067】
ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、スケーラブルなヌメロロジーに関連する送信を使用してｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。たとえば、ＯＦＤＭシンボル間隔および／またはＯＦＤＭサブキャリア間隔は、ワイヤレス送信スペクトルの異なる送信、異なるセル、および／または異なる部分に対して異なってよい。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、様々なまたはスケーラブルな長さの（たとえば、異なる数のＯＦＤＭシンボルを含む、および／または異なる長さの絶対時間続く）サブフレームまたは送信時間間隔（ＴＴＩ）を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。
【0068】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、スタンドアロン構成および／または非スタンドアロン構成で、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するように構成され得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、他のＲＡＮ（たとえば、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃなど）にやはりアクセスせずに、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、モビリティアンカーポイントとして、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃの１つまたは複数を利用し得る。スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、無許可帯域内で信号を使用してｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し得る。非スタンドアロン構成では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃなど、他のＲＡＮとも通信／にも接続しながら、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信し／に接続し得る。たとえば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＤＣ原理を実装して、１つまたは複数のｇＮＢ１８０ａ、１８０ｂ、１８０ｃおよび１つまたは複数のｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃと実質的に同時に通信し得る。非スタンドアロン構成では、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに対するモビリティアンカーとしてサービスすることができ、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにサービスするための追加のカバレージおよび／またはスループットを提供し得る。
【0069】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃの各々は、特定のセル（図示せず）に関連付けられてよく、無線リソース管理決定、ハンドオーバ決定、ＵＬおよび／またはＤＬ内のユーザのスケジューリング、ネットワークスライシングのサポート、二重接続性、ＮＲおよびＥ－ＵＴＲＡの間のインターワーキング、ユーザプレーン機能（ＵＰＦ）１８４ａ、１８４ｂへのユーザプレーンデータの経路指定、アクセスおよびモビリティ管理機能（ＡＭＦ）１８２ａ、１８２ｂへの制御プレーン情報の経路指定などを扱うように構成され得る。図１Ｄに示されるように、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、Ｘｎインターフェース上で互いと通信し得る。
【0070】
図１Ｄに示されるＣＮ１１５は、少なくとも１つのＡＭＦ１８２ａ、１８２ｂ、少なくとも１つのＵＰＦ１８４ａ、１８４ｂ、少なくとも１つのセッション管理機能（ＳＭＦ）１８３ａ、１８３ｂ、および場合によっては、データネットワーク（ＤＮ）１８５ａ、１８５ｂを含んでよい。前述の要素の各々はＣＮ１１５の部分として示されているが、これらの要素のいずれもＣＮオペレータ以外のエンティティによって所有されてよい、および／または動作させられてよいことを諒解されよう。
【0071】
ＡＭＦ１８２ａ、１８２ｂは、Ｎ２インターフェースを介してＲＡＮ１１３内でｇＮＢ１８０ａ、１８０ｂ、１８０ｃの１つまたは複数に接続されてよく、制御ノードとしてサービスし得る。たとえば、ＡＭＦ１８２ａ、１８２ｂは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザの認証、ネットワークスライシング（たとえば、異なる要件を有する異なるＰＤＵセッションの扱い）のサポート、特定のＳＭＦ１８３ａ、１８３ｂの選択、登録エリアの管理、ＮＡＳシグナリングの終了、モビリティ管理などを担当し得る。ネットワークスライシングは、利用されているＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのサービスのタイプに基づいてＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃをサポートするようにＣＮをカスタマイズするために、ＡＭＦ１８２ａ、１８２ｂによって使用され得る。たとえば、異なるネットワークスライスが、超高信頼低レイテンシ（ＵＲＬＬＣ）アクセスに依存するサービス、拡張マッシブモバイルブロードバンド（ｅＭＢＢ）アクセスに依存するサービス、マシンタイプ通信（ＭＴＣ）アクセスに対するサービスなど、異なる使用事例に対して確立され得る。ＡＭＦ１６２は、ＲＡＮ１１３およびＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、および／またはＷｉＦｉなどの非３ＧＰＰアクセス技術など、他の無線技術を採用する他のＲＡＮ（図示せず）の間で切り替えるための制御プレーン機能を提供し得る。
【0072】
ＳＭＦ１８３ａ、１８３ｂは、Ｎ１１インターフェースを介してＣＮ１１５内でＡＭＦ１８２ａ、１８２ｂに接続されてよい。ＳＭＦ１８３ａ、１８３ｂは、Ｎ４インターフェースを介してＣＮ１１５内でＵＰＦ１８４ａ、１８４ｂに接続されてもよい。ＳＭＦ１８３ａ、１８３ｂは、ＵＰＦ１８４ａ、１８４ｂを選択および制御し、ＵＰＦ１８４ａ、１８４ｂを通じたトラフィックの経路指定を構成し得る。ＳＭＦ１８３ａ、１８３ｂは、ＵＥ ＩＰアドレスの管理および割振り、ＰＤＵセッションの管理、ポリシー実施およびＱｏＳの制御、ダウンリンクデータ通知の提供など、他の機能を実行し得る。ＰＤＵセッションタイプは、ＩＰベース、非ＩＰベース、Ｅｔｈｅｒｎｅｔベースなどであってよい。
【0073】
ＵＰＦ１８４ａ、１８４ｂは、インターネット１１０など、パケット交換網に対するアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃおよびＩＰ対応デバイスの間の通信を円滑にし得る、Ｎ３インターフェースを介してＲＡＮ１１３内でｇＮＢ１８０ａ、１８０ｂ、１８０ｃの１つまたは複数に接続されてよい。ＵＰＦ１８４、１８４ｂは、パケットの経路指定および転送、ユーザプレーンポリシーの実施、マルチホームＰＤＵセッションのサポート、ユーザプレーンＱｏＳの扱い、ダウンリンクパケットのバッファリング、モビリティアンカーリングの提供など、他の機能を実行し得る。
【0074】
ＣＮ１１５は、他のネットワークとの通信を円滑にし得る。たとえば、ＣＮ１１５は、ＣＮ１１５およびＰＳＴＮ１０８の間のインターフェースとしてサービスするＩＰゲートウェイ（たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含み得るか、またはそれと通信し得る。加えて、ＣＮ１１５は、他のサービスプロバイダによって所有され、および／または動作させられる、他のワイヤードおよび／またはワイヤレスネットワークを含んでよい他のネットワーク１１２に対するアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得る。一実施形態では、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＵＰＦ１８４ａ、１８４ｂに対するＮ３インターフェースおよびＵＰＦ１８４ａ、１８４ｂおよびＤＮ１８５ａ、１８５ｂの間のＮ６インターフェースを介してＵＰＦ１８４ａ、１８４ｂを通じてローカルデータネットワーク（ＤＮ）１８５ａ、１８５ｂに接続されてよい。
【0075】
図１Ａ～１Ｄ、および図１Ａ～１Ｄの対応する説明に鑑みて、ＷＴＲＵ１０２ａ～ｄ、基地局１１４ａ～ｂ、ｅＮｏｄｅＢ１６０ａ～ｃ、ＭＭＥ１６２、ＳＧＷ１６４、ＰＧＷ１６６、ｇＮＢ１８０ａ～ｃ、ＡＭＦ１８２ａ～ｂ、ＵＰＦ１８４ａ～ｂ、ＳＭＦ１８３ａ～ｂ、ＤＮ１８５ａ～ｂ、および／または本明細書において説明される任意の他のデバイスの１つまたは複数に関して本明細書において説明される機能の１つもしくは複数、またはすべては、１つまたは複数のエミュレーションデバイス（図示せず）によって実行され得る。エミュレーションデバイスは、本明細書において説明される機能の１つもしくは複数、またはすべてをエミュレートするように構成された１つまたは複数のデバイスであってよい。たとえば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに／またはネットワークおよび／もしくはＷＴＲＵ機能をシミュレートするために使用され得る。
【0076】
エミュレーションデバイスは、研究室環境でおよび／またはオペレータネットワーク環境で他のデバイスの１つまたは複数のテストを実装するように設計され得る。たとえば、１つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、ワイヤードおよび／またはワイヤレス通信ネットワークの部分として完全にもしくは部分的に実装および／または展開されながら、１つもしくは複数、またはすべての機能を実行し得る。１つまたは複数のエミュレーションデバイスは、ワイヤードおよび／またはワイヤレス通信ネットワークの部分として一時的に実装／展開されながら、１つもしくは複数、またはすべての機能を実行し得る。エミュレーションデバイスは、テストの目的で別のデバイスに直接的に結合されてよく、および／またはオーバージエアワイヤレス通信を使用してテストを実行し得る。
【0077】
１つまたは複数のエミュレーションデバイスは、ワイヤードおよび／またはワイヤレス通信ネットワークの部分として実装／展開されていないが、すべてを含む、１つまたは複数の機能を実行し得る。たとえば、エミュレーションデバイスは、１つまたは複数の構成要素のテストを実装するために、テスト研究室でのテストシナリオならびに／または非展開（たとえば、テスト）ワイヤードおよび／もしくはワイヤレス通信ネットワークにおいて利用され得る。１つまたは複数のエミュレーションデバイスは、テスト機器であってよい。ＲＦ回路（たとえば、１つまたは複数のアンテナを含んでよい）を介した直接的なＲＦ結合および／またはワイヤレス通信は、データを送信および／または受信するためにエミュレーションデバイスによって使用され得る。
【0078】
上記で述べたように、いくつかの実施形態による、動的点群シーケンスのストリーミングを最適化するためのシステムおよび方法が開示される。
【0079】
より具体的には、いくつかの実施形態による、動的点群シーケンスのストリーミングを最適化するためのシステムおよび方法が開示される。いくつかの実施形態では、たとえば、すべてのキャプチャされた点群データを完全なスナップショットとして順に配信するのではなく、点群は、階層的剛体変換（ｒｉｇｉｄ ｂｏｄｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）でシステムが常時変化するにつれて動的に扱われてよい。いくつかの実施形態では、これらの変換は、これらが各々点群外観に対して引き起こす視覚的な影響の重要性に従って連続的に優先順位付けされる。いくつかの実施形態では、変換は、次いで、クライアントに対してキャプチャされたセンサーデータを処理しているサーバから、変換の連続ストリーム（たとえば、エリアおよび剛体変換対）として通信される。これは、更新された生点群データを連続的に送ることを排除する。そのような例示的な方法は、複数のシナリオに対するデータ分配を最適化し得る。
【0080】
いくつかの実施形態による、例示的な点群収集および閲覧が次に説明される。
【0081】
図２は、本開示の例示的な実施形態が採用され得る例示的なシステム配置２００を例示する。示されるように、システム配置２００は、いくつかの実施形態では、点群をキャプチャおよび処理し得るサーバ（たとえば、仮想現実（ＶＲ）サーバ）２０２を含む。ＶＲサーバ２０２は、プロセッサ２０４、および本明細書において開示される様々な方法の実施形態を実行するためにプロセッサ２０４によって実行可能である複数の命令を包含する非一時的コンピュータ可読メモリ２０６を含み得る。明示的に示されていないが、プロセッサ２０４およびメモリ２０６は、バスまたは同様の機構を介して相互接続され得る。ＶＲサーバ２０４に結合されるのは、その例が、３Ｄステレオカメラ、ＲＧＢ－Ｄカメラ、ならびに光検出および測距（ＬＩＤＡＲ）データコレクタであってよい、カメラ（たとえば、カメラアレイ）を含む、いくつかのセンサー２０８である。ＶＲサーバ２０２は、たとえば、点群データ（たとえば、前に記憶された動的点群データ、新しくキャプチャされた点群データなど）を保持し得るデータベース２１０にも結合される。データベース２１０は、ＶＲサーバ２０２の外部に位置するとして示されるが、いくつかの実施形態では、データベース２１０およびＶＲサーバ２０２は、共同設置されてよい（たとえば、サーバ２０２は、データベース２１０を含んでよい）。
【0082】
さらに、サーバ２０２は、クライアント２１２と通信するためにインターネット２２０および他のネットワーク２２２に結合されてよい。クライアント２１２は、プロセッサ２１４、および本明細書において開示される様々な方法の実施形態を実行するためにプロセッサ２０４によって実行可能である複数の命令を包含し得る非一時的コンピュータ可読メモリ２１６を含んでよい。加えて、いくつかの実施形態では、メモリ２１６は、点群データを記憶するように構成され得る。しかしながら、別個の記憶媒体がその目的で代わりに提供されてもよい。さらに、示されるように、クライアント２１２は、ＶＲ閲覧デバイス２１８を含む。たとえば、サーバ２０２およびクライアント２１２（たとえば、ＶＲ閲覧デバイス２１８自体）のいずれかまたは両方は、図１Ａ～１Ｄに関して上記で説明されたＷＴＲＵであってよい。図２に示される様々なエンティティは、任意の好適なワイヤードおよび／もしくはワイヤレスリンクならびに／または次に示される他の中間要素を介して互いと結合され得る。
【0083】
いくつかの実施形態による、例示的な点群が次に説明される。
【0084】
図３Ａは、いくつかの実施形態による、受信および処理され得る例示的なシーン３００を例示する。シーンは、ある見かけの高さを有する観測者視点から撮像された、ある距離における複数の建築物およびいくつかのより近い対象物を含む。さらに、キャプチャされたシーンは、「固定された」背景、およびその中を移動する動的要素を有し得る。しかしながら、閲覧者の位置が動的に改められる場合、「固定された」背景はもはや固定され得ない。また、「静止」シーンは、たとえば、ビデオカメラが移動するとき変化する。場合によっては、建築物または他のシーン要素に対してより低くまたは近く移動することによって、閲覧者の視点が変化するにつれて、点群内の点に対する相対角度は変化し得る。点群は、実世界シーンにおいて検出され得るか、仮想オブジェクトで生成され得るか、またはこれらの技法、または、適用可能な場合、他の技法の任意の組合せであり得る。しかしながら、点群データを変化させることは、送信するためにかなり広い帯域幅を必要とすることがある。
【0085】
図３Ｂは、いくつかの実施形態による、処理され得る例示的な点群（画像）４００を例示する。図３Ｂには明示的に示されていないが、点群画像４００は、点群内に多くの点を通常包含することになる。点は、対象物４０２の一部分が存在するとして検出されている３次元（３Ｄ）座標を表す。そのような検出は、光検出および測距（ＬＩＤＡＲ）、ステレオビデオ、およびＲＧＢ－Ｄカメラなど、３Ｄセンサーを使用して発生し得る。さらに、点群データは、３Ｄロケーション、および放射画像データまたはボリュームピクセル（ｖｏｘｅｌｓ）を含み得る。
【0086】
ＶＲおよび拡張現実（ＡＲ）プラットフォームがより多くの消費者による大量採用に向けて開発されるにつれて、高解像度３Ｄコンテンツに対する需要が高まることになる。そのようなフル３Ｄコンテンツに対する旧来の事実上の標準は、モデリングによって手動で作成され、リアルタイム３Ｄゲームを生み出すために使用されるツールおよび技法を用いてレンダリングされる、多角形３Ｄグラフィックスである。しかしながら、ＶＲヘッドマウントディスプレイ（ＨＭＤ）、ＡＲ ＨＭＤ、ＲＧＢ－Ｄセンサー、および明視野カメラなど、新たに出現している複合現実（ＭＲ）ディスプレイおよびコンテンツキャプチャ技術は、完全没入型３Ｄコンテンツ生産および分配に対して新しい要件を設定している。
【0087】
リアリティキャプチャ（ｒｅａｌｉｔｙ ｃａｐｔｕｒｅ）技術の開発を推進するＭＲの先に、近い将来、ヒューマンコンピュータ対話システムがより空間認識になることが予想され得る。環境の構造的理解を可能にする環境検知技術は、スマートホーム環境、自動車システム、およびモバイルデバイスにますます埋め込まれている。これらの空間認識システムは、環境から点群データを収集し、したがって、一定のアプリケーションに対して、そのような空間データが複数のシステムおよびサービスにわたって送信されるシナリオにおいて環境データを通信するための効率的なツールを必要とすることがある。
【0088】
３Ｄ要素の旧来の手動３Ｄモデリングは、環境および人間の実世界外観の細かなニュアンスを捕捉するために不十分であることが多く、完全に３Ｄなコンテンツをキャプチャするためのより新しい技法の開発をもたらす。そのような最近の技法は、たとえば、マルチビューカメラ段階（たとえば、非特許文献１を参照）、複数のＲＧＢ－Ｄセンサー（たとえば、非特許文献２を参照）の使用、また明視野カメラの使用を含む。これらの手法の多くに関して、キャプチャシステムは、時間的に変化する構造を備えた動的点群のシーケンスを作成する。点群などの実世界シーンの動的キャプチャを可能にする、これらの新たに出現している方法が広く使用されるようになるとき、動的点群データのシーケンスを効率的に分配するための手法は、ますます重要になる（たとえば、非特許文献３参照）。
【0089】
画像品質および深度／構造情報の両方を保存する方法での実世界シーンの生のキャプチャは、キャプチャされたデータの一般に大きなサイズにより、キャプチャおよび分配システムを強く要求する。動的センサーを用いて作成された動的点群データのシーケンスを分配するための、いくつかの実施形態による例示的な方法は、分配チャネルの異なるスループットに適合され得、相対的な視覚的重要性に基づいてコンテンツ更新を優先順位付けするような方法で性能をレンダリングし得る。視覚的重要性はクライアントごとに異なることがあり、データ分配の間にこれを明らかにすることは、ユーザに対する経験の全体的な質を改善し得る。
【0090】
いくつかの実施形態では、考えられる最適化は、しばらくの間、点群データのシーケンスを単に完全な環境ジオメトリのスナップショットとして扱わず、代わりに、クライアントにストリーミングされ得る環境ジオメトリ内の一連の変化として扱い、より微細な変化よりも重要な視覚的変化を有する変化を優先順位付けすることを含み得る。環境ジオメトリの「フルフレーム」をストリーミングするのではなく、ジオメトリの下位領域の変換が代わりにストリーミングされ得る。いくつかの実施形態では、ストリーミングされる変化の優先順位付けは、変換によって影響を受けるジオメトリのエリアのサイズの係数および結果として生じる変化の量（たとえば、変換の量）であってよい、変換が特定のクライアントに対してもたらす視覚的影響の量に依存する。さらに、視覚的影響は、ジオメトリ変換のクライアントの観測（たとえば、変換がクライアントからどの程度離れて発生するか）に依存し得るため、視覚的影響は、個々のクライアントに依存する。
【0091】
固定された背景でビデオキャプチャされたシーン、およびそのビデオキャプチャされたシーンの中を移動する動的要素を考慮すると、観測者の視点が改められるとき、固定された背景の位置は観測者に対してもはや固定されない。
【0092】
いくつかの実施形態では、点群シーケンスによって必要とされることがあるデータ量を最適化するための手法は、たとえば、オクツリー空間区分（たとえば、非特許文献４参照）または次いでその間にデルタフレームを有するフルキーフレーム点群のセットに低減されるフル点群を抽出するために、プリキャプチャされたデータの広範なオフライン処理（たとえば、非特許文献１参照）を使用して、点群をｖｏｘｅｌグリッドに変換することに基づく。
【0093】
しかしながら、これらの方法はいずれも、通常の日常の環境からキャプチャされたデータ内で、対象物の大部分は、静的であるか、または剛体変換としてモデル形成され得る動き状態のいずれかであることを考慮に入れるとは理解されていない。さらに、点群データは階層的に考慮され得る。
【0094】
いくつかの実施形態によれば、点群（たとえば、環境）の空間的に階層的な性質は、異なるレベルの詳細で検査され得る複数の下位対象物を含む。同様に、いくつかの実施形態では、動きは、対象物全体から、その対象物を作り出す部分の動きに、次いで、（たとえば、実際の動きではなく）センサーノイズによって実際に引き起こされることがある個々の点の動きに階層的に分解され得る。いくつかの実施形態では、点群の階層的考慮は、大きなエリアを伴う、および／または大きな移動量を伴う変化が、より微細で小さな変化（たとえば、センサーノイズに関する変化）よりも一般に閲覧者にとってどの程度より可視的であるかにも関係する。したがって、いくつかの実施形態によれば、点群更新は、その優先順位において階層的であると見なされ得る：たとえば、より小さなより微細な変化よりも、より大きな視覚的変化を可視化することがより重要である。
【0095】
いくつかの実施形態による、点群外観全体に対する視覚的影響に基づいて優先順位付けされた階層的剛体変換とともに常に変化する（たとえば、時間的に変化する）システムとして３Ｄ点群データを表すことによって、３Ｄ点群データを統合するための方法およびシステムが本明細書において開示される。
【0096】
上記で述べたように、いくつかの実施形態による、動的点群シーケンスのストリーミングを最適化するためのシステムおよび方法が開示される。いくつかの実施形態では、たとえば、すべてのキャプチャされた点群データを完全なスナップショットとして順に配信するのではなく、点群は、階層的剛体変換とともに常に変化するシステムとして、動的に扱われてよい。いくつかの実施形態では、これらの変換は、それらが各々点群外観に対して引き起こす視覚的影響の重要性に従って連続的に優先順位付けされる。いくつかの実施形態では、変換は、次いで、変換（たとえば、エリアおよび剛体変換対）の連続的ストリームとして、キャプチャされたセンサーデータを処理しているサーバからクライアントに通信され得る。いくつかの実施形態による、これらの例示的な技法は、更新された生点群データを連続的に送るステップを排除し得る。そのような方法は、複数のシナリオに対するデータ分配を最適化し得る。
【0097】
図４は、いくつかの実施形態による、例示的なメッセージシーケンス図５００を例示する。いくつかの実施形態による、図４に例示される、１つの例示的な方法では、サーバは、センサーから点群データをキャプチャし、生点群データを送る代わりに、キャプチャされた点群内の動的変化に近似する、点群下位領域の異なるレベルにおける変換のストリームが代わりにクライアントに送られる（たとえば、最適化された）形態で、そのデータをクライアントにストリーミングする。図４は、いくつかの実施形態による、クライアントおよびサーバによって実行される動作の例示的なシーケンス、ならびに例示的な一般的な使用セッションにおいてサーバおよびクライアントの間で起こるメッセージングの概要を例示する。
【0098】
すなわち、図４を参照すると、５０８において、サーバ５０４は、１つまたは複数のセンサー５０６を初期化して、点群データのキャプチャを開始するための任意の（たとえば、好適な）メッセージを送り得る。５１０において、センサー５０６は、第１の（たとえば、初期）点群（データ）をサーバ５０４に通信し得る。点群データは、３次元（３Ｄ）データを含む。５１２において、サーバ５０４は、点群データストリーミングに対するクライアント５０２からの要求を待機し得る。図４に明示的に示されないが、クライアント要求を待機する間、サーバ５０４は、センサー５０６によってキャプチャされる新しい点群データを受信し続けることができる。５１４において、サーバ５０４は、点群データストリーミングに対するクライアント要求を受信し得る。クライアント要求に応答して、５１６において、サーバ５０４は、センサー５０６から受信された現在の（たとえば、最終）点群を基準点群として記憶し得る。さらに、５１８において、サーバ５０４は、その基準点群をクライアント５０２に通信し得る。
【0099】
５２０において、クライアント５０２は、（たとえば、点群データストリーミング要求の継続として）基準点群に対する現在のクライアントロケーションをサーバ５０４に提供し得る。より詳細に説明されるように、現在のクライアントロケーションは、いくつかの実施形態では、たとえば、クライアント視点に対して、所与の点群内のエリアを優先順位付けする際に使用される距離を判定するために使用されることになる。いくつかの実施形態では、現在のクライアントロケーションは、５１４において実行された点群データストリーミングに対するクライアント要求の一部としてまたはそれと並行して提供され得ることに留意されたい。さらに、いくつかの実施形態では、サーバ５０４が、それに応じて、基準点群の解像度を調整することが可能であり得るように、クライアント５０２が（たとえば、クライアント５０２が、たとえば、フル基準点群を最初に受信せずに、使用されることになる初期視点をすでに知っているとき）点群ストリーミング要求とともにその視点をシグナリングすることが可能であり得る。
【0100】
５２２において、サーバ５０４は、第２の（たとえば、現在の、たとえば、新しくキャプチャされた）点群（データ）をセンサー５０６から受信する。５２４において、サーバ５０４は、それに応じて、基準点群および第２の点群を処理して、（ｉ）もしこれらが存在するならば、３Ｄ変換（たとえば、基準点群からの第２の点群内の変換に近似する剛体変化）、および／または（ｉｉ）たとえば、基準点群および第２の点群の間の偏差を実質的に再生する（たとえば、複製する）ためになど、基準点群を修正するために除去および／または追加されることになる変化を表す点を判定するように構成される。変換および／または点が判定されると、サーバ５０４は、サーバ５０４に記憶された基準点群を更新し得る。
【0101】
さらに、５２６において、サーバ５０４は、クライアント５０２がクライアントサイドにおいて基準点群のローカルコピーを更新することができるように、たとえば、判定された変換（それらが判定され得る場合）または、たとえば、基準点群へ追加および／または基準点群から除去されることになる点を使用して変換されることになる、基準点群内のエリアの表示をクライアント５０２に送信し得る。このようにして、クライアント５０２は、生の更新された点群データの新しいフルセットをサーバから連続的に受信するのではなく、新しくキャプチャされた点群内で発生した変化を反映するように更新することができる。
【0102】
次に、図４に例示される例示的な全体的なプロセスが、いくつかの実施形態に従ってより詳細に説明される。
【0103】
図５は、いくつかの実施形態による、点群データを処理する例示的な方法を例示するフローチャート６００である。いくつかの実施形態では、図５の例示的な方法は、たとえば、図４のサーバ５０４または図２のサーバ２０２などのサーバによって実行され得る。
【0104】
図５に示すように、ステップ６０２において、サーバは、センサーによってキャプチャされた点群データを（たとえば、連続的に）受信し得る。６０４において、サーバは、閲覧しているクライアントが点群データストリームを要求するのを待機する。ステップ６０６において、サーバは、クライアント要求が受信されているかどうかを判定する。クライアント要求が受信されている場合、ステップ６１０において、サーバは、現在の点群を基準点群として記憶し、ステップ６１２において、現在の点群をクライアントに送る。ステップ６１４において、サーバは、点群データをクライアントにストリーミングするためのプロセスを開始する（または、たとえば、続ける）。いくつかの実施形態では、プロセスは、センサーからキャプチャされ、サーバにおいて受信された各新しい点群インスタンスに対して実行され得る。
【0105】
プロセスは、ステップ６１６において開始し（または、たとえば、続き）、ここで、サーバは、基準点群に関する所与の点群をレンダリングするために使用されることになる現在の視点を閲覧しているクライアントから受信する。いくつかの実施形態では、クライアント視点は、所与の点群内の何の変化がクライアントにとって重要であるかを判定するために使用され、重要性の１つの尺度は、たとえば、所与の変化がクライアント視点観点から引き起こす視覚的影響の量によって判定される。
【0106】
ステップ６１８において、サーバは、新しくキャプチャされた点群を受信する。次いで、ステップ６２０において、サーバは、変化したエリアを隔離するために、基準点群と比較して、新しくキャプチャされた点群を階層的に検査する。図５に示されるように、いくつかの実施形態では、ステップ６２０は、いくつかのさらなるサブステップを有するサブプロセス６２２を含んでよい。
【0107】
より具体的には、サブステップ６２４において、サーバは、変化したエリアを識別する。いくつかの実施形態では、目的は、変化したエリアに対応するクラスタ内の変化した点ロケーションを最も良く推定する変換を近似するために、キャプチャされた点群のどのエリアが最近の更新以来変化したかを識別することである。したがって、サブステップ６２６は、基準点群およびキャプチャされた点群の間で偏差するエリアをクラスタリングするステップを伴う。いくつかの実施形態では、クラスタリングするステップは、基準点群とは異なる最近キャプチャされた点群のエリアを隔離するステップを含む。
【0108】
サブステップ６２８において、サーバは、各クラスタに対してそれぞれのスコアを判定する（たとえば、図５におけるように、計算する）ことができ、ここで、いくつかの実施形態では、それぞれのスコアは、偏差の視覚的影響の重要性を示す。いくつかの実施形態では、そのような重要性は、たとえば、偏差しているエリアのサイズ、偏差の量、およびクライアントがクライアントサイドの点群を検査するために使用している現在の（仮想）視点から偏差しているエリアの距離の加重和として計算され得るが、当然、これは一例であり、他のフォーミュレーション（ｆｏｒｍｕｌａｔｉｏｎｓ）が使用されてよい。
【0109】
サブステップ６３０において、最高スコアを有する第１のクラスタ（したがって、最高優先順位の一例）に対して、サーバは、偏差がクラスタリングされているエリア付近の２個の点群（すなわち、キャプチャされた点群および基準点群）の間の形状対応を判定する。一般的な問題として、いくつかの実施形態によれば、偏差を有するエリアが最初に検出されたとき、たとえば、移動したセグメントによって、偏差が引き起こされたと一般に想定し得る。いくつかの実施形態では、そのセグメントが移動した場所を見出すために、第２の時間ステップを表す点群からのより大きなエリアを検査する必要があり得る。偏差が要素の剛性変換によって引き起こされた場合、その要素は、その元のロケーションと比較的近いことがある。したがって、いくつかの実施形態では、偏差のエリアに対して若干より大きいことがあるエリアに対して形状対応（たとえば、マッチング）が実行される。いくつかの実施形態では、より大きなエリアのサイズは、フレーム間の時間の長さおよび要素の予想される動き速度を検査することによって制御され得る。次いで、サブステップ６３２において、たとえば、同様の形状が見出された場合、サブステップ６３４において、サーバは、基準点群およびキャプチャされた点群の間の偏差に近似する変換を判定することができる（たとえば、解くことができる）。サブステップ６３６において、サーバは、次いで、その変換を基準点群に追加し（たとえば、適用し）、サブステップ６３８において偏差を有するエリアの表示および変換をクライアントに送る。
【0110】
いくつかの実施形態では、偏差のエリアは、そのエリアをカプセル化するバウンディングボリューム座標として送られてよい。いくつかの実施形態では、変換は、たとえば、３×４変換行列など、変換行列として送られてよい。一般的な問題として、変換行列は、単一行列が回転および平行移動を含む３Ｄ剛体変換を定義する、線形代数学およびコンピュータグラフィックスで変換を記述する標準的な方法である。次いで、新しい点ロケーションが（変換されることになる）点座標を変換行列で乗算することによって取得され得る。たとえば、非特許文献５を参照されたい。
【0111】
サブステップ６３２において同様の形状が見出されない場合、サブプロセス６２２はサブステップ６４０に移動し、ここで、サーバは、キャプチャされた点群に従って、基準点群から除去および／またはそこに追加されることになる点を判定し、次いで、サブステップ６４２において、追加および／または除去された点をクライアントにストリーミングする。
【0112】
サブステップ６４４において、いくつかの実施形態では、サーバは、処理されたばかりのクラスタからまだ対処されていない追加のより細かい粒度のエリア（本明細書において、たとえば、「サブエリア」とも呼ばれる）を隔離し得る。これらの対処されていないエリアは、たとえば、かなりの量の偏差を依然として有し得る。いくつかの実施形態では、サーバは、上記で説明されたように、それらのサブエリアを新しい偏差クラスタにクラスタリングし、それらの新しいクラスタの各々に対する重要性スコア（たとえば、または他の基準）を計算し得る。
【0113】
サブステップ６４６において、サーバおよび／またはクライアントサイドにおける時間、処理、および通信帯域幅リソース可用性の判定に応答して、サーバは、残りのクラスタを処理および区分し続けることができる。たとえば、サーバは、サブステップ６２８に戻り、次の最高重要性スコア、したがって（たとえば）次の最高優先順位を有する（たとえば、前に形成されたクラスタおよび処理されたばかりのサブエリアに対応する新しいクラスタの組合せの中からの）次のまだ処理されていないクラスタの処理を続けることができる。この例によれば、しかしながら、サーバが何の処理バジェットも残っていないと判定した場合、サブプロセス６２２は終了し、処理は、たとえば、ステップ６１４に戻ってよい。
【0114】
他方で、たとえば、ステップ６４８において、サーバまたはクライアントがストリーミングを終了する要求をシグナリングしたと判定した場合、プロセスは終了し得る。さもなければ、プロセスは、ステップ６０４に戻ってよい。
【0115】
いくつかの実施形態で実装され、概して、図４および５の例に例示される、いくつかの実施形態による、本明細書において提案される例示的な方法およびシステムは、動的点群データのシーケンスの効率的なストリーミングを可能にし得る。いくつかの実施形態では、送信される必要があり得るデータの量は、たとえば、点群データ内の変化を、たとえば、データを閲覧しているクライアントに対する視覚的影響に従って優先順位付けされる連続的な階層剛性変換として考慮することによって最適化され得る。いくつかの実施形態では、これは、たとえば、利用可能な帯域幅および処理電力が、たとえば、ユーザの経験の質に対して最大の影響を有し得るコンテンツ更新のために消費されることを確実にし得る。
【0116】
点群最適化のためのいくつかの他の手法と対照的に、いくつかの実施形態による、本明細書において開示される例示的な方法およびシステムは、概して、たとえば、ジオメトリの大部分が静的であり、変換が、一般に、剛体アニメーション、たとえば、動いている個々の対象物に近似し得る、屋内環境または屋外環境に対する動作のアドホックキャプチャなど、一般的な制御されていないキャプチャ環境においてよく動作し得る。
【0117】
空間検知がスマート環境、自動車システムおよびモバイルデバイスにますます埋め込まれるにつれて、いくつかの実施形態による、本明細書において提案される例示的な手法は、環境データを共有するシステムおよびサービスの間でデータをストリーミングするための効率的な方法を提供し得る。大部分の例示的な事例では、環境データは、静的環境ジオメトリおよびその環境の中で動いている剛性対象物の両方を含むことが予想され得る。そのような場合、いくつかの実施形態では、いくつかの実施形態による、本明細書において説明される例示的な圧縮手法は、好適であり得る。
【0118】
いくつかの実施形態によれば、変化は、点群データに対する、ユーザの現在の視点に従って優先順位付けされ、たとえば、変化を伴う各エリアが異なるレベルにおけるデータ内の変化を記述するさらなるサブエリアを有し得るように、階層的に配信され得る。点群データの場合、センサーノイズにより、各フレームは、一定の変化を有し得る。有利には、いくつかの実施形態による、本明細書において提案される手法を用いて、最も重要な変化のみが利用可能な帯域幅の範囲内で通信される。
【0119】
図６は、いくつかの実施形態による、点群データを処理する別の例示的な方法７００のフローチャートを例示する。いくつかの実施形態では、図６の例示的な方法は、たとえば、図４のサーバ５０４、または図２のサーバ２０２など、サーバによって実行され得る。いくつかの実施形態では、図６の例示的な方法は、たとえば、一時的な変化に対して、または時間ステップ同士の間に、フル点群を検査する代わりに、たとえば、所与の時間インスタンスにおいてサーバがクライアントに可視の点群（たとえば、ステップ７２０におけるような、スナップショット点群）のエリアを検査し得る場合に適用可能であり得る。
【0120】
図６に示されるように、ステップ７０２において、サーバは、たとえば、ユーザ環境を表す３Ｄデータを（たとえば、連続的に）受信し得る。３Ｄデータは、その一例が、ＲＧＢ－Ｄ、ＬＩＤＡＲ、ならびに／またはそれらのおよび／もしくは他のセンサーの組合せを含む、センサーによって収集され得る。
【0121】
７０４において、サーバは、（たとえば、ここで）点群データおよび放射画像データに対するクライアント共同要求を待機し、ステップ７０６において、サーバは、クライアント要求が受信されているかどうかを判定する。クライアント要求が受信されている場合、ステップ７０８において、サーバは、現在の点群（センサーによってキャプチャされた３Ｄデータ）および放射画像データを基準点群として記憶し、ステップ７１０において、サーバはまた、現在の点群および放射画像データをクライアントに送る。
【0122】
ステップ７１２において、サーバは、点群データをクライアントにストリーミングするためのプロセスを開始する（たとえば、続ける）。いくつかの実施形態では、このプロセスは、センサーからキャプチャされ、サーバにおいて受信された、各新しい点群インスタンスに対して実行され得る。
【0123】
このプロセスは、ステップ７１４において開始し（または、たとえば、続け）、ここで、サーバは、（たとえば、変化している実世界シーンのキャプチャされた画像による、など）点群データに対する、キャプチャされた（たとえば、センサー収集された）更新、および、たとえば、放射画像データに対する更新（もしあれば）を受信し、記憶する。一般に、いくつかの実施形態では、点群データは、たとえば、生ジオメトリの形態であってよく、そのジオメトリに対する色は、たとえば、たとえば別個に、分配され得る放射画像に由来し得る。しかしながら、いくつかの実施形態では、ジオメトリおよびそれに関連する色は、代わりに、点群データ内に含まれてもよい。
【0124】
ステップ７１６において、サーバは、クライアントの現在の視点を（たとえば、没入型シーン内に）受信する。クライアントの現在の視点の受信に応じて、ステップ７１８～７２０において、サーバは、基準点群に関連する視点に対するその視点内の変化を判定し、（キャプチャされたシーンの）スナップショット点群をこの新しい透視図／視点から受信し得る。図６の例は、たとえば、点群時間的変動の検査がクライアントによって現在見られているエリアのみに対して実行されることになるように限定することによって、処理が最適化されることを実現し得る。
【0125】
ステップ７２２において、サーバは、変化したエリアを隔離するために、基準点群に対して、スナップショット点群または現在の新しくキャプチャされた点群を階層的に検査する。図６に示されるように、いくつかの実施形態では、ステップ７２２は、いくつかのさらなるサブステップを有するサブプロセス７２４を含んでよい。
【0126】
より具体的には、サブステップ７２６において、サーバは、変化したエリアを識別し、たとえば、図５に例示されたサブプロセスに対するいくつかの態様と同様に、サーバは、サブステップ７２６において、基準点群およびスナップショット点群の間で偏差するエリアをクラスタリングし得る。また、サーバは、各クラスタのそれぞれのスコアを判定すること（たとえば、計算すること）ができ、ここで、いくつかの実施形態では、それぞれのスコアは、その偏差の視覚的影響の重要性を示す。いくつかの実施形態では、そのような重要性は、たとえば、偏差しているエリアのサイズ、偏差の量、およびクライアントの現在の視点から偏差しているエリアの距離の加重和として計算され得る。
【0127】
サブステップ７２８において、最高スコア、したがって、たとえば、最高優先順位の一例を有する第１のクラスタに対して、サーバは、偏差がクラスタリングされている、２個の点群（すなわち、スナップショット点群および基準点群）の間の形状対応を判定する。次いで、同様の形状が見出された（たとえば、検出された）場合、サブステップ７３０において、サーバは、基準点群およびスナップショット点群の間の偏差に近似する変換を判定すること（たとえば、解くこと）ができる。サブステップ７３４において、サーバは、次いで、変換を基準点群に追加し（たとえば、適用し）、サブステップ７３６において、偏差を有するエリアの表示および変換を閲覧しているクライアントに送る。これらのサブステップは、図５の説明においてより詳細に説明される。
【0128】
サブステップ７３０において同様の形状が見出されない場合、サブプロセスはサブステップ７３８に移動し、ここで、サーバは、スナップショット点群に従って、基準点群から除去および／または基準点群へ追加されることになる点を判定し、サブステップ７４０において、たとえば、点群データのセット全体ではなく、追加および／または除去された点をクライアントにストリーミングする。
【0129】
サブステップ７４２において、いくつかの実施形態では、サーバは、まだ対処されていない追加のより細かい粒度のエリア（本明細書において、たとえば、「サブエリア」とも呼ばれる）を処理されたばかりのクラスタから隔離し得る。いくつかの実施形態では、サーバは、それらのサブエリアを新しい偏差クラスタにクラスタリングし、図５に関して説明されたように、それらの新しいクラスタのそれぞれに対する重要性スコア（たとえば、または他の基準）を計算し得る。
【0130】
サブステップ７４４において、処理バジェット（たとえば、キャプチャされた点群の１つのインスタンスを処理するために確保された処理時間、クライアントおよび／またはサーバサイドにおいて変換または推定される処理容量を送るために利用可能な帯域幅）が依然として可能にされる場合、サーバは、残りのクラスタの処理および区分を続けることができる。たとえば、サーバは、たとえば、サブステップ７２８に戻り、（たとえば、前に形成されたクラスタおよび処理されたばかりのサブエリアに対応する新しいクラスタの組合せの中から）次に最高の重要性スコア、したがって、たとえば、次の最高優先順位を有する次の未処理のクラスタの処理を続けることができる。しかしながら、サーバが何の処理バジェットも残っていないと判定した場合、サブプロセス７２４は終了し、処理はステップ７１２に戻ってよい。
【0131】
他方で、ステップ７４６において、たとえば、サーバまたはクライアントがストリーミングを終了する要求をシグナリングしているとの判定が下された場合、プロセスは終了し得る。さもなければ、プロセスはステップ７０４に戻ってよい。
【0132】
図７Ａおよび図７Ｂは、いくつかの実施形態による、点群データを処理する別の例示的な方法のそれぞれのフローチャートである。図７Ｂは、図７Ａに示される方法ステップの継続である。ともに、図７Ａおよび図７Ｂは、環境検知に対して利用可能なセンサーからのセンサーデータの収集から得られる点群のキャプチャを担当し得る（たとえば）サーバによって実行される例示的なプロセスを例示する。センサーは、たとえば、ＲＧＢ－Ｄセンサー、カメラアレイ、深度情報を作成するステレオカメラ、ＬＩＤＡＲなどのうちのいずれかであってよい。プロセスの開始時に、ステップ８０２において、サーバは、生センサーデータを作成する状態になるようにセンサーを初期化し、ステップ８０４において、クライアントが（たとえば、最適化された）点群ストリームを要求するのを待機する。
【0133】
いくつかの実施形態では、クライアントが（たとえば、最適化された）動的点群ストリームをサーバから受信することを要求するとき、ステップ８０６において、最初に、サーバおよびクライアントは、適切な処理バジェットを折衝し得る。いくつかの実施形態では、処理バジェットは、各単一の動的点群更新ステップに関するデータをサーバからクライアントにストリーミングするためにどの程度の時間および帯域幅が使用され得るかを定義する。いくつかの実施形態では、使用されることになるバジェットを折衝するために、クライアントおよびサーバの間のネットワーク接続の帯域幅がテストされ得る。この点について、いくつかの実施形態では、クライアントは、たとえば、各更新ステップを処理するためにサーバがどの程度の時間を有するかを定義する、（たとえば、必要とされる）更新フレームレートを定義し得る。また、いくつかの実施形態では、クライアントが各更新ステップの間に扱うことができるおよその変換数を定義するために、クライアントのパフォーマンスがテストされ得る。いくつかの実施形態では、クライアントは、各ディスプレイ更新サイクルの間にクライアントがいくつの点群点を処理およびレンダリングすることができるかを概算することもできる。
【0134】
処理のためのバジェットが定義されているとき、ステップ８０８において、サーバは、生センサーデータを使用して最新点群データをキャプチャし、ステップ８１０において、その最新点群データを基準点群として記憶し得る。ステップ８１２において、サーバは、基準点群もクライアントに送り得る。いくつかの実施形態では、サーバは、基準点群を記憶するとき、たとえば、サーバまたはクライアントがリアルタイムで扱うにはデータサイズがあまりにも大き過ぎる場合、基準点群複雑性を（たとえば、好適な圧縮技法を使用して）低減し得る。最初の基準フレームはクライアントの視点に依存しなくてもよいことに留意されたい。
【0135】
セッションの開始時にフル基準点群を送ることに加えて、いくつかの実施形態では、たとえば、階層的変換として点群内の変化を累積的に近似することによって引き起こされるデータ劣化を回避するために、新しい基準点群を周期的に送ることが可能である。新しい基準点群は、新しいフル基準点群が第Ｎ番目の更新ステップごとに送られるなど、たとえば、固定間隔を使用して送られてよい。いくつかの実施形態では、累積的変化の大きさが新しい基準点群を送ることを保証することを判定するために、他の方法が使用されてよい。そのような方法は、たとえば、現在キャプチャされているシーンおよび先に送られたシーンの間の全体的な変化を基準点群として確認し、変化がしきい値を超えるとき、新しい基準点群を送ることができる。
【0136】
基準点群がクライアントに送られているとき、このプロセスは、点群ストリーミングの各時間ステップに対して実行される連続的サブプロセスに進む。連続的サブプロセスで、ステップ８１４において、サーバは、基準点群に対する最新クライアントロケーションを最初に受信または予測する。次いで、ステップ８１６において、サーバは、生センサーデータを最新点群内にキャプチャし、その最新点群は、次いで、最後のキャプチャ以来発生した変化がクライアントに優先順位付けされる変換として変換されるように処理される。
【0137】
点群データは、仮想コンテンツをフル３Ｄフォーマットで記述するためのフォーマットであるため、シーンデータを検査するために異なる視点が選定されてよい。したがって、いくつかの実施形態では、特定のクライアントに対する品質要件により正確に準拠するために、コンテンツを最適化するとき、クライアントによって使用される視点も考慮に入れられる。本明細書における様々な実施形態において、動的点群内の変化が閲覧者によって認められるように特定の変化の視覚的影響の大きさに従って優先順位付けされるにつれて、閲覧者によって使用されるコンテンツに対する視点は、その特定の変化の視覚的影響の重み付けに影響を与える。いくつかの実施形態では、閲覧者に近い変化は、ユーザ（または、閲覧者）から離れた対象物に対する同様の変化よりも一般に可視であり、したがって、それに応じて優先順位付けされ得る。したがって、本明細書において説明される様々な実施形態では、クライアントがコンテンツを検査するために使用される視点をサーバに連続的に報告し戻すことには価値がある。
【0138】
前に処理された時間ステップ以来発生した、キャプチャされた点群内の変化のストリーミングは、ステップ８１８において、前にキャプチャされた点群からの偏差が存在する、点群のエリアを最初に隔離することによって開始する。新しくキャプチャされた点群（したがって、処理されることになる現在の点群）は、基準点群に対して比較される。いくつかの実施形態では、たとえば、際立って偏差している全体的なジオメトリを特徴付けるキャプチャ点のすべてのエリアが別個のクラスタに隔離される。
【0139】
いくつかの実施形態では、クラスタは、たとえば、基準点群とは異なる点群の隔離された（たとえば）連続エリアである。いくつかの実施形態では、連続エリアは、たとえば、互いと比較的近い（たとえば、互いから所与のしきい値距離に満たない位置にある）点の収集物（たとえば、グループ）からなるエリアを指すことがある。より詳細に説明されるように、たとえば、元のクラスタエリアが処理されると、クラスタは、依然として偏差している任意のより細かい粒度のエリアまたはサブエリアを識別するために再度（たとえば、後続処理において）検査され得る。いくつかの実施形態では、次いで、そのクラスタ内の変化した点ロケーションを最も良く推定する変換を近似することが可能であるために、クラスタの識別は、点群のどのエリアが最後の更新ステップ以来変化したかの識別を可能にする。いくつかの実施形態では、クラスタリングは、許容距離内に点が存在する場合、新しくキャプチャされた点群内の対応する点が偏差していないとして標示され得るように、新しくキャプチャされた点群を基準点群から最初に減じ、したがって、基準点群およびキャプチャされた点群の間の点ロケーションをユークリッド距離の何らかの許容差と比較することによって達成され得る。これらの例によれば、キャプチャされた点群が偏差していない点をパージすると、その結果は偏差しているエリアである。これらのエリアは、次いで、隔離された偏差しているエリアにクラスタリングされ得る。
【0140】
点群登録および差異比較は、反復最近傍点（ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）手法、または他の同様の手法によって達成され得る。たとえば、非特許文献６；非特許文献７；および非特許文献８における論文を参照されたい。
【0141】
次に図７Ｂを参照すると、偏差しているエリアがクラスタに分離されるとき（ステップ８１８）、ステップ８２０において、クラスタは、たとえば、クライアント視野に対する所与のクラスタ内に包含される変化の視覚的影響に従って優先順位付けされる。上記で論じたように、いくつかの実施形態では、クライアント視点は点群データ内の何の変化がそのクライアントに対して重要であるかを判定するために使用されるため、それは重要である。いくつかの実施形態では、視覚的影響は、比較的大きな、閲覧しているユーザに近い、閲覧方向の現在の焦点に近い変化が、閲覧しているユーザから離れており、方向が閲覧しているユーザの後方にさらに向かっている、より小さな変化よりも重要であるように判定され得る。いくつかの実施形態では、変化の大きさは、変化する点群のエリアおよび閲覧者からのエリアの距離の両方に依存し得る。状況によっては、視点から遠い変化は、閲覧者に対して重要な視覚的影響有さないことがある。
【0142】
いくつかの実施形態では、各クラスタに対する優先順位（図７Ｂにおいて「重要性」とも示される）を計算する際に使用される距離は、（たとえば、クライアントがクライアントサイドにおいて点群を検査するために使用している）仮想視点からのその点の距離であり得る。この距離は、ステップ８１４において提供された現在のクライアントロケーションから計算されてもよい。いくつかの実施形態では、クラスタに対して、距離は、クライアントが使用している仮想視点からのクラスタ内の各点の平均距離であってよい。いくつかの実施形態では、点群内のすべての点は、グローバル点群座標系を使用して定義されてよく、クライアント視点は、この同じ座標系を使用してよい。たとえば、現在の視点が点群内の座標（ｘ、ｙ、ｚ）に位置する場合、視点は、座標（ｘ２、ｙ２、ｚ２）およびベクトル（ｘ３、ｙ３、ｚ３）の組合せとして与えられてよい。状況によっては、視点ベクトルは単位ベクトルであってよい。さらに、いくつかの実施形態では、クライアントによって使用される視野角錐体などの追加情報がサーバにシグナリングされてよい。たとえば、図６の例示的プロセスを再度参照すると、クライアントに可視である点群の一部分のみが処理され得る。いくつかの実施形態では、サーバが可視エリアを判定することを可能にするために、サーバは、たとえば、視点および方向に加えて、視野（たとえば、視野角錐体）を、たとえば、知る必要があり得る。
【0143】
ステップ８２２において、最高優先順位（たとえば、図７Ｂにおけるような、計算された最高重要性基準（たとえば、スコア））を有するクラスタが処理される。図５および図６に関して上記で説明され、図８に関してより詳細に説明されるように、所与のクラスタ（たとえば、最高優先順位を有するクラスタ）の処理は、いくつかの実施形態では、基準点群に適用されることになる３Ｄ変換を判定すること、または、そのような変換が判定され得ない場合、変化に従って、基準点群から追加および／または除去されることになる点を判定することを伴う。
【0144】
ステップ８２４において、基準点群内のクラスタエリアは、処理結果に従ってサーバによって更新される。さらに、図７Ｂに示されるように、ステップ８２４において、処理結果に関する情報（たとえば、変換または点除去および／もしくは追加に関係する情報）もクライアントサイドにおいて基準点群を更新するためにサーバによってクライアントに送信され得る。ステップ８２６において、処理されたばかりのクラスタは、依然として偏差している、処理されたクラスタ内のさらなるエリア（本明細書において、「サブエリア」または「残差変化のより細かい粒度のエリア」とも呼ばれる）を識別するためにサーバによって再度検査される。識別されると、新しいクラスタが形成され、前に説明されたように、各新しいクラスタの重要性が計算される。
【0145】
ステップ８２８において、サーバは、処理を続けるために十分な処理バジェットが依然として残っているかどうかを判定する。決定結果が肯定的である場合、処理はステップ８２２に戻り、次の最高優先順位を有するクラスタを再度判定し、説明されたように処理ブロックを処理していくために、新しく形成されたクラスタおよびそれらの対応する重要性値が前に形成されたクラスタに追加される。
【0146】
他方で、決定結果が否定的である場合、プロセスはステップ８３０に移動し、ここで、たとえば、クライアントによって、現在のセッションの終了が要求されているかどうかの決定が行われる。決定結果が否定的である場合、プロセスはステップ８１４に戻る。決定結果が肯定的である場合、処理はステップ８３２に移動し、ここで、プロセス終了が要求されているかどうかの決定が行われる。そうである場合、プロセスは８３４において終了する。そうでない場合、プロセスはステップ８０４に戻り、図７Ａに示されるように、ここで、サーバは、点群ストリーミングに対するクライアントからの別の要求を待機する。
【0147】
いくつかの実施形態による、例示的なクラスタ処理が次により詳細に説明される。
【0148】
いくつかの実施形態では、各クラスタの処理において、その目標は、基準点群およびキャプチャされた点群の間の偏差を正確に記述する剛性変換を見出すことであり得る。その偏差を記述する何の変換も見出されない場合、次いで、いくつかの実施形態では、基準点群を、たとえば、キャプチャされた点群と同様にするために、基準点から点が追加および／または除去され得る。
【0149】
図８は、いくつかの実施形態による、クラスタを処理する例示的な方法のフローチャートである。いくつかの実施形態では、処理は、サーバによって実行され得る。
【0150】
クラスタの処理は、最高優先順位を有するクラスタが最初の処理のために選択されるように、それぞれの優先順位を各クラスタに割り当てることを伴い得る。
【0151】
したがって、ステップ９０２において、サーバは、処理のために最高優先順位を有するクラスタを選択し得る。上記で説明されたように、所与のクラスタの優先順位の判定は、いくつかの実施形態では、クラスタの重要性（たとえば、重要性、または、たとえば、優先順位を示すスコア）の判定（たとえば、計算）に基づいてよく、ここで、重要性は、閲覧者の現在の視点に対するクラスタ内に包含された変化の視覚的影響を示す。処理されることになるクラスタが選択された後で、ステップ９０４において、サーバは、基準点群および新しくキャプチャされた点群を比較して、２つの点群の間のクラスタエリアの形状対応を見出す。いくつかの実施形態では、その目標は、２個の時間点の間でクラスタエリアが変換されたことを意味し得る同じ全体的なジオメトリ形状が両方の点群内に存在するかどうかを確認することである。（ステップ９０６において）形状対応が見出されるかどうかに応じて、いくつかの実施形態では、プロセスは、（ステップ９０８において）変換を解く、または（ステップ９１２における）点追加および／または除去のプロセスに（たとえば、直接的に）移動するのいずれかに分岐する。
【0152】
概して、２個の点群間の形状対応がどのように実行され得るかに関して多数の例示的な技法が存在することを理解されよう。このプロセスは、たとえば、２個の点群データセットの登録の処理を伴い得る。点群登録プロセスは、概して、たとえば、（データセットのうちの１つに適用されるとき、それを他のデータセットに位置合わせすることが可能な剛性変換行列の形態でなど）そこから変換が推定され得る、特徴および位置の間の類似性に基づいて対応を推定することを伴い得る。たとえば、非特許文献９における論文を参照されたい。
【0153】
１つの例示的な例として、いくつかの実施形態では、サーバは、基準点群および新しくキャプチャされた点群内で互いに比較的近く位置している偏差クラスタ同士の間のかなり粗い形状推定を実行するように構成され得る。結果として、マッチが存在するように思われる場合、サーバは、その後、反復最近傍点（ＩＣＰ）アルゴリズムを実行して、（たとえば、最適な）変換を見出し得る。いくつかの実施形態では、必要な場合、サーバは、登録されたクラスタ間の誤差が、たとえば、対応が存在することを確実にする所与のしきい値未満である場合、追加の確認を実行し得る。
【0154】
本明細書において説明される例の利点を用いることにより、いくつかの実施形態に従って本明細書において説明されるように、階層的点群データ処理またはクラスタの検査は、データ内の残余誤差を補正することになるため、形状対応の精度は比較的高くなくてもよいことに留意されたい。したがって、いくつかの実施形態では、十分にマッチしないクラスタですら、続くサブエリアクラスタ処理（先に説明され、以下でより詳細に説明される）は残差誤差を補正し得るため、クラスタに対してＩＣＰを実行することは十分であり得る。
【0155】
さらに、いくつかの実施形態では、形状対応（たとえば、マッチ）を見出すことは、クラスタエリアに対するバウンディングボリュームを作成することと、それを近似的に同じサイズ／形状バウンディングボリュームにマッチさせることとを含み得る。この場合、マッチの精度が高められる必要がある場合、バウンディングボリュームは、より複雑な（たとえば、単なるボックスよりも複雑）なジオメトリを用いて生み出される。
【0156】
ステップ９０６において、１個の点群からの偏差しているエリアとして検出された同様のジオメトリ形状が第２の群点から検出された場合、サーバは、その偏差が偏差しているエリアの変換によって引き起こされると判定し得る。この場合、いくつかの実施形態では、ステップ９０８において、その変換を最も良く記述し得る変換が解かれる。概して、いくつかの実施形態によれば、２個の対応する点群エリア（基準点群内のＡおよびキャプチャされた点群内のＢ）から線形システムＢ＝Ｒ*Ａ＋ｔを形成することよって、剛性変換（たとえば、平行移動および回転）が考慮され、解かれる。線形システムから、Ｒおよびｔは、２個の対応する点群エリア間の点の偏差から計算された最小２乗誤差を最小限に抑えることによって解かれる。最小２乗誤差を与えるＲおよびｔを解くために、複数の異なる解析的または反復的線形ソルバが使用されてよい。
【0157】
変換は、線形代数学およびコンピュータグラフィックスにおいて使用される、知られている方法（たとえば、変換行列）を含み得る。変換行列は、回転および平行移動を組み合わせて単一行列にすることができる。変換行列により、点座標を変換行列で乗算することによって点が変換され得る。３Ｄ変換行列は、一般に、形状３×４である。剛性変換の場合、最初の３×３部分は回転を記述するとして解釈され得、後者の３×１部分は平行移動を記述し得る。たとえば、非特許文献５における論文を参照されたい。
【0158】
ステップ９０８において、２個の点群間の偏差に近似する変換（たとえば、剛性変換）が解かれる。いくつかの実施形態では、解かれる変換は、キャプチャされた点クラスタに対する（たとえば、最適には）基準点群クラスタであってよい。ステップ９１０において、サーバは、変換を基準点群内の偏差しているエリア（本明細書において、所々で、「変化したエリア」とも呼ばれる）に適用することによって、基準点群を修正し得る。ステップ９１０において、それに応じて、クライアントがクライアントサイドにおいて基準点群のローカルコピーを更新し得るように、変換および偏差しているエリアの表示もサーバによってクライアントに送られてよい。いくつかの実施形態では、表示は、変化したエリアを示すバウンディングボリューム座標の形態であってよい。このようにして、クライアントは、基準点群に対するサーバの更新を局所的に追跡することができる。
【0159】
（ステップ９０６において）形状対応が見出されない場合、ステップ９１２において、たとえば、キャプチャされた点群内の偏差しているエリアの外観を複製する基準点群への点追加（たとえば、追加されることになる点）および／または基準点群からの点除去（たとえば、除去されることになる点）を定義するために、基準点群およびクラスタのキャプチャされた点群エリアがサーバによって検査され得る。例示のために、それに関するデータがその時点で可視である基準点群内のジオメトリ内にホールが存在する場合、キャプチャされた点群内のホールを充填する新しいデータの部分が、点を追加することによって基準点群に追加される。代替として、基準点群内に出現する点がキャプチャされた点群内にもはや存在しない場合、それらの点は、基準点群から除去されてよい。そのような点除去は、たとえば、対象物がキャプチャされたエリアの外部に移動することによって引き起こされることがある。ステップ９１２において、サーバによって点が基準点群から追加および／または除去されるにつれて、いくつかの実施形態では、図８に示されるように、クライアントが基準点群のクライアントのローカルコピー上で同じ点追加／除去動作を実行することができるように、点情報もクライアントに送られる（たとえば、ストリーミングされる）。いくつかの実施形態では、追加された点は、キャプチャされた点群内に存在するフル解像度データからダウンサンプリングされ得る。これは、たとえば、キャプチャされた点群の解像度が基準点群内で使用される解像度に対してかなり高い場合に発生し得る。
【0160】
変換が基準点群に対して実行されているとき（ステップ９１０）、または点が基準点群に追加されているおよび／またはそこから除去されているとき（ステップ９１２）、ステップ９１４において、サーバは、依然として偏差し得るか、または残差変化を示し得る、処理されたばかりのクラスタ内の考えられるサブエリア（本明細書において、所々で、「残差変化のより細かい粒度のエリア」または「より細かい粒度のエリア」とも呼ばれる）をクラスタリングするために、クラスタエリア（本明細書において、所々で、「変化のメインエリア」または「メインクラスタエリア」とも呼ばれる）を再度検査し得る。いくつかの実施形態では、最高優先順位を有する、処理されたクラスタ内の１つまたは複数のサブエリアを識別するために、サーバは、キャプチャされた点群を更新された基準点群と比較して、更新された基準点群から依然として偏差し得るより細かい粒度のエリア（もしあれば）を識別する。
【0161】
前に説明されたように、更新された基準点群は、変換が適用されている、または点追加および／または除去で修正されている、のいずれかである、元の基準点群であってよい。いくつかの実施形態では、新しいクラスタが識別されたサブエリアに対して定義されてよく、ステップ９１６において、新しいクラスタは、各新しいクラスタに対するそれぞれの重要性を判定すること（たとえば、計算すること）によって、優先順位付けされ得る（たとえば、それぞれの優先順位が割り当てられ得る）。そのような計算は、メインクラスタエリアに対応するクラスタに関して上記で説明されたのと同様の方法で実行されてよい。次いで、ステップ９１８において、サーバが、処理バジェットが依然として残っていると判定した場合、サーバは、これらの新しいクラスタを処理されることになるクラスタのリストに追加し得る。したがって、クラスタのリストは、このとき、（それらの重要性に基づいて）前に優先順位付けされたメインクラスタエリア、およびそれらのそれぞれの重要性値または優先順位を有する新しいクラスタを含むことになる。いくつかの実施形態では、処理バジェットは、サーバが各点群更新サイクル間で必要とされる変換および／または点追加／除去を計算するために利用可能である時間を含む。処理バジェットがもはや利用可能でない場合、次いで、ステップ９２０において、サーバは、図７Ａおよび図７Ｂに示されたような主な処理に戻ってよい（たとえば、図７Ｂおよびそれらの対応する説明（たとえば、ステップ８３０および８３２）を参照されたい）。
【0162】
依然として処理バジェットが残っている場合、最高優先順位を有するクラスタが処理され、依然として偏差を有するクラスタ内のサブエリアに対して新しいクラスタが隔離されているとき、処理はステップ９０２に戻り、ここで、サーバは、優先順位付けされたクラスタのリストから処理されることになる、次の最高優先順位を有する次のクラスタを選択する。この点について、いくつかの実施形態では、次の最高優先順位を有する次のクラスタは、変化のメインエリアに対して前に識別された残りのクラスタのうちの１つ、またはサブエリアのうちの１つ（たとえば、前の最高優先順位で処理されたばかりのクラスタ内のサブエリア）に対応するクラスタであり得る。いくつかの実施形態では、図８に示された処理は、基準点群内で点群更新サイクル同士の間で可能な限り多くの可視的変化が再生され、クライアントに送られることを確実にするために、識別されたクラスタの中から最高の視覚的影響を有するクラスタを連続的に優先順位付けする。
【0163】
いくつかの実施形態では、更新の処理は、クライアントサイドまたはサーバサイドにおけるユーザが、プロセスが終了されることを要求するまで連続的に実行され得る（たとえば、図５～８で説明された例示的なプロセスに示されるように）。次いで、たとえば、要求に応じて、サーバサイドの処理は、クライアント接続要求の待機に戻ること、またはプロセスを完全に終了することのいずれかが可能である。
【0164】
いくつかの実施形態による、例示的な変形態が次に説明される。
【0165】
いくつかの実施形態では、サーバは、複数のクライアントとの接続を同時に扱うことができる。この場合、サーバは、たとえば、クライアント接続要求を連続的に聴取することができ、たとえば、クライアントがサーバに接続する意図をシグナリングするときはいつでも、サーバは、現在の基準点群を接続しているクライアントに送ることができる。したがって、いくつかの実施形態によれば、本明細書において説明される様々な方法は、サーバにアクティブに接続されたクライアントの各々に対して実行され得る。いくつかの実施形態では、サーバは、たとえば、特定のクライアントに対して処理されるクラスタに関するそれぞれの重要性値（たとえば、スコア）を判定する（たとえば、計算する）ときにロケーションを考慮するために、接続されたクライアントのすべての各々から所与のロケーションを受信することもできる。上記で述べたように、いくつかの実施形態では、クライアントロケーションは、たとえば、クライアント視点に対して、所与の点群内のエリアの距離を判定するために使用され得る。この点について、いくつかの実施形態では、前に説明されたように、（したがって、たとえばクラスタ優先順位に関する）重要性計算は、クライアントの現在の視点からの変化のエリアの距離に少なくとも部分的に基づく。
【0166】
いくつかの実施形態では、開示される方法の様々な実施形態は、プリキャプチャされた動的点群シーケンスに基づいて、サーバによって実行され得る。すなわち、いくつかの実施形態によれば、この特定の変形態では、点群データは、センサーではなく、記憶媒体上に記憶されてよいか、またはそこから取り出されてよい。さらに、いくつかの実施形態では、そのデータは、いずれかのクライアントがデータを要求する前の事前処理ステップとして、（たとえば、いくつかの実施形態による、本明細書において説明される様々な技法を使用して）優先順位付けされた変換の（たとえば、最適化された）ストリームに変換され得る。
【0167】
いくつかの実施形態では、サーバは、点群データを追加で検査して、事前定義された対象物モデルを有する領域対応を推定し得る。サーバは、次いで、クライアントが閲覧アプリケーションのコンテキスト調整に対して使用し得る何らかの自然マーカーを閲覧者に示し得る。この点について、いくつかの実施形態では、点群（データ）が処理されるにつれて、たとえば、知られている対象物タイプが点群から識別され得るかどうかを検出するために、別個の形状分類が点群に対して実行されてもよい。
【0168】
いくつかの実施形態では、サーバは、点群を解析して、基準点群とともにコンテキスト情報をクライアントに提供し得る。たとえば、サーバは、点群を解析して、点群内のフロアプレーン（ｆｌｏｏｒ ｐｌａｎｅ）を推定し、この情報をクライアントに提供し得る。クライアントは、次いで、フロアプレーン情報を使用して、点群データ内で特徴付けられるフロアプレーンが閲覧者の物理的環境のフロアプレーンと一致するように、点群ディスプレイを位置合わせし得る。いくつかの実施形態では、これは、対象物認識がどのように使用され得るかの一例である。より具体的には、別個の対象物認識がサーバによって点群に対して実行され得、「コンテキスト的に」重要な何か、たとえば、この場合、フロアプレーン、が検出された場合、サーバはその情報をクライアントに送信し得る。
【0169】
いくつかの実施形態では、点群データのコンテキスト的理解は、コンテンツの部分をフィルタアウトするためにサーバによって使用され得る。この点について、いくつかの実施形態では、コンテキスト的に意味のある情報を（たとえば、上記で説明されたように）クライアントに単にシグナリングする代わりに、サーバは、その情報を使用して、サーバサイドにおいて点群データを処理し得る。いくつかの実施形態では、フィルタリングは、クライアント要求または何らかの（たとえば、サーバサイドにおいて）事前定義された設定によって引き起こされてよい。たとえば、クライアントは、シーン内の動的要素に対する更新のみをストリーミングするように、またはキャプチャされたコンテンツのフロアおよびシーリングをフィルタアウトするように、サーバに要求し得る。したがって、いくつかの実施形態では、サーバは、静的である要素ではなく、（たとえば、少なくとも部分的に）動的な（したがって、時間とともに変化する可能性の高い）要素に対する更新のみをストリーミングし得る。
【0170】
いくつかの実施形態による例示的な動作が次に説明される。１つの可能な例示的な動作では、カメラアレイは壁および扉を対象とし得る。カメラアレイデータから、次いで、クライアントに対して分配され得る３Ｄ点群が作成され得る。クライアントサイドにおいて、３Ｄ点群は動き視差を可能にする方法でＭＲ眼鏡（ＭＲ ｇｌａｓｓｅｓ）を使用して閲覧され得る。いくつかの実施形態による、開示される方法およびシステムを使用して、サーバは、カメラアレイデータから点群を作成し得る。クライアントがサーバに接続するとき、サーバは、基準点群として設定されることになり得る第１の点群から開始して、動的点群シーケンスのクライアントへのストリーミングを開始し得る。ローカルデバイス追跡がクライアントデバイス上で実行され得、クライアントが基準点群を受信し、初期視点を選択すると、クライアントは、基準点群に対する視点ロケーションを送り始めることができる。いくつかの実施形態では、クライアントは、ローカルユーザ選好に基づいて、点群データに対する初期視点を選択し得る。
【0171】
クライアントが最初にサーバに接続し、（たとえば、最適化された）動的点群ストリームを要求するとき、サーバは、基準点群として使用されるフル点群を送る。基準点群がクライアントに送られた後、いくつかの実施形態では、この基準点群に対する更新のみが送られる（たとえば、ある時間期間にわたって）。
【0172】
ある時間の期間にわたってシーンが何も変化しない場合、いくつかの実施形態では、主なデータ交換は、クライアントが点群に対するそのロケーションをサーバに送ることを伴う。この時間の間、サーバは、最大の視覚的影響を有する変化をクライアントに送信するために、発生している変化を優先順位付ける際に更新されたクライアント視点ロケーションを使用して、動的点群データ内で発生している変化を連続的に推定する。いくつかの実施形態では、要素が移動していないかまたは変化していない静的シーンをキャプチャするとき、点群をキャプチャするために使用されるセンサーは、測定ノイズまたは矛盾した測定密度を有することがあり、これは、キャプチャされた点群シーケンスが静的シーンから記録されているとしても、キャプチャされた点群シーケンスに動的挙動を特徴付けさせることがある。いくつかの実施形態では、サーバは、点群データ内の変化を連続的に検出し、最新クライアントロケーションを使用して変化を優先順位付けし、それらの変化に関連する優先順位に基づいて、変化を変換としてクライアントにストリーミングすることになる。
【0173】
さらに、（壁および扉をキャプチャする）この例示的な動作では、扉が開き始めてよい。サーバは、扉が開き始めるにつれて、時間ステップから点群データをキャプチャし得る。このプロセスは、偏差エリアのクラスタとして扉を隔離し、各時間ステップに対して、扉を包含する点群のエリアの動きに近似する変換を見出し得る。センサーが扉を開いている人物の画像をキャプチャするとき、いくつかの実施形態では、このプロセスは、基準点群内に前に存在していなかったこれらの新しい点を送り（その人物をキャプチャし）始めることもできる。
【0174】
扉を開いている人物が完全に可視でなく、点群内の（キャプチャされた人物の）新しい点がクライアントに送られるとき、次いで、いくつかの実施形態では、その人物の動きが粗いレベルで剛体変換として近似され得、キャプチャの各フレームの間、キャプチャされたフレームごとのボディの外観の変形が連続的に近似されるように、これらの剛体変換は、粗いレベルからより細かな詳細レベルにさらに推定され得る（たとえば、上記で説明されたように）。
【0175】
図９は、いくつかの実施形態による、例示的な方法１０００を例示するフローチャートである。いくつかの実施形態では、この方法は、サーバによって実行される。ステップ１００２において、サーバは、第１の点群をクライアントに送信し、第１の点群は、基準点群に対応する。ステップ１００４において、サーバは、第２の点群を受信する。ステップ１００６において、サーバは、基準点群からの第２の点群内の変化を階層的に判定する。変化を階層的に判定するために、ステップ１００８において、サーバは、基準点群から変化した第２の点群内の第１のエリアを識別する。変化を階層的に判定するために、ステップ１０１０において、サーバは、第１のエリアをさらに優先順位付けする。変化を階層的に判定するために、ステップ１０１２において、最高優先順位を有する第１のエリアに対して、サーバは、基準点群からの第１の変化に近似する第１の剛性３Ｄ変換が存在するかどうかを判定する。ステップ１０１４において、第１の剛性３Ｄ変換が存在するとの判定に応答して、サーバは、基準点群からの第１の変化に近似する第１の剛性３Ｄ変換を判定する。最終的に、ステップ１０１６において、第１の剛性３Ｄ変換が存在しないとの判定に応答して、サーバは、基準点群を修正するために使用されることになる第１の点をさらに判定し、第１の点は第１の変化を表す。
【0176】
図１０Ａおよび図１０Ｂは、いくつかの実施形態による、別の例示的な方法１１００を例示するそれぞれのフローチャートである。図１０Ｂは、図１０Ａに示される方法ステップの継続であることに留意されたい。いくつかの実施形態では、この方法は、サーバによって実行される。ステップ１１０２において、サーバは、初期点群をクライアントに送信する。ステップ１１０４において、サーバは、初期点群からの現在の点群内の変化を階層的に判定する。変化を階層的に判定するために、ステップ１１０６において、サーバは、現在の点群内の変化のメインエリアを識別する。変化を階層的に判定するために、ステップ１１０８において、サーバは、変化の第１のメインエリアをさらに使用して、初期点群からの第１の変化に近似する第１の剛性３Ｄ変換が存在するかどうかを判定する。ステップ１１１０において、第１の剛性３Ｄ変換が存在するとの判定に応答して、サーバは、初期点群からの第１の変換に近似する第１の剛性３Ｄ変換サーバを判定する。ステップ１１１２において、第１の剛性３Ｄ変換が存在しないとの判定に応答して、サーバは、初期点群を修正するために使用されることになる第１の点を判定し、第１の点は第１の変化を表す。ステップ１１１４において、変化を階層的に判定するために、サーバは、変化のメインエリア内の残差変化の１つまたは複数のより細かい粒度のエリアをさらに識別する。変化を階層的に判定するために、ステップ１１１６において、サーバは、残差変化の１つまたは複数のより細かい粒度のエリアおよび変化の残りのメインエリアをさらに使用して、初期点群からの第２の変化に近似する第２の剛性３Ｄ変換が存在するかどうかを判定する。ステップ１１１８において、第２の剛性３Ｄ変換が存在するとの判定に応答して、サーバは、初期点群からの第２の変化に近似する第２の剛性３Ｄ変換を判定する。最終的に、ステップ１１２０において、第２の剛性３Ｄ変換が存在しないとの判定に応答して、サーバは、初期点群をさらに修正するために使用されることになる第２の点をさらに判定し、第２の点は第２の変化を表す。
【0177】
さらに、様々な（たとえば、関係する）実施形態が上記で説明されている。
【0178】
いくつかの実施形態によれば、基準点群に適用される階層的３Ｄ変換のセットとして点群フレームの時系列を表す方法が開示される。いくつかの実施形態では、基準点群を改めるために剛性変換の系列が使用され得る。いくつかの実施形態では、追加のシグナリングは、基準点群からの点を追加または除去し得る。
【0179】
いくつかの実施形態によれば、コンテンツの表現のための変換のエンコーダサイド選択の方法が開示される。
【0180】
いくつかの実施形態によれば、ライブ符号化ではなく、クライアントに分配するためのプリキャプチャされたコンテンツの最適化が開示される。
【0181】
いくつかの実施形態によれば、たとえば、点群および変換に加えて、認識された要素のロケーションなど、追加のコンテキスト解析データをシグナリングすることが開示される。
【0182】
いくつかの実施形態によれば、３Ｄデータをクライアントに提供する方法は、３Ｄデータを第１の点群として受信するステップと、クライアントからの要求を受信することにに応答して、第１の点群をクライアントに送り、第１の点群を基準点群として記憶するステップと、次いで、３Ｄデータを現在の点群として階層的に受信するステップと、現在の観測視点をクライアントから受信するステップと、現在の観測視点の受信に応答して、基準点群の視点に対する現在の点群の視点内の変化を判定するステップと、基準点群に対する現在の点群の階層的検査を実行して偏差のエリアを識別するステップと、偏差のエリアをクラスタリングするステップと、偏差のクラスタリングされたエリアに対するスコアを計算するステップと、偏差のクラスタリングされたエリアに対する形状対応を判定するステップと、偏差のクラスタリングされたエリアに対する同様の形状の判定に応答して、変換を基準点群に適用するステップと、変換およびクラスタリングされたエリアの表示をクライアントに送るステップと、偏差のクラスタリングされたエリアに対する同様の形状を判定しないことに応答して、基準点群へ点を追加または基準点群から点を除去するステップと、追加または除去された点をクライアントに送るステップとを含み得る。
【0183】
いくつかの実施形態によれば、３Ｄデータをクライアントに提供する別の方法は、３Ｄデータを第１の点群として受信するステップと、クライアントからの要求の受信に応答して、第１の点群をクライアントに送り、第１の点群を基準点群として記憶するステップと、点群データをクライアントにストリーミングするためのプロセスを開始するステップであって、プロセスが、終了する要求が受信されるまで新しい群点に対して反復的に実行され、プロセスが、３Ｄデータを現在の点群として受信するステップと、基準点群に対する現在の点群の階層的検査を実行して、偏差のエリアを識別するステップと、偏差のエリアをクラスタリングするステップと、偏差のクラスタリングされたエリアに対するスコアを計算するステップと、偏差のクラスタリングされたエリアの形状を近似する変換を判定するステップと、変換の判定に応答して、変換を基準点群に適用するステップと、変換およびクラスタリングされたエリアの表示をクライアントに送るステップと、変換を判定しないことに応答して、基準点群へ点を追加または基準点群から点を除去するステップと、を含む、開始するステップと、追加または除去された点をクライアントに送るステップとを含み得る。
【0184】
いくつかの実施形態では、３Ｄデータを受信するステップは、データをセンサーから受信するステップまたはプリキャプチャされた動的点群シーケンスを記憶媒体から受信するステップを含み得る。いくつかの実施形態では、センサーデータは、ＲＧＢ－Ｄキャプチャされたデータ、ＬＩＤＡＲキャプチャされたデータ、または何らかの他のタイプであってよい。第１の点群をクライアントに送るステップは、いくつかの実施形態では、放射画像データをクライアントに送るステップを含み得る。いくつかの実施形態では、スコアは、エリアのサイズ、偏差の量、および現在の視点からの偏差エリアの距離の加重和に基づいて計算され得る。加えて、いくつかの実施形態では、これらの方法の各々は、追加のクラスタを処理するための時間が処理バジェット内に残っているかどうかを判定するステップと、時間が残っている場合、追加のクラスタを処理するステップとをさらに含み得る。いくつかの実施形態では、この方法は、点群更新のための時間および帯域幅制限を設定するための処理バジェットをサーバとクライアントとの間で折衝するステップをさらに含み得る。
【0185】
システムは、プロセッサ、および命令を記憶した非一時的コンピュータ可読媒体を使用する方法を実行することができ、命令は、プロセッサによって実行されるとき、開示された方法のうちのいずれかを実行するように動作する。いくつかの実施形態では、このシステムは、３Ｄセンサーも含み得る。
【0186】
説明された実施形態の１つまたは複数の様々なハードウェア要素は、それぞれのモジュールに関して本明細書において説明された様々な機能を実行する（ｃａｒｒｙ ｏｕｔ）（すなわち、実行する（ｐｅｒｆｏｒｍ）、実行する（ｅｘｅｃｕｔｅ）など）「モジュール」と呼ばれることに留意されたい。本明細書において使用される場合、モジュールは、所与の実装に対する関連技術分野の当業者によって好適と見なされるハードウェア（たとえば、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコントローラ、１つまたは複数のマイクロチップ、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つまたは複数のメモリデバイス）を含む。各説明されたモジュールは、それぞれのモジュールによって実行されているとして説明された１つまたは複数の機能を実行するように実行可能な命令も含んでよく、それらの命令は、ハードウェア（すなわち、ハードワイヤード）命令、ファームウェア命令、ソフトウェア命令などの形態であってよいか、またはそれらを含んでよく、一般に、ＲＡＭ、ＲＯＭなどと呼ばれるものなど、１つまたは複数の任意の好適な非一時的コンピュータ可読媒体内に記憶されてよいことに留意されよう。
【0187】
特徴および要素は上記で特定の組合せで説明されているが、各特徴または要素は、単独で、または他の特徴および要素との任意の組合せで使用され得ることを当業者は諒解されよう。加えて、本明細書において説明された方法は、コンピュータまたはプロセッサによって実行するためのコンピュータ可読媒体内に組み込まれた、コンピュータプログラム、ソフトウェア、またはファームウェアの中で実装され得る。コンピュータ可読記憶媒体の例は、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、およびＣＤ－ＲＯＭなどの光媒体、およびデジタル多用途ディスク（ＤＶＤ）を含むが、これらに限定されない。ソフトウェアに関連するプロセッサは、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータ内で使用するための無線周波数トランシーバを実装するために使用され得る。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】