特開2023-18033仮想、拡張、および複合現実システムのための深度感知技法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023018033
(43)【公開日】2023-02-07
(54)【発明の名称】仮想、拡張、および複合現実システムのための深度感知技法
(51)【国際特許分類】
G01S 17/89 20200101AFI20230131BHJP
G01C 3/06 20060101ALI20230131BHJP
G06F 3/01 20060101ALI20230131BHJP
【ＦＩ】
G01S17/89
G01C3/06 120Q
G06F3/01 510
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022184776
(22)【出願日】2022-11-18
(62)【分割の表示】P 2019548327の分割
【原出願日】2018-03-19
(31)【優先権主張番号】62/474,503
(32)【優先日】2017-03-21
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ブライアン キース スミス
(72)【発明者】
【氏名】クン キョン シー
(72)【発明者】
【氏名】グレゴリー マイケル リンク
(57)【要約】
【課題】仮想、拡張、および複合現実システムのための深度感知技法の提供。
【解決手段】少なくとも２つの動作モードを有するセンサを動作させるためのシステムおよび方法。センサは、第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを具備し得る。センサは、第１の動作モードと第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップも具備し得る。センサは、センサに少なくとも共通動作ステップを実行させることによって、第１の動作モードで動作させられることができ、センサに共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、第２の動作モードで動作させられることができる。
【選択図】なし
【解決手段】少なくとも２つの動作モードを有するセンサを動作させるためのシステムおよび方法。センサは、第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを具備し得る。センサは、第１の動作モードと第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップも具備し得る。センサは、センサに少なくとも共通動作ステップを実行させることによって、第１の動作モードで動作させられることができ、センサに共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、第２の動作モードで動作させられることができる。
【選択図】なし
【特許請求の範囲】
【請求項1】
仮想、拡張、および複合現実システムのための深度感知技法、等。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の引用）
本願に関し提出された出願データシートに識別される外国および国内優先権に対する任意およびすべての出願は、規則３７ＣＦＲ１．５７のもと、参照により本明細書に引用される。すなわち、本願は、米国仮特許出願第６２／４７４，５０３号（２０１７年３月２１日出願、名称「ＤＥＰＴＨ ＳＥＮＳＩＮＧ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＶＩＲＴＵＡＬ，ＡＵＧＭＥＮＴＥＤ，ＡＮＤ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ」）に対する優先権を主張し、上記出願は、その全体が参照により本明細書に引用される。
（分野）
本願に関し提出された出願データシートに識別される外国および国内優先権に対する任意およびすべての出願は、規則３７ＣＦＲ１．５７のもと、参照により本明細書に引用される。すなわち、本願は、米国仮特許出願第６２／４７４，５０３号（２０１７年３月２１日出願、名称「ＤＥＰＴＨ ＳＥＮＳＩＮＧ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＶＩＲＴＵＡＬ，ＡＵＧＭＥＮＴＥＤ，ＡＮＤ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ」）に対する優先権を主張し、上記出願は、その全体が参照により本明細書に引用される。
（分野）
【0002】
本開示は、仮想現実、拡張現実、および複合現実の結像および可視化システムにおいて使用され得るそれら等の深度センサに関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、仮想現実、拡張現実、および複合現実システムの開発を促進している。仮想現実または「ＶＲ」システムは、ユーザが体験するための模擬環境を作成する。これは、頭部搭載型ディスプレイを通してコンピュータ生成画像をユーザに提示することによって、行われることができる。この画像は、模擬環境にユーザを没頭させる感覚的体験を生成する。仮想現実シナリオは、典型的には、コンピュータ生成画像の提示だけではなく、実世界画像を含むことも伴う。
【0004】
拡張現実システムは、概して、実世界環境を模擬要素で補完する。例えば、拡張現実または「ＡＲ」システムは、頭部搭載型ディスプレイを介して、周辺の実世界環境の光景をユーザに提供し得る。しかしながら、コンピュータ生成画像も、実世界環境を強化するためにディスプレイ上に提示されることができる。このコンピュータ生成画像は、実世界環境に状況的に関連する要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。複合現実または「ＭＲ」システムは、あるタイプのＡＲシステムであり、これも、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、より多くの相互作用度を特徴とする。模擬要素は、多くの場合、リアルタイムで双方向性であり得る。
【0005】
図１は、例示的ＡＲ／ＭＲ場面１を描写し、ユーザは、人々、木々、背景における建物、コンクリートプラットフォーム２０を特徴とする実世界公園状設定６を見ている。これらのアイテムに加え、コンピュータ生成画像も、ユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム２０上に立っているロボット像１０、およびマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ２が、実際には実世界環境に存在していなくても、これらの要素２、１０を含むことができる。
【発明の概要】
【課題を解決するための手段】
【0006】
いくつかの実施形態では、少なくとも２つの動作モードを有するセンサを動作させる方法は、センサに、第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第１の動作モードと第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第１の動作モードで動作させることと、センサに共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、センサを第２の動作モードで動作させることとを含む。
【0007】
いくつかの実施形態では、センサは、深度センサであり得る。第１の動作モードは、第１のフレームレートを伴う深度感知モードを含み得、第２の動作モードは、第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードであり得る。例えば、ダミー動作ステップのうちの１つ以上のものは、遅延を含み得る。
【0008】
いくつかの実施形態では、少なくとも２つの動作モードを有するセンサを動作させるためのシステムは、センサに、第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第１の動作モードと第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第１の動作モードで動作させることと、センサに共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、センサを第２の動作モードで動作させることとを含む方法を実行するように構成されたプロセッサを備えている。
本発明は、例えば、以下を提供する。
（項目１）
センサを動作させる方法であって、前記方法は、
第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第１の動作モードと前記第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第１の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、前記センサを前記第２の動作モードで動作させることと
を含む、方法。
（項目２）
前記第１の動作モードは、少なくとも前記共通動作ステップを第１のレートで実行することを含み、前記第２の動作モードは、前記共通動作ステップと少なくとも１つのダミー動作ステップとを前記第１のレートより低速である第２のレートで実施することを含む、項目１に記載の方法。
（項目３）
前記１つ以上のダミー動作ステップのうちの少なくとも１つは、遅延を含む、項目２に記載の方法。
（項目４）
前記一連の共通動作ステップと前記１つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目１に記載の方法。
（項目５）
前記センサを前記第１の動作モードと第２の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目４に記載の方法。
（項目６）
前記センサは、深度センサを備えている、項目１に記載の方法。
（項目７）
前記深度センサは、飛行時間カメラを備えている、項目６に記載の方法。
（項目８）
前記第１の動作モードは、第１のフレームレートを伴う深度感知モードを含み、前記第２の動作モードは、前記第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードを含む、項目６に記載の方法。
（項目９）
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目６に記載の方法。
（項目１０）
センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第１の動作モードと前記第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第１の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、前記センサを前記第２の動作モードで動作させることと
を含む、システム。
（項目１１）
前記第１の動作モードは、少なくとも前記共通動作ステップを第１のレートで実行することを含み、前記第２の動作モードは、前記共通動作ステップと少なくとも１つのダミー動作ステップとを前記第１のレートより低速である第２のレートで実施することを含む、項目１０に記載のシステム。
（項目１２）
前記１つ以上のダミー動作ステップのうちの少なくとも１つは、遅延を含む、項目１１に記載のシステム。
（項目１３）
前記一連の共通動作ステップと前記１つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目１０に記載のシステム。
（項目１４）
前記センサを前記第１の動作モードと第２の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目１３に記載のシステム。
（項目１５）
前記センサは、深度センサを備えている、項目１０に記載のシステム。
（項目１６）
前記深度センサは、飛行時間カメラを備えている、項目１５に記載のシステム。
（項目１７）
前記第１の動作モードは、第１のフレームレートを伴う深度感知モードを含み、前記第２の動作モードは、前記第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードを含む、項目１５に記載のシステム。
（項目１８）
前記システムは、仮想現実、拡張現実、または複合現実ディスプレイシステム内に統合されている、項目１５に記載のシステム。
（項目１９）
前記プロセッサは、状態機械を備えている、項目１０に記載のシステム。
（項目２０）
前記センサを前記第１のモードまたは前記第２のモードで動作させるための要求を受信するためのアービタをさらに備え、前記アービタは、前記要求をスケジューリングおよび優先順位付けするように構成されている、項目１０に記載のシステム。
（項目２１）
前記センサをさらに備えている、項目１０に記載のシステム。
（項目２２）
深度センサを動作させる方法であって、前記方法は、
第１のタイプの深度測定のための第１の要求を受信することと、
第２のタイプの深度測定のための第２の要求を受信することと、
第１の優先順位を前記第１の要求に割り当てることと、
第２の優先順位を前記第２の要求に割り当てることと、
前記第１の優先順位が前記第２の優先順位より高い場合、前記第１のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第２の優先順位が前記第１の優先順位より高い場合、前記第２のタイプの深度測定を前記深度センサに最初に取得させることと
を含む、方法。
（項目２３）
前記第１の優先順位は、前記第１のタイプの深度測定を要求する第１のアプリケーションの優先順位に基づいて割り当てられ、前記第２の優先順位は、前記第２のタイプの深度測定を要求する第２のアプリケーションの優先順位に基づいて割り当てられる、項目２２に記載の方法。
（項目２４）
深度センサを動作させるためのシステムであって、前記システムは、
第１のタイプの深度測定のための第１の要求と、第２のタイプの深度測定のための第２の要求とを受信するように構成されたアービタであって、前記アービタは、第１の優先順位を前記第１の要求に割り当て、第２の優先順位を前記第２の要求に割り当てるように構成されている、アービタと、
プロセッサと
を備え、
前記プロセッサは、前記第１の優先順位が前記第２の優先順位より高い場合、前記第１のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第２の優先順位が前記第１の優先順位より高い場合、前記第２のタイプの深度測定を前記深度センサに最初に取得させることを行うように構成されている、システム。
（項目２５）
前記アービタは、前記第１のタイプの深度測定を要求する第１のアプリケーションの優先順位に基づいて、前記第１の優先順位を割り当て、前記第２のタイプの深度測定を要求する第２のアプリケーションの優先順位に基づいて、前記第２の優先順位を割り当てるように構成されている、項目２４に記載のシステム。
（項目２６）
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目２４に記載のシステム。
（項目２７）
深度センサを動作させる方法であって、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、
第１の深度感知動作モードを定義する第１の一連の動作ステップを前記深度センサのメモリに記憶することと、
第２の深度感知動作モードを定義する第２の一連の動作ステップを前記深度センサのメモリに記憶することと
を含む、ことと、
前記第１の深度感知動作モードに従った深度測定のための第１の要求を受信することと、
前記第１の要求に応答して、前記深度センサに前記第１の一連の動作ステップを実行させることによって、前記深度センサを前記第１の動作モードで動作させることと、
前記第２の深度感知動作モードに従った深度測定のための第２の要求を受信することと、
前記第２の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第２の一連の動作ステップを実行させることによって、前記深度センサを前記第２の動作モードで動作させることと
を含む、方法。
（項目２８）
前記深度センサは、飛行時間カメラを備えている、項目２７に記載の方法。
（項目２９）
前記第１の深度感知動作モードは、第１の測定距離範囲に対応し、前記第２の深度感知動作モードは、前記第１の測定距離範囲と異なる第２の測定距離範囲に対応する、項目２７に記載の方法。
（項目３０）
前記第１の深度感知動作モードは、第１のフレームレートに対応し、前記第２の深度感知動作モードは、前記第１のフレームレートより低速である第２のフレームレートに対応する、項目２７に記載の方法。
（項目３１）
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目２７に記載の方法。
（項目３２）
深度センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、第１の深度感知動作モードを定義する第１の一連の動作ステップを前記深度センサのメモリに記憶することと、第２の深度感知動作モードを定義する第２の一連の動作ステップを前記深度センサのメモリに記憶することとを含む、ことと、
前記第１の深度感知動作モードに従った深度測定のための第１の要求を受信することと、
前記第１の要求に応答して、前記深度センサに前記第１の一連の動作ステップを実行させることによって、前記深度センサを前記第１の動作モードで動作させることと、
前記第２の深度感知動作モードに従った深度測定のための第２の要求を受信することと、
前記第２の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第２の一連の動作ステップを実行させることによって、前記深度センサを前記第２の動作モードで動作させることと
を含む、システム。
（項目３３）
前記深度センサは、飛行時間カメラを備えている、項目３２に記載のシステム。
（項目３４）
前記第１の深度感知動作モードは、第１の測定距離範囲に対応し、前記第２の深度感知動作モードは、前記第１の測定距離範囲と異なる第２の測定距離範囲に対応する、項目３２に記載のシステム。
（項目３５）
前記第１の深度感知動作モードは、第１のフレームレートに対応し、前記第２の深度感知動作モードは、前記第１のフレームレートより低速である第２のフレームレートに対応する、項目３２に記載のシステム。
（項目３６）
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目３２に記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
センサを動作させる方法であって、前記方法は、
第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第１の動作モードと前記第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第１の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、前記センサを前記第２の動作モードで動作させることと
を含む、方法。
（項目２）
前記第１の動作モードは、少なくとも前記共通動作ステップを第１のレートで実行することを含み、前記第２の動作モードは、前記共通動作ステップと少なくとも１つのダミー動作ステップとを前記第１のレートより低速である第２のレートで実施することを含む、項目１に記載の方法。
（項目３）
前記１つ以上のダミー動作ステップのうちの少なくとも１つは、遅延を含む、項目２に記載の方法。
（項目４）
前記一連の共通動作ステップと前記１つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目１に記載の方法。
（項目５）
前記センサを前記第１の動作モードと第２の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目４に記載の方法。
（項目６）
前記センサは、深度センサを備えている、項目１に記載の方法。
（項目７）
前記深度センサは、飛行時間カメラを備えている、項目６に記載の方法。
（項目８）
前記第１の動作モードは、第１のフレームレートを伴う深度感知モードを含み、前記第２の動作モードは、前記第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードを含む、項目６に記載の方法。
（項目９）
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目６に記載の方法。
（項目１０）
センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第１の動作モードと前記第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第１の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、前記センサを前記第２の動作モードで動作させることと
を含む、システム。
（項目１１）
前記第１の動作モードは、少なくとも前記共通動作ステップを第１のレートで実行することを含み、前記第２の動作モードは、前記共通動作ステップと少なくとも１つのダミー動作ステップとを前記第１のレートより低速である第２のレートで実施することを含む、項目１０に記載のシステム。
（項目１２）
前記１つ以上のダミー動作ステップのうちの少なくとも１つは、遅延を含む、項目１１に記載のシステム。
（項目１３）
前記一連の共通動作ステップと前記１つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目１０に記載のシステム。
（項目１４）
前記センサを前記第１の動作モードと第２の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目１３に記載のシステム。
（項目１５）
前記センサは、深度センサを備えている、項目１０に記載のシステム。
（項目１６）
前記深度センサは、飛行時間カメラを備えている、項目１５に記載のシステム。
（項目１７）
前記第１の動作モードは、第１のフレームレートを伴う深度感知モードを含み、前記第２の動作モードは、前記第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードを含む、項目１５に記載のシステム。
（項目１８）
前記システムは、仮想現実、拡張現実、または複合現実ディスプレイシステム内に統合されている、項目１５に記載のシステム。
（項目１９）
前記プロセッサは、状態機械を備えている、項目１０に記載のシステム。
（項目２０）
前記センサを前記第１のモードまたは前記第２のモードで動作させるための要求を受信するためのアービタをさらに備え、前記アービタは、前記要求をスケジューリングおよび優先順位付けするように構成されている、項目１０に記載のシステム。
（項目２１）
前記センサをさらに備えている、項目１０に記載のシステム。
（項目２２）
深度センサを動作させる方法であって、前記方法は、
第１のタイプの深度測定のための第１の要求を受信することと、
第２のタイプの深度測定のための第２の要求を受信することと、
第１の優先順位を前記第１の要求に割り当てることと、
第２の優先順位を前記第２の要求に割り当てることと、
前記第１の優先順位が前記第２の優先順位より高い場合、前記第１のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第２の優先順位が前記第１の優先順位より高い場合、前記第２のタイプの深度測定を前記深度センサに最初に取得させることと
を含む、方法。
（項目２３）
前記第１の優先順位は、前記第１のタイプの深度測定を要求する第１のアプリケーションの優先順位に基づいて割り当てられ、前記第２の優先順位は、前記第２のタイプの深度測定を要求する第２のアプリケーションの優先順位に基づいて割り当てられる、項目２２に記載の方法。
（項目２４）
深度センサを動作させるためのシステムであって、前記システムは、
第１のタイプの深度測定のための第１の要求と、第２のタイプの深度測定のための第２の要求とを受信するように構成されたアービタであって、前記アービタは、第１の優先順位を前記第１の要求に割り当て、第２の優先順位を前記第２の要求に割り当てるように構成されている、アービタと、
プロセッサと
を備え、
前記プロセッサは、前記第１の優先順位が前記第２の優先順位より高い場合、前記第１のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第２の優先順位が前記第１の優先順位より高い場合、前記第２のタイプの深度測定を前記深度センサに最初に取得させることを行うように構成されている、システム。
（項目２５）
前記アービタは、前記第１のタイプの深度測定を要求する第１のアプリケーションの優先順位に基づいて、前記第１の優先順位を割り当て、前記第２のタイプの深度測定を要求する第２のアプリケーションの優先順位に基づいて、前記第２の優先順位を割り当てるように構成されている、項目２４に記載のシステム。
（項目２６）
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目２４に記載のシステム。
（項目２７）
深度センサを動作させる方法であって、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、
第１の深度感知動作モードを定義する第１の一連の動作ステップを前記深度センサのメモリに記憶することと、
第２の深度感知動作モードを定義する第２の一連の動作ステップを前記深度センサのメモリに記憶することと
を含む、ことと、
前記第１の深度感知動作モードに従った深度測定のための第１の要求を受信することと、
前記第１の要求に応答して、前記深度センサに前記第１の一連の動作ステップを実行させることによって、前記深度センサを前記第１の動作モードで動作させることと、
前記第２の深度感知動作モードに従った深度測定のための第２の要求を受信することと、
前記第２の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第２の一連の動作ステップを実行させることによって、前記深度センサを前記第２の動作モードで動作させることと
を含む、方法。
（項目２８）
前記深度センサは、飛行時間カメラを備えている、項目２７に記載の方法。
（項目２９）
前記第１の深度感知動作モードは、第１の測定距離範囲に対応し、前記第２の深度感知動作モードは、前記第１の測定距離範囲と異なる第２の測定距離範囲に対応する、項目２７に記載の方法。
（項目３０）
前記第１の深度感知動作モードは、第１のフレームレートに対応し、前記第２の深度感知動作モードは、前記第１のフレームレートより低速である第２のフレームレートに対応する、項目２７に記載の方法。
（項目３１）
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目２７に記載の方法。
（項目３２）
深度センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、第１の深度感知動作モードを定義する第１の一連の動作ステップを前記深度センサのメモリに記憶することと、第２の深度感知動作モードを定義する第２の一連の動作ステップを前記深度センサのメモリに記憶することとを含む、ことと、
前記第１の深度感知動作モードに従った深度測定のための第１の要求を受信することと、
前記第１の要求に応答して、前記深度センサに前記第１の一連の動作ステップを実行させることによって、前記深度センサを前記第１の動作モードで動作させることと、
前記第２の深度感知動作モードに従った深度測定のための第２の要求を受信することと、
前記第２の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第２の一連の動作ステップを実行させることによって、前記深度センサを前記第２の動作モードで動作させることと
を含む、システム。
（項目３３）
前記深度センサは、飛行時間カメラを備えている、項目３２に記載のシステム。
（項目３４）
前記第１の深度感知動作モードは、第１の測定距離範囲に対応し、前記第２の深度感知動作モードは、前記第１の測定距離範囲と異なる第２の測定距離範囲に対応する、項目３２に記載のシステム。
（項目３５）
前記第１の深度感知動作モードは、第１のフレームレートに対応し、前記第２の深度感知動作モードは、前記第１のフレームレートより低速である第２のフレームレートに対応する、項目３２に記載のシステム。
（項目３６）
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目３２に記載のシステム。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【発明を実施するための形態】
【0018】
仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）システムは、コンピュータ生成画像をユーザに提示するディスプレイを含むことができる。いくつかの実施形態では、ディスプレイシステムは、装着可能であり、それは、有利なこととして、より没入型のＶＲ／ＡＲ／ＭＲ体験を提供し得る。ディスプレイを介して提供されるコンピュータ生成画像は、３次元である印象を作成することができる。これは、例えば、立体視画像をユーザに提示することによって、行われることができる。
【0019】
図２は、ウェアラブルＶＲ／ＡＲ／ＭＲディスプレイシステム８０の例を図示する。ＶＲ／ＡＲ／ＭＲディスプレイシステム８０は、ディスプレイ６２と、ディスプレイ６２の機能をサポートするための種々の機械的および電子的なモジュールおよびシステムとを含む。ディスプレイ６２は、フレーム６４に結合され得、それは、ウェアラブルユーザ６０によって装着可能であり、ディスプレイ６２をユーザ６０の眼の正面に位置付ける。スピーカ６６が、フレーム６４に結合され、ユーザの外耳道に隣接して位置付けられることができる。示されていない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供することができる。ディスプレイ６２は、有線または無線接続性６８によって等、フレーム６４に固定して取り付けられる構成、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる構成、ヘッドホンに内蔵される構成、または別様にユーザ６０に除去可能に取り付けられる構成（例えば、リュック式構成において、ベルト結合式構成において等）等、種々の構成において搭載され得るローカルデータ処理モジュール７０に動作可能に結合される。
【0020】
ローカル処理およびデータモジュール７０は、プロセッサと、不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリとを含み得、それらの両方は、データの処理および記憶を支援するために利用され得る。これは、画像捕捉デバイス（例えば、カメラ）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のセンサから捕捉されたデータを含む。センサは、フレーム６４に動作可能に結合され得るか、または別様にユーザ６０に取り付けられ得る。センサは、フレーム６４に動作可能に結合されるか、または別様にユーザに６０に取り付けられ得る。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、完全に自律的使用を可能にする。代替として、または加えて、センサデータは、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して取得および／または処理され得る。ローカル処理およびデータモジュール７０は、これらの遠隔モジュール（７２、７４）が互いに動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク（７６、７８）によって、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合され得る。いくつかの実施形態では、遠隔処理モジュール７２は、データ（例えば、センサデータおよび／または画像情報）を分析および処理するように構成される１つ以上のプロセッサを含み得る。遠隔データリポジトリ７４は、デジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。
【0021】
ＶＲ／ＡＲ／ＭＲシステム８０は、深度センサ１００も含むことができる。深度センサ１００は、ユーザの周囲の測定を行い、それらの周囲内に存在する種々のオブジェクトおよび特徴までの距離についての情報を決定する。ＶＲ／ＡＲ／ＭＲアプリケーションは、短距離深度情報（例えば、０～２メートル）、長距離深度情報（例えば、２～４メートルおよびそれを上回る）、および高ダイナミックレンジ（ＨＤＲ）深度情報を含む種々のタイプの深度情報を利用することができる。深度センサ１００によって提供される深度情報は、ユーザがＶＲ／ＡＲ／ＭＲシステムと相互作用することを可能にし、および／または、システムが仮想画像をユーザの実世界環境の中に投影することを可能にするために使用されることができる。
【0022】
ＶＲ／ＡＲ／ＭＲシステムにおける長距離深度感知の１つのアプリケーションは、深度情報を使用して、ユーザの環境をモデル化する。例えば、深度センサ１００は、部屋内の壁およびオブジェクトまでの距離を決定するために使用されることができる。結果として生じる深度情報は、部屋およびそのコンテンツの３Ｄモデルを作成するために使用されることができる。ＡＲ／ＭＲシステムでは、特に、これは、システムが現実的および双方向方法において仮想画像を部屋の中に投影することを可能にすることができる。ＶＲ／ＡＲ／ＭＲシステムにおける短距離深度感知の例示的アプリケーションは、ジェスチャ認識である。例えば、ＶＲ／ＡＲ／ＭＲシステム８０は、ジェスチャ認識を促進するように、深度感知を使用して、ユーザの手の移動を追跡することができる。ＶＲ／ＡＲ／ＭＲシステム８０は、次いで、ユーザのジェスチャに応答して、あるアクションを実施することができる。
【0023】
深度情報が、ＶＲ／ＡＲ／ＭＲシステム８０によって使用され、ユーザに、双方向没入型体験を提供することができることを所与として、深度センサ１００が、深度情報を比較的に迅速および効率的に収集することが有利である。なぜなら、これが、ＶＲ／ＡＲ／ＭＲシステム８０がより応答性であることを可能にするからである。これは、ＡＲ／ＭＲアプリケーションがユーザを包囲する実世界コンテンツとシステム８０によってユーザの環境の中に投影される仮想コンテンツとの間の不連続性に非常に敏感であり得るので、特に、ＡＲ／ＭＲアプリケーションに当てはまり得る。本開示は、したがって、種々の深度感知情報が収集され得る効率および／または速度を増加させ得る改良された技法を説明する。
【0024】
背景として、１つのタイプの深度センサは、３Ｄ飛行時間（ＴＯＦ）カメラである。概して、３Ｄ ＴＯＦカメラは、光源を使用して、場面を照明する。ＴＯＦカメラは、次いで、場面内の種々の点／オブジェクト／特徴までの距離についての情報を決定するために、場面から反射する光を観察および処理する。いくつかのＴＯＦカメラは、赤外線光のパルスを場面内の１つ以上の点に向かって放出し、次いで、光が場面から反射されるまでの経過時間を測定することによって、深度測定を実施する。光の速度の知識と組み合わせられた経過時間に基づいて、カメラは、次いで、光が進行した距離を決定することができる。加えて、いくつかのＴＯＦカメラは、変調された光信号（例えば、正方形または正弦波）を放出し、次いで、照明光信号と反射光信号との間の位相シフトを測定することによって、深度測定を実施することができる。これらの位相シフト測定値は、次いで、距離測定値に変換される。
【0025】
大部分の深度感知ＴＯＦカメラでは、照明は、ヒトの眼に不可視である、近赤外線範囲（例えば、約８５０ｎｍ）で動作する固体レーザまたは発光ダイオード（ＬＥＤ）から生じる。典型的には、光源から場面の中への照明は、比較的に均一であるように設計される。照明光と同一スペクトルに応答するように設計された結像センサが、場面から反射された光を受け取り、光を電気信号に変換する。いくつかの実施形態では、結像センサは、例えば、２２４×１７２ピクセルの分解能を有するＣＣＤまたはＣＭＯＳセンサであることができるが、より大きいまたはより小さい分解能を伴う結像センサも、使用されることができる。各ピクセルは、像面内の点に位置し、それは、ＴＯＦカメラの視野内のオブジェクト空間または場面内の別個の点に対応する。したがって、結像センサの各ピクセルにおいて収集された情報は、その特定のピクセルに対応する場面内の点までの距離を決定するために使用されることができる。
【0026】
結像センサの各ピクセルによって受け取られた光は、周囲成分と、反射成分とを有する。深度情報は、反射成分のみに組み込まれている。これらの２つの成分間で区別するために、ＴＯＦカメラは、場面を赤外線光で能動的に照明する直前または直後、周囲赤外線光の画像を捕捉し得る。周囲赤外線光のこの画像は、強度サブフレーム画像と称され得る。強度サブフレーム画像を場面を能動的に照明する間に収集された他のサブフレーム画像から減算または別様に除去することによって、深度センサ１００は、赤外線光の反射成分を場面内の背景雑音から区別することができる。
【0027】
照明成分と反射成分との間の位相シフトの検出を可能にするために、光源からの信号が、変調されることができる。例えば、方形波変調信号が、使用されることができる。画像センサは、次いで、反射された光を変調信号に対する異なる位相シフトに対応する複数の異なる時間に検出する。異なる位相シフトは、例えば、角度１、角度２、角度３、および角度４であり得、角度２＝角度１＋Δ、角度３＝角度１＋２Δ、および角度４＝角度１＋３Δであり、角度１およびΔは、所定の角度である。例えば、角度１は、０°であり得、Δは、９０°であり得、それによって、カメラは、変調信号に対して０°、９０°、１８０°、および２７０°位相シフトされた期間中に各ピクセルにおいて受け取られた反射された光を検出し得る。これらの測定の各々は、カメラセンサによって捕捉された別個の位相サブフレーム画像をもたらし得る。センサピクセルの各々に対応する、場面内の点までの距離は、次いで、当技術分野において公知の数学的方程式を使用して、４つの位相サブフレームから計算されることができる。したがって深度情報の各完全フレーム（それから深度測定の組（ピクセルあたり１回）が決定され得る）は、画像データのいくつかのサブフレームから成る。
【0028】
変調された照明信号は、周期的であり、したがって、位相シフトの３６０°毎に、自動的に繰り返し現れる。したがって、いくつかのＴＯＦカメラが、変調された照明信号に対する反射された光の位相シフトに基づいて、深度を測定するという事実は、測定された距離がエイリアシング効果を被るであろうことを意味する。これらのエイリアシング効果は、測定された距離における曖昧性をもたらし得る。エイリアシングが生じる距離（すなわち、曖昧性距離）は、ＴＯＦカメラが測定し得る最大の曖昧性のない距離でもある。最大測定可能距離は、照明光の変調周波数を低減させることによって拡張されることができるが、それは、低減された深度測定分解能を犠牲にして生じ得る。深度測定分解能を損なわせることなく、深度曖昧性を解決するために、ＴＯＦカメラは、異なる周波数（例えば、Ｆｍｏｄ０およびＦｍｏｄ１）を有する２つ以上の別個の変調信号を使用して、照明光を変調することができる。深度測定は、複数の変調周波数の各々に対する反射された光の位相シフトを測定することによって実施される。各変調周波数は、異なるので、各々は、異なる曖昧性距離を有するであろう。場面内の所与の点までの実際の距離は、異なる変調周波数を使用して行われた測定が一致する距離である。
【0029】
ＴＯＦカメラでは、距離は、カメラセンサ内のピクセル毎に測定されることができる。これは、カメラの視野内の場面の深度マップをもたらす。深度マップは、３次元空間内の点の集合、すなわち、ボクセルであり、各ボクセルは、対応するセンサピクセルによって測定された距離に位置する。深度マップは、点の集合、すなわち、点群として、３次元空間内にレンダリングされることができる。３Ｄ点は、数学的に接続され、メッシュを形成することができる。メッシュは、場面をモデル化すること、オブジェクトを検出すること等のために使用されることができる。加えて、仮想コンテンツは、ＶＲ／ＡＲ／ＭＲシステムによって、メッシュ上にマッピングされ、ユーザの実在の周囲と相互作用する、実物のような３Ｄ仮想コンテンツを提供することができる。
【0030】
種々のタイプの深度測定が、ＶＲ／ＡＲ／ＭＲシステム８０における異なる目的のために有利であり得る。例えば、近距離低フレームレート深度測定は、ユーザの手が深度センサ１００の視野内に存在するとき、検出のために十分であり得る。ユーザの手が深度センサの視野内に存在するという事実が検出されると、近距離高フレームレート深度測定が、ユーザの手の移動を追跡し、それによって、行われている具体的ジェスチャを検出するためにより有用であり得る。一方、低いまたは高フレームレートにおける長距離深度測定は、ユーザの環境をマッピングするために有用であり得る。加えて、近距離から長距離までの高ダイナミックレンジ（ＨＤＲ）深度測定も、有益であり得る。
【0031】
多くの異なるタイプの深度測定が、ＶＲ／ＡＲ／ＭＲシステム８０において有用であり得ることを所与として、深度センサ１００は、これらの異なるタイプの深度測定の各々を収集するための複数の動作モードを含むことができる。各モードは、例えば、深度センサ１００によって実施されるべき一連の動作から成り得る。モードに応じて、これらの動作の各々は、露光時間、照明光光度、照明変調周波数等の異なる設定またはパラメータを伴うことができる。以下の表は、いくつかの深度感知モードのための例示的動作一連および構成設定を図示する。
【0032】
表１は、短距離高フレームレート深度感知モードのための例示的一連の動作を図示する。いくつかの実施形態では、この動作モードは、約２０Ｈｚを上回るフレームレートを用いて、約２メートル未満（変調周波数および露光時間に応じて）の範囲における深度を感知するために使用される。この特定の実施形態では、フレームレートは、４５Ｈｚであり、それは、深度情報の１つの完全フレームが２２．２２ｍｓ（１／４５ｓ）毎に捕捉されることを意味する。この場合、深度情報の各完全フレームは、強度サブフレーム（照明源がオフにされている間の周囲赤外線光を測定するため）および４つの位相サブフレーム（照明源が変調されている間に捕捉される）に基づく。
【表1】
【0033】
短距離高フレームレート深度感知モードのための例示的一連の動作は、ステップ０から開始し、それは、強度サブフレームを取得する。次いで、ステップ１－４中、４つの位相サブフレームが、捕捉される。短距離測定のために、これらのサブフレームの各々のための露光時間（すなわち、画像センサが光を捕捉する間の時間）は、典型的には、約０．５ｍｓ未満である。各サブフレームは、捕捉された画像データを画像センサから転送するための関連付けられた読み取り時間を含む。読み取り時間は、典型的には、約１ｍｓ未満である。
【0034】
短距離高フレームレート動作モードは、随意に、動作一連のうちのステップ５として、比較的に短い遅延を含むことができる。この遅延は、例えば、動作一連の２２．２２ｍｓ期間とステップ０－４を完了するために要求される総時間との間の差異と等しくあることができる。言い換えると、ステップ５の随意の短遅延は、動作一連の期間中における、強度サブフレームおよび４つの位相サブフレームを捕捉し、読み取るために要求されない任意の追加の時間を占有することができる。表１は、この特定の深度感知モードのための動作ステップの具体的順序を列挙するが、動作ステップは、代替として、異なる順序において実施され得る。同じことは、本明細書に説明される他の動作モードに関しても当てはまる。
【0035】
表２は、短距離低フレームレート深度感知モードのための例示的一連の動作を図示する。この動作モードは、約２０Ｈｚ未満のフレームレートを用いて、約２メートル未満（変調周波数および露光時間に応じて）の範囲における深度を感知するために使用され得る。この特定の実施形態では、フレームレートは、８Ｈｚであり、それは、深度情報の１つの完全フレームが１２５ｍｓ毎に捕捉されることを意味する。前述の場合と同様に、深度情報の各完全フレームは、強度サブフレームおよび４つの位相サブフレームに基づく。短距離高フレームレートモードは、より良好な時間分解能を伴って深度測定を生産する利点を有するが、短距離低フレームレートモードは、より低い時間分解能が目前のタスクのために適正であるとき、算出上あまり集約的ではなく、それによって、システムが、低電力モードに入り、エネルギーを節約することを可能にすることに起因して、有益であり得る。
【表2】
【0036】
短距離低フレームレートモードのための例示的一連の動作は、ステップ０から開始し、それは、強度サブフレームを取得する。次いで、ステップ１－４中、４つの位相サブフレームが、捕捉される。再び、短距離測定に対して、これらのサブフレームの各々のための露光時間は、典型的には、約０．５ｍｓ未満であり、各サブフレームのための読み取り時間は、典型的には、約１ｍｓ未満である。表２におけるステップ０－４は、表１におけるステップ０－４と同一である。したがって、短距離低フレームレート動作モードおよび短距離高フレームレート動作モードは、これらの５つのステップを共通して有する。
【0037】
しかし、短距離低フレームレート動作モードは、動作一連のうちのステップ５として、比較的に長い遅延を含む。この遅延は、例えば、動作一連の１２５ｍｓ期間とステップ０－４を完了するために要求される総時間との間の差異と等しくあることができる。比較的に長い遅延のステップ５は、動作一連の期間中における、強度サブフレームおよび４つの位相サブフレームを捕捉し、読み取るために要求されない時間を占有する。したがって、表１および２に示される２つの短距離動作モード間の差異は、表２におけるステップ５の比較的に長い遅延と表１におけるステップ５の随意の比較的に短い遅延との間の差異に関連する。
【0038】
表３は、長距離高フレームレート深度感知モードのための例示的一連の動作を図示する。この動作モードは、約２０Ｈｚを上回るフレームレートを用いて、例えば、約２～４メートル（変調周波数および露光時間に応じて）の範囲における深度を感知するために使用されることができる。短距離深度データと同様に、長距離深度情報の各完全フレームは、画像データのいくつかのサブフレームに基づく。再び、照明源がオフである間の周囲赤外線光を測定するための強度サブフレームが、存在する。しかし、長距離深度データの場合、画像データの８つの位相サブフレーム、すなわち、２つの照明変調周波数Ｆｍｏｄ１およびＦｍｏｄ２の各々のために４つの位相サブフレームが存在する。
【表3】
【0039】
長距離高フレームレート深度感知モードのための例示的一連の動作は、ステップ０から開始し、それは、強度サブフレームを取得する。次いで、ステップ１－４中、第１の変調周波数Ｆｍｏｄ１のための４つの位相サブフレームが、捕捉される一方、ステップ５－８中、第２の変調周波数Ｆｍｏｄ２のための４つのサブフレームが、捕捉される。長距離測定に対して、これらのサブフレームの各々のための露光時間（すなわち、画像センサが光を捕捉する間の時間）は、短距離測定より長く、典型的には、２－３ｍｓである。（長距離サブフレームのための他のパラメータまたは設定も、短距離サブフレームと異なり得る。）各サブフレームは、捕捉された画像データを画像センサから転送するための約１ｍｓの関連付けられた読み取り時間も含む。
【0040】
長距離高フレームレート動作モードは、随意に、動作一連のステップ９として、比較的に短い遅延を含むことができる。この遅延は、例えば、動作一連の期間とステップ０－８を完了するために要求される総時間との間の差異と等しくあることができる。言い換えると、ステップ９の随意の短遅延は、動作一連の期間中における、強度サブフレームおよび８つの位相サブフレームを捕捉し、読み取るために要求されない任意の追加の時間を占有することができる。
【0041】
表４は、長距離低フレームレート深度感知モードのための例示的一連の動作を図示する。この動作モードは、約２０Ｈｚ未満のフレームレートを用いて、約２－４メートル（変調周波数および露光時間に応じて）の範囲における深度を感知するために使用されることができる。この特定の実施形態では、フレームレートは、５Ｈｚであり、それは、深度情報の１つの完全フレームが２００ｍｓ毎に捕捉されることを意味する。前述の場合と同様に、深度情報の各完全フレームは、強度サブフレームおよび８つの位相サブフレームに基づく。
【表4】
【0042】
長距離低フレームレートモードのための例示的一連の動作は、ステップ０から開始し、それは、強度サブフレームを取得する。次いで、ステップ１－８中、８つの位相サブフレームが、捕捉される。再び、長距離測定に対して、これらのサブフレームの各々のための露光時間は、典型的には、約２～３ｍｓ未満であり、各サブフレームは、捕捉された画像データを画像センサから転送するための関連付けられた読み取り時間も含む。読み取り時間は、典型的には、約１ｍｓ未満である。表４におけるステップ０－８は、表３におけるステップ０－８と同一である。長距離低フレームレート動作モードおよび長距離高フレームレート動作モードは、したがって、これらの９つのステップを共通して有する。
【0043】
しかし、長距離低フレームレート動作モードは、動作一連のうちのステップ９として、比較的に長い遅延を含む。この遅延は、例えば、動作一連の２００ｍｓ期間とステップ０－９を完了するために要求される総時間との間の差異と等しくあることができる。言い換えると、ステップ９の長遅延は、動作一連の期間において、強度サブフレームおよび８つの位相サブフレームを捕捉し、読み取るために要求されない任意の追加の時間を占有することができる。表３および４に示される２つの動作モード間の差異は、したがって、表４におけるステップ９の比較的に長い遅延と表３におけるステップ９の随意の比較的に短い遅延との間の差異に関する。
【0044】
特定の深度感知モード（例えば、表１－４に示される深度感知モードのいずれか）で動作するために、深度センサ１００は、適切な一連の動作ステップ（および関連付けられた設定）でプログラムされる必要がある。従来の深度センサは、典型的には、プログラミング命令を保持するための複数のメモリビンを有する。各ビンは、例えば、表１－４の動作一連に示される動作のうちの１つを保持することができる。したがって、ＴＯＦカメラを短距離高フレームレート深度感知モード（すなわち、表１に従う）で動作するようにプログラムするために、５つまたは６つのプログラミングビンが、典型的には、要求されるであろう。同様に、短距離低フレームレートモード（すなわち、表２に従う）は、典型的には、６つのプログラミングビンを要求するであろう。一方、長距離高フレームレート動作モード（すなわち、表３に従う）は、典型的には、９または１０のプログラミングビンを要求するであろう一方、長距離低フレームレート動作モード（すなわち、表４に従う）は、典型的には、１０のプログラミングビンを要求するであろう。したがって、従来の方法を使用すると、６＋６＋１０＋１０＝３２のメモリビンが、深度センサ１００をこれらの深度感知モードの全４つで動作することが可能なようにプログラムするために要求され得る。
【0045】
深度センサ１００の各々は、それぞれの動作ステップ（および関連付けられた設定）をセンサのメモリビンの中にロードすることによって、表１－４に図示される深度感知モードならびにその他のいずれかで動作するようにプログラムされることができる。このプログラミングプロセスは、いくつかの実装では、例えば、約１６０ｍｓかかり得るが、特定の実装に応じて、より長いまたはより短い期間がかかり得る。したがって１つのみの動作ステップの組（１つの深度感知モードに対応する）が、一度に、深度センサのメモリビンの中にプログラムされる場合、動作モードを切り替えるように深度センサを再プログラムするために要求され得る、おそらく約１６０ｍｓのコストが存在する。深度センサが、あまり頻繁にモードを変更するように要求されない場合、この時間コストは、容認可能であり得る。しかしながら、ＶＲ／ＡＲ／ＭＲシステム８０では、比較的に頻繁に深度感知モード間で切り替える必要性が存在し得る。深度センサを再プログラムするために要求される時間は、したがって、顕著な遅れをシステムの応答性に導入し得るので、問題となり得る。この問題および他の問題は、本明細書に説明される深度感知技法によって解決される。
【0046】
図３は、例示的深度感知システム３００を図示する。深度感知システム３００は、状態機械３２０と、アービタ３３０と、深度センサ１００自体とを含む。状態機械３２０およびアービタ３３０は、ハードウェア（例えば、汎用プロセッサを含む１つ以上のプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡＳ）、特定用途向け集積回路（ＡＳＩＣ）等）、および／またはソフトウェア（例えば、メモリに記憶されるコンピュータ読み取り可能な命令、非一過性媒体等）として実装されることができる。図３は、いくつかの複合現実（ＭＲ）アプリケーション３１０も示し、それらは、深度感知システム３００と通信する。これらは、ＶＲ／ＡＲ／ＭＲシステム８０上で動作するアプリケーションである。これらのアプリケーション３１０のうちの１つは、例えば、ジェスチャ認識アプリケーションであり得る。別のものは、３－Ｄマッピングアプリケーションであり得る。別のものは、仮想コンテンツ投影アプリケーションであり得る。これらのアプリケーション３１０の各々は、異なる時間に種々の異なるタイプの深度情報の必要性を有し得る。異なるタイプの深度情報が、同じ瞬間、またはほぼ同じ瞬間において、異なるアプリケーション３１０によって必要とされることも稀ではないであろう。したがって、深度感知システム３００は、可能な限り迅速かつ効率的に、深度感知モード間で切り替え、要求される深度情報を取得することが可能であることが有利である。複合現実アプリケーションのみが、図３に図示されるが、仮想現実および拡張現実アプリケーションも、深度感知システム３００と通信し、深度情報を要求および受信することができることに留意されたい。
【0047】
各アプリケーション３１０は、必要に応じて、種々のタイプの深度情報に対して、深度感知システム３００に要求を行うことができる。アービタ３３０は、深度情報に対する要求を受信することと、要求される深度情報を提供するであろう深度感知動作をスケジューリングすることとに関与する。いくつかの実施形態では、アービタ３３０は、より時間制約が厳しいアプリケーションに最初にサービス提供するように、深度測定に対する要求を優先順位付けする。例えば、いくつかの実施形態では、アービタ３３０は、深度感知要求を以下の順序で優先順位付けする（但し、他の優先順位化スキームも、使用されることができる）：１）短距離高フレームレート深度測定、２）高ダイナミックレンジ深度測定（長距離低フレームレート深度測定でインターリーブされた短距離低フレームレート深度測定から成る）、３）短距離低フレームレート深度測定、４）長距離高フレームレート深度測定、５）長距離低フレームレート深度測定、および、６）アイドル状態。
【0048】
いくつかの実施形態では、深度測定要求が優先順位付けされる順序は、要求側アプリケーションの優先順位に基づく。例えば、ＶＲ／ＡＲ／ＭＲシステムは、典型的には、ユーザ手のジェスチャに依拠して、制御入力を提供するので（そのようなシステムは、典型的には、タッチパネル、キーボード、または他の物理的入力デバイスを有していないので）、任意のユーザの手のジェスチャが、最高優先順位に割り当てられ得る。故に、いくつかの実施形態では、最高優先順位モードは、手のジェスチャを追跡するために使用される短距離高フレームレート深度測定であり得る。しかしながら、種々の深度感知モードは、異なる動作需要に適応するために、種々の方法で優先順位を割り当てられることができることを理解されたい。
【0049】
深度情報に対する要求が、アービタ３３０によって、優先順位付けおよびスケジューリングされると、状態機械３２０が、要求される測定を実際に行い、要求されるデータを返すように、深度センサ１００ハードウェアを制御するために使用される。このタスクの一部として、状態機械３２０は、動作ステップ（および関連付けられた設定）を深度センサ１００のメモリビン内に記憶することと、選択された深度感知モードを設定することと、アービタ３３０からの入力に基づいて、そのように行うことを要求されると、深度センサ１００の深度感知モードを切り替えることとを含む種々のタスクを実施し得る。状態機械３２０の動作は、図４および５に関してより詳細に説明される。
【0050】
図４は、深度センサ１００を複数の深度感知モードで効率的に動作させるための改良された方法４００の例を図示する。方法４００は、深度センサ１００を構成するためのコマンドを用いて、ブロック４１０から開始する。このタイプのコマンドは、例えば、深度感知システム３００の始動またはリセット時に発行され得る。
【0051】
ブロック４２０では、深度感知システム３００は、第１の深度感知モードのための動作一連を深度センサのメモリビンの第１のグループの中にロードすることによって、深度センサ１００の構成を開始する。例えば、第１の深度感知モードは、短距離高フレームレートモードであり得る。それが該当する場合、深度感知システム３００は、表１からの一連の動作を深度センサのメモリビンの中にロードするであろう。従来の深度感知システムでは、深度センサ１００は、次いで、第１の深度感知モードで動作することに進み、異なる深度感知モードが要求されるまで、深度測定を取得するであろう。しかしながら、本明細書に説明される深度感知システム３００は、代わりに、ブロック４３０に進み、第２からＮ番目の深度感知モードのための動作一連を深度センサ１００のメモリビンのグループの中にロードする。例えば、第２の深度感知モードは、長距離高フレームレートモードであり得る。それが該当する場合、深度感知システム３００は、表３からの一連の動作を深度センサ１００のメモリビンの中にロードするであろう。追加の深度感知モードも、利用可能なメモリビンが深度センサ１００内に存在する限り、この構成一連の間、プログラムされ得る。さらに下で議論されるように、これらの構成ステップは、深度感知が開始する前に実施され、それによって、深度感知モード間で変更されるとき、構成遅延を回避することができる。
【0052】
ブロック４４０では、方法４００は、深度情報の収集を開始するためのコマンドに進む。このコマンドは、アービタ３３０によってスケジューリングされた深度感知タスクに基づいて発行されることができる。ブロック４５０では、状態機械３２０が、使用されるべきプログラムされた深度感知動作モードを規定する。第１の深度感知動作モードが、ブロック４５０において規定される場合、方法４００は、ブロック４６０に進む。ブロック４６０では、深度センサ１００は、メモリビンの第１のグループ内に規定された動作一連を実行することによって、第１の深度感知モードで動作する。深度センサ１００は、第１の深度感知モードにある間、深度情報の１つ以上のフレームを捕捉することに進む。この測定が完了すると、方法は、ブロック４５０に戻り、深度感知動作モードが、再び、規定されることができる。
【0053】
ブロック４５０に戻ると、深度感知動作モードが、変更される場合、方法４００は、ブロック４７０に進む。ブロック４７０では、深度センサ１００は、メモリビンの対応するグループ内に規定された動作一連を実行することによって、第２からＮ番目の深度感知モードのいずれかで動作することができる。第２からＮ番目の深度感知動作モードのいずれかに従って、１つ以上のフレームの深度情報を収集後、方法４００は、ブロック４５０に戻り、アービタ３３０によってスケジューリングされた深度感知タスクに従って、反復的に繰り返す。
【0054】
図４に示される動作の方法は、要求される深度感知動作モードの変更に起因して、深度センサ１００をプログラムするために費やされる時間量を低減させることによって、深度感知効率を改良することができるので、有利である。これは、複数の深度感知モードに対応する動作ステップを深度センサのメモリビンの中に同時にプログラムすることによって遂行される。例えば、深度センサの最初の６つのメモリビンは、表２の動作ステップを用いてプログラムされ得る一方、深度センサの次の１０のメモリビンは、表４の動作ステップを用いてプログラムされ得る。このように、深度センサは、最初の６つのビン内に記憶される命令を実行することによって、短距離低フレームレートモード（表２に対応する）で動作し得る。または、深度センサは、次の１０のビン内に記憶される命令を実行することによって、長距離低フレームレートモード（表４に対応する）で動作し得る。深度センサは、メモリビンを再プログラムするために要求される時間ペナルティを被らずに、これらのモード間で切り替わることができる。故に、深度情報の収集の効率および速度は、増加されることができる。
【0055】
いくつかの実施形態では、状態機械３２０は、メモリビンの再プログラムを要求せずに１つの深度感知モードから別の深度感知モードに深度センサ１００に切り替えをさせる動作を実施する。状態機械３２０は、一連の動作ステップを深度センサ１００内のメモリビンの異なるセット／サブセットから実行することによって、深度感知モード間で交互する能力を提供する。状態機械３２０は、それから深度センサ１００が命令を実行するセット／サブセットおよび一連のメモリビンを外部から制御することができる。状態機械３２０を伴わない場合、深度センサ１００は、単に、所望の深度感知モードを達成するために、実行すべきコマンドの特定のセット／サブセットを選択する能力を伴わずに、そのメモリビン内に記憶されるコマンドを通して巡回し得る。
【0056】
図５は、深度センサ１００を複数の深度感知モードで効率的に動作させるための例示的状態略図５００である。図５に示される状態は、アービタ３３０と協働する状態機械３２０によって実装されることができる。いくつかの実施形態では、深度感知システム３００は、３つの状態を有する：１）「ホットスタンバイ」状態５１０、２）「オン」状態５２０、および、３）「保留ホットスタンバイ」状態５３０。図４におけるブロック４１０－４３０に従ってプログラムされた後、深度センサ１００は、ホットスタンバイ状態５１０に設置されることができる。
【0057】
図４の方法のブロック４４０における深度情報の収集を開始するためのコマンドに基づいて、状態機械３２０は、深度センサ１００をオン状態５２０に設置する。この状態変更は、例えば、最初に、フレームバッファを開放し、深度情報を受信することによって遂行されることができる。次に、状態機械３２０は、ホストＶＲ／ＡＲ／ＭＲシステム８０が、ストリーミング深度情報を受け取るように設定することができる。状態機械３２０は、次いで、図４に示される方法のブロック４５０に従って、深度感知モードを設定することができる。本明細書に議論されるように、状態機械３２０は、実行するための深度センサ１００のメモリビン内に記憶されたセット／サブセットおよび／または一連の動作ステップを規定することによって、深度感知モードを設定することができる。例えば、第１の深度感知モードは、深度センサ１００をビンＸ－Ｙ（Ｘは、任意の整数であり、Ｙは、Ｘを上回る任意の整数である）によって規定された動作一連のみを実行するように設定することによって、規定されることができる。最後に、状態機械３２０は、規定された深度感知モードに従って深度情報のストリーミングを開始するように深度センサ１００を設定することができる。深度センサ１００は、規定されたモードに従って、深度情報のフレームのストリーミングを継続する一方、保留ホットスタンバイ状態５３０への切り替えのための条件の各々が存在するまで、オン状態５２０にある。
【0058】
いくつかの実施形態では、状態機械３２０は、以下の条件が満たされると、深度センサをオン状態５２０から保留ホットスタンバイ状態５３０に切り替える：１）深度情報の完全フレームが受信されたとき、および、２）アービタ３３０が、モード切り替えが要求されることを示すとき。これらの条件が満たされると、状態機械３２０は、深度センサ１００を保留ホットスタンバイ状態５３０に設置する。この状態では、状態機械３２０は、深度センサをストリーミングを中止するように設定する。
【0059】
保留ホットスタンバイ状態５３０にある間、状態機械３２０は、現在の深度感知モードのフレーム周期が維持されることを確実にする。これは、眼安全性理由から、規定された時間単位あたり深度センサ１００によって出力されるエネルギーの量を限定するために行われる。例えば、特定の深度測定が、５Ｈｚのフレームレートで行われるようにスケジューリングされる場合、その測定のためのフレーム周期は、２００ｍｓである。典型的には、深度センサ１００内の光源の電力は、そのフレーム周期に基づいて、安全レベルに設定される。したがって、いくつかの実施形態では、状態機械３２０は、その２００ｍｓフレーム周期が経過するまで、深度感知モードが変更されることを可能にしない。何故なら、そうすることが新しい深度測定を直ちに開始し得、ひいては、新しい深度測定が、２００ｍｓ周期中に追加の放射量が放出されるようにし、それによって、可能性として、眼安全性限界を超え得るからである。
【0060】
依然として保留ホットスタンバイ状態５３０にある間、状態機械３２０は、ホストＶＲ／ＡＲ／ＭＲシステム８０をスタンバイ状態に設定し、深度情報を受信するために使用されるフレームバッファを閉鎖する。これらのアクションが完了すると、深度感知システム状態機械３２０は、深度センサ１００をホットスタンバイ状態５１０に移行させる。アービタ３３０と協働する、状態機械３２０は、次いで、次の深度感知モードを規定し、プロセスは、繰り返されることができる。再び、次の深度感知モードが、実行されるために深度センサ１００のメモリビン内に記憶されたセット／サブセットおよび／または一連の動作ステップを規定することによって設定される。また、深度感知モードをこのように変更させることは、次の深度感知モードのための動作ステップがメモリビン内にすでに記憶されているので、深度センサ１００が再プログラムされることを要求しない。
【0061】
図４に示される方法４００は、深度感知動作の効率を改良することができるが、深度センサ１００によって提供される利用可能なメモリビンの数によって限定され得る。深度感知モードの所望の数およびタイプに応じて、要求される一連の動作命令に適応するために不十分なメモリビンが存在し得る。例えば、深度センサ１００が、１５のメモリビンのみを提供する場合、従来の技法に従うと、追加の深度感知モードはもちろんのこと、表１－４に説明される深度感知モードの全４つによって要求される動作一連を用いて深度センサを同時にプログラムすることは、不可能であろう。これは、それらの深度感知モードが、集合的に、１５を上回る動作ステップを含むからである。したがって、図４に示される方法４００が実装される場合でも、利用可能なメモリビンの数に応じて、深度センサ１００は、表１－４に説明される深度感知モードの全てをもたらすために、依然として、周期的に再プログラムされる必要があるであろうことがあり得る。すでに議論されたように、それは、時間ペナルティをもたらし得、望ましくない。この問題は、深度センサに追加のメモリビンを提供することによって、軽減され得る。しかしながら、そのようにすることは、深度センサのサイズおよびコストを増加させるであろう。しかし、メモリビンの数が所望の深度感知モードの全てのための動作一連に適応するために不十分であり得るときでも、深度センサ１００の効率をさらに改良するために使用され得る、図６－８に図示される別の技法が存在する。この技法は、共通ステップが、必ずしも、２回以上、深度センサ１００の中にプログラムされる必要がないように、異なる深度感知モードがいくつかの動作ステップを共通して有し得るという事実を活用する。
【0062】
図６は、深度センサ１００を複数の深度感知モードで効率的に動作させるための改良された方法６００の別の例を図示する。方法６００は、図３に示される同一深度感知システム３００と、図５の状態略図５００に示される同じ動作状態とを使用して、行われることができる。方法６００は、深度センサ１００を構成するためのコマンドを用いて、ブロック６１０から開始する。再び、このタイプのコマンドは、例えば、深度感知システム３００の始動またはリセット時に発行され得る。いくつかの実施形態では、図６に示される改良された方法６００は、深度センサ１００の構成が、動作の各セッション中、１回のみ実施されることを可能にする。例えば、いくつかの実施形態では、最初にプログラムされた後、深度センサ１００は、ホストが深度センサをリセットモードに設置するまで、または深度センサが再起動されるまで、再びプログラムされる必要がないこともある。
【0063】
ブロック６２０では、深度感知システム３００は、２つ以上の深度感知モード間で共通する動作ステップを深度センサのメモリビンの中にロードすることによって、深度センサ１００の構成を開始する。これらの共通動作ステップは、２つ以上の動作モードにおいて同一のものである。例えば、強度サブフレームおよび４つの位相サブフレームを捕捉するためのステップ（および関連付けられた設定）は、高フレームレート短距離深度測定と低フレームレート短距離深度測定との両方に対して同じである。表１および２を参照すると、これらの共通動作ステップは、ステップ０－４に対応する。同様に、強度サブフレームおよび８つの位相サブフレームを捕捉するためのステップ（および関連付けられた設定）は、高フレームレート長距離深度測定と低フレームレート長距離深度測定との両方に対して同じである。表３および４を参照すると、これらの共通動作ステップは、ステップ０－８に対応する。
【0064】
ブロック６３０では、深度感知システム３００は、１つ以上のダミー動作ステップをメモリビンの中にロードすることによって、深度センサ１００の構成を継続する。いくつかの実施形態では、ダミー動作ステップは、２つ以上の動作モード間の差異に関するものである。１つ以上のダミー動作ステップを２つの動作モードに対する一連の共通動作ステップと一緒に実行することによって、動作モードのうちの一方が、他方に効果的に変換されることができる。
【0065】
例えば、本明細書ですでに議論されたように、高フレームレート短距離深度感知モード（すなわち、表１）と低フレームレート短距離深度感知モード（すなわち、表２）との間の差異は、それぞれのフレーム周期間の差異、言い換えると、サブフレーム捕捉一連を繰り返す前に導入される遅延の量間の差異に関する。高フレームレート短距離深度測定の場合、比較的に短い遅延（または無遅延）が、使用される。低フレームレート短距離深度測定の場合、比較的に長い遅延が、フレームレートを低減させる（対応して、フレーム周期を増加させる）ように導入される。したがって、この対の深度測定（すなわち、高フレームレート短距離深度測定および低フレームレート短距離深度測定）に関して、ダミー動作ステップは、低フレームレート測定の比較的に長い遅延と高フレームレート測定の比較的に短い随意の遅延との間の差異を表す遅延として定義されることができる。言い換えると、この対の深度感知モードのためのダミー動作ステップは、表２のステップ５における比較的に長い遅延と表１のステップ５における比較的に短い随意の遅延との間の差異と等しい遅延であることができる。同様に、高フレームレート長距離測定と低フレームレート長距離測定とのためのダミー動作ステップは、表４のステップ５における比較的に長い遅延と表３のステップ５における比較的に短い随意の遅延との間の差異と等しい遅延であることができる。
【0066】
図７は、複数の深度感知モードのための共通動作ステップとダミー動作ステップとを示す例示的表７００である。この例示的表７００では、ステップ０は、対の長距離深度測定のためのダミー動作ステップである。このダミー動作ステップは、高フレームレート長距離測定モードを実行するために実施される一連の動作に追加されると、その一連の動作を低フレームレート長距離測定モードに変換する遅延である。このダミー動作ステップは、深度センサ１００の第１のメモリビン内に記憶されることができる。
【0067】
一方、表７００内のステップ１からステップｍは、高フレームレート長距離測定モードと低フレームレート長距離測定モードとの間の共通動作ステップである。本明細書で議論される例示的ＴＯＦカメラに対して、長距離深度測定は、９つの総サブフレーム（１つの強度サブフレームおよび８つの位相サブフレーム）を要求する。したがって、表７００内のインデックスｍは、９と等しいであろう。故に、ステップ１－９は、長距離動作モードのための強度サブフレームおよび８つの位相サブフレームを捕捉するために使用されるであろう。これらの動作ステップは、ステップ０におけるダミー動作後、深度センサ１００の次の９つのメモリビン内に記憶されることができる。次のステップは、眼安全性ダミー動作ステップであり、それは、表７００内のステップｍ＋１に提供される。このダミー動作ステップは、図９に関して議論される。
【0068】
図７における表７００は、高フレームレート短距離測定モードと低フレームレート短距離測定モードとの間の共通動作ステップも示す。これらの共通動作は、ステップｍ＋２からステップｍ＋ｎ＋１によって、表７００内に表される。本明細書で議論される例示的ＴＯＦカメラに対して、短距離測定は、５つの総サブフレーム（１つの強度サブフレームおよび４つの位相サブフレーム）を要求する。したがって、表７００内のインデックスｎは、５と等しいであろう（すぐ上で議論されたように、インデックスｍは、９と等しいであろう）。故に、ステップ１１－１５は、短距離動作モードのための強度サブフレームおよび４つの位相サブフレームを捕捉するために使用されるであろう。これらの動作ステップは、深度センサ１００の次の５つのメモリビン内に記憶されることができる。
【0069】
一方、表７００内のステップｍ＋ｎ＋２は、対の短距離深度測定のためのダミー動作ステップである。このダミー動作ステップは、高フレームレート短距離測定モードを実行するために実施される一連の動作に追加されると、その一連の動作を低フレームレート短距離測定モードに変換する遅延である。このダミー動作ステップは、深度センサ１００の次のメモリビン内に記憶されることができる。
【0070】
図８に関してさらに議論されるように、表７００内の動作ステップの種々の組み合わせは、種々の深度感知動作モードを達成するように、図示される順序で実行されることができる。
【0071】
深度センサ１００が、ブロック６１０－６３０に従って、共通動作ステップおよびダミー動作ステップを用いてプログラムされた後、図６に示される方法６００は、ブロック６４０において、深度情報の収集を開始するためのコマンドを用いて継続する。ブロック６５０では、深度感知システム３００が、深度感知動作モードを規定する。これは、例えば、規定された深度感知動作モードを行うように実行するための図７における表７００に示される動作ステップを規定することによって行われることができる。これは、図８に関して議論される。
【0072】
図８は、図７の共通動作ステップおよびダミー動作ステップが複数の深度感知モードで効率的に動作するために使用され得る方法を図示する、例示的表８００である。図８に示されるように、高フレームレート長距離深度感知モード（表３に示されるように）は、図７に示される表７００内のステップ１からステップｍを実行することによって、行われることができる。これらのステップを実行することによって、深度センサ１００は、ステップ１からステップｍ中、長距離強度サブフレームおよび８つの長距離位相サブフレームを収集するであろう。一方、深度感知システム３００が、代わりに、低フレームレート長距離深度測定（表４に示されるように）を呼び出す場合、この動作モードは、代わりに、ステップ０からステップｍを実行することによって遂行されることができる。ステップ０におけるダミーフレームは、高フレームレート長距離測定と低フレームレート長距離測定との間の差異を表すので、ステップ１からステップｍに加え、そのステップを実行することは、動作モードを高フレームレート長距離測定モードから低フレームレート長距離測定モードに効果的に変換する。ステップ０におけるダミー動作は、ステップ１からステップｍ中、サブフレームの収集前に実行されるように表７００に示されるが、他の実施形態では、サブフレームの収集後に実施され得、２つのサブフレームの収集の合間にさえも実施され得る。
【0073】
図８は、高フレームレート短距離測定深度感知モード（表１に示されるように）が、図７に示される表７００内のステップｍ＋２からステップｍ＋ｎ＋１を実行することによって遂行されることができることも示す。これらのステップを実行することによって、深度センサ１００は、短距離強度サブフレームおよび４つの短距離位相サブフレームを収集するであろう。一方、システムが、代わりに、低フレームレート短距離深度測定（表２に示されるように）を呼び出す場合、この動作モードは、代わりに、ステップｍ＋２からステップｍ＋ｎ＋２を実行することによって行われることができる。ステップｍ＋ｎ＋２におけるダミーフレームは、高フレームレート短距離測定と低フレームレート短距離測定との間の差異を表すので、ステップｍ＋２からステップｍ＋ｎ＋１に加え、そのステップを実行することは、動作モードを高フレームレート短距離測定モードから低フレームレート短距離測定モードに効果的に変換する。
【0074】
【0075】
深度感知システム３００が、ブロック６５０において、深度感知動作モードを規定した後、図６に示される方法６００は、ブロック６６０またはブロック６７０に進む。深度センサ１００は、ブロック６６０に示されるように、共通動作ステップのあるグループを実行することによって、第１の深度感知モードで動作することができる。共通動作ステップのグループは、例えば、図７に示される表７００内のステップ１からステップｍであり得る。これは、高フレームレート長距離深度感知モードにおける動作に対応するであろう。または、ブロック６６０において実行される共通動作ステップのグループは、図７に示される表７００内のステップｍ＋２からステップｍ＋ｎ＋１であり得る。これは、高フレームレート短距離深度感知モードにおける動作に対応するであろう。
【0076】
代替として、深度センサ１００は、ブロック６７０に示されるように、共通動作ステップのグループおよび１つ以上のダミー動作ステップを実行することによって、第２の深度感知モードで動作することができる。共通動作ステップのグループは、例えば、図７に示される表７００内のステップ１からステップｍであり得、ダミー動作ステップは、ステップ０であり得る。これは、低フレームレート長距離深度感知モードにおける動作に対応するであろう。または、ブロック６６０において実行される共通動作ステップのグループは、図７に示される表７００内のステップｍ＋２からステップｍ＋ｎ＋１であり得、ダミー動作ステップは、ステップｍ＋ｎ＋２であり得る。これは、低フレームレート短距離深度感知モードにおける動作に対応するであろう。
【0077】
深度感知システム３００が、ブロック６５０からブロック６６０またはブロック６７０に進むかどうかにかかわらず、深度センサ１００は、規定された深度感知モードにある間、深度情報の１つ以上のフレームを捕捉する。測定が完了すると、方法６００は、ブロック６５０に戻り、深度感知動作モードは、再び、規定されることができる。
【0078】
図６に示される動作の方法６００は、要求される深度感知動作モードの変更に応答して、深度センサ１００をプログラムするために費やされる時間量を低減させることによって、深度感知効率を改良することができるので、有利である。方法６００に従って、深度センサは、メモリビンを再プログラムするために要求される時間ペナルティを被らずに、複数の深度感知モード間で交互することができる。それは、従来の技法を使用して要求されるであろうものよりはるかに少ないメモリビンを深度センサ１００内で使用して遂行されることができる。故に、深度情報の収集の効率および速度は、増加されることができる。加えて、より少ないメモリビンを伴うより低いコスト深度センサが、使用されることができる。
【0079】
図９は、高ダイナミックレンジ（ＨＤＲ）深度感知モードで動作するための例示的タイミング図である。ＨＤＲ深度感知モードは、一緒にインターリーブされた長距離および短距離測定から成る。表５は、ＨＤＲ深度感知モードのための例示的一連の動作を図示する。いくつかの実施形態では、ＨＤＲ深度測定のためのフレームレートは、５Ｈｚである。ＨＤＲ深度測定のための周期は、図９では、Ｔｆｐｓとして標識される。このＨＤＲ深度感知モードは、図６の方法および図７に示される深度センサメモリビンプログラミングスキームを使用して、行われることができる。
【0080】
ＨＤＲ深度感知一連は、ステップ０から開始し、長距離強度サブフレームが、捕捉される。次いで、ステップ１－４中、深度センサ１００は、第１の変調周波数を使用して、４つの位相サブフレームを捕捉する。図９に示されるように、各位相サブフレームは、ＴＬＲ－ｉｎｔの露光時間、すなわち、積分時間を有する。これらの露光の各々の後、捕捉された画像データをセンサから転送するための読み取り時間Ｔｒｅａｄｏｕｔが続く。次いで、ステップ５－８では、深度センサ１００は、第２の変調周波数を使用して、４つの位相サブフレームを捕捉する。
【表5】
【0081】
長距離測定の後、ステップ９において、眼安全性遅延が続き、それは、図９では、Ｔｅｙｅ＿ｓａｆｅ＿ｄｕｍｍｙとして標識される。この遅延は、深度センサの光源が測定の途中で遮断されないように、深度センサ１００内の眼安全性回路をトリガすることを防止することができる。この遅延は、ダミー動作ステップの別の例であり、下でさらに議論される。図９に示されるように、遅延を構成するダミー動作ステップが、いくつかの実施形態では、強度サブフレーム（露光期間および読み取り期間を含む）として実装され、その後、アイドル期間が続き得る。ダミー動作ステップ中に捕捉された強度サブフレームは、典型的には、深度を計算するために使用されない。
【0082】
次に、表５におけるステップ１０では、深度センサは、短距離強度サブフレームを捕捉する。この後、ステップ１１－１４において、４つの位相サブフレームが続く。図９に示されるように、これらのサブフレームの各々は、ＴＳＲ＿ｉｎｔの露光時間を有した後、読み取り期間が続く。ステップ１０－１４中に行われた短距離測定の後、ステップ１５における随意の遅延が続くことができる。
【0083】
表５および図９に示されるＨＤＲ深度感知モードは、多くの動作ステップを有し、それは、本明細書で議論された他の深度感知モードと共通である。例えば、表５におけるステップ０－８は、高フレームレート長距離深度測定によって使用されるそれらと同一である。故に、ＨＤＲ深度感知モードのこの部分は、図７に示されるプログラミングスキーム７００におけるステップ１からステップｍを実行することによって実装されることができる。同様に、表５におけるステップ１０－１４は、高フレームレート短距離深度測定によって使用されるものと同一である。したがって、それらは、図７に示されるプログラミングスキーム７００におけるステップｍ＋２からステップｍ＋ｎ＋１を実行することによって実装されることができる。
【0084】
高フレームレート長距離モードおよび高フレームレート短距離モードと比較したＨＤＲ深度感知モード間の差異は、表５のステップ９における眼安全性期間およびステップ１５における随意の遅延である。これらの差異は、本明細書に議論されるように、適切なダミー動作フレームによって実装されることができる。例えば、眼安全性期間は、図７に示されるプログラミングスキーム７００におけるステップｍ＋１に示される眼安全性ダミー動作ステップによって実装されることができる。表５のステップ１５における随意の遅延は、図７に示されるプログラミングスキーム７００のステップｍ＋ｎ＋２におけるダミー動作を使用して実装されることができる。
【0085】
図８に示されるように、完全ＨＤＲ深度感知モード（インターリーブされた長距離および短距離深度測定）は、図７に示されるプログラミングスキーム７００のステップ１からステップｍ＋ｎ＋２を実行することによって実装されることができるということになる。表５のＨＤＲ深度感知モードは、したがって、追加のモードが図７に示される共通およびダミー動作ステップから実装され得る方法の例である。
【0086】
前述の開示は、ＶＲ／ＡＲ／ＭＲシステムにおいて使用するための種々の効率的深度感知技法を説明する。これらの技法は、深度センサに関して具体的に議論されるが、同一技法はまた、他のタイプのセンサに適用されることができ、深度センサに厳密に限定されない。
（例示的実施形態）
（例示的実施形態）
【0087】
いくつかの実施形態では、方法は、センサに、第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第１の動作モードと第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第１の動作モードで動作させることと、センサに共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、センサを第２の動作モードで動作させることとを含む。
【0088】
これらの実施形態のいずれかによると、第１の動作モードは、少なくとも共通動作ステップを第１のレートで実行することを含むことができ、第２の動作モードは、共通動作ステップと少なくとも１つのダミー動作ステップとを第１のレートより低速である第２のレートで実施することを含むことができる。
【0089】
これらの実施形態のいずれかによると、１つ以上のダミー動作ステップのうちの少なくとも１つは、遅延を含むことができる。
【0090】
これらの実施形態のいずれかによると、センサに、一連の共通動作ステップおよび１つ以上のダミー動作ステップを提供することは、それらの動作ステップをセンサメモリに記憶することを含むことができる。
【0091】
これらの実施形態のいずれかによると、センサを第１の動作モードと第２の動作モードとの間で切り替えることは、動作ステップをセンサメモリに記憶するための任意の追加の行為を要求しないこともある。
【0092】
これらの実施形態のいずれかによると、センサは、深度センサを備えていることができる。
【0093】
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
【0094】
これらの実施形態のいずれかによると、第１の動作モードは、第１のフレームレートを伴う深度感知モードを含むことができ、第２の動作モードは、第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードを含むことができる。
【0095】
これらの実施形態のいずれかによると、方法は、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含むことができる。
【0096】
いくつかの実施形態では、システムは、センサに、第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第１の動作モードと第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第１の動作モードで動作させることと、センサに共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、センサを第２の動作モードで動作させることとを含む方法を実行するように構成されたプロセッサを備えている。
【0097】
これらの実施形態のいずれかによると、第１の動作モードは、少なくとも共通動作ステップを第１のレートで実行することを含むことができ、第２の動作モードは、共通動作ステップと少なくとも１つのダミー動作ステップとを第１のレートより低速である第２のレートで実施することを含むことができる。
【0098】
これらの実施形態のいずれかによると、１つ以上のダミー動作ステップのうちの少なくとも１つは、遅延を含むことができる。
【0099】
これらの実施形態のいずれかによると、センサに、一連の共通動作ステップおよび１つ以上のダミー動作ステップを提供することは、それらの動作ステップをセンサメモリに記憶することを含むことができる。
【0100】
これらの実施形態のいずれかによると、センサを第１の動作モードと第２の動作モードとの間で切り替えることは、動作ステップをセンサメモリに記憶するための任意の追加の行為を要求しないこともある。
【0101】
これらの実施形態のいずれかによると、センサは、深度センサを備えていることができる。
【0102】
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
【0103】
これらの実施形態のいずれかによると、第１の動作モードは、第１のフレームレートを伴う深度感知モードを含むことができ、第２の動作モードは、第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードを含むことができる。
【0104】
これらの実施形態のいずれかによると、システムは、仮想現実、拡張現実、または複合現実ディスプレイシステム内に統合されることができる。
【0105】
これらの実施形態のいずれかによると、プロセッサは、状態機械を備えていることができる。
【0106】
これらの実施形態のいずれかによると、システムは、センサを第１のモードまたは第２のモードで動作させるための要求を受信するためのアービタをさらに備えていることができ、アービタは、要求をスケジューリングおよび優先順位付けするように構成されることができる。
【0107】
これらの実施形態のいずれかによると、システムは、センサをさらに備えていることができる。
【0108】
いくつかの実施形態では、方法は、第１のタイプの深度測定のための第１の要求を受信することと、第２のタイプの深度測定のための第２の要求を受信することと、第１の優先順位を第１の要求に割り当てることと、第２の優先順位を第２の要求に割り当てることと、第１の優先順位が第２の優先順位より高い場合、深度センサに、最初に、第１のタイプの深度測定を取得させること、または第２の優先順位が第１の優先順位より高い場合、深度センサに、最初に、第２のタイプの深度測定を取得させることとを含む。
【0109】
これらの実施形態のいずれかによると、第１の優先順位は、第１のタイプの深度測定を要求する第１のアプリケーションの優先順位に基づいて割り当てられることができ、第２の優先順位は、第２のタイプの深度測定を要求する第２のアプリケーションの優先順位に基づいて割り当てられることができる。
【0110】
いくつかの実施形態では、システムは、第１のタイプの深度測定のための第１の要求と、第２のタイプの深度測定のための第２の要求とを受信するように構成されているアービタであって、アービタは、第１の優先順位を第１の要求に、第２の優先順位を第２の要求に割り当てるように構成されている、アービタと、第１の優先順位が第２の優先順位より高い場合、深度センサに、最初に、第１のタイプの深度測定を取得させること、または、第２の優先順位が第１の優先順位より高い場合、深度センサに、最初に、第２のタイプの深度測定を取得させることを行うように構成されているプロセッサとを備えている。
【0111】
これらの実施形態のいずれかによると、アービタは、第１のタイプの深度測定を要求する第１のアプリケーションの優先順位に基づいて、第１の優先順位を割り当て、第２のタイプの深度測定を要求する第２のアプリケーションの優先順位に基づいて、第２の優先順位を割り当てるように構成されることができる。
【0112】
これらの実施形態のいずれかによると、システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されることができる。
【0113】
いくつかの実施形態では、方法は、深度センサのための構成動作を実施することであって、構成動作は、第１の深度感知動作モードを定義する第１の一連の動作ステップを深度センサのメモリに記憶することと、第２の深度感知動作モードを定義する第２の一連の動作ステップを深度センサのメモリに記憶することとを含む、ことと、第１の深度感知動作モードに従った深度測定のための第１の要求を受信することと、第１の要求に応答して、深度センサに第１の一連の動作ステップを実行させることによって、深度センサを第１の動作モードで動作させることと、第２の深度感知動作モードに従った深度測定のための第２の要求を受信することと、第２の要求に応答して、追加の構成動作を実施することなく、深度センサに第２の一連の動作ステップを実行させることによって、深度センサを第２の動作モードで動作させることとを含む。
【0114】
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
【0115】
これらの実施形態のいずれかによると、第１の深度感知動作モードは、第１の測定距離範囲に対応することができ、第２の深度感知動作モードは、第１の測定距離範囲と異なる第２の測定距離範囲に対応することができる。
【0116】
これらの実施形態のいずれかによると、第１の深度感知動作モードは、第１のフレームレートに対応することができ、第２の深度感知動作モードは、第１のフレームレートより低速である第２のフレームレートに対応することができる。
【0117】
これらの実施形態のいずれかによると、方法は、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含むことができる。
【0118】
いくつかの実施形態では、システムは、深度センサのための構成動作を実施することであって、構成動作は、第１の深度感知動作モードを定義する第１の一連の動作ステップを深度センサのメモリに記憶することと、第２の深度感知動作モードを定義する第２の一連の動作ステップを深度センサのメモリに記憶することとを含む、ことと、第１の深度感知動作モードに従った深度測定のための第１の要求を受信することと、第１の要求に応答して、深度センサに第１の一連の動作ステップを実行させることによって、深度センサを第１の動作モードで動作させることと、第２の深度感知動作モードに従った深度測定のための第２の要求を受信することと、第２の要求に応答して、追加の構成動作を実施することなく深度センサに第２の一連の動作ステップを実行させることによって、深度センサを第２の動作モードで動作させることとを含む方法を実行するように構成されたプロセッサを備えている。
【0119】
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
【0120】
これらの実施形態のいずれかによると、第１の深度感知動作モードは、第１の測定距離範囲に対応することができ、第２の深度感知動作モードは、第１の測定距離範囲と異なる第２の測定距離範囲に対応することができる。
【0121】
これらの実施形態のいずれかによると、第１の深度感知動作モードは、第１のフレームレートに対応することができ、第２の深度感知動作モードは、第１のフレームレートより低速である第２のフレームレートに対応することができる。
【0122】
これらの実施形態のいずれかによると、システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されることができる。
【0123】
いくつかの実施形態では、非一過性コンピュータ読み取り可能な媒体は、コンピューティングデバイスによって読み取られると、センサに、第１の動作モードを定義する第１の一連の動作ステップと第２の動作モードを定義する第２の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第１の動作モードと第２の動作モードとの間の差異に関する１つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第１の動作モードで動作させることと、センサに共通動作ステップと少なくとも１つのダミー動作ステップとを実行させることによって、センサを第２の動作モードで動作させることとを含む方法をコンピューティングデバイスに実施させるコードを備えている。
【0124】
これらの実施形態のいずれかによると、第１の動作モードは、少なくとも共通動作ステップを第１のレートで実行することを含むことができ、第２の動作モードは、共通動作ステップと少なくとも１つのダミー動作ステップとを第１のレートより低速である第２のレートで実施することを含むことができる。
【0125】
これらの実施形態のいずれかによると、１つ以上のダミー動作ステップのうちの少なくとも１つは、遅延を含むことができる。
【0126】
これらの実施形態のいずれかによると、センサに、一連の共通動作ステップおよび１つ以上のダミー動作ステップを提供することは、それらの動作ステップをセンサメモリに記憶することを含むことができる。
【0127】
これらの実施形態のいずれかによると、センサを第１の動作モードと第２の動作モードとの間で切り替えることは、動作ステップをセンサメモリに記憶するための任意の追加の行為を要求しないこともある。
【0128】
これらの実施形態のいずれかによると、センサは、深度センサを備えていることができる。
【0129】
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
【0130】
これらの実施形態のいずれかによると、第１の動作モードは、第１のフレームレートを伴う深度感知モードを含むことができ、第２の動作モードは、第１のフレームレートより低速である第２のフレームレートを伴う深度感知モードを含むことができる。
【0131】
これらの実施形態のいずれかによると、コンピュータ読み取り可能な媒体は、コンピューティングデバイスに、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供させるコードをさらに備えていることができる。
【0132】
いくつかの実施形態では、非一過性コンピュータ読み取り可能な媒体は、コンピューティングデバイスによって読み取られると、第１のタイプの深度測定のための第１の要求を受信することと、第２のタイプの深度測定のための第２の要求を受信することと、第１の優先順位を第１の要求に割り当てることと、第２の優先順位を第２の要求に割り当てることと、第１の優先順位が第２の優先順位より高い場合、深度センサに、最初に、第１のタイプの深度測定を取得させること、または第２の優先順位が第１の優先順位より高い場合、深度センサに、最初に、第２のタイプの深度測定を取得させることを含む方法をコンピューティングデバイスに実施させるコードを備えている。
【0133】
これらの実施形態のいずれかによると、第１の優先順位は、第１のタイプの深度測定を要求する第１のアプリケーションの優先順位に基づいて割り当てられることができ、第２の優先順位は、第２のタイプの深度測定を要求する第２のアプリケーションの優先順位に基づいて割り当てられることができる。
【0134】
いくつかの実施形態では、非一過性コンピュータ読み取り可能な媒体は、コードを備え、コードは、コンピューティングデバイスによって読み取られると、コンピューティングデバイスに深度センサを動作させる方法を実施させ、方法は、深度センサのための構成動作を実施することであって、構成動作は、第１の深度感知動作モードを定義する第１の一連の動作ステップを深度センサのメモリに記憶することと、第２の深度感知動作モードを定義する第２の一連の動作ステップを深度センサのメモリに記憶することとを含む、ことと、第１の深度感知動作モードに従った深度測定のための第１の要求を受信することと、第１の要求に応答して、深度センサに第１の一連の動作ステップを実行させることによって、深度センサを第１の動作モードで動作させることと、第２の深度感知動作モードに従った深度測定のための第２の要求を受信することと、第２の要求に応答して、追加の構成動作を実施することなく、深度センサに第２の一連の動作ステップを実行させることによって、深度センサを第２の動作モードで動作させることとを含む。
【0135】
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
【0136】
これらの実施形態のいずれかによると、第１の深度感知動作モードは、第１の測定距離範囲に対応することができ、第２の深度感知動作モードは、第１の測定距離範囲と異なる第２の測定距離範囲に対応することができる。
【0137】
これらの実施形態のいずれかによると、第１の深度感知動作モードは、第１のフレームレートに対応することができ、第２の深度感知動作モードは、第１のフレームレートより低速である第２のフレームレートに対応することができる。
【0138】
これらの実施形態のいずれかによると、コンピュータ読み取り可能な媒体は、コンピューティングデバイスに、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供させるコードをさらに備えていることができる。
（追加の考慮点）
（追加の考慮点）
【0139】
本開示を要約する目的のために、本発明のある側面、利点、および特徴が、本明細書に説明されている。必ずしも全てのそのような利点が、本発明の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本発明は、本明細書で教示または提案され得るような他の利点を必ずしも達成することなく、本明細書で教示されるような１つの利点もしくは利点群を達成または最適化する様式で、具現化もしくは実施され得る。
【0140】
実施形態は、付随の図面に関連して説明されている。しかしながら、図が一定の縮尺で描かれていないことを理解されたい。距離、角度等は、例証的にすぎず、必ずしも図示されるデバイスの実際の寸法およびレイアウトと正確な関係をもつわけではない。加えて、前述の実施形態は、当業者が本明細書に説明されるデバイス、システム、方法等を作製して使用することを可能にする詳細のレベルで説明されている。多種多様な変形例が、可能である。構成要素、要素、および／またはステップは、改変、追加、除去、もしくは再編成され得る。
【0141】
本明細書に説明されるデバイスおよび方法は、有利なこととして、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して、少なくとも部分的に実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を果たすために、コンピュータのメモリの中に記憶されたコンピュータ実行可能コードを備えていることができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つ以上の汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されるソフトウェアを使用して実装され得る任意のモジュールも、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装され得ることを理解するであろう。例えば、そのようなモジュールは、集積回路の組み合わせを使用して、完全にハードウェアで実装されることができる。代替として、または加えて、そのようなモジュールは、汎用コンピュータによってではなく、本明細書に説明される特定の機能を果たすように設計される特殊化コンピュータを使用して、完全もしくは部分的に実装されることができる。加えて、少なくとも部分的にコンピュータソフトウェアによって実施される場合、またはされ得る方法が説明される場合、そのような方法は、コンピュータもしくは他の処理デバイスによって読み取られたときに方法を実施させる非一過性のコンピュータ読み取り可能な媒体（例えば、ＣＤもしくはＤＶＤ等の光ディスク、ハードディスクドライブ、フラッシュメモリ、ディスケット等）上に提供され得ることを理解されたい。
【0142】
ある実施形態が明示的に説明されているが、他の実施形態も、本開示に基づいて当業者に明白となるであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【外国語明細書】