知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-20
(54)【発明の名称】スマートセンサ
(51)【国際特許分類】
H04N 25/79 20230101AFI20230613BHJP
G06N 3/063 20230101ALI20230613BHJP
G11C 5/02 20060101ALI20230613BHJP
G06T 7/00 20170101ALI20230613BHJP
G06V 10/82 20220101ALI20230613BHJP
H10B 61/00 20230101ALI20230613BHJP
H01L 29/82 20060101ALI20230613BHJP
H10N 52/00 20230101ALI20230613BHJP
H10B 10/00 20230101ALI20230613BHJP
H01L 27/146 20060101ALI20230613BHJP
G06G 7/60 20060101ALI20230613BHJP
H04N 23/57 20230101ALI20230613BHJP
【ＦＩ】
H04N25/79
G06N3/063
G11C5/02 100
G06T7/00 350C
G06V10/82
H10B61/00
H01L29/82 Z
H10N52/00 Z
H10B10/00
H01L27/146 E
G06G7/60
H04N23/57
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022548742
(86)(22)【出願日】2021-05-07
(85)【翻訳文提出日】2022-10-06
(86)【国際出願番号】 US2021031201
(87)【国際公開番号】W WO2021226411
(87)【国際公開日】2021-11-11
(31)【優先権主張番号】63/021,476
(32)【優先日】2020-05-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/038,636
(32)【優先日】2020-06-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/313,884
(32)【優先日】2021-05-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】リュウ， シンチャオ
(72)【発明者】
【氏名】デ サルボ， バーバラ
(72)【発明者】
【氏名】レイセルホーフェ， ハンス
(72)【発明者】
【氏名】リー， ツーユン
(72)【発明者】
【氏名】カーン， アシフ イムティアス
(72)【発明者】
【氏名】サルワー， サイド シャキブ
【テーマコード（参考）】
4M118
4M119
5C024
5C122
5F083
5F092
5L096
【Ｆターム（参考）】
4M118AA04
4M118AB01
4M118AB03
4M118BA19
4M118HA22
4M118HA30
4M119AA01
4M119AA05
4M119BB01
4M119DD17
4M119DD24
5C024AX01
5C024CX51
5C024CY14
5C024DX07
5C024GX01
5C024HX01
5C024HX31
5C024HX51
5C024HX57
5C024JX42
5C122EA68
5C122FA02
5C122FA18
5C122FC06
5C122FH11
5C122FK23
5C122HA86
5C122HA88
5C122HB02
5F083BS27
5F083GA01
5F083GA05
5F092AA03
5F092AA04
5F092AB06
5F092AC11
5F092AD23
5F092BB23
5F092BB36
5F092BB43
5F092BC04
5L096CA14
5L096EA39
5L096HA11
5L096KA04
5L096LA04
5L096LA05
5L096LA11
5L096LA12
(57)【要約】
ローカルエリアの１つまたは複数の特徴を決定するためのセンサアセンブリが、本明細書で提示される。センサアセンブリは、複数の積層型センサ層を含む。センサアセンブリの最上部にある、複数の積層型センサ層の第１のセンサ層は、ピクセルのアレイを含む。最上部のセンサ層は、ローカルエリアにおける１つまたは複数の物体から反射された光の１つまたは複数の画像をキャプチャするように構成されることが可能である。センサアセンブリは、最上部のセンサ層の下にある１つまたは複数のセンサ層をさらに含む。１つまたは複数のセンサ層は、キャプチャされた１つまたは複数の画像に関するデータを処理するように構成されることが可能である。メモリおよびコンピューティングデバイスの様々な配置を特色とする種々のセンサアーキテクチャが説明され、これらのうちのいくつかは、インメモリコンピューティングを特色とする。複数のセンサアセンブリが、例えばヘッドマウント型ディスプレイなどの、人工現実システムに統合されることが可能である。
【選択図】図３Ａ
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
ピクセルのアレイを含む第１のセンサ層と、前記第１のセンサ層と一緒にスタックを形成する１つまたは複数の半導体層であって、前記第１のセンサ層の下にあり、
ピクセルの前記アレイによって出力されたピクセルデータを処理する畳み込みニューラルネットワーク（ＣＮＮ）モデルを実装するように構成された機械学習（ＭＬ）モデルアクセラレータであって、前記ピクセルデータが、１つまたは複数のフレームに対応する、機械学習（ＭＬ）モデルアクセラレータ、
前記ＣＮＮモデルの係数、および命令コードを格納するように構成された第１のメモリ、
前記ピクセルデータを格納するように構成された第２のメモリ、ならびに
前記ＭＬモデルアクセラレータ、前記第１のメモリ、および前記第２のメモリの動作を制御するための前記命令コードを実行するように構成されたコントローラ
を備える、１つまたは複数の半導体層と
を備える、装置。
【請求項2】
前記コントローラが、フレーム期間の一部分に対応する露出期間の間、前記ＭＬモデルアクセラレータおよび前記第２のメモリを無効にし、前記露出期間が終わった後、前記ＭＬモデルアクセラレータおよび前記第２のメモリを有効化して前記ピクセルデータを処理し、前記ピクセルデータの前記処理が完了した後、前記ＭＬモデルアクセラレータおよび前記第２のメモリを無効にするように構成される、請求項１に記載の装置。
【請求項3】
前記第１のメモリが、不揮発性メモリ（ＮＶＭ）を備え、前記第２のメモリが、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイスを備える、
請求項１に記載の装置。
【請求項4】
前記ＮＶＭが、磁気抵抗性ランダムアクセスメモリ（ＭＲＡＭ）デバイス、抵抗性ランダムアクセスメモリ（ＲＲＡＭ）デバイス、または相変化メモリ（ＰＣＭ）デバイスのうちの少なくとも１つを備える、請求項３に記載の装置。
【請求項5】
前記１つまたは複数の半導体層が、第１の半導体層、および前記第１の半導体層と一緒にスタックされた第２の半導体層を備え、前記第１の半導体層が、前記ＭＬモデルアクセラレータおよび前記第１のメモリを含み、
前記第２の半導体層が、前記第２のメモリを含み、
前記第２のメモリが、並列のシリコン貫通電極（ＴＳＶ）インターフェースを介して、前記ＭＬモデルアクセラレータに接続される、
請求項１に記載の装置。
【請求項6】
前記第２の半導体層が、前記第２のメモリに格納された前記ピクセルデータに対するインメモリコンピュート演算を実施するように構成されたメモリコントローラをさらに備え、前記インメモリコンピュート演算が、行列転置演算、行列再形成演算、または行列乗算演算のうちの少なくとも１つを含む、請求項５に記載の装置。
【請求項7】
ゼロの係数および非ゼロの係数が、前記第１のメモリの異なる数のビットを使用して格納される、請求項６に記載の装置。
【請求項8】
ゼロの係数が、前記第１のメモリのアサートされたフラグビットによって表され、非ゼロの係数が、デアサートされたフラグビット、および前記第１のメモリにおける前記非ゼロの係数の数値を表すデータビットのセットによって表される、
請求項７に記載の装置。
【請求項9】
前記メモリコントローラが、ゼロの係数を前記ＭＬモデルアクセラレータに送ることをスキップするように構成される、請求項６に記載の装置。
【請求項10】
前記ＭＬモデルアクセラレータが、ゼロの係数を伴う乗算演算をスキップし、ゼロの係数を伴う乗算演算の出力を表すためにゼロを出力するように構成される、請求項６に記載の装置。
【請求項11】
前記インメモリコンピュート演算が、入力ベクトルと基準ベクトルとの間の距離の計算、基準ベクトルの中の入力ベクトルの類似点サーチ、画像フィルタリング、または奥行き方向の畳み込み演算のうちの少なくとも１つをさらに含む、請求項６に記載の装置。
【請求項12】
前記ＭＬモデルアクセラレータが、前記ＣＮＮモデルへの入力として、前記ピクセルデータのサブセットを選択するゲーティングモデルを実装するように構成される、請求項１に記載の装置。
【請求項13】
前記ゲーティングモデルが、ユーザ固有モデルおよびベースモデルを備え、前記ユーザ固有モデルが、前記装置において生成され、前記ベースモデルが、前記装置の外部の外部デバイスにおいて生成される、請求項１２に記載の装置。
【請求項14】
前記ゲーティングモデルが、異なる入力チャネルのための、および異なるフレームのための、前記ピクセルデータの異なるサブセットを選択する、請求項１２に記載の装置。
【請求項15】
前記ゲーティングモデルが、前記ＣＮＮモデルへの前記入力から、ブラインドピクセルを除外するように構成される、請求項１２に記載の装置。
【請求項16】
マイクロコントローラであって、前記１つまたは複数の半導体層が、磁気抵抗性ランダムアクセスメモリ（ＭＲＡＭ）デバイスを備え、前記マイクロコントローラが、前記ＭＲＡＭデバイスの抵抗を変調するためにパルスを前記ＭＲＡＭデバイスに伝送し、前記ＭＲＡＭデバイスの前記変調された抵抗を測定することに基づいて乱数のシーケンスを生成するように構成される、マイクロコントローラをさらに備える、請求項１に記載の装置。
【請求項17】
前記ＣＮＮモデルが、重みの第１のセットを含む第１の層と、
重みの第２のセットを含む第２の層と
を使用して実装される、請求項１に記載の装置。
【請求項18】
重みの前記第１のセットが、ガボール重みの固定セットを含む、請求項１７に記載の装置。
【請求項19】
前記ＣＮＮモデルが、重みの前記第１のセットおよび重みの前記第２のセットを使用して前記ピクセルデータの特徴を抽出するように構成される、請求項１７に記載の装置。
【請求項20】
重みの前記第１のセットおよび重みの前記第２のセットが、前記装置の外部のエクスサイチュ訓練動作に基づいて訓練され、重みの前記第２のセットが、前記装置におけるインサイチュ訓練動作に基づいて調節される、
請求項１７に記載の装置。
【請求項21】
前記エクスサイチュ訓練動作が、クラウド環境で実施され、前記装置が、重みの前記調節された第２のセットを前記クラウド環境に伝送して返すように構成される、
請求項２０に記載の装置。
【請求項22】
前記インサイチュ訓練動作が、強化学習動作を含み、前記第１のメモリが、前記第２の層を実装するメモリスタのアレイを備え、
前記ＭＬモデルアクセラレータが、メモリスタの前記アレイからの中間出力を乱数と比較して出力を生成し、前記ＭＬモデルアクセラレータの前記出力に基づいてメモリスタの前記アレイに格納された重みを調節するように構成される、
請求項２０に記載の装置。
【請求項23】
前記インサイチュ訓練動作が、教師なし学習動作を含み、前記第１のメモリが、前記第２の層を実装するメモリスタのアレイを備え、
メモリスタの前記アレイが、ピクセルの前記アレイによって検出されたイベントを表す信号を受け取り、前記イベントの相対的なタイミングのパターンを表す中間出力を生成するように構成され、
前記ＭＬモデルアクセラレータが、前記中間出力に基づいて出力を生成し、前記ＭＬモデルアクセラレータの前記出力に基づいてメモリスタの前記アレイに格納された重みを調節するように構成される、
請求項２０に記載の装置。
【請求項24】
前記ＣＮＮモデルが、メモリスタのアレイを使用して実装された完全接続ニューラルネットワーク層を含み、メモリスタの前記アレイが、前記ＣＮＮモデルの出力生成の一部として、ベクトル－行列乗算演算またはベクトル－ベクトル乗算演算のうちの少なくとも１つを実施するように構成される、請求項１に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、「ＳＥＮＳＯＲ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＳＴＡＣＫＥＤ ＳＥＮＳＯＲ ＬＡＹＥＲＳ」と題する、２０２０年７月２８日に発行された米国特許第１０，７２６，６２７号を現在有する、２０１８年３月１日に出願された米国特許出願第１５／９０９，１６２号の継続出願である、「ＳＥＮＳＯＲ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＳＴＡＣＫＥＤ ＳＥＮＳＯＲ ＬＡＹＥＲＳ」と題する、２０２０年６月２４日に出願された米国特許出願第１６／９１０，８４４号の一部継続出願であり、２０１７年７月２５日に出願され、「ＳＴＡＣＫＥＤ ＳＥＮＳＯＲ ＳＹＳＴＥＭ ＵＳＩＮＧ ＭＥＭＲＩＳＴＯＲＳ」と題する、米国仮出願第６２／５３６，６０５号の利益および優先権を主張する。また、本出願は、２０２０年５月７日に出願され、「ＳＭＡＲＴ ＳＥＮＳＯＲ」と題する、米国仮出願第６３／０２１，４７６号、および２０２０年６月１２日に出願され、「ＳＭＡＲＴ ＳＥＮＳＯＲ」と題する、米国仮出願第６３／０３８，６３６号の、利益および優先権を主張する。上記で特定された出願のそれぞれの内容は、全ての目的のために本明細書によって全体として参照により組み込まれる。
本出願は、「ＳＥＮＳＯＲ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＳＴＡＣＫＥＤ ＳＥＮＳＯＲ ＬＡＹＥＲＳ」と題する、２０２０年７月２８日に発行された米国特許第１０，７２６，６２７号を現在有する、２０１８年３月１日に出願された米国特許出願第１５／９０９，１６２号の継続出願である、「ＳＥＮＳＯＲ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＳＴＡＣＫＥＤ ＳＥＮＳＯＲ ＬＡＹＥＲＳ」と題する、２０２０年６月２４日に出願された米国特許出願第１６／９１０，８４４号の一部継続出願であり、２０１７年７月２５日に出願され、「ＳＴＡＣＫＥＤ ＳＥＮＳＯＲ ＳＹＳＴＥＭ ＵＳＩＮＧ ＭＥＭＲＩＳＴＯＲＳ」と題する、米国仮出願第６２／５３６，６０５号の利益および優先権を主張する。また、本出願は、２０２０年５月７日に出願され、「ＳＭＡＲＴ ＳＥＮＳＯＲ」と題する、米国仮出願第６３／０２１，４７６号、および２０２０年６月１２日に出願され、「ＳＭＡＲＴ ＳＥＮＳＯＲ」と題する、米国仮出願第６３／０３８，６３６号の、利益および優先権を主張する。上記で特定された出願のそれぞれの内容は、全ての目的のために本明細書によって全体として参照により組み込まれる。
【0002】
本開示は、一般に、センサデバイスの実装形態に関し、詳細には、人工現実システムの一部であることが可能な複数の積層型センサ層を備えるセンサシステムに関する。
【背景技術】
【0003】
ヘッドマウント型ディスプレイ（ＨＭＤ：ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）システムなどの人工現実システムは、満足のいくユーザ体験をもたらすために、周辺エリアの物体の特徴をキャプチャするために複雑なセンサデバイス（カメラ）を用いる。限られた数の従来のセンサデバイスが、ＨＭＤシステムに実装され、例えば、視標追跡、手の追跡、体の追跡、広い視野による周辺エリアのスキャンなどのために利用されることが可能である。大抵の場合、従来のセンサデバイスは、周辺エリアから大量の情報をキャプチャする。大量のデータを処理することにより、従来のセンサデバイスは、簡単に飽和状態になり、処理スピードに悪影響を及ぼす恐れがある。さらに、人工現実システムに採用される従来のセンサデバイスは、計算負荷の高い演算を実施することにより、途方もなく大きいレイテンシを有しつつ、大量の電力を浪費する。
【発明の概要】
【0004】
センサアセンブリの一部または全部を囲むローカルエリアの１つまたは複数の特徴を決定するためのセンサアセンブリが、本明細書で提示される。センサアセンブリは、複数の積層型センサ層、すなわち、互いの最上部にスタックされたセンサ層を含む。センサアセンブリの最上部にある複数の積層型センサ層の第１のセンサ層は、光検出層として実装されることが可能であり、ピクセルのアレイを含む。最上部のセンサ層は、ローカルエリアにおける１つまたは複数の物体から反射された光の１つまたは複数の画像をキャプチャするように構成されることが可能である。センサアセンブリは、光検出層の下にある１つまたは複数のセンサ層をさらに含む。１つまたは複数のセンサ層は、例えば、１つまたは複数の物体の奥行き情報、画像分類子（ｉｍａｇｅ ｃｌａｓｓｉｆｉｅｒ）などの、ローカルエリアの１つまたは複数の特徴を決定するために、キャプチャされた１つまたは複数の画像に関するデータを処理するように構成されることが可能である。
【0005】
ヘッドマウント型ディスプレイ（ＨＭＤ）は、複数のセンサアセンブリをさらに統合することができる。ＨＭＤは、ＨＭＤを装着したユーザにコンテンツを表示する。ＨＭＤは、人工現実システムの一部であり得る。ＨＭＤは、電子ディスプレイ、少なくとも１つの照明源、および光学アセンブリをさらに含む。電子ディスプレイは、画像光を放つように構成される。少なくとも１つの照明源は、複数のセンサアセンブリのうちの少なくとも１つのセンサアセンブリによってキャプチャされた光でローカルエリアを照らすように構成される。光学アセンブリは、ユーザの目の場所に対応するＨＭＤのアイボックスに画像光を向けるように構成される。画像光は、キャプチャされた１つまたは複数の画像に関する処理済データに部分的に基づく、少なくとも１つのセンサアセンブリによって決定されたローカルエリアの奥行き情報を含み得る。
【0006】
いくつかの実施形態では、センサ装置は、第１のセンサ層、および第１のセンサ層と一緒にスタックを形成する１つまたは複数の半導体層を含む。第１のセンサ層は、ピクセルのアレイを含む。１つまたは複数の半導体層は、第１のセンサ層の下にあり、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを実装するように構成された機械学習（ＭＬ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）モデルアクセラレータを含み、ＣＮＮモデルは、ピクセルのアレイによって出力されたピクセルデータを処理し、ピクセルデータは、１つまたは複数のフレームに対応する。１つまたは複数の半導体層は、第１のメモリ、第２のメモリ、およびコントローラをさらに含む。第１のメモリは、ＣＮＮモデルの係数、および命令コードを格納するように構成される。第２のメモリは、ピクセルデータを格納するように構成される。コントローラは、ＭＬモデルアクセラレータ、第１のメモリ、および第２のメモリの動作を制御するための命令コードを実行するように構成される。
【図面の簡単な説明】
【0007】
【図1A】本開示の１つまたは複数の例による、ヘッドマウント型ディスプレイ（ＨＭＤ）の図である。
【図6】本開示の１つまたは複数の例による、ホスト－センサ閉ループシステムの例の図である。
【図11】本開示の１つまたは複数の例による、コンソールが動作するＨＭＤシステムのブロック図である。
【発明を実施するための形態】
【0008】
図は、本開示の例を例証のためだけに描写する。当業者は、本明細書で説明される本開示の原理、または推奨される利益から逸脱することなく、本明細書で示される構造および方法の代替例が用いられ得ることを、以下の説明から容易に認識するであろう。
【0009】
開示の技法は、人工現実システムを含むか、人工現実システムと共に実装され得る。人工現実は、ユーザへの提示の前に、いくつかの様式で調節された現実の形式であり、例えば、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）、ハイブリッド現実、またはそのいくつかの組合せおよび／もしくは派生語を含み得る。人工現実コンテンツは、全面的に生成されたコンテンツ、または、キャプチャされた（例えば、現実世界の）コンテンツと組み合わせて生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触感フィードバック、またはそのいくつかの組合せを含み得、これらのいずれかが、単一チャネルで、または複数チャネル（３次元効果を鑑賞者にもたらすステレオビデオなど）で提示され得る。さらに、いくつかの例では、人工現実は、例えば人工現実でコンテンツを作り出すために使用され、および／またはそうでなければ、人工現実で使用される（例えば、人工現実における活動を実施する）、アプリケーション、製品、アクセサリ、サービス、またはそのいくつかの組合せとも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウント型ディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または、１人もしくは複数の鑑賞者に人工現実コンテンツを提供することができる他のいずれかのハードウェアプラットフォームを含む、様々なプラットフォーム上で実装され得る。
【0010】
環境の様々な特徴を決定するための積層型センサシステムが本明細書で提示され、積層型センサシステムは人工現実システムに統合され得る。積層型センサシステムは、複数の積層型センサ層を含む。複数の積層型センサ層の各センサ層は、固有の信号処理機能を実施するための信号処理層を表し得る。環境から反射された光の強度に関するアナログセンサデータは、積層型センサシステムの最上部にある光検出層によってキャプチャされることが可能である。キャプチャされたアナログセンサデータは、例えば、光検出層の下にあるアナログ－デジタル変換（ＡＤＣ：ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ）層を介して、アナログドメインからデジタルドメインに変換されることが可能である。デジタルセンサデータは、次に、ＡＤＣ層の下にある積層型センサシステムの少なくとも１つの信号処理層に提供されることが可能である。少なくとも１つの信号処理層は、デジタルセンサデータを処理して、環境の１つまたは複数の特徴を決定するはずである。
【0011】
いくつかの例では、複数の積層型センサシステムは、ＨＭＤに統合される。積層型センサシステム（例えば、センサデバイス）は、ＨＭＤの一部または全部を囲むローカルエリアの奥行き情報を含む、環境の様々な特徴を表すデータをキャプチャし得る。ＨＭＤは、ＨＭＤを装着したユーザにコンテンツを表示する。ＨＭＤは、人工現実システムの一部であり得る。ＨＭＤは、電子ディスプレイおよび光学アセンブリをさらに含む。電子ディスプレイは、画像光を放つように構成される。光学アセンブリは、ユーザの目の場所に対応するＨＭＤのアイボックスに画像光を向けるように構成される。画像光は、複数の積層型センサシステムのうちの少なくとも１つによって決定されたローカルエリアの奥行き情報を含み得る。
【0012】
いくつかの他の例では、複数の積層型センサシステムは、ＮＥＤを表す眼鏡型プラットフォームに統合されることが可能である。ＮＥＤは、人工現実システムの一部であり得る。ＮＥＤは、ユーザにメディアを提示する。ＮＥＤによって提示されるメディアの例は、１つもしくは複数の画像、ビデオ、オーディオ、またはそのいくつかの組合せを含む。ＮＥＤは、電子ディスプレイおよび光学アセンブリをさらに含む。電子ディスプレイは、画像光を放つように構成される。光学アセンブリは、ユーザの目の場所に対応するＮＥＤのアイボックスに画像光を向けるように構成される。画像光は、複数の積層型センサシステムのうちの少なくとも１つによって決定されたローカルエリアの奥行き情報を含み得る。
【0013】
図１Ａは、１つまたは複数の例による、ＨＭＤ１００の図である。ＨＭＤ１００は、人工現実システムの一部であり得る。ＡＲシステムおよび／またはＭＲシステムを表す例において、ＨＭＤ１００の正面１０２の一部が、可視帯（～３８０ｎｍから７５０ｎｍまで）において少なくとも部分的に透明であり、ＨＭＤ１００の正面１０２とユーザの目との間にあるＨＭＤ１００の一部が、少なくとも部分的に透明である（例えば、部分的に透明な電子ディスプレイ）。ＨＭＤ１００は、前面剛体１０５、バンド１１０、および基準点１１５を含む。
【0014】
前面剛体１０５は、１つまたは複数の電子ディスプレイ要素（図１Ａに図示せず）、１つまたは複数の統合視標追跡システム（図１Ａに図示せず）、慣性計測ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１２０、１つまたは複数の位置センサ１２５、および基準点１１５を含む。図１Ａによって示された実施形態では、位置センサ１２５は、ＩＭＵ１２０の内部にあり、ＩＭＵ１２０も位置センサ１２５も、ＨＭＤ１００のユーザには見えない。ＩＭＵ１２０は、位置センサ１２５のうちの１つまたは複数から受け取られた測定信号に基づいてＩＭＵデータを生成する電子デバイスである。位置センサ１２５は、ＨＭＤ１００の動きに応答して、１つまたは複数の測定信号を生成する。位置センサ１２５の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵ１２０の誤差訂正に使用されるセンサの一種、またはそのいくつかの組合せを含む。位置センサ１２５は、ＩＭＵ１２０の外部にあっても、ＩＭＵ１２０の内部にあっても、またはそのいくつかの組合せでもよい。
【0015】
ＨＭＤ１００は、前面剛体１０５に組み込まれ得るセンサデバイス（カメラ）１３０の分散型ネットワークを含む。図１Ａには示されていないが、少なくとも１つのセンサデバイス１３０が、バンド１１０にも組み込まれ得ることに留意されたい。各センサデバイス１３０は、比較的小型のカメラとして実装され得る。センサデバイス１３０の分散型ネットワークは、複数の大きい従来のカメラを置き換え得る。いくつかの例では、ＨＭＤ１００に組み込まれた分散型ネットワークの各センサデバイス１３０は、限定的な所定の解像度の極小チップカメラとして実装され、例えば、各センサデバイス１３０は、１００×１００ピクセルのアレイまたは２００×２００ピクセルのアレイを含み得る。いくつかの例では、分散型ネットワークにおける各センサデバイス１３０は、ＨＭＤ１００に統合された他のいずれかのセンサデバイス１３０の視野と重複しない視野を有する。これは、周辺エリアからの大量の重複データのキャプチャを引き起こし得る大きい従来のカメラの重複する視野とは、対照的である。ＨＭＤ１００は、各センサデバイス１３０に関連付けられた撮像開口部も含み得る（図１Ａに図示せず）。センサデバイス１３０は、周辺エリアから反射された光を、撮像開口部を通じてキャプチャし得る。
【0016】
センサデバイス１３０の分散型ネットワークにおける各センサデバイス１３０が、ＨＭＤ１００に組み込まれた中央処理装置（ＣＰＵ）またはコントローラ１３５への独自の直接リンク（バス）を有するのは非実用的なはずであることに留意されたい。その代わり、各個々のセンサデバイス１３０は、拡張可能な様式で共有バス（図１Ａに図示せず）を介してコントローラ１３５に連結され、したがって、ＨＭＤ１００に組み込まれたセンサデバイス１３０の拡張可能なネットワークを提供し得る。センサデバイス１３０の拡張可能なネットワークは、冗長システムとしてみなされる可能性がある。一緒に組み合わされると、センサデバイス１３０は、大きい従来のカメラによって典型的に導入される視野（例えば、１８０度）より遙かに大きい視野（例えば、３６０度）をカバーする。センサデバイス１３０によって取得される視野が広くなると、堅牢性が向上する。
【0017】
ＨＭＤ１００に組み込まれたセンサデバイス１３０全部を、常に活性化させておく（すなわち、オンにしておく）必要はないことに留意されたい。いくつかの例では、コントローラ１３５は、例えば特定の状況に基づいて、センサデバイス１３０の第１のサブセットを動的に活性化させ、センサデバイス１３０の第２のサブセットを不活性化するように構成される。１つまたは複数の例では、ＨＭＤ１００上で動かす特定のシミュレーションに応じて、コントローラ１３５は、センサデバイス１３０の特定の部分を不活性化させ得る。例えば、スキャンするのに好ましい環境の一部を特定した後、特定のセンサデバイス１３０は活性化されたままであることが可能であり、その一方で、センサデバイス１３０の分散型ネットワークによって浪費される電力を節約するために、他のセンサデバイス１３０が不活性化されることが可能である。
【0018】
センサデバイス１３０、またはセンサデバイス１３０のグループは、例えば、ある期間内に、１つまたは複数の動く物体、および１つまたは複数の動く物体に関する固有の特徴を追跡することができる。この期間内に取得された動く物体に関する特徴は、次に、例えばコントローラ１３５からの命令に基づいて、その後の期間内の継続的な追跡のために、別のセンサデバイス１３０、またはセンサデバイス１３０の別のグループに渡され得る。例えば、ＨＭＤ１００は、３次元世界におけるユーザ特定および頭部姿勢追跡のための「ランドマーカ」として、シーンで抽出された特徴を使用し得る。ユーザの頭に関連付けられた特徴は、例えば１つのセンサデバイス１３０によって、ある瞬間に抽出され得る。次の瞬間において、ユーザの頭は動き得、別のセンサデバイス１３０が活性化され、同じ特徴を特定して頭部追跡を実施し得る。コントローラ１３５は、動く物体の同じ特徴（例えば、ユーザの頭）を、どの新しいセンサデバイス１３０がキャプチャする可能性があり得るかを予測するように構成され得る。１つまたは複数の例では、コントローラ１３５は、ＩＭＵ１２０によって取得されたＩＭＵデータを利用して粗い予測を実施し得る。このシナリオでは、追跡される特徴についての情報は、例えば粗い予測に基づいて、１つのセンサデバイス１３０から別のセンサデバイス１３０に渡され得る。活性状態のセンサデバイス１３０の数は、特定の瞬間に実施された特定のタスクに応じて、（例えば、コントローラ１３５からの命令に基づいて）動的に調節され得る。さらに、１つのセンサデバイス１３０が、環境の特定の特徴の抽出を実施すること、および、さらに処理し別のセンサデバイス１３０に渡すために、抽出された特徴データをコントローラ１３５に提供することを行うことができる。したがって、センサデバイス１３０の分散型ネットワークにおける各センサデバイス１３０は、限定的な量のデータを処理し得る。対照的に、ＨＭＤシステムに統合された従来のセンサデバイスは、通常、大量のデータの継続的な処理を実施し、これは、より一層電力を消費する。
【0019】
いくつかの例では、ＨＭＤ１００に統合された各センサデバイス１３０は、特定のタイプの処理のために構成されることが可能である。例えば、少なくとも１つのセンサデバイス１３０は、例えば尖った角の判定、手の追跡など、環境の様々な特徴を追跡するようにカスタマイズされることが可能である。さらに、各センサデバイス１３０は、他の特徴を無視しつつ、１つまたは複数の特定のランドマーク特徴を検出するようにカスタマイズされることが可能である。いくつかの例では、各センサデバイス１３０は、例えば、特徴の座標、および特徴の説明など、特定の特徴についての情報を提供する早期処理を実施することができる。早期処理をサポートするために、図２～図５と共により詳細に論じられるように、特定の処理回路がセンサデバイス１３０に組み込まれ得る。センサデバイス１３０は、次に、早期処理に基づいて取得されたデータを、例えばコントローラ１３５に渡し、したがって、センサデバイス１３０とコントローラ１３５との間で通信されるデータの量を低減させることができる。このようにして、センサデバイス１３０とコントローラ１３５との間の帯域幅要件を保護しつつ、センサデバイス１３０のフレームレートを増加させることができる。さらに、コントローラ１３５の電力浪費および処理レイテンシは、センサデバイス１３０で部分的な処理が実施され、コントローラ１３５の計算負担が低減され、１つまたは複数のセンサデバイス１３０に分散されるので、低減されることが可能である。センサデバイス１３０で実施される部分的かつ早期の処理の別の長所は、コントローラ１３５の内部メモリ（図１Ａに図示せず）への画像フレームの格納のためのメモリ要件の低減を含む。さらに、コントローラ１３５の電力消費量は、メモリアクセスが少なくなると電力浪費が少なくなるので、低減され得る。
【0020】
１つの実施形態では、センサデバイス１３０は、例えば、ＨＭＤ１００の一部または全部を囲む環境の最大１０個の特徴の抽出用にカスタマイズされた、処理回路に連結された１００×１００ピクセルのアレイまたは２００×２００ピクセルのアレイを含むことができる。別の実施形態では、センサデバイス１３０の処理回路は、例えば、正確な手の追跡を実施するのに要求され得るユーザの手の最大２０個の複合的な場所を追跡するように訓練された、ニューラルネットワークとして動作するようにカスタマイズされることが可能である。さらに他の実施形態では、顔の追跡のために、少なくとも１つのセンサデバイス１３０が用いられることが可能であり、例えば、ユーザの口および顔の動きがキャプチャされることが可能である。この場合、少なくとも１つのセンサデバイス１３０が、ユーザの顔の特徴の追跡を容易にするために、下の方に向けられることが可能である。
【0021】
ＨＭＤ１００に統合された各センサデバイス１３０は、このセンサデバイス１３０のために定義された閾値レベルを上回るレベルの信号対雑音比（ＳＮＲ：ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ）を提供し得ることに留意されたい。センサデバイス１３０が特定のタスク用にカスタマイズされるので、カスタマイズされたセンサデバイス１３０の感度は、従来のカメラに比べて、改善されることが可能である。センサデバイス１３０の分散型ネットワークは冗長システムであり、好ましいレベルのＳＮＲをもたらす分散型ネットワークのセンサデバイス１３０を（例えば、コントローラ１３５によって）選択することができることにも留意されたい。このようにして、センサデバイス１３０の分散型ネットワークの正確さおよび堅牢性の追跡が、大いに改善されることが可能である。また、各センサデバイス１３０は、例えば赤外線および／または可視スペクトルなど、拡張された波長範囲で動作するように構成され得る。
【0022】
いくつかの例では、センサデバイス１３０は、シリコンベースのフォトダイオードのアレイを含む光検出層を含む。代替の例では、センサデバイス１３０の光検出層は、改善された感度および波長範囲をもたらし得る、シリコンベースでない材料および技術を使用して実装されることが可能である。１つの実施形態では、センサデバイス１３０の光検出層は、１０００ｎｍより長い波長を有する光をキャプチャするのに適した、有機フォトニックフィルム（ＯＰＦ：ｏｒｇａｎｉｃ ｐｈｏｔｏｎｉｃ ｆｉｌｍ）光検知材料がベースである。別の実施形態では、センサデバイス１３０の光検出層は、量子ドット（ＱＤ：Ｑｕａｎｔｕｍ Ｄｏｔ）光検知材料がベースである。ＱＤベースのセンサデバイス１３０は、例えば、低い可視性の（例えば、夜間の）屋外環境に関連したＡＲシステムおよびアプリケーションへの統合に適したものであり得る。したがって、例えばおよそ１μｍから２．５μｍまでの長波長非可視範囲の、すなわち、短波長赤外線範囲の、利用可能な環境光が主としてある。最適化されたＱＤフィルムをベースとして実装されたセンサデバイス１３０の光検出層は、可視光および短波長赤外光の両方を検出することができ、その一方で、シリコンベースのフィルムは、およそ１．１μｍ周辺の光の波長にだけ高感度であり得る。
【0023】
いくつかの例では、前面剛体１０５に組み込まれ、分散型センサネットワークのセンサデバイス１３０に連結されたコントローラ１３５は、センサデバイス１３０からのキャプチャされた情報を組み合わせるように構成される。コントローラ１３５は、異なるセンサデバイス１３０によって収集された異なる特徴に関連付けられたデータを正しく統合するように構成され得る。いくつかの例では、コントローラ１３５は、センサデバイス１３０のうちの１つまたは複数によってキャプチャされたデータに基づいて、ＨＭＤ１００の一部または全部を囲むローカルエリアにおける１つまたは複数の物体の奥行き情報を決定する。
【0024】
図１Ｂは、１つまたは複数の例による、図１Ａに示されたＨＭＤ１００の前面剛体１０５の横断面１５０である。前面剛体１０５は、センサデバイス１３０、センサデバイス１３０に連結されたコントローラ１３５、電子ディスプレイ１５５、および光学アセンブリ１６０を含む。電子ディスプレイ１５５および光学アセンブリ１６０は共に、画像光をアイボックス１６５に提供する。アイボックス１６５は、ユーザの目１７０によって占有される空間の領域である。例証のために、図１Ｂは、単一の目１７０に関連付けられた横断面１５０を示すが、光学アセンブリ１６０とは別個の別の光学アセンブリ１６０が、変化した画像光をユーザの別の目に提供する。
【0025】
電子ディスプレイ１５５は、光学アセンブリ１６０の方に画像光を放つ。様々な例において、電子ディスプレイ１５５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザのそれぞれの目のためのディスプレイ）を備え得る。電子ディスプレイ１５５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、いくつかの他のディスプレイ、プロジェクタ、またはそのいくつかの組合せを含む。電子ディスプレイ１５５は、開口部、フレネルレンズ、凸レンズ、凹レンズ、回折素子、導波路、フィルタ、偏光子、ディフューザ、ファイバテーパ、反射面、偏光反射面、または、電子ディスプレイ１５５から放たれた画像光に影響を及ぼす他のいずれかの適切な光学素子も含み得る。いくつかの例では、電子ディスプレイ１５５は、反射防止コーティングなどの、１つまたは複数のコーティングを有し得る。
【0026】
光学アセンブリ１６０は、電子ディスプレイ１５５から放たれた画像光を受け取り、画像光を、ユーザの目１７０のアイボックス１６５に向ける。光学アセンブリ１６０は、また、受け取られた画像光を拡大し、画像光に関連付けられた光学収差を補正し、補正された画像光が、ＨＭＤ１００のユーザに提示される。いくつかの例では、光学アセンブリ１６０は、電子ディスプレイ１５５から放たれた画像光のビームをコリメートするためのコリメーション要素（レンズ）を含む。光学アセンブリ１６０の少なくとも１つの光学素子は、開口部、フレネルレンズ、屈折レンズ、反射面、回折素子、導波路、フィルタ、または、電子ディスプレイ１５５から放たれた画像光に影響を及ぼす他のいずれかの適切な光学素子であり得る。その上、光学アセンブリ１６０は、異なる光学素子の組合せを含み得る。いくつかの例では、光学アセンブリ１６０の光学素子のうちの１つまたは複数が、反射防止コーティング、ダイクロイックコーティングなどの、１つまたは複数のコーティングを有し得る。光学アセンブリ１６０による画像光の拡大は、電子ディスプレイ１５５の要素が物理的により小さくなること、重量が減ること、およびより大きいディスプレイより電力を消費しなくなることを可能にする。さらに、拡大は、表示されたメディアの視野を広くし得る。例えば、表示されたメディアの視野は、ユーザの視野のほぼ全て（例えば、１１０度の対角線）、および場合によっては全てを使用して、表示されたメディアが提示されるようなものである。いくつかの例では、光学アセンブリ１６０は、その有効焦点距離が、電子ディスプレイ１５５の間隔より大きく、電子ディスプレイ１５５によって投影された画像光を拡大するように、設計される。さらに、いくつかの例では、拡大の量は、光学素子を追加または除去することによって、調節され得る。
【0027】
いくつかの例では、前面剛体１０５は、ユーザの目１７０の視標追跡情報を決定する視標追跡システム（図１Ｂに図示せず）をさらに備える。決定された視標追跡情報は、アイボックス１６５におけるユーザの目１７０の位置（向きを含む）についての情報、すなわち、視線の角度についての情報を含み得る。１つの実施形態では、視標追跡システムは、ストラクチャードライトでユーザの目１７０を照らす。視標追跡システムは、ユーザの目の表面から反射され、視標追跡システムのカメラによってキャプチャされた、ストラクチャードライトのパターンの変形に基づいて、ユーザの目１７０の位置を決定することができる。別の実施形態では、視標追跡システムは、複数の瞬間にわたってキャプチャされた画像光の光度に基づいて、ユーザの目１７０の位置を決定する。
【0028】
いくつかの例では、前面剛体１０５は、可変焦点モジュール（図１Ｂに図示せず）をさらに備える。可変焦点モジュールは、視標追跡システムから取得された視標追跡情報に基づいて、電子ディスプレイ１５５に表示された１つまたは複数の画像の焦点を調節し得る。１つの実施形態では、可変焦点モジュールは、表示された画像の焦点を調節し、決定された視標追跡情報に基づいて光学アセンブリ１６０の焦点距離を調節することによって、輻輳調節矛盾を軽減する。他の実施形態では、可変焦点モジュールは、決定された視標追跡情報に基づいて、１つまたは複数の画像の中心窩レンダリング（ｆｏｖｅａｔｅｄ ｒｅｎｄｅｒｉｎｇ）を実施することによって、表示された画像の焦点を調節する。
【0029】
図２は、１つまたは複数の例による、複数の積層型センサ層を含むセンサアセンブリ２００の断面図である。センサアセンブリ２００は、図１ＡのＨＭＤ１００のセンサデバイス１３０の実施形態であり得る。いくつかの例では、センサアセンブリ２００は、互いの最上部にスタックされたシリコンの複数の層を含む。代替例では、センサアセンブリ２００の複数の積層型センサ層のうちの少なくとも１つの層が、非シリコン光検出材料をベースとして実装される。センサアセンブリ２００の最上部のセンサ層は、光検出用にカスタマイズされ得、光検出層２０５と呼ばれることが可能である。光検出層２０５は、ピクセル２１０の２次元アレイを備え得る。光検出層２０５の各ピクセル２１０は、光検出層２０５の下の、センサアセンブリ２００内にある処理層２２０の処理回路２１５と、例えば銅接合（図２に図示せず）を介して、直接的に連結され得る。
【0030】
図２に示されるような複数のセンサ層（ウエハ）のスタッキングは、ピクセル解像度毎に、光検出層２０５と処理層２２０との間の銅接合を可能にする。２つのウエハを向かい合わせて置くことによって、センサアセンブリ２００の１つのウエハからセンサアセンブリ２００の別のウエハへの銅パッド接続は、ピクセルレベル毎に行われることが可能であり、すなわち、単一のピクセルに対応する電気信号２２５が、光検出層２０５から、処理層２２０の処理回路２１５に送られることが可能である。１つまたは複数の例では、処理層２２０と、センサアセンブリ２００の複数の積層構造における少なくとも１つの他の層との間の相互接続が、例えば「シリコン貫通電極」（ＴＳＶ：ｔｈｒｏｕｇｈ ｓｉｌｉｃｏｎ ｖｉａ）技術を使用して、実現されることが可能である。ＴＳＶの幾何学サイズ（例えば、およそ１０μｍ）により、処理層２２０と、センサアセンブリ２００の少なくとも１つの他の層との間の相互接続は、ピクセルレベルにおけるものではなく、依然として非常に高密度なものであることが可能である。いくつかの例では、１マイクロメートル以下の同様のピッチの、より小型化されたＴＳＶ（例えば、マイクロＴＳＶ）は、より細かい３次元接続を可能にするために、処理層２２０と、層と、センサアセンブリ２００の少なくとも１つの他の層との間でも使用されることが可能である。
【0031】
いくつかの例では、ウエハスケーリングを採用することによって、小型のセンサアセンブリ２００が効率的に実装されることが可能である。例えば、光検出層２０５のウエハは、例えば４５ｎｍプロセス技術を使用して、実装されることが可能であり、その一方で、処理層２２０のウエハは、例えば２８ｎｍ以下のプロセス技術など、より先進的なプロセス技術を使用して実装されることが可能である。２８ｎｍプロセス技術のトランジスタは、非常に小さい面積を占有するので、多くのトランジスタが、処理層２２０の小さい面積に適合されることが可能である。例証的実施形態では、センサアセンブリ２００は、およそ１０ｍＷの電力浪費を有する１ｍｍ×１ｍｍ×１ｍｍの立方体として実装されることが可能である。比較として、従来のセンサ（カメラ）は、光検出ピクセルアレイ、および単一のシリコン層に実装された処理回路を備え、全センサ面積は、全ての機能ブロックの面積の合計として決定される。図２に示された実施形態におけるような垂直スタッキングの恩恵がない場合、従来のセンサは、センサアセンブリ２００より遙かに大きい面積を占有する。
【0032】
図３Ａは、１つまたは複数の例による、複数の積層型センサ層を備えるセンサアセンブリ３００の詳細な図である。センサアセンブリ３００は、図１Ａのセンサデバイス１３０の実施形態、および図２のセンサアセンブリ２００の実施形態であり得る。いくつかの例では、光検出層３０５は、センサアセンブリ３００の最上部に位置付けられ得、例えばフォトダイオードの２次元アレイなどの、ピクセル３１０のアレイを備え得る。センサアセンブリ３００の処理回路が、光検出層３０５の下の他の層に統合されることが可能なので、光検出層３０５は、光検出のためだけにカスタマイズされることが可能である。したがって、光検出層３０５の面積は、比較的小さいことが可能であり、光検出層３０５は、限定的な量の電力を浪費し得る。いくつかの例では、アナログ信号（例えば、光検出層３０５によってキャプチャされた光の強度）の、デジタルデータへの変換用にカスタマイズされたＡＤＣ層３１５は、光検出層３０５の直下に置かれ得る。ＡＤＣ層３１５は、（例えば、その処理回路またはＡＤＣロジックによって、詳細は図３に図示せず）光検出層３０５のピクセル３１０によってキャプチャされた光の強度のアナログ値を、例えば画像フレームデータに対応するデジタル値に、変換するように構成され得る。ＡＤＣ層３１５は、変換後に取得されたデジタル値を格納するためのメモリ（図３に図示せず）も含み得る。
【0033】
いくつかの例では、特徴抽出用にカスタマイズされた処理回路を含む特徴抽出層３２０が、ＡＤＣ層３１５の直下に置かれ得る。特徴抽出層３２０は、例えばＡＤＣ層３１５によって生成されたデジタルセンサデータを格納するための、メモリも含み得る。特徴抽出層３２０は、ＡＤＣ層３１５から取得されたデジタルセンサデータから１つまたは複数の特徴を抽出するように構成され得る。特徴抽出層３２０は、特定の特徴を抽出するようにカスタマイズされるので、特徴抽出層３２０は、小さい面積サイズを占有し、限定的な量の電力を浪費するように効率的に設計され得る。特徴抽出層３２０についてのさらなる詳細が、図４と共に提供される。
【0034】
いくつかの例では、畳み込みニューラルネットワーク（ＣＮＮ）層３２５が、特徴抽出層３２０の直下に、または特徴抽出の処理回路と同じ層に置かれ得る。ＣＮＮ層３２５のニューラルネットワークロジックは、例えば、特定の特徴、または特徴抽出層３２０によって取得された特徴のセットについての情報を伴うデータなど、特定の入力データ用に訓練および最適化され得る。入力データは完全に予想されるので、ＣＮＮ層３２５のニューラルネットワークロジックは、特定のタイプの特徴抽出データ用に効率的に実装およびカスタマイズされ、処理レイテンシが低減され、電力浪費が少なくなり得る。
【0035】
いくつかの例では、ＣＮＮ層３２５は、画像分類および認識用途を実施するように設計される。ＣＮＮ層３２５のニューラルネットワークロジックの訓練は、オフラインで実施され得、ＣＮＮ層３２５のニューラルネットワークロジックのネットワーク重みは、画像分類および認識のためにＣＮＮ層３２５を利用する前に訓練され得る。１つまたは複数の例では、ＣＮＮ層３２５は、推論を実施するため、すなわち、訓練済みのネットワーク重みを入力画像に適用して、例えば画像分類子などの、出力を決定するために、実装される。一般的なＣＮＮアーキテクチャを設計するのとは対照的に、ＣＮＮ層３２５は、カスタムおよび専用ニューラルネットワークとして実装され得、好ましいレベルの電力浪費、面積サイズ、および効率性（計算スピード）のために設計されることが可能である。
【0036】
図３Ｂは、ＣＮＮ層３２５に実装可能なＣＮＮ３２６の実例のアーキテクチャを示す。ＣＮＮ３２６は、（１）畳み込み、（２）非線形関数（例えば、ＲｅＬＵ）、（３）プーリングまたはサブサンプリング、および（４）分類（完全接続層）という、４つの主な演算を含み得る。これらの演算は、あらゆる畳み込みニューラルネットワークの基本的なビルディングブロックであり得る。異なるＣＮＮが、これらの４つの主な演算の異なる組合せを有し得る。
【0037】
入力画像３２７ａなどの、分類されることになる画像は、ピクセル値の行列で表され得る。入力画像３２７ａは、複数のチャネルを含み得、各チャネルは、画像の特定の構成要素を表す。例えば、デジタルカメラからの画像は、赤チャネル、緑チャネル、および青チャネルを有し得る。各チャネルは、０から２５５までの範囲（すなわち、８ビット）のピクセル値を有するピクセルの２Ｄ行列で表され得る。グレースケール画像は、ただ１つのチャネルを有し得る。以下の説明では、ＣＮＮ３２６を使用した単一の画像チャネルの処理が説明される。他のチャネルが、同様に処理され得る。
【0038】
図３Ｂに示されているように、入力画像３２７ａは、（図３Ｂに［Ｗ０］とラベル付けされた）第１の重みアレイを使用して、第１の畳み込み層３２８ａによって処理され得る。第１の畳み込み層３２６ａは、複数のノードを含み得、各ノードは、入力画像３２７ａのピクセルを第１の重みアレイの重みで乗算させるために割り当てられる。畳み込み演算の一部として、入力画像３２７ａのピクセルのブロックが第１の重みアレイで乗算され、合計を生成することが可能である。次に、出力を生成するために、各合計が非線形活性化関数（例えば、ＲｅＬＵ、ソフトウェアマックスなど）で処理され、出力は、出力行列３２７ｂを形成することができる。第１の重みアレイは、例えば、入力画像３２７ａから特定の基本特徴（例えば、エッジなど）を抽出するために、使用されることが可能であり、出力行列３２７ｂは、基本特徴マップとして、基本特徴の分布を表すことができる。出力行列（または特徴マップ）３２７ｂは、プーリング層３２８ｂに渡され得、ここで、行列３２７ｃを生成するために、プーリング層３２８ｂによって、出力行列３２７ｂがサブサンプリングまたはダウンサンプリングされ得る。
【0039】
行列３２７ｃは、図３Ｂに［Ｗ１］とラベル付けされた）第２の重みアレイを使用して、第２の畳み込み層３２８ｃによって処理され得る。第２の重みアレイは、例えば、行列３２７ｃから、手などの、物体に固有の特徴のパターンを識別するために、使用されることが可能である。畳み込み演算の一部として、合計を生成するために、行列３２７ｃのピクセルのブロックが第２の重みアレイで乗算されることが可能である。各合計は、次に、出力を生成するために非線形活性化関数（例えば、ＲｅＬＵ、ソフトマックスなど）で処理され、出力は、出力行列３２７ｄを形成することができる。非線形活性化関数（例えば、ＲｅＬＵ）は、第１の畳み込み層３２８ａにおけるように、第２の畳み込み層３２８ｃによっても実施され得る。第２の畳み込み層３２８ｃからの出力行列３２７ｃ（または特徴マップ）は、手を表す特徴の分布を表し得る。出力行列３２７ｄは、プーリング層３２８ｄに渡され得、ここで、行列３２７ｅを生成するために、出力行列３２７ｄがサブサンプリングまたはダウンサンプリングされ得る。
【0040】
行列３２７ｅは、次に、多層パーセプトロン（ＭＬＰ）を含むことができる完全接続層３２８ｅを通じて渡されることが可能である。完全接続層３２８ｅは、（例えば、画像３２７ａの物体が手を表すかどうかを分類するために）行列３２７ｅに基づいて分類演算を実施することができる。完全接続層３２８ｅは、また、（図３Ｂに［Ｗ２］とラベル付けされた）第３の重みアレイで行列３２７ｅを乗算して合計を生成することができ、合計は、また、分類出力３２７ｆを生成するために、活性化関数（例えば、ＲｅＬｕ、ソフトマックスなど）で処理されることが可能である。
【0041】
ＣＮＮ３２６は、様々な技法を使用して、ＣＮＮ層３２５に実装されることが可能である。例えば、下記で説明されるように、ＣＮＮ３２６は、インメモリコンピュートでサポートされる機械学習ハードウェアアクセラレータに実装されることが可能である。インメモリコンピュートは、例えば、行列転置、再形成などを実施するために、メモリでリード／ライト動作を実施することを含むことができる。いくつかの例では、インメモリコンピュートは、図５で説明されるような、メモリスタのアレイによって実施可能な行列乗算を含むことができる。
【0042】
いくつかの例では、特定の処理タスク用にカスタマイズされたセンサアセンブリ３００の各センサ層３０５、３１５、３２０、３２５は、シリコンベースの技術を使用して実装されることが可能である。代替として、センサ層３０５、３１５、３２０、３２５のうちの少なくとも１つが、例えば、ＯＰＦ光検出材料および／またはＱＤ光検出材料などの、非シリコン光検出材料に基づいて実装され得る。いくつかの例では、フォトダイオードをベースとするピクセル３１０のアレイを含むシリコンベースの光検出層３０５の代わりに、非シリコン光検出層３３０が、センサアセンブリ３００の最上部に置かれることが可能である。１つの実施形態では、非シリコン光検出層３３０は、ＱＤ光検出材料の光検出層として実装され、ＱＤ光検出層と呼ばれることが可能である。いくつかの例では、非シリコン光検出層３３０は、ＯＰＦ光検出材料の光検出層として実装され、ＯＰＦ光検出層と呼ばれることが可能である。いくつかの例では、例えば、少なくとも１つのシリコンベースの光検出層３０５、および少なくとも１つの非シリコンベースの光検出層３３０など、２つ以上の光検出層が、センサアセンブリ３００において光検出のために使用されることが可能である。
【0043】
いくつかの例では、光検出層３０５とＡＤＣ層３１５との間の層間連結のために、直接銅接合が使用されることが可能である。図３Ａに示されているように、光検出層３０５のピクセル３１０と、ＡＤＣ層３１５の処理回路（ＡＤＣロジック）との間のインターフェースとして、銅パッド３３５が使用され得る。例えば、光検出層３０５が２０Ｍピクセルカメラとして実装される場合、最大およそ２０メガの銅パッド接続３３５が、光検出層３０５と、ＡＤＣ層３１５の処理回路との間に実装され得る。光検出層３０５のピッチは、例えば、およそ１μｍから２μｍまでなど、比較的小さくなり得ることに留意されたい。
【0044】
いくつかの例では、論じられるように、光検出層３０５の下のセンサアセンブリ３００にあるセンサ層の間の相互接続は、例えばＴＳＶ技術を使用して、実現されることが可能である。図３Ａを再び参照すると、ＴＳＶインターフェース３４０は、並列ＴＳＶおよび／またはマイクロＴＳＶを含むことができ、ＡＤＣ層３１５のＡＤＣロジック／メモリを、特徴抽出層３２０の特徴抽出ロジックと相互接続し得る。ＴＳＶインターフェース３４０は、ＡＤＣ層３１５によって取得されたデジタルセンサデータを、１つまたは複数の固有の特徴の抽出のために、特徴抽出層３２０に提供し得、デジタルセンサデータは、光検出層３０５によってキャプチャされた画像データに関するものであり得る。同様に、特徴抽出層３２０の特徴抽出ロジックを、ＣＮＮ層３２５のニューラルネットワークロジックと相互接続するために、別のＴＳＶインターフェース３４５が使用され得る。ＴＳＶインターフェース３４５は、例えば画像分類および／または認識のために、特徴抽出層３２０の特徴抽出ロジックによって取得された特徴抽出データを、ＣＮＮ層３２５のニューラルネットワークロジックへの入力として提供し得る。
【0045】
いくつかの例では、光学アセンブリ３５０は、シリコンベースの光検出層３０５（または非シリコンベースの光検出層３３０）の最上部に位置付けられ得る。光学アセンブリ３５０は、センサアセンブリ３００を囲むローカルエリアの１つまたは複数の物体から反射された光の少なくとも一部分を、シリコンベースの光検出層３０５のピクセル３１０（または非シリコンベースの光検出層３３０のセンサ素子）に向けるように構成され得る。いくつかの例では、光学アセンブリ３５０は、シリコンベースの光検出層３０５（または非シリコンベースの光検出層３３０）の最上部にウエハの１つまたは複数の層（図３Ａに図示せず）をスタックすることによって実装されることが可能である。光学アセンブリ３５０の各ウエハは、ガラスウエハとして実装され得、光学アセンブリ３５０の個々のレンズ要素を表す。１つまたは複数の例では、光学アセンブリ３５０の個々のレンズ要素の反射面として機能するように、ガラスウエハの上面および／または底面に、ポリマーベースの材料が成形されることが可能である。この技術は、ウエハレベル光学系と呼ばれることが可能である。さらに、隣接したガラス層の間の空間を調節するために、光学アセンブリ３５０の隣接したガラスウエハ（層）のペアの間に、スペーサ（図３に図示せず）が含まれることが可能である。
【0046】
いくつかの例では、光学アセンブリ３５０の全てのガラスウエハ、およびセンサ層３０５、３１５、３２０、３２５の全てのシリコンウエハが一緒に製造およびスタックされることが可能であり、その後、センサアセンブリ３００の１つの具体例を得るために、各個々のセンサ－レンズユニットがウエハスタックからさいの目に切られる。製造が終了すると、ウエハスタックから得られた各立方体は、例えば、図３のセンサアセンブリ３００などの、完全な十分機能的なカメラになる。センサアセンブリ３００は、閾値体積より小さい所定の体積サイズの立方体としてセンサアセンブリ３００を実装するのを容易にする、センサ層３０５、３１５、３２０、３２５用のプラスチックハウジングを全く必要としないことを理解されたい。
【0047】
いくつかの例では、非シリコンベースの光検出層３３０（例えば、ＱＤ光検出層またはＯＰＦ光検出層）がセンサアセンブリ３００の一部であるとき、非シリコンベースの光検出層３３０は、ＡＤＣ層３１５に直接連結され得る。非シリコンベースの光検出層３３０のセンサ素子（ピクセル）と、ＡＤＣ層３１５との間の電気接続は、銅パッドとして作られてもよい。この場合、非シリコンベースの光検出層３３０は、他のセンサ層３１５、３２０、３２５全てがスタックされた後、ＡＤＣ層３１５の上に堆積されることが可能である。非シリコンベースの光検出層３３０がＡＤＣ層３１５の上に堆積された後、光学アセンブリ３５０が、非シリコンベースの光検出層３３０の最上部に適用される。
【0048】
図４は、１つまたは複数の例による、積層型センサアセンブリにおける連結されたセンサ層の実例のセンサアーキテクチャ４００である。センサアーキテクチャ４００は、例えばＴＳＶインターフェースを介して、特徴抽出回路４１０に連結されたセンサ回路４０５を含み得る。センサアーキテクチャ４００は、図３のセンサアセンブリ３００の少なくとも２つのセンサ層の一部として実装され得る。いくつかの例では、センサ回路４０５は、光検出層３０５およびＡＤＣ層３１５の一部であり得、その一方で、特徴抽出回路４１０は、特徴抽出層３２０の一部であり得る。
【0049】
センサ回路４０５は、センサデータを獲得して事前処理し、その後、例えばＴＳＶインターフェースを介して、獲得されたセンサデータを特徴抽出回路４１０に提供し得る。センサデータは、例えば、デジタルピクセルのＭ×Ｎアレイなど、ピクセルの２次元アレイ４１５によってキャプチャされた画像に対応し得、ここで、ＭおよびＮは、同じまたは異なる値の整数である。ピクセルの２次元アレイ４１５は、図３のセンサアセンブリ３００の光検出層３０５の一部であり得ることに留意されたい。さらに、ピクセルの２次元アレイ４１５は、図３のＡＤＣ層３１５の一部であり得る、ＡＤＣロジックとのインターフェース（図４に図示せず）をピクセル毎に含み得る。マルチプレクサ４２５の出力からのピクセルデータ４２０は、キャプチャされた画像に関するデジタルセンサデータを含み得る。ピクセルデータ４２０は、ラインバッファ４３０に格納され、１つまたは複数の固有の特徴の抽出のために、例えばＴＳＶインターフェースを介して、特徴抽出回路４１０に提供され得る。ローストリーミング出力４４０を生成するために、マルチプレクサ４２５から読み込まれた全フレームが、高速モバイルインダストリープロセッサインターフェース（ＭＩＰＩ：Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）４３５を介して出力され得ることに留意されたい。
【0050】
特徴抽出回路４１０は、ピクセルデータ４２０によって表されるキャプチャされた画像から１つまたは複数の特徴を決定し得る。図４の例証的実施形態では、特徴抽出回路４１０は、ドット／特徴／キーポイント（ＫＰ：Ｋｅｙ Ｐｏｉｎｔ）／イベントマッピングブロック４４５、畳み込みエンジン４５０、重心推定ブロック４５５、および閾値検出ブロック４６０を含む。畳み込みエンジン４５０は、例えば、ガウシアンフィルタ用のフィルタ係数４６５、１次導関数、２次導関数などの、様々なフィルタ係数（カーネル）４６５を使用して３×３畳み込みを適用することによって、ラインバッファ４３０にバッファされたピクセルデータ４２０を処理し得る。畳み込みエンジン４５０からのフィルタ処理されたデータは、さらに、閾値検出ブロック４６０に供給され得、ここで、キャプチャされた画像の特定の主要な特徴またはイベントが、例えばフィルタおよび閾値設定に基づいて、検出されることが可能である。閾値検出ブロック４６０によって決定された主要な特徴／イベントの場所は、マッピングブロック４４５に書き込まれ得る。１つまたは複数の主要な特徴／イベントのマップが、例えばホスト（図４に図示せず）にアップロードされ得、主要な特徴／イベントの別のマップも、ホストからマッピングブロック４４５に書き込まれ得る。１つの実施形態では、センサアーキテクチャ４００は、ストラクチャードライト原理に基づくシーンの奥行き情報を測定するために使用されることが可能である。この場合、レーザドット重心が重心推定ブロック４５５から抽出されることが可能であり、重心は、マッピングブロック４４５に書き込まれ得る。
【0051】
図４に示されたセンサアーキテクチャ４００は、例証的実施形態を表すことを理解されたい。センサ回路４０５および／または特徴抽出回路４１０の他の例は、異なるおよび／またはおよび追加の処理ブロックを含み得る。
【0052】
図５は、１つまたは複数の例による、メモリスタのアレイに基づくニューラルネットワーク５００の例を示す。ニューラルネットワーク５００は、図３Ａのセンサアセンブリ３００のＣＮＮ層３２５におけるニューラルネットワークロジックの実施形態であり得る。いくつかの例では、ニューラルネットワーク５００は、例えば画像分類および／または認識のための、機械学習アルゴリズムに基づく特定の処理のために訓練および利用されるＣＮＮ（例えば、図３ＢのＣＮＮ３２６）を表す。図４の特徴抽出回路４１０、およびニューラルネットワーク５００は、例えば奥行き抽出のための、より多くの従来のコンピュータビジョンアルゴリズムが、特徴抽出回路４１０に実装されることが可能であるので、インテリジェントセンサシステム（例えば、図３Ａのセンサアセンブリ３００）において共存できることに留意されたい。
【0053】
いくつかの例では、ニューラルネットワーク５００は、ベクトル－行列乗算を実施するのに適したメモリスタクロスバーを有する神経形態学的コンピューティングのために最適化され得る。ニューラルネットワーク５００における学習は、ニューラルネットワーク５００のクロスバーポイントにおける、コンダクタンスの値Ｇ＝Ｇｎ，ｍ（ｎ＝１、２、．．．、Ｎ；ｍ＝１、２、…、Ｍ）、および抵抗ＲＳ（例えば、Ｍ個の抵抗値ｒＳのベクトル）を含むパラメータのセットに応じて表される。オペアンプ５０２およびその関連付けられた抵抗器ｒＳは、出力ドライバ、およびメモリスタ素子の各列の列方向の重み係数としてそれぞれ機能する。
【0054】
いくつかの例では、例えばダイナミックランダムアクセスメモリ（ＤＲＡＭ）から、パラメータをフェッチする代わりに、コンダクタンスおよび抵抗値の形のパラメータが、ニューラルネットワーク５００のクロスバーポイントにおいて直接利用可能であり、例えばベクトル－行列乗算中など、計算中に直接使用されることが可能である。図５に示されたメモリスタクロスバーをベースとするニューラルネットワーク５００は、二重機能を有することができ、すなわち、ニューラルネットワーク５００は、メモリストレージデバイスとして、および計算デバイスとして、用いられることが可能である。ニューラルネットワーク５００は、したがって、好ましいレベルの電力浪費、面積サイズ、および計算効率を有する、「コンピュートインメモリ実装形態」と呼ばれることが可能である。ニューラルネットワーク５００は、メモリストレージデバイスとＣＰＵの組合せを効率的に置き換えることができ、これは、図３Ａのセンサアセンブリ３００のＣＮＮ層３２５の一部のように、ニューラルネットワーク５００を効率的な実装形態に適したものにする。
【0055】
ニューラルネットワーク５００の初期の重みＧｎ，ｍは、行列入力を表し得る、例えばＮ行およびＭ列に編成された値を有する入力５０５を介して書き込まれることが可能である。１つまたは複数の例では、行列入力５０５は、畳み込み演算のためのカーネルに対応し得る。いくつかの例では、入力５１０が、例えば、図３Ａのセンサアセンブリ３００の光検出層３０５によってキャプチャされ、ＡＤＣ層３１５および特徴抽出層３２０によって処理された、画像のデジタルピクセル値に対応し得る。入力５１０は、例えば、Ｎ個の電圧値Ｖ１
Ｉ、Ｖ２
Ｉ、Ｖ３
Ｉ、…、ＶＮ
Ｉの、ベクトルに編成されたデジタル電圧値ＶＩを含み得る。推論演算中、ベクトル入力５１０は、行列入力５０５に適用され得る。出力５１５は、ベクトル入力５１０と行列入力５０５との間の乗算の結果として、すなわち、ベクトル－行列乗算の結果として、取得され得る。図５に示されているように、出力５１５は、デジタル電圧値のベクトルＶＯ、すなわち、Ｍ個の電圧値Ｖ１
Ｏ、Ｖ２
Ｏ、Ｖ３
Ｏ、…、ＶＭ
Ｉを表し、ここで、ＶＯ＝ＶＩＧＲＳである。出力ベクトルＶＯは、物体分類などの、推論機能のために使用され得る。
【0056】
いくつかの例では、ニューラルネットワーク５００は、例えば特徴抽出層３２０とＣＮＮ層３２５（すなわち、ニューラルネットワーク５００）との間のＴＳＶインターフェース３４５を介して、図３のセンサアセンブリ３００の光検出層３０５、ＡＤＣ層３１５、および特徴抽出層３２０と効率的にインターフェースされることが可能である。さらに、メモリスタクロスバーをベースとして実装されたニューラルネットワーク５００は、データのパラレル－シリアルおよびシリアル－パラレル変換を回避し得、これは、実装形態を簡素化し、処理スピードを向上させる。代替として、ニューラルネットワーク５００は、学習される係数の異なるセットを伴う図５のメモリスタクロスバーによって可能にされ得る、画像セグメント化およびセマティック用途のために使用され得る。
【0057】
図６は、１つまたは複数の実施形態による、ホスト－センサ閉ループシステム６００の例である。ホスト－センサ閉ループシステム６００は、センサシステム６０５およびホストシステム６１０を含む。センサシステム６０５は、図１Ａのセンサデバイス１３０の実施形態、図２のセンサアセンブリ２００の実施形態、および／または図３のセンサアセンブリ３００の実施形態であることが可能であり、ホストシステム６１０は、図１Ａのコントローラ１３５の実施形態であることが可能である。いくつかの例では、センサシステム６０５は、例えば、環境の少なくとも一部分のキャプチャされた画像の、１つまたは複数の主要な特徴を取得し得る。センサシステム６０５は、例えば１秒あたり１０フレームのレートで、完全解像度キーフレーム６１５として、１つまたは複数の主要な特徴をホストシステム６１０に最初に提供し得る。処理された１つまたは複数の完全解像度キーフレーム６１５に基づいて、ホストシステム６１０は、例えば、次の画像フレームにおける１つまたは複数の主要な特徴の将来の場所を表す、１つまたは複数のキーポイントを予測するように構成され得る。ホストシステム６１０は、次に、例えば１秒あたり１０フレームのレートで、キーポイントマップ６２０をセンサシステム６０５に提供し得る。
【0058】
キーポイントマップ６２０を受け取った後、センサシステム６０５は、例えば予測される特徴の近傍に対応する、ピクセルの一部分を活性化させ得る。センサシステム６０５は、次に、ピクセルの活性化部分に関連した光の強度だけをキャプチャおよび処理する。ピクセルの一部分だけを活性化させること、およびピクセルの活性化部分によってキャプチャされた強度値の一部分だけを処理することによって、センサシステム６０５によって浪費される電力は低減されることが可能である。センサシステム６０５は、１つまたは複数の主要な特徴の１つまたは複数の更新された場所を導出し得る。センサシステム６０５は、次に、更新されたキーポイントマップ６２５が、完全解像度キーフレーム６１５より少ないデータを含むので、例えば１秒あたり１００フレームの向上されたレートの、更新されたキーポイントマップ６２５として、１つまたは複数の主要な特徴の１つまたは複数の更新された場所をホストシステム６１０に送り得る。ホストシステム６１０は、次に、完全解像度キーフレーム６１５に比べて低減された量のデータを有する、更新されたキーポイントマップ６２５を処理し得、これは、ホストシステム６１０で浪費される電力の節約をもたらし、一方で、ホストシステム６１０における計算レイテンシも減少される。このようにして、センサシステム６０５およびホストシステム６１０は、予測的な低密度キャプチャを伴うホスト－センサ閉ループシステム６００を形成する。ホスト－センサ閉ループシステム６００は、センサシステム６０５とホストシステム６１０の両方で節電をもたらし、センサシステム６０５とホストシステム６１０との間の通信レートを向上させる。
【0059】
以下では、１）センサシステム６０５のコンピューティングおよびメモリ電力を低減させること、２）センサシステム６０５によって生成された画像データのプライバシおよびセキュリティを改善すること、ならびに３）センサシステム６０５における機械学習システム（例えば、ＣＮＮ３６０）をカスタマイズすること、を行うことができる、実例の技法が提供される。
【0060】
コンピューティング／メモリ電力低減
以下では、１）センサシステム６０５のコンピューティングおよびメモリ電力を低減させること、２）センサシステム６０５によって生成された画像データのプライバシおよびセキュリティを改善すること、ならびに３）異なるユーザのためにセンサシステム６０５をカスタマイズすること、を行うことができる、実例の技法が提供される。
以下では、１）センサシステム６０５のコンピューティングおよびメモリ電力を低減させること、２）センサシステム６０５によって生成された画像データのプライバシおよびセキュリティを改善すること、ならびに３）異なるユーザのためにセンサシステム６０５をカスタマイズすること、を行うことができる、実例の技法が提供される。
【0061】
図７Ａ～図７Ｊは、センサシステム６０５のコンピューティングおよびメモリ電力を低減させるための、実例の技法および対応するセンサシステム構成要素を示す。図７Ａは、センサシステム６０５の計算構成要素の動作７００の実例のシーケンスを示す。図７Ａを参照すると、（例えば、Ｉｎｆ＿ｉとＩｎｆ＿ｉ＋１との間の）フレーム期間内で、特徴抽出層３２０の特徴抽出ロジック、およびＣＮＮ層３２５のニューラルネットワークロジックなどの、様々な計算構成要素が、フレーム期間の一部の中でのみオンにされることが可能である。例えば、計算構成要素は、フレーム露出期間中、スリープ状態であることが可能であり、フレーム露出期間が終わった後、ピクセルデータを処理するために、電源を入れられることが可能である。計算動作が完了し、出力（例えば、キー－フレーム６１５、他の分類出力など）が伝送された後、計算構成要素は、残りのフレーム期間の間、再びスリープ状態に入ることができる。このような配置により、計算構成要素によって消費される電力は低減されることが可能である。
【0062】
図７Ｂは、図７Ｂの動作７００のシーケンスに従って動作されることが可能な様々な実例の計算構成要素を含む半導体層７０２を示す。半導体層７０２は、例えば特徴抽出層３２０およびＣＮＮ層３２５の、計算構成要素を含むことができる。図７Ｂに示されているように、半導体層７０２は、マイクロコントローラ（ＭＣＵ：ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）７０４、デジタルシグナルプロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）および機械学習（ＭＬ）アクセラレータ７０６（例えば、図３ＢのＣＮＮ３２６を実装するためのもの）、ならびに入出力システム（Ｉ／Ｏ）７０８を含むことができる。ＤＳＰおよびＭＬアクセラレータ７０６は、特徴抽出回路４１０の一部として特徴抽出を実施するためのＣＮＮ３２６を実装することができる。ＤＳＰおよびＭＬアクセラレータ７０６は、特徴抽出動作をサポートするためのメモリを含むことができる。Ｉ／Ｏ７０８は、ホストシステム６１０などの、他の構成要素と通信するための、データシリアライザおよびデータデシリアライザを含むことができる。半導体層７０２は、第１のメモリ７１０および第２のメモリ７１２をさらに含む。第１のメモリ７１０は、ＭＬ係数（例えば、図３Ｂの重みアレイ［Ｗ０］、［Ｗ１］、および［Ｗ２］）、ならびにＤＳＰおよびＭＬアクセラレータ７０６における特徴抽出動作をサポートするためのＭＬ中間結果を格納することができる。第２のメモリ７１２の第１の部分は、ＡＤＣ層３１５から出力されたピクセルのフレームを格納するためのフレームバッファとして動作することができ、その一方で、第２のメモリ７１２の第２の部分は、ＣＮＮ３２６から出力された活性化関数を格納するための出力データストレージとして動作することができる。いくつかの例では、フレームバッファに格納されたピクセル値は、最上位ビット（ＭＳＢ：ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）が破損したときの損失情報を回避するために、コード体系に応じてビットスワップされることが可能である。ピクセル値は、信頼性を改善するために、様々なエラー訂正コーディング（ＥＣＣ）方式を使用してエンコードされることが可能である。
【0063】
図７Ｂでは、第１のメモリ７１０、第２のメモリ７１２、ならびに、ＤＳＰおよびＭＬアクセラレータ７０６のメモリは、ＳＲＡＭデバイスを含むことができる。ＭＣＵ７０４は、第１のメモリ７１０に格納されたコードに基づいて、半導体層７０２の回路構成要素を含む、センサシステム６０５の様々な回路構成要素を制御／協働させることができる。半導体層７０２は、半導体層７０２の様々な回路構成要素間の通信をサポートするためのネットワークオンチップ７１４をさらに含む。半導体層７０２の計算回路構成要素は、ＴＳＶ接続を介して、ＡＤＣ層３１５のＡＤＣロジックなどの、センサシステム６０５の他の半導体層の他の構成要素と通信することができる。
【0064】
電力消費量を低減させるために、ＭＣＵ７０４は、図７Ａの動作７００のシーケンスを実施するために、半導体層７０２の様々な構成要素を制御することができる。例えば、フレーム露出期間が終わった後、ＭＣＵ７０４は目覚め、その後、第２のメモリ７１２、ならびに、ＤＳＰおよびＭＬアクセラレータ７０６の電源を入れることができる。第１のメモリ７１０は、電源が入ったままであり、したがって、ＭＣＵ７０４は、コードをフェッチおよび実行して、動作のシーケンスを実施することができる。ＭＣＵ７０４は、次に、ＤＳＰおよびＭＬアクセラレータ７０６を制御してＣＮＮ３６０を実行し、フィルタ係数（例えば、［Ｗ０］、［Ｗ１］、および［Ｗ２］）を使用して、第２のメモリ７１２のフレームバッファ部分に格納されたピクセルデータに対する特徴抽出動作を実施し、第２のメモリ７１２の出力データストレージ部分に出力を格納することができる。特徴抽出動作が完了した後、ＭＣＵ７０４は、第２のメモリ７１２、ならびにＤＳＰおよびＭＬアクセラレータ７０６の電源を落とし、スリープ状態に入ることができる。
【0065】
さらに、これらの異なる電力消費挙動に基づいて、メモリシステムによる電力消費量を低減させるため、異なるタイプのデータを格納するための異なるタイプのメモリが使用されることが可能である。具体的には、計算中、不揮発性メモリ（ＮＶＭ：ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）からの読込みは、スタティックランダムアクセスメモリ（ＳＲＡＭ）より遙かに高い電力を使用する恐れがあるが、スリープ状態中、ＳＲＡＭの維持電力は、ＮＶＭの維持電力より遙かに高い。ＮＶＭの例は、磁気抵抗性ランダムアクセスメモリ（ＭＲＡＭ：ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、図５に示されたものなどのメモリスタを含むことができる抵抗性ランダムアクセスメモリ（ＲＲＡＭ）、相変化メモリ（ＰＣＭ）などを含む。
【0066】
図７Ｃは、異なるタイプのメモリを含む半導体層７０２の別の例を示す。具体的には、第１のメモリ７１０は、通常、フレーム間で変化しないコードおよびＭＬ係数などの、比較的静的なデータを格納するために使用され、ＮＶＭ（例えば、ＭＲＡＭ）を使用して実装される。その一方で、第２のメモリ７１２は、ニューラルネットワーク層からのピクセルデータおよび活性化関数出力などの動的なデータを格納するために使用され、ＳＲＡＭを使用して実装される。半導体層７０２は、第３のメモリ７２０をさらに含み、第３のメモリ７２０は、ＳＲＡＭを使用して実装され、ＭＣＵ７０４ならびにＤＳＰおよびＭＬアクセラレータ７０６にフェッチされることになるコードおよびＭＬ係数のサブセットを格納するためのキャッシュとして使用される。図７Ｃでは、ＮＶＭデバイスの使用により、第１のメモリ７１０は、コードおよびＭＬモデル係数を依然として維持しつつ、スリープ状態中に電源を落とされることが可能であり、その一方で、図７Ｂでは、第１のメモリ７１０は、コードおよびＭＬ係数の喪失を回避するために、スリープ状態中にシャットダウンされない。結果として、図７Ｃの配置により、スリープ状態中の電力消費量を低減させることになり得る。コードおよびＭＬ係数のアクセスを高速化するために、コードおよびＭＬ係数のサブセットが、第１のメモリ７１０より遙かに高速だが小型でもある第３のメモリ７２０にキャッシュされることが可能であり、キャッシュされたコードおよびＭＬ係数は、ＭＣＵ７０４、ならびにＤＳＰおよびＭＬアクセラレータ７０６がフレーム期間内に異なる動作を実施するとき、変更することができる。第３のメモリ７２０は、スリープ状態中に電源を切られ、露出期間が終わった後、コードおよびＭＬ係数をキャッシュするために、半導体層７０２の残りの計算構成要素と共に電源を入れられる。
【0067】
図７Ｄは、半導体層７０２の別の例、および半導体層７２２の例を示す。図７Ｄに示されているように、半導体層７０２のフレームバッファを提供する第２のメモリ７１２を有する代わりに、別個のフレームバッファ７２４が、半導体層７２２に形成されることが可能である。半導体層７２２は、ＡＤＣ層３１５の一部であること、および光検出層３０５と半導体層７０２との間にスタックされることが可能であり、並列ＴＳＶおよび／またはマイクロＴＳＶを含むＴＳＶインターフェースなどの、並列層間インターフェース７２６を介して半導体層７０２に接続されることが可能である。図７Ｄの配置は、半導体層７０２に備え付けられることになるメモリの全体サイズを低減させることができる。さらに、フレームバッファ７２４と半導体層７０２との間の並列層間インターフェース７２６は、特に、ピクセルデータが、Ｉ／Ｏ７０８を通じて移動され、シリアライゼーションおよびデシリアライゼーション動作を受ける場合に比べて、フレームバッファ７２４におけるピクセルデータの高速アクセスを可能にする。フレームバッファ７２４におけるピクセルデータの高速アクセスは、例えばＭＣＵ７０４による、光検出層３０５での光検知動作の制御を容易にすることができる。例えば、ＤＳＰおよびＭＬアクセラレータ７０６によってフレームバッファ７２４に格納されたピクセルデータを処理した結果に基づいて、ＭＣＵ７０４は、関心のある領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を決定することができ、ＲＯＩ内のピクセルセルだけが、次のフレームのピクセルデータを生成することを可能にする。ＭＣＵ７０４は、露出期間の制御、ビット深度など、光検出層３０５のピクセルセルによるピクセルデータ生成の様々な態様も制御することができる。
【0068】
図７Ｅは、半導体層７０２の別の例、および半導体層７２２の例を示す。図７Ｅに示されているように、統合フレームバッファおよびＭＬアクセラレータ７３４が、半導体層７２２に実装されることが可能である。統合フレームバッファおよびＭＬアクセラレータ７３４は、特定のインメモリコンピュート能力を提供して、ＤＳＰおよびＭＬアクセラレータ７０６の作業負荷を低減させるための、ＳＲＡＭデバイス、およびメモリコントローラを含むことができる。インメモリコンピュート能力の例は、例えば、行列転置および再形成演算を含むことができる。例えば、行列転置／再形成演算の一部として、メモリコントローラは、１次元に沿って（例えば、行に沿って）統合フレームバッファのピクセルデータの読込み動作を実施し、異なる次元に沿って（例えば、列に沿って）ピクセルデータを、ＤＳＰおよびＭＬアクセラレータ７０６のメモリに格納することができる。いくつかの例では、統合フレームバッファおよびＭＬアクセラレータ７３４は、行列乗算を実施してＣＮＮ３６０を実行するための、図５に示されたものなどの、メモリスタのアレイを含むことができる。
【0069】
図７Ｆは、半導体層７０２の例の別の例、および半導体層７２２の例を示す。図７Ｆに示されているように、統合メモリおよびＭＬアクセラレータ７３６は、半導体層７０２に実装されることが可能である。図７Ｅにおけるように、統合メモリおよびＭＬアクセラレータ７３６は、特定のインメモリコンピュート能力を提供して、ＤＳＰおよびＭＬアクセラレータ７０６の作業負荷を低減させるための、ＳＲＡＭデバイス、およびメモリコントローラを含むことができる。例えば、行列転置／再形成演算の一部として、メモリコントローラは、１次元に沿って（例えば、行に沿って）統合フレームバッファのピクセルデータの読込み動作を実施し、異なる次元に沿って（例えば、列に沿って）ピクセルデータを、ＤＳＰおよびＭＬアクセラレータ７０６のメモリに格納することができる。いくつかの例では、統合メモリおよびＭＬアクセラレータ７３６は、行列乗算を実施してＣＮＮ３６０を実行するための、図５に示されたものなどの、メモリスタのアレイを含むことができる。
【0070】
図７Ｇは、センサシステム６０５の計算およびメモリ構成要素による電力消費量を低減させるための追加の技法を示す。図７Ｇの左上に示されているように、重み行列７４０は、図３Ｂの畳み込み演算において入力データとの乗算のために使用されることが可能であり、典型的には、多くのエントリがゼロの、低密度行列を含む。マッピングテーブル（図７Ｇに図示せず）を通じて、低密度重み行列７４０の各エントリは、メモリ７４２の特定のアドレスに格納されることが可能である。
【0071】
低密度重み行列７４０の格納に伴うメモリおよび計算電力を低減させるために、様々な技法が使用されることが可能である。図７Ｇの右上に示されているように、低密度重み行列７４０のゼロおよび非ゼロのエントリは、異なる数のビットを使用して、異なる形式でメモリ７４２に格納されることが可能であり、メモリ７４２は、半導体層７０２のメモリ７１０および７２０の一部であることが可能である。具体的には、各エントリは、エントリが非ゼロであるかどうかを示すフラグビットで表すことができ、エントリが非ゼロの場合、複数のビットが非ゼロのエントリ値を表す。例えば、メモリ７４２は、非ゼロのエントリ７４４をアドレス０（ａｄｄｒ０）に格納し得、非ゼロのエントリ７４４は、ゼロのフラグビット７４６（非ゼロのエントリを示す）を含み、データビット７４８は、非ゼロのエントリ値を表す。複数のビットは、追加のエンコードのない、非ゼロのエントリ値のそのままのバイナリ表現であることが可能である。さらに、メモリ７４２は、他のビットがない、アサートされたフラグビットによって表されたアドレス１（ａｄｄｒ１）にも、ゼロのエントリ７５０を格納し得る。メモリ７４２は、他のビットがない、別のアサートされたフラグビットで表されたアドレス２（ａｄｄｒ２）にも、ゼロのエントリ７５２を格納し得る。別の例では、メモリ７４２は、異なる電圧を使用して、ゼロおよび非ゼロのエントリを表すこともできる。例えば、ゼロのエントリのために、メモリ７４２は、第１の電圧でビットを格納することができ、その一方で、非ゼロのエントリのために、メモリ７４２は、第２の電圧でエントリの非ゼロのビットを、また、第１の電圧とは異なる第３の電圧でエントリのゼロのビットを、格納することができる。ゼロおよび非ゼロのエントリが、異なる数のビットおよび／または電圧範囲で表されるこれらの配置を用いると、低密度重み行列７４０を格納するのに必要なメモリ７４２の全体サイズ、およびメモリ７４２の電力消費量が、低減されることが可能である。このような配置は、典型的なエンコードおよびデコード動作関連のデータ圧縮を回避することもでき、これは、メモリ７４２における低密度重み行列７４０の格納および検索を高速化することができる。
【0072】
異なるビット長／電圧を使用してゼロおよび非ゼロのエントリを表すことに加えて、メモリ７４２と、ＤＳＰおよびＭＬアクセラレータ７０６との間の低密度重み行列７４０の伝送に伴う電力をさらに低減させるために、他の技法が使用されることが可能である。例えば、図７Ｇに示されているように、メモリコントローラ７５４は、フラグビット７４６、７５０、および７５２、ならびにデータビット７４８をメモリ７４２から読み出し、フラグビットおよびデータビットをＤＳＰおよびＭＬアクセラレータ７０６に出力することができる。非ゼロのエントリおよびゼロのエントリが、低減された数のビットを使用して伝送されるので、伝送電力は低減されることが可能である。いくつかの例では、メモリコントローラ７５４は、例えば、アサートされたフラグビット、第１の電圧で表されたビットなどを検出することに基づいて、ゼロのエントリを検出し、ゼロのエントリの伝送をスキップして伝送電力をさらに低減させることができる。
【0073】
さらに、ＤＳＰおよびＭＬアクセラレータ７０６は、低密度重み行列７４０で計算を実施する際の計算電力を低減させるための技法を実装し得る。例えば、図７Ｇに示されているように、ＤＳＰおよびＭＬアクセラレータ７０６は、算術回路７６０、ゼロスキップ回路７６２、およびマルチプレクサ（ＭＵＸ：ｍｕｌｔｉｐｌｅｘｏｒ）７６４を含むことができる。算術回路７６０は、低密度重み行列７４０の非ゼロのエントリによる算術演算（例えば、乗算演算）を実施して、出力７６６を生成することができ、その一方で、ゼロスキップ回路７６２は、低密度重み行列７４０のゼロのエントリによる算術演算をスキップし、ゼロ出力７６８を生成することができる。ＭＵＸ７６４は、出力７６６またはゼロ出力７６８のうちの１つを出力として選択することができる。このような配置を用いると、算術演算の数は、ゼロのエントリを伴う算術演算がスキップされるので、低減されることが可能であり、結果として、低密度重み行列７４０による計算に伴う計算電力が低減されることが可能である。
【0074】
特徴抽出を実施するためにＭＬアクセラレータを提供することに加えて、組み込みマッチング、層事前処理、および奥行き方向畳み込み層など、センサシステム６０５の制御を容易にするために、インメモリコンピュートが、他の画像処理能力を提供することもできる。
【0075】
具体的には、インメモリコンピュートは、インメモリコンピュートによって提供され、最も近いマッチを探索するための、ベクトルデータベースにおいて、入力ベクトルと基準ベクトルとの間の距離を計算することなどの、組み込みマッチング機能を提供することができる。マッチングは、同時位置決め地図作成（ＳＬＡＭ）、文／画像インフラストラクチャサービスなどの様々な用途をサポートするために、入力ベクトルの類似点サーチを実施して、ＣＮＮによって提供された特徴抽出能力の拡大または置換えを実施するために使用されることが可能である。計算される距離は、Ｌ０距離、Ｌ１距離、Ｌ２距離などの距離であることが可能である。
【0076】
図７Ｈは、組み込みマッチングのためにインメモリコンピュート能力を提供することができる実例のメモリシステム７７０を示す。メモリシステム７７０は、ビットセル７７２および７７４などの、ビットセルのアレイを含むことができる。ビットセル７７２は、ビットセル７７２ａ、７７２ｂ、７７２ｃ、および７７２ｄを含み、基準ベクトルの最上位ビット（ＭＳＢ）を格納するためのＭＳＢセルとして構成される。その上、ビットセル７７４は、ビットセル７７４ａおよび７７４ｂを含み、基準ベクトルの最下位ビット（ＬＳＢ：ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）を格納するためのＬＳＢセルとして構成される。メモリシステム７７０では、同じＭＳＢを有する基準ベクトルは、ＭＳＢセルおよびＬＳＢセルの複数の列を含むビットセルの列に格納されることが可能である。
【0077】
ＭＳＢビットセル７７２（例えば、ＭＳＢビットセル７７２ａ）およびＬＳＢビットセル７７４（例えば、ＬＳＢビットセル７７４ａ）の実例の構造が図７Ｉに示されている。図７Ｈと図７Ｉの両方を参照すると、ＭＳＢビットセル７７２ａのｓｌおよびｓｌ＿ｂａｒ信号は、サーチデータ線７７６の列に接続され、その一方で、ＭＳＢビットセル７７２ａのｍｌ信号は、出力の行のデータ線７７８に接続される。さらに、ＬＳＢビットセル７７４ａのｓｌ信号は、選択制御線７８０の列に接続され、その一方で、ｃｌ＿０およびｃｌ＿１信号は、出力の行のデータ線７７８に接続される。メモリシステム７７０は、行方向コンピューティング／マッチングロジック７８２、行周辺機器７８４、列周辺機器７８６、およびコントローラ７８８をさらに含む。
【0078】
入力ベクトルのための距離計算／類似点サーチ演算は、コンピューティング／マッチングロジック７８２、行周辺機器７８４、および列周辺機器７８６と一緒に、コントローラ７８８によって２つのフェーズで実施されることが可能である。第１のフェーズでは、入力にマッチするＭＳＢを有する基準ベクトルを識別するために、サーチが実施されることが可能である。サーチを実施するために、列周辺機器７８６は、入力ベクトルのＭＳＢに基づいて、サーチデータ線７７６を駆動することができ、各ＭＳＢセルのｓｌおよびｓｌ＿ｂａｒ信号は、基準ベクトルのＭＳＢを格納し、入力ベクトルのＭＳＢによって駆動されることが可能である。ｍｌ信号の状態は、（ＭＳＢビットセルに格納された）基準ベクトルのＭＳＢと入力ベクトルのＭＳＢとがマッチするかどうかを反映することができる。コントローラ７８８は、出力データ線７７８を介してＭＳＢビットセルのｍｌ信号の状態を検出し、入力ベクトルと同じＭＳＢを有する基準ベクトルを識別することができる。
【0079】
第２のフェーズでは、基準ベクトルのどれが入力ベクトルと同じＭＳＢを有するかを識別することに基づいて、コントローラ７８８は、距離／類似点計算を実施するために、マッチする基準ベクトルに属するＬＳＢセルのアサート制御線７８０をオンにすることができる。行周辺機器７８４は、入力ベクトルを格納するための、図７Ｉに示されたＬＳＢセルと同様の構造を有するビットセルを含むことができ、入力ベクトルのＬＳＢを格納するビットセルは、出力の行のデータ線７７８を介して、ｃｌ＿０およびｃｌ＿１信号を駆動することができる。ｃｌ＿０およびｃｌ＿１信号の駆動は、基準ベクトルＬＳＢと入力ベクトルＬＳＢとを一緒に結びつける効果を有することができ、これは、次に、ｃｌ＿０およびｃｌ＿１信号の状態を変えることができる。ｃｌ＿０は、入力ベクトルＬＳＢと基準ベクトルＬＳＢとの間の論理ＡＮＤ演算を表すデジタル出力を出力することができ、その一方で、ｃｌ＿１は、入力ベクトルＬＳＢと基準ベクトルＬＳＢとの間の論理ＮＯＲ演算を表すデジタル出力を出力することができる。行方向コンピューティング／マッチングロジック７８２は、例えば、入力ベクトルと基準ベクトルとの間の乗算および／または合計を表すように、論理ＡＮＤおよび論理ＮＯＲ出力を操作することができる。操作結果は、入力ベクトルと基準ベクトルとの間の距離（Ｌ０／Ｌ１／Ｌ２）、または類似度を示すことができる。いくつかの例では、行方向コンピューティング／マッチングロジック７８２は、１つの行のＬＳＢ計算出力の操作を同時に実施し、次に、マッチするＭＳＢが見つかった場合、各行のＬＳＢの計算を順次実施することができる。いくつかの例では、行方向コンピューティング／マッチングロジック７８２は、各行に対して複製されることが可能であり、その結果、複数の行のＬＳＢの計算は、同時に実施されることが可能である。
【0080】
さらに、インメモリコンピュートは、層事前処理、および奥行き方向畳み込み層をサポートすることができる。例えば、インメモリコンピュートは、カーネルのプログラム可能かつ小さいセットによる、画像フィルタリング、低レベルビジョンなどの、画像に対する事前処理演算をサポートすることができる。さらに、インメモリコンピュートは、奥行き方向畳み込み層をサポートすることができ、奥行き方向畳み込み層では、各入力チャネル（例えば、Ｒ、Ｇ、およびＢ）の画像データが、各入力チャネルの即値データを生成するために、対応する入力チャネルのカーネルで畳み込みをとり、１つの出力チャネルの畳み込み出力データに中間データを組み合わせるために、ポイントワイズの畳み込みが続く。
【0081】
図７Ｊは、層事前処理および奥行き方向畳み込み層をサポートするためにインメモリコンピュート能力を提供することができるメモリシステム７９０の例を示す。図７Ｊに示されているように、メモリシステム７９０は、ＣＢセル７９２を含む計算ビット（ＣＢ：ｃｏｍｐｕｔｅ ｂｉｔ）セルのアレイを含むことができる。ＣＢセル７９２は、図７ＩのＬＳＢビットセル７７４ａと同様の構造を有することができ、例えば、（層事前処理のための）フィルタのデータ、（畳み込みのための）カーネルなどを格納することができ、その一方で、図７Ｉの実施形態では、列周辺機器７８６および行周辺機器７８４は、入力ベクトルをＣＢセルのアレイに提供することができる。ＣＢセルは、計算データ列の線７９６、および出力行のデータ線７９８に接続される。メモリシステム７９０は、図７Ａに関連して上記で説明されたような、行方向コンピューティング／マッチングロジック７８２、行周辺機器７８４、列周辺機器７８６、およびコントローラ７８８をさらに含む。行方向コンピューティング／マッチングロジック７８２は、ＣＢセル７９２の論理ＡＮＤおよび論理ＮＯＲ出力（ｃｌ＿０およびｃｌ＿１出力）を操作して、層事前処理および奥行き方向の畳み込み演算を実施することができる。
【0082】
図８Ａ～図８Ｃは、センサシステム６０５の計算およびメモリ構成要素による電力消費量を低減させるための追加の技法を示す。図８Ａは、実例のスケジュール８００を示し、ここでは、ＤＳＰおよびＭＬアクセラレータ７０６の計算の低密度性を作り出すために、ゲーティングモデルが実装される。ゲーティングモデルは、ＤＳＰおよびＭＬアクセラレータ７０６によって処理されることになるピクセル値８０４のサブセットを、フレーム８０２のピクセル値から選択することができ、その一方で、フレームの残りのピクセル値は処理されない。ピクセル値が、異なるチャネル（例えば、赤、緑、青、および赤外線チャネル）に関連付けられる場合、異なるゲーティングモデルによる処理のために、ピクセル値の異なるサブセットが選択されることが可能である。ゲーティングモデルは、統計解析、訓練などの、様々なソースから生成されることが可能である。ゲーティングモデルは、次に、動的かつデータ依存であると考えられることになる。いくつかの例では、ゲーティングモデルは、ＤＳＰおよびＭＬアクセラレータ７０６によって実装されるニューラルネットワークの異なる層に計算または入力される、中間表現（例えば、特徴）、中間計算結果などにも、適用されることが可能である。
【0083】
いくつかの例では、ゲーティングモデルは、ユーザ固有モデル８０６およびベースモデル８０８を含むことができる。ユーザ固有モデル８０６は、（例えば、異なるシーンをキャプチャするために使用される同じＨＭＤプラットフォーム上で、異なるユーザによって動作される異なるＨＭＤプラットフォーム上で、など）異なるセンサシステム６０５の間で異なることが可能であり、その一方で、ベースモデル８０８は、異なるセンサシステム６０５の間で共通であることが可能である。例えば、ベースモデル８０８は、特定の動作条件でシーンにおける関心のあるピクセルの一般的な分布を反映することができ、その一方で、ユーザ固有モデル８０６は、固有のセンサシステム６０５によってキャプチャされた、シーンにおけるピクセルの実際の分布を反映することができる。ユーザ固有モデル８０６は、フレームの各ピクセルの重要性行列８１０を計算するために、フレーム８０２のピクセル値に適用されることが可能である。重要性行列８１０は、例えばフレーム８０２の関心のある領域を、示すことができる。ベースモデル８０８は、次に、ＤＳＰおよびＭＬアクセラレータ７０６に入力されるピクセル値を選択するために、重要性行列８１０によって示されたフレーム８０２の関心のある領域に適用されることが可能である。ベースモデル８０８は、異なるチャネルのためにピクセルの異なるサブセットを選択するための、異なるゲーティング機能を含むことができる。ユーザ固有モデル８０６とベースモデル８０８の両方がフレーム間で変化することができ、その結果、ピクセルの異なるサブセットは、（例えば、物体の動きを説明するために）異なるフレームにおいて選択されることが可能である。
【0084】
ユーザ固有モデル８０６とベースモデル８０８の両方が、統計解析、訓練などを介して、様々なソースから生成されることが可能である。例えば、異なる動作条件でキャプチャされたフレームのピクセル値の統計解析を通じて、特定の用途の有用な情報を保持する各ピクセルの確率が決定されることが可能であり、モデルは、確率に基づいて決定されることが可能である。別の例として、ユーザ固有モデル８０６とベースモデル８０８の両方が、訓練データを使用して訓練され、ピクセルのどのサブセットが、用途の有用な情報を含む可能性があるかについて学習し、これらのピクセルをＤＳＰおよびＭＬアクセラレータ７０６に提供することが可能である。
【0085】
図８Ａのゲーティング方式は、ＤＳＰおよびＭＬアクセラレータ７０６への入力からエラーピクセルを除去するために使用されることも可能である。例えば、教師なし学習動作を通じて、ユーザ固有モデル８０６は、ブラインドピクセル（例えば、完全に暗い、白いなどのピクセル）と通常のピクセル（例えば、完全に暗く／白くないピクセル）とを分類するように訓練されることが可能である。分類に基づいて、ユーザ固有モデル８０６は、ピクセル８２２ａ、８２２ｂ、８２２ｃ、および８２２ｄがブラインドピクセルであると決定し、ＤＳＰおよびＭＬアクセラレータ７０６への入力として、これらのピクセルを選択から外すことができる。これらのピクセルは、その後のフレームにおける入力からも除去されることが可能である。
【0086】
さらに、図７Ａ～図７Ｅの第１のメモリ７１０における重みアレイの更新を低減させるために、ＣＮＮ３６０の初期層（例えば、畳み込み層３２８ａ）において、固定重みが使用されることが可能である。このような配置は、第１のメモリ７１０への書込み動作を低減させることができ、このことは、第１のメモリ７１０の電力消費量を低減させることができる。例えば、エッジ検出を実施するために、図８Ｃに示されたガボールフィルタアレイ８３０が、畳み込み層３２８ａにおいて使用されることが可能である。ガボールフィルタアレイは、低い方のビット精度で格納されることが可能である。その上、ガボールフィルタは、効率的なインメモリコンピューティングを可能にし得る向きで等しく間隔を空けられた係数を含むことができる。
【0087】
プライバシおよびデータセキュリティ
プライバシおよびデータセキュリティを改善するために、センサシステム６０５は、暗号化メカニズムを実行して、フレームバッファに格納されたピクセルデータ、および他の出力（例えば、キーフレーム）を暗号化することができる。暗号化は、乱数に基づくことが可能であり、乱数は、センサシステム６０５のＮＶＭ（例えば、図７Ｃの第１のメモリ７１０）を使用して生成されることが可能である。図９は、半導体層７０２の一部であることが可能な実例の乱数生成システム９００を示す。図９に示されているように、パルス回路が、（例えば、図７Ｃの）第１のメモリ７１０の一部であることが可能なＭＲＡＭデバイスの磁気トンネル接点（ＭＴＪ）にパルスを伝送することができ、パルスは、磁気トンネル接点においてスイッチするスピントルクを引き起こすことができる。スイッチアクションは、乱数のシーケンスを生成するために測定されることが可能な、ＭＲＡＭデバイスの抵抗のランダム変化を引き起こすことができる。乱数のシーケンスを生成するために、他のＮＶＭデバイスが使用されることが可能である。例えば、金属酸化物ベースの抵抗性メモリデバイス内の伝導性フィラメントのランダム形成、破壊、および欠陥構造が、固有の乱数性の第２のソースを提供する。さらに、ＰＣＭリセット動作後にメルトクエンチプロセスを介して作り出された非晶相の原子配位の乱数性が、乱数生成のために利用されることが可能である。
プライバシおよびデータセキュリティを改善するために、センサシステム６０５は、暗号化メカニズムを実行して、フレームバッファに格納されたピクセルデータ、および他の出力（例えば、キーフレーム）を暗号化することができる。暗号化は、乱数に基づくことが可能であり、乱数は、センサシステム６０５のＮＶＭ（例えば、図７Ｃの第１のメモリ７１０）を使用して生成されることが可能である。図９は、半導体層７０２の一部であることが可能な実例の乱数生成システム９００を示す。図９に示されているように、パルス回路が、（例えば、図７Ｃの）第１のメモリ７１０の一部であることが可能なＭＲＡＭデバイスの磁気トンネル接点（ＭＴＪ）にパルスを伝送することができ、パルスは、磁気トンネル接点においてスイッチするスピントルクを引き起こすことができる。スイッチアクションは、乱数のシーケンスを生成するために測定されることが可能な、ＭＲＡＭデバイスの抵抗のランダム変化を引き起こすことができる。乱数のシーケンスを生成するために、他のＮＶＭデバイスが使用されることが可能である。例えば、金属酸化物ベースの抵抗性メモリデバイス内の伝導性フィラメントのランダム形成、破壊、および欠陥構造が、固有の乱数性の第２のソースを提供する。さらに、ＰＣＭリセット動作後にメルトクエンチプロセスを介して作り出された非晶相の原子配位の乱数性が、乱数生成のために利用されることが可能である。
【0088】
センサシステムにおけるＣＮＮのカスタマイズ
上記で説明されたように、ＣＮＮ３６０は、センサシステム６０５の制御を容易にするために、特徴抽出を実施するように訓練される。訓練動作は、異なるセンサシステム６０５用にＣＮＮをカスタマイズするために使用されることが可能である。カスタマイズは、ユーザ固有、用途固有、シーン固有などであることが可能である。
上記で説明されたように、ＣＮＮ３６０は、センサシステム６０５の制御を容易にするために、特徴抽出を実施するように訓練される。訓練動作は、異なるセンサシステム６０５用にＣＮＮをカスタマイズするために使用されることが可能である。カスタマイズは、ユーザ固有、用途固有、シーン固有などであることが可能である。
【0089】
図１０Ａ～図１０Ｃは、ＣＮＮ３６０を訓練する様々な技法を示す。図１０Ａを参照すると、二重の訓練動作が実施されることが可能である。ＣＮＮのエクスサイチュ訓練動作１０００は、特徴抽出のベースモデルを訓練するために実施されることが可能である。エクスサイチュ訓練動作は、センサシステム６０５の外部で実施されることが可能である。例えば、エクスサイチュ訓練は、クラウド環境１００２で実施されることが可能であり、クラウド環境１００２では、教師あり学習動作でラベルを付けられた画像データに基づいて、特定の特徴抽出タスク（例えば、手、頭、他のタイプの物体などを識別するためのタスク）を実施するようにＣＮＮ３６０を訓練するために、クラウド環境１００２における複数のワーカマシンで訓練ソフトウェアが実行される。エクスサイチュ訓練動作の結果として、（例えば、第１のメモリ７１０への）格納のために、異なるモバイルプラットフォーム１００６および１００８において、図３Ｂの重みアレイ［Ｗ０］、［Ｗ１］、および［Ｗ２］を含むベースモデルパラメータ１００４が生成され、センサシステム６０５にフェッチされることが可能である。
【0090】
各モバイルプラットフォームにおいて、インサイチュ訓練動作（例えば、インサイチュ訓練動作１０１０ａ、１０１０ｂなど）が、ＣＮＮ３６０をさらにカスタマイズするために実施されることが可能である。カスタマイズは、ユーザ固有（例えば、特定のユーザの手を検出するためのもの）、用途固有、シーン固有（例えば、特定のシーンにおける物体の特定のセットを検出するためのもの）などであることが可能である。インサイチュ訓練動作は、ベースモデルパラメータ１００４から、カスタマイズされたモデルパラメータ１０１４を生成することができ、カスタマイズされたモデルパラメータ１０１４は、次に、モバイルプラットフォーム１００６および１００８での特徴抽出動作をサポートするために、第１のメモリ７１０に格納されることが可能である。
【0091】
インサイチュ訓練動作１０１０は、教師あり学習動作、教師なし学習動作、および強化学習動作などの、異なるタイプの学習動作を含むことができる。具体的には、教師あり学習動作では、ユーザは、センサシステム６０５においてＣＮＮ３６０を訓練するために、センサシステム６０５によってローカルにキャプチャされたラベル付き画像データを提供することができる。教師なし学習動作では、センサシステム６０５は、ラベル付きでない画像データのピクセル値の間の、（例えば、コサイン距離、ユークリッド距離などに基づく）類似点を決定することによって、ピクセルデータを異なるグループに分類するようにＣＮＮ３６０を訓練することができる。強化学習動作では、センサシステム６０５は、その時々における環境との相互作用に基づいて、ＣＮＮ３６０の重みを学習および調節して、報酬を最大化することができる。報酬は、検出の目標に基づくことが可能である。例えば、目標が、手に対応するピクセルの領域を見つけることである場合、報酬は、フレームの領域内の手の標的特徴を有するピクセルの数によって測定されることが可能である。ＣＮＮ３６０の重みは、次に、領域内の手のピクセルの数を増加させるために、異なるフレームに対するその後の強化学習動作において更新されることが可能である。強化学習動作で重みを更新するための規則は、確率的であることが可能である。例えば、ＣＮＮ３６０の出力は、報酬を計算するために乱数から生成された閾値と比較されることが可能である。教師なし学習動作と強化学習動作の両方が、バックグラウンドで動くことが可能であり、ユーザ入力を必要としない。
【0092】
インサイチュ訓練動作１０１０は、異なるユースケース用にカスタマイズされることが可能である。１つの例では、転移学習動作が実施されることが可能であり、転移学習動作では、（エクスサイチュ訓練から取得された）低い方の層の重みが凍結され、上の方の層の重みだけが調節される。例えば、図３Ｂを参照すると、基本特徴検出を実施するための第１の畳み込み層３２８ａの重み［Ｗ０］が凍結されることが可能であり、その一方で、第２の畳み込み層３２８ｃの重み［Ｗ１］、および完全接続層３２８ｅの重み［Ｗ２］は、インサイチュ訓練動作によって調節される。別の例として、インサイチュ訓練動作１０１０は、適合動作も含むことができる。具体的には、エクスサイチュ訓練動作１０００から、およびピクセル値のフレームから取得されたベースモデルを使用して、センサシステム６０５が初期出力を生成することができる。次に、初期出力を適合させるために、適合パラメータのセットが生成されることが可能であり、適合パラメータは、ピクセル値のその後のフレームを処理するために、ＣＮＮ３６０の重みに適用されることが可能である。いくつかの例では、インサイチュ訓練動作１０１０は、１デバイス複数ユーザ体験を可能にするために、モバイルプラットフォームの新しいユーザのために新しいパラメータが学習される一方で、モバイルプラットフォームの既存のユーザのモデルが維持される増分または生涯学習動作の一部であることが可能である。
【0093】
いくつかの例では、エクスサイチュ訓練動作１０００およびインサイチュ訓練動作１０１０が、連合／協調学習方式で実施されることが可能であり、この方式では、ローカルピクセルデータサンプルを維持する複数の非集中化ワーカマシン／プラットフォームにわたってＣＮＮ３６０が訓練され、これらのデータサンプルが交換されることはない。例えば、図１０Ａでは、インサイチュ訓練動作が完了した後、各モバイルプラットフォームは、カスタマイズされたモデルパラメータ１０１４をクラウド環境１００２に伝送して返すことができ、クラウド環境１００２は、カスタマイズされたモデルパラメータ１０１４を異なるプラットフォーム間で共有することができる。各プラットフォームは、次に、他のプラットフォームから受け取られたパラメータに基づいて、カスタマイズされたモデルパラメータ１０１４を調節することができる。このような配置を用いて、共通の堅牢なＣＮＮ３６０が、複数のモバイルプラットフォームにわたって構築されることが可能である。その一方で、ピクセルデータはモバイルプラットフォーム間で交換されないので、データプライバシ、データセキュリティ、データアクセス権などの重要な問題に対処することができる。
【0094】
いくつかの例では、強化学習および教師なし学習動作は、図５に示されたものなどの、メモリスタのアレイを使用して実施されることが可能である。図１０Ｂは、強化学習を実施するために使用されることが可能な、実例のメモリシステム１０２０を示す。メモリシステム１０２０は、ＳＲＡＭ１０３０、ＮＶＭ１０４０、乱数生成器１０５０、および比較器１０６０を含むメモリの階層を含む。ＳＲＡＭ１０３０およびＮＶＭ１０４０は、それぞれ、第２のメモリ７１２（フレームバッファを含む）、および図７Ａ～図７Ｅの第１のメモリ７１０であることが可能である。ＳＲＡＭ１０３０は、ピクセルデータ１０３２のフレームを格納し、ピクセルデータ１０３２をＮＶＭ１０４０に転送することができる。ＮＶＭ１０４０は、図５に示されたものなどの、メモリスタのアレイを含むことができ、メモリスタのアレイは、重みを格納することができ、隠れニューロン１０４２として構成される。隠れニューロン１０４２は、図５で説明されたように、ピクセルデータ１０３２を重みで乗算し、出力ニューロン１０４４に転送することができる。出力ニューロン１０４４は、乗算し、乗算結果を合計するため、および、非線形活性化関数を合計に適用して中間出力１０４６を生成するための、フィードバックネットワークとして、メモリスタを伴う増幅器を含むことができる。比較器１０６０は、中間出力１０４６を、乱数生成器１０５０によって生成された乱数１０５２と比較して、出力１０６２を生成することができ、出力１０６２は、フィードバックされることが可能である。乱数１０５２は、上記で説明されたような、強化学習動作の確率的規則を表すことができる。比較器１０６０は、ＤＳＰおよびＭＬアクセラレータ７０６の一部であることが可能であり、その一方で、乱数生成器１０５０は、図９で説明されたような、乱数を生成するように動作されることが可能な、ＮＶＭ１０４０（例えば、ＭＲＡＭデバイス）の一部であることが可能である。
【0095】
さらに、教師なし学習動作は、図５に示されたものなどの、メモリスタのアレイを使用して実施されることも可能である。いくつかの例では、教師なし学習動作は、光検出層３０５においてピクセルセルにおけるイベントのパターンを検出するための、ＣＮＮ３６０または他のニューラルネットワークであることが可能な、ニューラルネットワークを訓練するために実施されることが可能であり、検出されたパターンは、センサシステム６０５の動作を制御するために使用されることが可能である。例えば、検出されたパターンは、センサシステム６０５を目覚めさせるために使用されることが可能である。
【0096】
いくつかの例では、ニューラルネットワークは、スパイクタイミング依存可塑性（ＳＴＤＰ：Ｓｐｉｋｅ－ｔｉｍｉｎｇ－ｄｅｐｅｎｄｅｎｔ ｐｌａｓｔｉｃｉｔｙ）を活用することによって訓練されることが可能であり、ＳＴＤＰは、教師なし学習を可能にする生体模倣アルゴリズムの例である。ＳＴＤＰを基礎とする仮定は、シナプス後部ニューロンがスパイクする直前にシナプス前部ニューロンがスパイクするとき、２つの間のシナプス／重みはより強くなる、および逆もまた同様、ということである。したがって、シナプス前部ニューロンが再びスパイクした場合、シナプスは、シナプス後部ニューロンが、より速く、またはより高い発生確率でスパイクすることを可能にすることになる。
【0097】
センサシステム６０５において、入力および出力スパイクは、ピクセルにおけるイベントに対応することが可能である。イベントは、例えば、フレーム露出期間内にフォトダイオードによって受け取られた光の強度が１つまたは複数の閾値を超過することに対応することが可能であり、１つまたは複数の閾値は、デジタルピクセルセルの１つまたは複数のフラグビットで示されることが可能である。いくつかの例では、フラグビットのパターンは、例えば、特定の環境（例えば、十分な環境光を有する環境、用途のための標的環境など）でセンサシステム６０５が動作することを示すことができ、これは、環境においてキャプチャされた画像データを処理するためにセンサシステム６０５が目覚めることにつながり得る。
【0098】
図５に示されたものなどの、メモリスタのアレイは、イベントを検出するように訓練されることが可能である。図１０Ｃは、検出を実施するように訓練されることが可能な、メモリスタのアレイ１０７０を示す。図１０Ｃに示されているように、メモリスタのアレイ１０７０は、列ライン（Ｃ０、Ｃ１、Ｃ２など）と行ライン（Ｒ０、Ｒ１、Ｒ２など）との間のクロスバーデバイスとして実装されることが可能である。ピクセルセルから、時間閾値（例えば、Ｔ０）前に発生するイベントを表す信号は、列ラインに供給されることが可能であり、その一方で、ピクセルセルから、時間閾値後に発生するイベントを表す信号は、行ラインに供給されることが可能である。メモリスタクロスバーは重みを格納することができ、メモリスタデバイスの物理学により、そのコンダクタンスは、プログラミングパルスがデバイスに適用されるときのＳＴＤＰ学習規則に従うことが可能である。行は、増幅器１０７２に接続されることが可能であり、増幅器１０７２は、行内の各列のメモリスタ出力を合計し、活性化関数を合計に適用し、出力１０７４を生成することができる。出力１０７４は、ピクセルセル間のイベントのタイミング関係のパターンを表すことができ、メモリスタクロスバーにおける重みを更新してＳＴＤＰプロセスをモデル化するために使用されることが可能である。
【0099】
いくつかの例では、メモリスタのアレイ１０７０は、ベクトル－ベクトルおよびベクトル－行列乗算など、他のタイプの乗算を実行することができる。例えば、列ライン（Ｃ０、Ｃ１、Ｃ２など）は、１次元ベクトル（例えば、１×１２８個のベクトル）を表す値を保持することができ、その一方で、行ライン（Ｒ０、Ｒ１、Ｒ２など）は、別の１次元ベクトル（例えば、別の１×１２８個のベクトル）を表す値を保持することができ、メモリスタのアレイ１０７０は、２つのベクトル間のベクトル－ベクトル乗算を実行することができる。ベクトル－ベクトル乗算は、例えば図３Ｂの完全接続ニューラルネットワーク層の計算を表すことができる。
【0100】
システム環境
図１１は、コンソール１１１０が動作するＨＭＤシステム１１００の１つの実施形態のブロック図である。ＨＭＤシステム１１００は、人工現実システムにおいて動作し得る。図１１によって示されたＨＭＤシステム１１００は、コンソール１１１０に連結されたＨＭＤ１１０５および入出力（Ｉ／Ｏ）インターフェース１１１５を備える。図１１は、１つのＨＭＤ１１０５およびＩ／Ｏインターフェース１１１５を含む実例のＨＭＤシステム１１００を示すが、他の例では、任意の数のこれらの構成要素が、ＨＭＤシステム１１００に含まれてもよい。例えば、関連付けられたＩ／Ｏインターフェース１１１５をそれぞれ有する、複数のＨＭＤ１１０５があってもよく、各ＨＭＤ１１０５およびＩ／Ｏインターフェース１１１５は、コンソール１１１０と通信する。代替構成では、異なるおよび／または追加の構成要素が、ＨＭＤシステム１１００に含まれてもよい。さらに、図１１に示された構成要素のうちの１つまたは複数に関連して説明される機能は、いくつかの例では、図１１に関連して説明されるものとは異なる様式で構成要素間に分散されてもよい。例えば、コンソール１１１０の機能の一部または全部が、ＨＭＤ１１０５によって提供される。
図１１は、コンソール１１１０が動作するＨＭＤシステム１１００の１つの実施形態のブロック図である。ＨＭＤシステム１１００は、人工現実システムにおいて動作し得る。図１１によって示されたＨＭＤシステム１１００は、コンソール１１１０に連結されたＨＭＤ１１０５および入出力（Ｉ／Ｏ）インターフェース１１１５を備える。図１１は、１つのＨＭＤ１１０５およびＩ／Ｏインターフェース１１１５を含む実例のＨＭＤシステム１１００を示すが、他の例では、任意の数のこれらの構成要素が、ＨＭＤシステム１１００に含まれてもよい。例えば、関連付けられたＩ／Ｏインターフェース１１１５をそれぞれ有する、複数のＨＭＤ１１０５があってもよく、各ＨＭＤ１１０５およびＩ／Ｏインターフェース１１１５は、コンソール１１１０と通信する。代替構成では、異なるおよび／または追加の構成要素が、ＨＭＤシステム１１００に含まれてもよい。さらに、図１１に示された構成要素のうちの１つまたは複数に関連して説明される機能は、いくつかの例では、図１１に関連して説明されるものとは異なる様式で構成要素間に分散されてもよい。例えば、コンソール１１１０の機能の一部または全部が、ＨＭＤ１１０５によって提供される。
【0101】
ＨＭＤ１１０５は、コンピュータ生成要素（例えば、２次元（２Ｄ）または３次元（３Ｄ）画像、２Ｄまたは３Ｄビデオ、音など）を伴う実際の現実世界の環境の仮想および／または拡張ビューを含むコンテンツをユーザに提示するヘッドマウント型ディスプレイである。いくつかの例では、提示されるコンテンツは、外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示されるオーディオを含み、外部デバイスは、ＨＭＤ１１０５、コンソール１１１０、または両方からオーディオ情報を受け取り、オーディオ情報に基づくオーディオデータを提示する。ＨＭＤ１１０５は、１つまたは複数の剛体を備え得、１つまたは複数の剛体は、精密または非精密に一緒に連結され得る。剛体間の精密連結により、連結された剛体は、単一の精密エンティティとして機能する。対照的に、剛体間の非精密連結により、剛体は、互いに対して動くことができる。ＨＭＤ１１０５の例は、図１Ａに関連して上記で説明されたＨＭＤ１００であり得る。
【0102】
ＨＭＤ１１０５は、１つまたは複数のセンサアセンブリ１１２０、電子ディスプレイ１１２５、光学アセンブリ１１３０、１つまたは複数の位置センサ１１３５、ＩＭＵ１１４０、任意選択の視標追跡システム１１４５、および任意選択の可変焦点モジュール１１５０を含む。ＨＭＤ１１０５のいくつかの例は、図１１に関連して説明されたものとは異なる構成要素を有する。さらに、図１１に関連して説明された様々な構成要素によって提供される機能は、他の例では、ＨＭＤ１１０５の構成要素間にそれぞれ分散されてもよい。
【0103】
各センサアセンブリ１１２０は、複数の積層型センサ層を備え得る。複数の積層型センサ層の最上部にある第１のセンサ層は、ＨＭＤ１１０５の一部または全部を囲むローカルエリアの１つまたは複数の物体から反射された光の少なくとも一部分の１つまたは複数の画像をキャプチャするように構成されたピクセルのアレイを含み得る。第１（最上部）のセンサ層の下にある、複数の積層型センサ層の少なくとも１つの他のセンサ層は、キャプチャされた１つまたは複数の画像に関するデータを処理するように構成され得る。ＨＭＤ１１０５またはコンソール１１１０は、センサアセンブリ１１２０の第１のサブセットを動的に活性化させ、例えば、ＨＭＤ１１０５で動くアプリケーションに基づいて、センサアセンブリ１１２０の第２のサブセットを不活性化させ得る。したがって、各瞬間において、センサアセンブリ１１２０の一部分だけが、活性化されるはずである。いくつかの例では、１つまたは複数の動く物体の１つまたは複数の追跡される特徴についての情報が、１つのセンサアセンブリ１１２０から別のセンサアセンブリ１１２０に渡され得、その結果、他のセンサアセンブリ１１２０は、１つまたは複数の動く物体の１つまたは複数の特徴を追跡し続け得る。
【0104】
いくつかの例では、各センサアセンブリ１１２０は、ホスト、すなわち、ＨＭＤ１１０５またはコンソール１１１０のプロセッサ（コントローラ）に、連結され得る。センサアセンブリ１１２０は、第１のフレームレートを使用して、第１の解像度の第１のデータをホストに送るように構成され得、第１のデータは、第１の瞬間にセンサアセンブリ１１２０によってキャプチャされた画像に関連付けられる。ホストは、第１のフレームレートを使用して、センサアセンブリ１１２０から受け取られた第１のデータに基づいて取得された１つまたは複数の特徴についての情報を送るように構成され得る。センサアセンブリ１１２０は、第１のフレームレートより高い第２のフレームレートを使用して、第１の解像度より低い第２の解像度の第２のデータをホストに送るようにさらに構成され得、第２のデータは、第２の瞬間にセンサアセンブリによってキャプチャされた別の画像に関連付けられる。
【0105】
各センサアセンブリ１１２０は、最上部のセンサ層のアレイの各ピクセルと、最上部のセンサ層の下にある、１つまたは複数のセンサ層のうちの少なくとも１つのセンサ層のロジックとの間のインターフェース接続を含み得る。センサアセンブリ１１２０の最上部のセンサ層の下にある、１つまたは複数のセンサ層のうちの少なくとも１つは、キャプチャされた１つまたは複数の画像から１つまたは複数の特徴を抽出するように構成されたロジックを含み得る。センサアセンブリ１１２０の最上部のセンサ層の下にある、１つまたは複数のセンサ層のうちの少なくとも１つは、訓練済みのネットワーク重みの格納のためのメモリスタのアレイに基づくＣＮＮをさらに含み得る。
【0106】
少なくとも１つのセンサアセンブリ１１２０は、ローカルエリアの奥行き情報を表すデータをキャプチャし得る。少なくとも１つのセンサアセンブリ１１２０は、（例えば、ストラクチャードライトパターンのキャプチャされた部分に基づく）データを使用して、奥行き情報を計算することができる。代替として、少なくとも１つのセンサアセンブリ１１２０は、この情報を、コンソール１１１０などの別のデバイスに送ることができ、コンソール１１１０は、センサアセンブリ１１２０からのデータを使用して、奥行き情報を決定することができる。センサアセンブリ１１２０のそれぞれは、図１Ａのセンサデバイス１３０、図２のセンサアセンブリ２００、図３のセンサアセンブリ３００、および／または図６のセンサシステム６０５の実施形態であり得る。
【0107】
電子ディスプレイ１１２５は、コンソール１１１０から受け取られたデータに従って、２次元または３次元画像をユーザに表示する。様々な例において、電子ディスプレイ１１２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各目のためのディスプレイ）を備える。電子ディスプレイ１１２５の例は、ＬＣＤ、ＯＬＥＤディスプレイ、ＩＬＥＤディスプレイ、ＡＭＯＬＥＤディスプレイ、ＴＯＬＥＤディスプレイ、いくつかの他のディスプレイ、またはそのいくつかの組合せを含む。電子ディスプレイ１１２５は、図１Ｂの電子ディスプレイ１５５の実施形態であり得る。
【0108】
光学アセンブリ１１３０は、電子ディスプレイ１１２５から受け取られた画像光を拡大し、画像光に関連付けられた光学エラーを補正し、補正された画像光をＨＭＤ１１０５のユーザに提示する。光学アセンブリ１１３０は、複数の光学素子を含む。光学アセンブリ１１３０に含まれる実例の光学素子は、開口部、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または、画像光に影響を及ぼす任意の他の適切な光学素子を含む。その上、光学アセンブリ１１３０は、異なる光学素子の組合せを含み得る。いくつかの例では、光学アセンブリ１１３０の光学素子のうちの１つまたは複数は、部分的に反射性のまたは反射防止のコーティングなどの、１つまたは複数のコーティングを有し得る。
【0109】
光学アセンブリ１１３０による画像光の拡大および焦点調整は、大きいディスプレイより電子ディスプレイ１１２５を物理的に小さくし、重さを減らし、電力消費を減らすことを可能にする。さらに、拡大は、電子ディスプレイ１１２５によって提示されるコンテンツの視野を増加させ得る。例えば、表示コンテンツの視野は、表示コンテンツが、視野のほぼ全て（例えば、およそ１１０度の対角線）、および場合によっては全てを使用して、提示されるようなものである。さらに、いくつかの例では、拡大の量は、光学素子を追加または除去することによって調節され得る。
【0110】
いくつかの例では、光学アセンブリ１１３０は、１つまたは複数のタイプの光学エラーを補正するように設計され得る。光学エラーの例は、たる型もしくは糸巻形歪曲、軸上色収差、または横色収差を含む。他のタイプの光学エラーは、球面収差、色収差、または、レンズフィールド湾曲、非点収差、もしくは任意の他のタイプの光学エラーによるエラーをさらに含み得る。いくつかの例では、表示のために電子ディスプレイ１１２５に提供されるコンテンツは予め歪んでおり、光学アセンブリ１１３０は、コンテンツに基づいて生成された電子ディスプレイ１１２５からの画像光を受け取ったとき、歪みを補正する。いくつかの例では、光学アセンブリ１１３０は、電子ディスプレイ１１２５から放たれた画像光を、ユーザの目の場所に対応するＨＭＤ１１０５のアイボックスに向けるように構成される。画像光は、処理データに部分的に基づいて複数のセンサアセンブリ１１２０のうちの少なくとも１つによって決定されたローカルエリアの奥行き情報を含み得る。光学アセンブリ１１３０は、図１Ｂの光学アセンブリ１６０の実施形態であり得る。
【0111】
ＩＭＵ１１４０は、位置センサ１１３５のうちの１つまたは複数から受け取られた測定信号に基づいて、および、少なくとも１つのセンサアセンブリ１１２０から受け取られた奥行き情報から、ＨＭＤ１１０５の位置を示すデータを生成する電子デバイスである。位置センサ１１３５は、ＨＭＤ１１０５の動きに応じて、１つまたは複数の測定信号を生成する。位置センサ１１３５の例は、１つもしくは複数の加速度計、１つもしくは複数のジャイロスコープ、１つもしくは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵ１１４０の誤差訂正のために使用されるセンサの一種、またはそのいくつかの組合せを含む。位置センサ１１３５は、ＩＭＵ１１４０の外部、ＩＭＵ１１４０の内部、またはそのいくつかの組合せにあってもよい。
【0112】
１つまたは複数の位置センサ１１３５からの１つまたは複数の測定信号に基づいて、ＩＭＵ１１４０は、ＨＭＤ１１０５の初期位置に対するＨＭＤ１１０５の推定される現在位置を示すデータを生成する。例えば、位置センサ１１３５は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計、および回転運動（例えば、ピッチ、偏揺れ、横揺れ）を測定するための複数のジャイロスコープを含む。いくつかの例では、位置センサ１１３５は、図１Ａの位置センサ１２５を表し得る。いくつかの例では、ＩＭＵ１１４０は、測定信号を迅速にサンプリングし、サンプリングされたデータからＨＭＤ１１０５の推定される現在位置を計算する。例えば、ＩＭＵ１１４０は、経時的に加速度計から受け取られた測定信号を統合して速度ベクトルを推定し、経時的に速度ベクトルを統合してＨＭＤ１１０５上の基準点の推定される現在位置を決定する。代替として、ＩＭＵ１１４０は、サンプリングされた測定信号をコンソール１１１０に提供し、コンソール１１１０は、誤差を低減させるようにデータを解釈する。基準点は、ＨＭＤ１１０５の位置を表現するために使用され得るポイントである。基準点は、一般に、空間におけるポイント、またはＨＭＤ１１０５の向きおよび位置に関連した位置として定義され得る。
【0113】
ＩＭＵ１１４０は、コンソール１１１０から１つまたは複数のパラメータを受け取る。１つまたは複数のパラメータは、ＨＭＤ１１０５の追跡を維持するために使用される。受け取られたパラメータに基づいて、ＩＭＵ１１４０は、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調節し得る。いくつかの例では、特定のパラメータで、ＩＭＵ１１４０は基準点の初期位置を更新し、したがって、これが基準点の次の位置に対応する。基準点の初期位置を基準点の次の較正された位置として更新することは、ＩＭＵ１１４０によって推定された現在位置に関連付けられた集積された誤差を低減させるのに役立つ。集積された誤差は、変動誤差（ｄｒｉｆｔ ｅｒｒｏｒ）とも呼ばれ、基準点の推定される位置を、基準点の実際の位置から経時的に遠くへ「変動」させる。ＨＭＤ１１０５のいくつかの例では、ＩＭＵ１１４０は、専用ハードウェア構成要素でもよい。他の例では、ＩＭＵ１１４０は、１つまたは複数のプロセッサに実装されたソフトウェア構成要素でもよい。いくつかの例では、ＩＭＵ１１４０は、図１Ａのセンサデバイス１３０を表し得る。
【0114】
いくつかの例では、視標追跡システム１１４５は、ＨＭＤ１１０５に統合される。視標追跡システム１１４５は、ＨＭＤ１１０５を装着したユーザの目に関連付けられた視標追跡情報を決定する。視標追跡システム１１４５によって決定された視標追跡情報は、ユーザの目の向きについての情報、すなわち、視線の角度についての情報を含み得る。いくつかの例では、視標追跡システム１１４５は、光学アセンブリ１１３０に統合される。視標追跡システム１１４５の実施形態は、照明源および撮像デバイス（カメラ）を含み得る。
【0115】
いくつかの例では、可変焦点モジュール１１５０が、ＨＭＤ１１０５にさらに統合される。可変焦点モジュール１１５０は、視標追跡システム１１４５によって決定される視標追跡情報を取得するために、視標追跡システム１１４５に連結され得る。可変焦点モジュール１１５０は、視標追跡システム１１４５から取得された決定された視標追跡情報に基づいて、電子ディスプレイ１１２５に表示された１つまたは複数の画像の焦点を調節するように構成され得る。このようにして、可変焦点モジュール１１５０は、画像光に関する輻輳調節矛盾を軽減することができる。可変焦点モジュール１１５０は、電子ディスプレイ１１２５のうちの少なくとも１つ、および光学アセンブリ１１３０の少なくとも１つの光学素子と（例えば、機械的または電気的に）インターフェースされることが可能である。次に、可変焦点モジュール１１５０は、視標追跡システム１１４５から取得された決定された視標追跡情報に基づいて、電子ディスプレイ１１２５のうちの少なくとも１つ、および光学アセンブリ１１３０の少なくとも１つの光学素子の位置を調節することによって、電子ディスプレイ１１２５に表示された１つまたは複数の画像の焦点を調節するように構成され得る。位置を調節することによって、可変焦点モジュール１１５０は、電子ディスプレイ１１２５からユーザの目に向かって出力された画像光の焦点を変化させる。可変焦点モジュール１１５０は、また、視標追跡システム１１４５から取得された決定された視標追跡情報に少なくとも部分的に基づいて、表示された画像の中心窩レンダリングを実施することによって、電子ディスプレイ１１２５に表示された画像の解像度を調節するように構成され得る。この場合、可変焦点モジュール１１５０は、適切な画像信号を電子ディスプレイ１１２５に提供する。可変焦点モジュール１１５０は、電子ディスプレイ１１２５の他の領域において、より低いピクセル密度の画像信号を提供しつつ、ユーザの視線の中心窩領域においてのみ、最大ピクセル密度の画像信号を電子ディスプレイ１１２５に提供する。１つの実施形態では、可変焦点モジュール１１５０は、少なくとも１つのセンサアセンブリ１１２０によって取得された奥行き情報を利用して、例えば、電子ディスプレイ１１２５に提示するためのコンテンツを生成し得る。
【0116】
Ｉ／Ｏインターフェース１１１５は、ユーザがアクションリクエストを送り、コンソール１１１０から応答を受け取ることを可能にするデバイスである。アクションリクエストは、特定のアクションを実施したいというリクエストである。例えば、アクションリクエストは、画像またはビデオデータのキャプチャを開始もしくは終了するようにという命令、またはアプリケーション内の特定のアクションを実施するようにという命令であり得る。Ｉ／Ｏインターフェース１１１５は、１つまたは複数の入力デバイスを含み得る。実例の入力デバイスは、キーボード、マウス、ゲームコントローラ、または、アクションリクエストを受け取り、アクションリクエストをコンソール１１１０に伝えるための任意の他の適切なデバイスを含む。Ｉ／Ｏインターフェース１１１５によって受け取られたアクションリクエストはコンソール１１１０に伝えられ、コンソール１１１０は、アクションリクエストに対応するアクションを実施する。いくつかの例では、Ｉ／Ｏインターフェース１１１５は、Ｉ／Ｏインターフェース１１１５の初期位置に対する、Ｉ／Ｏインターフェース１１１５の推定位置を示すＩＭＵデータをキャプチャするＩＭＵ１１４０を含む。いくつかの例では、Ｉ／Ｏインターフェース１１１５は、コンソール１１１０から受け取られた命令に従って、触感フィードバックをユーザに提供し得る。例えば、触感フィードバックは、アクションリクエストが受け取られたとき、または、コンソール１１１０がアクションを実施するときの触感フィードバックをＩ／Ｏインターフェース１１１５に生成させる命令をコンソール１１１０がＩ／Ｏインターフェース１１１５に伝えたときに、提供される。
【0117】
コンソール１１１０は、少なくとも１つのセンサアセンブリ１１２０、ＨＭＤ１１０５、およびＩ／Ｏインターフェース１１１５のうちの１つまたは複数から受け取られた情報に従って処理するために、コンテンツをＨＭＤ１１０５に提供する。図１１に示された例では、コンソール１１１０は、アプリケーションストア１１５５、追跡モジュール１１６０、およびエンジン１１６５を含む。コンソール１１１０のいくつかの例は、図１１に関連して説明されたものとは異なるモジュールまたは構成要素を有する。同様に、下記でさらに説明される機能は、図１１に関連して説明されたものとは異なる様式でコンソール１１１０の構成要素間に分散され得る。
【0118】
アプリケーションストア１１５５は、コンソール１１１０による実行のための１つまたは複数のアプリケーションを格納する。アプリケーションは、命令のグループであり、命令が、プロセッサによって実行されると、ユーザへの提示のためのコンテンツを生成する。アプリケーションによって生成されたコンテンツは、ＨＭＤ１１０５またはＩ／Ｏインターフェース１１１５の動きを介してユーザから受け取られた入力に応じたものであり得る。アプリケーションの例は、ゲーミングアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションを含む。
【0119】
追跡モジュール１１６０は、１つまたは複数の較正パラメータを使用してＨＭＤシステム１１００を較正し、ＨＭＤ１１０５の、またはＩ／Ｏインターフェース１１１５の位置の、決定時の誤差を低減させるように１つまたは複数の較正パラメータを調節し得る。例えば、追跡モジュール１１６０は、少なくとも１つのセンサアセンブリ１１２０の焦点を調節して、少なくとも１つのセンサアセンブリ１１２０によってキャプチャされたストラクチャードライト素子の位置をより正確に決定するために、較正パラメータを少なくとも１つのセンサアセンブリ１１２０に伝える。追跡モジュール１１６０によって実施される較正は、ＨＭＤ１１０５のＩＭＵ１１４０および／またはＩ／Ｏインターフェース１１１５に含まれるＩＭＵ１１４０から受け取られた情報も考慮に入れる。さらに、ＨＭＤ１１０５の追跡が失われた場合（例えば、少なくとも１つのセンサアセンブリ１１２０が、少なくとも閾値数のストラクチャードライト素子の視線を失った場合）、追跡モジュール１１６０は、ＨＭＤシステム１１００の一部または全部を再較正し得る。
【0120】
追跡モジュール１１６０は、少なくとも１つのセンサアセンブリ１１２０、１つもしくは複数の位置センサ１１３５、ＩＭＵ１１４０、またはそのいくつかの組合せからの情報を使用して、ＨＭＤ１１０５の、またはＩ／Ｏインターフェース１１１５の動きを追跡する。例えば、追跡モジュール１１６０は、ＨＭＤ１１０５からの情報に基づいて、ローカルエリアのマッピング時のＨＭＤ１１０５の基準点の位置を決定する。追跡モジュール１１６０は、ＩＭＵ１１４０からのＨＭＤ１１０５の位置を示すデータを使用して、または、Ｉ／Ｏインターフェース１１１５に含まれるＩＭＵ１１４０からのＩ／Ｏインターフェース１１１５の位置を示すデータを使用して、ＨＭＤ１１０５の基準点、またはＩ／Ｏインターフェース１１１５の基準点の位置もそれぞれ決定し得る。さらに、いくつかの例では、追跡モジュール１１６０は、ＩＭＵ１１４０からのＨＭＤ１１０５の位置を示すデータの一部分、および、少なくとも１つのセンサアセンブリ１１２０からのローカルエリアの表現を使用して、ＨＭＤ１１０５の将来の場所を予測し得る。追跡モジュール１１６０は、ＨＭＤ１１０５またはＩ／Ｏインターフェース１１１５の推定または予測される将来の位置をエンジン１１６５に提供する。
【0121】
エンジン１１６５は、ＨＭＤ１１０５から受け取られた情報に基づいて、ＨＭＤ１１０５の一部または全部を囲むローカルエリアの３Ｄマッピングを生成する。いくつかの例では、エンジン１１６５は、奥行きを計算する際に使用される技法に関連した、少なくとも１つのセンサアセンブリ１１２０から受け取られた情報に基づいて、ローカルエリアの３Ｄマッピングの奥行き情報を決定する。エンジン１１６５は、ストラクチャードライトから奥行きを計算する際の１つまたは複数の技法を使用して、奥行き情報を計算し得る。様々な例において、エンジン１１６５は、奥行き情報を使用して、例えば、ローカルエリアのモデルを更新し、更新されたモデルに部分的に基づいてコンテンツを生成する。
【0122】
エンジン１１６５は、また、ＨＭＤシステム１１００内のアプリケーションを実行し、ＨＭＤ１１０５の、位置情報、加速度情報、速度情報、予測される将来の位置、またはそのいくつかの組合せを、追跡モジュール１１６０から受け取る。受け取られた情報に基づいて、エンジン１１６５は、ユーザへの提示のために、ＨＭＤ１１０５に提供するためのコンテンツを決定する。例えば、ユーザが左を見ていたことを、受け取られた情報が示す場合、エンジン１１６５は、仮想環境における、または、追加のコンテンツを含むローカルエリアを拡張する環境における、ユーザの動きを映すＨＭＤ１１０５のためのコンテンツを生成する。さらに、エンジン１１６５は、Ｉ／Ｏインターフェース１１１５から受け取られたアクションリクエストに応答して、コンソール１１１０で実行するアプリケーション内のアクションを実施し、アクションが実施されたユーザにフィードバックを提供する。提供されるフィードバックは、ＨＭＤ１１０５を介した視覚または可聴フィードバックでも、Ｉ／Ｏインターフェース１１１５を介した触感フィードバックでもよい。
【0123】
いくつかの例では、視標追跡システム１１４５から受け取られた視標追跡情報（例えば、ユーザの目の向き）に基づいて、エンジン１１６５は、電子ディスプレイ１１２５上でユーザに提示するための、ＨＭＤ１１０５に提供されるコンテンツの解像度を決定する。エンジン１１６５は、ユーザの注視の中心窩領域における電子ディスプレイ１１２５上の、最大ピクセル解像度を有するコンテンツを、ＨＭＤ１１０５に提供し、その一方で、エンジン１１６５は、電子ディスプレイ１１２５の他の領域において、より低いピクセル解像度を提供し、したがって、ユーザの視覚体験を損なうことなく、ＨＭＤ１１０５においてより少ない電力消費量を実現し、コンソール１１１０のコンピューティングサイクルを節約する。いくつかの例では、エンジン１１６５は、さらに、視標追跡情報を使用して、輻輳調節矛盾を防ぐように、物体が電子ディスプレイ１１２５に表示される場所を調節することができる。
【0124】
追加の構成情報
本開示の例の前述の説明は、例証のために提示されてきたものであり、網羅的であること、または、開示された正確な形式に本開示を限定することを意図するものではない。当業者は、上記の開示の観点から、多くの変更形態および変形形態が可能であることを認識することができる。
本開示の例の前述の説明は、例証のために提示されてきたものであり、網羅的であること、または、開示された正確な形式に本開示を限定することを意図するものではない。当業者は、上記の開示の観点から、多くの変更形態および変形形態が可能であることを認識することができる。
【0125】
本説明のいくつかの部分は、情報に対する動作のアルゴリズムおよび記号表現の観点で、本開示の例を説明する。これらのアルゴリズム的説明および表現は、一般に、データ処理の当業者によって、これらのワークの実体を効果的に他の当業者に伝えるために使用される。これらの動作は、機能的、演算的、または論理的に説明されるが、コンピュータプログラム、または同等の電気回路、マイクロコード、もしくは同様のものによって実装されるものと理解されている。さらに、一般性を失うことなく、動作のこれらの配置をモジュールとして参照することが、時には便利であることも証明されてきた。説明される動作およびその関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはその任意の組合せで具体化され得る。
【0126】
本明細書で説明されるステップ、動作、またはプロセスのいずれかが、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他のデバイスと組み合わせて、実施または実装され得る。１つの実施形態では、ソフトウェアモジュールは、説明されるステップ、動作、またはプロセスのいずれかまたは全てを実施するためにコンピュータプロセッサによって実行されることが可能な、コンピュータプログラムコードを収めるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
【0127】
本開示の例は、本明細書の動作を実施するための装置にも関し得る。この装置は、要求される目的のために特に構築され得、および／または、コンピュータに格納されたコンピュータプログラムによって選択的に活性化または再構成された汎用コンピューティングデバイスを備え得る。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読ストレージ媒体、または電子命令を格納するのに適した任意のタイプの媒体に格納され得、これらの媒体は、コンピュータシステムバスに連結され得る。さらに、本明細書で言及されるいずれかのコンピューティングシステムが単一のプロセッサを含み得るか、向上したコンピューティング能力のための複数のプロセッサ設計を採用したアーキテクチャであり得る。
【0128】
本開示の例は、本明細書で説明されるコンピューティングプロセスによって生み出される製品にも関し得る。このような製品は、コンピューティングプロセスから生じた情報を含み得、情報は、非一時的な有形のコンピュータ可読ストレージ媒体に格納され、製品は、コンピュータプログラム製品のいずれかの実施形態、または本明細書で説明される他のデータの組合せを含み得る。
【0129】
最後に、本明細書で使用される言葉は、可読性および指示目的のために主に選択されてきたものであり、発明の主題を詳しく説明するためまたは制限するために選択されてきたものではない。したがって、本開示の範囲は、本詳細な説明によってではなく、むしろ、本明細書に基づく出願について発行するいずれかの請求項によって限定されることを意図するものである。したがって、例の開示は、以下の特許請求の範囲において示される本開示の範囲の、限定ではなく、例証であることを意図するものである。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図7G】
【図7H】
【図7I】
【図7J】
【図8A】
【図8B】
【図8C】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【国際調査報告】