特表 2022-553630 関心領域を追跡するためにニューラルネットワークを使用する画像検知および処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-26

(54)【発明の名称】関心領域を追跡するためにニューラルネットワークを使用する画像検知および処理

(51)【国際特許分類】

   G06V 10/12 20220101AFI20221219BHJP

【ＦＩ】

G06V10/12

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022520220

(86)(22)【出願日】2020-11-09

(85)【翻訳文提出日】2022-05-27

(86)【国際出願番号】 US2020059636

(87)【国際公開番号】W WO2021092541

(87)【国際公開日】2021-05-14

(31)【優先権主張番号】62/932,067

(32)【優先日】2019-11-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/091,331

(32)【優先日】2020-11-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】ベルコビッチ， アンドリュー サミュエル

(72)【発明者】

【氏名】ピンカム， リード

(57)【要約】

一例では、装置が、複数のピクセルセルを備える画像センサーと、フレームバッファと、フレームバッファから、第１のアクティブピクセルと第１の非アクティブピクセルとを備える第１の画像フレームを受信することであって、第１のアクティブピクセルが、第１のプログラミングデータに基づいて選択されたピクセルセルの第１のサブセットによって生成される、第１の画像フレームを受信することと、処理出力を生成するために、第１の画像フレームのピクセルの第１のサブセットに対して画像処理動作を実施することであって、それにより、第１の画像フレームのピクセルの第２のサブセットが画像処理動作から除外される、画像処理動作を実施することと、処理出力に基づいて、第２のプログラミングデータを生成することと、第２の画像フレームのための第２のアクティブピクセルを生成するためのピクセルセルの第２のサブセットを選択するために第２のプログラミングデータを画像センサーに送信することとを行うように構成された、センサーコンピュート回路とを備える。
【選択図】図８Ｂ

【特許請求の範囲】

【請求項1】

複数のピクセルセルを備える画像センサーであって、前記画像センサーが、アクティブピクセルを生成するための前記ピクセルセルのサブセットを選択するように、プログラミングデータによって構成可能である、画像センサーと、
フレームバッファと、
前記フレームバッファから、第１のアクティブピクセルと第１の非アクティブピクセルとを備える第１の画像フレームを受信することであって、前記第１のアクティブピクセルが、第１のプログラミングデータに基づいて選択された前記ピクセルセルの第１のサブセットによって生成され、前記第１の非アクティブピクセルが、前記第１のアクティブピクセルを生成するために選択されなかった前記ピクセルセルの第２のサブセットに対応する、第１の画像フレームを受信することと、
処理出力を生成するために、前記第１の画像フレームのピクセルの第１のサブセットに対して画像処理動作を実施することであって、それにより、前記第１の画像フレームのピクセルの第２のサブセットが前記画像処理動作から除外される、画像処理動作を実施することと、
前記処理出力に基づいて、第２のプログラミングデータを生成することと、
第２の画像フレームのための第２のアクティブピクセルを生成するための前記ピクセルセルの第２のサブセットを選択するために前記第２のプログラミングデータを前記画像センサーに送信することと
を行うように構成された、センサーコンピュート回路と
を備える、装置。

【請求項2】

前記画像処理動作が、前記第１の画像フレーム中の関心オブジェクトを検出するためのニューラルネットワークモデルによる処理動作を含み、
ピクセルの前記第１のサブセットが前記関心オブジェクトに対応する、
請求項１に記載の装置。

【請求項3】

前記センサーコンピュート回路が、前記関心オブジェクトの前記検出の結果を使用するアプリケーションを実行するように構成されたホストデバイスと接続され、
前記センサーコンピュート回路が、前記ホストデバイスから前記関心オブジェクトに関する情報を受信するように構成された、
請求項２に記載の装置。

【請求項4】

前記センサーコンピュート回路は、
前記ニューラルネットワークのニューラルネットワーク層への入力データと、前記ニューラルネットワーク層の重みデータと、前記ニューラルネットワーク層の中間出力データとを記憶するように構成されたコンピュートメモリと、
前記中間出力データを生成するために前記入力データと前記重みデータとに対して前記ニューラルネットワーク層の算術演算を実施するように構成されたデータ処理回路と、
前記コンピュートメモリから、前記入力データの第１のサブセットと、前記入力データの前記第１のサブセットに対応する前記重みデータの第１のサブセットとを取得することであって、前記入力データの前記第１のサブセットが前記第１のアクティブピクセルのうちの少なくともいくつかに対応する、前記入力データの第１のサブセットと前記重みデータの第１のサブセットとを取得することと、
前記第１の画像フレームのための前記中間出力データの第１のサブセットを生成するために前記入力データの前記第１のサブセットと前記重みデータの前記第１のサブセットとに対して前記算術演算を実施するように前記データ処理回路を制御することであって、前記中間出力データの前記第１のサブセットが前記入力データの前記第１のサブセットに対応する、前記データ処理回路を制御することと、
前記第１の画像フレームのための前記中間出力データの前記第１のサブセットを前記コンピュートメモリに記憶することと、
前記第１の画像フレームのための前記中間出力データの第２のサブセットについての所定の値を前記コンピュートメモリに記憶することであって、前記中間出力データの前記第２のサブセットがアクティブでないピクセルに対応する、所定の値を前記コンピュートメモリに記憶することと
を行うように構成された、コンピュートコントローラと
を備える、請求項２に記載の装置。

【請求項5】

前記所定の値が、前記画像処理動作より前に前記コンピュートメモリをリセットすることに基づいて記憶される、請求項４に記載の装置。

【請求項6】

前記コンピュートコントローラが、
前記コンピュートメモリから前記入力データを取得することと、
前記取得された入力データから、前記入力データの前記第１のサブセットを識別することと、
前記入力データの前記識別された第１のサブセットを前記コンピュートコントローラに提供することと
を行うように構成された、請求項４に記載の装置。

【請求項7】

前記コンピュートコントローラが、
前記入力データの前記第１のサブセットを記憶する前記コンピュートメモリのアドレス領域を決定することと、
前記コンピュートメモリから前記入力データの前記第１のサブセットを取得することと
を行うように構成された、請求項４に記載の装置。

【請求項8】

前記アドレス領域が、前記第１のプログラミングデータ、または前記ニューラルネットワークモデルのニューラルネットワーク層間の接続性に関する情報のうちの少なくとも１つに基づいて決定される、請求項７に記載の装置。

【請求項9】

前記第１のアクティブピクセルが静的ピクセルと非静的ピクセルとを含み、
前記静的ピクセルは、前記第１の画像フレームと前の画像フレームとの間のピクセル値の変化の程度が変化しきい値を上回る前記第１のアクティブピクセルの第１のサブセットに対応し、
前記非静的ピクセルは、前記第１の画像フレームと前記前の画像フレームとの間の前記ピクセル値の変化の程度が前記変化しきい値を下回る前記第１のアクティブピクセルの第２のサブセットに対応し、
前記コンピュートコントローラが、前記第１のアクティブピクセルの前記非静的ピクセルに対応する前記入力データの前記第１のサブセットを取得するように構成された、
請求項４に記載の装置。

【請求項10】

前記所定の値が第１の所定の値であり、
前記フレームバッファが、前記静的ピクセルをシグナリングするために前記静的ピクセルの各々についての第２の所定の値を記憶するように構成され、
前記コンピュートコントローラは、前記静的ピクセルが前記第２の所定の値を有することを検出したことに基づいて前記データ処理回路から前記静的ピクセルを除外するように構成された、
請求項９に記載の装置。

【請求項11】

前記フレームバッファは、ピクセルについての前記第２の所定の値を、しきい値数のフレームにわたる前記ピクセルの変化の程度が前記変化しきい値を下回ると決定したことに基づいて、記憶するように構成された、請求項１０に記載の装置。

【請求項12】

前記フレームバッファは、時定数を有するリーキー積分関数に基づいて、および前記変化しきい値よりも大きい変化の程度が前記ピクセルに最後にいつ起きたかに基づいて、ピクセルのピクセル値を設定更新するように構成された、請求項１０に記載の装置。

【請求項13】

前記コンピュートコントローラは、
前記ニューラルネットワークモデルのトポロジーに基づいて、前記ニューラルネットワークモデルの異なるニューラルネットワーク層を通って前記非静的ピクセルの変化がどのように伝搬するかを指示するデータ変化伝搬マップを決定することと、
前記データ変化伝搬マップに基づいて、前記入力データの前記第１のサブセットを取得するための前記コンピュートメモリの第１のアドレス領域と、前記中間出力データの前記第１のサブセットを記憶するための前記コンピュートメモリの第２のアドレス領域とを決定することと、
前記第１のアドレス領域から前記入力データの前記第１のサブセットを取得することと、
前記第２のアドレス領域において前記中間出力データの前記第１のサブセットを記憶することと
を行うように構成された、請求項９に記載の装置。

【請求項14】

前記コンピュートコントローラが、前記ニューラルネットワークモデルの深度と前記ニューラルネットワークモデルの各ニューラルネットワーク層における量子化精度とに基づいて前記変化しきい値を決定するように構成された、請求項９に記載の装置。

【請求項15】

前記変化しきい値が第１の変化しきい値であり、
前記コンピュートコントローラは、
２つの非連続フレーム間の前記第１のアクティブピクセルの前記ピクセル値の変化の程度を追跡することと、
変化の前記程度が第２の変化しきい値を超えたことに基づいて、前記第１のアクティブピクセルの第３のサブセットを非静的ピクセルとして決定することと
を行うように構成された、請求項９に記載の装置。

【請求項16】

前記画像センサーが第１の半導体基板中で実装され、
前記フレームバッファと前記センサーコンピュート回路とが、１つまたは複数の第２の半導体基板中で実装され、
前記第１の半導体基板と前記１つまたは複数の第２の半導体基板とが、スタックを形成し、単一の半導体パッケージ中に収容される、
請求項１に記載の装置。

【請求項17】

第１のアクティブピクセルを生成するための複数のピクセルセルの第１のサブセットを選択するために、第１のプログラミングデータを、前記ピクセルセルを備える画像センサーに送信することと、
フレームバッファから、前記第１のアクティブピクセルと第１の非アクティブピクセルとを備える第１の画像フレームを受信することであって、前記第１の非アクティブピクセルが、前記第１のアクティブピクセルを生成するために選択されなかった前記ピクセルセルの第２のサブセットに対応する、第１の画像フレームを受信することと、
処理出力を生成するために、前記第１の画像フレームのピクセルの第１のサブセットに対して画像処理動作を実施することであって、それにより、前記第１の画像フレームのピクセルの第２のサブセットが前記画像処理動作から除外される、画像処理動作を実施することと、
前記処理出力に基づいて、第２のプログラミングデータを生成することと、
第２の画像フレームのための第２のアクティブピクセルを生成するための前記ピクセルセルの第２のサブセットを選択するために前記第２のプログラミングデータを前記画像センサーに送信することと
を含む、方法。

【請求項18】

前記画像処理動作が、前記第１の画像フレーム中の関心オブジェクトを検出するためのニューラルネットワークによる処理動作を含み、
ピクセルの前記第１のサブセットが前記関心オブジェクトに対応する、
請求項１７に記載の方法。

【請求項19】

前記ニューラルネットワークのニューラルネットワーク層への入力データと、前記ニューラルネットワーク層の重みデータとをコンピュートメモリに記憶することと、
前記コンピュートメモリから、前記入力データの第１のサブセットと、前記入力データの前記第１のサブセットに対応する前記重みデータの第１のサブセットとを取得することであって、前記入力データの前記第１のサブセットが前記第１のアクティブピクセルのうちの少なくともいくつかに対応する、前記入力データの第１のサブセットと前記重みデータの第１のサブセットとを取得することと、
データ処理回路を使用して、前記第１の画像フレームのための中間出力データの第１のサブセットを生成するために前記入力データの前記第１のサブセットと前記重みデータの前記第１のサブセットとに対して算術演算を実施することであって、前記中間出力データの前記第１のサブセットが前記入力データの前記第１のサブセットに対応する、算術演算を実施することと、
前記第１の画像フレームのための前記中間出力データの前記第１のサブセットを前記コンピュートメモリに記憶することと、
前記第１の画像フレームのための前記中間出力データの第２のサブセットについての所定の値を前記コンピュートメモリに記憶することであって、前記中間出力データの前記第２のサブセットがアクティブでないピクセルに対応する、所定の値を前記コンピュートメモリに記憶することと
をさらに含む、請求項１８に記載の方法。

【請求項20】

前記第１のアクティブピクセルが静的ピクセルと非静的ピクセルとを含み、
前記静的ピクセルは、前記第１の画像フレームと前の画像フレームとの間のピクセル値の変化の程度が変化しきい値を上回る前記第１のアクティブピクセルの第１のサブセットに対応し、
前記非静的ピクセルは、前記第１の画像フレームと前記前の画像フレームとの間の前記ピクセル値の変化の程度が前記変化しきい値を下回る前記第１のアクティブピクセルの第２のサブセットに対応し、
前記入力データの前記第１のサブセットが、前記第１のアクティブピクセルの前記非静的ピクセルに対応する、
請求項１９に記載の方法。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本特許出願は、本出願の譲受人に譲渡され、その全体がすべての目的のために参照により本明細書に組み込まれる、「ＥＦＦＩＣＩＥＮＴ ＨＡＲＤＷＡＲＥ ＡＣＣＥＬＥＲＡＴＯＲ ＦＯＲ ＳＰＡＲＳＥ ＳＥＮＳＯＲ」と題する、２０１９年１１月７日に出願された、米国仮特許出願第６２／９３２，０６７号の優先権を主張する。

【背景技術】

【0002】

一般的な画像センサーは、ピクセルセルのアレイを含む。各ピクセルセルは、光子を電荷（たとえば、電子または正孔）に変換することによって光を検知するためのフォトダイオードを含み得る。各ピクセルセルにおいて変換された電荷は、量子化されてデジタルピクセル値になり得、デジタルピクセル値のアレイから画像が生成され得る。

【0003】

画像センサーによって生成された画像は、たとえば、仮想現実（ＶＲ）アプリケーション、拡張現実（ＡＲ）、または複合現実（ＭＲ）アプリケーションなど、異なるアプリケーションをサポートするように処理され得る。次いで、画像中のある関心オブジェクトおよびそのロケーションを検出するために、画像に対して画像処理動作が実施され得る。画像中のオブジェクトならびにそのロケーションの検出に基づいて、ＶＲ／ＡＲ／ＭＲアプリケーションは、ユーザにインタラクティブ体験を提供するために、たとえば、ディスプレイを介してユーザに表示するための仮想画像データ、スピーカーを介してユーザに出力するためのオーディオデータなどを生成および更新することができる。

【0004】

画像動作の空間および時間分解能を改善するために、画像センサーが、一般に、多数のピクセルセルを含み、高フレームレートにおいて画像を生成する。高フレームレートにおける高分解能画像フレームの生成、ならびにこれらの高分解能画像フレームの送信および処理は、画像センサーによる、および画像処理動作による、莫大な電力消費につながり得る。その上、一般にピクセルセルの小さいサブセットのみが関心オブジェクトから光を受け取ることを仮定すれば、オブジェクト検出／追跡動作のために有用でないピクセルデータを生成し、送信し、処理する際に多くの電力が浪費され、これは、画像検知および処理動作の全体的な効率を低下させる。

【発明の概要】

【0005】

本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、スパース画像検知および処理動作を実施するための技法に関する。

【0006】

一例では、装置が提供される。本装置は、画像センサーと、フレームバッファと、センサーコンピュート回路とを備える。画像センサーは複数のピクセルセルを備え、画像センサーは、アクティブピクセルを生成するためのピクセルセルのサブセットを選択するように、プログラミングデータによって構成可能である。センサーコンピュート回路は、フレームバッファから、第１のアクティブピクセルと第１の非アクティブピクセル（ｉｎａｃｔｉｖｅ ｐｉｘｅｌ）とを備える第１の画像フレームを受信することであって、第１のアクティブピクセルが、第１のプログラミングデータに基づいて選択されたピクセルセルの第１のサブセットによって生成され、第１の非アクティブピクセルが、第１のアクティブピクセルを生成するために選択されなかったピクセルセルの第２のサブセットに対応する、第１の画像フレームを受信することと、処理出力を生成するために、第１の画像フレームのピクセルの第１のサブセットに対して画像処理動作を実施することであって、それにより、第１の画像フレームのピクセルの第２のサブセットが画像処理動作から除外される、画像処理動作を実施することと、処理出力に基づいて、第２のプログラミングデータを生成することと、第２の画像フレームのための第２のアクティブピクセルを生成するためのピクセルセルの第２のサブセットを選択するために第２のプログラミングデータを画像センサーに送信することとを行うように構成される。

【0007】

いくつかの態様では、画像処理動作は、第１の画像フレーム中の関心オブジェクトを検出するためのニューラルネットワークモデルによる処理動作を含む。ピクセルの第１のサブセットは関心オブジェクトに対応する。

【0008】

いくつかの態様では、センサーコンピュート回路は、関心オブジェクトの検出の結果を使用するアプリケーションを実行するように構成されたホストデバイスと接続される。ホストデバイスは、関心オブジェクトに関する情報をセンサーコンピュート回路に提供するように構成される。

【0009】

いくつかの態様では、センサーコンピュート回路は、ニューラルネットワークのニューラルネットワーク層への入力データと、ニューラルネットワーク層の重みデータと、ニューラルネットワーク層の中間出力データとを記憶するように構成されたコンピュートメモリと、中間出力データを生成するために入力データと重みデータとに対してニューラルネットワーク層の算術演算（ａｒｉｔｈｍｅｔｉｃ ｏｐｅｒａｔｉｏｎ）を実施するように構成されたデータ処理回路と、コンピュートメモリから、入力データの第１のサブセットと、入力データの第１のサブセットに対応する重みデータの第１のサブセットとを取得することであって、入力データの第１のサブセットが第１のアクティブピクセルのうちの少なくともいくつかに対応する、入力データの第１のサブセットと重みデータの第１のサブセットとを取得することと、第１の画像フレームのための中間出力データの第１のサブセットを生成するために入力データの第１のサブセットと重みデータの第１のサブセットとに対して算術演算を実施するようにデータ処理回路を制御することであって、中間出力データの第１のサブセットが入力データの第１のサブセットに対応する、データ処理回路を制御することと、第１の画像フレームのための中間出力データの第１のサブセットをコンピュートメモリに記憶することと、第１の画像フレームのための中間出力データの第２のサブセットについての所定の値をコンピュートメモリに記憶することであって、中間出力データの第２のサブセットがアクティブでないピクセル（ｎｏｎ－ａｃｔｉｖｅ ｐｉｘｅｌ）に対応する、所定の値をコンピュートメモリに記憶することとを行うように構成された、コンピュートコントローラとを備える。

【0010】

いくつかの態様では、所定の値は、画像処理動作より前にコンピュートメモリをリセットすることに基づいて記憶される。

【0011】

いくつかの態様では、コンピュートコントローラは、コンピュートメモリから入力データを取得することと、取得された入力データから、入力データの第１のサブセットを識別することと、入力データの識別された第１のサブセットをコンピュートコントローラに提供することとを行うように構成される。

【0012】

いくつかの態様では、コンピュートコントローラは、入力データの第１のサブセットを記憶するコンピュートメモリのアドレス領域を決定することと、コンピュートメモリから入力データの第１のサブセットを取得することとを行うように構成される。

【0013】

いくつかの態様では、アドレス領域は、第１のプログラミングデータ、またはニューラルネットワークモデルのニューラルネットワーク層間の接続性に関する情報のうちの少なくとも１つに基づいて決定される。

【0014】

いくつかの態様では、第１のアクティブピクセルは静的ピクセルと非静的ピクセルとを含み、静的ピクセルは、第１の画像フレームと前の画像フレームとの間のピクセル値の変化の程度が変化しきい値を上回る第１のアクティブピクセルの第１のサブセットに対応し、非静的ピクセルは、第１の画像フレームと前の画像フレームとの間のピクセル値の変化の程度が変化しきい値を下回る第１のアクティブピクセルの第２のサブセットに対応し、コンピュートコントローラは、第１のアクティブピクセルの非静的ピクセルに対応する入力データの第１のサブセットを取得するように構成される。

【0015】

いくつかの態様では、所定の値は第１の所定の値である。フレームバッファは、静的ピクセルをシグナリングするために静的ピクセルの各々についての第２の所定の値を記憶するように構成される。コンピュートコントローラは、静的ピクセルが第２の所定の値を有することを検出したことに基づいてデータ処理回路から静的ピクセルを除外するように構成される。

【0016】

いくつかの態様では、フレームバッファは、ピクセルについての第２の所定の値を、しきい値数のフレームにわたるピクセルの変化の程度が変化しきい値を下回ると決定したことに基づいて、記憶するように構成される。

【0017】

いくつかの態様では、フレームバッファは、時定数を有するリーキー積分関数（ｌｅａｋｙ ｉｎｔｅｇｒａｔｏｒ ｆｕｎｃｔｉｏｎ）に基づいて、および変化しきい値よりも大きい変化の程度がピクセルに最後にいつ起きたかに基づいて、ピクセルのピクセル値を設定更新するように構成される。

【0018】

いくつかの態様では、コンピュートコントローラは、ニューラルネットワークモデルのトポロジーに基づいて、ニューラルネットワークモデルの異なるニューラルネットワーク層を通って非静的ピクセルの変化がどのように伝搬するかを指示するデータ変化伝搬マップを決定することと、データ変化伝搬マップに基づいて、入力データの第１のサブセットを取得するためのコンピュートメモリの第１のアドレス領域と、中間出力データの第１のサブセットを記憶するためのコンピュートメモリの第２のアドレス領域とを決定することと、第１のアドレス領域から入力データの第１のサブセットを取得することと、第２のアドレス領域において中間出力データの第１のサブセットを記憶することとを行うように構成される。

【0019】

いくつかの態様では、コンピュートコントローラは、ニューラルネットワークモデルの深度とニューラルネットワークモデルの各ニューラルネットワーク層における量子化精度とに基づいて変化しきい値を決定するように構成される。

【0020】

いくつかの態様では、変化しきい値は第１の変化しきい値である。コンピュートコントローラは、２つの非連続フレーム間の第１のアクティブピクセルのピクセル値の変化の程度を追跡することと、変化の程度が第２の変化しきい値を超えたことに基づいて、第１のアクティブピクセルの第３のサブセットを非静的ピクセルとして決定することとを行うように構成される。

【0021】

いくつかの態様では、画像センサーは第１の半導体基板中で実装される。フレームバッファとセンサーコンピュート回路とは、１つまたは複数の第２の半導体基板中で実装される。第１の半導体基板と１つまたは複数の第２の半導体基板とは、スタックを形成し、単一の半導体パッケージ中に収容される。

【0022】

いくつかの例では、方法が提供される。本方法は、第１のアクティブピクセルを生成するための複数のピクセルセルの第１のサブセットを選択するために、第１のプログラミングデータを、上記ピクセルセルを備える画像センサーに送信することと、フレームバッファから、第１のアクティブピクセルと第１の非アクティブピクセルとを備える第１の画像フレームを受信することであって、第１の非アクティブピクセルが、第１のアクティブピクセルを生成するために選択されなかったピクセルセルの第２のサブセットに対応する、第１の画像フレームを受信することと、処理出力を生成するために、第１の画像フレームのピクセルの第１のサブセットに対して画像処理動作を実施することであって、それにより、第１の画像フレームのピクセルの第２のサブセットが画像処理動作から除外される、画像処理動作を実施することと、処理出力に基づいて、第２のプログラミングデータを生成することと、第２の画像フレームのための第２のアクティブピクセルを生成するためのピクセルセルの第２のサブセットを選択するために第２のプログラミングデータを画像センサーに送信することとを含む。

【0023】

いくつかの態様では、画像処理動作は、第１の画像フレーム中の関心オブジェクトを検出するためのニューラルネットワークによる処理動作を含む。ピクセルの第１のサブセットは関心オブジェクトに対応する。

【0024】

いくつかの態様では、本方法は、ニューラルネットワークのニューラルネットワーク層への入力データと、ニューラルネットワーク層の重みデータとをコンピュートメモリに記憶することと、コンピュートメモリから、入力データの第１のサブセットと、入力データの第１のサブセットに対応する重みデータの第１のサブセットとを取得することであって、入力データの第１のサブセットが第１のアクティブピクセルのうちの少なくともいくつかに対応する、入力データの第１のサブセットと重みデータの第１のサブセットとを取得することと、データ処理回路を使用して、第１の画像フレームのための中間出力データの第１のサブセットを生成するために入力データの第１のサブセットと重みデータの第１のサブセットとに対して算術演算を実施することであって、中間出力データの第１のサブセットが入力データの第１のサブセットに対応する、算術演算を実施することと、第１の画像フレームのための中間出力データの第１のサブセットをコンピュートメモリに記憶することと、第１の画像フレームのための中間出力データの第２のサブセットについての所定の値をコンピュートメモリに記憶することであって、中間出力データの第２のサブセットがアクティブでないピクセルに対応する、所定の値をコンピュートメモリに記憶することとをさらに含む。

【0025】

いくつかの態様では、第１のアクティブピクセルは静的ピクセルと非静的ピクセルとを含む。静的ピクセルは、第１の画像フレームと前の画像フレームとの間のピクセル値の変化の程度が変化しきい値を上回る第１のアクティブピクセルの第１のサブセットに対応する。非静的ピクセルは、第１の画像フレームと前の画像フレームとの間のピクセル値の変化の程度が変化しきい値を下回る第１のアクティブピクセルの第２のサブセットに対応する。入力データの第１のサブセットは、第１のアクティブピクセルの非静的ピクセルに対応する。

【0026】

以下の図を参照しながら、例示的な例が説明される。

【図面の簡単な説明】

【0027】

【図1A】ニアアイディスプレイの一例の図である。

【図1B】ニアアイディスプレイの一例の図である。

【図2】ニアアイディスプレイの断面の一例の図である。

【図3】単一のソースアセンブリ（ｓｏｕｒｃｅ ａｓｓｅｍｂｌｙ）をもつ導波路ディスプレイ（ｗａｖｅｇｕｉｄｅ ｄｉｓｐｌａｙ）の一例の等角図である。

【図4】導波路ディスプレイの一例の断面を示す図である。

【図5】ニアアイディスプレイを含むシステムの一例のブロック図である。

【図6A】画像センサーおよびその動作の例を示す図である。

【図6B】画像センサーおよびその動作の例を示す図である。

【図7A】図６Ａおよび図６Ｂの画像センサーの出力によってサポートされるアプリケーションの例を示す図である。

【図7B】図６Ａおよび図６Ｂの画像センサーの出力によってサポートされるアプリケーションの例を示す図である。

【図7C】図６Ａおよび図６Ｂの画像センサーの出力によってサポートされるアプリケーションの例を示す図である。

【図7D】図６Ａおよび図６Ｂの画像センサーの出力によってサポートされるアプリケーションの例を示す図である。

【図8A】図７Ａ～図７Ｄに示されている動作をサポートするための撮像システムの例を示す図である。

【図8B】図７Ａ～図７Ｄに示されている動作をサポートするための撮像システムの例を示す図である。

【図9A】図８Ａおよび図８Ｂの撮像システムの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図9B】図８Ａおよび図８Ｂの撮像システムの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図9C】図８Ａおよび図８Ｂの撮像システムの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図10A】図８Ａおよび図８Ｂの画像プロセッサの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図10B】図８Ａおよび図８Ｂの画像プロセッサの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図10C】図８Ａおよび図８Ｂの画像プロセッサの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図11A】図１０Ａ～図１０Ｃの画像プロセッサの例示的な内部構成要素およびそれらの動作を示す図である。

【図11B】図１０Ａ～図１０Ｃの画像プロセッサの例示的な内部構成要素およびそれらの動作を示す図である。

【図11C】図１０Ａ～図１０Ｃの画像プロセッサの例示的な内部構成要素およびそれらの動作を示す図である。

【図12A】図８Ａおよび図８Ｂのフレームバッファの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図12B】図８Ａおよび図８Ｂのフレームバッファの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図12C】図８Ａおよび図８Ｂのフレームバッファの例示的な内部構成要素ならびにそれらの動作を示す図である。

【図13A】図１０Ａ～図１０Ｃの画像プロセッサの例示的な内部構成要素およびそれらの動作を示す図である。

【図13B】図１０Ａ～図１０Ｃの画像プロセッサの例示的な内部構成要素およびそれらの動作を示す図である。

【図13C】図１０Ａ～図１０Ｃの画像プロセッサの例示的な内部構成要素およびそれらの動作を示す図である。

【図14A】図８Ａ～図１３Ｃの画像センサーの物理的配置の例を示す図である。

【図14B】図８Ａ～図１３Ｃの画像センサーの物理的配置の例を示す図である。

【図15】画像センサーを動作させる例示的なプロセスのフローチャートである。

【発明を実施するための形態】

【0028】

図は、単に例示の目的で本開示の例を図示する。本開示の原理または本開示においてうたわれている利益から逸脱することなく、示される構造および方法の代替例が採用され得ることを、当業者は以下の説明から容易に認識されよう。

【0029】

添付の図において、同様の構成要素および／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第２のラベルを参照ラベルの後に続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、説明は、第２の参照ラベルには関係なく同じ第１の参照ラベルを有する同様の構成要素のいずれか１つに適用可能である。

【0030】

以下の説明では、説明の目的で、いくつかの発明の例の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な例がこれらの具体的な詳細なしに実践され得ることは明らかであろう。図および説明は、限定するものではない。

【0031】

上記で説明されたように、画像センサーが、一般に、撮像動作の空間および時間分解能を改善するために、多数のピクセルセルを含み、高フレームレートにおいて画像を生成する。しかし、高フレームレートにおける高分解能画像フレームの生成、ならびにこれらの高分解能画像フレームの送信および処理は、画像センサーによる、および画像プロセス動作による、莫大な電力消費につながり得る。その上、一般にピクセルセルの小さいサブセットのみが関心オブジェクトから光を受け取ることを仮定すれば、オブジェクト検出／追跡動作のために有用でないピクセルデータを生成し、送信し、処理する際に多くの電力が浪費され、これは、画像検知および処理動作の全体的な効率を低下させる。

【0032】

本開示は、上記の問題点のうちの少なくともいくつかに対処することができる画像検知および処理技法を提案する。いくつかの例では、装置が、画像センサーと、フレームバッファと、コンピュート回路とを備える。画像センサーは複数のピクセルセルを備え、画像センサーは、アクティブピクセルを生成するためのピクセルセルのサブセットを選択するように、プログラミングデータによって構成可能である。フレームバッファは、第１のプログラミングデータに基づいて画像センサーによって選択されたピクセルセルの第１のサブセットによって生成されたアクティブピクセルのうちの少なくともいくつかを備える第１の画像フレームを記憶することができる。第１の画像フレームは、アクティブピクセルを生成するために選択されなかったピクセルセルの第２のサブセットに対応する非アクティブピクセルをさらに備える。コンピュート回路は、フレームバッファから第１の画像フレームを受信することができる。コンピュート回路は、処理出力を生成するために、第１の画像フレームのピクセルの第１のサブセットに対して画像処理動作を実施することであって、それにより、第１の画像フレームのピクセルの第２のサブセットが画像処理動作から除外される、画像処理動作を実施することを行うための画像プロセッサを含むことができる。コンピュート回路は、画像プロセッサからの処理出力に基づいて第２のプログラミングデータを生成することと、第２の画像フレームのためのピクセルデータを出力するためのピクセルセルの第２のサブセットを選択するために第２のプログラミングデータを画像センサーに送信することとを行うためのプログラミングマップ生成器をさらに含む。画像処理動作が実施される第１の画像フレームのピクセルの第１のサブセットは、たとえば、アクティブピクセル、フレーム間のある程度の変化が起きる非静的ピクセルなどに対応することができる。

【0033】

いくつかの例では、装置は、スパース画像検知動作に基づくオブジェクト検出および追跡動作をサポートすることができる。ピクセルセルの第１のサブセットは、スパース画像検知動作をサポートするために、オブジェクトをアクティブピクセルとして追跡および検出することに関連するピクセルデータのみをキャプチャすること、またはアクティブピクセルのみをフレームバッファに送信することを選択的に可能にされ得る。ピクセルセルのサブセットのみがアクティブピクセルを生成および／または送信することを可能にされるので、画像フレームのために生成／送信されるピクセルデータのボリュームは低減され得、これは、画像センサーにおける電力消費を低減することができる。スパース画像検知動作は、画像センサーに対するオブジェクトの相対移動を考慮するように、オブジェクト検出および追跡動作の結果に基づいて連続的に調整され得、これは、アクティブピクセルがオブジェクトの画像データを含む可能性を改善し、オブジェクト検出および追跡動作に依拠するアプリケーション（たとえば、ＶＲ／ＡＲ／ＭＲアプリケーション）の性能を改善することができる。さらに、コンピュート回路は、オブジェクトの画像データを含む可能性がある、アクティブピクセル、またはアクティブピクセルのサブセットのみに対して画像処理動作を実施し、非アクティブピクセルは画像処理動作から除外され、これは、画像プロセス動作の電力消費をさらに低減することができる。これらのすべては、画像検知および処理動作の全体的な電力および計算（ｃｏｍｐｕｔａｔｉｏｎ）効率ならびに性能を改善することができる。

【0034】

いくつかの例では、画像処理動作は、ニューラルネットワーク動作を含むことができる。詳細には、画像プロセッサは、入力層と出力層とを含む多層畳み込みニューラルネットワーク（ＣＮＮ）など、ニューラルネットワーク動作のためのハードウェアアクセラレーションを提供するためのデータ処理回路を含むことができる。画像プロセッサは、入力画像フレームと、各ニューラルネットワーク層に関連付けられた重みのセットとを記憶するためのコンピュートメモリを含むことができる。重みのセットは、検出されるべきオブジェクトの特徴を表すことができる。画像プロセッサは、コンピュートメモリから入力画像フレームデータと重みとを取得するようにデータ処理回路を制御するためのコントローラを含むことができる。コントローラは、入力層のための中間出力データを生成するために、入力画像フレームと重みとの間で、積和（ＭＡＣ：ｍｕｌｔｉｐｌｙ－ａｎｄ－ａｃｃｕｍｕｌａｔｅ）演算など、算術演算を実施するようにデータ処理回路を制御することができる。中間出力データは、たとえば、アクティブ化関数、プーリング演算などに基づいて後処理され、次いで、後処理された中間出力データは、コンピュートメモリに記憶され得る。後処理された中間出力データは、コンピュートメモリから取得され、入力として次のニューラルネットワーク層に提供され得る。算術演算、ならびに中間出力データの取得および記憶は、ニューラルネットワーク出力を生成するために、出力層までのすべての層について繰り返される。ニューラルネットワーク出力は、たとえば、入力画像フレーム中にオブジェクトが存在する可能性、および入力画像フレーム中のオブジェクトのピクセルロケーションを指示することができる。

【0035】

コントローラは、効率的な様式でスパース画像データを処理するようにデータ処理回路を構成することができる。たとえば、入力層の場合、コントローラは、コンピュートメモリからアクティブピクセルおよび対応する重みのみを取得するように、ならびに、入力層のためのアクティブピクセルに対応する中間出力のサブセットを生成するためにアクティブピクセルおよび対応する重みのみに対してＭＡＣ演算を実施するように、データ処理回路を制御することができる。コントローラはまた、ニューラルネットワークのトポロジーと後続のニューラルネットワーク層の間の接続とに基づいて、アクティブピクセルまで遡ることができる各後続のニューラルネットワークにおける中間出力データのサブセットを決定することができる。コントローラは、各後続のニューラルネットワーク層における中間出力データのサブセットのみを生成するためにＭＡＣ演算を実施するようにデータ処理回路を制御することができる。さらに、コンピュートメモリのアクセスを低減するために、各層のための中間出力データについての所定の値（たとえば、０）が、ニューラルネットワーク動作より前にコンピュートメモリに記憶され得る。アクティブピクセルのための中間出力データのみが更新される。これらのすべては、スパース画像データにわたるニューラルネットワーク動作による電力消費を低減することができる。

【0036】

いくつかの例では、電力消費をさらに低減し、電力および計算効率を改善するために、フレームバッファとコンピュート回路とは、時間スパーシティ動作をサポートすることができる。時間スパーシティ動作の一部として、静的であるピクセルと非静的であるピクセルとが識別され得る。第１の画像フレームと前の画像フレームとの間の小さい変化が起きる（または変化が起きない）静的ピクセルは、画像センサーによってキャプチャされるシーンの第１の部分に対応することができ、第１の画像フレームと前の画像フレームとの間の大きい変化が起きる非静的ピクセルは、シーンの第２の部分に対応する。ピクセルの変化の程度がしきい値を下回る場合、そのピクセルは静的であると決定され得る。いくつかの例では、非静的ピクセルはアクティブピクセルから識別され得、静的ピクセルは、アクティブピクセル、ならびにフレーム間で非アクティブのままである（および変化しないままである）非アクティブピクセルの両方から識別され得る。

【0037】

電力消費を低減するために、データ処理回路は、非静的ピクセルのための更新された出力を生成するために、第１の画像フレームの非静的ピクセルのみに対して画像処理動作（たとえば、ニューラルネットワーク動作）を実施することができる。静的ピクセルの場合、画像処理動作はスキップされ得、前の画像フレームに対する画像処理動作からの出力が保持され得る。画像処理動作がニューラルネットワーク動作を含む場合、コントローラは、入力層のための非静的ピクセルに対応する中間出力データのサブセットを更新するためにコンピュートメモリから非静的ピクセルおよび対応する重みデータのみを取得するように、データ処理回路を制御することができる。コンピュートメモリ中の、（前の画像フレームから取得された）静的ピクセルに対応し、（たとえば、０などの所定の値を有する）アクティブでないピクセルに対応する、中間出力データの残りは、入力層について保持され得る。コントローラはまた、ニューラルネットワークのトポロジーと後続のニューラルネットワーク層の間の接続とに基づいて、非静的ピクセルまで遡ることができる各後続のニューラルネットワークにおける中間出力データのサブセットを決定し、コンピュートメモリへのアクセスを低減するために、および電力消費を低減するために、中間出力データのサブセットのみを更新することができる。

【0038】

いくつかの例では、フレームバッファは、画像センサーによって出力されたアクティブピクセルから静的ピクセルを検出し、それらのピクセルが静的ピクセルであることを画像プロセッサにシグナリングするためにそれらのピクセルについてのピクセル値を記憶することができる。たとえば、フレームバッファは、画像センサーの各ピクセルセルからの（アクティブピクセルと非アクティブピクセルとを含む）最も最近のピクセルデータを第１の画像フレームとして記憶することができる。アクティブピクセルの各ピクセルについて、フレームバッファは、第１の画像フレームの直前の画像フレームなど、前のフレームに対するピクセルの変化の程度を決定することができる。フレームバッファは、様々なやり方で静的ピクセルを指示するようにピクセル値を設定することができる。たとえば、フレームバッファは、時定数を有するリーキー積分関数に基づいて、および画像センサーによって出力されたピクセルが静的なままであった連続画像フレームの数に基づいて、フレームバッファ中のピクセルについてのピクセル値を設定することができる。ピクセルが多数の連続画像フレームについて静的なままであった場合、ピクセルのピクセル値は、所定のピクセル値において安定することができる。別の例として、ピクセルがしきい値数（たとえば、１０個）の連続画像フレームについて静的なままであった場合、フレームバッファは、フレームバッファ中のピクセルについての所定のピクセル値を設定することができる。所定のピクセル値は、暗い色（０）、白色（２５５）、灰色（１２８）、または静的ピクセルを指示する任意の値に対応することができる。すべてのこれらの場合では、画像プロセッサは、静的ピクセルをシグナリングするピクセル値を識別したことに基づいて静的ピクセルと非静的ピクセルとを区別し、上記で説明されたように非静的ピクセルのみに対して画像処理動作を実施することができる。

【0039】

いくつかの例では、画像プロセッサはまた、非静的ピクセルの処理を促進するために追加情報を生成することができる。たとえば、画像プロセッサは、ニューラルネットワークモデルの入力層から出力層へのデータ変化の伝搬を追跡するデータ変化伝搬マップを、そのモデルのトポロジーに基づいて決定することができる。伝搬マップ、ならびにフレームバッファからの静的ピクセルに基づいて、画像プロセッサは、非静的である、各ニューラルネットワークのための入力データを識別し、各層におけるニューラルネットワーク動作のためにそれらの入力データのみを取得することができる。さらに、画像プロセッサはまた、非静的であると決定されたピクセルが出力層における必須の程度の変化をもたらし得ることを保証するために、ニューラルネットワークモデルのトポロジーに基づいて、静的／非静的ピクセル決定のための変化のしきい値程度を決定することができる。さらに、画像プロセッサはまた、連続フレーム間の、および非連続フレーム間のピクセルの変化を追跡することができる。画像プロセッサは、連続フレーム間の小さい変化を呈するピクセルを識別することができるが、非連続フレーム間の大きな変化を非静的ピクセルとして識別することもでき、それにより、画像プロセッサは、それらのピクセルに対して画像処理動作を実施することができる。

【0040】

開示される技法では、画像センサーが、画像センサーにおける電力消費を低減することができる、スパース画像を生成するためのスパース画像検知動作を実施するように構成され得る。その上、画像プロセッサが、アクティブおよび／または非静的ピクセルのみに対して画像処理動作を実施し、非アクティブおよび／または静的ピクセルに対する画像処理動作をスキップするように構成され得、これは、電力消費をさらに低減することができる。その上、アクティブピクセルを生成するためのピクセルセルの選択は、アクティブピクセルが関連情報（たとえば、関心オブジェクトの画像）を含んでいることを保証するために、画像処理結果に基づくことができる。これらのすべては、画像センサーおよび画像プロセッサの電力および計算効率を改善することができる。

【0041】

開示される技法は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの例では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において別様に使用される（たとえば、アクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

【0042】

図１Ａは、ニアアイディスプレイ１００の一例の図である。ニアアイディスプレイ１００は、ユーザにメディアを提示する。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの例では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ１００は、概して、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの例では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。

【0043】

ニアアイディスプレイ１００は、フレーム１０５とディスプレイ１１０とを含む。フレーム１０５は、１つまたは複数の光学要素に結合される。ディスプレイ１１０は、ユーザがニアアイディスプレイ１００によって提示されたコンテンツを見るように構成される。いくつかの例では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。

【0044】

ニアアイディスプレイ１００は、画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａに向かう２つの視野を表す画像データを提供するように構成され得、センサー１２０ｃは、Ｘ軸に沿った方向Ｂに向かう視野を表す画像データを提供するように構成され得、センサー１２０ｄは、Ｘ軸に沿った方向Ｃに向かう視野を表す画像データを提供するように構成され得る。

【0045】

いくつかの例では、センサー１２０ａ～１２０ｄは、ニアアイディスプレイ１００を装着したユーザにインタラクティブＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００のディスプレイコンテンツを制御するかまたはニアアイディスプレイ１００のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー１２０ａ～１２０ｄは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび／または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび配向に基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの例では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内のオブジェクトのセットを追跡するために、同時位置特定およびマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）アルゴリズムを動作させ得る。ロケーション追跡システムは、オブジェクトのセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー１２０ａ～１２０ｄは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、マップの構築および更新に含まれるより多くのオブジェクトにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。

【0046】

いくつかの例では、ニアアイディスプレイ１００は、物理的環境に光を投影するための１つまたは複数のアクティブ照明器１３０をさらに含み得る。投影された光は、異なる周波数スペクトル（たとえば、可視光、赤外（ＩＲ）光、紫外光）に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器１３０は、たとえば、ユーザのロケーション追跡を可能にするために、センサー１２０ａ～１２０ｄが暗い環境内の異なるオブジェクトの画像をキャプチャするのを支援するために、暗い環境において（または、低強度の（ＩＲ）光、紫外光などを伴う環境において）光を投影し得る。照明器１３０は、ロケーション追跡システムがマップ構築／更新のためにオブジェクトを識別するのを支援するために、環境内のオブジェクト上にいくつかのマーカーを投影し得る。

【0047】

いくつかの例では、照明器１３０は、立体撮像をも可能にし得る。たとえば、センサー１２０ａまたは１２０ｂのうちの１つまたは複数は、可視光検知のための第１のピクセルアレイと（ＩＲ）光検知のための第２のピクセルアレイの両方を含むことができる。第１のピクセルアレイは、色フィルタ（たとえば、バイエルフィルタ）でオーバーレイされ得、第１のピクセルアレイの各ピクセルが、特定の色（たとえば、赤色、緑色または青色（ＲＧＢ）のうちの１つ）に関連付けられた光の強度を測定するように構成される。また、（ＩＲ光検知のための）第２のピクセルアレイは、ＩＲ光の通過のみを可能にするフィルタでオーバーレイされ得、第２のピクセルアレイの各ピクセルが、ＩＲ光の強度を測定するように構成される。ピクセルアレイは、オブジェクトのＲＧＢ画像およびＩＲ画像を生成することができ、ＩＲ画像の各ピクセルが、ＲＧＢ画像の各ピクセルにマッピングされる。照明器１３０は、オブジェクト上にＩＲマーカーのセットを投影し得、その画像は、ＩＲピクセルアレイによってキャプチャされ得る。画像に示されているオブジェクトのＩＲマーカーの分布に基づいて、システムは、ＩＲピクセルアレイからのオブジェクトの異なる部分の距離を推定し、その距離に基づいてオブジェクトの立体画像を生成することができる。オブジェクトの立体画像に基づいて、システムは、たとえば、ユーザに対するオブジェクトの相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

【0048】

上記で説明されたように、ニアアイディスプレイ１００は、広範囲の光強度に関連付けられた環境において動作され得る。たとえば、ニアアイディスプレイ１００は、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作され得る。ニアアイディスプレイ１００はまた、アクティブ照明器１３０がオンにされていてもいなくても動作し得る。その結果、画像センサー１２０ａ～１２０ｄは、ニアアイディスプレイ１００のための異なる動作環境に関連付けられた極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。

【0049】

図１Ｂは、ニアアイディスプレイ１００の別の例の図である。図１Ｂは、ニアアイディスプレイ１００を装着したユーザの（１つまたは複数の）眼球１３５に面するニアアイディスプレイ１００の側面を示す。図１Ｂに示されているように、ニアアイディスプレイ１００は、複数の照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含み得る。ニアアイディスプレイ１００は、複数の画像センサー１５０ａおよび１５０ｂをさらに含む。照明器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａと反対である）方向Ｄに向かってある周波数範囲（たとえば、近赤外（ＮＩＲ））の光を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー１５０ａは、反射された光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを搬送するＮＩＲ光を放出し得る。ＮＩＲ光は、ユーザの右眼球によって反射され得、センサー１５０ｂによって受け取られ得る。センサー１５０ｂも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

【0050】

上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは、一般的に、低強度の光を出力するように構成される。画像センサー１５０ａおよび１５０ｂが図１Ａの画像センサー１２０ａ～１２０ｄと同じセンサーデバイスを備える場合、画像センサー１２０ａ～１２０ｄは、入射光の強度が低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。

【0051】

その上、画像センサー１２０ａ～１２０ｄは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動（たとえば、サッカード運動（ｓａｃｃａｄｅ ｍｏｖｅｍｅｎｔ））を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー１２０ａ～１２０ｄは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート（フレームレート）は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光時間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低光強度を伴う環境において動作することが可能である必要もある。

【0052】

図２は、図１に示されているニアアイディスプレイ１００の断面２００の一例である。ディスプレイ１１０が、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ユーザがニアアイディスプレイ１００を装着したときにユーザの単一の眼球２２０がアイボックス（ｅｙｅｂｏｘ）領域中に配置されるロケーションである。例示の目的で、図２は、眼球２２０と単一の導波路ディスプレイアセンブリ２１０とに関連付けられた断面２００を示すが、第２の導波路ディスプレイがユーザの第２の眼のために使用される。

【0053】

導波路ディスプレイアセンブリ２１０は、画像光を、射出瞳２３０に位置するアイボックスに、および眼球２２０に向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率をもつ１つまたは複数の材料（たとえば、プラスチック、ガラス）から構成され得る。いくつかの例では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学要素を含む。

【0054】

いくつかの例では、導波路ディスプレイアセンブリ２１０は、制限はしないが、スタックされた導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、１つまたは複数の導波路ディスプレイのスタックを含む。スタックされた導波路ディスプレイは、それぞれの単色ソースが異なる色のものである導波路ディスプレイをスタックすることによって作成された多色ディスプレイ（たとえば、ＲＧＢディスプレイ）である。スタックされた導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ（たとえば、多平面カラーディスプレイ）でもある。いくつかの構成では、スタックされた導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ（たとえば、多平面単色ディスプレイ）である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替例では、導波路ディスプレイアセンブリ２１０は、スタックされた導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。

【0055】

図３は、導波路ディスプレイ３００の一例の等角図を示す。いくつかの例では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（たとえば、導波路ディスプレイアセンブリ２１０）である。いくつかの例では、導波路ディスプレイ３００は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。

【0056】

導波路ディスプレイ３００は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。例示の目的で、図３は、単一の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの例では、導波路ディスプレイ３００とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。

【0057】

ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０－１上に位置する結合要素３５０に出力する。出力導波路３２０は、拡大された画像光３４０をユーザの眼球２２０に出力する光導波路である。出力導波路３２０は、第１の側面３７０－１上に位置する１つまたは複数の結合要素３５０において画像光３５５を受け取り、受け取られた入力画像光３５５を方向付け要素３６０に導く。いくつかの例では、結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

【0058】

方向付け要素３６０は、受け取られた入力画像光３５５が分離要素３６５を介して出力導波路３２０から分離されるように、受け取られた入力画像光３５５を分離要素３６５に向け直す。方向付け要素３６０は、出力導波路３２０の第１の側面３７０－１の一部であるか、または出力導波路３２０の第１の側面３７０－１に取り付けられる。分離要素３６５は、方向付け要素３６０が分離要素３６５に対向するように、出力導波路３２０の第２の側面３７０－２の一部であるか、または出力導波路３２０の第２の側面３７０－２に取り付けられる。方向付け要素３６０および／または分離要素３６５は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

【0059】

第２の側面３７０－２は、ｘ次元およびｙ次元に沿った平面を表す。出力導波路３２０は、画像光３５５の内部全反射を促進する１つまたは複数の材料から構成され得る。出力導波路３２０は、たとえば、シリコン、プラスチック、ガラス、および／またはポリマーから構成され得る。出力導波路３２０は、比較的小さいフォームファクタを有する。たとえば、出力導波路３２０は、ｘ次元に沿って幅約５０ｍｍ、ｙ次元に沿って長さ約３０ｍｍ、およびｚ次元に沿って厚さ約０．５～１ｍｍであり得る。

【0060】

コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０のためのスキャン命令を決定する。いくつかの例では、出力導波路３２０は、拡大された画像光３４０を大きい視野（ＦＯＶ）でユーザの眼球２２０に出力する。たとえば、拡大された画像光３４０は、６０度のおよび／またはそれよりも大きい、ならびに／あるいは１５０度のおよび／またはそれよりも小さい（ｘおよびｙにおける）対角ＦＯＶでユーザの眼球２２０に提供される。出力導波路３２０は、２０ｍｍ以上および／または５０ｍｍ以下の長さ、ならびに／あるいは１０ｍｍ以上および／または５０ｍｍ以下の幅をもつアイボックスを提供するように構成される。

【0061】

その上、コントローラ３３０は、画像センサー３７０によって提供される画像データに基づいて、ソースアセンブリ３１０によって生成される画像光３５５をも制御する。画像センサー３７０は、第１の側面３７０－１上に位置し得、たとえば、図１Ａの画像センサー１２０ａ～１２０ｄを含み得る。画像センサー１２０ａ～１２０ｄは、たとえば、（たとえば、第１の側面３７０－１に面する）ユーザの前にあるオブジェクト３７２の、２Ｄ検知および３Ｄ検知を実施するように動作され得る。２Ｄ検知の場合、画像センサー１２０ａ～１２０ｄの各ピクセルセルは、光源３７６によって生成され、オブジェクト３７２から反射された光３７４の強度を表すピクセルデータを生成するように動作され得る。３Ｄ検知の場合、画像センサー１２０ａ～１２０ｄの各ピクセルセルは、照明器３２５によって生成された光３７８についての飛行時間測定を表すピクセルデータを生成するように動作され得る。たとえば、画像センサー１２０ａ～１２０ｄの各ピクセルセルは、照明器３２５が光３７８を投影することを可能にされた第１の時間と、ピクセルセルが、オブジェクト３７２から反射された光３７８を検出する第２の時間とを決定することができる。第１の時間と第２の時間との間の差は、画像センサー１２０ａ～１２０ｄとオブジェクト３７２との間の光３７８の飛行時間を指示することができ、飛行時間情報は、画像センサー１２０ａ～１２０ｄとオブジェクト３７２との間の距離を決定するために使用され得る。画像センサー１２０ａ～１２０ｄは、異なる時間に２Ｄ検知と３Ｄ検知とを実施するように動作され、導波路ディスプレイ３００内に位置し得る（または位置しないことがある）リモートコンソール３９０に、２Ｄ画像データおよび３Ｄ画像データを提供することができる。リモートコンソールは、たとえば、ユーザが位置する環境の３Ｄモデルを生成するために、ユーザのロケーションおよび／または配向を追跡するためになど、２Ｄ画像と３Ｄ画像とを組み合わせ得る。リモートコンソールは、２Ｄ画像および３Ｄ画像から導出された情報に基づいて、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関係する命令をコントローラ３３０に送信することができる。命令に基づいて、コントローラ３３０は、ユーザにインタラクティブ体験を提供するために、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。

【0062】

図４は、導波路ディスプレイ３００の断面４００の一例を示す。断面４００は、ソースアセンブリ３１０と、出力導波路３２０と、画像センサー３７０とを含む。図４の例では、画像センサー３７０は、ユーザの前にある物理的環境の画像を生成するために、第１の側面３７０－１上に位置するピクセルセル４０２のセットを含み得る。いくつかの例では、ピクセルセル４０２のセットと物理的環境との間に挿入された、機械的シャッター４０４および光学フィルタアレイ４０６があり得る。機械的シャッター４０４は、ピクセルセル４０２のセットの露光を制御することができる。いくつかの例では、機械的シャッター４０４は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。光学フィルタアレイ４０６は、以下で説明されるように、ピクセルセル４０２のセットが露光される光の光波長範囲を制御することができる。ピクセルセル４０２の各々は、画像の１つのピクセルに対応し得る。図４には示されていないが、ピクセルセル４０２の各々はまた、ピクセルセルによって検知されるべき光の光波長範囲を制御するために、フィルタでオーバーレイされ得ることを理解されたい。

【0063】

リモートコンソールから命令を受け取った後に、機械的シャッター４０４は、露光期間において開き、ピクセルセル４０２のセットを露光することができる。露光期間中に、画像センサー３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー３７０は、次いで、画像データを、ディスプレイコンテンツを決定するリモートコンソールに提供し、ディスプレイコンテンツ情報をコントローラ３３０に提供することができる。コントローラ３３０は、次いで、ディスプレイコンテンツ情報に基づいて画像光３５５を決定することができる。

【0064】

ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、ソース４１０と光学システム４１５とを含む。ソース４１０は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース４１０は、たとえば、レーザーダイオード、垂直共振器面発光レーザー、および／または発光ダイオードであり得る。

【0065】

光学システム４１５は、ソース４１０からの光を調節する１つまたは複数の光学的構成要素を含む。ソース４１０からの光を調節することは、たとえば、コントローラ３３０からの命令に従って拡大し、コリメートし、および／または配向を調整することを含み得る。１つまたは複数の光学的構成要素は、１つまたは複数のレンズ、液体レンズ、ミラー、開口、および／または格子を含み得る。いくつかの例では、光学システム４１５は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム４１５（同じくソースアセンブリ３１０）から放出される光は、画像光３５５と呼ばれる。

【0066】

出力導波路３２０は、画像光３５５を受け取る。結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０が回折格子である例では、内部全反射が出力導波路３２０中で発生し、画像光３５５が、分離要素３６５に向かって、（たとえば、内部全反射によって）出力導波路３２０中を内部的に伝搬するように、回折格子のピッチが選定される。

【0067】

方向付け要素３６０は、出力導波路３２０から分離するために、画像光３５５を分離要素３６５のほうへ向け直す。方向付け要素３６０が回折格子である例では、回折格子のピッチは、入射画像光３５５が、分離要素３６５の表面に対して（１つまたは複数の）傾斜角において出力導波路３２０を出ることを引き起こすように選定される。

【0068】

いくつかの例では、方向付け要素３６０および／または分離要素３６５は、構造的に同様である。出力導波路３２０を出た拡大された画像光３４０は、１つまたは複数の次元に沿って拡大される（たとえば、ｘ次元に沿って延長され得る）。いくつかの例では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０と複数の出力導波路３２０とを含む。ソースアセンブリ３１０の各々は、原色（たとえば、赤、緑、または青）に対応する、波長の固有の帯域の単色画像光を放出する。出力導波路３２０の各々は、多色である拡大された画像光３４０を出力するために、離間距離を伴って一緒にスタックされ得る。

【0069】

図５は、ニアアイディスプレイ１００を含むシステム５００の一例のブロック図である。システム５００は、各々制御回路５１０に接続された、ニアアイディスプレイ１００と、撮像デバイス５３５と、入出力インターフェース５４０と、画像センサー１２０ａ～１２０ｄおよび１５０ａ～１５０ｂとを備える。システム５００は、ヘッドマウントデバイス、モバイルデバイス、ウェアラブルデバイスなどとして構成され得る。

【0070】

ニアアイディスプレイ１００は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの例では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００および／または制御回路５１０からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの例では、ニアアイディスプレイ１００はまた、ＡＲアイウェアグラスとして働き得る。いくつかの例では、ニアアイディスプレイ１００は、コンピュータ生成された要素（たとえば、画像、ビデオ、音）を用いて、物理的現実世界の環境のビューを増強する。

【0071】

ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数の位置センサー５２５、および／または慣性測定ユニット（ＩＭＵ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。

【0072】

ＩＭＵ５３０は、位置センサー５２５のうちの１つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を指示する高速較正データを生成する電子デバイスである。

【0073】

撮像デバイス５３５は、様々なアプリケーションのための画像データを生成し得る。たとえば、撮像デバイス５３５は、制御回路５１０から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス５３５は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ～１２０ｄを含み得る。撮像デバイス５３５は、たとえば、ユーザの関心オブジェクトを識別するために、ユーザの注視点を決定するための画像データを生成するために、図１Ｂの画像センサー１５０ａ～１５０ｂをさらに含み得る。

【0074】

入出力インターフェース５４０は、ユーザが制御回路５１０にアクション要求を送ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。

【0075】

制御回路５１０は、撮像デバイス５３５、ニアアイディスプレイ１００、および／または入出力インターフェース５４０のうちの１つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ１００に提供する。いくつかの例では、制御回路５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収容され得る。いくつかの例では、制御回路５１０は、システム５００の他の構成要素と通信可能に接続されたスタンドアロンコンソールデバイスであり得る。図５に示されている例では、制御回路５１０は、アプリケーションストア５４５と、追跡モジュール５５０と、エンジン５５５とを含む。

【0076】

アプリケーションストア５４５は、５１０が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲーミングアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

【0077】

追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、ニアアイディスプレイ１００の位置の決定における誤差を低減するために、１つまたは複数の較正パラメータを調整し得る。

【0078】

追跡モジュール５５０は、撮像デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の移動を追跡する。追跡モジュール５５０はまた、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置を決定する。

【0079】

エンジン５５５は、システム５００内でアプリケーションを実行し、追跡モジュール５５０から、ニアアイディスプレイ１００の位置情報、加速度情報、速さ情報、および／または予測された将来の位置を受け取る。いくつかの例では、エンジン５５５によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ２１０への信号（たとえば、ディスプレイ命令）をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン５５５は、（たとえば、追跡モジュール５５０によって提供される）ユーザのロケーション、または（たとえば、撮像デバイス５３５によって提供される画像データに基づく）ユーザの注視点、または（たとえば、撮像デバイス５３５によって提供される画像データに基づく）オブジェクトとユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。

【0080】

図６Ａ、図６Ｂ、図６Ｃ、および図６Ｄは、画像センサー６００およびその動作の例を示す。図６Ａに示されているように、画像センサー６００は、ピクセルセル６０１を含むピクセルセルのアレイを含むことができ、画像のピクセルに対応するデジタル強度データを生成することができる。ピクセルセル６０１は、図４のピクセルセル４０２の一部であり得る。図６Ａに示されているように、ピクセルセル６０１は、フォトダイオード６０２と、電子シャッタースイッチ６０３と、転送スイッチ６０４と、電荷貯蔵デバイス６０５と、バッファ６０６と、量子化器６０７とを含み得る。フォトダイオード６０２は、たとえば、Ｐ－Ｎダイオード、Ｐ－Ｉ－Ｎダイオード、ピン止めダイオードなどを含み得るが、電荷貯蔵デバイス６０５は、転送スイッチ６０４のフローティングドレインノードであり得る。フォトダイオード６０２は、露光期間内に光を受け取ると、残留電荷を生成および蓄積することができる。露光期間内の残留電荷による飽和時に、フォトダイオード６０２は、転送スイッチ６０４を介して電荷貯蔵デバイス６０５にオーバーフロー電荷を出力することができる。電荷貯蔵デバイス６０５は、オーバーフロー電荷を電圧に変換することができ、電圧は、バッファ６０６によってバッファされ得る。バッファされた電圧は、たとえば、露光期間内にフォトダイオード６０２によって受け取られた光の強度を表すために、測定データ６０８を生成するために量子化器６０７によって量子化され得る。

【0081】

量子化器６０７は、バッファされた電圧を、異なる強度範囲に関連付けられた異なる量子化動作のための異なるしきい値と比較するための、比較器を含み得る。たとえば、フォトダイオード６０２によって生成されたオーバーフロー電荷の量が電荷貯蔵デバイス６０５の飽和限界を超える、高強度範囲の場合、量子化器６０７は、バッファされた電圧が、飽和限界を表す静的しきい値を超えるかどうかを検出することと、バッファされた電圧が静的しきい値を超える場合、バッファされた電圧が静的しきい値を超えるのに要する時間を測定することとによって、飽和までの時間（ＴＴＳ）測定動作を実施することができる。測定された時間は、光強度に反比例し得る。また、フォトダイオードが残留電荷によって飽和されるが、オーバーフロー電荷が電荷貯蔵デバイス６０５の飽和限界を下回るままである、中強度範囲の場合、量子化器６０７は、電荷貯蔵デバイス６０５に貯蔵されたオーバーフロー電荷の量を測定するために、完全にデジタルのアナログデジタル変換器（ＦＤ ＡＤＣ：ｆｕｌｌｙ ｄｉｇｉｔａｌ ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）動作を実施することができる。さらに、フォトダイオードが残留電荷によって飽和されず、オーバーフロー電荷が電荷貯蔵デバイス６０５において蓄積されない、低強度範囲の場合、量子化器６０７は、フォトダイオード６０２において蓄積された残留電荷の量を測定するために、アナログセンサーのためのデジタルプロセスメーター（ＰＤ ＡＤＣ）動作を実施することができる。ＴＴＳ動作、ＦＤ ＡＤＣ動作、またはＰＤ ＡＤＣ動作のうちの１つの出力は、光の強度を表すための測定データ６０８として出力され得る。

【0082】

図６Ｂは、ピクセルセル６０１の動作の例示的なシーケンスを示す。図６Ｂに示されているように、露光期間は、有効化されたとき、フォトダイオード６０２によって生成された電荷を遠くへ誘導する（ｓｔｅｅｒ）ことができる、電子シャッタースイッチ６０３を制御するＡＢ信号のタイミングに基づいて、および、読出しのために電荷貯蔵デバイス６０５にオーバーフロー電荷を転送し、次いで残留電荷を転送するように制御される、転送スイッチ６０４を制御するＴＧ信号のタイミングに基づいて定義され得る。たとえば、図６Ｂを参照すると、ＡＢ信号は、フォトダイオード６０２が電荷を生成することを可能にするために、時間Ｔ０においてアサート解除され得る。Ｔ０は、露光期間の開始をマークすることができる。露光期間内に、ＴＧ信号は、フォトダイオード６０２が飽和するまで、フォトダイオード６０２が残留電荷として電荷の少なくとも一部を蓄積することを可能にするために、部分的にオンの状態に転送スイッチ６０４を設定することができ、その後に、オーバーフロー電荷が電荷貯蔵デバイス６０５に転送され得る。時間Ｔ０と時間Ｔ１との間に、量子化器６０７は、電荷貯蔵デバイス６０５におけるオーバーフロー電荷が飽和限界を超えるかどうかを決定するために、ＴＴＳ動作を実施することができ、次いで、時間Ｔ１と時間Ｔ２との間に、量子化器６０７は、電荷貯蔵デバイス６０５におけるオーバーフロー電荷の量を測定するために、ＦＤ ＡＤＣ動作を実施することができる。時間Ｔ２と時間Ｔ３との間に、ＴＧ信号は、電荷貯蔵デバイス６０５に残留電荷を転送するために、完全にオンの状態にある転送スイッチ６０４をバイアスするためにアサートされ得る。時間Ｔ３において、ＴＧ信号は、フォトダイオード６０２から電荷貯蔵デバイス６０５を隔離するためにアサート解除され得るが、ＡＢ信号は、フォトダイオード６０２によって生成された電荷を遠くへ誘導するためにアサートされ得る。時間Ｔ３は、露光期間の終了をマークすることができる。時間Ｔ３と時間Ｔ４との間に、量子化器６０７は、残留電荷の量を測定するためにＰＤ動作を実施することができる。

【0083】

ＡＢ信号およびＴＧ信号は、露光期間の持続時間と量子化動作のシーケンスとを制御するために、ピクセルセル６０１の一部であり得るコントローラ（図６Ａに図示せず）によって生成され得る。コントローラはまた、測定データ６０８として、ＴＴＳ動作、ＦＤ ＡＤＣ動作、またはＰＤ ＡＤＣ動作のうちの１つからの出力を選択するために、電荷貯蔵デバイス６０５が飽和されたかどうかと、フォトダイオード６０２が飽和されたかどうかとを検出することができる。たとえば、電荷貯蔵デバイス６０５が飽和された場合、コントローラは、測定データ６０８としてＴＴＳ出力を提供することができる。電荷貯蔵デバイス６０５は飽和されないが、フォトダイオード６０２が飽和された場合、コントローラは、測定データ６０８としてＦＤ ＡＤＣ出力を提供することができる。フォトダイオード６０２が飽和されない場合、コントローラは、測定データ６０８としてＰＤ ＡＤＣ出力を提供することができる。露光期間内に生成された画像センサー６００の各ピクセルセルからの測定データ６０８は、画像フレームを形成することができる。コントローラは、後続の画像フレームを生成するために、後続の露光期間において図６Ｂ中の動作のシーケンスを繰り返すことができる。

【0084】

画像センサー６００からの画像フレームデータは、１つまたは複数のオブジェクトを追跡すること、（たとえば、動的視覚検知（ＤＶＳ）動作の一部として）動きを検知することなど、異なるアプリケーションをサポートするために、ホストプロセッサ（図６Ａおよび図６Ｂに図示せず）に送信され得る。図７Ａ～図７Ｄは、画像センサー６００からの画像フレームデータによってサポートされ得るアプリケーションの例を示す。図７Ａは、画像センサー６００からの画像フレームに基づくオブジェクト追跡動作の一例を示す。図７Ａに示されているように、ホストプロセッサにおいて動作するアプリケーションが、時間Ｔ０においてキャプチャされた画像フレーム７００からのオブジェクト７０４に対応する関心領域（ＲＯＩ）７０２中のピクセルのグループを識別することができる。アプリケーションは、時間Ｔ１においてキャプチャされる画像フレーム７１０を含む後続の画像フレーム中のオブジェクト７０４のロケーションを追跡し続け、オブジェクト７０４に対応するＲＯＩ７１２中のピクセルのグループを識別することができる。画像フレーム内のオブジェクト７０４の画像ロケーションの追跡は、ＳＬＡＭアルゴリズムをサポートするために実施され得、ＳＬＡＭアルゴリズムは、画像センサー６００によってキャプチャされたシーン中のオブジェクト７０４の画像ロケーションを追跡することに基づいて、画像センサー６００（および、ニアアイディスプレイ１００など、画像センサー６００を含むモバイルデバイス）が位置する環境のマップを構築／更新することができる。

【0085】

図７Ｂは、画像センサー６００からの画像フレームに対するオブジェクト検出動作の一例を示す。図７Ｂの左側に示されているように、ホストプロセッサは、車両７２２および人７２４など、画像フレーム７２０においてキャプチャされたシーン中の１つまたは複数のオブジェクトを識別し得る。図７Ｂの右側に示されているように、その識別に基づいて、ホストプロセッサは、ピクセルのグループ７２６が車両７２２に対応し、ピクセルのグループ７２８が人７２４に対応すると決定し得る。車両７２２および人７２４の識別は、車両７２２および人７２４が監視ターゲットである監視アプリケーション、車両７２２および人７２４が仮想オブジェクトと置き換えられるＭＲアプリケーション、プライバシーのためにいくつかの画像（たとえば、車両７２２のライセンスプレート、人７２４の顔）の分解能を低減するための中心窩撮像（ｆｏｖｅａｔｅｄ ｉｍａｇｉｎｇ）動作など、様々なアプリケーションをサポートするために実施され得る。

【0086】

図７Ｃは、画像センサー６００からの画像フレームに対する視標追跡動作の一例を示す。図７Ｃに示されているように、ホストプロセッサは、眼球の画像７３０および７３２から、瞳孔７３８およびグリント（ｇｌｉｎｔ）７３９に対応するピクセルのグループ７３４および７３６を識別し得る。瞳孔７３８およびグリント７３９の識別は、視標追跡動作をサポートするために実施され得る。たとえば、瞳孔７３８およびグリント７３９の画像ロケーションに基づいて、アプリケーションは、たとえば、ユーザに対して表示されるべきコンテンツを決定するために、システムに入力として提供され得る、異なる時間におけるユーザの視線方向を決定することができる。

【0087】

図７Ｄは、画像センサー６００からの画像フレームに対する動的視覚検知（ＤＶＳ）動作の一例を示す。ＤＶＳ動作では、画像センサー６００は、（ピクセル値において反映される）輝度の所定の程度の変化が起きるピクセルのみを出力することができるが、所定の程度の変化が起きないピクセルは画像センサー６００によって出力されない。ＤＶＳ動作は、オブジェクトの動きを検出するために、および／または出力されているピクセルデータのボリュームを低減するために、実施され得る。たとえば、図７Ｄを参照すると、時間Ｔ０において、画像７４０がキャプチャされ、画像７４０は、光源のピクセルのグループ７４２と人のピクセルのグループ７４４とを含んでいる。ピクセルのグループ７４２とピクセルのグループ７４４の両方が、時間Ｔ０において画像７４０の一部として出力され得る。時間Ｔ１において、画像７５０がキャプチャされる。光源に対応するピクセルのグループ７４２のピクセル値は、時間Ｔ０と時間Ｔ１との間で同じままであり、ピクセルのグループ７４２は、画像７５０の一部として出力されない。一方、人は、時間Ｔ０と時間Ｔ１との間で立位から歩行に変わり、これにより、時間Ｔ０と時間Ｔ１との間で、ピクセルのグループ７４４のピクセル値の変化が生じる。その結果、人のピクセルのグループ７４４は、画像７５０の一部として出力される。

【0088】

図７Ａ～図７Ｄの動作では、画像センサー６００は、スパースキャプチャ動作を実施するように制御され得、スパースキャプチャ動作において、関心ピクセルデータをホストプロセッサに出力するためにピクセルセルのサブセットのみが選択される。関心ピクセルデータは、ホストプロセッサにおいて特定の動作をサポートするために必要とされるピクセルデータを含むことができる。たとえば、図７Ａのオブジェクト追跡動作では、画像センサー６００は、それぞれ、画像フレーム７００および７１０におけるオブジェクト７０４のＲＯＩ７０２および７１２中のピクセルのグループのみを送信するように制御され得る。図７Ｂのオブジェクト検出動作では、画像センサー６００は、それぞれ、車両７２２および人７２４のピクセルのグループ７２６および７２８のみを送信するように制御され得る。さらに、図７Ｃの視標追跡動作では、画像センサー６００は、瞳孔７３８とグリント７３９とを含んでいるピクセルのグループ７３４および７３６のみを送信するように制御され得る。さらに、図７ＤのＤＶＳ動作では、画像センサー６００は、時間Ｔ１における、静的光源のピクセルのグループ７４２ではなく、移動している人のピクセルのグループ７４４のみを送信するように制御され得る。すべてのこれらの仕組みは、電力および帯域幅の対応する増加なしに、より高い分解能の画像の生成および送信を可能にすることができる。たとえば、より多くのピクセルセルを含むより大きいピクセルセルアレイが、画像分解能を改善するために、画像センサー６００中に含まれ得るが、改善された画像分解能を提供するために必要とされる帯域幅および電力は、ピクセルセルのサブセットのみが、高分解能で関心ピクセルデータを生成し、その高分解能ピクセルデータをホストプロセッサに送信するが、ピクセルセルの残りは、ピクセルデータを生成／送信していないか、または低い分解能でピクセルデータを生成／送信しているかのいずれかであるとき、低減され得る。その上、画像センサー６００は、より高いフレームレートにおいて画像を生成するように動作され得るが、帯域幅および電力の増加は、高分解能であり、多数のビットによって表される、ピクセル値の小さいセットのみを各画像が含むが、ピクセル値の残りが、送信されないか、またはより少ない数のビットによって表されるかのいずれかであるとき、低減され得る。

【0089】

ピクセルデータ送信のボリュームはまた、３Ｄ検知の場合、低減され得る。たとえば、図６Ｄを参照すると、照明器６４０が、オブジェクト６５０上に構造化光のパターン６４２を投影することができる。構造化光は、オブジェクト６５０の表面上で反射され得、反射された光のパターン６５２が、画像を生成するために画像センサー６００によってキャプチャされ得る。ホストプロセッサは、パターン６５２をパターン６４２と照合し、画像におけるパターン６５２の画像ロケーションに基づいて、画像センサー６００に対するオブジェクト６５０の深度を決定することができる。３Ｄ検知について、ピクセルセル６６０、６６２、６６４、および６６６のグループのみが、関連情報（たとえば、パターン６５２のピクセルデータ）を含んでいる。送信されているピクセルデータのボリュームを低減するために、画像センサー６００は、ホストプロセッサに、ピクセルセル６６０、６６２、６６４、および６６６のグループからのピクセルデータのみを送るように構成されるか、または、ピクセルセル６６０、６６２、６６４、および６６６のグループからのピクセルデータを高分解能で送るが、ピクセルデータの残りは低分解能であるように構成され得る。

【0090】

図８Ａおよび図８Ｂは、図７Ａ～図７Ｄに示されている動作をサポートするためのスパースキャプチャ動作を実施することができる撮像システム８００の例を示す。図８Ａに示されているように、撮像システム８００は、画像センサー８０２とホストプロセッサ８０４とを含む。画像センサー８０２は、センサーコンピュート回路８０６とピクセルセルアレイ８０８とを含む。センサーコンピュート回路８０６は、画像プロセッサ８１０とプログラミングマップ生成器８１２とを含む。いくつかの例では、センサーコンピュート回路８０６は、画像プロセッサ８１０およびプログラミングマップ生成器８１２の機能を実装するようにとの命令を実行する、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはハードウェアプロセッサとして実装され得る。さらに、ホストプロセッサ８０４は、アプリケーション８１４を実行することができる汎用中央処理ユニット（ＣＰＵ）を含む。

【0091】

ピクセルセルアレイ８０８の各ピクセルセルまたはピクセルセルのブロックは、たとえば、ピクセル値の出力を有効化／無効化すること、ピクセルセルによって出力されるピクセル値の分解能を設定することなどを行うように、個々にプログラム可能であり得る。ピクセルセルアレイ８０８は、センサーコンピュート回路８０６のプログラミングマップ生成器８１２から、各ピクセルセルについてのプログラミングデータを含んでいるプログラミングマップの形態のものであり得る第１のプログラミング信号８２０を受け取ることができる。ピクセルセルアレイ８０８は、シーンから光を検知し、第１のプログラミング信号８２０に基づいてシーンの第１の画像フレーム８２２を生成することができる。詳細には、ピクセルセルアレイ８０８は、第１の画像フレーム８２２がピクセルのフル画像フレームを含むフルフレームモードにおいて、および／または第１の画像フレーム８２２が、プログラミングマップによって指定されたピクセルのサブセットのみを含むスパースモードにおいてなど、異なるスパーシティモードにおいて動作するように第１のプログラミング信号８２０によって制御され得る。ピクセルセルアレイ８０８は、ホストプロセッサ８０４とセンサーコンピュート回路８０６の両方に第１の画像フレーム８２２を出力することができる。いくつかの例では、ピクセルセルアレイ８０８はまた、ホストプロセッサ８０４およびセンサーコンピュート回路８０６に、異なるピクセルスパーシティをもつ第１の画像フレーム８２２を出力することができる。たとえば、ピクセルセルアレイ８０８は、ピクセルのフル画像フレームをもつ第１の画像フレーム８２２をセンサーコンピュート回路８０６に出力し、第１のプログラミング信号８２０によって定義されたスパースピクセルをもつ第１の画像フレーム８２２をホストプロセッサ８０４に出力することができる。

【0092】

センサーコンピュート回路８０６およびホストプロセッサ８０４は、画像センサー８０２とともに、後続の画像フレーム８２４を生成するように画像センサーを制御するための、第１の画像フレーム８２２に基づく２ティアフィードバックシステムを形成することができる。２ティアフィードバック動作では、センサーコンピュート回路８０６の画像プロセッサ８１０は、処理結果を取得するために第１の画像フレーム８２２に対して画像処理動作を実施することができ、次いで、プログラミングマップ生成器８１２は、処理結果に基づいて第１のプログラミング信号８２０を更新することができる。画像プロセッサ８１０における画像処理動作は、アプリケーション８１４から受け取られた第２のプログラミング信号８３２に基づいて案内／構成され得、アプリケーション８１４は、第１の画像フレーム８２２に基づいて第２のプログラミング信号８３２を生成することができる。ピクセルセルアレイ８０８は、次いで、更新された第１のプログラミング信号８２０に基づいて後続の画像フレーム８２４を生成することができる。ホストプロセッサ８０４およびセンサーコンピュート回路８０６は、次いで、後続の画像フレーム８２４に基づいて、それぞれ、第１のプログラミング信号８２０および第２のプログラミング信号８３２を更新することができる。

【0093】

上述の２ティアフィードバックシステムでは、ホストプロセッサ８０４からの第２のプログラミング信号８３２は、センサーコンピュート回路８０６における画像処理動作および／またはプログラミングマップ生成に影響を及ぼすための、教示／案内信号、ニューラルネットワークトレーニング動作の結果（たとえば、逆方向伝搬結果）などの形態のものであり得る。ホストプロセッサ８０４は、画像センサー８０２による光検知動作のコンテキストを決定し、次いで、教示／案内信号を決定するために、第１の画像フレームだけでなく、他のセンサーデータ（たとえば、他の画像センサーによってキャプチャされた他の画像フレーム、オーディオ情報、動きセンサー出力、ユーザからの入力）にも基づいて、教示／案内信号を生成することができる。コンテキストは、たとえば、画像センサー８０２が動作する環境条件、画像センサー８０２のロケーション、またはアプリケーション８１４の任意の他の要件を含み得る。教示／案内信号は、コンテキストが、一般に、フレームレートよりもはるかに低いレートにおいて変化するとすれば、コンテキストに基づいて（たとえば、フレームレートよりも低い）比較的低いレートにおいて更新され得るが、センサーコンピュート回路８０６における画像処理動作、およびプログラミングマップの更新は、ピクセルセルアレイ８０８によってキャプチャされる画像に適応するために比較的高いレートにおいて（たとえば、フレームレートにおいて）行われ得る。

【0094】

図８Ａは、ピクセルセルアレイ８０８が、第１の画像フレーム８２２および第２の画像フレーム８２４をホストプロセッサ８０４とセンサーコンピュート回路８０６の両方に送信することを示すが、いくつかの場合には、ピクセルセルアレイ８０８は、異なるスパーシティの画像フレームをホストプロセッサ８０４およびセンサーコンピュート回路８０６に送信し得る。たとえば、ピクセルセルアレイ８０８は、フルピクセルを有する第１の画像フレーム８２２および第２の画像フレーム８２４を画像プロセッサ８１０に送信することができるが、第１のプログラミング信号８２０に基づいて選択されたピクセルのサブセットを各々が含む、両方の画像フレームのスパースバージョンが、ホストプロセッサ８０４に送られる。

【0095】

図８Ｂは、図７Ａのオブジェクト追跡動作をサポートするための撮像システム８００の動作の一例を示す。詳細には、時間Ｔ０において、ピクセルセルアレイ８０８（図８Ｂに図示せず）は、ピクセルのフルフレームが生成されるべきであることを指示する第１のプログラミング信号８２０に基づいて、オブジェクト７０４を含むシーンのフルピクセルを含む第１の画像フレーム８２２を生成し、第１の画像フレーム８２２を、ホストプロセッサ８０４と画像プロセッサ８１０の両方に送信する。ホストプロセッサ８０４は、アプリケーション８１４を実行したことに基づいて、オブジェクト７０４が追跡されるべきであると決定することができる。そのような決定は、たとえば、ユーザ入力、アプリケーション８１４による要件などに基づき得る。ホストプロセッサ８０４はまた、特徴８４０および８４２など、オブジェクト７０４の空間的特徴を抽出するために、第１の画像フレーム８２２を処理することができる。処理結果に基づいて、ホストプロセッサ８０４は、第１の画像フレーム８２２中のオブジェクト７０４（または、図７Ｃの瞳孔７３８およびグリント７３９など、他のオブジェクト）のピクセルを含む関心領域（ＲＯＩ）８５０の近似ロケーション、サイズ、および形状を決定することができる。さらに、他のセンサー（たとえば、ＩＭＵ）からの他の出力に基づいて、ホストプロセッサ８０４はまた、画像センサー８０２が、ある速度においてオブジェクト７０４に対して移動していると決定し、後続の画像フレームにおけるＲＯＩ８５２の新しいロケーションを推定することができる。ホストプロセッサ８０４は、次いで、第２のプログラミング信号８３２の一部として、オブジェクト７０４のターゲット特徴（たとえば、特徴８４０および８４２）、ＲＯＩの情報（たとえば、ＲＯＩ８５０の初期ロケーション、形状、サイズ）、速度などを、画像プロセッサ８１０およびプログラミングマップ生成器８１２に送信することができる。

【0096】

第２のプログラミング信号８３２に基づいて、画像プロセッサ８１０は、オブジェクト７０４のターゲット画像特徴を検出するために第１の画像フレーム８２２を処理し、検出結果に基づいて、ＲＯＩ８５２の精密なロケーション、サイズ、および形状を決定することができる。画像プロセッサ８１０は、次いで、第１の画像フレーム８２２におけるＲＯＩ８５０の精密なロケーション、サイズ、および形状を含む、ＲＯＩ情報８５４を、プログラミングマップ生成器８１２に送信することができる。ＲＯＩ情報８５４、ならびに第２のプログラミング信号８３２に基づいて、プログラミングマップ生成器８１２は、時間Ｔ１においてキャプチャされるべき後続の画像フレームにおけるＲＯＩ８５２の予想されるロケーション、サイズ、および形状を推定することができる。たとえば、第２のプログラミング信号８３２中に含まれる速度情報に基づいて、プログラミングマップ生成器８１２は、ＲＯＩ８５０が、時間Ｔ０と時間Ｔ１との間にｄの距離だけ移動してＲＯＩ８５２になると決定し、距離ｄに基づいて、時間Ｔ１におけるＲＯＩ８５２のロケーションを決定することができる。別の例として、図７Ｃの瞳孔７３８およびグリント７３９が、視標追跡動作の一部として追跡されている場合、プログラミングマップ生成器８１２は、ユーザの視線変化に関する情報を取得し、視線変化に基づいて、時間Ｔ１における、瞳孔７３８とグリント７３９とを含むＲＯＩ（たとえば、ＲＯＩ８５２）の予想されるロケーションを決定することができる。プログラミングマップ生成器８１２は、次いで、時間Ｔ１において、ＲＯＩ８５２内のピクセルセルを選択するために、第１のプログラミング信号８２０を更新して、後続の画像フレームについての、オブジェクト７０４（または瞳孔７３８およびグリント７３９、または他のオブジェクト）のピクセルデータを出力することができる。

【0097】

図９Ａ、図９Ｂ、図９Ｃ、および図９Ｄは、図８Ａの撮像システム８００の内部構成要素の例を示す。図９Ａは、ピクセルセルアレイ８０８の一例を示す。図９Ａに示されているように、ピクセルセルアレイ８０８は、列コントローラ９０４と、行コントローラ９０６と、プログラミング信号パーサ９２０とを含み得る。列コントローラ９０４は、列バス９０８（たとえば、９０８ａ、９０８ｂ、９０８ｃ、．．．９０８ｎ）と接続されるが、行コントローラ９０６は、行バス９１０（たとえば、９１０ａ、９１０ｂ、．．．９０８ｎ）と接続される。列コントローラ９０４または行コントローラ９０６のうちの一方は、特定のピクセルセルまたはピクセルセルのグループをターゲットにするピクセルレベルプログラミング信号９２６を送信するために、プログラミングバス９１２とも接続される。Ｐ_００、Ｐ_０１、Ｐ_０ｊなどと標示された各ボックスは、ピクセルセルまたはピクセルセルのグループ（たとえば、２９９`１×２ピクセルセルのグループ）を表すことができる。各ピクセルセルまたはピクセルセルの各グループは、列バス９０８のうちの１つ、行バス９１０のうちの１つ、プログラミングバス９１２、およびピクセルデータを出力するための出力データバス（図９Ａに図示せず）に接続され得る。各ピクセルセル（またはピクセルセルの各グループ）は、一度にピクセルレベルプログラミングバス９１２を介してピクセルレベルプログラミング信号９２６を受け取るために、列コントローラ９０４によって提供される列バス９０８上の列アドレス信号９３０と、行コントローラ９０６によって提供される行バス９１０上の行アドレス信号９３２とによって、個々にアドレス指定可能である。列アドレス信号９３０、行アドレス信号９３２、ならびにピクセルレベルプログラミング信号９２６は、プログラミングマップ生成器８１２からの第１のプログラミング信号８２０に基づいて生成され得る。

【0098】

さらに、図９Ａは、第１のプログラミング信号８２０からピクセルレベルプログラミング信号を抽出することができる、プログラミング信号パーサ９２０を含む。いくつかの例では、第１のプログラミング信号８２０は、ピクセルセルアレイ８０８の各ピクセルセルまたはピクセルセルの各グループのためのプログラミングデータを含むことができる、プログラミングマップを含むことができる。図９Ｂは、ピクセルアレイプログラミングマップ９４０の一例を示す。図９Ｂに示されているように、ピクセルアレイプログラミングマップ９４０は、ピクセルレベルプログラミングデータの２次元アレイを含むことができ、２次元アレイの各ピクセルレベルプログラミングデータは、ピクセルセルアレイ８０８のピクセルセルまたはピクセルセルのグループをターゲットにする。たとえば、各ピクセルレベルプログラミングデータがピクセルセルをターゲットにする場合、ピクセルセルアレイ８０８が、Ｍ個のピクセルの幅（たとえば、ピクセルのＭ個の列）およびＮ個のピクセルの高さ（たとえば、ピクセルのＮ個の行）を有すると仮定すると、ピクセルアレイプログラミングマップ９４０も、Ｍ個のエントリの幅（たとえば、エントリのＭ個の列）およびＮ個のエントリの高さ（たとえば、エントリのＮ個の行）を有することができ、各エントリは、対応するピクセルセルのためのピクセルレベルプログラミングデータを記憶する。たとえば、ピクセルアレイプログラミングマップ９４０のエントリ（０，０）にあるピクセルレベルプログラミングデータＡ_００は、ピクセルセルアレイ８０８のピクセルロケーション（０，０）にあるピクセルセルＰ_００をターゲットにするが、ピクセルアレイプログラミングマップ９４０のエントリ（０，１）にあるピクセルレベルプログラミングデータＡ_０１は、ピクセルセルアレイ８０８のピクセルロケーション（０，１）にあるピクセルセルＰ_０１をターゲットにする。ピクセルレベルプログラミングデータがピクセルセルのグループをターゲットにする場合、高さおよび幅に沿ったピクセルアレイプログラミングマップ９４０のエントリの数は、各グループ中のピクセルセルの数に基づいてスケーリングされ得る。

【0099】

ピクセルアレイプログラミングマップ９４０は、図９Ｂで説明されるフィードバック動作をサポートするように構成され得る。たとえば、各エントリにおいて記憶されるピクセルレベルプログラミングデータは、たとえば、電源投入または電源切断すること、ピクセルデータの出力を有効化または無効化すること、量子化分解能を設定すること、出力ピクセルデータの精度を設定すること、量子化動作（たとえば、ＴＴＳ、ＦＤ ＡＤＣ、ＰＤ ＡＤＣのうちの１つ）を選択すること、フレームレートを設定することなどを行うように、各ピクセルセル（またはピクセルセルの各グループ）を個々にプログラムすることができる。上記で説明されたように、プログラミングマップ生成器８１２は、たとえば、１つまたは複数のＲＯＩの予測に基づいてピクセルアレイプログラミングマップ９４０を生成することができ、ＲＯＩ内のピクセルセルのためのピクセルレベルプログラミングデータは、ＲＯＩ外のピクセルセルのためのピクセルレベルプログラミングデータとは異なる。たとえば、ピクセルアレイプログラミングマップ９４０は、ピクセルセルのサブセット（またはピクセルセルのグループ）がピクセルデータを出力することを可能にすることができるが、ピクセルセルの残りはピクセルデータを出力しない。別の例として、ピクセルアレイプログラミングマップ９４０は、（たとえば、各ピクセルを表すためにより多数のビットを使用して）より高い分解能においてピクセルデータを出力するようにピクセルセルのサブセットを制御することができるが、ピクセルセルの残りは、より低い分解能においてピクセルデータを出力する。

【0100】

再び図９Ａを参照すると、プログラミングマップパーサ９２０は、各ピクセルセル（またはピクセルセルの各グループ）のためのピクセルレベルプログラミングデータを識別するために、シリアルデータストリーム中にあり得る、ピクセルアレイプログラミングマップ９４０をパースすることができる。ピクセルレベルプログラミングデータの識別は、たとえば、２次元ピクセルアレイプログラミングマップがシリアルフォーマットに変換される所定のスキャンパターン、ならびにピクセルレベルプログラミングデータがシリアルデータストリームからプログラミング信号パーサ９２０によって受け取られる順序に基づき得る。プログラミングデータの各エントリについて、プログラミング信号パーサ９２０は、行アドレス信号９３０および列アドレス信号８３２を生成し、ピクセルセルを選択するために、行アドレス信号８３０および列アドレス信号８３２を、それぞれ、行センサーコンピュート回路８０６および列コントローラ９０４に送信し、選択されたピクセルセル（またはピクセルセルのグループ）にピクセルレベルプログラミング信号８２６を送信することができる。

【0101】

図９Ｃは、図６Ａのピクセルセル６０１の構成要素のうちの少なくともいくつかを含むことができる、ピクセルセルアレイ８０８のピクセルセル９５０の例示的な内部構成要素を示す。ピクセルセル９５０は、フォトダイオード９５２ａ、９５２ｂなどを含む、１つまたは複数のフォトダイオードを含むことができる。いくつかの例では、ピクセルセル９５０のフォトダイオードのうちの１つまたは複数は、異なる周波数範囲の光を検出するように構成され得る。たとえば、フォトダイオード９５２ａは、可視光（たとえば、単色、あるいは、赤色、緑色、または青色のうちの１つ）を検出することができるが、フォトダイオード９５２ｂは、赤外光を検出することができる。いくつかの例では、ピクセルセル９５０のフォトダイオードの一部または全部は、同じ波長の光を検出することができる。ピクセルセル９５０は、どのフォトダイオードがピクセルデータ生成のために電荷を出力するかを制御するために、スイッチ９５４（たとえば、トランジスタ、コントローラバリア層）をさらに含む。フォトダイオードが異なる周波数範囲の光を検出する場合、各フォトダイオードからの出力は、コロケートされた２Ｄ／３Ｄ検知をサポートするために、ピクセルに対応することができる。フォトダイオードが同じ周波数範囲の光を検出する場合、フォトダイオードからの出力は、アナログビニング動作において組み合わせられて、たとえば、低強度の光を測定する際の信号対雑音比（ＳＮＲ）を増加させることができる。

【0102】

さらに、ピクセルセル９５０は、図６Ａに示されている、電子シャッタースイッチ６０３、転送スイッチ６０４、電荷貯蔵デバイス６０５、バッファ６０６、量子化器６０７、ならびにリセットスイッチ９５１およびメモリ９５５をさらに含む。電荷貯蔵デバイス６０５は、電荷－電圧変換利得を設定するために、構成可能なキャパシタンスを有することができる。いくつかの例では、電荷貯蔵デバイス６０５のキャパシタンスは、電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和される可能性を低減するために、中光強度のためのＦＤ ＡＤＣ動作についてオーバーフロー電荷を貯蔵するために増加され得る。電荷貯蔵デバイス６０５のキャパシタンスはまた、低光強度のためのＰＤ ＡＤＣ動作について電荷－電圧変換利得を増加させるために減少され得る。電荷－電圧変換利得の増加は、量子化誤差を低減し、量子化分解能を増加させることができる。いくつかの例では、電荷貯蔵デバイス６０５のキャパシタンスはまた、量子化分解能を増加させるためにＦＤ ＡＤＣ動作中に減少され得る。リセットスイッチ９５１は、画像フレームをキャプチャするより前に、および／またはＦＤ ＡＤＣ動作とＰＤ ＡＤＣ動作との間に電荷貯蔵デバイス６０５をリセットすることができる。バッファ６０６は、バイアス信号ＢＩＡＳ１によって電流が設定され得る電流源９５６、ならびにバッファ６０６をオン／オフにするためにＰＷＲ＿ＧＡＴＥ信号によって制御され得る電力ゲート９５８を含む。バッファ６０６は、ピクセルセル９５０を無効化することの一部としてオフにされ得る。

【0103】

さらに、量子化器６０７は、比較器９６０と出力ロジック部９６２とを含む。比較器９６０は、出力を生成するためにバッファの出力を基準電圧（ＶＲＥＦ）と比較することができる。量子化動作（たとえば、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作）に応じて、比較器９６０は、出力を生成するために、バッファされた電圧を、異なるＶＲＥＦ電圧と比較することができ、出力は、さらに、メモリ９５５に自走カウンタまたはデジタルランプ（ｒａｍｐ）からの値をピクセル出力として記憶させるために出力ロジック部９６２によって処理される。比較器９６０のバイアス電流は、比較器９６０の帯域幅を設定することができるバイアス信号ＢＩＡＳ２によって制御され得、これは、ピクセルセル９５０によってサポートされるべきフレームレートに基づいて設定され得る。その上、比較器９６０の利得は、利得制御信号ＧＡＩＮによって制御され得る。比較器９６０の利得は、ピクセルセル９５０によってサポートされるべき量子化分解能に基づいて設定され得る。比較器９６０は、さらに、それぞれ、比較器９６０およびメモリ９５５をオン／オフにするために、ＰＷＲ＿ＧＡＴＥ信号によっても制御され得る電力スイッチ９６１ａおよび電力スイッチ９６１ｂを含む。比較器９６０は、ピクセルセル９５０を無効化することの一部としてオフにされ得る。

【0104】

さらに、出力ロジック部９６２は、ＴＴＳ動作、ＦＤ ＡＤＣ動作、またはＰＤ ＡＤＣ動作のうちの１つの出力を選択し、その選択に基づいて、カウンタ／デジタルランプからの値を記憶するためにメモリ９５５に比較器９６０の出力をフォワーディングすべきかどうかを決定することができる。出力ロジック部９６２は、比較器９６０の出力に基づいて、フォトダイオード９５２（たとえば、フォトダイオード９５２ａ）が残留電荷によって飽和されたかどうかの指示と、電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和されたかどうかの指示とを記憶するための内部メモリを含むことができる。電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和された場合、出力ロジック部９６２は、メモリ９５５に記憶されるべきＴＴＳ出力を選択し、メモリ９５５がＦＤ ＡＤＣ／ＰＤ ＡＤＣ出力によってＴＴＳ出力を上書きするのを防ぐことができる。電荷貯蔵デバイス６０５は飽和されないが、フォトダイオード９５２が飽和された場合、出力ロジック部９６２は、メモリ９５５に記憶されるべきＦＤ ＡＤＣ出力を選択することができ、他の場合、出力ロジック部９６２は、メモリ９５５に記憶されるべきＰＤ ＡＤＣ出力を選択することができる。いくつかの例では、カウンタ値の代わりに、フォトダイオード９５２が残留電荷によって飽和されたかどうかの指示と、電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和されたかどうかの指示とが、最も低い精度のピクセルデータを提供するためにメモリ９５５に記憶され得る。

【0105】

さらに、ピクセルセル９５０は、ＡＢ、ＴＧ、ＢＩＡＳ１、ＢＩＡＳ２、ＧＡＩＮ、ＶＲＥＦ、ＰＷＲ＿ＧＡＴＥなど、制御信号を生成するための論理回路を含むことができる、ピクセルセルコントローラ９７０を含み得る。ピクセルセルコントローラ９７０はまた、ピクセルレベルプログラミング信号９２６によってプログラムされ得る。たとえば、ピクセルセル９５０を無効化するために、ピクセルセルコントローラ９７０は、バッファ６０６および比較器９６０をオフにするために、ＰＷＲ＿ＧＡＴＥをアサート解除するようにピクセルレベルプログラミング信号９２６によってプログラムされ得る。その上、量子化分解能を増加させるために、ピクセルセルコントローラ９７０は、電荷貯蔵デバイス６０５のキャパシタンスを低減すること、ＧＡＩＮ信号を介して比較器９６０の利得を増加させることなどを行うように、ピクセルレベルプログラミング信号９２６によってプログラムされ得る。フレームレートを増加させるために、ピクセルセルコントローラ９７０は、それぞれ、バッファ６０６および比較器９６０の帯域幅を増加させるために、ＢＩＡＳ１信号およびＢＩＡＳ２信号を増加させるようにピクセルレベルプログラミング信号９２６によってプログラムされ得る。さらに、ピクセルセル９５０によって出力されるピクセルデータの精度を制御するために、ピクセルセルコントローラ９７０は、たとえば、メモリ９５５がカウンタのビットのサブセット（たとえば、最上位ビット）のみを記憶するようにビットのサブセットのみをメモリ９５５に接続すること、または出力ロジック部９６２に記憶された指示をピクセルデータとしてメモリ９５５に記憶することを行うように、ピクセルレベルプログラミング信号９２６によってプログラムされ得る。さらに、ピクセルセルコントローラ９７０は、たとえば、上記で説明されたように、露光期間を調整すること、および／または、特定の量子化動作（たとえば、ＴＴＳ、ＦＤ ＡＤＣ、またはＰＤ ＡＤＣのうちの１つ）を、動作条件に基づいて他のものをスキップしながら選択することを行うために、ＡＢ信号およびＴＧ信号のシーケンスおよびタイミングを制御するようにピクセルレベルプログラミング信号９２６によってプログラムされ得る。

【0106】

図９Ｄは、画像プロセッサ８１０の内部構成要素の例を示す。図９Ｄに示されているように、画像プロセッサ８１０は、特徴抽出回路９７２とメモリ９７６とを含み得る。画像プロセッサ８１０によって抽出／検出されるべき特徴は、たとえば、所定のオブジェクト（たとえば、シーン中の人間の顔、身体部分、いくつかの物理的オブジェクト）の空間的特徴およびキーポイント、時間的コントラストなどを含み得る。いくつかの例では、特徴抽出回路９７２は、畳み込みニューラルネットワーク（ＣＮＮ）、回帰ニューラルネットワーク（ＲＮＮ）など、機械学習モデル９７３を実装し得、機械学習モデル９７３は、ピクセルセルアレイ８０８によって生成された入力画像フレーム（たとえば、第１の画像フレーム８２２）に対して画像特徴動作を実施するようにトレーニングされ得る。いくつかの例では、特徴抽出回路９７２は、所定の時間的コントラストを有するピクセルを識別するためにピクセルデータをしきい値と比較するための比較回路９７５をも含むことができる。特徴抽出回路９７２は、特徴抽出動作を実施するための、デジタル信号プロセッサ（ＤＳＰ）、線形ソルバーユニット、マイクロコントローラ、演算回路など、他の回路を含み得る。画像プロセッサ８１０は、ホストプロセッサ８０４からの第２のプログラミング信号８３２の一部として、機械学習モデル９７３の特徴抽出動作および／またはトレーニング動作をサポートするための、ターゲット特徴／しきい値、機械学習パラメータ（たとえば、重み、逆方向伝搬勾配）、または他の構成パラメータを受信し得る。特徴抽出動作の結果として、特徴抽出回路９７２は、たとえば、入力画像フレーム中の検出された特徴のピクセルロケーションを出力し得、それらのピクセルロケーションは、次いで、ピクセルアレイプログラミングマップ９４０を生成するためにプログラミングマップ生成器８１２にフィードされ得る。

【0107】

さらに、メモリ９７６は、入力画像フレームのピクセルデータ、特徴抽出動作のための様々な構成データ、ならびに特徴抽出回路９７２の出力（たとえば、ピクセルロケーション）を記憶するためのオンチップメモリを提供することができる。いくつかの例では、特徴抽出回路９７２に提供される現在の入力画像フレームが、ピクセルデータのフルフレームではなく、スパースピクセルデータのみを含み得る。そのような場合、メモリ９７６は、前の入力画像フレームのピクセルデータをも記憶し得、そのピクセルデータは、ピクセルデータの再構築されたフルフレームを生成するために、特徴抽出回路９７２にフィードされ、現在の入力画像と組み合わせられ得る。特徴抽出回路９７２は、次いで、ピクセルデータの再構築されたフルフレームに基づいて特徴抽出動作を実施することができる。メモリ９７６は、たとえば、スピントンネリングランダムアクセスメモリ（ＳＴＲＡＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）などを含み得る。いくつかの例では、画像プロセッサ８１０は、特徴抽出回路８８０における特徴抽出動作をサポートするために、オフチップメモリ（たとえば、ダイナミックランダムアクセスメモリ）へのインターフェースをも含み得る。

【0108】

特徴抽出回路９７２は、特徴抽出動作を実施するために様々な技法を採用することができる。一例では、特徴抽出回路９７２は、フィルタを伴ってピクセルデータのブロック間で畳み込み演算を実施するために、ＣＮＮなどの機械学習モデル９７３を使用することができる。フィルタは、抽出されるべきターゲット特徴を表す重みのセットを含み得る。畳み込み演算の一部として、フィルタは、特定のストライドロケーションにおいてピクセルデータのブロックの一部分と重畳され、フィルタの各要素とその一部分内の各ピクセルとの積和が決定され得る。フィルタがピクセルのブロック内でぐるりとシフトされる（ｓｈｉｆｔｅｄ ａｒｏｕｎｄ）につれて、異なるストライドロケーションに対する積和の分布が、畳み込み出力として決定され得る。畳み込み出力は、たとえば、特定のピクセルがターゲット特徴をキャプチャする確率、そのピクセルがターゲットオブジェクトに属する確率などを指示し得る。確率に基づいて、特徴抽出回路９７２は、（１つまたは複数の）ターゲット特徴を含むかまたはターゲットオブジェクトの一部である可能性があると決定された、ピクセルのピクセルロケーションを出力することができる。ピクセルロケーションは、次いで、上記で説明されたように、ピクセルセルアレイ８０８のスパースキャプチャ動作を調整するために、図８ＢのＲＯＩ情報８５２の一部として出力され得る。

【0109】

畳み込み演算のフィルタ重みは、トレーニングプロセスから取得され得、トレーニングプロセスは、オフラインで、オンラインで、またはその両方の組合せで実施され得る。オフライントレーニングプロセスでは、重みは、特徴抽出動作より前にメモリ９７６に事前記憶され得る。重みは、画像プロセッサ８１０によって処理されることが予想される画像データの範囲をカバーするトレーニングデータセットに基づくトレーニングプロセスから取得され得る。トレーニングデータセットは、クラウド環境に記憶され得、トレーニングは、オフライントレーニングプロセスとしてクラウド環境においても実施され得る。オフライントレーニングプロセスから取得される重みは、異なる撮像システム８００のすべての画像プロセッサ８１０について共通であり得る。

【0110】

オンライントレーニングプロセスでは、画像プロセッサ８１０によって使用される重みは、画像プロセッサ８１０が、検出されるべき実際のオブジェクトの画像データを受け取る間、取得され得る。例示的なアプリケーションは、（たとえば、画像センサーによってキャプチャされた眼の画像に基づく）視標追跡であり得る。オンライントレーニングプロセスの一部として、画像プロセッサ８１０は、トレーニングモードにおいて動作することができ、画像プロセッサ８１０は、ユーザが空間中の特定のターゲットまたはロケーションを見るように依頼されたとき、ユーザの眼のピクセルデータを受け取る。トレーニングプロセスを通して、画像プロセッサ８１０は、ユーザの眼を正しく識別する可能性を最大にするように重みを調整することができる。そのような場合、特定の撮像システム８００の画像プロセッサ８１０によって使用される重みは、重みが特定のユーザのためにおよび／または特定の動作条件のために最適化されるので、別の撮像システム８００の画像プロセッサ８１０によって使用される重みとは異なり得る。いくつかの例では、画像プロセッサ８１０によって使用される重みは、オフライントレーニングプロセスとオンライントレーニングプロセスとの組合せによって取得され得る。たとえば、第１のニューラルネットワーク層によって使用される重みは、オブジェクトの一般的な特徴を抽出するために使用される一般的な重みであり得るが、上位ニューラルネットワーク層の重みは、オンライントレーニングプロセスにおいてトレーニングされて、ユーザにおよび／または特定の動作条件に固有になり得る。

【0111】

さらに、動的視覚検知（ＤＶＳ）動作をサポートするために、特徴抽出回路９７２は、ピクセルについての時間的コントラストを取得するために、入力画像フレーム中のピクセルを、メモリ９７６に記憶された前の画像フレーム中の対応するピクセルと比較するための比較回路９７５を使用することができる。比較回路９７５はまた、時間的コントラストの所定のしきい値を有する（または超える）ピクセルのピクセルロケーションを出力するために、時間的コントラストを（第２のプログラミング信号８３２の一部として受信された）ターゲットしきい値と比較することができる。

【0112】

特徴抽出回路９７２における特徴抽出動作は、第２のプログラミング信号８３２に基づいて構成され得る。たとえば、ホストプロセッサ８０４は、抽出されるべきターゲット特徴をフィルタ重みとして符号化し、畳み込み演算を実施するためにＣＮＮモデルにフィルタ重みを供給することができる。さらに、ホストプロセッサ８０４は、ＤＶＳ動作のための時間的コントラストしきい値を設定し、第２のプログラミング信号８３２の一部として時間的コントラストしきい値を送ることができる。ピクセルロケーションは、次いで、上記で説明されたように、ピクセルセルアレイ８０８のスパースキャプチャ動作を調整するために、図８ＢのＲＯＩ情報８５２の一部として出力され得る。

【0113】

ターゲット特徴およびしきい値のほかに、ホストプロセッサ８０４は、第２のプログラミング信号８３２中に含まれる他の構成パラメータに基づいて、特徴抽出回路９７２における特徴抽出動作に影響を及ぼすことができる。たとえば、ホストプロセッサ８０４は、オンライントレーニング動作の一部であり得、単一の撮像システム８００または複数の撮像システム８００から受信された画像を伴うトレーニング動作に基づいて、逆方向伝搬勾配を決定することができる。ホストプロセッサ８０４は、次いで、各撮像システムにおいてローカルに重みを調整するために第２のプログラミング信号８３２の一部として各撮像システム８００に逆方向伝搬勾配を提供することができる。別の例として、ホストプロセッサ８０４は、より低いレベルのニューラルネットワーク層の出力など、画像処理動作の中間結果を、第２のプログラミング信号８３２の一部として特徴抽出回路９７２に提供することができ、特徴抽出回路９７２は、次いで、より高いレベルのニューラルネットワーク層においてニューラルネットワーク計算を実施するために出力を使用することができる。別の例として、ホストプロセッサ８０４は、ニューラルネットワークによって実施される画像処理動作の予測される正確さをフィードバックとして提供することができ、これは、特徴抽出回路９７２のニューラルネットワークが、画像処理動作の予測される正確さを改善するために重みを更新することを可能にする。

【0114】

別の例として、ホストプロセッサ８０４は、初期ＲＯＩ（たとえば、図８ＢのＲＯＩ８５０）のロケーションを提供することができる。画像プロセッサ８１０は、特徴抽出動作（たとえば、畳み込み演算、動的検知動作）を２ステッププロセスにおいて実施することができる。たとえば、画像プロセッサ８１０は、最初に、初期ＲＯＩによって識別されたピクセルに対して特徴抽出動作を実施することができる。抽出結果が、初期ＲＯＩがオフである（たとえば、識別されたピクセルがターゲットオブジェクトの形状に似ていない）ことを指示する場合、画像プロセッサ８１０は、第２のステップにおいて、ターゲット特徴を含み得る追加のピクセルを探索するためのベースラインとして、初期ＲＯＩを使用することができる。第２のステップの終了時に、画像プロセッサ８１０は、より改良されたＲＯＩを提供するために、改良されたピクセルロケーションを決定することができる。

【0115】

さらに、ホストプロセッサ８０４は、特徴抽出動作の評価をも実施し、評価結果を特徴抽出回路９７２に提供することができる。ホストプロセッサ８０４は、特徴抽出回路９７２における特徴抽出動作に影響を及ぼすために、評価結果をフィードバックとして提供することができる。評価結果は、たとえば、ピクセルセルアレイ８０８によって出力されたスパースピクセルが、アプリケーション８１４によって必要とされるデータを含んでいるかどうか（および／または、その割合）の指示を含むことができる。スパースピクセルが、特徴抽出動作の結果として生成された第１のプログラミング信号８２０において定義されたＲＯＩに基づいて出力される場合、特徴抽出回路９７２は、評価結果に基づいてＲＯＩおよび／または特徴抽出動作を調整することができる。たとえば、オブジェクト追跡／検出動作の場合、ホストプロセッサ８０４は、ピクセルセルアレイ８０８によって出力された画像フレーム中のスパースピクセルがターゲットオブジェクトのすべてのピクセルを含んでいるかどうかを評価し、評価結果を特徴抽出回路９７２に提供することができる。特徴抽出回路９７２は、次いで、たとえば、ピクセルの選択を、評価結果に基づいて特徴抽出動作を実施するように調整することができる。評価結果が、スパースピクセルがターゲットオブジェクトのすべてのピクセルを含んでいるとは限らないことを指示する場合、特徴抽出回路９７２は、ターゲット特徴を抽出／検出するために、より多くのピクセルを処理するためにＲＯＩを拡大するか、さらには、ＲＯＩを無視し、入力画像フレームのすべてのピクセルを処理することができる。

【0116】

画像センサー６００からの画像フレームデータは、１つまたは複数のオブジェクトを追跡すること、（たとえば、動的視覚検知（ＤＶＳ）動作の一部として）動きを検知することなど、異なるアプリケーションをサポートするために、ホストプロセッサ（図６Ａおよび図６Ｂに図示せず）に送信され得る。図７Ａ～図７Ｄは、画像センサー６００からの画像フレームデータによってサポートされ得るアプリケーションの例を示す。図７Ａは、画像センサー６００からの画像フレームに基づくオブジェクト追跡動作の一例を示す。図７Ａに示されているように、ホストプロセッサにおいて動作するアプリケーションが、時間Ｔ０においてキャプチャされた画像フレーム７００からのオブジェクト７０４に対応する関心領域（ＲＯＩ）７０２中のピクセルのグループを識別することができる。アプリケーションは、時間Ｔ１においてキャプチャされる画像フレーム７１０を含む後続の画像フレーム中のオブジェクト７０４のロケーションを追跡し続け、オブジェクト７０４に対応するＲＯＩ７１２中のピクセルのグループを識別することができる。画像フレーム内のオブジェクト７０４の画像ロケーションの追跡は、ＳＬＡＭアルゴリズムをサポートするために実施され得、ＳＬＡＭアルゴリズムは、画像センサー６００によってキャプチャされたシーン中のオブジェクト７０４の画像ロケーションを追跡することに基づいて、画像センサー６００（および、ニアアイディスプレイ１００など、画像センサー６００を含むモバイルデバイス）が位置する環境のマップを構築／更新することができる。

【0117】

図７Ｂは、画像センサー６００からの画像フレームに対するオブジェクト検出動作の一例を示す。図７Ｂの左側に示されているように、ホストプロセッサは、車両７２２および人７２４など、画像フレーム７２０においてキャプチャされたシーン中の１つまたは複数のオブジェクトを識別し得る。図７Ｂの右側に示されているように、その識別に基づいて、ホストプロセッサは、ピクセルのグループ７２６が車両７２２に対応し、ピクセルのグループ７２８が人７２４に対応すると決定し得る。車両７２２および人７２４の識別は、車両７２２および人７２４が監視ターゲットである監視アプリケーション、車両７２２および人７２４が仮想オブジェクトと置き換えられる複合現実（ＭＲ）アプリケーション、プライバシーのためにいくつかの画像（たとえば、車両７２２のライセンスプレート、人７２４の顔）の分解能を低減するための中心窩撮像動作など、様々なアプリケーションをサポートするために実施され得る。

【0118】

図７Ｃは、画像センサー６００からの画像フレームに対する視標追跡動作の一例を示す。図７Ｃに示されているように、ホストプロセッサは、眼球の画像７３０および７３２から、瞳孔７３８およびグリント７３９に対応するピクセルのグループ７３４および７３６を識別し得る。瞳孔７３８およびグリント７３９の識別は、視標追跡動作をサポートするために実施され得る。たとえば、瞳孔７３８およびグリント７３９の画像ロケーションに基づいて、アプリケーションは、たとえば、ユーザに対して表示されるべきコンテンツを決定するために、システムに入力として提供され得る、異なる時間におけるユーザの視線方向を決定することができる。

【0119】

図７Ｄは、画像センサー６００からの画像フレームに対する動的視覚検知（ＤＶＳ）動作の一例を示す。ＤＶＳ動作では、画像センサー６００は、（ピクセル値において反映される）輝度の所定の程度の変化が起きるピクセルのみを出力することができるが、所定の程度の変化が起きないピクセルは画像センサー６００によって出力されない。ＤＶＳ動作は、オブジェクトの動きを検出するために、および／または出力されているピクセルデータのボリュームを低減するために、実施され得る。たとえば、図７Ｄを参照すると、時間Ｔ０において、画像７４０がキャプチャされ、画像７４０は、光源のピクセルのグループ７４２と人のピクセルのグループ７４４とを含んでいる。ピクセルのグループ７４２とピクセルのグループ７４４の両方が、時間Ｔ０において画像７４０の一部として出力され得る。時間Ｔ１において、画像７５０がキャプチャされる。光源に対応するピクセルのグループ７４２のピクセル値は、時間Ｔ０と時間Ｔ１との間で同じままであり、ピクセルのグループ７４２は、画像７５０の一部として出力されない。一方、人は、時間Ｔ０と時間Ｔ１との間で立位から歩行に変わり、これにより、時間Ｔ０と時間Ｔ１との間で、ピクセルのグループ７４４のピクセル値の変化が生じる。その結果、人のピクセルのグループ７４４は、画像７５０の一部として出力される。

【0120】

図７Ａ～図７Ｄの動作では、画像センサー６００は、スパースキャプチャ動作を実施するように制御され得、スパースキャプチャ動作において、関心ピクセルデータをホストプロセッサに出力するためにピクセルセルのサブセットのみが選択される。関心ピクセルデータは、ホストプロセッサにおいて特定の動作をサポートするために必要とされるピクセルデータを含むことができる。たとえば、図７Ａのオブジェクト追跡動作では、画像センサー６００は、それぞれ、画像フレーム７００および７１０におけるオブジェクト７０４のＲＯＩ７０２および７１２中のピクセルのグループのみを送信するように制御され得る。図７Ｂのオブジェクト検出動作では、画像センサー６００は、それぞれ、車両７２２および人７２４のピクセルのグループ７２６および７２８のみを送信するように制御され得る。さらに、図７Ｃの視標追跡動作では、画像センサー６００は、瞳孔７３８とグリント７３９とを含んでいるピクセルのグループ７３４および７３６のみを送信するように制御され得る。さらに、図７ＤのＤＶＳ動作では、画像センサー６００は、時間Ｔ１における、静的光源のピクセルのグループ７４２ではなく、移動している人のピクセルのグループ７４４のみを送信するように制御され得る。すべてのこれらの仕組みは、電力および帯域幅の対応する増加なしに、より高い分解能の画像の生成および送信を可能にすることができる。たとえば、より多くのピクセルセルを含むより大きいピクセルセルアレイが、画像分解能を改善するために、画像センサー６００中に含まれ得るが、改善された画像分解能を提供するために必要とされる帯域幅および電力は、ピクセルセルのサブセットのみが、高分解能で関心ピクセルデータを生成し、その高分解能ピクセルデータをホストプロセッサに送信するが、ピクセルセルの残りは、ピクセルデータを生成／送信していないか、または低い分解能でピクセルデータを生成／送信しているかのいずれかであるとき、低減され得る。その上、画像センサー６００は、より高いフレームレートにおいて画像を生成するように動作され得るが、帯域幅および電力の増加は、高分解能であり、多数のビットによって表される、ピクセル値の小さいセットのみを各画像が含むが、ピクセル値の残りが、送信されないか、またはより少ない数のビットによって表されるかのいずれかであるとき、低減され得る。

【0121】

ピクセルデータ送信のボリュームはまた、３Ｄ検知の場合、低減され得る。たとえば、図６Ｄを参照すると、照明器６４０が、オブジェクト６５０上に構造化光のパターン６４２を投影することができる。構造化光は、オブジェクト６５０の表面上で反射され得、反射された光のパターン６５２が、画像を生成するために画像センサー６００によってキャプチャされ得る。ホストプロセッサは、パターン６５２をパターン６４２と照合し、画像におけるパターン６５２の画像ロケーションに基づいて、画像センサー６００に対するオブジェクト６５０の深度を決定することができる。３Ｄ検知について、ピクセルセル６６０、６６２、６６４、および６６６のグループのみが、関連情報（たとえば、パターン６５２のピクセルデータ）を含んでいる。送信されているピクセルデータのボリュームを低減するために、画像センサー６００は、ホストプロセッサに、ピクセルセル６６０、６６２、６６４、および６６６のグループからのピクセルデータのみを送るように構成されるか、または、ピクセルセル６６０、６６２、６６４、および６６６のグループからのピクセルデータを高分解能で送るが、ピクセルデータの残りは低分解能であるように構成され得る。

【0122】

図８Ａおよび図８Ｂは、図７Ａ～図７Ｄに示されている動作をサポートするためのスパースキャプチャ動作を実施することができる撮像システム８００の例を示す。図８Ａに示されているように、撮像システム８００は、画像センサー８０２とホストプロセッサ８０４とを含む。画像センサー８０２は、センサーコンピュート回路８０６と、ピクセルセルアレイ８０８と、フレームバッファ８０９とを含む。センサーコンピュート回路８０６は、画像プロセッサ８１０とプログラミングマップ生成器８１２とを含む。いくつかの例では、センサーコンピュート回路８０６は、画像プロセッサ８１０およびプログラミングマップ生成器８１２の機能を実装するようにとの命令を実行する、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはハードウェアプロセッサとして実装され得る。フレームバッファ８０９は、ピクセルセルアレイ８０８によって出力された画像フレームを記憶するためのメモリを含み、その画像フレームを処理のためにセンサーコンピュート回路８０６に提供することができる。フレームバッファ８０９は、センサーコンピュート回路８０６と同じウエハ上に組み込まれたオンチップメモリ（たとえば、スタティックランダムアクセスメモリ（ＳＲＡＭ））、またはオフチップメモリ（たとえば、抵抗性ランダムアクセスメモリ（ＲｅＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ））を含むことができる。さらに、ホストプロセッサ８０４は、アプリケーション８１４を実行することができる汎用中央処理ユニット（ＣＰＵ）を含む。

【0123】

ピクセルセルアレイ８０８の各ピクセルセルまたはピクセルセルのブロックは、たとえば、ピクセル値の出力を有効化／無効化すること、ピクセルセルによって出力されるピクセル値の分解能を設定することなどを行うように、個々にプログラム可能であり得る。ピクセルセルアレイ８０８は、センサーコンピュート回路８０６のプログラミングマップ生成器８１２から各ピクセルセルについてのプログラミングデータを含んでいるプログラミングマップの形態のものであり得る第１のプログラミング信号８２０を受け取ることができる。ピクセルセルアレイ８０８は、シーンから光を検知し、シーンの、および第１のプログラミング信号８２０に基づく、第１の画像フレーム８２２を生成することができる。詳細には、ピクセルセルアレイ８０８は、第１の画像フレーム８２２がピクセルのフル画像フレームを含むフルフレームモードにおいて、および／または第１の画像フレーム８２２が、プログラミングマップによって指定されたピクセルのサブセットのみを含むスパースモードにおいてなど、異なるスパーシティモードにおいて動作するように第１のプログラミング信号８２０によって制御され得る。ピクセルセルアレイ８０８は、ホストプロセッサ８０４とセンサーコンピュート回路８０６の両方に第１の画像フレーム８２２を出力することができる。いくつかの例では、ピクセルセルアレイ８０８はまた、ホストプロセッサ８０４およびセンサーコンピュート回路８０６に、異なるピクセルスパーシティをもつ第１の画像フレーム８２２を出力することができる。たとえば、ピクセルセルアレイ８０８は、ピクセルのフル画像フレームをもつ第１の画像フレーム８２２をセンサーコンピュート回路８０６に出力し、第１のプログラミング信号８２０によって定義されたスパースピクセルをもつ第１の画像フレーム８２２をホストプロセッサ８０４に出力することができる。

【0124】

第１のプログラミング信号８２０を生成することに加えて、センサーコンピュート回路８０６は、ピクセルセルアレイ８０８の各ピクセルセルに送られるグローバル信号をも生成することができる。グローバル信号は、たとえば、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作における量子化動作のために使用されるしきい値電圧（たとえば、ＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作のためのグローバル電圧ランプ、ＴＴＳ動作のための平坦な電圧など）、ならびに図６ＢのＡＢ信号およびＴＧ信号など、グローバル制御信号を含むことができる。

【0125】

センサーコンピュート回路８０６およびホストプロセッサ８０４は、画像センサー８０２とともに、後続の画像フレーム８２４を生成するように画像センサーを制御するための、第１の画像フレーム８２２に基づく２ティアフィードバックシステムを形成することができる。２ティアフィードバック動作では、センサーコンピュート回路８０６の画像プロセッサ８１０は、処理結果を取得するために第１の画像フレーム８２２に対して画像処理動作を実施することができ、次いで、プログラミングマップ生成器８１２は、処理結果に基づいて第１のプログラミング信号８２０を更新することができる。画像プロセッサ８１０における画像処理動作は、アプリケーション８１４から受け取られた第２のプログラミング信号８３２に基づいて案内／構成され得、アプリケーション８１４は、第１の画像フレーム８２２に基づいて第２のプログラミング信号８３２を生成することができる。ピクセルセルアレイ８０８は、次いで、更新された第１のプログラミング信号８２０に基づいて後続の画像フレーム８２４を生成することができる。ホストプロセッサ８０４およびセンサーコンピュート回路８０６は、次いで、後続の画像フレーム８２４に基づいて、それぞれ、第１のプログラミング信号８２０および第２のプログラミング信号８３２を更新することができる。

【0126】

上述の２ティアフィードバックシステムでは、ホストプロセッサ８０４からの第２のプログラミング信号８３２は、センサーコンピュート回路８０６における画像処理動作および／またはプログラミングマップ生成に影響を及ぼすための、教示／案内信号、ニューラルネットワークトレーニング動作の結果（たとえば、逆方向伝搬結果）などの形態のものであり得る。ホストプロセッサ８０４は、画像センサー８０２による光検知動作のコンテキストを決定し、次いで、教示／案内信号を決定するために、第１の画像フレームだけでなく、他のセンサーデータ（たとえば、他の画像センサーによってキャプチャされた他の画像フレーム、オーディオ情報、動きセンサー出力、ユーザからの入力）にも基づいて、教示／案内信号を生成することができる。コンテキストは、たとえば、画像センサー８０２のロケーションにおいて動作する環境条件画像センサー８０２、またはアプリケーション８１４の任意の他の要件を含み得る。教示／案内信号は、コンテキストが、一般に、フレームレートよりもはるかに低いレートにおいて変化するとすれば、コンテキストに基づいて（たとえば、フレームレートよりも低い）比較的低いレートにおいて更新され得るが、センサーコンピュート回路８０６における画像処理動作、およびプログラミングマップの更新は、ピクセルセルアレイ８０８によってキャプチャされる画像に適応するために比較的高いレートにおいて（たとえば、フレームレートにおいて）行われ得る。

【0127】

図８Ａは、ピクセルセルアレイ８０８が、第１の画像フレーム８２２および第２の画像フレーム８２４をホストプロセッサ８０４とセンサーコンピュート回路８０６の両方に送信することを示すが、いくつかの場合には、ピクセルセルアレイ８０８は、異なるスパーシティの画像フレームをホストプロセッサ８０４およびセンサーコンピュート回路８０６に送信し得る。たとえば、ピクセルセルアレイ８０８は、フルピクセルを有する第１の画像フレーム８２２および第２の画像フレーム８２４を画像プロセッサ８１０に送信することができるが、第１のプログラミング信号８２０に基づいて選択されたピクセルのサブセットを各々が含む、両方の画像フレームのスパースバージョンが、ホストプロセッサ８０４に送られる。

【0128】

図８Ｂは、図７Ａのオブジェクト追跡動作をサポートするための撮像システム８００の動作の一例を示す。詳細には、時間Ｔ０において、ピクセルセルアレイ８０８（図８Ｂに図示せず）は、ピクセルのフルフレームが生成されるべきであることを指示する第１のプログラミング信号８２０に基づいて、オブジェクト７０４を含むシーンのフルピクセルを含む第１の画像フレーム８２２を生成し、第１の画像フレーム８２２を、ホストプロセッサ８０４と画像プロセッサ８１０の両方に送信する。ホストプロセッサ８０４は、アプリケーション８１４を実行したことに基づいて、オブジェクト７０４が追跡されるべきであると決定することができる。そのような決定は、たとえば、ユーザ入力、アプリケーション８１４による要件などに基づき得る。ホストプロセッサ８０４はまた、特徴８４０および８４２など、オブジェクト７０４の空間的特徴を抽出するために、第１の画像フレーム８２２を処理することができる。処理結果に基づいて、ホストプロセッサ８０４は、第１の画像フレーム８２２中のオブジェクト７０４（または、図７Ｃの瞳孔７３８およびグリント７３９など、他のオブジェクト）のピクセルを含むＲＯＩ８５０の近似ロケーション、サイズ、および形状を決定することができる。さらに、他のセンサー（たとえば、ＩＭＵ）からの他の出力に基づいて、ホストプロセッサ８０４はまた、画像センサー８０２が、ある速度においてオブジェクト７０４に対して移動していると決定し、後続の画像フレームにおけるＲＯＩ８５２の新しいロケーションを推定することができる。ホストプロセッサ８０４は、次いで、第２のプログラミング信号８３２の一部として、オブジェクト７０４のターゲット特徴（たとえば、特徴８４０および８４２）、ＲＯＩの情報（たとえば、ＲＯＩ８５０の初期ロケーション、形状、サイズ）、速度などを、画像プロセッサ８１０およびプログラミングマップ生成器８１２に送信することができる。

【0129】

第２のプログラミング信号８３２に基づいて、画像プロセッサ８１０は、オブジェクト７０４のターゲット画像特徴を検出するために第１の画像フレーム８２２を処理し、検出結果に基づいて、ＲＯＩ８５２の精密なロケーション、サイズ、および形状を決定することができる。画像プロセッサ８１０は、次いで、第１の画像フレーム８２２におけるＲＯＩ８５０の精密なロケーション、サイズ、および形状を含む、ＲＯＩ情報８５４を、プログラミングマップ生成器８１２に送信することができる。ＲＯＩ情報８５４ならびに第２のプログラミング信号８３２に基づいて、プログラミングマップ生成器８１２は、時間Ｔ１においてキャプチャされるべき後続の画像フレームにおけるＲＯＩ８５２の予想されるロケーション、サイズ、および形状を推定することができる。たとえば、第２のプログラミング信号８３２中に含まれる速度情報に基づいて、プログラミングマップ生成器８１２は、ＲＯＩ８５０が、時間Ｔ０と時間Ｔ１との間にｄの距離だけ移動してＲＯＩ８５２になると決定し、距離ｄに基づいて、時間Ｔ１におけるＲＯＩ８５２のロケーションを決定することができる。別の例として、図７Ｃの瞳孔７３８およびグリント７３９が、視標追跡動作の一部として追跡されている場合、プログラミングマップ生成器８１２は、ユーザの視線変化に関する情報を取得し、視線変化に基づいて、時間Ｔ１における、瞳孔７３８とグリント７３９とを含むＲＯＩ（たとえば、ＲＯＩ８５２）の予想されるロケーションを決定することができる。プログラミングマップ生成器８１２は、次いで、時間Ｔ１においてＲＯＩ８５２内のピクセルセルを選択するために、第１のプログラミング信号８２０を更新して、後続の画像フレームについての、オブジェクト７０４（または瞳孔７３８およびグリント７３９、または他のオブジェクト）のピクセルデータを出力することができる。

【0130】

図９Ａ、図９Ｂ、および図９Ｃは、図８Ａのピクセルセルアレイ８０８の内部構成要素の例を示す。図９Ａに示されているように、ピクセルセルアレイ８０８は、列コントローラ９０４と、行コントローラ９０６と、プログラミング信号パーサ９２０とを含み得る。列コントローラ９０４は、列バス９０８（たとえば、９０８ａ、９０８ｂ、９０８ｃ、．．．９０８ｎ）と接続されるが、行コントローラ９０６は、行バス９１０（たとえば、９１０ａ、９１０ｂ、．．．９０８ｎ）と接続される。列コントローラ９０４または行コントローラ９０６のうちの一方は、特定のピクセルセルまたはピクセルセルのグループをターゲットにするピクセルレベルプログラミング信号９２６を送信するために、プログラミングバス９１２とも接続される。Ｐ_００、Ｐ_０１、Ｐ_０ｊなどと標示された各ボックスは、ピクセルセルまたはピクセルセルのグループ（たとえば、２×２ピクセルセルのグループ）を表すことができる。各ピクセルセルまたはピクセルセルの各グループは、列バス９０８のうちの１つ、行バス９１０のうちの１つ、プログラミングバス９１２、およびピクセルデータを出力するための出力データバス（図９Ａに図示せず）に接続され得る。各ピクセルセル（またはピクセルセルの各グループ）は、一度にピクセルレベルプログラミングバス９１２を介してピクセルレベルプログラミング信号９２６を受け取るために、列コントローラ９０４によって提供される列バス９０８上の列アドレス信号９３０と、行コントローラ９０６によって提供される行バス９１０上の行アドレス信号９３２とによって、個々にアドレス指定可能である。列アドレス信号９３０、行アドレス信号９３２、ならびにピクセルレベルプログラミング信号９２６は、プログラミングマップ生成器８１２からの第１のプログラミング信号８２０に基づいて生成され得る。

【0131】

さらに、図９Ａは、第１のプログラミング信号８２０からピクセルレベルプログラミング信号を抽出することができる、プログラミング信号パーサ９２０を含む。いくつかの例では、第１のプログラミング信号８２０は、ピクセルセルアレイ８０８の各ピクセルセルまたはピクセルセルの各グループのためのプログラミングデータを含むことができる、プログラミングマップを含むことができる。図９Ｂは、ピクセルアレイプログラミングマップ９４０の一例を示す。図９Ｂに示されているように、ピクセルアレイプログラミングマップ９４０は、ピクセルレベルプログラミングデータの２次元アレイを含むことができ、２次元アレイの各ピクセルレベルプログラミングデータは、ピクセルセルアレイ８０８のピクセルセルまたはピクセルセルのグループをターゲットにする。たとえば、各ピクセルレベルプログラミングデータがピクセルセルをターゲットにする場合、ピクセルセルアレイ８０８が、Ｍ個のピクセルの幅（たとえば、ピクセルのＭ個の列）およびＮ個のピクセルの高さ（たとえば、ピクセルのＮ個の行）を有すると仮定すると、ピクセルアレイプログラミングマップ９４０も、Ｍ個のエントリの幅（たとえば、エントリのＭ個の列）およびＮ個のエントリの高さ（たとえば、エントリのＮ個の行）を有することができ、各エントリは、対応するピクセルセルのためのピクセルレベルプログラミングデータを記憶する。たとえば、ピクセルアレイプログラミングマップ９４０のエントリ（０，０）にあるピクセルレベルプログラミングデータＡ_００は、ピクセルセルアレイ８０８のピクセルロケーション（０，０）にあるピクセルセルＰ_００をターゲットにするが、ピクセルアレイプログラミングマップ９４０のエントリ（０，１）にあるピクセルレベルプログラミングデータＡ_０１は、ピクセルセルアレイ８０８のピクセルロケーション（０，１）にあるピクセルセルＰ_０１をターゲットにする。ピクセルレベルプログラミングデータがピクセルセルのグループをターゲットにする場合、高さおよび幅に沿ったピクセルアレイプログラミングマップ９４０のエントリの数は、各グループ中のピクセルセルの数に基づいてスケーリングされ得る。

【0132】

ピクセルアレイプログラミングマップ９４０は、図９Ｂで説明されるフィードバック動作をサポートするように構成され得る。たとえば、各エントリにおいて記憶されるピクセルレベルプログラミングデータは、たとえば、電源投入または電源切断すること、ピクセルデータの出力を有効化または無効化すること、量子化分解能を設定すること、出力ピクセルデータの精度を設定すること、量子化動作（たとえば、ＴＴＳ、ＦＤ ＡＤＣ、ＰＤ ＡＤＣのうちの１つ）を選択すること、フレームレートを設定することなどを行うように、各ピクセルセル（またはピクセルセルの各グループ）を個々にプログラムすることができる。上記で説明されたように、プログラミングマップ生成器８１２は、たとえば、１つまたは複数のＲＯＩの予測に基づいてピクセルアレイプログラミングマップ９４０を生成することができ、ＲＯＩ内のピクセルセルのためのピクセルレベルプログラミングデータは、ＲＯＩ外のピクセルセルのためのピクセルレベルプログラミングデータとは異なる。たとえば、ピクセルアレイプログラミングマップ９４０は、ピクセルセルのサブセット（またはピクセルセルのグループ）がピクセルデータを出力することを可能にすることができるが、ピクセルセルの残りはピクセルデータを出力しない。別の例として、ピクセルアレイプログラミングマップ９４０は、（たとえば、各ピクセルを表すためにより多数のビットを使用して）より高い分解能においてピクセルデータを出力するようにピクセルセルのサブセットを制御することができるが、ピクセルセルの残りは、より低い分解能においてピクセルデータを出力する。

【0133】

再び図９Ａを参照すると、プログラミングマップパーサ９２０は、各ピクセルセル（またはピクセルセルの各グループ）のためのピクセルレベルプログラミングデータを識別するために、シリアルデータストリーム中にあり得る、ピクセルアレイプログラミングマップ９４０をパースすることができる。ピクセルレベルプログラミングデータの識別は、たとえば、２次元ピクセルアレイプログラミングマップがシリアルフォーマットに変換される所定のスキャンパターン、ならびにピクセルレベルプログラミングデータがシリアルデータストリームからプログラミング信号パーサ９２０によって受け取られる順序に基づき得る。プログラミングデータの各エントリについて、プログラミング信号パーサ９２０は、行アドレス信号９３０および列アドレス信号８３２を生成し、ピクセルセルを選択するために、行アドレス信号８３０および列アドレス信号８３２を、それぞれ、行センサーコンピュート回路８０６および列コントローラ９０４に送信し、選択されたピクセルセル（またはピクセルセルのグループ）にピクセルレベルプログラミング信号８２６を送信することができる。

【0134】

図９Ｃは、図６Ａのピクセルセル６０１の構成要素のうちの少なくともいくつかを含むことができる、ピクセルセルアレイ８０８のピクセルセル９５０の例示的な内部構成要素を示す。ピクセルセル９５０は、フォトダイオード９５２ａ、９５２ｂなどを含む、１つまたは複数のフォトダイオードを含むことができ、各々は、異なる周波数範囲の光を検出するように構成され得る。たとえば、フォトダイオード９５２ａは、可視光（たとえば、単色、あるいは、赤色、緑色、または青色のうちの１つ）を検出することができるが、フォトダイオード９５２ｂは、赤外光を検出することができる。ピクセルセル９５０は、どのフォトダイオードがピクセルデータ生成のために電荷を出力するかを制御するために、スイッチ９５４（たとえば、トランジスタ、コントローラバリア層）をさらに含む。

【0135】

さらに、ピクセルセル９５０は、図６Ａに示されている、電子シャッタースイッチ６０３、転送スイッチ６０４、電荷貯蔵デバイス６０５、バッファ６０６、量子化器６０７、ならびにメモリ９５５をさらに含む。いくつかの例では、ピクセルセル９５０は、各フォトダイオードのための別個の転送スイッチ６０４および／または別個の電荷貯蔵デバイス６０５を含むことができる。電荷貯蔵デバイス６０５は、電荷－電圧変換利得を設定するために、構成可能なキャパシタンスを有することができる。いくつかの例では、電荷貯蔵デバイス６０５のキャパシタンスは、電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和される可能性を低減するために、中光強度のためのＦＤ ＡＤＣ動作についてオーバーフロー電荷を貯蔵するために増加され得る。電荷貯蔵デバイス６０５のキャパシタンスはまた、低光強度のためのＰＤ ＡＤＣ動作について電荷－電圧変換利得を増加させるために減少され得る。電荷－電圧変換利得の増加は、量子化誤差を低減し、量子化分解能を増加させることができる。いくつかの例では、電荷貯蔵デバイス６０５のキャパシタンスはまた、量子化分解能を増加させるためにＦＤ ＡＤＣ動作中に減少され得る。バッファ６０６は、バイアス信号ＢＩＡＳ１によって電流が設定され得る電流源９５６、ならびにバッファ６０６をオン／オフにするためにＰＷＲ＿ＧＡＴＥ信号によって制御され得る電力ゲート９５８を含む。バッファ６０６は、ピクセルセル９５０を無効化することの一部としてオフにされ得る。

【0136】

さらに、量子化器６０７は、比較器９６０と出力ロジック部９６２とを含む。比較器９６０は、出力を生成するためにバッファの出力を基準電圧（ＶＲＥＦ）と比較することができる。量子化動作（たとえば、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作）に応じて、比較器９６０は、出力を生成するために、バッファされた電圧を、異なるＶＲＥＦ電圧と比較することができ、出力は、さらに、メモリ９５５に自走カウンタからの値をピクセル出力として記憶させるために出力ロジック部９６２によって処理される。比較器９６０のバイアス電流は、比較器９６０の帯域幅を設定することができるバイアス信号ＢＩＡＳ２によって制御され得、これは、ピクセルセル９５０によってサポートされるべきフレームレートに基づいて設定され得る。その上、比較器９６０の利得は、利得制御信号ＧＡＩＮによって制御され得る。比較器９６０の利得は、ピクセルセル９５０によってサポートされるべき量子化分解能に基づいて設定され得る。比較器９６０は、さらに、比較器９６０をオン／オフにするために、ＰＷＲ＿ＧＡＴＥ信号によっても制御され得る電力スイッチ９６１を含む。比較器９６０は、ピクセルセル９５０を無効化することの一部としてオフにされ得る。

【0137】

さらに、出力ロジック部９６２は、ＴＴＳ動作、ＦＤ ＡＤＣ動作、またはＰＤ ＡＤＣ動作のうちの１つの出力を選択し、その選択に基づいて、カウンタからの値を記憶するためにメモリ９５５に比較器９６０の出力をフォワーディングすべきかどうかを決定することができる。出力ロジック部９６２は、比較器９６０の出力に基づいて、フォトダイオード９５２（たとえば、フォトダイオード９５２ａ）が残留電荷によって飽和されたかどうかの指示と、電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和されたかどうかの指示とを記憶するための内部メモリを含むことができる。電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和された場合、出力ロジック部９６２は、メモリ９５５に記憶されるべきＴＴＳ出力を選択し、メモリ９５５がＦＤ ＡＤＣ／ＰＤ ＡＤＣ出力によってＴＴＳ出力を上書きするのを防ぐことができる。電荷貯蔵デバイス６０５は飽和されないが、フォトダイオード９５２が飽和された場合、出力ロジック部９６２は、メモリ９５５に記憶されるべきＦＤ ＡＤＣ出力を選択することができ、他の場合、出力ロジック部９６２は、メモリ９５５に記憶されるべきＰＤ ＡＤＣ出力を選択することができる。いくつかの例では、カウンタ値の代わりに、フォトダイオード９５２が残留電荷によって飽和されたかどうかの指示と、電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和されたかどうかの指示とが、最も低い精度のピクセルデータを提供するためにメモリ９５５に記憶され得る。

【0138】

さらに、ピクセルセル９５０は、ＡＢ、ＴＧ、ＢＩＡＳ１、ＢＩＡＳ２、ＧＡＩＮ、ＶＲＥＦ、ＰＷＲ＿ＧＡＴＥなど、制御信号を生成するための論理回路を含むことができる、ピクセルセルコントローラ９７０を含み得る。ピクセルセルコントローラ９７０はまた、ピクセルレベルプログラミング信号９２６によってプログラムされ得る。たとえば、ピクセルセル９５０を無効化するために、ピクセルセルコントローラ９７０は、バッファ６０６および比較器９６０をオフにするために、ＰＷＲ＿ＧＡＴＥをアサート解除するようにピクセルレベルプログラミング信号９２６によってプログラムされ得る。その上、量子化分解能を増加させるために、ピクセルセルコントローラ９７０は、電荷貯蔵デバイス６０５のキャパシタンスを低減すること、ＧＡＩＮ信号を介して比較器９６０の利得を増加させることなどを行うように、ピクセルレベルプログラミング信号９２６によってプログラムされ得る。フレームレートを増加させるために、ピクセルセルコントローラ９７０は、それぞれ、バッファ６０６および比較器９６０の帯域幅を増加させるために、ＢＩＡＳ１信号およびＢＩＡＳ２信号を増加させるようにピクセルレベルプログラミング信号９２６によってプログラムされ得る。さらに、ピクセルセル９５０によって出力されるピクセルデータの精度を制御するために、ピクセルセルコントローラ９７０は、たとえば、メモリ９５５がカウンタのビットのサブセット（たとえば、最上位ビット）のみを記憶するようにビットのサブセットのみをメモリ９５５に接続すること、または出力ロジック部９６２に記憶された指示をピクセルデータとしてメモリ９５５に記憶することを行うように、ピクセルレベルプログラミング信号９２６によってプログラムされ得る。さらに、ピクセルセルコントローラ９７０は、たとえば、上記で説明されたように、露光期間を調整すること、および／または、特定の量子化動作（たとえば、ＴＴＳ、ＦＤ ＡＤＣ、またはＰＤ ＡＤＣのうちの１つ）を、動作条件に基づいて他のものをスキップしながら選択することを行うために、ＡＢ信号およびＴＧ信号のシーケンスおよびタイミングを制御するようにピクセルレベルプログラミング信号９２６によってプログラムされ得る。

【0139】

図１０Ａ、図１０Ｂ、および図１０Ｃは、画像プロセッサ８１０の内部構成要素の例を示す。図１０Ａに示されているように、画像プロセッサ８１０は、コンピュートメモリ１００２と、コントローラ１００４と、データ処理回路１００６とを含み得る。コンピュートメモリ１００２は、図８Ａの画像フレーム８２２／８２４など、画像プロセッサ８１０によって処理されるべき画像フレームのピクセルを記憶することができる。コントローラ１００４は、ホストプロセッサ８０４からの第２のプログラミング信号８３２の一部として、画像処理構成パラメータを受信することができる。コントローラ１００４は、次いで、構成パラメータに基づいて画像処理動作を実施するためにコンピュートメモリ１００２から画像フレームを取得するように、データ処理回路１００６を制御することができる。たとえば、画像処理動作が、関心オブジェクトを検出し、画像フレーム中のそのロケーションを追跡することである場合、第２のプログラミング信号８３２は、関心オブジェクトの画像特徴を含むことができる。データ処理回路１００６は、たとえば、画像フレーム中のオブジェクトのピクセルロケーションを指示する、画像処理出力１００８を生成することができる。

【0140】

いくつかの例では、データ処理回路１００６は、オブジェクト検出および追跡動作を実施するために、畳み込みニューラルネットワーク（ＣＮＮ）モデルなど、機械学習モデルを実装することができる。図１０Ｂは、データ処理回路１００６によって実装され得るＣＮＮ１０２０の例示的なアーキテクチャを示す。図１０Ｂを参照すると、ＣＮＮ１０２０は、４つの主要な演算、すなわち、（１）畳み込みと、（２）アクティブ化関数（たとえば、ＲｅＬＵ）による処理と、（３）プーリングまたはサブサンプリングと、（４）分類（全結合層）とを含み得る。これらの演算は、あらゆる畳み込みニューラルネットワークの基本ビルディングブロックであり得る。異なるＣＮＮは、これらの４つの主要な演算の異なる組合せを有し得る。

【0141】

入力画像１０２２など、分類されるべき画像が、ピクセル値の行列によって表され得る。入力画像１０２２は複数のチャネルを含み得、各チャネルが、画像のある成分を表す。たとえば、デジタルカメラからの画像が、赤チャネルと、緑チャネルと、青チャネルとを有し得る。各チャネルは、０～２５５の範囲内のピクセル値（すなわち、８ビット）を有するピクセルの２Ｄ行列によって表され得る。グレースケール画像は、１つのチャネルのみを有し得る。以下の説明では、ＣＮＮ１０２０を使用する単一の画像チャネルの処理が説明される。他のチャネルが同様に処理され得る。

【0142】

図１０Ｂに示されているように、入力画像１０２２は、（図１０Ｂ中で［Ｗ_０］と標示された）第１の重みアレイを使用して第１の畳み込み層（たとえば、入力層）１０２４によって処理され得る。第１の畳み込み層１０２４は複数のノードを含み得、各ノードが、入力画像１０２２のピクセルに第１の重みアレイ中の対応する重みを乗算するために割り当てられる。畳み込み演算の一部として、入力画像１０２２のピクセルのブロックが第１の重みアレイを乗算されて、積が生成され得、次いで、その積は、積和（ＭＡＣ）演算において累積されて、和が生成される。次いで、各和がアクティブ化関数によって後処理されて、中間出力が生成され得る。アクティブ化関数は、ニューラルネットワークにおける線形パーセプトロンの挙動をシミュレートすることができる。アクティブ化関数は、線形関数または非線形関数（たとえば、ＲｅＬＵ、ｓｏｆｔｍａｘ）を含むことができる。中間出力は、中間出力テンソル１０２６を形成することができる。第１の重みアレイは、たとえば、入力画像１０２２からいくつかの基本特徴（たとえば、エッジ）を抽出するために使用され得、中間出力テンソル１０２６は、基本特徴の分布を基本特徴マップとして表すことができる。中間出力テンソル１０２６はプーリング層１０２８に渡され得、ここで、中間出力テンソル１０２６は、中間出力テンソル１０３０を生成するためにプーリング層１０２８によってサブサンプリングまたはダウンサンプリングされ得る。

【0143】

中間出力テンソル１０３０は、（図１０Ｂ中で［Ｗ_１］と標示された）第２の重みアレイを使用して第２の畳み込み層１０３２によって処理され得る。第２の重みアレイは、たとえば、中間出力テンソル１０３０から、手など、オブジェクトに固有の特徴のパターンを識別するために使用され得る。畳み込み演算の一部として、テンソル１０３０のピクセルのブロックが第２の重みアレイを乗算されて、積が生成され得、その積は累積されて、和が生成され得る。次いで、各和が同じくアクティブ化関数によって処理されて、中間出力が生成され得、中間出力は中間出力テンソル１０３４を形成することができる。中間出力テンソル１０３４は、手を表す特徴の分布を表し得る。中間出力テンソル１０３４はプーリング層１０３６に渡され得、ここで、中間出力テンソル１０３４は、中間出力テンソル１０３８を生成するためにサブサンプリングまたはダウンサンプリングされ得る。

【0144】

中間出力テンソル１０３８は、次いで、多層パーセプトロン（ＭＬＰ）を含むことができる全結合層１０４０を通して渡され得る。全結合層１０４０は、たとえば、画像１０２２中のオブジェクトが手を表すかどうか、画像１０２２中の手の、可能性があるピクセルロケーションなどを分類するために、中間出力テンソル１０３８に基づいて分類演算を実施することができる。全結合層１０４０は、中間出力テンソル１０３８に（図１０Ｂ中で［Ｗ_２］と標示された）第３の重みアレイを乗算して和を生成することができ、その和はアクティブ化関数によって処理されて、ニューラルネットワーク出力１０４２が生成され得る。ニューラルネットワーク出力１０４２は、たとえば、関心オブジェクト（たとえば、手）が画像フレーム中に存在するかどうか、ならびにそのピクセルロケーションおよびサイズを指示することができる。

【0145】

図１０Ｃは、データ処理回路１００６の内部構成要素と、ＣＮＮ１０２０を実装するためのそれらの動作との一例を示す。図１０Ｃに示されているように、データ処理回路１００６は、演算回路１０５０のアレイを含むことができる。１０５０ａ～１０５０ｆなどの各演算回路は、ローカル部分和を生成するために（「ｉ」で表される）入力データ要素と（「ｗ」で表される）重みデータ要素とを乗算するための乗算器１０５４を含むことができる。入力データ要素は、たとえば、画像フレーム中のピクセルに対応することができ、重みデータ要素は、ニューラルネットワーク層の重み行列（たとえば、［Ｗ_０］、［Ｗ_１］、［Ｗ_２］）中の対応する重みであり得る。各演算回路１０５０は、ローカル部分和を、ネイバリング演算回路から受信された（「ｐ＿ｉｎ」と標示された）入力部分和と加算し、（「ｐ＿ｏｕｔ」と標示された）出力部分和を生成するための加算器１０５２をも含むことができる。出力部分和は、次いで、別のネイバリング演算回路に入力される。たとえば、演算回路１０５０ａは、演算回路１０５０ｂから入力部分和を受信し、入力部分和にそのローカル部分和を加算して出力部分和を生成し、出力部分和を演算回路１０５０ｃに提供することができる。したがって、各演算回路はローカル部分和を生成し、ローカル部分和は、演算回路のアレイ中で累積されて、中間出力が形成される。データ処理回路１００６は、中間出力に対して後処理（たとえば、アクティブ化関数処理、プーリング）を実施するための後処理回路１０５６をさらに含む。いくつかの例では、データ処理回路１００６は、乗算器１０５４と後処理回路１０５６とを実装するための、ルックアップテーブルなど、他のタイプの回路を含むことができる。

【0146】

第１の入力畳み込み層１０２４およびプーリング層１０２８の畳み込みおよび後処理演算を実施するために、コントローラ１００４（図１０Ｃに図示せず）は、ＣＮＮ１０２０に従う入力データと演算回路との間の所定のマッピングに基づいてコンピュートメモリ１００２から入力データを取得するようにデータ処理回路１００６を制御することができる。たとえば、演算回路１０５０ａ、１０５０ｂ、および１０５０ｃを含む、演算回路の第１のグループが、コンピュートメモリ１００２から入力ピクセルのグループ１０６４を取得することができ、演算回路１０５０ｄ、１０５０ｅ、および１０５０ｆを含む、演算回路の第２のグループが、コンピュートメモリ１００２から入力ピクセルのグループ１０６６を取得することができる。演算回路の各グループは、上記で説明されたように、乗算および累積（ｍｕｌｔｉｐｌｉｃａｔｉｏｎ－ａｎｄ－ａｃｃｕｍｕｌａｔｉｏｎ）演算に基づいて入力ピクセルのグループと重みアレイとの間の畳み込み演算を実施して、中間出力を生成することができる。中間出力は、次いで、後処理回路１０５６によって後処理され得る。後処理された出力は、コンピュートメモリ１００２に記憶され得る。たとえば、中間出力１０６８が、入力ピクセルのグループ１０６４の畳み込みおよび後処理から生成され得、中間出力１０７０が、入力ピクセルのグループ１０６６の畳み込みおよび後処理から生成され得る。第１の畳み込み層１０２４およびプーリング層１０２８の演算が完了し、中間出力がコンピュートメモリ１００２に記憶された後に、コントローラ１００４は、中間出力の第２のセットを生成し、コンピュートメモリ１００２に記憶するために、第２の畳み込み層１０３２およびプーリング層１０３６の畳み込みおよび後処理演算を実施するために中間出力を取得するように演算回路１０５０のアレイを制御することができる。コントローラは、次いで、ニューラルネットワーク出力１０４２を生成するために、全結合層１０４０のトポロジーに基づいて、中間出力の第２のセットを取得するように演算回路のアレイを制御することができる。

【0147】

図８Ａで説明されたように、画像プロセッサ８１０は、アクティブピクセルと非アクティブピクセルとを含むスパース画像をフレームバッファ８０９から受信し得る。アクティブピクセルは１つまたは複数の関心オブジェクトに対応し得、非アクティブピクセルは画像情報を含んでいないことがある（たとえば、完全に暗い色または他の所定の色を有する）。図１１Ａは、画像プロセッサ８１０のコンピュートメモリ１００２に記憶されたスパース画像１１００の一例を示す。図１１Ａに示されているように、対象の頭部および手を追跡するアプリケーションをサポートするために、スパース画像１１００は、対象の頭部のピクセルを含むアクティブピクセルの第１のグループ１１０２と、対象の左手のピクセルを含むアクティブピクセルの第２のグループ１１０４と、対象の右手のピクセルを含むアクティブピクセルの第３のグループ１１０６とを含み得る。アクティブピクセルのグループは、第１のプログラミング信号８２０に基づいてピクセルセルアレイ８０８によって生成され、送信され得る。ピクセルのグループ１１０８を含む、スパース画像１１００のピクセルの残りは、非アクティブであり、画像情報を含んでいない。各非アクティブピクセルは、ピクセルが非アクティブであることを指示するための０または別の値のピクセル値を有することができる。いくつかの例では、フレームバッファ８０９のメモリデバイスは、画像フレームのアクティブピクセルを受信するより前にリセットされ得る。アクティブピクセルはフレームバッファ８０９の対応するメモリデバイスに書き込まれ、アクティブピクセルを受信しないメモリデバイスの残りは、それらのリセット状態（たとえば、論理０）を保持し、非アクティブピクセルになり得る。画像フレームのアクティブピクセルおよび非アクティブピクセルを表すピクセル値は、次いで、画像プロセッサ８１０のコンピュートメモリ１００２に記憶され得る。

【0148】

スパース画像１１００の生成および送信はピクセルセルアレイ８０８による電力消費を低減することができるが、データ処理回路１００６がスパース画像１１００のあらゆるピクセルに対して処理動作（たとえば、畳み込み演算）を実施するべきである場合、データ処理回路１００６は、依然として多くの電力を消費し得る。一方、図１１Ａに示されているように、ピクセルの小さいサブセットのみがアクティブピクセルであり、画像データを含んでおり、ピクセルの大部分が非アクティブピクセルであるとすれば、非アクティブピクセルに対して処理動作を実施するためのデータ処理回路１００６を有することは、関心オブジェクトを検出し、関心オブジェクトの位置を特定するために有用な情報を生成しないことになる。その結果、有用でない情報を生成する際に大量の電力が浪費され、これは、画像処理動作の全体的な電力および計算効率を低下させることがある。

【0149】

図１１Ｂを参照すると、全体的な電力および計算効率を改善するために、コントローラ１００４は、スパースデータハンドリング（ｄａｔａ ｈａｎｄｌｉｎｇ）回路１１１０を含むことができる。いくつかの例では、スパースデータハンドリング回路１１１０は、メモリ１００２からニューラルネットワーク層への入力データのグループ（たとえば、ピクセル、中間出力など）を取得し、入力データのグループ全体が非アクティブ値（たとえば、０）を有するか、またはさもなければ画像情報を含んでいない、入力データのグループのサブセットを検出することができる。スパースデータハンドリング回路１１１０は、非アクティブ入力データのそれらのグループをデータ処理回路１００６から除外することができ、データ処理回路１００６は、非アクティブ入力データのそれらのグループのための中間出力を生成せず、コンピュートメモリ１００２に書き込まない。一方、画像情報を表すアクティブ値（たとえば、非０）を含む入力データのグループは、スパースデータハンドリング回路１１１０によってデータ処理回路１００６にフォワーディングされ得、データ処理回路１００６は、次いで、中間出力を生成し、コンピュートメモリ１００２に書き込むためにアクティブ入力データのグループを処理することができる。

【0150】

いくつかの例では、スパースデータハンドリング回路１１１０はまた、メモリ１００２に記憶された画像フレームのスパーシティに関する情報を受信することができる。スパーシティ情報は、たとえば、プログラミングマップ生成器８１２からのプログラミングマップ情報に基づくか、または、以下で説明されるようにニューラルネットワークモデルトポロジーに基づき得る。スパースデータハンドリング回路１１１０は、アクティブピクセルデータを記憶するメモリ１００２のメモリアドレスを決定し、それらのメモリアドレスからアクティブピクセルデータを取得することができる。

【0151】

コンピュートメモリ１００２が異なる画像フレーム間で（たとえば、論理０に）リセット／再初期化される場合、（ニューラルネットワーク層の入力と出力との間のマッピングに基づいて割り当てられた）非アクティブ入力データのグループのための中間出力を記憶するために割り当てられる、コンピュートメモリ１００２のメモリデバイスは、それらの初期化／リセットされた状態を保持し、非アクティブ入力データのグループについてアクセスされ得ない。一方、アクティブ入力データのグループのための中間出力を記憶するために割り当てられる、コンピュートメモリ１００２のメモリデバイスは、データ処理回路１００６によって更新され得る。そのような仕組みは、スパース画像データの処理のためのコンピュートメモリ１００２へのアクセスを低減することができ、これは、全体としてコンピュートメモリ１００２および画像プロセッサ８１０による電力消費をさらに低減することができる。

【0152】

たとえば、再び図１０Ｃを参照すると、スパースデータハンドリング回路１１１０は、入力ピクセルのグループ１０６４が完全に非アクティブであり、画像情報を含んでいないことがあるが、入力ピクセルのグループ１０６６がアクティブピクセルと画像情報とを含んでいることを検出することができる。スパースデータハンドリング回路１１１０は、中間出力が入力ピクセルのグループ１０６４についてコンピュートメモリ１００２に書き込まれないように、（演算回路１０５０ａ～１０５０ｃを含む）演算回路の第１のグループから入力ピクセルのグループ１０６４と、対応する重みとを除外するか、またはさもなければ、演算回路の第１のグループを無効化することができる。入力ピクセルのグループ１０６４のための中間出力１０６８は、第１の畳み込み層１０２４のための処理の終了時にリセット値（たとえば、論理０）を保持することができる。一方、スパースデータハンドリング回路１１１０は、入力ピクセルのグループ１０６６と、対応する重みとを（演算回路１０５０ｄ～１０５０ｆを含む）演算回路の第２のグループに提供して、中間出力１０７０を生成することができ、中間出力１０７０は、次いで、コンピュートメモリ１００２に書き込まれ得る。スパースデータハンドリング回路１１１０はまた、入力データの非アクティブグループを検出することと、入力データの非アクティブグループをデータ処理回路１００６から除外することとに基づいて、他のニューラルネットワーク層のためのスパースデータハンドリングを繰り返して、データ処理回路１００６が、入力データのそれらの非アクティブグループについて計算を実施し、中間出力をコンピュートメモリ１００２に書き込むのを防ぐことができる。

【0153】

さらに、データ処理回路１００６は、スパースデータハンドリング回路１１１０によってフォワーディングされたアクティブ入力データのグループ内の非アクティブ／０入力データの処理に関連付けられた電力消費を低減するためのバイパス機構をも含むことができる。詳細には、図１１Ｃを参照すると、演算回路１０５０ａは、ディセーブル回路１１２０とマルチプレクサ１１２２とを含むことができる。入力データ要素（ｉ）または重みデータ要素（ｗ）のうちの１つまたは複数が０であるとき、積は０になる。演算回路１０５０ａが０を計算する際に電力を浪費することを回避するために、ディセーブル回路１１２０は、入力データ要素（ｉ）または重みデータ要素（ｗ）のうちの１つまたは複数が０であることを検出すると、加算器１０５２および乗算器１０５４を（たとえば、それらの電源を遮断することに基づいて）無効化することができる。その上、積が０になるので、マルチプレクサ１１２２は、入力部分和（ｐ＿ｉｎ）を出力部分和（ｐ＿ｏｕｔ）として直接渡すように制御され得る。

【0154】

いくつかの例では、電力消費をさらに低減し、電力および計算効率を改善するために、画像センサー８０２は、時間スパーシティ動作をサポートすることができる。アクティブピクセルの間の時間スパーシティ動作の一部として、静的であるピクセルと非静的であるピクセルとが識別され得る。画像プロセッサ８１０は、非静的ピクセルのみに対して画像処理動作を実施するように構成され得、静的ピクセル、ならびに非アクティブピクセルは、電力消費をさらに低減し、電力および計算効率を改善するために、スパースデータハンドリング回路１１１０によってデータ処理回路１００６から除外され得る。

【0155】

図１２Ａは、静的ピクセルと非静的ピクセルとを有するアクティブピクセルのグループ１２００の一例を示す。図１２Ａに示されているように、アクティブピクセルのグループ１２００は、時間Ｔ０において、および時間Ｔ１において、２つの画像フレーム中でキャプチャされる。アクティブピクセルのグループ１２００は、追跡されるべき関心オブジェクト（たとえば、対象の頭部）を含むことができる。アクティブピクセルのグループ１２００はまた、時間Ｔ０と時間Ｔ１との間で変化が起きる（図１２Ａ中の眼および口のピクセルを含む）ピクセルのサブセット１２０２および１２０４を含むことができ、アクティブピクセル１２００の残りは、時間Ｔ０と時間Ｔ１との間で静的なままである。ピクセルの変化の程度がしきい値を下回る場合、そのピクセルは静的であると決定され得る。

【0156】

いくつかの例では、フレームバッファ８０９は、画像センサーによって出力されたアクティブピクセルから静的ピクセルを検出し、それらのピクセルが静的ピクセルであることを画像プロセッサ回路にシグナリングするためにそれらのピクセルについてのピクセル値を記憶することができる。いくつかの例では、フレームバッファ８０９はまた、フレームバッファに記憶されたピクセルから静的ピクセルを検出することができ、それらのうちのいくつかは、画像センサーが提供せず、したがって静的なままである、非アクティブピクセルに対応することができる。図１２Ｂは、静的ピクセルのシグナリングをサポートするためのフレームバッファ８０９の例示的な内部構成要素を含む。図１２Ｂに示されているように、フレームバッファ８０９は、ピクセル更新モジュール１２１２と、バッファ１２０４と、ピクセル更新追跡テーブル１２１６とを含むことができる。詳細には、ピクセル更新モジュール１２１２は、アクティブピクセルと非アクティブピクセルとを含む、ピクセルセルアレイ８０８から受信された最も最近の画像フレームを受信し、バッファメモリ１２１４中の前の画像フレームピクセルを最も最近の画像フレームで上書きすることができる。バッファメモリ１２１４中の各ピクセルについて、ピクセル更新モジュール１２１２は、前の画像フレームに対するピクセルの変化の程度を決定し、変化の程度がしきい値を超えるかどうかに基づいて、ピクセルが静的であるのか非静的であるのかを決定することができる。ピクセル更新モジュール１２１２はまた、ピクセル更新追跡テーブル１２１６において、各ピクセルについて、ピクセルが更新された（および非静的であると見なされた）最後のフレーム時間を更新することができる。ピクセル更新モジュール１２１２が、ピクセルセルのアレイ８０８によって生成された前のフレームからのピクセル値でピクセルを更新した後に、ピクセル更新モジュール１２１２は、ピクセル更新追跡テーブル１２１６からの情報に基づいて、そのピクセルが静的なままであるいくつかのフレーム（静的フレーム時間）を追跡し、静的フレーム時間に基づいてピクセルのピクセル値を設定することができる。

【0157】

図１２Ｃは、ピクセル更新モジュール１２１２が静的ピクセルのピクセル値を設定することができる、技法の例を示す。図１２Ｃの左側のチャート１２２０に示されているように、ピクセル更新モジュール１２１２は、以下のように、時定数Ｃを有するリーキー積分関数に基づいて静的ピクセルのピクセル値を設定することができる。
Ｐ＝Ｓ０＋Ｓｅ^－ｔ／Ｃ （式１）

【0158】

式１では、Ｐは、ピクセル更新モジュール１２１２によって設定されたピクセル値を表し、Ｓ０は、静的ピクセルを表すための所定のピクセル値を表し、Ｓは、前のフレームから取得された元のピクセル値とＳ０との間の差を表す。元のピクセル値は、そのピクセルが変化しきい値よりも大きい程度の変化が最後に置き、したがってフレームバッファ中で更新されたとき、前のフレームから取得される。静的ピクセルのピクセル値はＳ０＋Ｓにおいて設定され、ピクセルが静的なままであるとき、減衰する。最終的に、静的ピクセルのピクセル値は、ピクセルが、拡張された数のフレームについて静的なままである場合、Ｓ０において安定する。

【0159】

別の例として、図１２Ｃの右側のチャート１２２２に示されているように、ピクセル更新モジュール１２１２は、ステップ関数に基づいて静的ピクセルのピクセル値を設定することができる。詳細には、ピクセル更新モジュール１２１２は、Ｔ_ｔｈによって表されるしきい値数のフレームについて、静的ピクセルのピクセル値をＳ０＋Ｓのままにすることができる。しきい値数のフレームが通った後に、ピクセル更新モジュール１２１２は、ピクセル値をピクセル値Ｓ０において設定することができる。

【0160】

所定のピクセル値Ｓ０は、暗い色（０）、白色（２５５）、灰色（１２８）、または静的ピクセルを指示する任意の値に対応することができる。すべてのこれらの場合では、画像プロセッサは、静的ピクセルをシグナリングするピクセル値を識別したことに基づいて静的ピクセルと非静的ピクセルとを区別し、上記で説明されたように非静的ピクセルのみに対して画像処理動作を実施することができる。

【0161】

いくつかの例では、画像プロセッサ８１０のコントローラ１００４は、静的ピクセルのハンドリングをさらに改良するための追加の構成要素を含むことができる。図１３Ａに示されているように、コントローラ１００４は、ニューラルネットワーク動作コントローラ１３０２とデータ伝搬コントローラ１３０４とを含むことができ、データ伝搬コントローラ１３０４は、図１１Ｂのスパースデータハンドリング回路１１１０を含むことができる。ニューラルネットワーク動作コントローラ１３０２は、入力データの取得、中間出力データの記憶、算術演算を含む、各ニューラルネットワーク層のための動作を決定し、これらの動作を反映する制御信号１３０６を生成することができる。データ伝搬コントローラ１３０４は、制御信号１３０６に基づいて入力データの取得と中間出力データの記憶とを行うことができる。

【0162】

詳細には、ニューラルネットワーク動作コントローラ１３０２は、たとえば、各ニューラルネットワーク層についてのおよび隣接するネットワーク層間の入出力接続性、各ニューラルネットワーク層のサイズ、各ニューラルネットワーク層における量子化動作および他の後処理演算（たとえば、アクティブ化関数処理、プーリング演算）、ニューラルネットワークの受容野などを含む、データ処理回路１００６によって実装されているニューラルネットワークモデルのトポロジー情報を有することができる。ニューラルネットワーク動作コントローラ１３０２は、トポロジー情報に基づいて、入力データの取得と、中間出力データの記憶と、算術演算とを制御するための制御信号１３０６を生成することができる。たとえば、ニューラルネットワーク動作コントローラ１３０２は、制御信号１３０６の一部として、接続性情報に基づく、各ニューラルネットワークについての、コンピュートメモリ１００２中の入力データのアドレスと中間出力のアドレスとの間のマッピングを含むことができ、これは、データ伝搬コントローラ１３０４が、入力データを取得し、中間出力データをコンピュートメモリ１００２内の正しいメモリロケーションにおいて記憶することを可能にする。

【0163】

さらに、ニューラルネットワーク動作コントローラ１３０２は、静的ピクセルハンドリング動作を促進するための追加情報を制御信号１３０６中に含めることができる。たとえば、ニューラルネットワークモデルのトポロジー情報ならびにアクティブピクセルおよび非アクティブピクセルの分布に基づいて、ニューラルネットワーク動作コントローラ１３０２は、（画像フレーム間の）ピクセルの変化がニューラルネットワークの異なる層中をどのように伝搬するかを指示するデータ変化伝搬マップ１３１０を決定し、そのマップをデータ伝搬コントローラ１３０４に提供することができる。静的ピクセルを識別することと、データ変化伝搬マップとに基づいて、データ伝搬コントローラ１３０４（およびスパースデータハンドリング回路１１１０）は、中間出力データのサブセットを生成し、中間出力データのサブセットをコンピュートメモリ１００２において記憶するために、非静的であるとあらかじめ決定された入力データを、データ処理回路１００６に選択的に取得することができる。一方、（前のフレームから生成された）静的ピクセルに対応する中間出力データは、コンピュートメモリ１００２中に保持され、更新されない。

【0164】

図１３Ｂは、データ変化伝搬マップ１３１０に基づいて異なるニューラルネットワーク層のための非静的入出力を識別する例示的な動作を示す。図１３Ｂでは、暗い領域１３１４ａ、１３１４ｂ、１３１４ｃ、１３１４ｄ、および１３１４ｎは、非静的／アクティブピクセルデータ、ならびに各ニューラルネットワーク層における非静的中間出力を記憶する、コンピュートメモリ１００２中のアクティブデータアドレス領域に対応することができ、白い領域は、静的／非アクティブピクセルデータと静的中間出力とを記憶する、コンピュートメモリ１００２中のアドレス領域に対応することができる。データ変化伝搬マップ１３１０に基づいて、データ伝搬コントローラ１３０４は、各ニューラルネットワーク層についてニューラルネットワーク計算（たとえば、乗算および累積演算）を実施するために、非静的／アクティブピクセルデータを記憶するかまたは記憶することになる、コンピュートメモリ１００２中のデータアドレス領域を決定し、コンピュートメモリ１００２中のそれらのデータ領域からのピクセルデータおよび／または中間出力データのみをデータ処理回路１００６に取得することができる。

【0165】

再び図１３Ａを参照すると、ニューラルネットワーク動作コントローラ３０２はまた、ピクセルが静的であるかどうかを決定するための変化しきい値１３２０を決定することができる。変化しきい値１３２０は、ニューラルネットワークモデルの深度など、ニューラルネットワークモデルのトポロジー、ならびに各層における量子化動作およびプーリング演算に基づいて決定され得る。詳細には、ピクセルデータの変化はニューラルネットワークモデルの異なる層を通って伝搬することができ、中間出力の、およびニューラルネットワークモデルの出力の変化の程度は、一般に、特に入力および出力データが高度に量子化される（たとえば、極めて数のビットによって表される）場合、より高いニューラルネットワーク層において減少する。したがって、ある数の層と、ある量子化方式とを有する所与のニューラルネットワークモデルの場合、ニューラルネットワーク動作コントローラ３０２は、非静的であると見なされるピクセルがニューラルネットワークモデル出力において少なくともある程度の変化をもたらすことができるように、ピクセルデータについての変化しきい値１３２０を決定することができる。いくつかの例では、ニューラルネットワーク動作コントローラ３０２はまた、非静的入力データが変化しきい値に基づいて選択されることが、そのニューラルネットワーク層のための出力データにおける有意味な変化をもたらすことができることを保証するために、たとえば、異なるプーリング演算が異なるニューラルネットワーク層において実施されること、異なるニューラルネットワーク層における異なる量子化精度、異なるニューラルネットワーク層のための入力データの異なるスパーシティ分布などにより、異なるニューラルネットワーク層についての異なる変化しきい値１３２０を決定することができる。

【0166】

いくつかの例では、データ伝搬コントローラ１３０４は、連続画像フレーム間のピクセルの変化、ならびに他の画像フレームのシーケンス（たとえば、１０）によって分離された非連続画像フレーム間のピクセルの変化の両方を追跡するための、残差ハンドリング回路１３１６を含むことができる。残差ハンドリング回路１３１６は、ピクセルが連続画像フレーム間の小さい変化を有することにより静的であると決定されるが、非連続フレーム間のピクセルの変化は、ニューラルネットワークの中間出力が更新される必要があるほど十分に大きくなる状況をハンドリングすることができる。そのような状況は、図１３Ｃに示されている。図１３Ｃに示されているように、フレーム１とフレーム２とフレーム３とフレーム４との間では、ピクセル１３３０および１３３２のみがフレーム間で変化する。連続フレーム間では、ピクセル値の変化（０．２～０．３）は小さいことがあり、それらのピクセルは、静的ピクセルであると決定され得る。しかし、フレーム４とフレーム１との間では、変化は０．５～０．７であり、有意であり、変化は、フレーム１とフレーム４との間の畳み込み出力の有意な差（０．１１９対０．６４６）において反映される。そのような状況をハンドリングするために、残差ハンドリング回路１３１６は、２つの連続フレーム間のピクセルの変化だけでなく、所定の数のフレームによって分離された２つの非連続フレーム間の変化にも基づいて、ピクセルが静的であるかどうかを決定することができる。ピクセルが、２つの連続フレーム間で小さい変化を呈するが、非連続フレーム間で大きい変化を呈する場合、残差ハンドリング回路１３１６は、ピクセルが非静的ピクセルであると決定し、データ処理回路１００６がそのピクセルに対して画像処理動作を実施することを可能にすることができる。

【0167】

図１４Ａおよび図１４Ｂは、画像センサー８０２の物理的配置の例を示す。図１４Ａに示されているように、画像センサー８０２は、ピクセルセルのフォトダイオードなど、ピクセルセルアレイ８０８の構成要素のうちのいくつかを含む半導体基板１４００と、バッファ６０６、量子化器６０７、およびメモリ９５５など、ピクセルセルアレイ８０８の処理回路、ならびにセンサーコンピュート回路８０６を含む１つまたは複数の半導体基板１４０２とを含み得る。いくつかの例では、１つまたは複数の半導体基板１４０２は、半導体基板１４０２ａと半導体基板１４０２ｂとを含む。半導体基板１４０２ａは、ピクセルセルアレイ８０８の処理回路を含むことができ、半導体基板１４０２ｂは、センサーコンピュート回路８０６を含むことができる。半導体基板１４００および１つまたは複数の半導体基板１４０２は、チップを形成するために半導体パッケージ内に収容され得る。

【0168】

いくつかの例では、半導体基板１４００および１つまたは複数の半導体基板１４０２は、基板の間の電気的接続を提供するための垂直相互接続１４０４および１４０６を伴って、（たとえば、ｚ軸によって表される）垂直方向に沿ってスタックを形成することができる。そのような仕組みは、ピクセルセルアレイ８０８とセンサーコンピュート回路８０６との間の電気的接続のルーティング距離を低減することができ、これは、ピクセルセルアレイ８０８からセンサーコンピュート回路８０６へのデータ（特にピクセルデータ）の送信の速度を増加させ、送信に必要とされる電力を低減することができる。いくつかの例では、画像センサー８０２は、フレームバッファ８０９及びコンピュートメモリ１００２に提供するために半導体基板上にまたは半導体基板の間に形成されたメモリデバイス（たとえば、ＳＲＡＭ、ＲＲＡＭなど）のアレイを含み得る。

【0169】

図１４Ｂは、画像センサー８０２のスタック構造の詳細の例を示す。図１４Ｂに示されているように、第１の半導体基板１０００は、受光面として構成され、各ピクセルセルのフォトダイオードを含む裏側表面１４０８と、転送トランジスタ６０４および電荷貯蔵デバイス６０５（たとえば、転送トランジスタ６０４のフローティングドレイン）が実装される前側表面１４１０とを含み得るが、バッファ６０６、量子化器６０７、メモリ９５５などを含むピクセルセルの処理回路は、半導体基板１４０２ａの前側表面１４１２の下方に実装される。半導体基板１４００の前側表面１４１０は、チップ間銅接合を含む垂直相互接続１４０４によって、半導体基板１４０２ａの前側表面１０１２と電気的に接続され得る。チップ間銅接合は、たとえば、各ピクセルセルの転送トランジスタ６０４と各ピクセルセルのバッファ６０６との間のピクセル相互接続を提供することができる。

【0170】

さらに、撮像センサー８００は、ピクセルセルアレイ８０８とセンサーコンピュート回路８０６との間の、スルーシリコンビア（ＴＳＶ）、マイクロＴＳＶ、銅－銅バンプ（Ｃｏｐｐｅｒ－Ｃｏｐｐｅｒ ｂｕｍｐ）など、スルー垂直相互接続（ｔｈｒｏｕｇｈ ｖｅｒｔｉｃａｌ ｉｎｔｅｒｃｏｎｎｅｃｔ）をさらに含む。垂直相互接続は、スタックのショルダー領域１４２０および１４２２上にあり、半導体基板１４０２ａおよび１４０２ｂを貫通することができる。垂直相互接続は、たとえば、第１のプログラミング信号８２０および画像フレーム（たとえば、第１の画像フレーム８２２）を送信するように構成され得る。垂直相互接続は、たとえば、画像特徴抽出動作を実施するために、ピクセルセルアレイ８０８から画像プロセッサ８１０への通常フレームレート（たとえば、６０フレーム／秒）におけるピクセルデータのフルフレーム（たとえば、１９２０ピクセル×１０８０ピクセル）の送信をサポートすることができる。

【0171】

図１５は、図８Ａの画像センサー８０２などの画像センサーを動作させる方法１５００を示す。方法１５００は、たとえば、センサーコンピュート回路８０６と、ピクセルセルアレイ８０８と、フレームバッファ８０９とを含む、画像センサー８０２の様々な構成要素によって実施され得る。センサーコンピュート回路８０６は、画像プロセッサ８１０とプログラミングマップ生成器８１２とをさらに含む。いくつかの例では、画像センサーは、第１の半導体基板中で実装され、フレームバッファおよびセンサーコンピュート回路は、１つまたは複数の第２の半導体基板中で実装されるが、第１の半導体基板および１つまたは複数の第２の半導体基板はスタックを形成し、単一の半導体パッケージ中に収容されている。

【0172】

ステップ１５０２において、プログラミングマップ生成器８１２は、第１のアクティブピクセルを生成するための複数のピクセルセルの第１のサブセットを選択するために、第１のプログラミングデータを、上記ピクセルセルを備える画像センサーに送信する。

【0173】

いくつかの例では、第１のプログラミングデータは、スパース画像検知動作に基づくホストプロセッサ８０４におけるオブジェクト検出および追跡動作をサポートするために生成され得る。ピクセルセルの第１のサブセットは、スパース画像検知動作をサポートするために、オブジェクトをアクティブピクセルとして追跡および検出することに関連するピクセルデータのみをキャプチャすること、またはアクティブピクセルのみをフレームバッファに送信することを選択的に可能にされ得る。第１のプログラミングデータは、たとえば、ホストプロセッサ８０４からのフィードバックデータに基づいて生成され得る。

【0174】

ステップ１５０４において、センサーコンピュート回路８０６は、フレームバッファ８０９から、第１のプログラミングデータに基づいて画像センサーによって選択されたピクセルセルの第１のサブセットによって生成されたアクティブピクセルのうちの少なくともいくつかを備える第１の画像フレームを受信する。第１の画像フレームは、アクティブピクセルを生成するために選択されなかったピクセルセルの第２のサブセットに対応する非アクティブピクセルをさらに備える。いくつかの例では、図１２Ａ～図１２Ｃで説明されたように、フレームバッファ８０９はまた、ピクセルが、静的ピクセルであり、いくつかの画像フレームにわたってしきい値程度の変化が起きなかったことを指示するために、第１の画像フレーム中のピクセルのうちのいくつかを所定の値で上書きすることができる。

【0175】

詳細には、フレームバッファは、画像センサーによって出力されたアクティブピクセルから静的ピクセルを検出し、それらのピクセルが静的ピクセルであることを画像プロセッサにシグナリングするためにそれらのピクセルについてのピクセル値を記憶することができる。たとえば、フレームバッファは、画像センサーの各ピクセルセルからの（アクティブピクセルと非アクティブピクセルとを含む）最も最近のピクセルデータを第１の画像フレームとして記憶することができる。アクティブピクセルの各ピクセルについて、フレームバッファは、第１の画像フレームの直前の画像フレームなど、前のフレームに対するピクセルの変化の程度を決定することができる。フレームバッファは、様々なやり方で静的ピクセルを指示するようにピクセル値を設定することができる。たとえば、フレームバッファは、時定数を有するリーキー積分関数に基づいて、および画像センサーによって出力されたピクセルが静的なままであった連続画像フレームの数に基づいて、フレームバッファ中のピクセルについてのピクセル値を設定することができる。ピクセルが多数の連続画像フレームについて静的なままであった場合、ピクセルのピクセル値は、所定のピクセル値において安定することができる。別の例として、ピクセルがしきい値数（たとえば、１０個）の連続画像フレームについて静的なままであった場合、フレームバッファは、フレームバッファ中のピクセルについての所定のピクセル値を設定することができる。所定のピクセル値は、暗い色（０）、白色（２５５）、灰色（１２８）、または静的ピクセルを指示する任意の値に対応することができる。

【0176】

ステップ１５０６において、画像プロセッサ８１０は、処理出力を生成するために、第１の画像フレームのピクセルの第１のサブセットに対して画像処理動作を実施し、それにより、第１の画像フレームのピクセルの第２のサブセットが画像処理動作から除外される。画像処理動作が実施される第１の画像フレームのピクセルの第１のサブセットは、たとえば、アクティブピクセル、フレーム間のある程度の変化が起きる非静的ピクセルなどに対応することができる。たとえば、ピクセルの第１のサブセットは、ホストプロセッサ８０４におけるオブジェクト検出および追跡動作によって追跡／検出されている関心オブジェクトに対応することができる。

【0177】

いくつかの例では、画像処理動作は、ニューラルネットワーク動作を含むことができる。詳細には、図１０Ａを参照すると、画像プロセッサ８１０は、入力層と出力層とを含む多層畳み込みニューラルネットワーク（ＣＮＮ）など、ニューラルネットワーク動作のためのハードウェアアクセラレーションを提供するためのデータ処理回路１００６を含むことができる。画像プロセッサは、入力画像フレームと、各ニューラルネットワーク層に関連付けられた重みのセットとを記憶するためのコンピュートメモリ１００２を含むことができる。重みのセットは、検出されるべきオブジェクトの特徴を表すことができる。画像プロセッサは、コンピュートメモリから入力画像フレームデータと重みとを取得するようにデータ処理回路を制御するためのコントローラ１００４をも含むことができる。コントローラは、入力層のための中間出力データを生成するために、入力画像フレームと重みとの間で、積和（ＭＡＣ）演算など、算術演算を実施するようにデータ処理回路を制御することができる。中間出力データは、たとえば、アクティブ化関数、プーリング演算などに基づいて後処理され、次いで、後処理された中間出力データは、コンピュートメモリに記憶され得る。後処理された中間出力データは、コンピュートメモリから取得され、入力として次のニューラルネットワーク層に提供され得る。算術演算、ならびに中間出力データの取得および記憶は、ニューラルネットワーク出力を生成するために、出力層までのすべての層について繰り返される。ニューラルネットワーク出力は、たとえば、入力画像フレーム中にオブジェクトが存在する可能性、および入力画像フレーム中のオブジェクトのピクセルロケーションを指示することができる。

【0178】

コントローラは、効率的な様式でスパース画像データを処理するようにデータ処理回路を構成することができる。たとえば、入力層の場合、コントローラは、コンピュートメモリからピクセルの第１のサブセットおよび対応する重みのみを取得するように、ならびに、入力層のためのアクティブピクセルに対応する中間出力のサブセットを生成するためにアクティブピクセルおよび対応する重みのみに対してＭＡＣ演算を実施するように、データ処理回路を制御することができる。コントローラはまた、ニューラルネットワークのトポロジーと後続のニューラルネットワーク層の間の接続とに基づいて、アクティブピクセルまで遡ることができる各後続のニューラルネットワークにおける中間出力データのサブセットを決定することができる。コントローラは、各後続のニューラルネットワーク層における中間出力データのサブセットのみを生成するためにＭＡＣ演算を実施するようにデータ処理回路を制御することができる。さらに、コンピュートメモリのアクセスを低減するために、各層のための中間出力データについての所定の値（たとえば、０）が、ニューラルネットワーク動作より前にコンピュートメモリに記憶され得る。アクティブピクセルのための中間出力データのみが更新される。これらのすべては、スパース画像データにわたるニューラルネットワーク動作による電力消費を低減することができる。

【0179】

いくつかの例では、電力消費をさらに低減し、電力および計算効率を改善するために、データ処理回路は、非静的ピクセルのための更新された出力を生成するために、第１の画像フレームの非静的ピクセルのみに対して画像処理動作（たとえば、ニューラルネットワーク動作）を実施することができる。（アクティブでないピクセルを含むことができる）静的ピクセルの場合、画像処理動作はスキップされ得、前の画像フレームに対する画像処理動作からの出力が保持され得る。画像処理動作がニューラルネットワーク動作を含む場合、コントローラは、入力層のための非静的ピクセルに対応する中間出力データのサブセットを更新するためにコンピュートメモリから非静的ピクセルおよび対応する重みデータのみを取得するように、データ処理回路を制御することができる。コンピュートメモリ中の、（前の画像フレームから取得された）静的ピクセルに対応し、（たとえば、０などの所定の値を有する）アクティブでないピクセルに対応する、中間出力データの残りは、入力層について保持され得る。コントローラはまた、ニューラルネットワークのトポロジーと後続のニューラルネットワーク層の間の接続とに基づいて、非静的ピクセルまで遡ることができる各後続のニューラルネットワークにおける中間出力データのサブセットを決定し、コンピュートメモリへのアクセスを低減するために、および電力消費を低減するために、中間出力データのサブセットのみを更新することができる。

【0180】

いくつかの例では、画像プロセッサはまた、非静的ピクセルの処理を促進するために追加情報を生成することができる。たとえば、画像プロセッサは、ニューラルネットワークモデルの入力層から出力層へのデータ変化の伝搬を追跡するデータ変化伝搬マップを、そのモデルのトポロジーに基づいて決定することができる。伝搬マップ、ならびにフレームバッファからの静的ピクセルに基づいて、画像プロセッサは、非静的である、各ニューラルネットワークのための入力データを識別し、各層におけるニューラルネットワーク動作のためにそれらの入力データのみを取得することができる。さらに、画像プロセッサはまた、非静的であると決定されたピクセルが出力層における必須の程度の変化をもたらし得ることを保証するために、ニューラルネットワークモデルのトポロジーに基づいて、静的／非静的ピクセル決定のための変化のしきい値程度を決定することができる。さらに、画像プロセッサはまた、連続フレーム間の、および非連続フレーム間のピクセルの変化を追跡することができる。画像プロセッサは、連続フレーム間の小さい変化を呈するピクセルを識別することができるが、非連続フレーム間の大きな変化を非静的ピクセルとして識別することもでき、それにより、画像プロセッサは、それらのピクセルに対して画像処理動作を実施することができる。

【0181】

ステップ１５０８において、プログラミングマップ生成器８１２は、処理出力に基づいて第２のプログラミングデータを生成する。第２のプログラミングデータは、処理出力に基づいて、たとえば、オブジェクトの移動、追跡されているオブジェクトの一部の変化などを反映することができる。

【0182】

ステップ１５１０において、プログラミングマップ生成器８１２は、第２の画像フレームのための第２のアクティブピクセルを生成するために、第２のプログラミングデータを画像センサーに送信する。

【0183】

本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の例について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具現され得る。

【0184】

説明されるステップ、動作、またはプロセスは、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。

【0185】

本開示の例はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および／あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに接続され得る、電子命令を記憶するのに好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

【0186】

本開示の例はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の例を含み得る。

【0187】

本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、例の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図7D】

【図8A】

【図8B】

【図9A】

【図9B】

【図9C】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図12C】

【図13A】

【図13B】

【図13C】

【図14A】

【図14B】

【図15】

【国際調査報告】