特表2024-506248 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル　インコーポレイテッドの特許一覧

特表2024-506248スパースカラーイメージセンサシステム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-13

(54)【発明の名称】スパースカラーイメージセンサシステム

(51)【国際特許分類】

H04N 25/133 20230101AFI20240205BHJP

H04N 5/64 20060101ALI20240205BHJP

【ＦＩ】

H04N25/133

H04N5/64 511A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023544146

(86)(22)【出願日】2021-01-21

(85)【翻訳文提出日】2023-09-14

(86)【国際出願番号】 US2021014359

(87)【国際公開番号】W WO2022159088

(87)【国際公開日】2022-07-28

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグルエルエルシー

【氏名又は名称原語表記】ＧｏｏｇｌｅＬＬＣ

【住所又は居所原語表記】１６００ＡｍｐｈｉｔｈｅａｔｒｅＰａｒｋｗａｙ９４０４３ＭｏｕｎｔａｉｎＶｉｅｗ，ＣＡＵ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ニコルソン，スチュアート・ジェームズ・マイロン

(72)【発明者】

【氏名】ゴールドバーグ，スティーブン・ベンジャミン

(72)【発明者】

【氏名】ボディヤ，ティモシー・ポール

(57)【要約】

少数の波長フィルタリングされた画素と残りの大多数のパンクロマティック画素とを含むスパースカラーフィルタアレイによって取り込まれた複数の成分画像フレームに存在する、色に関してアンダーサンプリングおよびシフトされた情報を計算的に組み合わせることによってカラー画像を生成するためのシステムおよび技術が記載されている。複数のサブユニットを含むカラーフィルタアレイによる複数の画像フレームのバースト取り込みが開始され、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含む。複数の画像フレームの各々が処理されて、結果として得られるカラー画像が生成される。

【特許請求の範囲】

【請求項1】

方法であって、
複数のサブユニットを含むカラーフィルタアレイ（ＣＦＡ：Color Filter Array）による複数の画像フレームのバースト取り込みを開始するステップを備え、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、前記方法はさらに、
前記開始するステップに応答して、前記複数の画像フレームを受信するステップと、
前記複数の画像フレームの各々を処理するステップと、
前記処理するステップに基づいて画像を生成するステップとを備える、方法。

【請求項2】

各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、１つの赤色波長フィルタリングされたピクセルと１つの青色波長フィルタリングされたピクセルと１つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む、請求項１に記載の方法。

【請求項3】

各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、単一の波長フィルタリングされたピクセルで構成される、請求項１に記載の方法。

【請求項4】

前記複数のサブユニットの各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも２つのパンクロマティックピクセルによって、前記複数のサブユニットのうちの近接する各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルから分離される、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記複数の画像フレームの各々を処理するステップは、前記複数の画像フレームのそれぞれの画像フレーム間の１つまたは複数の空間オフセットを補償するために、前記複数の画像フレームのサブユニットを位置合わせするステップを含む、先行する請求項のいずれか１項に記載の方法。

【請求項6】

前記複数のサブユニットの各サブユニットは、前記ＣＦＡの合計ピクセルに対する波長フィルタリングされたピクセルの比率が１：５未満である、先行する請求項のいずれか１項に記載の方法。

【請求項7】

前記複数のサブユニットの各サブユニットは、２０％未満のカラーサンプリングレートに関連付けられる、先行する請求項のいずれか１項に記載の方法。

【請求項8】

イメージングシステムであって、
イメージセンサと、
カラーフィルタアレイ（ＣＦＡ）とを備え、前記ＣＦＡは、複数のサブユニットを含み、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、前記イメージングシステムはさらに、
前記ＣＦＡに結合されたイメージセンサと、
前記イメージセンサに結合されたプロセッサとを備え、前記プロセッサは、前記ＣＦＡおよび前記イメージセンサによる複数の画像フレームのバースト取り込みを開始し、前記複数の画像フレームの各々を処理することによってカラー画像を生成する、イメージングシステム。

【請求項9】

各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、１つの赤色波長フィルタリングされたピクセルと１つの青色波長フィルタリングされたピクセルと１つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む、請求項８に記載のイメージングシステム。

【請求項10】

各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、単一の波長フィルタリングされたピクセルで構成される、請求項８に記載のイメージングシステム。

【請求項11】

前記複数のサブユニットの各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも２つのパンクロマティックピクセルによって、前記複数のサブユニットのうちの近接する各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルから分離される、請求項８～１０のいずれか１項に記載のイメージングシステム。

【請求項12】

前記複数の画像フレームの各々を処理することは、前記複数の画像フレームのサブユニットを位置合わせすることによって、前記複数の画像フレームのそれぞれの画像フレーム間の１つまたは複数の空間オフセットを補償することを含む、請求項８～１１のいずれか１項に記載のイメージングシステム。

【請求項13】

前記複数のサブユニットの各サブユニットは、前記ＣＦＡの合計ピクセルに対する波長フィルタリングされたピクセルの比率が１：５未満である、請求項８～１２のいずれか１項に記載のイメージングシステム。

【請求項14】

前記複数のサブユニットの各サブユニットは、２０％未満のカラーサンプリングレートに関連付けられる、請求項８～１３のいずれか１項に記載のイメージングシステム。

【請求項15】

コンピューティングデバイスであって、
イメージセンサと、
カラーフィルタアレイ（ＣＦＡ）とを備え、前記ＣＦＡは、複数のサブユニットを含み、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、前記コンピューティングデバイスはさらに、
前記ＣＦＡに結合されたイメージセンサと、
前記ＣＦＡを介して前記イメージセンサ上に光を向けるための１つまたは複数のレンズと、
前記イメージセンサに結合された１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサは、前記ＣＦＡおよび前記イメージセンサによる複数の画像フレームのバースト取り込みを開始し、前記複数の画像フレームの各々を処理することによってカラー画像を生成する、コンピューティングデバイス。

【請求項16】

各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、１つの赤色波長フィルタリングされたピクセルと１つの青色波長フィルタリングされたピクセルと１つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む、請求項１５に記載のコンピューティングデバイス。

【請求項17】

前記複数のサブユニットの各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも２つのパンクロマティックピクセルによって、前記複数のサブユニットのうちの近接する各サブユニットの前記１つまたは複数の波長フィルタリングされた隣り合うピクセルから分離される、請求項１５または１６に記載のコンピューティングデバイス。

【請求項18】

前記カラー画像を生成することは、前記複数の画像フレームのサブユニットを空間的に位置合わせすることによって、前記複数の画像フレームのそれぞれの画像フレーム間の１つまたは複数の空間オフセットを補償することを含む、請求項１５～１７のいずれか１項に記載のコンピューティングデバイス。

【請求項19】

前記複数のサブユニットの各サブユニットは、２０％未満のカラーサンプリングレートを提供する、請求項１５～１８のいずれか１項に記載のコンピューティングデバイス。

【請求項20】

頭部装着型ディスプレイ（ＨＷＤ：Head-Wearable Display）をさらに備える、請求項１５～１９のいずれか１項に記載のコンピューティングデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

背景
色情報を取り込んでカラー画像の作成を可能にするために、モバイルイメージングシステムおよび他のイメージングシステムにおける電子イメージセンサは、一般的に、ベイヤーＣＦＡなどのカラーフィルタアレイ（ＣＦＡ：Color Filter Array）を含んでおり、このＣＦＡは、電子イメージセンサの個々のピクセル上に繰り返しパターンで配置または形成された波長に特有の別々のフィルタを含んでいる。しかし、そのような色情報の取り込みは、光学効率の相当な犠牲と関係がある。なぜなら、そのような波長に特有のフィルタを通して受け取られる光の量は、大幅に減少するからである。そのような不利点は、光が少ない状況では悪化し、その結果、ノイズの増加、エイリアシングの増加、空間分解能の低下、ならびに、光学非効率の補償に使用され得る事後処理技術によるものを含むその他の画像鮮明度および画像品質の低下を生じさせる可能性がある。

【発明の概要】

【課題を解決するための手段】

【0002】

簡単な概要
一例において、方法は、複数のサブユニットを含むカラーフィルタアレイ（ＣＦＡ）による複数の画像フレームのバースト取り込みを開始するステップを備え得て、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、上記方法はさらに、上記開始するステップに応答して、上記複数の画像フレームを受信するステップと、上記複数の画像フレームの各々を処理するステップと、上記処理するステップに少なくとも部分的に基づいて画像を生成するステップとを備え得る。

【0003】

したがって、提案されている方法は、サブユニットを有するＣＦＡの使用を含み得て、各サブユニットは、大多数のパンクロマティックピクセルと、定められた範囲の波長の光をサンプリングするための１つまたは複数の隣り合うピクセルとを含み、各サブユニットの大多数のピクセルは、パンクロマティックピクセルである。パンクロマティックピクセルは、取り込まれた画像フレームについての輝度情報を提供するのに対して、波長フィルタリングされたピクセルは、例えば赤色光、緑色光または青色光をサンプリングするなど、定められた波長範囲の光をサンプリングするために設けられている。したがって、例示的な実施形態において、設けられた少数の波長フィルタリングされたピクセルは、処理対象の色データをアンダーサンプリングするために波長に従ってフィルタリングされ得るが、ＣＦＡ内の大多数のパンクロマティックピクセルは、輝度データを提供するが色情報を提供しない。したがって、バースト取り込みで取り込まれた各（成分）画像フレームについての、少数の波長フィルタリングされたピクセルからの色データと大多数のパンクロマティックピクセルからの輝度データとを処理して、単一の（完全な）カラー画像を生成することができる。

【0004】

この文脈において、サブユニットのピクセルの中で少数を構成する１つまたは複数の波長フィルタリングされたピクセルが隣り合っていることは、特に、波長フィルタリングされていないサブグループのピクセルがいずれもサブグループの２つ以上の波長フィルタリングされたピクセル間に位置しないように、波長に従ってフィルタリングされた２つ以上のピクセルが空間的に配置されていることを含む。本明細書における単一の「隣接する」ピクセルを有するサブユニットへの言及は、言及されているサブユニットが、波長フィルタリングされたピクセルを１つだけ含んでおり、サブユニットの残りのピクセルがパンクロマティックであることを意味する。

【0005】

各サブユニットの上記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、１つの赤色波長フィルタリングされたピクセルと１つの青色波長フィルタリングされたピクセルと１つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含み得る。

【0006】

各サブユニットの上記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、単一の波長フィルタリングされたピクセルで構成され得る。

【0007】

上記複数のサブユニットの各サブユニットの上記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも２つのパンクロマティックピクセルによって、上記複数のサブユニットのうちの近接する各サブユニットの上記１つまたは複数の波長フィルタリングされた隣り合うピクセルから分離され得る。

【0008】

上記複数の画像フレームの各々を処理するステップは、上記複数の画像フレームのそれぞれの画像フレーム間の１つまたは複数の空間オフセットを補償するために、上記複数の画像フレームの対応する複数のサブユニットを位置合わせするステップを含み得る。それぞれの画像フレーム間の空間オフセットは、例えば、イメージセンサとイメージセンサに結合されたＣＦＡとを含むデバイスの不随意運動に起因し得て、この不随意運動によって、バーストで取り込まれた連続的な画像フレームに描写される少なくとも１つのオブジェクトは空間的にオフセットされる。

【0009】

上記複数のサブユニットの各サブユニットは、合計ピクセルに対する波長フィルタリングされたピクセルの比率が１：５未満であり得る。

【0010】

上記複数のサブユニットの各サブユニットは、２０％未満のカラーサンプリングレートに関連付けられ得る。

【0011】

別の例において、イメージングシステムは、イメージセンサと、ＣＦＡとを備え得て、上記ＣＦＡは、複数のサブユニットを含み、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み得て、上記イメージングシステムはさらに、上記ＣＦＡに結合されたイメージセンサと、上記イメージセンサに結合されたプロセッサとを備え得て、上記プロセッサは、上記ＣＦＡおよび上記イメージセンサによる複数の画像フレームのバースト取り込みを開始し得て、上記複数の画像フレームの各々を処理することによってカラー画像を生成し得る。

【0012】

各サブユニットの上記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、第１の波長に従ってフィルタリングされた少なくとも１つの第１のピクセルと、別の第２の波長に従ってフィルタリングされた少なくとも１つの第２のピクセルとのクラスタを含み得る。例えば、各サブユニットの上記１つまたは複数の波長フィルタリングされた隣り合うピクセルは、第１の赤色波長に従ってフィルタリングされた少なくとも１つの第１のピクセルと、別の第２の青色または緑色波長に従ってフィルタリングされた少なくとも１つの第２のピクセルとのクラスタを含み得る。例示的な実施形態において、各サブユニットは、１つの赤色波長フィルタリングされたピクセルと１つの青色波長フィルタリングされたピクセルと１つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む。

【0013】

【0014】

【0015】

上記複数の画像フレームの各々を処理することは、上記複数の画像フレームの対応する複数のサブユニットを位置合わせすることによって、上記複数の画像フレームのそれぞれの画像フレーム間の１つまたは複数の空間オフセットを補償することを含み得る。

【0016】

上記複数のサブユニットの各サブユニットは、合計ピクセルに対する波長フィルタリングされたピクセルの比率が１：５未満であり得る。

【0017】

上記複数のサブユニットの各サブユニットは、２０％未満のカラーサンプリングレートに関連付けられ得る。

【0018】

別の例において、コンピューティングデバイスは、イメージセンサと、ＣＦＡとを備え得て、上記ＣＦＡは、複数のサブユニットを含み、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み得て、上記コンピューティングデバイスはさらに、上記ＣＦＡに結合されたイメージセンサと、上記ＣＦＡを介して上記イメージセンサ上に光を向けるための１つまたは複数のレンズと、上記イメージセンサに結合された１つまたは複数のプロセッサとを備え得て、上記１つまたは複数のプロセッサは、上記ＣＦＡおよび上記イメージセンサによる複数の画像フレームのバースト取り込みを開始し得て、上記複数の画像フレームの各々を処理することによってカラー画像を生成し得る。

【0019】

【0020】

【0021】

上記カラー画像を生成することは、上記複数の画像フレームの対応する複数のサブユニットを空間的に位置合わせすることによって、上記複数の画像フレームのそれぞれの画像フレーム間の１つまたは複数の空間オフセットを補償することを含み得る。

【0022】

上記複数のサブユニットの各サブユニットは、２０％未満のカラーサンプリングレートを提供し得る。

【0023】

上記コンピューティングデバイスは、頭部装着型ディスプレイ（ＨＷＤ：Head-Wearable Display）をさらに備え得る。

【発明の効果】

【0024】

手持ち式カメラまたはユーザの頭部に装着されるカメラなどの非固定式イメージングシステムは、一般的に、連続画像の取り込みの間に「自由な動き」をする。本明細書に記載されている技術は、画像取込装置を保持または着用しているであろうユーザの不随意運動に起因する空間オフセットなどの空間オフセットが小さい、位置合わせされていない画像フレーム全体にわたって色情報をアンダーサンプリングすることによって、（「スパース」）カラーフィルタアレイ（ＣＦＡ）によって取り込まれたそのような連続画像のバーストを利用して完全なＲＧＢ画像を生成することができる。特定の実施形態において、そのような空間オフセットを有する複数の画像フレームのバーストと疎らにサンプリングされた色情報とを取り込んだ後、取り込まれた画像フレームは、次いで、「時間的重ね合わせ」で使用される。各画像フレームは、画像フレームを位置合わせおよび併合するように計算的に処理されて、どのピクセルにも色値（例えば、赤色値、緑色値および青色値）が割り当てられた単一の画像が形成される。他の実施形態では、画像フレームのこの時間的重ね合わせは、ほとんどモノクロの画像において部分（疎）色データを利用することなどによって省略されてもよい。

【0025】

少数の波長フィルタリングされたピクセルと残りの大多数のパンクロマティックピクセルとを含むスパースカラーフィルタアレイによって取り込まれた複数の成分画像フレームに存在する、色に関してアンダーサンプリングおよびシフトされた情報を計算的に組み合わせることによってカラー画像を生成するためのシステムおよび技術が記載されている。複数のサブユニットを含むカラーフィルタアレイによる複数の画像フレームのバースト取り込みが開始され得て、各サブユニットは、少数の１つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含む。次いで、複数の画像フレームの各々が処理されて、結果として得られるカラー画像が生成され得る。

【0026】

本開示は、添付の図面を参照することによってより適切に理解され、その多数の特徴および利点が当業者に対して明らかにされるであろう。異なる図面で使用される同一の参照符号は、同様または同一のアイテムを示す。

【図面の簡単な説明】

【0027】

【図1】１つまたは複数の実施形態に係る、イメージングシステムの一例のブロック図である。

【図2】１つまたは複数の実施形態に係る、複数の個別の画像フレームに関連付けられた画像データの取り込まれたバーストの計算処理を示す図である。

【図3】１つまたは複数の実施形態に係る、ポイントサンプリングカラーフィルタアレイ（ＣＦＡ）の一例の一部を示す図である。

【図4】１つまたは複数の実施形態に係る、クラスタサンプリングＣＦＡの一例の一部を示す図である。

【図5】１つまたは複数の実施形態に係る、クラスタサンプリングＣＦＡの代替例の一部を示す図である。

【図6】１つまたは複数の実施形態に係る、クラスタサンプリングＣＦＡの別の代替例の一部を示す図である。

【図7】１つまたは複数の実施形態に係る、イメージングシステムの一例の動作の概要を示すブロック図である。

【発明を実施するための形態】

【0028】

詳細な説明
スマートフォンまたは頭部装着型ディスプレイなどのモバイルデバイスプラットフォーム上の画像取込機構は、一般的に、そのような機構の空間分解能を制限する小さなセンサと、集光能力を制限する小さなアパーチャと、信号対雑音比を低下させる小さなピクセルとを有する。色情報を提供するためのカラーフィルタアレイ（ＣＦＡ）をデバイスセンサとともに使用することを含む解決策は、一般的に、大量の波長フィルタリングされた画素（ピクセル）による入射光の大幅な遮断に起因する光学非効率と関係があり、この遮断は、分解能をさらに低下させる可能性がある。そのようなフィルタアレイの波長フィルタリングされた各ピクセル（例えば、赤色波長、緑色波長または青色波長のうちの１つについてフィルタリングされたピクセル）は、当該ピクセルを通過する光の一部を遮断することによってピクセルの光学効率を大幅に低下させる。また、色値が誤って割り当てられたピクセル間のクロストークを減少させるための対策がしばしば必要である。

【0029】

本明細書に記載されている技術の実施形態は、画像取込装置を保持または着用しているであろうユーザの不随意運動に起因する空間オフセットを含む空間オフセットが小さい、位置合わせされていない画像全体にわたって色データをサンプリングすることなどによって、「スパースＣＦＡ」によって取り込まれた画像のバーストを利用して完全なＲＧＢ画像を生成する。本明細書におけるスパースＣＦＡへの言及は、色データをアンダーサンプリングするためにＣＦＡ内の比較的少数のピクセルだけが波長に従ってフィルタリングされ、ＣＦＡ内の残りの大多数のピクセルは、輝度データを提供するが色情報を提供しないパンクロマティック（「白色」と呼ばれることもある）ピクセルを含むことを意味する。特定の実施形態において、そのようなオフセットを有する複数の画像フレームのバーストと疎らにサンプリングされた色情報とを取り込んだ後、取り込まれた画像フレームは、次いで、計算処理（「時間的重ね合わせ」）によって位置合わせおよび併合されて、どのピクセルにも色値（例えば、赤色値、緑色値および青色値）が割り当てられた単一の画像が形成される。特定の実施形態において、そのような技術は、いずれの成分画像フレームよりも高い有効分解能および詳しい詳細を提供し、スパースＣＦＡは、従来の非スパースＣＦＡ構成（例えば、ベイヤーＣＦＡ構成）よりも、遮断する光が大幅に少ない。したがって、そのような実施形態では、記載されている技術は、複数の成分画像フレームに存在する、色に関してアンダーサンプリングおよびシフトされた情報を計算的に組み合わせて、完全なカラー画像を生成する。

【0030】

特定の実施形態において、この時間的重ね合わせは、大部分がモノクロの画像において部分色データを利用することなどによって回避することができる。そのような実施形態では、大多数の（モノクロ）ピクセルは、光感度を最大化するのに対して、色の情報を持っているピクセルの疎なサブセットは、例えばさまざまな機械学習技術の結果を向上させるための追加情報を提供する。特に、機械学習の特定のフェーズ（例えば、画像分類および／またはオブジェクト検出）は、一般的に、低解像度の（サブサンプリングされた）画像を使用することができ、本明細書に記載されているスパースカラーＣＦＡからの色情報の入手可能性はピクセルの分類（「ビニング」）により向上させることができるが、解像度は低下し、その結果、一般的に、分類された色情報を有するピクセルは各「ビン」に含まれることになる。これに対して、機械学習の後続のフェーズ（例えば、オブジェクト認識）は、一般的に、高解像度の画像を利用することができるが、詳細な色データの存在にそれほど依存しない。

【0031】

一般的に、画像信号プロセッサ（ＩＳＰ：Image Signal Processor）は、各ピクセルが１つの原色のみの強さを表すデータに関連付けられているにもかかわらず、取り込まれた画像内の各ピクセルについて３つの原色のそれぞれの強さを推定するように計算を実行することができる。しかし、本明細書の他の部分で説明するように、そのような原色フィルタは、特定の波長に従って各ピクセルをフィルタリングすることによって、利用可能な光の量を実質的に減少させ得るため、画像のノイズが増加する。これに対して、本明細書に提示されている技術は、ほとんどモノクロのセンサとしてスパースＣＦＡを利用することによって信号対雑音比の強さを大幅に向上させることができ、さらに、少ないデータ処理で、かつ、それに対応して少ない計算要件および電力要件で実行することができる。さらに、（例えば、機械学習の目的で）画像をより低い解像度に調整することによって、高品質の強さデータを利用可能な疎色データと組み合わせて、やはり少ないデータ処理で強さデータの向上も色データの向上も提供することができる。

【0032】

したがって、本明細書に提供されている例は、時間的重ね合わせを利用して、どのピクセルにも色値が割り当てられた単一の画像を形成する実施形態について論じ得るが、さまざまな実施形態では、スパースカラーＣＦＡによって取り込まれた画像および情報は、そのような時間的重ね合わせなしに多くの用途で利用可能である、ということが理解されるであろう。本開示は、赤色－緑色－青色（ＲＧＢ）カラーモデルに鑑みてさまざまな技術を記載しているが、そのような技術は、記載されている実施形態から逸脱することなくさまざまなさらなるカラーモデル（例えば、シアン－マゼンタ－黄色（ＣＭＹ））とともに利用されてもよい、ということがさらに理解されるであろう。

【0033】

図１は、１つまたは複数の実施形態に係る、イメージングシステム１００のブロック図である。特定の実施形態において、イメージングシステム１００は、スマートフォン、頭部装着型ディスプレイ（ＨＷＤ）または他のデバイスなどのモバイルデバイスの一部を含み得る。イメージングシステムは、レンズ１０５と、カラーフィルタアレイ（ＣＦＡ）１１０と、イメージセンサ１１５と、コントローラ１２５と、システムメモリ１３５に結合されたプロセッサ１３０と、ディスプレイ１４０とを含む。示されている実施形態では、イメージングシステム１００を利用して、ディスプレイ１４０による表示、後で表示するための記憶、または他の用途などのために、本明細書に記載されている技術に従って完全な画像を生成する目的で、複数の画像フレーム１２０のバーストを取り込んで処理することができる。特定の実施形態において、本明細書に記載されている構成要素のうちの１つ以上（ＣＦＡ１１０、イメージセンサ１１５、コントローラ１２５、プロセッサ１３０およびシステムメモリ１３５のうちの１つ以上など）は、システムオンチップ（ＳＯＣ：System-On-Chip）または他の統合システムなどの単一の統合システムの要素としてインスタンス化されてもよい。また、さまざまな実施形態において、ＣＦＡ１１０の画素（ピクセル）がイメージセンサ１１５の表面上に形成または配置される場合などには、ＣＦＡ１１０およびイメージセンサ１１５は統合されてもよい。

【0034】

動作時、光１０１は、レンズ１０５およびＣＦＡ１１０を通過して、イメージセンサ１１５によって感知され、イメージセンサ１１５は、受光した光を利用して、複数の画像フレーム１２０を表す情報を生成する。レンズ１０５は、任意の好適なレンズを含み得て、非限定的な例として、直線レンズ、広角（または、「魚眼」）レンズ、固定焦点距離レンズ、ズームレンズ、固定アパーチャまたは可変アパーチャレンズなどを含み得る。さまざまな実施形態において、イメージセンサ１１５は、相補型金属酸化膜半導体（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）イメージセンサ、電荷結合デバイス（ＣＣＤ：Charge-Coupled Device）イメージセンサ、または他の好適なイメージセンサを含み得る。示されている実施形態では、コントローラ１２５は、プロセッサ１３０の指示などで、複数の画像フレーム１２０の各々に関連付けられた露光時間を調整し得る。さらに、プロセッサ１３０は、複数の画像フレームの「バースト取り込み」を開始することなどによって、複数の画像フレーム１２０のうちの１つ以上の取り込みを（自律的に、またはユーザ入力に応答して）開始し得る。

【0035】

図１に示されるイメージングシステムの多くの変形例および特徴は、例えばオートフォーカスシステム、機械的または電気機械的シャッターシステムなどの１つまたは複数の要素を含むように、本開示の範囲から逸脱することなく利用されてもよい、ということが理解されるであろう。

【0036】

図２は、１つまたは複数の実施形態に係る、４つの個別の画像フレーム（フレーム１２１０、フレーム２２２０、フレーム３２３０およびフレーム４２４０）に関連付けられた画像データの取り込まれたバーストの計算処理を示す図である。各画像フレーム２２０，２３０，２４０は、各々の代表的なピクセルの中央に例示的な点を有する（実際の画像フレームデータには存在しない）ように示されており、関連するイメージングシステム（例えば、図１のイメージングシステム１００）の一実施形態を保持または着用しているユーザなどのユーザの不随意運動に起因する事実上ランダム化された空間オフセットによって、前の画像フレームからオフセットされている。特定の実施形態において、フレーム１２１０は、残りの画像フレーム２４０，２３０および２４０を位置合わせするための「ベースフレーム」として利用され得る。併合された画像２５０を生成するために、計算処理を利用して各成分画像フレームの特徴を検出してそのような特徴を位置合わせすることにより、４つの成分画像フレームの各々からの色に関してサンプリングされたデータおよび輝度データを使用してピクセル密度が高められる。

【0037】

図３は、１つまたは複数の実施形態に係る、ポイントサンプリングカラーフィルタアレイ（ＣＦＡ）３００の一例の一部を示す図である。示されているＣＦＡ３００の部分は、各々が４×４個のピクセルからなる１６個のサブユニットに分割された、２５６個のピクセルからなる代表的なグリッドを示している。示されている実施形態では、ＣＦＡ３００のサブユニットの各々は、波長フィルタリングされたピクセルを１つだけ含んでいる。例えば、一番左上のサブユニット３０５は、赤色（Ｒ）光をサンプリングするように波長フィルタリングされた１つのピクセル３０１を含んでおり、当該サブユニットの他の全てのピクセルは、輝度情報を提供するためのパンクロマティックピクセルを含んでいる。同様に、サブユニット３１０は、緑色（Ｇ）光をサンプリングするように波長フィルタリングされた１つのピクセル３０６を含んでおり、当該サブユニットの他の全てのピクセルは、輝度情報を提供するためのパンクロマティックピクセルを含んでいる。サブユニット３１５は、青色（Ｂ）光をサンプリングするように波長フィルタリングされた１つのピクセル３１１を含んでおり、当該サブユニットの他の全てのピクセルはやはり、輝度情報を提供するためのパンクロマティックピクセルを含んでいる。明確にするために、ＣＦＡ３００の残りのサブユニットが示されているが、個別に説明することはしない。なぜなら、残りの各サブユニットは、記載されているサブユニット３０５，３１０および３１５のうちの１つと同一であるからである。ポイントサンプリングＣＦＡ３００の各サブユニットは、サブユニットのそれぞれの１６個のピクセルのうち、波長フィルタリングされたピクセルを１つだけ含んでおり、そのため、各サブユニットは、カラーサンプリングレートが６．２５％である、ということが理解されるであろう。

【0038】

図４は、１つまたは複数の実施形態に係る、例示的なクラスタサンプリングＣＦＡ４００の一部を示す図である。示されているＣＦＡ４００の部分は、図３のＣＦＡ３００によって示されたものと同様に、各々が４×４個のピクセルからなる１６個のサブユニットに分割された、２５６個のピクセルからなる別の代表的なグリッドを示している。示されている実施形態では、ＣＦＡ４００の各サブユニットは、波長フィルタリングされた隣り合うピクセルのクラスタを含んでおり、それぞれのサブユニットの他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。ＣＦＡ４００の１６個全てのサブユニットの代表である例示的なサブユニット４１０は、赤色（Ｒ）ピクセル４１２と緑色（Ｇ）ピクセル４１４と青色（Ｂ）ピクセル４１６とを含む、波長フィルタリングされたピクセルのクラスタを含む。サブユニット４１０の他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。示されている実施形態では、ＣＦＡ４００の「クラスタスペーシング」は、２つのピクセルの距離４１８を含む。すなわち、波長フィルタリングされたピクセルの各クラスタは、２つのパンクロマティックピクセルによって、近接するサブユニットの対応するクラスタから分離されている。したがって、クラスタサンプリングＣＦＡ４００は、１６個のピクセルのうちの３つのピクセルが波長フィルタリングされたピクセルであるサブユニットを含んでおり、そのため、各サブユニットは、１８．７５％というカラーサンプリングレートを提供する。

【0039】

図５は、１つまたは複数の実施形態に係る、別の例示的なクラスタサンプリングＣＦＡ５００の一部を示す図である。示されているＣＦＡ５００の部分は、図４のＣＦＡ４００によって示されたものと同様に、サブユニットに分割された２５６個のピクセルからなる別の代表的なグリッドを示している。ＣＦＡ５００の各サブユニットは、やはり、波長フィルタリングされた隣り合うピクセルのクラスタを１つ含んでおり、それぞれのサブユニットの他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。ＣＦＡ５００の他のサブユニットの代表である例示的なサブユニット５１０は、赤色（Ｒ）ピクセル５１２と緑色（Ｇ）ピクセル５１４と青色（Ｂ）ピクセル５１６とを含む、波長フィルタリングされたピクセルのクラスタを含む。サブユニット５１０の他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。しかし、示されている実施形態では、図４のＣＦＡ４００とは対照的に、ＣＦＡ５００は、各々が２５個のピクセル（５×５）からなるサブユニットを含んでおり、近接するサブユニットの対応する波長フィルタリングされたクラスタ間の３つのパンクロマティックピクセルのクラスタスペーシング距離５１８を有する。したがって、クラスタサンプリングＣＦＡ５００は、２５個のピクセルのうちの３つのピクセルが波長フィルタリングされたピクセルであるサブユニットを含んでおり、そのため、各サブユニットは、わずか１２％というカラーサンプリングレートを提供する。

【0040】

図６は、１つまたは複数の実施形態に係る、別の例示的なクラスタサンプリングＣＦＡ６００の一部を示す図である。示されているＣＦＡ６００の部分は、図４のＣＦＡ４００および図５のＣＦＡ５００によって示されたものと同様に、サブユニットに分割された２５６個のピクセルからなる別の代表的なグリッドを示している。ＣＦＡ６００の各サブユニットは、やはり、波長フィルタリングされた隣り合うピクセルのクラスタを１つ含んでおり、それぞれのサブユニットの他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。ＣＦＡ６００の他のサブユニットの代表である例示的なサブユニット６１０は、赤色（Ｒ）ピクセル６１２と緑色（Ｇ）ピクセル６１４と青色（Ｂ）ピクセル６１６とを含む、波長フィルタリングされたピクセルのクラスタを含む。サブユニット６１０の他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。示されている実施形態では、それぞれ図４のＣＦＡ４００および図５のＣＦＡ５００とは対照的に、ＣＦＡ６００は、各々が３６個のピクセル（６×６）からなるサブユニットを含んでおり、近接するサブユニットの対応する波長フィルタリングされたクラスタ間の４つのパンクロマティックピクセルのクラスタスペーシング距離６１８を有する。したがって、クラスタサンプリングＣＦＡ６００は、３６個のピクセルのうちの３つのピクセルが波長フィルタリングされたピクセルであるサブユニットを含んでおり、そのため、各サブユニットは、わずか８．３３％というカラーサンプリングレートを提供する。

【0041】

さまざまな実施形態において、波長フィルタリングされたピクセルのカラーサンプリングクラスタの配置は、本明細書に記載されている技術から逸脱することなくさまざまな態様で構成されてもよい、ということが理解されるであろう。特に、特定の実施形態において、カラーサンプリングクラスタは、追加の波長フィルタリングされたピクセルを含んでいてもよく（例えば、１つまたは複数の追加の緑色（Ｇ）または他の波長に特有のフィルタリングされたピクセルを含んでいてもよく）、上記の実施形態に関して示した態様以外の態様で空間的に配置されてもよい、などである。

【0042】

図７は、１つまたは複数の実施形態に係る、プロセッサベースのイメージングシステムの動作ルーチン７００の概要を示すブロック図である。このルーチンは、例えば図１のイメージングシステム１００の実施形態によって、または何らかの他の実施形態によって実行され得る。

【0043】

このルーチンは、ブロック７０５において開始し、ブロック７０５において、プロセッサベースのイメージングシステムは、スパースカラーフィルタアレイによる複数の画像フレームのバースト取り込みを開始する。本明細書の他の部分で説明するように、バースト取り込みの開始は、プロセッサベースのイメージングシステムのプロセッサによって自律的に（例えば、１つまたは複数の定義された基準に基づいて）、１つまたは複数のユーザ入力に応答して、または何らかの他の態様で実行され得る。

【0044】

ルーチンは、ブロック７１０に進み、ブロック７１０において、複数の画像フレームを表す、色に関してサンプリングされた画像データがプロセッサベースのイメージングシステムによって受信される。次いで、ルーチンはブロック７１５に進む。

【0045】

ブロック７１５において、プロセッサベースのイメージングシステムは、複数の画像フレームに関連付けられた、色に関してサンプリングされた画像データを処理する。特定の実施形態において、そのような処理は、複数の画像フレームの連続的な画像フレーム間に（例えば、不随意ユーザ運動によって）生じた空間オフセットを補償するために複数の画像フレームの各々を空間的に位置合わせすることを含み得る。次いで、ルーチンはブロック７２０に進む。

【0046】

ブロック７２０において、プロセッサベースのイメージングシステムは、ディスプレイデバイス上での表示、記憶、または他の目的などのために、複数の処理された画像フレームに基づいて単一のカラー画像を生成する。

【0047】

いくつかの実施形態において、上述した技術の特定の局面は、ソフトウェアを実行する処理システムの１つまたは複数のプロセッサによって実現されてもよい。ソフトウェアは、非一時的なコンピュータ可読記憶媒体上に格納されるかまたは非一時的なコンピュータ可読記憶媒体上で有形に具体化される実行可能な命令の１つまたは複数のセットを含む。ソフトウェアは、これらの命令と、１つまたは複数のプロセッサによって実行されると、上述した技術の１つまたは複数の局面を実行するように１つまたは複数のプロセッサを操作する特定のデータとを含み得る。非一時的なコンピュータ可読記憶媒体は、例えば、磁気または光学ディスクストレージデバイス、フラッシュメモリなどのソリッドステートストレージデバイス、キャッシュ、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、または、１つまたは複数の他の不揮発性メモリデバイスなどを含み得る。非一時的なコンピュータ可読記憶媒体上に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つまたは複数のプロセッサによって解釈されるかまたは実行可能である他の命令フォーマットの形式であり得る。

【0048】

コンピュータ可読記憶媒体は、コンピュータシステムに命令および／またはデータを提供するために使用中にコンピュータシステムがアクセスできる任意の記憶媒体または記憶媒体の組み合わせを含み得る。そのような記憶媒体は、光学媒体（例えば、コンパクトディスク（ＣＤ：Compact Disc）、デジタル多用途ディスク（ＤＶＤ：Digital Versatile Disc）、ブルーレイディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープもしくは磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）もしくはキャッシュ）、不揮発性メモリ（例えば、リードオンリメモリ（ＲＯＭ：Read-Only Memory）もしくはフラッシュメモリ）、または微小電気機械システム（ＭＥＭＳ：MicroElectroMechanical Systems）ベースの記憶媒体を含み得るが、それらに限定されるものではない。コンピュータ可読記憶媒体は、コンピューティングシステムに組み込まれてもよく（例えば、システムＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定的に取り付けられてもよく（例えば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられてもよく（例えば、光ディスクまたはユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）ベースのフラッシュメモリ）、または有線もしくは無線ネットワークを介してコンピュータシステムに結合されてもよい（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ：Network Accessible Storage））。

【0049】

なお、全般的な説明において上述した動作または要素の全てが必要とされるわけではない。特定の動作または装置の一部は、必要とされなくてもよい。上述したものに加えて、１つまたは複数のさらなる動作を実行してもよく、または１つまたは複数の要素を含んでもよい。さらに、動作を列挙する順序は、必ずしもこれらの動作を実行する順序ではない。また、特定の実施形態を参照して概念を説明している。しかしながら、当業者は、以下の特許請求の範囲に記載される本開示の範囲から逸脱することなく、さまざまな修正および変更を行うことができることを理解する。したがって、明細書および図面は、限定的な意味ではなく、例示的な意味で見なされるべきであり、全てのそのような修正は、本開示の範囲内に含まれることが意図される。

【0050】

特定の実施形態を参照して、上記で利益、他の利点、および問題に対する解決策を説明している。しかしながら、利益、利点、問題に対する解決策、および任意の利益、利点、または解決策を生じさせ得るまたはより顕著にさせ得る任意の特徴は、いずれかの請求項または全ての請求項の重要な特徴、必要な特徴、または本質的な特徴として解釈されるべきではない。さらに、上記で開示された特定の実施形態は、例証にすぎない。開示された主題は、本明細書の教示の利益を有する当業者に明白であり、異なるが同等の方法で修正されてもよく、実行されてもよい。以下の特許請求の範囲に記載されるもの以外に、本明細書に示された構造または設計の詳細への限定は、意図されていない。したがって、上記で開示された特定の実施形態は、変更または修正されてもよく、全ての変形例は、開示された主題の範囲に含まれると見なされることが明らかである。したがって、本明細書で求められる保護は、以下の特許請求の範囲に記載される。

【図1】