特許 6475269 圧縮センシング撮像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6475269

(24)【登録日】2019年2月8日

(45)【発行日】2019年2月27日

(54)【発明の名称】圧縮センシング撮像

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190218BHJP

   H04N 5/225 20060101ALI20190218BHJP

   G02B 5/08 20060101ALI20190218BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/225 400

   G02B5/08 Z

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2016-575825(P2016-575825)

(86)(22)【出願日】2015年6月18日

(65)【公表番号】特表2017-521942(P2017-521942A)

(43)【公表日】2017年8月3日

(86)【国際出願番号】US2015036314

(87)【国際公開番号】WO2016003655

(87)【国際公開日】20160107

【審査請求日】2017年2月3日

(31)【優先権主張番号】14/319,142

(32)【優先日】2014年6月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】391030332

【氏名又は名称】アルカテル−ルーセント

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】ジアン，ホン

(72)【発明者】

【氏名】ホワン，ガン

(72)【発明者】

【氏名】ウィルフォード，ポール

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 国際公開第２０１３／１１９５９３（ＷＯ，Ａ１）

【文献】 特表２００９−５１９６５５（ＪＰ，Ａ）

【文献】 特開昭６２−１０８３７８（ＪＰ，Ａ）

【文献】 Ｇｕａｎｇ−ｍｉｎｇ Ｓｈｉ ｅｔ ａｌ．，Ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ： Ａ ｎｅｗ ｉｍａｇｅｒ ｖｉａ ｍｏｖａｂｌｅ ｒａｎｄｏｍ ｅｘｐｏｓｕｒｅ，１６ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），米国，ＩＥＥＥ，２００９年１１月 ７日，１１７７−１１８０

【文献】 笹尾 朋貴 他，画素形状のランダム符号化に基づく超解像，電子情報通信学会論文誌（Ｊ９６−Ｄ） 第８号 THE IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS (JAPANESE EDITION)，一般社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS，２０１３年 ８月 １日，第Ｊ９６−Ｄ巻，１７７８−１７８９

【文献】 三池 秀敏 他，パソコンによる動画像処理 第１版，森北出版株式会社，１９９３年 ７月１４日，第１版，８−１０

【文献】 Ｙａｉｒ Ｒｉｖｅｎｓｏｎ ａｎｄ Ａｄｒｉａｎ Ｓｔｅｒｎ，Ｃｏｍｐｒｅｓｓｅｄ Ｉｍａｇｉｎｇ Ｗｉｔｈ ａ Ｓｅｐａｒａｂｌｅ Ｓｅｎｓｉｎｇ Ｏｐｅｒａｔｏｒ，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，米国，ＩＥＥＥ，２００９年 ３月１６日，Ｖｏｌ．１６，Ｎｏ．６，４４９−４５２

【文献】 平林 晃 他，Ｌ１最小化と部分射影フィルタによる圧縮センシングからのノンスパース信号高精度再構成，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］ The 20th Symposium on Sensing via Image Information，日本，画像センシング技術研究会，２０１４年 ６月１２日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−２５７

Ｇ０２Ｂ ５／０８

Ｈ０４Ｎ ５／３０

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

圧縮センシング撮像システムであって、
処理デバイスを備え、前記処理デバイスが、
センサの感度関数を決定し、
開口配列の複数の開口素子のうち少なくとも１つについて少なくとも１つの特性関数を決定し、
前記感度関数と前記少なくとも１つの特性関数とを使用して畳み込み演算を行うことによってカーネル関数を計算し、
前記カーネル関数および画像を使用してカーネル行列を決定し、
前記カーネル行列および再構成基底行列を使用してセンシング行列を生成し、ここで、再構成基底行列は、圧縮センシング撮像に使用するのに適した属性を有し、
前記センシング行列を分解して複数のシーケンス行列を生成し、
前記複数のシーケンス行列を使用して、物体の圧縮画像を表す複数の圧縮測定値を生成するように構成される、
圧縮センシング撮像システム。

【請求項2】

前記処理デバイスが、前記再構成基底行列を使用して、前記複数の圧縮測定値から前記物体の復元画像を生成するようにさらに構成される、請求項１に記載の圧縮センシング撮像システム。

【請求項3】

前記処理デバイスが、スパース化演算子を適用して、前記再構成基底行列を使用して前記複数の圧縮測定値から前記物体の復元画像を生成するようにさらに構成される、請求項２に記載の圧縮センシング撮像システム。

【請求項4】

開口素子からなる開口配列と前記開口配列の前記開口素子を通過する光を検出するためのセンサとを含むレンズレスカメラユニットをさらに備える、請求項１に記載の圧縮センシング撮像システム。

【請求項5】

前記処理デバイスが、
ある期間中に、１つのシーケンス行列内の少なくとも１つの基底に基づいて前記開口配列の前記開口素子のうち１つまたは複数を選択的に有効化または無効化して、複数の中間圧縮測定値の少なくとも１つを取得し、
前記複数の中間圧縮測定値を使用して、前記物体の圧縮画像を表す前記複数の圧縮測定値を生成するようにさらに構成され、前記複数の中間圧縮測定値の少なくとも１つが、前記期間中に前記センサによって検出された光の総合計に基づいて決定される、請求項４に記載の圧縮センシング撮像システム。

【請求項6】

前記開口配列がマイクロミラー配列である、請求項４に記載の圧縮センシング撮像システム。

【請求項7】

前記開口配列がＬＣＤ配列である、請求項４に記載の圧縮センシング撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、それぞれの全体が参照により本明細書に組み込まれている下記の米国出願：２０１２年１０月２４日に出願された「Ｒｅｓｏｌｕｔｉｏｎ ａｎｄ Ｆｏｃｕｓ Ｅｎｈａｎｃｅｍｅｎｔ」と題する米国特許出願第１３／６５８，９０４号、２０１２年１０月２４日に出願された「Ｌｅｎｓｌｅｓｓ Ｃｏｍｐｒｅｓｓｉｖｅ Ｉｍａｇｅ Ａｃｑｕｉｓｉｔｉｏｎ」と題する米国特許出願第１３／６５８，９００号、２０１２年２月７日に出願された「Ｌｅｎｓｌｅｓｓ Ｃｏｍｐｒｅｓｓｉｖｅ Ｉｍａｇｅ Ａｃｑｕｉｓｉｔｉｏｎ」と題する米国特許出願第１３／３６７，４１３号、および、２０１０年９月３０日に出願され、２０１４年２月４日に米国特許第８，６４４，３７６号として発行された「Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｃｏｍｐｒｅｓｓｉｖｅ Ｍｅａｓｕｒｅｍｅｎｔｓ ｏｆ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｓｐａｔｉａｌ ａｎｄ Ｔｅｍｐｏｒａｌ Ｉｎｔｅｇｒａｔｉｏｎ」と題する米国特許出願第１２／８９４，８５５号の主題を参照する。

【0002】

本開示は、圧縮センシング画像処理（ｃｏｍｐｒｅｓｓｉｖｅ ｓｅｎｓｅ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）のためのシステムおよび方法を対象としている。

【背景技術】

【0003】

この項では、本開示のシステムおよび方法をより良く理解するために役立ち得る見識を紹介する。したがって、この項の文言はそれにかんがみて読まれるべきであり、従来技術に何が含まれるか、または、従来技術に何が含まれないかに関する承認と理解もしくは解釈されてはならない。

【0004】

デジタル画像／動画カメラは大量の生データを取得して処理する。画像データを効率的に記憶または伝送するためには、Ｎピクセル画像のＮ個のピクセルのそれぞれについて、まず、生ピクセルデータがキャプチャされ、次に、通常は、適切な圧縮アルゴリズムを使用して、記憶および／または伝送のために圧縮される。カメラでキャプチャした画像（または動画）のサイズを小さくするためには、画像のＮ個のピクセルのそれぞれについて生データをキャプチャした後に圧縮することが一般に役立つが、非常に多くの計算リソースおよび時間が必要である。さらに、生ピクセルデータを圧縮しても、キャプチャされた画像のサイズは必ずしも有意に小さくならない。

【0005】

圧縮センシング撮像（ｃｏｍｐｒｅｓｓｉｖｅ ｓｅｎｓｅ ｉｍａｇｉｎｇ）として知られる、より新しい手法では、Ｎピクセル画像のＮ個のピクセルすべてについて先に生データを集めることなく、ランダム投影を使用して圧縮画像（または動画）データを取得する。例えば、符号化された（すなわち圧縮された）画像を表す一連の圧縮測定値を、圧縮測定基底を適用して取得する。この手法では、所望のＮピクセル画像のＮ個のピクセル値のそれぞれに対する生データと比較して、少ない数の圧縮測定値が取得されるので、生データがキャプチャされた後に圧縮を施す必要をなくすか、大幅に減らすことができる。

【発明の概要】

【課題を解決するための手段】

【0006】

圧縮センシング撮像のためのシステムおよび方法が提供される。いくつかの実施形態では、物体から反射して開口配列を通過する入射光が、センサによって検出される。開口配列およびセンサの属性に基づいて決定される圧縮用のシーケンス行列を使用し、センサからの出力に基づいて、中間圧縮測定値が生成される。その中間圧縮測定値がさらに処理されて、物体の圧縮画像を表す圧縮測定値が生成される。中間圧縮測定値を得るために使用されたシーケンス行列とは異なる、決定された再構成行列を使用して、圧縮測定値から物体の復元画像が生成される。

【0007】

一態様では、圧縮センシング撮像のシステムおよび方法は、複数のシーケンス行列を生成することと、その複数のシーケンス行列を使用して複数の中間圧縮測定値を決定することと、その複数の中間圧縮測定値を使用して、物体の圧縮画像を表す複数の圧縮測定値を生成することとを含む。

【0008】

いくつかの態様では、このシステムおよび方法は、再構成基底行列を使用して、複数の圧縮測定値から物体の復元画像を生成することを含む。

【0009】

いくつかの態様では、このシステムおよび方法は、開口素子からなる開口配列およびセンサの属性に基づいてカーネル行列を決定することと、そのカーネル行列および再構成基底行列を使用してセンシング行列を生成することとを含む。

【0010】

いくつかの態様では、このシステムおよび方法は、センシング行列を分解して複数のシーケンス行列を生成することを含む。

【0011】

いくつかの態様では、このシステムおよび方法は、センサの感度関数を決定することと、開口配列の開口素子のうち少なくとも１つについて少なくとも１つの特性関数を決定することと、その感度関数および少なくとも１つの特性関数を使用して畳み込み演算を行うことによってカーネル関数を計算することと、そのカーネル関数およびある画像を使用してカーネル行列を決定することとを含む。

【0012】

いくつかの態様では、このシステムおよび方法は、スパース化演算子を適用して、再構成基底行列を使用して複数の圧縮測定値から物体の復元画像を生成することを含む。

【0013】

いくつかの態様では、このシステムおよび方法は、ある期間中に、シーケンス行列内の少なくとも１つの基底に基づいて開口配列の１つまたは複数の開口素子を選択的に有効化または無効化して、複数の中間圧縮測定値の少なくとも１つを決定することを含み、複数の中間圧縮測定値のこの少なくとも１つは、その期間中にセンサによって検出された光の総合計に基づいて決定される。

【0014】

いくつかの態様では、開口配列は、マイクロミラーの配列である。いくつかの態様では、開口配列は、ＬＣＤ素子の配列である。

【図面の簡単な説明】

【0015】

【図1】本開示の様々な態様による圧縮センシング撮像システムの例を示す図である。

【図2】本開示の一態様により、物体の圧縮測定値をシーケンス行列を使用して取得するためのカメラユニットの例を示す図である。

【図3】本開示の様々な態様による圧縮センシング撮像のためのプロセス例を示す図である。

【図4】本開示の態様を実装するための装置例を示す図である。

【発明を実施するための形態】

【0016】

本開示の様々な態様について、添付図面を参照しながら以下に記述する。図面内の同様の番号は図面の記述の中の同様の要素を指す。記述および図面は本開示の原理を単に説明する。様々な構造、システム、およびデバイスは、説明のみを目的とし、また、当業者にはよく知られている詳細によって本発明を曖昧にしないように記述および図面の中で図示されており、当業者は、本明細書に明確に記述または図示されていないが本開示の原理を具現し、その趣旨および範囲に含まれる様々な構成を考案することができる。

【0017】

本明細書で使用するとき、用語「または（ｏｒ）」は、特に断りのない限り（例えば、またはそれ以外に（ｏｒ ｅｌｓｅ）」もしくは「または代替的に（ｏｒ ｉｎ ｔｈｅ ａｌｔｅｒｎａｔｉｖｅ）」）、非排他的な「または」を表す。さらに、要素間の関係を記述するために使用される語は、特に断りのない限り、直接の関係、または要素間に介在する要素の存在を含めて広義に解釈されるべきである。例えば、ある要素が他の要素に「接続されている」または「結合されている」と表されたとき、その要素は他方の要素に直接接続もしくは結合されていてもよいし、または、介在する要素が存在してもよい。対照的に、ある要素が他の要素に「直接接続されている」または「直接結合されている」と表されたとき、介在する要素は存在しない。同様に、「の間（ｂｅｔｗｅｅｎ）」、「に隣接する（ａｄｊａｃｅｎｔ）」などの用語は、同様に解釈されるべきである。

【0018】

文脈によって明確に示されない限り、単数形は複数形もまた含む。また、用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」および「含んでいる（ｉｎｃｌｕｄｉｎｇ）」は、本明細書で使用するとき、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を明確に示すが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素および／またはそれらのグループの存在を除外しないことがさらに理解される。

【0019】

図１は、圧縮撮像取得および再構成のシステム１００（システム１００）の概略例を示す。物体１１０から反射する入射光１０５がカメラユニット１１５によって受け取られ、カメラユニット１１５が、決定された数の圧縮用のシーケンス行列１２０を使用して複数の中間圧縮測定値を生成する。さらに中間圧縮測定値が処理されて、物体１１０の圧縮画像を表す圧縮測定値１２５が生成される。物体１１０の圧縮画像を表す圧縮測定値１２５は、記憶／伝送ユニット１３０によって記憶（または伝送）されてもよい。再構成ユニット１３５が、決定された再構成行列１５０を使用して圧縮測定値１２５から物体１１０の復元画像１４０を生成する（例えば、ディスプレイユニットでの表示のため）。

【0020】

図１には、ユニットは別々に示されているが、これは単に、本開示を理解しやすくするためである。他の態様では、前述したユニットのいずれかまたはすべての機能が、これより少ないか、これより多くのユニットを使用して実装されてもよい。さらに、様々なユニットに属する機能が、単一の処理デバイスによって実装されてもよいし、複数の処理デバイス間に分散されてもよい。適切な処理デバイスのいくつかの例は、カメラ、カメラシステム、携帯電話、パーソナルコンピュータシステム、タブレット、セットトップボックス、スマートフォン、またはデータを取得、処理、もしくは出力するように構成された、あらゆるタイプのコンピューティングデバイスを含む。

【0021】

一実施形態では、単一の処理デバイスがシステム１００の各ユニットの機能を提供するように構成されてもよい。単一の処理デバイスは、例えば、１つまたは複数の命令を記憶するメモリ、および、その１つまたは複数の命令を実行するためのプロセッサを含んでもよく、その命令は実行されたときに、ユニットに帰する機能を提供するようにプロセッサを構成してもよい。単一の処理デバイスは、処理デバイスとの間で情報の入力または出力を行うための１つまたは複数の入出力構成要素などの、コンピューティングデバイスに通常備わる他の構成要素を含んでもよく、それらは、カメラ、ディスプレイ、キーボード、マウス、ネットワークアダプタなどを含む。

【0022】

別の実施形態では、ネットワークを介して遠隔地のリモート処理デバイスと通信可能に相互接続されている第１の場所に、ローカル処理デバイスが備えられてもよい。ローカル処理デバイスは、ローカル物体１１０の圧縮測定値１２５を生成し、ネットワークを介してリモート処理デバイスに提供する機能を有して構成されてもよい。そして、リモート処理デバイスは、下記に説明する態様によって、ローカル処理デバイスから圧縮測定値を受け取り、再構成基底行列１５０を使用して圧縮測定値１２５から再構成画像１４０を生成し、リモートユーザに対して再構成画像を表示するように構成されてもよい。ローカル処理デバイスおよびリモート処理デバイスはそれぞれ、単一の処理デバイスに類似する装置を使用して実装されてもよく、単一の処理デバイスの場合と同様に、１つまたは複数の命令を記憶するメモリ、その１つまたは複数の命令を実行するためのプロセッサ、および、様々な入出力構成要素を含んでもよい。ネットワークは、イントラネット、インターネット、または、１つもしくは複数の有線もしくは無線ネットワークのあらゆるタイプもしくは組み合わせであってもよい。

【0023】

図２は、物体１１０の圧縮画像を表す圧縮測定値１２５を圧縮センシング撮像を使用して取得するための、レンズレスカメラユニット１１５の例を示す。レンズレスカメラユニット１１５の特定の実施形態について説明するが、これは制限として解釈されてはならず、本開示の原理は、圧縮センシング撮像システムの他の実施形態に適用されてもよい。

【0024】

物体１１０から反射された入射光１０５はカメラユニット１１５で受け取られ、ここで光１０５は、Ｎ個の個々の開口素子からなる開口配列２２０を通過することを選択的に許可され、センサ２３０に当たる。カメラユニット１１５は、開口配列２２０およびセンサ２３０の１つまたは複数の属性に基づいて決定される複数のシーケンス行列を使用してセンサ２３０からの出力を処理し、中間圧縮測定値を生成する。圧縮測定値１２５は物体１１０の圧縮画像を集合的に表しており、中間圧縮測定値を使用して決定される。

【0025】

圧縮を実現するために、物体１１０の圧縮画像として取得される圧縮測定値１２５の数Ｍは、Ｎピクセル画像を生成するためにＮ個のピクセルセンサを有する従来のカメラシステムで取得されるＮ個の生データ値よりも、通常、著しく少ない。よって、従来の、生データ値を取得した後の圧縮の必要が少なくなるか、またはなくなる。実際には、圧縮測定値の数Ｍは、Ｍ個の圧縮測定値を使用して再構成されるＮピクセル画像１４０の画質と圧縮の程度との間の所望のバランスに基づいて、配列２２０のＮ個の開口素子に関連して予め選択されていてもよい。

【0026】

図２に示される配列の例２２０は、６４個（Ｎ＝６４）の別個の開口素子からなる２次元の８×８配列であり、配列２２０の個々の素子が表形式の「［行，列］」表記を使用して一意に識別され得るように、２次元の行と列の形式で配置されている。よって、例示的に、配列２２０の最初の行内の最初の素子は２２０［１，１］として参照され、配列２２０の最後の行の最後の素子は２２０［８，８］として参照される。

【0027】

実際には、配列２２０のサイズおよび形式は、画像１４０の所望の解像度に応じて、これよりもずっと多くの（または少ない）素子数を有する場合もある。単に例として、配列２２０は、画像１４０の所望の画像解像度６４０×４８０ピクセルに対する６４０×４８０（Ｎ＝３０７２００）の素子の配列であってもよいし、または、画像１４０のさらに高い所望の解像度に対する１９２０×１０８０（Ｎ＝２０７３６００）の素子の配列であってもよい。

【0028】

配列２２０を通過してセンサ２３０に到達する光１０５の所与の時における全体的透過率は、配列の１つまたは複数の個別開口素子の透過率を設定することによって変化させられ得る。例えば、開口素子２２０［１，１］から２２０［８，８］までの１つまたは複数の素子の透過率を選択的かつ個別に変更して、所与の時に配列２２０を通過してセンサ２３０に到達する光１０５の量を増減させることによって、配列２２０の全体的透過率を調節することができる。

【0029】

完全に開いている（例えば、完全に有効化またはアクティブ化されている）開口素子は、その開いている素子を光１０５が通過してセンサ２３０に到達できるようにするが、完全に閉じている（例えば、完全に無効化または非アクティブ化されている）開口素子は、その配列２２０の閉じた素子を光１０５が通過して光子検出器２３０に到達しないように妨害または阻止する。開口素子は部分的に開き（または部分的に閉じ）、光１０５の全部ではなく一部のみを通過させて、その部分的に開いた（または部分的に閉じた）素子を介してセンサ２３０に到達するようにしてもよい。よって、個々の開口素子の集合的な状態（例えば、開いている、閉じている、または部分的に開いているか閉じている）は開口配列２２０の全体的透過率を決定し、したがって、所与の時にセンサ２３０に到達する光１０５の量を決定する。

【0030】

一実施形態では、開口配列２２０は、個別に選択可能なＮ個のマイクロミラーからなるマイクロミラー配列である。別の実施形態では、開口配列１２０は、ＮエレメントのＬＣＤ配列であってもよい。別の実施形態では、開口配列２２０は、透過率が選択的に制御可能な、任意の電子的または光学的構成素子の適切な配列であってもよい。

【0031】

カメラユニット１１５は、複数のシーケンス行列内の圧縮基底情報に従って開口配列２２０の全体的透過率を選択的に調節することによって中間圧縮測定値を生成するように構成される。中間圧縮測定値のそれぞれは、配列２２０のＮ個の開口素子のうち特定のいくつかが、あるシーケンス行列１２０の特定の圧縮基底の示すパターンに従って選択的に（完全かまたは部分的に）開かれているか閉じているときに、特定の時間の間に配列２２０を通ってセンサ２３０に到達する光１０５の、決定された合計（または総計）として理解されてもよい。

【0032】

本開示の１つの特徴は、下記に詳細に説明するように決定されるＳ個のシーケンス行列のそれぞれを使用して、Ｍ個の中間圧縮測定値が取得されることである。Ｓ≧２であるので、少なくとも２Ｍ個の中間圧縮測定値が決定され、それが処理されて、下記に詳細に説明するように、物体１１０の圧縮画像を表すＭ個の圧縮測定値１２５が生成される。Ｍ個の圧縮測定値１２５を再構成行列１５０と共に使用して、物体１１０の復元画像１４０が再構成または生成される。本開示の別の特徴は、あるカーネル関数に基づいてシーケンス行列が決定され、そのカーネル関数が配列２２０およびセンサ２３０の属性に基づいて決定されることである。本開示の、これらおよび他の態様について、下記に詳細に説明する。

【0033】

一般に、決定されたシーケンス行列１２０はＭ個の圧縮基底ｂ_１，ｂ_２，…ｂ_Ｍのセットであり、次にそのそれぞれが配列２２０に適用されて、Ｍ個の中間圧縮測定値のそれぞれ１つが生成される。シーケンス行列１２０内の各測定基底ｂ_１，ｂ_２，…ｂ_Ｍは、それ自体が、配列２２０の開口素子の数Ｎに対応するＮ個の値の配列であり、数学的には次式のとおりに示される。

【数1】

【0034】

例えば、図２に示す実施形態では、所与のシーケンス行列１２０の圧縮基底ｂ_ｋ（ｋ∈［１…Ｍ］）のそれぞれは、後に説明するように、値ｂ_ｋ［１］からｂ_ｋ［６４］のセットであり、その各値は集合［０，１］に正規化される。したがって、所与の圧縮基底のそれぞれの値は、“０”、“１”、または、“０”と“１”の間の実数であってもよく、そのそれぞれが、８×８の開口配列２２０内のそれぞれの開口素子の、対応する状態（例えば、全閉、全開、または中間状態）を決定する。

【0035】

所与の圧縮基底ｂ_ｋを配列２２０に適用して、ある時間ｔ_ｋの対応する中間圧縮測定値が次のように生成される。ｂ_ｋ［１］からｂ_ｋ［６４］までのそれぞれの値を使用して、配列２２０の対応する素子の状態（全開、全閉、または部分的に開もしくは閉）が設定され、センサ２３０に到達する光１０５の検出された合計または総計が、対応する中間圧縮測定値の値として決定される。このようにして、合計Ｍ×Ｓ個の中間圧縮測定値が生成される。ここでＭは各シーケンス行列１２０の圧縮基底の数であり、Ｓはシーケンス行列の数である（ここで、Ｓ≧２）。

【0036】

システム１００の動作例について、図３のプロセス３００と関連させて説明する。読者を助けるための概要として、ステップ３０２から３０８は、シーケンス行列１２０の決定について説明する。ステップ３１０は、シーケンス行列１２０を使用して取得された中間圧縮測定値から、物体１１０の圧縮画像を表す圧縮測定値１２５を決定することについて説明する。ステップ３１２は、再構成行列１５０を使用して圧縮測定値１２５から物体１１０の復元画像を生成することについて説明する。

【0037】

下記に記載されるステップが単に説明を目的とし、ここに存在するステップが修正または省略されてもよく、別のステップが追加されてもよく、一定のステップの順序が変更されてもよいことが理解されるべきである。

【0038】

図３のプロセス３００を参照すると、シーケンス行列１２０の決定は、ステップ３０２で、Ｎ×Ｎカーネル行列Ｋの計算で開始する。カーネル行列Ｋは、配列２２０およびセンサ２３０の幾何学的形状および属性に基づいて決定される。カーネル行列は、下記のように決定されてもよい。

【0039】

一実施形態では、カーネル行列はセンサ２３０の感度関数および配列２２０の特性関数に基づいて計算される。まず、センサ２３０の感度関数Ｆ（ｘ，ｙ）が決定される。ここでＦ（ｘ，ｙ）は、光がセンサ上の直交座標の点ｘ，ｙに当たったときのセンサ２３０の応答である。好ましくは、センサ２３０は、センサのどこに光が当たるかによってセンサ応答（言い換えれば、センサ感度）が変動しない（または、あまり変動しない）ように、広い検知領域および一様な（または、ほぼ一様な）感度関数Ｆ（ｘ，ｙ）を有するように選択されるが、これは必須ではない。

【0040】

次に、所与の開口素子Ｅの特性関数Ｅ（ｘ，ｙ）が、直交座標の点ｘ，ｙが開口素子の領域内にある場合はＥ（ｘ，ｙ）＝１、点ｘ，ｙが開口素子の領域外にある場合はＥ（ｘ，ｙ）＝０となるように、配列の各開口素子について特性関数が定められる。

【0041】

次に、センサ２３０の感度関数および配列２２０の開口素子の特性関数を使用して、カーネル関数ｋ（ｘ，ｙ）が、ｋ（ｘ，ｙ）＝Ｅ＊Ｆとして定められる。ここで、演算子＊は２次元（２Ｄ）畳み込み演算を示す。離散カーネル関数ｋ（ｒｏｗ，ｃｏｌｕｍｎ）が、

【数2】

として定められる。ここで、Ｅ_{ｒｏｗ，ｃｏｌｕｍｎ}は、行列表記を使用して配列２２０の特定の開口素子Ｅを識別する。

【0042】

あるいは、別の実施形態では、離散カーネル関数は、カメラユニット１１５を点光源（例えば、レーザー光源またはカメラユニット１１５に対して実質的に点光源である別の光源）を使用して較正することによって取得されてもよいことに留意されたい。

【0043】

最後に、Ｎ×Ｎカーネル行列Ｋが、離散カーネル関数から、Ｋ・Ｉ_１Ｄ＝（ｋ（ｒｏｗ，ｃｏｌｕｍｎ）＊Ｉ_２Ｄ）_１Ｄとして計算される。ここで、１Ｄは２Ｄ配列の１次元（１Ｄ）ベクトル形式を示し、Ｉは任意のＮピクセル画像である。

【0044】

ステップ３０４で、再構成行列１５０を指定することによりシーケンス行列１２０の決定が続行する。再構成行列は、例えば制限等長性などの、圧縮センシング撮像で使用するために適した属性をもつ任意のＭ×Ｎ行列でもよい。一実施形態では、したがって、再構成行列１５０は、そのような再構成行列の項または値が＋１または−１のどちらかであって、行が相互に直交しているという知られている属性をもつ、ランダムまたは擬似ランダムに並べ替えられたＮ×Ｎアダマール行列から行が選択されるＭ×Ｎ行列であってもよい。

【0045】

ステップ３０６で、Ｍ×Ｎのセンシング行列Ａを計算することによりシーケンス行列１２０の決定が続行する。ここで、センシング行列は、Ａ＝［ａ_ｉｊ］＝ＲＫ^−１として計算され、Ｒはステップ３０４で計算されたＭ×Ｎの再構成行列であり、Ｋ^−１はステップ３０２でセンサ２３０および配列２２０の属性に基づいて決定されたＮ×Ｎカーネル行列ＫのＭ×Ｎ逆行列であり、［ａ_ｉｊ］はｉ＝１，…，Ｍおよびｊ＝１，…，Ｎについてのセンシング行列Ａの値である。

【0046】

センシング行列Ａは配列２２０およびセンサ２３０の属性に基づいて決定されるＭ×Ｎ行列であるが、シーケンス行列１２０として直接使用するには適さないということが示唆される。その理由は、少なくとも再構成行列Ｒの負の値から明らかになるように、センシング行列Ａの１つまたは複数の値［ａ_ｉｊ］が０≦ａ_ｉ，ｊ≦１を満たさないためである。実際、センシング行列Ａは負および正の大きな値を含むことがあり、それらは配列２２０の開口素子の条件を設定するためのパターンとして使用するには実用的ではない（または、おそらく使用することが不可能である）。

【0047】

その結果、ステップ３０８で、センシング行列Ａがさらに分解されて、下記のように、集合［０，１］の中にある値をもつシーケンス行列１２０になる。下記の説明は、シーケンス行列に集合［０，１］の中の値をもたせる場合に対応するが、下記の開示はセンシング行列Ａを他のセットの中の値をもつように分解する場合にも適用可能であることに留意されたい。

【0048】

所与のセンシング行列Ａについて、次のように定義する。

【数3】

【0049】

次に、下記の擬似コードアルゴリズムを使用して、Ａ^＋がＰ^＋個のＭ×Ｎシーケンス行列

【数4】

に分解される。ここで、ｉ＝１，…，Ｍ、ｊ＝１，…，Ｎ、ｋ＝１，…，Ｐ^＋である。

【数5】

【0050】

次に、上記のアルゴリズムに基づいて、行列Ａ⁻が同様に分解されて、Ｐ⁻個のＭ×Ｎシーケンス行列

【数6】

となることができる。ここで、ｉ＝１，…，Ｍ、ｊ＝１，…，Ｎ、ｋ＝１，…，Ｐ⁻である。

【0051】

結果のＰ^＋個のＭ×Ｎシーケンス行列

【数7】

の値がすべて

【数8】

を満たし、同様に、結果のＰ⁻個のＭ×Ｎシーケンス行列

【数9】

のそれぞれの全ての値もまた

【数10】

を満たすことに留意されたい。

【0052】

センシング行列を上記のシーケンス行列に分解すると、次の式が得られる。

【数11】

【0053】

ステップ３１０で、決定されたシーケンス行列

【数12】

および

【数13】

がそれぞれ配列２２０に提供されて、前述したように、中間圧縮測定値が得られる。例えば、一実施形態では、Ｍ×Ｎシーケンス行列

【数14】

がそれぞれ配列２２０に適用され、対応するＭ個の中間圧縮測定値のセットの測定値ベクトル

【数15】

が生成される。同様に、Ｍ×Ｎシーケンス行列

【数16】

のそれぞれもまた配列２２０に適用され、対応するＭ個の中間圧縮測定値の測定値ベクトル

【数17】

が生成される。

【0054】

ステップ３１２で、プロセスは、ステップ３１０で決定された中間圧縮測定値から物体１１０の圧縮画像を表す圧縮測定値１２５を決定し、その圧縮測定値１２５から物体１１０の復元画像を再構成することを含む。

【0055】

具体的には、Ｍ個の圧縮測定値１２５が、中間圧縮測定値

【数18】

および

【数19】

を使用して、次のとおり決定される。

【数20】

【0056】

物体１１０の復元画像Ｉは、圧縮測定値１２５および再構成行列１５０を使用して、次のとおり決定されてもよい。

【数21】

【0057】

ここで、Ｗはスパース化演算子、ＩはＮ個の値をもつ画像１４０の１次元行列表現、Ｒはステップ３０４で決定された再構成基底行列、ｙ＝Ｙ_１，Ｙ_２，Ｙ_３，…Ｙ_Ｍは、シーケンス行列を使用して得られた中間圧縮測定値に基づき取得された圧縮測定値１２５の列ベクトルである。スパース化演算子Ｗは、例えば、ウェーブレットを使用して、または、全変動を使用して生成されてもよい。

【0058】

前述した、プロセスのステップ３０４から３１２は、１つの画像または動画フレームについて繰り返されてもよいし、１回行われてもよい。ステップ３０２は、例えば、配列２２０またはセンサ２３０に変更がある場合に別のカーネル行列Ｋが所望されるのでない限り、繰り返す必要はない。

【0059】

本開示により、多数の利点が得られると考えられる。まず、本開示には圧縮センシング撮像に適した改良型のレンズレスカメラユニットが記載されており、このカメラユニットは、Ｍ個の圧縮測定値を生成するために配列２２０を使用して多数の測定値（少なくとも２×Ｍ個）が取得されることによる高い信号対雑音比をもつ、より高品質の画像を弱光下で提供する。さらに、測定値は、開口配列およびセンサの特定の属性を考慮して取得される。続いて、本開示は、可視スペクトルおよび不可視スペクトルを含む光の全スペクトルの画像に適する。加えて、本開示は、センサの所与の幾何学的形状およびサイズについて、特に、他の方法ではソフトな（比較的不鮮明な）画像を生成することが知られている、比較的大きなセンサおよび開口配列について、より鮮明な（例えば、大量のディテールを有する）画像をキャプチャする方法もまた提供する。

【0060】

本開示の１つまたは複数の態様がハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよいことが理解される。図４は、本開示の１つまたは複数の態様を実装するために適した処理デバイスまたは装置４００の例の上位レベルブロック図を示す。装置４００は様々な入出力デバイス４０４およびメモリ４０６に通信可能に相互接続されたプロセッサ４０２を備える。

【0061】

プロセッサ４０２は、汎用中央処理ユニット（ＣＰＵ）または、組み込みマイクロコントローラもしくはデジタル信号プロセッサ（ＤＳＰ）などの専用マイクロプロセッサなどの、任意のタイプのプロセッサであってもよい。入出力デバイス４０４は、プロセッサ４０２の制御下で動作し、本開示によって装置４００との間でデータの入出力を行うように構成される、例えば、レンズカメラもしくはレンズレスカメラ、またはビデオキャプチャデバイスなどの、任意の周辺デバイスであってもよく、開口配列およびセンサを含んでもよい。入出力デバイス４０４は、従来技術のネットワークアダプタ、データポート、ならびに、キーボード、キーパッド、マウス、またはディスプレイなどの様々なユーザインタフェースもまた含んでもよい。

【0062】

メモリ４０６は、データおよびプロセッサ４０２によって実行可能な命令を含む電子情報を記憶するために適した任意のタイプのメモリであってもよい。メモリ４０６は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブメモリ、コンパクトディスクメモリ、光メモリなどのうち１つまたは組み合わせとして実装されてもよい。さらに、装置４００は、オペレーティングシステム、キューマネージャ、デバイスドライバ、または、１つまたは複数のネットワークプロトコルもまた含んでもよく、一実施形態では、それらはメモリ４０６に記憶され、プロセッサ４０２によって実行されてもよい。

【0063】

メモリ４０６は、実行可能命令およびデータを記憶する非一時的メモリを含んでもよく、その命令はプロセッサ４０２によって実行されると、前述した様々な態様およびステップによる機能を装置４００に行わせるように構成されてもよい。いくつかの実施形態では、プロセッサ４０２は、命令が実行されると、圧縮測定値の取得または再構成に関する前述した機能のすべてもしくは一部と通信、それらを制御、またはそれらを実施するように構成されてもよい。プロセッサは、シーケンス行列、中間圧縮測定値、圧縮測定値を決定し、前述したとおりに決定された再構成行列を使用して、復元画像または動画を生成するように構成されてもよい。

【0064】

いくつかの実施形態では、プロセッサ４０２は、例えばネットワークを介して相互接続している別の装置４００と通信し、かつ／またはその装置４００を制御するようにもまた構成されてもよい。そのような場合、本明細書で開示される機能は、スタンドアロンの装置４００のそれぞれに統合されてもよいし、１つまたは複数の装置４００の間に分散されてもよい。いくつかの実施形態では、プロセッサ４０２はまた、別々の場所に置かれ、それぞれと通信可能に相互接続された（例えば、クラウドコンピューティング環境内で）、複数の相互接続プロセッサとして構成されてもよい。

【0065】

図４には特定の装置構成が示されているが、本開示が任意の特定の実装にも制限されないことが理解される。例えば、いくつかの実施形態では、本明細書で開示される機能のすべてまたは一部が、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを使用して実装されてもよい。

【0066】

本明細書の態様について特定の実施形態を参照しながら説明してきたが、これらの実施形態は本開示の原理および適用例を単に説明するものであることが理解されるべきである。したがって、これらの説明的実施形態に多数の修正を加えることができること、および、本開示の趣旨および範囲を逸脱することなく他の構成を考案できることが理解されるべきである。

【図1】

【図2】

【図3】

【図4】