特許 5989681 符号化画像から時空領域を再構成するシステム、方法、及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5989681

(24)【登録日】2016年8月19日

(45)【発行日】2016年9月7日

(54)【発明の名称】符号化画像から時空領域を再構成するシステム、方法、及び媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160825BHJP

   G06T 7/00 20060101ALI20160825BHJP

【ＦＩ】

   H04N5/232 Z

   G06T7/00 G

   G06T7/00 300H

【請求項の数】24

【全頁数】12

(21)【出願番号】特願2013-555637(P2013-555637)

(86)(22)【出願日】2012年2月27日

(65)【公表番号】特表2014-511531(P2014-511531A)

(43)【公表日】2014年5月15日

(86)【国際出願番号】US2012026816

(87)【国際公開番号】WO2012116373

(87)【国際公開日】20120830

【審査請求日】2015年2月19日

(31)【優先権主張番号】61/446,970

(32)【優先日】2011年2月25日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】306018457

【氏名又は名称】ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】110000383

【氏名又は名称】特許業務法人 エビス国際特許事務所

(72)【発明者】

【氏名】人見 康宣

(72)【発明者】

【氏名】グ ジンウェイ

(72)【発明者】

【氏名】グプタ モヒト

(72)【発明者】

【氏名】光永 知生

(72)【発明者】

【氏名】ナヤル シュリー ケー

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開昭６３−０３５０８２（ＪＰ，Ａ）

【文献】 Jinwei Gu et al.，"Coded Rolling Shutter Photography: Flexible Space-Time Sampling"，2010 IEEE International Conference on Computational Photography (ICCP)，米国，IEEE，２０１０年 ３月２９日，pp.1-8

【文献】 中静 真，“スパース信号表現とその音声・画像処理への応用”，情報処理学会研究報告，日本，社団法人情報処理学会，２００９年 ２月２６日，Vol.2009, No.23，pp.43-48

【文献】 Michal Aharon et al.，"K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation"，IEEE Transactions on Signal Processing，米国，IEEE，２００６年１１月３０日，vol.54, No.11，pp.4311-4322

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １／００，７／００−７／６０

(57)【特許請求の範囲】

【請求項1】

符号化画像から時空領域を再構成するシステムであって、
画像データを出力する画像センサと、
少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
符号化シャッタ関数に基づいて、前記画像データの単一画像に前記時空領域の投影像を取り込ませ、
前記画像データを受信し、
前記画像データに対して再構成処理を実施して、前記画像データに対応する時空領域を提供し、
前記再構成処理は、過完備辞書に基づくことを特徴とするシステム。

【請求項2】

請求項１に記載のシステムであって、前記過完備辞書は、回転された映像サンプルに基づくことを特徴とするシステム。

【請求項3】

請求項１に記載のシステムであって、前記符号化シャッタ関数は、画素露出バンプに対してランダムな開始時間を有することを特徴とするシステム。

【請求項4】

請求項１に記載のシステムであって、前記符号化シャッタ関数は、１センサ取り込み時間当り、１画素当り、単一の露出期間だけを有することを特徴とするシステム。

【請求項5】

請求項１に記載のシステムであって、前記符号化シャッタ関数は、センサ取り込み時間の各間隔中にさらされる各画素区域に少なくとも１つの画素を有することを特徴とするシステム。

【請求項6】

請求項１に記載のシステムであって、更に、前記少なくとも１つのプロセッサからの信号に応じて、前記符号化シャッタ関数により、前記画像センサへの光を変調する液晶オンシリコン・チップを含むことを特徴とするシステム。

【請求項7】

請求項１に記載のシステムであって、前記画像センサは、個別にアドレス可能な画素を有することを特徴とするシステム。

【請求項8】

請求項１に記載のシステムであって、前記再構成処理は、直交マッチング追跡アルゴリズムを実施することを含むことを特徴とするシステム。

【請求項9】

符号化画像から時空領域を再構成するための方法であって、
ハードウェアプロセッサを用いて、符号化シャッタ関数に基づいて、画像センサによって前記時空領域の投影像を画像データの単一画像に取り込ませることと、
ハードウェアプロセッサを用いて、前記画像データを受信することと、
前記画像データに対して再構成処理を実施して、ハードウェアプロセッサを用いて、前記画像データに対応する時空領域を提供することと、
を含み、
前記再構成処理は、過完備辞書に基づくことを特徴とする方法。

【請求項10】

請求項９に記載の方法であって、前記過完備辞書は、回転された映像サンプルに基づくことを特徴とする方法。

【請求項11】

請求項９に記載の方法であって、前記符号化シャッタ関数は、画素露出バンプに対してランダムな開始時間を有することを特徴とする方法。

【請求項12】

請求項９に記載の方法であって、前記符号化シャッタ関数は、１センサ取り込み時間当り、１画素当り、単一の露出期間だけを有することを特徴とする方法。

【請求項13】

請求項９に記載の方法であって、前記符号化シャッタ関数は、センサ取り込み時間の各間隔中にさらされる各画素区域に少なくとも１つの画素を有することを特徴とする方法。

【請求項14】

請求項９に記載の方法であって、更に、前記ハードウェアプロセッサからの信号に応じて、前記符号化シャッタ関数により、液晶オンシリコン・チップを用いて、前記画像センサへの光を変調することを含むことを特徴とする方法。

【請求項15】

請求項９に記載の方法であって、前記画像センサは、個別にアドレス可能な画素を有することを特徴とする方法。

【請求項16】

請求項９に記載の方法であって、前記再構成処理は、直交マッチング追跡アルゴリズムを実施することを含むことを特徴とする方法。

【請求項17】

プロセッサによって実行されると、符号化画像から時空領域を再構成する方法を前記プロセッサに実施させるコンピュータ実行可能命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
符号化シャッタ関数に基づいて、画像データの単一画像に前記時空領域の投影像を取り込ませることと、
前記画像データを受信することと、
前記画像データに対して再構成処理を実施して、前記画像データに対応する時空領域を提供することと、
を含み、
前記再構成処理は、過完備辞書に基づくことを特徴とする非一時的コンピュータ可読媒体。

【請求項18】

請求項１７に記載の非一時的コンピュータ可読媒体であって、前記過完備辞書は、回転された映像サンプルに基づくことを特徴とする非一時的コンピュータ可読媒体。

【請求項19】

請求項１７に記載の非一時的コンピュータ可読媒体であって、前記符号化シャッタ関数は、画素露出バンプに対してランダムな開始時間を有することを特徴とする非一時的コンピュータ可読媒体。

【請求項20】

請求項１７に記載の非一時的コンピュータ可読媒体であって、前記符号化シャッタ関数は、１センサ取り込み時間当り、１画素当り、単一の露出期間だけを有することを特徴とする非一時的コンピュータ可読媒体。

【請求項21】

請求項１７に記載の非一時的コンピュータ可読媒体であって、前記符号化シャッタ関数は、センサ取り込み時間の各間隔中にさらされる各画素区域に少なくとも１つの画素を有することを特徴とする非一時的コンピュータ可読媒体。

【請求項22】

請求項１７に記載の非一時的コンピュータ可読媒体であって、前記方法は、更に、前記符号化シャッタ関数に基づいて、前記画像センサへの光を変調することを特徴とする非一時的コンピュータ可読媒体。

【請求項23】

請求項１７に記載の非一時的コンピュータ可読媒体であって、前記方法は、更に、画像センサの画素を個別的にアドレス指定することを含むことを特徴とする非一時的コンピュータ可読媒体。

【請求項24】

請求項１７に記載の非一時的コンピュータ可読媒体であって、前記再構成処理は、直交マッチング追跡アルゴリズムを実施することを含むことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０１１年２月２５日に出願した米国仮特許出願第６１／４４６，９７０号の利益を主張するものであり、本明細書にその全体を参照により援用する。

【0003】

本出願の技術分野は、符号化画像から時空領域を再構成するシステム、方法、及び媒体を提供する。

【背景技術】

【0004】

カメラは、空間解像度と時間解像度との間の基本的なトレードオフに直面する。例えば、多くのデジタルスチルカメラは、高い空間解像度で画像を取り込み得るが、他方、多くの高速ビデオカメラは、低空間解像度で困っている。この制限は、多くの場合、画像センサの読み出し及びアナログ-ディジタル（Ａ／Ｄ）変換時間等のハードウェア要因に起因している。並列Ａ／Ｄコンバータ及びフレームバッファを導入することによって読み出し処理能力を高めることは可能であるが、そのようにするには、１画素当り更に多くのトランジスタが必要になることが多く、これにより曲線因子が低下し、また、そのような画像センサの場合、コストが増大する。折衷案として、現在の多くのカメラ製造業者は、「間引き（ｔｈｉｎ−ｏｕｔ）」モードを実行して、直接、時間解像度を大きくするために空間解像度を犠牲にし、これによって画像品質が低下する。

【0005】

従って、空間解像度を犠牲にすることなく時間解像度を改善するための新しいメカニズムが望まれる。

【発明の概要】

【0006】

符号化画像から時空領域を再構成するシステム、方法、及び媒体を提供する。幾つかの実施形態に基づき、符号化画像から時空領域を再構成するシステムを提供する。本システムには、画像データを出力する画像センサと、少なくとも１つのプロセッサと、が含まれる。このプロセッサは、符号化シャッタ関数に基づいて、画像データの単一画像に時空領域の投影像を取り込ませ、画像データを受信し、画像データに対して再構成処理を実施して、画像データに対応する時空領域を提供する。

【0007】

幾つかの実施形態に基づき、符号化画像から時空領域を再構成する方法を提供する。この方法は、ハードウェアプロセッサを用いて、符号化シャッタ関数に基づき、画像データの単一画像に対して、画像センサによって時空領域の投影像を取り込ませることと、ハードウェアプロセッサを用いて、画像データを受信することと、画像データに対して再構成処理を実施し、ハードウェアプロセッサを用いて、画像データに対応する時空領域を提供することとを含んでいる。

【0008】

幾つかの実施形態に基づき、プロセッサによって実行されると符号化画像から時空領域を再構成する方法をプロセッサに実施させるコンピュータ実行可能命令を記録した非一時的コンピュータ可読媒体を提供する。この方法は、符号化シャッタ関数に基づいて、画像データの単一画像に対して、時空領域の投影像を取り込ませることと、画像データを受信することと、画像データに対して再構成処理を実施して、画像データに対応する時空領域を提供することとを含んでいる。

【図面の簡単な説明】

【0009】

【図1】図１は、幾つかの実施形態に基づき単一の符号化画像から時空領域映像を生成するプロセスを示す図である。

【図2】図２は、幾つかの実施形態に基づき符号化シャッタ関数を生成するプロセスを示す図である。

【図3】図３は、幾つかの実施形態に基づき使用可能なハードウェアを示す図である。

【図4】図４は、幾つかの実施形態に基づき使用可能な画像センサを示す図である。

【発明を実施するための形態】

【0010】

符号化画像から時空領域を再構成するシステム、方法、及び媒体を提供する。幾つかの実施形態において、これらのシステム、方法、及び媒体は、取り込まれた映像に対して空間解像度を犠牲にすることなく時間解像度を改善し得る。

【0011】

幾つかの実施形態に基づき、映像は、カメラセンサの画素が如何にして符号化画像Ｉを取り込むかを定義する画素毎符号化シャッタ関数Ｓを用いて取り込まれた単一の符号化画像Ｉから時空領域Ｅを再構成することによって生成し得る。

【0012】

時空領域Ｅ及び符号化シャッタ関数Ｓによって、符号化画像Ｉは、式（１）に示すように定義し得る。

【0013】

【数1】

【0014】

上記式（１）において、ｘ及びｙは、カメラセンサのＭ×Ｍ画素区域に対応する二次元に対応し、ｔは、カメラセンサの一取り込み時間のＮ間隔に対応し、この時空領域Ｅの解像度は、Ｍ×Ｍ×Ｎである。カメラセンサの区域は、本明細書では、簡単にし一貫性を保つために、正方形（Ｍ×Ｍ）であるとして記述するが、幾つかの実施形態において、区域は、正方形である必要はなく、任意の適切な形状であってよい。

【0015】

式（１）は、Ｉ＝ＳＥのように行列形式でも書くことができるが、この場合、Ｉ（観察値）及びＥ（未知数）は、それぞれ、Ｍ×Ｍ及びＭ×Ｍ×Ｎ要素のベクトルであり、Ｓは、Ｍ×Ｍ行及びＭ×Ｍ×Ｎ列の行列である。観察値（Ｍ×Ｍ）の数は、未知数（Ｍ×Ｍ×Ｎ）の数より大幅に少ないため、これは、劣決定系である。幾つかの実施形態において、サンプリングが、制限された等長特性を満足し、また、信号Ｅが疎である場合、この系は、解くことができ、未知の信号Ｅを求めることができる。

【0016】

【数2】

【0017】

上記式（２）において、Ｄは、Ｅが疎である基底であり、αは、Ｅの疎表現である。

【0018】

図１において、取り込まれた画像から時空領域を再構成するためのプロセス１００の例を示す。図示のように、プロセス１００が１０２で開始した後、時空領域は、１０４において、符号化シャッタ関数を用いて、符号化画像にサンプリングし得る。

【0019】

任意の適切な符号化シャッタ関数を用いて、１０４において、画像を取り込むことができ、また、用いられるシャッタ関数は、任意の適切な属性を有し得る。例えば、幾つかの実施形態において、シャッタ関数は、２値シャッタ関数（即ち、Ｓ（ｘ，ｙ，ｔ）∈０，１）であるという属性を有し得るが、この式において、時間間隔ｔ毎に、シャッタは、光を取り込んでいる（オン）又は取り込んでいない（オフ）かのいずれかである。他の例として、幾つかの実施形態において、シャッタ関数は、カメラセンサの取り込み時、各画素に対してただ１つの連続的な露出期間（即ち、「バンプ」）を有するという属性を有し得る。更に他の例として、幾つかの実施形態において、シャッタ関数は、間隔ｔで測られる１つ又は複数のバンプ長（即ち、露出の持続時間）を有するという属性を有し得る。更に他の例として、幾つかの実施形態において、シャッタ関数は、周期的な又はランダムな時間に開始するバンプを有するという属性を有し得る。更なる例として、幾つかの実施形態において、シャッタ関数は、カメラセンサの（例えば、同じ行における）位置に基づく同じ開始時間を有する画素のグループを有するという属性を有し得る。更なる例として、幾つかの実施形態において、シャッタ関数は、カメラセンサの各Ｍ×Ｍ画素区域の少なくとも１つの画素が、カメラセンサの取り込み時、各間隔においてサンプリングされる属性を有し得る。

【0020】

幾つかの実施形態において、符号化シャッタ関数には、そのような属性の組合せを含み得る。例えば、幾つかの実施形態において、符号化シャッタ関数は、２値シャッタ関数であってよく、カメラセンサの取り込み時、各画素に対して１つの連続的な露出期間（即ち、「バンプ」）だけを有してよく、１つのバンプ長だけを有してよく、ランダムな時間に開始するバンプを有してよく、また、カメラセンサの各Ｍ×Ｍ画素区域の少なくとも１つの画素が、カメラセンサの取り込み時、各間隔においてサンプリングされるという属性を有してよい。

【0021】

幾つかの実施形態に基づきそのような符号化シャッタ関数を生成するためのプロセス２００を図２に示す。このプロセスは、任意の適切な時点又は複数の時点において実施することができ、また、幾つかの実施形態では、一度だけ実施してよい。

【0022】

図示するように、プロセス２００では、２０２で開始した後、２０４において、第１バンプ長を設定し得る。任意の適切なバンプ長を第１バンプ長として設定し得る。例えば、幾つかの実施形態において、第１バンプ長は、１つの間隔ｔに設定してよい。

【0023】

次に、本プロセスでは、２０６において、第１カメラセンサ画素を選択し得る。任意の適切な画素を第１カメラセンサ画素として選択してよい。例えば、最小組の座標値を備えたカメラセンサ画素を第１カメラセンサ画素として設定してよい。

【0024】

そして、プロセス２００では、２０８において、選択された画素についてカメラのセンサの取り込み時間時の開始時間をランダムに選択して（又は疑似ランダムに選択して）、バンプ長及び開始時間をその画素に割り当てることができる。２１０において、選択された画素が最後の画素であるどうかを判断し得る。最後でなければ、プロセス２００では、２１２において（任意の適切な技法を用いて）次の画素を選択して、２０８に戻り得る。

【0025】

もしくは、プロセス２００では、次に、２１４において、第１Ｍ×Ｍ画素区域を選択し得る。この区域は、何らかの適切な方法で選択してよい。例えば、第１Ｍ×Ｍ画素区域は、最小組の座標を備えたＭ×Ｍ画素区域として選択してよい。

【0026】

そして、本プロセスでは、２１６において、選択された区域における少なくとも１つの画素が、時間ｔ毎にサンプリングされたかどうか判断し得る。この判断は、何らかの適切な方法で行ってよい。例えば、幾つかの実施形態において、プロセスは、時間ｔ毎に一巡して、その区域における画素がその時間ｔに起こるバンプを有するかどうか判断し得る。その区域における画素が時間ｔの間バンプを有さないと判断された場合、その区域は、各時間ｔにサンプリングされる少なくとも１つの画素を有さないと判断され、プロセス２００は、２０６に戻り得る。

【0027】

もしくは、本プロセスでは、２１８において、現区域が最後の区域であるかどうか判断し得る。この判断は、何らかの適切な方法で実施してよい。例えば、幾つかの実施形態において、現区域は、全ての区域の内の最高座標対を有する場合、最後の区域であると判断し得る。現区域が最後の区域ではないと判断された場合、プロセス２００では、２２０において、次の区域を選択して、２１６に戻り得る。

【0028】

もしくは、プロセス２００では、次に、２２２において、各画素に割り当てられたバンプ長及び開始時間を用いて、画像取り込みをシミュレートし得る。画像取り込みは、何らかの適切な方法でシミュレートしてよい。例えば、幾つかの実施形態において、画像取り込みは、実際の高速映像データを用いてシミュレートしてよい。次に、２２４において、図１の１０６及び１０８との関係で以下に述べるように、Ｍ×Ｍ×Ｎの下位領域を再構成し、単一の領域を提供するために下位領域の平均を取り得る。そして、２２６において、２２２及び２２４で生成された単一の領域についてピーク信号対雑音比（ＰＳＮＲ）を求め得る。このＰＳＮＲは、何らかの適切な方法で、例えば、その単一の領域と、シミュレートされた画像取り込みに用いた実際の高速映像とを比較することによって、求めてよい。

【0029】

プロセス２００では、２２８において、現バンプ長が、チェック対象の最後のバンプ長であるかどうか判断し得る。このことは、何らかの適切な方法で判断してよい。例えば、バンプ長が、カメラセンサの取り込み時間に等しい場合、バンプ長は、最後のバンプ長であると判断し得る。バンプ長が最後のバンプ長ではないと判断された場合、プロセス２００では、２３０において、次のバンプ長を選択して、２０６に戻り得る。次のバンプ長は、何らかの適切な方法で選択し得る。例えば、幾つかの実施形態において、次のバンプ長は、前のバンプ長プラス１つの間隔ｔに設定してよい。

【0030】

もしくは、最適ＰＳＮＲでのバンプ長及び開始時間割当ては、２３２において、符号化シャッタ関数として選択し得る。最適ＰＳＮＲは、任意に適切に選択してよい。例えば、幾つかの実施形態において、最適ＰＳＮＲは、予想されたカメラ雑音と同様な雑音がある状態で求めた最高ＰＳＮＲ値として選択してよい。

【0031】

最後に、一旦、最適ＰＳＮＲでのバンプ長及び開始時間割当てが、符号化シャッタ関数として選択されると、プロセス２００は、２３４において、終了し得る。

【0032】

図１に戻ると、１０４において時空領域を１つの符号化画像にサンプリングした後、１０６において、取り込まれた画像の空間位置毎にサイズＭ×Ｍのパッチに対して再構成処理を実施して、サイズＭ×Ｍ×Ｎの領域パッチを生成し得る。この再構成処理は、何らかの適切な方法で実施してよい。例えば、幾つかの実施形態において、この再構成処理は、以下の疎近似式問題

【0033】

【数3】

【0034】

を解き、

【0035】

【数4】

【0036】

を求めることによって実施し得る。

【0037】

式（３）において、
αは、Ｅの疎表現であり、
Ｓは、シャッタ関数の行列であり、
Ｄは、過完備辞書であり、
Ｉは、取り込まれた符号化画像のベクトルであり、

【0038】

【数5】

【0039】

は、再構成された時空領域とグラウンドトゥルース（ｇｒｏｕｎｄ＿ｔｒｕｔｈ）との間の誤差である。任意の適切なメカニズムを用いて、この近似式問題を解くことができる。例えば、幾つかの実施形態に基づき、直交マッチング追跡（ＯＭＰ）アルゴリズムを用いて、この近似式問題を解くことができる。

【0040】

一旦、

【0041】

【数6】

【0042】

が分かると、時空領域は、

【0043】

【数7】

【0044】

を解くことによって計算することができる。

【0045】

任意の適切な過完備辞書Ｄを幾つかの実施形態において用いることができ、また、そのような辞書を何らかの適切な方法で形成し得る。例えば、幾つかの実施形態に基づき、対象の映像領域を疎表現するための過完備辞書を自然な映像データの大規模な集合体から構築することができる。そのような過完備辞書は、アーロン（Ａｈａｒｏｎ）らによる「Ｋ−ＳＶＤ：疎表現のための過完備辞書を設計するためのアルゴリズム（Ａｎ＿Ａｌｇｏｒｉｔｈｍ＿ｆｏｒ＿Ｄｅｓｉｇｎｉｎｇ＿Ｏｖｅｒｃｏｍｐｌｅｔｅ＿Ｄｉｃｔｉｏｎａｒｉｅｓ＿ｆｏｒ＿Ｓｐａｒｓｅ＿Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）」、信号処理に関するＩＥＥＥ会報、ｖｏｌ．５４、ｎｏ．１１，２００６年１１月、に記載されたように、Ｋ−ＳＶＤアルゴリズムを用いて、トレーニングデータセットの自然なシーンのパッチからトレーニングし得るが、この会報は、その全体を本明細書に参照して援用する。そのようなトレーニングは、任意の適切な回数（例えば、一回のみ）行ってよく、また、任意の適切な時点（又は、複数の時点）に行ってよい。

【0046】

幾つかの実施形態において、任意の適切なタイプの任意の適切な数の映像を用いて、辞書をトレーニングすることができる。例えば、幾つかの実施形態において、対象フレームレート（例えば、３００ｆｐｓ）に近いフレームレートでの２０の映像シーケンスのランダムな選択肢を幾つかの実施形態において用い得る。幾つかの実施形態において、データセットに多様性を追加する場合、シーケンスに対する空間的回転を行うことができ、また、そのシーケンスを用いて、それらの前方向（即ち、通常の再生）及び後方向（即ち、反転再生）でのトレーニングを実施し得る。幾つかの実施形態において、任意の適切な回転を実施してよい。例えば、幾つかの実施形態において、０、４５、９０、１３５、１８０、２１５、２７０、及び３１５度の回転を実施し得る。任意の適切な数の基底要素（例えば、５０００）は、幾つかの実施形態において、各シーケンスから抽出し得る。その結果、学習済みの辞書は、幾つかの実施形態において、様々な方位において、エッジシフト処理等、様々な特徴を取り込み得る。

【0047】

全ての位置について再構成処理を実施した後、１０８において、重複する再構成したパッチの平均を取り、完全な時空領域を得て、プロセス１００は、１１０において終了し得る。

【0048】

そして、この結果得られた時空領域映像は、任意の適切な方法で用い得る。例えば、この映像は、表示装置に提示したり、記憶したり、解析したりできる。

【0049】

図３を参照すると、幾つかの実施形態において用い得るハードウェア３００の例である。図示するように、本ハードウェアには、対物レンズ３０２、中継レンズ３０６，３１０，及び３１４、偏光ビームスプリッタ３０８，液晶オンシリコン（ＬＣｏＳ）チップ３１２，画像センサ３１６，及びコンピュータ３１８を含み得る。

【0050】

シーンは、対物レンズ３０２を用いて、仮想像平面３０４に結像し得る。対物レンズ３０２は、例えば、焦点距離が２５ｍｍに等しい対物レンズ等、任意の適切なレンズであってよい。そして、仮想画像は、中継レンズ３０６及び３１０並びに偏光ビームスプリッタ３０８を介して、ＬＣｏＳチップ３１２の像平面に再合焦することができる。ＬＣｏＳチップ３１２は、英国・バーミンガムの「Ｆｏｒｔｈ＿Ｄｉｍｅｎｓｉｏｎ＿Ｄｉｓｐｌａｙｓ＿Ｌｔｄ．」製のＬＣｏＳチップ部品番号ＳＸＧＡ−３ＤＭ等、任意の適切なＬＣｏＳチップであってよい。中継レンズ３０６及び３１０は、例えば、焦点距離が１００ｍｍに等しい中継レンズ等、任意の適切なレンズであってよい。偏光ビームスプリッタ３０８は、任意の適切な偏光ビームスプリッタであってよい。

【0051】

ＬＣｏＳチップ３１２の像平面に形成される像は、シャッタ関数により偏光され、また、反射されて偏光ビームスプリッタ３０８に戻され、偏光ビームスプリッタ３０８は、その像を中継レンズ３１４を通して反射し、その像を画像センサ３１６に合焦し得る。中継レンズ３１４は、例えば、焦点距離が１００ｍｍに等しい中継レンズ等、任意の適切な中継レンズであってよい。画像センサ３１６は、カナダ、ＢＣ、リッチモンド、ポイント・グレイ・リサーチ社（Ｐｏｉｎｔ＿Ｇｒｅｙ＿Ｒｅｓｅａｒｃｈ＿Ｉｎｃ．）製のポイント・グレイ・グラスホッパーセンサ（Ｐｏｉｎｔ＿Ｇｒｅｙ＿Ｇｒａｓｓｈｏｐｐｅｒ＿ｓｅｎｓｏｒ）等、任意の適切な画像センサであってよい。

【0052】

上述したように、仮想画像は、ＬＣｏＳチップの像平面及び画像センサの双方に合焦することができ、これによって、ＬＣｏＳチップの画素と画像センサの画素との間の画素毎アライメントが可能になる。ＬＣｏＳチップからコンピュータ３１８へのトリガ信号は、ＬＣｏＳチップと画像センサとの時間的同期をとるために用い得る。ＬＣｏＳチップは、任意の適切な周波数で走らせてよい。例えば、幾つかの実施形態において、ＬＣｏＳチップは、画像センサのフレームレートの９乃至１８倍で走らせてよい。

【0053】

シャッタ関数を実施するためにＬＣｏＳチップを用いることに対する他の選択肢として、シャッタ関数は、幾つかの実施形態において、図４に示すように、画像センサ４１６における画素のリセット及び読み出しの画素的制御によって実施し得る。図示するように、画像センサ４１６は、画素アレイに行及び列選択ラインの双方を備えることによって画素的アクセスを可能にする。画像センサ４１６は、幾つかの実施形態において、ＣＭＯＳ画像センサであってよい。画像センサ４１６を含むそのような実施形態において、ＬＣｏＳチップ、ビームスプリッタ、及び幾つかのレンズは、省略し得る。

【0054】

コンピュータ３１８を用いて、上述した機能及び任意の追加の又は他の機能（１つ又は複数）を実施できる。例えば、コンピュータ３１８を用いて、図１及び２に関して述べた機能を実施し得る。コンピュータ３１８は、コンピュータ等の任意の汎用装置又はクライアント、サーバ等の専用装置であってよい。これらの汎用又は専用装置のいずれも、ハードウェアプロセッサ（これは、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ等であってよい）、メモリ、通信インターフェイス、ディスプレイ・コントローラ、入力装置等、任意の適切な構成要素を含んでよい。幾つかの実施形態において、コンピュータ３１８は、他の装置（例えば、カメラ、携帯電話、演算装置、ゲーム装置）の一部であってよく又はスタンドアローン装置であってよい。

【0055】

幾つかの実施形態において、任意の適切なコンピュータ可読媒体を用いて、本明細書に述べたプロセスを実施するための命令を記憶し得る。例えば、幾つかの実施形態において、コンピュータ可読媒体は、一時的又は非一時的であってよい。例えば、非一時的コンピュータ可読媒体としては、磁気媒体（例えば、ハードディスク、フロッピーディスク等）、光学媒体（例えば、コンパクトディスク、デジタル映像ディスク、ブルーレイディスク等）、半導体媒体（例えば、フラッシュメモリ、電気的にプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）等）、一過性でない又は送信時に外見的な永続性を欠くことが無い任意の適切な媒体、及び／又は任意の適切な有形の媒体等の媒体を挙げることができる。他の例として、一時的コンピュータ可読媒体は、ネットワーク、電線、導体、光ファイバ、回路上の信号、一過性で送信時に外見的な永続性が無い任意の適切な媒体、及び／又は任意の適切な無形の媒体を挙げることができる。

【0056】

上記例示の実施形態において、本発明について記述し説明したが、本開示が一例としてなされたこと、また、本発明の実施例の詳細の数多くの変更は、後続の請求項のみによって限定される本発明の精神及び範囲から逸脱することなく行うことができることを理解されたい。開示された実施形態の特徴は、様々な方法で組み合わせ、また、再構成することができる。

【図1】

【図2】

【図3】

【図4】