特開 2022-72613 イメージング方法およびイメージング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022072613

(43)【公開日】2022-05-17

(54)【発明の名称】イメージング方法およびイメージング装置

(51)【国際特許分類】

   H04N 5/335 20110101AFI20220510BHJP

   G06T 1/00 20060101ALI20220510BHJP

   H04N 5/225 20060101ALI20220510BHJP

   H04N 5/232 20060101ALI20220510BHJP

【ＦＩ】

H04N5/335

G06T1/00 500A

H04N5/225 300

H04N5/232

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020182157

(22)【出願日】2020-10-30

(71)【出願人】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100098729

【弁理士】

【氏名又は名称】重信 和男

(74)【代理人】

【識別番号】100163212

【氏名又は名称】溝渕 良一

(74)【代理人】

【識別番号】100204467

【弁理士】

【氏名又は名称】石川 好文

(74)【代理人】

【識別番号】100148161

【弁理士】

【氏名又は名称】秋庭 英樹

(74)【代理人】

【識別番号】100156535

【弁理士】

【氏名又は名称】堅田 多恵子

(74)【代理人】

【識別番号】100195833

【弁理士】

【氏名又は名称】林 道広

(72)【発明者】

【氏名】下馬場 朋禄

(72)【発明者】

【氏名】塩見 日隆

(72)【発明者】

【氏名】伊藤 智義

【テーマコード（参考）】

5B057

5C024

5C122

【Ｆターム（参考）】

5B057BA12

5B057BA15

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE06

5C024CX37

5C024EX01

5C024EX41

5C024EX42

5C024HX28

5C024HX29

5C024HX30

5C024JX02

5C122EA37

5C122EA68

5C122FB03

5C122FC06

5C122HA85

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】高速かつ高解像度に再構成画像を得ることができるイメージング方法およびイメージング装置を提供する。
【解決手段】撮像対象１０の像と複数の投影パターンを重畳させた光を単位素子が少なくとも２つ以上１次元的に並んだリニアイメージセンサ３に結像させるステップと、リニアイメージセンサ３により取得された複数の１次元撮像データに基づいてリニアイメージセンサ３の集光方向に最適化計算を行うステップと、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像対象の像と複数の投影パターンを重畳させた光を単位素子が少なくとも２つ以上１次元的に並んだリニアイメージセンサに結像させるステップと、
前記リニアイメージセンサにより取得された複数の１次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行うステップと、を有することを特徴とするイメージング方法。

【請求項2】

前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うステップを有することを特徴とする請求項１に記載のイメージング方法。

【請求項3】

前記リニアイメージセンサの集光方向の最適化計算は、複数の前記投影パターンの照射を表す行列Ａ、全変動を求める行列Ｂ、再構成される画像の集光方向のある１ラインを表すベクトルＸ＾、撮影データを表すベクトルｙを基に、数１に基づく演算を行い、撮影データと再構成される画像の集光方向のある１ラインの２乗誤差と、再構成される画像のある１ラインにおける全変動を最小化することを特徴とする請求項１または２に記載のイメージング方法。

【数1】

【請求項4】

前記リニアイメージセンサの集光方向の最適化計算と前記集光方向と直交する方向の最適化計算は、同じ数式が使用されることを特徴とする請求項３に記載のイメージング方法。

【請求項5】

前記行列Ａは、複数の前記投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むことを特徴とする請求項３または４に記載のイメージング方法。

【請求項6】

複数の投影パターンを出力する空間光変調器と、
単位素子が少なくとも２つ１次元的に並んだリニアイメージセンサと、
前記リニアイメージセンサに撮像対象の像と前記複数の投影パターンを重畳させた光を結像させる結像手段と、
前記リニアイメージセンサにより取得された複数の１次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行う解析手段と、を備えることを特徴とするイメージング装置。

【請求項7】

前記解析手段は、前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うことを特徴とする請求項６に記載のイメージング装置。

【請求項8】

前記空間光変調器は、デジタルマイクロミラーデバイスであることを特徴とする請求項６に記載のイメージング装置。

【請求項9】

前記結像手段は、シリンドリカルレンズであることを特徴とする請求項６に記載のイメージング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージセンサにより取得された撮像データから２次元画像もしくは３次元画像の再構成を行うためのイメージング方法およびイメージング装置に関する。

【背景技術】

【0002】

従来、イメージセンサにより取得された撮像データから２次元画像もしくは３次元画像の再構成を行う技術として、シングルピクセルイメージング（ＳＰＩ）やＣＣＤ・ＣＭＯＳによる高速カメラ技術が知られている。

【0003】

ＳＰＩは、撮像対象に特殊な投影パターンを重畳させた光をイメージセンサに結像させて撮影を繰り返し、取得された複数の撮像データに基づいて統計処理、線形変換、最適化計算等を行うことで撮像対象の像を再構成する技術である。また、ＳＰＩは、イメージセンサとして単位素子であるフォトダイオードを使用しているため、ＣＣＤ・ＣＭＯＳによる高速カメラ技術と比べて撮影できる波長帯の自由度が高く、原理的にはフォトダイオードの高速応答性に基づく高速イメージングが可能である。

【0004】

特許文献１のイメージング装置は、ＳＰＩを利用して３次元画像を再構成するものであり、照明光を照射する光源と撮像対象との間に設けられた空間光変調器と、該空間光変調器でパターン化された照明光が撮像対象に結像するように配置されるレンズと、撮像対象からの照明光の反射光または透過光が担持する撮像データを取得する撮像素子と、を備え、空間光変調器に表示される多値２次元の投影パターンを時間的に変化させ、空間光変調器に表示された投影パターンおよび、その投影パターンが表示された際に撮像素子の単位素子毎に取得された撮像データの関係を投影パターンの表示毎に取り込み、これら投影パターン毎に取り込んだ撮像データに基づいて、単位素子毎に２次元要素画像を再構成し、この再構成された単位素子毎の２次元要素画像に基づいて撮像対象の３次元画像を再構成することにより、解像度および奥行き方向の分解能に優れている。尚、特許文献１で使用される撮像素子は、単位素子を２次元的に配列させたものである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１３６８３７号公報（第５頁～第６頁、第１図）

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１のイメージング装置において高解像度の３次元画像を得るためには、単位素子毎に多くの投影パターンに基づく撮像データを取り込むことにより、解像度の高い２次元要素画像を再構成させる必要があることから、撮影に長い時間がかかるという問題があった。

【0007】

本発明は、このような問題点に着目してなされたもので、高速かつ高解像度に再構成画像を得ることができるイメージング方法およびイメージング装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

前記課題を解決するために、本発明のイメージング方法は、
撮像対象の像と複数の投影パターンを重畳させた光を単位素子が少なくとも２つ以上１次元的に並んだリニアイメージセンサに結像させるステップと、
前記リニアイメージセンサにより取得された複数の１次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行うステップと、を有することを特徴としている。
この特徴によれば、リニアイメージセンサにより取得された１次元撮像データは、集光方向と直交する方向に重複や欠損がない連続したデータであり、データ圧縮されないことから、複数の１次元撮像データに基づいて集光方向に最適化計算を行い、その結果と集光方向と直交する方向のデータを組み合わせることにより、少ない投影パターン数で高速かつ高解像度に再構成画像を得ることができる。また、本発明のイメージング方法は、撮像対象の像と複数の投影パターンを重畳させた光をリニアイメージセンサに結像させることにより、機械的走査を必要としないため、様々な撮像対象のイメージングに適用できる。

【0009】

前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うステップを有することを特徴としている。
この特徴によれば、先ず重複や欠損の多いリニアイメージセンサの集光方向に最適化計算を行い、その後、集光方向と直交する方向に２段階の最適化計算を行うことにより、より高解像度に再構成画像を得ることができる。

【0010】

前記リニアイメージセンサの集光方向の最適化計算は、複数の前記投影パターンの照射を表す行列Ａ、全変動を求める行列Ｂ、再構成される画像の集光方向のある１ラインを表すベクトルＸ＾、撮影データを表すベクトルｙを基に、数１に基づく演算を行い、撮影データと再構成される画像の集光方向のある１ラインの２乗誤差と、再構成される画像のある１ラインにおける全変動を最小化することを特徴としている。
この特徴によれば、集光方向のライン毎に最適化計算を行うことにより１ラインの再構成を行い、同様の最適化計算を撮像対象の画素数に応じて所定回数繰り返すことにより、高速かつ高解像度に再構成画像を得ることができる。

【0011】

【数1】

【0012】

前記リニアイメージセンサの集光方向の最適化計算と前記集光方向と直交する方向の最適化計算は、同じ数式が使用されることを特徴としている。
この特徴によれば、高速かつ高解像度に再構成画像を得ることができる。

【0013】

前記行列Ａは、複数の前記投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むことを特徴としている。
この特徴によれば、高速かつ高解像度に再構成画像を得ることができる。

【0014】

本発明のイメージング装置は、
複数の投影パターンを出力する空間光変調器と、
単位素子が少なくとも２つ１次元的に並んだリニアイメージセンサと、
前記リニアイメージセンサに撮像対象の像と前記複数の投影パターンを重畳させた光を結像させる結像手段と、
前記リニアイメージセンサにより取得された複数の１次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行う解析手段と、を備えることを特徴としている。
この特徴によれば、リニアイメージセンサにより取得された１次元撮像データは、集光方向と直交する方向に重複や欠損がない連続したデータであり、データ圧縮されないことから、複数の１次元撮像データに基づいて集光方向に最適化計算を行い、その結果と集光方向と直交する方向のデータを組み合わせることにより、少ない投影パターン数で高速かつ高解像度に再構成画像を得ることができる。また、本発明のイメージング装置は、撮像対象の像と複数の投影パターンを重畳させた光をリニアイメージセンサに結像させることにより、機械的走査を必要としないため、様々な撮像対象のイメージングに適用できる。

【0015】

前記解析手段は、前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うことを特徴としている。
この特徴によれば、リニアイメージセンサの集光方向と、集光方向と直交する方向に２段階の最適化計算を行うことにより、より高解像度に再構成画像を得ることができる。

【0016】

前記空間光変調器は、デジタルマイクロミラーデバイスであることを特徴としている。
この特徴によれば、緻密な投影パターンを高速で出力することが可能となるため、より高速かつ高解像度に再構成画像を得ることができる。

【0017】

前記結像手段は、シリンドリカルレンズであることを特徴としている。
この特徴によれば、簡素な構成で撮像対象の像と複数の投影パターンを重畳させた光をリニアイメージセンサに１次元的に結像させることができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施例におけるイメージング装置を示す模式図である。

【図2】実施例におけるイメージング方法の手順を示す図である。

【図3】（ａ）は、撮像対象であり、（ｂ）は、実施例におけるイメージング装置を用いたイメージング方法により再構成された撮像対象の再構成画像である。

【発明を実施するための形態】

【0019】

発明者らは、シングルピクセルイメージング（Ｓｉｎｇｌｅ－ｐｉｘｅｌ Ｉｍａｇｉｎｇ：ＳＰＩ）と同様に、撮像対象の像に投影パターンを重畳させた光を、単位素子が１次元的に並んだリニアイメージセンサに結像させて撮影を行い、投影パターンを変更しながらこの撮影を繰り返すことにより取得された複数の１次元撮像データに基づいてリニアイメージセンサの集光方向に最適化計算を行うことで、ＳＰＩと比べて格段に撮影回数を減らした上で、解像度を高めた画像再構成が可能となるとともに、ＣＣＤ・ＣＭＯＳによる高速カメラ技術と比べて格段にフレームレートが高く、解像度を高めた画像再構成が可能となるとの知見を得た。

【0020】

画像の再構成は、集光方向の１ライン毎に最適化計算を行い１ラインの再構成を行うものであり、この過程は以下数２の数式を用いて以下のように表現できる。

【0021】

【数2】

【0022】

ここで、Ｘは求めたい物体の集光方向の１ラインを表すベクトル、Ａは複数の投影パターンの照射と光学系による集光を表す行列、Ｂは複数の投影パターンを照射した時の強度データを表すベクトルである。例えば、撮像対象の画素数をＮ×Ｎ画素、投影パターン照射回数をＭとした場合、行列Ａの行ベクトルはある投影パターン（Ｎ次元ベクトル）を表し、投影パターン照射回数がＭ回の場合は、異なる行ベクトルが列方向にＭ個並ぶこととなり、行列ＡはＭ×Ｎの行列となる。また、ベクトルＸのサイズはＮ×１、ベクトルＢのサイズはＭ×１となる。

【0023】

行列Ａの逆行列が求められるのであれば、簡単にベクトルＸを求められるが、この行列Ａには逆行列が存在しないため、ベクトルＸ＾の全変動がスパースであるという条件を入れて、前述した数１の数式を用いて以下の最適化を行うことでベクトルＸ＾を推定する。

【0024】

本発明は、投影パターン毎にリニアイメージセンサに１次元的に結像されることで取得された複数の１次元撮像データに基づいてリニアイメージセンサの集光方向に最適化計算を行うことにより、高速かつ高解像度に２次元画像もしくは３次元画像の再構成を行うものである。好適には、集光方向の最適化計算に加え、集光方向と直交する方向の最適化計算を行うことにより、高速かつより高解像度に２次元画像もしくは３次元画像の再構成を行うものである。この２段階の最適化計算には、以下の数１の数式が用いられる。

【0025】

【数1】

【0026】

ここで、Ａは複数の投影パターンの照射を表す行列、Ｂは全変動を求める行列、Ｘ＾は再構成される画像の集光方向のある１ラインを表すベクトル、ｙは撮影データを表すベクトルであり、上記数式による最適化計算は、撮影データと再構成される画像の集光方向のある１ラインの２乗誤差と、再構成される画像のある１ラインにおける全変動を最小化するものである。また、行列Ａは、複数の投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むものである。尚、上記数式には、撮影の条件に応じた誤差等を反映する各種パラメータが追加されてもよい。

【0027】

好適には、数１の数式における行列Ｂは全変動を求める行列であって、ベクトルＸ＾の隣接する画素の差分を取る演算を行う行列である。この最適化演算により、撮像対象の集光方向の１ラインの再構成が行われ、この作業を集光方向に直交する方向に合計Ｎ回繰り返すことで、Ｎ×Ｎ画素の画像の再構成が行われる。すなわち、この最適化演算により、集光方向に圧縮された画像の再構成が行われ、Ｎ×Ｎ画素の画像の再構成が可能となっている。好適には、集光方向と直交する方向にも同様の最適化を行うことでノイズが除去されたＮ×Ｎ画素の画像を再構成することができる。

【0028】

また、最適化計算に使用される数１の数式において、行列Ａは、複数の投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むことにより、リニアイメージセンサにより取得される１次元撮像データの解析精度を高めることができるため、高速かつ高解像度に再構成画像を得ることができる。

【0029】

本発明に係るイメージング方法およびイメージング装置を実施するための形態を実施例に基づいて以下に説明する。

【実施例0030】

（イメージング装置）
図１に示されるように、本実施例におけるイメージング装置１は、複数の投影パターンを変調面２ａに出力可能な空間光変調器２と、単位素子が１次元的に並んだリニアイメージセンサ３と、撮像対象１０の像を空間光変調器２の変調面２ａに結像するレンズ４と、撮像対象１０の像と空間光変調器２の変調面２ａに出力される投影パターンを重畳させた光をリニアイメージセンサ３に１次元的に結像する結像手段としてのシリンドリカルレンズ５と、リニアイメージセンサ３により取得された１次元撮像データをアナログデータからデジタルデータに変換するＡ／Ｄコンバータ６と、デジタル変換された複数の１次元撮像データと空間光変調器２の投影パターンデータに基づいて最適化計算を行う解析手段としてのパーソナルコンピュータ７と、から主に構成されている。

【0031】

パーソナルコンピュータ７は、空間光変調器２の変調面２ａに出力される投影パターン毎に対応する１次元撮像データを記憶する記憶部と、記憶部に記憶された複数の１次元撮像データに基づいて２段階の最適化計算を行う解析部と、解析部により再構成された画像データを入力し再構成画像を表示する表示部と、を備えている。

【0032】

空間光変調器２は、デジタルマイクロミラーデバイス（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ：ＤＭＤ）であり、入力光に対する出力光の光強度を変調可能な複数の画素領域が配列された変調面２ａを有し、設定された投影パターンに基づいて変調面２ａの複数の画素領域それぞれにおいて２値以上の光強度変調が可能となっている。空間光変調器２としてＤＭＤを使用することにより、緻密な投影パターンを高速で出力することができる。

【0033】

尚、本実施例において空間光変調器２は、投影パターンとして白黒による２値２次元のランダムパターン（図１参照）を出力するものとして説明するが、これに限らず、白黒の他にグレイレベルを有する値を含めて３値以上からなる２次元のランダムパターンを出力することにより、画像再構成に必要な１次元撮像データの数を減らして解析を容易にしてもよい。また、投影パターンは、ランダムパターンに限らず、アダマール変換や離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）を用いたパターンに設定されることにより、より高速に再構成画像を得られるようにしてもよい。

【0034】

リニアイメージセンサ３は、Ｔｅｌｅｄｙｎｅ ＤＡＬＳＡ社製のＬｉｎｅａ ＨＳ ３２ｋ（１６３８４画素，３００ＫＨｚ／ライン）である。

【0035】

尚、本発明のイメージング方法におけるリニアイメージセンサは、理論上、単位素子が１次元的に２つ並んだものであってもよい。

【0036】

レンズ４は、両凸レンズであり、撮像対象１０の像を空間光変調器２の変調面２ａに結像させる。

【0037】

結像手段は、平凸型のシリンドリカルレンズ５であり、レンズ４により空間光変調器２の変調面２ａに結像される撮像対象１０の像と、空間光変調器２の変調面２ａに出力される投影パターンを重畳させた光を集光しリニアイメージセンサ３に１次元的に結像させる。

【0038】

尚、本実施例において、リニアイメージセンサ３の集光方向とは、シリンドリカルレンズ５により集光される方向、すなわちリニアイメージセンサ３の短手方向（図１参照）のことであり、リニアイメージセンサ３の集光方向と直交する方向とは、シリンドリカルレンズ５により集光されない方向、すなわちリニアイメージセンサ３の長手方向（図１参照）、言い換えればリニアイメージセンサ３を構成する単位素子が１次元的に並ぶ方向のことである。

【0039】

（イメージング方法）
次に、本実施例におけるイメージング装置１を用いたイメージング方法について図２のフローチャートを用いて説明する。先ず、撮像対象１０の像がレンズ４により空間光変調器２の変調面２ａに結像（ステップＳ０１）されると、空間光変調器２の変調面２ａに予め設定された投影パターンの出力（ステップＳ０２）が行われ、撮像対象１０の像と空間光変調器２の変調面２ａに出力される投影パターンを重畳させた光がシリンドリカルレンズ５によりリニアイメージセンサ３に１次元的に結像（ステップＳ０３）される。

【0040】

次いで、リニアイメージセンサ３により１次元撮像データが取得（ステップＳ０４）されると、当該１次元撮像データがＡ／Ｄコンバータ６によりアナログデータからデジタルデータに変換（ステップＳ０５）され、デジタル変換された１次元撮像データが撮影時に空間光変調器２の変調面２ａに出力された投影パターンデータと紐付けられてパーソナルコンピュータ７の記憶部に記憶（ステップＳ０６）される。

【0041】

次いで、パーソナルコンピュータ７は、記憶部に記憶された１次元撮像データの数が予め設定された撮影回数と同数に到達したか否かを判定（ステップＳ０７）する。尚、記憶部に記憶された１次元撮像データの数が予め設定された撮影回数に到達するまで空間光変調器２の変調面２ａに出力される投影パターンを変更しながらステップＳ０２～Ｓ０７が繰り返される。

【0042】

次いで、記憶部に記憶された１次元撮像データの数が予め設定された撮影回数に到達すると、解析部において上述した数式を使用して複数の１次元撮像データと投影パターンデータに基づいてリニアイメージセンサ３の集光方向に最適化計算（ステップＳ０８）が行われ、その後、同じ数式を使用してリニアイメージセンサ３の集光方向に直交する方向に最適化計算（ステップＳ０９）が行われる。

【0043】

次いで、解析部において、ステップＳ０７とステップＳ０８における最適化計算の結果を組み合わせることにより画像再構成（ステップＳ１０）が行われ、再構成された画像が表示部に表示（ステップＳ１１）される。

【0044】

尚、パーソナルコンピュータ７には、空間光変調器２が接続されており、予め設定された撮影回数および撮影毎に空間光変調器２の変調面２ａに出力される投影パターン等の情報が共有されている。

【0045】

このように、本実施例におけるイメージング装置１を用いたイメージング方法は、撮像対象１０の像と空間光変調器２の変調面２ａに出力される複数の投影パターンを重畳させた光をシリンドリカルレンズ５により集光してリニアイメージセンサ３に１次元的に結像させることにより、リニアイメージセンサ３により取得される複数の１次元撮像データは、リニアイメージセンサ３の集光方向にはデータ圧縮されるが、集光方向と直交する方向にはデータ圧縮されず重複や欠損がない連続したデータとなることから、投影パターン毎に取得された複数の１次元撮像データに基づいてリニアイメージセンサ３の集光方向に最適化計算を行った後、リニアイメージセンサ３の集光方向と直交する方向に最適化計算を行い、これらの結果を組み合わせることにより、少ない投影パターン数で高速かつ高解像度に再構成画像を得ることができる。

【0046】

本実施例におけるイメージング装置１を用いたイメージング方法が従来のＳＰＩと比べて格段に撮影回数を減らした上で、解像度を高めた画像再構成が可能となるとともに、ＣＣＤ・ＣＭＯＳによる高速カメラ技術と比べて格段にフレームレートが高く、解像度を高めた画像再構成が可能となる理由として、撮像対象の像に投影パターンを重畳させた光を１つの単位素子からなるポイントセンサに結像させて撮影を行うＳＰＩと比較すると、リニアイメージセンサ３は単位素子が１次元的に並んでいることにより単位素子の数が増えているため、１回の撮影で取得できる情報量が多くなる。詳しくは、リニアイメージセンサ３は単位素子が１次元的に並んでいるため、リニアイメージセンサ３の長手方向、すなわちリニアイメージセンサ３の集光方向と直交する方向における空間分解能が高くなっている。そのため、撮像対象１０の像に投影パターンを重畳させた光をシリンドリカルレンズ５により集光しリニアイメージセンサ３に１次元的に結像することで取得される１次元撮像データは、集光方向にはデータ圧縮され、ＳＰＩと同様に解像度の低い点データと見なすことができ、集光方向と直交する方向にはデータ圧縮されず、重複や欠損がない高解像度の連続したデータと見なすことができる。

【0047】

このように、リニアイメージセンサ３により取得される１次元撮像データは、リニアイメージセンサ３の集光方向と直交する方向に重複や欠損がない連続した高解像度のデータであるため、１回の撮影で取得できる情報量が多く、投影パターン毎に取得された複数の１次元撮像データに基づいて最適化計算を行わなくても各データの関連性がある適度明らかな状態となっている。そのため、投影パターン毎に取得された複数の１次元撮像データから画像再構成を行うためには、少なくとも解像度の低い点データと見なすことができるリニアイメージセンサ３の集光方向のデータに基づいて最適化計算を行うことにより、集光方向のデータの関連性を求めればよいこととなり、結果的に画像再構成に必要な撮影回数を減らした上で、解像度を高めた画像再構成が可能となる。

【0048】

また、本実施例のイメージング装置１を用いたイメージング方法では、リニアイメージセンサ３の集光方向と、集光方向と直交する方向の２段階の最適化計算を行う上に、これらの最適化計算には同じ数式が使用されるため、より高速かつ高解像度に再構成画像を得ることができる。

【0049】

ここで、本実施例のイメージング装置１を用いたイメージング方法と、ＣＭＯＳによる高速カメラ技術との比較を行った結果について説明する。高速カメラ技術に使用されるイメージセンサとして、キャノン社製の１２０ＭＸＳ ＣＭＯＳセンサ（１３２７２×９１７６画素）を使用した。尚、当該ＣＭＯＳセンサは、フレームレート９．４ｆｐｓで、データの転送には１１．３Ｇｂｐｓが必要となる。対して、本実施例のイメージング装置１を構成するリニアイメージセンサ３は、Ｔｅｌｅｄｙｎｅ ＤＡＬＳＡ社製のＬｉｎｅａ ＨＳ ３２ｋ（１６３８４画素，３００ＫＨｚ／ライン）を使用した。尚、本実施例のイメージング装置１を用いたイメージング方法では、１ラインの５０％の投影パターン数があれば十分高解像度の再構成画像（１６３８４×１６３８４画素）が得られることが発明者らによって検証されている。

【0050】

これらの条件で本実施例のイメージング装置１を用いたイメージング方法によるイメージング性能を見積もると、投影パターン数は８１９２回となるため、フレームレート３７ｆｐｓ（≒３００ＫＨｚ／８１９２）の速度で、１６３８４×１６３８４画素の画像を取得できる見積もりとなる。このように、本実施例のイメージング装置１を用いたイメージング方法とは、ＣＭＯＳによる高速カメラ技術と比べて格段に高フレームレートで解像度を高めた画像再構成が可能となることが確認された。

【0051】

また、本実施例のイメージング装置１を用いたイメージング方法によるデータの転送には、１Ｇｂｐｓが必要となる。これは、本実施例のイメージング装置１を用いたイメージング方法には、暗にデータ圧縮の機能が備わっていることを示している。

【0052】

また、本実施例のイメージング装置１を用いたイメージング方法と、ＳＰＩとの比較を行った結果について説明する。ＳＰＩで１６３８４×１６３８４画素の画像を再構成することを考えると、最適化手法（圧縮センシング）を使用した場合には再構成画像の画素数の約１０％、すなわち約２６８０万回の投影パターン数が必要となり、深層学習の場合には再構成画像の画素数の約２％、すなわち５４０万回の投影パターン数が必要となる。本実施例のイメージング装置１を用いたイメージング方法では、１６３８４×１６３８４画素の画像を再構成するために必要な投影パターン数は８１９２回であることから、ＳＰＩと比べて格段に撮影回数を減らした上で解像度を高めた画像再構成が可能となることが確認された。

【0053】

尚、リニアイメージセンサ３は、１ラインのものを想定しているが、複数ラインのものを使用することにより、撮影回数をさらに減らして画像再構成を行うことができる。この場合、リニアイメージセンサのライン毎に受光角度が変化するため、ライン毎に最適化計算の数式における行列Ａが設定される。

【0054】

また、本実施例におけるイメージング装置１を用いたイメージング方法は、撮像対象１０の像と複数の投影パターンを重畳させた光をシリンドリカルレンズ５によりリニアイメージセンサ３に１次元的に結像させることにより、機械的走査を必要としないため、様々な撮像対象のイメージングに適用できる。

【0055】

尚、本実施例においては、１つのリニアイメージセンサ３を用いて１次元撮像データから２次元画像を再構成する態様について説明してきたが、これに限らず、例えばリニアイメージセンサを複数配置して異なる角度から１次元撮像データをそれぞれ取得させることにより、三角測量の原理を応用して３次元画像を再構成してもよい。

【0056】

以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

【0057】

例えば、前記実施例では、２段階の最適化計算において同じ数式を使用する態様について説明したが、これに限らず、例えば集光方向と直交する方向の最適化計算において異なる数式が使用されてもよい。

【0058】

また、前記実施例では、最適化計算の数式を用いた１次元撮像データの解析により画像再構成を行うものとして説明したが、深層学習により画像再構成を行ってもよい。

【0059】

また、リニアイメージセンサは、単位素子が１次元的に連続して複数並んだものに限らず、ＳＰＩに使用されるポイントセンサが所定間隔置きに複数並んだものであってもよい。

【0060】

また、空間光変調器は、ＤＭＤに限らず、高精度かつ高速に変調を行うことができるものであればよい。

【0061】

また、前記実施例では、撮像対象の像を空間光変調器の変調面に結像して投影パターンと重畳させる態様について説明したが、これに限らず、空間光変調器の変調面に出力された投影パターンを撮像対象に照射して撮像対象の像と重畳させてもよい。

【0062】

また、結像手段は、シリンドリカルレンズに限らず、リニアイメージセンサに撮像対象の像と投影パターンを重畳させた光を１次元的に結像できるように構成されるものであればよい。

【0063】

また、撮像対象の像と投影パターンを重畳させた光は、少なくともリニアイメージセンサが感度を有する波長であればよく、撮像対象の像は、撮影用に設定された光源からの照射光により得られるものであっても、太陽光等の自然光により得られるものであってもよい。

【符号の説明】

【0064】

１ イメージング装置
２ 空間光変調器
２ａ 変調面
３ リニアイメージセンサ
４ レンズ
５ シリンドリカルレンズ（結像手段）
６ Ａ／Ｄコンバータ
７ パーソナルコンピュータ（解析手段）
１０ 撮像対象

【図1】

【図2】

【図3】