(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024100022
(43)【公開日】2024-07-26
(54)【発明の名称】画像取得装置
(51)【国際特許分類】
H04N 23/955 20230101AFI20240719BHJP
H04N 23/951 20230101ALI20240719BHJP
【FI】
H04N23/955
H04N23/951
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023003715
(22)【出願日】2023-01-13
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】片桐 佳来
(72)【発明者】
【氏名】宅見 宗則
(72)【発明者】
【氏名】内田 圭祐
(72)【発明者】
【氏名】瀧口 優
(72)【発明者】
【氏名】北山 研一
(72)【発明者】
【氏名】石井 勝弘
(72)【発明者】
【氏名】大石 友則
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122EA37
5C122FB17
5C122FH18
5C122HA82
(57)【要約】
【課題】対象物の高解像度画像を精度よく得ること。
【解決手段】画像取得装置1は、対象物Sからの平行波Bの一部の透過率を、平行波Bの入射方向であるZ軸方向に交差するxy平面上で変化させるマスク画素9aを有するマスク部材9と、平行波Bの入射方向に交差する方向に並んで配置され、マスク部材9を透過した平行波Bを検出する複数の画素11bを有する検出器11と、マスク部材9と対象物Sとの間の相対的な移動量に関するデータと、検出器11から入力された複数の画素11bの検出信号Oとを基に圧縮センシングを用いて画像を再構成する画像処理装置7と、を備え、マスク部材9のマスク画素9aのxy平面上のサイズは、複数の画素11bのxy平面に沿ったサイズよりも小さい。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象物からのビームの一部の透過率を、前記ビームの入射方向に交差する交差面上で変化させるパターンを有するマスク部材と、
前記ビームの入射方向に交差する方向に並んで配置され、マスク部材を透過したビームを検出する複数の画素を有する検出器と、
前記マスク部材と前記対象物との間の相対的な移動量に関するデータと、前記検出器から入力された前記複数の画素の検出信号とを基に圧縮センシングを用いて画像を再構成する処理部と、を備え、
前記マスク部材のパターンの前記交差面上のサイズは、前記複数の画素の前記交差面に沿ったサイズよりも小さい、
画像取得装置。
【請求項2】
前記処理部は、前記相対的な移動量が変化した際に得られた複数組の前記複数の画素の検出信号を基に前記画像を再構成する、
請求項1に記載の画像取得装置。
【請求項3】
前記マスク部材を前記対象物に対して移動させ、前記移動量に関するデータを前記処理部に出力する移動機構をさらに備える、
請求項1又は2に記載の画像取得装置。
【請求項4】
前記対象物を前記マスク部材に対して移動させる搬送機構をさらに備える、
請求項1又は2に記載の画像取得装置。
【請求項5】
前記ビームとして電磁波を照射する光源をさらに備え、
前記マスク部材のパターンの前記交差面上のサイズは、前記電磁波の波長よりも大きい、
請求項1又は2に記載の画像取得装置。
【請求項6】
前記対象物と前記検出器との間に配置され、前記対象物からの前記ビームを前記検出器に結像するレンズ部材をさらに備える、
請求項1又は2に記載の画像取得装置。
【請求項7】
前記マスク部材と前記検出器とを複数組有する、
請求項1又は2に記載の画像取得装置。
【請求項8】
前記検出器は、2次元的に配列された前記複数の画素を有する、
請求項1又は2に記載の画像取得装置。
【請求項9】
前記処理部は、複数画素にわたった関心領域のみにスパース性を課し、画像再構成する、
請求項1又は2に記載の画像取得装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態の一側面は、対象物の画像を取得する画像取得装置に関する。
【背景技術】
【0002】
従来から、対象物の高解像度画像を取得する手法が知られている。例えば、下記非特許文献1には、圧縮センシングと呼ばれる画像再構成技術を用いて対象物の高解像度画像を取得する手法について開示されている。この手法によれば、対象物を撮像するイメージセンサの出力を基に、そのイメージセンサの画素より細かい解像度の画像を再構成することができる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】W. Saafin, M. Vega, R. Molinaand A. K. Katsaggelos, “Image super-resolution fromcompressed sensing observations”, 2015 IEEEInternational Conference on Image Processing (ICIP), 2015, pp. 4268-4272
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような従来の手法においては、イメージセンサの画素よりも細かな構造を有する対象物を対象とした場合に再構成された画像の精度が十分ではない傾向にある。また、イメージセンサの画素からの情報量が少ないために、再構成された画像の精度が低下する傾向にもある。
【0005】
そこで、実施形態の一側面は、対象物の高解像度画像を精度よく得ることが可能な画像取得装置を提供することを課題とする。
【課題を解決するための手段】
【0006】
実施形態の一側面に係る画像取得装置は、対象物からのビームの一部の透過率を、ビームの入射方向に交差する交差面上で変化させるパターンを有するマスク部材と、ビームの入射方向に交差する方向に並んで配置され、マスク部材を透過したビームを検出する複数の画素を有する検出器と、マスク部材と対象物との間の相対的な移動量に関するデータと、検出器から入力された複数の画素の検出信号とを基に圧縮センシングを用いて画像を再構成する処理部と、を備え、マスク部材のパターンの交差面上のサイズは、複数の画素の交差面に沿ったサイズよりも小さい。
【0007】
上記一側面においては、ビームの入射方向に交差する交差面上のマスク部材のパターンのサイズが、検出器の画素の交差面に沿ったサイズよりも小さくされている。そして、処理部では、当該入射方向に交差する方向に配置された複数の画素の検出信号と、マスク部材と対象物との間の相対的な移動量に関するデータを基に、圧縮センシングによって画像が再構成される。これにより、空間上の透過率を細かく変化させた上で検出した検出信号を用いることにより、複数の画素からの情報量を多くすることができる。その結果、対象物の高解像度画像を精度よく得ることができる。
【0008】
上記一側面においては、処理部は、相対的な移動量が変化した際に得られた複数組の複数の画素の検出信号を基に画像を再構成する、ことが好適である。この場合、空間上の透過率の変化のパターンを変えながら得た複数組の検出信号を基に画像を再構成することができ、対象物の高解像度画像の精度をさらに向上させることができる。
【0009】
また、上記一側面においては、マスク部材を対象物に対して移動させ、移動量に関するデータを処理部に出力する移動機構をさらに備える、ことも好適である。この場合、コンパクトな装置構成により対象物の高解像度画像を精度よく得ることができる。
【0010】
また、上記一側面においては、対象物をマスク部材に対して移動させる搬送機構をさらに備える、ことも好適である。この場合、対象物の大きさに関わらず、検出器を含む光学系のサイズを小型化することができる。
【0011】
さらに、上記一側面においては、ビームとして電磁波を照射する光源をさらに備え、マスク部材のパターンの交差面上のサイズは、電磁波の波長よりも大きい、ことも好適である。かかる構成を採れば、電磁波を照射して得られた対象物の検出信号を用いて対象物の高解像度画像を精度よく得ることができる。
【0012】
またさらに、上記一側面においては、対象物と検出器との間に配置され、対象物からのビームを検出器に結像するレンズ部材をさらに備える、ことも好適である。こうすれば、対象物と検出器との間の距離が離れていても、対象物からのビームを拡大して検出器で検出させることができ、対象物の高解像度画像を精度よく得ることができる。
【0013】
さらにまた、上記一側面においては、マスク部材と検出器とを複数組有する、ことも好適である。かかる構成を採れば、空間上の透過率の変化のパターンを変えた場合の複数組の検出信号を効率的に取得することができる。
【0014】
また、上記一側面においては、検出器は、2次元的に配列された複数の画素を有する、ことも好適である。この場合、広い範囲で精度の高い高解像度画像を効率的に得ることができる。
【0015】
さらに、上記一側面においては、処理部は、複数画素にわたった関心領域のみにスパース性を課し、画像再構成する、ことも好適である。この場合、限定した範囲での精度の高い高解像度画像を効率的に得ることができる。
【0016】
実施形態の画像取得装置は、[1]「対象物からのビームの一部の透過率を、前記ビームの入射方向に交差する交差面上で変化させるパターンを有するマスク部材と、前記ビームの入射方向に交差する方向に並んで配置され、マスク部材を透過したビームを検出する複数の画素を有する検出器と、前記マスク部材と前記対象物との間の相対的な移動量に関するデータと、前記検出器から入力された前記複数の画素の検出信号とを基に圧縮センシングを用いて画像を再構成する処理部と、を備え、前記マスク部材のパターンの前記交差面上のサイズは、前記複数の画素の前記交差面に沿ったサイズよりも小さい、画像取得装置」である。
【0017】
実施形態の画像取得装置は、[2]「前記処理部は、前記相対的な移動量が変化した際に得られた複数組の前記複数の画素の検出信号を基に前記画像を再構成する、上記[1]に記載の画像取得装置」であってもよい。
【0018】
実施形態の画像取得装置は、[3]「前記マスク部材を前記対象物に対して移動させ、前記移動量に関するデータを前記処理部に出力する移動機構をさらに備える、上記[1]又は[2]に記載の画像取得装置」であってもよい。
【0019】
実施形態の画像取得装置は、[4]「 前記対象物を前記マスク部材に対して移動させる搬送機構をさらに備える、上記[1]又は[2]に記載の画像取得装置」であってもよい。
【0020】
実施形態の画像取得装置は、[5]「前記ビームとして電磁波を照射する光源をさらに備え、前記マスク部材のパターンの前記交差面上のサイズは、前記電磁波の波長よりも大きい、上記[1]~[4]のいずれかに記載の画像取得装置」であってもよい。
【0021】
実施形態の画像取得装置は、[6]「前記対象物と前記検出器との間に配置され、前記対象物からの前記ビームを前記検出器に結像するレンズ部材をさらに備える、上記[1]~[5]のいずれかに記載の画像取得装置」であってもよい。
【0022】
実施形態の画像取得装置は、[7]「前記マスク部材と前記検出器とを複数組有する、上記[1]~[6]のいずれかに記載の画像取得装置」であってもよい。
【0023】
実施形態の画像取得装置は、[8]「 前記検出器は、2次元的に配列された前記複数の画素を有する、上記[1]~[7]のいずれかに記載の画像取得装置」であってもよい。
【0024】
実施形態の画像取得装置は、[9]「 前記処理部は、複数画素にわたった関心領域のみにスパース性を課し、画像再構成する、上記[1]~[8]のいずれかに記載の画像取得装置」であってもよい。
【発明の効果】
【0025】
本開示によれば、対象物の高解像度画像を精度よく得ることができる。
【図面の簡単な説明】
【0026】
【
図1】
図1は、第1実施形態に係る画像取得装置1の構成を示す図である。
【
図2】
図2は、マスク部材9の対象物Sに対する移動状態に対応して取得される検出信号Oのイメージを示す図である。
【
図3】
図3は、1回目の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示す図である。
【
図4】
図4は、k回目の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示す図である。
【
図5】
図5は、第2実施形態に係る画像取得装置1Aの構成を示す図である。
【
図6】
図6は、対象物Sのマスク部材9に対する移動状態に対応して取得される検出信号Oのイメージを示す図である。
【
図7】
図7は、第2実施形態において画像処理装置7が取得する再構成画像のイメージを示す図である。
【
図8】
図8は、1回目の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示す図である。
【
図9】
図9は、k回目の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示す図である。
【
図10】
図10は、第1変形例に係る画像取得装置1Bの構成を示す図である。
【
図11】
図11は、第2変形例に係る画像取得装置1Cの構成を示す図である。
【発明を実施するための形態】
【0027】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【0028】
[第1実施形態]
図1は、第1実施形態に係る画像取得装置1の構成を示す図である。
図1においては、対象物の検出光学系についてはその構成が斜視図で示され、その他の構成はブロック図で示され、検出光学系の設置面に沿った方向をx軸方向及びy軸方向とし、x軸方向及びy軸方向に直交する方向であって対象物Sへの電磁波(ビーム)の入射方向をz軸方向とする。画像取得装置1は、対象物Sの高解像度画像を取得する装置である。画像取得装置1は、照明光学系3、検出光学系5、及び画像処理装置(処理部)7を備える。
【0029】
検出光学系5は、マスク部材9、検出器11、及び移動機構(搬送部)13を有する。マスク部材9は、対象物Sからz軸方向に離れて対象物Sに向かい合って配置され、xy平面(電磁波の入射方向に交差する交差面)に沿ってx軸方向に延びる略矩形状の光学部材である。マスク部材9は、検出光学系5から出射されて対象物Sを透過した電磁波をxy平面上で空間的に変調して透過させる構造を有する。本実施形態では、マスク部材9は、x軸方向及びy軸方向に2次元的に分割して形成された互いに同一サイズの正方形領域の複数のマスク画素(パターン)9aを有する。複数のマスク画素9aのサイズは、対象物Sを透過する電磁波の波長よりも大きい。複数のマスク画素9aは、光の透過率が2つの値(具体的には、0%あるいは100%)のいずれかに設定され、透過率が異なる2種類のマスク画素9aの配置パターンが不規則となるように形成されている。マスク画素9aの個数は特定の個数には限定されないが、例えば、x軸方向の配置数:81、及び、y軸方向の配置数:32の合計2,592個である。
【0030】
移動機構13は、ステッピングモータ、サーボモータ、あるいはギヤードモータ等の駆動部を内蔵し、マスク部材9をx軸方向に直線的に移動させる機能を有する。移動機構13は、予め設定された距離(例えば、マスク画素9aのx軸方向のサイズ)で、マスク部材9を複数のマスク画素9aの配列方向に沿って繰り返し移動させる。また、移動機構13は、マスク部材9のx軸方向に沿った移動量に関するデータを画像処理装置7に出力する。
【0031】
検出器11は、マスク部材9からz軸方向に離れて対象物S及びマスク部材9に向かい合って配置され、検出光学系5から出射されて対象物S及びマスク部材9を透過した電磁波の強度分布を検出する素子である。検出器11は、対象物S側にxy平面に沿った矩形状の受光面11aを有し、その受光面11a上において、x軸方向及びy軸方向(電磁波の入射方向に交差する方向)に2次元的に分割されて並んで配列された互いに同一サイズの正方形領域の複数の画素11bを有する。受光面11a上の画素11bの個数は特定の個数には限定されないが、例えば、x軸方向の配置数:4、及び、y軸方向の配置数:4の合計16個である。ここで、画素11bのx軸方向に沿ったサイズ及びy軸方向に沿ったサイズのそれぞれは、マスク画素9aのx軸方向に沿ったサイズ及びy軸方向に沿ったサイズよりも大きく、例えば、画素11bのx軸方向に沿ったサイズ及びy軸方向に沿ったサイズは、それぞれ、マスク画素9aのx軸方向に沿ったサイズ及びy軸方向に沿ったサイズの8倍である。
【0032】
照明光学系3は、光源装置(光源)15及びレンズ17を有する。光源装置15は対象物Sに向けてz軸方向に電磁波を照射する。光源装置15は、電磁波として、可視光、テラヘルツ波、赤外線、紫外線、X線、あるいはガンマ線を照射する。本実施形態の光源装置15としては、一例として可視光を照射する装置が用いられる。レンズ17は、光源装置15から照射された電磁波を、z軸方向に沿って平行に伝搬する平行波Bに変換して対象物Sに入射させる。
【0033】
画像処理装置7は、対象物Sの高解像度画像を生成する演算装置である。画像処理装置7は、物理的には、プロセッサであるCPU(Central Processing Unit)、記録媒体であるRAM(Random Access Memory)又はROM(Read Only Memory)、通信モジュール、及び入出力モジュール等を含んだコンピュータ等である。なお、画像処理装置7は、入出力デバイスとして、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、画像処理装置7は、複数のコンピュータによって構成されていてもよい。画像処理装置7は、検出器11及び移動機構13から有線通信あるいは無線通信を利用してデータを受信可能に構成されている。以下、画像処理装置7の機能について詳述する。
【0034】
画像処理装置7は、検出器11から、移動機構13によってK回(Kは任意の整数)ほど繰り返しマスク部材9を移動させたそれぞれのタイミングにおいて、検出器11から複数の画素11bの検出信号Oの入力を受けるとともに、1回目からK回目の測定時のマスク部材9と対象物Sとの間の相対的な移動量に関するデータを取得する。相対的な移動量に関するデータは、画像処理装置7内に予め設定されていてもよいし、移動機構13から入力されてもよい。画像処理装置7は、1回目からK回目までの検出信号O1~OKと、1回目からK回目までの相対的な移動量に関するデータとを用いて、圧縮センシングを用いて画像を再構成することにより高解像度画像である再構成画像を生成する。
【0035】
図2は、マスク部材9の対象物Sに対する移動状態に対応して取得される検出信号Oのイメージを示す図である。このように、対象物Sに対するマスク部材9のx軸方向に沿った移動量が所定間隔で変化した場合の複数組の画素11bの検出信号O
1,O
2,…O
Kが取得される。
【0036】
ここで、検出器11の画素数を、x軸方向:M個、及び、y軸方向:N個(M,Nは正の整数)とし、x軸方向:S=P×M個、及びy軸方向:T=Q×N個(P,Qは正の整数)の画素によって構成される再構成画像を生成する場合の画像処理装置7の機能について説明する。この場合、再構成画像は、検出器11の各画素11bを、x軸方向にP個、及びy軸方向にQ個で細分化した画像となる。以下の説明では、複数の画素11bを分割した領域を(m,n;p,q)で示す。この表現は、x軸方向のm番目(m列目ともいう)であってy軸方向のn番目(n行目ともいう)である画素を分割した正方形の領域のうちのp列目、q行目の領域を示す。画像処理装置7は、検出器11で平行波を検出することを前提とした再構成画像の生成機能を有するが、照明光学系3が球面波を照射する構成の場合も各構成要素間の距離から見積もられる拡大率を考慮することによって同様に再構成画像を生成することができる。
【0037】
図3には、1回目の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示している。検出器11のある領域(m,n:p,q)には、対象物S上の領域Ω
obs(m,n:p、q)、及びマスク部材9上の領域のΩ
mask(m,n:p,q)を透過した光が入射する。1回目の測定時のマスク部材9の透過率のxy平面上の分布T(x、y)は既知であり、この分布からマスク部材9の領域(m,n:p,q)における透過率T
1(m,n:p,q)は、下記式(1);
【数1】
によって表される。ここで、上記式中のΩ
maskは、検出器11のある領域(m,n:p,q)に入射する光がマスク部材9のどこを通過するかを表した領域(面)を意味する。上記式(1)は、分布T(x、y)をΩ
mask内にあるすべての点(x,y)について面積分した値を、Ω
maskの面積で割った値を表している。言い換えれば、T
1(m,n;p,q)は、検出器11のある領域(m,n:p,q)に入射する光が通過するマスク部材の領域の空間的な透過率の平均値である。また、対象物S上の領域Ω
obs(m,n:p,q)を透過する光強度I
obs(m,n:p,q)は、対象物Sを透過するxy平面上の光強度分布I
obs(x,y)を用いて下記式(2);
【数2】
で表わされる。
【0038】
図4には、k回目(kは2以上K以下の整数)の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示している。マスク部材9と対象物Sとの間の相対的な移動量に関するデータを基に、k回目の測定時におけるマスク部材9のx軸方向の移動量u
k及びy軸方向の移動量v
kが特定される。この移動量(u
k,v
k)から、k回目の測定時におけるマスク部材9の領域(m,n:p,q)における透過率T
k(m,n:p,q)は、下記式(3);
【数3】
によって表される。また、対象物S上の領域Ω
obs(m,n:p、q)を透過する光強度I
obs(m,n:p,q)は、対象物Sを透過するxy平面上の光強度分布I
obs(x,y)を用いて下記式(4);
【数4】
によって表される。
【0039】
k回目の測定時の検出器11のm列目、n行目の画素11bの検出信号O
k(m,n)は、当該画素内の分割領域に入射する光強度の総和として、下記式(5);
【数5】
によって表される。K回の測定で得られた検出信号O
k(m,n)を順に並べた一次元ベクトルを測定ベクトルy、光強度I
obs(m,n:p,q)を順に並べた一次元ベクトルを再構成画像ベクトルxとすると、上式(5)より、測定ベクトルyの各要素が再構成画像ベクトルxの要素の線形和で表現できることから、変換行列Dを用いて下記式(6);
【数6】
で表わすことができる。
【0040】
上記の理論を利用して、画像処理装置7は、既知の値であるマスクの透過率分布T(x、y)、及び各測定におけるマスク部材9と対象物Sとの間の相対的な移動量に関するデータを参照して、画像再構成の計算に必要な変換行列Dを求める。すなわち、測定ベクトルyのi番目の要素y
iを、i=(k-1)NM+(n-1)M+mとしたときのO
k(m,n)となるように測定ベクトルyの並べ方を設定する。また、再構成画像ベクトルxのi番目の要素x
iを、i={(n-1)Q+q-1}MP+(m-1)P+pとしたときのI
obs(m,n:p,q)となるように再構成画像ベクトルxの並べ方を設定する。画像処理装置7は、NMPQ列、KNM行の2次元行列である変換行列Dのi列、j行の要素Di,jを、i={(n
i-1)Q+q
i-1}MP+(m
i-1)P+p
iを満たす値n
i,m
i,p
i,q
iと、j=(k
j-1)NM+(n
j-1)M+m
jを満たす値k
j,n
j,m
jを用いて、下記式(7);
【数7】
によって計算する。上記計算を繰り返すことにより、画像処理装置7は、変換行列Dを求めることができる。δ
n,mはクロネッカーのデルタと呼ばれる関数であり(n,mはそれぞれ自然数)、n=mの場合にδ
n,m=1となり、n≠mの場合にδ
n,m=0となる関数である。
【0041】
さらに、画像処理装置7は、計算した変換行列D及び測定ベクトルyを用いて、再構成画像ベクトルxを計算する。一般に、再構成画像ベクトルxがある基底v
iと係数a
iを用いて下記式(8);
【数8】
で示すような線形和で記述できる場合には、係数a
iを並べた一次元ベクトルaは基底v
iを並べた行列の逆行列Ψを用いて、下記式(9);
【数9】
によって表される。画像処理装置7は、再構成画像ベクトルxが基底v
iに関してスパース性を持つと仮定して、一次元ベクトルaのほとんどの要素が値を持たない0の成分でありわずかな要素のみが値を持つとして、下記の一般化l
1正則化問題(一般化LASSO)を解くことにより、再構成画像ベクトルxを算出する。
【数10】
あるいは、画像処理装置7は、下記の一般化l
1最適化問題を解くことにより、再構成画像ベクトルxを算出してもよい。
【数11】
例えば、画像処理装置7は、JP特許第7063378号に記載の圧縮センシングアルゴリズムの一種であるADMM(Alternating Direction Method of Multipliers)を用いて、再構成画像ベクトルxを算出することができる。
【0042】
画像処理装置7は、上記のようにして再構成した再構成画像ベクトルxを二次元の再構成画像に変換する。そして、画像処理装置7は二次元の再構成画像をディスプレイ、タッチパネルディスプレイ等の出力デバイスに出力する。
【0043】
本実施形態の作用効果について説明する。
【0044】
画像取得装置1においては、平行波Bの入射方向に交差するxy平面上のマスク部材9のマスク画素9aのサイズが、検出器11の画素11bのxy平面に沿ったサイズよりも小さくされている。そして、画像処理装置7では、当該入射方向に交差する方向に配置された複数の画素11bの検出信号Oと、マスク部材9と対象物Sとの間の相対的な移動量に関するデータを基に、圧縮センシングによって高解像度画像が再構成される。これにより、空間上の透過率を細かく変化させた上で検出した検出信号Oを用いることにより、複数の画素11bからの情報量を多くすることができる。その結果、対象物Sの高解像度画像を精度よく得ることができる。
【0045】
また、画像処理装置7は、相対的な移動量が変化した際に得られた複数組の複数の画素11bの検出信号O1~OKを基に画像を再構成している。この場合、空間上の透過率の変化のパターンを変えながら得た複数組の検出信号O1~OKを基に画像を再構成することができ、対象物Sの高解像度画像の精度をさらに向上させることができる。
【0046】
また、画像取得装置1は、マスク部材9を対象物Sに対して移動させ、移動量に関するデータを画像処理装置7に出力する移動機構13をさらに備える。この場合、コンパクトな装置構成により対象物Sの高解像度画像を精度よく得ることができる。
【0047】
また、画像取得装置1は電磁波を照射する光源装置15をさらに備え、マスク部材9のマスク画素9aのxy平面上のサイズは、電磁波の波長よりも大きく設定されている。かかる構成を採れば、電磁波を照射して得られた対象物Sの検出信号Oを用いて対象物Sの高解像度画像を精度よく得ることができる。
【0048】
また、検出器11は、2次元的に配列された複数の画素11bを有している。この場合、広い範囲で精度の高い高解像度画像を効率的に得ることができる。
【0049】
[第2実施形態]
本発明の第2実施形態について説明する。
図5は、第2実施形態に係る画像取得装置1Aの構成を示す図である。画像取得装置1Aは、移動機構13の代わりに搬送機構13Aを備え、マスク部材9が検出器11の受光面11aに向かい合うように固定されている点で、第1実施形態に係る画像取得装置1とは異なる構成を有する。以下、画像取得装置1Aの構成のうち第1実施形態と異なる部分について説明する。
【0050】
搬送機構13Aは、ステッピングモータ等の駆動部と対象物Sが配置される配置面を含むベルト部19とを有し、対象物Sを、x軸方向に直線的に、マスク部材9に対して移動させる機能を有する。搬送機構13Aは、予め設定された距離で、対象物Sを複数のマスク画素9aの配列方向に沿って繰り返し移動させる。また、搬送機構13Aは、対象物Sのx軸方向に沿った移動量に関するデータを画像処理装置7に出力する。
【0051】
画像処理装置7は、検出器11から、搬送機構13AによってK回ほど繰り返し対象物Sを移動させたそれぞれのタイミングにおいて、検出器11から検出信号Oの入力を受けるとともに、1回目からK回目の測定時のマスク部材9と対象物Sとの間の相対的な移動量に関するデータを取得する。相対的な移動量に関するデータは、画像処理装置7内に予め設定されていてもよいし、搬送機構13Aから入力されてもよい。
【0052】
図6は、対象物Sのマスク部材9に対する移動状態に対応して取得される検出信号Oのイメージを示す図である。このように、マスク部材9に対する対象物Sのx軸方向に沿った移動量が所定間隔で変化した場合の複数組の画素11bの検出信号O
1,O
2,…O
Kが取得される。
【0053】
図7には、第2実施形態において画像処理装置7が取得する再構成画像のイメージを示している。画像処理装置7が取得する再構成画像の画素数は、対象物Sの動かし方によって変化する。x軸方向に変位量uだけ対象物Sを移動させながら検出信号Oを取得する場合を考える。このときは、1回目の測定領域に対応したPM×QNのサイズの画像領域G
1から、K回目の測定に対応したPM×QNのサイズの画像領域G
Kまで、変位量uに対応する画素単位の変位量u
pixelでK回シフトさせた場合に重なる画像領域G
totが再構成画像の画像領域となる。従って、再構成画像の画素数は、{PM+(K-1)u
pixel}×QNとなる。
【0054】
画像処理装置7は、下記のようにして再構成画像を生成する。画像処理装置7は、検出器11で平行波を検出することを前提とした再構成画像の生成機能を有するが、照明光学系3が球面波を照射する構成の場合も各構成要素間の距離から見積もられる拡大率を考慮することによって同様に再構成画像を生成することができる。
【0055】
図8には、1回目の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示している。検出器11のある領域(m,n:p,q)には、対象物S上の領域Ω
obs(m,n:p、q)、及びマスク部材9上の領域のΩ
mask(m,n:p,q)を透過した光が入射する。マスク部材9の透過率のxy平面上の分布T(x、y)は既知であり、この分布からマスク部材9の領域(m,n:p,q)における透過率T(m,n:p,q)は、下記式(10);
【数12】
によって表される。T(m,n;p,q)は、検出器11のある領域(m,n:p,q)に入射する光が通過するマスク部材の領域の空間的な透過率の平均値である。また、1回目の測定において対象物S上の領域Ω
obs(m,n:p、q)を透過する光強度I
obs,1(m,n:p,q)は、対象物Sを透過するxy平面上の光強度分布I
obs(x,y)を用いて下記式(11);
【数13】
で表わされる。
【0056】
図9には、k回目(kは2以上K以下の整数)の測定時における対象物S、マスク部材9、及び検出器11の相対的な位置関係を示している。マスク部材9と対象物Sとの間の相対的な移動量に関するデータを基に、k回目の測定時における対象物Sのx軸方向の移動量u
k及びy軸方向の移動量v
kが特定される。マスク部材9の領域(m,n:p,q)における透過率T(m,n:p,q)は、上記式(10)によって表される。また、k回目の測定における対象物S上の領域Ω
obs(m,n:p、q)を透過する光強度I
obs,k(m,n:p,q)は、移動量(u
k,v
k)、及び、対象物Sを透過するxy平面上の光強度分布I
obs(x,y)を用いて下記式(12);
【数14】
によって表される。
【0057】
k回目の測定時の検出器11のm列目、n行目の画素11bの検出信号O
k(m,n)は、当該画素内の分割領域に入射する光強度の総和として、下記式(13);
【数15】
によって表される。K回の測定で得られた検出信号O
k(m,n)を順に並べた一次元ベクトルを測定ベクトルy、光強度I
obs,k(m,n:p,q)を行毎に順番に一次元データとして並べた一次元ベクトルを再構成画像ベクトルxとすると、上式(13)より、測定ベクトルyの各要素が再構成画像ベクトルxの要素の線形和で表現できることから、変換行列Dを用いて上記式(6)で表わすことができる。
【0058】
画像処理装置7は、上記の理論を利用して、第1実施形態と同様にして、変換行列Dを求めた後に、変換行列D及び測定ベクトルyを用いて再構成画像ベクトルxを計算する。そして、画像処理装置7は、二次元の再構成画像を出力デバイスに出力する。
【0059】
上記の第2実施形態に係る画像取得装置1Aによっても、対象物Sの高解像度画像を精度よく得ることができる。特に、対象物Sをマスク部材9に対して移動させる搬送機構13Aを備えている。このような構成の場合、対象物Sの大きさに関わらず、検出器11を含む検出光学系5のサイズを小型化することができる。
【0060】
以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【0061】
図10は、画像取得装置の第1変形例の構成を示す図である。
図10に示す第1変形例に係る画像取得装置1Bは、対象物Sが配置されるベルト部19とマスク部材9及び検出器11との間に配置されたレンズ(レンズ部材)21を備える点で第2実施形態に係る画像取得装置1Aと異なる。レンズ21は、対象物Sを透過した平行波Bを拡大してマスク部材9を透過させて検出器11に結像する。ここで、画像取得装置1Bの搬送機構13AにおけるK回の測定時の移動量の間隔が、マスク部材9上のマスク画素9aのサイズに対応するように、レンズ21の拡大率が考慮された値に設定される。
【0062】
このような第1変形例によれば、対象物Sからの平行波Bを拡大して検出器11で検出することができ、対象物Sの高解像度画像を拡大して得ることができる。また、検出器11と対象物Sとの間の距離を離した場合でも対象物Sの高解像度画像を得ることができ、対象物Sの検査の自由度が向上する。なお、レンズ21は、第1実施形態に係る画像取得装置1において追加されてもよい。
【0063】
図11は、画像取得装置の第2変形例の構成を示す図である。
図11に示す第2変形例に係る画像取得装置1Bは、検出光学系5にマスク部材9と検出器11との組み合わせを複数組含む点が、第2実施形態に係る画像取得装置1Aの構成と異なる。すなわち、検出光学系5には、互いに向かい合って配置されたマスク部材9
1及び検出器11
1と、互いに向かい合って配置されたマスク部材9
2及び検出器11
2と、互いに向かい合って配置されたマスク部材9
3及び検出器11
3とが含まれている。マスク部材9
2及び検出器11
2は、マスク部材9
3及び検出器11
3に対してx軸方向に距離d
2,3だけシフトして配置され、マスク部材9
1及び検出器11
1は、マスク部材9
2及び検出器11
2に対してx軸方向に距離d
1,2だけシフトして配置されている。
【0064】
画像取得装置1Cの搬送機構13Aは、対象物Sを、x軸方向に直線的に一定速度vで移動させる機能を有する。測定が開始され対象物Sの搬送が開始された際に、検出器113は、検出器113が検出可能な範囲を対象物Sが移動する複数の時刻t3のタイミングで、繰り返し検出信号Oを生成する。これに対して、検出器112は、複数の時刻t2=t3+v×d2,3のタイミングで、繰り返し検出信号Oを生成し、検出器112は、複数の時刻t1=t2+v×d1,2のタイミングで、繰り返し検出信号Oを生成する。
【0065】
画像取得装置1Cの画像処理装置7は、3つの検出器111,112,113から出力された複数回の測定による検出信号Oと、それぞれの測定時に用いたマスク部材91,92,93と対象物Sとの間の相対的な移動量に関するデータとを用いて、第2実施形態と同様にして、再構成画像を生成する。
【0066】
上記構成の画像取得装置1Cによれば、空間上の透過率の変化のパターンを変えた場合の複数組の検出信号Oを効率的に取得することができ、測定時間を短縮化できる。
【0067】
検出器11としては、様々な種類の検出器が用いられる。例えば、ボロメータアレイ、超電導センサ(SSPD:Superconducting Single Photon Detector)アレイ、赤外線センサアレイ、MPPC(Multi-Pixel Photon Counter)、PMT(Photomultiplier Tube)アレイ、光電管アレイ、APD(avalanche photodiode)アレイ、SPAD(Single Photon Avalanche Diode)、ToF(Time of Flight)センサ、紫外線センサアレイ、放射線センサアレイ、電子・イオンセンサアレイ、ストライプディテクタ、シンチレータを張り合わせたPD(photodiode)アレイ等が用いられる。
【0068】
また、対象物Sの測定に用いる電磁波は、可視光以外に、テラヘルツ波、赤外線、紫外線、X線、あるいは、ガンマ線であってもよい。また、電子、陽子、中性子等の粒子線であってもよい。その場合に用いるマスク部材9は、各波長の電磁波あるいは粒子線の透過強度を十分に変調できる構成とされる。例えば、X線を用いる場合は、マスク部材9は、X線を遮蔽するために十分な厚みを持った鉛、鉄等の金属板に穴を形成したものとされる。テラヘルツ波を用いる場合には、マスク部材9は、例えば、金属薄膜あるいはポリ塩化ビフェニル(PCB)に穴を形成したものとされる。
【0069】
測定できる粒子線あるいは電磁波と観測できる粒子線あるいは電磁波とが異なっている場合には、検出器11には、粒子線あるいは電磁波を変換する部分が備えられてもよい。例えば、上記実施形態1,2、上記変形例1,2には、マスク部材9の代わりに、検出器11に画素11bよりも細かな構造を有する変換部を設け、その変換部にマスク部材9と同じ機能を持たせてもよい。X線シンチレータを変換部として設けて、検出器11において、シンチレータを細かくした構造をランダムに配置したり、シンチレータをレーザ加工によって空間的に一部を変質させてもよい。また、このような構成の変換部がマスク部材9と併用された構成であってもよい。
【0070】
マスク部材9におけるマスク画素9aの空間的な変調パターンは、ランダムパターン等の不規則にされてもよいし、アダマール行列などの規則性を持ったものであってもよい。
【0071】
画像処理装置7は、対象物Sの画像の全体にスパース性を課して再構成してもよいし、複数画素に亘った関心領域のみにスパース性を課して再構成し、画像の一部のみ高解像度化してもよい。
【0072】
マスク部材9は、画素11b毎に異なる変調パターンとなるような構成であってもよい。この場合、マスク部材9と対象物Sとの間をサブピクセル単位で移動させてもよいし、1画素以上の単位で移動させてもよい。また、移動方向はx軸方向でもよいしy軸方向でもよいし、両方の方向でもよい。また、マスク部材9は画素11b間で同じ変調パターンとなるような構成であってもよい。この場合、測定時には、マスク部材9と対象物Sとの間をサブピクセル単位で移動させる。このときも、移動方向はx軸方向でもよいしy軸方向でもよいし、両方の方向でもよい。
【0073】
マスク部材9は、空間的な透過率が2つの値で変化する構成には限定されず、3つの値以上で変化する構成であってもよい。この場合、画素11b毎に異なる変調パターンとなるような構成であってもよいし、画素11b間で同じ変調パターンとなるような構成であってもよい。
【0074】
上記の第1実施形態においては、複数のマスク部材9が重ね合わせて配置された構成が採用されてもよい。複数のマスク部材9の空間的な変調パターンは同じであっても異なっていてもよい。この場合、移動機構13は、複数のマスク部材9のうちの1枚以上のマスク部材9を移動させる。また、対象物Sを移動させる搬送機構13Aと組み合わせた構成であってもよい。
【0075】
検出器11は、二次元的に配置された画素11bの構成には限定されず、一次元的に配置された複数の画素を有する一次元ラインセンサであってもよい。例えば、検出器11は、複数の画素がy軸方向に沿って配列された構成であってもよいし、x軸方向(マスク部材9あるいは対象物Sの移動方向)に沿って配置された構成であってもよいし、x軸方向及びy軸方向に対して傾斜した方向に沿って配置された構成であってもよい。
【符号の説明】
【0076】
1,1A,1B,1C…画像取得装置、7…画像処理装置(処理部)、9,91,92,93…マスク部材、9a…マスク画素(パターン)、11,111,112,113…検出器、11b…画素、13…移動機構、13A…搬送機構、15…光源装置(光源)、S…対象物、O,O1~OK…検出信号、uk,vk…移動量。