(58)【調査した分野】(Int.Cl.,DB名)
移動している対象物に対して光を照射する照明部と、前記照明部により光が照射された前記対象物の像が形成される受光面を有する検出部と、前記検出部による検出結果を解析して前記対象物の像を得る解析部と、を備え、
前記検出部は、前記受光面において第1方向に配列された複数の受光セルを含み、前記受光面において前記第1方向に直交する第2方向に前記像が移動するよう配置され、前記複数の受光セルそれぞれにおいて前記第2方向に沿った擬似雑音符号系列に応じて受光および非受光の何れかを行い、前記複数の受光セルそれぞれの受光量に応じた電気信号を出力し、
前記解析部は、前記検出部の前記複数の受光セルそれぞれから出力される電気信号を解析して前記対象物の像を得る、撮像装置。
移動している対象物に対して光を照射する照明部と、前記照明部により光が照射された前記対象物の像が形成される受光面を有する検出部と、前記検出部による検出結果を解析して前記対象物の像を得る解析部と、を備え、
前記検出部は、前記受光面において第1方向に配列された複数の受光領域を含み、前記受光面において前記第1方向に直交する第2方向に前記像が移動するよう配置され、前記複数の受光領域それぞれにおいて前記第2方向に沿った擬似雑音符号系列に応じて受光および非受光の何れかを行い、前記複数の受光領域それぞれにおける擬似雑音符号系列のうちの任意の2つの擬似雑音符号系列が互いに略直交しており、前記複数の受光領域の全体の受光量に応じた電気信号を出力し、
前記解析部は、前記検出部から出力される電気信号を解析して前記対象物の像を得る、撮像装置。
前記検出部は、前記受光面上に配置され前記第2方向に沿った擬似雑音符号系列に応じて光の透過および遮断の何れかを行うマスクを含む、請求項1または2に記載の撮像装置。
前記検出部は、擬似雑音符号系列が第1の値であるときに受光し擬似雑音符号系列が第2の値であるときに受光しない第1受光面と、擬似雑音符号系列が第2の値であるときに受光し擬似雑音符号系列が第1の値であるときに受光しない第2受光面とを含み、前記第1受光面および前記第2受光面それぞれからの出力信号の差に応じた電気信号を出力する、請求項1または2に記載の撮像装置。
前記解析部は、背景中を前記対象物が移動しているときに前記検出部から出力される電気信号と、前記背景中に前記対象物が存在しないときに前記検出部から出力される電気信号とに基づいて、前記背景中にある前記対象物の像を選択的に得る、請求項1または2に記載の撮像装置。
前記検出部は、前記擬似雑音符号系列に替えてチャープ信号を用い、前記第2方向に沿ったチャープ信号に基づく透過率分布に応じて受光を行う、請求項1または2に記載の撮像装置。
【発明を実施するための形態】
【0018】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0020】
図1は、第1実施形態の撮像装置1の構成を示す図である。撮像装置1は、移動している対象物90に対して光Aを照射する照明部10と、この対象物90の像を結像する光学系20と、この光学系20による対象物90の像が形成される受光面を有する検出部31と、この検出部31による検出結果を解析して対象物90の像を得る解析部40と、を備える。
図2は、第1実施形態の撮像装置1の検出部31の構成を説明する図である。
【0021】
照明部10は、連続光または一定周期のパルス光を出力して、その光Aを対象物90に対して照射する。
【0022】
検出部31は、受光面において第1方向(x方向)に配列された複数の受光セルd
1〜d
Nを含む。検出部31は、対象物90の方向Bへの移動に伴って受光面において第2方向(y方向)と平行に像が移動するよう配置されている。第1方向(x方向)と第2方向(y方向)とは互いに直交する。検出部31は、複数の受光セルd
1〜d
Nそれぞれにおいて第2方向(y方向)に沿った擬似雑音符号系列に応じて受光および非受光の何れかを行い、複数の受光セルd
1〜d
Nそれぞれの受光量に応じた電気信号を出力する。Nは2以上の整数である。
【0023】
検出部31は、1次元ラインセンサ311の受光面上にマスク312が貼り合わされて構成される。1次元ラインセンサ311ではN個の受光セルd
1〜d
Nがx方向に配列されている。各受光セルd
nはy方向に長い。またはシリンドリカルレンズ等による光学的な像の拡大縮小の手法によりy方向に長いとみなせる場合も含む。マスク312ではN個の擬似雑音符号系列マスクm
1(y)〜m
n(y)がx方向に配列されている。擬似雑音符号系列マスクとは,ある擬似雑音符号系列に従ってパターンが刻まれたマスクのことである。
【0024】
擬似雑音符号系列マスクの1つ1つの画素は、正方形画素を有することが画像を取得する上で好ましいが、前記同様、
図32に示されるようにシリンドリカルレンズ21等による光学的なy方向の縮尺伸張により、正方形画素とみなせる場合も含む。たとえば1つの画素のx方向が長さ2、y方向が長さ1を持つ擬似雑音符号系列マスクの場合、光学的なy方向の像の縮小により、結果、正方形画素とみなせる。この効果は、検出面に結像している時間が長くなり画質向上が期待できる。
【0025】
各擬似雑音符号系列マスクm
n(y)は、対応する受光セルd
n上に配置され、y方向に沿った擬似雑音符号系列に応じて光の透過および遮断の何れかを行う。
図1および
図2それぞれでは、マスク312における光の透過および遮断のうちの一方が黒色で示され、他方が白色で示されている。任意の2つの擬似雑音符号系列m
n1(y)と擬似雑音符号系列m
n2(y)とは、互いに同じ擬似雑音符号系列であってもよいし、互いに異なる擬似雑音符号系列であってもよい。n,n1,n2は、1以上N以下の整数である。
【0026】
擬似雑音符号系列としては、ゴールド系列、プリファードゴールド系列、直交ゴールド系列、ゴールドライク系列、嵩系列、No系列、擬3進M系列、相補系列(特開2008−199140号公報を参照)、Barker系列、Golay系列(M.J.E.Golay, "Complementary sequence," IRE Transactions
onInformation theory, pp.82-87, (1961)を参照)、自己相補系列、完全相補系列(S.Naoki, "Modulatable orthogonal sequencesand theirapplication
to SSMA systems," IEEE trans. on Information The theory,vol.IT-34,
pp.93-100, (1988) を参照)、等が用いられ得る。M系列についてまとめた非特許文献(“M系列を基に構成される系列とその通信への応用”,fundamentals Reviews, Vol.3, No.1, 32-42,2009)には,これ以外種々の擬似雑音符号系列が掲載されているので参照されたい。
【0027】
擬似雑音符号系列の一つであるM系列は、2値(1/0または−1/+1)の周期信号である。第1のM系列の周期信号をm1と呼び、第2のM系列の周期信号をm2と呼ぶこととする。第1のM系列m1について周期K=2
9−1(=511)のM系列は、例えば、m
1=[0,0,0,0,1,1,1,1,0,1,1,1,0,0,0,0,1,0,1,1, …中略… ,1,0,1,1,1,1,0,0,0,0,0,1,1,1,1,1,1,1,1,1] …のように、0と1とで成る符号列である。
また例えば、m
2=[0,0,0,0,0,1,1,1,1,0,1,1,1,1,1,0,0,0,1,0, …中略… ,1,1,0,1,1,1,1,0,0,0,0,1,1,1,1,1,1,1,1,1]のように、0と1とで成る符号列である。擬似雑音符号系列マスクm
n(y)は、例えば、符号が0であるとき光を遮断し、符号が1であるとき光を透過する。
【0028】
次に、第1実施形態の撮像装置1の動作のシミュレーションについて説明する。
図3は、第1実施形態の撮像装置1の動作のシミュレーションにおいて用いられた画像を示す図である。一様な黒色の背景中において白抜きの文字「4」がy方向に左から右へ平行移動しているとした。検出部31の受光面上における文字の像の大きさは、x方向に66画素であり、y方向に46画素であった。擬似雑音符号系列m
n(y)は周期K=511のM系列であった。66個の擬似雑音符号系列m
1(y)〜m
66(y)は共通とした。像がy方向に1符号分だけ移動する毎に検出部31の各受光セルd
nからデータが出力されるとした。像がy方向に1符号分だけ移動するのに要する時間をΔtとすると、像が一部分でもマスク312上に滞在している時間は556Δt(=(511+46−1)Δt)である。
【0029】
図4は、第1実施形態の撮像装置1の動作のシミュレーションにおいて検出部31により得られた信号を示す図である。同図において、横軸は時刻を表し、縦軸はx方向の画素位置を表す。同図において、右端は時刻0(
図3中の最上段の状態)での検出部31の出力データであり、左端は時刻555Δt(
図3中の最下段の状態)での検出部31の出力データである。
【0030】
次に、検出部31により得られる信号について、
図5,
図6および数式を用いて説明する。
図5および
図6は、第1実施形態の撮像装置1の検出部31の受光面上の像のy方向に沿った強度分布を示す図である。
図5(a)は、受光面の或る受光セルd
n上の像のy方向に沿った強度分布h(y)を実線で示し、また、この強度分布h(y)がy軸に関して反転された分布h(−y)を破線で示している。実際,受光面上に結像した像が,y軸に関して反転している像と仮定して扱うことは,計算上問題ない。
図5(b)は、この反転していると仮定された分布h(−y)が速度Vで+y方向に移動している際の時刻tにおける分布h(Vt−y)を示している。
【0031】
図6(a)は、時刻tにおける像の分布h(Vt−y)と擬似雑音符号系列m(y)とが乗算された結果が受光セルd
nに到達する様子を示している。時刻tにおける受光セルd
n上の位置yでの光強度i
dn(Vt,y)は下記(1)式で表される。したがって、y方向の画素長さLを有する一つの受光セルd
nで得られる時刻tの信号は、(1)式をy方向に区間[0〜L]で積分することで得られ、下記(2)式で表される。なおLは,受光セルのy方向の長さ、またはレンズ等にて光学的に縮尺伸張した場合には,Lはその等価的長さを表す。
【0034】
なお、(2)式ではh(Vt−y)がh(y)に置き換わるとともにm(y)がm(Vt−y)に置き換わっているが、簡単な変数変換と積分範囲のシフトにより(2)式が導き出される。すなわち、
図5に示されるように、受光セルd
n上の像を,強度分布h(y)をy軸に関して反転した分布h(Vt−y)として考えるのではなく、擬似雑音符号系列m(y)をy軸に関して反転し、且つ速度Vで移動する擬似雑音符号系列m(Vt−y)を考えればよい。
【0035】
Vt=y’とすれば、(2)式は下記(3)式で表される。ここで、I
dn(y’)の添え字dnは、x方向の位置xにある受光セルd
nの出力データを表す。(3)式は、擬似雑音符号系列m(y)と強度分布h(y)との畳み込み積分を表している。すなわち、受光セルd
nに擬似雑音符号系列マスクm
n(y)を貼り付けるだけで、擬似雑音符号系列m
n(y)と強度分布h(y)との畳み込み積分の結果が、受光セルd
nから出力される信号の時間波形として得られる。
図4は、このような畳み込み積分の結果を示している。このような効果は、各受光セルd
nが受光した光の全強度に応じた値の信号を出力することによるものである。逆に2次元画素構造を持つ検出部の場合には、処理回路が複雑になるだけで、畳み込み積分を目的とするのであれば不要な構造である。
【0037】
次に、第1実施形態の撮像装置1の解析部40による解析処理について説明する。擬似雑音符号系列として、M系列を採用しm(y)と呼ぶ。擬似雑音符号系列m(y)の要素0を−1とするとともに、擬似雑音符号系列m(y)の要素1を1とした系列をm’(y)としたとき、このm(y)とm’(y)のペアを擬直交M系列対と呼ぶ。上記(3)式と擬似雑音符号系列m’(y)との相互相関関数r(τ)は下記(4)式で表される。ただし、R
mm’は下記(5)式で表される。結局(4)式は、m’(y’)とI
dn(y’)の相関関数が、強度分布h(y)とR
mm’(y)との畳み込み積分となることを表している。特にR
mm’が0シフト以外で0となるディラックのデルタ関数に相当する関数であれば,r
dnは強度分布h(y)に比例した波形が得られる。
【0040】
ところで、擬似雑音符号系列に、擬直交M系列対を採用した場合には、それらの周期相関特性が、0シフト以外で0となることから、式(4)は周期相互相関演算を行うのが好適である。たとえば,擬似雑音符号系列に自己相補系列を採用した場合には,非周期自己相関性が,0シフト以外で0となることから,式(4)は,非周期相互相関演算を行うのが好ましい(後述する第10実施形態を参照)。像h(y)を周期関数とみなして、
図6(b)に示されるように視野外の波形を折り返せば、上記(3)式は巡回畳み込み積分を意味する。巡回畳み込み積分としての上記(3)式を行列表記すると下記(6)式のようになる。ここで、I
dn(y’)は,受光セルd
nから得られる時間サンプリングされた結果であるので,離散的な時系列データとなることから,それを単にI
iと表記した。一方、上記(4)式を同じく行列表記すると下記(7)式のようになる。
【0043】
ここで、EはK行K列の単位行列である。結局、上記(3)式のI
dn(y’)と擬雑音符号系列m’(y)との周期相互相関関数r
dn(τ)は(K+1)/2倍だけ振幅が増幅された像h(y)を表す。つまり、対象物90の静止画像が輝度増幅されて得られることとなる。
【0044】
擬直交M系列対の具体例を示すと以下のとおりである。(8)式で表されるM系列mに対するペアm’は(9)式で表される。擬似雑音符号系列mの周期自己相関関数R
mmは(10)式で表される。擬似雑音符号系列m’の周期自己相関関数R
m’m’は(11)式で表される。(10)式,(11)式では0シフト以外にても0となっていない。また、擬直交M系列対mとm’との周期相互相関関数R
mm’は(12)式で表される。
【0050】
このように、擬直交M系列対mとm’との周期相互相関関数R
mm’は、0シフト以外で全て0となる相関関数となる。“0シフト”とは、相関関数を求める際の(5)式の遅延量τが0であることを意味する。(12)式では四番目の要素において値4が現れているが、これは、要素の中央にτ=0での相関関数をおいたことに相当する。すなわち、下記(13)式で表される遅延量τに対応する相関関数が(10)式〜(12)式である。
【0052】
解析部40は、上記のような関係を利用することで、検出部31により得られた信号(
図4)に基づいて対象物90の画像を復調する。検出部31の出力信号は直線畳み込み積分の結果であるので、これを巡回畳み込み積分の形に直す必要がある。具体的な巡回畳み込み積分を得るには、
図7に示されるように、時刻t1=0から時刻t2=44Δtまでの間の時間45Δt分のデータを取り除き,時刻t3=511Δtから時刻t4=555Δtまでのデータへ累積加算する。
図7は、
図4の直線畳み込み積分結果を巡回畳み込み積分の形に変換する様子を模式的に示した図である。累積加算とは,下記(14)式を実行する。(14)式中,S(x1:x2,t1:t2)とは,
図7に示される結果のうち,x方向[x1〜x2]と時間t方向[t1〜t2]とで囲まれる要素を行列とみなす記号とする。これにより(6)式に示される巡回畳み込み積分の形に直された。
【0054】
なお、この(14)式の演算により異なる対象物90の一群と他の一群との重ね合わせが起きないようにするために、
図8に示されるよう視野と対象物群との関係が保たれているとする。すなわち、y方向の視野長さF、y方向の対象物群の長さG、および、y方向の対象物の一群と次の一群との距離Hについて、下記(15)式が成り立つ必要がある。
【0056】
図9は、第1実施形態の撮像装置1の動作のシミュレーションにおいて解析部40により得られた画像を示す図である。(14)式により、巡回畳み込み積分に変形された行毎(画素毎)に上記(7)式の演算を施すことで、
図9に示されるような静止画像h(y)が得られた。
【0057】
図10および
図11は、第1実施形態の撮像装置1の動作の他のシミュレーションの例を示す図である。
図10は、他のシミュレーションにおいて用いられた画像を示す図である。
図11は、他のシミュレーションにおいて解析部40により得られた画像を示す図である。ここでは、直径200μmの円形開口を速度14μm/秒で移動させ、倍率20倍の対物レンズを用いて30fpsのCCDカメラで撮影した。CCDカメラは、480(x)×640(y)画素を有し、1画素サイズが8.3×8.3μmであった。実際に使用した画素は、44(x)×511(y)であった。式(2)または式(3)に従って,得られた画像(44×511画素)と擬似雑音符号系列とのたたみ込み積分を計算機内で演算した。結果,2次元検出器を用いても,擬似雑音符号系列をマスクした1次元ラインセンサー出力データを模擬することができる。
図10は、円形開口のうちの一部が視野内を左から右に等速運動する様子を示している。
図11(a)は、横軸を時刻とし、縦軸を画素番号として、44画素の1次元ラインセンサの出力データを示している。
図11(b)は、(7)式を利用して円形開口の一部を復調した結果である。
【0058】
以上のように、本実施形態の撮像装置1は、1次元ラインセンサを用いて、移動している対象物の静止画像を得ることができる。本実施形態の撮像装置1は、擬似雑音符号系列を時系列信号として生成するのではなく、1次元ラインセンサの受光面上に固定された擬似雑音符号系列マスクを有している。したがって、本実施形態の撮像装置1は、高速に対象物が移動している場合であっても該対象物の像を静止画像として得ることができる。
【0060】
図12は、第2実施形態の撮像装置2の構成を示す図である。撮像装置2は、移動している対象物90に対して光を照射する照明部と、この対象物90の像を結像する光学系20と、この光学系20による対象物90の像が形成される受光面を有する検出部32と、この検出部32による検出結果を解析して対象物90の像を得る解析部42と、を備える。
図13は、第2実施形態の撮像装置2の検出部32の一部構成を説明する図である。これらの図は第2実施形態の撮像装置2の検出部32の構成について主に示している。他の構成要素は第1実施形態の場合と同様である。
【0061】
検出部32は、デジタルマイクロミラーデバイス(DMD)320、光学系321、光学系322、1次元ラインセンサ323、1次元ラインセンサ324および差演算部325
1〜325
Nを含む。DMD320は、各々反射面の方位が可変である複数の微小ミラーがx方向およびy方向の双方に配列されたものである。これら複数の微小ミラーは、略10μmのミラーであって、光学系20により対象物90の像が形成される受光面上に配置されている。
【0062】
光学系321は、DMD320から到達した光を1次元ラインセンサ323の受光面上に結像する。光学系322は、DMD320から到達した光を1次元ラインセンサ324の受光面上に結像する。1次元ラインセンサ323および1次元ラインセンサ324それぞれではN個の受光セルd
1〜d
Nがx方向に配列されている。各受光セルd
nはy方向に長い。または光学的に長いとみなせる。対象物90が方向Bへ移動したとき、その対象物90の像は、DMD320,1次元ラインセンサ323および1次元ラインセンサ324それぞれの受光面においてy方向と平行な方向に移動する。
【0063】
DMD320では、N個の擬似雑音符号系列m
1(y)〜m
n(y)がx方向に配列され、擬似雑音符号系列m
n(y)の各値がy方向に配列されていて、擬似雑音符号系列m
n(y)の値に応じて対応位置にある微小ミラーが1次元ラインセンサ323および1次元ラインセンサ324の何れかの受光セルd
nへ光を反射させる。例えば、擬似雑音符号系列m
n(y)として−1/+1の2値をとるM系列符号を用いる場合、値が−1の位置にある微小ミラーは1次元ラインセンサ323の受光セルd
nへ光を反射させ、値が+1の位置にある微小ミラーは1次元ラインセンサ324の受光セルd
nへ光を反射させる。擬似雑音符号系列m
n1(y)と擬似雑音符号系列m
n2(y)とは、互いに同じ擬似雑音符号系列であってもよいし、互いに異なる擬似雑音符号系列であってもよい。
【0064】
図14は、第2実施形態の撮像装置2の差演算部325
nおよび解析部42それぞれの処理における信号について説明する図である。ここでは、第1実施形態の同様の条件でシミュレーションを行う場合について説明する。各差演算部325
nは、1次元ラインセンサ323の受光セルd
nから出力されるデータ(同図(a))と、1次元ラインセンサ324の受光セルd
nから出力されるデータ(同図(b))と、の差を表す信号I
dn(t)を出力する(同図(c))。この信号I
dn(t)は上記(3)式のI
dn(y’)に相当する。DMD320において擬似雑音符号系列m
n(y)として−1/+1の2値をとるM系列を用いたので、解析部42における復調の際には0/+1の2値をとる擬直交M系列対を用いることで、0シフト以外で全て0となる相互相関関数R
mm’((12)式)を得ることができ、それを含む(4)式の演算により,高速に対象物が移動している場合であっても該対象物の像を静止画像として得ることができる(同図(d))。
【0065】
また、第1実施形態では検出部31に到達した光のうち略半分の光が1次元ラインセンサ311により受光されるのに対して、第2実施形態では、検出部32に到達した光の殆ど全ての光が1次元ラインセンサ323または1次元ラインセンサ324により受光される。したがって、第1実施形態の場合と比較して第2実施形態では2倍の光量で撮像をすることができる。
【0067】
図15は、第3実施形態の撮像装置3の検出部33の一部構成を説明する図である。撮像装置3は、移動している対象物に対して光を照射する照明部と、この対象物の像を結像する光学系と、この光学系による対象物の像が形成される受光面を有する検出部33と、この検出部33による検出結果を解析して対象物の像を得る解析部と、を備える。この図は第3実施形態の撮像装置3の検出部33の構成について主に示している。他の構成要素は第1実施形態の場合と同様である。
【0068】
検出部33は、1次元ラインセンサ331、マスク332、コンデンサ333
1〜333
NおよびCCDシフトレジスタ334を含む。1次元ラインセンサ331およびマスク332それぞれは第1実施形態の場合と同様である。各コンデンサ333
nは、1次元ラインセンサ331の受光セルd
nからの出力信号のうちのAC成分をCCDシフトレジスタ334へ出力する。CCDシフトレジスタ334は、コンデンサ333
1〜333
Nそれぞれから出力された電荷信号をパラレルに入力して、これらの電荷信号をシリアルに解析部へ出力する。解析部は、このCCDシフトレジスタ334から出力された電気信号に基づいて、第1実施形態の場合と同様の処理により対象物の像のエッジ強調画像を得る。
【0069】
次に、第3実施形態の撮像装置3の動作のシミュレーションについて説明する。
図16は、第3実施形態の撮像装置3の動作のシミュレーションにおいて用いられた画像を示す図である。同図に示されるように、一様な黒色の背景中において蝶のオブジェクト画像がy方向に左から右へ平行移動しているとした。
図17は、第3実施形態の撮像装置3の動作のシミュレーションにおいて検出部33により得られた信号を示す図である。同図において、横軸は時刻を表し、縦軸はx方向の画素位置を表す。
図18は、第3実施形態の撮像装置3の動作のシミュレーションにおいて解析部33により得られた画像を示す図である。同図に示されるように、本実施形態では、検出部から出力される電気信号の時間微分に相当する信号が解析部により解析されることで、高速に移動している対象物の像のエッジ強調像が得られる。なお、本実施形態では、対象物の像のエッジ強調像が得られる際に、背景消去も同時に実現され得る。
【0070】
本実施形態の動作について数式を用いて説明すると以下のとおりである。背景のy方向輝度分布をb(y)とすれば,上記(2)式(3)式から下記(16)式が得られる。時刻に関する変数y’(=Vt)がy
1であるときの(16)式と、変数y’がy
2であるときの(16)式との差をとると、下記(17)式が得られる。この(17)式から、対象物の移動方向の差分画像Δh(y)が得られると同時に背景の輝度分布b(y)が消去されることが解る。
【0074】
第4実施形態の撮像装置の構成は、
図1に示されたものと略同様である。ただし、第4実施形態の撮像装置は、解析部の処理内容の点に特徴を有する。第4実施形態における解析部は、背景中を対象物が移動しているときに検出部から出力される電気信号と、背景中に対象物が存在しないときに検出部から出力される電気信号とに基づいて、背景中にある対象物の像を選択的に得る。
【0075】
第4実施形態の撮像装置の動作のシミュレーションについて説明する。
図19は、第4実施形態の撮像装置の動作のシミュレーションにおいて用いられた画像を示す図である。同図に示されるように、花等が描かれた背景中において蝶のオブジェクト画像がy方向に左から右へ平行移動しているとした。
図20は、第4実施形態の撮像装置の動作のシミュレーションにおいて背景中を蝶のオブジェクト画像が移動しているときに検出部により得られた信号を示す図である。
図21は、第4実施形態の撮像装置の動作のシミュレーションにおいて背景中に蝶のオブジェクト画像が存在しないときに検出部により得られた信号を示す図である。この
図21の信号は予め用意しておけばよい。
図22は、第4実施形態の撮像装置の動作のシミュレーションにおいて
図20に示された信号から
図21に示された信号を差し引いて得られた信号を示す図である。
図20〜
図22それぞれにおいて、横軸は時刻を表し、縦軸はx方向の画素位置を表す。
【0076】
図23は、第4実施形態の撮像装置の動作のシミュレーションにおいて
図22に示された信号に基づいて解析部により得られた画像を示す図である。同図に示されるように、本実施形態では、移動している対象物90のみが擬似雑音符号系列により変調されるので、第1実施形態の場合と同様の解析部における復調処理により、背景画像が除去されて、対象物の像が選択的に得られる。
【0078】
第5実施形態の撮像装置の構成は、
図1に示されたものと略同様である。ただし、第5実施形態の撮像装置は、各受光セルd
nに対する擬似雑音符号系列m
n(y)が互いに異なり、N個の受光セルd
1〜d
Nの何れかの出力値が変化する度にサンプリングされた電気信号を解析部が解析して対象物の像を得る点に特徴を有する。
【0079】
移動している対象物を撮影している最中(すなわち、1次元ラインセンサの受光面に像が結像している間)に該対象物の移動を検知するには、1次元ラインセンサの時刻tと時刻t+Δtとで出力される信号の差が0であるか否かを判定することで可能である。この差分信号を基に発生されるクロックの時間間隔を、復調する際、相関関数演算時の遅延時間の間隔に利用することができる。これにより、移動している対象物の速度を予め知っていなくてもよい。換言すれば、移動している対象物の速度を別の手段で測定する必要がない。特許文献(特表2004−506919号公報)では,移動物体イメージングにおいて光検出器と移動物体との同期を取るために別の光学系を導入している。
【0080】
しかし、擬似雑音符号系列の性質として0または1が連続して出力されることがある。特に対象物の像のy方向の大きさが擬似雑音符号系列マスクパターンの画素程度の長さをもつ場合、対象物が移動しているにも拘わらず時刻tと時刻t+Δtとの出力差が0の場合がある。そのような場合には、異なる擬似雑音符号系列を有するマスクを各受光セルに貼り付けるのがよい。(18)式は、擬似雑音符号にM系列を選び、m
1=[a
1,a
2,…,a
N−1,a
N]を基本M系列として、このm
1の要素を左に1要素分だけ巡回シフトさせたM系列をm
2とし、このm
2の要素を左に更に1要素分だけ巡回シフトさせたM系列をm
3とし、一般に、m
nの要素を左に1要素分だけ巡回シフトさせたM系列をm
n+1としたものである。この行列はM系列型アダマール行列とも呼ばれている。
【0083】
これまで説明した第1〜第5の各実施形態では、対象物の像を検出部の受光面上に結像する光学系が、対象物と検出部の受光面との間に設けられていた。
【0084】
これに対して、第6実施形態では、対象物と検出部の受光面との間に結像光学系が設けられることなく、対象物を検出部の受光面上で移動させる。この場合、解析部により対象物の像を解像度よく得るために、擬似雑音符号系列マスクの各画素は、対象物を撮影するときに要求される解像度と同程度またはそれ以下の大きさにするのが好適である。これは、マイクロTAS(Total Analysis System)やラボオンチップなどにおいて基板上で対象物としての細胞を観察する場合に好適である。
【0086】
図24は、第7実施形態の撮像装置7の構成を示す図である。撮像装置7は、移動している対象物90に対して光を照射する照明部17と、対象物90が受光面上において移動する検出部37と、この検出部37による検出結果を解析して対象物90の像を得る解析部と、を備える。
【0087】
照明部17は、対象物90に対してy方向に対応する方向に沿った擬似雑音符号系列に応じた照明パターンで光を照射する。照明部17は、点光源171
1〜171
K、マスク172および光学系173を含む。マスク172は、周期Kの擬似雑音符号系列に応じた透過および遮断のパターンを有し、該パターンにおける透過部に対応する点光源171
kの光を光学系173へ透過させる。光学系173は、マスク172の透過部から出力された光を検出部37の受光面上で結像させる。結果、検出部37の受光面上には擬似雑音符号系列に従った照明パターンが受光セルのy方向に沿って形成される。なお、マスク172を用いなくても、点光源171
1〜171
Kの点灯および非点灯をマスク172における擬似雑音符号系列に応じたパターンに従って設定することで、検出部37の受光面上に擬似雑音符号系列に従った照明パターン373
1〜373
Nを実現できる。
【0088】
検出部37の受光面上を移動する対象物90は、1光子以上を吸収して蛍光を放つ蛍光色素により標識されている。対象物90は、点光源171
kからの光が照射されることで励起されて蛍光を発生させる。検出部37は、1次元ラインセンサ371および光フィルタ372を含む。光フィルタ372は、対象物90で発生した蛍光を1次元ラインセンサ371へ透過させ、励起光を遮断する。1次元ラインセンサ371は、光フィルタ372を透過して来た光を受光して、その受光量に応じた電気信号を解析部へ出力する。第7実施形態における1次元ラインセンサ371は、第1実施形態における1次元ラインセンサ311と同様のものであり、複数の受光セルが紙面鉛直方向に配列されている。第7実施形態における解析部は、第1実施形態における解析部と同様の処理を行って、移動している対象物90の静止画像を得ることができる。
【0089】
この第7実施形態の撮像装置7は、第6実施形態の場合と同様に、対象物90を検出部37の受光面上で移動させるので、マイクロTASやラボオンチップなどにおいて基板上で対象物としての細胞を観察する場合に好適である。
【0090】
なお点光源171
1〜171
Kは,空間的な点光源でもよく,また時間的な点光源(temporal focusing技術,Dan Oron, “Scanningless depth-resolved microscopy,”Opt.
Exp. 13, 1468, (2005).参照)となる光源を準備してもよい。
【0092】
第8実施形態の撮像装置の構成は、
図1に示されたものと略同様である。ただし、第8実施形態の撮像装置は、検出部において1次元ラインセンサとともに用いられるマスクがチャープ信号に基づく透過率分布を有する点に特徴を有する。
【0093】
図25は、第8実施形態の撮像装置のマスクにおけるチャープ信号に基づく透過率分布を説明する図である。チャープ信号として、例えば周波数の2乗に比例して位相が変化するTime Stretched Pulseと呼ばれる波形(以下「TSP」という。)が用いられる(例えば文献「青島伸治,『パーソナルコンピュータを利用した信号圧縮法によるパイプ内音場の測定』,日本音響学会誌、40,146-151,1984」を参照)。
【0094】
同図(a)はTSPの波形を示す。同図において、横軸は空間方向(Y方向)を表し、縦軸は透過率を0から1までの範囲で表したものである。すなわち、空間方向に周波数が徐々に変化しながら透過率が0%と100%との間で光を透過させるマスクが1次元ラインセンサの各受光セルに貼り付けられる。同図(b)はTSPの自己相関関数を示す。このように、TSPの自己相関関数は、遅延量τが0であるときに相関値が鋭いピークを有する。なおグラフ横軸中央が遅延量τ=0のときである。すなわちTSPの自己相関関数は、擬似雑音符号系列の自己相関関数R
mm’(τ)が0シフト以外で0となることに対応する。
【0095】
次に、第8実施形態の撮像装置の動作のシミュレーションについて説明する。第8実施形態の撮像装置の動作のシミュレーションにおいて用いられた画像は
図16と同じである。
図26は、第8実施形態の撮像装置の動作のシミュレーションにおいて検出部により得られた信号を示す図である。同図において、横軸は時刻を表し、縦軸はx方向の画素位置を表す。
図27は、第8実施形態の撮像装置の動作のシミュレーションにおいて解析部により得られた画像を示す図である。同図に示されるように、本実施形態でも、高速に対象物が移動している場合であっても該対象物の像を静止画像として得ることができる。
【0097】
図28は、第9実施形態の撮像装置9の構成を示す図である。撮像装置9は、移動している対象物90に対して光Aを照射する照明部10と、この対象物90の像を結像する光学系20と、この光学系20による対象物90の像が形成される受光面を有する検出部39と、この検出部39による検出結果を解析して対象物90の像を得る解析部49と、を備える。
図29は、第9実施形態の撮像装置9の検出部39の構成を説明する図である。第9実施形態における照明部10および光学系20は第1実施形態の場合と同様である。
【0098】
検出部39は、受光面において第1方向(x方向)に配列された複数の受光領域d
1〜d
Nを含む。これらの受光領域d
1〜d
Nは、便宜上区分されたものにすぎず、全体で1個の受光セルを構成していて、全体の受光量に応じた電気信号を出力する。検出部39は、対象物90の方向Bへの移動に伴って受光面において第2方向(y方向)と平行な方向に像が移動するよう配置されている。第1方向(x方向)と第2方向(y方向)とは互いに直交する。検出部39は、複数の受光領域d
1〜d
Nそれぞれにおいて第2方向(y方向)に沿った擬似雑音符号系列に応じて受光および非受光の何れかを行う。複数の受光領域d
1〜d
Nそれぞれにおける擬似雑音符号系列のうちの任意の2つの擬似雑音符号系列が互いに略直交している。なお,2つの擬似雑音符号系列の相互相関関数が、0シフトおよび0シフト以外において0である符号系列を,互いに略直交と呼ぶこととする。検出部39は、複数の受光領域d
1〜d
Nの全体の受光量に応じた電気信号を出力する。
【0099】
検出部39は、センサ391の受光面上にマスク392が貼り合わされて構成される。センサ391ではN個の受光領域d
1〜d
Nがx方向に配列されている。各受光領域d
nはy方向に長い。または光学系を介して長いとみなせる。マスク392ではN個の擬似雑音符号系列マスクm
1(y)〜m
n(y)がx方向に配列されている。各擬似雑音符号系列マスクm
n(y)は、対応する受光領域d
n上に配置され、y方向に沿った擬似雑音符号系列に応じて光の透過および遮断の何れかを行う。
図28および
図29それぞれでは、マスク392における光の透過および遮断のうちの一方が黒色で示され、他方が白色で示されている。任意の2つの擬似雑音符号系列m
n1(y)と擬似雑音符号系列m
n2(y)とは互いに略直交している。
【0100】
解析部49は、検出部39から出力される電気信号を解析して対象物の像を得る。以下では、N個の擬似雑音符号系列m
1(y)〜m
n(y)および解析部49の処理内容について更に説明する。
【0101】
擬似雑音符号系列のうち通信分野におけるCDMA技術に用いられる拡散符号として最も好適な符号は、位相差が0であるときに自己相関関数が鋭いピーク(即ちクロネッカーのデルタ関数)を有し、位相差が0でないときに自己相関関数が0であるとともに、また、任意の2つの系列の相互相関関数が0シフトおよび0シフト以外において0であるものである。すなわち、下記(19)式が成り立つことである。(19)式中、行列Eは単位行列を表し、行列Oは全ての要素が値0である行列を表す。αは定数を表す。ただし(19)式中の記号Mは,(18)式が示すように,ある擬似雑音符号系列をm
iとし,その要素を順次1つずつ巡回シフトした系列を行にもつ行列である。また、行列M’
iは、擬似雑音符号系列m
iに対して,相関関数が0シフト以外で0となる擬似雑音符号系列をm’
iとし,その要素を順次1つずつ巡回シフトした系列を行にもつ行列である。
【0103】
この(19)式を満たす拡散符号が最も好適である。このような擬似雑音符号系列を選んで用いることができれば、センサ391からの出力信号Iは下記(20)式で表せる。受光領域d
nの信号r
dnを,(20)式に示す時系列信号Iから抽出するには、(20)式に対して行列M’
nの転置行列を作用させて、下記(21)式のようすればよい。結局、信号r
dnは,受光面の領域d
nに結像した像(h
n)である.
【0106】
本実施形態では、(19)式を満たすN個の擬似雑音符号系列m
i(i=1〜N)を用意して、それを2次元的に配置したマスク392をシングルピクセルのセンサ391の受光面に貼り付ける。なお、(19)式を厳密に満たす拡散符号は存在しないことが知られているが、(19)式をほぼ満たす種々の系列が考案されている。
【0107】
次に、第9実施形態の撮像装置9の動作のシミュレーションについて説明する。ここでは最も単純な系列である擬直交M系列対を使用してシミュレーションを行った。
図30は、第9実施形態の撮像装置9の動作のシミュレーションにおいて用いたマスク392の2次元パターンを示す図である。同図は、x方向にパターンを伸張して見やすくしている。2つの異なる原始関数から発生させた周期K=511のM系列をそれぞれm
1,m
2とした。これらのM系列m
1,m
2の各要素は0または1の符号である。0を遮光とし1を透過としたマスク392を、シングル画素(例えば、x方向20μm,y方向5110μm(=10×511))のセンサ391に貼り合わせた。対象物90はy方向へ移動するものとした。0または1のマスク画素は10×10μmとした。
【0108】
図31は、第9実施形態の撮像装置9の動作のシミュレーションにおける各信号を示す図である。同図(a)は、シミュレーションにおいて用いられた画像を示す。一様な黒色の背景中において白い形状のオブジェクトがy方向に左から右へ平行移動しているとした。同図(b)は、シミュレーションにおいて検出部39により得られた信号を示す。同図において、横軸は時刻を表し、縦軸は(20)式に示すセンサ391からの出力信号Iを表す。同図(c)は、シミュレーションにおいて解析部49により得られた画像を示す。このとき使用したM
iおよびM’
iは、第1実施形態の場合と同じく擬直交M系列対m
i,m
i’を,それぞれ(18)式のようにその要素を順次1つずつ巡回シフトさせた系列を行にもつ行列である。
【0109】
以上のように、本実施形態の撮像装置9は、シングル画素のセンサを用いて、移動している対象物の静止画像を得ることができる。本実施形態の撮像装置9は、擬似雑音符号系列を時系列信号として生成するのではなく、シングル画素のセンサの受光面上に固定された擬似雑音符号系列マスクを有している。したがって、本実施形態の撮像装置9は、高速に対象物が移動している場合であっても該対象物の像を静止画像として得ることができる。
【0110】
なお、第1実施形態の変形形として第2〜第8の各実施形態があったように、第9実施形態に対しても同様の変形例が可能である。
【0112】
一般的に,自己相関関数は,周期自己相関関数と非周期自己相関関数とに分けられる。第1〜第9の各実施形態では,周期自己相関関数が0シフト以外ですべて0となる性質を持つM系列およびその他の符号系列を用いた。第10実施形態では,非周期自己相関関数が0シフト以外ですべて0となる符号系列である自己相補系列を使った例を示す。
【0113】
たとえば,自己相補系列として下記(22)式および(23)式で表される系列系が知られている。m
1の非周期自己相関関数は下記(24)式で表され、m
2の非周期自己相関関数は下記(25)式で表され、何れも0シフト以外が0とならない。しかし、それぞれの非周期自己相関関数を足し合わせると,下記(26)式のようになり,0シフト以外ですべて0となる性質をもつ。
【0119】
今、m
1の要素を順次1つずつ非巡回シフトさせた系列を行をにもつ行列M
1(下記(27)式)とする。なお、(27)式に示すように、m
1の要素以外は0で埋めてある。この行列M
1を転置した行列との行列積は下記(28)式で表される。
【0122】
同様に式(23)に示す同じ系列系m
2についても行列M
2を準備して,下記(29)式および(30)式を得る。
【0125】
結局、m
1とm
2の非周期自己相関関数の和は下記(31)式に示されるように0シフト以外で0となる。
【0127】
第10実施形態の撮像装置は、このような符号系列を利用する。
図33は、第10実施形態の撮像装置100の構成を示す図である。撮像装置100は、移動している対象物90に対して光を照射する照明部と、この対象物90の像を結像する光学系20と、この光学系20による対象物90の像が形成される受光面を有する検出部50と、この検出部50による検出結果を解析して対象物90の像を得る解析部と、を備える。
図34は、第10実施形態の撮像装置100の検出部50の一部構成を説明する図である。これらの図は第10実施形態の撮像装置100の検出部50の構成について主に示している。
【0128】
検出部50は、ハーフミラー501、2次元センサ502、2次元センサ503、加算器504
n、加算器505
n、減算器506
n、加算器507
n、加算器508
nおよび減算器509
nを含む。光学系20は、対象物90からの光を2次元センサ502および2次元センサ503それぞれの受光面上に結像する。ハーフミラー501は、光学系20からの光を2分岐して、一方の分岐光を2次元センサ502へ出力し、他方の分岐光を2次元センサ503へ出力する。
【0129】
本実施形態では、疑似雑音符号系列に従った固定マスクパターンを使用しない。そのかわりに、2次元センサ502の受光面のY方向に(22)式で示される自己相補系列m
1に従って画素間が電気的に接続されており、この自己相補系列m
1と像との線形畳み込み積分は下記(32)式で表わされる。また、2次元センサ503の受光面のY方向に(23)式で示される自己相補系列m
2に従って画素間が電気的に接続されており、この自己相補系列m
2と像との線形畳み込み積分は下記(33)式で表わされる。2次元センサ502,503それぞれの画素アレイd
n(1)、d
n(2)の出力I
dn(1)、I
dn(2)から、ぶれなく像を得るためには、(32)式および(33)式にそれぞれM
1、M
2の転置行列を左から作用されたものを足し合わせればよく,下記(34)を得る。たとえば(32)式の中辺のベクトルの各要素I
k(1)は2次元センサ502の時刻kにおける出力値である。同様に、(33)式の中辺の各要素I
k(2)は2次元センサ503の時刻kにおける出力値である。
【0133】
図34(a)は、2次元センサ502のある位置XにおけるY方向に並ぶ画素アレイd
n(1)を示している。画素アレイd
n(1)はY方向に画素構造をもつが,その画素は(22)式に示される自己相補系列m
1にしたがって画素の出力が加算器504
nまたは加算器505
nに接続されている。すなわち、m
1の要素+1に対応する各画素が加算器504
nに接続されて、これらの出力の和が加算器504
nから出力される。同時に、m
1の要素−1に対応する各画素が加算器505
nに接続されて、これらの出力の和が加算器505
nから出力される。そして、加算器504
nと加算器505
nとの出力差が減算器506
nにより求められる。すなわち、2次元センサ502は、受光面が2次元画素構造を持つが、後段の電気的な接続により各画素アレイd
n(1)が受光した光の全強度に応じた値の信号を出力する。
【0134】
図34(b)は、2次元センサ503のある位置XにおけるY方向に並ぶ画素アレイd
n(2)を示している。画素アレイd
n(2)はY方向に画素構造をもつが,その画素は(23)式に示される自己相補系列m
2にしたがって画素の出力が加算器507
nまたは加算器508
nに接続されている。すなわち、m
2の要素+1に対応する各画素が加算器507
nに接続されて、これらの出力の和が加算器507
nから出力される。同時に、m
2の要素−1に対応する各画素が加算器508
nに接続されて、これらの出力の和が加算器508
nから出力される。そして、加算器507
nと加算器508
nとの出力差が減算器509
nにより求められる。すなわち、2次元センサ503は、受光面が2次元画素構造を持つが、後段の電気的な接続により各画素アレイd
n(2)が受光した光の全強度に応じた値の信号を出力する。
【0135】
次に、第10実施形態の撮像装置100の動作のシミュレーションについて説明する。
図35は、第10実施形態の撮像装置100の動作のシミュレーションにおいて用いられた画像を示す図である。同図に示される番号の順に、一様な黒色の背景中において白抜きの文字「4」がy方向に左から右へ平行移動しているとした。検出部50の受光面上における文字の像の大きさは、x方向に66画素であり、y方向に8画素であった。視野Fと移動物体群Gは,G<Fの関係を満たしていない。
【0136】
図36は、第10実施形態の撮像装置100の動作のシミュレーションにおいて検出部50により得られた信号を示す図である。同図(a)は一方の2次元センサ502の出力データであり、同図(b)は他方の2次元センサ503の出力データである。
図37は、第10実施形態の撮像装置100の動作のシミュレーションにおいて解析部により得られた画像を示す図である。同図(a)はM
1TM
1hの演算結果であり、同図(b)はM
2TM
2hの演算結果であり、同図(c)は上記(34)式の演算結果である。
【0137】
第10実施形態でも、高速に対象物が移動している場合であっても該対象物の像を静止画像として得ることができる。また、検出部50に到達した光の殆ど全ての光が2次元センサ502または2次元センサ503により受光されるので、第1実施形態の場合と比較して第10実施形態では2倍の光量で撮像をすることができる。
【0138】
以上に説明した各実施形態では、第6実施形態および第7実施形態を除いて、対象物の像を結像する光学系が設けられ、この光学系による対象物の像が検出部の受光面に形成されている。各実施形態に係る撮像装置は、このような光学系に加えて、或いはこのような光学系に代えて、一端面に入射した対象物の像を他端面から出射する光学部品を備えても良い。光学部品は、対象物の像を他端面から出射することにより、検出器の受光面に対象物の像を形成するものであって、例えばイメ―ジファイバー、若しくはイメージファイバーがテーパー状に成形されたファイバーテーパー(Fiber Optic Tapers;FOT)等である。このような光学部品がレンズ等の光学系と組み合わされる場合、光学系は、対象物の像を光学部品の一端面上に結像するとよい。なお、イメ―ジファイバーは、ファイバオプティクプレート、イメージコンジット、またはイメージファイバーバンドルといった種々の名称で呼ばれることがある。また、ファイバーテーパーとは、一端に入射した像を所定の倍率に拡大/縮小して他端に伝達することができるものである。たとえばファイバーテーパーの両端面のうち大口径側の端面から入射した対象物の像は、小口径側の端面において縮小して出射される。
【0139】
光学部品として例えばファイバーテーパーを利用することで、次のような効果を得ることができる。すなわち、対象物から直接得られた像、若しくは光学系を介して得られた対象物の像をファイバーテーパーの大口径側の端面に入射させ、小口径側の端面から出射される像を光検出器の受光面へ導くことにより、小さな受光面積を有する光検出器を利用することができる。一般的に、受光面積が小さいほど、その光検出器の周波数応答が良くなることから、ファイバーテーパーを利用することによって、移動速度がより速い物体を撮像することができる。また、光検出器の受光面の画素サイズが大きい場合であっても、光学部品としてファイバーバンドルまたはファイバーテーパーを利用することにより、十分な空間解像度を得ることができ、光検出器の受光面の画素サイズが小さい場合と同等の画像を得ることができる。