IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 安間 のりこの特許一覧

<>
  • 特許-3次元撮像装置 図1
  • 特許-3次元撮像装置 図2
  • 特許-3次元撮像装置 図3
  • 特許-3次元撮像装置 図4
  • 特許-3次元撮像装置 図5
  • 特許-3次元撮像装置 図6
  • 特許-3次元撮像装置 図7
  • 特許-3次元撮像装置 図8
  • 特許-3次元撮像装置 図9
  • 特許-3次元撮像装置 図10
  • 特許-3次元撮像装置 図11
  • 特許-3次元撮像装置 図12
  • 特許-3次元撮像装置 図13
  • 特許-3次元撮像装置 図14
  • 特許-3次元撮像装置 図15
  • 特許-3次元撮像装置 図16
  • 特許-3次元撮像装置 図17
  • 特許-3次元撮像装置 図18
  • 特許-3次元撮像装置 図19
  • 特許-3次元撮像装置 図20
  • 特許-3次元撮像装置 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-04-15
(45)【発行日】2022-04-25
(54)【発明の名称】3次元撮像装置
(51)【国際特許分類】
   G01B 9/02 20220101AFI20220418BHJP
   G01B 11/00 20060101ALI20220418BHJP
【FI】
G01B9/02
G01B11/00 G
【請求項の数】 10
(21)【出願番号】P 2021211632
(22)【出願日】2021-12-24
【審査請求日】2021-12-30
【権利譲渡・実施許諾】特許権者において、権利譲渡・実施許諾の用意がある。
【早期審査対象出願】
(73)【特許権者】
【識別番号】519158528
【氏名又は名称】安間 のりこ
(74)【代理人】
【識別番号】100140693
【弁理士】
【氏名又は名称】木宮 直樹
(72)【発明者】
【氏名】長▲崎▼ 達夫
(72)【発明者】
【氏名】安間 のりこ
(72)【発明者】
【氏名】長▲崎▼ 広朗
(72)【発明者】
【氏名】森久保 聡美
【審査官】櫻井 仁
(56)【参考文献】
【文献】特許第6918395(JP,B1)
【文献】特開2002-139422(JP,A)
【文献】特開平08-086745(JP,A)
【文献】国際公開第2012/005315(WO,A1)
【文献】米国特許出願公開第2015/0168125(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 9/02
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
光の周波数、もしくは、光の振幅変調の周波数を掃引して被写体を照明する照明光を供給する光源と、
前記被写体からの反射光と参照光を合波して干渉縞を発生させる光干渉計と、
2次元配列される受光素子により又は1次元配列される前記受光素子1次元走査されることにより又は単体の前記受光素子が2次元走査されることにより、前記干渉縞を2次元の検出位置で干渉縞信号として検出する2次元検出機構と、
前記被写体の3次元に分布する反射点を反射する前記反射光の、前記光源から前記2次元検出機構の2次元の検出位置までの光路長と、前記光源により出射される前記参照光の、前記光源から前記2次元検出機構の2次元の検出位置までの光路長との光路差を、解像する全ての前記反射点について、前記2次元の検出位置ごとに算出する光路差算出手段と、
前記干渉縞信号の周波数を検出することで、前記2次元の検出位置ごとに受光方向を解像し3次元データ列を取得する検出部と、
前記検出部により取得される前記3次元データ列と、前記光路差算出手段により算出される前記光路差の情報と、を使用し、電気的な処理による結像を行うことで、前記受光方向と交差する面の解像を行う2次元フィルタ処理部と、を備え、
前記被写体3次元に分布する反射点を3次元に解像することを特徴とする3次元撮像装置。
【請求項2】
前記検出部は、前記干渉縞信号をフーリエ変換することにより前記3次元データ列を検出し前記3次元データ列は、振幅と位相の複素信号であり
前記2次元フィルタ処理部は、前記3次元データ列から、前記結像の開口に相当するデータ列を選択し、前記選択された前記データ列から、前記2次元の検出位置から前記反射点までの光路長に一致するデータを、前記光路差の情報を用いて抽出し、前記光路差から算出したフィルタ係数を乗算し、加算することで、前記結像を行って前記反射点を解像し、同様に、解像する全ての前記反射点について前記フィルタ係数を重畳積分することで、前記受光方向と交差する面を解像することを特徴とする請求項1に記載の3次元撮像装置。
【請求項3】
前記3次元データ列を記憶する記憶部と、
前記記憶部から、前記2次元検出機構の検出位置から解像する前記反射点までの光路長に一致する前記データを読み出すためのアドレスを、前記光路差を用いて生成するアドレス生成部と、
前記アドレスを用いて、前記データを読み出し、前記受光方向のデータ補間と、初期位相の整合と、前記結像の開口の重みづけを行う前記フィルタ係数を生成するフィルタ係数生成部と、を備え、
前記2次元フィルタ処理部が前記フィルタ係数を前記複素信号のデータに重畳積分することを特徴とする請求項2に記載の3次元撮像装置。
【請求項4】
前記2次元フィルタ処理を行う前記結像の開口を複数のブロックに分割し、前記ブロックごとに、前記2次元フィルタ処理と同じ処理によって、解像する前記反射点を中心とした近傍の反射点の解像を行い、各前記ブロックで得た前記近傍の反射点の複素信号のデータの相互相関演算から、光波面の乱れを検出し、前記アドレス生成による前記アドレス生成に反映させることで、前記光波面の乱れを補正する補正手段を備えることを特徴とする請求項3に記載の3次元撮像装置。
【請求項5】
前記光源の周波数掃引の歪みと変動を検出し、前記歪みによって生じる干渉縞の周波数成分の分散を、位相整合フィルタによって補正する補正手段を備えることを特徴とする請求項1~4の何れか一項に記載の3次元撮像装置。
【請求項6】
クラスタが既知の被写体の反射スペクトルから、フィッシャーレシオが大きい順にスペクトル成分を算出し、前記スペクトル成分を用い、クラスタが未知の被写体の反射スペクトルから被写体の識別を行う識別手段を備えることを特徴とする請求項1~5の何れか一項に記載の3次元撮像装置。
【請求項7】
前記識別手段は、ディープラーニングを実行するAIを用いることを特徴とする請求項6に記載の3次元撮像装置。
【請求項8】
前記光源の代りに、低コヒーレンス光源と、分光器と、を備え、前記検出部と前記2次元フィルタ処理部によって3次元の解像を行うことを特徴とする請求項1~7の何れか一項に記載の3次元撮像装置。
【請求項9】
前記2次元検出機構で検出した干渉縞信号に、3次元の解像とスペクトルの解析に必要な情報を付加するデータフォーマット作成部と、前記3次元の解像と前記スペクトルの解析に必要な情報を付加した前記干渉縞信号を、RAWデータとして記憶する記憶部と、を備えることを特徴とする請求項1~8の何れか一項に記載の3次元撮像装置。
【請求項10】
前記光源のコヒーレンス度と周波数掃引の帯域特性(歪を含む)と指向性、前記2次元検出機構の検出位置の座標と前記受光素子の指向性、前記2次元検出機構の検出位置に対する前記照明光と前記参照光の出射位置の3次元座標、そして、被写体に関する情報などを備えることを特徴とする請求項9に記載の3次元撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は3次元撮像装置に関する。特に、光干渉法によって反射光の振幅と位相を検出し、検出結果を使用した電気的な処理によって3次元の解像を行い、3次元の画素ごとに、合焦と、光波面の乱れで劣化した解像度の回復と、スペクトル解析ができる3次元撮像装置に関する。
【背景技術】
【0002】
被写体を3次元に解像し、その情報から、被写体の表面や内部の画像(断面像、断層像、透過像)を検出したり、3次元の被写体の形状を測定したりするニーズが、工業用途、医療用途を問わず強い。そのため、後述するように、様々な撮像技術や測定技術が存在している。
【0003】
さらに近年、上述の3次元の撮像と同時に、3次元の画素ごとの組成成分を、反射スペクトルの解析によって非接触に分析したいというニーズが、工業用途、医療用途を問わず強くなっている(例えば、特許文献1参照)。
【0004】
(3次元形状検出技術)
非接触に3次元形状を測定する技術として、焦点移動方式、共焦点移動方式、光干渉方式、フリンジ投影法式などが知られている。
【0005】
(分光画像検出技術)
分光画像検出技術として、ライン分光方式を用いるハイパースペクトルカメラが知られている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2006―153654号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
このように、反射スペクトルの解析によって被写体の組成成分を分析するために、分光画像を検出する技術も、様々な撮像技術や測定技術が存在する。
【0008】
ところが、これら3次元形状検出技術と分光画像検出技術を組合せて3次元の解像と分光画像の検出を同時に行える撮像装置を構成しようとすると、いずれの組合せにおいても、以下の不具合を生じるため、実現性が困難である。
・組み合わせることが原理的に不可能であること、
・ハードウエアの規模が大きくなること、構造が複雑化すること、
・処理時間が膨大になること、
・検出精度が大幅に低下すること。
【0009】
このため、精度の高い3次元の解像と分光精度の高い分光画像の検出を同時に達成する撮像装置は現存しない。
【0010】
本発明は、かかる事情に鑑みてなされたものである。すなわち、本発明は、簡易な構造で、被写体に対し3次元の解像と分光画像の検出を同時に実現できる3次元撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る3次元撮像装置は、光の周波数、もしくは、光の振幅変調の周波数を掃引して被写体を照明する光源と、被写体からの反射光と参照光を合波して干渉縞を発生させる光干渉計と、2次元配列の受光素子、1次元配列の受光素子と1次元走査の組合せ、及び単体受光素子と1次元走査の組合せの、いずれかによって、干渉縞を2次元の位置で電気信号として検出する2次元検出機構と、2次元検出機構の2次元の検出位置における反射光と参照光の光路差を、3次元の画素ごとに算出する光路差算出手段と、を備え、干渉縞と光路差の情報を使用した処理によって、被写体を3次元に解像する。
【0012】
また、本実施形態の第2の好ましい態様によれば、干渉縞信号をフーリエ変換して受光方向を解像し、振幅と位相の複素信号の3次元データ列を検出するフーリエ変換処理部と、
3次元データ列から、2次元の検出位置から解像する画素までの光路長に一致するデータを、光路差を用いて抽出し、光路差から算出したフィルタ係数を重畳積分することで、受光方向と交差する面を解像する2次元フィルタ処理部と、を備える。
【0013】
また、本実施形態の第3の好ましい態様によれば、3次元データ列を記憶する記憶部と、
記憶部から、2次元検出機構の検出位置から解像する反射点までの光路長に一致するデータを読み出すためのアドレスを、光路差を用いて生成するアドレス生成部と、
アドレスを用いて、データを読み出し、受光方向のデータ補間と、初期位相の整合と、結像の開口の重みづけを行うフィルタ係数を生成するフィルタ係数生成部と、
フィルタ係数を複素信号のデータに重畳積分するローパスフィルタ部と、
を備える。
【0014】
また、本実施形態の第4の好ましい態様によれば、2次元フィルタ処理を行う開口を複数のブロックに分割し、ブロックごとに、2次元フィルタ処理と同じ処理によって、解像する画素を中心とした近傍画素の解像を行い、各ブロックで得た近傍画素の複素信号のデータの相互相関演算から、光波面の乱れを検出し、アドレス部のアドレス生成に反映させることで、光波面の乱れを補正する補正手段を備える。
【0015】
また、本実施形態の第5の好ましい態様によれば、光源の周波数掃引の歪みと変動を検出し、歪みによって生じる干渉縞の周波数成分の分散を、位相整合フィルタによって補正する補正手段を備える。
【0016】
また、本実施形態の第6の好ましい態様によれば、クラスタが既知の被写体の反射スペクトルから、フィッシャーレシオが大きい順にスペクトル成分を算出し、スペクトル成分を用い、クラスタが未知の被写体の反射スペクトルから被写体の識別を行う識別手段を備える。
【0017】
また、本実施形態の第7の好ましい態様によれば、前記識別手段は、ディープラーニングを実行するAIを用いる。
【0018】
また、本実施形態の第8の好ましい態様によれば、前記光源の代りに、低コヒーレンス光源と、分光器と、を備え、前記干渉縞信号を検出し、前記フーリエ変換処理部と前記2次元フィルタ処理部によって3次元の解像を行う。
【0019】
また、本実施形態の第9の好ましい態様によれば、2次元検出機構で検出した干渉縞信号に、3次元の解像とスペクトルの解析に必要な情報を付加するデータフォーマット作成部と、3次元の解像とスペクトルの解析に必要な情報を付加した干渉縞信号を、RAWデータとして記憶する記憶部と、を備える。
【0020】
また、本実施形態の第10の好ましい態様によれば、光源のコヒーレンス度と周波数掃引の帯域特性(歪を含む)と指向性、2次元検出機構の検出位置の座標と受光素子の指向性、2次元検出機構の検出位置に対する照明光と参照光の出射位置の3次元座標、そして、被写体に関する情報などを備える。
【発明の効果】
【0021】
本発明によれば、簡易な構造で、被写体に対し3次元の解像と分光画像の検出を同時に実現できる3次元撮像装置を提供できる。
【図面の簡単な説明】
【0022】
図1】実施形態に係る3次元撮像装置の構成を示す構成図である。
図2】3次元撮像装置において干渉縞を生じる原理を説明する図である。
図3】3次元撮像装置において干渉縞を生じる原理を説明する他の図である。
図4】反射点から2次元フィルタ処理までの構成を示す図である。
図5】2次元フィルタ処理の処理動作を説明する図である。
図6】(a)-(g)は、受光素子の配列間隔と指向性を説明する図である。
図7】光波面の乱れによって劣化した解像度を、2次元フィルタ処理によって回復する構成を説明する図である。
図8】干渉縞のRAWデータからRGB画像を生成する構成を示す図である。
図9】フーリエ変換によって生成する各種スペクトル画像の波長帯域を示す図である。
図10】AIによる特定する物質の非線形な切り分けを説明する図である。
図11】レーザー光源の周波数掃引の直線性に歪みがある場合を説明する図である。
図12】周波数掃引の直線性の歪みを検出する構成について説明する図である。
図13】本実施形態の応用例の構成を示す図である。
図14】(a)は、反射点の結像位置が、撮像素子より前にあるときの結像光束を示し、(b)は、反射点の結像位置が、撮像素子より後にあるときの結像光束を示す図である。
図15】本実施形態において低コヒーレンス光源を用いた構成を示す図である。
図16】(a)、(b)、(c)は、それぞれ反射点の反射光を、紙面の縦方向に走査しながら検出するときの光路を示す図である。
図17】冠状動脈を診断する場合に必要な合焦範囲を示す図である。
図18】本実施形態を血管内OCT装置に適用した構成を示す図である。
図19】血管内OCT装置を使用して冠状動脈の画像を検出する方法を説明する図である。
図20】本実施形態をX線撮像やγ線撮像に応用する構成を説明する図である。
図21】(a)は、反射点から2次元フィルタ処理までの構成を示す他の図である。(b)は、光軸と垂直な面を結像レンズで解像し、受光方向をフーリエ変換処理によって解像する3次元の解像処理を示す図である。
【発明を実施するための形態】
【0023】
実施例の説明に先立ち、本発明のある態様にかかる実施形態の作用効果を説明する。なお、本実施形態の作用効果を具体的に説明するに際しては、具体的な例を示して説明することになる。しかし、後述する実施例の場合と同様に、それらの例示される態様はあくまでも本発明に含まれる態様のうちの一部に過ぎず、その態様には数多くのバリエーションが存在する。したがって、本発明は例示される態様に限定されるものではない。
【0024】
(実施形態)
本発明の実施形態に係る3次元撮像装置は、光干渉法によって反射光の振幅と位相を検出し、それを使用した電気的な処理によって3次元の解像を行う。そして、3次元撮像装置は、3次元の画素ごとに、合焦と、光波面の乱れで劣化した解像度の回復と、スペクトルの解析を行う。
【0025】
3次元撮像装置は、光干渉計によって生じた反射光の干渉縞を2次元に検出する。次に、後述するフーリエ変換処理によって、2次元に検出した各位置において、受光方向を解像する。そして、フーリエ変換処理によって得た反射光の振幅と位相(以下、複素信号)と反射点までの光路長を使用して、後述する2次元フィルタ処理によって、受光方向と交差する面の解像を行う。3次元撮像装置は、この2つの処理によって被写体を3次元に解像する。
【0026】
上記の2次元フィルタ処理によって、画素ごとの合焦(ダイナミックフォーカシング)と、後述する光波面の乱れで劣化した解像度の回復を行う。また、受光方向の解像処理に使用する照明光の周波数掃引を利用して、反射光のスペクトルの解析を行い、画素ごとに被写体の組成の識別を行う。
【0027】
また、本実施形態は、可視光帯に限らず、結像光学系が存在しない構成、結像光学系が存在していても高価であったりする電磁波の波長帯、例えば、赤外光、テラヘルツ波、ミリ波、X線、γ線などにも適用することができる。
【0028】
図1を用いて、3次元撮像装置の基本構成を説明する。
図1は、実施形態に係る3次元撮像装置の構成を示す構成図である。
光源1は、撮像時間内に周波数掃引された光を出射する。光源1から出射された照明光である掃引光は、光干渉計13のビームスプリッタ2で分離される。分割面で反射した一方の掃引光は被写体3を照明する。分割面を透過した他方の掃引光はミラー4で反射される。ミラー4で反射した参照光は、ビームスプリッタ2で被写体3からの反射光7と合波され、干渉縞を生じる。
【0029】
生じた干渉縞は、2次元配列の受光素子8(以下、「撮像素子」という。)で受光される。干渉縞信号を撮像素子8で検出する方法は後述する。
【0030】
撮像素子8で受光した干渉縞信号は、メモリ5にRAWデータとして記憶される。そして、メモリ5から解像に必要な分の干渉縞信号が読み出され、フーリエ変換処理11によって受光方向を解像する。
【0031】
その後、後述する2次元フィルタ処理12によって光軸9と垂直な面の解像を行い、反射点6を3次元に検出する。フーリエ変換処理11と2次元フィルタ処理12に関しては、後述する。
【0032】
被写体3の反射点6から反射した反射光は、ビームスプリッタ2によって参照光と合波されると、後述するように、反射点6の反射光と参照光の光路差に比例した周波数の干渉縞を生じる。
【0033】
上記の光路差は、光源1から出射された照明光がビームスプリッタ2を介して反射点6で反射され、撮像素子8の各受光素子に受光されるまでの反射光の光路長と、光源1からビームスプリッタ2を透過して反射ミラー4とビームスプリッタ2を介し、撮像素子8の各受光素子に受光されるまでの参照光の光路長の差である。
【0034】
ゆえに、反射点6の位置と撮像素子8の各受光素子の位置に対応した周波数の干渉縞が生じる。これを利用して、後述するフーリエ変換処理11と、2次元フィルタ処理12によって、反射点6を3次元に解像することができる。
【0035】
ここで、光源1は、光軸9と垂直な面の解像に必要な空間的コヒーレンス(点光源性)を有し、周波数掃引は、受光方向の解像に必要な直線性と周波数帯域と時間的コヒーレンスを有している。これらの条件を満足する光源として、MEMS(Micro Electro-Mechanical system)やKTN(タンタル酸ニオブ酸カリウム)などの偏向素子と分光器を用いた、周波数掃引型レーザー光源などを用いることができる。
【0036】
または、光源1は、光軸9と垂直な面の解像に必要な空間的コヒーレンス(点光源性)を有するインコヒーレント光源(パーシャルコヒーレント光源)であって、出射光の振幅に周波数掃引の変調がなされている構成でも良い。
【0037】
前者の光源は、コヒーレンス長の点から、比較的近距離にある小さな被写体を、高解像度を以って3次元に解像するときに使用される。後者の光源は、遠距離にある大きな被写体を、3次元に解像するときに使用される。
【0038】
図1では、干渉縞を2次元に検出する機構として撮像素子8を示している。しかしながら、これに限られず、1次元配列の受光素子と1次元走査の組合せ、もしくは、単一の受光素子と2次元走査の組合せによって、干渉縞を2次元に検出する機構であっても良い。
【0039】
また、コヒーレンスが損なわれずに光源1から各受光素子までの反射光と参照光の光路長が算出できれば、照明光、反射光、参照光の各光路中に光学系が配置されても良い。
【0040】
また、光干渉計13は、受光路上であれば、どこに配置されても良く、ビームスプリッタ2を、参照波の合波用と照明光の分離用に分けて配置しても良い。
【0041】
図1の光干渉計13は、原理説明のために基本構成を示している。これに限られず、光干渉計は、様々な方式があり、用途に応じて方式を選択できる。例えば、構成寸法を小さくするために、Mirau方式のような光干渉計を使用しても良い。
【0042】
また、波長帯域を満足すれば、光の利用効率を上げるために、ファラデー回転子を用いた光サーキュレータを使用しても良い。
【0043】
ただし、いずれの構成の場合も、途中の光学系と、光干渉計13を構成するビームスプリッタ2やミラー4は、照明光、反射光、参照光のコヒーレンスが損なわれず、光源1から撮像素子8の各受光素子までの反射光と参照光の光路長が算出できる形状でなければならない。
【0044】
例えば、ミラー4は、表面の精度が波長の1/16以下と充分に小さく、点反射体や平板に加えて、凹面、凸面、楕円面のように焦点を有し、光路長を算出しやすいものが使用される。
【0045】
コヒーレンスが損なわれず、光源1から各受光素子8までの反射光と参照光の光路長が算出できれば、上記のいずれの構成の場合においても、後述するフーリエ変換処理11と2次元フィルタ処理12による3次元の解像を行うことができる。
【0046】
(フーリエ変換処理の説明)
以下に、受光方向を解像する図1のフーリエ変換処理11について説明する。
周波数と位相が異なる2つの光を合波すると、それらの差の周波数と差の位相からなる干渉縞を生じる。これを光ヘテロダイン検波と言う。
【0047】
光ヘテロダイン検波は、周波数が大変高い光のキャリアを周波数の低い干渉縞のキャリアに変換することができる。そして、光の振幅と位相の情報を保持した干渉縞を、受光素子によって電気信号に変換することができる。また、光ヘテロダイン検波は、振幅変調されたインコヒーレント光の振幅と位相の検出にも適用できる。
【0048】
図2は、3次元撮像装置において干渉縞を生じる原理を説明する図である。
受光方向を解像するフーリエ変換処理は、この光ヘテロダイン検波の原理に基づいている。図2に示すように、周波数掃引がなされた参照光18と反射光19の光路長の差から僅かな時間差(光路差)14が生じる。これによって、参照光18と反射光19の周波数と位相に僅かな時間差15が生じる。そして、差の周波数と差の位相からなる干渉縞を生じる。
【0049】
図2から分かるように、周波数掃引の直線性が高ければ、差の周波数と差の位相が掃引時間にわたって一定になる。このため、反射光と参照光の周波数掃引に従い、一定の周波数の干渉縞を生じる。
【0050】
そして、参照光18と反射光19の光路差14が、点線16に示すように大きくなると、干渉縞の周波数15も、点線17に示すように高くなる。
【0051】
図3は、3次元撮像装置において干渉縞を生じる原理を説明する他の図である。
また、図3に示すように、掃引する周波数掃引の帯域幅21を、点線22に示すように広くすると、光路差25が同じでも、干渉縞の周波数23が点線24に示すように高くなる。
【0052】
このような干渉縞信号をフーリエ変換すると、干渉縞の周波数が、周波数軸上のスペクトル(複素信号)として検出される。ここで、周波数軸上のスペクトルの位置が、図1における光源(点光源)1から受光素子8までの反射光と参照光の光路差に比例する。そして、撮像素子8の受光素子から反射点6までの距離を検出することができる。
【0053】
そして、スペクトルの分解能(単スペクトルの幅)は、周波数掃引の包絡線をフーリエ変換した波形で決まる。図3の干渉縞の周波数掃引の帯域幅23を、点線24のように広くすると、光路差に対するフーリエ変換後のスペクトルの数が増えるため、受光方向の解像度を上げることができる。
【0054】
そして、上述の処理は、インコヒーレント光の振幅変調を周波数掃引したときにも、そのまま適用できる。
参照光Esと反射光Erは、それぞれ以下の式(1)、(2)として表すことができる。
Es=As×cos{2π[f0+(Δf/2T)t]t+θ} (1)
Er=Ar×cos{2π[f0+(Δf/2T)(t-td)](t-td)+θ} (2)
ここで、
Δfは、周波数掃引の帯域幅、
Tは、掃引時間、
f0は、掃引開始の周波数、
θは、掃引開始の初期位相、
tは、時間、
tdは、参照光と反射光の時間差(光路差)、
参照光の振幅をAs、
反射光の振幅をAr、
である。
【0055】
参照光と反射光を合波し受光素子で受光すると、受光素子の周波数応答(LPF:ローパスフィルタ)から光の高い周波数を含む項が直流成分になり、低い周波数成分の干渉縞の項だけが残る。そして、三角関数の積和の式から、以下の式(3)が得られる。
LPF[(Es+Er)]=A×cos{2π[f0+(Δf/2T)t]t-2π[f0+(Δf/2T)(t-td)](t-td)}+K (3)
ここで、
AとKは、それぞれ参照光の振幅Asと反射光の振幅Arで決まる定数である。
【0056】
式(3)から、さらに定数AとKを除いて整理すると、以下の式(4)となる。
cos{2π[2(Δf/2T)td]t+2π[(Δf/2T)td+f0×td]} (4)
【0057】
式(4)の第1項から、2(Δf/2T)tdは、干渉縞信号の周波数であり、時間差(光路差)tdが変化すると干渉縞の周波数が直線的に変化することが分かる。
また、式(4)の第2項から、2π[(Δf/2T)td+f0×td]は、干渉縞信号の初期位相であり、tdに対して初期位相が放物線状に変化することが分かる。
【0058】
そして、周波数掃引の包絡線が矩形波の場合、スペクトル分解能は、矩形波をフーリエ変換したsinc関数((sinx)/x)の半値全幅=1/Tになる。このため、スペクトル分解能に相当する時間差tdを求めると、2(Δf/2T)td=1/Tから、td=1/Δfとなる。ゆえに、受光方向の分解能ρは解像度であり、伝播媒体中の光速をCとし、反射が往復であることを考慮すると、ρ=C/2Δfとなる。
【0059】
以上に述べた原理は、インコヒーレント光源を用い、その振幅変調について周波数掃引を行った場合も、そのまま適用できる。
【0060】
包絡線を矩形波にすると、矩形波をフーリエ変換したsinc関数のサイドローブが発生する。包絡線をガウシアン(ガウス関数)にすると、サイドローブを抑えることができるが、解像度が多少落ちるため、掃引の帯域幅をその分増やして対応する。
【0061】
図1に示す単一の受光素子mによって反射点6の干渉縞信号を検出し、フーリエ変換したときの3次元点像分布関数(3次元PSF(Point Spread Function))は、図1の曲線10に示すように、受光方向7の点像分布関数を受光素子mの指向性の範囲に球面状に広げた形となる。
【0062】
本願の説明文中で「受光方向を解像する」という表記は、この3次元点像分布関数の複素信号を受光方向7のデータ列として検出することを示している。
【0063】
各受光素子で得られる干渉縞信号、もしくは、それをフーリエ変換して解像した複素信号に、光源のコヒーレンス度と周波数掃引の帯域特性と指向性、受光素子の指向性と素子数と配列間隔、撮像素子の受光面に対する照明光と参照光の出射位置の3次元座標、そして、被写体の情報を付加し、RAWデータとしてアーカイブすれば、後から位相情報を利用した様々な処理を行うことができる。
【0064】
反射光が、反射点から受光素子に到達する僅かな時間を検出することは、技術的に困難である。しかしながら、上述したように、参照光との干渉縞を検出してフーリエ変換を行なえば、僅かな時間差(光路差)を、干渉縞の周波数の違いに変換して検出することができる。
【0065】
反射光には、光干渉法によって生じた干渉縞が、被写体の反射点の数だけ重畳されているので、フーリエ変換を行なえば、受光方向を解像することができる。フーリエ変換処理による受光方向の解像は、レーダーのパルス圧縮の解像と原理は同じである。即ち、反射光の周波数成分の位相を整合して加算した(位相整合フィルタを通した)ことになり、あたかも、ミクロンオーダーの光のパルスをレーダーのように送受信して、受光方向を解像したことになる。
【0066】
(干渉縞信号の検出の説明)
次に、干渉縞信号を図1の撮像素子8で検出する方法について説明する。
「(フーリエ変換処理の説明)」欄で上述したように、干渉縞信号をフーリエ変換すると受光方向の点像分布関数が得られ、その半値全幅が受光方向の解像度となる。標本化定理に従い、受光方向の標本化の間隔を解像度より小さく設定する。このため、受光方向の解像範囲を標本化間隔で除したものが受光方向の画素数になる。
【0067】
照明光の周波数掃引の間に、撮像素子8の撮像を、受光方向の画素数と同じ回数だけ繰り返すことにより、フーリエ変換対の関係から、干渉縞信号を、標本化定理を満たして検出できる。検出時間を短くするときは、周波数掃引時間を短くし、それに合わせてフレームレートの高い撮像素子8を使用する。撮像素子8は、基本的にグローバルシャッタ動作が可能なものが使用される。
【0068】
受光方向の画素数を1000画素とし、一般的な60フレーム/秒の撮像素子を使用して干渉縞信号を標本化する場合、干渉縞信号の検出に要する時間は1000÷60=16.7秒になる。この場合、光源1の掃引時間は16.7秒に設定される。検出時間の長さから静止物の3次元の解像や形状測定などに応用される。
【0069】
市販されている高速撮像素子(2000×1000画素、1000フレーム/秒)を使用した場合の検出時間は、1秒となる。
【0070】
現存する最高速の撮像素子(2000×1000画素、20000フレーム/秒)を使用する場合、撮像時間は50msとなる。このため、動く被写体への用途が広がる。また、多板プリズムによって複数の撮像素子のタイミングをずらして撮像すると、撮像時間を更に縮めることができる。
【0071】
また 、撮像素子の撮像時間を短くしていくと、感度が得られなくなるように感ずる。しかしながら、図1のフーリエ変換処理11を行うと、受光方向の画素数分だけ感度が向上する、換言すると、単スペクトルのSN比が、画素数の平方根分向上する。
【0072】
加えて、図1の2次元フィルタ処理12を行うと、図4の仮想レンズ35の受光素子の数だけ感度が向上する。このため、結果として、光学系を使用した撮像装置のシャッタ動作と同程度の感度になり、問題は生じない。
【0073】
シャッタ動作(1ms以下)を行う場合は、干渉縞を各受光素子で受光し、並列にデジタル化し、並列にメモリに記憶できる撮像素子が必要になる。並列処理に必要な配線数と、そのストレーキャパシティによる電力消費を考えると、並列処理回路は撮像素子に内装されないと実現性がない。
【0074】
進捗が著しい半導体の多層構造化技術を使用すれば、その実現性は高い。例えば、画素ごとに記録用の転送メモリ部を設けた200万画素、250万フレーム/秒の裏面照射型撮像素子の開発報告が知られている。多層構造化技術によって同様にメモリを構成すれば、0.4msのシャッタ動作が可能になる。
【0075】
(2次元フィルタ処理の説明)
次に、フーリエ変換処理11(図1)で得た反射光の複素信号を使用し、光軸と垂直な面を解像する図1の2次元フィルタ処理12について説明する。
【0076】
図4は、反射点から2次元フィルタ処理までの構成を示す図である。
図4に示すように、合波部32において参照光と合波されて生じた干渉縞は、撮像素子の受光素子33-1~33-nで受光される。検出した干渉縞信号は、メモリ5(図1)に記憶される。その後、仮想レンズ35の開口に相当する干渉縞信号をメモリから読み出し、フーリエ変換処理34(図1の11)を行う。これにより、各受光素子33-1~33-nの受光方向を解像し、受光方向の複素信号の3次元のデータ列36-1~36-nを得る。
【0077】
そして、反射点31を焦点とする仮想レンズ(コリメートレンズ)35で集光したかのように、2次元フィルタ処理37によって、受光方向の複素信号の3次元データ列36-1~36-nから、反射点31から各受光素子33-1~33-nまでの光路長に一致する画素の複素信号を抽出する。そして、結像の開口の中心位置の複素信号に位相を整合させて加算すると、反射点31を解像することができる。被写体空間の全ての反射点(画素)に対して、この処理を行ない、被写体を3次元に解像する。
【0078】
図4の処理の構成を、図21(a)に示す。
図21(a)は、反射点から2次元フィルタ処理までの構成を示す他の図である。
【0079】
【数1】
一つの反射点からの反射光P1~Pnは、上記の式(5)で表すことができる。
ここで、
Rは、参照光、
Lpは、受光素子によるローパスフィルタの係数、
F(カリグラフィ書体)は、受光方向のフーリエ変換、である。
【0080】
【数2】
式(5)を分配則に従って整理すると、上記の式(6)で表すことができる。
【0081】
式(6)は、図21(b)に示すように、光軸と垂直な面を結像レンズで解像し、受光方向をフーリエ変換処理によって解像する3次元の解像処理を表している。
【0082】
上述の「フーリエ変換処理の説明」欄で述べたように、光路差tdが変化すると、干渉縞の周波数が直線的に変化する。
そして、干渉縞信号の初期位相は、
2π[(Δf/T)td+f0×td]
の式となって、tdに対して放物線状に変化する。
【0083】
反射点31から各受光素子33-1~33-nまでの光路長に一致する画素の複素信号を抽出し加算を行う際に、この初期位相の整合が行われる。初期位相の整合は、後述する図5のローパスフィルタ42-1~42-nによって、データ補間の処理と合わせて行われる。後述する図5のフィルタ係数生成部50において、データ補間用の係数と、位相整合用の複素信号の係数の乗算が行われ、ローパスフィルタ42-1~42-nの係数47-1~47-nが生成される。
【0084】
(2次元フィルタ処理37の処理動作の説明)
図5は、2次元フィルタ処理37の処理動作を説明する図である。
図4の受光方向の複素信号のデータ列36-1~36-nを、図5のラインメモリ41-1~41-nに記憶する。ラインメモリ41-1~41-nから、アドレス44-1~44-nによって、結像する開口に相当するデータ列の中から、図4の反射点31から各受光素子33-1~33-nまでの光路長に一致するアドレスに記憶されている複素信号48-1~48-nを読み出す。
【0085】
そして、光路長の量子化誤差の影響を抑えるために、ローパスフィルタ42-1~42-nによって、複素信号48-1~48-nの受光方向のデータ補間と、上述した位相の整合を行ってから加算器49で加算を行う。
【0086】
データ補間の精度は、受光方向の解像度の1/16以下が望ましい。データ補間は、スプライン補間が望ましい。ただし、近傍データを使用した直線補間でも十分である。反射点31から各受光素子33-1~33-nまでの光路長に一致する複素信号の近傍のデータが、ラインメモリ41-1~41-nから読み出される。読みだされたデータは、ローパスフィルタ42-1~42-nに入力されてデータ補間がなされる。
【0087】
データ補間と位相整合用のフィルタの係数47-1~47-nは、アドレス44-1~44-pに従い、フィルタ係数生成部50で生成される。サイドローブを抑えるために、補正用の重み係数を乗じてから加算を行っても良い。重み係数の乗算は、フィルタ係数生成部50において、ローパスフィルタ42-1~42-nのフィルタ係数47-1~47-nに乗ずることで行われる。
【0088】
光路長が一致する複素信号48-1~48-nをラインメモリ41-1~41-nから読み出すためのアドレス44-1~44-nと、それにデータ補間用の下位アドレスを加えたアドレス44-1~44-pが、アドレス生成部45で生成される。
【0089】
これらのアドレス44-1~44-pは、計算によって生成すること、もしくは、事前に算出したものをルックアップテーブルに記憶しておくこと、または、計算時間とメモリ規模のバランスを考慮して、それらの複合方式によること、により生成される。
【0090】
また、反射光と参照光の光路長は、図4の各受光素子33-1~33-nの位置を含めて、光路中に配置された光学系や、反射ミラーの形状や位置によって、光源から各受光素子33-1~33-nまでの光路長に違いが生じる。このため、反射光と参照光の光路長がアドレス生成部45において正確に算出され、アドレス44-1~44-pに反映される。
【0091】
例えば、図1の構成の反射光と参照光の光路長を算出する。
撮像素子8の受光面の中心の位置を3次元座標の原点(0,0,0)とし、
紙面と垂直の方向をX軸、縦方向をY軸、光軸9の方向をZ軸とする。
【0092】
反射光の光路長は、光源1の位置をビームスプリッタ2の反射面で折り返し、そのときの光軸9上の光源1の位置(0,0,s)から反射点6の位置(x,y,z)までの光路長に、反射点6の位置(x,y,z)から撮像素子8の各受光素子の位置(dx,dy,0)までの光路長を加えることになる。
【0093】
反射光の光路長は、以下の式(7)で表される。
[x+y+(z-s)]1/2+[(x-dx)+(y-dy)+z] 1/2 (7)
【0094】
また、参照光の光路長は、光源1の位置を反射ミラー4の反射面で折り返し、更に、それをビームスプリッタ2の反射面で折り返し、そのときの光源1の光軸9上の位置(0,0,r)から撮像素子8の各受光素子の位置(dx,dy,0)までの光路長となる。
【0095】
参照光の光路長は、以下の式(8)で表される。
[dx+dy+r] 1/2 (8)
【0096】
このように図1の場合は、反射光と参照光の光路長が容易に算出できるため、反射光と参照光の光路差が算出できる。そして、反射光と参照光の光路差を受光方向の標本化間隔で除した値が、フーリエ変換処理11によって受光方向を解像したときの画素のアドレスに対応する。このようにして、アドレス44-1~44-nを生成することができる。
【0097】
また、2次元フィルタ処理を行う際に、ローパスフィルタ42-1~42-nのデータ補間によって、立方等配列の3次元画素へ変換することができる。このため、アドレス44-1~44-pは、それに対応して生成される。
【0098】
また、3次元の解像は、被写体空間からの反射光を3次元にフーリエ変換すれば良い。フーリエ変換は、フーリエ変換後に乗算するフィルタの特性が一定(スペースインバリアントフィルタ)の場合に、バタフライ演算の効果によってトータルの乗算数を大きく減らすことができる。
【0099】
ところが、実際は、画素ごとに開口の大きさと焦点位置を変える(フィルタの特性を変える)必要がある。さらに、後述する光波面の乱れの補正では、光波面の乱れに合わせて画素ごとにフィルタの係数を変える必要がある。このため、本実施形態は、受光方向の1次元フーリエ変換処理に、3次元の画素ごとにフィルタの係数を最適化して重畳積分を行う2次元フィルタ処理12を組合せている。
【0100】
また、2次元フィルタ処理の原理を説明する都合上、受光方向の複素信号36-1~36-nに対して並列に処理するシステム構成を中心に説明したが、実際は、回路規模との兼ね合いで、直列と並列の処理を適宜織り交ぜることになる。
【0101】
また、上述したように、2次元フィルタ処理12はパラメータを適応的に切換えることが多いため、高速のCPUによるソフトウエア処理や、高速並列処理が得意で汎用言語によるプログラミングが可能なGPU(Graphics Processing Unit)などを組み合わせ、回路規模と処理時間のバランスをとり、システム構成の変更や、機能のバージョンアップをやり易くすることが望ましい。
【0102】
(2次元フィルタ処理に必要な受光素子の配列間隔と指向性についての説明)
次に、図1の2次元フィルタ処理12に必要な受光素子の配列間隔と指向性について説明する。2次元フィルタ処理12は、反射光を2次元フーリエ変換することと同じである。
【0103】
図6(a)-(g)は、受光素子の配列間隔と指向性を説明する図である。
説明を簡素化するために、図6(a)-(g)に、反射光を1次元配列の受光素子で受光し、配列方向についてフーリエ変換したフーリエ変換対を示し、受光素子の配列間隔と指向性について説明を行う。y軸は、配列方向の位置を示し、Y軸は、y軸をフーリエ変換した焦点面の位置を示す。
【0104】
図6(a)は、光軸上にある反射点からの反射光を、開口52によって受光したときの受光感度分布51を示している。受光感度分布51は、設定した開口52と受光素子単体の指向性(焦点面上の受光感度分布)53の積となる。ゆえに、開口52は、指向性53の範囲を超えて設定しても意味がない。
【0105】
言い換えると、検出できる最大の解像度は、受光素子の指向性53で決まる。指向性53は、受光素子単体の開口とマイクロレンズによって形成される。図6(a)に示した受光感度分布51の波形は、開口52が指向性53より小さい場合を示している。また、受光素子単体の指向性53が常に光軸方向にあるため、検出する反射点が光軸から離れると、受光感度分布51の波形が変わる。図6(a)の波形は、反射点が光軸上にある場合を示している。
【0106】
図6(b)は、間隔Pの受光素子配列を示している。図6(c)は、受光素子単体の受光面上の感度分布を示している。
【0107】
図6(a)の関数をフーリエ変換すると図6(d)の関数になる。図6(b)の関数をフーリエ変換すると図6(e)の関数になる。図6(c)の関数をフーリエ変換すると図6(f)の関数になる。
【0108】
重畳積分の定理に従い、フーリエ変換により乗算は重畳積分(コンボリューション)に置き換わり、重畳積分は乗算に置き換わっている。
【0109】
図6(d)は、受光感度分布51をフーリエ変換した焦点面上の点像分布関数(半値全幅が解像度)54を示す。図6(e)は、受光素子の配列によって起きる回折の極を示す。極の間隔は1/Pとなる。図6(f)は、マイクロレンズで形成される(マイクロレンズのフーリエ変換で形成される)受光素子単体の焦点面上の指向性(受光感度分布)53を示す。ちなみに、Y軸上の実際の数値は、焦点距離の逆数と中心波長に比例した係数を乗じた値になるが、本項の説明と直接の関りがないため、図は省略する。
【0110】
図6(d)の関数と図6(e)の関数を重畳積分し、さらに図6(f)の関数を乗算すると、図6(g)に示す波形となる。解像度57は、フーリエ変換対の関係から、受光感度分布51の開口τの逆数、1/τに比例する。上述したように、合成できる解像度(開口数)は受光素子の指向性53で決まる。目的とする解像度に応じてマイクロレンズの指向性が設定される。
【0111】
そして、図6(g)の波形から分かるように、受光素子単体の指向性53が乗ぜられることで、第2主極55以上の回折(ゴースト画像の要因になる )が除去される。回折の極の間隔1/Pを、指向性53がnull(0)になる位置56より大きく設定しなくてはならない。言い換えると、受光素子の配列間隔Pは、解像度より小さく設定する必要がある。
【0112】
例えば、図1の2次元フィルタ処理12によって1μの解像度を得るとき、受光素子の配列間隔は1μm以下が必要になる。ちなみに、撮像素子の画素間隔の製造限界は、現状、1μmを僅かに下回っている。また、マイクロレンズの指向性も、製造プロセスにおいて制御することが可能である。
【0113】
画角の端にある反射点を検出する場合、±第2主極55の位置が光軸に最も近づく。これに対して、受光素子の指向性53は常に光軸方向にある。このため、±第2主極55が受光素子の指向性53内に入らないように、配列間隔Pを小さ目に設定するか、もしくは、画角を狭める必要がある。
【0114】
そこで、フーリエ変換処理11(図1)は、干渉縞信号を周波数成分ごとに直交検波をするのと同じである。フーリエ変換処理により、干渉縞のキャリア(搬送波成分)が消え、受光方向の点像分布関数の複素信号が得られる。
【0115】
複素信号という2チャンネルの信号になるが、干渉縞のキャリアが無くなる分、その周波数帯域は狭くなり、点像分布関数の包絡線の帯域幅となる。これによって、光を複素信号に変換してから行なう2次元フィルタ処理12(図1)に必要な受光素子の配列間隔は、解像度の1/2以下であるミクロンオーダーで良いことになる。
【0116】
これに対して、結像レンズの場合は、光の周波数をキャリアとするフーリエ変換であるため、その表面精度は光の波長の1/16以下(数10ナノオーダー)という高い精度が要求される。
【0117】
ただし、結像レンズは、結像を瞬時に行なえる大変優れた2次元フーリエ変換器であり、2次元フィルタ処理のように処理時間を必要としない。ただし、焦点位置、開口、倍率などの変更や光波面の乱れの補正を行う場合、複雑な光学系と機構が必要となり、その切換に時間を要する。
【0118】
その点、2次元フィルタ処理は、それらの切換を電気的に行なうこと、画素ごとに最適化が図れること、劣化した解像度を回復すること、高解像を以って被写界深度を拡大することなどが可能になる。
【0119】
そこで、光学系と2次元フィルタ処理を組合せ、それぞれの特徴を活かすことで、用途と目的に応じたシステムの最適化を図ることができる。また、応用例は、後述する。
【0120】
反射光の通過媒体中に、屈折率の異なる組成の混在や途中光学系の収差などがあると、光波面に乱れを生じ、解像度が劣化する。次に、光波面の乱れによって劣化した解像度を、2次元フィルタ処理によって回復する構成、方法を説明する。
【0121】
(2次元フィルタ処理により解像度を回復する説明)
図7は、光波面の乱れによって劣化した解像度を、2次元フィルタ処理によって回復する構成を説明する図である。
【0122】
図7に示すように、開口を複数のブロック61-1~61-m~61-nに分割する。各ブロックに相当する干渉縞信号をメモリ5(図1)から読みだし、フーリエ変換62-1~62-nを行う。
【0123】
受光方向の複素信号を得た後、ブロックごとに2次元フィルタ処理63-1~63-nを行って、各ブロックの主光線67の方向に、反射点66の画素の前後数画素、例えば、計5画素の複素信号を検出する。
【0124】
次に、各ブロックで検出した5画素の複素信号と、中央のブロック61-mの5画素の複素信号の相互相関処理64-1~64-nを行い、光路長のずれを検出する。相互相関処理64-1~64-nは、中央ブロック61-mの5画素の複素共役信号を、他のブロックの5画素の複素信号に重畳積分することで行われる。
【0125】
そのとき、重畳積分は、光路長のずれを示すピーク値の検出精度が、受光方向の解像度の1/16以下になるように、5画素についてデータ補間がなされて行われる。
【0126】
光波面の乱れが大きい場合は、相互相関処理を行う5画素の数を増やすことで対応する。光波面の乱れの空間周波数が高い場合は、標本化数を増やすためにブロック数を増やして対応する。ブロックの受光素子の出力にガウシアンの重み付けを施し、開口を重ねることでブロック数を2倍に増やしても良い。
【0127】
相互相関処理64-1~64-nで検出した中央ブロックと各ブロックとの光路長のずれが、光波面の乱れを示す。このブロックごとの光路長のずれを、データ補間部66によって、図4の受光素子33-1~33-nに対応するようにデータの補間を行う。そして、図5に示す光路長整合のアドレス発生部45に送ってアドレス46に反映させる(アドレス46に加算する)。これによって、光波面の乱れを補正した2次元フィルタ処理ができることになる。
【0128】
また、顕微鏡撮像のように開口数が大きいと、中央ブロックと開口端のブロックの相関性が薄れる。相関性が薄れを回避する方法を説明する。先ず、中央の1番目のブロックと相関性が高い隣の2番目のブロックとの相関処理を行う。次に、2番目のブロックと3番目のブロックとのあいだで相関処理を行う。これを順次外側に移行しながら繰り返し、光路長のずれを累積することで検出しても良い。
【0129】
検出誤差も累積されるが、受光方向の解像度がミクロンオーダーで、そのSN比が40db以上ある場合、受光方向の複素信号をデータ補間して相互相関処理を行うと、ずれの検出精度は、十数ナノオーダーという高い精度が得られる。このため、累積誤差を無視できる。開口数とSN比を鑑みて、相関処理の方法を選択することが望ましい。
【0130】
途中の光学系の収差で生じる光波面の乱れは、緩やかであり、光波面における空間周波数成分は低い。それに比して、通過媒体中に屈折率の異なる組成が解像度並みの大きさで混在する場合、光波面の乱れによる空間周波数成分が高くなる。
【0131】
空間周波数成分が高い場合、標本化定理に従ってブロック数を増やすことになる。ブロック数とブロックの開口数(NA)はトレードオフの関係にある。このため、ブロック数を増やすと相互相関の精度が落ちる。
【0132】
そこで、被写体ごとに光波面の乱れを統計的に把握し、それとSN比を拘束条件とする。次に、ブロックの数と開口数、および、相互相関の画素範囲の組合せを、組合せ最適化問題によって被写体ごとに事前に解いておく。そして、被写体ごとに最適なバランスに切換えてから補正を行う。
【0133】
また、ブロック数と開口数と相互相関の範囲、SN比を変数として、2次元フィルタ処理後の画像のOTFの伸びを指標としたアニーリングやイテレーションによって、被写体ごとに最適な組み合わせを検出しておく。そして、被写体ごとに最適なバランスに切換えて補正を行っても良い。
【0134】
または、それらの変数に、統計的に把握した通過媒体中の屈折率の混在状況をパラメータとして加え、2次元フィルタ処理後のOTFの伸びを教師情報として、AIに最適なバランスを学習させる。そして、最適な組み合わせを判定、被写体ごとに最適なバランスに切換えて補正を行っても良い。
【0135】
ちなみに、本実施形態の光波面の乱れを補正する原理は、天文学などで行われる補償光学と基本は同じである。ただし、補償光学の場合は、光波面の乱れを検出するために被写体空間にガイド星(点像)を設定する必要がある。高度90kmにあるナトリウム原子層にレーザー光を照射し,ナトリウムを励起して光らせることでガイド星を設定する。
【0136】
これと同様に、赤外光などで被写体の表面に点像を設定しても良いが、本実施形態の方法は、被写体の信号を使用した相互相関処理によって光波面の乱れを検知する。このため、被写体空間にガイド星と同じ点像を設定する必要がない。
【0137】
また、電気的な処理のため、補償光学の波面センサーや波面制御器に相当する図7のブロック61-1~61-nの数と大きさを、用途に応じて適宜設定することができる。そして、それらのバランスを最適化問題などの処理を活用して最適化することができる。
【0138】
また、更に精度の高い光波面の乱れの補正方法を説明する。各ブロック61-1~61-m~61-nの2次元フィルタ処理によって、検出点を中心とした5×5×5画素の3次元の複素信号データを検出する。その3次元の複素信号を使用した6軸(x,y,z,xθ,yθ,zθ)の相互相関処理をブロック間で行う。その結果から、光波面の乱れの補正に加えて、受光素子の受光位置の補正を行う。その後、2次元フィルタ処理を行う。
【0139】
これによって、光波面の乱れの補正に留まらず、機械走査によって起きるブレを高い精度で補正しながら、2次元フィルタ処理を行うことができる。ただし、この補正方法は処理数が膨大となるため、処理時間が許される用途での適用となる。
【0140】
次に、図8を用いて、図1のメモリ5に記憶した干渉縞のRAWデータからRGB画像を生成する構成、処理について説明する。
【0141】
図8に示すように、図1のメモリ5から開口に相当する干渉縞信号71を順次、または、並列に読み出す。読みだされた信号は、FFT72によって、図9に示す可視光帯域81aのフーリエ変換が行われる。そして、受光方向が解像されたW(White)の複素信号が生成される。図9は、フーリエ変換によって生成する各種スペクトル画像の波長帯域を示す図である。
【0142】
被写体が生体などで、その内層を含めて透過像を検出する場合は、図9に示す生体透過性の高い近赤外領域82を含めてWの帯域とし、その範囲についてフーリエ変換を行ってWを生成しても良い。
【0143】
Wの複素信号の生成に並行して、FFT73によって、図9に示すR帯域83のフーリエ変換が行われ、Rの複素信号が生成される。同じく、図8に示すFFT74によって、図9に示すB帯域84のフーリエ変換が行なわれ、Bの複素信号が生成される。
図9は、フーリエ変換によって生成する各種スペクトル画像の波長帯域を示す図である。
【0144】
そして、以上のW、R、Bの複素信号について、それぞれ2次元フィルタ処理を行い、W、R、Bの3次元の解像を行う。光路中に光学系を併用する場合、R、Bの2次元フィルタ処理の際に色収差(光路長のずれ)を補正することができる。また、前述したように、2次元フィルタ処理を行う際に、立方等配列の画素に変換しても良い。
【0145】
図8に示した各FFTと各2次元フィルタ処理は、図1のフーリエ変換処理11と2次元フィルタ12で説明したのと同じ機能を受け持つ。
【0146】
次に、図8のマトリクス変換器75でマトリクス変換を行なって、3次元に解像されたRGB信号を生成する。そして、表面画像、断面像、透過像、CGによる3次元構築画像など、目的に応じた画像を表示する。
【0147】
ちなみに、図9のR信号83とB信号84は、W信号よりも波長帯域幅が狭く、中心波長も異なる。このため、R信号83とB信号84の受光方向の解像度は、W信号の1/3程度になる。しかしながら、RとBに対する人の目の解像度が同じく1/3程度のため問題はない。
【0148】
可視光81aの帯域を分割したR帯域とB帯域の干渉縞信号をフーリエ変換すると、R信号83とB信号84の複素信号が生成できる理由を述べる。広帯域の掃引光は、R、G、B、赤外など、複数の掃引光の線形和から成り立っていると考えられる。
【0149】
照明、反射、参照光との干渉、干渉縞の検出、フーリエ変換など、すべての処理は線形処理である。このため、重ね合わせの原理から、干渉縞信号からRやBの帯域に相当する周波数掃引の部分を抜き出して、フーリエ変換を行うことで、RやBの掃引光源を単独に用いて光干渉解像処理を行ったのと同じ結果が得られる。
【0150】
この原理から、正確な色再現が必要なときは、掃引された可視光帯の干渉縞信号にXYZ等色関数を乗じてフーリエ変換することで、XYZの複素信号を得ることができる。
【0151】
(特徴軸へ正射影した受光方向の複素信号を得る構成の説明)
また、同じ原理から、特徴軸に直交変換する係数を干渉縞信号に乗じてフーリエ変換することで、特徴軸へ正射影した受光方向の複素信号を得ることができる。
【0152】
図1のメモリ5に記憶した干渉縞のRAWデータを使用して行なうマルチスペクトルの解析について説明する。
【0153】
可視光帯の反射スペクトルを例にすると、主に、原子の外殻電子を励起する波長の吸収や、分子振動やスピンや分子間振動を励起する波長の吸収、屈折率の配列による回折散乱などによって、スペクトル成分が変化する。
【0154】
これらによるスペクトル成分の変化は、物質の組成や構造と高い相関性を有しているが、多重的に生じることと、また、回折散乱などのように、照明や撮像の角度によってもある程度変化する。このため、スペクトル成分が類似している物質ごとのクラスタとして扱うことになる。
【0155】
このようなクラスタを識別する方法として、統計的な解析、例えば、多変量解析や、深層学習型のAIなどを使用すると、良い結果が得られる。このような方法によって2つのクラスタを識別する手順を以下に述べる。
【0156】
先ず、本実施形態の3次元撮像装置によって識別する2つの物質の干渉縞信号を、出来るだけ数多く取得する。次に、図8に示すデータフォーマット作成部81にて、付加情報70を付加し、RAWデータとして外部のコンピュータに送る。そして、記録装置にアーカイブする。
【0157】
付加情報70には、識別するクラスタの分散を小さくして、クラスタ間を識別しやすくする正規化処理の情報と、識別する物質を画像から切出すアドレスと、画像を生成するのに必要な諸々の情報とが含まれる。
【0158】
正規化処理の情報は、照明光の輝度、照明光の波長帯域特性などである。切り出しアドレスは、物質を識別できる専門家が、RGB画像や、後述するスペクトルの解析画像を観察してマウスなどで指定する。外部のコンピュータで画像を生成してから指定しても良い。画像を生成するのに必要な情報は、周波数掃引の帯域、直線性、受光素子の配列間隔と指向性などに対応する。
【0159】
記録装置から干渉縞信号を読み出し、コンピュータによって、取得したデータの正規化処理を行う。その後、フーリエ変換処理と2次元フィルタ処理を行って3次元画像を生成する。
【0160】
次に、切出しアドレスに従って、3次元画像から識別する物質の画像部分を切り出す。このとき、切り出した画素の受光方向の複素信号は、被写体表面からの反射光の複素信号が主となる。特に、可視光の場合は伝播減衰が大きいため、被写体表面の反射のみとなる。透明の被写体の場合は、目的とする受光方向の画素データを3次元に切り出す。
【0161】
切り出した画素の受光方向の複素信号の逆フーリエ変換を行う。逆フーリエ変換の結果から振幅信号を取り出すと、切り出した部分のマルチスペクトルデータを検出することができる。
【0162】
ちなみに、被写体が生体などの場合、透過性の高い近赤外帯を使用すれば、生体中の反射光を得ることができる。しかしながら、生体中を伝播するときの減衰が波長によって大きく異なり。また、伝播経路中にある組織の減衰が重畳される。
【0163】
このため、クラスタの分散が大きくなり過ぎて、定量的なスペクトルの解析が難しい。従って、スペクトルの解析は、透明度の高い被写体の場合以外は、主として被写体表面の画像に対して行なうことになる。
【0164】
次に、コンピュータによって、各スペクトル成分を直交軸とした多次元座標空間で、識別する2つ物質の大量のマルチスペクトルデ-タについて、FS(Foley-Sammon)変換を行なう。
【0165】
そして、2つのクラスタのフィッシャーレシオが大きい特徴軸を絞り込み、その特徴軸に射影変換するマトリクス変換係数、図8の77-1~77-nを取得する。FS変換は、2つのクラスタのフィッシャーレシオが大きくなる特徴軸を、大きい順に算出する直交変換である。データ圧縮と同様に、累積寄与率や経験上から、多くても5~6の特徴軸に絞り込むことができる。
【0166】
次に、マルチスペクトルデータを特徴軸に射影変換した大量のデータを、図8のAI80と同じ構成のコンピュータ上のAIに学習させる。そして、学習済みの係数76(ニューロンの係数)を取得する。
【0167】
AIの入力端子数は、FS変換によって絞り込んだ特徴軸の5~6となる。このため、AIの規模が、層数を含めて遥かに小さくなる。AIによる識別の特徴は、図10に示すように、非線形な切り分けZよる識別が可能になるところにある。
【0168】
そして、図8に示すように、コンピュータから制御部78に送られ記憶されたマトリクス変換係数77-1~77-nを、乗算器79-1~79-nによって干渉縞信号71に乗ずる。これにより、干渉縞信号71の特徴軸EU1~EU6への射影変換がなされる。
【0169】
図10は、AIによる特定する物質の非線形な切り分けを説明する図である。
特徴軸EU1~EU6へ射影変換された干渉縞信号は、フーリエ変換処理と2次元フィルタ処理によって、特徴軸EU1~EU6の画像であるスペクトルの解析画像が生成される。
【0170】
スペクトルの解析画像の上位EU1、EU2、EU3を、視覚感度の大きい順のYIQ(NTSCの内部処理で使用されるコンポーネント方式)に割り当てて、RGBへマトリクス変換を行ってから表示しても良い。後は、観察者の視覚脳が非線形な識別を行う。
【0171】
または、スペクトルの解析画像を画素ごとにAI80に入力し、2つの物質の識別を画素ごとに行っても良い。このとき、AIのニューロン係数76は、コンピュータから制御部78を介してAI80に概にローディングされている。
【0172】
AI80で識別した結果は、識別した物質の画素部分を疑似カラー化して、RGB画像と融合表示しても良い。
【0173】
上述したFS変換による識別は、あくまでも2つのクラスタを識別する方式である。複数の物質を特定する場合は、その都度、特徴軸を切換えることになる。その切換えをツリー状に組合せて複数回行なったとしても、特徴軸が5~6に絞り込まれているのと、AI80の回路規模が小さいため、ツリー状の識別動作を高速に行なうことができる。
【0174】
または、特定する複数の物質のマルチスペクトル波形を、直接、AIに学習(教師あり)させて、複数の物質を特定しても良い。ただし、そのときのAIの入力端子の数がマルチスペクトルの数だけ必要になる。このため、AIの規模が大きくなる。
【0175】
次に、光源の周波数掃引に歪みがある場合、もしくは時間や温度で変動する場合の補正方法について説明する。周波数掃引の直線性と変動が補償されたレーザー光源は少なく、また、高価であるため、電気的に補正ができれば本実施形態の用途が広がる。
【0176】
図11は、レーザー光源の周波数掃引の直線性に歪みがある場合を説明する図である。
周波数掃引の直線性に歪みがあると、図11に示すように、反射光101と参照光102の光路差103によって、干渉縞信号に周波数変調(周波数分散)104が生ずる。これにより、フーリエ変換後のスペクトル幅が広がり、解像度が落ちる。そして、光路差103が変わると、その周波数変調104も変化する。
【0177】
このような掃引の歪みで起きる周波数変調104は、フーリエ変換後のスペクトル分散に位相整合のフィルタリングを行うことで、補正することができる。位相整合は、図5に示すように、FIRフィルタ(Finite Impulse Response Filter)86-1~86-nを使用し、周波数変調104をフーリエ変換して生成した複素共役信号を重畳積分することで行なう。FIRフィルタの長さは、フーリエ変換後の周波数分散の範囲を見越して設定される。
【0178】
上述したように、図11に示す受光方向の光路差103が変わると、干渉縞の周波数変調が変わる。このため、受光方向の画素ごとに位相整合フィルタの係数87-1~87-n(図5)を切換えて乗算する。
【0179】
ただし、周波数の掃引時間に対して、光路差103の変化による時間の変化は極わずかとなるため、フーリエ変換後のスペクトル分散は殆んど変化がない。周波数掃引の時間と帯域幅と歪の大きさによってスペクトル分散の変化が変わるため、それに応じて位相整合フィルタの係数87-1~87-n(図5)の切換えの必要性を判断する。
【0180】
位相整合フィルタの係数87-1~87-n(図5)は、図11に示した周波数変調104をフーリエ変換して生成した複素共役信号が使用される。光源周波数掃引の直線性の歪みの変化を適切な時間周期で検出し、図5のFIR係数発生部88において位相整合フィルタの係数87-1~87-nを算出し、FIR係数発生部88(図5)内のメモリに保存して使用する。
【0181】
また、位相整合フィルタの係数87-1~87-nは、図8の制御部78を介して、付加情報70に追加され、データフォーマット作成部81に送られる。
【0182】
次に、周波数掃引の直線性の歪みを検出する方法について説明する。分光器を使用して周波数掃引を検知する。図12に示すように、周波数掃引点光源1(図1)からの出射光をビームスプリッタ111によって分割し、コリメート光学系112によって平行光に変換する。
図12は、周波数掃引の直線性の歪みを検出する構成について説明する図である。
【0183】
その後、分光器113によって波長成分に分光し、結像光学系115によって分光方向に配置された1次元配列の受光素子(ラインセンサー)114に結像させ、受光する。光源1からの出射光はスポット状に結像され、周波数掃引に従って1次元受光素子114上を移動する。
【0184】
光源の周波数掃引の間に、1次元受光素子114の読出しを複数回繰返し、スポット光の移動を検出し、掃引周波数の歪みを検出する。ピーク値検出回路115によって、受光素子の画素データを補間してピーク値を検出し、スポット光の位置の精度を高める。
【0185】
周波数変調104(図11)の位相は、FIR係数発生部88(図5)において、FM変調の位相を計算するときの時間積分の式を用いて算出される。
【0186】
1次元受光素子114で検出されたスポット光の位置が、メモリ116に一旦記憶され、周波数変調の波形にされた後、図5のFIR係数発生部88に送られ、直線性の歪みを補正するFIRフィルタの係数87-1~87-nが計算によって生成され、FIRフィルタ86-1~86-nに送られて補正が行われる。
【0187】
1次元受光素子114の読み出しの繰返し周波数は、光源の周波数掃引の歪みが緩やかであるため、多く値を必要としない。データ補間で周波数掃引の特性を再現できる。周波数掃引の歪みの検出精度は、受光方向の解像度に対応した値が必要とされる。
【0188】
または、上述したように、光路差103に対するフーリエ変換後のスペクトル分散の変化を無視できる場合、位相整合フィルタの係数(図5の87-1~87-n)を切換える必要がない。このため、基準反射点からの反射光の複素信号を、光干渉計を利用して検出し、それをフーリエ変換した複素共役信号を位相整合フィルタの係数(図5の87-1~87-n)として使用しても良い。
【0189】
(応用例) 次に、本実施形態の応用例について説明する。
(第1の応用例)
撮像素子8(図1)の代わりに単一の受光素子を使用し、2次元の走査機構によって、被写体からの反射光を2次元に検出し、フーリエ変換処理と2次元フィルタ処理によって3次元の解像を行う。単一の受光素子は、超高感度のものや、可視光以外の特殊な波長帯域を検出できるものがあるため、そのような波長帯域を利用する3次元撮像装置や検査装置に応用できる。
【0190】
(第2の応用例)
また、撮像素子8(図1)の代わりに、1次元配列の受光素子(ラインセンサー)を使用し、配列と交差する方向に1次元走査機構によって走査を行ない、被写体からの反射光を2次元に検出し、フーリエ変換処理と2次元フィルタ処理によって3次元の解像を行う。
【0191】
ラインセンサーは、画素数の多いものや、高感度のもの、特殊な波長帯域を検出できるものがあり、3次元計測とスペクトルの解析による組成識別のできるFA( Factory Automation)用の検査装置や、FA用ロボットの視覚センサーなどに応用することができる。
【0192】
(第3の応用例)
本実施形態は、結像光学系を使用せずとも3次元を解像することができる。しかしながら、上述したように、本実施形態と結像光学系と組み合わせることで、2次元フィルタの処理数を減らすことができる。
【0193】
図13は、本実施形態の応用例の構成を示す図である。
図13に示すように、主光線123の方向の解像をフーリエ変換処理によって行う。光軸121と垂直な面の解像は、結像光学系122によって行う。得られた3次元の複素信号を使用して、結像光学系122の被写界深度の拡大と、光波面の乱れによる解像度劣化の回復を、2次元フィルタ処理によって行うことができる。光波面の乱れの補正によって光学系の収差も補正できる。4aは、反射ミラーである。
【0194】
図14(a)は、反射点124(図13)の結像位置が、撮像素子125(図13)より前(被写体側)にあるときの結像光束126を示す。図14(b)は、撮像素子より後(像側)にあるときの結像光束127を示す。
【0195】
点線の光束128-1と128-2は、2次元フィルタ処理による仮想レンズ129-1と129-2によって、それぞれ再結像したときの光束を示している。2次元フィルタ処理を主光線123の方向の画素に対して行うことで、被写界深度の拡大と、上述した光波面の乱れで劣化した解像度の回復を行うことができる。
【0196】
このように結像光学系と2次元フィルタ処理を組み合わせると、2次元フィルタ処理を行う範囲を小さくすることができ、処理数が大きく減る。このため、実時間での処理が可能になる。
【0197】
これにより、3次元形状測定装置やロボットの視覚センサーなどに応用できる。白色干渉顕微鏡と比較して、水平分解能、測定スピード、角度特性に優れ、スペクトルの解析が同時にできる3次元形状測定が可能になる。
【0198】
また、本実施形態を眼底撮像装置に応用すれば、対物光学系や眼球光学系の表面の不要反射や、硝子体の濁りによる不要反射を、光路長の違いから除去することができる。また、従来、眼球光学系からの不要反射を避けるために、照明用と撮像用にリング分割していた眼球光学系の開口を、全て使用できるようになる。このため、高精細で高コントラストの眼底撮像を高速に行うことができ、網膜の断層像を3次元で検出することができる。
【0199】
図13において、撮像機構を1次元に走査して断層像を検出し、フーリエ変換処理と2次元フィルタ処理によって光軸方向121のみの解像と被写界深度の拡大を行う。これにより、被写界深度の拡大に必要な撮像素子の素子数は100画素以下で済む。このため、2次元フィルタの処理数を更に大きく減らすことができ、水平解像度が高く被写界深度の深い断層像を実時間で検出できるようになる。
【0200】
光波面の乱れの補正に時間を要する場合は、静止画をフリーズしたときに解像度劣化の回復を行うことが望ましい。
【0201】
また、周波数掃引光源を低コヒーレンス光源(例えば、SLD:Super Luminescent Diode)に置き換えて、干渉縞信号を分光器で分光する。これにより、周波数掃引光源で得たのと同じように、周波数掃引された干渉縞信号を得ることができ、これをフーリエ変換処理と2次元フィルタ処理することで、3次元の解像を行うことができる。
【0202】
図15は、本実施形態において低コヒーレンス光源を用いた構成を示す図である。
図15に示すように、低コヒーレンス光源(SLD)131から出射された広帯域光は、ビームスプリッタ132で反射され、被写体133を照明する。反射点130からの反射光は、対物光学系134によって結像され、結像面に設置されたスリット135を介して不要光が除去される。
【0203】
その後、コリメート光学系136によって平行光に変換され、分光器137に入光される。スリット135の開口の中心が、対物光学系134の光軸上に位置している。反射光は、分光器137で分光された後、結像光学系138によって撮像素子139上に結像される。
【0204】
ビームスプリッタ132で分離された一方の光は、シリンドリカル光学系140によって反射ミラー141上に線分142として結像される。線分142から反射した光は、シリンドリカル光学系140と対物光学系134と、スリット135と、コリメート光学系136を介して平行光に変換される。
【0205】
平行光は、分光器137で分光された後、結像光学系138によって撮像素子139上に結像される。そして、撮像素子139の受光面上で反射光と参照光の合波がなされ、生じた干渉縞は撮像素子によって電気信号に変換される。
【0206】
このとき、ビームスプリッタ132の反射面で折り返したシリンドリカル光学系140の光軸が、対物光学系134の光軸と一致し、かつ線分142とスリット135の開口が光学的に共役になるように、シリンドリカル光学系140と反射ミラー141が配置されている。
【0207】
そして、分光器137によって分光する方向とその範囲が、撮像素子139の画素の縦配列の方向とその範囲に一致するように、分光器137と撮像素子139と結像光学系138が配置されている。
【0208】
以上の構成により、対物光学系134によってスリット135の開口に結像された被写体像が、撮像素子139の横の画素配列に結像される。そして、横の配列画素ごとに分光され、生じた干渉縞信号が、縦の画素配列から検出される。
【0209】
撮像素子139から干渉縞信号が順次読み出され、メモリ(不図示)に記憶される。そして、走査機構143によって、被写体133、もしくは、光軸144を、図15の縦方向130に走査し、干渉縞信号を2次元に取得してメモリに記憶する。
【0210】
そして、メモリから干渉縞信号を読み出し、フーリエ変換処理によって受光方向を解像し、3次元の解像を得る。そして、2次元フィルタ処理によって被写界深度の拡大と光波面の乱れの補正を行う。
【0211】
図16(a)、(b)、(c)は、対物光学系134(図15)の合焦位置145から外れた位置にある反射点146の反射光を、光軸144を紙面の縦方向に走査しながら検出するときの反射光の光路147-1、147-m、147-nを示す。
【0212】
図16(a)、(b)、(c)は、反射点146が光軸144上にある場合と、受光束148の両端にある場合の3つのパターン147-1、147-m、147-nを示している。
【0213】
図16(a)、(b)、(c)から分かるように、反射点146が合焦位置145から離れていても、縦方向に走査を行なって検出すると、受光束148の範囲において反射光147-1~147-nを検出することができる。
【0214】
これらの反射光147-1~147-nを使用し、受光方向のフーリエ変換処理と2次元フィルタ処理によって、反射点146を解像することができる。反射点146が、合焦位置145より後側に外れた場合も、同様に解像することができる。
【0215】
反射点146が、対物光学系134(図15)の合焦位置145から外れると、スリット149によって光束が蹴られて感度が落ちるが、2次元フィルタ処理によって再結像すると、2次元フィルタ処理を行う反射光147-1~147-nの振幅が加算されるため、反射点146が合焦位置145にあるときと同じ感度が得られる。
【0216】
(血管内OCT装置への応用)
次に、本発明を血管内OCT装置に応用する例について説明する。
血管内OCT(Optical Coherence Tomography)装置は、脚の付け根や腕、手首などの血管から、X線透視下にて経皮的にガイドワイヤーを心臓の冠状動脈まで挿入する。そして、そのガイドワイヤーに沿って1mmφのOCT用カテーテルを挿入し、回転させて、冠状動脈(2~4mmφ、長さ15cm)の断層像を検出する装置である。
【0217】
血管の狭窄状態や、狭窄を広げるために設置したステントの設置状況、また、その後の再狭窄の状況などを診断する装置である。経皮的冠動脈インターベンション治療(PCI)の増加に伴い、血管内OCTの需要が増えている。
【0218】
血管内OCT装置の課題は、血管内の狭窄を起こす物質、プラーク(脂肪やコレステロールの塊り)や血栓や石灰化などを識別し、それらの危険度のグレードを見極める質的診断にある。
【0219】
現状は、断層像の形態情報(形状やテクスチャー、輝度の濃淡)から質的なものを診断しているが、高度な経験が必要とされる。狭窄を起こしている物質と、そのグレードによって治療方法が変わる。特に、油質のプラークは、剥がれると細い血管を詰まらせ、狭心症や心筋梗塞のもとになるため、質的診断が重要である。
【0220】
また、冠状動脈の15cmに渡って起因物質の存在状況とグレードが分かれば、治療はもとより、狭心症や心筋梗塞などについて様々な予防措置を施すことができる。
【0221】
質的診断を行うには、起因物質と相関性が高い反射スペクトルを解析するのが有効であるが、断層像(OCT)は、生体中を伝播するときの減衰が、波長によって大きく異なる。また、伝播経路中に存在する組織の減衰が重畳(積分)されるため、定量的なスペクトルの解析が難しい。また、OCTに使用される近赤外帯においては、プラークなど起因物質の特徴を示すスペクトル成分が明確になっていない。
【0222】
これに対して、ファイバー血管内視鏡の可視光画像によって、プラークや血栓や石灰化が色で判別できることが明確になっている。たとえば、プラークは、黄色系、血栓は、フィブリンとの混合で決まる赤色系、石灰化と正常粘膜は、ともに白色系であるが、透明度を含めて色調がわずかに異なる。
【0223】
可視光帯のスペクトルについて、上述したようにスペクトルの解析を行い、起因物質を識別するのに最適な特徴スペクトルを抽出し、強調すれば、起因物質の特定とグレードの判定精度を高めることができる。
【0224】
このことから、血管内OCT装置は、断層像による形態診断に加え、血管壁のスペクトルの解析による質的診断が同時に行なえることが望ましい。そして、これらの診断が、冠状動脈の長さ15cmにわたってできることが望ましい。
【0225】
図17は、冠状動脈を診断する場合に必要な合焦範囲を示す図である。
また、血管内OCT装置のもう一つの課題は、図17に示すように、最大径4mmの冠状動脈を診断する場合に必要な合焦範囲150が、1mm~4mmと広いため、断層像の水平解像度を高く設定することができない。水平解像度が低いと、水平方向の反射が重畳されて、深さ方向の解像度も結果的に落ちることになる。
【0226】
更にもう一つの課題は、現状、OCTカテーテルを高速回転させながらプルバックを行い、15cmの冠状動脈の血管壁の画像を検出している。プルバックは、X線透視下で光学的に透明な造影剤をフラッシュしながら行なうため、造影剤フラッシュの制限時間2~3秒(生体の安全性による推奨時間)の間に、OCTカテーテルを高速回転させても、血管壁の画像は、ミリオーダーの解像度しか得られない。また、上述したように、近赤外帯では、起因物質の特徴を示すスペクトルが、可視光帯ほど明確になっていない。
【0227】
本実施形態を血管内OCT装置に適用することで、以上の課題を解決し、高解像で被写界深度の深い断層像、および、血管壁の画像の検出が可能になり、血管壁画像のスペクトルの解析によって質的診断の精度を向上させることができる。以下に、その応用例を説明する。
【0228】
図18は、本実施形態を血管内OCT装置に適用した構成を示す図である。
図18の撮像カテーテル151は、ガイドワイヤーを介して下肢大動脈から冠状動脈に挿入されたシース内で回転とプルバックがなされる。ガイドワイヤーとシースは、現存する治療器具のため、図示していない。
【0229】
コネクタ152は、撮像カテーテル151の着脱に加え、撮像カテーテル151をローター部153に固定(チャッキング)する役目を有する。
【0230】
コネクタ152は、撮像カテーテル151をローター部153と一緒に回転させることと、撮像カテーテル151に内装された1次元配列のファイバー列154とラインセンサー155の画素配列が、テレセントリック光学系168を介して一対一に対応するように固定する。
【0231】
撮像カテーテル151とローター部153には、以下に説明する機構が内装されている。
装置本体に設置された周波数掃引光源(不図示)から、可視から近赤外まで周波数掃引がなされた光が出射される。出射された光は、光ロータリージョイント156を介し、ファイバー157によってファイバーカップラ158に導光され、照明光と参照光に分離される。
【0232】
照明光はファイバー159で導光され、コリメート光学系160によって平行光に変換され、シリンドリカル光学系161を介し、ビームスプリッタ162で反射され、1次元に配列にされた100本程のファイバー列154の端163に集光される。
【0233】
シリンドリカル光学系161のNA(開口数)は、ファイバー列154のNAに一致するように設定されている。ファイバー列154の配列を、1次元の千鳥配列にして、配列数を200本に増やしても良い。
【0234】
そして、ファイバー列154で導光された照明光は、ファイバー列154の端164から出射され、対物光学系165とミラー166を介して血管内を照明する。対物光学系165は、像側テレセントリック系で、その焦点は、図17の150に示した範囲の中心に設定されている。そして、血管内と血管壁、及び血管壁内層からの反射光が、対物光学系165によってファイバー列154の端164に結像され、ローター部153へ導光される。
【0235】
ローター部153において、ファイバー列154の端163から出射された反射光は、ビームスプリッタ162によって参照光と合波され干渉縞を生じる。ファイバーカップラ158から参照光を導光するファイバー167の長さは、ファイバー列154の往復の長さに対応している。
【0236】
干渉縞は、テレセントリック光学系168によってラインセンサー155上に結像される。テレセントリック光学系168は、ファイバー列154の端163の像を拡大し、かつ、ファイバー列154のNAと1次元受光素子155の指向性が一対一に対応するように、両側テレセントリックの光学系になっている。
【0237】
そして、1次元受光素子155を高速駆動することによって、1次元受光素子155の各素子で受光した干渉縞信号が標本化される。1次元受光素子155の画素が100個と少ないため、高速駆動が充分に達成できる。
【0238】
また、高速駆動のため、一見、1次元受光素子155の感度に余裕がないようにみえるが、干渉縞をフーリエ変換処理した後の振幅(SN比)は、フーリエ変換の位相整合によって、受光方向の画素数倍に(単スペクトルの帯域幅のSN比に)なるため、問題は生じない。
【0239】
そして、回転とプルバックを行う駆動系169によって、ローター部153と一体に撮像カテーテル151の回転とプルバックなされ、冠状動脈15cmに渡って干渉縞信号が順次検出される。干渉縞信号は、ロータリートランス170を介して装置本体に送られ、装置本体にあるメモリ(図示にない)に記憶される。
【0240】
ロータリートランス170の代りに、光ロータリージョイント156を多チャンネルにして、その他のコントロール信号を含め光変調を行い、装置本体とインタフェースを行っても良い。電源についてはスリップリングを使用する。
【0241】
装置本体のメモリから干渉縞信が読み出され、可視光帯と近赤外帯の部分の干渉縞信号に分けられて、フーリエ変換が行われる。そして、フーリエ変換によって得られた複素信号を使用して、図14(a)、(b)で説明した被写界深度の拡大と、光波面の乱れの補正を、2次元フィルタ処理によって行う。
【0242】
これにより、血管壁のRGB画像と3次元の形状測定、および、スペクトルの解析画像の検出が可能になり、同時に、近赤外による血管内、および、血管壁内の3次元画像や断層像の検出が可能になる。
【0243】
CG技術による自由な視点からの3D画像の構築や、透過像、断層像の表示ができ、上述したように、それらの画素ごとのスペクトルの解析によって、起因物質の質的診断を行うことができる。
【0244】
実時間で画像を観察するときは、多くの処理時間を必要とする被写界深度の拡大と光波面の乱れの補正を、静止画表示のときにだけ行なうようにして、焦点の移動をマニュアルで行えば、実時間の観察ができる。
【0245】
次に、本実施形態が適用された血管内OCT装置を使用して冠状動脈15cmの画像を検出する方法を、図19を用いて説明する。図18の撮像カテーテル151に最も近い撮像範囲171(図19の画像の幅181に相当する)が、1.5mmになるように、対物光学系165の画角を設定する。そして、撮像カテーテル151とローター部153を、75回転/秒の速度で回転させながら、15cmの冠状動脈の中を2秒間プルバックして3次元の画像を取得する。
【0246】
図19は、プルバックで取得して切り開いた血管壁の画像を示している。重複部分182を除いた幅1mmの血管壁の画像が、血管長15cmに渡って150枚検出される。重複部分182の幅は、血管壁までの距離によって変わる。
【0247】
検出された3次元画像の画素の位置データから、CGの技術によって、重複部分182の画素の位置と倍率を補正し、プルバックの方向に対して画像の振幅強度をスムージングさせて加算すると、画像を貼り合わせることができる。
【0248】
冠状動脈15cmに渡って3次元に解像した画像データを、自由な視点と倍率を以って表示することが可能である。そして、上述したスペクトルの解析画像によって、質的診断の精度を上げることができる。
【0249】
また、フーリエ変換処理によって得られる受光方向の解像度は、ファイバーの配列間隔で決まる水平解像度より高くなる。このため、ミラー166(図18)の角度を調整して、血管壁を斜めに照射して撮像するようにすると、血管壁の画像の解像度を上げることができる。
【0250】
また、図18の説明では、ファイバー列155に、可視光帯と近赤外帯の両方を導光する広帯域光ファイバーを使用しているが、可視光帯用と近赤外帯用のファイバー列を縦に並列に配置し、処理回路を2系統用意するようにしても良い。また、周波数掃引光源も可視光帯用と近赤外帯用に分けて用意しても良い。
【0251】
また、近赤外光によって断層像を検出する代わりに、撮像カテーテル151の先端に超音波振動子を併設し、超音波によって断層像を検出する機構と、上述した血管壁の画像検出とスペクトルの解析の機構を組合せても良い。超音波断層は、近赤外に比べると解像度が落ちるが、断層像の検出深度が深い。また、形態診断においてもそれぞれ独自の特徴を有している。
【0252】
次に、図20は、本実施形態をX線撮像やγ線撮像に応用する例を説明する図である。
図20のX線源191から出射されるX線は、検出する解像度に見合った周波数掃引とコヒーレンスを有している。または、X線の振幅に、検出する解像度に見合った周波数掃引の振幅変調がなされている。
【0253】
X線源191から照射されたX線は、X線用のビームスプリッタ192を通過して被写体193を照射する。ビームスプリッタ192の形状は、楕円球面であって、焦点の一つはX線源191の出射口に位置し、もう一つの焦点は反射体194の反射面に位置している。
【0254】
X線源191から照射されたX線がX線用のビームスプリッタ192よって一部が反射され、さらに、反射体194によって反射され、参照用のX線として、2次元受光素子195面を照射する。
【0255】
X線用のビームスプリッタ192は、表面がEEM(Elastic Emission Machining)方式によって研磨された±1~2nmの非常に高い表面精度を有するX線専用のミラーである。近年、このようなX線専用のミラーが市販されるようになっている。X線用ミラーの設置する角度を調整することで、反射率と透過率を調整し、ビームスプリッタ192として使用する。
【0256】
被写体から反射(後方散乱)したX線は、ビームスプリッタ192によって、反射体194から反射した参照用X線と合波され、干渉縞を生じる。干渉縞は、CMOSやCCD撮像素子、もしくは、フラットパネルディテクタ(FPD)などの2次元受光素子195によって電気信号に変換される。
【0257】
X線の掃引時間内に2次元受光素子195の撮像を高速に繰り返すことで、検出方向におけるX線の干渉縞を検出し、フーリエ変換によって検出方向を解像する。そして、前述した2次元フィルタ処理によって検出方向と垂直な面の解像を行って、被写体を3次元に解像する。
【0258】
最新鋭のCTでは、3次元データを取得する時間が、1秒程度に早くなっている。しかし、あくまでも位相情報を使用せずに、吸収情報のみで解像するため、解像度がミリオーダーに留まっている。
【0259】
それに比して、本実施形態の撮像方式によれば、3次元データを取得する時間は、シャッタ動作と同じ数msにできる可能性があるのと、また、位相情報を使用して解像を行うため、2次元受光素子195の画素配列の間隔から、ミクロンオーダーの解像度を得ることができる。そして、目的応じて画角や拡大倍率、解像度を自由に設定できる。装置の規模もCTに比して簡素な構成で済む。
【0260】
また、X線の波長は可視光に比べて二桁ほど短いため、ミクロンオーダーの解像度を得るのに必要な周波数掃引は、ごく狭い比帯域幅で済み、X線蛍光などの非線形な散乱が起きる波長を避けて設定することができる。また、撮像素子195の開口を小さくすることができるため、3次元フィルタ処理の処理数を少なくすることができる。周波数掃引ができるX線源の発表も近年盛んになってきている。
【0261】
上述したように、撮像素子の配列間隔を製造限界の1μmとした場合、数μmオーダーの3次元の解像が可能になり、撮像倍率や、それに応じた解像度の設定が自由にでき、目的に応じて、透過像、断面像、3次元構築した画像の表示ができる。また、物質の特徴が表れるスペクトル吸収帯域に周波数掃引を合わせれば、スペクトルの解析による物質特定の可能性がある。
【0262】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除しても良い。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【産業上の利用可能性】
【0263】
以上のように、本発明は、簡易な構造で、被写体に対し3次元の解像と分光画像の検出を同時に実現できる3次元撮像装置に適している。
【符号の説明】
【0264】
1 光源
2 ビームスプリッタ
3 被写体
4 ミラー
5 メモリ
6 反射点
7 反射光
8 撮像素子
9 光軸
10 曲線
11 フーリエ変換処理
12 2次元フィルタ処理
13 光干渉計
14 光路差
15 周波数
16 点線
17 点線
18 参照光
19 反射光
21 掃引の帯域幅
22 掃引の帯域幅
23 干渉縞の周波数
24 点線
25 光路差
32 合波部
33-1~33-n 受光素子
34 フーリエ変換処理
36-1~36-n 複素信号
37 2次元フィルタ処理
【要約】
【課題】簡易な構造で、被写体に対し3次元の解像と分光画像の検出を同時に実現できる3次元撮像装置を提供すること。
【解決手段】 3次元撮像装置は、光の周波数、もしくは、光の振幅変調の周波数を掃引して被写体を照明する照明光を供給する光源と、被写体からの反射光と参照光を合波して干渉縞を発生させる光干渉計と、2次元配列の受光素子、及び1次元配列の受光素子と1次元走査の組合せ、及び単体受光素子と1次元走査の組合せの、いずれかによって、干渉縞を2次元の位置で電気信号として検出する2次元検出機構と、2次元検出機構の2次元の検出位置における反射光と参照光の光路差を、3次元の画素ごとに算出する光路差算出手段と、を備え、干渉縞と光路差の情報を使用した処理によって、被写体を3次元に解像する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21