【国等の委託研究の成果に係る記載事項】(出願人による申告)平成22年度、独立行政法人科学技術振興機構「研究成果展開事業 先端計測分析技術・機器開発プログラム」、産業技術力強化法第19条の適用を受けるもの
(58)【調査した分野】(Int.Cl.,DB名)
前記演算手段は、前記可変焦点液体レンズに直列接続した参照抵抗の両端の電位差、前記可変焦点液体レンズを含む交流ブリッジ回路の出力電圧、又は、前記可変焦点液体レンズを含む直列共振回路の共振周波数に基づいて、前記静電容量変化を算出する、ことを特徴とする請求項1に記載の撮像装置。
前記第1の透明電極又は前記第2の透明電極は、前記焦点距離を変化させる電圧を印加する駆動用電極と、前記静電容量変化を検出するための電圧を印加する計測用電極と、を備える、ことを特徴とする請求項1又は4に記載の撮像装置。
前記撮像手段は、前記観察対象の色画像を撮像する第1の撮像素子と、前記観察対象の蛍光画像を撮像する第2の撮像素子と、前記対物光学系を経た前記観察対象からの光束を前記第1の撮像素子及び前記第2の撮像素子に分岐する分岐光学系と、を備える、ことを特徴とする請求項1〜6のいずれか一項に記載の撮像装置。
【発明を実施するための形態】
【0026】
以下、本発明の実施の形態について、図を参照して説明する。なお、以下の実施の形態では、内視鏡に適用した場合を例にとって説明するが、本発明は内視鏡に限定されるものではない。
【0027】
(第1実施の形態)
図1は、本発明の第1実施の形態に係る内視鏡の要部の概略構成を示す図である。この内視鏡10は硬性鏡で、撮像手段100及び三次元形状計測手段200を備える。撮像手段100は、内視鏡10の挿入部20に配置された対物光学系101及びリレー光学系102と、把持部30に配置されたCCD(Charge Coupled Device)等の撮像素子103とを有している。そして、撮像手段100は、照明装置50からの照明光に基づく観察対象Sの画像を対物光学系101により形成し、その画像をリレー光学系102を経て撮像素子103に結像させる。
【0028】
なお、
図1では、照明装置50が内視鏡10と別体に設けられている場合を例示しているが、照明装置50は内視鏡10に内蔵される場合もある。また、撮像素子103により撮像される観察対象Sの画像には、例えば可視光像や蛍光像がある。可視光像の場合、観察対象Sには、照明装置50から例えば白色光の照明光が照射される。また、蛍光像の場合、観察対象Sには、照明装置50から観察対象Sが染色されている蛍光色素に応じた所定波長の励起光が照射される。
【0029】
三次元形状計測手段200は、撮像手段100の対物光学系101及びリレー光学系102を共用する。また、三次元形状計測手段200は、内視鏡10の把持部30に設けられた、所定波長の測距用の測定光を射出するレーザ発光素子201、ピンホール202、偏光ビームスプリッタ203、コリメータレンズ204、1/4波長板205、可変焦点液体レンズ206、二軸駆動ミラー207、バンドパスフィルタ208、ハーフミラー209、ピンホール210、及び受光素子211と、把持部30の外部に設けられた演算制御部212とを有する。なお、演算制御部212は、一部又は全部が把持部30に内蔵されてもよい。
【0030】
そして、三次元形状計測手段200は、レーザ発光素子201から射出される所定波長の測距レーザ(測定光)を、ピンホール202により点光源として、偏光ビームスプリッタ203を透過させてコリメータレンズ204で平行光束に変換した後、1/4波長板205により円偏光に変換する。なお、測定光としては、生体での吸収率が小さい生体の窓と呼ばれる波長帯域から所定の波長の光、例えば波長780nmの近赤外光が使用される。その後、三次元形状計測手段200は、測定光を、可変焦点液体レンズ206、二次元駆動ミラーを構成する二軸駆動ミラー207及びバンドパスフィルタ208を経てハーフミラー209に入射させ、該ハーフミラー209で反射される測定光を、リレー光学系102及び対物光学系101を経て観察対象Sに照射する。
【0031】
ここで、可変焦点液体レンズ206及び二軸駆動ミラー207は、観察対象Sに対して測定光を走査する走査手段を構成し、演算制御部212により駆動制御される。つまり、可変焦点液体レンズ206は、可変焦点光学素子を構成し、焦点距離を可変することにより、対物光学系101による測定光の集光位置を光軸方向に走査する。この可変焦点液体レンズ206における焦点距離変化情報及び二軸駆動ミラー207の角度情報は、演算制御部212において走査手段の制御情報として取得される。
【0032】
また、二軸駆動ミラー207は、二次元駆動ミラーを構成し、例えば、MEMS(Micro Electro Mechanical Systems)により形成されて、対物光学系101による測定光の集光位置を光軸と直交する平面内で走査する。なお、二軸駆動ミラー207は、走査方向が直交する二つの駆動ミラーで構成されてもよい。ハーフミラー209は、撮像手段100の撮像光路中に配置されている。
【0033】
さらに、三次元形状計測手段200は、観察対象Sからの測定光の反射光を、測定光の往路とは逆の経路を辿って、対物光学系101、リレー光学系102、ハーフミラー209、バンドパスフィルタ208、二軸駆動ミラー207、可変焦点液体レンズ206を経て1/4波長板205を透過させる。これにより、反射光の偏光方向を、往路の測定光とは直交する方向の直線偏光に変換する。なお、バンドパスフィルタ208は、測定光の波長の光を透過し、可視光を遮光する特性を有する。
【0034】
その後、三次元形状計測手段200は、1/4波長板205を透過した反射光を、コリメータレンズ204を経て偏光ビームスプリッタ203で反射させて、ピンホール210を経て受光素子211で受光する。この受光素子211の出力(受光出力情報)は、演算制御部212に供給される。ここで、ピンホール210及び受光素子211は、受光手段を構成する。また、ピンホール210は、対物光学系101による測定光の集光点に関し共焦点光学系を構成する。
【0035】
演算制御部212は、演算手段を構成するもので、可変焦点液体レンズ206の焦点距離を変化させながら、各焦点位置において二軸駆動ミラー207により測定光を平面内で走査する。そして、各走査点において得られる受光素子211の出力に基づいて、対物光学系101から観察対象Sまでの距離を算出する。すなわち、各走査点において、受光素子211の出力がピークとなる可変焦点液体レンズ206の焦点距離変化を計測する。そして、計測した可変焦点液体レンズ206の焦点距離変化及び二軸駆動ミラー207の角度情報に基づいて、つまり走査手段の制御情報に基づいて対物光学系101から観察対象Sまでの距離を算出する。なお、可変焦点液体レンズ206の焦点距離の変化と、対物光学系101から観察対象Sまでの距離との関係は、演算制御部212のメモリ213にあらかじめ格納される。演算制御部212で算出された各走査点における距離情報は、距離に対応する輝度情報とともに、三次元形状情報として出力される。
【0036】
なお、対物光学系101による画像は、ハーフミラー209を透過して撮像素子103により撮像される。また、ハーフミラー209と撮像素子103との間の光路中には、ハーフミラー209を透過する測定光の反射光を遮光し、対物光学系101による画像光を透過するフィルタ104が配置されている。フィルタ104は、ハーフミラー209に代えて、測定光の波長の光を反射させ、対物光学系101による画像光を透過する特性を有するミラーを用いることにより、省略することが可能である。
【0037】
図2は、
図1の可変焦点液体レンズ206の概略構成を示す断面図である。この可変焦点液体レンズ206は、透明基板300、第1の透明電極301、絶縁部材302、液体膨出部303、保護膜304、第2の透明電極305を備える。第1の透明電極301は、透明基板300の表面に形成されている。絶縁部材302は、第1の透明電極301上に形成されている。液体膨出部303は、絶縁部材302が円形に除去されたレンズ部306において第1の透明電極301上から膨出して形成されている。保護膜304は、絶縁膜からなり、液体膨出部303の液表面に形成されている。第2の透明電極305は、保護膜304の表面に形成されている。
【0038】
図3(a)〜(d)は、
図2の可変焦点液体レンズ206の製造方法の一例を示す工程図である。なお、各図には、斜視図と矩形の透明基板300の対角線に沿う断面図とを示している。先ず、
図3(a)に示すように、透明基板300として例えば厚さ700μmのガラス基板(SiO
2)を用い、該透明基板300上に、例えば厚さ170nmのITOからなる第1の透明電極301、及び、例えば厚さ600nmの疎水性のアモルファスフッ素樹脂(例えば、CYTOP(登録商標))からなる絶縁部材302を順次積層する。第1の透明電極301及び絶縁部材302は、例えばスピンコートを使用し、その後、オーブンで加熱して溶媒を飛ばすことにより成膜する。
【0039】
次に、アルミニウムマスクを使用し、O
2プラズマを利用して、
図3(b)に示すように、絶縁部材302をパターニングする。これにより、例えば直径10mmの円形のレンズ部306と、第1の透明電極301の接続部311と、第2の透明電極305の接続部領域312とを形成する。
【0040】
次に、
図3(c)に示すように、第1の透明電極301を、例えばウェットエッチングによりパターニングして、接続部領域312の第1の透明電極301を除去する。その後、アルミニウムマスクを取り除いて、レンズ部306の第1の透明電極301上に、例えばシリコーンオイル(例えば、信越化学工業(株)製のHIVAC−F−5(製品名))を例えば6μl塗布して液体膨出部303を形成する。
【0041】
次に、
図3(d)に示すように、接続部領域312の透明基板300、絶縁部材302及び液体膨出部303の液表面に亘って、例えば厚さ1μmのパリレンCからなる保護層304、及び、例えば厚さ8nmのAuからなる第2の透明電極305を順次積層する。なお、可変焦点液体レンズ206は、
図2に拡大して示すように、レンズ部306の周縁において、第2の透明電極305が第1の透明電極301と保護層304を介して平行に対向する。そして、液体膨出部303の変形すなわち焦点距離の変化に応じて、第1の透明電極301と平行に対向する第2の透明電極305の面積が変化する。
【0042】
図2に示した可変焦点液体レンズ206は、第2の透明電極305をGNDとして、第1の透明電極301に駆動電圧Vinが印加されると、両電極間に作用する静電気力によって液体膨出部303がより突出して、焦点距離が短くなる。本発明者らは、
図2の可変焦点液体レンズ206について、第1の透明電極301と第2の透明電極305との間に印加する駆動電圧と、可変焦点液体レンズ206の焦点距離との関係について実験を行った。
【0043】
図4は、この場合の実験に使用した共焦点距離測定装置の概略構成を示す図である。この共焦点距離測定装置は、
図1に示した三次元形状計測手段200の構成において、二軸駆動ミラー207から対物光学系101までの光学系を省略して、可変焦点液体レンズ206により測定光をアルミニウムミラーからなる測距用物体Obに直接照射するものである。したがって、
図4において、
図1に示した構成部材と同一構成部材には同一の参照符号を付して説明を省略する。ここで、ピンホール210は、可変焦点液体レンズ206による測定光の集光点に関し共焦点光学系を構成している。
【0044】
実験では、駆動電圧を0Vから150Vまで上昇させ、その後、0Vまで戻す1サイクルにおいて、所定の駆動電圧毎に、測距用物体Obを可変焦点液体レンズ206の光軸方向に移動させる。そして、受光素子211の出力がピークとなる測距用物体Obと、可変焦点液体レンズ206との間の距離を、可変焦点液体レンズ206の焦点距離として計測する。
【0045】
図5は、この場合の実験結果を示すものである。
図5に示すように、
図2の可変焦点液体レンズ206の場合、駆動電圧を、0Vから150Vまで上昇させ、その後、0Vまで戻すと、可変焦点液体レンズ206の焦点距離は、154mm〜82mmまで変化することが確認できた。したがって、演算制御部212に予め駆動電圧に対する可変焦点液体レンズ206の焦点距離を記憶しておくことにより、受光素子211の出力がピークとなる駆動電圧から距離情報を得ることができる。
【0046】
しかしながら、
図5から明らかなように、駆動電圧の上昇時と下降時とでは、焦点距離の変化にヒステリシスがある。そのため、駆動電圧に対する可変焦点液体レンズ206の焦点距離を一義的に設定すると、設定値と実際の焦点距離との間に誤差が生じることになる。その結果、
図1に示した内視鏡においては、対物光学系101と測定対象Sとの間の距離の計測誤差が大きくなる。
【0047】
そこで、本実施の形態に係る内視鏡おいては、可変焦点液体レンズ206が、
図2に部分拡大図で示したように、液体膨出部303が変形すると、第1の透明電極301と保護層304を介して平行に対向するレンズ部306の周囲の第2の透明電極305の面積が変化して静電容量が変化することに着目する。そして、その静電容量変化から可変焦点液体レンズ206の焦点距離変化(制御情報)を取得する。
【0048】
ここで、
図2において、真空の誘電率をε
0、保護層304(パリレンC)の比誘電率をε
parylene、保護層304(パリレンC)の厚さをt
parylene、レンズ部306の周囲において第1の透明電極301と保護層304を介して平行に対向する第2の透明電極305の面積変化をΔSとすると、ΔSによる静電容量変化ΔC
lensは、下記の(1)で表される。なお、面積変化ΔSは、可変焦点液体レンズ206に駆動電圧が印加されていない初期状態からの変化を示す。
【0050】
本実施の形態においては、可変焦点液体レンズ206の静電容量C
lensを、例えば、下記の3つの方法のいずれかによって測定する。
i)可変焦点液体レンズ206と直列に抵抗(R)を接続してRC回路を構成し、抵抗の両端の電位差から静電容量C
lensを算出する。
ii)可変焦点液体レンズ206を含む交流ブリッジ回路を構成して、静電容量C
lensを算出する。
iii)可変焦点液体レンズ206と直列に抵抗(R)及びコイル(L)を接続してLCR直列共振回路を構成し、その共振周波数から静電容量C
lensを算出する。
【0051】
以下、静電容量C
lensの各測定方法について説明する。
【0052】
図6は、RC回路による静電容量測定回路の一例の概略構成図である。この静電容量測定回路は、可変焦点液体レンズ206と直列に接続した参照抵抗R
refと、可変焦点液体レンズ206及び参照抵抗R
refの直列回路に駆動電圧V
act及び計測電圧V
measを重畳して印加する電源回路400と、参照抵抗R
refの両端の電位差(出力電圧)を検出する電圧検出部401とを有する。
【0053】
参照抵抗R
refは、例えば100kΩとする。駆動電圧V
actは、例えば0Vから150Vまで上昇し、その後、0Vまで下降する電圧とする。計測電圧V
measは、例えば3Vpp、500Hzの電圧とする。電圧検出部401は、例えばロックインアンプを持って構成され、参照抵抗R
refに生じる計測電圧V
measによる出力電圧V
Refを検出する。
【0054】
図6の場合、可変焦点液体レンズ206の静電容量C
lensは、計測電圧V
measの角周波数をω
measとすると、下記の(2)式で表される。
【0056】
図7は、この場合の可変焦点液体レンズ206の初期状態からの静電容量変化ΔC
lens[pF]と、焦点距離F
lens[mm]との関係を示す図である。なお、
図7の焦点距離F
lens[mm]は、
図4に示した共焦点距離測定装置を用いて計測したものである。
図7から可変焦点液体レンズ206の静電容量変化ΔC
lensと焦点距離F
lensとの間には、駆動電圧V
actの上昇時及び下降時に関わらず、ヒステリシスのない線形な下記の(3)式の関係が存在することがわかる。これにより、可変焦点液体レンズ206の焦点距離F
lensを、静電容量変化ΔC
lensから計測することができる。この場合のR
2値(決定係数)は、0.99である。
F
lens=−1.56ΔC
lens+151.69 ・・・(3)
【0057】
図8は、可変焦点液体レンズ206を連続駆動した場合に計測される静電容量変化ΔC
lens[pF]と、受光素子211の出力(反射光強度)[V]との関係を示す図で、
図4の共焦点距離測定装置と
図6の静電容量測定回路とを組み合わせて計測したものである。ここでは、測距用物体Obを可変焦点液体レンズ206から114mm離れて配置して、可変焦点液体レンズ206を、±150V、0.1Hzの駆動電圧V
actで連続駆動した。
図8から、測距用物体Obまでの距離が一定の場合、反射光強度がピークとなる時点の静電容量変化もほぼ一定であることが分かる。
【0058】
図9は、可変焦点液体レンズ206の測距用物体Obまでの計測距離(計測焦点距離)と、物体位置(実測焦点距離)との関係を示す図で、同様に、
図4の共焦点距離測定装置と
図6の静電容量測定回路とを組み合わせて計測したものである。ここでは、測距用物体Obを可変焦点液体レンズ206から94〜140mmの位置に配置し、各物体までの距離を8回ずつ計測した際の距離計測結果を示している。可変焦点液体レンズ206の計測距離は、受光素子211の出力がピークとなる時点の静電容量変化に基づいて上記(3)式により算出した。
【0059】
図9から明らかなように、
図4に示した共焦点距離測定装置により、可変焦点液体レンズ206の静電容量変化から焦点距離を算出すれば、平均標準偏差0.7mm、平均誤差6.8%、にて焦点距離を計測することが可能であることがわかる。
【0060】
なお、
図6において、電源回路400から可変焦点液体レンズ206に印加する駆動電圧V
act及び計測電圧V
measは、上記の例に限らず、必要な焦点距離変化量や変化速度に起因して設定される。例えば、駆動電圧V
actは、ピーク値が200V以下、周波数が10Hz以下の電圧が使用される。また、計測電圧V
measは、例えば、ピーク値が3V以下、周波数が駆動電圧V
actよりも高周波数で1kHz以上の電圧が使用される。
【0061】
図10は、交流ブリッジ回路による静電容量測定回路の一例の概略構成図である。この静電容量測定回路は、ブリッジ回路の第1辺に接続された可変焦点液体レンズ206及び可変抵抗R
4の直列回路と、第1辺と対向する第2辺に接続された既知抵抗R
1と、第1辺及び第2辺のそれぞれの一端を接続する第3辺に接続された既知容量C
1及び既知抵抗R
3の直列回路と、第1辺及び第2辺のそれぞれの他端を接続する第4辺に接続された可変抵抗R2とを有する。
【0062】
第1辺及び第3辺の接続点P
1と、第2辺及び第4辺の接続点P
2との間には、電源回路410が接続されて、高電圧・低周波数(ピーク値200V程度、周波数10Hz程度)の駆動電圧V
act及び低電圧・高周波数(ピーク値2V程度、周波数10kHz程度)の計測電圧V
measが重畳して印加される。また、第2辺及び第3辺の接続点P
3と、第1辺及び第4辺の接続点P
4との間には、ハイパスフィルタ(HPF)411を介して電圧計測部412が接続される。
【0063】
図10のブリッジ回路では、下記の(4)式及び(5)式を満たすために、計測電圧V
measのみを印加した状態で、先ず、可変抵抗R
4を調整して、位相差をゼロとする。次に、可変抵抗R
2を調整して、電圧計測部412で計測される電圧をゼロとする。
C
lens=R
1C
1/R
2 ・・・(4)
R
4=R
2R
3/R
1 ・・・(5)
【0064】
その後、ブリッジ回路に駆動電圧V
act及び計測電圧V
measを重畳して印加する。これにより、可変焦点液体レンズ206の静電容量C
lensが変化して、ブリッジ回路の平衡状態が崩れ、接続点P
3と接続点P
4との間に電位差(電圧)が生じる。その電圧のうち、計測電圧成分のみを、HPF411を経て電圧計測部412で検出する。
【0065】
図10の交流ブリッジ回路による静電容量測定方法によると、可変焦点液体レンズ206の静電容量変化によって生じる電圧の変化量を増幅することができるので、
図6のRC回路による静電容量測定方法と比較して、より微小な静電容量変化を計測することが可能となる。したがって、可変焦点液体レンズ206の静電容量変化ΔC
lensと焦点距離F
lensとの関係式を、上記(3)式よりも高精度で求めることができるので、これにより静電容量変化から焦点距離をより高精度で算出することができる。
【0066】
なお、可変焦点液体レンズ206は、初期状態の静電容量が、0.1nF程度であるので、
図10のR
1、R
2、R
3、R
4、C
1は、それぞれ、R
1=5kΩ、R
2=0〜10kΩ、R
3=0〜10kΩ、R
4=5kΩ、C
1=0.1nF、とすることができる。また、HPF411は、
図10に部分拡大図を示すように、例えば、C
2=0.1μF、R
5=13kΩのCR回路で構成することができる。
【0067】
図11は、LCR直列共振回路による静電容量測定回路の一例の概略構成図である。この静電容量測定回路は、可変焦点液体レンズ206と直列に接続されたコイルL及び参照抵抗Rを有する。このLCR直列回路には、電源回路420が接続されて、駆動電圧V
act及び計測電圧V
measが重畳して印加される。駆動電圧V
actは、高電圧・低周波数で、例えば、ピーク値200V程度、周波数10Hz程度である。また、計測電圧V
measは、低電圧・高周波数で、例えば、ピーク値が2V程度、周波数が10MHz前後でスイープする電圧である。そして、参照抵抗Rの両端の計測電圧成分の電位差(出力電圧)が、HPF421を介して電圧検出部422により検出される。
【0068】
図11のLCR直列共振回路のインピーダンスZ
LCR及び共振周波数Fは、下記の(6)式及び(7)式で与えられる。
【0070】
インピーダンスZ
LCRは、共振周波数Fのとき最小値となる。そのときの参照抵抗Rによる電位差V
Rは、下記の(8)式で与えられる。なお、(8)式において、I
ACは、計測電圧によって参照抵抗Rを流れる電流を示している。また、V
ACは、計測電圧によって生じる参照抵抗Rの電圧降下を示している。
【0072】
したがって、計測電圧V
measの周波数を10MHz前後でスイープしたときの参照抵抗Rの両端の電位差を電圧検出部422で計測し、電位差が最大となる周波数を求めることにより、上記(7)式の関係を用いて、可変焦点液体レンズ206の静電容量Cを計測することができる。これにより、例えば上記(3)式のような静電容量変化と焦点距離との関係式に従って、可変焦点液体レンズ206の焦点距離を算出することができる。なお、可変焦点液体レンズ206は、初期状態の静電容量が、0.1nF程度であるので、
図11のコイルL及び参照抵抗Rは、それぞれL=2.5μH、R=1kΩとすることができる。
【0073】
なお、上述した静電容量測定回路は、可変焦点液体レンズ206を除いて、一部又は全部が、
図1の演算制御部212に内蔵される。また、上記(3)式のような、可変焦点液体レンズ206の焦点距離F
lensと、静電容量変化ΔC
lensとの関係は、演算制御部212のメモリ213にあらかじめ格納される。
【0074】
図12は、
図1の内視鏡10による撮像画像及び三次元形状情報の重畳方法の一例を示すフローチャートである。先ず、ステップS1201において、照明装置50により観察対象Sを照明して、観察対象Sの連続的撮像を開始するとともに、レーザ発光素子201を駆動して観察対象Sに対して測定光の照射を開始する。その後、ステップS1202において、観察対象Sに対して内視鏡10の位置を調整して対物光学系101の焦点合わせを行う。
【0075】
次に、ステップS1203において、演算制御部212により、可変焦点液体レンズ206を駆動して、受光素子211で受光される測定光の反射光を計測する。その際の測定点は、例えば、撮像素子103による撮像画像の中心位置とする。そして、ステップS1204において、演算制御部212により、受光素子211の出力にピークが有るか否か、つまり反射光のピークが有るか否かを判定する。その結果、出力のピークが無いと判定された場合(Noの場合)は、計測レンジ外としてステップS1202に戻って、内視鏡10の位置を再調整する。
【0076】
これに対し、ステップS1204において、受光素子211の出力にピークが有ると判定された場合(Yesの場合)は、ステップS1205において、演算制御部212により、観察画面内の各走査点、例えば8×8の各走査点について、対物光学系101から観察対象Sまでの距離を計測する。つまり、ステップS1205において、走査点毎に可変焦点液体レンズ206を駆動して、受光素子211のピーク出力における可変焦点液体レンズ206の静電容量変化を算出し、その静電容量変化から可変焦点液体レンズ206の焦点距離を算出する。そして、算出した可変焦点液体レンズ206の焦点距離に基づいて、対物光学系101から観察対象Sまでの距離を計測する。各走査点において計測される対物光学系101から観察対象Sまでの距離情報は、距離に対応する輝度情報とともに演算制御部212のメモリ213に記憶される。
【0077】
ステップS1205において、全ての走査点について観察対象Sまでの距離を計測したら、次に、ステップS1206において、演算制御部212により、メモリ213に記憶されている各走査点の輝度情報と距離情報とに基づいて、観察対象Sの三次元モデルを作成する。
【0078】
その後、ステップS1207において、演算制御部212により、作成された三次元モデルに局地的な異常な段差が無いかを判定する。その結果、異常な段差が無いと判定された場合(Yesの場合)は、ステップS1208において、撮像素子103による撮像画像と、作成された三次元モデルの距離情報とを、一つの表示部(図示せず)に重畳して、又は並列的に表示する、あるいは別々の表示部(図示せず)に表示する。なお、ステップS1208における撮像画像と三次元モデルの距離情報との重畳処理は、演算制御部212において、撮像素子103による撮像画像情報を入力して実行してもよいし、演算制御部212とは分離した画像処理部において、演算制御部212で作成された三次元モデルの距離情報と撮像素子103による撮像画像とを重畳してもよい。
【0079】
一方、ステップS1207において、異常な段差が有ると判定された場合(Noの場合)は、ステップS1201に戻って再計測を行う。なお、異常な段差は、例えばステップS1202での対物光学系101の焦点合わせの際の撮影時に異常な反射光を観測したり、あるいは、ステップS1205での距離情報取得時にエラーが発生したりした場合に発生することがある。
【0080】
以上のように、
図1の内視鏡10によると、撮像手段100による観察対象Sの撮像画像と、三次元形状計測手段200による観察対象Sの三次元形状情報とを、内視鏡10の対物光学系101を共用して同軸で取得している。したがって、内視鏡10の挿入部20の大径化を招くことなく、観察対象Sの撮像画像と三次元形状情報とを同時にリアルタイムで取得して、それらを重畳表示あるいは並列表示することができる。しかも、測距用の測定光は、可変焦点液体レンズ206の焦点距離を制御することにより、集光位置を光軸方向に走査している。したがって、内視鏡操作に影響を与えることなく、観察対象Sの三次元形状を高精度かつ高速に計測することができるとともに、三次元形状計測手段200の小型化が図れる。また、撮像素子103から得られる画像と、演算制御部212から得られる三次元形状情報とを重畳して三次元形状画像を生成する場合も、位置合わせが容易にでき、高精度の三次元形状画像を生成することができる。また、測定光として近赤外光を用いているので、撮像手段100に影響を与えることなく、同一光軸で観察対象Sの三次元形状情報を取得することができる。
【0081】
なお、可変焦点光学素子は、可変焦点液体レンズ206に限らず、例えば、特開平11−133210号公報に開示されているような可変焦点レンズも使用可能である。かかる従来の可変焦点レンズは、薄板の光学ガラスからなる透明弾性板と、中央部の貫通孔に透明板が接合された導電性弾性板と、該導電性弾性板の両側に配設された第1電極及び第2電極と、透明板及び導電性弾性板と透明弾性板との間の密閉空間に充填された透明液体とを有し、透明弾性板、透明液体及び透明板によりレンズを構成している。そして、第1電極と導電性弾性板との間に電位差を与えることにより透明弾性板が突出した凸レンズを形成し、第2電極と導電性弾性板との間に電位差を与えることにより透明弾性板が窪んだ凹レンズを形成するようにしている。
【0082】
しかしながら、かかる従来の可変焦点レンズにおいては、透明液体を、透明弾性板、第1電極、導電性弾性板、透明板、透明弾性板と第1電極との間のスペーサ、及び、第1電極と導電性弾性板との間のスペーサにより液密に保持するようにしている。そのため、構造が複雑で大型になるという課題があり、内視鏡への適用は困難となる。また、導電性弾性板、第1電極及び第2電極の3つの電極を有し、導電性弾性板と第1電極及び第2電極とのそれぞれの電極間の電位差を制御して焦点距離を制御するようにしている。そのため、制御が煩雑になるという課題もある。
【0083】
これに対し、
図1の内視鏡1に用いた可変焦点液体レンズ206は、液体膨出部303が、第1の透明電極301と、該第1の透明電極301上から膨出した保護膜304及び第2の透明電極305とにより形成されている。また、可変焦点液体レンズ206の焦点距離は、第1の透明電極301と第2の透明電極305との2つの電極間に電圧を印加することにより制御される。したがって、構造が簡単で小型にでき、焦点距離の制御も簡単にできるので、上述した従来の可変焦点レンズにおける課題を解決することができる。特に、保護層304をパリレンCで形成した場合、パリレンCは、光学ガラスよりも弾性の高い特徴を有するので、液体レンズの変形量を大きくすることができ、焦点距離の変化量を大きくできる。
【0084】
(第2実施の形態)
図13は、本発明の第2実施の形態に係る内視鏡の要部の概略構成を示す図である。この内視鏡11は、
図1に示した内視鏡10において、撮像手段100に、更に、対物光学系101に対して撮像素子103と共役な位置にCCD等からなる撮像素子105を設けたものである。そして、撮像素子103を可視光(色)画像用の第1の撮像素子とし、撮像素子105を蛍光画像用の第2の撮像素子として、撮像手段100による観察対象Sの色画像及び蛍光画像と、三次元形状計測手段200による三次元モデルとを同軸上で同時に取得可能に構成したものである。
【0085】
そのため、
図13においては、ハーフミラー209と色画像用の撮像素子103との間に、フィルタ104に代えて、測定光を吸収し、可視光帯域の光を透過及び反射させる特性を有するミラー(分岐光学系)106が配置されている。また、ミラー106と蛍光画像用の撮像素子105との間には、所望の波長の蛍光を反射させるミラー107が配置されている。
【0086】
そして、ハーフミラー209を透過した対物光学系101による色画像は、ミラー106を透過して撮像素子103で撮像される。また、ハーフミラー209を透過した対物光学系101による蛍光画像は、ミラー106で反射され、さらにミラー107で反射されて撮像素子105で撮像される。なお、三次元形状計測手段200による測距動作については、第1実施の形態と同様であるので、説明を省略する。
【0087】
図14(a)〜(d)は、本実施の形態に係る内視鏡2を用いて得られる観察対象Sの画像の写真を示すものである。ここで、観察対象Sは、ガラス基板上の2箇所に、蛍光色素のローダミンBと、イオン液体の1−エチル−3−メチルイミダゾリウムエチルスルファート(1-ethyl-3-methylimidazolium ethyl sulfate)とを混合した試液を滴下し、更にパリレンC膜で封止して作製したものを用いた。ローダミンBは、550〜580nm程度の励起光で、590〜650nmの蛍光を放出する。そのため、
図13において、ミラー107は、蛍光波長帯域の590〜650nmの光を反射させる特性を有するものを用いる。
【0088】
図14(a)は、撮像素子103から得られる観察対象Sの色画像の写真を示す。
図14(b)は、撮像素子105から得られる観察対象Sの蛍光画像の写真を示す。
図14(c)は、距離計測系を用いて測定する距離情報を示す。
図14(d)は、
図14(c)のの距離情報を元にして作成した三次元モデルに、
図14(a),(b)の色画像及び蛍光画像をテクスチャとして重畳した三次元画像の写真を示す。なお、
図14(a)〜(d)に示した各画像は、別々の表示部に同時に表示してもよいし、表示部を適宜共用して、一つの表示部に異種の画像を画面分割して同時に表示してもよい。
【0089】
図13の内視鏡11によると、観察対象Sに対して、同軸上で、
図14(a)〜(c)に示すような色画像、蛍光画像及び三次元モデルの三種の画像を同時に取得することができる。したがって、第1実施の形態と同様の効果が得られる他、上記の三種の画像を容易に位置合わせてして重畳することができる。これにより、
図14(d)に示すような観察対象Sの色画像及び蛍光画像を含む三次元的な高精度のリアルな画像を取得することができ、より的確な施術や診断支援等が可能となる。
【0090】
本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、可変焦点液体レンズ206は、
図15(a),(b)に示すように、透明基板300上の第1の透明電極301を駆動用電極301aと、計測用電極301bとに分離する。そして、第2の透明電極305を共通電極(GND)として、駆動用電極301aに接続部321を介して焦点距離を変化させる駆動電圧V
actを独立して印加し、計測用電極301bに接続部322を介して静電容量変化を検出するための計測電圧V
measを独立して印加する。なお、
図15(a)は、駆動用電極301a及び計測用電極301bを模式的に示す透明基板300の平面に沿った断面図であり、
図15(b)は、駆動用電極301a及び計測用電極301bを示すようにレンズ光軸に沿った断面図である。
【0091】
また、可変焦点液体レンズ206の焦点距離は、静電容量に限らず、印加電圧からヒステリシスを考慮して計測してもよい。つまり、印加電圧の上昇及び下降に対応する焦点距離の情報を予めメモリに格納して、印加電圧の上昇又は下降に応じて反射光がピークとなる焦点距離を計測してもよい。あるいは、印加電圧の上昇又は下降に対応する焦点距離の情報を予めメモリに格納して、印加電圧の上昇又は下降時のみ焦点距離を計測するようにしてもよい。
【0092】
また、内視鏡は、硬性鏡に限らず、軟性鏡にも同様に適用でき、同様の効果を得ることが可能である。また、本発明は、内視鏡に限らず、物体表面の三次元形状計測機器や、三次元光造形機器などの撮像装置にも有効に適用することができる。