特表-17141524IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2017-141524撮像装置、撮像方法及び撮像システム
<>
  • 再表WO2017141524-撮像装置、撮像方法及び撮像システム 図000003
  • 再表WO2017141524-撮像装置、撮像方法及び撮像システム 図000004
  • 再表WO2017141524-撮像装置、撮像方法及び撮像システム 図000005
  • 再表WO2017141524-撮像装置、撮像方法及び撮像システム 図000006
  • 再表WO2017141524-撮像装置、撮像方法及び撮像システム 図000007
  • 再表WO2017141524-撮像装置、撮像方法及び撮像システム 図000008
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年8月24日
【発行日】2018年12月6日
(54)【発明の名称】撮像装置、撮像方法及び撮像システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20181109BHJP
   G02B 23/24 20060101ALI20181109BHJP
   G03B 15/02 20060101ALI20181109BHJP
   G03B 13/36 20060101ALI20181109BHJP
   G02B 7/28 20060101ALI20181109BHJP
   H04N 5/225 20060101ALI20181109BHJP
   H04N 5/232 20060101ALI20181109BHJP
   H04N 7/18 20060101ALI20181109BHJP
   A61B 90/20 20160101ALN20181109BHJP
【FI】
   A61B1/045 610
   A61B1/045 618
   G02B23/24 B
   G03B15/02 E
   G03B13/36
   G02B7/28 Z
   H04N5/225 600
   H04N5/225 800
   H04N5/232 120
   H04N5/232 930
   H04N5/232 290
   H04N5/225 500
   H04N7/18 M
   A61B90/20
【審査請求】未請求
【予備審査請求】未請求
【全頁数】28
【出願番号】特願2017-567961(P2017-567961)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2016年12月9日
(31)【優先権主張番号】特願2016-28762(P2016-28762)
(32)【優先日】2016年2月18日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100112874
【弁理士】
【氏名又は名称】渡邊 薫
(72)【発明者】
【氏名】一木 洋
(72)【発明者】
【氏名】中尾 勇
(72)【発明者】
【氏名】桑山 哲朗
(72)【発明者】
【氏名】岸井 典之
(72)【発明者】
【氏名】中島 悠策
(72)【発明者】
【氏名】松井 健
【テーマコード(参考)】
2H011
2H040
2H151
4C161
5C054
5C122
【Fターム(参考)】
2H011AA06
2H011BB03
2H011DA08
2H040BA05
2H040CA02
2H040GA02
2H040GA06
2H040GA11
2H151CC02
2H151CE14
2H151CE16
2H151EB17
2H151EB19
4C161AA22
4C161HH51
4C161LL01
4C161PP13
4C161QQ07
5C054CC02
5C054CE01
5C054FC16
5C054FE13
5C054HA12
5C122DA26
5C122FC04
5C122FD05
5C122FH11
5C122FH18
5C122GG05
5C122GG17
5C122HB01
(57)【要約】
スペックル画像の撮像装置であっても、焦点を検出することができる撮像技術を提供する。
コヒーレント光を撮像対象に照射するコヒーレント光源と、インコヒーレント光を撮像対象に照射するインコヒーレント光源と、前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像部と、前記非スペックル画像撮像部の焦点位置に基づいて、前記スペックル画像撮像部の焦点を検出する焦点検出部と、を備える、撮像装置。
【特許請求の範囲】
【請求項1】
コヒーレント光を撮像対象に照射するコヒーレント光源と、
インコヒーレント光を撮像対象に照射するインコヒーレント光源と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、
前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像部と、
前記非スペックル画像撮像部の焦点位置に基づいて、前記スペックル画像撮像部の焦点を検出する焦点検出部と、
を備える、撮像装置。
【請求項2】
更に、前記非スペックル画像撮像部の焦点に対する前記スペックル画像撮像部の焦点距離を調整する焦点調整部と、
前記焦点調整部により調整された焦点に基づいて撮像されたスペックル画像を表示する表示部と、
を備える、請求項1に記載の撮像装置。
【請求項3】
更に、前記非スペックル画像撮像部と前記スペックル画像撮像部との間に生じる収差を補正する収差補正部を備える、請求項1記載の撮像装置。
【請求項4】
前記収差補正部は、色収差を補正する、請求項3記載の撮像装置。
【請求項5】
更に、前記非スペックル画像撮像部により撮像された非スペックル画像中の任意の関心領域を特定する関心領域特定部と、
当該関心領域特定部による関心領域の特定情報に基づき、前記コヒーレント光源の照射位置を調整する光照射調整部と、
を備える請求項1記載の撮像装置。
【請求項6】
コヒーレント光を撮像対象に照射するコヒーレント光源と、
インコヒーレント光を撮像対象に照射するインコヒーレント光源と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像装置と、
前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像装置と、
前記非スペックル画像撮像装置の焦点位置に基づいて、前記スペックル画像撮像装置の焦点を検出する焦点検出装置と、
を備える、撮像システム。
【請求項7】
更に、前記非スペックル画像撮像装置の焦点に対する前記スペックル画像撮像装置の焦点距離を調整する焦点調整装置と、
前記焦点調整装置により調整された焦点に基づいて撮像されたスペックル画像を表示する表示装置と、
を備える、請求項6に記載の撮像システム。
【請求項8】
更に、前記非スペックル画像撮像装置と前記スペックル画像撮像装置との間に生じる収差を補正する収差補正装置と、を備える、請求項6記載の撮像システム。
【請求項9】
前記収差補正装置は、色収差を補正する、請求項8記載の撮像システム。
【請求項10】
更に、前記非スペックル画像撮像装置により撮像された非スペックル画像中の任意の関心領域を特定する関心領域特定装置と、
当該関心領域特定装置による関心領域の特定情報に基づき、前記コヒーレント光源の照射位置を調整する光照射調整装置と、
を備える、請求項6記載の撮像システム。
【請求項11】
コヒーレント光を撮像対象に照射するコヒーレント光照射工程と、
インコヒーレント光を撮像対象に照射するインコヒーレント光照射工程と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、
前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像工程と、
前記非スペックル画像撮像工程における焦点位置に基づいて、前記スペックル画像を撮像するための焦点を検出する焦点検出工程と、
を含む、撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、撮像装置に関する。より詳しくは、スペックル画像を撮像するための焦点を検出可能な撮像装置、撮像方法及び撮像システムに関する。
【背景技術】
【0002】
従来、血管や細胞などといった生体試料の形状や構造等を把握するため、光学的手法を用いた撮像装置や撮像方法が開発されている(特許文献1参照)。
この特許文献1に記載の撮像システムでは、第一のタイミングで発光部からの光がオブジェクトに反射して干渉した光により干渉光画像を撮像し、第二のタイミングでオブジェクトから発せられた光の発光画像を撮像している。
【0003】
一方、血管等の流路を撮像対象とした、光学的手法を用いたイメージング技術においては、様々なノイズの発生が検出精度の低下をもたらすことが懸念されており、そのノイズの一つとして、スペックルが知られている。スペックルは、照射面の凹凸形状に応じて、照射面上に斑点状の揺れ動くパターンが出現する現象である。近年では、ノイズの一つであるスペックルを利用した血管等の流路を撮像する方法に関しても技術が開発されつつある。
【0004】
スペックルは、光路中の散乱等によるランダムな干渉・回折パターンである。また、スペックルの大小は、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストという指標で表される。コヒーレント光を用いて照明された撮像対象を、結像光学系を用いて観察すると、像面で撮像対象の散乱によるスペックルが観測される。そして、撮像対象が動いたり形状変化したりすると、それに応じたランダムなスペックルパターンが観測される。
【0005】
血液のような光散乱流体を観察すると、流れによる微細形状の変化によってスペックルパターンは刻一刻と変化する。その際、像面に撮像素子を設置し、スペックルパターンの変化よりも十分長い露光時間で流体を撮影すると、血液の流れている部分、即ち血管の部分のスペックルコントラストは、時間平均化することにより減少する。このようなスペックルコントラストの変化を利用することで、血管造影を行うことができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−136396号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
このようなスペックルを用いた撮像装置では単眼のカメラによりスペックルパターンを測定しているため、通常の明視野撮像に比べ、撮像の焦点を確認することができず、その結果解像度が低いスペックル画像が撮像されてしまう。また、スペックルに起因する粒子性ノイズが大きい、撮像される画像の奥行情報が取得できないなどの課題もあった。
【0008】
そこで、本技術では、スペックル画像の撮像装置であっても、焦点を検出することができる撮像技術を提供することを主目的とする。
【課題を解決するための手段】
【0009】
本技術は、コヒーレント光を撮像対象に照射するコヒーレント光源と、インコヒーレント光を撮像対象に照射するインコヒーレント光源と、前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像部と、前記非スペックル画像撮像部の焦点位置に基づいて、前記スペックル画像撮像部の焦点を検出する焦点検出部と、を備える、撮像装置を提供する。
また、本技術に係る撮像装置は、更に、前記非スペックル画像撮像部の焦点に対する前記スペックル画像撮像部の焦点距離を調整する焦点調整部と、前記焦点調整部により調整された焦点に基づいて撮像されたスペックル画像を表示する表示部と、を備えていてもよい。
本技術に係る撮像装置は、更に、前記非スペックル画像撮像部と前記スペックル画像撮像部との間に生じる収差を補正する収差補正部を備えていてもよい。この撮像装置において、前記収差補正部は、色収差を補正する構成であってもよい。
本技術に係る撮像装置は、更に、前記非スペックル画像撮像部により撮像された非スペックル画像中の任意の関心領域を特定する関心領域特定部と、当該関心領域特定部による関心領域の特定情報に基づき、前記コヒーレント光源の照射位置を調整する光照射調整部と、を備えていてもよい。
【0010】
更に、本技術は、コヒーレント光を撮像対象に照射するコヒーレント光源と、
インコヒーレント光を撮像対象に照射するインコヒーレント光源と、前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像装置と、前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像装置と、前記非スペックル画像撮像装置の焦点位置に基づいて、前記スペックル画像撮像装置の焦点を検出する焦点検出装置と、を備える、撮像システムをも提供する。
この撮像システムは、更に、前記非スペックル画像撮像装置の焦点に対する前記スペックル画像撮像装置の焦点距離を調整する焦点調整装置と、前記焦点調整装置により調整された焦点に基づいて撮像されたスペックル画像を表示する表示装置と、を備えていてもよい。
本技術に係る撮像システムは、更に、前記非スペックル画像撮像装置と前記スペックル画像撮像装置との間に生じる収差を補正する収差補正装置と、を備えていてもよい。この撮像システムにおいて、前記収差補正装置は、色収差を補正する構成であってもよい。
本技術に係る撮像システムは、更に、前記非スペックル画像撮像装置により撮像された非スペックル画像中の任意の関心領域を特定する関心領域特定装置と、当該関心領域特定装置による関心領域の特定情報に基づき、前記コヒーレント光源の照射位置を調整する光照射調整装置と、を備えていてもよい。
【0011】
本技術は、コヒーレント光を撮像対象に照射するコヒーレント光照射工程と、インコヒーレント光を撮像対象に照射するインコヒーレント光照射工程と、前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像工程と、前記非スペックル画像撮像工程における焦点位置に基づいて、前記スペックル画像を撮像するための焦点を検出する焦点検出工程と、を含む、撮像方法をも提供する。
【発明の効果】
【0012】
本技術によれば、スペックル画像の撮像技術において、焦点を検出することができ、その結果解像度の高いスペックル画像を得ることができる。
なお、ここに記載された効果は、必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0013】
図1】本技術に係る撮像装置の第一実施形態の概念を模式的に示す模式概念図である。
図2図1に示す撮像装置の技術原理を示す模式概念図である。
図3】本技術に係る撮像装置の第二実施形態の概念を模式的に示す模式概念図である。
図4】本技術に係る撮像装置の第三実施形態の概念を模式的に示す模式概念図である。
図5】本技術に係る撮像システムの概念を模式的に示す模式概念図である。
図6】本技術に係る撮像方法のフローチャートである。
【発明を実施するための形態】
【0014】
以下、本技術を実施するための好適な形態について図面を参照しながら説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。なお、説明は以下の順序で行う。
1.第一実施形態に係る撮像装置
(1)コヒーレント光源
(2)インコヒーレント光源
(3)スペックル画像撮像部
(4)非スペックル画像撮像部
(5)焦点検出部
(6)合成部
(7)解析部
(8)記憶部
(9)表示部
(10)撮像対象
2.第二実施形態に係る撮像装置
(1)焦点調整部
3.第三実施形態に係る撮像装置
(1)収差補正部
4.第四実施形態に係る撮像装置
(1)関心領域特定部
(2)光照射調整部
5.本技術に係る撮像システム
(1)コヒーレント光源
(2)インコヒーレント光源
(3)スペックル画像撮像装置
(4)非スペックル画像撮像装置
(5)焦点検出装置
(6)合成装置
(7)解析装置
(8)記憶装置
(9)表示装置
(10)焦点調整装置
(11)収差補正装置
(12)関心領域特定装置
(13)光照射調整装置
6.第一実施形態に撮像方法
(1)コヒーレント光照射工程
(2)インコヒーレント光照射工程
(3)スペックル画像撮像工程
(4)非スペックル画像撮像工程
(5)焦点検出工程
(6)合成工程
(7)解析工程
(8)記憶工程
(9)表示工程
(10)焦点調整工程
(11)収差補正工程
(12)関心領域特定工程
(13)光照射調整工程
【0015】
1. 第一実施形態に係る撮像装置
図1は、本技術に係る撮像装置の第一実施形態を模式的に示す模式概念図である。第一実施形態に係る撮像装置1は、コヒーレント光源11、インコヒーレント光源12、スペックル画像撮像部13、非スペックル画像撮像部14、焦点検出部15、を少なくとも備える。また、必要に応じて、合成部16、解析部17、記憶部18、表示部19、などを更に備えることも可能である。以下、各部について詳細に説明する。
【0016】
(1) コヒーレント光源
コヒーレント光源11からは、撮像対象Oに対するコヒーレント光の照射が行われる。コヒーレント光源11が発するコヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。
【0017】
コヒーレント光源11の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、レーザー光等を挙げることができる。レーザー光を発するコヒーレント光源11としては、例えば、アルゴンイオン(Ar)レーザー、ヘリウム−ネオン(He-Ne)レーザー、ダイ(dye)レーザー、クリプトン(Cr)レーザー、半導体レーザー、または、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、1種又は2種以上、自由に組み合わせて用いることができる。
【0018】
(2) インコヒーレント光源
インコヒーレント光源12からは、撮像対象Oに対するインコヒーレント光の照射が行われる。前記インコヒーレント光とは、物体光(物体波)のように干渉性を殆ど示さない光をいう。ここで、インコヒーレント光の波長は、前記コヒーレント光源11が発するコヒーレント光の波長と同程度であることが好ましいため、インコヒーレント光を照射する際には、バンドパスフィルターを用いてインコヒーレント光の波長の調整を行うことが可能な構成を採用することが好ましい。
【0019】
インコヒーレント光源12の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
【0020】
(3) スペックル画像撮像部
本技術に係る撮像装置1は、スペックル画像撮像部13を備える。このスペックル画像撮像部13では、前記コヒーレント光が照射された前記撮像対象Oから得られる散乱光に基づいて、スペックルの撮像が行われる。より具体的には、前記焦点検出部15により検出された焦点に基づいて、スペックルの撮像が行われる。
【0021】
前記スペックル画像撮像部13が行う撮像方法は、本技術の効果が損なわれない限り特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。
【0022】
また、スペックル画像撮像部13では、撮像された撮像画像におけるスペックルの輝度分布の測定が行われるようにしてもよい。ここで、コヒーレント光を用いて照明された物体を結像光学系により観察すると、像面で物体の散乱によるスペックルが観測される。このスペックル画像撮像部13では、例えば輝度計を用いて、撮像画像におけるスペックルの輝度分布が測定される。その他には、CCDやCMOSなどの撮像素子より撮影した画像からスペックル輝度分布を算出することが可能である。
この輝度分布の測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の算出方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
【0023】
このスペックル画像撮像部13では、例えば、疑似血液が流れている疑似血管を、前記スペックル輝度分布に基づいてマッピングした画像等が生成される。ここで、前述の如く、スペックルはランダムな干渉・回析パターンであるため、血液などの散乱流体が移動したり、時間的に変化すると、前記スペックルも時間的に変動する。このため、流体とそれ以外の部分の境界を観察することができる。
尚、前記スペックル画像撮像部13では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
【0024】
(4) 非スペックル画像撮像部
本技術に係る撮像装置1は、非スペックル画像撮像部14を備える。この非スペックル画像撮像部14では、インコヒーレント光が照射された前記撮像対象Oから得られる反射光に基づいて、明視野画像の撮像が行われる。ここで、インコヒーレント光は干渉性を殆ど示さない光であるため、インコヒーレント光に基づく撮像画像は、ランダムな干渉・回折パターンであるスペックルが発生しないものとなる。以下、説明の便宜上、スペックルが発生しない撮像画像を「非スペックル画像」という。この非スペックル画像撮像部14において行われる撮像方法は、スペックル画像撮像部13にて行われる撮像方法と同一であるため、ここではその説明を割愛する。
【0025】
(5) 焦点検出部
本技術に係る撮像装置1は、前記スペックル画像を撮像するための焦点を検出する焦点検出部15を備える。
スペックルはランダムな干渉・回折パターンであるため、当該スペックルを撮像する場合、焦点を確認することが困難となる。一方、結像系が手前あるいは奥側にオフオーカスしており、且つ撮影対象Oが光軸から垂直方向に外れて行く場合、撮影対象Oの一点から発して一つのスペックル形状を形成する干渉光路は、手前側オフフォーカスでは結像系の主光線に対してイメージャ上で光軸よりを、奥側オフフォーカスでは光軸より離れた点を通る。その結果、非スペックル画像、すなわち明視野画像を撮像する際の焦点に対して、スペックル画像を撮像するための焦点位置をユーザ側或いは奥側に変位させた場合、明視野画像に映し出される動体に対して、スペックルが当該動体と同一方向又は異なる方向へと移動する。以下の説明において、この現象を「スペックルの相関現象」と称す。
【0026】
このスペックルの相関現象に基づいて、前記焦点検出部15では、前記スペックル画像撮像部13の焦点を検出する。より具体的には、先ず、第一工程として、前記スペックル画像撮像部13の焦点位置を前記非スペックル画像の焦点位置よりもユーザの手前側に配置し、スペックルの移動方向を確認する。次に、第二工程として、前記スペックル画像撮像部13の焦点位置を前記非スペックル画像の焦点位置よりもユーザの奥側に配置し、スペックルの移動方向を確認する。その後、手前側又は奥側に配置した前記スペックル画像撮像部13の焦点位置を非スペックル画像撮像部14の焦点位置に対して徐々に近づけていき、スペックルが前記明視野画像上の動体に対して動かない焦点位置を検出する。
【0027】
このように、前記焦点検出部15では、前記スペックルの相関現象を利用することにより、画像上でスペックルが移動しない、スペックル画像の焦点を検出することができる。
ここで、前記検出方法は一例に過ぎず、前記方法では第一工程後に第二工程を行っているが、第二工程後に第一工程を行うようにしても差し支えない。
【0028】
(6) 合成部
本技術に係る撮像装置1は、合成部16を備える。この合成部16では、前記スペックル画像撮像部13により撮像されたスペックル画像と、前記非スペックル画像撮像部14により撮像された非スペックル画像と、を合成する。具体的には、前記非スペックル画像の画像情報とスペックル画像の画像情報とを重ねあわせて、スペックル合成画像を作成する。
尚、前記スペックル合成画像を作成する方法については特に限定されず、公知の方法を採用することができる。
【0029】
(7) 解析部
本技術に係る撮像装置1は、必要に応じて、解析部17を備えていてもよい。この解析部17では、前記合成部16により作成されたスペックル合成画像を利用し、前記撮像対象Oの状態が解析される。
【0030】
ここで、当該解析部17では、前記焦点検出部15が焦点を検出する際に観察されたスペックルの相関現象を利用してスペックルの移動速度を解析することも可能である。
すなわち、前述の如く、スペックルの相関現象では、前記明視野画像上の動体に対してスペックルが相対的に移動する。このため、前記解析部17では、前記スペックル画像撮像部13の焦点位置が明視野画像の焦点位置と変位している状態における移動画像を観察し、スペックルの移動速度を測定することができるように構成されていてもよい。
かかる場合、例えば、撮像対象Oを血管とした場合、血液などの散乱流体が移動したり、時間的に変化すると、これに応じてスペックルも時間的に変動することとなる。このため、前記解析部17により、血流の速度を測定することができる。
尚、この解析部17は、本技術に係る撮像装置1に必須ではなく、外部の解析装置等を用いて撮像対象Oの状態を解析することも可能である。
【0031】
(8) 記憶部
本技術に係る撮像装置1には、スペックル画像撮像部13によって撮像されたスペックル画像、非スペックル画像撮像部14によって撮像された非スペックル画像、前記合成部16によって作成されたスペックル合成画像、前記焦点検出部15によって検出されたスペックル画像の焦点、前記解析部17によって解析された解析結果などを記憶する記憶部18を更に備えることができる。
この記憶部18は、本技術に係る撮像装置1においては必須ではなく、例えば、外部の記憶装置を接続して、前記スペックル画像等を記憶することも可能である。
【0032】
(9) 表示部
本技術に係る撮像装置1には、スペックル画像撮像部13によって撮像されたスペックル画像、非スペックル画像撮像部14によって撮像された非スペックル画像、前記合成部16により作成された合成画像、前記解析部17によって解析された解析結果などを表示する表示部19を更に備えることができる。また、この表示部19においては、前記スペックル画像撮像部13及び非スペックル画像撮像部14により測定された輝度分布を、前記スペックル画像に重畳させて表示することもできる。この表示部19は、本技術に係る撮像装置1においては必須ではなく、例えば、外部のモニター等を用いて撮像対象Oに光照射を行うことも可能である。
【0033】
(10) 撮像対象
本技術に係る撮像装置1は、様々なものを撮像対象とすることができるが、例えば、流体を含むものを撮像対象Oとするイメージングに、好適に用いることができる。スペックルの性質上、流体からはスペックルが発生しにくいという性質がある。そのため、本技術に係る撮像装置1を用いて流体を含むものをイメージングとすると、流体とそれ以外の部分の境界や流体の流速等を、求めることができる。
【0034】
より具体的には、撮像対象Oを生体組織とし、流体としては血液を挙げることができる。例えば、本技術に係る撮像装置1を、手術用顕微鏡や手術用内視鏡などに搭載すれば、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも貢献することができる。
【0035】
以上のような第一実施形態に係る撮像装置1では、前記焦点検出部15により、スペックル画像を撮像するための焦点を検出することができるため、解像度の高いスペックル画像を取得することができる。
また、例えば、血液が流れる血管を撮像した際、血液の時間的変動に従ったスペックルが変動を観測することができるため、血球の流路を正確に認識可能な画像を取得することができる。その結果、生体組織(例えば、心臓など)に対する血管の相対的位置を正確に観測することができる。
【0036】
2. 第二実施形態に係る撮像装置
図2は、本技術を適用可能な第二実施形態に係る撮像装置を示す模式概念図である。
この第二実施形態に係る撮像装置201は、スペックル画像撮像部の焦点距離を調整する焦点調整部21を備える点と、前記表示部19が前記焦点調整部21により焦点が調整され、その結果撮像されたスペックル画像を表示する点のみが第一実施形態に係る撮像装置1と異なる。
その一方で、前記コヒーレント光源11、インコヒーレント光源12、スペックル画像撮像部13、非スペックル画像撮像部14、焦点検出部15、を少なくとも備える点は同一であり、更に必要に応じて、合成部16、解析部17、記憶部18を備えていてもよい点は同一である。
このため、以下の第二実施形態に係る撮像装置201の説明において、第一実施形態に係る撮像装置1と共通する構成についてはその説明を省略する。以下、前記焦点調整部21について説明する。
【0037】
(1) 焦点調整部
第二実施形態に係る撮像装置201は、前記焦点調整部21を備える。この焦点調整部21は、前記焦点検出部15がスペックル画像を撮像する際の焦点を検出する段階において、前記スペックル画像撮像部13の焦点距離を変更する処理を行う。
具体的には、前記焦点検出部15が行っていた処理、すなわち、前記スペックル画像撮像部13の焦点位置を前記非スペックル画像撮像部14の焦点位置に対して相対的に移動させる処理を行う。例えば、前記スペックル画像撮像部13の焦点位置を前記非スペックル画像の焦点位置よりもユーザの手前側に配置させる作業や、前記スペックル画像撮像部13の焦点位置を前記非スペックル画像の焦点位置よりもユーザの奥側に配置させる作業を行う。
【0038】
また、第二実施形態に係る撮像装置201では、前記焦点調整部21により調整された焦点が前記焦点検出部15を介して前記スペックル画像撮像部13に入力され、当該スペックル画像撮像部13は当該入力情報に基づいてスペックル画像の撮像を行うこととなる。
そして最終的には、検出された焦点に基づいて撮像されたスペックル画像が前記表示部19に表示されるようになっている。また、当該表示部19では、前記焦点調整部21の処理段階で観察された、撮像対象O上の動体に対してスペックルが相対的に移動している状態の画像を表示するように構成されている。
【0039】
以上のような第二実施形態に係る撮像装置201では、前記焦点調整部21を備え、且つ、前記表示部19が当該焦点調整部21により検出された焦点に基づいて撮像されたスペックル画像を表示するように構成されているため、スペックルの相関現象を利用し、明視野画像上の動体に対するスペックルの移動方向を目視にて正確に把握することができる。
その結果、例えば、血管を撮像した場合、血球の流れる方向を正確に把握することができ、撮像された血管が動脈であるか静脈であるかといった血管の種類を把握することもできる。
【0040】
3. 第三実施形態に係る撮像装置
次に、図3を用いて、本技術を適用した第三実施形態に係る撮像装置301について説明する。図3は、第三実施形態に係る撮像装置301の模式概念図である。
この第三実施形態に係る撮像装置301は、収差補正部31を備える点が第一実施形態に係る撮像装置1と異なる。その一方で、前記コヒーレント光源11、インコヒーレント光源12、スペックル画像撮像部13、非スペックル画像撮像部14、焦点検出部15、を少なくとも備える点は同一であり、更に必要に応じて、合成部16、解析部17、記憶部18、表示部19、焦点調整部21、を備えていてもよい点は同一である。
このため、以下の第三実施形態に係る撮像装置301の説明において、第一実施形態に係る撮像装置1と共通する構成についてはその説明を省略する。以下、前記収差補正部31について説明する。
【0041】
(1) 収差補正部
第三実施形態に係る撮像装置301は、前記スペックル画像撮像部13によりスペックル画像が撮像され、前記非スペックル画像撮像部14により非スペックル画像が撮像される。すなわち、当該撮像装置301は、複眼撮像装置を構成している。このため、当該撮像装置301では、スペックル画像と非スペックル画像との間には収差が生じる。
かかる場合、前記非スペックル画像とスペックル画像と重畳された合成画像を作成する場合、前記収差を可及的に排除する必要がある。前記収差補正部31は、当該収差を補正する処理を行う。
この収差補正部31が補正することができる収差の種類は特に限定されず、球面収差、コマ収差、非点収差、色収差(軸上色収差、倍率色収差)、波面収差、像面湾曲、歪像など公知の収差を補正することができるものの、これらの中でも、本技術に係る撮像装置では波長の異なる二種の光源を用いていることから、特に色収差を補正するように構成されていることが好ましい。
ここで、収差を補正する方法としては特に限定されず、公知の方法を採用することができ、例えば、デフォーマブルミラーを用いた方法や取得画像自体を補正する方法などを用いることができる。
【0042】
第三実施形態に係る撮像装置301は、前記収差を測定する収差測定部32を備えていても差し支えない。この収差測定部32では、公知の方法を用いて収差を測定することができ、例えば光干渉測定により干渉縞を解析するといった方法を採用することが考えられる。
そして、当該収差測定部32によって測定された収差は、前記収差補正部31に入力され、当該収差補正部31はこの入力情報に基づいて前記収差を補正するように構成されている。
【0043】
前記収差補正部31を備える第三実施形態に係る撮像装置301によれば、前記収差補正部31により、前記スペックル画像と非スペックル画像との間に発生する収差、特に色収差を補正することができるため、前記スペックル画像、非スペックル画像の解像度を向上させることができ、もって前記スペックル画像及び非スペックル画像からなる合成画像の解像度をも向上させることができる。
その結果、例えば血液の流れる血管を撮像した場合、生体組織に対する血管の相対的位置を正確に観測することができる。
【0044】
4. 第四実施形態に係る撮像装置
次に、図4を用いて、本技術を適用した第四実施形態に係る撮像装置401について説明する。図3は、第四実施形態に係る撮像装置401の模式概念図である。
この第四実施形態に係る撮像装置401は、関心領域特定部41と、光照射調整部42とを備える点が第一実施形態に係る撮像装置1と異なる。その一方で、前記コヒーレント光源11、インコヒーレント光源12、スペックル画像撮像部13、非スペックル画像撮像部14、焦点検出部15、を少なくとも備える点は同一であり、更に必要に応じて、合成部16、解析部17、記憶部18、表示部19、焦点調整部21、収差補正部31などを備えていてもよい点は同一である。
このため、以下の第四実施形態に係る撮像装置401の説明において、第一実施形態に係る撮像装置1と共通する構成についてはその説明を省略する。以下、関心領域特定部41及び光照射調整部42について説明する。
【0045】
(1) 関心領域特定部
第四実施形態に係る撮像装置401は、非スペックル画像からユーザが観察するための領域を特定するための関心領域特定部41を備える。
より具体的には、前記表示部19により表示された非スペックル画像を確認し、ユーザが観察する上で関心を示した任意の領域を選定する。その後、前記関心領域特定部41では、ユーザにより選定された関心領域の位置情報を検出する。更に、検出した関心領域に関する情報に基づいて、前記非スペックル画像上に示された撮像対象O内の関心領域を特定する。
尚、当該関心領域特定部41に行われる特定方法は特に限定されず、公知の方法を用いることができる。例えば、前記関心領域特定部41は、ユーザにより選定された関心領域が含まれる、前記合成画像の水平方向及び垂直方向に関する各画素の位置情報を検出し、これに基づいて関心領域を特定する方法などが考えられる。
【0046】
(2) 光照射調整部
第四実施形態に係る撮像装置401では、前記関心領域特定部41により特定された関心領域に対して光を照射するための光照射調整部42を備える。
具体的には、前記光照射調整部42の構成は特に限定されず、例えば、前記インコヒーレント光源12を左右上下方向に移動させ、且つ、静止させる二軸アクチュエータの構成をなしている。
そして、この光照射調整部42は、前記関心領域特定部41により検出された関心領域の位置情報に基づいて、前記関心領域にインコヒーレント光が照射されるように、前記インコヒーレント光源12を移動させて照射方向を調整する。
【0047】
これら関心領域特定部41及び光照射調整部42を備えている第四実施形態に係る撮像装置401によれば、ユーザが関心のある領域に対してのみインコヒーレント光を照射することができるため、撮像されるスペックル画像において、スペックルの強度分布を前記関心領域で最大とすることができる。その結果、解像度の高いスペックル画像、ひいては合成画像を作成することができる。インコヒーレント光の照射範囲を関心領域の範囲に限定することができる、すなわち、必要最低限の照明強度とすることができるため、インコヒーレント光のコヒーレンシを一定に保つことができる。また、出力密度の高く、人体に有害であるインコヒーレント光の照射によるユーザへの悪影響を低減することができる。
【0048】
5.撮像システム
本技術は、撮像システムをも提供する。
図6は、本技術の第一実施形態に係る撮像システム501を模式的に示す模式概念図である。当該撮像システム501は、少なくとも、コヒーレント光源110、インコヒーレント光源120、スペックル画像撮像装置130、非スペックル画像撮像装置140、焦点検出装置150、を備える。また、必要に応じて、合成装置160、解析装置170、記憶装置180、表示装置190、焦点調整装置210、収差補正装置220、関心領域特定装置230、光照射調整装置240、を備えていてもよい。以下、各装置について説明する。
【0049】
(1) コヒーレント光源
コヒーレント光源110からは、撮像対象Oに対するコヒーレント光の照射が行われる。コヒーレント光源110が発するコヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。
【0050】
コヒーレント光源110の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、レーザー光等を挙げることができる。レーザー光を発するコヒーレント光源110としては、例えば、アルゴンイオン(Ar)レーザー、ヘリウム−ネオン(He-Ne)レーザー、ダイ(dye)レーザー、クリプトン(Cr)レーザー、半導体レーザー、または、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、1種又は2種以上、自由に組み合わせて用いることができる。
【0051】
(2) インコヒーレント光源
インコヒーレント光源120からは、撮像対象Oに対するインコヒーレント光の照射が行われる。前記インコヒーレント光とは、物体光(物体波)のように干渉性を殆ど示さない光をいう。ここで、インコヒーレント光の波長は、前記コヒーレント光源110が発するコヒーレント光の波長と同程度であることが好ましいため、インコヒーレント光を照射する際には、バンドパスフィルターを用いてインコヒーレント光の波長の調整を行うことが可能な構成を採用することが好ましい。
【0052】
インコヒーレント光源120の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
【0053】
(3) スペックル画像撮像装置
本技術に係る撮像システム501は、スペックル画像撮像装置130を備える。このスペックル画像撮像装置130では、前記コヒーレント光が照射された前記撮像対象Oから得られる散乱光に基づいて、スペックルの撮像が行われる。
【0054】
前記スペックル画像撮像装置130が行う撮像方法は、本技術の効果が損なわれない限り特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。
【0055】
また、スペックル画像撮像装置130では、撮像された撮像画像におけるスペックルの輝度分布の測定が行われるように構成されていてもよい。ここで、コヒーレント光を用いて照明された物体を結像光学系により観察すると、像面で物体の散乱によるスペックルが観測される。このスペックル画像撮像装置130では、例えば輝度計を用いて、撮像画像におけるスペックルの輝度分布が測定される。その他には、CCDやCMOSなどの撮像素子より撮影した画像からスペックル輝度分布を算出することが可能である。
この輝度分布の測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の算出方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
【0056】
このスペックル画像撮像装置130では、例えば、疑似血液が流れている疑似血管を、前記スペックル輝度分布に基づいてマッピングした画像等が生成される。ここで、前述の如く、スペックルはランダムな干渉・回析パターンであるため、血液などの散乱流体が移動したり、時間的に変化すると、前記スペックルも時間的に変動する。このため、流体とそれ以外の部分の境界を観察することができる。
尚、前記スペックル画像撮像装置130では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
【0057】
(4) 非スペックル画像撮像装置
本技術に係る撮像システム501は、非スペックル画像撮像装置140を備える。この非スペックル画像撮像装置140では、インコヒーレント光が照射された前記撮像対象Oから得られる反射光に基づいて、明視野画像の撮像が行われる。ここで、インコヒーレント光は干渉性を殆ど示さない光であるため、インコヒーレント光に基づく撮像画像は、ランダムな干渉・回折パターンであるスペックルが発生しないものとなる。以下、説明の便宜上、スペックルが発生しない撮像画像を「非スペックル画像」という。この非スペックル画像撮像装置140において行われる撮像方法は、スペックル画像撮像装置130にて行われる撮像方法と同一であるため、ここではその説明を割愛する。
【0058】
(5) 焦点検出装置
本技術に係る撮像システム501は、前記スペックル画像を撮像するための焦点を検出する焦点検出装置150を備える。
スペックルはランダムな干渉・回折パターンであるため、当該スペックルを撮像する場合、焦点を確認することが困難となる。一方、結像系が手前あるいは奥側にオフオーカスしており、且つ撮影対象Oが光軸から垂直方向に外れて行く場合、撮影対象Oの一点から発して一つのスペックル形状を形成する干渉光路は、手前側オフフォーカスでは結像系の主光線に対してイメージャ上で光軸よりを、奥側オフフォーカスでは光軸より離れた点を通る。その結果、非スペックル画像、すなわち明視野画像を撮像する際の焦点に対して、スペックル画像を撮像するための焦点位置をユーザ側或いは奥側に変位させた場合、明視野画像に映し出される動体に対して、スペックルが当該動体と同一方向又は異なる方向へと移動する。以下の説明において、この現象を「スペックルの相関現象」と称す。
【0059】
このスペックルの相関現象に基づいて、前記焦点検出装置150では、前記スペックル画像撮像装置130の焦点を検出する。より具体的には、先ず、第一工程として、前記スペックル画像撮像装置130の焦点位置を前記非スペックル画像の焦点位置よりもユーザの手前側に配置し、スペックルの移動方向を確認する。次に、第二工程として、前記スペックル画像撮像装置130の焦点位置を前記非スペックル画像の焦点位置よりもユーザの奥側に配置し、スペックルの移動方向を確認する。その後、手前側又は奥側に配置した前記スペックル画像撮像装置130の焦点位置を非スペックル画像撮像装置140の焦点位置に対して徐々に近づけていき、スペックルが前記明視野画像上の動体に対して動かない焦点位置を検出する。
このように、前記焦点検出装置150では、前記スペックルの相関現象を利用することにより、画像上でスペックルが移動しない、スペックル画像の焦点を検出することができる。
ここで、前記検出方法は一例に過ぎず、前記方法では第一工程後に第二工程を行っているが、第二工程後に第一工程を行うようにしても差し支えない。
【0060】
(6) 合成装置
本技術に係る撮像システム501は、必要に応じて、合成装置160を備える。この合成装置160では、前記スペックル画像撮像装置130により撮像されたスペックル画像と、前記非スペックル画像撮像装置140により撮像された非スペックル画像と、を合成する。具体的には、例えば、スペックル画像の画像情報と非スペックル画像の画像情報とを重ねあわせて、合成画像を作成する。
尚、前記合成画像を作成する方法については特に限定されず、公知の方法を採用することができる。
【0061】
(7) 解析装置
本技術に係る撮像システム501は、必要に応じて、解析装置170を備えていてもよい。この解析装置170では、前記合成装置160により作成されたスペックル合成画像を利用し、前記撮像対象Oの状態が解析される。
【0062】
ここで、当該解析装置170では、前記焦点検出装置150が焦点を検出する際に観察されたスペックルの相関現象を利用してスペックルの移動速度を解析することも可能である。
すなわち、前述の如く、スペックルの相関現象では、前記明視野画像上の動体に対してスペックルが相対的に移動する。このため、前記解析装置170では、前記スペックル画像撮像装置130の焦点位置が明視野画像の焦点位置と変位している状態における移動画像を観察し、スペックルの移動速度を測定することができるようになっていてもよい。
かかる場合、例えば、撮像対象Oを血管とした場合、血液などの散乱流体が移動したり、時間的に変化すると、これに応じてスペックルも時間的に変動することとなる。このため、前記解析装置170により、血流の速度を測定することができる。
尚、この解析装置170は、本技術に係る撮像システム501に必須ではなく、外部の解析装置等を用いて撮像対象Oの状態を解析することも可能である。
【0063】
(8) 記憶装置
本技術に係る撮像システム501には、スペックル画像撮像装置130によって撮像されたスペックル画像、非スペックル画像撮像装置140によって撮像された非スペックル画像、前記合成装置160により作成されたスペックル合成画像、前記焦点検出装置150によって検出されたスペックル画像の焦点、前記解析装置170によって解析された解析結果などを記憶する記憶装置180を更に備えることができる。
この記憶装置180は、本技術に係る撮像システム501においては必須ではなく、例えば、外部の記憶装置を接続して、前記スペックル画像等を記憶することも可能である。
【0064】
(9) 焦点調整装置
本技術に係る撮像システム501は、前記焦点調整装置210を備える。この焦点調整装置210は、前記焦点検出装置150がスペックル画像を撮像する際の焦点を検出する段階において、前記スペックル画像撮像装置130の焦点距離を変更する処理を行う。
具体的には、第一実施形態に係る撮像装置1の焦点検出装置150が行っていた処理、すなわち、前記スペックル画像撮像装置130の焦点位置を前記非スペックル画像撮像装置140の焦点位置に対して相対的に移動させる処理を行う。
そして、この焦点調整装置210により調整された焦点が前記スペックル画像撮像装置130に入力され、当該スペックル画像撮像装置130は当該入力情報に基づいてスペックル画像の撮像を行うこととなる。
【0065】
(10) 表示部装置
本技術に係る撮像システム501には、スペックル画像撮像装置130によって撮像されたスペックル画像、非スペックル画像撮像装置140によって撮像された非スペックル画像、前記合成装置160により作成されたスペックル合成画像、前記解析装置170によって解析された解析結果などを表示する表示装置190を更に備えることができる。また、この表示装置190においては、前記スペックル画像撮像装置130により測定された輝度分布を、前記スペックル画像に重畳させて表示することもできる。尚、この表示装置190は、本技術に係る撮像システム501においては必須ではなく、例えば、外部のモニター等を用いて撮像対象Oに光照射を行うことも可能である。
【0066】
(11) 収差補正装置
本技術に係る撮像システム501は、前記スペックル画像撮像装置130によりスペックル画像が撮像され、前記非スペックル画像撮像装置140により非スペックル画像が撮像される。すなわち、当該撮像システム501は、複眼による撮像システムを構成している。このため、当該撮像システム501では、スペックル画像と非スペックル画像との間には収差が生じる。
かかる場合、前記非スペックル画像とスペックル画像と重畳された合成画像を作成する場合、前記収差を可及的に排除する必要がある。このため、本技術に係る撮像システムでは、前記収差の補正を行う収差補正装置220を備えている方がよい。
この収差補正装置220が補正することができる収差の種類は特に限定されず、球面収差、コマ収差、非点収差、色収差(軸上色収差、倍率色収差)、波面収差、像面湾曲、歪像など公知の収差を補正することができるものの、これらの中でも、本技術に係る撮像装置では波長の異なる二種の光源を用いていることから、特に色収差を補正するように構成されていることが好ましい。
ここで、収差を補正する方法としては特に限定されず、公知の方法を採用することができ、例えば、デフォーマブルミラーを用いた方法や取得画像自体を補正する方法などを用いることができる。
【0067】
本技術に係る撮像システム501は、前記収差を測定する収差測定部221を備えていても差し支えない。この収差測定部221では、公知の方法を用いて収差を測定することができ、例えば光干渉測定により干渉縞を解析するといった方法を採用することが考えられる。
そして、当該収差測定部221によって測定された収差は、前記収差補正装置220に入力され、当該収差補正装置220はこの入力情報に基づいて前記収差を補正するように構成されている。
【0068】
(12) 関心領域特定装置
本技術に係る撮像システム501は、前記非スペックル画像から、観察するための領域を特定するための関心領域特定装置230を備える。
より具体的には、前記表示装置190により表示された非スペックル画像を確認し、ユーザが観察する上で関心を示した任意の領域を選定する。その後、前記関心領域特定装置230では、ユーザにより選定された関心領域の位置情報を検出する。更に、検出した関心領域に関する情報に基づいて、前記非スペックル画像上に示された撮像対象O内の関心領域を特定する。
尚、当該関心領域特定装置230に行われる特定方法は特に限定されず、公知の方法を用いることができる。例えば、前記関心領域特定装置230は、ユーザにより選定された関心領域が含まれる、前記合成画像の水平方向及び垂直方向に関する各画素の位置情報を検出し、これに基づいて関心領域を特定する方法などが考えられる。
【0069】
(13) 光照射調整装置
本技術に係る撮像システム501では、前記関心領域特定装置230を備える場合、当該関心領域特定装置230により特定された関心領域に対して光を照射するための光照射調整装置240を備えることが好ましい。
具体的には、前記光照射調整装置240の構成は特に限定されず、例えば、前記インコヒーレント光源120を左右上下方向に移動させ、且つ、静止させる二軸アクチュエータの構成をなしている。
そして、この光照射調整装置240は、前記関心領域特定装置230により検出された関心領域の位置情報に基づいて、前記関心領域にインコヒーレント光が照射されるように、前記インコヒーレント光源120を移動させて照射方向を調整するように構成されている。
【0070】
本技術に係る撮像システム501によれば、前記焦点検出装置150によりスペックル画像を撮像する際の焦点を検出することができるため、解像度の高いスペックル画像を取得することができる。
また、例えば、血液が流れる血管を撮像した際、血液の時間的変動に従ったスペックルが変動を観測することができるため、血球の流路を正確に認識可能な画像を取得することができる。その結果、生体組織に対する血管の相対的位置を正確に観測することができる。
更に、本技術に係る撮像システム501において、前記焦点調整装置210を備えている場合には、当該焦点調整装置210により検出された焦点に基づいて撮像されたスペックル画像を表示するように構成されているため、スペックルの相関現象を利用し、明視野画像上の動体に対するスペックルの移動方向を目視にて正確に把握することができる。
その結果、例えば、血管を撮像した場合、血球の流れる方向を正確に把握することができるため、撮像された血管が動脈であるか静脈であるかといった血管の種類を把握することができる。
【0071】
また、本技術に係る撮像システム501において、前記収差補正装置220を備えている場合には、前記スペックル画像と非スペックル画像との間に発生する収差、特に色収差を補正することができるため、前記スペックル画像、非スペックル画像の解像度を向上させることができ、もって前記スペックル画像及び非スペックル画像からなる合成画像の解像度をも向上させることができる。
その結果、例えば血液の流れる血管を撮像した場合、生体組織に対する血管の相対的位置を正確に観測することができる。
更に、本技術に係る撮像システム501において、前記関心領域特定装置230及び光照射調整装置240を備えている場合、ユーザが関心のある領域に対してのみインコヒーレント光を照射することができるため、撮像されるスペックル画像において、スペックルの強度分布を前記関心領域で最大とすることができる。その結果、解像度の高いスペックル画像、ひいては合成画像を作成することができる。インコヒーレント光の照射範囲を関心領域の範囲に限定することができる、すなわち、必要最低限の照明強度とすることができるため、インコヒーレント光のコヒーレンシを一定に保つことができる。また、出力密度の高く、人体に有害であるインコヒーレント光の照射によるユーザへの悪影響を低減することができる。
【0072】
6. 第一実施形態に係る撮像方法
本技術は、撮像方法をも提供する。
図7は、本技術に係る撮像方法のフローチャートである。第一実施形態に係る撮像方法は、コヒーレント光照射工程、インコヒーレント光照射工程、スペックル画像撮像工程、非スペックル画像撮像工程、焦点検出工程、を少なくとも含み、必要に応じて、合成工程、解析工程、記憶工程、表示工程、焦点調整工程、収差補正工程、関心領域特定工程、光照射調整工程、を含んでいてもよい。尚、図7では、前記合成工程、解析工程、記憶工程、表示工程、焦点調整工程、収差補正工程、関心領域特定工程、光照射調整工程に関しても示されているが、前述の如くこれらの工程は必須ではないため、本技術に係る撮像方法にて行わなくとも差支えない。但し、各工程の内、焦点調整工程、収差補正工程、関心領域特定工程、光照射調整工程を含むことにより、所定の効果を発揮するため、これらの工程に関しては含まれていることが好ましい。各工程について、以下に、本技術に係る撮像方法を実行する順序に説明する。
【0073】
(1) インコヒーレント光照射工程
本技術に係る撮像方法では先ず、前記撮像対象Oに対して、インコヒーレント光を照射する。ここで、前記インコヒーレント光源の種類としては、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
【0074】
(2) 収差補正工程
本技術に係る撮像方法は、必要に応じて、収差補正工程S2を含んでいてもよい。
本技術に係る撮像方法では、波長の異なる二つの光を照射するため、スペックル画像と非スペックル画像との間に収差が発生し得る。このため、当該収差補正工程S2では、当該収差の補正が行われる。
より具体的には、当該収差補正工程S2では先ず、収差情報の測定が行われる。当該測定方法としては特に限定されず、公知の方法を用いることができ、例えば、光干渉測定により干渉縞を解析するといった方法を採用することが考えられる。
このようにして収差情報が測定された後、当該収差情報に基づいて、収差の補正を行う。収差を補正する方法としては特に限定されず、公知の方法を採用することができ、例えば、デフォーマブルミラーを用いた方法や取得画像自体を補正する方法などを用いることができる。
【0075】
(3) 非スペックル画像撮像工程
次に、本技術に係る撮像方法では、前記インコヒーレント光照射工程S1によりインコヒーレント光が照射された前記撮像対象Oから得られる反射光に基づいて、スペックルが映し出されない非スペックル画像、すなわち明視野画像の撮像が行われる。
より具体的には、前記収差補正工程S2により収差が補正された状態で、この非スペックル画像撮像工程S3を行い、収差が生じない非スペックル画像の撮像を行う。
当該非スペックル画像撮像工程S3における撮像方法は特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。
【0076】
(4) 表示工程
本技術に係る撮像方法は、必要に応じて、前記表示工程S4を含んでいてもよい。
この表示工程S4では、前記非スペックル画像撮像工程S3により撮像された非スペックル画像をユーザが認識できるように表示する。
【0077】
(5) 焦点調整工程
本技術に係る撮像方法では、必要に応じて、焦点調整工程S5を含んでいてもよい。この焦点調整工程S5では、撮像対象Oのスペックル画像を撮像する際の焦点距離を変更する処理を行う。
具体的には、前記スペックル画像撮像工程S3による撮像の際に検出された焦点位置に対して、スペックル画像撮像装置における焦点位置を相対的に移動させる。例えば、前記スペックル画像撮像の焦点位置を前記非スペックル画像撮像の焦点位置よりもユーザの手前側に配置させる処理や、前記スペックル画像撮像の焦点位置を前記非スペックル画像撮像の焦点位置よりもユーザの奥側に配置させる処理を行う。
【0078】
(6) 焦点検出工程
本技術に係る撮像方法では、前記焦点調整工程S5の後、焦点検出工程S6を行う。
具体的には、前記焦点調整工程S5を行うことにより、スペックルの性質上、前記スペックルの相関現象が起こる。すなわち、スペックル画像撮像の焦点位置を非スペックル画像撮像の焦点位置に対して相対移動させた場合、明視野画像に映し出される動体に対して、スペックルが当該動体と同一方向又は異なる方向へと移動する。
これを利用し、焦点検出工程S6では、明視野画像に映し出される動体に対して、スペックルが移動しない撮像位置をスペックル画像の焦点位置として検出する。
【0079】
(7) 関心領域特定工程
本技術に係る撮像方法では、必要に応じて、関心領域特定工程S7を含んでいてもよい。
この関心領域特定工程S7では先ず、ユーザが前記表示工程S4により表示された非スペックル画像を確認し、観察する上で関心のある任意の領域を選定する。
具体的には、前記非スペックル画像上における関心領域の位置情報を検出し、当該位置情報に基づいて、前記合成画像上に示された撮像対象O内の関心領域を特定する。
尚、この関心領域特定工程S7における特定方法は特に限定されず、公知の方法を用いることができる。例えば、非スペックル画像において、前記関心領域が含まれる前記非スペックル画像の水平方向及び垂直方向に関する各画素の位置情報を検出し、これに基づいて関心領域を特定する方法などが考えられる。
【0080】
(8) 光照射調整工程
本技術に係る撮像方法は、必要に応じて、光照射調整工程S8を含んでいてもよい。当該光照射調整工程S8では、前記関心領域特定工程S7により特定された関心領域に対してコヒーレント光を照射するために、コヒーレント光源の照射位置や照射量などを調整する。
好ましくは、前記関心領域特定工程S7により検出された関心領域の位置情報に基づいて、前記関心領域にコヒーレント光を照射し、撮像されるスペックル画像において、スペックルの強度分布が前記関心領域にて最大となるように、コヒーレント光源の照射位置や照射量などを調整する。
【0081】
(9) コヒーレント光照射工程
本技術に係る撮像方法では、光照射調整工程S8の後、当該光照射調整工程S8によりコヒーレント光源の照射位置や照射量などが調整された状態で、前記特定領域に対してコヒーレント光を照射するコヒーレント光照射工程S9を行う。このコヒーレント光の光源としては、本技術の効果を損なわない限り特に限定されず、一例としては、レーザー光等を挙げることができる。レーザー光を発するコヒーレント光源としては、例えば、アルゴンイオン(Ar)レーザー、ヘリウム−ネオン(He-Ne)レーザー、ダイ(dye)レーザー、クリプトン(Cr)レーザー、半導体レーザー、または、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、1種又は2種以上、自由に組み合わせて用いることができる。
【0082】
(10) スペックル画像撮像工程
本技術に係る撮像方法では、前記コヒーレント光照射工程S9の後、コヒーレント光が照射された前記撮像対象Oから得られる散乱光に基づいて、スペックルの撮像が行われる。
このスペックル画像撮像工程S10における撮像方法は特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。
尚、図6では、前記非スペックル画像撮像工程S3の前に、収差補正工程S2が行われるようになっているが、解像度の高いスペックル画像を得るためには、スペックル画像撮像工程S10の前でも、収差補正工程S2を行うことが好ましい。
【0083】
(11) 合成工程
本技術に係る撮像方法は、必要に応じて、前記非スペックル画像撮像工程S3により撮像された非スペックル画像と、前記スペックル画像撮像工程S10により撮像されたスペックル画像と、を合成する合成工程S11を含んでいてもよい。
具体的には、前記非スペックル画像に対してスペックル画像を重ねあわせて、合成画像を作成する。尚、前記合成画像を作成する方法については特に限定されず、公知の方法を採用することができる。
【0084】
(12) 解析工程
本技術に係る撮像方法は、必要に応じて、前記合成工程S11により作成された合成画像に基づいて、撮像対象Oの状態を解析する解析工程S12を備えていてもよい。
この解析工程S12では、前記焦点調整工程S5の際に検出されたスペックルの相対現象に基づいて、スペックルとして映し出される散乱流体の移動速度などを解析することができる。
【0085】
(13) 記憶工程
本技術に係る撮像方法は、解析工程S12が行われた後、必要に応じて、前記非スペックル画像撮像工程S3により撮像された非スペックル画像、前記スペックル画像撮像工程S10により撮像されたスペックル画像、前記焦点検出工程S6により検出されたスペックル画像の撮像のための焦点、前記合成工程S11により作成された合成画像、前記解析工程S12による解析結果などを記憶する記憶工程S13を備えていてもよい。
【0086】
(14) 表示工程
本技術に係る撮像方法は、記憶工程S13が行われた後、必要に応じて、前記表示工程S14を含んでいてもよい。
この表示工程S14では、前記スペックル画像撮像工程S10により撮像されたスペックル画像、前記焦点検出工程S6により検出されたスペックル画像の撮像のための焦点、前記合成工程S11により作成されたスペックル合成画像、前記解析工程S12による解析結果などをユーザが認識できるように表示する。
【0087】
このような本技術に係る撮像方法によれば、前記焦点検出工程S6を含むため、スペックル画像を撮像する際の焦点を検出することができ、もって解像度の高いスペックル画像を取得することができる。
また、例えば、血液が流れる血管を撮像した際、血液の時間的変動に従ったスペックルが変動を観測することができるため、血球の流路を正確に認識可能な画像を取得することができる。その結果、生体組織に対する血管の相対的位置を正確に観測することができる。
更に、本技術に係る撮像方法において、前記焦点調整工程S5を含む場合には、スペックルの相関現象を利用し、明視野画像上の動体に対するスペックルの移動方向を目視にて正確に把握することができる。
その結果、例えば、血管を撮像した場合、血球の流れる方向を正確に把握することができるため、撮像された血管が動脈であるか静脈であるかといった血管の種類を把握することができる。
【0088】
また、本技術に係る撮像方法において、前記収差補正工程S2を含む場合には、前記スペックル画像と非スペックル画像との間に発生する収差を補正することができるため、前記スペックル画像、非スペックル画像の解像度を向上させることができる。また、前記スペックル画像及び非スペックル画像からなる合成画像の解像度をも向上させることができる。
その結果、例えば血液の流れる血管を撮像した場合、生体組織に対する血管の相対的位置を正確に観測することができる。
更に、本技術に係る撮像方法において、前記関心領域特定工程S7及び光照射調整工程S8を含む場合、ユーザが関心のある領域に対してのみインコヒーレント光を照射することができるため、撮像されるスペックル画像において、スペックルの強度分布を前記関心領域で最大とすることができる。その結果、解像度の高いスペックル画像、ひいては合成画像を作成することができる。インコヒーレント光の照射範囲を関心領域の範囲に限定することができる、すなわち、必要最低限の照明強度とすることができるため、インコヒーレント光のコヒーレンシを一定に保つことができる。また、出力密度の高く、人体に有害であるインコヒーレント光の照射によるユーザへの悪影響を低減することができる。
【0089】
なお、本技術に係る撮像装置は、以下のような構成も取ることができる。
(1)
コヒーレント光を撮像対象に照射するコヒーレント光源と、
インコヒーレント光を撮像対象に照射するインコヒーレント光源と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像部と、
前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像部と、
前記非スペックル画像撮像部の焦点位置に基づいて、前記スペックル画像撮像部の焦点を検出する焦点検出部と、
を備える、撮像装置。
(2)
更に、前記非スペックル画像撮像部の焦点に対する前記スペックル画像撮像部の焦点距離を調整する焦点調整部と、
前記焦点調整部により調整された焦点に基づいて撮像されたスペックル画像を表示する表示部と、
を備える、(1)に記載の撮像装置。
(3)
更に、前記非スペックル画像撮像部と前記スペックル画像撮像部との間に生じる収差を補正する収差補正部を備える、(1)記載の撮像装置。
(4)
前記収差補正部は、色収差を補正する、(3)記載の撮像装置。
(5)
更に、前記非スペックル画像撮像部により撮像された非スペックル画像中の任意の関心領域を特定する関心領域特定部と、
当該関心領域特定部による関心領域の特定情報に基づき、前記コヒーレント光源の照射位置を調整する光照射調整部と、
を備える、(1)記載の撮像装置。
【0090】
更に、本技術に係る撮像システムは、以下のような構成も取ることができる。
(6)
コヒーレント光を撮像対象に照射するコヒーレント光源と、
インコヒーレント光を撮像対象に照射するインコヒーレント光源と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像装置と、
前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像装置と、
前記非スペックル画像撮像装置の焦点位置に基づいて、前記スペックル画像撮像装置の焦点を検出する焦点検出装置と、
を備える、撮像システム。
(7)
更に、前記非スペックル画像撮像装置の焦点に対する前記スペックル画像撮像装置の焦点距離を調整する焦点調整装置と、
前記焦点調整装置により調整された焦点に基づいて撮像されたスペックル画像を表示する表示装置と、
を備える、(6)に記載の撮像システム。
(8)
更に、前記非スペックル画像撮像装置と前記スペックル画像撮像装置との間に生じる収差を補正する収差補正装置と、を備える、(6)記載の撮像システム。
(9)
前記収差補正装置は、色収差を補正する、(8)記載の撮像システム。
(10)
更に、前記非スペックル画像撮像装置により撮像された非スペックル画像中の任意の関心領域を特定する関心領域特定装置と、
当該関心領域特定装置による関心領域の特定情報に基づき、前記コヒーレント光源の照射位置を調整する光照射調整装置と、
を備える、(6)記載の撮像システム。
【符号の説明】
【0091】
1、101、201、301、401 撮像装置
11 コヒーレント光源
12 インコヒーレント光源
13 スペックル画像撮像部
14 非スペックル画像撮像部
15 焦点検出部
図1
図2
図3
図4
図5
図6
【国際調査報告】