(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-07
(45)【発行日】2022-03-15
(54)【発明の名称】撮像システム、処理装置および内視鏡
(51)【国際特許分類】
H04N 5/232 20060101AFI20220308BHJP
H04N 5/225 20060101ALI20220308BHJP
H04N 7/18 20060101ALI20220308BHJP
A61B 1/00 20060101ALI20220308BHJP
G02B 23/26 20060101ALI20220308BHJP
【FI】
H04N5/232 290
H04N5/225 600
H04N5/225 500
H04N5/232
H04N7/18 M
A61B1/00 735
G02B23/26 D
(21)【出願番号】P 2020530755
(86)(22)【出願日】2018-07-17
(86)【国際出願番号】 JP2018026692
(87)【国際公開番号】W WO2020016922
(87)【国際公開日】2020-01-23
【審査請求日】2021-01-15
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100105924
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【氏名又は名称】三木 友由
(72)【発明者】
【氏名】松尾 圭悟
【審査官】大西 宏
(56)【参考文献】
【文献】国際公開第2012/105222(WO,A1)
【文献】国際公開第2013/171954(WO,A1)
【文献】特表2014-511590(JP,A)
【文献】特開2018-510320(JP,A)
【文献】特開2013-026844(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222- 5/257
H04N 7/18
G02B 23/24 -23/26
A61B 1/00 - 1/32
(57)【特許請求の範囲】
【請求項1】
撮像光学系と、
2次元画素アレイを有する撮像素子と、
前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動する駆動部と、
複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、
選択した積算点広がり関数を用いて画像を生成する画像生成部と、
2つ以上の波長の光を出射して被写体を照明する照明部と、を備え、
前記IPSF選択部は、前記照明部から出射される光の2つ以上の波長に対応する積算点広がり関数を選択する、
ことを特徴とする撮像システム。
【請求項2】
前記照明部から出射する光の波長を選択する照明光選択部をさらに備え、
前記IPSF選択部は、選択された光の波長に対応する積算点広がり関数を選択する、
ことを特徴とする請求項1に記載の撮像システム。
【請求項3】
前記撮像素子の露光期間中の前記駆動部による駆動パターンを、複数の駆動パターンの中から選択する駆動パターン選択部をさらに備え、
前記IPSF選択部は、選択された駆動パターンに対応する積算点広がり関数を選択する、
ことを特徴とする請求項1または2に記載の撮像システム。
【請求項4】
選択された駆動パターンは、前記撮像素子の露光期間中に、駆動速度を変化させる、
ことを特徴とする請求項3に記載の撮像システム。
【請求項5】
複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、
選択した積算点広がり関数を用いて画像を生成する画像生成部と、
2つ以上の波長の光を出射して被写体を照明する照明部と、を備え、
前記IPSF選択部は、前記照明部から出射される光の2つ以上の波長に対応する積算点広がり関数を選択する、
を備えることを特徴とする処理装置。
【請求項6】
前記IPSF選択部は、露光期間中のフォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動パターンに対応する積算点広がり関数を選択する、
ことを特徴とする請求項5に記載の処理装置。
【請求項7】
駆動パターンは、露光期間中に、駆動速度を変化させる、
ことを特徴とする請求項6に記載の処理装置。
【請求項8】
前記画像生成部は、内視鏡で撮影された内視鏡画像を、積算点広がり関数により復元した画像を生成する、
ことを特徴とする請求項5から7のいずれかに記載の処理装置。
【請求項9】
撮像光学系と、
2次元画素アレイを有する撮像素子と、
前記撮像素子の露光期間中に、前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能な駆動部と、
を備えることを特徴とする内視鏡。
【請求項10】
前記駆動部は、前記撮像素子の露光期間中に駆動速度を変化させる駆動パターンで、前記フォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能である、
ことを特徴とする請求項9に記載の内視鏡。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像システム、処理装置および内視鏡に関する。
【背景技術】
【0002】
被写界深度は、撮像システムにおけるレンズ系の特性のひとつであり、合焦部分の前後のピントが合っているかのように見える範囲をいう。被写界深度は、(i)絞り値(F値)、(ii)レンズの焦点距離、(iii)カメラから被写体までの距離(撮影距離)で定まる。レンズの絞り値に関して言えば、絞り値が小さくなるほど、被写界深度は浅くなり(ピントが合っているように見える範囲が小さくなり)、絞り値が大きくなるほど、被写界深度は深くなる(ピントが合っているように見える範囲が大きくなる)。被写界深度の深い画像は、パンフォーカス画像とも呼ばれる。
【0003】
顕微鏡や内視鏡の画像では、観察のために深い被写界深度が好まれることが多い。また、たとえば人物と風景を撮像装置で撮影する際に、それらの両方にピントを合わせたいといったニーズもある。
【0004】
撮像システムにおいて、被写界深度を拡大する技術がいくつか提案されている。非特許文献1は、露光期間中に撮像素子を光軸に沿ってシフトするフォーカルスイープ撮影に関する技術を開示する。フォーカルスイープ撮影により得られる画像は、シフト中の各位置での像を積算したものとなる。
【先行技術文献】
【非特許文献】
【0005】
【文献】Sujit Kuthirummal, Hajime Nagahara, Changyin Zhou, and Shree K. Nayar, ""Flexible Depth of Field Photography", IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.33, No.1, pp.58 - 71, 2011.01
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献1に開示される技術によると、被写界深度の拡大量と解像力の関係は固定され、撮影距離に応じて解像力を調整することはできない。また従来は、照明を利用してフォーカルスイープ撮影した画像の復元について十分な検討がされていない。
【0007】
本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、好適なフォーカルスイープ画像を取得するための技術を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある態様の撮像システムは、撮像光学系と、2次元画素アレイを有する撮像素子と、フォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動部と、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。
【0009】
本発明の別の態様は、処理装置である。この装置は、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。
【0010】
本発明のさらに別の態様は、内視鏡である。この内視鏡は、撮像光学系と、2次元画素アレイを有する撮像素子と、撮像素子の露光期間中に、フォーカスレンズおよび撮像素子の少なくとも一方を駆動可能な駆動部とを備える。
【0011】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0012】
本発明のある態様によれば、好適なフォーカルスイープ画像を取得するための技術を提供できる。
【図面の簡単な説明】
【0013】
【
図1】フォーカルスイープ撮影を説明するための図である。
【
図2】(a)~(c)はPSFの例を示し、(d)はISPFの例を示す図である。
【
図3】撮像素子の駆動パターンの例を示す図である。
【
図5】実施形態の撮像システムの構成を示す図である。
【
図6】実施例1における撮像素子の駆動パターンを示す図である。
【
図8】実施例2における撮像素子の駆動パターンを示す図である。
【
図10】実施例3における撮像素子の駆動パターンを示す図である。
【
図12】実施例4における撮像素子の駆動パターンを示す図である。
【発明を実施するための形態】
【0014】
はじめに、実施形態の前提となる技術を説明する。
点広がり関数(Point Spread Function、以下「PSF」とも呼ぶ)を利用して、ぼけた画像にデコンボリューションによる逆フィルタをかけ、画像を復元する技術が知られている。PSFは光学系の点光源に対する応答を表す関数であり、撮像装置の光学系に応じて決定される。
【0015】
図1は、フォーカルスイープ撮影を説明するための図である。フォーカルスイープ撮像システムは、露光期間中に、撮像光学系に含まれるフォーカスレンズ10および撮像素子12の少なくとも一方を光軸(Z軸)に沿って動かすことで、多重焦点を重畳したフォーカルスイープ画像を撮影する。
図1は、撮像素子12を光軸方向に動かして、点光源である物点Mをフォーカルスイープ撮影する様子を示す。レンズ系から物点Mまでの距離(撮影距離)はZobjであり、撮像素子12がZ軸上の位置z2にあるとき、物点Mがフォーカスレンズ10を通過して、撮像素子12の撮像面で結像している。
【0016】
図2(a)は、撮像素子12が位置z1にあるときのPSFの例を示し、
図2(b)は、撮像素子12が位置z2にあるときのPSFを示し、
図2(c)は、撮像素子12が位置z3にあるときのPSFを示す。
図2(a)~(c)では理解の容易のため、PSFを1次元で表現しているが、実際には2次元の関数となる。
図1の例では、撮像素子12が位置z2にあるとき、物点Mにピントが合っているため、
図2(b)のPSFは高いピーク強度をもつ。
【0017】
フォーカルスイープ撮影された画像は、露光期間中に撮像素子12が移動した各位置におけるPSFを積算した積算点広がり関数(Integrated Point Spread Function、以下「IPSF」とも呼ぶ)を利用して復元される。復元画像は、被写界深度を拡大された画像となる。
図2(d)は、複数のPSFを積算したIPSFの一例を示す。IPSFは計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得される。
【0018】
撮影条件が同一であれば、IPSFは、物点位置に依存しないことが知られている。撮影条件は、フォーカスレンズ10および撮像素子12の少なくとも一方の駆動速度を含む。撮像システムは、IPSF取得時の撮影条件と同じ撮影条件で被写体を撮影することで、当該IPSFを用いて被写界深度を拡大した画像を得ることができる。
【0019】
図3は、撮像素子12の駆動パターンDP1を示す。
図3の横軸は時間を示し、縦軸は撮像素子12の位置を示す。駆動パターンDP1によると、撮像素子12は、被写界深度の近点(近端)位置と遠点(遠端)位置との間で光軸に沿って等速で動かされる。ここで近点位置は、拡大した被写界深度の近端の被写体が合焦する撮像素子12の位置を、遠点位置は、拡大した被写界深度の遠端の被写体が合焦する撮像素子12の位置である。なお上記したように、フォーカスレンズ10を光軸方向に動かすことでも、フォーカルスイープ画像は撮影される。
【0020】
時間軸上に、撮像素子12を露光して画像信号を生成する「露光」期間と、撮像素子12から画像信号を読み出す「読出」期間とを示す。撮像素子12が連続的に等速で動かされることで、撮像素子12の移動区間の各位置における画像情報量は一様に積算される。
【0021】
図4は、駆動パターンDP1で撮像素子12を駆動して画像復元したときの被写界深度を示す。
図4の横軸は、撮像装置から物点までの距離(撮影距離)を示し、縦軸は、解像力を示す。閾値THは、ピントが合っていると人が判断する解像力であり、閾値THを超えている撮影距離の範囲が被写界深度(合焦範囲)である。
【0022】
解像力特性Fは、通常のピントを合わせた撮影における解像力と撮影距離との関係を示す。解像力特性ED1は、
図3に示す駆動パターンDP1を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。解像力特性Fと解像力特性ED1を比較すると、フォーカルスイープ撮影により、一様の解像力で被写界深度が拡大することが示される。
【0023】
被写界深度の拡大は、特に観察目的の画像に好適である。たとえば内視鏡にフォーカルスイープ撮影機能をもたせることで、被写界深度が拡大した画像を医師に提供し、体内画像の観察を支援できる。
【0024】
内視鏡検査における観察対象は、患者の消化管内部である。そのため内視鏡検査では、検査の種類や目的に応じて、特定の撮影距離にある部位をより詳細に観察したいというニーズが存在する。そこで、特定の撮影距離の解像力を他の撮影距離の解像力よりも高めた体内画像の提供が望まれている。
【0025】
以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。また本明細書において参照するグラフの縦軸および横軸は、理解を容易とするために適宜拡大、縮小したものであり、また示されるグラフ、波形も、理解の容易のために簡略化され、あるいは誇張もしくは強調されている。
【0026】
図5は、実施形態の撮像システム1の構成を示す。撮像システム1は、撮像装置である内視鏡30、処理装置60および表示装置70を備える。内視鏡検査の開始前、内視鏡30の連結部32が、処理装置60に連結される。検査中、内視鏡30は患者の体内に挿入され、処理装置60は、内視鏡30により所定の周期でフォーカルスイープ撮影された体内画像をIPSFを用いて復元し、表示装置70に表示させる。医師は、表示装置70に表示された体内画像を観察し、病変の有無を調べる。
【0027】
内視鏡30は、フォーカスレンズ10を含む撮像光学系、撮像素子12、読出回路14、駆動部16および照明レンズ18を備える。フォーカスレンズ10および照明レンズ18は、内視鏡30の先端に設けられる。照明レンズ18は、処理装置60に設けられた照明部44から光ファイバで導光される照明光を患者体内に出射する。
【0028】
撮像素子12は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであり、マトリクス状に複数の画素を配置した2次元画素アレイを有する。フォーカスレンズ10は、他の撮影レンズ(図示せず)とともに、被写体の像を撮像素子12の撮像面に結像する撮像光学系を構成する。読出回路14は、所定の周期で撮像素子12から画像信号を読み出す。
【0029】
駆動部16は、撮像素子12の露光期間中に、フォーカスレンズ10および撮像素子12の少なくとも一方を駆動可能なアクチュエータを有する。露光期間中に、フォーカスレンズ10および撮像素子12の少なくとも一方を駆動することで、内視鏡30におけるフォーカルスイープ撮影が実現される。実施形態では、駆動部16が撮像素子12を駆動するが、フォーカスレンズ10を駆動してもよく、またフォーカスレンズ10および撮像素子12の双方を駆動してもよい。なお実施形態では、内視鏡30の撮像光学系がフォーカスレンズ10を含むが、撮像光学系がフォーカスレンズ10を含まない場合、駆動部16は撮像素子12を駆動して、フォーカルスイープ撮影を実現する。
【0030】
処理装置60は、画像生成部40、駆動パターン選択部42、照明部44、照明光選択部46、選択操作受付部48、IPSF選択部50、駆動パターン記憶部52およびIPSF記憶部54を備える。照明部44は、少なくとも1つの波長の光を出射して被写体を照明する光源を有する。通常の内視鏡検査では、照明光として白色光が用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。照明光選択部46は、内視鏡検査の観察モードに応じて、照明部44から出射する光の波長を選択し、照明部44は、選択された波長の照明光を体内に出射する。
【0031】
選択操作受付部48は、医師による選択操作を受け付ける。検査中、医師は、必要に応じて内視鏡30に設けられたスイッチやボタンなどの操作部を操作して、観察モードを選択する。なお操作部は処理装置60に設けられて、看護師が医師からの指示にしたがって観察モードを選択してもよい。選択操作受付部48は、観察モードの選択操作を受け付けると、照明光選択部46に供給し、照明光選択部46は、観察モードに応じて照明部44から出射する光の波長を選択する。
【0032】
また検査中、医師は、内視鏡30に設けられた操作部を操作して、被写界深度拡大モードを選択する。選択操作受付部48は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部42に供給する。
【0033】
駆動パターン記憶部52は、撮像素子12の複数の駆動パターンを記憶する。駆動パターンは、近点位置と遠点位置との間の移動範囲内で撮像素子12を光軸に沿って駆動する速度を、移動範囲における位置に応じて定義した周期波形である。駆動パターンの周期は、露光期間および読出期間を含むフィールド周期の整数倍であってよい。実施形態では、撮像素子12の読出期間中に、撮像素子12が近点位置および遠点位置に移動する駆動パターンを採用するが、これに限るものではない。複数の駆動パターンのそれぞれは、撮像素子12の露光期間中に、少なくとも1回は駆動速度を変化させる。
【0034】
IPSF記憶部54は、駆動パターン記憶部52に記憶された駆動パターンに対応するIPSFを記憶する。IPSFは駆動パターンごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得され、IPSF記憶部54に記憶される。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、画像生成に使用するIPSFを選択する。画像生成部40は、IPSF選択部50が選択したIPSFを用いて、被写界深度を拡大した画像を生成する。
【0035】
実施形態の撮像システム1では、駆動パターンにより露光期間中の撮像素子12の駆動速度を変化させ、撮像素子12の移動区間の各位置で取得する画像情報量に偏りを生じさせることで、特定の撮影距離にある被写体の解像力を高める。具体的には、解像力を高めたい撮影距離に対応する位置における駆動速度を遅くすることで、撮像素子12が取得する画像情報量を多くし、当該撮影距離にある被写体の解像力を高める。
【0036】
<実施例1>
図6は、実施例1における撮像素子12の駆動パターンDP2を示す。
図6の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP2は、撮像素子12の駆動速度を、被写界深度の近点側および遠点側の位置で遅く、被写界深度の中央付近の位置で速く設定している。このため撮像素子12は露光期間中、中央位置と比べて、近点側および遠点側の位置でゆっくり移動し、近点側および遠点側でより多くの画像情報を取得する。駆動パターンDP2は、近点側と遠点側で同じ速度変化のパターンを含んでよい。駆動パターンDP2は、典型的には正弦波形で表現されてよいが、別の波形で表現されてもよい。駆動部16は、近点および遠点で撮像素子12の駆動方向を切り替えるため、近点および遠点での駆動速度が遅い駆動パターンDP2によると、切り替え時の駆動負荷を低減できる利点がある。
【0037】
医師は、被写界深度の両端近傍の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP2を用いる被写界深度拡大モードを選択する。選択操作受付部48は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部42に選択操作情報を供給する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP2を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP2で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP2に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
【0038】
図7は、駆動パターンDP2で撮像素子12を駆動して画像復元したときの被写界深度を示す。
図7の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED2は、
図6に示す駆動パターンDP2を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED2では、被写界深度の近点側および遠点側の位置で、解像力が向上している様子が示される。
【0039】
実施例1では、被写界深度の近点側および遠点側の駆動速度を遅くする駆動パターンDP2を用いることで、被写界深度の両端付近の解像力を向上できる。なお近点側および遠点側の解像力を上げた代償として、中央側の解像力は下がっている。医師は、消化管内の近い部位と遠い部位の両方を同時に詳細に観察したい場合に、駆動パターンDP2を用いる被写界深度拡大モードを選択する。
【0040】
<実施例2>
図8は、実施例2における撮像素子12の駆動パターンDP3を示す。
図8の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP3は、撮像素子12の駆動速度を、被写界深度の近点側および遠点側の位置で速く、被写界深度の中央付近の位置で遅く設定している。このため撮像素子12は露光期間中、近点側および遠点側の位置と比べて、中央位置付近でゆっくり移動し、中央位置付近でより多くの画像情報を取得する。駆動パターンDP3は、近点側と遠点側で同じ速度変化のパターンを含んでよい。
【0041】
医師は、被写界深度の中央近傍の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP3を用いる被写界深度拡大モードを選択する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP3を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP3で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP3に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
【0042】
図9は、駆動パターンDP3で撮像素子12を駆動して画像復元したときの被写界深度を示す。
図9の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED3は、
図8に示す駆動パターンDP3を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED3では、被写界深度の中央側の位置で、解像力が向上している様子が示される。
【0043】
実施例2では、被写界深度の中央の駆動速度を遅くする駆動パターンDP3を用いることで、被写界深度の中央付近の解像力を向上できる。なお中央付近の解像力を上げた代償として、両端側の解像力は下がっている。医師は、消化管内の被写界深度中央付近の部位を詳細に観察したい場合に、駆動パターンDP3を用いる被写界深度拡大モードを選択する。
【0044】
<実施例3>
図10は、実施例3における撮像素子12の駆動パターンDP4を示す。
図10の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP4は、撮像素子12の駆動速度を、被写界深度の遠点側の位置で速く、被写界深度の近点側の位置で遅く設定している。このため撮像素子12は露光期間中、遠点側の位置と比べて、近点側の位置でゆっくり移動し、近点側でより多くの画像情報を取得する。駆動パターンDP4は、折れ線ではなく、曲線で表現されてもよい。
【0045】
医師は、被写界深度の近点側の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP4を用いる被写界深度拡大モードを選択する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP4を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP4で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP4に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
【0046】
図11は、駆動パターンDP4で撮像素子12を駆動して画像復元したときの被写界深度を示す。
図11の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED4は、
図10に示す駆動パターンDP4を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED4では、被写界深度の近点側の位置で、解像力が向上している様子が示される。
【0047】
実施例3では、被写界深度の近点側の駆動速度を遅くする駆動パターンDP4を用いることで、被写界深度の近点側の解像力を向上できる。なお近点側の解像力を上げた代償として、遠点側の解像力は下がっている。医師は、消化管内の被写界深度の近点側の部位を詳細に観察したい場合に、駆動パターンDP4を用いる被写界深度拡大モードを選択する。
【0048】
<実施例4>
図12は、実施例4における撮像素子12の駆動パターンDP5を示す。
図12の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP5は、撮像素子12の駆動速度を、被写界深度の近点側の位置で速く、被写界深度の遠点側の位置で遅く設定している。このため撮像素子12は露光期間中、近点側の位置と比べて、遠点側の位置でゆっくり移動し、遠点側でより多くの画像情報を取得する。駆動パターンDP5は、折れ線ではなく、曲線で表現されてもよい。
【0049】
医師は、被写界深度の遠点側の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP5を用いる被写界深度拡大モードを選択する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP5を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP5で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP5に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
【0050】
図13は、駆動パターンDP5で撮像素子12を駆動して画像復元したときの被写界深度を示す。
図13の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED5は、
図12に示す駆動パターンDP5を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED5では、被写界深度の遠点側の位置で、解像力が向上している様子が示される。
【0051】
実施例4では、被写界深度の遠点側の駆動速度を遅くする駆動パターンDP5を用いることで、被写界深度の遠点側の解像力を向上できる。なお遠点側の解像力を上げた代償として、近点側の解像力は下がっている。医師は、消化管内の被写界深度の遠点側の部位を詳細に観察したい場合に、駆動パターンDP5を用いる被写界深度拡大モードを選択する。
【0052】
<実施例5>
実施例1~4では、IPSF選択部50が、駆動パターン選択部42により選択された駆動パターンに対応するIPSFを選択し、画像生成部40が、選択されたIPSFを用いて復元画像を生成した。実施例5では、画像生成部40が、撮像素子12におけるカラーフィルタの特性を加味したIPSFを用いて、カラーフィルタごとに被写界深度を拡大した復元画像を生成する。
【0053】
上記したように、通常の内視鏡検査では、白色光が照明光として用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。たとえばNGI(Narrow Band Imaging:狭帯域光観察)では、粘膜内の血管などをより鮮明に観察しやすくするために、血液中のヘモグロビンが吸収しやすい特殊な照明光(緑色の波長と青色の波長)が用いられる。検査中、医師が、内視鏡30に設けられた操作部を操作して観察モードを選択すると、選択操作受付部48は、観察モードの選択操作を受け付け、照明光選択部46に供給する。照明光選択部46は、観察モードに応じて照明部44から出射する光の波長を選択する。
【0054】
IPSF記憶部54は、照明部44から出射される光の波長に対応するIPSFを、撮像素子12のカラーフィルタごとに記憶する。IPSFは、照明部44から出射される照射光ごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって、カラーフィルタごとに取得され、IPSF記憶部54に記憶される。白色光、特殊光の例でいえば、赤色、緑色、青色の波長をもつ白色光が出射されるときのIPSFと、緑色、青色の波長をもつ特殊光が出射されるときのISPFとが、それぞれカラーフィルタごとに取得され、IPSF記憶部54に記憶される。さらに別の観察モードにおいて使用される特殊光があれば、その特殊光の波長に対応するIPSFも、IPSF記憶部54に記憶される。
【0055】
IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、照明部44から出射される光の波長に対応するIPSFを、カラーフィルタごとに選択する。画像生成部40は、IPSF選択部50が選択したIPSFを用いて、被写界深度を拡大した画像を生成する。
【0056】
内視鏡検査において、照明部44は、2つ以上の波長の光を出射して被写体を照明する。IPSF選択部50は、照明部44から出射された光の2つ以上の波長に対応するIPSFを選択する。実施例5では、照明部44からの照明光の波長に対応したIPSFを用意することで、内視鏡検査の観察モードに応じて、被写界深度を好適に拡大した画像を生成することが可能となる。
【0057】
以上、本発明を実施形態および複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0058】
実施形態では、フォーカルスイープ撮影を実現するために、駆動部16が撮像素子12を駆動することを説明したが、フォーカスレンズ10を駆動してもよく、またフォーカスレンズ10および撮像素子12の双方を駆動してもよい。
【0059】
また実施形態では、内視鏡30を撮像装置の例として示したが、撮像装置は、内視鏡30に限定されず、顕微鏡であってもよい。また撮像装置は、デジタルカメラやデジタルビデオカメラであってもよく、スマートフォンやタブレット端末、ラップトップコンピュータなど、撮像機能を備える電子機器であってもよい。なお撮像装置の撮像光学系は、フォーカスレンズ10を有しなくてもよい。
【符号の説明】
【0060】
1・・・撮像システム、10・・・フォーカスレンズ、12・・・撮像素子、16・・・駆動部、30・・・内視鏡、40・・・画像生成部、42・・・駆動パターン選択部、44・・・照明部、46・・・照明光選択部、50・・・IPSF選択部、60・・・処理装置。
【産業上の利用可能性】
【0061】
本発明は、フォーカルスイープ撮影の技術分野に利用できる。