特許第6013020号(P6013020)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

<>
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000002
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000003
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000004
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000005
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000006
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000007
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000008
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000009
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000010
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000011
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000012
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000013
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000014
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000015
  • 特許6013020-内視鏡装置及び内視鏡装置の作動方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6013020
(24)【登録日】2016年9月30日
(45)【発行日】2016年10月25日
(54)【発明の名称】内視鏡装置及び内視鏡装置の作動方法
(51)【国際特許分類】
   A61B 1/00 20060101AFI20161011BHJP
   A61B 1/04 20060101ALI20161011BHJP
   G02B 23/24 20060101ALI20161011BHJP
   G02B 23/26 20060101ALI20161011BHJP
【FI】
   A61B1/00 300Y
   A61B1/04 372
   A61B1/04 362A
   G02B23/24 B
   G02B23/26 C
【請求項の数】28
【全頁数】25
(21)【出願番号】特願2012-105103(P2012-105103)
(22)【出願日】2012年5月2日
(65)【公開番号】特開2013-230319(P2013-230319A)
(43)【公開日】2013年11月14日
【審査請求日】2015年3月20日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(72)【発明者】
【氏名】森田 恵仁
【審査官】 増渕 俊仁
(56)【参考文献】
【文献】 特開平10−165358(JP,A)
【文献】 国際公開第2012/029357(WO,A1)
【文献】 特開2007−044183(JP,A)
【文献】 米国特許出願公開第2009/0105544(US,A1)
【文献】 特開2010−220755(JP,A)
【文献】 特開2001−228412(JP,A)
【文献】 特開2003−102674(JP,A)
【文献】 特開平10−179506(JP,A)
【文献】 特開2008−302146(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00−1/32
G02B 23/24−23/26
(57)【特許請求の範囲】
【請求項1】
撮像光学系による体内被写体の撮像により得られた、前記体内被写体の像を含む複数の体内画像を取得する画像取得部と、
前記複数の体内画像の各体内画像について、合焦度合いを表す合焦評価値を算出する合焦評価値算出部と、
前記撮像光学系におけるフォーカス調整用レンズの位置を、離散的な複数の位置のいずれかの位置に、前記合焦評価値に基づいて切り替える制御を行うことにより、前記撮像光学系の合焦動作を制御するフォーカス制御部と、
前記合焦評価値により表される前記合焦度合いに基づいて、前記複数の体内画像の中から少なくとも1つの体内画像を選択し、選択した前記少なくとも1つの体内画像をフリーズ画像として設定するフリーズ画像設定部と、
を含むことを特徴とする内視鏡装置。
【請求項2】
請求項1において、
前記フリーズ画像設定部は、
前記複数の体内画像のうち、前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときの前記フォーカス調整用レンズの位置と同一位置において撮像された体内画像の中から、前記フリーズ画像を選択することを特徴とする内視鏡装置。
【請求項3】
請求項2において、
前記合焦評価値算出部は、
前記合焦度合いが高いほど値が大きくなる前記合焦評価値を算出し、
前記フリーズ画像設定部は、
前記複数の体内画像のうち、前記フリーズ画像の取得を指示する操作が前記操作部により受け付けられたときの前記フォーカス調整用レンズの位置と同一位置において撮像された体内画像の中で、前記合焦評価値が最も大きい体内画像を、前記フリーズ画像として選択することを特徴とする内視鏡装置。
【請求項4】
請求項2において、
前記複数の体内画像を記憶する記憶部を含み、
前記画像取得部は、
前記複数の体内画像として第1〜第Nの体内画像(Nは2以上の自然数)を取得し、
前記記憶部は、
前記第1〜第Nの体内画像のうち第iの体内画像(iは1≦i≦Nの自然数)と、前記第iの体内画像の前記合焦評価値と、前記第iの体内画像が撮像されたときの前記フォーカス調整用レンズの位置と、を対応付けて記憶し、
前記フリーズ画像設定部は、
前記記憶部を参照して、前記フリーズ画像を選択することを特徴とする内視鏡装置。
【請求項5】
請求項1において、
前記フリーズ画像設定部は、
前記複数の体内画像に基づいて前記各体内画像についてブレ状態を検出し、前記ブレ状態及び前記合焦度合いに基づいて前記フリーズ画像を選択することを特徴とする内視鏡装置。
【請求項6】
請求項5において、
前記合焦評価値算出部は、
前記合焦度合いが高いほど値が大きくなる前記合焦評価値を算出し、
前記フリーズ画像設定部は、
前記体内被写体の像の動き量を前記ブレ状態として検出し、前記合焦評価値に正の重み付けを行うとともに前記動き量に負の重み付けを行って加算した値を選択用評価値として求め、前記複数の体内画像の中で前記選択用評価値が最も大きい体内画像を、前記フリーズ画像として選択することを特徴とする内視鏡装置。
【請求項7】
請求項6において、
前記フリーズ画像設定部は、
前記複数の体内画像のうち、前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときの前記フォーカス調整用レンズの位置と同一位置において撮像された体内画像の中で、前記選択用評価値が最も大きい体内画像を、前記フリーズ画像として選択することを特徴とする内視鏡装置。
【請求項8】
請求項1において、
前記フリーズ画像設定部は、
前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときから前記各体内画像が撮像されるまでの経過時間を検出し、前記経過時間及び前記合焦度合いに基づいて前記フリーズ画像を選択することを特徴とする内視鏡装置。
【請求項9】
請求項8において、
前記合焦評価値算出部は、
前記合焦度合いが高いほど値が大きくなる前記合焦評価値を算出し、
前記フリーズ画像設定部は、
前記経過時間が短いほど値が大きくなる経過時間情報を算出し、前記合焦評価値と前記経過時間情報を所定の重み付けで加算した値を選択用評価値として求め、前記複数の体内画像の中で前記選択用評価値が最も大きい体内画像を、前記フリーズ画像として選択することを特徴とする内視鏡装置。
【請求項10】
請求項9において、
前記フリーズ画像設定部は、
前記複数の体内画像のうち、前記フリーズ画像の取得を指示する操作が前記操作部により受け付けられたときの前記フォーカス調整用レンズの位置と同一位置において撮像された体内画像の中で、前記選択用評価値が最も大きい体内画像を、前記フリーズ画像として選択することを特徴とする内視鏡装置。
【請求項11】
請求項1において、
前記フォーカス制御部は、
前記離散的な複数の位置として離散的な2つの位置のいずれかの位置に、前記フォーカス調整用レンズの位置を切り替える制御を行うことを特徴とする内視鏡装置。
【請求項12】
請求項11において、
前記合焦評価値算出部は、
前記合焦度合いが高いほど値が大きくなる前記合焦評価値を算出し、
前記フォーカス制御部は、
前記合焦評価値が所定の閾値よりも大きいか否かの判定を行い、前記合焦評価値が前記所定の閾値よりも大きいと判定した場合には、前記フォーカス調整用レンズの位置を切り替えずに現在の位置を維持することを特徴とする内視鏡装置。
【請求項13】
請求項12において、
前記体内被写体を照明する照明光の光量を制御し、前記光量を表す光量情報を前記フォーカス制御部に出力する制御部を含み、
前記フォーカス制御部は、
前記合焦評価値が前記所定の閾値よりも小さいと判定した場合には、前記光量情報が表す前記光量が所定値よりも小さいか否かの判定を行い、前記光量が所定値よりも小さいと判定した場合には、前記離散的な2つの位置のうち近点側の位置に前記フォーカス調整用レンズの位置を切り替え、前記光量が所定値よりも大きいと判定した場合には、前記離散的な2つの位置のうち遠点側の位置に前記フォーカス調整用レンズの位置を切り替えることを特徴とする内視鏡装置。
【請求項14】
請求項1において、
前記各体内画像に注目領域を設定する注目領域設定部を含み、
前記合焦評価値算出部は、
前記注目領域における前記合焦評価値を算出し、
前記フリーズ画像設定部は、
前記合焦評価値により表される前記注目領域における前記合焦度合いに基づいて、前記フリーズ画像を選択することを特徴とする内視鏡装置。
【請求項15】
請求項1において、
前記フリーズ画像を表示する表示部を含み、
前記フォーカス制御部は、
前記表示部に前記フリーズ画像が表示されている場合に、前記合焦動作の制御を継続することを特徴とする内視鏡装置。
【請求項16】
請求項15において、
前記フリーズ画像設定部からの前記フリーズ画像、及び前記画像取得部からの前記複数の体内画像を受けて、前記表示部に表示される画像として前記フリーズ画像又は前記複数の体内画像を選択する選択部を含むことを特徴とする内視鏡装置。
【請求項17】
請求項15において、
前記撮像光学系の撮影条件を設定する制御部を含み、
前記制御部は、
前記表示部に前記複数の体内画像が表示されている場合と、前記表示部に前記フリーズ画像が表示されている場合とで、前記撮影条件を変更することを特徴とする内視鏡装置。
【請求項18】
請求項1において、
前記フリーズ画像を表示する表示部を含み、
前記フリーズ画像設定部は、
前記少なくとも1つの体内画像として2つ以上の体内画像を前記フリーズ画像として選択し、
前記表示部は、
前記フリーズ画像として選択された前記2つ以上の体内画像を表示し、
前記フリーズ画像設定部は、
前記表示部に表示された前記2つ以上の体内画像の中から、操作部を介してユーザーに選択指示された体内画像を、記憶部に保存する体内画像に設定することを特徴とする内視鏡装置。
【請求項19】
請求項1において、
前記フリーズ画像設定部は、
前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときの前記フォーカス調整用レンズの位置と、前記各体内画像が撮像されたときの前記フォーカス調整用レンズの位置との差を表すレンズ位置情報を取得し、前記レンズ位置情報及び前記合焦度合いに基づいて前記フリーズ画像を選択することを特徴とする内視鏡装置。
【請求項20】
請求項19において、
前記フリーズ画像設定部は、
前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときの前記フォーカス調整用レンズの位置と、前記各体内画像が撮像されたときの前記フォーカス調整用レンズの位置との差が小さいほど値が大きくなる前記レンズ位置情報を取得し、前記合焦評価値と前記レンズ位置情報を所定の重み付けで加算した値を選択用評価値として求め、前記複数の体内画像の中で前記選択用評価値が最も大きい体内画像を、前記フリーズ画像として選択することを特徴とする内視鏡装置。
【請求項21】
内視鏡装置は、撮像光学系による体内被写体の撮像により得られた、前記体内被写体の像を含む複数の体内画像を取得し、
前記内視鏡装置は、前記複数の体内画像の各体内画像について、合焦度合いを表す合焦評価値を算出し、
前記内視鏡装置は、前記撮像光学系におけるフォーカス調整用レンズの位置を、離散的な複数の位置のいずれかの位置に、前記合焦評価値に基づいて切り替える制御を行うことにより、前記撮像光学系の合焦動作を制御し、
前記内視鏡装置は、前記合焦評価値により表される前記合焦度合いに基づいて、前記複数の体内画像の中から少なくとも1つの体内画像を選択し、選択した前記少なくとも1つの体内画像をフリーズ画像として設定することを特徴とする内視鏡装置の作動方法
【請求項22】
請求項21において、
前記内視鏡装置は、前記複数の体内画像のうち、前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときの前記フォーカス調整用レンズの位置と同一位置において撮像された体内画像の中から、前記フリーズ画像を選択することを特徴とする内視鏡装置の作動方法。
【請求項23】
請求項21において、
前記内視鏡装置は、前記合焦度合いが高いほど値が大きくなる前記合焦評価値を算出し、
前記内視鏡装置は、前記体内被写体の像の動き量をブレ状態として検出し、前記合焦評価値に正の重み付けを行うとともに前記動き量に負の重み付けを行って加算した値を選択用評価値として求め、前記複数の体内画像の中で前記選択用評価値が最も大きい体内画像を、前記フリーズ画像として選択することを特徴とする内視鏡装置の作動方法。
【請求項24】
請求項21において、
前記内視鏡装置は、前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときから前記各体内画像が撮像されるまでの経過時間を検出し、前記経過時間及び前記合焦度合いに基づいて前記フリーズ画像を選択することを特徴とする内視鏡装置の作動方法。
【請求項25】
請求項21において、
前記内視鏡装置は、前記体内被写体を照明する照明光の光量を制御し、
前記内視鏡装置は、前記離散的な複数の位置として離散的な2つの位置のいずれかの位置に前記フォーカス調整用レンズの位置を切り替える制御を、前記光量を表す光量情報に基づいて行い、
前記内視鏡装置は、前記合焦度合いが高いほど値が大きくなる前記合焦評価値を算出し、
前記内視鏡装置は、前記合焦評価値が所定の閾値よりも大きいか否かの判定を行い、
前記内視鏡装置は、前記合焦評価値が前記所定の閾値よりも大きいと判定した場合には、前記フォーカス調整用レンズの位置を切り替えずに現在の位置を維持し、
前記内視鏡装置は、前記合焦評価値が前記所定の閾値よりも小さいと判定した場合には、前記光量情報が表す前記光量が所定値よりも小さいか否かの判定を行い、前記光量が所定値よりも小さいと判定した場合には、前記離散的な2つの位置のうち近点側の位置に前記フォーカス調整用レンズの位置を切り替え、前記光量が所定値よりも大きいと判定した場合には、前記離散的な2つの位置のうち遠点側の位置に前記フォーカス調整用レンズの位置を切り替えることを特徴とする内視鏡装置の作動方法。
【請求項26】
請求項21において、
前記内視鏡装置は、表示部に前記フリーズ画像が表示されている場合に、前記合焦動作の制御を継続することを特徴とする内視鏡装置の作動方法。
【請求項27】
請求項21において、
前記内視鏡装置は、前記少なくとも1つの体内画像として2つ以上の体内画像を前記フリーズ画像として選択し、
前記内視鏡装置は、前記フリーズ画像として選択された前記2つ以上の体内画像を表示部に表示し、
前記内視鏡装置は、前記表示部に表示された前記2つ以上の体内画像の中から、操作部を介してユーザーに選択指示された体内画像を、記憶部に保存する体内画像に設定することを特徴とする内視鏡装置の作動方法。
【請求項28】
請求項21において、
前記内視鏡装置は、前記フリーズ画像の取得を指示する操作が操作部により受け付けられたときの前記フォーカス調整用レンズの位置と、前記各体内画像が撮像されたときの前記フォーカス調整用レンズの位置との差を表すレンズ位置情報を取得し、前記レンズ位置情報及び前記合焦度合いに基づいて前記フリーズ画像を選択することを特徴とする内視鏡装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置及び内視鏡装置の作動方法等に関する。
【背景技術】
【0002】
内視鏡のような撮像装置においては、ドクターの診断に支障をきたさないためパンフォーカスの画像が求められる。このため、内視鏡では比較的Fナンバーが大きい光学系を使用して、被写界深度の幅を広くすることでこのような性能を達成している。しかしながら、近年、内視鏡システムにおいても数十万画素程度の高画素の撮像素子が使用されるようになっている。高画素の撮像素子では画素ピッチと共に許容錯乱円が小さくなるため、Fナンバーを小さくする必要があり、撮像装置の被写界深度の幅は狭くなる。このため、パンフォーカスを維持することが難しくなっている。
【0003】
例えば特許文献1には、内視鏡の撮像部に対物光学系のレンズ位置を駆動する駆動部を設け、被写体に対してオートフォーカス(以下、AFと表記する)を行う内視鏡装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平8−106060号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
さて、内視鏡により診察を行うドクターは、注目したい領域を詳細に観察する場合、フリーズスイッチの操作等によりフリーズ画像(静止画像)を取得し、そのフリーズ画像により詳細な観察を行う。このフリーズ画像を、AFを行う内視鏡で取得する場合を考える。AFを行う場合、被写体の輪郭信号が少しでも高い方向へ光学系の対物レンズを移動させることでAFを行うため、AFが完了するまでの間は被写体に合焦していない画像が発生してしまう。そのため、取得したフリーズ画像が被写体に合焦していない画像であった場合、ドクターはフリーズスイッチの操作をやり直す必要があり、作業の煩雑性が増すという課題がある。
【0006】
本発明の幾つかの態様によれば、被写体に合焦したフリーズ画像を表示可能な内視鏡装置及び内視鏡装置の制御方法等を提供できる。
【課題を解決するための手段】
【0007】
本発明の一態様は、撮像光学系による体内被写体の撮像により得られた、前記体内被写体の像を含む複数の体内画像を取得する画像取得部と、前記複数の体内画像の各体内画像について、合焦度合いを表す合焦評価値を算出する合焦評価値算出部と、前記合焦評価値に基づいて、前記撮像光学系の合焦動作を制御するフォーカス制御部と、前記合焦評価値により表される前記合焦度合いに基づいて、前記複数の体内画像の中から少なくとも1つの体内画像を選択し、選択した前記少なくとも1つの体内画像をフリーズ画像として設定するフリーズ画像設定部と、を含む内視鏡装置に関係する。
【0008】
本発明の一態様によれば、合焦評価値に基づいて合焦動作が制御され、合焦評価値により表される合焦度合いに基づいて、複数の体内画像の中から少なくとも1つの体内画像がフリーズ画像として設定される。これにより、被写体に合焦したフリーズ画像を表示することが可能になる。
【0009】
また本発明の他の態様は、撮像光学系による体内被写体の撮像により得られた、前記体内被写体の像を含む複数の体内画像を取得し、前記複数の体内画像の各体内画像について、合焦度合いを表す合焦評価値を算出し、前記合焦評価値に基づいて、前記撮像光学系の合焦動作を制御し、前記合焦評価値により表される前記合焦度合いに基づいて、前記複数の体内画像の中から少なくとも1つの体内画像を選択し、選択した前記少なくとも1つの体内画像をフリーズ画像として設定する内視鏡装置の制御方法に関係する。
【図面の簡単な説明】
【0010】
図1】第1の実施形態における内視鏡装置の構成例。
図2】回転色フィルターの詳細な構成例。
図3】色フィルターの分光特性例。
図4】フォーカスレンズの位置と合焦物体位置の関係についての説明図。
図5】合焦物体位置が近点側にある場合の被写界深度についての説明図。
図6】合焦物体位置が遠点側にある場合の被写界深度についての説明図。
図7】画像処理部の詳細な構成例。
図8】注目領域設定部が行う領域分割についての説明図。
図9】フリーズ画像設定部が行う動作についての説明図。
図10】フリーズ画像設定部が行う動作の変形例についての説明図。
図11】フリーズ画像設定部が行う動作の第2変形例についての説明図。
図12】レンズ位置制御部が行う動作のフローチャート例。
図13図13(A)、図13(B)は、2つのフリーズ候補画像を表示する場合の表示画像例。
図14】第2の実施形態における内視鏡装置の構成例。
図15】フリーズ画像設定部が行う動作についての説明図。
【発明を実施するための形態】
【0011】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0012】
1.本実施形態の概要
まず本実施形態の概要について説明する。内視鏡装置において撮像素子の画素数が増えることにより、被写界深度の幅が狭くなり、所望の被写体に対してフォーカスを合わせる(合焦させる)ことが難しくなっている。特に拡大観察を行う内視鏡装置では、撮像部の撮像倍率が高くなったり、撮像部から被写体までの距離が短くなったりすることで、さらに被写界深度の幅が狭くなる傾向にあり、被写体位置がわずかに移動しただけでも被写界深度の範囲から逸脱しやすくなる。
【0013】
ドクターは注目領域を詳細に観察したい場合、操作部に設置されたフリーズスイッチを操作することでフリーズ画像(静止画像)を表示部に表示させる。このような場合も、被写界深度の幅が狭いと、注目領域の被写体が被写界深度の範囲から外れやすい。そのため、注目領域の被写体に合焦した画像を得るために、フリーズスイッチの操作を何度もやり直さなければならなくなり、作業性が悪くなる。
【0014】
被写体からフォーカスが外れないようにするには、例えば、コンティニュアスAFを行うことが考えられる。しかしながら、コンティニュアスAFでは、ウォブリングを行うため、被写体に合焦した状態からフォーカスレンズが前後に小刻みに動く。そのため、フリーズスイッチを押したタイミングによっては、必ずしも合焦したフリーズ画像が得られるとは限らない。
【0015】
そこで本実施形態では、複数フレームの撮像画像を記憶し、その記憶した撮像画像の中から、被写体に合焦した撮像画像をフリーズ画像として表示部に表示する。このようにすることで、ユーザーは被写体にフォーカスが合っているか否かを意識することなく、フリーズスイッチを押すだけで、容易に被写体に合焦したフリーズ画像を得ることが可能になり、作業を簡易に行うことができる。
【0016】
なお以下では、第1の実施形態において基本的な構成及び手法について説明する。第1の実施形態では、図4で後述するように2焦点切り替えを行う場合を例に説明する。2焦点切り替えでは、一般的には、AFの機構をシンプルにできる反面、フォーカス調整の自由度が低くなり高精細な合焦動作が難しくなるため、被写体に合焦したフリーズ画像を得ることが難しい傾向にある。この点、本実施形態によれば、複数フレームの撮像画像の中から合焦した撮像画像をフリーズ画像として選択するため、2焦点切り替えであっても、被写体に合焦したフリーズ画像を得られる。第2の実施形態では、コンティニュアスAF方式を行う場合を例に説明する。コンティニュアスAF方式では、フォーカス調整の自由度が2焦点切り替えよりも高いため、高精細な合焦動作が可能となる。
【0017】
2.第1の実施形態(2焦点切り替え)
2.1.内視鏡装置
図1に、第1の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、撮像部200、制御装置300(プロセッサ部)、表示部400、外部I/F部500を含む。
【0018】
光源部100は、白色光源110と、光源絞り120と、光源絞り120を駆動させる光源絞り駆動部130と、複数の分光透過率のフィルターを有する回転色フィルター140と、を有する。また光源部100は、回転色フィルター140を駆動させる回転駆動部150と、回転色フィルター140を透過した光をライトガイドファイバー210の入射端面に集光させる集光レンズ160と、を含む。
【0019】
光源絞り駆動部130は、制御装置300の制御部340からの制御信号に基づいて、光源絞り120の開閉を行うことで照明光の光量の調整を行う。図2に回転色フィルター140の詳細な構成例を示す。回転色フィルター140は、三原色の赤色(以下Rと略す)フィルター701と、緑色(以下Gと略す)フィルター702と、青色(以下Bと略す)フィルター703と、回転モーター704と、から構成されている。図3に、これらの色フィルター701〜703の分光特性例を示す。回転駆動部150は、制御部340からの制御信号に基づいて、撮像素子260の撮像期間と同期して回転色フィルター140を所定回転数で回転させる。例えば、回転色フィルター140を1秒間に20回転させると、各色フィルターは60分の1秒間隔で入射白色光を横切ることになる。この場合、撮像素子260は、60分の1秒間隔で画像信号の撮像と転送を完了することになる。ここで、撮像素子260は例えばモノクロ単板撮像素子であり、例えばCCDやCMOSイメージセンサー等により構成される。即ち、本実施形態では、3原色の各色光(R或はG或はB)の画像が60分の1秒間隔で撮像される面順次方式の撮像が行われる。
【0020】
撮像部200は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部200は、光源部100で集光された光を照明レンズ220に導くためのライトガイドファイバー210と、そのライトガイドファイバー210により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、を含む。また、撮像部200は、観察対象から戻る反射光を集光する対物レンズ230と、焦点位置を調整するためのフォーカスレンズ240(フォーカス調整用レンズ)と、フォーカスレンズ240の位置を離散的な位置で切り替えるための切り替え部250と、集光した反射光を検出するための撮像素子260と、を含む。
【0021】
切り替え部250は、例えばVCM(Voice Coil Motor)であり、フォーカスレンズ240と接続されている。切り替え部250は、フォーカスレンズ240の位置を複数の離散的な位置で切り替えることで、フォーカスが合う被写体の位置である合焦物体位置を離散的に調整する。フォーカスレンズ240の位置と合焦物体位置の関係については、図4で後述する。
【0022】
また、撮像部200には、ユーザーがフリーズ指示を行うフリーズスイッチ270が設けられている。フリーズスイッチ270は、フリーズ指示信号の入力/解除を行うことができる。ユーザーがフリーズスイッチ270を操作することでフリーズ指示が行われた場合、フリーズスイッチ270からフリーズ指示信号が制御部340に出力される。
【0023】
制御装置300は、内視鏡装置の各部の制御や画像処理を行う。制御装置300は、A/D変換部310と、レンズ位置制御部320(広義にはフォーカス制御部)と、画像処理部330と、制御部340を含む。
【0024】
A/D変換部310によりデジタル信号に変換された画像信号は、画像処理部330に転送される。画像処理部330により処理された画像信号は、表示部400に転送される。また、画像処理部330は、画像信号から算出したコントラスト値をレンズ位置制御部320に転送する。レンズ位置制御部320は、切り替え部250に制御信号を転送することで、フォーカスレンズ240の位置を変更する。また、レンズ位置制御部320は、フォーカスレンズ240の位置を示す制御信号を画像処理部330へ転送する。制御部340は、内視鏡装置の各部の制御を行う。具体的には制御部340は、光源絞り駆動部130と、レンズ位置制御部320と、画像処理部330の同期を行う。また、制御部340はフリーズスイッチ270と外部I/F部500とに接続され、画像処理部330へフリーズ指示信号を転送する。また、制御部340は光源絞りの開口の度合いを表す開度Lをレンズ位置制御部320へ転送する。
【0025】
表示部400は、動画表示可能な表示装置であり、例えばCRTや液晶モニター等により構成される。
【0026】
外部I/F部500は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部I/F部500は、フリーズ指示を行うことができる不図示のフリーズボタンを有してもよい。この場合、ユーザーは外部I/F部500からもフリーズ指示を行うことができる(フリーズボタンは、撮像部200のフリーズスイッチ270と機能は同じである)。外部I/F部500からのフリーズ指示信号は、制御部340に出力される。また外部I/F部500は、電源のオン/オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含む。
【0027】
画像処理部330は、A/D変換部310によりデジタル信号に変換された撮像画像に対して、画像処理を行う。具体的には、前処理や同時化処理、コントラスト値(広義には合焦評価値)の算出処理、フリーズ画像の選択処理、後処理などを行う。画像処理部330は、後処理後のフリーズ画像又は動画像(撮像画像)を表示部400に出力し、コントラスト値をレンズ位置制御部320に出力する。画像処理部330の詳細については、図7で後述する。
【0028】
レンズ位置制御部320は、画像処理部330から入力されるコントラスト値と、制御部340から入力される光源絞りの開度Lに基づいて、切り替え部250の制御を行う。切り替え部250がレンズ位置制御部320の指示に基づいてフォーカスレンズ240の位置を切り替えることにより、AF制御が行われる。レンズ位置制御部320の詳細については、図12で後述する。
【0029】
なお、上記では撮像方式が面順次方式である場合を例に説明したが、本実施形態はこれに限定されず、例えば、原色ベイヤーや補色単板、原色2板、原色3板等の撮像素子を用いた撮像方式としてもよい。また、上記では照明光が白色光である通常光観察の場合を例に説明したが、本実施形態はこれに限定されず、例えば白色光よりも狭帯域の光を照明光とするNBI(Narrow Band Imaging)等に代表される特殊光観察としてもよい。
【0030】
2.2.フォーカスレンズの位置と合焦物体位置の関係
図4を用いて、フォーカスレンズ240の位置と合焦物体位置の関係について説明する。図4に示すように、本実施形態では、フォーカスレンズ240を離散的なレンズ位置A、Bに切り替え、合焦物体位置をFPA、FPBの2段階で切り替える。
【0031】
具体的には、フォーカスレンズ240の位置は、合焦物体位置が撮像部200に対して遠い点FPA(以下、遠点)に対応するA点と、撮像部200から近い点FPB(以下、近点)に対応するB点との、2段階で切り替える。一般的に、合焦物体位置が近点側にあると被写界深度の幅が浅くなり、被写体がわずかに移動しただけでも被写界深度の範囲を逸脱しやすくなる。このため、図5に示すように、合焦物体位置が近点にある場合は、奥行きのない被写体を近接して観察する場合に適している。一方、合焦物体位置が遠点側にあると被写界深度の幅は深くなる。そのため、図6に示すように、管腔状の被写体をスクリーニングする場合に適している。内視鏡観察に必要とされる被写界深度の範囲は、フォーカスレンズ位置を切り替えることで達成する。例えば、レンズ位置をA、Bに切り替えた時のそれぞれの被写界深度DFA、DFBの範囲を組み合わせて実現できる被写界深度の範囲は、2〜70mmを含む。
【0032】
ここで、合焦物体位置とは、撮像部200のフォーカスが合う物体(被写体)の位置であり、例えば撮像光学系の光軸上における、撮像部200の先端から物体までの距離で表される。より具体的には、合焦物体位置とは、撮像素子260の受光面と像面が一致するときに、その像面に対応する物体平面の位置のことである。なお、撮像部200の被写界深度内の位置であれば被写体に合焦しているとみなすことが可能であるため、合焦物体位置は被写界深度内の任意の位置に設定されてもよい。例えば図4の合焦物体位置FPA、FPBは、それぞれ被写界深度DFA、DFB内のいずれの位置に設定されてもよく、フォーカスレンズ240の位置が切り替えられることにより合焦物体位置及び被写界深度が切り替えられることは変わらない。
【0033】
また、フォーカスレンズ240の位置とは、撮像光学系内におけるフォーカスレンズ240の位置であり、例えば撮像光学系内の基準点からフォーカスレンズ240までの距離で表される。基準点は、例えば撮像光学系を構成するレンズの中で最も被写体側のレンズの位置、あるいは撮像素子260の受光面の位置などである。
【0034】
なお、図4では、2つの合焦物体位置を切り替える2焦点切り替えを、AF制御として行う場合を例に説明したが、本実施形態はこれに限定されず、離散的な3以上の合焦物体位置を切り替えてAF制御を行ってもよい。
【0035】
また、フォーカスを調整するレンズ(フォーカス調整用レンズ)がフォーカスレンズ240である場合を例に説明したが、本実施形態はこれに限定されない。即ち、フォーカス調整用レンズは、ズームレンズとフォーカスレンズが独立した二群駆動におけるフォーカスレンズであってもよいし、あるいは、ズームレンズがズーム倍率調整とフォーカス調整を兼ねる一群駆動におけるズームレンズであってもよい。
【0036】
2.3.画像処理部
図7に、第1の実施形態における画像処理部330の詳細な構成例を示す。画像処理部330は、前処理部331と、同時化部332と、選択部333と、記憶部334と、注目領域設定部335と、コントラスト値算出部336と、フリーズ画像設定部337と、後処理部338と、を含む。
【0037】
A/D変換部310は、前処理部331に接続される。前処理部331は、同時化部332に接続される。同時化部332は、選択部333と記憶部334と注目領域設定部335とに接続される。選択部333は、後処理部338に接続される。記憶部334は、フリーズ画像設定部337に接続される。注目領域設定部335は、コントラスト値算出部336に接続される。コントラスト値算出部336は、フリーズ画像設定部337とレンズ位置制御部320に接続される。レンズ位置制御部320は、フリーズ画像設定部337に接続される。フリーズ画像設定部337は、選択部333に接続される。後処理部338は、表示部400に接続される。制御部340は、各部と双方向に接続されており、これらの制御を行う。
【0038】
前処理部331は、A/D変換部から入力される画像信号に対して、制御部340に予め保存されているOBクランプ値、ゲイン補正値、WB係数値を用いて、OBクランプ処理、ゲイン補正処理、WB補正処理を行う。前処理部331は、前処理後の画像信号を同時化部332へ転送する。
【0039】
同時化部332は、前処理部331により処理された画像信号に対して、制御部340の制御信号に基づいて、面順次の画像信号を同時化する。具体的には、同時化部332は、面順次で入力された各色光(R或はG或はB)の画像信号を1フレーム分ずつ蓄積し、蓄積した各色光の画像信号を同時に読み出す。即ち、R、G、Bの3つの画像を1フレームの撮像画像に同時化する。例えば、R、G、B、R、Gの順に画像が入力される場合、最初の「R、G、B」、次の「G、B、R」、次の「B、R、G」をそれぞれ同時化し、同時化した3フレームの撮像画像を順次出力する。図1で述べたように回転色フィルター140が1秒に20回転する場合、同時化により、1秒に60フレームの撮像画像が得られることになる。同時化部332は、同時化した撮像画像(画像信号)を、選択部333と注目領域設定部335へ転送する。また、同時化部332は、制御部340から入力されるフリーズ指示信号に基づいて、記憶部334へ撮像画像を転送する。具体的には、制御部340からフリーズ指示信号が入力された場合、同時化部332は記憶部334への撮像画像の転送を停止する。一方、フリーズ指示信号が解除された場合、記憶部334へ撮像画像を転送する。
【0040】
記憶部334は、同時化部332から転送される撮像画像を、複数フレーム記憶することが可能なフレームメモリーで構成されている。例えば、記憶部334は、時系列でNフレーム(Nは2以上の自然数)の撮像画像を記憶可能なフレームメモリーを有している。記憶部334は、入力された撮像画像を順次記憶していき、N+1フレーム目以降は、記憶しているNフレームの中で最も古い撮像画像を消去して新たな撮像画像を記憶する。
【0041】
注目領域設定部335は、同時化部332から転送された撮像画像に対して、コントラスト値を算出するための注目領域を設定する。例えば、図8に示すように、撮像画像を第1〜第5の領域BR1〜BR5(広義には複数の領域)に分割し、各領域の明るさ情報を算出する。明るさ情報は、例えば各画素の輝度値を領域内で総和した値である。注目領域設定部335は、各領域の明るさ情報が閾値以上か否かの判定を行い、閾値以上の領域を注目領域として設定する。注目領域設定部335は、設定された注目領域の情報と撮像画像をコントラスト値算出部336に転送する。撮像画像が充分な明るさを持っていない等の理由により注目領域が設定できない(明るさ情報が閾値以上の領域が無い)場合は、注目領域が存在しないことを示す制御信号を、コントラスト値算出部336に転送する。
【0042】
なお、上記では、閾値以上の明るさを持つ領域を注目領域として設定する場合を例に説明したが、本実施形態はこれに限定されず、例えば、領域BR1〜BR5の中で最も明るい領域を注目領域として設定してもよい。また、これに限らず、外部I/F部500を介してユーザーが予め注目領域を設定するものとしてもよい。また、注目領域が設定されない場合は、画面全体を注目領域としてもよい。また、他の注目領域の設定手法としては、注目領域設定部335は、病変領域等の周囲と比べて特異な特徴量を持つ領域を検出する注目領域検出部を有し、その注目領域検出部が検出した注目領域を追跡するような構成としてもよい。また、他の注目領域の設定手法としては、例えば画面中心や、暗い領域の逆側(例えば図8で、領域BR2が最も暗い場合、領域BR5を注目領域とする。中心(領域BR1)が最も暗い場合、周辺領域BR2〜BR5の中で最も明るい領域を注目領域とする)、病変領域(例えば発赤、褪色、特殊光)、周辺と違う特徴量(例えば赤色)を持つ領域、時間的な明るさ変動の少ない領域などを、注目領域に設定してもよい。
【0043】
コントラスト値算出部336は、注目領域の情報と撮像画像から、注目領域のコントラスト値を算出する。例えば、注目領域設定部335から転送される撮像画像に対して、任意のチャンネルのコントラスト値を算出すればよい。あるいは、R、G、Bの3チャンネルの画素値から輝度信号を生成し、生成した輝度信号の画素値からコントラスト値を算出してもよい。例えば、コントラスト値算出部336は、注目領域に含まれるすべての画素に対して任意のハイパスフィルター処理を行い、各画素のハイパスフィルター出力値を注目領域内で加算することでコントラスト値を算出する。撮像画像に注目領域が設定されていないことを示す制御信号が入力された場合には、コントラスト値算出部336は、コントラスト値として0を設定する。コントラスト値算出部336は、フリーズ画像設定部337とレンズ位置制御部320とに、注目領域のコントラスト値を転送する。
【0044】
なお、コントラスト値算出部336は、輝点除去部を有する構成としてもよい。例えば、輝点除去部は、注目領域に含まれるすべての画素における任意のチャンネルもしくは輝度信号の画素値に対して閾値処理を行い、画素値が閾値以上の画素については、輝点と判断する。コントラスト値算出部336は、輝点と判断された画素を加算処理から除く。これにより、輝点がコントラスト値に与える影響を低減することができる。
【0045】
上記では、ハイパスフィルターの出力値を加算した値をコントラスト値とする場合を例に説明したが、本実施形態はこれに限定されず、例えばハイパスフィルターの出力値が閾値以上である画素数をコントラスト値として算出してもよい。このようにすれば、コントラスト値は被写体に合焦している領域の広さを示す値として用いることができる。
【0046】
フリーズ画像設定部337は、制御部340からフリーズ指示信号が入力されると、記憶部334に記憶された複数の撮像画像の中から、被写体に合焦した撮像画像を抽出する。具体的にはフリーズ画像設定部337は、コントラスト値算出部336から入力されるコントラスト値と、レンズ位置制御部320から入力されるフォーカスレンズ240の位置とを対応付けて、時系列に各々N個記憶することが可能な不図示のメモリーを有する。不図示のメモリーは、制御部340からフリーズ指示信号が入力されると、フリーズ指示信号が入力されたタイミングから過去N個のコントラスト値とレンズ位置を保持する。
【0047】
図9に示すように、フリーズ指示信号が入力されたタイミングを時刻t=1とし、時刻tからNフレーム前の撮像画像が入力されたタイミングをt=Nと表す。時刻tのタイミングで記憶部334に記憶された撮像画像Imgtに対して、撮像画像Imgtの注目領域のコントラスト値をWc(t)と、撮像画像Imgtが撮像されたタイミングでのフォーカスレンズ240の位置A又はBとが、対応付けて不図示のメモリーに記憶される。
【0048】
フリーズ画像設定部337は、フリーズ指示信号が入力されたタイミング(時刻t=1)でのフォーカスレンズ240の位置を基準レンズ位置(図9では位置A)として検出し、基準レンズ位置と同じレンズ位置で撮像された撮像画像をフリーズ候補画像とする(図9でハッチングされていない撮像画像)。そして、フリーズ候補画像の中からコントラスト値が最も大きい撮像画像をフリーズ画像として抽出し、そのフリーズ画像を選択部333に転送する。
【0049】
なお、時刻t=1のレンズ位置を基準レンズ位置とする場合を例に説明したが、本実施形態はこれに限らず、時刻t=M(Mは1<M<Nの自然数)のレンズ位置を基準レンズ位置としてもよい。時刻t=Mは、ユーザーがフリーズ操作を行う際のタイムラグを想定した値とし、例えば撮像画像のフレームレートに比例した値となる。
【0050】
また、フリーズ画像として最もコントラスト値の高い撮像画像を抽出する場合を例に説明したが、本実施形態はこれに限らない。例えば他の変形例では、図10に示すように、フリーズ画像設定部337は、撮像画像ImgtとImgt+1の間の相関から、撮像画像のブレ量を表す動きブレWb(t)を検出し、コントラスト値Wc(t)と動きブレWb(t)との重み付き平均Fcb(t)を下式(1)により算出する。そして、基準レンズ位置(図10では位置A)と同一レンズ位置で撮像された撮像画像の中から、Fcb(t)が最も大きい撮像画像をフリーズ画像に設定する。このようにすれば、コントラスト値が高くかつブレ量の少ない撮像画像をフリーズ画像に設定できる。
Fcb(t)=a×Wc(t)+b×Wb(t) (1)
【0051】
ここで、aはa≧0の定数であり,bはb≦0の定数である。定数a、bとして、例えば外部から予め入力された値や、予め制御部340に設定された値などを用いる。
【0052】
また、更に他の変形例では、図11に示すように、フリーズ画像設定部337は、時刻t=1に近いほど大きくなる時間重みWt(t)を設定し、コントラスト値Wc(t)と時間重みWt(t)との重み付き平均Fct(t)を下式(2)により算出する。そして、基準レンズ位置(図11では位置A)と同一レンズ位置で撮像された撮像画像の中から、Fct(t)が最も大きい撮像画像をフリーズ画像に設定する。このようにすれば、コントラスト値が高くかつユーザーがフリーズ操作をしたタイミングにより近い撮像画像をフリーズ画像に設定できる。
Fct(t)=c×Wc(t)+d×Wt(t) (2)
【0053】
ここで、cはc≧0の定数であり,dはd≧0の定数である。定数c、dとして、例えば外部から予め入力された値や、予め制御部340に設定された値などを用いる。
【0054】
選択部333は、制御部340からの制御信号に基づいて、後処理部338に転送する画像を選択する。具体的には、選択部333は、制御部340からフリーズ指示信号が入力された場合、フリーズ画像設定部337から入力されたフリーズ画像を後処理部338に転送する。一方、選択部333は、制御部340からフリーズ指示信号が解除された場合、同時化部332から入力された撮像画像を後処理部338に転送する。
【0055】
後処理部338は、選択部333から転送された画像に対して、制御部340に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理を行う。後処理部338は、後処理後の画像を表示部400へ転送する。
【0056】
2.4.レンズ位置制御部
図12を用いて、レンズ位置制御部320が行う処理の一例について説明する。
【0057】
図12に示すように、レンズ位置制御部320は、コントラスト値算出部336からコントラスト値が入力されると、入力されたコントラスト値が閾値Tcより大きいか否かの判定を行う(S101)。コントラスト値が閾値Tcより大きい場合、レンズ位置制御部320は、フォーカスレンズ240の位置を動かさない(S102)。一方、コントラスト値が閾値Tc以下の場合、レンズ位置制御部320は、光源絞りの開度Lと閾値Tlの比較を行う(S103)。
【0058】
光源絞りの開度Lが閾値Tlよりも小さい場合には、レンズ位置制御部320は、フォーカスレンズ240の位置をB点(図4で、近点側の合焦物体位置FPBに対応する位置)に移動させる(S104)。一方、光源絞りの開度Lが閾値Tl以上の場合には、レンズ位置制御部320は、フォーカスレンズ240の位置をA点(図4で、遠点側の合焦物体位置FPAに対応する位置)に移動させる(S105)。レンズ位置制御部320は、フォーカスレンズ240の位置を示す制御信号を画像処理部330へ転送し、処理を終了する。
【0059】
2.5.2画面表示の手法
図13(A)、図13(B)に示すように、本実施形態の変形例として、表示部400を2画面表示としてもよい。
【0060】
この場合、フリーズ画像設定部337は、記憶部334に記憶されたレンズ位置A点の撮像画像の中から、コントラスト値が最も高い画像を遠点フリーズ画像として抽出し、記憶部334に記憶されたレンズ位置B点の撮像画像の中から、コントラスト値が最も高い画像を近点フリーズ画像として抽出する。フリーズ画像設定部337は、近点フリーズ画像と遠点フリーズ画像を選択部333に転送し、選択部333は、フリーズ指示信号が入力された場合に近点フリーズ画像と遠点フリーズ画像を後処理部338に転送する。後処理部338は、近点フリーズ画像と遠点フリーズ画像を後処理し、表示部400へ転送する。表示部400は、近点フリーズ画像及び遠点フリーズ画像を2画面表示する。
【0061】
例えば図13(A)に示すように、遠点フリーズ画像ImgAと近点フリーズ画像ImgBを同じサイズで表示してもよいし、図13(B)に示すように、遠点フリーズ画像ImgAと近点フリーズ画像ImgBのいずれかを大きく表示するようにしてもよい。また、遠点フリーズ画像ImgAと近点フリーズ画像ImgBのうち基準レンズ位置と同じレンズ位置で取得された撮像画像をより強調するため、大きく表示したり、赤枠等で囲むような表示形態としてもよい。また、表示された遠点フリーズ画像ImgAと近点フリーズ画像ImgBのうち保存する画像を、ユーザーが外部I/F部500を介して選択する構成としてもよい。この場合、選択された画像は、不図示の記憶部(例えば内蔵記憶装置や外部記憶装置)に保存される。
【0062】
このようにすれば、ユーザーは、近点側及び遠点側の両方の合焦物体位置で撮像された画像の中から、観察に適切な画像としてより好ましい一方(或いは両方)を保存することが可能となる。
【0063】
なお、上記では、記憶部334に記憶された撮像画像から近点フリーズ画像と遠点フリーズ画像を抽出する構成としたが、本実施形態はこれに限定されない。例えば、記憶部334に、近点側の合焦物体位置FPBで撮像された撮像画像しか記憶されていない場合は、レンズ位置を遠点Aに移動して撮像画像を取得し、遠点フリーズ画像を生成する構成としてもよい。逆に、記憶部334に記憶された撮像画像が遠点Aでの撮像画像のみの場合は、レンズ位置を近点Bに移動して撮像画像を取得することで、近点フリーズ画像を生成する。
【0064】
以上の実施形態によれば、図1及び図7に示すように内視鏡装置は画像取得部(例えばA/D変換部310や同時化部332)と合焦評価値算出部(コントラスト値算出部336)とフォーカス制御部(レンズ位置制御部320)とフリーズ画像設定部337とを含む。画像取得部は、撮像光学系(対物レンズ230、フォーカスレンズ240、撮像素子260)による体内被写体の撮像により得られた、体内被写体の像を含む複数の体内画像(図9のImg1〜ImgN。狭義には動画像)を取得する。合焦評価値算出部は、複数の体内画像の各体内画像について、合焦度合いを表す合焦評価値(狭義にはコントラスト値Wc(t))を算出する。フォーカス制御部は、合焦評価値に基づいて、撮像光学系の合焦動作を制御する。フリーズ画像設定部337は、合焦評価値により表される合焦度合いに基づいて、複数の体内画像の中から少なくとも1つの体内画像を選択し、選択した少なくとも1つの体内画像をフリーズ画像として設定する。
【0065】
このようにすれば、複数の体内画像の中から合焦度合いの高い画像をフリーズ画像に設定することが可能となるため、高画素化により被写界深度が狭くなった場合であっても、高精度に被写体に合焦したフリーズ画像を表示できる。また、フォーカス制御部によりAF制御を行うため、手動で合焦させる場合に比べて、より被写体に合焦したフリーズ画像を表示することが可能となる。
【0066】
ここで、フリーズ画像とは、動画像を観察している際に取得され、表示又は記録される静止画像のことである。フリーズ画像は、例えば、医師が動画像を静止させて詳細に観察したい場合や、内視鏡による診察の後で見直したい場合、患部を画像として記録しておきたい場合などに、取得される。
【0067】
また、合焦評価値とは、撮像された画像に映る被写体の合焦度合いを評価するために用いる値または情報のことをいう。例えばコントラストAFでは、コントラスト値を合焦評価値として用いる。コントラスト値は、例えば画像の高周波成分を抽出することにより求められる。なお、合焦評価値はコントラスト値に限定されない。即ち、像面が撮像素子の撮像面にある場合の物体面の位置において値が最大となり、その物体面の位置からずれるに従って値が小さくなるような評価値でさえあればよい。
【0068】
また本実施形態では、フォーカス制御部(レンズ位置制御部320)は、撮像光学系におけるフォーカス調整用レンズ(フォーカスレンズ240)の位置を、離散的な複数の位置(例えば図4のA、B)のいずれかの位置に、合焦評価値に基づいて切り替える制御を行うことにより、合焦動作を制御する。
【0069】
このようにすれば、コンティニュアスAFを行う場合よりもAF制御を簡素化することができる。一方、離散的な合焦物体位置しか取り得ないので、医師が観察したい注目領域が常に理想的な合焦状態であるとは限らず、フリーズスイッチを押したときに合焦状態の良いフリーズ画像が撮れない可能性がある。この点、本実施形態によれば、複数の体内画像の中から合焦度合いの高い画像をフリーズ画像に設定できるため、離散的な合焦物体位置しか取り得なくても、より合焦状態のよりフリーズ画像を表示させることができる。
【0070】
さて、図9で説明したように、記憶部334には、遠点であるレンズ位置Aと近点であるレンズ位置Bで撮像した撮像画像が記憶されている。近点に比べて遠点では被写界深度の幅が広いため、コントラスト値が高くなる傾向にある。コントラスト値の高い撮像画像をフリーズ画像に設定する場合、遠点の撮像画像がフリーズ画像に設定されやすくなる。そのため、注目領域が近点にある場合には、注目領域以外(遠点)に合焦した撮像画像がフリーズ画像に設定される可能性が高まってしまう。
【0071】
この点、本実施形態によれば、図9で説明したように、フリーズ画像設定部337は、複数の体内画像Img1〜ImgNのうち、フリーズ画像の取得を指示する操作が操作部(フリーズスイッチ270又は外部I/F部500のフリーズボタン)により受け付けられたときのフォーカス調整用レンズの位置(図9ではA)と同一位置において撮像された体内画像の中から、フリーズ画像を選択する。
【0072】
このようにすれば、注目領域に合焦した撮像画像を的確にフリーズ画像に設定することが可能になる。即ち、注目領域に合焦していると医師が判断ときにフリーズスイッチ270が押されると想定されるため、フリーズ指示信号が入力されたときのレンズ位置と同じレンズ位置で撮像された画像の中からフリーズ画像を選択することで、注目領域以外に合焦した撮像画像を除外できる。また、注目領域が近点側にある場合、近点の撮像画像からフリーズ画像を選ぶため、注目領域以外(遠点)に合焦した撮像画像がフリーズ画像に設定されることを防止できる。
【0073】
また本実施形態では、図10等で説明したように、フリーズ画像設定部337は、複数の体内画像に基づいて各体内画像についてブレ状態を検出し、ブレ状態及び合焦度合いに基づいてフリーズ画像を選択する。
【0074】
具体的には、上式(1)で説明したように、フリーズ画像設定部337は、体内被写体の像の動き量Wb(t)をブレ状態として検出し、合焦評価値Wc(t)に正の重み付け(係数a)を行うとともに動き量Wb(t)に負の重み付け(係数b)を行って加算した値を選択用評価値Fcb(t)として求め、複数の体内画像Img1〜ImgNの中で選択用評価値Fcb(t)が最も大きい体内画像を、フリーズ画像として選択する。
【0075】
このようにすれば、フリーズ画像のブレを抑制することができる。即ち、複数の体内画像の中から、被写体に合焦しているとともに動きブレが小さい撮像画像をフリーズ画像として表示できる。
【0076】
また本実施形態では、図11等で説明したように、フリーズ画像設定部337は、フリーズ画像の取得を指示する操作が操作部(フリーズスイッチ270又は外部I/F部500のフリーズボタン)により受け付けられたときから各体内画像が撮像されるまでの経過時間を検出し、その経過時間及び合焦度合いに基づいてフリーズ画像を選択する。
【0077】
具体的には、上式(2)で説明したように、フリーズ画像設定部337は、経過時間が短いほど値が大きくなる経過時間情報Wt(t)を算出し、合焦評価値Wc(t)と経過時間情報Wt(t)を所定の重み付け(係数c、d)で加算した値を選択用評価値Fct(t)として求め、複数の体内画像Img1〜ImgNの中で選択用評価値Fct(t)が最も大きい体内画像を、フリーズ画像として選択する。
【0078】
このようにすれば、複数の体内画像の中から、被写体に合焦しているとともに、ユーザーがフリーズしたいと思ったタイミングにより近い撮像画像を、フリーズ画像として表示できる。即ち、医師がフリーズスイッチ270を操作した後、時間の経過とともに撮影範囲が移動することが想定されるが、本実施形態によれば、フリーズスイッチ270を操作したときの撮影範囲に近いフリーズ画像を表示できる。
【0079】
また本実施形態では、フォーカス制御部(レンズ位置制御部320)は、離散的な複数の位置として離散的な2つの位置A、Bのいずれかの位置に、フォーカス調整用レンズ(フォーカスレンズ240)の位置を切り替える制御を行う。
【0080】
具体的には、図12で説明したように、フォーカス制御部は、合焦評価値が所定の閾値Tcよりも大きいか否かの判定を行い(S101)、合焦評価値が所定の閾値よりも大きいと判定した場合には、フォーカス調整用レンズの位置を切り替えずに現在の位置を維持する(S102)。
【0081】
また、内視鏡装置は、体内被写体を照明する照明光の光量を制御し、光量Lを表す光量情報(例えば絞りの開口)をフォーカス制御部に出力する制御部340を含む。フォーカス制御部は、合焦評価値が所定の閾値Tcよりも小さいと判定した場合には、光量情報が表す光量Lが所定値TIよりも小さいか否かの判定を行い(S103)、光量Lが所定値TIよりも小さいと判定した場合には、離散的な2つの位置のうち近点側の位置Bにフォーカス調整用レンズの位置を切り替え(S104)、光量Lが所定値TIよりも大きいと判定した場合には、離散的な2つの位置のうち遠点側の位置Aにフォーカス調整用レンズの位置を切り替える。
【0082】
このようにすれば、AFを2焦点切り替えにより行うことができ、AF制御を簡素化できる。また、合焦評価値が所定の閾値よりも小さいと判定されるまでは、フォーカス調整用レンズの位置を切り替えないため、合焦物体位置が頻繁に切り替わらず、観察しやすい画像を医師に提供できる。また、光量Lに基づいてレンズ位置の切り替えを行うことで、低コントラストの被写体のようなコントラストAFが困難な被写体であっても、合焦させることが可能になる。
【0083】
また本実施形態では、図7に示すように、内視鏡装置は、各体内画像に注目領域を設定する注目領域設定部335を含む。合焦評価値算出部は、注目領域における合焦評価値を算出する。フリーズ画像設定部337は、合焦評価値により表される注目領域における合焦度合いに基づいて、フリーズ画像を選択する。
【0084】
このようにすれば、ユーザーが注目したい領域に合焦した撮像画像をフリーズ画像として設定することができる。例えば、図8で説明したように、スコープを近づけている領域が医師が観察したい領域であると想定できるので、相対的に明るい領域を注目領域に設定すればよい。
【0085】
ここで、注目領域とは、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、使用者が医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。即ち、使用者が注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。
【0086】
また本実施形態では、図1に示すように、内視鏡装置は、フリーズ画像を表示する表示部400を含む。フォーカス制御部は、表示部400にフリーズ画像が表示されている場合に、合焦動作の制御を継続する。
【0087】
このようにすれば、フリーズ画像を表示している間も合焦動作を並行して行うことができるため、フリーズ指示信号が解除されたときに、被写体に合焦した画像を撮像することが可能となる。
【0088】
また本実施形態では、図7に示すように、内視鏡装置は選択部333を含む。選択部333は、フリーズ画像設定部337からのフリーズ画像、及び画像取得部からの複数の体内画像を受けて、表示部400に表示される画像としてフリーズ画像又は複数の体内画像を選択する。
【0089】
このようにすれば、フリーズ画像を表示しているときでも、撮像画像は選択部333で選択されないだけなので、内視鏡装置の内部では撮像画像を用いたAF制御を継続できる。即ち、フリーズ指示信号が入力されたときに、画像取得部(同時化部332)から記憶部334への撮像画像の転送を停止する一方、画像取得部から注目領域設定部335への撮像画像の転送を継続する。そして、合焦評価値算出部(コントラスト値算出部336)が注目領域の合焦評価値を算出し、レンズ位置制御部320が合焦評価値に基づいて合焦動作を行うことができる。
【0090】
3.第2の実施形態(コンティニュアスAF)
3.1.内視鏡装置
図14に、第2の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、撮像部200、制御装置300(プロセッサ部)、表示部400、外部I/F部500を含む。なお、第1の実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【0091】
撮像部200は、ライトガイドファイバー210、照明レンズ220、対物レンズ230、フォーカスレンズ240、撮像素子260、フリーズスイッチ270、レンズ駆動部280を含む。レンズ駆動部280は、レンズ位置制御部320の指示に基づいて、フォーカスレンズ240の位置を連続的に駆動する(コンティニュアスAF)。
【0092】
ここで、コンティニュアスAFとは、被写体にフォーカスを合わせる動作を行い続けるAFのことである。具体的には、コンティニュアスAFでは、フォーカスレンズ240のウォブリング動作を行い、フォーカスが合うレンズ位置を決定し、そのレンズ位置を基準として次のウォブリング動作を行う、という一連の動作を繰り返す。このとき、フォーカスレンズ240は、所定の位置範囲内(例えば図4の位置Aから位置Bまでの範囲内)で、任意の(例えば非離散的な)位置に移動可能である。
【0093】
3.2.コンティニュアスAFの動作
本実施形態が行うコンティニュアスAFの動作について、詳細に説明する。ウォブリング動作におけるフォーカスレンズ240の往復幅を±dwとし、ウォブリング動作により決定されたレンズ位置までのフォーカスレンズ240の移動幅(焦点位置の更新値)をdnとする。
【0094】
まず、レンズ位置制御部320は、レンズ駆動部280を介してフォーカスレンズ240の位置をds−dwに変更し、フォーカスレンズ240の位置ds−dwの情報を記憶する。位置dsは、ウォブリング動作におけるフォーカスレンズ240の初期位置(基準位置)である。次に、コントラスト値算出部336は、位置ds−dwにおけるコントラスト値C(−dw)を算出し、算出したコントラスト値C(−dw)を、レンズ位置制御部320に転送する。次に、レンズ位置制御部320は、レンズ駆動部280を介してフォーカスレンズ240の位置をds+dwに変更し、フォーカスレンズ240の位置ds+dwの情報を記憶する。次に、コントラスト値算出部336は、位置ds+dwにおけるコントラスト値C(+dw)を算出し、算出したコントラスト値C(+dw)を、レンズ位置制御部320に転送する。
【0095】
次に、レンズ位置制御部320は、フォーカスレンズ240の位置情報と、コントラスト値算出部336から転送されたコントラスト値とに基づいて、初期位置dsを更新する。具体的には、C(−dw)>C(+dw)の場合には、dsの値をdnだけ小さくし(ds−dnを初期位置dsとして設定し)、C(+dw)>C(−dw)の場合には、dsの値をdnだけ大きくする(ds+dnを初期位置dsとして設定する)。フォーカスレンズ240の移動幅dnは、例えば山登り法などにより求めればよい。即ち、C(−dw)、C(0)、C(+dw)から、コントラスト値が最大となるフォーカスレンズ240の位置を推定し、その位置をdnとすればよい。
【0096】
次に、レンズ位置制御部320は、更新されたフォーカスレンズ240の初期位置dsからウォブリング時の往復幅dwを減算したレンズ位置ds−dwを、レンズ駆動部280に転送する。その後、上記と同様の処理を繰り返す。
【0097】
なお、本実施形態のコンティニュアスAFは上記の動作に限定されず、例えばdw及びdnの値として、予め一定の値を設定しておいてもよいし、外部I/F部500よりユーザーが任意の値を設定する構成としてもよい。また、上記の実施形態では、ウォブリング時の往復幅dwを固定値としたが、本実施形態ではこれに限らず、例えばフリーズ画像が表示されている間は、表示していないときよりもdwの値を大きくしてもよい。このようにすれば、フリーズ画像が表示されている間は、被写体の大きな動きにも追従することが可能な高精度の合焦動作を実現することが可能となる。
【0098】
なお、本実施形態にかかるレンズ位置制御部で制御される撮像光学系は、ズームレンズを動作させることにより、画角(撮像倍率)を変化させると同時にフォーカスの調整も行うレンズ一群駆動の光学系を想定している。ただし、本実施形態はこれに限定されるものではなく、ズームレンズとフォーカスレンズの位置を独立に調整可能なレンズ二群駆動の撮像光学系を用いてもよい。
【0099】
3.3.フリーズ画像設定部
次に、フリーズ画像設定部337の動作について詳細に説明する。フリーズ画像設定部337では、レンズ位置の扱いが第1の実施形態と異なる。即ち、第1の実施形態ではフォーカスレンズ240は離散的な位置を取ったが、第2の実施形態ではフォーカスレンズ240の位置は連続的な位置をとる。
【0100】
図15に示すように、時刻t=1のタイミングでのフォーカスレンズ240の位置を基準レンズ位置とする。時刻t=1は、フリーズスイッチ270(又はフリーズボタン)が操作されたことによりフリーズ指示信号が入力されたタイミングである。フリーズ画像設定部337は、基準レンズ位置に近い程値が大きくなるレンズ位置重みWl(t)を算出し、コントラスト値Wc(t)との重み付き平均Fcl(t)を下式(3)により算出する。このようにすれば、コントラスト値が高くかつユーザーがフリーズ操作をしたタイミングにより近い合焦物体位置で取得した撮像画像をフリーズ画像に設定できる。
Fcl(t)=e×Wc(t)+f×Wl(t) (3)
【0101】
ここで、eはe≧0の定数であり,fはf≧0の定数である。定数e、fとして、例えば外部から予め入力された値や、予め制御部340に設定された値などを用いる。レンズ位置重みWl(t)は、時刻tにおけるレンズ位置をlp(t)とした場合、例えばWl(t)=−|lp(t)−lp(1)|である。
【0102】
以上のようにコンティニュアスAFを行う構成とすることで、焦点切り替え方式のAFに比べて、より高精細な合焦動作を行うことが可能となるため、被写体に合焦したフリーズ画像を高精度に得ることが可能となる。
【0103】
以上の実施形態によれば、フォーカス制御部(レンズ位置制御部320)は、撮像光学系におけるフォーカス調整用レンズ(フォーカスレンズ240)の位置を、連続的な位置範囲内で、合焦評価値に基づいて移動させる制御を行うことにより、合焦動作を制御する。図15で説明したように、フリーズ画像設定部337は、フリーズ画像の取得を指示する操作が操作部(フリーズスイッチ270又は外部I/F部500のフリーズボタン)により受け付けられたときのフォーカス調整用レンズの位置(基準レンズ位置)と、各体内画像が撮像されたときのフォーカス調整用レンズの位置との差を表すレンズ位置情報を取得し、レンズ位置情報及び合焦度合いに基づいてフリーズ画像を選択する。
【0104】
具体的には、上式(3)で説明したように、フリーズ画像設定部337は、フリーズ画像の取得を指示する操作が操作部により受け付けられたときのフォーカス調整用レンズの位置と、各体内画像が撮像されたときのフォーカス調整用レンズの位置との差が小さいほど値が大きくなるレンズ位置情報Wl(t)を取得し、合焦評価値Wc(t)とレンズ位置情報Wl(t)を所定の重み付け(係数e、f)で加算した値を選択用評価値Fcl(t)として求め、複数の体内画像Img1〜ImgNの中で選択用評価値Fcl(t)が最も大きい体内画像を、フリーズ画像として選択する。
【0105】
このようにすれば、複数の体内画像の中から、被写体に合焦しているとともに、ユーザーがフリーズしたいと思ったタイミングにより近い撮像画像を、フリーズ画像として表示できる。即ち、医師がフリーズスイッチ270を操作した後、時間の経過とともに撮影範囲が移動し、コントラストAFによりレンズ位置も移動することが想定されるが、本実施形態によれば、フリーズスイッチ270を操作したときの撮影範囲に近いフリーズ画像を表示できる。
【0106】
また本実施形態では、図14に示すように、内視鏡装置は、撮像光学系の撮影条件を設定する制御部340を含む。制御部340は、表示部400に複数の体内画像(動画像)が表示されている場合と、表示部400にフリーズ画像が表示されている場合とで、撮影条件を変更する。
【0107】
具体的には、撮影条件は、露光時間又は、合焦動作としてコンティニュアスAFを行う場合におけるウォブリング幅である。制御部340は、表示部400にフリーズ画像が表示されている場合において、表示部400に複数の体内画像が表示されている場合よりも、露光時間を長くし、又はウォブリング幅dwを大きくする。
【0108】
このようにすれば、フリーズ画像を表示している間は撮影条件を変更することにより、被写体に対する合焦の追従性を向上することが可能となる。フリーズ画像を表示している間は、撮影条件を変更した画像はユーザーから見えないため、撮影条件を変更しても問題は生じない。
【0109】
ここで、撮影条件とは、合焦動作において被写体に対する合焦の追従性を向上させる条件のことである。例えば、上記の露光時間又はウォブリング幅であるが、本実施形態はこれに限定されず、例えばフレームレート等であってもよい。
【0110】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【0111】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(第1の内視鏡装置、第2の内視鏡装置、通常光画像等)と共に記載された用語(カプセル型内視鏡、スコープ型内視鏡、白色光画像等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0112】
100 光源部、110 白色光源、130 光源絞り駆動部、
140 回転色フィルター、150 回転駆動部、160 集光レンズ、
200 撮像部、210 ライトガイドファイバー、220 照明レンズ、
230 対物レンズ、240 フォーカスレンズ、250 切り替え部、
260 撮像素子、270 フリーズスイッチ、280 レンズ駆動部、
300 制御装置、310 A/D変換部、320 レンズ位置制御部、
330 画像処理部、331 前処理部、332 同時化部、
333 選択部、334 記憶部、335 注目領域設定部、
336 コントラスト値算出部、337 フリーズ画像設定部、
338 後処理部、340 制御部、400 表示部、500 外部I/F部、
701〜704 フィルター、704 回転モーター、
A,B レンズ位置、BR1〜BR5 領域、DFA,DFB 被写界深度、
FPA,FPB 合焦物体位置、
Fcb(t),Fcl(t),Fct(t) 選択用評価値、
Imgt 撮像画像、ImgA 遠点フリーズ画像、ImgB 近点フリーズ画像、
L 光量、TI 所定値、Tc,Tl 閾値、Wb(t) ブレ量、
Wc(t) コントラスト値、Wl(t) レンズ位置情報、
Wt(t) 経過時間情報、a〜f 係数、t 時刻
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15