IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許7014660内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体
<>
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図1
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図2
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図3
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図4
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図5
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図6
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図7
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図8
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図9
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図10
  • 特許-内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-24
(45)【発行日】2022-02-01
(54)【発明の名称】内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体
(51)【国際特許分類】
   A61B 1/00 20060101AFI20220125BHJP
   G02B 23/24 20060101ALI20220125BHJP
   A61B 1/05 20060101ALI20220125BHJP
   A61B 1/045 20060101ALI20220125BHJP
【FI】
A61B1/00 735
G02B23/24 B
A61B1/00 650
A61B1/00 640
A61B1/00 715
A61B1/05
A61B1/045 615
【請求項の数】 25
(21)【出願番号】P 2018062018
(22)【出願日】2018-03-28
(65)【公開番号】P2019170658
(43)【公開日】2019-10-10
【審査請求日】2020-10-23
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100094400
【氏名又は名称】鈴木 三義
(74)【代理人】
【識別番号】100086379
【弁理士】
【氏名又は名称】高柴 忠夫
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(72)【発明者】
【氏名】横濱 智洋
【審査官】高松 大
(56)【参考文献】
【文献】国際公開第2017/094122(WO,A1)
【文献】特開2009-198787(JP,A)
【文献】特開2006-239204(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00
G02B 23/24
A61B 1/05
A61B 1/045
(57)【特許請求の範囲】
【請求項1】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、
制御部と、
を備え、
前記制御部は、
前記切り替え信号を出力するように前記駆動部に指示し、
前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、
前記指示をした後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第2の画像が生成された後に前記撮像素子により生成された第3の画像を比較し、
前記第1の画像、前記第2の画像、および前記第3の画像の差分量を比較し、
前記差分量の比較をした結果、前記第2の画像と前記第3の画像との差分量が最小である場合に、前記切り替え部による前記切り替えが正常に行われたと判定する
ことを特徴とする内視鏡装置。
【請求項2】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、
制御部と、
を備え、
前記制御部は、
前記切り替え信号を出力するように前記駆動部に指示し、
前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、
前記指示をした後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第1の画像が生成される前に前記撮像素子により生成された第3の画像を比較する
ことを特徴とする内視鏡装置。
【請求項3】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、
制御部と、
を備え、
前記制御部は、
前記切り替え信号を出力するように前記駆動部に指示し、
前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像のコントラストを比較する
ことを特徴とする内視鏡装置。
【請求項4】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、
制御部と、
を備え、
前記制御部は、
前記切り替え信号を出力するように前記駆動部に指示し、
前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像の平均露光量を比較する
ことを特徴とする内視鏡装置。
【請求項5】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、
制御部と、
を備え、
前記制御部は、
前記切り替え信号を出力するように前記駆動部に指示し、
前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像の左側または右側の平均色を比較する
ことを特徴とする内視鏡装置。
【請求項6】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、
制御部と、
を備え、
前記制御部は、
前記切り替え信号を出力するように前記駆動部に指示し、
前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、
前記第1の光学系および前記第2の光学系を備える内視鏡装置の先端部は、種別を識別するための情報を含む種別判定部を備え、
前記内視鏡装置は、前記種別判定部の情報を読み取り、前記先端部の種別を判定する種別検知部をさらに備え、
前記種別検知部が、前記先端部において、前記第1の光学系と前記第2の光学系は互いに絞りの値が異なると判定した場合、
前記制御部は、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像の平均露光量を比較する
ことを特徴とする内視鏡装置。
【請求項7】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、
制御部と、
を備え、
前記制御部は、
前記切り替え信号を出力するように前記駆動部に指示し、
前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、
前記第1の光学系および前記第2の光学系を備える内視鏡装置の先端部は、種別を識別するための情報を含む種別判定部を備え、
前記内視鏡装置は、前記種別判定部の情報を読み取り、前記先端部の種別を判定する種別検知部をさらに備え、
前記種別検知部が、前記先端部において、前記第1の被写体像と前記第2の被写体像は、互いに視差を有し、前記第1の光学系からの光は前記結像領域に対し斜めに右側から入射し、前記第2の光学系からの光は前記結像領域に対し斜めに左側から入射すると判定した場合、
前記制御部は、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像の左側または右側の平均色を比較する
ことを特徴とする内視鏡装置。
【請求項8】
前記制御部は、
前記指示をした後に、前記指示をする前に前記撮像素子により生成された第1の画像と、前記指示をした後に前記撮像素子により生成された第2の画像との差分量を算出し、
前記差分量と所定の閾値とを比較し、
前記比較した結果、前記差分量が前記閾値よりも大きい場合に、前記切り替え部による前記切り替えが正常に行われたと判定する
ことを特徴とする請求項3から7のいずれか1項に記載の内視鏡装置。
【請求項9】
前記制御部は、
前記指示をした後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第2の画像が生成された後に前記撮像素子により生成された第3の画像を比較する
ことを特徴とする請求項3から7のいずれか1項に記載の内視鏡装置。
【請求項10】
前記制御部は、
前記第1の画像、前記第2の画像、および前記第3の画像の差分量を比較し、
前記比較した結果、前記第2の画像と前記第3の画像との差分量が最小である場合に、前記切り替え部による前記切り替えが正常に行われたと判定する
ことを特徴とする請求項に記載の内視鏡装置。
【請求項11】
前記制御部は、
前記指示をした後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第1の画像が生成される前に前記撮像素子により生成された第3の画像を比較する
ことを特徴とする請求項3から7のいずれか1項に記載の内視鏡装置。
【請求項12】
前記制御部は、
前記第1の画像、前記第2の画像、および前記第3の画像の差分量を比較し、
前記比較した結果、前記第1の画像と前記第2の画像との差分量が最小である場合に、前記切り替え部による前記切り替えが正常に行われたと判定する
ことを特徴とする請求項11に記載の内視鏡装置。
【請求項13】
前記制御部は、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された各画像の平均輝度値と所定の閾値とを比較し、
前記比較した結果、全ての前記画像の平均輝度値が前記閾値未満である場合に、前記切り替え部による切り替え動作が正常に行われなかったと判定する
ことを特徴とする請求項1から7のいずれか1項に記載の内視鏡装置。
【請求項14】
前記制御部は、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像のコントラストを比較する
ことを特徴とする請求項1から7のいずれか1項に記載の内視鏡装置。
【請求項15】
前記制御部は、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像の平均露光量を比較する
ことを特徴とする請求項1から7のいずれか1項に記載の内視鏡装置。
【請求項16】
前記制御部は、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像の左側または右側の平均輝度を比較する
ことを特徴とする請求項1から7のいずれか1項に記載の内視鏡装置。
【請求項17】
前記制御部は、
前記指示をした後に、前記指示をする前後に前記撮像素子により生成された画像の左側または右側の平均色を比較する
ことを特徴とする請求項1から7のいずれか1項に記載の内視鏡装置。
【請求項18】
前記第1の光学系および前記第2の光学系を備える前記内視鏡装置の先端部は、種別を識別するための情報を含む種別判定部を備え、
前記内視鏡装置は、前記種別判定部の情報を読み取り、前記先端部の種別を判定する種別検知部をさらに備える
ことを特徴とする請求項2、3、4、5のいずれか1項に記載の内視鏡装置。
【請求項19】
前記制御部が前記指示をする前後に前記撮像素子により生成された画像を記憶する記憶部をさらに有する
ことを特徴とする請求項1からのいずれか1項に記載の内視鏡装置。
【請求項20】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
を備える内視鏡装置における光学系の切り替え判定方法であって、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替えるように前記切り替え部に指示する切り替えステップと、
前記切り替えステップの後に、前記切り替えステップの前後に前記撮像素子により生成された複数の画像を比較するステップと、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定するステップと、
前記切り替えステップの後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第2の画像が生成された後に前記撮像素子により生成された第3の画像を比較するステップと、
前記第1の画像、前記第2の画像、および前記第3の画像の差分量を比較するステップと、
前記差分量の比較をした結果、前記第2の画像と前記第3の画像との差分量が最小である場合に、前記切り替え部による前記切り替えが正常に行われたと判定するステップと、
を備えることを特徴とする内視鏡装置における光学系の切り替え判定方法。
【請求項21】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
を備える内視鏡装置における光学系の切り替え判定方法であって、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替えるように前記切り替え部に指示する切り替えステップと、
前記切り替えステップの後に、前記切り替えステップの前後に前記撮像素子により生成された複数の画像を比較するステップと、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定するステップと、
前記切り替えステップの後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第1の画像が生成される前に前記撮像素子により生成された第3の画像を比較するステップと、
を備えることを特徴とする内視鏡装置における光学系の切り替え判定方法。
【請求項22】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
を備える内視鏡装置における光学系の切り替え判定方法であって、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替えるように前記切り替え部に指示する切り替えステップと、
前記切り替えステップの後に、前記切り替えステップの前後に前記撮像素子により生成された複数の画像を比較するステップと、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定するステップと、
前記切り替えステップの後に、前記指示をする前後に前記撮像素子により生成された画像の平均露光量を比較するステップと、
を備えることを特徴とする内視鏡装置における光学系の切り替え判定方法。
【請求項23】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
を備える内視鏡装置における光学系の切り替え判定方法であって、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替えるように前記切り替え部に指示する切り替えステップと、
前記切り替えステップの後に、前記切り替えステップの前後に前記撮像素子により生成された複数の画像を比較するステップと、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定するステップと、
前記切り替えステップの後に、前記指示をする前後に前記撮像素子により生成された画像の左側または右側の平均色を比較するステップと、
を備えることを特徴とする内視鏡装置における光学系の切り替え判定方法。
【請求項24】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
を備える内視鏡装置における光学系の切り替え判定方法であって、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替えるように前記切り替え部に指示する切り替えステップと、
前記切り替えステップの後に、前記切り替えステップの前後に前記撮像素子により生成された複数の画像を比較するステップと、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定するステップと、
前記内視鏡装置の先端部に備えられた種別を識別するための情報を含む種別判定部の情報を読み取り、前記先端部の種別を判定するステップと、
前記先端部において、前記第1の光学系と前記第2の光学系は互いに絞りの値が異なると判定した場合、前記切り替えステップの後に、前記指示をする前後に前記撮像素子により生成された画像の平均露光量を比較するステップと、
を備えることを特徴とする内視鏡装置における光学系の切り替え判定方法。
【請求項25】
第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、
を備える内視鏡装置における光学系の切り替え判定方法であって、
前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替えるように前記切り替え部に指示する切り替えステップと、
前記切り替えステップの後に、前記切り替えステップの前後に前記撮像素子により生成された複数の画像を比較するステップと、
前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定するステップと、
前記内視鏡装置の先端部に備えられた種別を識別するための情報を含む種別判定部の情報を読み取り、前記先端部の種別を判定するステップと、
前記先端部において、前記第1の被写体像と前記第2の被写体像は、互いに視差を有し、前記第1の光学系からの光は前記結像領域に対し斜めに右側から入射し、前記第2の光学系からの光は前記結像領域に対し斜めに左側から入射すると判定した場合、前記切り替えステップの後に、前記指示をする前後に前記撮像素子により生成された画像の左側または右側の平均色を比較するステップと、
を備えることを特徴とする内視鏡装置における光学系の切り替え判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体に関する。より詳しくは、光路切り替え手段を有する内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体に関する。
【背景技術】
【0002】
従来から、医療用分野や工業用分野において、細長い挿入部を被検物内に挿入し、挿入部の先端に位置する先端部内に備えた撮像素子によって被検物内の被写体の画像を撮影する内視鏡装置が広く利用されている。例えば、医療用分野では、体腔内に挿入部を挿入して体腔内の臓器などを観察したり、必要に応じて処置具チャンネル内に挿通した処置具を用いて各種の治療処置を行ったりするために、医療用内視鏡装置が利用されている。また、例えば、工業用分野では、ボイラ、タービン、エンジン、化学プラントなどの内部の傷や腐食などの観察や検査を行うために、工業用内視鏡装置が利用されている。
【0003】
例えば、発電所内のガスタービンエンジンでは、高圧タービンのブレードは、高圧、高温の燃焼空気が吹付けられるため、熱衝撃によってクラックなどが生じ易い部品である。そして、ブレードに生じるクラックなどの損傷は、エンジンにとって致命的な損傷である。このため、工業用内視鏡装置を用いた高圧タービンのブレードの検査や点検は、ガスタービンエンジンのメインテナンスを行う上で最も重要な項目の1つとなっている。そして、ガスタービンエンジンのメインテナンスでは、ブレードの検査において、損傷の形状を計測し、その計測結果に基づいて、ブレードの交換を行うか否かを判定している。
【0004】
ところで、上述したような工業用内視鏡装置を用いた検査では、計測を行うための技術として、ステレオ計測技術が広く用いられている。ステレオ計測技術は、被写体を撮影した右目に相当する画像と左目に相当する画像との視差を利用して生成した3次元画像に基づいて計測を行う計測技術である。このため、ステレオ計測を行う工業用内視鏡装置は、先端部内に2つの対物レンズを備え、それぞれの対物レンズからなる光学系で結像した被写体像に応じた画像を撮像素子によって形成する構成となっている。
【0005】
このとき、右目に相当する対物レンズが結像した被写体像の画像と、左目に相当する対物レンズが結像した被写体像の画像とを、それぞれの対物レンズに対応する撮像素子、つまり、2つの撮像素子によって形成する構成にすると、工業用内視鏡装置の先端部を細くすることができない。そこで、右目に相当する対物レンズが結像した被写体像の画像と、左目に相当する対物レンズが結像した被写体像の画像とを、1つの撮像素子によって形成する構成が考えられる。しかしながら、この構成の場合には、1つの撮像素子の撮像領域の全体を分割して右目に相当する画像と左目に相当する画像とを形成することになるため、それぞれの画像の解像度が低下することになり、工業用内視鏡装置におけるステレオ計測の計測精度が低下してしまうことが考えられる。
【0006】
このため、例えば、特許文献1のように、右目に相当する画像と左目に相当する画像とのそれぞれの画像を1つの撮像素子によって形成する構成でありながら、それぞれの画像の解像度を高くして、ステレオ計測の計測精度を向上させる内視鏡装置の技術が提案されている。特許文献1に開示された技術では、2つの光学系の光路のうちいずれか一方の光路からの光のみが1つの撮像素子に入射するように、他方の光路からの光を時分割で遮蔽する時分割光路切り替え手段を備えている。この構成によって特許文献1に開示された技術では、遮蔽していない方の光路からの光が1つの撮像素子の撮像領域の全体に結像され、撮像素子が形成する画像の解像度を高くすることができる。
【0007】
なお、特許文献1に開示された技術では、2つの光学系の光路からの光を交互に撮像素子に入射させることによって、それぞれの光学系で結像した被写体像の画像を形成し、ステレオ計測を行うことができる。これにより、特許文献1に開示された技術を適用した工業用内視鏡装置では、ステレオ計測を行うために撮影した右目に相当する画像と左目に相当する画像とのそれぞれの画像の解像度を高くして、被検物内の被写体を計測する際の計測精度を向上させることができる。
【先行技術文献】
【特許文献】
【0008】
【文献】特開2010-128354号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献1に開示された技術を適用した工業用内視鏡装置では、2つの光学系の光路を切り替えるための時分割光路切り替え手段として、それぞれの光路を時分割で交互に遮蔽する構成要素を、先端部に備えることが必須となる。特許文献1には、時分割光路切り替え手段として、いずれか一方の光路からの光を遮蔽するための遮蔽部材を、軸を中心に回動させる構成が開示されている。つまり、特許文献1には、遮蔽部材を物理的に移動させる機械的な機構が開示されている。
【0010】
光路切り替え手段は、複数の光路から一つを確実に切り替えできることを前提としている。特許文献1に開示されたような機械的な機構では、遮蔽部材を物理的に移動させることにより光路を切り替える。例えば、磁気駆動装置によって遮光部材を動かす機構の場合、先端部に物理的なアクチュエータを有する。
【0011】
したがって、光路を切り替える制御信号を送っても、例えば、光路切り替え手段の内部が固着して光路の切り替えに失敗するなど、動作不良により光路切り替え手段が正常に動かない可能性がある。また、光路を切り替えなくても、外部からの衝撃で光路が切り替わってしまう恐れがある。しかし、内視鏡の場合、先端部は非常に小さいため、遮蔽部材が正しく動いたか否かを判定する光路検出手段を先端部に搭載することは難しい。
【0012】
本発明は、上記の課題認識に基づいてなされたものであり、光路切り替え手段を有する内視鏡装置において、追加の光路検出手段を物理的に実装しなくても、画像処理で光路が正しく切り替わったか否かを判定できる内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体を提供することを目的としている。
【課題を解決するための手段】
【0013】
上記課題を解決するために、本発明の1態様に係る内視鏡装置は、第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替える切り替え信号を前記切り替え部に出力する駆動部と、制御部と、を備え、前記制御部は、前記切り替え信号を出力するように前記駆動部に指示し、前記指示をした後に、前記指示をした前後に前記撮像素子により生成された複数の画像を比較し、前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定し、前記指示をした後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第2の画像が生成された後に前記撮像素子により生成された第3の画像を比較し、前記第1の画像、前記第2の画像、および前記第3の画像の差分量を比較し、前記差分量の比較をした結果、前記第2の画像と前記第3の画像との差分量が最小である場合に、前記切り替え部による前記切り替えが正常に行われたと判定することを特徴とする。
【0014】
本発明の1態様に係る内視鏡装置における光学系の切り替え判定方法は、第1の光学系を通った光が形成する被写体の第1の被写体像、および第2の光学系を通った光が形成する前記被写体の第2の被写体像が共通に結像される結像領域に、前記第1の被写体像および前記第2の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、前記結像領域に結像された前記第1の被写体像および前記第2の被写体像を撮像して画像を生成する撮像素子と、を備える内視鏡装置における光学系の切り替え判定方法であって、前記第1の光学系を前記第2の光学系に切り替える、または前記第2の光学系を前記第1の光学系に切り替えるように前記切り替え部に指示するステップと、前記切り替えステップの後に、前記切り替えステップの前後に前記撮像素子により生成された複数の画像を比較するステップと、前記比較した結果に基づいて、前記切り替え部による前記切り替えが正常に行われたか否かを判定するステップと、前記切り替えステップの後に、前記指示をする前に前記撮像素子により生成された第1の画像、前記指示をした後に前記撮像素子により生成された第2の画像、および前記第2の画像が生成された後に前記撮像素子により生成された第3の画像を比較するステップと、前記第1の画像、前記第2の画像、および前記第3の画像の差分量を比較するステップと、前記差分量の比較をした結果、前記第2の画像と前記第3の画像との差分量が最小である場合に、前記切り替え部による前記切り替えが正常に行われたと判定するステップと、を備えることを特徴とする。
【発明の効果】
【0017】
本発明の各態様によれば、光路切り替え手段を有する内視鏡装置において、追加の光路検出手段を物理的に実装しなくても、画像処理で光路が正しく切り替わったか否かを判定できる内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体を提供することができる。
【図面の簡単な説明】
【0018】
図1】本発明の第1実施形態に係る、内視鏡装置の全体構成を示すブロック図である。
図2】本発明の第1実施形態に係る、内視鏡装置の光路切り替え時における撮影画像の切り替わりを示すタイミングチャートである。
図3】本発明の第1実施形態に係る、内視鏡装置の光路切り替え時における動作を示すフローチャートである。
図4】本発明の第2実施形態に係る、内視鏡装置の全体構成を示すブロック図である。
図5】本発明の第2実施形態に係る、内視鏡装置の光路切り替え時における撮影画像の切り替わりを示すタイミングチャートである。
図6】本発明の第2実施形態に係る、内視鏡装置の光路切り替え時における動作を示すフローチャートである。
図7】本発明の第3実施形態に係る、内視鏡装置の全体構成を示すブロック図である。
図8】本発明の第3実施形態に係る、内視鏡装置の光路切り替え時における動作を示すフローチャートである。
図9】本発明の第4実施形態に係る、内視鏡装置の全体構成を示すブロック図である。
図10】本発明の第4実施形態に係る、内視鏡装置の画像の輝度プロファイルを示すグラフである。
図11】本発明の第4実施形態に係る、内視鏡装置の光路切り替え時における動作を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、図面を参照して、本発明の実施形態に係る内視鏡装置について詳細に説明する。
【0020】
まず、本発明の第1実施形態に係る内視鏡装置について説明する。図1は、本発明の第1実施形態に係る内視鏡装置の全体構成を示すブロック図である。内視鏡装置10は、被検物内に挿入される先端部(光学アダプター)20と、画像を結像する撮像部30と、内視鏡装置全体を制御する本体部40を備える。先端部20は撮像部30の遠位端に接続されており、着脱可能であってもよい。撮像部30と本体部40とは、被検物内に挿入される細長の挿入部(図示なし)等で接続されている。撮像部30は、イメージャ(撮像素子)31を備える。
【0021】
先端部20は、第1の対物光学系21と、第2の対物光学系22と、光路切り替え部23と、共通光学系24とを備える。先端部20は、光学アダプター種別判定部25を備えてもよいし、光学アダプター種別判定部25はなくてもよい。図1の例では、第1の対物光学系の光軸の向きは共通光学系24の光軸の向きと等しく、第2の対物光学系の光軸の向きは共通光学系24の光軸の向きと直交している。そのため、第1の対物光学系21はレンズ26を含み、第2の対物光学系22はレンズ27およびプリズム28を含む。
【0022】
光路切り替え部23は、第1の対物光学系21(第1の光路)と第2の対物光学系22(第2の光路)を切り替える。すなわち、光路切り替え部23は、第1の対物光学系21から入射する光と、第2の対物光学系22から入射する光とを切り替えて、一方の光のみを、共通光学系24を介して、イメージャ31に入射させる。すなわち、第1の対物光学系21から入射した光が形成する被写体の第1の被写体像と、第2の対物光学系22から入射した光が形成する被写体の第2の被写体像のいずれかが、イメージャ31に結像する。
【0023】
光路切り替え部23は、例えば、遮光部材29を備え、選択しない側の対物光学系に遮光部材29を挿入することにより、選択しない側の対物光学系から入射する光を遮断する。遮光部材29は、例えば、磁気駆動装置によって駆動する。
【0024】
なお、図1では、第1の対物光学系21と第2の対物光学系22の視野方向が互いに異なる例を示したが、本実施形態はこれに限らない。本実施形態は、光路(対物光学系)が2つ以上あり、光路に何か部材を出し入れすることにより光路を切り替える全ての場合に適用できる。
【0025】
イメージャ31で結像した画像は、RAW信号に変換され、本体部40に送信される。本体部40は、画像変換部41と、画像比較部42と、光路選択判定部43と、制御部44と、光路切り替え駆動部45とを備える。本体部40は、光学アダプター種別検知部46を備えてもよい。
【0026】
画像変換部(記憶部)41は、イメージャ31から送信されたRAW信号を変換して画像として蓄積する。画像比較部42は、画像変換部41に蓄積された複数の画像を比較する。具体的には、光路切り替え前に結像する画像を第1の画像、光路切り替え後に結像する画像を第2の画像としたとき、画像比較部42は、第1の画像と第2の画像とを比較する。
【0027】
光路選択判定部43は、画像比較部42での画像の比較結果に基づいて、どちらの光路に今切り替わっているのか、あるいは光路が正しく切り替わったか否かを判定し(光路選択判定)、光路選択判定結果を制御部44に送信する。制御部44は、光路選択判定部43での光路選択判定結果に基づいて、光路選択判定部43および光路切り替え駆動部45を制御するための制御信号を送信し、光路の切り替えを制御する。光路切り替え駆動部45は、制御部44からの制御信号に基づいて、光路切り替え部23に光路の切り替えを指示するための光路切り替え信号を送信する。
【0028】
光学アダプター種別検知部46は、先端部20(光学アダプター)の光学アダプター種別判定部25の情報(データ)を読み取り、データに基づいて、先端部20(光学アダプター)の種別を判定する。
【0029】
画像比較部42での光路選択判定の仕組みについて説明する。図2は、光路切り替え時における撮影画像の切り替わりを示すタイミングチャートである。図2の横軸は時刻を示し、各時刻において撮影したフレーム番号を[]で挟んで表している。0フレーム目と1フレーム目の境界の時刻で、光路切り替え部23は、光路を第1の対物光学系21から第2の対物光学系22に切り替えている。すなわち、0フレーム目と1フレーム目の境界の時刻で、光路切り替え駆動部45は、光路切り替え部23に光路の切り替えを指示するための光路切り替え信号を送信する。光路切り替え信号の指示は、光路を、第1の対物光学系21に切り替えるのか、第2の対物光学系22に切り替えるのかの指示を含んでもよい。
【0030】
図2(a)~図2(c)の各々のタイミングチャートにおいて、上段は、第1の対物光学系21から入射した光が結像して得られる被写体の第1の被写体像を、撮影画像(1)として示している。下段は、第2の対物光学系22から入射した光が結像して得られる被写体の第2の被写体像を、撮影画像(2)として示している。
【0031】
図2(a)は、光路切り替え部23が正しく動作した場合を示すタイミングチャートである。光路切り替え部23が正しく動作したとき、光路は切り替わり、図2(a)に示すように、0フレーム目の画像は第1の対物光学系21から入射した光が結像して得られる被写体の第1の被写体像(1)であり、1フレーム目の画像は第2の対物光学系22から入射した光が結像して得られる被写体の第2の被写体像(2)である。
【0032】
図2(b)は、光路切り替え部23が正しく動作しなかった場合を示すタイミングチャートである。光路切り替え部23が正しく動作しなかった場合、光路は切り替わらず、図2(b)に示すように、1フレーム目の画像も第1の対物光学系21から入射した光が結像して得られる被写体の第1の被写体像(1)となる。
【0033】
図2(c)は、光路切り替え動作前に光路が切り替わってしまっている場合を示すタイミングチャートである。例えば、光路切り替え動作前に、外圧などによって光路が切り替わってしまう場合がある。このような場合、図2(c)に示すように、光路切り替え動作前のフレームの画像は、第2の対物光学系22から入射した光が結像して得られる被写体の第2の被写体像(2)である。従って、光路切り替え動作によって光路は切り替わらない。
【0034】
画像変換部41は、0フレーム目の画像(第1の画像)と1フレーム目の画像(第2の画像)を蓄積し、画像比較部42に出力する。画像比較部42は、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、ZNCC(Zero-means Normalized Cross-Correlation)などの一般的な画像比較方法を用いて、0フレーム目の画像と1フレーム目の画像とを比較する。なお、2つの画像データを直接比較するのではなく、それぞれの画像から、明るさ、輝度、コントラスト、色差などを評価値として算出し、その評価値同士を比較してもよい。
【0035】
このとき、フレームレートが十分高速であれば、同一の光学系で得られる2つの画像の差分量は、異なる光学系で得られる2つの画像の差分量と比較して小さい。したがって、0フレーム目の画像と1フレーム目の画像との差分量が、あらかじめ与えた閾値より大きい場合は、光路選択判定部43は、比較した画像が異なる光学系で得られたものであると判定する。すなわち、光路選択判定部43は、図2(a)に示すように、0フレーム目と1フレーム目の境界の時刻で、光路切り替えが行われたと判定する。
【0036】
図2(a)では、光路切り替え駆動部45は、光路を第2の対物光学系22に切り替える光路切り替え信号を出力している。したがって、光路選択判定部43が、光路切り替え信号が出力された時刻の前後で、異なる光学系で結像できたと判定したことから、光路切り替え後に得られた画像は、第2の対物光学系22から入射した光が結像して得られる被写体の第2の被写体像(2)であると判定できる。すなわち、光路切り替え駆動部45が光路をどちらに切り替える指示をしているという点と、光路選択判定部43が画像が切り替わっていると判定したか否かという点の2点から、現在どちらの光路を使用しているのかを判定できる。
【0037】
一方、0フレーム目の画像と1フレーム目の画像との差分量が、あらかじめ与えた閾値より小さい場合は、光路選択判定部43は、比較した画像が同一の光学系で得られたものであると判定する。すなわち、光路選択判定部43は、0フレーム目と1フレーム目の境界の時刻で、光路切り替えが行われなかったと判定する。この場合は、図2(b)に示すように光路切り替え部23が正しく動作しなかった場合と、図2(c)に示すように光路切り替え動作前に光路が切り替わってしまっている場合とを含む。そのため、現在どちらの光路を使用しているのかは判定できない。
【0038】
図3は、本実施形態に係る、内視鏡装置の光路切り替え時における動作を示すフローチャートである。ここでは、画像比較方法として、SAD(Sum of Absolute Difference)を用いた例を示している。0フレーム目と1フレーム目の境界の時刻で、光路切り替え部23が光路を切り替えると、画像比較部42の動作フローが始まる。まず、ステップS1において、画像比較部42は、SADによる0フレーム目の画像データと1フレーム目の画像データとの差分量である、SAD[0,1]を算出する。
【0039】
次に、ステップS2において、画像比較部42は、算出されたSAD[0,1]があらかじめ与えた閾値より大きいか否かを判定する。SAD[0,1]が閾値より大きい場合は、ステップS3に進み、光路選択判定部43は切り替え動作が正常に行われたと判定する。したがって、2フレーム目の画像は正しい光路を通った画像であると分かる。そして、光路切り替え時における動作フローは終了する。
【0040】
SAD[0,1]が閾値より小さいまたは等しい場合は、ステップS4に進み、光路選択判定部43は切り替え動作が正常に行われなかったと判定する。この場合、現在の光路は不明である。そして、光路切り替え時における動作フローは終了する。
【0041】
上述のように、本実施形態では、光路切り替え手段を有する内視鏡装置において、光路切り替え前後の2つの画像(第1の画像と第2の画像)を比較して2つの画像に差があるのか否かを判定し、この結果から、光路が正しく切り替わったか否かを判定する。したがって、追加の光路検出手段を物理的に実装しなくても、画像処理で光路が正しく切り替わったか否かを判定できる。
【0042】
次に、本発明の第2実施形態に係る内視鏡装置について説明する。図4は、本発明の第2実施形態に係る内視鏡装置の全体構成を示すブロック図である。内視鏡装置110は、被検物内に挿入される先端部(光学アダプター)120と、画像を結像する撮像部30と、内視鏡装置全体を制御する本体部140を備える。先端部120は撮像部30の遠位端に接続されており、着脱可能であってもよい。撮像部30と本体部140とは、被検物内に挿入される細長の挿入部(図示なし)等で接続されている。撮像部30は、イメージャ(撮像素子)31を備える。
【0043】
先端部120は、共通の対物光学系121と、光路切り替え部123と、共通光学系124とを備える。先端部120は、光学アダプター種別判定部25を備えてもよいし、光学アダプター種別判定部25はなくてもよい。
【0044】
光路切り替え部123は、例えば光学部材129を備え、光路上に光学部材129を出し入れすることにより、第1の対物光学系(第1の光路)と第2の対物光学系(第2の光路)を切り替える。光学部材129は、例えば、平行平板などのフィルタであり、第1の対物光学系と第2の対物光学系の焦点距離は互いに異なる。すなわち、光路上に光学部材129を出し入れすることにより、画角が切り替わる。光学部材129は、例えば、磁気駆動装置によって駆動する。
【0045】
光路上に光学部材129が挿入されている場合の光路(第1の光路)を、第1の対物光学系とし、光路上に光学部材129が挿入されていない場合の光路(第2の光路)を、第2の対物光学系とする。光路切り替え部123は、第1の対物光学系から入射する光と、第2の対物光学系から入射する光とを切り替えて、一方の光のみを、共通光学系124を介して、イメージャ31に入射させる。すなわち、第1の対物光学系から入射した光が形成する被写体の第1の被写体像と、第2の対物光学系から入射した光が形成する被写体の第2の被写体像のいずれかが、イメージャ31に結像する。
【0046】
図4の例では、第1の対物光学系の光軸の向きおよび第2の対物光学系の光軸の向きは共通光学系124の光軸の向きと等しい。第1の対物光学系と第2の対物光学系との違いは、光路上に光学部材129が存在しているか否かだけである。
【0047】
イメージャ31で結像した画像は、RAW信号に変換され、本体部140に送信される。本体部140は、画像変換部141と、画像比較部142と、光路選択判定部143と、制御部44と、光路切り替え駆動部45とを備える。本体部140は、光学アダプター種別検知部46を備えてもよい。
【0048】
画像変換部(記憶部)141は、イメージャ31から送信されたRAW信号を変換して画像として蓄積する。画像比較部142は、画像変換部141に蓄積された複数の画像を比較する。具体的には、光路切り替え前に結像する1フレームの画像を第1の画像、光路切り替え後に結像する2フレームの画像を第2の画像および第3の画像としたとき、画像比較部142は、第1の画像と第2の画像、第2の画像と第3の画像、第1の画像と第3の画像をそれぞれ比較する。
【0049】
光路選択判定部143は、画像比較部142での画像の比較結果に基づいて、どちらの光路に今切り替わっているのか、あるいは光路が正しく切り替わったか否かを判定し(光路選択判定)、光路選択判定結果を制御部44に送信する。制御部44は、光路選択判定部143での光路選択判定結果に基づいて、光路選択判定部143および光路切り替え駆動部45を制御するための制御信号を送信し、光路の切り替えを制御する。光路切り替え駆動部45は、制御部44からの制御信号に基づいて、光路切り替え部23に光路の切り替えを指示するための光路切り替え信号を送信する。
【0050】
光学アダプター種別検知部46は、先端部20(光学アダプター)の光学アダプター種別判定部25の情報(データ)を読み取り、データに基づいて、先端部20(光学アダプター)の種別を判定する。
【0051】
画像比較部142での光路選択判定の仕組みについて説明する。図5は、光路切り替え時における撮影画像の切り替わりを示すタイミングチャートである。図5の横軸は時刻を示し、各時刻において撮影したフレーム番号を[]で挟んで表している。0フレーム目と1フレーム目の境界の時刻で、光路切り替え部123は、光路を第1の対物光学系から第2の対物光学系に切り替えている。すなわち、0フレーム目と1フレーム目の境界の時刻で、光路切り替え駆動部45は、光路切り替え部123に光路の切り替えを指示するための光路切り替え信号を送信する。光路切り替え信号の指示は、光路を、第1の対物光学系に切り替えるのか、第2の対物光学系に切り替えるのかの指示を含んでもよい。
【0052】
図5(a)および図5(b)の各々のタイミングチャートにおいて、上段は、第1の対物光学系から入射した光が結像して得られる被写体の第1の被写体像を、撮影画像(1)として示している。下段は、第2の対物光学系から入射した光が結像して得られる被写体の第2の被写体像を、撮影画像(2)として示している。
【0053】
図5(a)は、光路切り替え部123が正しく動作した場合を示すタイミングチャートである。光路切り替え部123が正しく動作したとき、光路は切り替わり、図5(a)に示すように、0フレーム目の画像は第1の対物光学系から入射した光が結像して得られる被写体の第1の被写体像(1)であり、1フレーム目以降の画像は第2の対物光学系から入射した光が結像して得られる被写体の第2の被写体像(2)である。
【0054】
図5(b)は、光路切り替え部123が正しく動作しなかった場合を示すタイミングチャートである。光路切り替え部123が正しく動作しなかった場合、光路は切り替わらず、図5(b)に示すように、1フレーム目以降の画像も第1の対物光学系から入射した光が結像して得られる被写体の第1の被写体像(1)となる。
【0055】
画像変換部141は、0フレーム目の画像(第1の画像)、1フレーム目の画像(第2の画像)および2フレーム目の画像(第3の画像)を蓄積し、画像比較部142に出力する。画像比較部142は、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、ZNCC(Zero-means Normalized Cross-Correlation)などの一般的な画像比較方法を用いて、0フレーム目の画像と1フレーム目の画像、1フレーム目の画像と2フレーム目の画像をそれぞれ比較する。なお、2つの画像データを直接比較するのではなく、それぞれの画像から、明るさ、輝度、コントラスト、色相などを評価値として算出し、その評価値同士を比較してもよい。
【0056】
このとき、フレームレートが十分高速であれば、同一の光学系で得られる2つの画像の差分量は、異なる光学系で得られる2つの画像の差分量と比較して小さい。ゆえに、光路切り替え部123が正しく動作した場合には、同一の光学系で撮影した1フレーム目の画像と2フレーム目の画像との差分量が最小となる。したがって、1フレーム目の画像と2フレーム目の画像との差分量が、0フレーム目の画像と1フレーム目の画像との差分量より小さい場合は、光路選択判定部143は、0フレーム目の画像と1フレーム目の画像が異なる光学系で得られたものであると判定する。すなわち、光路選択判定部143は、図5(a)に示すように、0フレーム目と1フレーム目の境界の時刻で、光路切り替えが行われたと判定する。
【0057】
図5(a)では、光路切り替え駆動部45は、光路を第2の対物光学系に切り替える光路切り替え信号を出力している。したがって、光路選択判定部143が、光路切り替え信号が出力された時刻の前後で、異なる光学系で結像できたと判定したことから、光路切り替え後に得られた画像は、第2の対物光学系から入射した光が結像して得られる被写体の第2の被写体像(2)であると判定できる。すなわち、光路切り替え駆動部45が光路をどちらに切り替える指示をしているという点と、光路選択判定部143が画像が切り替わっていると判定したか否かという点の2点から、現在どちらの光路を使用しているのかを判定できる。
【0058】
一方、光路切り替え部123が正しく動作しなかった場合、または切り替え前に既に光路が切り替わっている場合では、3つの画像とも同一の光学系で得られているため、3つの画像のうちのどの2つの画像をとっても、2つの画像の差分量は同じである。よって3つの画像から選択した2つの画像の差分量のうち、1フレーム目の画像と2フレーム目の画像との差分量が最小値であれば、光路選択判定部143は、光学系が正しく切り替わったと判定する。すなわち、光路選択判定部143は、0フレーム目と1フレーム目の境界の時刻で、光路切り替えが行われなかったと判定する。この場合は、光路切り替え部123が正しく動作しなかった場合(図5(b))と、光路切り替え動作前に光路が切り替わってしまっている場合(図示なし)とを含む。そのため、現在どちらの光路を使用しているのかは判定できない。
【0059】
図6は、本実施形態に係る、内視鏡装置の光路切り替え時における動作を示すフローチャートである。ここでは、画像比較方法として、SAD(Sum of Absolute Difference)を用いた例を示している。0フレーム目と1フレーム目の境界の時刻で、光路切り替え部123が光路を切り替えると、光路切り替え時における動作フローが始まる。
【0060】
まず、ステップS101において、画像比較部142は、得られた全てのフレーム(ここでは、0フレーム目、1フレーム目、2フレーム目)の画像の平均輝度があらかじめ与えた閾値より小さいか否かを判定する。このステップS101により、画像が真っ暗な場合を除外する。ここで、平均輝度は、画像内の全画素の輝度平均ではなく、画像内の一部の領域を指定してその領域内の画素の輝度平均を取ってもよい。
【0061】
全てのフレームの画像の平均輝度が閾値より大きいか等しい場合は、ステップS102に進む。全てのフレームの画像の平均輝度が閾値より小さい場合(画像が真っ暗な場合)は、ステップS107に進む。
【0062】
ステップS102において、画像比較部142は、SADによる0フレーム目の画像データと2フレーム目の画像データとの差分量である、SAD[0,2]を算出する。そしてステップS103に進み、画像比較部142は、SADによる0フレーム目の画像データと1フレーム目の画像データとの差分量である、SAD[0,1]を算出する。そしてステップS104に進み、画像比較部142は、SADによる1フレーム目の画像データと2フレーム目の画像データとの差分量である、SAD[1,2]を算出する。
【0063】
次に、ステップS105において、画像比較部142は、算出されたSAD[0,2]、SAD[0,1]、SAD[1,2]のうちの最小がSAD[1,2]であるか否かを判定する。SAD[1,2]が最小である場合は、ステップS106に進み、光路選択判定部143は切り替え動作が正常に行われたと判定する。したがって、2フレーム目の画像は正しい光路を通った画像であると分かる。そして、光路切り替え時における動作フローは終了する。
【0064】
SAD[1,2]が最小でない場合は、ステップS107に進む。ステップS107において、光路選択判定部143は切り替え動作が正常に行われなかったと判定する。この場合、現在の光路は不明である。そして、光路切り替え時における動作フローは終了する。
【0065】
上述の説明では、0フレーム目の画像と1フレーム目の画像のほかに2フレーム目の画像を使用したが、本実施形態はこれに限らない。光路切り替え前後の2つの画像の差分量を算出できることに加えて、切り替え前の2つの画像の差分量または切り替え後の2つの画像の差分量を算出できればよい。
【0066】
上述のように、本実施形態では、光路切り替え手段を有する内視鏡装置において、光路切り替え前後の3つの画像(第1の画像、第2の画像および第3の画像)のうちの2つの画像の差分量を算出して、差分量同士を比較し、この結果から、光路が正しく切り替わったか否かを判定する。したがって、追加の光路検出手段を物理的に実装しなくても、画像処理で光路が正しく切り替わったか否かを判定できる。また、本実施形態では、差分量を閾値と比較する必要はないので、被写体ごとに閾値を調整する必要がない。
【0067】
上述の説明では、第1の対物光学系と第2の対物光学系の焦点距離が互いに異なり(画角が互いに異なり)、光学部材の出し入れで光路を切り替える例を示したが、本実施形態はこれに限らない。
【0068】
例えば、平行平板のような光路長を変更する光学部材を出し入れした場合、第1の対物光学系と第2の対物光学系とはピントの位置(遠近)が異なる。この場合は、第1の対物光学系と第2の対物光学系とはF値および焦点距離が同じである。この場合、2つの画像のコントラスト(解像しているかしていないか)の差分量を用いて、光路が正しく切り替わったか否かを判定できる。このように、本実施形態は、光路(対物光学系)が2つ以上あり、光路に何か部材を出し入れすることにより光路を切り替える全ての場合に適用できる。
【0069】
次に、本発明の第3実施形態に係る内視鏡装置について説明する。図7は、本発明の第3実施形態に係る内視鏡装置の全体構成を示すブロック図である。内視鏡装置210は、被検物内に挿入される先端部(光学アダプター)220と、画像を結像する撮像部30と、内視鏡装置全体を制御する本体部240を備える。先端部220は撮像部30の遠位端に接続されており、着脱可能であってもよい。撮像部30と本体部240とは、被検物内に挿入される細長の挿入部(図示なし)等で接続されている。撮像部30は、イメージャ(撮像素子)31を備える。
【0070】
先端部220は、第1の対物光学系221と、第2の対物光学系222と、光路切り替え部223と、共通光学系224とを備える。先端部220は、光学アダプター種別判定部25を備えてもよいし、光学アダプター種別判定部25はなくてもよい。先端部220において、第1の対物光学系221と第2の対物光学系222とはF値が互いに異なる。そして、第1の対物光学系221の光軸の向きおよび第2の対物光学系222の光軸の向きは共通光学系224の光軸の向きと等しい。
【0071】
光路切り替え部223は、第1の対物光学系221(第1の光路)と第2の対物光学系222(第2の光路)を切り替える。すなわち、光路切り替え部223は、第1の対物光学系221から入射する光と、第2の対物光学系222から入射する光とを切り替えて、一方の光のみを、共通光学系224を介して、イメージャ31に入射させる。すなわち、第1の対物光学系221から入射した光が形成する被写体の第1の被写体像と、第2の対物光学系222から入射した光が形成する被写体の第2の被写体像のいずれかが、イメージャ31に結像する。
【0072】
光路切り替え部223は、例えば、遮光部材229を備え、選択しない側の対物光学系に遮光部材229を挿入することにより、選択しない側の対物光学系から入射する光を遮断する。遮光部材229は、例えば、磁気駆動装置によって駆動する。
【0073】
イメージャ31で結像した画像は、RAW信号に変換され、本体部240に送信される。本体部240は、画像変換部241と、画像評価部247と、光路選択判定部243と、制御部44と、光路切り替え駆動部45とを備える。本体部240は、光学アダプター種別検知部46を備えてもよい。
【0074】
画像変換部241は、イメージャ31から送信されたRAW信号を変換し、画像の画像評価値を算出する。画像評価部247は、画像変換部241で算出された複数の画像の画像評価値を比較する。具体的には、光路切り替え前に結像する1フレームの画像を第1の画像、光路切り替え後に結像する2フレームの画像を第2の画像および第3の画像としたとき、画像評価部247は、第1の画像の画像評価値と第2の画像の画像評価値、第2の画像の画像評価値と第3の画像の画像評価値、第1の画像の画像評価値と第3の画像の画像評価値をそれぞれ比較する。
【0075】
光路選択判定部243は、画像評価部247での画像評価値の比較結果に基づいて、どちらの光路に今切り替わっているのか、あるいは光路が正しく切り替わったか否かを判定し(光路選択判定)、光路選択判定結果を制御部44に送信する。制御部44は、光路選択判定部243での光路選択判定結果に基づいて、光路選択判定部243および光路切り替え駆動部45を制御するための制御信号を送信し、光路の切り替えを制御する。光路切り替え駆動部45は、制御部44からの制御信号に基づいて、光路切り替え部223に光路の切り替えを指示するための光路切り替え信号を送信する。
【0076】
光学アダプター種別検知部46は、先端部220(光学アダプター)の光学アダプター種別判定部25の情報(データ)を読み取り、データに基づいて、先端部220(光学アダプター)の種別を判定する。
【0077】
本実施形態では、画像評価部247は、第2実施形態と同様に、光路の切り替え前後の画像を3枚撮影する。ただし、本実施形態では、画像データの差分量を比較せず、画像変換部241が画像評価値を画像ごとに算出し、画像評価部247が画像間の画像評価値の差分量を比較する。画像評価値は、例えば、画像の平均露光量である。ここで露光量は、入射光量×露光時間である。以下、画像評価値は画像の平均露光量であるとして説明する。
【0078】
画像変換部241は、撮影時のイメージャ31の露光時間およびゲインと画像の平均輝度値から、0フレーム目の画像、1フレーム目の画像、2フレーム目の画像の平均露光量を画像ごとに算出する。第1の対物光学系221と第2の対物光学系222とはF値が異なるため、0フレーム目と1フレーム目の境界で光学系を第1の対物光学系221から第2の対物光学系222に切り替えた時、光路切り替え部223が正常に動作した場合は、1フレーム目の画像の平均露光量と2フレーム目の画像の平均露光量との差分量が最小となる。
【0079】
一方、光路切り替え部223が正しく動作しなかった場合、または光路を切り替える前に既に光路が切り替わっている場合は、3つの画像とも同一の光学系で得られているため、3つの画像のうちどの2つの画像をとっても、2つの画像の平均露光量の差分量は同じである。
【0080】
このように、3つの画像のうちの2つの画像の平均露光量の差分量を比較したとき、1フレーム目の画像の平均露光量と2フレーム目の画像の平均露光量の差分量が最小であれば、光路選択判定部243は、光学系が正しく切り替わったと判定できる。
【0081】
光路切り替え時における、光路切り替え部223および光路切り替え駆動部45の動作は、第2実施形態と同様なので、説明を省略する。
【0082】
図8は、本実施形態に係る内視鏡装置の光路切り替え時における動作を示すフローチャートである。0フレーム目と1フレーム目の境界の時刻で、光路切り替え部223が光路を切り替えると、光路切り替え時における動作フローが始まる。
【0083】
まず、ステップS201において、画像評価部247は、得られた全てのフレーム(ここでは、0フレーム目、1フレーム目、2フレーム目)の画像の平均輝度があらかじめ与えた閾値より小さいか否かを判定する。このステップS201により、画像が真っ暗な場合を除外する。
【0084】
全てのフレームの画像の平均輝度が閾値より大きいか等しい場合は、ステップS202に進む。全てのフレームの画像の平均輝度が閾値より小さい場合(画像が真っ暗な場合)は、ステップS207に進む。
【0085】
ステップS202において、画像評価部247は、0フレーム目の画像の平均露光量(平均輝度)と2フレーム目の平均露光量(平均輝度)との差分量である、ΔY[0,2]を算出する。「Y」はXYZ空間においてY方向のライン上の各点における輝度の平均値を取っていることを意味する。そしてステップS203に進み、画像評価部247は、0フレーム目の画像の平均露光量(平均輝度)と1フレーム目の平均露光量(平均輝度)との差分量である、ΔY[0,1]を算出する。そしてステップS204に進み、画像評価部247は、1フレーム目の画像の平均露光量(平均輝度)と2フレーム目の平均露光量(平均輝度)との差分量である、ΔY[1,2]を算出する。
【0086】
次に、ステップS205において、画像評価部247は、算出されたΔY[0,2]、ΔY[0,1]、ΔY[1,2]のうちの最小がΔY[1,2]であるか否かを判定する。ΔY[1,2]が最小である場合は、ステップS206に進み、光路選択判定部243は切り替え動作が正常に行われたと判定する。したがって、2フレーム目の画像は正しい光路を通った画像であると分かる。そして、光路切り替え時における動作フローは終了する。
【0087】
ΔY[1,2]が最小でない場合は、ステップS207に進む。ステップS207において、光路選択判定部243は切り替え動作が正常に行われなかったと判定する。この場合、現在の光路は不明である。そして、光路切り替え時における動作フローは終了する。
【0088】
上述の説明では、0フレーム目の画像と1フレーム目の画像のほかに2フレーム目の画像を使用したが、本実施形態はこれに限らない。光路切り替え前後の2つの画像の平均露光量の差分量を算出できることに加えて、切り替え前の2つの画像の平均露光量の差分量または切り替え後の2つの画像の平均露光量の差分量を算出できればよい。
【0089】
上述のように、本実施形態では、光路切り替え手段を有する内視鏡装置において、光路切り替え前後の3つの画像(第1の画像、第2の画像および第3の画像)のうちの2つの画像の平均露光量の差分量を算出して、差分量同士を比較し、この結果から、光路が正しく切り替わったか否かを判定する。したがって、追加の光路検出手段を物理的に実装しなくても、画像処理で光路が正しく切り替わったか否かを判定できる。また、本実施形態では、差分量を閾値と比較する必要はないので、被写体ごとに閾値を調整する必要がない。
【0090】
なお、上述の説明では、第1の対物光学系と第2の対物光学系のF値が異なる場合に、画像の平均露光量を画像評価値として差分量を比較したが、本実施形態はこれに限らない。第1の対物光学系と第2の対物光学系のピント位置が互いに異なる場合は、画像変換部241は画像のコントラストを画像評価値として出力する。第1の対物光学系と第2の対物光学系の分光透過率が互いに異なる場合は、画像変換部241は画像の平均色相を画像評価値として出力する。第1の対物光学系と第2の対物光学系の偏光透過率が互いに異なる場合は、画像変換部241は画像の平均輝度を画像評価値として出力する。第1の対物光学系と第2の対物光学系の画像の輝度シェーディング特性が互いに異なる場合は、画像変換部241は、画像周辺部の輝度差を評価値として出力する。第1の光学系と第2の光学系の画像の色シェーディング特性が互いに異なる場合は、画像変換部241は、画像周辺部の平均色相を画像評価値として算出する。
【0091】
次に、本発明の第4実施形態に係る内視鏡装置について説明する。図9は、本発明の第4実施形態に係る内視鏡装置の全体構成を示すブロック図である。内視鏡装置310は、被検物内に挿入される先端部(光学アダプター)320と、画像を結像する撮像部30と、内視鏡装置全体を制御する本体部340を備える。先端部320は撮像部30の遠位端に接続されており、着脱可能であってもよい。撮像部30と本体部340とは、被検物内に挿入される細長の挿入部(図示なし)等で接続されている。撮像部30は、イメージャ(撮像素子)31を備える。
【0092】
先端部320は、第1の光学系321と、第2の光学系322と、光路切り替え部323とを備える。先端部320は、光学アダプター種別判定部25を備えてもよいし、光学アダプター種別判定部25はなくてもよい。図9の例では、先端部320はステレオアダプタであり、第1の光学系321の光軸の向きと第2の光学系322の光軸の向きは等しい。また、第1の光学系321は、対物レンズ326と接眼レンズ324を含む。第2の光学系322は、対物レンズ327と接眼レンズ325を含む。
【0093】
光路切り替え部323は、第1の光学系321(第1の光路)と第2の光学系322(第2の光路)を切り替える。すなわち、光路切り替え部323は、第1の光学系321から入射する光と、第2の光学系322から入射する光とを切り替えて、一方の光のみを、イメージャ31に入射させる。すなわち、第1の光学系321から入射した光が形成する被写体の第1の被写体像と、第2の光学系322から入射した光が形成する被写体の第2の被写体像のいずれかが、イメージャ31に結像する。
【0094】
光路切り替え部323は、例えば、遮光部材329を備え、選択しない側の対物光学系に遮光部材329を挿入することにより、選択しない側の対物光学系から入射する光を遮断する。遮光部材329は、例えば、磁気駆動装置によって駆動する。
【0095】
イメージャ31で結像した画像は、RAW信号に変換され、本体部340に送信される。本体部340は、画像変換部341と、画像比較部342と、画像評価部247と、光路選択判定部243と、制御部44と、光路切り替え駆動部45とを備える。本体部340は、光学アダプター種別検知部46を備えてもよい。
【0096】
画像変換部341は、イメージャ31から送信されたRAW信号を変換して画像データを画像比較部342に出力する。また、画像変換部341は、画像の画像評価値を算出して画像評価部347に出力する。
【0097】
画像比較部342は、画像変換部341から送信された複数の画像を比較する。具体的には、光路切り替え前に結像する1フレームの画像を第1の画像、光路切り替え後に結像する2フレームの画像を第2の画像および第3の画像としたとき、画像比較部342は、第1の画像と第2の画像、第2の画像と第3の画像、第1の画像と第3の画像をそれぞれ比較する。
【0098】
画像評価部347は、画像変換部341から送信された複数の画像の画像評価値を比較する。具体的には、光路切り替え前に結像する1フレームの画像を第1の画像、光路切り替え後に結像する2フレームの画像を第2の画像および第3の画像としたとき、画像評価部347は、第1の画像の画像評価値と第2の画像の画像評価値、第2の画像の画像評価値と第3の画像の画像評価値、第1の画像の画像評価値と第3の画像の画像評価値をそれぞれ比較する。
【0099】
光路選択判定部343は、画像比較部342および画像評価部347での画像評価値の比較結果に基づいて、どちらの光路に今切り替わっているのか、あるいは光路が正しく切り替わったか否かを判定し(光路選択判定)、光路選択判定結果を制御部44に送信する。制御部44は、光路選択判定部343での光路選択判定結果に基づいて、光路選択判定部343および光路切り替え駆動部45を制御するための制御信号を送信し、光路の切り替えを制御する。光路切り替え駆動部45は、制御部44からの制御信号に基づいて、光路切り替え部323に光路の切り替えを指示するための光路切り替え信号を送信する。
【0100】
光学アダプター種別検知部46は、先端部320(光学アダプター)の光学アダプター種別判定部25の情報(データ)を読み取り、データに基づいて、先端部320(光学アダプター)の種別を判定する。
【0101】
本実施形態のように、先端部320がステレオアダプタである場合、第1の光学系(右側の光学系)と第2の光学系(左側の光学系)とは、わずかな視差の違いしかない。そのため、2つの光学系(右側の光学系と左側の光学系)で得られた画像を単純に比較しても、ほとんど画像間に違いが生じない。
【0102】
ただし、ステレオアダプタにおいても、2つの光学系の間で、イメージャに対する入射角が異なる。イメージャの各画素における主光線角が、第1の光学系と第2の光学系で互いに異なるために、色シェーディング特性が互いに異なる。具体的には、イメージャは、光の入射角に対応する感度特性を持っており、斜めから光が入ると感度が落ちる。よって、イメージャに対して入る光の傾きによって輝度の分布差が生じる。すなわち、右側の光学系(第1の光学系)321においては、イメージャ31には右側から光が入射する。この場合、視野の左側が暗い画像が得られる。一方、左側の光学系(第2の光学系)322においては、イメージャ31には左側から光が入射する。この場合、視野の右側が暗い画像が得られる。すなわち、画像の中で明るい箇所と暗い箇所があり、それが、光学系によって場所が変わる。
【0103】
図10は、本実施形態に係る、画像の輝度プロファイル(輝度の分布)を示すグラフである。グラフの横軸は水平座標であり、グラフの縦軸は輝度値である。グラフにおいて、画像の垂直方向のライン上の各点の輝度を平均した平均輝度が、各水平座標における輝度値としてプロットされている。実線が右側の光学系(第1の光学系)321で得られた画像の輝度プロファイルである。点線が左側の光学系(第2の光学系)322で得られた画像の輝度プロファイルである。
【0104】
図10に示すように、右側の光学系(第1の光学系)321では、視野の左側が暗い画像が得られるため、輝度プロファイルは、グラフ中の実線のように右に向かって上昇する。一方、左側の光学系(第2の光学系)322では、視野の右側が暗い画像が得られるため、輝度プロファイルは、グラフ中の点線のように右に向かって下降する。光学系の切り替えが正常に行われた場合、グラフ中において、実線から点線に切り替わる。
【0105】
そこで、水平座標の左端の位置において、垂直方向のライン上の各点の輝度を平均した値を算出したものを画像左端輝度とする。水平座標の右端の位置において、垂直方向のライン上の各点の輝度を平均した値を算出したものを画像右端輝度とする。そして、画像左端輝度および画像右端輝度を、画像評価値として用いる。
【0106】
本実施形態では、画像評価部347は、第2実施形態および第3実施形態と同様に、光路の切り替え前後の画像を3枚撮影する。ただし、本実施形態では、画像データの差分量に加えて、画像間の画像評価値の差分量を比較する。また、本実施形態では、画像評価値は、各画像の画像左端輝度および画像右端輝度である。
【0107】
すなわち、画像評価部347は、第1の画像の画像評価値と第2の画像の画像左端輝度および画像右端輝度、第2の画像の画像評価値と第3の画像の画像左端輝度および画像右端輝度、第1の画像の画像評価値と第3の画像の画像左端輝度および画像右端輝度をそれぞれ比較する。
【0108】
なお、上述の、右側の光学系で得られた画像と左側の光学系で得られた画像との違いは、被写体がどんなに離れた場所にある場合でも発生する。また、この違いが発生するのは、2つの光学系を並べて、同じイメージャに対して接続する場合だけである。すなわち、本実施形態は、視差がある2つの光学系に対してのみ適用できる。光路の途中に光学部材を出し入れすることによる2つの光学系の場合は、本実施形態は適用できない。また、被写体が真っ暗な時は、検出できないため、本実施形態は適用できない。
【0109】
0フレーム目と1フレーム目の境界で光学系を第1の光学系321から第2の対物光学系322に切り替えた場合について説明する。mフレーム目の画像データとnフレーム目の画像データのSADによる差分量をSAD[m,n]と表記する時、画像比較部342は、SAD[0,1]、SAD[0,2]およびSAD[1,2]を算出する。画像比較部342は、算出されたSAD[0,1]、SAD[0,2]、SAD[1,2]のうちの最小がSAD[1,2]であるか否かを判定する。SAD[1,2]が最小である場合は、光路選択判定部343は切り替え動作が正常に行われたと判定する。
【0110】
一方、光路切り替え部323が正しく動作しなかった場合、または光路を切り替える前に既に光路が切り替わっている場合は、3つの画像とも同一の光学系で得られているため、SAD[0,1]、SAD[0,2]、SAD[1,2]は同じ値となる。
【0111】
mフレーム目の画像とnフレーム目の画像の画像左端輝度の差分量をΔL[m,n]、画像右端輝度の差分量をΔR[m,n]と表記する時、画像評価部347は、ΔL[0,1]、ΔL[0,2]およびΔL[1,2]を算出する。画像比較部342は、算出されたΔL[0,1]、ΔL[0,2]、ΔL[1,2]のうちの最小がΔL[1,2]であるか否かを判定する。ΔL[1,2]が最小である場合は、光路選択判定部343は切り替え動作が正常に行われたと判定する。
【0112】
一方、光路切り替え部323が正しく動作しなかった場合、または光路を切り替える前に既に光路が切り替わっている場合は、3つの画像とも同一の光学系で得られているため、ΔL[0,1]、ΔL[0,2]、ΔL[1,2]は同じ値となる。
【0113】
mフレーム目の画像とnフレーム目の画像の画像右端輝度の差分量をΔR[m,n]と表記する時、画像評価部347は、ΔR[0,1]、ΔR[0,2]およびΔR[1,2]を算出する。画像比較部342は、算出されたΔR[0,1]、ΔR[0,2]、ΔR[1,2]のうちの最小がΔR[1,2]であるか否かを判定する。ΔR[1,2]が最小である場合は、光路選択判定部343は切り替え動作が正常に行われたと判定する。
【0114】
一方、光路切り替え部323が正しく動作しなかった場合、または光路を切り替える前に既に光路が切り替わっている場合は、3つの画像とも同一の光学系で得られているため、ΔR[0,1]、ΔR[0,2]、ΔR[1,2]は同じ値となる。
【0115】
光路切り替え時における、光路切り替え部323および光路切り替え駆動部45の動作は、第2実施形態および第3実施形態と同様なので、説明を省略する。
【0116】
図11は、本実施形態に係る、内視鏡装置の光路切り替え時における動作を示すフローチャートである。0フレーム目と1フレーム目の境界の時刻で、光路切り替え部323が光路を切り替えると、光路切り替え時における動作フローが始まる。
【0117】
まず、ステップS301において、画像比較部342は、得られた全てのフレーム(ここでは、0フレーム目、1フレーム目、2フレーム目)の画像の平均輝度があらかじめ与えた閾値より小さいか否かを判定する。このステップS301により、画像が真っ暗な場合を除外する。
【0118】
全てのフレームの画像の平均輝度が閾値より大きいか等しい場合は、ステップS302に進む。全てのフレームの画像の平均輝度が閾値より小さい場合(画像が真っ暗な場合)は、ステップS314に進む。
【0119】
ステップS302において、画像比較部342は、SADによる0フレーム目の画像データと2フレーム目の画像データとの差分量である、SAD[0,2]を算出する。そしてステップS303に進み、画像比較部342は、SADによる0フレーム目の画像データと1フレーム目の画像データとの差分量である、SAD[0,1]を算出する。そしてステップS304に進み、画像比較部142は、SADによる1フレーム目の画像データと2フレーム目の画像データとの差分量である、SAD[1,2]を算出する。
【0120】
次に、ステップS305において、画像比較部342は、算出されたSAD[0,2]、SAD[0,1]、SAD[1,2]のうちの最小がSAD[1,2]であるか否かを判定する。SAD[1,2]が最小である場合は、ステップS315に進む。SAD[1,2]が最小でない場合は、ステップS306に進む。
【0121】
ステップS306において、画像評価部347は、0フレーム目の画像の画像左端輝度と2フレーム目の画像の画像左端輝度との差分量である、ΔL[0,2]を算出する。そしてステップS307に進み、画像評価部347は、0フレーム目の画像の画像左端輝度と1フレーム目の画像の画像左端輝度との差分量である、ΔL[0,1]を算出する。そしてステップS308に進み、画像評価部247は、1フレーム目の画像の画像左端輝度と2フレーム目の画像の画像左端輝度との差分量である、ΔL[1,2]を算出する。
【0122】
次に、ステップS309において、画像評価部347は、算出されたΔL[0,2]、ΔL[0,1]、ΔL[1,2]のうちの最小がΔL[1,2]であるか否かを判定する。ΔL[1,2]が最小である場合は、ステップS315に進む。ΔL[1,2]が最小でない場合は、ステップS310に進む。
【0123】
ステップS310において、画像評価部347は、0フレーム目の画像の画像右端輝度と2フレーム目の画像の画像右端輝度との差分量である、ΔR[0,2]を算出する。そしてステップS311に進み、画像評価部347は、0フレーム目の画像の画像右端輝度と1フレーム目の画像の画像右端輝度との差分量である、ΔR[0,1]を算出する。そしてステップS312に進み、画像評価部247は、1フレーム目の画像の画像右端輝度と2フレーム目の画像の画像右端輝度との差分量である、ΔR[1,2]を算出する。
【0124】
次に、ステップS313において、画像評価部347は、算出されたΔR[0,2]、ΔR[0,1]、ΔR[1,2]のうちの最小がΔR[1,2]であるか否かを判定する。ΔR[1,2]が最小である場合は、ステップS315に進む。ΔR[1,2]が最小でない場合は、ステップS314に進む。
【0125】
ステップS314において、光路選択判定部343は切り替え動作が正常に行われなかったと判定する。この場合、現在の光路は不明である。そして、光路切り替え時における動作フローは終了する。
【0126】
ステップS315において、光路選択判定部343は切り替え動作が正常に行われたと判定する。したがって、2フレーム目の画像は正しい光路を通った画像であると分かる。そして、光路切り替え時における動作フローは終了する。
【0127】
なお、上述の動作フローでは、視差測定に基づく評価(S302~S305)、左側輝度シェーディング測定に基づく評価(S306~S309)、右側輝度シェーディング測定に基づく評価(S310~S313)をこの順に行い、2つの光学系の画像間に差があると判定できた時点でフローを終了し、光路の切り替え動作が正常に行われたと判定している。しかし、本実施形態はこれに限らない。これら3つの評価を行う順番は、任意の組合せがある。動作フローが、これら3つの評価のうちの1つまたは2つの評価から構成されていてもよい。また、これら3つの評価のうちの2つ以上の評価において、2つの光学系の画像間に差があると判定できた場合に、光路の切り替え動作が正常に行われたと判定してもよい。
【0128】
上述の説明では、0フレーム目の画像と1フレーム目の画像のほかに2フレーム目の画像を使用したが、本実施形態はこれに限らない。光路切り替え前後の2つの画像データの差分量、画像左端輝度および画像右端輝度を算出できることに加えて、切り替え前の2つの画像データの差分量、画像左端輝度および画像右端輝度または切り替え後の2つの画像データの差分量、画像左端輝度および画像右端輝度を算出できればよい。
【0129】
上述のように、本実施形態では、光路切り替え手段を有する内視鏡装置において、光路切り替え前後の3つの画像(第1の画像、第2の画像および第3の画像)のうちの2つの画像の画像データの差分量、画像左端輝度および画像右端輝度を算出して、差分量同士を比較し、この結果から、光路が正しく切り替わったか否かを判定する。したがって、追加の光路検出手段を物理的に実装しなくても、画像処理で光路が正しく切り替わったか否かを判定できる。また、本実施形態では、差分量を閾値と比較する必要はないので、被写体ごとに閾値を調整する必要がない。
【0130】
上述の実施形態では、画像の輝度プロファイルに基づいた画像評価値を用いた。画像の輝度は光の波長によって変わり、光の波長が変わると色の分布も変わる。したがって、輝度プロファイルの代わりに、色差プロファイルを用いても、第1の光学系で得られる画像と第2の光学系で得られる画像との間で、プロファイルの傾きが異なる(色シェーディング特性)。具体的には、結像領域の右側と左側で入射する光の方向が異なるため、画像の右側と左側でホワイトバランスがずれるが、画像の中央部より周辺部の色差のほうが大きくなる。そこで、第1の光学系で得られる画像と第2の光学系で得られる画像との間で、画像の右端および左端の平均色を比較することで、光路が正しく切り替わったか否かを判定することができる。このように、本実施形態は、平均色の色差プロファイルに基づいた画像評価値を用いてもよい。
【0131】
本発明の各実施形態は、光学アダプター種別判定部がある場合にもない場合にも適用できる。すなわち、内視鏡装置の本体部は、先端部(光学アダプター)の種類を分かっていても分かっていなくてもよい。光学アダプター種別判定部がある場合は、2つの光学系でどのような違いが生じるかが分かるので、それに対応する評価方法を採用してもよい。どれが付いているか分からない場合は、様々な評価方法を採用してもよい。
【0132】
なお、各実施形態においては、2つの光学系を含む先端部(光学アダプター)が撮像部の先端側から分離することができる構成の内視鏡装置について説明した。しかし、本発明の各実施形態はこのような構成に限定されるものではなく、先端部と撮像部とが一体になった構成であってもよい。
【0133】
各実施形態において示した、本体部に含まれる各構成要素は、それぞれの構成要素に係る機能や処理を説明するためのものである。内視鏡装置において、各実施形態において説明した複数の構成要素に係る機能や処理を、1つの構成が同時に実現してもよい。例えば、図1に示した画像比較部42および光路選択判定部43の機能や処理を、制御部44が行ってもよい。
【0134】
また、各実施形態において示した、本体部に含まれる各構成要素、例えば、図1に示した画像変換部41、画像比較部42、光路選択判定部43、制御部44、光路切り替え駆動部45、および光学アダプター種別検知部46は、それぞれもしくは全体として、1個又は複数のプロセッサ、論理回路、メモリ、入出力インタフェース及びコンピュータ読み取り可能な記録媒体などからなるコンピュータで実現するようにしてもよい。その場合、各構成要素もしくは本体部全体の機能を実現するためのプログラムを記録媒体に記録しておき、記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。例えば、プロセッサは、CPU、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field-Programmable Gate Array)の少なくとも1つである。
【0135】
例えば、図1に示した本体部40やその一部、本体部40に含まれる画像変換部41、画像比較部41、光路選択判定部43、制御部44、光路切り替え駆動部45、光学アダプター種別検知部46など、内視鏡装置の機能や処理を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の内視鏡装置に係る上述した種々の機能や処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリなどの書き込み可能な不揮発性メモリ、CD-ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
【0136】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0137】
本明細書において「前、後ろ、上、下、右、左、垂直、水平、縦、横、行および列」などの方向を示す言葉は、本発明の装置におけるこれらの方向を説明するために使用している。従って、本発明の明細書を説明するために使用されたこれらの言葉は、本発明の装置において相対的に解釈されるべきである。
【0138】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
【符号の説明】
【0139】
10、110、210、310…内視鏡装置、20、120、220、320…先端部、21、221、321…第1の光学系(第1の光路)、22、222、322…第2の光学系(第2の光路)、23、123、223、323…光路切り替え部、24、224…共通光学系、25…光学アダプター種別判定部、29、229、329…遮光部材、129…光学部材、30…撮像部、31…イメージャ(撮像素子)、40、140、240,340…本体部、41、141、241、341…画像変換部(記憶部)、42、142、342…画像比較部、43、143、243、343…光路選択判定部、44…制御部、45…光路切り替え駆動部、46…光学アダプター種別検知部(種別検知部)、247、347…画像評価部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11