特許 6023919 内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6023919

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月9日

(54)【発明の名称】内視鏡システム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20161027BHJP

   A61B 1/04 20060101ALI20161027BHJP

   G02B 23/24 20060101ALI20161027BHJP

   H04N 5/232 20060101ALI20161027BHJP

   H04N 5/225 20060101ALI20161027BHJP

【ＦＩ】

   A61B1/00 300Y

   A61B1/04 370

   G02B23/24 B

   H04N5/232 Z

   H04N5/225 C

   H04N5/225 D

【請求項の数】12

【全頁数】19

(21)【出願番号】特願2016-536254(P2016-536254)

(86)(22)【出願日】2015年9月9日

(86)【国際出願番号】JP2015075606

(87)【国際公開番号】WO2016043107

(87)【国際公開日】20160324

【審査請求日】2016年6月2日

(31)【優先権主張番号】特願2014-190167(P2014-190167)

(32)【優先日】2014年9月18日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】露木 浩

(72)【発明者】

【氏名】金野 光次郎

(72)【発明者】

【氏名】谷内 章一

【審査官】 北島 拓馬

(56)【参考文献】

【文献】 国際公開第２０１４／００２７４０（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０６１８１９（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／０３４３３９（ＷＯ，Ａ１）

【文献】 特開２０１０−１８７２０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００ − １／３２

Ｇ０２Ｂ ２３／２４ −２３／２６

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

挿入部先端に設けられ、光源からの照明光が照射された被写体の像を取得する対物光学系と、
前記被写体の像をピントの異なる２つの光学像に分割する光路分割手段と、
前記ピントの異なる２つの光学像を同時に撮像して一対の画像を取得する撮像素子と、
該撮像素子により取得した一対の前記画像について、夫々画素毎にコントラストを算出するコントラスト算出手段と、
該コントラスト算出手段により算出されたコントラストの比率に基づいて、一対の前記画像間の対応する画素同士の合成比率である合成マスクを生成するマスク生成手段と、
前記撮像素子により時系列に取得された複数対の画像に対して、前記マスク生成手段によって時系列に生成された複数の前記合成マスクを画素毎に加重平均して補正マスクを生成するマスク補正手段と、
該マスク補正手段により生成された前記補正マスクに従って２つの前記画像を合成する画像合成手段と、を備え、
前記マスク補正手段が、一対の前記画像のうち静止領域かつ所定の閾値未満のコントラストを有する領域を構成する画素については、一対の前記画像のうち動体領域又は所定の閾値以上のコントラストを有する領域を構成する画素についてよりも、過去の前記合成マスクの割合が高くなるように重み付けして複数の前記合成マスクを加重平均する内視鏡システム。

【請求項2】

前記対物光学系と前記光路分割手段との間に配置された少なくとも一枚の波長板からなる偏光解消板と、
２つの前記光学像のうち一方の光学像の光路中に配置されたλ／４波長板及び反射ミラーと、を備える請求項１記載の内視鏡システム。

【請求項3】

前記λ／４波長板が、逆分散特性を有する請求項２記載の内視鏡システム。

【請求項4】

前記λ／４波長板が、高分子フィルムである請求項３記載の内視鏡システム。

【請求項5】

前記λ／４波長板が、１枚のゼロオーダー波長板である請求項２記載の内視鏡システム。

【請求項6】

前記偏光解消板が、ガラス又は石英基板と接着又はオプティカルコンタクトされたゼロオーダーのλ／４波長板である請求項２記載の内視鏡システム。

【請求項7】

前記偏光解消板が、光学軸が互いに直交する２枚の無機波長板からなり、２枚の該無機波長板のうち少なくとも１枚の厚みｔ（ｍｍ）が、以下の条件式を満たす請求項２記載の内視鏡システム。
０．１３５≦ｔ≦０．３ ・・・（１）
ｔ＝（ｋ＊０．２５λ／Δｎ）＊１０＾−６ ・・・（２）
９≦ｋ≦１９．５ ・・・（３）
但し、ｔ（ｍｍ）は１枚の無機波長板の厚み、ｋは任意の係数、λ（ｎｍ）は設計中心波長、Δｎは常光と異常光との屈折率差である。

【請求項8】

２枚の前記無機波長板の屈折率が互いに異なる請求項７記載の内視鏡システム。

【請求項9】

前記偏光解消板が、ガラス又は石英基板により挟持された高分子フィルムである請求項２記載の内視鏡システム。

【請求項10】

一対の前記画像の明るさ差異を所定の補正パラメータに基づいて補正する画像補正手段を備え、
前記光源が、互いに異なる波長帯域の照明光を選択的に切り替えて被写体に照射し、
前記撮像素子が、選択された波長帯域の照明光による被写体の像に基づく一対の画像を取得した場合に、前記画像補正手段による補正の際に、前記照明光の波長帯域に応じて補正パラメータを切替える請求項１記載の内視鏡システム。

【請求項11】

前記光源が、４００〜４３０ｎｍの波長帯域を含む照明光と、４５０〜４８０ｎｍの波長帯域を含む照明光とを選択的に切り替えて照射する請求項１０記載の内視鏡システム。

【請求項12】

前記光源が、５１０〜５８０ｎｍの波長帯域を含まない照明光を選択的に切り替えて照射する請求項１０記載の内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡システム、特に、被写界深度を拡大させた内視鏡システムに関するものである。

【背景技術】

【0002】

一般に、内視鏡システム等の撮像素子を備えた機器において、撮像素子の高画素化に伴い、被写界深度が狭くなることが知られている。すなわち、撮像素子において、画素数を増やすために画素ピッチ（１画素の縦横の寸法）を小さくすると、これに伴って許容錯乱円も小さくなるため、撮像装置の被写界深度が狭くなる。
そこで、対物レンズからの１の光学像を偏光ビームスプリッタにより互いにピントの異なる２つの光学像に分離し、一方の像を、λ／４波長板及びミラーを介して、他方の像を、ミラーを介して、夫々撮像素子上に結像させ、２つの画像を合成することにより深度を拡大した画像を取得する内視鏡が知られている（例えば、特許文献１及び特許文献２参照。）。

【0003】

より具体的には、特許文献１及び特許文献２には、光路分割素子に偏光ビームスプリッタを用い、偏光解消板又はλ／４波長板を配置して明るさロスを抑制しつつ、１つの撮像素子に結像させることで小型化を図り、画像合成の際に２つの画像の差異を補正することが開示されている。特に、特許文献１には、偏光解消板を偏光ビームスプリッタと対物レンズとの間に配置することにより、偏光ビームスプリッタに入射する偏光状態を円偏光して、均等な偏光分離をすることが開示されている。

【0004】

さらに、合成対象である遠近２つの画像間に明るさの差が存在する場合、合成後の画像において空間方向又は時系列方向において明るさムラが発生することから、これを解消すべく、特許文献３には、時系列方向に被写体をマッチングして画像信号を平滑化することで合成画像における明るさムラを抑制することが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−２４４１０４号公報

【特許文献2】特許第５３９３９２６号公報

【特許文献3】特開２０１０−１８７２０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところが、特許文献１及び特許文献２の技術では、偏光解消板やλ／４波長板の具体的な構成が明らかにされておらず、偏光解消板や１／４λ波長板を単に配置するのみで、波長依存性や斜入射特性を考慮しなければ、効果的に明るさを均一にすることができない。
また、特許文献２では、明るさの均一化のために位相差板の回転補正機構を用いたり、偏光板を配置したりしているが、内視鏡先端部にこのような機構を適用すると、部品点数が増大しコストが嵩むと共に大型化してしまう。
また、特許文献３の技術は、被写体が非剛体である場合には画像のマッチングに高速な演算速度が必要となる上、被写体が平坦領域である場合には、平坦領域自体が特徴の少ない領域であるためマッチングに適していない。また、被写体をマッチングせずに合成すると、あるフレームで平坦領域だった場所にその次のフレームでテクスチャのある被写体が移動してきた場合にテクスチャのコントラストが落ちてしまう。

【0007】

本発明は、上述した事情に鑑みてなされたものであって、チラつきや明るさムラを抑制しつつ被写界深度を拡大させた画像を取得することができる内視鏡システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、挿入部先端に設けられ、光源からの照明光が照射された被写体の像を取得する対物光学系と、前記被写体の像をピントの異なる２つの光学像に分割する光路分割手段と、前記ピントの異なる２つの光学像を同時に撮像して一対の画像を取得する撮像素子と、該撮像素子により取得した一対の前記画像について、夫々画素毎にコントラストを算出するコントラスト算出手段と、該コントラスト算出手段により算出されたコントラストの比率に基づいて、一対の前記画像間の対応する画素同士の合成比率である合成マスクを生成するマスク生成手段と、前記撮像素子により時系列に取得された複数対の画像に対して、前記マスク生成手段によって時系列に生成された複数の前記合成マスクを画素毎に加重平均して補正マスクを生成するマスク補正手段と、該マスク補正手段により生成された前記補正マスクに従って２つの前記画像を合成する画像合成手段と、を備え、前記マスク補正手段が、一対の前記画像のうち静止領域かつ所定の閾値未満のコントラストを有する領域を構成する画素については、一対の前記画像のうち動体領域又は所定の閾値以上のコントラストを有する領域を構成する画素についてよりも、過去の前記合成マスクの割合が高くなるように重み付けして複数の前記合成マスクを加重平均する内視鏡システムを提供する。

【0009】

上記態様によれば、ピントの異なる２つの光学像を同時に撮像した一対の画像から合成画像を生成する際に、コントラスト算出手段により一対の画像について夫々画素毎にコントラストが算出される。ここで、コントラストは、ある画素が合焦しているかを示す評価値として用いられ、コントラストが高ければ合焦していると判断することができる。このため、一対の画像夫々のコントラストを算出することによって、当該画素が遠点ピント又は近点ピント、若しくはその中間ピントであるのかを判断することができる。
したがって、画素毎のコントラストの比率に基づいてマスク生成手段によって生成された合成マスクは、一対の前記画像間の対応する画素同士を、コントラストの高い方の画素の比率が高くなるように合成比率を設定する。

【0010】

この場合において、画像に動体領域が含まれる場合など、経時的に合成マスクが変動する場合を考慮して、マスク生成手段により時系列に生成された複数の合成マスクがマスク補正手段によって加重平均されて補正マスクが生成される。具体的には、マスク補正手段では、一対の画像に存在する静止領域かつ所定の閾値未満のコントラストを有する領域については、動体領域又は所定の閾値以上のコントラストを有する領域についてよりも、過去の新たな合成マスクの割合が高くなる補正マスクが生成される。

【0011】

このようにすることで、動画など時系列に画像を取得する場合であって、特に低コントラストの領域などにおいてフレーム毎に適用される合成比率が変動することを防止することができる。すなわち、同一画素位置であるにもかかわらず、フレーム毎に遠点画像の画素を適用した画像と近点画像の画素を適用した画像とが入れ替わる等によってチラついたり明るさムラが生じたりすることを防止することができる。

【0012】

上記態様において、前記対物光学系と前記光路分割手段との間に配置された少なくとも一枚の波長板からなる偏光解消板と、２つの前記光学像のうち一方の光学像の光路中に配置されたλ／４波長板及び反射ミラーと、を備えるが好ましい。
このようにすることで、偏光解消板によりブリュースター角による偏光を解消し、光路分割手段を透過させるために位相を回転させることができる。

【0013】

上記態様において、前記λ／４波長板が、逆分散特性を有することが好ましい。
このようにすることで、観察波長において強度が異なることによってムラになることを防止することができる。

【0014】

上記態様において、前記λ／４波長板が、高分子フィルムであることが好ましい。
このようにすることで、内視鏡システムの小型化に寄与すると共にコストを低減することができる。

【0015】

上記態様において、前記λ／４波長板が、１枚のゼロオーダー波長板であることが好ましい。
このようにすることで、角度依存性が低く性能の高い偏光解消板とすることができ、内視鏡システムの小型化に寄与することができる。

【0016】

上記態様において、前記偏光解消板が、ガラス又は石英基板と接着又はオプティカルコンタクトされたゼロオーダーのλ／４波長板であることが好ましい。
このようにすることで、角度依存性が低く性能の高い偏光解消板とすることができ、内視鏡システムの小型化に寄与することができる。

【0017】

上記態様において、前記偏光解消板が、光学軸が互いに直交する２枚の無機波長板からなり、２枚の該無機波長板のうち少なくとも一枚の厚みｔ（ｍｍ）が、以下の条件式を満たすことが好ましい。
０．１３５≦ｔ≦０．３ ・・・（１）
ｔ＝（ｋ＊０．２５λ／Δｎ）＊１０＾−６ ・・・（２）
９≦ｋ≦１９．５ ・・・（３）
但し、ｔ（ｍｍ）は１枚の無機波長板の厚み、ｋは任意の係数、λ（ｎｍ）は設計中心波長、Δｎは常光と異常光との屈折率差である。
このようにすることで、コストを低減させながら、角度依存性が低く性能の高い偏光解消板とすることができる。

【0018】

上記態様において、２枚の前記無機波長板の屈折率が互いに異なることが好ましい。
このようにすることで、波長依存特性を考慮しながら直線偏光相当の偏光を円偏光にすることができる。

【0019】

上記態様において、前記偏光解消板が、ガラス又は石英基板により挟持された高分子フィルムであることが好ましい。
このようにすることで、角度依存性が低く、容易に偏光を解消することができる。

【0020】

一対の前記画像の明るさ差異を所定の補正パラメータに基づいて補正する画像補正手段を備え、前記光源が、互いに異なる波長帯域の照明光を選択的に切り替えて被写体に照射し、前記撮像素子が、前記選択された波長帯域の照明光による被写体の像に基づく一対の画像を取得した場合に、前記画像補正手段による補正の際に、前記照明光の波長帯域に応じて補正パラメータを切替えることが好ましい。
このようにすることで、光源から発せられる照明光の波長帯域によって一対の画像間に明るさ差異が生じても、照明光の波長帯域に応じた補正を行うことで合成画像に不自然な明るさムラや色ムラが生じることを抑制することができる。

【0021】

前記光源が、４００〜４３０ｎｍの波長帯域を含む照明光と、４５０〜４８０ｎｍの波長帯域を含む照明光とを選択的に切り替えて照射することとしてもよい。
また、前記光源が、５１０〜５８０ｎｍの波長帯域を含まない照明光を選択的に切り替えて照射することとしてもよい。
このようにすることで、明るさムラが生じやすい波長帯域を含む照明光に基づく画像について、波長帯域に応じた補正を行うことで不自然な明るさムラや色ムラを抑制することができる。

【発明の効果】

【0022】

本発明によれば、チラつきや明るさムラを抑制しつつ被写界深度を拡大させた画像を取得することができるという効果を奏する。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態に係る内視鏡システムの概略構成図である。

【図2】本発明の実施形態に係る内視鏡システムに適用される撮像ユニットの概略構成図である。

【図3】本発明の実施形態に係る内視鏡システムに適用される撮像素子の概略構成図である。

【図4A】本発明の実施形態に係る内視鏡システムに適用される偏光解消板の例を示す概略構成図である。

【図4B】本発明の実施形態に係る内視鏡システムに適用される偏光解消板の例を示す概略構成図である。

【図4C】本発明の実施形態に係る内視鏡システムに適用される偏光解消板の例を示す概略構成図である。

【図5A】偏光解消板と一対の画像の強度の関係を示すグラフである。

【図5B】偏光解消板と一対の画像の強度の関係を示すグラフである。

【図6】偏光解消板とλ／４波長板が逆分散特性を有する場合の、波長分散特性を示すグラフである。

【図7】５５０ｎｍの波長でλ／４となる、ゼロオーダー波長板における一対の画像の強度の分布図を示す。

【図8】本発明の実施形態に係る内視鏡システムにおいて、画像合成処理部の概略構成を示すブロック図である。

【図9】偏光ビームスプリッタに用いられる偏光分離コーティングの分光特性グラフであり、光軸の分光特性を示す。

【図10】偏光ビームスプリッタに用いられる偏光分離コーティングの分光特性グラフであり、光軸に対して−７°傾いた光線が偏光分離コーティングに入射した際の分光特性を示す。

【図11】偏光ビームスプリッタに用いられる偏光分離コーティングの分光特性グラフであり、光軸に対して＋７°傾いた光線が偏光分離コーティングに入射した際の分光特性を示す。

【図12】本発明の実施形態に係る内視鏡システムにおいて、２つの画像を合成する際の流れを示すフローチャートである。

【図13】本発明の実施形態に係る内視鏡システムにおいて、過去の合成マスクを加重平均する場合の重み付けの例を示すグラフである。

【図14】本発明の実施形態に係る内視鏡システムにおいて、加重平均する過去の合成マスクが時系列に順次変化する場合の説明図である。

【発明を実施するための形態】

【0024】

以下、図面を参照して本発明の実施形態を説明する。
図１に示すように本発明の実施形態の内視鏡システム１は、内視鏡２と、この内視鏡２に照明光を供給する光源装置３と、内視鏡２に設けられた撮像素子により取得された画像信号に対する画像処理を行うプロセッサ装置４と、プロセッサ装置４により所定の画像処理がなされた画像信号を内視鏡画像として表示する画像表示装置５とを有する。

【0025】

内視鏡２は、被検体内に挿入される細長の挿入部６と、この挿入部６の後端に設けられた操作部７と、操作部７から延びる第１ケーブル８とを有し、第１ケーブル８には、照明光を伝送するライトガイド９が挿通されている。内視鏡２の挿入部６の先端部６ａには、ライトガイド９から出射された照明光を拡散する照明レンズ１５、被写体像を取得する対物光学系１６、被写体像を撮像する撮像ユニット１９が設けられている。第１ケーブル８の端部のライトガイドコネクタ８ａは、第１ケーブル８に挿通されたライトガイド９の後端部が照明光の入射端となるように光源装置３に着脱自在に接続されている。

【0026】

光源装置３は、光源として例えばキセノンランプ等のランプ１１を内蔵する。なお、光源として、キセノンランプ等のランプ１１に限定されるものでなく、発光ダイオード（以下、「ＬＥＤ」）を用いても良い。ランプ１１により発生した白色光は絞り１２により通過光量が調整された後、コンデンサレンズ１３により集光されてライトガイド９の入射端面に入射（供給）される。なお、絞り１２は、絞り駆動部１４により、開口量が可変される。

【0027】

ライトガイド９は、光源装置３から入射端（後端側）に入射された照明光を挿入部６の先端部６ａ側に導光する。先端部６ａに導光された照明光は、ライトガイド９の出射端（先端側）から先端部６ａの先端面に配置された照明レンズ１５により拡散されて照明窓１５ａを介して出射され、被検体内部の観察対象部位を照明する。
照明光が照明された観察対象部位からの光は、先端部６ａの照明窓１５ａに隣接して設けられた観察窓２０に取り付けられた対物光学系１６により集光されるようになっている。

【0028】

対物光学系１６は、複数の光学素子からなる光学素子群１６ａ、遠方観察と近接観察の２つの観察領域にピント又は焦点を選択的に合わせられるように焦点切替機構としてのフォーカスレンズ２１及びフォーカスレンズ２１を駆動するアクチュエータ２２を備えている。
撮像ユニット１９は、対物光学系１６の挿入部６後端部側に設けられ、被写体像をピントの異なる２つの光学像に分割する偏光ビームスプリッタ１８（光路分割手段）、２つの光学像を撮像して２つの画像を取得する撮像素子１７を備えている。

【0029】

偏光ビームスプリッタ１８は、図２に示すように、偏光解消板２８、第１プリズム１８ａ、第２プリズム１８ｂ、ミラー１８ｃ、及びλ／４波長板１８ｄを備えている。
偏光解消板２８には、λ／４波長板を適用している。偏光状態を無偏光状態にするために、一般的な偏光解消板（スクランブルして無偏光にする）を用いるとサイズが大き過ぎ、また構成が複雑なので内視鏡先端に配置するのに適さない。このため、偏光解消板２８としてλ／４波長板を用いることで、偏光ビームスプリッタ１８に入射する偏光を略円偏光に変換して強度の均一化を図ることができる。

【0030】

通常、λ／４波長板はゼロオーダーで考える必要があり、例えば、水晶を使った波長板では設計波長５５０ｎｍで１／４λの位相差を与える場合、水晶の肉厚を約１５μｍまで薄くする必要がある。しかしながら、このような極薄フィルタを直接扱うのは現実的でない。マルチオーダーの波長板は、板厚を実用的なレベルにまで厚くする目的のため、高次で所定の位相差が得られるよう設計する。例えば、５５０ｎｍの波長において２．５波長分の位相差を生じさせた場合、水晶であれば板厚を１５０μｍ程度にまで厚くできる。

【0031】

２．５波長分の位相差というのは、実質０．２５波長分（＝１／４）の位相差とみなすことができる。ただし、板厚が厚くなる分、わずかな波長シフトや斜入射光線に対しても無視できない位相差ずれが生じるため、後述する画像合成処理部３３によって一対の画像を合成する際の合成比率（マスク）を適切に設定することで、より明るさムラの少ない良好な画像とすることができる。

【0032】

第１プリズム１８ａ及び第２プリズム１８ｂは共に光軸に対して４５度の斜度であるビームスプリット面を有し、第１プリズム１８ａのビームスプリット面には偏光分離膜１８ｅが設けられている。そして、第１プリズム１８ａ及び第２プリズム１８ｂは、互いのビームスプリット面を偏光分離膜１８ｅを介して当接させて偏光ビームスプリッタ１８を構成している。また、ミラー１８ｃは、第１プリズム１８ａの端面近傍にλ／４波長板１８ｄを介して設けられ、第２プリズム１８ｂの端面には撮像素子１７が取り付けられている。なお、λ／４波長板１８ｄは、逆分散特性を有している。

【0033】

λ／４波長板１８ｄに逆分散特性を持たせることで、可視波長帯域で消光比の変動を小さくして、明るさムラを抑制した内視鏡を提供する事ができる。
これは以下の理由による。すなわち、偏光ビームスプリッタ１８で偏光分離された２つの像は、明るさ強度に大きな差異が無いことが望ましい。折り返し光路はλ／４波長板とミラーを介して、偏光方向が９０°回転してＰ偏光となる。Ｐ偏光となった光は偏光ビームスプリッタ１８を透過して撮像素子に受光される。つまり、λ／４波長板に従来から使用されている正常分散系の波長板を使うと、本来９０°回転してＰ偏光になる光が、波長によって回転不足や回転しすぎてしまい、偏光ビームスプリッタ１８を透過する際に消光比が変動してしまい、明るさムラが生じてしまう。
ピックアップ光学系やレーザを対象とした装置では、使用する波長帯に適した波長板を選べば問題ないが、内視鏡のように可視波長帯、且つ狭帯域観察を併用する場合は致命的になる。

【0034】

対物光学系１６からの被写体像は、偏光解消板２８に入射し、偏光解消板２８によってブリュースター角による偏光が解消され、第１プリズム１８ａにおいてそのビームスプリット面に設けられた偏光分離膜１８ｅによりＰ成分（透過光）とＳ成分（反射光）とに分離され、反射光側の光学像と透過光側の光学像との２つの光学像に分離される。

【0035】

Ｓ成分の光学像は、偏光分離膜１８ｅで撮像素子１７に対して対面側に反射されＡ光路を通り、λ／４波長板１８ｄを透過後、ミラー１８ｃで撮像素子１７側に折り返される。折り返された光学像はλ／４波長板１８ｄを再び透過する事で偏光方向が９０°回転し、偏光分離膜１８ｅを透過して撮像素子１７に結像される。

【0036】

Ｐ成分の光学像は、偏光分離膜１８ｅを透過してＢ光路を通り、撮像素子１７に向かって垂直に折り返す第２プリズム１８ｂのビームスプリット面と反対側に設けられたミラー面によって反射され、撮像素子１７に結像される。この際、Ａ光路とＢ光路で、例えば、数十μｍ程度の所定の光路差を生じさせるようにプリズム硝路を設定しておき、ピントが異なる２つの光学像を撮像素子１７の受光面に結像させる。これにより、一対の画像として、Ａ光路によって近点画像（Ａ画像）が得られ、Ｂ光路によって遠点画像（Ｂ画像）が得られる。

【0037】

すなわち、第１プリズム１８ａ及び第２プリズム１８ｂを、被写体像をピント位置が異なる２つの光学像に分離できるように、第１プリズム１８ａにおける撮像素子１７に至る透過光側の光路長（硝路長）に対して反射光側の光路長が短く（小さく）なるように配置する。

【0038】

撮像素子１７は、図３に示すように、ピント位置が異なる２つの光学像を夫々個別に受光して撮像するために、撮像素子１７の全画素領域の中に、２つの受光領域（有効画素領域）１７ａ，１７ｂが設けられている。受光領域１７ａ，１７ｂは、２つの光学像を撮像するために、これらの光学像の結像面と夫々一致するように配置されている。そして、撮像素子１７において、受光領域１７ａは受光領域１７ｂに対してそのピント位置が相対的に近点側にシフトしており（ずれており）、受光領域１７ｂは受光領域１７ａに対してそのピント位置が相対的に遠点側にシフトしている。これにより、ピントが異なる２つの光学像を撮像素子１７の受光面に結像させるようになっている。

【0039】

また、受光領域１７ａ，１７ｂの周囲には、２つに分割された光学像の幾何的なズレを補正するための補正画素領域１７ｃが設けられている。補正画素領域１７ｃ内において製造上の誤差を補正し、後述する画像補正処理部３２にて画像処理による補正を行なうことで、上記した光学像の幾何学的なズレを解消するようになっている。

【0040】

なお、偏光解消板２８として、λ／４波長板を適用した例を示したが、これに限らず、図４（Ａ）に示す、ガラス又は石英基板と接着又はオプティカルコンタクトされたゼロオーダーのλ／４波長板を適用することもできる。単体では厚みが薄すぎて適用できないゼロオーダーのλ／４波長板であっても、ガラス基板又は石英基板と接合させることで所望の強度を維持することができる。例えば、偏光解消板２８として、水晶を適用する場合、設計波長５５０ｎｍでは、厚みが１５μｍと極めて薄くなってしまうので、取り扱いが極めて困難となる。そこで、ガラス基板又は石英基板と接合させることで所望の強度を保ち、取り扱いを容易とする。

【0041】

また、図４（Ｂ）に示すように、偏光解消板２８として、光学軸が互いに直交する２枚の無機波長板を適用し、２枚の無機波長板のうち少なくとも１枚の厚みｔ（ｍｍ）が、以下の条件式を満たすように構成することもできる。
０．１３５≦ｔ≦０．３ ・・・（１）
ｔ＝（ｋ＊０．２５λ／Δｎ）＊１０^−６ ・・・（２）
９≦ｋ≦１９．５ ・・・（３）
但し、ｔ（ｍｍ）は１枚の無機波長板の厚み、ｋは任意の係数、λ（ｎｍ）は設計中心波長、Δｎは常光と異常光との屈折率差である。

【0042】

ゼロオーダーの波長板を適用するとコストが嵩むところ、このように同素材のマルチオーダー波長板を適用することで、コストを低減させながら、実質的にゼロオーダー波長板と同等の機能を実現することができる。すなわち、角度依存性が低く性能の高い偏光解消板とすることができる。

【0043】

上記条件式は、１枚当たりの波長板として、取り扱いが容易で、かつ内視鏡先端部が大型化しない厚みを規定している。また、同素材の波長板を適用する場合、その厚みの差Δｔが、得たい位相差となるように構成する。２枚の波長板からなる偏光解消板とする場合、内視鏡先端部が大型化せず、且つ衝撃や応力に耐性のあるように構成するには、偏光解消板としての総厚が、０．３〜０．６ｍｍの範囲となることが好ましい。

【0044】

無機波長板の具体例としては、２枚の無機波長板を何れも水晶とする構成や、異素材同士の組み合わせとして水晶とＭｇＦ２とを適用する構成などが考えられる。
また、図４（Ｃ）に示すように、偏光解消板２８を、高分子フィルムをガラスもしくは石英基板で挟持した構成とすることもできる。

【0045】

図５（Ａ）に、厚さｔ＝０．１５ｍｍの波長板を適用した偏光解消板を適用した場合の一対の画像の強度を示すグラフを示す。また、図５（Ｂ）に、厚さｔ＝０．２７ｍｍの波長板を適用した偏光解消板を適用した場合の一対の画像の強度を示すグラフを示す。
図６に、偏光解消板２８と、λ／４波長板１８ｄとが逆分散特性を有している場合の波長分散特性を示す。なお、図６において、２点鎖線は異素材同士を組み合わせた無機波長板を使用した偏光解消板、破線は高分子フィルムからなるλ／４波長板である。

【0046】

また、λ／４波長板１８ｄとして、高分子フィルムを適用することができ、この場合には、内視鏡システムの小型化に寄与すると共にコストを低減することができる。さらに、上述したλ／４波長板１８ｄが、逆分散特性を有することとしたが、例えば、λ／４波長板１８ｄとしてゼロオーダー波長板を適用することで、必ずしも逆分散特性を有しなくてもよい。図７に、例として５５０ｎｍの波長でλ／４となる、ゼロオーダー波長板における一対の画像の強度の分布図を示す。

【0047】

フォーカスレンズ２１は、光軸の方向における２つの位置に移動可能となっており、アクチュエータ２２により２つの位置間で一方の位置から他方の位置、他方の位置から一方の位置に移動するように駆動される。フォーカスレンズ２１を前方側（物体側）の位置に設定した状態においては遠方観察する場合の観察領域の被写体にピントが合うように設定され、フォーカスレンズ２１を後方側の位置に設定した状態においては近接観察する場合の観察領域の被写体にピントが合うように設定されている。

【0048】

なお、アクチュエータ２２は、挿入部６内を挿通された信号線２３と接続され、この信号線２３はさらに操作部７から延びる第２のケーブル２４内を挿通される。この第２のケーブル２４の端部の信号コネクタ２４ａは、プロセッサ装置４に着脱自在に接続され、上記信号線２３は、プロセッサ装置４内に設けたアクチュエータ制御部２５に接続される。

【0049】

このアクチュエータ制御部２５は、例えば内視鏡２の操作部７に設けた切替操作スイッチ２６からの切替操作信号も入力される。アクチュエータ制御部２５は、切替操作スイッチ２６の操作に応じてアクチュエータ２２を電気的に駆動する駆動信号を印加して、フォーカスレンズ２１を移動する。

【0050】

なお、切替操作信号を発生する切替操作手段は、切替操作スイッチ２６に限らず、切替操作レバー等でも良い。上記フォーカスレンズ２１と、アクチュエータ２２と、アクチュエータ制御部２５とにより、焦点切替機構が形成される。ところで、本願におけるフォーカス手段は、前述の光軸方向にフォーカスレンズを移動させる手段に限定するものではない。例えば、レンズやフィルタを対物光学系に挿脱してフォーカスを切替える手段でも構わない。

【0051】

撮像素子１７は挿入部６、操作部７、第２のケーブル２４内を挿通された信号線２７ａ，２７ｂと接続され、信号コネクタ２４ａがプロセッサ装置４に接続されることにより、プロセッサ装置４内に設けた画像処理部としての画像プロセッサ３０と接続される。

【0052】

画像プロセッサ３０は、撮像素子１７により撮像されたピント位置が異なる２つの光学像に係る画像を夫々読み出す画像読出部３１と、画像読出部３１により読み出された２つの画像に対する画像補正を行う画像補正処理部３２と、補正された２つの画像を合成する画像合成処理を行う画像合成処理部３３とを有する。

【0053】

画像補正処理部３２は、撮像素子１７の受光領域１７ａ，１７ｂにそれぞれ結像される２つの光学像に係る画像に対し、互いのピント以外の差異が略同一となるように補正する。すなわち、２つの画像の各光学像における相対的な位置、角度及び倍率が略同一となるように２つの画像に対して補正を行う。すなわち、画像補正処理部３２は、補正画素領域１７ｃを使って、例えば受光領域１７ｂを基準に１７ａの相対的な位置、角度及び倍率が略同一になるように補正する。

【0054】

被写体像を２つに分離して撮像素子１７に夫々結像させる場合、幾何的な差異が生じる場合がある。すなわち、撮像素子１７の受光領域１７ａ，１７ｂにそれぞれ結像される夫々の光学像は、相対的に倍率ズレ、位置ズレ、角度すなわち回転方向のズレ等が発生する場合がある。これらの差異を製造時などにおいて、完全に解消することは困難であるが、それらのズレ量が大きくなると、合成画像が２重画像となったり、不自然な明るさムラ等を生じたりする。このため、画像補正処理部３２にて上述した幾何的な差異、明るさ差異を補正する。

【0055】

２つの画像間における明るさの差異を補正する場合、２つの像または画像のうち輝度の高い方の像または画像、もしくは２つの像または画像の相対的に同一位置における輝度の高い方を基準にして補正を行うことが望ましい。

【0056】

つまり、相対的に明るい方、つまり輝度信号（例えばＧ信号）の強度（信号レベル）が高い画像に合わせる様に明るさ補正を行なう。仮に、明るい画像にマイナスゲインを掛けて補正すると、色飽和ノイズが生じやすい。特に、ハレーションが生じて飽和している領域がある画像では、ハレーション領域において色ムラが生じてしまうという課題がある。これはセンサーの画素におけるＲＧＢ感度が異なるためである。ハレーションもしくはそれに近い高輝度の状態の場合、ゲインを下げようとしても既に飽和している、例えば、Ｒは補正できずにＧとＢだけゲインを下げることになり、結果ハレーション部がマゼンタ色に着色してしまう。

【0057】

画像合成処理部３３は、画像補正処理部３２により補正された一対の画像間の対応する画素同士を合成することにより合成画像を生成するものであり、図８に示すように、コントラスト算出部４１、合成マスク生成部４２、マスク記憶部４３、マスク補正部４４及び画像合成部４５を備えている。

【0058】

コントラスト算出部４１は、撮像素子１７により取得され、画像補正処理部３２により補正された一対の画像について、夫々画素毎にコントラストを算出する。つまり、一対の画像の夫々において、周波数成分を算出し、この周波数成分からを各画素が合焦している度合いを示す評価値としてコントラストを算出する。周波数成分の算出には、既知の微分フィルタを適用することができる他、被写体に合せて設計したバンドパスフィルタなどを適用することもできる。

【0059】

合成マスク生成部４２は、コントラスト算出部４１において算出されたコントラストから、その比率であるコントラスト比を算出し、算出されたコントラスト比に基づいて、一対の画像間の対応する画素同士の合成比率である合成マスクを生成する。生成した合成マスクは、マスク記憶部４３に記憶される。また、マスク記憶部４３では、撮像素子１７により時系列に取得された複数対の画像に対してマスク生成部４２によって時系列に生成された複数の合成マスクを記憶している。なお、後述するマスク補正部４４によりマスクが補正された場合には、合成マスクに代えて補正マスクをマスク記憶部４３に記憶することが好ましい。

【0060】

マスク補正部４４は、マスク記憶部４３に記憶されている既に生成された過去の画像に対する複数の合成マスクを参照し、合成マスクを補正して補正マスクを生成する。すなわち、マスク補正部４４は、一対の画像のうち静止領域かつ所定の閾値未満のコントラストを有する領域を構成する画素については、一対の画像のうち動体領域又は所定の閾値以上のコントラストを有する領域を構成する画素についてよりも、過去の合成マスクの割合が高くなるように重み付けして複数の前記合成マスクを加重平均することにより、補正マスクを生成する。なお、動体領域であるか否かは以下のように判定する。つまり、マスク記憶部４３に記憶されている過去のマスクと算出した合成マスクとを比較した結果、差分が大きい領域について、過去のマスクとの変動が大きい領域、すなわち、動体領域と判定する。
画像合成部４５は、補正マスクに従って一対の画像を合成して合成画像を生成する。

【0061】

また、画像プロセッサ３０は、画像合成処理部３３により生成された合成画像に対して、色マトリクス処理、輪郭強調、ガンマ補正等の後段画像処理を行う後段画像処理部３４と、後段画像処理された画像を出力する画像出力部３５とを有し、画像出力部３５から出力される画像は画像表示装置５に出力される。

【0062】

さらに、この画像プロセッサ３０は、画像読出部３１により読み出された画像から基準の明るさに調光するための調光信号を生成する調光部３６を有し、調光部３６により生成した調光信号を光源装置３の絞り駆動部１４に出力する。絞り駆動部１４は、調光信号に従って、基準の明るさを維持するように絞り１２の開口量を調整する。

【0063】

また、本実施形態においては、画像補正処理部３２において、画像を補正する場合に使用する補正パラメータ（の情報）を格納した補正パラメータ格納部３７を設けている。
ここで、補正パラメータとは、光路分割素子や撮像素子、λ/４板の特性を考慮して決定されたものである。例えば、光路分割素子や撮像素子のシェーディング特性、λ／４波長板の波長特性によって２つの光学像にかかる画像には上述した幾何学的な差異や明るさの差異、もしくは色の差異が生じることがある。

【0064】

また、光源装置から発せられる照明光の波長帯域が選択的に切り替えられる場合、例えば、内視鏡システムが通常観察モードや狭帯域観察モード等の複数の観察モードを有しており、観察モードによって照明光の波長帯域が異なる場合にも２画像間に明るさの差異が生じることがある。２画像間に明るさの差異があると、合成画像に不自然な明るさムラや色ムラが生じてしまう。

【0065】

このため、例えば、光路分割素子や撮像素子、λ/４板の特性を考慮して、観察モードに応じた、すなわち照明光の波長帯域に応じた明るさ補正パラメータを前述した補正パラメータ格納部３７に観察モード毎のＩＤとして格納しておき、制御部３９により観察モードに応じて補正パラメータを切替えて、画像補正処理部３２において、切替えられた補正パラメータに基づいて画像補正を行う。

【0066】

より具体的には、例えば、１／４λ波長板、偏光解消板の波長依存性が大きい場合（アクロマートでない場合）、又は偏光ビームスプリッタの偏光分離膜に大きな波長依存性がある場合には、被写体を観察する照明光の波長帯域によっては、明るさ補正値が必ずしも最適にならずに明るさムラが生じてしまうことがある。

【0067】

図９〜図１１は、偏光ビームスプリッタに用いられる偏光分離コーティングの分光特性グラフであり、いずれも実線グラフは遠点光路の分光グラフ（Ｔｐ）、破線は近点光路の分光グラフ（Ｔｐ＊Ｒｓ／１００）を示している。
図９は、光軸に対して４５度傾いた偏光ビームスプリッタ面に対して０度で入射する光線、すなわち、光軸の分光特性を示している。図１０は光軸に対して−７°傾いた光線が偏光分離コーティングに入射した際の分光特性を示している。図１１は＋７°傾いた光線が偏光分離コーティングに入射した際の分光特性を示している。尚、角度の符号は時計回りを正としている。

【0068】

以下、例として、本実施形態の光源装置３として面順次方式の光源を適用し、通常観察モード、狭帯域観察モード１及び狭帯域観察モード２の３つの観察モードを有する場合について説明する。この場合、通常観察モードのＲＧＢの波長帯域として、夫々Ｒに６００〜６５０ｎｍ、Ｇに５１０〜５８０ｎｍ、Ｂに４５０〜４８０ｎｍを使用する。一方、短波長側を主とした狭帯域観察モード１では、Ｇに５２５〜５５０ｎｍ、Ｂに４００〜４３０ｎｍを使用する。

【0069】

図１０、図１１に示すように、特に、斜入射時の両観察モードにおけるＢ強度に大きな差があることがわかる。つまり、通常観察モードの画像と狭帯域観察モード１の画像とに同一の補正パラメータを用いると、狭帯域観察モード１の画像において明るさムラが生じてしまう。従って、通常観察モードにおいて取得された画像に対する明るさ補正のパラメータと、狭帯域モード１において取得された画像に対する明るさ補正のパラメータとを異ならせ、夫々に応じた補正パラメータを適用する必要がある。

【0070】

そこで、通常観察モードＢ４５０〜４８０ｎｍを使用する場合と、狭帯域モード１のＢ４００〜４３０ｎｍを使用する場合で、補正パラメータを切り替える。

【0071】

また、狭帯域観察モード２では、Ｒ１として５９０〜６１０ｎｍ、Ｒ２として６２０〜６４０ｎｍ、Ｂとして４５０〜４７０ｎｍを使用する。すなわち、狭帯域観察モード２は、５１０ｎｍ〜５８０ｎｍを使用しない観察モードである。
この場合、通常観察モードではＧである５２５〜５５０ｎｍも考慮した補正パラメータとなるため、通常観察モードから狭帯域観察モード２に切り替えると明るさ補正パラメータに乖離が生じて明るさムラが生じてしまう。
そこで、狭帯域観察モード２では使用せず、通常観察モードで使用するＧの５２５〜５５０ｎｍの波長帯域が使用される場合に、補正パラメータを切替えることとする。

【0072】

補正パラメータの切替えは、観察モードの切替えに連動させる、すなわち、内視鏡本体の観察モード切替ＳＷや図示しないフットＳＷなどに連動させることができる。
例えば、観察モード切替ＳＷを押して観察モードを切り替えると、切替信号を受け取った光源装置においてフィルタが切り替わることで切替えた観察モードに対応した波長帯域の光が照射される。そして、観察モードの切替えに連動して補正パラメータ格納部３７から選択された観察モードに対応する補正パラメータを呼び出して、画像補正処理部３２において最適な補正処理を行う。尚、光源がＬＥＤ光源の場合は、切替えられた観察モードに対応するＬＥＤに切替を行い、これに連動するようにパラメータを切替えても良い。

【0073】

次に本実施形態において、一対の光学像を合成する場合の流れを図１２のフローチャートに従って説明する。なお、以下の説明においては、合成マスクの補正の際に、過去の合成マスク３枚を用いる例について説明する。

【0074】

合成マスク補正のために必要となる過去のマスクを生成されたかを計数するため、ステップＳ１で計数を開始し、ステップＳ２で、撮像素子１７により、一の被写体についてピントの異なる遠点像に係る遠点画像と近点像に係る近点画像とを取得する。ステップＳ３では、ステップＳ２において取得された遠点画像及び近点画像に対し、画像補正処理部３２において補正処理が行なわれる。すなわち、予め設定された補正パラメータに従って、各画像における相対的な位置、角度及び倍率が略同一となるように２つの画像に対して補正を行い、補正後の画像を画像合成処理部３３に出力する。なお、必要に応じて２画像の明るさや色の差異を補正してもよい。

【0075】

ステップＳ４では、補正処理が行なわれた２つの画像の各画素について画像合成処理部３３のコントラスト算出部４１において、コントラスト値が夫々算出される。算出されたコントラスト値は、合成マスク生成部４２に出力され、ステップＳ５で、コントラスト算出部４１において算出されたコントラストから、その比率であるコントラスト比を算出し、算出されたコントラスト比に基づいて、一対の画像間の対応する画素同士の合成比率である合成マスクを生成し、マスク記憶部４３に記憶する。

【0076】

ステップＳ６では、撮像素子１７による一対の画像の取得、所定の補正処理、コントラスト算出及び合成マスクの生成・記憶までの処理が４回行われているか否かを判定し、４回行われていない場合には、ステップＳ２に戻り、４回行われている場合には、次のステップＳ７に進む。

【0077】

ステップＳ７では、マスク補正部４４において、一対の画像のうち静止領域かつ所定の閾値未満のコントラストを有する領域を構成する画素については、一対の画像のうち動体領域又は所定の閾値以上のコントラストを有する領域を構成する画素についてよりも、過去の合成マスクの割合が高くなるように重みを決定する。ここで、重みは、例えば、所定の条件式に従って逐次算出したり、図１３に示すように予め定めておいたりすることができる。

【0078】

ステップＳ８では、ステップＳ７で決定した重みに従って合成マスクを補正した補正マスクを生成し、画像合成部４５に出力し、ステップＳ９で、補正マスクに従って１対の遠点画像と近点画像とを合成して合成画像を生成する。次のステップＳ１０では、画像合成処理が終了したかを判定し、終了していない場合には、ステップＳ１１で、マスク記憶部４３に記憶されている合成マスクのカウント数を順次ずらし（図１４参照）、ｎ＝４として、ステップＳ２〜ステップＳ５の処理を行う。
なお、上述の説明では、４つの合成マスクを加重平均する例について示したが、これに限られるものでなく、加重平均するマスクの数やその重みは適宜決定することができる。

【0079】

このように、本実施形態によれば、ノイズ等によって合成画像において不連続領域が発生ずることを防止し、更に偏光解消板やλ／４波長板を最適化することで分光強度に起因する明るさムラを抑制しながら、被写界深度を拡大させた画像を取得することができる。また、画像に動体領域が含まれる場合など、経時的に合成マスクが変動する場合を考慮して、時系列に生成された複数の合成マスクを加重平均して補正マスクを生成するので、動画など時系列に画像を取得する場合であって、特に低コントラストの領域などにおいてフレーム毎に適用される合成比率が変動することを防止することができる。すなわち、同一画素位置であるにもかかわらず、フレーム毎に遠点画像の画素を適用した画像と近点画像の画素を適用した画像とが入れ替わる等によってチラついたり明るさムラが生じたりすることを防止することができる。

【符号の説明】

【0080】

１ 内視鏡システム
２ 内視鏡
３ 光源装置
４ プロセッサ装置
５ 画像表示装置
６ 挿入部
１６ 対物光学系
１７ 撮像素子
１７ａ，１７ｂ 受光領域
１７ｃ 補正画素領域
１８ 偏光ビームスプリッタ
１８ａ 第１プリズム
１８ｂ 第２プリズム
１８ｃ ミラー
１８ｄ λ／４波長板
１８ｅ 偏光分離膜
１９ 撮像ユニット
２８ 偏光解消板
３０ 画像プロセッサ
３２ 画像補正処理部
３３ 画像合成処理部
４１ コントラスト算出部
４２ 合成マスク生成部
４３ マスク記憶部
４４ マスク補正部
４５ 画像合成部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】