(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023073635
(43)【公開日】2023-05-26
(54)【発明の名称】電子内視鏡用プロセッサ及び電子内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20230519BHJP
A61B 1/06 20060101ALI20230519BHJP
G02B 23/24 20060101ALI20230519BHJP
G06T 1/00 20060101ALI20230519BHJP
【FI】
A61B1/045 610
A61B1/06 612
A61B1/045 611
G02B23/24 B
G06T1/00 290Z
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021186205
(22)【出願日】2021-11-16
(71)【出願人】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110000165
【氏名又は名称】弁理士法人グローバル・アイピー東京
(72)【発明者】
【氏名】松野 篤
【テーマコード(参考)】
2H040
4C161
5B057
【Fターム(参考)】
2H040CA02
2H040CA11
2H040FA11
2H040FA12
2H040FA13
2H040GA02
2H040GA05
2H040GA06
2H040GA11
4C161CC06
4C161LL02
4C161MM05
4C161NN01
4C161QQ02
4C161QQ09
4C161RR02
4C161RR22
4C161SS08
4C161SS21
4C161WW07
5B057AA07
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057CE02
5B057CE03
5B057DA16
5B057DB02
5B057DB05
5B057DB09
(57)【要約】
【課題】生体組織の撮像画像を取得してエッジ強調処理を施す際、従来に比べて暗い位置で撮像された場合の画像のS/N比を向上させる。
【解決手段】本発明の一態様は、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサである。当該プロセッサは、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサであって、生体組織に対する照明光を出射する光源装置と、撮像画像の明るさに関する情報に基づいて照明光の強度を制御する光源制御部と、照明光の強度に基づいて利得を決定し、決定した利得によって撮像画像を増幅する自動利得制御部と、自動利得制御部によって増幅された撮像画像に対してエッジ強調処理を行うエッジ強調処理部と、自動利得制御部によって決定された利得が大きいほどエッジ強調処理の強調の程度が低下するように、エッジ強調処理部を制御する制御部と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサであって、
前記生体組織に対する照明光を出射する光源装置と、
前記撮像画像の明るさに関する情報に基づいて前記照明光の強度を制御する光源制御部と、
前記照明光の強度に基づいて利得を決定し、決定した前記利得によって前記撮像画像を増幅する自動利得制御部と、
前記自動利得制御部によって増幅された前記撮像画像に対してエッジ強調処理を行うエッジ強調処理部と、
前記自動利得制御部によって決定された利得が大きいほど前記エッジ強調処理の強調の程度が低下するように、前記エッジ強調処理部を制御する制御部と、
を備えた電子内視鏡用プロセッサ。
【請求項2】
前記自動利得制御部によって増幅された前記撮像画像に含まれるノイズ成分を低減するノイズ低減処理部を有し、
前記エッジ強調処理部は、前記ノイズ成分が低減された前記撮像画像に対して前記エッジ強調処理を行う、
請求項1に記載された電子内視鏡用プロセッサ。
【請求項3】
前記制御部は、前記自動利得制御部によって決定された利得に応じて前記ノイズ成分の低減度合いが変更されるように、前記ノイズ低減処理部を制御する、
請求項2に記載された電子内視鏡用プロセッサ。
【請求項4】
請求項1~3のいずれか一項に記載の電子内視鏡用プロセッサと、
前記電子内視鏡用プロセッサに接続され、前記生体組織の撮像画像を取得する撮像素子を備えた電子内視鏡と、
を備える電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサ及び電子内視鏡システムに関する。
【背景技術】
【0002】
人体内部の生体組織の観察や治療に電子内視鏡装置が使用されている。従来、電子内視鏡装置を用いて生体組織を撮像して得られる画像の明るさを安定させるためにAGC(automatic gain control)を用いて調整された増幅率により画像信号を増幅させることが知られている。その際、画像信号に含まれるノイズも増幅されることから、この増幅されたノイズをノイズ低減用のフィルタを用いて除去することなどが行われる。
【0003】
例えば特許文献1には、AGC回路とノイズ低減フィルタ回路を備えた内視鏡用プロセッサが記載されている。この内視鏡用プロセッサでは、撮像素子が生成する原画像信号に基づいて算出された第1の増幅率によりAGC回路が原画像信号を増幅して調整信号を生成し、ノイズ低減フィルタが第1の増幅率に基づいて調整信号のノイズを低減化させるように構成される。それによって、内視鏡による画像明るさを安定的に保ちながら、画像のノイズを適切に低減化することができる、とされている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、生体組織を撮像して得られる画像を処理する際には、病変部等の注目部位を強調するためにエッジ強調処理(エンハンス処理等)を行う場合がある。その際、従来の内視鏡用プロセッサでは、画像が暗い場合にはAGC回路における増幅率が高くなり、それによって画像信号に重畳するノイズも増幅されるため、ノイズ低減フィルタによりノイズが十分に除去できない場合がある。その場合、後段のエッジ強調処理によって画像信号のノイズ部分が強調される処理がなされ、画像信号のS/N比を低下させてしまうという課題があった。
【0006】
そこで、本発明は、生体組織の撮像画像を取得してエッジ強調処理を施す際、従来に比べて暗い位置で撮像された場合の画像のS/N比を向上させることができる電子内視鏡用プロセッサ及び電子内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサである。当該プロセッサは、
生体組織の撮像画像を取得して処理するように構成された電子内視鏡用プロセッサであって、
前記生体組織に対する照明光を出射する光源装置と、
前記撮像画像の明るさに関する情報に基づいて前記照明光の強度を制御する光源制御部と、
前記照明光の強度に基づいて利得を決定し、決定した前記利得によって前記撮像画像を増幅する自動利得制御部と、
前記自動利得制御部によって増幅された前記撮像画像に対してエッジ強調処理を行うエッジ強調処理部と、
前記自動利得制御部によって決定された利得が大きいほど前記エッジ強調処理の強調の程度が低下するように、前記エッジ強調処理部を制御する制御部と、
を備える。
【0008】
上記電子内視鏡用プロセッサは、前記自動利得制御部によって増幅された前記撮像画像に含まれるノイズ成分を低減するノイズ低減処理部を有し、
前記エッジ強調処理部は、前記ノイズ成分が低減された前記撮像画像に対して前記エッジ強調処理を行ってもよい。
【0009】
前記制御部は、前記自動利得制御部によって決定された利得に応じて前記ノイズ成分の低減度合いが変更されるように、前記ノイズ低減処理部を制御してもよい。
【0010】
本発明の別の態様は、上記電子内視鏡用プロセッサと、
前記電子内視鏡用プロセッサに接続され、前記生体組織の撮像画像を取得する撮像素子を備えた電子内視鏡と、を備える電子内視鏡システムである。
【発明の効果】
【0011】
上述の電子内視鏡用プロセッサ及び電子内視鏡システムによれば、生体組織の撮像画像を取得してエッジ強調処理を施す際、遠くにある生体組織を撮像した場合の画像のS/N比を向上させることができる。
【図面の簡単な説明】
【0012】
【
図1】一実施形態の電子内視鏡システムの構成の一例を示すブロック図である。
【
図2】
図1に示す画像処理部の構成の一例を示すブロック図である。
【
図3】一実施形態の電子内視鏡システムにおいて画像処理部の動作を説明する図である。
【
図4】画像処理部の構成の別の例を示すブロック図である。
【発明を実施するための形態】
【0013】
本実施形態の電子内視鏡用プロセッサは、光源装置により照明光を生体組織に照射し、生体組織を撮像して撮像画像を取得するように構成される。電子内視鏡用プロセッサは、光源制御部と自動利得制御部を備える。
光源制御部は、撮像画像の明るさに関する情報に基づいて照明光の強度を制御する。撮像画像の明るさに関する情報は限定しないが、例えば、撮像画像の輝度や照度である。
AGC部(自動利得制御部の一例)は、照明光の強度に基づいて利得(「増幅率」ともいう。)を決定し、決定した利得によって撮像画像を増幅する。つまり、AGC部は、照明光の強度に基づいて撮像画像の増幅率を決定して撮像画像を増幅する。
光源制御部とAGC部により、生体組織を撮像して得られる撮像画像の明るさが一定に保たれるように、光源装置による照明光の強度と撮像画像の増幅率が調整される。
【0014】
自動利得制御部によって増幅された撮像画像は、エッジ強調処理部によってエッジ強調処理が施される。エッジ強調方法は限定しないが、例としてラプラシアンフィルタやソーベルフィルタ等の公知の空間フィルタを用いる方法が挙げられる。エッジ強調処理によって、撮像画像中に例えば病変部などの注目すべき部位が含まれている場合に、当該部位を強調して表示させることができる。
本実施形態の電子内視鏡用プロセッサは、エッジ強調処理部を制御する制御部を備える。この制御部は、自動利得制御部によって決定された利得が大きいほど前記エッジ強調処理の強調の程度(例えば先鋭度)が低下するように制御する。この制御部の作用によって、特に暗い位置で撮像された場合の撮像画像のS/N比を向上させることができる。
【0015】
すなわち、被写体として遠くにある生体組織(暗い位置にある生体組織)を撮像した場合、撮像画像の明るさは増幅率を大きくすることで維持されるが、撮像画像の重畳するノイズも大きく増幅されて後段にノイズ低減フィルタを設ける場合でもノイズが十分に除去できない。その場合に、撮像画像の増幅率を大きくした分、エッジ強調の程度を低下させる(エッジ強調を弱める、あるいは先鋭度を下げる)ように制御することで、ノイズ部分に対するエッジ強調が弱められ、全体として画像のS/N比を向上させることができる。
また、その生体組織を近くで撮像する場合には、撮像画像に対する増幅率を大きくしなくても撮像画像の明るさが維持され、撮像画像の重畳するノイズも大きく増幅されることはない。その場合、エッジ強調の程度を低下させない(エッジ強調を強める、あるいは先鋭度を上げる)ように制御することで、ノイズ部分が強調されることなく(つまり、S/N比を低下させることなく)はっきりとした画像を得ることができる。
【0016】
以下、本実施形態の電子内視鏡システムについて図面を参照しながら詳細に説明する。
図1は、本実施形態の電子内視鏡システム1の構成の一例を示すブロック図である。
図1に示されるように、電子内視鏡システム1は、医療用に特化されたシステムであり、電子スコープ(内視鏡)100、プロセッサ200及びモニタ300を備えている。
【0017】
プロセッサ200は、システムコントローラ21及びタイミングコントローラ22を備えている。システムコントローラ21は、メモリ23に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ21は、操作パネル24に接続されている。システムコントローラ21は、操作パネル24に入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ22は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
【0018】
プロセッサ200は、光源装置201を備えている。光源装置201は、体腔内の生体組織等の被写体を照明するための照明光Lを出射する。照明光Lは、白色光、擬似白色光、あるいは特殊光を含む。一実施形態によれば、光源装置201は、白色光あるいは擬似白色光を照明光Lとして常時射出するモードと、白色光あるいは擬似白色光と、特殊光が交互に照明光Lとして射出するモードの一方を選択し、選択したモードに基づいて、白色光、擬似白色光、あるいは特殊光を射出することが好ましい。白色光は、可視光帯域においてフラットな分光強度分布を有する光であり、擬似白色光は、分光強度分布はフラットではなく、複数の波長帯域の光が混色された光である。特殊光は、可視光帯域の中の青色あるいは緑色等の狭い波長帯域の光である。青色あるいは緑色の波長帯域の光は、生体組織中の特定の部分を強調して観察する時に用いられる。光源装置201から出射した照明光Lは、集光レンズ25によりLCB(Light Carrying Bundle)11の入射端面に集光されてLCB11内に入射される。
【0019】
LCB11内に入射された照明光Lは、LCB11内を伝播する。LCB11内を伝播した照明光Lは、電子スコープ100の先端に配置されたLCB11の射出端面から射出され、配光レンズ12を介して被写体に照射される。配光レンズ12からの照明光Lによって照明された被写体からの戻り光は、対物レンズ13を介して固体撮像素子14の受光面上で光学像を結ぶ。
【0020】
固体撮像素子14は、ベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子14は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。なお、固体撮像素子14は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子14はまた、補色系フィルタを搭載したものであってもよい。
【0021】
電子スコープ100の接続部内には、ドライバ信号処理回路15が備えられている。ドライバ信号処理回路15には、固体撮像素子14から被写体の画像信号が所定のフレーム周期で入力される。フレーム周期は、例えば、1/30秒である。ドライバ信号処理回路15は、固体撮像素子14から入力される画像信号に対してA/D変換を含む所定の処理を施してプロセッサ200の画像処理部22に出力する。
画像処理部22は、後述する所定の画像処理を行ってビデオフォーマット信号を生成し、モニタ300に出力する。
【0022】
ドライバ信号処理回路15は、また、メモリ16にアクセスして電子スコープ100の固有情報を読み出す。メモリ16に記録される電子スコープ100の固有情報には、例えば、固体撮像素子14の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路15は、メモリ16から読み出された固有情報をシステムコントローラ21に出力する。この固有情報には、例えば、固体撮像素子14の画素数や解像度等の素子特有の情報、さらには、光学系に関する画角、焦点距離、被写界深度等の情報も含まれてもよい。
【0023】
電子内視鏡用プロセッサ200には、画像処理部22から画像信号の輝度情報(明るさに関する情報の一例)を取得し、その輝度情報に基づいて光源装置201の照明光の強度を制御する光源制御部26を備える。
光源制御部26は、明るさが少ない場合には光源装置201から照射される照明光の強度が高くなり、明るさが大きい場合には光源装置201から照射される照明光の強度が低くなるように、光源装置201を制御する。それによって、ドライバ信号処理回路15から受信する画像信号の明るさが一定に維持されるように制御される。
【0024】
システムコントローラ21は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ21は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープ100に適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
【0025】
システムコントローラ21は、ドライバ信号処理回路15にクロックパルスを供給する。ドライバ信号処理回路15は、システムコントローラ21から供給されるクロックパルスに従って、固体撮像素子14をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0026】
次に、
図2を参照して、画像処理部22についてさらに説明する。
図2は、画像処理部22の構成の一例を示すブロック図である。
図2に示すように、画像処理部22は、AGC部221、前段処理部222、ノイズ低減処理部223、エッジ強調処理部224、後段処理部225、及び、強度制御部226を備える。
なお、画像処理部22は、システムコントローラ21がメモリ23に記憶されたプログラムを起動してモジュールとして形成するソフトウェアモジュールであってもよく、また、FPGA(Field-Programmable gate Array)で構成されたハードウェアモジュールであってもよい。
【0027】
AGC部221は、ドライバ信号処理回路15から1フレーム周期で入力される画像信号を光源制御部26によって制御される増幅率によって増幅して、前段処理部222に出力する。光源制御部26は、画像信号の明るさ情報に応じてAGC部221における増幅度を制御する。例えば、暗い画像である場合には、画像信号に対する増幅率(利得)が大きくなるようにAGC部221が制御される。
【0028】
前段処理部222は、AGC部221によって増幅された画像信号に対してデモザイク処理、マトリックス演算等の所定の信号処理を施す。
ノイズ低減処理部223は、例えばローパスフィルタを行うデジタルフィルタによって画像信号に含まれる高周波成分を除去することにより行われる。ノイズ低減処理部223によって、画像信号に重畳されているノイズが除去又は抑制される。
エッジ強調処理部224は、ノイズ低減処理部223から入力される画像信号に対してエッジ強調処理を行う。エッジ強調処理の方法は限定しないが、ラプラシアンフィルタやソーベルフィルタ等の公知の空間フィルタを用いる方法が挙げられる。エッジ強調処理部224では、エッジ強調の程度(つまり、エッジ強調の強度、あるいは、先鋭度ともいう。)を調整可能に構成されている。
【0029】
強度制御部226は、AGC部221から増幅率のデータを取得し、エッジ強調処理部224に対するエッジ強調の強度に対する制御を行う。エッジ強調処理部224を、ラプラシアンフィルタを用いて構成する場合には、例えばラプラシアンフィルタのカーネルの係数を調整することによりエッジ強調の強度が調整される。
【0030】
後段処理部225は、エッジ強調処理部224によりエッジ強調が施された画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、被写体の画像がモニタ300の表示画面に表示される。
【0031】
次に、
図3を参照して、本実施形態の電子内視鏡システム1における画像処理部22の動作について説明する。
図3では、(a)理想的な場合、(b)比較例、及び、(c)実施例を含む。
(a)の理想的な場合とは、明るさが十分な状態(例えば、被写体として近くの生体組織を撮像した場合)であって、かつノイズ低減処理によって画像信号に含まれるノイズがすべて除去される場合である。
(b)の比較例とは、被写体として遠くにある生体組織(暗い位置にある生体組織)を撮像した場合であって、AGCは行われるが、強度制御が行われない場合である。
(c)の実施例とは、(b)と同様に、被写体として遠くにある生体組織(暗い位置にある生体組織)を撮像した場合である。(c)の実施例は(b)と異なり、上述した構成の電子内視鏡システム1によって処理がなされた場合、つまり、AGCが行われ、かつ強度制御が行われる場合である。
【0032】
図3(a)~(c)のそれぞれにおいて、状態S1はAGCが行われる前の画像信号の状態を示し、状態S2はAGCが行われた後の画像信号の状態を示し、状態S3はノイズ低減処理が行われた後の画像信号の状態を示し、状態S4はエッジ強調処理が行われた後の画像信号の状態を示している。
【0033】
先ず、
図3(a)を参照すると、明るさが十分な状態であるため、AGCが行われる前の状態S1の画像信号の信号レベルが比較的高い。画像信号にはノイズが重畳している。画像信号のレベルが比較的高いことからAGCにおける増幅率が小さく設定される。例えば増幅率が1倍(等倍)であるとすると、AGCが行われた後の状態S2の画像信号の信号レベル及びノイズレベルは、状態S1と変化がない。
【0034】
次いで、ノイズ低減処理が行われると、状態S3に示すように、画像信号に重畳していた高周波成分のノイズが除去される。最後に、状態S4においてエッジ強調処理を施すと、信号レベルの変化が急峻な部分が強調された画像信号が得られる。
【0035】
次に、
図3(b)を参照すると、被写体として遠くにある生体組織(暗い位置にある生体組織)を撮像した場合であるため、AGCが行われる前の状態S1の画像信号の信号レベルは比較的低い。画像信号にはノイズが重畳しているが、ノイズのレベルは、明るさが十分である場合と同程度であるため、S/N比が低い状態となっている。画像信号のレベルが比較的低いことからAGCにおける増幅率が大きく設定される。例えば増幅率が4倍であるとすると、AGCが行われた後の状態S2の画像信号の信号レベル及びノイズレベルは、いずれも状態S1と比較して4倍となる。
【0036】
次いで、ノイズ低減処理が行われるが、状態S2においてノイズレベルが増幅されていることから、ノイズレベルが小さい
図3(a)の場合と異なり、ノイズが十分に除去できない。そして、ノイズが含まれた状態の画像信号に対してエッジ強調処理を行うと、ノイズの部分に対してエッジ強調されるため、画像が劣化することになる。
【0037】
次に、
図3(c)を参照すると、状態S1から状態S3までは、
図3(b)と同じである。ここで、AGCにおける増幅率が大きいことから、増幅率のデータが入力された強度制御部226では、エッジ強調の程度を
図3(b)の場合と比較して低下させるように制御される。その結果、状態S4に示すように、除去されなかったノイズ部分でエッジ強調されることが抑制され、
図3(b)の場合と比較して画像のS/N比を改善することができる。
【0038】
図3(c)に示すように、本実施形態の電子内視鏡システム1では、暗い位置にある生体組織を撮像した場合に従来と比較して画像のS/N比を改善することができる。
図3(c)の場合、
図3(a)の理想的な場合と比較すると十分な強調処理が得られないが、被写体に対して電子スコープ100の先端を近付けた場合には、明るさが十分となりAGC部221にて設定される増幅率が低下するため、強度制御部226におけるエッジ強調の程度を低下させずに済むことから、
図3(a)の場合と同様に、信号レベルの変化が急峻な部分が強調された画像信号を得ることができる。
【0039】
一実施形態では、
図4に示すように、強度制御部226が、AGC部221によって決定された増幅率に応じてノイズ成分の低減度合い(つまり、ノイズ低減処理の強度)が変更されるように、ノイズ低減処理部223を制御することも好ましい。
例えば、
図3に例示した場合、AGCによる増幅率を4倍にするとノイズも4倍になるため、画像信号に影響がない範囲内でノイズ低減の強度を上げるようにするとよい。ノイズ低減の強度を上げたことでノイズが低下した分、エッジ強調の強度を上げてもノイズが目立たなくなるため、エッジ強調処理の強度を上げる余地が生ずる。
すなわち、AGC部221における増幅率に応じて、ノイズ低減処理の強度とエッジ強調処理の強度とをバランス良く調整することで、後段処理部225に送る画像信号を最適なものにすることができる。
【0040】
以上、本発明の電子内視鏡用プロセッサ及び電子内視鏡システムについて詳細に説明したが、本発明の電子内視鏡用プロセッサ及び電子内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0041】
1…電子内視鏡システム
11…LCB
12…配光レンズ
13…対物レンズ
14…固体撮像素子
15…ドライバ信号処理回路
16…メモリ
21…システムコントローラ
22…画像処理部
23…メモリ
24…操作パネル
26…光源制御部
100…電子スコープ
200…プロセッサ
201…光源装置
221…AGC部
222…前段処理部
223…ノイズ低減処理部
224…エッジ強調処理部
225…後段処理部
226…強度制御部
300…モニタ