(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156825
(43)【公開日】2024-11-06
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
A61B 1/06 20060101AFI20241029BHJP
【FI】
A61B1/06 613
【審査請求】有
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2024125567
(22)【出願日】2024-08-01
(62)【分割の表示】P 2020179317の分割
【原出願日】2020-10-27
(71)【出願人】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】林 佳宏
(72)【発明者】
【氏名】新島 義之
(72)【発明者】
【氏名】秋野 縁
(72)【発明者】
【氏名】下田代 真哉
(57)【要約】 (修正有)
【課題】ローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、パルス発光期間の変化がローリングシャッタ期間に及んでも明るさムラや横縞を目立ちにくくする技術を提案する。
【解決手段】複数の半導体発光素子と、ローリングシャッタ方式の撮像素子と、画像信号に基づいて、複数の半導体発光素子の発光プロファイルを制御する主制御部と、発光プロファイルに応じた駆動信号で複数の半導体発光素子を駆動させる光源制御部と、撮像素子の露光レベルを検知する測光部と、を備え、発光プロファイルは、所定の光強度で発光させる強発光期間および所定の光強度よりも弱い光強度で発光させる弱発光期間のみを含む2段階の発光期間で構成され、主制御部は、強発光期間における発光量と弱発光期間における発光量の総量を一定に維持しながら、弱発光期間の発光量を強発光期間の発光量に置換する還元制御処理を実行する。
【選択図】
図11
【特許請求の範囲】
【請求項1】
観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する、ローリングシャッタ方式の撮像素子と、
前記画像信号を処理して前記被写体の画像を生成し、モニタに表示するプロセッサと、
前記画像信号に基づいて、前記複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、
前記主制御部から前記制御信号を受信し、前記発光プロファイルに応じた駆動信号で前記複数の半導体発光素子を駆動させる光源制御部と、
前記撮像素子の露光レベルを検知する測光部と、を備え、
前記発光プロファイルは、所定の光強度で発光させる強発光期間および前記所定の光強度よりも弱い光強度で発光させる弱発光期間のみを含む2段階の発光期間で構成され、
前記主制御部は、前記強発光期間における発光量と前記弱発光期間における発光量の総量を一定に維持しながら、前記弱発光期間の発光量を前記強発光期間の発光量に置換する還元制御処理を実行して前記発光プロファイルを決定し、
前記還元制御処理の前後において、前記強発光期間の光強度は常に一定であり、前記還元制御処理前後における前記弱発光期間の光強度のみが変化する、内視鏡システム。
【請求項2】
請求項1において、
前記主制御部は、前記弱発光期間の光強度がゼロになるまで前記弱発光期間の長さを一定に保ちながら、前記弱発光期間における光強度を減少させ、当該減少分の発光量を前記強発光期間の発光量に置換して前記強発光期間を伸長するための前記制御信号を生成する、内視鏡システム。
【請求項3】
請求項1において、
前記主制御部は、前記弱発光期間の光強度を一定に保ちながら、前記弱発光期間を短縮し、当該短縮分の発光量を前記強発光期間の発光量に置換して前記強発光期間を伸長するための前記制御信号を生成する、内視鏡システム。
【請求項4】
請求項1において、
前記主制御部は、前記弱発光期間の長さを短縮し、当該短縮分の発光量を前記弱発光期間の光強度を増加させることにより、前記弱発光期間の発光量を前記強発光期間の発光量に置換して前記強発光期間を伸長するための前記制御信号を生成する、内視鏡システム。
【請求項5】
請求項1において、
前記主制御部は、前記測光部による前記撮像素子の露光レベルが予め決められた適正値から外れた場合に、前記還元制御処理を実行する、内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、内視鏡システムに関する。
【背景技術】
【0002】
ローリングシャッタ方式のイメージセンサを搭載する通常の内視鏡装置においては、当該イメージセンサの有効画素読み出し期間(ローリングシャッタ期間)に光源を消灯させ、それ以外の期間(擬似グローバル露光期間)に光源を点灯させること(パルス発光制御)により、擬似グローバル露光を実行し、ローリングシャッタに起因する望ましくない現象、例えば歪みやアーティファクトの発生を回避している。
【0003】
一方、ローリングシャッタ期間に光源を完全に消灯してしまうと、被写体(観察対象部位)次第で光量が不足してしまい、良好が画像を取得することができない。例えば、特許文献1から3などでは、この光量不足を解消するために、ローリングシャッタ期間の一部をパルス発光期間に含める光源制御について示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2018-182580号公報
【特許文献2】特許第5379932号公報
【特許文献3】特許第6239220号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1から3のような光源制御を実行すると、隣接するフレームでラインごとの露光時間差により画面の明るさムラや横縞などが発生する。そして、フレーム毎のパルス発光期間の変化によって、この明るさムラや横縞が表示画面上で上下移動して目障りとなるという課題がある。また、光量不足を解消するために、ローリングシャッタ期間にオフセット発光させる場合、オフセット発光がある程度強くなると、長時間露光画像および高速露光画像が二重露光されたような不自然な画像を生成してしまう。
【0006】
本開示は、このような状況に鑑みてなされたものであり、ローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、十分な光量を確保すると共に、パルス発光器官の変化がローリングシャッタ期間に及んでも明るさムラや横縞を目立ちにくくする技術を提案する。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本開示は、観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する、ローリングシャッタ方式の撮像素子と、
前記画像信号を処理して前記被写体の画像を生成し、モニタに表示するプロセッサと、
前記画像信号に基づいて、前記複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、
前記主制御部から前記制御信号を受信し、前記発光プロファイルに応じた駆動信号で前記複数の半導体発光素子を駆動させる光源制御部と、
前記撮像素子の露光レベルを検知する測光部と、を備え、
前記発光プロファイルは、所定の光強度で発光させる強発光期間および前記所定の光強度よりも弱い光強度で発光させる弱発光期間のみを含む2段階の発光期間で構成され、
前記主制御部は、前記強発光期間における発光量と前記弱発光期間における発光量の総量を一定に維持しながら、前記弱発光期間の発光量を前記強発光期間の発光量に置換する還元制御処理を実行して前記発光プロファイルを決定し、
前記還元制御処理の前後において、前記強発光期間の光強度は常に一定であり、前記還元制御処理前後における前記弱発光期間の光強度のみが変化する、内視鏡システムを提案する。
【0008】
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。
本明細書の記述は典型的な例示に過ぎず、特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
【発明の効果】
【0009】
本開示によれば、ローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、十分な光量を確保すると共に、パルス発光器官の変化がローリングシャッタ期間に及んでも明るさムラや横縞を目立ちにくくすることが可能となる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態の内視鏡システムの全体外観例を示す図である。
【
図2】本実施形態の内視鏡システムの概略内部構成例を示す図である。
【
図3】プロセッサ200の内部に設けられた光源装置201の内部構成例を示す図である。
【
図4】各LED2011から2015のスペクトル(波長特性)を示す図である。
【
図5】クロスプリズム2017および2018に各LEDを透過させて生成される照明光(観察部位を照明する光)の特性を示す図である。
【
図6】配光分布が異なるLEDを用いた光源の構成例を示す図である。
【
図7】各LEDの出射光量/電流比のグラフを示す図である。
【
図8】CMOSセンサを一例とするローリングシャッタ方式の撮像素子の有効画素領域と無効領域を示す図である。
【
図9】一般的な調光制御処理を実行する場合に、
図8に示す撮像面を有する撮像素子を用いて撮像した画像に現れる現象(特徴)を示す図である。
【
図10】パルス発光の期間の伸長制御(時間制御のみ)を行う場合の動作とそれに対応する取得画像の状態を示す図である。
【
図11】本実施形態による改良された調光制御処理の概要を示す図である。
【
図12】強発光と弱発光の強度差による影響を説明するための図である。
【
図13】
図11の調光制御処理をさらに詳細に示す図であって、不適切な調光制御処理例を説明するための図である。
【
図14】無発光期間(あるいは、発光が視認できないほど発光強度が弱い弱発光期間)におけるオフセット発光処理(微弱パルス)を説明するための図である。
【
図15】無発光期間(あるいは、発光が視認できないほど発光強度が弱い弱発光期間)におけるオフセット発光処理(微弱連続光)を説明するための図である。
【
図16】被写体に撮像素子が急接近したとき、オフセット発光の有無によって現れる撮像画像の相違点を示す図である。
【
図17】本実施形態による調光制御処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態について図面を参照しながら説明する。なお、以下においては、本開示の一実施形態として内視鏡システムを例に取り説明する。
【0012】
内視鏡システムにおける観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、気管支、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、食道、十二指腸、子宮、膀胱等である。上述のような対象部位を観察する場合、特定の生体構造を強調した画像の活用がより効果的である。
【0013】
<内視鏡システムの構成>
図1は、本実施形態の内視鏡システムの全体外観例を示す図であり、
図2は、本実施形態の内視鏡システムの概略内部構成例を示す図である。内視鏡システム1は、内視鏡装置(電子スコープ)100と、プロセッサ200と、モニタ300とを備えている。なお、内視鏡装置100のプロセッサ側端部には、本実施形態の特徴に係るコネクタ回路を含むスコープコネクタ(以下、単に「コネクタ」と言うこともある)400が設けられている。
【0014】
内視鏡装置100は、被検体の内部に挿入される細長い管状の挿入部11を備えている。内視鏡装置100は、例えば、後述する光源装置201からの照射光を導くためのLCB(Light Carrying Bundle)101と、LCB101の出射端に設けられた配光レンズ102と、対物レンズ(図示せず)を介して被照射部分(観察部位)からの戻り光を受光する撮像ユニット103と、撮像ユニット103を駆動するドライバ信号処理回路105と、第1メモリ106とを備えている。
【0015】
光源装置201からの照射光は、LCB101内に入射し、LCB101内で全反射を繰り返すことによって伝播する。LCB101内を伝播した照射光(照明光)は、挿入部11の先端部12内に配置されたLCB101の出射端から出射され、配光レンズ102を介して観察部位を照射する。被照射部分からの戻り光は、対物レンズを介して撮像ユニット103の受光面上の各画素で光学像を結ぶ。
【0016】
撮像ユニット103は、挿入部11の先端部12内に配置されており、ローリングシャッタ方式のイメージセンサであるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。撮像ユニット103は、受光面上の各画素で結像した光学像(生体組織からの戻り光)を光量に応じた電荷として蓄積して、R、G、Bの画像信号を生成して出力する。なお、撮像ユニット103は、CMOSイメージセンサに限らず、ローリングシャッタ方式に基づくものであれば、その他の種類の撮像装置に置き換えられてもよい。撮像ユニット103から出力された信号は、後述するように、スコープコネクタ400に設けられたスコープコネクタ回路401によって処理される。
【0017】
プロセッサ200は、内視鏡装置100からの信号を処理する信号処理装置と、自然光の届かない体腔内を内視鏡装置100を介して照射する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。プロセッサ200は、光源装置201と、システムコントローラ202と、測光部203と、前段信号処理回路205と、色変換回路206と、後段信号処理回路207と、第2メモリ208とを備えている。
【0018】
プロセッサ200は、図示しない操作パネルを備えてもよい。操作パネルの構成には種々の形態がある。操作パネルの具体的構成としては、例えば、プロセッサ200のフロント面に実装された機能毎のハードウェアキーやタッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せ等が考えられる。オペレータ(施術者)は、操作パネルによって後述するモード切替操作が可能となる。
【0019】
測光部203は、色変換回路206に含まれるゲイン回路から撮像して得られた画像信号の輝度情報を取得し、予め決められた適正輝度値(例えば、適正輝度値の情報は、測光部203の図示しない内部メモリに予め格納しておくことができる)と比較し、比較結果(現状の輝度値が適正か、高いか、あるいは低いか)をシステムコントローラ202に通知する。
【0020】
システムコントローラ202は、図示省略のメモリに格納された各種プログラムを実行し、内視鏡システム1全体を統合的に制御する。システムコントローラ202は、制御信号を用いて、プロセッサ200に接続されている内視鏡装置100に適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。なお、システムコントローラ202は、上述の操作パネルに接続されてもよい。
【0021】
また、システムコントローラ202は、測光部203から適正輝度値との比較結果を受け取り、現状の露光(露出)を維持すべきか、露光を上げるべきか(上げるレベル値を含む)、あるいは露光を下げるべきか(下げるレベル値を含む)を決定し、露光制御信号として光源装置201に出力する。
【0022】
さらに、システムコントローラ202は、操作パネルから入力されるオペレータからの指示に応じて、内視鏡システム1の各動作及び各動作のためのパラメータを変更する。例えば、オペレータが操作パネルによって観察モードを選択する(モード切替操作)と、システムコントローラ202は、観察モードに対応した光源を発光させるためのモード選択信号を光源装置201に出力する。後述するが、光源装置201としては、例えば、それぞれ異なる波長帯域の光を出射する複数のLED(Light Emitting Diode)を用いることができる(
図3参照)。オペレータが、例えば、プロセッサ200に設けられたモード選択スイッチを操作することによって観察モード(例えば、通常観察モード、特殊光観察モード、SatO2モードなど)を選択すると、システムコントローラ202は、選択されたモードに対応するモード選択信号を生成し、これを光源装置201の光源制御部2016に供給する(
図3参照)。光源制御部2016は、モード選択信号に基づいて、発光させるLEDの組み合わせとそれらの強度および光量を決定し(例えば、モード選択信号に対応する、発光LEDの組み合わせ等が図示しない内部メモリに予め格納されている)、必要なLED制御信号を各LED2011から2015に出力する。各LED2011から2015は、光源制御部2016から供給されてきたLED制御信号に基づいて各波長帯域光を出射すると、各出射光はクロスプリズムによって合成され、照射光(合成光)が生成される。
【0023】
内視鏡装置100とプロセッサ200との間のデータ通信は、有線の電気通信方式を用いてもよいし、光無線通信方式を用いてもよい。
【0024】
図2に示されるように、内視鏡装置100とプロセッサ200は、スコープコネクタ400を介して接続される。コネクタ400は、プロセッサ200から内視鏡装置100へと続くLCB101の一部を構成するLCBと、スコープコネクタ回路401と、を備える。なお、本実施形態では、スコープコネクタ回路401は、スコープコネクタ400内に設けられているが、必ずしもスコープコネクタ400の内部に設けられなくても良い。例えば、プロセッサ200側のコネクタ部やプロセッサ200の内部にスコープコネクタ回路401に相当する回路を設けてもよい。
【0025】
<光源装置201の内部構成例>
図3は、例えば、プロセッサ200の内部に設けられた光源装置201の内部構成例を示す図である。
【0026】
光源装置201は、緑色光を出射する緑LED2011と、青色光を出射する青LED2012と、赤色光を出射する赤LED2013と、アンバー光を出射するアンバーLED2014と、UV光を出射するUV LED2015と、各LED2011から2015の発光を制御する光源制御部2016と、クロスプリズム2017および2018と、を備えている。
【0027】
光源制御部2016は、露光制御信号をシステムコントローラ202から受信すると、現在発光している各LED(観察モードによって発光させるLEDの組み合わせは決まっている)の発光期間および印加電流値を制御することにより、各LEDの発光プロファイルを変更して露光調整(光量調整)をする(後述の
図11や
図13参照)。例えば、発光プロファイルを1段階変更した後、光源制御部2016は、測光部203による測光結果(適正輝度値との比較結果)によって決まる露光制御信号に基づいて、上記発光プロファイルを再度変更して露光調整するか判断する。
【0028】
また、光源制御部2016は、オペレータによって選択された観察モードを示すモード選択信号に基づいて、発光すべきLEDの組み合わせを決定する。発光開始段階では、光源制御部2016は、例えば、予め決められた発光プロファイル(デフォルトの発光期間および駆動電流値)に基づいて、各LEDの発光を制御し、その後は、上述のような露光調整を行う。
【0029】
<各LED光源について>
図4は、各LED2011から2015のスペクトル(波長特性)を示す図である。また、
図5は、クロスプリズム2017および2018に各LEDを透過させて生成される照明光(観察部位を照明する光)の特性を示す図である。
【0030】
緑LED2011の透過波長帯域は540nmから575nmであり、ピーク波長は550nm、半値幅は30nmである。緑LED2011には蛍光体が搭載され、この蛍光体により、
図4に示すように、約400nmから780nmの透過波長帯域の光が発せられる。つまり、緑LEDと蛍光体により実質的に白色光が出射されるが、この白色光は中間生成物であり、後述するように、クロスプリズム2018によって透過波長帯域は狭められ、観察部位には緑光が照射される。青LED2012の透過波長帯域は460nmから490nmであり、ピーク波長は456nm、半値幅は21nmである。赤LED2013の透過波長帯域は630nmから1000nmであり、ピーク波長は650nm、半値幅は20nmである。アンバーLED2014の透過波長帯域は600nmから615nmであり、ピーク波長は613nm、半値幅は19nmである。UV LED2015の透過波長帯域は385nmから425nmであり、ピーク波長は405nm、半値幅は14nmである。
【0031】
蛍光体が搭載された緑LED2011を含む各LED2011から2015から発せられた各光(中間生成物としての白色光、青色光、赤色光、アンバー光、UV光)は、クロスプリズム2017および2018を透過すると、
図5に示す特性の各光となって観察部位に照射されることになる。詳細には、緑LED2011+蛍光体から発せられた白色光は、クロスプリズム2018によって、透過波長帯域が制限され、520nmから595nmの緑光となる。青色LED2012から発せられた青色光は、クロスプリズム2017および2018によって、440nmから500nmの青色光となる。また、赤色LED2013から発せられた赤色光は、クロスプリズム2017および2018によって、620nmから630nmの赤色光となる。アンバーLED2014から発せられたアンバー光は、クロスプリズム2017および2018によって、580nmから630nmのアンバー光となる。さらに、UV LED2015から発せられたUV光は、クロスプリズム2018によって、380nmから450nmのUV光となる。
【0032】
<各LEDのリニアリティ差の補正>
光源装置201を複数のLEDで構成する場合、各LED2011から2015が発する光の波長のみならず、配光(各方向における光度分布)が異なる場合(
図6参照:波長が異なるLEDを用いた光源の構成例)があり、各LED2011から2015からの出射光の色や配光の変化が発生する可能性がある。また、LEDの種類によっては駆動電流値を下げるために順方向電圧を下げると、駆動電流値が急激に低下しLEDが発光しなくなるため駆動電流値を大きく下げることができない場合がある。このような状況に対処するため、各LED2011から2015の駆動電流制御に合せて各LED2011から2015の出射光量/電流比のリニアリティの差を動的に補正しなければならなくなる。
【0033】
しかし、リニアリティの差を動的に補正する処理は複雑であるため、予めリニアリティの差がないように駆動電流値を決定することが好ましい。そこで、本実施形態では、出射光量/電流比のリニアリティを補正するための補正テーブルを予め用意し、これを用いて各LED2011から2015の駆動電流値を決定する。
図7は、各LEDの出射光量/電流比のグラフを示す図である。
図7では、一例として2つのLED(LED1およびLED2)のみの関係を示しているが、本実施形態に示すような5つのLED2011から2015を用いる場合も同様である。
図7に示すような各LEDの出射光量/電流比の関係は、予め各LEDを測定することによって取得することができる。このため、補正値として、出射光量/電流比の関係の逆数を補正パラメータとする補正テーブルを予め備えておき(メモリに格納しておく)、光源制御部2016は、所望の出射光量(露光調整によって得られる目標出射光量)に対応する補正パラメータを乗算することにより、補正された駆動電流値を算出し、各LEDを駆動する。このようにすることにより、各LEDの出射光の波長や配光が異なっている場合であっても出射光量/電流比のリニアリティを適切に制御することが可能となる。
【0034】
<撮像素子の撮像面の構成例>
図8は、CMOSセンサを一例とするローリングシャッタ方式の撮像素子の有効画素領域と無効領域を示す図である。CMOSセンサは、撮像可能な有効画素領域と撮像することができない無効領域を含んでいる。また、有効画素領域の一部(周辺部)はマスクされ、実質的には画像信号を取得できない領域となっている。このような撮像素子を用いて撮像する場合(グローバル露光の場合)、様々な現象(特徴)が撮像画像に現れることになる。なお、本実施形態では、画面に表示されない期間をグローバル露光期間するが、本実施形態の思想はこの場合に限定されるものではない。
【0035】
<一般的な調光制御処理>
図9は、一般的な調光制御処理を実行する場合に、
図8に示す撮像面を有する撮像素子を用いて撮像した画像に現れる現象(特徴)を示す図である。
図9aのように、画面に示されないラインの読み出し期間内にパルス発光すると、擬似グローバル露光を実現することができる。また、
図9bのようにパルス発光すると、有効画素領域の一番上のラインは読み出しからリセットまでの期間分だけ他のラインよりも露光量が少なくなり、一番上のラインが多少暗く映るが、読み出しからリセットまでの期間が擬似グローバル露光期間よりも十分に短ければ(例えば、1%未満)暗さは目立たない。また、
図9cのようにパルス発光すると、有効画素領域の上半分程度が僅かに暗くなるが、各ラインの総露光量が増加している分だけさらにその領域の暗さが目立たなくなる。このように、パルス発光期間が伸びるほど露出量が異なる領域は広がるが露出量が異なることに起因する明るさの違いは目立たなくなるという特徴がある。さらに、
図9dのように、パルス発光期間をさらに伸ばすと、直前のパルス成分が増加すると、画面下部から上部に掛けて滑らかに比率が変わっていく。このため、アーティファクトや歪(好ましくない現象)が目立ちにくくなる。
【0036】
図10は、パルス発光の期間の伸長制御(時間制御のみ)を行う場合の動作とそれに対応する取得画像の状態を示す図である。
図10は、上述のパルス発光期間伸長の効果をさらに詳細に示す図である。
図10Aに示すように、隣接するフレーム間でパルス発光期間を変化させると、パルス端の前後で読み出しをするラインで露光量の差が大きくなり、画像上で横縞が上下に移動して見えるという現象が生じる。一方、
図10Bに示すように、隣接フレーム間で弱発光強度を変化させると、画像上の横縞は目立たなくなる。
【0037】
しかしながら、
図9や
図10のように単に露光期間を伸ばせばよいというものでもない。露光量が増えると、観察箇所の周囲環境によっては画像に白飛び現象(明るい部分が白く抜けた画像になること)が生じる可能性があるからである。そのため、適正な(画像が暗すぎず、かつ白飛びを生じさせない)露光量に維持しながら歪みやアーティファクトの発生を回避する必要がある。
【0038】
<改良された調光制御処理>
図11は、本実施形態による改良された調光制御処理の概要を示す図である。また、
図12は、強発光と弱発光の強度差による影響を説明するための図である。
【0039】
擬似グローバル露光期間の光(強発光)の強度がローリングシャッタ期間の光(弱発光)の強度以上となるように光源の発光動作を制御し、弱発光強度を上下させて調光制御を行う場合、ローリングシャッタ期間の弱発光が所定の閾値以下であれば強発光強度または強発光期間を擬似グローバル露光期間の範囲内で変化させて調光制御を行うのが一般的である。
【0040】
しかし、
図12Aに示すように、強発光と弱発光の強度差が大きく、「強発光の強度と期間の積(強発光積分値)」の「弱発光の強度と期間の積(弱発光積分値)」に対する比(積分値比)が十分に大きくない場合、短時間露光の画像と長時間露光の画像が二重露光されたような不自然な画像が観測され、特に動きのある被写体についてはこの現象がオペレータにとって違和感となりやすい。また、光源が異なる波長または異なる配光の複数のLEDから構成される場合(本実施形態のような場合)、各LEDの出射光量を一定の比率にしないと、出射光の色や配光が変化してしまう。このため、前述のように、各LEDの発光量/電流比のリニアリティにばらつきがある場合に駆動電流値を制御するには、各LEDの発光量/電流比のリニアリティの差を補正する必要があり、処理が複雑となってしまう。
【0041】
そこで、処理の煩雑化を軽減すべく、上述の補正テーブルによる各LEDの出射光量/電流比のリニアリティの補正処理に加えて、弱発光の強度が所定の閾値よりも低い場合には、以下の処理1から3の何れかを実行する。
処理1:弱発光強度を下げながら強発光期間を伸ばす処理
処理2:弱発光期間を縮めながら強発光期間を伸ばす処理
処理3:弱発光期間を縮めながら弱発光強度を上げる処理
【0042】
つまり、処理1から処理3の何れも、処理の前後で総発光積分値(強発光積分値+弱発光積分値)を同一に保ちながら、観察画面の明るさの変化、横縞が画像の上下に移動するという現象や、画面の明減(明るさの減少)が発生しないように時間を掛けて順次弱発光を強発光に置き換える処理となっている(還元制御処理)。これらの何れかの処理により、時間経過に連れて二重露光されたような不自然な画像が形成されたり、出射光の色や配光が変化したりするという不都合を解消することができるようになる。例えば、
図12Aの状態(二重露光され横縞が現れた画像)から
図12Eの状態(二重露光や明るさ/色ムラが解消し、横縞のない画像)にすることが可能となる。
【0043】
図11を参照して、処理1から3を具体的に説明する。まず、光源制御部2016は、各LED2011から2015について、擬似グローバル露光期間を強発光とし、ローリングシャッタ期間を弱発光として露光が適正レベルになるまで調光制御する。
図11(1)に示すように、全期間(擬似グローバル露光期間およびローリングシャッタ期間)均一な強度で発光している状態から発光強度を下げていく場合、ローリングシャッタ期間(弱発光期間)の発光強度を下げ、ローリングシャッタ期間が無発光状態になったら擬似グローバル露光期間を短くし、あるいは擬似グローバル露光期間の発光強度を下げるような、調光制御が実行される。一方、
図11(2)に示すように、発光強度を上げていく場合、擬似グローバル露光期間における発光期間を伸長し、あるいは擬似グローバル露光期間の発光強度を上げ、擬似グローバル露光期間において最大の発光期間および発光強度になったらローリングシャッタ期間(弱発光期間)における発光強度を順次上げていくような、調光制御が実行される。
【0044】
例えば、
図11(1)の調光制御により、P1の発光パターンで適正露光レベル(例えば、予め決められた適正レベル±α:αはマージン)になったとする。この状態を継続して撮像した場合、
図12Aのように二重露光されたような画像が生成されてしまう。強発光による画像と弱発光による画像で明るさの異なる画像が得られ、それらが重なるためである。そこで、発光パターンP1の露光レベルを維持したまま、調光制御処理を
図11(3-1)から(3-3)の何れかに移行させる。ここで、
図11(3-1)は上記処理1、
図11(3-2)は上記処理2、
図11(3-3)は上記処理3に相当する。処理1から処理3では、弱発光強度が所定の閾値以下である場合、毎フレームにおいて少しずつ弱発光強度を強発光期間に置き換える処理が行われる。これにより、撮像画像において横縞を発生させずに弱発光期間を無くし、不自然な画像の発生や各光源からの光の色・配光の変化を回避することが可能となる。
【0045】
さらに詳細に説明すると、処理1(
図11(3-1))では、強発光期間と弱発光期間の総面積(総発光積分値)が同一となるように、弱発光における発光強度×発光期間の値(弱発光面積)が徐々に強発光期間に置き換えられ、発光パターンQ1によって調光制御が実行される(還元処理)。例えば、
図11の還元部分1001から1004の発光は、対応する還元処理が実行されるフレームにおいて、撮像素子(CMOSセンサ)の有効画素領域(
図8参照)の一番上のラインよりも下の領域が露光される。このため、当該フレームでは、一番上のラインに相当する画像部分は暗くなるが、次フレームでは当該一番上のラインに対応する画像信号を取得することができる。
【0046】
処理2(
図11(3-2))および処理3(
図11(3-3))は、処理1とは別の形態(実施例)による調光制御処理である。つまり、処理2および処理3も、処理1と同様に、強発光期間と弱発光期間の総面積(総発光積分値)が同一となるように、弱発光における発光強度×発光期間の値(弱発光面積)が徐々に強発光期間に置き換える処理である(還元処理)。処理2では、弱発光レベルを一定に保ちながら、弱発光期間を短縮し、期間短縮によって減少した弱発光面積に相当する発光積分値を徐々に強発光期間に割り当てることにより、強発光期間を伸長している。また、処理3では、弱発光期間を短縮し、期間短縮によって減少した弱発光面積に相当する発光積分値を弱発光に割り当て、弱発光強度を徐々に上げることにより、強発光期間を伸長している。処理1から3によって、発光パターンQ1からQ3が実行されることになる。なお、発光パターンQ1からQ3はすべて同一パターンである。
【0047】
処理1から処理3(
図11(3-1)から(3-3))の何れかの調光制御による発光の変化を十分にゆっくり実行すればオペレータに違和感を与えることなく二重露光のような不自然な画像の生成を回避することができる。例えば、発光パターンQ1からQ3による調光制御を実行している状態では、得られる画像が
図12Eのようになり、二重露光が解消されている。
【0048】
発光パターンQ1からQ3で被写体に各光源からの光を照射しているときに、被写体が移動した(カメラの移動も含む:相対的に移動)ことにより露光レベルが上がり明るくなり過ぎた場合(露光レベルが適正値からずれた)、
図11(4-1)に示される処理によって、適正露光レベルが探索される。例えば、発光プロファイルP2のときに露光レベルが適正であると判断された場合(明るすぎた露光レベルが適正になったとき:上述と同様に、測光部203による測光結果によって露光レベルが適正かが判断される)、発光プロファイルP2の状態から還元処理(処理1から3の何れか)が実行され、弱発光の部分が強発光に還元される。一方、発光プロファイルP2の状態で発光しているときに、被写体が移動した(カメラの移動も含む:相対的に移動)ことにより露光レベルが下がり暗くなり過ぎた場合(露光レベルが適正値からずれた)、
図11(4-2)に示される処理によって、適正露光レベルに修正される(適正露光レベルになるまで
図11(4-2)に示す弱発光レベルを上げる処理が順次実行されていく)。例えば、発光プロファイルQ4で適正露光レベルとなった場合、
図11(5)に示すように、発光プロファイルQ4の露光レベルの状態から処理1から処理3の何れかの還元処理が実行される。
【0049】
<調光制御処理の詳細および内視鏡の急峻な動きへの対応>
図13は、
図11の調光制御処理をさらに詳細に示す図であって、不適切な調光制御処理例を説明するための図である。
【0050】
図13において、例えば、発光プロファイルP11の光で被写体を照射し撮像すると、画像が白飛びしていると判定された場合(P11の露光レベルが適切ではない場合)、順次ローリングシャッタ期間の弱発光の強度を下げて行く(プロファイルP11から順次右のプロファイルに移行していく)。ここで、例えば、発光プロファイルP16で適正露光レベル(白飛びがなくなり見やすい露光レベル)になったとすると、続いて、上述の還元処理(処理1から処理3の何れか)が実行され、弱発光期間が強発光期間に置換される。すると、撮像画像は、
図12Aの状態(発光プロファイルP16で被写体を照射すると二重露光されたような不自然な画像となる)から
図12Eの状態となり、白飛びおよび二重露光のような現象も解消される。撮像画像の明るさに変化がなければ(変化が所定閾値内に収まっていれば)、発光プロファイルP66で各光源2011から2015の発光が行われる。
【0051】
図13では、発光プロファイルP11から順次右に移行して発光プロファイルP16になり、引き続き還元処理によって発光プロファイルP66になるように調光制御されるが、これ以外の経路(例えば、P11→P12→P13→P24→P25→P36→P46→P56→P66のように、斜めに進むような(ただし上下方向にはゆっくりとしか動かない)動作、つまり調光制御と還元処理を同時に行うような動作を行いながら移行する経路)を辿っても良い。ただし、発光プロファイルP11→P22→P33→P44→P55→P66の経路で調光制御処理を実行することはできない。これは、強発光期間を単に時間制御しているだけあり、
図10Aのように画像の明るい部分が上下に移動する現象(横縞移動減少)が現れてしまうからである。この現象を引き起こさないようにするため、じっくりと時間を掛けて弱発光の強度分布を強発光に還元する(還元処理)必要がある。
【0052】
例えば、
図13の発光プロファイルP66の状態からさらに明るくする必要があるときは、時間方向に強発光の強度分布を伸長してしまうと上述の横縞移動現象を引き起こしてしまうため、まず弱発光の強度レベルを上げて行く。例えば、発光プロファイルP66から発光プロファイルP56の状態にし、続いて発光プロファイルP55の状態に調光制御される。ただし、上下方向に急速に発光プロファイルを移行させると、時間方向に急にプロファイルを移行させたことと同義であるので、内視鏡(撮像素子)の急峻な動きに対してはプロファイルを横方向に動かして適正な露光レベルに調節してから縦方向に還元処理を実行することが重要である。
【0053】
一方、発光プロファイルP66の状態から暗くする必要があるとき、発光プロファイルP77に即座に移行することはできない。このため、一旦、ローリングシャッタ期間の強発光レベルを下げて弱発光期間として発光プロファイルP76の状態にし、その後還元処理により、発光プロファイルP77の状態にする処理が実行されることになる。
【0054】
なお、適切な露光レベルが決まった後は、上矢印と下矢印が出会う状態の発光プロファイル(Pkk;k=1、2、・・・・、n:nは1以上の整数)まで調光制御処理が実行されることになる。
【0055】
また、
図13において、電流値Iminは、上述の各光源の出射光量/電流比のリニアリティの補正限界、あるいは各LEDが消灯してしまう電流値を示している。よって、本実施形態では、弱発光の発光強度を下げる調光制御を実行する場合、Iminまで下げた後は、発光強度を下げる代わりに発光期間を短縮することにより明るさを調整ようにしている。なお、この場合、Iminが強発光強度×時間に対して十分に小さければ、横縞が見えることはない。
【0056】
<オフセット発光処理>
図14、15、および16は、無発光期間(あるいは、発光が視認できないほど発光強度が弱い弱発光期間)におけるオフセット発光処理を説明するための図である。
図14は、微弱パルスによるオフセット発光を示している。
図15は、微弱連続光によるオフセット発光を示している。
図16は、被写体に撮像素子が急接近したとき、オフセット発光の有無によって現れる撮像画像の相違点を示す図である。なお、ここで、「微弱」とは、強発光期間における発光強度よりも十分に低く二重露光画像とならないが、被写体と内視鏡先端が接近している場合には、被写体が視認できる明るさで撮像できるような発光強度であることを意味するものとする。
【0057】
オフセット発光処理は、従来の調光制御処理(
図9など)や本実施形態による調光制御処理(
図11や
図13参照)とは別に(調光制御処理のバックグラウンドで)実行され、無発光期間に微弱なオフセット発光する処理である。微弱なオフセット発光は、パルス発光する形態(
図14参照)と、連続発光する形態(
図15参照)が考えられているが、これら以外の発光パターンでもよい。例えば、パルス発光と連続発光を組み合わせて発光パターンを構成してもよいし、不規則なパルス幅での発光パターンを構成してもよい。このような微弱なオフセット発光は、調光制御処理(何れの調光制御処理でも当てはまる)による発光の強度が所定値以上ある場合には、0(ゼロ)と見做すことができる。一方、調光制御処理による発光の強度が所定値未満となれば(あるいは発光強度がゼロのとき)、オフセット発光のみで被写体を照射することになる。この結果、本来なら無発光期間で起こった事象は画像として取得できないところ、オフセット発光によって無発光期間での事象も捉えることができるようになる。
【0058】
図16は、撮像素子が被写体に急接近したときの、微弱オフセット発光(パルス光、連続光)の有無による撮像画像の相違点を示す図である。微弱オフセット発光が無い場合、フレームFkの撮像画像は、フレームFk-1と同一の画像が取得される。一方、微弱オフセット発光を行う場合、パルス光あるいは連続光の何れの場合であっても、フレームFkの撮像画像は、フレームFk-1とは明らかに異なる画像となっており、フレームFkで撮像素子が被写体に急接近したときの事象が捉えられていることが分かる。また、フレームFk+1の撮像画像は、微弱オフセット発光の有無によって違いが無いことが分かる。
【0059】
<調光制御処理:フローチャート>
図17は、本実施形態による調光制御処理を説明するためのフローチャートである。以下の各ステップの処理は、主にシステムコントローラ202を動作主体として説明されているが、これに限らず、動作制御や演算処理をする制御部(プロセッサ)を別途設けてそれに実行させるようにしてもよい。また、システムコントローラ202の機能を光源装置201の光源制御部2016に持たせて構成してもよい。従って、調光(還元)制御処理は、内視鏡システム1の全体の動作の一部とすることもできるし、光源装置201の動作の一部とすることもできる。後者の場合は、光源制御部2016が各ステップの処理の主な動作主体となる。
【0060】
(i)ステップ1701
光源制御部2016は、システムコントローラからオペレータによって選択された観察モードに対応するモード選択信号を受信し、発光すべき各光源(緑LED2011からUV LED2015の何れかの組み合わせ)について、上記補正テーブルを用いて、各光源の出射光量/電流比のリニアリティを補正する。
【0061】
(ii)ステップ1702
光源制御部2016は、出射光量/電流比のリニアリティ補正後の駆動電流によって各光源を駆動して発光させて照明光を生成し、被写体にこの照明光を照射する。なお、このときの発光プロファイル(強発光の期間と弱発光のレベルおよび期間)は所定の値(デフォルト値)とすることもできるし、前回の内視鏡使用時で最後の動作で用いた発光プロファイルを用いることもできる。
【0062】
(iii)ステップ1703
撮像ユニット103の撮像素子(例えば、CMOSセンサ)は、ステップ1702で生成された照明光を被写体(観察部位)に照射することにより発生する被写体からの反射光を検出し、スコープコネクタ回路401を介して撮像画像信号をプロセッサ200に送信する。測光部203は、現在の撮像画像信号の輝度情報を色変換回路206に含まれるゲイン回路から取得し、予め決められた適正輝度値と比較(例えば、差分値を取る)し、当該比較結果をシステムコントローラ202に受け渡す。なお、測光部203では、ゲイン回路から現在の撮像画像信号の輝度情報のみを取得し、適正輝度値との比較はシステムコントローラ202など他の処理部で実行してもよい。
【0063】
(iv)ステップ1704
システムコントローラ202は、測光部203から受け取った比較結果(あるいは、システムコントローラ202が比較結果(差分値)を算出してもよい)と所定の閾値(露光レベルが適正かを判断するための閾値)とを比較し、現在の露光レベルが適正であるか判断する。例えば、比較結果(差分値)が当該所定の閾値以下であれば適正と判断することができる。現在の露光レベルが適正ではないと判断された場合(ステップ1704でNoの場合)、処理はステップ1705に移行する。一方、現在の露光レベルが適正であると判断された場合(ステップ1704でYesの場合)、処理はステップ1706に移行する。
【0064】
(v)ステップ1705
システムコントローラ202は、被写体の照明光照射に用いている現在の発光プロファイル(強発光期間と、弱発光期間および弱発光レベルを表す情報)を変更する。
【0065】
例えば、現在の露光レベルが高く、画像が明るすぎる場合(画像が白飛びしてしまっているような場合)、システムコントローラ202は、発光プロファイルにおいて弱発光のレベルを下げて露光レベルを調整するような露光制御信号を生成する。また、現在の発光プロファイルにおいて弱発光レベルがゼロとなっている場合には、システムコントローラ202は、さらに強発光期間を短縮して露光レベルを調整するような露光制御信号を生成する。
【0066】
一方、現在の露光レベルが低く、画像が暗すぎる場合、システムコントローラ202は、発光プロファイルにおいて強発光期間が擬似グローバル期間幅に達していないときには強発光期間を伸長する。また、現在の発光プロファイルにおける強発光期間が擬似グローバル期間幅に達している場合には、システムコントローラ202は、さらに弱発光レベルを上げて露光レベルを調整するような露光制御信号を生成する。
【0067】
発光プロファイルが変更されると、処理はステップ1702に移行する。なお、ここでは、発光プロファイルは1段階ずつ徐々に変更して適正露光レベルに調整している。しかし、例えば、撮像画像の輝度値と適正な輝度値(適正な露光レベルに対応する輝度値)との差分値(比較値)と、発光プロファイルの変更幅(何段階発光プロファイルを変更するかを示す情報)との関係を示す情報(例えば、テーブル)をシステムコントローラ202の内部メモリ(図示せず)に格納しておき、上記差分値(比較値)から直接適切な発光プロファイルを求めるようにしてもよい。
【0068】
(vi)ステップ1706
システムコントローラ202は、適正露光レベルを呈する発光プロファイルに対して還元制御処理を実行する必要があるか判断する。還元制御処理の要否の判断は、例えば、前回の還元制御処理の実行後に発光プロファイルを変更した事実があるか否かに基づくことができる。発光プロファイルの変更が無ければ、現在適切な露光レベル(適切な明るさ)かつ適切な調光(横縞が出現しない調光)で被写体が撮像されているので、還元制御処理を実行する必要がない。一方、発光プロファイルの変更があれば、強発光に置き換えるべき弱発光成分が存在する可能性があるので、変更後の発光プロファイルに弱発光期間が存在するか否かで還元制御処理の要否が判断されることになる。
【0069】
還元制御処理を実行する必要があると判断された場合(ステップ1706でYESの場合)、処理はステップ1707に移行する。一方、還元制御処理を実行する必要がないと判断された場合(ステップ1706でNOの場合)、処理はステップ1708に移行する。
【0070】
(vii)ステップ1707
システムコントローラ202は、
図11の処理1から処理3の何れかの処理を実行し、「強発光期間×強発光強度+弱発光期間×弱発光強度」で表される発光積分値(発光プロファイルの面積)を一定に保ちつつ、徐々に弱発光の成分を強発光の成分に置き換える。例えば、1秒間程度の時間(数十フレーム分の時間)を掛けて還元制御処理が実行され、例えば、Q1からQ3で表される
図10の発光プロファイルに変更される。これにより、露光レベルを適正にしただけでは二重露光され、横縞が出現する画像(
図12A)からそれらの出現がない画像(
図12E)を取得することが可能となる。
【0071】
(viii)ステップ1708
光源制御部2016は、システムコントローラ202から適用すべき発光プロファイルの情報を受信し、受信した発光プロファイルおよびモード選択信号に基づいて、各LED2011から2015の何れかを発光して照明光を生成して被写体に照射させる。また、撮像ユニット103の撮像素子(CMOSセンサ)は、照明光が照射された被写体から反射光を検出し、撮像画像信号を生成してプロセッサに送信する。また、プロセッサ200は、撮像画像信号に対して所定の画像処理を実行して表示画像データを生成し、当該表示画像データをモニタ(表示装置)300の画面上に表示する。
【0072】
(ix)ステップ1709
システムコントローラ202は、オペレータから撮像終了や照明光オフなど、観察終了の指示が入力されたか判断する。観察終了の指示が入力された場合(ステップ1709でYESの場合)、調光制御処理は終了する。観察終了の指示が入力されない(指示が検知されない)場合(ステップ1709でNOの場合)、処理はステップ1703に移行し、現在の露光レベルが適正か否かの判断・監視、および調光制御処理などが継続して行われる。撮像ユニット103は、内視鏡装置100の先端部12に設置されており、被検者の体腔内を移動する。従って、被写体(観察部位)に近づいたり遠ざかったりするため、露光レベルに変化が生じることがある。そのため、常に撮像画像の輝度レベルを監視し、適正な露光レベルを維持するように光源装置201の動作は制御される。
【0073】
<本実施形態の効果>
本実施形態によれば、ローリングシャッタ歪みやアーティファクトを回避しつつ、充分な光量を確保して被写体を撮像することができるようになる。また、パルス発光期間の変化がローリングシャッタ期間に及んだとしても横縞の上下移動を目立ちにくくすることができる。さらに、光源として、複数のLEDを同時に使用する場合、発光強度が変わると各LEDの出射光量/電流比のリニアリティの違いを補正して電流制御をおこなわないと各LEDの光量の比率が変わってしまい、廃坑の変化や色の変化を起こしてしまうが、本実施形態に寄れば、短時間で発光強度を基に戻すことができ、このような課題を解決することが可能となる。
【0074】
<本開示の特定事項>
(1)特定事項1
観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する、ローリングシャッタ方式の撮像素子と、
前記画像信号を処理して前記被写体の画像を生成し、モニタに表示するプロセッサと、
前記画像信号に基づいて、前記複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、
前記主制御部から前記制御信号を受信し、前記発光プロファイルに応じた駆動信号で前記複数の半導体発光素子を駆動させる光源制御部と、
前記撮像素子の露光レベルを検知する測光部と、を備え、
前記発光プロファイルは、所定の光強度で発光させる強発光期間および前記所定の光強度よりも弱い光強度で発光させる弱発光期間のみを含む2段階の発光期間で構成され、
前記主制御部は、前記強発光期間における発光量と前記弱発光期間における発光量の総量を一定に維持しながら、前記弱発光期間の発光量を前記強発光期間の発光量に置換する還元制御処理を実行して前記発光プロファイルを決定し、
前記還元制御処理の前後において、前記強発光期間の光強度は常に一定であり、前記還元制御処理前後における前記弱発光期間の光強度のみが変化する、内視鏡システム。
(2)特定事項2
特定事項1において、
前記主制御部は、前記弱発光期間の光強度がゼロになるまで前記弱発光期間の長さを一定に保ちながら、前記弱発光期間における光強度を減少させ、当該減少分の発光量を前記強発光期間の発光量に置換して前記強発光期間を伸長するための前記制御信号を生成する、内視鏡システム。
(3)特定事項3
特定事項1において、
前記主制御部は、前記弱発光期間の光強度を一定に保ちながら、前記弱発光期間を短縮し、当該短縮分の発光量を前記強発光期間の発光量に置換して前記強発光期間を伸長するための前記制御信号を生成する、内視鏡システム。
(4)特定事項4
特定事項1において、
前記主制御部は、前記弱発光期間の長さを短縮し、当該短縮分の発光量を前記弱発光期間の光強度を増加させることにより、前記弱発光期間の発光量を前記強発光期間の発光量に置換して前記強発光期間を伸長するための前記制御信号を生成する、内視鏡システム。
(5)特定事項5
特定事項1において、
前記主制御部は、前記測光部による前記撮像素子の露光レベルが予め決められた適正値から外れた場合に、前記還元制御処理を実行する、内視鏡システム。
【符号の説明】
【0075】
1 内視鏡システム
100 内視鏡装置
103 撮像ユニット
200 プロセッサ
201 光源装置
2011 緑LED
2012 青LED
2013 赤LED
2014 アンバーLED
2015 UV LED
2016 光源制御部
2017、2018 クロスプリズム
202 システムコントローラ
203 測光部
300 モニタ