(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20221219BHJP
A61B 1/00 20060101ALI20221219BHJP
A61B 1/12 20060101ALI20221219BHJP
A61B 1/06 20060101ALI20221219BHJP
G02B 23/26 20060101ALI20221219BHJP
【FI】
A61B1/045 610
A61B1/045 640
A61B1/00 552
A61B1/00 550
A61B1/00 553
A61B1/12 542
A61B1/045 611
A61B1/06 612
G02B23/26 B
(21)【出願番号】P 2019009944
(22)【出願日】2019-01-24
【審査請求日】2021-01-25
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】三島 崇弘
【審査官】増渕 俊仁
(56)【参考文献】
【文献】国際公開第2011/102199(WO,A1)
【文献】特開平10-085175(JP,A)
【文献】特開2015-159957(JP,A)
【文献】国際公開第2018/061434(WO,A1)
【文献】特開2012-005807(JP,A)
【文献】特開平09-215659(JP,A)
【文献】米国特許出願公開第2008/0158348(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
G02B 23/24-23/26
(57)【特許請求の範囲】
【請求項1】
照明光を発光する光源部と、
前記照明光によって照明された観察対象を撮像して得られる画像信号を取得する画像信号取得部と、
前記照明光の発光量を制御する光源制御部と、
前記画像信号を第1増幅率のゲイン調整量にて調整するゲイン調整部と、
前記観察対象の静止画を取得するための静止画取得指示を行う静止画取得指示部と
、
前記照明光によって照明された前記観察対象を撮像する撮像センサを有する内視鏡と、
前記内視鏡の挿入部が体内に挿入されているか否かを判定する体内挿入判定部とを備え、
前記光源制御部は、前記発光量を予め定めた第1上限値以下の範囲内で制御する発光量制限を行い、前記ゲイン調整部は、前記発光量が前記第1上限値に達した場合には、前記画像信号を前記第1増幅率よりも大きい第2増幅率にて調整し、
前記静止画取得指示がある場合には、前記光源制御部は、前記発光量制限を解除することにより、前記第1上限値を超え、かつ、前記静止画取得指示が行われた時点での前記ゲイン調整部による前記ゲイン調整量が前記第1増幅率である場合における前記発光量の発光を可能にし、前記ゲイン調整部は、前記画像信号を前記第1増幅率にて調整
し、
前記光源制御部は、前記体内挿入判定部により前記内視鏡の挿入部が体内に挿入されていないと判定された場合、前記発光量制限を行う内視鏡システム。
【請求項2】
前記内視鏡の先端部の温度を推定する温度推定部を備え、
前記光源制御部は、前記温度推定部が推定した前記先端部の温度が予め設定した温度閾値を超えた場合には、その際の
前記発光量を前記第1上限値とする
請求項1に記載の内視鏡システム。
【請求項3】
前記内視鏡の先端部を前記観察対象に近接させた位置で前記観察対象を観察する近接観察か否かを判定する近接判定部を備え、
前記近接判定部により前記近接観察であると判定された場合は、前記静止画取得指示により、近接観察用シャッタ速度にて
前記静止画を取得し、
前記近接観察用シャッタ速度は、前記近接判定部により前記近接観察であると判定されない場合における非近接観察用シャッタ速度より速い
請求項1または2に記載の内視鏡システム。
【請求項4】
前記ゲイン調整部が前記画像信号を調整することにより生じる前記画像信号のノイズ許容値を予め設定し、
前記第2増幅率の上限を示す最大増幅率は、前記ノイズ許容値に基づいて決定する請求項1
ないし3のいずれか1項に記載の内視鏡システム。
【請求項5】
前記静止画取得指示がある場合には、前記光源制御部は、前記発光量を第2上限値以下の範囲内で制御する発光量制限を行い、
前記第2上限値は、前記第2増幅率に基づいて決定し、かつ、前記第1上限値より大きい請求項1
ないし4のいずれか1項に記載の内視鏡システム。
【請求項6】
前記ゲイン調整部が前記第1増幅率または前記第2増幅率にて前記画像信号を調整することにより、調整後の前記画像信号による輝度信号値が略一定となる請求項1
ないし5のいずれか1項に記載の内視鏡システム。
【請求項7】
前記光源部は、少なくとも、赤色光、青色光、及び緑色光からなる照明光を発光し、
前記光源制御部は、前記赤色光、前記青色光、及び前記緑色光の各発光量を、それぞれ独立して制御する請求項1
ないし6のいずれか1項に記載の内視鏡システム。
【請求項8】
前記ゲイン調整部は、前記赤色光、前記青色光、及び前記緑色光による各画像信号を、それぞれ独立して調整する
請求項7に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システムに関する。
【背景技術】
【0002】
医療分野において、生体内の観察対象を撮影する内視鏡システムが広く利用されている。内視鏡システムでは、生体内の観察対象に白色光または波長が制限された挟帯域の光からなる照明光を照射することにより、生体組織の表面の全体的な性状を観察し病変の有無を調べ、また、病変が存在した場合は特に病変部分について詳細観察が行われる。
【0003】
照明光は、内視鏡の先端部において、照明レンズを介して観察対象に照射される。例えば、内視鏡検査の準備中、レンズの曇り対策のために、または、接続状態にあることを視覚的に確認するために、内視鏡システムの光源装置の電源をオンにして光源を点灯させた状態で、内視鏡はカートのハンガーにかけて待機させる場合がある。この場合は、内視鏡先端部が体内に挿入されている場合と比べて得られる画像が暗くなるため、内視鏡装置の機能により、発光量が過剰な状態で照明光の照射が継続し、内視鏡の先端部の温度が上昇することがあった。
【0004】
特許文献1では、光量制御手段によって制御される出射光の光量変化の推移を表す光量履歴を用いて、内視鏡の先端温度の推定値を演算し、先端温度の推定値が温度閾値を超えたと判定された場合、光量の上限値を第1上限値よりも下げた第2上限値に設定する内視鏡システムを開示している。
【0005】
また、特許文献2では、内視鏡装置の光源部において発光ダイオードを用いることにより、静止画を得る場合に迅速に照明光を明るくするとともに、固体撮像素子のシャッタ速度を速くすることにより、非観察体の発熱を抑えつつ、ぶれの少ない静止画を得ることを開示している。
【先行技術文献】
【特許文献】
【0006】
【文献】国際公開第2011/102199号
【文献】特開2007-68699号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記従来の技術によれば、内視鏡先端部の発熱を抑えること、または、ぶれの少ない静止画を取得することが可能となる。そして、例えば、内視鏡検査の準備中において、体外での光源の点灯により内視鏡先端部の温度が閾値を超え、光量の上限値が抑えられている際に内視鏡が体内に挿入される場合、内視鏡による画像が常に暗い状態が続く可能性がある。また、光量の上限値が抑えられている場合に得られる画像においては、画像の明るさ等を調整するために、例えば、ゲイン処理等の画像処理が行われるが、ゲイン処理により得られる画像においては、ゲイン処理に起因するノイズが生じる場合がある。
【0008】
そこで、本発明は、内視鏡先端部の温度上昇を抑え、かつ、良好な画像を取得することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、内視鏡システムであって、照明光を発光する光源部と、照明光によって照明された観察対象を撮像して得られる画像信号を取得する画像信号取得部と、照明光の発光量を制御する光源制御部と、画像信号を第1増幅率のゲイン調整量にて調整するゲイン調整部と、観察対象の静止画を取得するための静止画取得指示を行う静止画取得指示部と、照明光によって照明された観察対象を撮像する撮像センサを有する内視鏡と、内視鏡の挿入部が体内に挿入されているか否かを判定する体内挿入判定部とを備え、光源制御部は、発光量を予め定めた第1上限値以下の範囲内で制御する発光量制限を行い、ゲイン調整部は、発光量が第1上限値に達した場合には、画像信号を第1増幅率よりも大きい第2増幅率にて調整し、静止画取得指示がある場合には、光源制御部は、発光量制限を解除することにより、第1上限値を超え、かつ、静止画取得指示が行われた時点でのゲイン調整部によるゲイン調整量が第1増幅率である場合における発光量の発光を可能にし、ゲイン調整部は、画像信号を第1増幅率にて調整し、光源制御部は、体内挿入判定部により内視鏡の挿入部が体内に挿入されていないと判定された場合、発光量制限を行う。
【0011】
内視鏡の先端部の温度を推定する温度推定部を備え、光源制御部は、温度推定部が推定した先端部の温度が予め設定した温度閾値を超えた場合には、その際の発光量を第1上限値とすることが好ましい。
【0013】
内視鏡の先端部を観察対象に近接させた位置で観察対象を観察する近接観察か否かを判定する近接判定部を備え、近接判定部により近接観察であると判定された場合は、静止画取得指示により、近接観察用シャッタ速度にて静止画を取得し、近接観察用シャッタ速度は、近接判定部により近接観察であると判定されない場合における非近接観察用シャッタ速度より速いことが好ましい。
【0014】
ゲイン調整部が画像信号を調整することにより生じる画像信号のノイズ許容値を予め設定し、第2増幅率の上限を示す最大増幅率は、ノイズ許容値に基づいて決定することが好ましい。
【0015】
静止画取得指示がある場合には、光源制御部は、発光量を第2上限値以下の範囲内で制御する発光量制限を行い、第2上限値は、第2増幅率に基づいて決定し、かつ、第1上限値より大きいことが好ましい。
【0016】
ゲイン調整部が第1増幅率または第2増幅率にて画像信号を調整することにより、調整後の画像信号による輝度信号値が略一定となることが好ましい。
【0017】
光源部は、少なくとも、赤色光、青色光、及び緑色光からなる照明光を発光し、光源制御部は、赤色光、青色光、及び緑色光の各発光量を、それぞれ独立して制御することが好ましい。ゲイン調整部は、赤色光、青色光、及び緑色光による各画像信号を、それぞれ独立して調整することが好ましい。
【発明の効果】
【0018】
本発明の内視鏡システムは、内視鏡先端部の温度上昇を抑え、かつ、良好な画像を取得することができる。
【図面の簡単な説明】
【0019】
【
図2】内視鏡システムの機能を示すブロック図である。
【
図5】発光量と時間との関係及びゲイン調整量と時間との関係を説明するグラフである。
【
図7】発光量と時間との関係及びゲイン調整量と時間との関係並びに第1上限値を説明するグラフである。
【
図8】緑色光Gの発光量と時間との関係及びゲイン調整量と時間との関係並びに第2増幅率を説明するグラフである。
【
図10】先端温度推定を含む実施態様を説明するフロー図である。
【発明を実施するための形態】
【0020】
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、ユーザーインターフェース19とを有する。内視鏡12は、光源装置14と光学的に接続するとともに、プロセッサ装置16に電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
【0021】
また、操作部12bには、アングルノブ12eの他、フリーズボタン13a、画質モード選択部13b、ズーム操作部13cが設けられている。フリーズボタン13aは、観察対象の静止画を取得するための静止画取得指示を行う静止画取得指示部である。フリーズボタン13aを押圧することにより、静止画取得指示が行われる。画質モード選択部13bは、画質モードの選択操作に用いる。本実施形態では、画質につき、高画質と通常画質との2段階が、選択可能に設定される。画質を通常画質とする通常画質モードでは、例えば、モニタ18に、画像に含まれるノイズの量が通常程度である画像が表示される。一方、画質を高画質とする高画質モードでは、画像に含まれるノイズの量が少ない画像が表示される。ズーム操作部13cは、観察対象を拡大または縮小して表示する操作に用いる。
【0022】
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続する。モニタ18は、各画質モードの動画、静止画、および画像に付帯する画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付ける機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
【0023】
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22とを備えている。
【0024】
光源部20は、BS光源20a、BL光源20b、G光源20c、及び、R光源20dの4個の光源を備える。本実施形態においては、BS光源20a、BL光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。
【0025】
BS光源20aは、中心波長が約450±10nm、波長帯域が約420nm~500nmの第1青色光BSを発光する青色光源である。BL光源20bは、中心波長及び波長帯域が約470nm±10nmであり、青色のいわゆる狭帯域光(以下、第2青色光BLという)を発光する青色光源である。G光源20cは、中心波長が約540±20nm、波長帯域が約480nm~600nmに及ぶ緑色光Gを発光する緑色光源である。R光源20dは、中心波長が約640±20nm、波長帯域が約600nm~650nmに及ぶ赤色光Rを発光する赤色光源である。
【0026】
光源制御部22は、光源部20を構成する各光源20a~20dの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。通常の観察において、光源制御部22は、BS光源20a、G光源20c、及びR光源20dを同時に点灯する。このため、通常観察の照明光は、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光である。また、特殊観察として、各光源20a~20dの発光量を通常観察とは異ならせることが可能である。なお、光源制御部22による各光源20a~20dの発光量の制御については、後に詳述する。
【0027】
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。
【0028】
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ(撮像センサ)48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13cの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
【0029】
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタは、主として緑色帯域の光、具体的には、460~470nmの波長帯域の光を透過する。赤色カラーフィルタは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
【0030】
イメージセンサ48を用いて観察対象を撮影すると、1回の撮影において最大で、B画素において撮影して得るB画像(青色信号)、G画素において撮像して得るG画像(緑色信号)、及び、R画素において撮影して得るR画像(赤色信号)の3種類の画像を得ることができる。通常の観察における照明光は白色光なので、B画像、G画像、及びR画像が得られる。
【0031】
イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
【0032】
プロセッサ装置16は、制御部52と、画像信号取得部54と、明るさ算出部55と、画像処理部60と、表示制御部62とを有する。
【0033】
制御部52は、内視鏡12、光源装置14及びプロセッサ装置16の各制御に加え、これらを連携した制御を行う。制御部52は、フリーズボタン13a、画質モード選択部13b、または挿入センサ80の指示により、画像信号取得部54及び光源制御部22に対しそれぞれ制御を行う。挿入センサ80および制御部52については、後に詳述する。この他、制御部52は、照明光の照射タイミングと撮影のタイミングとの同期制御等を行う。
【0034】
画像信号取得部54は、イメージセンサ48から観察対象の画像を取得する。画像信号取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59とを有し、これらを用いて、取得した画像に各種処理を施す。
【0035】
明るさ算出部55は、取得した画像の明るさを算出し、制御部52に送る。制御部52は、明るさ算出部55により算出された画像の明るさに基づき、光源制御部22を制御する。光源制御部22は、明るさ算出部55により算出された画像の明るさに基づいて、光量を調整する制御を行う。明るさ算出部55により算出される明るさとしては、例えば、画像信号の輝度Yが挙げられる。輝度Yは、例えば、輝度Y=α×R+β×G+γ×Bにより算出される。ここで、「R」はR画像信号の画素値を、「G」はG画像信号の画素値を、「B」はB画像信号の画素値を表す。また、「α、β、γ」は一定の係数を表す。また、画像の明るさは、観察対象と先端部12dの距離によって変動し、輝度Yの場合であれば、観察対象との距離が遠くなる程、輝度Yは小さくなる。
【0036】
図3に示すように、DSP56は、ゲイン調整部64を有する。また、DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
【0037】
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。
【0038】
ゲイン調整部64は、オフセット処理をした画像に増幅率を乗じることにより各画像の信号レベルを整える処理である。具体的には、例えば、ゲイン調整部64は、画像のうち、青色信号、緑色信号、赤色信号に対してそれぞれ増幅率gB、gG、gRを掛け合わせることにより、各画像信号の信号値を調整する。増幅率には、後述するように、第1増幅率と第1増幅率よりも大きい第2増幅率が含まれる。
【0039】
また、増幅率として、下記数式(1)ないし(3)に示すように、画質モードに応じて定められる増幅率補正係数g(IQLabel)を掛け合わせた補正増幅率gB*、gG*、gR*を用いることが好ましい。
【0040】
gB*= gB×g(IQLabel) (1)
gG*= gG×g(IQLabel) (2)
gR*= gR×g(IQLabel) (3)
【0041】
例えば、高画質モードの場合であれば、g(IQLabel)を「1」とすることが好ましい。また、画質モードが通常画質モードの場合であれば、g(IQLabel)を「1」よりも大きい値とすることが好ましい。また、後述するように、静止画取得指示が行われた場合における現発光量が目標光量以上の場合は、画質モードがいずれのモードであっても、g(IQLabel)を「1」にして、増幅率の補正を解除する増幅率補正解除を行うことが好ましい。なお、ゲイン調整部64に基づく処理の詳細については、後に詳述する。
【0042】
リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
【0043】
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
【0044】
図4に示すように、画像処理部60は、静止画取得部66と、近接判定部68とを有する。静止画取得部66は、フリーズボタン13aの指示により、制御部52を介して、画像信号取得部54において処理が行われた観察対象の静止画を取得し、記憶する。なお、静止画は、画像信号の他、取得時間、取得環境等の各種メタデータを含んでもよい。
【0045】
近接判定部68は、先端部12dと観察対象の距離を測定して、先端部12dと観察対象との近接の程度を判定する。距離の測定については、例えば、画像信号の画素値の平均値等に基づいて算出することができる。
【0046】
また、画像処理部60は、各種処理を行った画像に対し、色変換処理、色彩強調処理、及び構造強調処理を施す。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である
【0047】
表示制御部62は、画像処理部60から画像を順次取得し、取得した画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、医師等は、画像の動画または静止画を用いて観察対象を観察できる。
【0048】
次に、光源制御部22、ゲイン調整部64及びフリーズボタン13aによる静止画取得指示の関連について、以下に説明する。
図5において、グラフ70は、発光量であり、グラフ72は、ゲイン調整量である。グラフ70及びグラフ72がそれぞれ示す発光量及びゲイン調整量は、相対的または模式的な値であって、実際の量とは限らない。また、
図5において、内視鏡先端部12dは、観察対象に対して、時間が経過するにつれて、近くから遠くへと、動いているものとする。言い換えれば、時間が経過するにつれて、内視鏡先端部12dが、観察対象から離れていくものとする。また、P1ないしP4並びにS1及びS2は、期間を示す。P1ないしP4並びにS1及びS2が示す期間は、相対的または模式的な値であって、実際の期間とは限らない。
【0049】
光源制御部22とゲイン調整部64とは、制御部52により関連して作動して、画像信号の明るさを保つように発光量の制御またはゲイン調整を行う。明るさは、明るさ算出部55により取得され、明るさに関する情報が制御部52に送られる。制御部52は、明るさ算出部55による画像信号の明るさに関する情報に従い、光源制御部22とゲイン調整部64とを制御する。光源制御部22は、発光量を予め定めた第1上限値以下の範囲内で制御する発光量制限を行い(
図5、P1)、ゲイン調整部64は、発光量が第1上限値に達した場合には、画像信号を第1増幅率よりも大きい第2増幅率にて調整する(
図5、P2)。
【0050】
より具体的には、例えば、P1(
図5)では、発光量が第1上限値に達するまでの間は、ゲイン調整部64は、第1増幅率にて画像信号の信号値の調整を行う。本実施形態では第1増幅率は1倍であるため、実質的にゲイン調整による画像信号の増幅はされない。
【0051】
次に、P2(
図5)において、発光量が第1上限値に達した後は、光源制御部22は、発光量を第1上限値を超えないように発光量を制限する制御を行う。そして、ゲイン調整部64によるゲイン調整により、画像信号の明るさを保つ調整がなされる。そのため、ゲイン調整部64は、第1増幅率よりも大きい第2増幅率によって、画像信号の信号値を調整する。ゲイン調整量は、画像信号の明るさが低下するにつれ、徐々に増加する。
【0052】
ここで、静止画取得指示がある場合には、光源制御部22は、発光量制限を解除することにより、第1上限値を超える発光量の発光を可能にする。これに伴って、ゲイン調整部64は、第2増幅率から第1増幅率に戻して、画像信号の信号値を調整する。より具体的には、例えば、
図5に示すように、フリーズボタン13aにより静止画取得指示F1が行われると、S1の期間でシャッタが開き、静止画を取得する。この際、光源制御部22とゲイン調整部64とが作動し、ゲイン調整部64は、ゲイン調整量を第1増幅率とし、光源制御部22は、発光量制限を解除したので、発光量を増加させる。この発光量は、静止画取得指示F1が行われた時点におけるゲイン調整量による。光源制御部22は、静止画取得指示が行われた時点でのゲイン調整量がないとした場合における発光量まで、発光量を一時的に増加させ、静止画が取得される。これにより、ノイズの少ない高画質な静止画が得られる。
【0053】
図5において、P3では、P1及びP2と同様、光源制御部22は発光量を第1上限値以下に制御する。ゲイン調整量が最大増幅率まで増加した際は、最大増幅率に保たれる。なお、最大増幅率とは、第2増幅率の上限が設定される場合の上限を意味する。
【0054】
ここで、静止画取得指示がある場合には、S1での場合と同様に、光源制御部22は、発光量制限を解除することにより、第1上限値を超える発光量の発光を可能にし、ゲイン調整部64は、第2増幅率を第1増幅率に戻して画像信号の信号値を調整する。より具体的には、例えば、
図5に示すように、フリーズボタン13aにより静止画取得指示F2が行われると、S2の期間でシャッタが開き、静止画を取得する。この際、光源制御部22とゲイン調整部64とが作動し、ゲイン調整部64は、ゲイン調整量を第1増幅率とし、光源制御部22は、発光量制限を解除したので、発光量を増加させる。この発光量は、静止画取得指示が行われた時点におけるゲイン調整量による。光源制御部22は、静止画取得指示F2が行われた時点でのゲイン調整量がないとした場合における発光量まで、発光量を一時的に増加させ、静止画が取得される。これにより、ノイズの少ない高画質な静止画が得られる。
【0055】
以上のように、照明光の発光量は、静止画取得時を除き第1上限値に抑えられているため、内視鏡先端部の温度上昇が抑えられる。また、得られる静止画は、明るさが保たれた上に、ゲイン調整部64による調整がされていないため、ゲイン調整に基づくノイズが含まれない良好な画像である。
【0056】
次に、本発明はまた、第1上限値を内視鏡の先端部の推定温度に基づくものとする。すなわち、上記実施態様では、光源制御部22による発光量制限は、予め定めた第1上限値以内の範囲内で制御するものとしているが、第1上限値を予め定めるのではなく、内視鏡先端部12dの温度推定値である先端温度推定値Teが、予め定めた温度閾値T0を超えた際の発光量を、第1上限値とする。
【0057】
図6に示すように、制御部52は、温度推定部74を有する。温度推定部74は、例えば、内視鏡先端部12dの温度を、一定時間の発光量の積算値である積算光量により推定する。すなわち、積算光量は、発光時間と発光量とを掛けた値である。積算光量と先端温度との相関を予め取得しておくことにより、積算光量から先端温度推定値Teを算出することができる。
【0058】
図7において、グラフ70は、発光量であり、グラフ72は、ゲイン調整量である。また、
図7において、内視鏡先端部12dは、観察対象に対して、時間が経過するにつれて、近くから遠くへと動いているとすること等は、
図5の場合と同様である。
【0059】
光源制御部22とゲイン調整部64とは制御部52により関連して作動して、画像信号の明るさを保とうとする。明るさは、明るさ算出部55により取得され、明るさに関する情報が制御部52に送られる。制御部52は、明るさ算出部55による画像信号の明るさに関する情報に従い、光源制御部22とゲイン調整部64とを調整する。温度推定部74が、先端温度推定値Teが予め設定した温度閾値T0を超えたと推定した場合(
図7において、TM)は、その際の発光量を第1上限値とし、発光量を第1上限値以下の範囲内で制御する発光量制限を行い、ゲイン調整部64は、発光量が第1上限値に達した場合には、画像信号を第1増幅率よりも大きい第2増幅率にて調整する(P1およびP2(
図7))。したがって、第1上限値は、先端温度推定値Teが予め設定した温度閾値T0を超えたと推定した場合であるため、その都度上下して変化する。
【0060】
第1上限値を、先端温度推定値Teと温度閾値T0とに基づいて設定する以外は、第1上限値を予め定めた
図5の場合と同様である。したがって、
図7に示すように、P3およびP4における発光量及びゲイン調整量の関係、及び、静止画取得指示F1及びF2により静止画が取得されるS1及びS2の場合についても、
図5と同様である。
【0061】
以上のように、照明光の発光量は、静止画取得時を除き、先端温度推定値Teと温度閾値T0とに基づいて設定する第1上限値に抑えられているため、内視鏡先端部の温度上昇が抑えられる。また、得られる静止画は、明るさが保たれた上に、ゲイン調整部64による調整がされていないため、ゲイン調整に基づくノイズが含まれない良好な画像である。
【0062】
なお、内視鏡の挿入部が体内に挿入されているか否かを判定する体内挿入判定部76を備え、光源制御部22は、体内挿入判定部76により内視鏡挿入部が体内に挿入されていないと判定された場合、発光量制限を行ってもよい。
図2に示すように、内視鏡12は、挿入センサ80を備える。挿入センサ80は、例えば、アングルノブ12eのトルクの値、また、加速度センサの変化量とすることができる。また、
図6に示すように、制御部52は、体内挿入判定部76を備える。体内挿入判定部76は、挿入センサ80からアングルノブ12eのトルクの値、加速度センサの変化量等のデータを受けて、内視鏡の挿入部が体内に挿入されているか否かを判定する。
【0063】
体内挿入判定部76が、内視鏡の挿入部が体内に挿入されていないと判定した場合、光源制御部22は、発光量の制限を行う。発光量の制限については、上記の発光量制限と同様に、発光量を第1上限値の範囲内に抑える制御とすることが好ましい。そして、例えば、その後に、内視鏡の挿入部が体内にあると判定した場合、光源制御部22は、発光量の制限を解除する。
【0064】
以上のように構成することにより、例えば、内視鏡検査の準備中、内視鏡システムの光源装置の電源をオンにして光源を点灯させた状態で、内視鏡を体内に挿入せず待機した場合でも、光量が過剰な状態で照明光の照射が継続し、内視鏡の先端部の温度が上昇することを防げる。
【0065】
また、内視鏡の先端部を観察対象に近接させた位置で観察対象を観察する近接観察か否かを判定する近接判定部68を備え、近接判定部68により近接観察であると判定された場合は、静止画取得指示により、近接観察用シャッタ速度にて静止画を取得してもよい。
図4に示すように、近接判定部68は、画像処理部60に備えられる。
【0066】
近接観察用シャッタ速度は、近接判定部68により近接観察であると判定されない場合における非近接観察用シャッタ速度より速くなるよう設定することができる。このように構成することにより、近接観察の際の静止画取得指示により、発光量制限が解除される上に、より速いシャッタ速度にて静止画を取得するため、得られる静止画において、高光量であり、かつ、ブレが少ないものとすることができる。
【0067】
また、ゲイン調整部64が画像信号を調整することにより生じる画像信号のノイズ許容値を予め設定し、第2増幅率の上限を示す最大増幅率は、ノイズ許容値に基づいて決定してもよい。ノイズ許容値の算出方法としては、予めノイズが許容されるゲイン調整量を求めておき、その逆数から光量を算出することもできる。すなわち、例えば、ゲイン調整前の画素値と、ゲイン調整後の画素値につき、増幅する割合をゲイン調整値(%)とすると、制限後の光量は、100/ゲイン調整値(%)となる。
【0068】
また、最大のノイズ許容値(ゲイン調整量)としては、次のような方法で、ノイズによる劣化のノイズ許容下限を設定してもよい。すなわち、最大のゲイン調整量は、被写体である観察対象において、グレー、または、粘膜付近のカラーパッチを撮影し、主観評価値と相関が高いPQS(Picture Quality Scale)を用いてノイズによる劣化の許容下限を設定する方法である。このように構成することにより、発光量が低く抑えられ、ゲイン調整をおこなっている際にもユーザーに画質劣化をユーザーに視認されにくいレベルにすることができる、なお、PQSについては、例えば、次の文献に記載されている。宮原(M.Miyahara)、「Objective picture quality scale (PQS) for image coding」、IEEE transactions on communications、Sep 1998、vol46、Issue9.
【0069】
また、より具体的には、ノイズ許容値が「大」と「小」の二段階に分けた場合には、ノイズ許容値が「小」の場合の第2増幅率Smは、ノイズ許容値が「大」の第2増幅率Laよりも小さく設定される。例えば、第2増幅率Smを用いる場合には、
図8に示すように、照明光が発光制限された状態において、照明光の発光量を第1上限値に維持したままで、照明光の発光量のうち、例えば、緑色光Gの発光量を、中間程度に抑える。中間程度の発光量としては、例えば、緑色光Gの上限発光量と下限発光量の間の中間発光量とすることが好ましい。この場合には、画質が優先された、ノイズの少ない画像による観察となる。一方、第2増幅率Laを用いる場合には、照明光が発光制限された状態において、照明光の発光量を第1上限値に維持したままで、照明光のうち緑色光Gの発光量を、下限発光量に抑える。この場合には、発光量低下が優先され、画質優先された画像に比べてノイズが多めの画像となる。
【0070】
なお、下限発光量は、ノイズ許容下限から設定されるゲインの最大増幅率から設定される。より具体的には、内視鏡先端と被写体の距離を一定にした状態で、下限発光量で得られる画像の輝度信号とゲインの最大増幅率の乗算値が、上限発光量で得られる画像の輝度信号とゲインの第1増幅率の乗算値と等しくなるように、下限発光量が設定されることが好ましい。
【0071】
上記の構成により、内視鏡の先端部の発熱量がより良く低減できる。緑色光Gは、画像を明るいと感じる成分であるため、ノイズ許容値に合わせて、緑色光の発光量を上記のように制御することによって、ノイズ許容値に合った明るい画像を取得することができる。
【0072】
なお、光源制御部22は、発光量を第2増幅率に基づいて決定する第2上限値以下の範囲内で制御する発光量制限を行い、第2上限値は、第1上限値より大きいものであってもよい。すなわち、光源制御部22の発光量の第2上限値は、第2増幅率に基づいて決定してもよい。したがって、光源制御部22の発光量の第2上限値は、第2増幅率でのゲイン調整部64によるゲイン調整が無いものとしたときに、同等の明るさの画像信号を得る際の発光量を、第2上限値としてもよい。以上のように構成することにより、ゲイン調整部64による増幅率が異なっても、画像信号の明るさが保たれるため、違和感なく観察をすることができる。
【0073】
なお、ゲイン調整部64が第1増幅率または第2増幅率にて画像信号を調整することにより、調整後の画像信号による輝度信号値が略一定となるようにしても良い。輝度信号値は、例えば、上記した画像信号の輝度Yとすることができる。本実施形態では、第1増幅率は1に設定しているが、1以上に設定してもよい。輝度信号値が略一定となるように増幅率を設定することにより、ゲイン調整部64による増幅率が異なっても、画像信号の明るさが保たれるため、違和感なく観察をすることができる。
【0074】
なお、光源部20は、上記したとおり、少なくとも、赤色光、青色光、及び緑色光からなる照明光を発光し、光源制御部22は、赤色光、青色光、及び緑色光の各発光量を、それぞれ独立して制御してもよい。したがって、光源制御部22は、より詳細に発光量を制御することができる。また、例えば、複数の光源からなる照明光の発光量を調整することにより、血管等を強調する、酸素飽和度を表す画像を観察する等の、特殊観察モードにおいても、内視鏡先端部の発熱量を抑えつつ、ノイズが少ない画像とすることができる。
【0075】
なお、ゲイン調整部64は、赤色光、青色光、及び緑色光による各画像信号を、それぞれ独立して調整してもよい。例えば、青色光は、表層血管などを強調することができることから、青色光の発光量を他の赤色光及び緑色光等の発光量よりも大きくした場合には、他の赤色光及び緑色光に基づく赤色信号及び緑色信号の明るさを増加させるために、その他の赤色信号及び緑色信号の増幅率を青色光に基づく青色信号の増幅率よりも大きくするゲイン調整を行うことが好ましい。この場合には、表層血管を強調しつつ、明るい画像を取得することができる。
【0076】
次に、本発明を一連の流れに沿って説明する。
図9は、本発明の内視鏡システムを用いて観察対象を観察して静止画を取得する一連の流れの一例である。まず、照明光を点灯する(ステップS100)。光源制御部22は、発光量を予め定めた第1上限値以下の範囲内で制御する発光量制限を行う(ステップS101)。ゲイン調整部64は、発光量が第1上限値に達した場合には、画像信号を第1増幅率よりも大きい第2増幅率にて調整する(ステップS102)。フリーズボタンが押下された場合(ステップS103でYES)、発光制限を解除して、第1上限値を超える発光量の発光を許可する(ステップS103A)。また、光源制御部22は、現発光量が目標光量より大きいかどうかを判定する(ステップS104)。現発光量が目標光量以上である場合は、増幅率補正制限解除を行った上で(ステップS105)、静止画が取得される(ステップS106)。現発光量が目標光量未満である場合は、そのまま静止画が取得される(ステップS106)。静止画を取得し、検査が終了した場合は(ステップS107)、エンドに進む。
【0077】
また、
図10は、本発明の内視鏡システムを用いて観察対象を観察して静止画を取得する一連の流れの一例である。なお、
図10においては、先端温度の推定のステップが追加されている。まず、照明光を点灯する(ステップS100)。
【0078】
次に先端温度が推定される(ステップS111)。上記したように、Teは先端温度推定値である。また、T0は、温度閾値である。先端温度推定値Teが、温度閾値T0より大きい場合は(ステップS112)、YESにすすみ、光源制御部22により、発光量が制限される(ステップS101)。先端温度推定値Teが、温度閾値T0より小さい場合は(ステップS112)、発光量が制限されず、第1増幅率でゲイン調整が行われる。そして、フリーズボタン押下(ステップS103)に進む。
【0079】
フリーズボタン押下以降のフローについては、先端温度を推定しない場合のフロー(
図9参照)と同様である。なお、画質モードの選択を行う場合は、ステップS111の前に行われる。また、先端温度推定を行わない場合は、ステップS111とステップS112を行わなくてもよく、その場合はステップS100からステップS101に進む。
【0080】
なお、静止画取得指示は、フリーズボタン13aが押下され、発光制限の解除、増幅率補正制限の解除がなされた後に自動的に実施されても良い。また、フリーズ指示をフリーズボタン13aの半押しで実施するようにし、静止画取得指示をフリーズボタン13aの全押しで実施するようにしてもよい。また、内視鏡12に設置された図示しない静止画取得指示ボタン、またはプロセッサ装置16に接続された図示しないフットスイッチで静止画取得指示が行われてもよい。
【0081】
以上のように構成することにより、本発明の内視鏡システムは、内視鏡先端部の温度上昇を抑え、かつ、良好な画像を取得することができる。すなわち、照明光の発光量は、静止画取得時を除き第1上限値に抑えられているため、内視鏡先端部の温度上昇が抑えられる。また、得られる静止画は、明るさが保たれた上に、ゲイン調整部64による調整がされていないため、ゲイン調整に基づくノイズが含まれない良好な画像である。また、先端温度推定値Teを用いる構成とした場合は、照明光の発光量が、静止画取得時を除き、先端温度推定値Teと温度閾値T0とに基づいて設定する第1上限値に抑えられているため、内視鏡先端部の温度上昇が抑えられる。また、得られる静止画は、明るさが保たれた上に、ゲイン調整部64による調整がされていないため、ゲイン調整に基づくノイズが含まれない良好な画像である。また、挿入センサ80を用いる構成とした場合は、例えば、内視鏡検査の準備中、内視鏡システムの光源装置の電源をオンにして光源を点灯させた状態で、内視鏡を体内に挿入せず待機した場合でも、光量が過剰な状態で照明光の照射が継続し、内視鏡の先端部の温度が上昇することを防げる。
【0082】
上記の内視鏡システム10の作動方法は、光源部が、照明光を発光する発光ステップと、画像信号取得部54が、照明光によって照明された観察対象を撮像して得られる画像信号を取得する画像取得ステップと、光源制御部22が、照明光の発光量を制御する制御ステップと、ゲイン調整部64が、画像信号を第1増幅率にて調整する調整ステップと、静止画取得部66が、観察対象の静止画を取得するための静止画取得指示を行う静止画取得ステップと、を備え、光源制御部22は、発光量を予め定めた第1上限値以下の範囲内で制御する発光量制限を行い、ゲイン調整部64は、発光量が第1上限値に達した場合には、前像信号を第1増幅率よりも大きい第2増幅率にて調整し、静止画取得指示がある場合には、光源制御部22は、発光量制限を解除することにより、第1上限値を超える発光量の発光を可能にし、ゲイン調整部64は、画像信号を第1増幅率にて調整する。
【0083】
上記において、画像信号取得部54、制御部52、明るさ算出部55、画像処理部60、表示制御部62等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路(Graphical Processing Unit:GPU)などが含まれる。
【0084】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、GPUとCPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0085】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
【符号の説明】
【0086】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a フリーズボタン
13b 画質モード選択部
13c ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像信号取得部
55 明るさ算出部
56 DSP
58 ノイズ低減部
59 変換部
60 画像処理部
62 表示制御部
64 ゲイン調整部
66 静止画取得部
68 近接判定部
70、82、86 発光量
72、84、88 ゲイン調整量
74 温度推定部
76 体内挿入判定部
80 挿入センサ