特許第6982677号(P6982677)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許6982677被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム
<>
  • 特許6982677-被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム 図000002
  • 特許6982677-被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム 図000003
  • 特許6982677-被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム 図000004
  • 特許6982677-被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム 図000005
  • 特許6982677-被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム 図000006
  • 特許6982677-被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム 図000007
  • 特許6982677-被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6982677
(24)【登録日】2021年11月24日
(45)【発行日】2021年12月17日
(54)【発明の名称】被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム
(51)【国際特許分類】
   A61B 1/06 20060101AFI20211206BHJP
   H04N 5/225 20060101ALN20211206BHJP
   H04N 5/235 20060101ALN20211206BHJP
   H04N 5/335 20110101ALN20211206BHJP
【FI】
   A61B1/06 613
   !H04N5/225 500
   !H04N5/235 500
   !H04N5/225 600
   !H04N5/235 400
   !H04N5/335
【請求項の数】10
【全頁数】23
(21)【出願番号】特願2020-502784(P2020-502784)
(86)(22)【出願日】2018年7月9日
(86)【国際出願番号】JP2018025888
(87)【国際公開番号】WO2019167298
(87)【国際公開日】20190906
【審査請求日】2020年4月27日
(31)【優先権主張番号】特願2018-35269(P2018-35269)
(32)【優先日】2018年2月28日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】特許業務法人イトーシン国際特許事務所
(72)【発明者】
【氏名】矢部 雄亮
【審査官】 後藤 順也
(56)【参考文献】
【文献】 特開2014−230708(JP,A)
【文献】 特開2015−073772(JP,A)
【文献】 特表2015−530893(JP,A)
【文献】 特開2016−049124(JP,A)
【文献】 国際公開第2016/056459(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00−1/32
(57)【特許請求の範囲】
【請求項1】
印加される駆動電流の電流値に応じた強度の光を照明光として発生する光源部と、
前記照明光の強度を検出してセンサ値Sを生成する光センサと、
前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行う撮像部と、
前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御する光源制御部と、
2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成する画像生成部と、
を有し、
前記光源制御部は、前記1つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに前記nフレームに対して目標センサ値S(n)を設定し、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加するものであり、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定し、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定することを特徴とする被検体観察システム。
【請求項2】
前記nフレームの2フレーム前のフレームを(n−2)フレーム、前記(n−2)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−2)、前記(n−2)フレームにおいて前記光源部に印加された前記駆動電流の電流値をI(n−2)、前記nフレームにおいて前記光源部に印加する前記駆動電流の電流値をI(n)としたときに、
前記光源制御部は、前記電流値I(n)が、次の数式3
[数式3]
I(n)={I(n−2)×S(n)/S(n−2)}
に示す値となるように制御するものであることを特徴とする請求項1に記載の被検体観察システム。
【請求項3】
前記光源部は、第1の色C1の光を発生する第1の半導体発光素子と、前記第1の色C1とは異なる第2の色C2の光を発生する第2の半導体発光素子とを有し、
前記光センサは、前記第1の色C1の光の強度を検出して前記センサ値Sとしてのセンサ値SC1を生成する第1の光センサと、前記第2の色C2の光の強度を検出して前記センサ値Sとしてのセンサ値SC2を生成する第2の光センサとを有し、
前記光源制御部は、
前記第1の半導体発光素子に印加する前記駆動電流の電流値に対して、前記数式1〜3に示した制御を、前記センサ値Sを前記センサ値SC1に読み替えて行うと共に、
前記第2の半導体発光素子に印加する前記駆動電流の電流値に対して、前記数式3に示した制御を、前記センサ値Sを前記センサ値SC2に読み替えて行うものであり、
かつ、前記第1の色C1の光の光量に対する前記第2の色C2の光の光量の比率を色比率RC(C2/C1)としたときに、前記第2の半導体発光素子に対しては、目標センサ値SC2(n)を、2フレーム前の前記第1の色C1のセンサ値SC1(n−2)と、前記色比率RC(C2/C1)とに基づき、次の数式4
[数式4]
SC2(n)=SC1(n−2)×RC(C2/C1)
を用いて設定することを特徴とする請求項2に記載の被検体観察システム。
【請求項4】
前記輝度比率RI(L/H)および前記色比率RC(C2/C1)を不揮発に記憶する記憶部をさらに有し、
前記光源制御部は、前記記憶部から前記輝度比率RI(L/H)および前記色比率RC(C2/C1)を読み出して制御を行うことを特徴とする請求項3に記載の被検体観察システム。
【請求項5】
前記画像生成部は、前記撮像信号に係る画像の明るさを検出すると共に、前記明るさが目標の明るさとなるようにするための光源制御信号を生成し、
前記光源制御部は、前記高輝度フレームにおいて前記光源部に印加する前記駆動電流の電流値が一定となるように制御し、かつ、前記光源制御信号に基づいて前記高輝度フレームにおいて前記光源部に印加する前記駆動電流の第1のパルス幅を調整すると共に、前記低輝度フレームにおいて前記光源部に印加する前記駆動電流の第2のパルス幅が、前記第1のパルス幅に対して一定の比率となるように制御することを特徴とする請求項1に記載の被検体観察システム。
【請求項6】
前記画像生成部は、前記撮像信号に係る画像の明るさを検出すると共に、前記明るさが目標の明るさとなるようにするための光源制御信号を生成し、
前記光源制御部は、前記高輝度フレームにおいて前記光源部に印加する前記駆動電流の電流値が一定となるように制御し、かつ、前記光源制御信号に基づいて前記高輝度フレームにおいて前記第1の半導体発光素子に印加する前記駆動電流の第1のパルス幅を調整すると共に、前記低輝度フレームにおいて前記第1の半導体発光素子に印加する前記駆動電流の第2のパルス幅が、前記第1のパルス幅に対して一定の比率となるように制御し、さらに、前記高輝度フレームにおいて前記第2の半導体発光素子に印加する前記駆動電流のパルス幅を前記第1のパルス幅に設定すると共に、前記低輝度フレームにおいて前記第2の半導体発光素子に印加する前記駆動電流のパルス幅を前記第2のパルス幅に設定することを特徴とする請求項3に記載の被検体観察システム。
【請求項7】
前記光源制御部は、さらに、前記第2のパルス幅が、前記第1のパルス幅と同一となるように制御することを特徴とする請求項5または請求項6に記載の被検体観察システム。
【請求項8】
照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することをフレーム毎に順次行う撮像部と、2つの連続する高輝度フレームと低輝度フレームとの内の前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成する画像生成部と、を有する内視鏡システムと接続可能な内視鏡用光源装置であって、
印加される駆動電流の電流値に応じた強度の光を前記照明光として発生する光源部と、
前記照明光の強度を検出してセンサ値Sを生成する光センサと、
前記光源部に前記駆動電流を印加して、前記低輝度フレームにおける低輝度照明と前記高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御する光源制御部と、
を有し、
前記光源制御部は、2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに、前記nフレームに対して目標センサ値S(n)を設定し、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加するものであり、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定し、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定することを特徴とする内視鏡用光源装置。
【請求項9】
光源部が、印加される駆動電流の電流値に応じた強度の光を照明光として発生し、
光センサが、前記照明光の強度を検出してセンサ値Sを生成し、
撮像部が、前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行い、
光源制御部が、前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御し、
画像生成部が、2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成する被検体観察システムの作動方法であって、
前記光源制御部は、前記1つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに、前記nフレームに対して目標センサ値S(n)を設定し、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加するものであり、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定し、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定することを特徴とする被検体観察システムの作動方法。
【請求項10】
照明光を発生する光源部と、前記照明光の強度を検出する光センサと、前記光源部に駆動電流を印加する光源制御部と、前記照明光が照射された被検体からの戻り光を撮像する撮像部と、前記撮像部が撮像した撮像信号に基づいて画像を生成する画像生成部と、を有する被検体観察システムに、
前記光源部が、印加される前記駆動電流の電流値に応じた強度の光を前記照明光として発生するステップと、
前記光センサが、前記照明光の強度を検出してセンサ値Sを生成するステップと、
前記撮像部が、前記照明光が照射された被検体からの戻り光を撮像して前記撮像信号を生成することを、フレーム毎に順次行うステップと、
前記光源制御部が、前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御するステップと、
前記画像生成部が、2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成するステップと、を実行させる被検体観察システムの作動プログラムであって、
前記作動プログラムは、前記光源制御部に、前記1つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに、前記nフレームに対して目標センサ値S(n)を設定させ、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加させ、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定させ、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定させることを特徴とする被検体観察システムの作動プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、低輝度照明と高輝度照明とを交互に行ってハイダイナミックレンジ画像を生成する被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラムに関する。
【背景技術】
【0002】
露光量が小さい低輝度画像と、低輝度画像よりも露光量が大きい高輝度画像とを取得して、低輝度画像と高輝度画像と合成することにより、1枚の撮像画像よりもダイナミックレンジが広いハイダイナミックレンジ(HDR:High Dynamic Range)画像を生成する技術(HDR技術)が従来より提案されている。
【0003】
ところで、内視鏡の適用分野では、環境照明光がないことが基本であるために、観察を行う際に照明光を観察対象となる被検体に照射する。このとき、同一の照明光量を照射しても、近接した被検体は明るく写り、遠方にある被検体は暗く写るために、内視鏡画像にハレーション、黒つぶれなどが生じることがある。
【0004】
上述したHDR技術を用いると、高輝度画像のハレーション部分に低輝度画像の対応する画像部分を用い、低輝度画像の黒つぶれ部分に高輝度画像の対応する画像部分を用いることで、ハレーションおよび黒つぶれを抑制することができる。従って、HDR技術を内視鏡の分野に適用することが注目されている。
【0005】
そして、内視鏡において、低輝度画像と高輝度画像とを取得する際には、上述したように環境照明光がないために、照射する照明光の光量を異ならせることになる。具体的に、低輝度画像を取得する際に低輝度照明を行い、高輝度画像を取得する際に低輝度照明よりも光量が大きい高輝度照明を行うことになる。
【0006】
こうした技術として、例えば国際公開公報WO2016/104386号には、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための露光量を設定する調光装置であって、画像データまたは合成画像データを取得して画像の明るさを検出する明るさ検出部と、明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、基準露光量算出部が算出した基準露光量をもとに、露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を備える調光装置が記載されている。さらに該公報には、光源として、白色LED(Light Emitting Diode)、あるいは赤色LED、緑色LED、および青色LEDを用いること、調光を電流調光とPWM(Pulse Width Modulation)調光との組み合わせにより行うこと、などが記載されている。
【0007】
ところで、LEDなどの半導体発光素子は、温度が高くなると発光効率が低下して、同一の電流値を与えても発光する光の強度が低くなる傾向がある。そして、半導体発光素子の温度は、発光量を大きくするとき(例えば、被検体までの距離が遠いとき)には高くなり、発光量を小さくするとき(例えば、被検体までの距離が近いとき)には低くなる。このために、半導体発光素子の発光効率は、例えば、どの距離にある被検体を観察するかに応じて変化する。
【0008】
さらに、複数色の光を発生する複数の半導体発光素子がある場合には、どの色の光を発生する半導体発光素子であるかに応じて、発光効率の温度依存性が異なる。
【0009】
HDR画像を合成するための高輝度画像および低輝度画像を撮像する際には、高輝度照明と低輝度照明との光量比を高精度に維持すること求められる。このために、半導体発光素子の発光効率が変化する場合に対応する技術が求められている。
【0010】
本発明は上記事情に鑑みてなされたものであり、高輝度照明と低輝度照明との光量比を高精度に維持して、精度の高いハイダイナミックレンジ画像を得ることができる被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラムを提供することを目的としている。
【発明の開示】
【課題を解決するための手段】
【0011】
本発明の一態様による被検体観察システムは、印加される駆動電流の電流値に応じた強度の光を照明光として発生する光源部と、前記照明光の強度を検出してセンサ値Sを生成する光センサと、前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行う撮像部と、前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御する光源制御部と、2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成する画像生成部と、を有し、前記光源制御部は、前記1つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに前記nフレームに対して目標センサ値S(n)を設定し、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加するものであり、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定し、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定する
本発明の一態様による内視鏡用光源装置は、照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することをフレーム毎に順次行う撮像部と、2つの連続する高輝度フレームと低輝度フレームとの内の前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成する画像生成部と、を有する内視鏡システムと接続可能な内視鏡用光源装置であって、印加される駆動電流の電流値に応じた強度の光を前記照明光として発生する光源部と、前記照明光の強度を検出してセンサ値Sを生成する光センサと、前記光源部に前記駆動電流を印加して、前記低輝度フレームにおける低輝度照明と前記高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御する光源制御部と、を有し、前記光源制御部は、2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに前記nフレームに対して目標センサ値S(n)を設定し、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加するものであり、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定し、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定する
【0012】
本発明の一態様による被検体観察システムの作動方法は、光源部が、印加される駆動電流の電流値に応じた強度の光を照明光として発生し、光センサが、前記照明光の強度を検出してセンサ値Sを生成し、撮像部が、前記照明光が照射された被検体からの戻り光を撮像して撮像信号を生成することを、フレーム毎に順次行い、光源制御部が、前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御し、画像生成部が、2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成する被検体観察システムの作動方法であって、前記光源制御部は、前記1つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに前記nフレームに対して目標センサ値S(n)を設定し、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加するものであり、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定し、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定する
本発明の一態様による被検体観察システムの作動プログラムは、照明光を発生する光源部と、前記照明光の強度を検出する光センサと、前記光源部に駆動電流を印加する光源制御部と、前記照明光が照射された被検体からの戻り光を撮像する撮像部と、前記撮像部が撮像した撮像信号に基づいて画像を生成する画像生成部と、を有する被検体観察システムに、前記光源部が、印加される前記駆動電流の電流値に応じた強度の光を前記照明光として発生するステップと、前記光センサが、前記照明光の強度を検出してセンサ値Sを生成するステップと、前記撮像部が、前記照明光が照射された被検体からの戻り光を撮像して前記撮像信号を生成することを、フレーム毎に順次行うステップと、前記光源制御部が、前記光源部に前記駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互に前記光源部に行わせるものであり、前記低輝度フレームにおける照明光の強度が、前記高輝度フレームにおける照明光の強度に1よりも小さい輝度比率RI(L/H)を乗算した値となるように制御するステップと、前記画像生成部が、2つの連続する前記高輝度フレームと前記低輝度フレームとの内の、前記高輝度フレームにおいて生成された高輝度撮像信号と、前記低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成するステップと、を実行させる被検体観察システムの作動プログラムであって、前記作動プログラムは、前記光源制御部に、前記1つのハイダイナミックレンジ画像に係る前記高輝度フレームと前記低輝度フレームとの内の、時間的に先のフレームを(n−1)フレーム、時間的に後のフレームをnフレーム、前記(n−1)フレームにおいて前記光センサにより生成されたセンサ値SをS(n−1)としたときに前記nフレームに対して目標センサ値S(n)を設定させ、前記目標センサ値S(n)が前記光センサにより生成されるような前記駆動電流を前記nフレームにおいて前記光源部に印加させ、前記(n−1)フレームが前記高輝度フレームである場合には、前記目標センサ値S(n)が次の数式1
[数式1]
S(n)=S(n−1)×RI(L/H)
に示す値となるように設定させ、前記(n−1)フレームが前記低輝度フレームである場合には、前記目標センサ値S(n)が次の数式2
[数式2]
S(n)=S(n−1)/RI(L/H)
に示す値となるように設定させる
【図面の簡単な説明】
【0013】
図1】本発明の実施形態1における被検体観察システムの構成を示す図。
図2】上記実施形態1において、光源制御信号に基づいて、高輝度照明および低輝度照明をPWM制御する様子を示す線図。
図3】上記実施形態1の被検体観察システムの作用を示すフローチャート。
図4】上記実施形態1の被検体観察システムにおける調光の例を示すタイミングチャート。
図5】本発明の実施形態2における被検体観察システムの構成を示す図。
図6】上記実施形態2の被検体観察システムにおける非基準色処理を示すフローチャート。
図7】上記実施形態2の被検体観察システムにおける、基準色の調光の例を示すタイミングチャート。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照して本発明の実施の形態を説明する。
【0015】
[実施形態1]
図1から図4は本発明の実施形態1を示したものであり、図1は被検体観察システムの構成を示す図である。
【0016】
本実施形態は、低輝度照明と高輝度照明とをフレーム毎に交互に行ってハイダイナミックレンジ(HDR)画像を生成し観察を行う際に、例えば白色LED(LED:Light Emitting Diode)を用いることで白色光観察を行う例となっている。ただし、単色LEDを用いることで単色光観察を行う例としても構わない。
【0017】
本実施形態の被検体観察システムは、内視鏡10を用いて被検体を観察する内視鏡システムとして構成されたものとなっている。
【0018】
すなわち、内視鏡システムは、内視鏡10と、ビデオプロセッサ20と、モニタ30と、内視鏡用光源装置40(図面、および以降においては、光源装置40と略称する)と、を備えている。
【0019】
内視鏡10は、先端側に、被検体に挿入可能な細長の挿入部11を有している。ここに、被検体は、検査対象の物体であり、例えば人体の体腔内でもよいし、人体以外の生体でも構わないし、エンジンプラントなどの生体以外の物体でもよい。
【0020】
挿入部11の先端部には、対物光学系および撮像素子を含む撮像部13が設けられている。対物光学系は、照明光が照射された被検体からの戻り光を光学像として結像するものであり、例えば、1枚以上の光学レンズおよび光学絞りを有して構成されている。撮像素子は、対物光学系により結像された光学像を撮像して撮像信号を生成することを、フレーム毎に順次行う。具体的に、撮像素子は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のセンサを有して構成されている。
【0021】
さらに、挿入部11の先端部には、光源装置40からライトガイド15を経由して伝送された照明光を、被検体へ照射するための照明用レンズ14が配設されている。
【0022】
すなわち、照明用レンズ14へ照明光を照射する位置に、ライトガイド15の先端面である出射端面が配置されている。ライトガイド15は、挿入部11の長手方向に沿って挿入部11内に配置され、さらに内視鏡10の基端側に設けられたコネクタ12内へ延設されている。
【0023】
上述した撮像部13には信号線16が接続されている。信号線16は、挿入部11の長手方向に沿って挿入部11内に配置されている。内視鏡10からはケーブル17が延設され、ケーブル17の先端部に設けられたコネクタ18によりビデオプロセッサ20に着脱自在に接続されるようになっている。信号線16は、ケーブル17内に延設されて、コネクタ18に接続されている。
【0024】
このような構成により、撮像部13は、信号線16およびコネクタ18を経由して、ビデオプロセッサ20に電気的に接続される。
【0025】
ビデオプロセッサ20は、撮像部13を駆動すると共に、撮像部13から得られた撮像信号を映像処理回路により処理する画像処理装置である。
【0026】
すなわち、ビデオプロセッサ20は、同期信号を含む駆動信号を生成して、撮像部13へ供給し、動作を制御しながら撮像部13を駆動する。これにより撮像部13は、例えばフレーム単位で撮像を行って動画像を生成し、撮像信号として出力する。こうして撮像部13から出力された撮像信号は、ビデオプロセッサ20へ送信される。
【0027】
ビデオプロセッサ20は、撮像信号に信号処理を行って、モニタ30に表示可能な画像信号を生成する。ビデオプロセッサ20は、生成した画像信号を、ビデオプロセッサ20とモニタ30とを接続するケーブル21により、モニタ30へ出力する。これにより、モニタ30の表示画面に、内視鏡画像が表示される。
【0028】
ところで、本実施形態の被検体観察システムは、1フレームの撮像で取得した撮像信号から1フレームの観察画像を生成する通常観察モードと、低輝度照明下で取得した撮像信号と高輝度照明下で取得した撮像信号とからHDR画像を生成するHDR観察モードと、に設定することができるようになっている。そして以下では、通常観察モードに関する説明は省略して、HDR観察モードに関する説明を行う。
【0029】
被検体観察システムがHDR観察モードに設定されている場合に、光源装置40は、低輝度照明と高輝度照明とをフレーム毎に交互に行うようになっている。
【0030】
この場合にビデオプロセッサ20は、2つの連続する高輝度フレームと低輝度フレームとの内の、高輝度フレームにおいて生成された高輝度撮像信号と、低輝度フレームにおいて生成された低輝度撮像信号とを合成して、1つのハイダイナミックレンジ画像を生成する画像生成部として機能するようになっている。従って、本実施形態は、いわゆる時分割HDR方式を採用している。
【0031】
また、ビデオプロセッサ20は、撮像部13から得られた撮像信号に基づいて、画像の明るさを検出する。そして、ビデオプロセッサ20は、検出した画像の明るさが、目標の明るさとなるように、光源装置40を制御するための光源制御信号を生成する。
【0032】
ここに、光源制御信号の一例は、取得済みの最新フレームの高輝度画像の明るさに対する、次に取得する現フレームの高輝度画像の目標明るさの比率の情報である(ただしこれに限るものではなく、例えば、比率の情報に代えて差分等の情報としても構わないし、高輝度画像に代えて低輝度画像に基づき光源制御信号を生成してもよい)。
【0033】
この光源制御信号は、ビデオプロセッサ20から出力され、ビデオプロセッサ20と光源装置40とを接続する通信ケーブル22により、光源装置40へ伝送される。
【0034】
光源装置40は、制御部41と、LED駆動部42と、LED43と、光センサ44と、レンズ45と、レンズ46と、操作パネル49と、を備えている。
【0035】
制御部41は、LED駆動部42と、光センサ44と、操作パネル49と、に接続されている。また、制御部41には、ビデオプロセッサ20からの光源制御信号が入力されるようになっている。そして、制御部41は、操作パネル49からの操作入力と、光センサ44により生成されたセンサ値Sと、ビデオプロセッサ20からの光源制御信号とに基づいて、LED駆動部42に調光情報を出力し、光源装置40内を制御するものである。
【0036】
制御部41は、例えば内部に、不揮発性の記憶部41aを備えている(ただし、記憶部41aを制御部41の外部に設けても構わない)。この記憶部41aには、輝度比率RI(L/H)の情報が内部設定値として記憶されている。また、LED駆動部42は、後述するように、LED43に対してパルス状の駆動電流を印加するようになっている。そこで本実施形態の記憶部41aには、さらに、デューティー/デューティー比率(以下、DD比率という)RD(L/H)の情報が内部設定値として記憶されている。
【0037】
ここに、HDR画像を構成するための高輝度画像と低輝度画像とを取得する一対の高輝度フレームと低輝度フレームとの内の、高輝度フレームにおいて光センサ44により生成される高輝度センサ値をSH、低輝度フレームにおいて光センサ44により生成される低輝度センサ値をSLとすると、輝度比率RI(L/H)は、高輝度センサ値SHに対する低輝度センサ値SLの比率
RI(L/H)=SL/SH
である。この輝度比率RI(L/H)は、画像の明るさを変化させるときでも変化しない、0よりも大きく1未満の固定値である。
【0038】
また、DD比率RD(L/H)は、高輝度フレームにおいてLED43に印加されるパルス状の駆動電流のデューティー比DHに対する、低輝度フレームにおいてLED43に印加されるパルス状の駆動電流のデューティー比DLの比率
RD(L/H)=DL/DH
である。このDD比率RD(L/H)は、画像の明るさを変化させるときでも変化しない、0よりも大きく1以下の固定値である。従って、例えば、RD(L/H)=1として、DD比率RD(L/H)の記憶や取得を省略するようにしても構わない(後述する実施形態2参照)。
【0039】
なお、輝度比率RI(L/H)およびDD比率R(L/H)を、ここでは高輝度フレームの値に対する低輝度フレームの値としたが、これに変えて、低輝度フレームの値に対する高輝度フレームの値としても構わない。この場合には、輝度比率RI(H/L)およびDD比率R(H/L)とすればよいが、それぞれ輝度比率RI(L/H)およびDD比率R(L/H)の逆数となるために、何れを記憶部41aに記憶したとしても実体的に同一の作用効果を得ることができる。
【0040】
そして、1フレームにおける照明光の光量は、センサ値Sとデューティー比Dの積に比例し、比例定数をkとすると、
高輝度フレームの発光量=k×SH×DH
低輝度フレームの発光量=k×SL×DL
となる。
【0041】
従って、高輝度フレームにおける照明光の光量に対する、低輝度フレームにおける照明光の光量の比率である光量比率r(L/H)は、以下となる。
【0042】
r(L/H)=SL×DL/(SH×DH)
上式の右辺は、輝度比率RI(L/H)とDD比率RD(L/H)とを乗算した値であるために、光量比率r(L/H)は、
r(L/H)=RI(L/H)×RD(L/H)
とも書ける。従って、光量比率r(L/H)は、0よりも大きく1よりも小さい値となる。
【0043】
制御部41は、半導体発光素子であるLED43に対してパルスとして印加する駆動電流の電流値、およびパルス幅を、LED駆動部42への調光情報として出力するようになっている。
【0044】
このとき、LED駆動部42によるLED43の発光量の制御(調光)は、基本的に、1フレーム内で電流をパルス状に印加して、印加するパルス幅を制御する(いわゆるPWM(Pulse Width Modulation)による)パルス幅調光により行われるようになっている。なお、パルス幅を表す単位としては、例えばデューティー比が用いられる。一方、駆動電流の電流値を制御することによる発光強度の制御は、温度変化等によるLED43の発光効率の変化に対してのみ用いられるようになっているが、その詳細については後述する。
【0045】
LED駆動部42は、制御部41の調光情報に基づいて電流値およびパルス幅を設定したパルス状の駆動電流を生成し、生成した駆動電流をLED43に印加して、LED43に発光を行わせる。
【0046】
制御部41およびLED駆動部42は、LED43に駆動電流を印加して、低輝度フレームにおける低輝度照明と高輝度フレームにおける高輝度照明とを交互にLED43に行わせる光源制御部となっている。
【0047】
こうしてLED43は、1フレームの撮像期間において、LED駆動部42から印加される駆動電流の、電流値に応じた発光強度で、PWMパルスのデューティー比に応じた発光期間だけ発光するようになっている。
【0048】
LED43は、印加される駆動電流の電流値に応じた強度の光を照明光として発生する光源部である。なお、本実施形態では半導体発光素子としてLEDを例に挙げるが、これに限定されるものではなく、レーザダイオード(LD)や、その他の半導体発光素子を用いても構わない。
【0049】
本実施形態におけるLED43は、上述したように、例えば白色光を発光する白色LEDとして構成されている。LED43に印加される駆動電流の電流値をIとすると、最小電流値Iminから最大電流値Imaxまでの定格電流の範囲(Imin≦I≦Imax)内においてLED43が発光する照明光の強度は、電流値Iの単調増加関数である。
【0050】
光センサ44は、LED43から発光される照明光の強度を検出してセンサ値Sを生成する。センサ値Sが照明光の強度の単調増加関数である場合(例えば、センサ値Sが照明光の強度に比例する場合など)には、光センサ44のセンサ値Sは、電流値Iの単調増加関数となる(同様に、電流値Iもセンサ値Sの単調増加関数となる)。従って、所望のセンサ値Sを取得するためには、LED43に印加する駆動電流の電流値Iを制御すればよい(具体的に、センサ値Sを大きくしたければ電流値Iを大きくし、センサ値Sを小さくしたければ電流値Iを小さくすればよい)。
【0051】
なお、本実施形態における光センサ44は、受光した光をリアルタイムに電気信号に変換する非積分タイプ(すなわち、1フレーム内の発光強度を時間積分して1フレームの発光量を検出する積分タイプとは異なるタイプ)を想定している。従って、パルス幅制御を行うと、発光時にはゼロ以外のセンサ値Sが出力されるが、非発光時にはセンサ値Sがゼロとなる。このために、本実施形態で述べるセンサ値Sは、発光時のセンサ値であるものとする。
【0052】
レンズ45は、LED43の出射光の光路上に配置され、LED43から発光された光を略平行光に変換して出射する。
【0053】
レンズ46は、レンズ45の光軸上に配置され、レンズ45からの光を、平行光としてライトガイド15の入射端面へ照射する。
【0054】
操作パネル49は、例えばタッチパネルや操作スイッチ等を備え、ユーザが操作することで、光源装置40に対して設定を行う操作部である。操作パネル49を操作することで発生した信号は、制御部41へ入力される。また、操作パネル49には、光源装置40の現在の設定値等を表示することができるようになっている。
【0055】
図2は、光源制御信号に基づいて、高輝度照明および低輝度照明をPWM制御する様子を示す線図である。
【0056】
上述したように、LED駆動部42によるLED43の発光量の制御は、基本的に、デューティー比を変化させるパルス幅調光により行われる。すなわち、高輝度照明時にLED43に印加される電流のデューティー比DHと、低輝度照明時にLED43に印加される電流のデューティー比DLとは、何れも、光量指令値に比例して増減される。ここに、光量指令値は、光源制御信号により示される、高輝度フレームの光量の目標値である。
【0057】
また、制御部41は、光量指令値がどの値であっても、記憶部41aに記憶しているDD比率RD(L/H)となるようにLED駆動部42を制御する。これにより、デューティー比DHとデューティー比DLとの比率は常にDD比率RD(L/H)に維持される。ここに、DD比率RD(L/H)は0よりも大きく1以下の値である。
【0058】
こうして、光源制御部である制御部41およびLED駆動部42は、光源制御信号に基づいて、高輝度フレームにおいてLED43に印加する駆動電流の第1のパルス幅を調整すると共に、低輝度フレームにおいてLED43に印加する駆動電流の第2のパルス幅が、第1のパルス幅に対して一定のDD比率RD(L/H)となるように制御している。
【0059】
図3は被検体観察システムの作用を示すフローチャート、図4は被検体観察システムにおける調光の例を示すタイミングチャートである。
【0060】
なお、図4には1フレームのフレーム期間が1/120秒(対応する周波数は120Hz)で、1フレーム期間が、1/240秒(対応する周波数は240Hz)の露光期間Expと、1/240秒(周波数240Hz)の読出期間Rdとに2分される場合を一例に挙げている。このために、図2においては、デューティー比DHの最大値を50(%)としている。ただし、1フレーム期間の半分を露光期間Expとするに限定されるものではなく、デューティー比DHの最大値も50(%)に限定されるものではない。
【0061】
また、本実施形態においては、HDR画像を構成するための高輝度画像と低輝度画像との内の、高輝度画像を先に取得して低輝度画像を後に取得し、高輝度フレームを基準として低輝度フレームの制御を行う例を主に説明する。ただし、これとは逆に、低輝度画像を先に取得して高輝度画像を後に取得し、低輝度フレームを基準として高輝度フレームの制御を行うようにしても構わない。
【0062】
図3に示す処理を開始すると、制御部41は、記憶部41aから輝度比率RI(L/H)およびDD比率RD(L/H)を取得する(ステップS1)。
【0063】
次に、制御部41は、高輝度照明時にLED43に印加する駆動電流の電流値IHを設定する(ステップS2)。本実施形態においては、電流値IHを、例えば、定格電流の範囲における最大電流値Imaxに設定する(ただし、後述する実施形態2に示すように、これに限るものではない)。そして、制御部41は、高輝度フレームにおいてLED43に印加する駆動電流の電流値IHが一定となるように制御する。これにより、ここで設定された高輝度照明時の電流値IH=Imaxは、HDR撮影が終了するまで維持される。
【0064】
なお、以下の説明では、撮像順序に従ったn番目のフレームをnフレームなどと記載することとする。また、フレーム毎に変動する量、例えば、画像の明るさB、デューティー比D、センサ値S、低輝度照明時の電流値ILなどについては、必要に応じて、フレーム番号を付して記載することとする。そして、次に取得するのが(n−1)フレームの高輝度画像であるものとする。
【0065】
すると、ビデオプロセッサ20が、(n−1)フレームの2フレーム前に取得した高輝度画像の輝度信号に基づいて明るさB(n−3)を求め、明るさB(n−3)に対する、次に取得する(n−1)フレームの高輝度照明時の目標明るさB(n−1)の明るさ比率RB(n−1)、つまり、
RB(n−1)=B(n−1)/B(n−3)
を光源制御信号が含むように、光源制御信号を生成する。(ステップS3)。ビデオプロセッサ20は、生成した光源制御信号を、制御部41へ送信する。
【0066】
制御部41は、光源制御信号に含まれる明るさ比率RB(n−1)と、2フレーム前の高輝度フレームのデューティー比DH(n−3)とに基づいて、(n−1)フレームに対するデューティー比DH(n−1)を、
DH(n−1)=RB(n−1)×DH(n−3)
として設定する(ステップS4)。
【0067】
高輝度フレームの駆動電流の電流値IHは上述したように最大電流値Imaxで固定されており、ステップS4においてデューティー比DH(n−1)が設定されたために、これらの設定に基づいて、制御部41がLED駆動部42を制御し、LED43に(n−1)フレームの高輝度照明を行わせる(ステップS5)。
【0068】
LED43が発光している間は、光センサ44が光の強度を検出して、高輝度照明時の高輝度センサ値SH(n−1)を生成し出力する。なお、電流値が最大電流値Imaxに固定されていても、上述したように、温度変化等によりLED43の発光効率が変化することがあるために、高輝度センサ値SHも変化することがある。そして、(n−1)フレームの露光期間Expが終わったところで読出期間Rdに入って撮像信号を読み出し、読み出した撮像信号に基づきビデオプロセッサ20が高輝度画像を生成する(ステップS6)。
【0069】
続くnフレームは、HDR画像を生成するために、高輝度画像と対をなす低輝度画像を生成するフレームである。
【0070】
そこで、制御部41は、ステップS1で読み出したDD比率RD(L/H)を、(n−1)フレームのデューティー比DH(n−1)に乗算することで、低輝度フレームであるnフレームのデューティー比DL(n)を、
DL(n)=RD(L/H)×DH(n−1)
として算出する(ステップS7)。
【0071】
なお、上述したようにDD比率RD(L/H)=1として高輝度フレームのデューティー比DHと低輝度フレームのデューティー比DLとを同一とする場合(後述する実施形態2参照)には、このステップS7の処理を省略しても構わない。
【0072】
さらに、(n−1)フレームで取得した高輝度センサ値SH(n−1)と、ステップS1で読み出した輝度比率RI(L/H)とに基づき、目標低輝度センサ値SL(n)を、
SL(n)=SH(n−1)×RI(L/H)
として算出する(ステップS8)。
【0073】
なお、高輝度フレームを基準とするのに代えて低輝度フレームを基準とする場合には、(n−1)フレームで取得した低輝度センサ値SL(n−1)と、ステップS1で読み出した輝度比率RI(L/H)とに基づき、目標高輝度センサ値SH(n)を、
SH(n)=SL(n−1)/RI(L/H)
として算出すればよい。
【0074】
さらに、目標低輝度センサ値SL(n)と、2フレーム前の低輝度センサ値SL(n−2)と、2フレーム前の低輝度フレームの電流値IL(n−2)とに基づいて、nフレームでLED43に印加する駆動電流の電流値IL(n)を、
IL(n)={IL(n−2)×SL(n)/SL(n−2)}
として算出する(ステップS9)。このような、低輝度/高輝度の種別が同一となる直前のフレームの駆動電流値に基づいて、次の駆動電流値を算出する方法を採用しているのは、2フレーム前であれば、温度変化等によるLED43の発光効率の変化は小さいと考えてよいためである。
【0075】
なお、低輝度フレームを基準とする場合には、目標高輝度センサ値SH(n)と、2フレーム前の高輝度センサ値SH(n−2)と、2フレーム前の高輝度フレームの電流値IH(n−2)とに基づいて、nフレームでLED43に印加する駆動電流の電流値IH(n)を、
IH(n)={IH(n−2)×SH(n)/SH(n−2)}
として算出すればよい。
【0076】
制御部41は、こうして算出した電流値IL(n)およびデューティー比DL(n)を、LED駆動部42に設定する。LED駆動部42は、設定値に基づいたパルス状の駆動電流をLED43に印加することで、nフレームの低輝度照明を行う(ステップS10)。
【0077】
こうして、光源制御部である制御部41およびLED駆動部42は、nフレームに対して目標センサ値S(n)を設定し、目標センサ値S(n)が光センサ44により生成されるような駆動電流をnフレームにおいてLED43に印加するようになっている。
【0078】
LED43が発光している間は、光センサ44が光の強度を検出して、低輝度照明時のセンサ値SL(n)を生成し出力する。そして、nフレームの露光期間Expが終わったところで読出期間Rdに入って撮像信号を読み出し、読み出した撮像信号に基づきビデオプロセッサ20が低輝度画像を生成する(ステップS11)。
【0079】
ビデオプロセッサ20は、(n−1)フレームの高輝度画像と、nフレームの低輝度画像とを合成して、HDR画像を生成する(ステップS12)。ここで生成されたHDR画像は、例えば、ビデオプロセッサ20からモニタ30へ出力され、モニタ30の表示画面に、HDR内視鏡画像が表示される。
【0080】
その後、HDR撮影を終了するか否かを判定して(ステップS13)、終了しないと判定された場合には次のHDR画像を取得するためにステップS3へ戻って上述した処理を行い、終了すると判定された場合にはこの処理から図示しないメイン処理等へリターンする。
【0081】
なお、上述したように、高輝度照明を基準として電流値IHを一定に維持し、低輝度照明の電流値ILをLED43の発光効率の変化に合わせて変化させるようにするのに代えて、低輝度照明を基準として電流値ILを一定に維持し、高輝度照明の電流値ILを変化させるようにしても構わない。
【0082】
また、ビデオプロセッサ20から出力される高輝度画像の輝度信号を基準として調光制御するのに代えて、ビデオプロセッサ20から低輝度画像の輝度信号を出力するようにして、低輝度画像の輝度信号を基準として調光制御するようにしても構わない。
【0083】
さらに、高輝度照明時のデューティー比DHを基準として制御を行うのに代えて、低輝度照明時のデューティー比DLを基準として制御を行うようにしてもよい。
【0084】
このような実施形態1によれば、高輝度フレームにおいてLED43に印加する駆動電流の電流値IHが一定となるように制御して、調光については基本的にパルス幅制御で行うようにしたために、調光を電流制御で行う場合に比べて応答が速くなる利点がある。すなわち、画像の明るさの制御をもし電流調光により行うと、複数フレームに渡って電流値を変化させ、取得した画像の明るさからフィードバックして目標の明るさとなるように調整することになるために応答が遅いが、本実施形態によれば、PWM調光を採用したために高い応答性を実現することができる。
【0085】
そして、目標センサ値S(n)を、1つ前の(n−1)フレームにおいて実測されたセンサ値S(n−1)と、予め定められた輝度比率RI(L/H)と、に基づいて設定するようにしたために、高輝度画像と低輝度画像との明るさの比率を高精度に維持して、精度の高いHDR画像を合成することが可能となる。
【0086】
また、基準となるフレームでないnフレームにおいてLED43に印加する駆動電流の電流値I(n)が、目標センサ値S(n)と、2フレーム前のセンサ値S(n−2)と、2フレーム前の電流値I(n−2)と、に基づく値{I(n−2)×S(n)/S(n−2)}になるようにしたために、温度変化等によるLED43の発光効率の変化の影響をほぼ受けることなく、目標センサ値S(n)の発光量を正確に得ることができる。こうして、高輝度画像と低輝度画像との明るさの比率をより高精度に維持することができる。
【0087】
さらに、低輝度フレームにおける駆動電流の第2のパルス幅が、高輝度フレームにおける駆動電流の第1のパルス幅に対して一定のDD比率RD(L/H)となるようにしたために、必要に応じて、DD比率RD(L/H)を1未満の値に設定することができる。このために、高輝度画像と低輝度画像とのダイナミックレンジをより広くすることができる。また、光源に劣化が生じた場合でも、低輝度照明と高輝度照明との光量比率を高精度に維持することが可能となる。
【0088】
そして、高輝度照明時にLED43へ印加する電流値IHを一定値に維持していても、LED43の発光効率が変化すると、発光効率変化に応じて高輝度フレームにおける光の強度(つまり、高輝度センサ値SH)も変化することになるが、低輝度照明時にLED43へ印加する電流値ILを微調整することで発光効率の変化に応じた強度変化に対応するようにしている。このために、高輝度フレームと低輝度フレームとの光量比率r(L/H)を一定に維持することができ、高輝度画像と低輝度画像との明るさバランスを高精度に保つことができる。
【0089】
[実施形態2]
図5から図7は本発明の実施形態2を示したものであり、図5は被検体観察システムの構成を示す図である。
【0090】
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【0091】
上述した実施形態1は、白色LED(あるいは単色LED)を用いて照明を行う被検体観察システムの例であったが、本実施形態は、複数色の光を発光する複数のLEDを用いて照明を行う被検体観察システムとなっている。
【0092】
図5に示す本実施形態の光源装置40は、図1に示した実施形態1の光源装置40からLED43、光センサ44、およびレンズ45を削除して、R−LED43r(R:赤色)、G−LED43g(G:緑色)、B−LED43b(B:青色)、V−LED43v(V:バイオレット色)、光センサ44r,44g,44b,44v、レンズ45r,45g,45b,45v、ダイクロイックフィルタ47a,47b,47cを追加したものとなっている。
【0093】
R−LED43rは、LED駆動部42から電流値Ir、デューティー比Drの駆動電流を受けて、電流値Irに応じた発光強度で、デューティー比Drに応じた発光期間だけ赤色光(R光)を発光する。
【0094】
G−LED43g、LED駆動部42から電流値Ig、デューティー比Dgの駆動電流を受けて、電流値Igに応じた発光強度で、デューティー比Dgに応じた発光期間だけ緑色光(G光)を発光する。
【0095】
B−LED43b、LED駆動部42から電流値Ib、デューティー比Dbの駆動電流を受けて、電流値Ibに応じた発光強度で、デューティー比Dbに応じた発光期間だけ青色光(B光)を発光する。
【0096】
V−LED43v、LED駆動部42から電流値Iv、デューティー比Dvの駆動電流を受けて、電流値Ivに応じた発光強度で、デューティー比Dvに応じた発光期間だけバイオレット色光(V光)を発光する。
【0097】
これらのR−LED43r、G−LED43g、B−LED43b、およびV−LED43vは、光源部である。
【0098】
本実施形態の制御部41は、1つの色を基準色(第1の色C1)として、基準色に基づき、基準色以外の非基準色(第2の色C2)の光の光量を制御するようになっている。具体的に、本実施形態においては、基準色をGとして、R,B,Vを非基準色とする例を説明する。ただし、Gを基準色にするに限るものではなく、G以外の色の光を基準としても構わない。
【0099】
G−LED43gは、第1の色C1の光を発生する第1の半導体発光素子である。また、R−LED43r、B−LED43b、およびV−LED43vは、第1の色C1とは異なる第2の色C2の光を発生する第2の半導体発光素子である。
【0100】
光センサ44r,44g,44b,44vは、R−LED43r,G−LED43g,B−LED43b,V−LED43vにより発光された光の強度をそれぞれ検出して、センサ値SR,SG,SB,SVをそれぞれ生成し出力する。
【0101】
ここに、光センサ44gは、第1の色C1(ここではG)の光の強度を検出してセンサ値SC1(ここではセンサ値SG)を生成する第1の光センサである。また、光センサ44r,44b,44vは、第2の色C2(ここではR,B,V)の光の強度を検出してセンサ値SC2(ここではセンサ値SR,SB,SV)を生成する第2の光センサである。
【0102】
そして、光センサ44r,44g,44b,44vからそれぞれ出力されたセンサ値SR,SG,SB,SVは、制御部41へ入力される。
【0103】
レンズ45r,45g,45b,45vは、R−LED43r,G−LED43g,B−LED43b,V−LED43vの出射光の光路上にそれぞれ配置され、各LEDから発光された光を略平行光に変換して出射する。
【0104】
ダイクロイックフィルタ47aは、レンズ45rの光軸とレンズ45gの光軸とが交差する位置に配置されている。ダイクロイックフィルタ47aは、R−LED43rからのR光を透過し、G−LED43gからのG光を反射する。こうして、ダイクロイックフィルタ47aにより、R光およびG光が合成される。
【0105】
ダイクロイックフィルタ47bは、レンズ45rの光軸とレンズ45bの光軸とが交差する位置に配置されている。ダイクロイックフィルタ47bは、R−LED43rからのR光、およびG−LED43gからのG光を透過し、B−LED43bからのB光を反射する。こうして、ダイクロイックフィルタ47bにより、R光、G光、およびB光が合成される。
【0106】
ダイクロイックフィルタ47cは、レンズ45rの光軸とレンズ45vの光軸とが交差する位置に配置されている。ダイクロイックフィルタ47bは、R−LED43rからのR光、G−LED43gからのG光、およびB−LED43bからのB光を透過し、V−LED43vからのV光を反射する。こうして、ダイクロイックフィルタ47bにより、R光、G光、B光、およびV光が合成され白色光となる。
【0107】
すなわち、本実施形態においては、R光、G光、B光、およびV光を合成することで、白色光を生成するようになっている(ただし、R光、G光、およびB光を合成することで、白色光を生成するようにしても構わない)。
【0108】
なお、本実施形態においては同時式で白色光照明を行う場合を想定して説明するが、面順次式で白色光照明を行っても構わない。
【0109】
また、記憶部41aが記憶する輝度比率RI(L/H)は、本実施形態においては基準色であるGに関する輝度比率となっている。さらに、本実施形態の記憶部41aは、第1の色C1の光の光量に対する第2の色C2の光の光量を示す色比率RC(C2/C1)の情報を内部設定値として記憶している。具体的に、記憶部41aは、色比率RC(R/G),RC(B/G),RC(V/G)の情報を記憶している。
【0110】
色比率RC(R/G),RC(B/G),RC(V/G)は、基準色である第1の色C1の光(G光)の強度に対する、非基準色である第2の色C2の光(R光,B光,V光)それぞれの光強度の比率を示す。
【0111】
上述したように、光の強度は、光センサ44r,44g,44b,44vにより検出される。従って具体的に、色比率RC(R/G)はセンサ値SGに対するセンサ値SRの比率SR/SG、色比率RC(B/G)はセンサ値SGに対するセンサ値SBの比率SB/SG、色比率RC(V/G)はセンサ値SGに対するセンサ値SVの比率SV/SGとなる。
【0112】
これらの色比率RC(R/G),RC(B/G),RC(V/G)は、ホワイトバランスを保つために、画像の明るさを変化させるときでも変化しない固定値となっている。
【0113】
なお、G以外の色を基準色とする場合には、記憶部41aに記憶させる色比率も、設定された基準色に対する光の強度の比率を示す情報とすることになる。
【0114】
また、本実施形態においては、DD比率RD(L/H)を1に設定している(図7参照)。従って、記憶部41aにDD比率RD(L/H)を記憶するのを省略しても構わない。ただし、本実施形態の構成においても、上述した実施形態1と同様に、DD比率RD(L/H)を1未満の値に設定してもよいことは勿論である。
【0115】
次に、図6は被検体観察システムにおける非基準色処理を示すフローチャート、図7は被検体観察システムにおける基準色の調光の例を示すタイミングチャートである。
【0116】
図7に示すように、基準色であるGの調光制御については、上述した実施形態1の白色光(あるいは単色光)の調光制御とほぼ同様となっている。
【0117】
すなわち、光源制御部である制御部41およびLED駆動部42は、センサ値SGに基づき、G−LED43gに印加する駆動電流の電流値Igに対して、上述した実施形態1と同様の制御を行う。そして、光源制御部は、光源制御信号に基づいて、高輝度フレームにおいてG−LED43gに印加する駆動電流の第1のパルス幅を調整すると共に、低輝度フレームにおいてG−LED43gに印加する駆動電流の第2のパルス幅が、第1のパルス幅に対して一定の比率(DD比率RD(L/H))となるように制御する。
【0118】
ただし、本実施形態では、高輝度フレームにおいてG−LED43gに印加する駆動電流の電流値Igが、最大電流値Imaxよりも小さい所定の電流値となっている点が上述した実施形態1とは異なっている。
【0119】
さらに、本実施形態では、DD比率RD(L/H)を1に設定している点が上述した実施形態1とは異なっている。こうして、光源制御部である制御部41およびLED駆動部42は、さらに、低輝度フレームにおいてG−LED43gに印加する駆動電流の第2のパルス幅が、高輝度フレームにおいてG−LED43gに印加する駆動電流の第1のパルス幅と同一となるように制御している。
【0120】
一方、非基準色に対しては、図6に示すような処理を行うようになっている。
【0121】
図6に示す処理を開始すると、制御部41は、非基準色のデューティー比Dを、基準色のデューティー比Dと同一に設定する(ステップS21)。
【0122】
具体的に、高輝度フレームにおける非基準色R,B,Vのデューティー比Dr,Db,Dvは、同一の高輝度フレームにおける基準色Gのデューティー比Dgと同一に設定される。従って、高輝度フレームにおいてR−LED43r、B−LED43b、およびV−LED43vに印加する駆動電流のパルス幅は、高輝度フレームにおいてG−LED43gに印加する駆動電流の第1のパルス幅に設定される。
【0123】
また、低輝度フレームにおける非基準色R,B,Vのデューティー比Dr,Db,Dvも、同一の低輝度フレームにおける基準色Gのデューティー比Dgと同一に設定される。従って、低輝度フレームにおいてR−LED43r、B−LED43b、およびV−LED43vに印加する駆動電流のパルス幅は、低輝度フレームにおいてG−LED43gに印加する駆動電流の第2のパルス幅に設定される。
【0124】
なお、非基準色のデューティー比Dを、基準色のデューティー比Dと同一に設定するのは、DD比率RD(L/H)を1未満に設定した場合でも同様である。
【0125】
次に、制御部41は、非基準色である第2の色C2(C2=R,B,V)について、目標センサ値SC2(n)(つまり、RについてはSR(n)、BについてはSB(n)、VについてはSV(n)、以下同様)を設定する。
【0126】
ここに、目標センサ値SC2(n)は、2フレーム前の第1の色C1(ここでは基準色G)のセンサ値SC1(n−2)(ここではセンサ値SG(n−2))と、内部設定値である色比率RC(C2/C1)(具体的には、RC(R/G)、RC(B/G)、RC(V/G))とに基づき、次のように算出される(ステップS22)。
【0127】
SC2(n)=SC1(n−2)×RC(C2/C1)
そして、2フレーム前のセンサ値SC2(n−2)および電流値IC2(n−2)から、現フレームの電流値IC2(n)を次のように算出する(なお、2フレーム前なので、次が高輝度照明であるときには前回の高輝度照明時のセンサ値および電流値を参照し、次が低輝度照明であるときには前回の低輝度照明時のセンサ値および電流値を参照することになる)(ステップS23)。
【0128】
IC2(n)={IC2(n−2)×SC2(n)/SC2(n−2)}
こうして、フレームnにおいて、ステップS23で算出した電流値IC2(n)およびステップS21で設定した非基準色のデューティー比Dの駆動電流を、非基準色である第2の色C2のLEDに対して印加して、メイン処理にリターンする。
【0129】
なお、輝度比率RI(L/H)、DD比率RD(L/H)、色比率RC(C2/C1)は、上述したように、画像の明るさを変化させるときでも変化しない固定値であるが、光源の構成(例えば、LEDの製造メーカー、型番など)に応じて、あるいは被検体に応じて(例えば、被検体が生体であるかエンジンプラントであるかに応じて、また被検体が生体である場合でも、どの部位を観察するかに応じて)、適用する固定値を異ならせてもよいことは勿論である。
【0130】
このような実施形態2によれば、上述した実施形態1とほぼ同様の効果を奏するとともに、2フレーム前の第1の色C1のセンサ値SC1(n−2)と、色比率RC(C2/C1)とに基づき、目標センサ値SC2(n)を算出するようにしたために、第1の色C1と第2の色C2とのカラーバランス、ひいてはホワイトバランスを正確に維持しながら、高輝度画像と低輝度画像との明るさの比率を高精度に維持して、精度の高いHDR画像を合成することが可能となる。
【0131】
また、輝度比率RI(L/H)および色比率RC(C2/C1)を不揮発に記憶する記憶部41aをさらに有したために、それぞれに対して予め複数の固定値を用意して記憶しておくことで、例えば観察対象に適した固定値を操作パネル49の操作により選択する等が可能となり、より観察し易いHDR画像を合成することができる。
【0132】
さらに、R−LED43r、B−LED43b、およびV−LED43vに印加する駆動電流のパルス幅を、高輝度フレームと低輝度フレームとの何れにおいてもG−LED43gに印加する駆動電流のパルス幅と同一にしたために、簡単な制御で、ホワイトバランスを正確に維持することができる。
【0133】
加えて、高輝度フレームに光源部に印加する駆動電流のパルス幅と、低輝度フレームに光源部に印加する駆動電流のパルス幅と、を同一にした場合には、さらに制御を簡単にすることができる。
【0134】
こうして、複数色の半導体発光素子を搭載する光源装置を備える被検体観察システムにおいても、ホワイトバランスを維持しながら、高輝度照明と低輝度照明とを切り替える時分割方式のHDR画像の撮影を行うことが可能となる。
【0135】
なお、上述した各部の処理は、ハードウェアとして構成された1つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、FPGA(Field Programmable Gate Array)等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、1つ以上のCPUで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。
【0136】
また、上述では主として被検体観察システムについて説明したが、被検体観察システムを上述したように作動させる作動方法であってもよいし、コンピュータに被検体観察システムと同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【0137】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0138】
本出願は、2018年2月28日に日本国に出願された特願2018−35269号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
図1
図2
図3
図4
図5
図6
図7