特許第6907389号(P6907389)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧
特許6907389電子内視鏡用プロセッサ及び電子内視鏡システム
<>
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000002
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000003
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000004
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000005
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000006
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000007
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000008
  • 特許6907389-電子内視鏡用プロセッサ及び電子内視鏡システム 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6907389
(24)【登録日】2021年7月2日
(45)【発行日】2021年7月21日
(54)【発明の名称】電子内視鏡用プロセッサ及び電子内視鏡システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20210708BHJP
   A61B 1/06 20060101ALI20210708BHJP
   G02B 23/24 20060101ALI20210708BHJP
   G02B 23/26 20060101ALI20210708BHJP
   H04N 7/18 20060101ALI20210708BHJP
【FI】
   A61B1/045 632
   A61B1/06 612
   G02B23/24 B
   G02B23/26 B
   H04N7/18 M
【請求項の数】12
【全頁数】24
(21)【出願番号】特願2020-117348(P2020-117348)
(22)【出願日】2020年7月7日
(62)【分割の表示】特願2018-535793(P2018-535793)の分割
【原出願日】2017年8月25日
(65)【公開番号】特開2020-185394(P2020-185394A)
(43)【公開日】2020年11月19日
【審査請求日】2020年7月9日
(31)【優先権主張番号】特願2016-164990(P2016-164990)
(32)【優先日】2016年8月25日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110000165
【氏名又は名称】グローバル・アイピー東京特許業務法人
(72)【発明者】
【氏名】林 佳宏
【審査官】 山口 裕之
(56)【参考文献】
【文献】 特開2005−006768(JP,A)
【文献】 特開2005−033282(JP,A)
【文献】 特開2005−131129(JP,A)
【文献】 特開2015−066063(JP,A)
【文献】 特開2016−123755(JP,A)
【文献】 国際公開第2010/131620(WO,A1)
【文献】 国際公開第2013/146311(WO,A1)
【文献】 国際公開第2016/056388(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/045
A61B 1/06
(57)【特許請求の範囲】
【請求項1】
CMOS型のイメージセンサである撮像素子を用いて撮影された被写体の画像信号を処理する電子内視鏡用プロセッサであって、
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量が異なる第2の照明光と、の間で切り替える照明光切替手段と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御する撮像素子制御手段と、を備え、
前記撮像素子制御手段は、
前記被写体に前記第1の照明光が照射されている時の前記撮像素子の露光時間T1と該被写体に前記第2の照明光が照射されている時の該撮像素子の露光時間T2を、該第1の照明光の単位時間当たりの光束の時間積分量R1及び該第2の照明光の単位時間当たりの光束の時間積分量R2に基づいて制御することにより、前記露光時間T1を前記露光時間T2に比べて短くし、
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まず、
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように前記露光時間T2を定め、定めた前記露光時間T2に基づいて前記露光時間T2に比べて短い前記露光時間T1を定める、
電子内視鏡用プロセッサ。
【請求項2】
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記遷移期間内に行う、請求項1に記載の電子内視鏡用プロセッサ。
【請求項3】
前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の光強度が一定を維持する期間が終了するときに終了する、請求項1または2に記載の電子内視鏡用プロセッサ。
【請求項4】
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記第2の照明光の光強度が一定になる前に開始して前記第2の照明光の光強度が一定を維持する期間が開始する時に終了し、前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の光強度が一定を維持する期間が終了する時に終了するように、前記撮像素子制御手段は、前記露光時間T2を定める、請求項1または2に記載の電子内視鏡用プロセッサ。
【請求項5】
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量の異なる第2の照明光と、の間で切り替える照明光切替手段と、
前記被写体からの光を受光し、受光した光に応じた画像信号を出力するように構成された、CMOS型のイメージセンサである撮像素子と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御する撮像素子制御手段と、
を備え、
前記撮像素子制御手段は、
前記被写体に前記第1の照明光が照射されている時の前記撮像素子の露光時間T1と該被写体に前記第2の照明光が照射されている時の該撮像素子の露光時間T2を、該第1の照明光の単位時間当たりの光束の時間積分量R1及び該第2の照明光の単位時間当たりの光束の時間積分量R2に基づいて制御することにより、前記露光時間T1を前記露光時間T2に比べて短くし、
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まず、
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように、前記露光時間T2を定め、定めた前記露光時間T2に基づいて前記露光時間T2に比べて短い前記露光時間T1を定める、
電子内視鏡システム。
【請求項6】
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量の異なる第2の照明光と、の間で切り替える照明光切替手段と、
前記被写体からの光を受光し、受光した光に応じた画像信号を出力する、CMOS型のイメージセンサである撮像素子と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御する撮像素子制御手段と、を備え、
前記撮像素子制御手段は、
前記被写体に前記第1の照明光が照射されている時の前記撮像素子の露光時間T1と該被写体に前記第2の照明光が照射されている時の該撮像素子の露光時間T2を、前記第1の照明光の第1波長帯域における前記第1の照明光に関する算出量K1及び前記第2の照明光の第2波長帯域における前記第2の照明光に関する算出量K2に基づいて制御することにより、前記露光時間T1を前記露光時間T2に比べて短くし、
前記算出量K1は、前記第1波長帯域における前記第1の照明光の光強度分布と前記第1波長帯域における前記撮像素子の量子効率の分布の積を前記第1波長帯域の範囲で積分することにより得られた量であり、
前記算出量K2は、前記第2波長帯域における前記第2の照明光の光強度分布と前記第2波長帯域における前記撮像素子の量子効率の分布の積を前記第2波長帯域の範囲で積分することにより得られた量であり、
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まず、
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように、前記露光時間T2を定め、定めた前記露光時間T2に基づいて前記露光時間T2に比べて短い前記露光時間T1を定める、
電子内視鏡システム。
【請求項7】
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量の異なる第2の照明光と、の間で切り替える照明光切替手段と、
前記被写体からの光を受光し、受光した光に応じた画像信号を出力するように構成された、CMOS型のイメージセンサである撮像素子と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御し、前記撮像素子が前記第1の照明光で照射された前記被写体を露光時間T3で撮像し、前記第2の照明光で照射された前記被写体を露光時間T4で撮像するように前記撮像素子を制御する撮像素子制御手段と、
前記撮像素子から出力された前記画像信号に対して増幅処理を施す増幅手段と、
前記増幅処理の増幅率を制御する制御手段と、を備え、
前記第1の照明光の第1波長帯域は、前記第2の照明光の第2波長帯域とお互いに異なり、
前記制御手段は、
前記第1の照明光及び前記第2の照明光のいずれか一方の照射を受けた前記被写体の前記画像信号に施す増幅率を、他方の照射を受けた前記被写体の前記画像信号に施す増幅率と、前記第1波長帯域における前記第1の照明光に関する算出量K1及び前記第2波長帯域における前記第2の照明光に関する算出量K2と、前記露光時間T3,T4と、に基づいて制御し、前記露光時間T3は前記露光時間T4に比べて短く、
前記算出量K1は、前記第1波長帯域における前記第1の照明光の光強度分布と前記第1波長帯域における前記撮像素子の量子効率の分布の積を前記第1波長帯域の範囲で積分することにより得られた量であり、
前記算出量K2は、前記第2波長帯域における前記第2の照明光の光強度分布と前記第2波長帯域における前記撮像素子の量子効率の分布の積を前記第2波長帯域の範囲で積分することにより得られた量であり、
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まず、
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように、前記露光時間T4を定め、定めた前記露光時間T4に基づいて前記露光時間T4に比べて短い前記露光時間T3を定める、
電子内視鏡システム。
【請求項8】
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記遷移期間内に行われる、請求項5〜7のいずれか1項に記載の電子内視鏡システム。
【請求項9】
前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の光強度が一定を維持する期間が終了するときに終了する、請求項5〜8のいずれか1項に記載の電子内視鏡システム。
【請求項10】
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記第2の照明光の光強度が一定になる前に開始して前記第2の照明光の光強度が一定を維持する期間が開始する時に終了し、前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の光強度が一定を維持する期間が終了する時に終了するように、前記撮像素子制御手段は、前記露光時間T2を定める、請求項5又は6に記載の電子内視鏡システム。
【請求項11】
前記照明光切替手段と前記撮像素子制御手段を有する電子内視鏡用プロセッサと、
前記撮像素子を有し、前記電子内視鏡用プロセッサに対して着脱可能に接続されるように構成された電子スコープと、を備え、
前記電子内視鏡用プロセッサあるいは前記電子スコープは、前記撮像素子から出力された前記画像信号に対して増幅処理を施す増幅手段と、前記増幅処理の増幅率を制御する制御手段と、を備え、
前記第1の照明光の第1波長帯域は、前記第2の照明光の第2波長帯域とお互いに異なり、
前記制御手段は、
前記第1の照明光及び前記第2の照明光のいずれか一方の照射を受けた前記被写体の前記画像信号に施す前記増幅率を、前記第1波長帯域における前記第1の照明光に関する算出量K1及び前記第2波長帯域における前記第2の照明光に関する算出量K2と、前記露光時間T1,T2とに基づいて制御し、
前記算出量K1は、前記第1波長帯域における前記第1の照明光の光強度分布と前記第1波長帯域における前記撮像素子の量子効率の分布の積を前記第1波長帯域の範囲で積分することにより得られた量であり、
前記算出量K2は、前記第2波長帯域における前記第2の照明光の光強度分布と前記第2波長帯域における前記撮像素子の量子効率の分布の積を前記第2波長帯域の範囲で積分することにより得られた量である、
請求項5に記載の電子内視鏡システム。
【請求項12】
前記照明光切替手段は、
前記被写体に照射する照明光を、前記第1の照明光、前記第2の照明光、単位時間当たりの光束の時間積分量が該第1の照明光又は該第2の照明光とは異なる第3の照明光の間で順次切り替え、
前記撮像素子制御手段は、
前記露光時間T1、前記露光時間T2及び前記被写体に前記第3の照明光が照射されている時の前記撮像素子の露光時間T3を、前記時間積分量R1、前記時間積分量R2及び該第3の照明光の単位時間当たりの光束の時間積分量R3に基づいて制御する、
請求項5に記載の電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子内視鏡用プロセッサ及び電子内視鏡システムに関する。
【背景技術】
【0002】
医療機器分野においては、特性の異なる波長域の照明光を使用した観察を同時に行うことで病変部の診断を容易にする電子内視鏡システムが知られている。例えば特許文献1に、この種の電子内視鏡システムの具体的構成が記載されている。
【0003】
特許文献1には、被写体を、白色の通常光と、通常光とは波長帯域の異なる特殊光とにより交互に照明し、被写体からの物体光をCMOS型のイメージセンサで検出する電子内視鏡システムが開示されている。CMOS型のイメージセンサではローリングシャッタ方式が採用されており、画素の露光及び画素信号の読み出しがライン毎に順次行われる。そのため、通常光と特殊光とを交互に切り替えて被写体を照明すると、通常光を照明したときの被写体の情報と特殊光を照明したときの被写体の情報とが画素信号に混ざってしまう。特許文献1の電子内視鏡システムでは、異なる照明光で照明された被写体の情報が画素信号に混ざることを防止するため、1フレームおきに照明光を消灯し、照明光を消灯している間に画素信号を読み出している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−068992号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の電子内視鏡システムのように、通常光と特殊光とで被写体を交互に照明すると、通常光で照明された被写体の照度と特殊光で照明された被写体の照度に差が生じる場合がある。2つの被写体の照度差が大きい場合、一方の被写体像に合わせて露出補正を行うと、他方の被写体像が過剰露出又は露出不足となってしまうという問題が生じる。
【0006】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、光量の異なる照明光を使用して被写体を観察する場合に、何れの照明光で照明された被写体も適正露出で撮影可能な電子内視鏡用プロセッサ及び電子内視鏡システムを提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様は、CMOS型のイメージセンサである撮像素子を用いて撮影された被写体の画像信号を処理する電子内視鏡用プロセッサであって、
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量が異なる第2の照明光と、を順次切り替える照明光切替手段と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御する撮像素子制御手段と、を備える。
前記撮像素子制御手段は、
前記被写体に前記第1の照明光が照射されている時の前記撮像素子の露光時間T1と該被写体に前記第2の照明光が照射されている時の該撮像素子の露光時間T2を、該第1の照明光の単位時間当たりの光束の時間積分量R1及び該第2の照明光の単位時間当たりの光束の時間積分量R2に基づいて制御することにより、前記露光時間T1を前記露光時間T2に比べて短くする。
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まない。
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように前記露光時間T2を定め、定めた前記露光時間T2に基づいて前記露光時間T2に比べて短い前記露光時間T1を定める。
【0008】
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記遷移期間内に行う、ことが好ましい。
【0009】
前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の光強度が一定を維持する期間が終了するときに終了する、ことが好ましい。
【0010】
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記第2の照明光の光強度が一定になる前に開始して前記第2の照明光の光強度が一定を維持する期間が開始する時に終了し、前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の光強度が一定を維持する期間が終了する時に終了するように、前記撮像素子制御手段は、前記露光時間T2を定める、ことが好ましい。
【0011】
本発明の他の一態様は、電子内視鏡システムであって、
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量の異なる第2の照明光と、を順次切り替える照明光切替手段と、
前記被写体からの光を受光し、受光した光に応じた画像信号を出力するように構成された、CMOS型のイメージセンサである撮像素子と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御する撮像素子制御手段と、
を備える。
前記撮像素子制御手段は、
前記被写体に前記第1の照明光が照射されている時の前記撮像素子の露光時間T1と該被写体に前記第2の照明光が照射されている時の該撮像素子の露光時間T2を、該第1の照明光の単位時間当たりの光束の時間積分量R1及び該第2の照明光の単位時間当たりの光束の時間積分量R2に基づいて制御することにより、前記露光時間T1を前記露光時間T2に比べて短くする。
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まない。
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように、前記露光時間T2を定め、定めた前記露光時間T2に基づいて前記露光時間T2に比べて短い前記露光時間T1を定める。
【0012】
本発明の他の一態様も、電子内視鏡システムであって、
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量の異なる第2の照明光と、の間で交互に切り替える照明光切替手段と、
前記被写体からの光を受光し、受光した光に応じた画像信号を出力する、CMOS型のイメージセンサである撮像素子と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御する撮像素子制御手段と、を備える。
前記撮像素子制御手段は、
前記被写体に前記第1の照明光が照射されている時の前記撮像素子の露光時間T1と該被写体に前記第2の照明光が照射されている時の該撮像素子の露光時間T2を、前記第1の照明光の第1波長帯域における前記第1の照明光に関する算出量K1及び前記第2の照明光の第2波長帯域における前記第2の照明光に関する算出量K2に基づいて制御することにより、前記露光時間T1を前記露光時間T2に比べて短くし、
前記算出量K1は、前記第1波長帯域における前記第1の照明光の光強度分布と前記第1波長帯域における前記撮像素子の量子効率の分布の積を前記第1波長帯域の範囲で積分することにより得られた量であり、
前記算出量K2は、前記第2波長帯域における前記第2の照明光の光強度分布と前記第2波長帯域における前記撮像素子の量子効率の分布の積を前記第2波長帯域の範囲で積分することにより得られた量であり、
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まない。
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように、前記露光時間T2を定め、定めた前記露光時間T2に基づいて前記露光時間T2に比べて短い前記露光時間T1を定める。
【0013】
本発明の他の一態様も、電子内視鏡システムであって、
被写体に照射する照明光を、第1の照明光と、該第1の照明光とは単位時間当たりの光束の時間積分量の異なる第2の照明光と、の間で交互に切り替える照明光切替手段と、
前記被写体からの光を受光し、受光した光に応じた画像信号を出力するように構成された、CMOS型のイメージセンサである撮像素子と、
前記撮像素子の露光時間及び電荷の読出しタイミングを制御し、前記撮像素子が前記第1の照明光で照射された前記被写体を露光時間T3で撮像し、前記第2の照明光で照射された前記被写体を露光時間T4で撮像するように前記撮像素子を制御する撮像素子制御手段と、
前記撮像素子から出力された前記画像信号に対して増幅処理を施す増幅手段と、
前記増幅処理の増幅率を制御する制御手段と、を備える。
前記第1の照明光の第1波長帯域は、前記第2の照明光の第2波長帯域とお互いに異なり、
前記制御手段は、
前記第1の照明光及び前記第2の照明光のいずれか一方の照射を受けた前記被写体の前記画像信号に施す増幅率を、他方の照射を受けた前記被写体の前記画像信号に施す増幅率と、前記第1波長帯域における前記第1の照明光に関する算出量K1及び前記第2波長帯域における前記第2の照明光に関する算出量K2と、前記露光時間T3,T4と、に基づいて制御し、前記露光時間T3は前記露光時間T4に比べて短く、
前記算出量K1は、前記第1波長帯域における前記第1の照明光の光強度分布と前記第1波長帯域における前記撮像素子の量子効率の分布の積を前記第1波長帯域の範囲で積分することにより得られた量であり、
前記算出量K2は、前記第2波長帯域における前記第2の照明光の光強度分布と前記第2波長帯域における前記撮像素子の量子効率の分布の積を前記第2波長帯域の範囲で積分することにより得られた量である。
前記撮像素子は、前記撮像素子の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、前記受光位置における前記電荷を読み出すローリングシャッタ方式で読み出しを行い、
前記第1の照明光及び前記第2の照明光は、前記第1の照明光と前記第2の照明光との間で照明光を切り替える際に、前記切り替え後の照明光の光強度が一定になる前に、前記切り替え前の照明光の光強度が低下し、前記切り替え後の照明光の光強度が照射開始から時間とともに増加する遷移期間を有して前記被写体を照明し、前記第1の照明光及び前記第2の照明光それぞれが照明する時の、前記撮像素子による前記ローリングシャッタ方式における露光期間は、前記遷移期間を含まない。
前記撮像素子制御手段は、前記第2の照明光の光強度が一定を維持する期間内に、前記撮像素子の前記受光位置のすべてにおける前記ローリングシャッタ方式の前記露光の開始と前記露光の終了が行われるように、前記露光時間T4を定め、定めた前記露光時間T4に基づいて前記露光時間T4に比べて短い前記露光時間T3を定める。
【0014】
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記遷移期間内に行われる、ことが好ましい。
【0015】
前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の照射期間が終了するときに終了する、ことが好ましい。
【0016】
前記撮像素子制御手段は、
前記撮像素子が前記第2の照明光の照射時間内で最初に行う前記電荷の読み出しの前に行うノイズ蓄積電荷のリセットは、前記第2の照明光の照射開始前に開始して前記第2の照明光の照射開始時に終了し、前記第2の照明光の照射時間内で最後に行う前記電荷の読み出しは、前記第2の照明光の照射終了時に終了するように、前記第2の照明光が照射する時の前記露光時間を定める、ことが好ましい。
【0017】
前記照明光切替手段と前記撮像素子制御手段を有する電子内視鏡用プロセッサと、
前記撮像素子を有し、前記電子内視鏡用プロセッサに対して着脱可能に接続されるように構成された電子スコープと、を備え、
前記電子内視鏡用プロセッサあるいは前記電子スコープは、前記撮像素子から出力された前記画像信号に対して増幅処理を施す増幅手段と、前記増幅処理の増幅率を制御する制御手段と、を備え、
前記第1の照明光の第1波長帯域は、前記第2の照明光の第2波長帯域とお互いに異なり、
前記制御手段は、
前記第1の照明光及び前記第2の照明光のいずれか一方の照射を受けた前記被写体の前記画像信号に施す前記増幅率を、前記第1波長帯域における前記第1の照明光に関する算出量K1及び前記第2波長帯域における前記第2の照明光に関する算出量K2と、前記露光時間T1,T2とに基づいて制御し、
前記算出量K1は、前記第1波長帯域における前記第1の照明光の光強度分布と前記第1波長帯域における前記撮像素子の量子効率の分布の積を前記第1波長帯域の範囲で積分することにより得られた量であり、
前記算出量K2は、前記第2波長帯域における前記第2の照明光の光強度分布と前記第2波長帯域における前記撮像素子の量子効率の分布の積を前記第2波長帯域の範囲で積分することにより得られた量である、ことが好ましい。
請求項8に記載の電子内視鏡システム。
【0018】
前記照明光切替手段は、
前記被写体に照射する照明光を、前記第1の照明光、前記第2の照明光、単位時間当たりの光束の時間積分量が該第1の照明光又は該第2の照明光とは異なる第3の照明光の間で順次切り替え、
前記撮像素子制御手段は、
前記露光時間T1、前記露光時間T2及び前記被写体に前記第3の照明光が照射されている時の前記撮像素子の露光時間T3を、前記時間積分量R1、前記時間積分量R2及び該第3の照明光の単位時間当たりの光束の時間積分量R3に基づいて制御する、ことが好ましい。
【発明の効果】
【0019】
上述の電子内視鏡用プロセッサ及び電子内視鏡システムによれば、光量の異なる照明光を使用して被写体を観察する場合に、何れの照明光で照明された被写体も適正露出で撮影することができる。
【図面の簡単な説明】
【0020】
図1】本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。
図2】本発明の一実施形態に係るプロセッサに備えられる回転フィルタ部の正面図である。
図3】従来の電子内視鏡システムに係るプロセッサに備えられる回転フィルタ部の正面図である。
図4】従来の電子内視鏡システムに係る固体撮像素子の露光タイミング及び画素信号の読み出しタイミングを説明するための図である。
図5】本発明の一実施形態に係るプロセッサに用いる固体撮像素子の電荷の吐き出しタイミング及び読み出しタイミングを説明するための図である。
図6】本発明の一実施形態に係るプロセッサに備えられる回転フィルタ部の正面図である。
図7】本発明の一実施形態に係るプロセッサに用いる固体撮像素子の電荷の吐き出しタイミング及び読み出しタイミングを説明するための図である。
図8】(a)〜(e)は、本発明の一実施形態に係るプロセッサで用いる算出量K1,K2を説明する図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。なお、以下説明する、露光時間あるいは増幅率(ゲイン)を「制御する」あるいは「調整する」とは、制御動作や調整動作を行う場合の他に、制御された結果あるいは調整された結果の値に、露光時間あるいは増幅率が設定されていることも含まれる。
【0022】
図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、プロセッサ200及びモニタ300を備えている。
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ212に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル214に接続されている。システムコントローラ202は、操作パネル214より入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
【0023】
ランプ208は、ランプ電源イグナイタ206による始動後、照明光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。また、ランプ208は、LED(Light Emitting Diode)、レーザダイオード等の固体光源であってもよい。照明光Lは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光(又は少なくとも可視光領域を含む白色光)である。
【0024】
ランプ208より射出された照明光Lは、絞り209で光量が絞られた後、回転フィルタ部260に入射される。図2は、回転フィルタ部260を集光レンズ210側から見た正面図である。回転フィルタ部260は、回転式ターレット261、DCモータ262、ドライバ263及びフォトインタラプタ264を備えている。図2には、回転式ターレット261に入射された照明光Lが破線で示されている。図2に示されるように、回転式ターレット261には、通常光(白色光)光学用フィルタF1及び特殊光用光学フィルタF2が円周方向に順に並べて配置されている。各光学フィルタF1、F2は扇形状を有しており、回転軸Oの周りで略180°の角度範囲で配置されている。
【0025】
ドライバ263は、システムコントローラ202による制御下でDCモータ262を駆動する。回転式ターレット261がDCモータ262によって回転動作することにより、各光学フィルタF1、F2が照明光Lの光路に順次挿入される。これにより、ランプ208より入射された照明光Lが各光学フィルタでフィルタリングされ、スペクトルの異なる二種類の照明光L(通常光L1と特殊光L2)の一方が、撮像と同期したタイミングで取り出される。回転式ターレット261の回転位置や回転の位相は、回転式ターレット261の外周付近に形成された開口(不図示)をフォトインタラプタ264によって検出することにより制御される。
【0026】
また、回転式ターレット261の円周方向において、光学フィルタF1と光学フィルタF2の間にはフレームF0が設けられている。このフレームF0は、照明光Lを透過させない材質で形成されている。そのため、このフレームF0が照明光Lの光路に挿入されると、回転フィルタ部260を透過する照明光L(通常光L1又は特殊光L2)の光量が低下すると共に、フレームF0の大きさ及び位置によっては、通常光L1と特殊光L2が混ざり合った光が取り出される。以下では、フレームF0が照明光Lの光路に挿入されている期間を、遷移期間と呼ぶ。この遷移期間中に回転フィルタ部260から取り出された照明光Lは、光量が不安定であるため、被写体の撮影には使用されない。
【0027】
通常光用光学フィルタF1は、照明光Lを減光する減光フィルタであるが、単なる開口(光学フィルタの無いもの)や絞り機能を兼ねたスリット(光学フィルタの無いもの)に置き換えてもよい。特殊光用光学フィルタF2は、例えば表層付近の血管構造(又は深層の血管構造、特定の病変部など)の分光画像を撮影するのに適した分光特性を持つ。
【0028】
回転フィルタ部260より取り出された照明光L(通常光L1と特殊光L2)は、集光レンズ210によりLCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。通常光L1は、一実施形態によれば、白色光あるいは擬似白色光であることが好ましい。白色光は、可視光波長帯域で一定の光強度を備える光であり、擬似白色光は、可視光波長帯域の特定の波長帯域で光強度のピークを有する複数の光成分で構成された光である。特殊光L2は、白色光あるいは擬似白色光の波長帯域に比べて狭い波長帯域の光である。このように、通常光L1と特殊光L2は、波長帯域が異なる。電子内視鏡システムでは、通常光L1及び特殊光L2で被写体である生体組織を照明する照明光として用いて撮像し、通常光観察画像と特殊光観察画像が取得される。特殊光観察画像では、生体組織の吸収特性に応じて、通常光観察画像と異なる像を取得することができるので、生体組織のある特徴部分を強調して観察することができ、生体組織の病変部等を見つけ出すことを容易にする。したがって、特殊光用光学フィルタF2の分光特性は、強調したい生体組織の吸収特性に応じて設定される。
【0029】
LCB102内に入射された照明光L(通常光L1と特殊光L2)は、LCB102内を伝播して電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して被写体を照明する。これにより、被写体は、通常光L1と特殊光L2とによって交互に照明される。各照明光Lにより照明された被写体からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0030】
固体撮像素子108は、補色市松型画素配置を有するCMOS(Complementary Metal Oxide Semiconductor)型のイメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの画素信号を生成し、生成された垂直方向に隣接する2つの画素の画素信号を加算し混合して出力する。なお、固体撮像素子108は、原色系フィルタ(ベイヤ配列フィルタ)を搭載したものであってもよい。固体撮像素子108は、補色系色フィルタあるいは原色系色フィルタを有するので、固体撮像素子108の受光面上の各受光位置における量子効率QEは、波長に応じて変化する。
【0031】
回転フィルタ部260による通常光L1と特殊光L2の切り換えのタイミングは、固体撮像素子108の露光タイミング及び固体撮像素子108に蓄積された電荷の読み出しタイミングと同期している。これにより、固体撮像素子108は、通常光L1で照明された被写体の観察画像(通常光観察画像)の画素信号と、特殊光L2で照明された被写体の観察画像(特殊光観察画像)の画素信号とを交互に出力する。
【0032】
電子スコープ100は、プロセッサ200に着脱可能に接続される。電子スコープ100の、プロセッサ200との接続部内には、ドライバ信号処理回路110が備えられている。ドライバ信号処理回路110には、通常光観察画像、特殊光観察画像の各画素信号が固体撮像素子108より交互に入力される。ドライバ信号処理回路110は、固体撮像素子108より入力される画素信号に対して増幅処理やAD変換処理等の所定の処理を施してプロセッサ200の前段信号処理回路220に出力する。
【0033】
ドライバ信号処理回路110はまた、メモリ112にアクセスして電子スコープ100の固有情報を読み出す。メモリ112に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度等の仕様、動作可能なフレームレート、ドライバ信号処理回路110による増幅処理の増幅率、電子スコープ100の型番等が含まれる。ドライバ信号処理回路110は、メモリ112より読み出された固有情報をシステムコントローラ202に出力する。
【0034】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープ100に適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
【0035】
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路110にクロックパルスを供給する。ドライバ信号処理回路110は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0036】
前段信号処理回路220は、ドライバ信号処理回路110より入力される通常光観察画像、特殊光観察画像の各画素信号に対して増幅処理、色補間処理、マトリックス演算処理、Y/C分離処理等の所定の信号処理を施して画像信号を生成し、後段信号処理回路230に出力する。
【0037】
後段信号処理回路230は、前段信号処理回路220より入力される画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、被写体の通常光観察画像と特殊光観察画像がモニタ300の表示画面に表示される。
【0038】
ここで、従来の電子内視鏡システムにおける、固体撮像素子の露光タイミング及び電荷(画素信号)の読み出しタイミングについて説明する。
【0039】
図3は、従来の電子内視鏡システムのプロセッサに備えられる、回転フィルタ部1260の正面図である。回転フィルタ部1260は、回転式ターレット1261を備えている。回転式ターレット1261には、通常光用フィルタF1p及び特殊光用フィルタF2pが円周方向に順に並べて配置されている。各光学フィルタは中心角が約90°の扇形状を有しており、回転軸Oに対して回転対称となる位置に配置されている。また、回転式ターレット1261の、各フィルタが設けられていない領域P0は、照明光を遮光する遮光板となっている。そのため、回転式ターレット1261を回転させることにより、通常光の照射、非照射、特殊光の照射、非照射が、所定のフレームレート(本従来例では、1/60秒)で切り替わる。
【0040】
図4は、従来の電子内視鏡システムにおいて、通常光観察画像と特殊光観察画像とを並べて一画面に表示させる際の、固体撮像素子の露光タイミング及び電荷(画素信号)の読み出しタイミングを説明するための図である。固体撮像素子は、CMOS型のイメージセンサであり、画素信号の読み出しにローリングシャッタ方式が採用されている。
【0041】
固体撮像素子の受光面には、複数の画素が一列に並んで配置され、且つ、その画素のラインが複数個並んで配置される。画素信号は、1ライン毎にまとめて読み出される。図4は、固体撮像素子がX個のラインLine1〜LineXの画素を含んでいると仮定した場合の、各ラインの露光時間及び読み出しタイミングを示したものである。
【0042】
固体撮像素子の露光タイミング及び画素信号の読み出しタイミングは、回転式ターレット1261の回転と同期している。詳しくは、時刻t1において、通常光の照射が開始されると共に、固体撮像素子の全画素の露光が開始される。全画素の露光は、時刻t2までの1/60秒間行われる。時刻t2では、遮光板P0によって照明光が遮光されると共に、時刻t1〜t2の間に各画素に蓄積された電荷の読み出しがライン毎に順次行われる。詳しくは、画素信号の読み出しは、ライン番号の小さいラインから順番に、時間をずらしながら行われる。全画素からの画素信号の読み出しに掛かる時間は1/60秒である。時刻t3では、特殊光の照射が開始されると共に、固体撮像素子の全画素の露光が開始される。全画素の露光は、時刻t3から時刻t4までの1/60秒間行われる。時刻t4では、照明光が遮光されると共に、時刻t3〜t4の間に各画素に蓄積された電荷の読み出しがライン毎に順次行われる。
【0043】
このように、通常光と特殊光の一方の照明光により照明された被写体の画素信号を読み出す期間中、被写体への照明光の照射を遮ることにより、他方の照明光により照明された被写体の情報が該画素信号に混ざることを防ぎつつ、通常光観察画像及び特殊光観察画像が15fps(frame per second)でモニタ300に表示される。
【0044】
なお、通常光と特殊光とは、分光特性や光量が異なっているため、通常光で照明された被写体の照度と特殊光で照明された被写体の照度には差が生じる。しかし、従来の電子内視鏡システムでは、通常光が照射されているときの固体撮像素子の露光時間と、特殊光が照射されているときの固体撮像素子の露光時間は同じである。また、通常光と特殊光とは1/30秒毎に高速で切り替わるため、絞りの絞り値を、高速に変化する被写体の照度に合わせて調整することができない。その結果、通常光が照射されているときと特殊光が照射されているときとで、固体撮像素子に蓄積される電荷の量に差が生じる。そのため、絞り値を何れか一方の被写体像が適正露出になるように調整すると、他方の被写体像が過剰露出又は露出不足となってしまう場合があった。露出不足になった場合、画像処理により増幅率により適正な明るさの画像にできるが、ノイズも増幅されるので好ましくない。
【0045】
そこで、本実施形態に係る電子内視鏡システム1では、従来の電子内視鏡システムにおいて、被写体像が過剰露出又は露出不足となってしまうのを抑えるのに好適に構成されている。
【0046】
図5は、本実施形態において、通常光観察画像と特殊光観察画像とを並べて一画面に表示させる際の、固体撮像素子108に含まれる画素の電荷の吐き捨てタイミング及び読み出しタイミングを説明するための図である。
【0047】
固体撮像素子108の受光面には、複数の画素が一列に並んで配置され、且つ、その画素のラインが複数個並んで配置される。画素信号は、1ライン毎にまとめて読み出される。図5に示す実施形態では、固体撮像素子108は複数個の画素が配置されるラインをX個有するとしている。図5は、ラインLine1〜LineXにおける各ラインの電荷の吐き捨てタイミング及び読み出しタイミングを示したものである。電荷の破棄捨てとは、撮像画像とは無関係なノイズ蓄積電荷をリセットすることをいう。
【0048】
本実施形態では、通常光L1と特殊光L2は、1/30秒毎に交互に被写体に照射される。通常光L1が被写体に連続して照射される照射期間と特殊光L2が被写体に連続して照射される照射期間は何れも、照明光Lの遷移期間を含めて1/30秒である。
【0049】
固体撮像素子108は、通常光L1の照射期間と特殊光L2の照射期間内の一定の時間に交互に露光され、蓄積した電荷を画素信号として出力する。これにより、通常光観察画像と特殊光観察画像を略同時に撮影することができる。
【0050】
本実施形態では、通常光L1の光量、すなわち光強度は、特殊光L2の光量、すなわち光強度よりも大きい。そのため、固体撮像素子108の露光時間を、通常光観察画像と特殊光観察画像の何れか一方の露出が最適となるように調整すると、他方の観察画像が露出過剰又は露出不足になってしまう。例えば、通常光観察画像の露出が最適となるように露光時間を調整すると、特殊光観察画像は、露出が不足した暗い画像となってしまう。そこで、通常光観察画像と特殊光観察画像の両方が適正露出となるように、固体撮像素子108が駆動制御される。ここで、光量、すなわち光強度は、各光の分光強度分布を波長に沿って積分した値をいう。
【0051】
図5に示すように、通常光L1照射期間中の固体撮像素子108の露光時間T1と、特殊光L2照射期間中の固体撮像素子108の露光時間T2は異なる。各露光時間は、通常光L1及び特殊光L2の光量に応じて設定される。詳しくは、通常光L1の光量をR1、特殊光L2の光量をR2とおくと、T1×R1=T2×R2となるように、露光時間T1、T2が設定される。これにより、通常光L1照射期間中の固体撮像素子108の露光量と、特殊光L2照射期間中の固体撮像素子108の露光量が略同じとなる。なお、光量R1は、被写体に照射される通常光L1の単位時間当たりの光束の時間積分量である。また、光量R2は、被写体に照射される特殊光L2の単位時間当たりの光束の時間積分量である。したがって、R1,R2は、通常光L1及び特殊光L2の光強度にも対応する。なお、光量R1,R2は、通常光L1,特殊光L2等の照明光Lの種類がわかれば、その光量もわかる。一実施形態によれば、照明光の種類とその光量との対応付けを予め行った対応付け情報をメモリ23に予め記憶しておき、プロセッサ200から出射する照明光Lの情報(通常光L1,特殊光L2の種類)は既知であるので、この情報と、メモリ23に記憶した対応付け情報とを用いて、光量R1,R2を取得することができる。
【0052】
また、固体撮像素子108から出力される画素信号のSN比は、通常、露光量が大きいほど向上する。そのため、一実施形態では、光量の小さい特殊光L2が照射されている期間の露光時間T2ができる限り大きくなるように設定されていることが好ましい。ここで、特殊光L2が照射されている期間は、1/30秒から遷移期間を差し引いた期間である。露光時間T2が設定されると、通常光L1照射期間中の露光時間T1は、T1=T2×(R2/R1)に設定される。
【0053】
本実施形態では、ローリングシャッタ方式により、1/30秒毎に各ラインの画素の読み出しが行われる。そのため、露光時間T1、T2は、読み出し時間(露光終了時間)ではなく、露光開始時間によって調整される。本実施形態では、図5に示すように、露光時間T1、T2が設定された値となるように、各画素の電荷の吐き捨て処理、すなわち、ノイズ蓄積電荷のリセットが行われる。吐き捨て処理が終了した時間が露光開始時間となり、露光開始時間から電荷の読出し処理が行われるまでの時間が露光時間となる。
【0054】
図5において、時刻t1〜t3の間、照明光Lが特殊光L2から通常光L1に遷移した後、通常光L1が被写体に照射される。その後、画素に蓄積した電荷が、ライン毎に順次吐き捨てられる。次いで、ライン毎に、画素の露光時間がT1になったタイミングで蓄積された電荷が読み出されて、ドライバ信号処理回路110に出力される。本実施形態において、全ての画素の電荷の読出しにかかる時間は、時刻t2〜t3の1/60秒である。電荷の吐き捨て処理を行うタイミングは、電荷の読出しタイミングから、露光時間がT1となるように逆算して設定される。
【0055】
時刻t3〜t5の間、照明光Lが通常光L1から特殊光L2に遷移した後、特殊光L2が被写体に照射される。その後、画素に蓄積した電荷が、ライン毎に順次吐き捨てられる。ここで、電荷の吐き捨て処理が開始されるタイミングは、通常光L1から特殊光L2への遷移期間が終わった直後にLine1の画素の露光が開始されるように設定されている。これにより、特殊光L2の露光時間T2を長くすることができる。次いで、ライン毎に、画素の露光時間がT2になったタイミングで蓄積された電荷が読み出されて、ドライバ信号処理回路110に出力される。
【0056】
このように、本実施形態では、通常光L1の照射時の固体撮像素子108の露光時間T1は、特殊光L2の照射時の露光時間T2よりも短く設定されている。これにより、通常光L1の光量、すなわち光強度が特殊光L2の光量、すなわち光強度よりも大きい場合に、固体撮像素子108に蓄積される電荷の量の差を小さくすることができる。そのため、通常光L1が照射されているときと特殊光L2が照射されているときの両方において、適正な露出の被写体像が得られる。
【0057】
また、本実施形態では、各画素の電荷の読み出し処理は1/30秒毎に行われ、電荷の吐き捨て処理は露光時間T1、T2に応じたタイミングで行われるが、本実施形態はこれに限定されない。固体撮像素子108の露光時間T1、T2は、照明光Lの遷移期間を含んでいなければよく、電荷の読み出し処理は一定の間隔で行われていなくてもよい。例えば、電荷の吐き捨て処理は、通常光L1から特殊光L2への遷移期間が終わるタイミング、及び、特殊光L2から通常光L1への遷移期間が終わるタイミングで行われてもよい。この場合、電荷の吐き捨て処理は1/30秒毎に行われ、電荷の読出し処理は、露光時間T1、T2に応じたタイミングで行われる。
【0058】
一実施形態によれば、固体撮像素子108は、固体撮像素子108の受光面上の受光位置における露光の開始と終了のタイミングをずらしながら、受光位置における電荷を読み出すように構成され、通常光L1(第1の照明光)の光量、すなわち光強度は、特殊光L2(第2照明光)の光量、すなわち光強度より大きい。この場合、特殊光L2における露光時間T2は、特殊光L2(第2の照明光)照射時間を、全受光位置における電荷の読み出し回数で割った基準時間以下であり、この基準時間から電荷の読み出し時間と受光位置における露光前のノイズ蓄積電荷をリセットするためのリセット時間とを引いた時間以上である、ことが好ましい。このように光強度の低い特殊光L2における露光時間T2を可能な限り確保することにより、光強度の弱い特殊光L2と光強度の強い通常光L1との間の、固体撮像素子108に蓄積される電荷の量の差を小さくすることができる。
また、一実施形態によれば、固体撮像素子108の露光の開始と終了のタイミングの、受光位置におけるずれの最小時間、例えば隣り合うライン間のずれ時間は、ノイズ蓄積電荷をリセットするためのリセット時間に等しい、ことが好ましい。これにより、限られた照射期間の間で、露光時間T2を長くすることができる。
また、図5に示すように、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)は、光強度が一定になる前に、照射開始から時間とともに光強度が徐々に増大する遷移期間を有する。この場合、特殊光L2の照射時間内で最初に行う電荷の読み出しの前に行うノイズ蓄積電荷のリセット(電荷の吐き捨て処理)の期間は、遷移期間内にある、ことが好ましい。これにより、限られた照射期間の間で、露光時間T2を長くすることができる。
【0059】
上述の実施形態では、通常光L1の露光時間T1及び特殊光L2の露光時間T2は、T1×R1=T2×R2を満たすように設定されるが、本発明の実施形態はこれに限定されない。一実施形態によれば、露光時間T1、T2は、光量R1、R2に加え、画像信号に対する増幅処理のゲインを用いて設定されてもよい。詳しくは、露光時間T1、T2は、T1×R1×G1=T2×R2×G2を満たすように設定される。ここで、G1は、通常光観察画像の画像信号に対する増幅処理のゲインである。また、G2は、特殊光観察画像の画像信号に対する増幅処理のゲインである。
【0060】
各画像信号は、ドライバ信号処理回路110及び前段信号処理回路220で増幅される。ドライバ信号処理回路110では、固体撮像素子108から出力されたアナログの画素信号に対して増幅処理が施される。また、前段信号処理回路220では、AD変換後のデジタルの画素信号に対して増幅処理が施される。システムコントローラ202は、ドライバ信号処理回路110における増幅処理のゲインと、前段信号処理回路220における増幅処理のゲインを取得し、ゲインG1及びG2を計算する。ゲインG1及びG2はそれぞれ、ドライバ信号処理回路110における増幅処理のゲインと、前段信号処理回路220における増幅処理のゲインの積である。一実施形態によれば、照明光Lが通常光L1と特殊光L2との間で切り替わる毎に、増幅処理のゲインがG1とG2の間で切り替えられる。なお、照明光Lの切り替えに応じて、ドライバ信号処理回路110における増幅処理のゲインと前段信号処理回路220における増幅処理のゲインの、何れか一方が切り替えられてもよく、両方が切り替えられてもよい。また、ドライバ信号処理回路110と前段信号処理回路220の何れか一方でのみ、画像信号に対する増幅処理が施されてもよい。
【0061】
例えば、通常光L1の光量R1に対して特殊光L2の光量R2が小さい場合、露光時間T1及びT2を、T1×R1=T2×R2を満たすように設定すると、露光時間T2が長くなる。露光時間が長くなるほど撮影画像にブレが発生し易くなるため、光量R1と光量R2の差が大きい場合、特殊光L2を用いて撮影された観察画像がブレによって見づらくなる可能性がある。しかし、露光時間T1、T2を、T1×R1×G1=T2×R2×G2を満たすように設定する場合、ゲインG2を大きくすることによって露光時間T2が短く設定される。これにより、ブレを抑えた観察画像を得ることができる。なお、この場合、露光時間T1と露光時間T2は、同じ長さに設定されてもよく、異なる長さに設定されてもよい。
【0062】
また、ゲインG1、G2を大きくし過ぎると、画像信号に含まれるノイズも増幅され、観察画像が見づらくなる可能性がある。更に、上述のように、露光時間T1、T2が長くなりすぎると、観察画像にブレが発生する可能性がある。そのため、本変形例1では、露光時間(T1、T2)とゲイン(G1、G2)の何れか一方、又は、両方に、上限値が設定されてもよい。
【0063】
上述の実施形態では、照明光Lは、通常光L1と特殊光L2の2つの間で交互に切り替えられるが、本発明の実施形態はこれに限定されない。一実施形態によれば、照明光Lは、3種類以上の光の間で順次切り替えてもよい。図6は、一実施形態における回転フィルタ部260の正面図である。回転フィルタ部260は、通常光用光学フィルタF1、特殊光用光学フィルタF2A、特殊光用光学フィルタF2Bが円周方向に並べて配置されている。各光学フィルタF1、F2A、F2Bは扇形状を有しており、回転軸Oの周りに略120°の角度範囲で配置されている。特殊光用光学フィルタF2Aと特殊光用光学フィルタF2Bは、分光透過特性が互いに異なっている。各光学フィルタF1、F2A、F2Bが照明光Lの光路に順次挿入されることにより、ランプ208より入射された照明光Lが各光学フィルタでフィルタリングされ、スペクトルの異なる三種類の照明光(通常光L1、特殊光L2A、特殊光L2B)が、撮像と同期したタイミングで順次取り出される。
【0064】
一実施形態によれば、通常光L1、特殊光L2A、特殊光L2Bが、1/30秒毎に順次被写体に照射される。通常光L1が被写体に連続して照射される照射期間、特殊光L2Aが被写体に連続して照射される照射期間、特殊光L2Bが被写体に連続して照射される照射期間は何れも、照明光Lの遷移期間を含めて1/30秒である。固体撮像素子108は、各照明光Lの照射期間に露光され、蓄積した電荷を画素信号として出力する。これにより、通常光観察画像、特殊光L2Aを用いた特殊光観察画像A、特殊光L2Bを用いた特殊光観察画像Bを同時に撮影することができる。
【0065】
上記実施形態では、通常光L1の光量は、特殊光L2Aの光量よりも大きい。また、特殊光L2Aの光量は、特殊光L2Bの光量よりも大きい。そのため、通常光観察画像、特殊光観察画像A、特殊光観察画像Bの3つの観察画像の露出が適正となるように、各照明光Lの照射期間における固体撮像素子108の露光時間が調整される。
【0066】
図7は、上記通常光L1、特殊光L2A、特殊光L2Bを用いた照射における、固体撮像素子108に含まれる画素の電荷の吐き捨てタイミング及び読み出しタイミングを説明するための図である。
【0067】
図7に示すように、通常光L1照射期間中の固体撮像素子108の露光時間T1、特殊光L2A照射期間中の固体撮像素子108の露光時間T2A、特殊光L2B照射期間中の固体撮像素子108の露光時間T2Bは異なる。各露光時間T1、T2A、T2Bは、通常光L1、特殊光L2A、特殊光L2Bの光量に応じて設定される。詳しくは、通常光L1の光量をR1、特殊光L2Aの光量をR2A、特殊光L2Bの光量をR2Bとおくと、T1×R1=T2A×R2A=T2B×R2Bとなるように、露光時間T1、T2A、T2Bが設定される。ここで、光量R1は、被写体に照射される通常光L1の単位時間当たりの光束の時間積分量である。また、光量R2Aは、被写体に照射される特殊光L2Aの単位時間当たりの光束の時間積分量である。また、光量R2Bは、被写体に照射される特殊光L2Bの単位時間当たりの光束の時間積分量である。これにより、通常光観察画像、特殊光観察画像A、特殊光観察画像Bの3つの観察画像の露出が適正となる。
【0068】
なお、図7に示す場合においても、各露光時間T1、T2A、T2Bは、光量R1、R2A、R2Bに加え、画像信号に対するゲインを用いて設定されてもよい。詳しくは、露光時間T1、T2A、T2Bは、T1×R1×G1=T2A×R2A×G2A=T2B×R2B×G2Bを満たすように設定されてもよい。ここで、G1は、通常光観察画像の画像信号に対する増幅処理のゲインである。また、G2Aは、特殊光観察画像Aの画像信号に対する増幅処理のゲインである。また、G2Bは、特殊光観察画像Bの画像信号に対する増幅処理のゲインである。このように、画像信号のゲインを用いて露光時間T1、T2A、T2Bを設定することにより、露光時間が長くなり過ぎて観察画像にブレが発生することを防止することができる。
【0069】
上述したいずれの実施形態においても、通常光L1,特殊光L2(あるいは特殊光L2A及び特殊光L2B)は、光量、すなわち光強度に差があり、この差に対応して露光時間を設定することを説明したが、被写体の適正露出を精度よく実現するには、固体撮像素子108の量子効率を考慮して露光時間を設定することが好ましい。
【0070】
図8(a)〜(e)は、一実施形態に係るプロセッサで用いる算出量K1,K2を説明する図である。算出量K1,K2は、固体撮像素子108の量子効率を考慮した、上述の光量R1,R2に換えて用いる量である。
通常光L1と特殊光L2は、図8(a),(b)に示すような光強度分布を有するとし、図8(c)に示すように、固体撮像素子108の量子効率QEの特性を有するとする。なお、量子効率QEは、光電面(受光面)へ入射したフォトンが電子に変換される効率をいい、例えば、固体撮像素子108の光電面(受光面)自体の光電変換の波長特性や、光電面(受光面)前面に設けた色フィルタ(例えば原色系フィルタ)の透過率特性に大きく依存する。したがって、図8(d)、(e)に示すように、図8(a),(b)に示す光強度分布と固体撮像素子108の量子効率の分布の積を各波長帯域の範囲で積分した結果の量を算出量K1,K2として定め、この算出量K1,K2を、光量R1、R2に換えて用いることが好ましい。すなわち、算出量K1,K2は、通常光L1、特殊光L2の波長帯域におけ光強度分布と通常光L1、特殊光L2の波長帯域における固体撮像素子108の量子効率の分布の積をそれぞれの波長帯域の範囲で積分することにより得られた量である。
なお、量子効率QEの特性の情報は、固体撮像素子108の情報として、電子スコープ100の固有情報に含まれメモリ112に記憶されている。プロセッサ200に電子スコープ100が接続された時、ドライバ信号処理回路110から読み出されて取得され、システムコントローラ110に出力される。
【0071】
一実施形態によれば、被写体に通常光L1(第1の照明光)が照射されている時の固体撮像素子108の露光時間T1と、被写体に特殊光L1(第2の照明光)が照射されている時の固体撮像素子108の露光時間T2を、通常光L1の波長帯域における通常光L1に関する上記算出量K1及び特殊光L2の波長帯域における特殊光L2に関する上記算出量K2に基づいて制御することが好ましい。
この場合、露光時間T1,T2は、T1×K1=T2×K2を満足するように制御する、ことが好ましい。さらに、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)の照射を受けた被写体の画像信号に施すゲイン(増幅率)をそれぞれG1,G2としたとき、露光時間T1,T2は、T1×K1×G1=T2×K2×2を満足するように制御する、ことも好ましい。一実施形態によれば、露光時間T1を露光時間T2から設定することが好ましい。
【0072】
上述の一実施形態では、特殊光L2等の照射期間において露光時間を長くすると観察画像がブレによって見づらくなる可能性があることから、露光時間の長くすることを抑制し、その代わりに増幅処理における増幅率、すなわちゲインを調整する。この場合、露光時間を予め定めた後、ゲインを設定するために、光量R1,R2の代わりに算出量K1,K2を用いることができる。一実施形態によれば、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)のいずれか一方の照射を受けた被写体の画像信号に施すゲイン(増幅率)を、他方の照射を受けた被写体の画像信号に施すゲイン(増幅率)と、上記算出量K1及び上記算出量K2と、通常光L1及び特殊光L2の照射期間における固体撮像素子108の露光時間と、に基づいて制御することが好ましい。
この場合、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)の照射を受けた被写体の画像信号に施すゲイン(増幅率)をそれぞれG3,G4と定義し、通常光L1(第1の照明光)及び特殊光L2が照射されている時の固体撮像素子108の露光時間をそれぞれT3、T4と定義した場合、G3×T3×K1=G4×T4×K2に基づいて、増幅率G3、G4を制御することが好ましい。一実施形態によれば、既知の増幅率G3から増幅率G4を設定することが好ましい。
【0073】
上述した一実施形態では、通常光L1の照射期間中の露光時間T1を、T1=T2×(R2/R1)に設定する。しかし、この場合、固体撮像素子108の量子効率を考慮していない分、露出が適正に行えない場合がある。この場合、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)の照射を受けた被写体の画像信号に施すゲイン(増幅率)を、量子効率を考慮して調整することができる。したがって、一実施形態によれば、通常光L1(第1の照明光)及び特殊光L1(第2の照明光)のいずれか一方の照射を受けた被写体の画像信号に施す増幅率を、上記算出量K1及び上記算出量K2と、設定して露光時間T1,T2とに基づいて制御することも好ましい。
一実施形態によれば、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)の照射を受けた被写体の画像信号に施す増幅率をそれぞれG3,G4と定義し、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)が照射されている時の固体撮像素子108の露光時間をそれぞれT3、T4と定義した場合、G3×T3×K1=G4×T4×K2に基づいて、増幅率G3,G4を制御することが好ましい。一実施形態によれば、既知の増幅率G3から増幅率G4を設定することが好ましい。
【0074】
算出量K1,K2を用いて、露光時間T1,T2や増幅率G1,G2、あるいは増幅率G3,G4を制御する上記実施形態に代えて、平均量子効率AQE1,AQE2を用いて、露光時間T1,T2や増幅率G1,G2、あるいは増幅率G3,G4を制御することもできる。例えば、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)の波長帯域が予めわかっているので、この波長帯域における量子効率QEの平均量子効率を算出して、算出量K1,K2に代えて用いることもできる。この場合、算出量K1,K2を予め算出する必要がなく、処理も簡素化できる。
平均量子効率AQE1,AQE2は、一実施形態によれば、AQE1=K1/R1,AQE2=K2/R2として予め求めておくことが好ましい。プロセッサ200が出射する照明光L(通常光,特殊光)の種類は予めわかっているので、その照明光Lの光強度分布は取得できる情報である。また、量子効率QEの特性(図8(c)に示す特性)も、プロセッサ200に接続された電子スコープ100の固有情報に含まれる個体撮像素子108の情報から取得できる情報である。したがって、これらの取得した情報から求めた算出量K1,K2とR1,R2を用いて算出した平均量子効率AQE1,AQE2を取得して、露光時間や後述するゲイン(増幅率)の調整の際に用いることができる。このような平均量子効率AQE1,AQE2はシステムコントローラ202等により演算をすることなく、取得することができる。例えば、照明光Lの種類と電子スコープ100の固有情報に含めた量子効率QEの情報の組み合わせと、平均量子効率とを対応付けた対応付け情報をメモリ212に予め記憶しておき、電子スコープ100がプロセッサ200に接続された時、対応付け情報を参照することにより、平均量子効率の値を設定することができる。
【0075】
一実施形態によれば、露光時間T1及び前記露光時間T2を、T1×K1=T2×K2に代えてT1×R1×AQE1=T2×R2×AQE2を満たすように制御することも好ましい。一実施形態によれば、露光時間T1を、既知の露光時間T2から設定することが好ましい。
また、一実施形態によれば、通常光L1(第1の照明光)及び特殊光L2(第2の照明光)の照射を受けた被写体の画像信号に施すゲイン(増幅率)をそれぞれG1,G2としたとき、露光時間T1,T2は、T1×R1×AQE1×G1=T2×R2×AQE2×G2を満たすように調整する、ことが好ましい。
このような平均量子効率の情報は、固体撮像素子108の情報として、予め設定された通常光L1や特殊光L2の波長帯域毎に定められており、この情報が電子スコープ100の固有情報に含まれてメモリ112に記憶されている。プロセッサ200に電子スコープ100が接続された時、ドライバ信号処理回路110から読み出されて取得され、システムコントローラ110に出力される。
【0076】
上記実施形態はいずれも、露光時間や増幅率(ゲイン)を、通常光L1,特殊光L等の光量の情報を用いて制御するが、一実施形態によれば、上記制御を行わす、露光時間や増幅率が、適正な露光条件を満足するように制御した値に固定されていることも好ましい。
例えば、被写体に通常光L1(第1の照明光)が照射されている時の固体撮像素子108の露光時間T1と被写体に特殊光L2(第2の照明光)が照射されている時の固体撮像素子108の露光時間T2は、T1×K1=T2×K2を満足するように、露光時間T1,T2が設定されていることが好ましい。
【0077】
上記実施形態において、光量R1,R2,R3は、照明光の単位時間当たりの光束の時間積分量である。一実施形態では、固体撮像素子108における光電変換から画像信号を生成するとき、固体撮像素子108からの出力信号に対数変換を行って画像信号を生成する場合もある。したがって、一実施形態では、光量R1,R2、R3に関して、照明光の単位時間当たりの光束の時間積分量であって対数変換された量を、光量R1,R2,R3として用いることが好ましい。また、上述の算出量K1.K2に関しても、一実施形態では、照明光の波長帯域における光強度分布と固体撮像素子108の量子効率の分布の積を波長帯域の範囲で積分することにより得られた量であって、対数変化された量を算出量K1,K2として用いることも好ましい。したがって、照明光の単位時間当たりの光束の時間積分量、及び照明光の波長帯域における光強度分布と固体撮像素子108の量子効率の分布の積を波長帯域の範囲で積分することにより得られた量には、対数変換された量も含まれる。
【0078】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。
【符号の説明】
【0079】
1 電子内視鏡システム
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
110 ドライバ信号処理回路
112 メモリ
200 プロセッサ
202 システムコントローラ
204 タイミングコントローラ
206 ランプ電源イグナイタ
208 ランプ
210 集光レンズ
212 メモリ
214 操作パネル
220 前段信号処理回路
230 後段信号処理回路
260 回転フィルタ部
261 回転式ターレット
F1 通常光用光学フィルタ
F2 特殊光用光学フィルタ
F2A 特殊光用光学フィルタ
F2B 特殊光用光学フィルタ
F0 フレーム
262 DCモータ
263 ドライバ
264 フォトインタラプタ
1260 回転フィルタ部
1261 回転式ターレット
F1p 通常光用光学フィルタ
F2p 特殊光用光学フィルタ
P0 遮光板
図1
図2
図3
図4
図5
図6
図7
図8