特表2018-526765(P2018-526765A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ レッドビアード・ベンチャーズ・リミテッド・ライアビリティ・カンパニーの特許一覧

特表2018-526765ローリングシャッター撮像素子用の同期光源
<>
  • 特表2018526765-ローリングシャッター撮像素子用の同期光源 図000004
  • 特表2018526765-ローリングシャッター撮像素子用の同期光源 図000005
  • 特表2018526765-ローリングシャッター撮像素子用の同期光源 図000006
  • 特表2018526765-ローリングシャッター撮像素子用の同期光源 図000007
  • 特表2018526765-ローリングシャッター撮像素子用の同期光源 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2018-526765(P2018-526765A)
(43)【公表日】2018年9月13日
(54)【発明の名称】ローリングシャッター撮像素子用の同期光源
(51)【国際特許分類】
   H05B 37/02 20060101AFI20180817BHJP
   G03B 15/00 20060101ALI20180817BHJP
   G03B 15/02 20060101ALI20180817BHJP
   G03B 15/05 20060101ALI20180817BHJP
   H04N 5/345 20110101ALI20180817BHJP
   H04N 5/235 20060101ALI20180817BHJP
   H04N 5/225 20060101ALI20180817BHJP
【FI】
   H05B37/02 L
   G03B15/00 L
   G03B15/02 F
   G03B15/05
   H04N5/345
   H04N5/235 400
   H04N5/225 500
【審査請求】未請求
【予備審査請求】未請求
【全頁数】18
(21)【出願番号】特願2017-562616(P2017-562616)
(86)(22)【出願日】2016年6月1日
(85)【翻訳文提出日】2018年1月23日
(86)【国際出願番号】US2016035271
(87)【国際公開番号】WO2016196636
(87)【国際公開日】20161208
(31)【優先権主張番号】14/729,436
(32)【優先日】2015年6月3日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】516348463
【氏名又は名称】レッドビアード・ベンチャーズ・リミテッド・ライアビリティ・カンパニー
【氏名又は名称原語表記】REDBEARD VENTURES, LLC
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】アプトン,ウェイン
【テーマコード(参考)】
2H053
3K273
5C024
5C122
【Fターム(参考)】
2H053AD03
2H053BA78
2H053DA02
3K273PA02
3K273PA09
3K273QA28
3K273SA21
3K273SA37
3K273SA46
3K273TA03
3K273TA14
3K273TA15
3K273TA37
3K273TA47
3K273TA52
3K273TA68
3K273UA22
3K273VA08
5C024AX04
5C024BX02
5C024CX51
5C024GY31
5C024GY39
5C024GY41
5C024JX44
5C122DA26
5C122EA12
5C122EA68
5C122FC02
5C122GG16
5C122GG17
5C122GG22
(57)【要約】
ローリングシャッター撮像素子用に適合された照明システム(30)である。システムは、フレーム単位ではなくライン単位で動作する「ローリングシャッター」型の露出アーキテクチャを有する撮像素子(103)の文脈における光源(114)の同期動作を、独自に提供する。好ましい実施形態は、LED(114)などのランプと、ランプに結合され、ランプをオンおよびオフに切替えるためにランプに通電することができる駆動回路(112)と、駆動回路に結合され、撮像システム(20)からタイミング信号(201)を受信するための手段を有するランプ制御回路(110)とを備える。ランプ制御回路は、駆動回路を介してタイミング信号と同期してランプに通電する。タイミング信号は、複数のラインに基づくPWMシステムのためのラインタイミング信号である。信号は撮像素子の読出しの休止を示し、または、信号は、必要なアクティブ撮像素子ラインを損なうことなくランプが安全にオンされる撮像素子の読出し時間の部分を示す。
【特許請求の範囲】
【請求項1】
水平ラインレートおよびフレームレートで動作するローリングシャッター撮像素子を用いた撮像システム用に適合された照明システムであって、
ランプと、
前記ランプに結合され、前記ランプをオンおよびオフに切替えるために前記ランプに通電することができる駆動回路と、
前記駆動回路に結合され、前記撮像システムからラインタイミング信号を受信するランプ制御回路とを備え、前記ランプ制御回路は、前記駆動回路を介して前記ラインタイミング信号と同期して前記ランプに通電し、前記ラインタイミング信号は、前記撮像素子の前記水平ラインレートに基づくものであり、
前記ランプ制御回路は、パルス幅変調(PWM)信号を出力し、前記PWM信号により前記駆動回路は、前記ラインタイミング信号と同期してパルス幅変調方式で前記ランプに通電し、
前記PWM信号の周期は前記撮像素子の水平ライン周期の整数倍であるがフレーム周期よりも短く、
PWMデューティ比は、光出力の量を制御するように可変である、照明システム。
【請求項2】
前記フレーム周期は前記PWM周期で割り切れる、請求項1に記載の照明システム。
【請求項3】
ライン露出時間は前記PWM周期に等しい、請求項1に記載の照明システム。
【請求項4】
ライン露出時間は前記PWM周期の整数倍であるが前記フレーム周期よりも短い、請求項1に記載の照明システム。
【請求項5】
前記ローリングシャッター撮像素子はCMOSイメージセンサである、請求項1に記載の照明システム。
【請求項6】
前記ランプは発光ダイオードである、請求項1に記載の照明システム。
【請求項7】
前記撮像システムと前記照明システムとは同一のユニットを構成するように一体化されている、請求項1に記載の照明システム。
【請求項8】
読出し中に一時的に休止可能なローリングシャッター撮像素子を用いた撮像システム用に適合された照明システムであって、
ランプと、
前記ランプに結合され、前記ランプをオンおよびオフに切替えるために前記ランプに通電することができる駆動回路と、
前記駆動回路に結合され、前記撮像システムからタイミング信号を受信するランプ制御回路とを備え、前記ランプ制御回路は、前記駆動回路を介して前記タイミング信号に合わせて前記ランプに通電し、
前記ランプ制御回路はランプ駆動信号を出力し、前記ランプ駆動信号により前記駆動回路は、前記撮像素子の読出しの休止中は前記ランプに通電し、前記撮像素子の読出し中は前記ランプの電源を断つ、照明システム。
【請求項9】
前記ランプ駆動信号は、光出力の量と、結果として生じる撮像素子露出とを変化させるために、持続時間が可変である、請求項8に記載の照明システム。
【請求項10】
前記撮像素子のシャッターは、すべてのアクティブ撮像素子ラインを、前記撮像素子の読出しの休止中に露出するように設定されている、請求項8に記載の照明システム。
【請求項11】
前記撮像素子のシャッターは、各撮像素子ラインを、他のすべての撮像素子ラインの読出しの持続時間の間露出するように設定されている、請求項8に記載の照明システム。
【請求項12】
前記ローリングシャッター撮像素子はCMOSイメージセンサである、請求項8に記載の照明システム。
【請求項13】
前記ランプは発光ダイオードである、請求項8に記載の照明システム。
【請求項14】
前記撮像システムと前記照明システムとは同一のユニットを構成するように一体化されている、請求項8に記載の照明システム。
【請求項15】
アクティブ画素データのラインの必要部分とラインの不要部分とを有するローリングシャッター撮像素子を用いた撮像システム用に適合された照明システムであって、
ランプと、
前記ランプに結合され、前記ランプをオンおよびオフに切替えるために前記ランプに通電することができる駆動回路と、
前記駆動回路に結合され、前記撮像システムからタイミング信号を受信するランプ制御回路とを備え、前記ランプ制御回路は、前記駆動回路を介して前記タイミング信号に合わせて前記ランプに通電し、
前記ランプ制御回路はランプ駆動信号を出力し、前記ランプ駆動信号により前記駆動回路は、前記撮像素子の前記不要部分の読出し中は前記ランプに通電し、前記撮像素子の前記必要部分の読出し中は前記ランプの電源を断つ、照明システム。
【請求項16】
前記ランプ駆動信号は、光出力の量と、結果として生じる撮像素子露出とを変化させるために、持続時間が可変である、請求項15に記載の照明システム。
【請求項17】
前記撮像素子の読出しの休止の一部または全体の間前記ランプが通電される、請求項15に記載の照明システム。
【請求項18】
前記撮像素子のシャッターは、前記必要部分におけるすべての撮像素子ラインを、前記不要部分における撮像素子ラインの読出し中に露出するように設定されている、請求項15に記載の照明システム。
【請求項19】
前記撮像素子のシャッターは、各撮像素子ラインを、他のすべての撮像素子ラインの読出しの持続時間の間露出するように設定されている、請求項15に記載の照明システム。
【請求項20】
前記ローリングシャッター撮像素子はCMOSイメージセンサである、請求項15に記載の照明システム。
【請求項21】
前記ランプは発光ダイオードである、請求項15に記載の照明システム。
【請求項22】
前記撮像システムと前記照明システムとは同一のユニットを構成するように一体化されている、請求項15に記載の照明システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
なし
発明の背景
1.技術分野
本発明は、概して医療用動画装置の分野に関する。より具体的には、本発明は、ローリングシャッター撮像素子用の同期光源、すなわち、CMOS型撮像素子を有する内視鏡カメラシステム用または同様のカメラシステム用のLED光源のための制御システムを含む。
【背景技術】
【0002】
2.関連技術の説明
内視鏡動画のための光源および関連制御システムには多くの種類がある。これらの多くは、メタルハライド型、クオーツハロゲン型、またはキセノン型など高出力のランプまたは白熱電球を用いる。これらのランプは、典型的には光強度が一定であるモードで使用され、装置から発せられる光の強度は、可動型かつ変動型の機械式開口を用いて制御される。一例は、受け側の光ファイバーライトガイドに向けてランプが発している光のうちの一部または全部を遮断する絞りである。
【0003】
この光の強度を制御することは、さまざまな機能上および安全上の理由により重要である。不適切な光のレベルは露出不足または露出過多の原因となり、画質およびカメラ性能を低下させるかまたは限定するような過補償を、カメラシステムが行なわなければならなくなる虞がある。高い光透過に関わる安全上の懸念は、皮膚火傷および細胞火傷、ならびに可燃物の引火の可能性を含み得る。
【0004】
高出力発光ダイオード(LED)技術を採用することは、医療用内視鏡検査を含む多くの分野および産業において一般的になりつつある。これにより、全体のパワーおよびコストが削減される一方、製品の信頼性および耐用年数は向上している。LED光出力強度は、LED装置を駆動する電流量を変化させることによって制御され得る。この方法にはいくつかの欠点があり、その欠点とは、効率の悪さ、光出力の下限による実際上の限界、および、LEDランプの色すなわち出力波長が強度に伴ってずれる傾向などである。固体装置として、スイッチ型パルス幅変調(PWM:Pulse Width Modulation)方式でLED光出力全体を制御することも一般的な手法である。人間の目、フィルムカメラ、およびいくつかの動画カメラにとって、このパルス状の光は、実質的に「平均(average)」に均される。この「平均」は、適切な周波数で用いられた場合、均一な光源と事実上区別できない。人間の残像効果のためには、この周波数は典型的には毎秒約30パルスである。
【0005】
光のスイッチング周波数がカメラのフレームキャプチャのレート以上、典型的には動画カメラで毎秒60露出以上であれば、PWM方式の光強度制御は、電荷結合素子(CCD:Charge-Coupled Device)などのフレーム転送撮像素子を有する動画カメラでうまく機能する。フレームレートの整数倍、たとえば2倍などをPWMスイッチング周波数に利用すると好都合である。画像の波打ち(beating)、ちらつき、または「乱れ(strobing)」につながる可能性のある周波数ミスマッチを回避するために、光源をカメラのフレームレートと同期することも有益である。
【0006】
しかしながら、近年CMOS(Complementary Metal Oxide Semiconductor)撮像素子を医療用内視鏡検査に採用することに伴って、PWM制御型LED光源は課題を呈している。具体的には、当該課題は、CMOS撮像素子が、最も一般的なタイプである「ローリングシャッター」型の露出アーキテクチャを有することに関する。というのは、これらはフレーム転送装置ではないからである。代わりに、ラスタ画像の各ラインは、ラインを読出しながら他のラインを露出するカスケード重複シーケンス(cascading overlapped sequence)で露出される。これにより、結果としての持続時間が同じであったとしても、ある1つのラインの露出が別のラインと同時に開始および停止することはなく、それらのラインの露出はタイミングが互いに重なり合うであろう。
【0007】
このように、個々のラインまたはラインの集まりが他のラインと著しく異なる光露出を施され、異なる露出の望ましくない領域が画像内に生じることになるため、従来のフレームレートベース(frame-rate based)のPWM制御は不向きである。露出の異なる領域の数は相対PWM周波数の2倍に等しく、相補的な明暗領域のサイズはPWMデューティ比に直接比例する。撮像素子フレームレートと同期しないPWMシステムであれば、この作用の「ロール(roll)」、つまり、出力動画におけるこれらの領域が現在の画像フレームと次の画像フレームとで異なる位置となることを、さらに引き起こすであろう。
【0008】
ローリングシャッター撮像素子は、内部シャッター機構を介して露出を制御可能である。これは、HSYNC信号によって表わされるような、撮像素子ラインが露出しているライン時間の数を規定する撮像素子内部の制御レジスタを設定することによって行なわれる。この露出制御の粒状性は、このように1ライン単位で増加し、フルフレーム持続時間の露出から1ライン持続時間のみの露出まで、さまざまであり得る。フルフレーム露出時間の場合、これは典型的には撮像素子におけるラインの総数マイナス1である。なぜなら、ラインは典型的には読出し中は露出できないからである。撮像素子が60フレーム毎秒で動作している場合、露出時間は1秒のおよそ1/60、すなわち16.67ミリ秒であろう。一方、撮像素子が1000撮像素子ライン有していたとすると、60フレーム毎秒のレートで撮像する際に撮像素子シャッターによって達成可能な最短露出持続時間は、1秒の1/60/1000、すなわち16.67マイクロ秒である。これは特に重大な制約である。なぜなら、光源の明るさの他の制御がない場合、1秒の1/100,000(10マイクロ秒)以下の露出は、医療の撮像場面でしばしば必要だからである。
【0009】
したがって、1つの撮像素子ラインの典型的な読出し時間よりも短い時間に相当する撮像素子露出を生じさせることが可能であり、かつ、動画画像への望ましくない露出の影響を生じさせない、CMOS撮像素子用のLED光源の可変パルス幅およびPWM制御のための方法が求められる。
【発明の概要】
【課題を解決するための手段】
【0010】
発明の概要
一局面において、本発明は、水平ラインレートを有するローリングシャッター撮像素子用に適合された照明システムにある。この照明システムは、ランプと、ランプに結合され、ランプをオンおよびオフに切替えるためにランプに通電することができる駆動回路と、駆動回路に結合され、撮像システムからラインタイミング信号を受信するための手段を有するランプ制御回路とを備える。ランプ制御回路は、駆動回路を介してラインタイミング信号と同期してランプに通電する。ラインタイミング信号は、撮像素子の水平ラインレートに基づくものである。
【0011】
別の局面において、本発明は、水平ラインレートで動作するローリングシャッター撮像素子を用いる撮像システムから照明システムにタイミング情報を伝達するための照射制御システムにある。この照射制御システムは、電子コネクタと、電子コネクタによって伝送されるデジタル電子信号とを備える。当該デジタル電子信号において、デジタルパルスは、撮像素子の水平ラインレートと同期するようにタイミングを合わされる。
【0012】
さらに別の局面において、本発明は、水平ラインレートおよび画素クロックレートで動作するローリングシャッター撮像素子を用いる撮像システムから照明システムにタイミング情報を伝達するための照射制御システムにある。この照射制御システムは、電子コネクタと、コネクタによって伝送されるデジタル電子信号とを備える。当該信号は、画素クロックレートから得られるクロックであり、照明システムは、撮像素子の水平ラインレートのタイミングについての予め得た情報を用いてクロック信号から水平ラインレートを得る。
【0013】
さらに別の局面において、本発明は、水平ラインレートおよびフレームレートで動作するローリングシャッター撮像素子を用いた撮像システム用に適合された照明システムにある。この照明システムは、ランプと、ランプに結合され、ランプをオンおよびオフに切替えるためにランプに通電することができる駆動回路と、駆動回路に結合され、撮像システムからラインタイミング信号を受信するための手段を有するランプ制御回路とを備える。ランプ制御回路は、駆動回路を介してラインタイミング信号と同期してランプに通電し、ラインタイミング信号は、撮像素子の水平ラインレートに基づくものである。ランプ制御回路は、パルス幅変調(PWM)信号を出力し、PWM信号により駆動回路は、ラインタイミング信号と同期してパルス幅変調方式でランプに通電する。PWM信号の周期は撮像素子の水平ライン周期の整数倍であるがフレーム周期よりも短い。PWMデューティ比は、光出力の量を制御するように可変である。
【0014】
さらに別の局面において、本発明は、読出し中に一時的に休止可能なローリングシャッター撮像素子を用いた撮像システム用に適合された照明システムにある。この照明システムは、ランプと、ランプに結合され、ランプをオンおよびオフに切替えるためにランプに通電することができる駆動回路と、駆動回路に結合され、撮像システムからタイミング信号を受信するための手段を有するランプ制御回路とを備える。ランプ制御回路は、駆動回路を介してタイミング信号に合わせてランプに通電する。ランプ制御回路はランプ駆動信号を出力し、ランプ駆動信号により駆動回路は、撮像素子の読出しの休止中はランプに通電し、撮像素子の読出し中はランプの電源を断つ。
【0015】
さらに別の局面において、本発明は、アクティブ画素データのラインの必要部分とラインの不要部分とを有するローリングシャッター撮像素子を用いた撮像システム用に適合された照明システムにある。この照明システムは、ランプと、ランプに結合され、ランプをオンおよびオフに切替えるためにランプに通電することができる駆動回路と、駆動回路に結合され、撮像システムからタイミング信号を受信するための手段を有するランプ制御回路とを備える。ランプ制御回路は、駆動回路を介してタイミング信号に合わせてランプに通電する。ランプ制御回路はランプ駆動信号を出力し、ランプ駆動信号により駆動回路は、撮像素子の不要部分の読出し中はランプに通電し、撮像素子の必要部分の読出し中はランプの電源を断つ。
【図面の簡単な説明】
【0016】
図1】本発明の現在好ましい実施形態のブロック図である。
図2図1の実施形態における信号のさまざまなタイミング関係を示すタイミング図であり、1つのライン読出しの時間がパルス幅変調のタイムベースとして用いられる。
図3】例示的な内視鏡動画カメラシステムの文脈において、タイミング情報を撮像システムから照明システム(共通の筐体内または共通の回路基板上に一体化されていてもよいし、一体化されていなくてもよい)に伝達するための照射制御システムのブロック図であり、当該内視鏡動画カメラシステムにおいて、撮像システムは、水平ラインレートで動作するローリングシャッター撮像素子を含み、照明システムは、ローリングシャッター撮像素子の水平ラインレートと同期するデジタルパルスを有するデジタル電子信号を受信する。
図4図3と同様の、タイミング情報を撮像システムから照明システムに伝達するための照射制御システムのブロック図であり、当該照射制御システムにおいて、撮像システムは、水平ラインレート、および、より詳細には画素クロックレートで動作するローリングシャッター撮像素子を含み、照明システムは、画素クロックレートで振動するクロック信号に対応するデジタル電子信号を受信し、照明システムは、クロック信号および他の公知のパラメータから撮像素子の水平ラインレートを得るための好適な処理機能を含む。
図5図1の実施形態における信号のさまざまなタイミング関係を示すタイミング図であり、複数(ここでは2つ)のラインの読出しの時間が、パルス幅変調に関するタイムベースとして用いられる。
【発明を実施するための形態】
【0017】
本発明およびそのざまざまな実施形態は、特許請求の範囲で定義された本発明の例として示された、以下の好ましい実施形態の詳細な説明を参照することによって、より良く理解することができる。特許請求の範囲によって定義された本発明は、以下で説明する実施形態よりも広いものであり得るということが明示的に理解される。
【0018】
好ましい実施形態の詳細な説明
図1は本発明の現在好ましい実施形態のブロック図を示す。示された実施形態および他の実施形態は、「ローリングシャッター」撮像素子が動作時に「水平ラインレート」を有すると言えるという基本的見解に基づく。当該レートは、ラスタデータの水平ライン全体が読出されるレートである。さらに、撮像素子は「画素クロックレート」を有する。当該レートは、ライン内の各画素がセンサ(撮像素子)から個別に読出されるまたは「クロックアウト(clocked out)」されるレートである。この画素クロックレートは、典型的にはラインレートよりも数百倍から数千倍高速である。ラインレートはセンサのシャッター機構、ひいては露出に直接関係する。というのは、或るラインを読出す時と、当該ラインをさらに露出し始める時またはクリア(clear)し終わる時との間でライン数を増加または減少させることによって、当該ラインの露出時間が変化するからである。
【0019】
図示のように、好ましい実施形態は、ローリングシャッター撮像素子103を有するカメラと、光源114とを備える内視鏡的または類似の動画システムに関する。光源114は、ローリングシャッター撮像素子103上に焦点を結んだ対象物を戦略的に照射するために、PWM信号111と関連駆動回路112とによりパルス状にオンおよびオフされる。好ましい実施形態において、ローリングシャッター撮像素子103はCMOS撮像素子で実現される。しかしながら、露出のためのローリングシャッター手法は、他の撮像素子技術に用いられてもよい。さらに、好ましい光源114は1つ以上のLEDで構成されるが、好ましいおよび/または代替的な実施形態は、現在存在するかまたは将来開発される如何なる好適な光源によっても実現され得る。したがって、LEDに言及した場合、それは如何なる好適な光源への言及でもあると理解すべきである。
【0020】
より詳細には、カメラタイミング論理部101は、タイミング信号102をローリングシャッター撮像素子103(たとえばCMOS撮像素子)に提供し、ローリングシャッター撮像素子103は、撮像素子動画信号104を生成する。画像プロセッサ105は、撮像素子動画信号104を処理して、動画出力信号106と強度信号109とを生成する。動画出力信号106は動画出力装置107を駆動する。強度信号109はランプ制御論理部110にフィードバックされ、所望の露出を達成するためにLED114に求められる光がより多いか少ないかを示す。カメラタイミング論理部101は、ラインタイミング信号108も提供する。このラインタイミング信号108はランプ制御論理部101によって用いられて、PWM信号111を駆動回路112と同期する。そうすると今度は駆動回路112が、PWM信号111と線形相関した駆動電流パルス113を光源114(たとえばLED)に出力する。
【0021】
図2は好ましい実施形態におけるいくつかの信号の典型的なタイミング関係を示す。カメラタイミング論理部101によって生成されたラインタイミング信号201(たとえばHSYNC)はランプ制御論理部110に印加されて、駆動電流パルス113のタイムベースおよび同期性を作り出す。アナログ信号(図示)またはデジタル信号であり得る強度信号202が印加される。この強度信号202はランプ制御論理部110によって解釈され、相対デューティ比またはパーセント強度が決定される。最後に、ランプ制御論理部110はPWM信号203を出力し、このPWM信号203は光源113を駆動するために用いられる。光源113を駆動するとは、たとえば、HSYNCのタイミングに基づくタイミングと強度信号202に基づくデューティ比とを有するLED駆動電流パルスを持つLEDエミッタ電流を生じさせることである。強度信号202によって示される強度が高くなるほど、PWM信号111のアクティブな状態すなわち電流駆動状態が長く持続する。
【0022】
さらなる文脈として、図1および図2の好ましい実施形態は、医療用撮像装置の文脈において実現され得る。たとえばローリングシャッターを有するCMOS撮像素子を備えた内視鏡動画カメラと、上記カメラによって撮像すべき場面を照射するためのLEDを用いた光源と、典型的にはトランジスタまたは同様の電流スイッチング装置を含むLED駆動回路と、PWM手法を用いて平均LED光出力強度を制御することで上記LED駆動回路を制御する手段を備えた制御回路と、カメラから制御回路へ出力される、CMOS撮像素子のライン読出しのレートと同期する信号とが含まれる。制御回路は、CMOS撮像素子露出システムのライン周波数に基づくレートでLEDをオンおよびオフに点滅させる。CMOS撮像素子露出システムでは、CMOS撮像素子のうちの1つのラインが読出され、次のラインへ移行する前に当該ラインの露出を再開する際に経過する単位時間につき、1つのパルス(または複数のパルス)が生じる。たとえば、1920水平画素×1080垂直ラインを有する標準HD撮像素子が60フレーム毎秒で露出され読出されたとすると、ライン周波数は1080(1フレームあたりのライン数)×60(1秒あたりのフレーム数)となるであろう。これは1秒あたり64,800ライン、すなわち15.432マイクロ秒あたり約1ラインに等しい。タイミング回路は、CMOS撮像素子のこのラインレートと同期するパルスを生成するであろう。このパルスは典型的にはデジタル水平同期(sync)パルスと呼ばれ得て、HSYNCとして周知である。このHSYNCパルスは、典型的にはカメラの出力動画のHSYNC信号またはタイミング要素と同じではないことに留意すべきである。というのは、ローリングシャッター撮像素子は典型的には、従来の動画転送標準規格とライン同期して動作せず、多くの場合従来の動画転送標準規格とライン同期して動作できないからである。従来の動画転送標準規格の一例としては、SMPTE−274Mで規定されるような1080p動画フォーマットがある。制御回路は、典型的には電気ケーブルおよび電気コネクタを用いてこの撮像素子HSYNCデジタルパルスを撮像システムから受信して、PWMタイムベースに合わせた位置および周波数を利用するであろう。駆動回路を用いて、制御回路は、ユーザによる直接入力により決定された通り、またはカメラ処理により計算された通り、LEDに求められる所望のパーセント強度に相当する各駆動パルスのデューティ比に合わせた位置および周波数でLED電流をパルス状にする。1つの実現され得るタイミングを図2に示す。
【0023】
このようなラインベース(line-based)PWMシステムは従来のフレームベース(frame-based)PWMのシステムよりも遥かに高速で動作するため、適切なオンおよびオフ応答時間のLEDが必要であるとともに、このレートでパルス幅の持続時間をできる限り短くして大きなLED電流を駆動することのできる駆動回路が必要である。このラインベース方式のパルス幅と従来のフレームベース方式のパルス幅との比は、撮像素子におけるライン数で近似される。たとえば、1フレームにつき1パルスとすると、60フレーム毎秒で動作するフレームベースシステムならば、1%PWMパルス持続時間は0.01×1/60=160マイクロ秒となるであろう。一方、上述のラインベースシステムならば、対応する1%PWMパルス持続時間は0.01×1/64,800=150ナノ秒となるであろう。つまり、1:1080の比である。フレームレートおよびセンサの解像度の増加に伴って、所望の結果を得るためには特別なLEDおよび駆動回路が必要になり得る。さらに、このラインベースシステムの駆動回路は、フレームベースシステムとは対照的に、典型的にはより多くのパワーを消費し、より多くの熱を放散するであろう。というのは、ラインベースシステムの駆動回路は、1フレームにつき遥かに多くのオフからオンへの遷移、およびオンからオフへの遷移を行なう必要があり、この遷移の各々において、状態をアナログ方式で切替える際に装置内の熱を放散させるからである。上述の例に関して、このラインベースシステムでは1フレームにつき2×1080=2160の遷移であるのに対して、フレームベースシステムでは1フレームにつき2または4の遷移であるだろう。このため、コストならびに機械的および電気的条件である放散パワーを最小限にするために、LEDを1ラインにつき複数回のパルスとするのではなく、1ラインにつき1回のみのパルスとすれば有利であろう。
【0024】
図3は、撮像システム20と照明システム30とが別々のユニットである典型的な医療用内視鏡検査の状況を示すが、これら2つのシステムは同一の筐体内で一体化されてもよいことに留意すべきである。これら2つのシステムの間には、当該2つのシステム間で水平ラインレート信号を伝送する照射制御システムがある。これは典型的には、両方のシステム上に存在する電気コネクタと、間にある電気ケーブルとによって物理的に実現されるであろう。このシステムにおいて、システム間で伝達される信号は、撮像システムにおける撮像素子の水平ラインレートのデジタルパルス表現である。この信号に基づいて、照明システム30は、撮像システム20の水平ラインレートと同期して関連光源(たとえばLEDまたは他のランプ)に通電する。
【0025】
図4図3のシステムと非常に類似したシステムを示すが、異なる点は、撮像システムから照明システムに伝達される信号が、撮像素子の画素クロックレートに基づくクロック信号であるという点である。図示のように、照明システム30は、クロック信号から水平ラインレートを得るための好適な手段を含む。このような場合、照明システムは、撮像素子および撮像システムのタイミングについての何らかの予め得た情報が必要であろう。この情報は、照明システム内にプログラムされるか、または、シリアル通信ポートなどの別の電気的インターフェイスを用いて撮像システムから照明システムに伝達され得る。
【0026】
本発明の別の実施形態は、上述のシステムの一般的な形態であろう。ここでは、カメラから制御回路への信号はカメラ自体の動画出力であり、制御回路は動画信号のラインの間隔からPWMタイムベースを抽出する。これは、SMPTE 274Mなどの動画標準規格に則るものであり得る。本実施形態は、カメラと制御回路との間のより一般的なインターフェイスを可能にし、これら2つの装置は適切な同期を達成するための標準インターフェイスを用い得る。これは、撮像素子タイミング論理部への直接のインターフェイス無しで行なわれ得るため、特殊ではなく専用でもないインターフェイスでよいという潜在的利点がある。本実施形態は、システムの光源要素とカメラ要素とが同一のユニットまたは筐体内に含まれていない場合に有利である。最良の結果のために、この方法は、撮像素子ラインレートと出力動画ラインレートとの間で同じ時間関係を必要とする。これらは、動画カメラのすべての実施において全く同じ持続時間または同時とは限らないので、普遍的な解決策ではない。しかしながら、このような場合、このインターフェースは、画像レベル情報も伝えるという追加の利点を有する。というのは、それは動画そのものだからである。したがって、照明システムは必要に応じて光の明るさを自動的に調節するために必要な情報を有するであろう。
【0027】
本発明の別の実施形態は、CMOS撮像素子のラインが読出されず画像のすべてのラインが露出されている持続時間が存在する場合であろう。これは、たとえば撮像システムが使用されている国の動画標準規格に応じて50フレーム毎秒および60フレーム毎秒の両方で動作するシステムなどの、マルチフレームレート撮像システムにおける一般的な手法である。たとえば、すべてのラインが露出されている持続時間はフレーム持続時間全体の16%であり得るが、設計に応じてより長くてもよいし短くてもよい。これらの「アイドル(idle)」露出時間中、あたかもラインがそのレートで読出されているかのように、そうでなければ水平ライン周波数に対応したであろう周波数と同じ周波数で、LEDはパルス状にされ続けてもよい。LEDはまた、このアイドル時間全体でオフまたはオンされてもよい。LEDはまた、この時間の一部において、パルス状または一定の態様で、このアイドル時間のうち固定または可変の割合でオンされてもよい。この割合は、フレームの非アイドル期間中に用いられるデューティ比または周波数に対応してもよいし、対応しなくてもよい。
【0028】
たとえば、典型的な1080p(1920画素×1080ライン、プログレッシブ・スキャン)解像度カメラの用途のためのCMOSセンサは、パナソニック MN34041であり、これは、2010×1108の画素アレイ全体のうちの、1944×1092のアクティブ画素アレイを有する。アレイ全体のうちのアクティブではない画素は、光学的に黒の画素(光に露出されないように覆われ、相対的な黒レベルまたはノイズフロアを形成するアクティブ画素)、または有用なデータを有しない「ダミー(dummy)」画素もしくは無効画素であり得る。1080p動画タイミングを規定するSMPTE 274標準規格は、1フレーム当たり全部で1125ライン(1080のアクティブピクチャーラインと45のブランキングラインとを含む)を必要とする。MN34041は、1フレーム当たりに読出すべきラインを全部で1108ラインしか有しないため、センサラインが出力動画タイミングと比較的同期して読出される場合、17ラインの不足がある。この17出力動画ラインの追加時間中、ランプを点滅させるために、センサは読出しを休止してもよい。
【0029】
いくつかの撮像素子については、読出し処理が行なわれていることによって露出が妨げられるラインが1つもないように撮像素子を露出するために、カメラ読出しを休止してもよい。他の撮像素子については、読出しモードでないラインがないようにしてもよい(当該モードでは露出の可能性がない)。そのような撮像素子については、休止およびランプ点滅は、出力画像にとって不要な予め定められたラインと一致するようにタイミングが決められてもよい。この予め定められたラインは、画像の最上ラインまたは最下ラインなどの、トランケーションのために選択されたアクティブラインであってもよく、出力画像で使用されない余分なアクティブラインであってもよく、光学的に黒のラインまたはダミー画素のラインであってもよい。いくつかのローリングシャッター撮像素子の読出しの休止は短時間のみでもよい。その場合、当該方法は、比較的短い露出が望まれる場合にのみ使用され得る。たとえば、撮像素子は、17出力動画ラインの単一の持続時間の間、当該撮像素子の読出しの休止を許可しなくてもよい。この場合、複数のライン読出し中、好ましくは光学的に黒のラインまたはダミーラインの読出し中に複数の休止があってもよい。それは、任意の1ラインについての休止の量を減らすためである。所望の露出を達成するために、これらの休止のうちのいずれかまたはすべてのうちの任意の部分のときに、ランプがオンされてもよい。
【0030】
本実施形態では、撮像素子シャッターは、カメラ制御論理部により、フルフレーム持続時間の間ラインを露出するように設定されている。撮像素子制御論理部がすべてのラインをフレームから読出した後、撮像素子制御論理部は、ランプをオンおよびオフに点滅するために読出しを短時間休止し、新たな露出を作り出す。次いで撮像素子制御論理部は、その露出に基づくフレームにおけるすべてのラインの読出しを進めて、再びサイクルを開始する。典型的なローリングシャッター撮像素子では、撮像素子から読出し中のラインは、同時には露出することができない。したがって、アクティブラインの読出し中にランプの1回の点滅が起こったとすると、次の出力フレームでは当該ラインは露出されず、当該ラインは暗いであろう。多くのカメラの用途において、画像安定化などの特徴のために余分なアクティブラインが用いられるため、ランプパルスの最も有利な位置は、光学的に黒の画素ラインの読出し時間中およびダミー画素ラインの読出し時間中のみである。
【0031】
本実施形態の利点は、従来のフレームベースPWMシステムと同じ速度のランプ駆動回路を使用しながら、撮像素子の露出の持続時間を典型的なライン周期(ライン周波数の逆数)よりも短くすることを達成できる点である。また、本実施形態は、1ラインよりも長い(たとえば17ライン)露出の持続時間を可能にする。その結果、本実施形態は、撮像素子およびランプの動作のモードとして使用される時間の割合がより多くなり、撮像素子制御論理部が継続的に撮像素子シャッター動作を変化させることなく滑らかな自動露出動作が得られる。本実施形態の別の利点は、ローリングシャッター撮像素子によく見られる動きの歪みがなくなる点である。なぜなら、CCDなどのフルフレームシャッター撮像素子の場合に当てはまるように、すべてのラインが同時に光に露出されるからである。本実施形態のトレードオフは、露出が実行可能である時間の長さに制限があるため、同じシステムにおいてより長い露出を達成するためには、それに伴って別の方法を用いることが必要になるであろう点である。これは、本発明の別の実施形態であり得る。すなわち、固定されたランプ出力とともに、(本実施形態を用いる場合にはランプのパルス時間に対して)より長い撮像素子シャッター露出時間を用いることである。
【0032】
前述の実施形態と密接に関係した別の実施形態は、多くの撮像素子は、結果として生じる画像において表示の必要があり得るものよりも多くの出力ラインを有するという事実をさらに利用する。これらの撮像素子について、撮像素子は2つの部分を有すると言える。すなわち、出力画像において実際に使用されるラインを含む「必要(desired)」部分と、光学的に黒の画素、ダミー画素、および任意の不使用アクティブ画素からなる、如何なる残りのラインも含む余剰または「不要(undesired)」部分である。本実施形態では、不要部分におけるラインの読出し中の時間を用いて、必要ラインを同等に露出するようにランプを点滅させてもよい。さらに、ランプ点滅時間が複数の不使用ライン時間にわたるように、撮像素子の不要部分の全体を用いてランプを点滅させてもよい。さらにこれは前述の実施形態の拡張であってもよい。つまり、不要部分の読出し中、および任意の読出し休止中の両方にランプを通電するように、読出し中に撮像素子を休止してもよい。前述の実施形態と同様に、撮像素子が画素アレイの不要部分を出力している時間中にランプが点滅するように設定されている場合、撮像素子シャッターは、フレーム周期全体について、すなわち、すべてのライン時間について、ラインを露出するように設定されるべきである。
【0033】
本実施形態は、撮像素子が多くの時間は休止することができない場合、撮像素子を休止することが望ましくない場合、および/または、撮像素子の出力が出力動画にフレーム同期し得るが必ずしもライン同期はしない場合に特に有用である。前述の実施形態と同様に、フレームベースPWMシステムと同じ速度のランプ駆動回路を使用しながら、露出の持続時間を典型的なライン周期よりも短くすることを達成でき、ローリングシャッターによる動きの歪みがなくなる。また、本実施形態は、撮像素子およびランプの動作のモードとして使用する時間の割合がより多い場合に、前述の実施形態よりもさらに長い露出の持続時間が可能になり、撮像素子制御論理部が継続的に撮像素子シャッター動作を変化させることなく滑らかな自動露出動作が得られる。本実施形態には、前述の実施形態と同じトレードオフがある。ここでは、不要部分読出しの時間よりも長い露出時間を達成するために、本実施形態は第2の露出モードの使用を必要とするという点においてである。
【0034】
本発明の別の実施形態は、ランプがライン単位でオンおよびオフに変調される場合であろう。言い換えると、ランプは1つまたは複数のラインに対してオンされ、交互に次の1つまたは複数のラインに対してオフされるであろう。このタイプのシステムの利点は、本質的にパルスが長いか、またはランプ自体が上述の実施形態のような高速レートでオンおよびオフできないような、より低速の、ひいてはより低価格な駆動回路が採用され得ることである。このことは、さらに、より低周波数の放射性および伝導性エミッションが高出力スイッチングによって生成されるという利点を有する。しかしながら、このタイプのライン変調の不利な点は、画像のすべてのラインまたは領域に亘って完全に均一な露出を達成するために、オンのライン数およびオフのライン数という要因によってしか撮像素子の全体の光露出時間が増加または減少され得ないということである。たとえば、75%の出力がランプに求められる場合、3つのラインに対してオン、かつ1つのラインに対してオフであるようにランプが点滅し得る。その結果、ランプオンタイムのランプオフタイムに対する比3:1をすべてのラインが受けることを確実にするために、露出時間の増加単位(increment)が4ラインとなるようにローリングシャッターを設定しなければならなくなる。したがって、必要となる出力比を作り出すためのラインが少ないほど、所与の数の水平撮像素子ラインに対して利用可能なシャッターの増加単位が大きくなる。露出増加単位が大きいほど、取り得る露出値の数が小さくなり、ひいては露出の制御が粗くなる。このことは、自動露出システムにおいて滑らかなシャッター動作が望まれる場合不利となる可能性がある。ランプから50%の光出力を達成するための最小露出増加単位は2ライン、つまり交互の1つのオンのラインおよび1つのオフのラインである。ほとんどのセンサは偶数の水平画像ラインを有するが、それらが均等な撮像素子ラインの合計数に分割されるならば、奇数のシャッター露出増加単位が用いられてもよい。HDにおいて1080ラインシステムが一般的であるが、1080という数は因数として3と5とを有するため、これらの露出増加単位は実現可能であろう。
【0035】
以下の表はこの方法ための最も現実的な比を、5ライン露出増加単位まで示す。
【0036】
【表1】
【0037】
上の表において、2:2のライン比に注目すべきである。というのは、2:2のライン比は1:1のライン比と同じランプ出力結果をもたらすが、半分の周波数でランプを点滅させるからである。したがって、より高い露出増加単位という代償を払って、より低速なオンタイムおよびオフタイムで、さらに低速の駆動回路またはランプが利用可能である。
【0038】
ランプのラインベースPWM制御を含む上記実施形態の各々は、先行技術に対して顕著な利点を提供する。しかしながら、上記実施形態はいずれも、非常に高速なLEDドライバを必要とするという不利な点、またはシャッターの粗調整が複雑であり、融通性が制限され、自動明るさ制御に関して視覚的に「滑らか」ではないという不利な点も有する。したがって、低速LEDドライバと、視覚的な「滑らかさ」のための可変PWMデューティ比と、の両方を使用可能なPWMシステムを採用することが望ましい。
【0039】
これが達成される実施形態では、PWM周期(周波数の逆数)が水平ライン周期(水平ラインレートの逆数)の倍数、たとえば水平ライン周期2つ分、3つ分、またはそれ以上というタイミングを用いる。PWMデューティ比は、通常は、この複数ラインPWM周期の全体にわたって適用される。最適な視覚特性のためには、フレーム周期(フレームレートの逆数)はPWM周期で割り切れるべきである。本実施形態では、撮像素子rライン露出時間は可変であるが、最適な視覚特性のためには、撮像素子におけるラインの露出時間は、PWM周期と同じであるか、またはPWM周期の整数倍であるかのいずれかであるべきである。
【0040】
たとえば、1080ラインを有するシステムならば、水平ライン周期2つ分のPWM周期で滑らかな0%〜100%デューティ比が用いられ、機能上有効なライン露出持続時間はすべて2ラインの倍数、すなわち、2、4、6、…1076、1078、1080であり得る。図5はその例を示しており、ここでは、PWM周期のベースは水平ライン周期2つ分である。この例では、HYSNC(201)パルス2つにつきPWM(203)パルスが1回発生することによって示される。ローリングシャッター撮像素子において典型的に起こるように、3つの任意の連続する露出シャッター期間露出ラインX、X+1、およびX+2(持続時間は水平ライン周期2つ分)が互い違いにずれ、かつ重なり合うように図示されている。ラインXおよびラインX+2は、ともに単一のPWMパルスの光に露出され、各々はデューティ比が等しい。しかしながら、ラインX+1は、第1のPWMパルスの一部、および図示された第2のPWMパルスの一部から光を受ける。シャッター露出時間とPWM周期とが同じであるので、ラインX+2は、ラインXおよびラインX+1と同量の光に露出されるであろう。
【0041】
本実施形態の利点は、PWM周波数が、水平ラインレート(1080ライン60フレーム毎秒のシステムにおいて、〜65kHz)から半分のラインレート(〜32kHz)、4分の1のラインレート(〜16kHz)、またはそれよりも大幅に低いラインレートに低減可能な点である。これらのPWM周波数低減の結果、デューティ比を同じに保ったままPWMパルス幅が長くなり、より低速のLEDドライバおよび最小スイッチング時間がより長いLEDを使用することが可能になる。それらは、システムにおける実際の制約要因となるものである。
【0042】
単一ラインベースPWMに対して本実施形態を数学的に比較すると、利点が明らかになる。典型的な1080ライン60フレーム毎秒の撮像システムは、およそ15マイクロ秒の水平ライン周期を有する。撮像されたフレームの典型的な目標露出は、1秒の1/10,000、すなわち100マイクロ秒であってもよく、これは、ランプがオンである時間またはそれよりも長い時間シャッターが開放(露出)すると想定すると、ランプがオンであることが望まれる時間であると言い換えられる。前述の実施形態の1ラインPWMベースシステムの場合、この100マイクロ秒の期間はフレーム内の1080のライン周期すべてに均等に分散されるであろう。したがって、LEDの各パルスは92.6ナノ秒であろう。というのは、撮像素子の光への露出は累積的であるからである。本実施形態を用いると、2ライン周期タイミングではインターバルが半分になるであろう(1080ではなく960)。したがって、パルスは2倍の長さ(100マイクロ秒/960=185ナノ秒)であろう。さらに、3ライン周期タイミングではパルス持続時間が277ナノ秒となるであろう。108ライン周期PWMタイミングの例では、パルス持続時間が単一ラインPWMタイミングよりも108倍長い10マイクロ秒となり、その利点が明らかになる。フレームベースPWMシステムよりも1桁分高速であるだけなので、108ラインPWMタイミングのLEDドライバは、単一ラインPWMシステムで必要となるもの(3桁分高速)よりも実装が遥かに現実的である。
【0043】
本実施形態によって、より低価格かつ単純なLED駆動回路、より低速なLEDランプ、ならびに伝導性および放射性電磁放射線の潜在的な低減が可能になる。PWM周波数を低減することによって撮像素子におけるラインシャッター制御の粒状性が低減されるが、シャッターの露出制御の局面は本質的にはランプの可変PWMデューティ比に置換えられ、制御の簡素化が達成されるとともに視覚的に「滑らかな」露出変化が得られる。本実施形態によって、ローリングシャッターの動きの歪みを目立たなくすることも可能である。というのは、比較的多数のラインについて撮像素子シャッターが露出し、ライン露出時間につきPWM周期が複数ある場合、取得された画像の動きは事実上ぼやけて、その結果、ランプのデューティ比が比較的低く全体の露出が短い場合であっても、歪みが観察者にはあまり目立たないからである。
【0044】
本発明の精神および範囲から逸脱せずに、他の多くの実施形態が可能である。したがって、示された実施形態は例示の目的で説明したに過ぎず、以下の特許請求の範囲によって定義された本発明を限定するものとして考えるべきではないと理解すべきである。たとえば、請求項の要素が或る組合せで以下に説明されているという事実があるとしても、本発明は、より少ない要素、より多い要素、または異なる要素の他の組合せを含み、それらの要素は、当初そのような組合せで請求されていない場合であっても、上で開示されているということを明示的に理解すべきである。
【0045】
本発明およびそのさまざまな実施形態を説明するために本明細書中で用いられた用語は、一般的に定義された意味においてだけでなく、一般的に定義された意味の範囲を超えた、本明細書における特別な定義による構造、材料、または動作をも含むように理解すべきである。したがって、要素が本明細書の文脈において2つ以上の意味を含むものとして理解され得る場合、請求項におけるその使用は、本明細書およびその用語自体によってサポートされるすべての可能な意味に対して包括的なものとして理解すべきである。
【0046】
したがって、以下の特許請求の範囲の用語または要素の定義は、文字通り説明される要素の組合せだけでなく、実質的に同じ結果を得るために実質的に同じ方法で実質的に同じ機能を実行するためのすべての等価の構造、材料、または動作を含むように本明細書で定義される。したがって、この意味において、以下の特許請求の範囲における要素のうちの如何なる要素も2つ以上の要素で等価に置換えられ得ること、または請求項における2つ以上の要素が単一の要素で置換えられ得ることが企図される。要素は或る組合せで動作するものとして上で記載され、当初はそのように請求されているものの、請求された組合せの1つ以上の要素は、場合によっては当該組合せから削除してもよいこと、および、請求された組合せはサブコンビネーションまたはサブコンビネーションの変形例に向けられてもよいことを明示的に理解すべきである。
【0047】
当業者によって考えられるような、現在公知であるかまたは将来考案される、請求された主題からの非本質的な変更は、等価に特許請求の範囲内にあることが明示的に企図される。したがって、当業者にとって現在または将来公知の明らかな代替物は、定義された要素の範囲内として定義される。
【0048】
このように、特許請求の範囲は、上で具体的に例示および説明したもの、概念上等価のもの、明らかに代替可能なもの、および本発明の本質的な思想を本質的に組込むものも含むと理解すべきである。
図1
図2
図3
図4
図5
【国際調査報告】