特表 2023-506884 ライブ較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-20

(54)【発明の名称】ライブ較正

(51)【国際特許分類】

   H04N 23/743 20230101AFI20230213BHJP

   H04N 25/00 20230101ALI20230213BHJP

   H04N 23/40 20230101ALI20230213BHJP

   H04N 23/60 20230101ALI20230213BHJP

   H04N 23/56 20230101ALI20230213BHJP

   H04N 23/74 20230101ALI20230213BHJP

   H04N 23/73 20230101ALI20230213BHJP

   H04N 23/75 20230101ALI20230213BHJP

   A61B 1/00 20060101ALI20230213BHJP

   A61B 1/045 20060101ALI20230213BHJP

   A61B 1/06 20060101ALI20230213BHJP

【ＦＩ】

H04N5/235 600

H04N5/335

H04N5/225 500

H04N5/232 290

H04N5/225 600

H04N5/235 400

H04N5/235 300

H04N5/238

A61B1/00 630

A61B1/045 610

A61B1/045 632

A61B1/06 612

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022536946

(86)(22)【出願日】2020-12-09

(85)【翻訳文提出日】2022-08-08

(86)【国際出願番号】 IB2020061675

(87)【国際公開番号】W WO2021124022

(87)【国際公開日】2021-06-24

(31)【優先権主張番号】102019134473.5

(32)【優先日】2019-12-16

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(74)【代理人】

【識別番号】110000165

【氏名又は名称】グローバル・アイピー東京特許業務法人

(72)【発明者】

【氏名】バウアー，フロリアン

(72)【発明者】

【氏名】ヴァルツ，ミヒャエル

【テーマコード（参考）】

4C161

5C024

5C122

【Ｆターム（参考）】

4C161CC06

4C161JJ11

4C161LL02

4C161NN01

4C161QQ09

4C161RR02

4C161TT00

5C024AX02

5C024CX32

5C024CX51

5C122DA03

5C122DA26

5C122EA22

5C122EA55

5C122FA09

5C122FF03

5C122FF11

5C122FH09

5C122GG24

5C122HA88

5C122HA89

5C122HB02

5C122HB05

5C122HB10

(57)【要約】

オフセット減算部と、複数の明フレームの各々について撮像素子のそれぞれの露光時間中に得られたそれぞれの画像信号を受信し、これをオフセット減算部に送信し、また、暗フレームについて、撮像素子のそれぞれの露光時間中に得られたそれぞれの画像信号を受信し、これをオフセット減算部に送信する撮像素子と、撮像素子がいくつかの明フレームと１つの暗フレームを交互にオフセット減算部に送信する制御部であって、明フレームの各々のそれぞれの画像信号を生成する光量が、暗フレームのそれぞれの画像信号を生成する光量より大きい制御部と、を含む装置であって、オフセット減算部は、暗フレームの画像信号に基づくオフセットを取得し、明フレームの１つの画像信号に基づく信号からオフセットを減算することにより、較正された信号を取得し、暗フレームといくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成する。

【特許請求の範囲】

【請求項1】

オフセット減算部と、
複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートで前記オフセット減算部に送信するように構成され、また、少なくとも１つの暗フレームについて、前記撮像素子のそれぞれの露光時間中に前記撮像装置の前記視野の前記少なくとも一部の前記光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートで前記オフセット減算部に送信するように構成された撮像素子と、
前記撮像素子がいくつかの明フレームと少なくとも１つの暗フレームを交互に前記オフセット減算部に送信することを確実にするように構成された制御部であって、前記撮像装置の前記視野の前記少なくとも一部のシーンが、前記少なくとも１つの暗フレームに関する前記露光時間において、および前記明フレームの各々に関する前記それぞれの露光時間において、等しいと仮定される場合に、前記それぞれの露光時間における前記撮像素子によって検出され、また前記明フレームの各々の前記それぞれの画像信号を生成するそれぞれの光量が、前記それぞれの露光時間における前記撮像素子によって検出され、また前記少なくとも１つの暗フレームの前記それぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
前記オフセット減算部は、少なくとも１つの暗フレームの前記画像信号に基づくオフセットを取得し、前記明フレームのうちの１つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成され、
前記少なくとも１つの暗フレームおよび前記いくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成する、
装置。

【請求項2】

前記シーンを照明するように構成された照明部を含み、
前記制御部が、前記照明部を制御して、その結果、前記照明部は、前記明フレームの前記それぞれの露光時間中に、第１の強度で前記シーンを照明し、また、前記照明部は、前記少なくとも１つの暗フレームの前記露光時間中に、第２の強度で前記シーンを照明するか、またはオフに切り替えられ、前記第２の強度は前記第１の強度より小さい、
請求項１に記載の装置。

【請求項3】

前記制御部が、前記少なくとも１つの暗フレームの露光時間を、前記明フレームのそれぞれの露光時間より短くなるように設定するように構成されている、
請求項１または２に記載の装置。

【請求項4】

時間単位ごとに撮像素子に入射する光量を設定する可変絞りを含み、
前記制御部は、それぞれの第１の開口状態にあるように前記明フレームの各々について前記可変絞りを制御するように構成され、また、それぞれの第２の開口状態にあるように前記少なくとも１つの暗フレームについて前記可変絞りを制御するように構成され、前記可変絞りは、前記少なくとも１つの第２の開口状態における場合よりも前記第１の開口状態の各々における場合に、より大きい開口を有する、
請求項１から３のいずれか一項に記載の装置。

【請求項5】

前記少なくとも１つの第２の開口状態では、前記可変絞りが閉じられる、請求項４に記載の装置。

【請求項6】

前記少なくとも１つの暗フレームの前記それぞれの画像信号が前記シーンの前記光学撮像によって取得されるように、前記少なくとも１つの第２の開口状態で前記可変絞りが開放される、請求項４に記載の装置。

【請求項7】

前記制御部が、時間的に互いに直接続くフレームの前記シーケンスが周期的に繰り返され、前記シーケンスの各々が時間的にシーケンスの対応する前のシーケンスに直接後続することを保証するように構成され、
前記オフセット減算部が、前記シーケンスの各々について前記それぞれのシーケンスの前記少なくとも１つの暗フレームの前記画像信号に基づくそれぞれのオフセットを取得し、それぞれのシーケンスの前記明フレームのうちの１つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成される、
請求項１から６のいずれか一項に記載の装置。

【請求項8】

前記制御部が、所定のイベントがあるときに少なくとも１つの暗フレームが発生することを保証するように構成され、
前記オフセット減算部が、前記暗フレームに続く少なくとも１つの明フレームについて前記所定のイベントに起因して発生した前記少なくとも１つの暗フレームの前記画像信号に基づくオフセットを取得し、前記少なくとも１つの明フレームの前記画像信号に基づく前記信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成される、
請求項１から７のいずれか一項に記載の装置。

【請求項9】

前記オフセット減算部が、複数の暗フレームの前記画像信号にわたる平均化によって前記オフセットを取得するように構成される、請求項１から８のいずれか一項に記載の装置。

【請求項10】

前記撮像素子が、複数の画素を有し、
前記オフセット減算部が、前記画素の各々について、前記少なくとも１つの暗フレームの前記各画素の前記画像信号に基づく各オフセットを取得するように構成される、
請求項１から９のいずれか一項に記載の装置。

【請求項11】

前記画素が、１つまたはいくつかの画素のグループに分けられ、
前記オフセット減算部が、前記グループの各々についてそれぞれのオフセットを取得し、前記明フレームのうちの１つの画像信号に基づく前記それぞれの画素の信号から前記グループの前記画素の各々について前記それぞれのオフセットを減算して、前記それぞれの画素の較正された信号を取得するように構成される、
請求項１０に記載の装置。

【請求項12】

前記オフセット減算部が、前記少なくとも１つの暗フレームの前記それぞれのグループの前記画素の前記画像信号にわたる平均化によって、グループごとに前記それぞれのオフセットを取得するように構成される、
請求項１１に記載の装置。

【請求項13】

前記撮像素子が、前記内視鏡の遠位端にある前記内視鏡の先端に位置し、前記オフセット減算部が、前記内視鏡の前記近位端に接続される、請求項１から１２のいずれか一項に記載の装置を備える内視鏡。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に内視鏡に関連して、撮像素子データを較正するための方法に関する。

【背景技術】

【0002】

光学センサは、通常、信号オフセット（黒レベル、暗レベル）における空間的不均一性を示す。前述の不均一性は、経時的に変化し得、動作環境にも依存し得る。不均一性は、センサ自体、その電子機器、および／またはセンサからアナログ－デジタル変換器に信号を送信する線に起因し得る。後者の場合、空間構造は通常、センサセルから独立しており、したがって縦縞模様をもたらす。場合によっては、不均一性は、補償される必要があるような強度を有する。そのような誤差を補償することは、通常、制御された環境で不均一性を検出し、センサ装置に保存する較正ステップを含む。次に、これらのデータを記録中または画像処理中に使用して、不均一性の空間構造を補償する。

【0003】

較正のこの手法には、いくつかの欠点がある。
（１．）製造のために、追加のステップが必要であり、その結果、各センサ装置のコストが増加する。
（２．）較正データは、センサ装置に保存されなければならない。このような保存部を設けないと、そのためのスペースが必要となり、単位当たりのコストが高くなる。
（３．）制御された環境での較正では、センサ、回線、処理ユニット、および各端末のハードウェアが異なる場合の各可能な動作環境または各可能な組み合わせが考慮されない。
（４．）特定の時間間隔で較正を繰り返すには、専用のロジスティクスおよびインフラストラクチャが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、先行技術を改善することである。

【課題を解決するための手段】

【0005】

本発明は、
オフセット減算部と、
複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートでオフセット減算部に送信するように構成され、また、少なくとも１つの暗フレームについて、撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートでオフセット減算部に送信するように構成された撮像素子と、
撮像素子がいくつかの明フレームと少なくとも１つの暗フレームを交互にオフセット減算部に送信することを確実にするように構成された制御部であって、
撮像装置の視野の少なくとも一部のシーンが、少なくとも１つの暗フレームに関する露光時間において、および明フレームの各々に関するそれぞれの露光時間において、等しいと仮定される場合に、それぞれの露光時間における撮像素子によって検出され、また明フレームの各々のそれぞれの画像信号を生成するそれぞれの光量が、それぞれの露光時間における撮像素子によって検出され、また少なくとも１つの暗フレームのそれぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
オフセット減算部は、少なくとも１つの暗フレームの画像信号に基づくオフセットを取得し、明フレームのうちの１つの画像信号に基づく信号からオフセットを減算することで、較正された信号を取得し、また、さらなる処理のために較正された信号を提供するように構成され、
少なくとも１つの暗フレームおよびいくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成する、装置を提供する。

【発明の効果】

【0006】

このようにして、以下の利点の少なくとも１つが達成される。
・センサ装置を製造するために追加のステップは必要とされない。
・較正は、それぞれの動作環境およびハードウェアに対応する。
・較正を繰り返すためのロジスティクスおよび／またはインフラストラクチャは必要とされない。

【図面の簡単な説明】

【0007】

【図1】先行技術による、シーンの画像記録を左側に、（係数１０で強化され、複数のフレームにわたって平均化された）暗い画像の画像記録を右側に示す図である。

【図2】本発明の一実施形態によるオフセット補償後の、シーンの画像記録を左側に、（係数１０で強化され、複数のフレームにわたって平均化された）暗い画像の画像記録を右側に示す図である。

【図3】本発明の一実施形態による、明フレームおよび暗フレームの記録シーケンスを示す図である。

【図4】フレームの時間と露光時間に関する時間を示す図である。

【図5】本発明の一実施形態による装置を示す図である。

【図6】本発明の一実施形態で使用することができる装置を示す図である。

【発明を実施するための形態】

【0008】

以下の詳細な説明では、方法が説明されるが、説明では、方法を実行するように構成された装置にも言及されている。これに対応して、以下の詳細な説明では、方法を実行するように構成された装置が説明されるが、説明では、方法自体にも言及されている。本方法では、ヒトもしくは動物の体の外科的適用もしくは治療的適用における使用、またはヒトもしくは動物の体に対して行われる診断プロセスにおける使用を除外することができる。しかしながら、本発明によるいくつかの装置は、前述の適用またはプロセスに適し得る。

【0009】

前述の問題を解決するために、本発明の実施形態は、「ライブ較正」を提供する。ライブ較正では、フレームは、定期的な間隔で、または特定のイベントに起因して、それぞれのシーンの画像（「明フレーム」）を記録するのではなく暗い画像を記録するために使用される。前述のフレーム（「暗フレーム」）またはいくつかのそのような暗フレームから形成された平均値は、明フレームを較正するために使用される。

【0010】

ここで、「シーン」は、センサが記録する被写体空間（すなわち、特に被写体、その配置および背景）であると理解される。この用語は、本発明のいくつかの実施形態による装置によって制御されない限り、被写体空間の照明も含む。

【0011】

したがって、３つの主な変形形態があり、本発明の第１の主な変形形態は、撮像素子が暗い環境で使用される場合に主に有用である。本発明の一つの例は、例えばヒトもしくは動物の体腔、またはラインに挿入される内視鏡である。この環境では、暗いので、内視鏡はシーンを照明するそれ自体の光源に沿って進む。光源は、例えば、内視鏡の近位端で、内視鏡の遠位端の内視鏡先端で光源に接続された１つまたは複数のＬＥＤまたはグラスファイバの出口端であってもよい。この主な変形形態によれば、暗フレームの露光時間中、照明はオフに切り替えられるか、または明フレームと比較して少なくとも低減される。したがって、センサは暗い画像のみを記録する。後者は、本発明のいくつかの実施形態において較正に使用される。

【0012】

第１の主な変形形態は暗いシーンを必要とするが（少なくとも、暗フレームの露光時間中にセンサによって検出された光強度は、明フレーム中にセンサによって検出された光強度より実質的に小さくなければならない）、第２および第３の主な変形形態によれば、環境も同様に比較的明るくすることができる。

【0013】

図４は、フレーム（または、それぞれ、フレームレートおよび逆フレームレート）の時間と露光時間の時間について説明している。図４は、センサの画素の例を使用して前述の時間を示している。撮像素子が複数の画素を有する場合、他の画素の時間は、１つの画素の時間と一致してもよく、またはそれに対してシフトされてもよい。

【0014】

センサは、それぞれの画像信号を１フレームにつき１回送信する。１回の送信から次の送信までの時間間隔は逆フレームレートである。その逆数がフレームレートである。ここから、各フレームの露光時間を区別する必要がある。露光時間は、画素のリセットから画素からの信号の読み出しまでの時間である。センサが読み出し信号を中間的に保存しない限り、それはさらなる評価のために直ちに送信される（例えば、Ａ／Ｄ変換）。この場合、読み出しの時間は転送の時間と一致する。中間保存が行われる場合、図４に示すように、読み出し後に転送が行われる。

【0015】

明フレームでは、例えば、露光時間は逆フレームレートよりわずかに短くなるだけである。例えば、毎秒３０画像のフレームレートの場合、それは約３３ミリ秒になり得る。しかしながら、露光時間も逆フレームレートと比較して大幅に短縮され得る。逆フレームレート（例えば、動画用）の半分であってもよい。内視鏡検査では、動きぼけを回避すべき場合、それはさらに短くてもよい（逆フレームレートの１／５の範囲内、または数ミリ秒の大きさ）。最小露光時間は、それぞれのセンサの特性である。

【0016】

本発明の第２の主な変形形態によれば、暗フレームの露光時間は明フレームの露光時間と比較して短縮される。例えば、暗フレームにおける露光時間は、通常のフレームにおける露光時間よりも、２倍だけ短く、好ましくは５倍だけ短く、さらにより好ましくは１０倍だけ短く、さらにより好ましくは５０倍だけ短く、さらにより好ましくは５００倍だけ短くてもよい。最大係数は、センサによって検出される光量が少なくなるため、１００００、好ましくは５０００、さらにより好ましくは１０００であり得る。暗フレームの露光時間は０であってもよい。このため、暗フレームの露光時間中にセンサによって検出される光量は、シーン（その照明を含む）が変化しないと仮定すると、明フレームの露光時間中にセンサによって検出される光量より確実に小さくなる。したがって、本発明のいくつかの実施形態は、センサおよび／またはその電子機器および／またはラインの不均一性を較正するためにそのような暗フレームを利用する。

【0017】

本発明の第３の主な変形形態によれば、シーンが変化しない間（シーンの照明が変化しない場合を含む）に各時間単位についてセンサによって検出される光量は、可変絞りによって制御される。そのような絞りは、例えば、機械絞りであってもよい。しかしながら、逆フレームレートが短いので、多くの場合、機械絞りが遅すぎる可能性がある。あるいは、例えば、適切な速度で回転するストロボ絞りや、電子絞りを使用することができる。電子絞りは、例えば、ＬＣＤスクリーンで使用されるように、並置された半導体ライトバルブで構成することができる。

【0018】

暗フレームの間、絞り開口は明フレームの間より小さい。絞りは、暗フレームの間は閉じていることが好ましい。すなわち、この場合のカメラシャッターは絞りの特殊なケースであると考えられる。

【0019】

第１から第３の主な変形形態は、暗フレームにおける相対的な暗さを改善するために、互いに任意に組み合わせることができる。

【0020】

本発明の実施形態によれば、装置は、少なくとも１つの暗フレームを記録し、次いで複数の明フレームを記録する。しかしながら、複数の暗フレーム、または１つの暗フレームと１つの明フレームを交互に記録することもできる。通常、１つの暗フレームまたは複数の暗フレームは、周期的に記録される。加えて、または代替的に、所定のイベントのために１つの暗フレームまたは複数の暗フレームを記録することもできる。例えば、オペレータによる入力があった場合やシーン（特にその（外部）照明）が２つ以上の固定閾値だけ変化したことが判明した場合、または信号増幅器の乗数、したがってオフセットの強度が変化した場合に、１つの暗フレームまたは複数の暗フレームを記録することができる。

【0021】

図３は、本発明の一実施形態によるフレームのシーケンス（明フレーム１０１および暗フレーム１０２）の一例を示す。この例では、暗フレーム１０２、次いで一定数の明フレーム１０１（ここでは、５つの明るいフレーム）が、互いに直接続いて生成される。このシーケンスは定期的に繰り返され、場合によっては所定のイベントのために暗フレーム記録によって中断される。後続の明フレーム１０１のオフセットは、少なくとも、先行する暗フレーム１０２の信号に基づく。

【0022】

暗フレームは、画像の処理中および表示中には示されておらず、較正のために使用されているにすぎない。一例では、暗フレームの強度は、後続の通常フレームの強度から減算される。
撮像素子が複数の画素を含む場合、画素ごとに、または画素グループごとに較正を実行することができる。画素ごととは、各ピクセルに対して別個のオフセットが計算され、明フレームのそれぞれのピクセルのピクセル値から減算されることを意味する。画素グループごととは、画素がグループに分けられ、明フレームの１つのグループの各画素のそれぞれの画素値から同じオフセットが減算されることを意味する。前述のオフセットは、暗フレームのグループ内のすべての画素にわたって平均化することによって取得することができる。グループは、センサ表面上に任意の順序で配置されてもよい。例えば、１列の画素が１つのグループを形成してもよく、または、画素は、チェス盤パターンで、各々がｎ＊ｍ個の隣接する画素のグループ（例えば、２＊２画素、または２＊３画素、または３＊２画素など）に分けられる。極端な例では、１つのグループはまた、撮像素子のすべての画素を含むことができる。

【0023】

別の例では、複数の暗フレームが記録される。次いで、前述の暗フレームは、例えば単純な平均または加重平均によって一緒に処理され、通常、最新の暗フレームは、以前の暗フレームより重く重み付けされる。これは、較正データのノイズを低減するのに役立ち得る。さらに、様々な暗フレームを比較することによって、例えば外部光源による変更された照明などの妨害信号が存在するときに検出することができ、この場合、それぞれの暗フレームはまったく使用されないか、またはほとんど重みなしで使用される。移動平均化は、較正をそれぞれの動作環境にも自動的に適合させることを可能にする。

【0024】

いくつかの実施形態では、特に、ラインおよび列に配置された複数の画素を含む撮像素子における縞模様の補償が関係する場合、同じフレームの各列（または各ライン）のいくつかの隣接画素にわたって平均化が実行される。この平均化は、複数のフレームにわたる平均化と組み合わせることができる。

【0025】

本発明の実施形態が適用される一例は、内視鏡である。しかしながら、本発明は、ヒトの体に挿入するための内視鏡に限定されない。これは、例えば、パイプラインに挿入される内視鏡にも使用され得る。本発明は内視鏡に限定されるものではなく、むしろ基本的にすべてのタイプの撮像素子に使用することができる。

【0026】

例えば、多くの内視鏡では、Ａ／Ｄ変換器（アナログ－デジタル変換器）は、内視鏡の遠位端で内視鏡先端の撮像素子と同じチップ上に配置することができるが、他の内視鏡では、Ａ／Ｄ変換器は、内視鏡の近位端に設けられる。特に後者の場合、Ａ／Ｄ変換器および制御部からの撮像素子の距離が大きいので、信号干渉が大きくなる。（遠位端にＡ／Ｄ変換器を備える内視鏡と近位端にＡ／Ｄ変換器を備える内視鏡の両方における）干渉の主な原因は、その信号が画像信号と干渉する（抵抗結合および／または容量結合）クロックであり、これは、画像において縦縞模様をもたらす列依存オフセットを伴う（図１参照）。図１は、シーン（明フレーム）の画像記録を左側に、（係数１０で強化され、複数の暗フレームにわたって平均化された）暗い画像の画像記録を右側に示す。縞模様は、シーンの記録および暗い画像の両方において明確に明らかである。

【0027】

したがって、本発明の実施形態によれば、上記で説明したように、暗フレームが定期的に記録される。これにより、信号オフセットを推定し、次いで画像処理中に補償することが可能になり、最小の縞模様のみが見える画像が得られる（図２を参照されたい）。図２は、左側のシーンの画像および右側の暗い画像の両方において、複数の暗フレームにわたって移動平均することによってオフセットが補償されたことを除いて、図１に対応する。図１の縞模様は、図２では実質的に見えなくなり、したがって、シーンの記録の品質が著しく改善される。

【0028】

この例における暗フレームは、暗フレームの露光時間の間、内視鏡の光源をオフに切り替えることによって記録することができる。また、暗フレームの露光時間を通常フレームの露光時間よりも実質的に短く設定することによって記録することもできる。この例では、露光時間が１００μｓ未満の最小値に設定されているのに対して、明フレームの露光時間は数ミリ秒である。好ましくは、暗フレームの間、センサの露光時間は最小化され、光源はオフに切り替えられる。

【0029】

センサ（内視鏡の遠位端）がヒトもしくは動物の体内、または例えばパイプライン内に配置されている場合、外部光源はなく、暗フレームに暗い画像が記録されていると仮定することができる。外部光源が存在する可能性がある場所に内視鏡が配置されている場合、暗フレームの露光時間は明フレームの露光時間よりも実質的に短いため、および／または可変絞りが存在する場合、暗フレームの露光時間中の絞り開口は、明フレームの露光時間中の絞り開口よりも実質的に小さいため、信号は依然として暗いと見なされ得る。

【0030】

前述のように、較正のために、複数の暗フレームおよび／または画素グループ内のいくつかの画素にわたる移動平均アルゴリズムを使用して、較正データｃａｌｉｂを取得することができる。以下では、整数で動作するそのようなアルゴリズムの例を説明する。
暗フレームの画素値が閾値より小さい場合、その値は移動平均によって既存の較正データに加算される。より高い精度を達成するために、画素値ｐｉｘｅｌは２＾ｇｌｏｂａｌＳｈｉｆｔで乗算される。プログラミング言語Ｃにおいて、平均化のためのアルゴリズムは以下の通りである。

【0031】

ｉｆ（ｐｉｘｅｌ ＜ ｔｈｒｅｓｈｏｌｄ）
｛
ｃａｌｉｂ ＊＝（１ ＜＜ ａｖｇＳｈｉｆｔ）－１；
ｃａｌｉｂ＋＝（ｐｉｘｅｌ ＜＜ ｇｌｏｂａｌＳｈｉｆｔ）＋（１ ＜＜（ａｖｇＳｈｉｆｔ－１））；
ｃａｌｉｂ ＞＞＝ａｖｇＳｈｉｆｔ；
｝

【0032】

好ましくは、閾値「ｔｈｒｅｓｈｏｌｄ」の値は、Ｂｌａｃｋｌｅｖｅｌ＋ＭａｘＦＰとして選択されるべきであり、ここで、ＢｌａｃｋｌｅｖｅｌはＡ／Ｄ変換器の黒レベルであり、ＭａｘＦＰは縞模様が取り得る最大値である。閾値よりも高い画素値を無視することにより、補償されたフレームの最大誤差が２＊ＭａｘＦＰ未満になるように、較正データが前述の値を超えないことが保証される。

【0033】

この例では、較正データは画素ごとに計算される。しかしながら、各暗フレーム内で画素データを最初に平滑化することも可能である。

【0034】

較正データは、例えば所定のライン（例えば、第１のライン）でＵＳＢにより転送される画像データに付加される。実際の画像処理に先立って、画像データから較正データが減算され、較正データを含む第１のラインが除去される。

【0035】

本発明は、典型的なＣＣＤまたはＣＭＯＳセンサの読み出し原理によって形成される縦縞模様に限定されない。これは、任意のオフセットパターンに適用することができる。オフセットパターンは、複数の暗フレームにわたって一定（または実質的に一定）であるように、経時的に比較的ゆっくりとしか変化しないことが好ましい。例えば、それらは１０個の暗フレームにわたって１０％を超えてずれるべきではない。５％未満、さらには２％未満のずれがより好ましい。

【0036】

典型的には、フレームレートは、特定の期間中のすべての明フレームおよび暗フレームについて一定であり、前述の明フレームおよび暗フレームのすべてについて等しい。しかしながら、本発明の実施形態では、フレームレートが一定であること、または明フレームと暗フレームとで等しいことは必要ではない。例えば、一部の明フレームまたは暗フレームは、より高いフレームレートで送信することができ、他の明フレームまたは暗フレームは、より低いフレームレートで送信することができる。例えば、すべての明フレームを、その期間中のすべての暗フレームのフレームレートとは異なる（好ましくはより小さい）フレームレートで送信することができる。しかしながら、暗フレームを記録するときにセンサが実際に暗い環境にあることを保証することができない限り、明フレームの逆フレームレート（すなわち、センサからの２つの画像信号送信間の時間間隔）は、センサの最小露光時間と比較して高くすることが好ましい。

【0037】

実施形態に応じて、較正（すなわち、画像データからのオフセットの減算）は、明フレームのセンサ信号のＡ／Ｄ変換の前、間、または後に実行することができる。明フレームのセンサ信号をＡ／Ｄ変換した後に較正を行う場合、複数の暗いフレームの対応するセンサ信号をＡ／Ｄ変換する前後両方の複数の暗フレームから、適宜、較正値を設定することができる。
本発明の実施形態によれば、撮像素子（任意選択の外部照明を含む）によって記録されたシーンが変化しないと仮定される場合、撮像素子によって検出され、また明フレームの各々に対してそれぞれの画像信号を生成するそれぞれの光量は、撮像素子によって検出され、また少なくとも１つの暗フレームに対してそれぞれの画像信号を生成するそれぞれの光量より大きい。好ましくは、明フレームの光量は、暗フレームの光量の２倍、さらにより好ましくは５倍、さらにより好ましくは１０倍、さらにより好ましくは１００倍である。暗フレームで検出される光量はまた、０であってもよい。

【0038】

図５は、本発明の一実施形態による装置を示す図である。この装置は、オフセット減算部１０と、撮像素子２０と、制御部３０とを備える。

【0039】

複数の明フレームのそれぞれについて、撮像素子２０は、撮像素子のそれぞれの露光時間中にシーンの光学撮像によって取得されたそれぞれの画像信号を受信し、これを第１のフレームレートでオフセット減算部１０に送信する。さらに、撮像素子２０は、少なくとも１つの暗フレームについて、撮像素子のそれぞれの露光時間中にシーンの光学撮像によって取得されたそれぞれの画像信号を受信し、これを第２のフレームレートでオフセット減算部１０に送信する。

【0040】

撮像素子は、例えば、ＣＣＤセンサやＣＭＯＳセンサであってもよい。センサの画素数は限定されない。

【0041】

制御部３０は、撮像素子が第１の数の明フレームと少なくとも１つの暗フレームとを交互にオフセット減算部１０に送信することを保証する。さらに、制御部は、シーン（その（外部）照明を含む）が変化しないと仮定される場合、それぞれの露光時間における撮像素子２０によって検出され、また明フレームの各々のそれぞれの画像信号を生成するそれぞれの光量が、それぞれの露光時間における撮像素子２０によって検出され、また少なくとも１つの暗フレームのそれぞれの画像信号を生成するそれぞれの光量より大きいことを保証する。これは、例えば、シーンを照明する内部光源、それぞれの露光時間、および／または可変絞りの開口のサイズを制御することによって、制御部によって達成することができる。

【0042】

オフセット減算部１０は、少なくとも１つの暗フレームの画像信号に基づいてオフセットを受信し、明フレームのうちの１つの画像信号に基づく信号からオフセットを減算して、較正された信号を取得し、また、さらなる処理のために較正された信号を提供する。信号は、撮像素子１０からの明フレームの画像信号、または撮像素子１０からの明フレームの画像信号から、例えばＡ／Ｄ変換および／またはさらなる処理ステップによって得られる信号であってもよい。オフセットは、同様に、撮像素子１０からの暗フレームの対応する画像信号、または撮像素子１０からの暗フレームの対応する画像信号から、例えばＡ／Ｄ変換および／またはさらなる処理ステップ（例えば、複数の暗フレームにわたる平均化）によって得られる信号であってもよい。

【0043】

制御部およびオフセット減算部、ならびに場合によっては存在する画像処理部は、ハードウェアおよび／またはソフトウェアの形態とすることができる。それらは、１つまたは複数のハードウェアユニットおよび／またはソフトウェアユニットに実装されてもよい。それらはまた、クラウドに実装されてもよい。それらの各々はまた、１つまたは複数のコンピュータ（例えば、ラップトップ）に実装されてもよい。図６に示すように、それらは、メモリ８２０を備えるプロセッサ８１０によって実装されてもよく、メモリ８２０は、プロセッサ８１０によって方法が実行されるときに、プロセッサ８１０が本発明による方法を実行することを保証するプログラム命令を保存する。

【0044】

一般に、撮像素子に入射する光量が多いほど、撮像素子によって検出される光量が多いと仮定される。例えば、検出される光量は、入射光量に比例することができ、または光量が増加するにつれて徐々に飽和することを示すことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】