IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧

<>
  • 特許-ライブ較正 図1
  • 特許-ライブ較正 図2
  • 特許-ライブ較正 図3
  • 特許-ライブ較正 図4
  • 特許-ライブ較正 図5
  • 特許-ライブ較正 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-26
(45)【発行日】2024-02-05
(54)【発明の名称】ライブ較正
(51)【国際特許分類】
   H04N 23/743 20230101AFI20240129BHJP
   H04N 25/00 20230101ALI20240129BHJP
   H04N 23/40 20230101ALI20240129BHJP
   H04N 23/60 20230101ALI20240129BHJP
   H04N 23/56 20230101ALI20240129BHJP
   H04N 23/74 20230101ALI20240129BHJP
   H04N 23/73 20230101ALI20240129BHJP
   H04N 23/75 20230101ALI20240129BHJP
   A61B 1/00 20060101ALI20240129BHJP
   A61B 1/045 20060101ALI20240129BHJP
   A61B 1/06 20060101ALI20240129BHJP
【FI】
H04N23/743
H04N25/00
H04N23/40
H04N23/60
H04N23/56
H04N23/74
H04N23/73
H04N23/75
A61B1/00 630
A61B1/045 610
A61B1/045 632
A61B1/06 612
【請求項の数】 15
(21)【出願番号】P 2022536946
(86)(22)【出願日】2020-12-09
(65)【公表番号】
(43)【公表日】2023-02-20
(86)【国際出願番号】 IB2020061675
(87)【国際公開番号】W WO2021124022
(87)【国際公開日】2021-06-24
【審査請求日】2022-08-08
(31)【優先権主張番号】102019134473.5
(32)【優先日】2019-12-16
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110000165
【氏名又は名称】弁理士法人グローバル・アイピー東京
(72)【発明者】
【氏名】バウアー,フロリアン
(72)【発明者】
【氏名】ヴァルツ,ミヒャエル
【審査官】越河 勉
(56)【参考文献】
【文献】特開平06-054262(JP,A)
【文献】特開2006-279690(JP,A)
【文献】米国特許出願公開第2019/0191974(US,A1)
【文献】特開2005-159447(JP,A)
【文献】米国特許出願公開第2009/0213211(US,A1)
【文献】特開2005-341261(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/743
H04N 25/00
H04N 23/40
H04N 23/60
H04N 23/56
H04N 23/74
H04N 23/73
H04N 23/75
A61B 1/00
A61B 1/045
A61B 1/06
(57)【特許請求の範囲】
【請求項1】
オフセット減算部と、
複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第1のフレームレートで前記オフセット減算部に送信するように構成され、また、少なくとも1つの暗フレームについて、前記撮像素子のそれぞれの露光時間中に前記撮像装置の前記視野の前記少なくとも一部の前記光学撮像によって取得されたそれぞれの画像信号を受信し、これを第2のフレームレートで前記オフセット減算部に送信するように構成された撮像素子と、
前記撮像素子がいくつかの明フレームと少なくとも1つの暗フレームを交互に前記オフセット減算部に送信することを確実にするように構成された制御部であって、前記撮像装置の前記視野の少なくとも一部のシーンが、前記少なくとも1つの暗フレームに関する前記露光時間において、および前記明フレームの各々に関する前記それぞれの露光時間において、等しいと仮定される場合に、前記それぞれの露光時間における前記撮像素子によって検出され、また前記明フレームの各々の前記それぞれの画像信号を生成するそれぞれの光量が、前記それぞれの露光時間における前記撮像素子によって検出され、また前記少なくとも1つの暗フレームの前記それぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、
時間単位ごとに撮像素子に入射する光量を設定する可変絞りと、を含み、
前記オフセット減算部は、少なくとも1つの暗フレームの前記画像信号に基づくオフセットを取得し、前記明フレームのうちの1つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成され、
前記少なくとも1つの暗フレームおよび前記いくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成
前記制御部は、それぞれの第1の開口状態にあるように前記明フレームの各々について前記可変絞りを制御するように構成され、また、それぞれの第2の開口状態にあるように前記少なくとも1つの暗フレームについて前記可変絞りを制御するように構成され、前記可変絞りは、前記少なくとも1つの第2の開口状態における場合よりも前記第1の開口状態の各々における場合に、より大きい開口を有する、
装置。
【請求項2】
前記制御部が、前記少なくとも1つの暗フレームの露光時間を、前記明フレームのそれぞれの露光時間より短くなるように設定するように構成されている、
請求項1に記載の装置。
【請求項3】
オフセット減算部と、
複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第1のフレームレートで前記オフセット減算部に送信するように構成され、また、少なくとも1つの暗フレームについて、前記撮像素子のそれぞれの露光時間中に前記撮像装置の前記視野の前記少なくとも一部の前記光学撮像によって取得されたそれぞれの画像信号を受信し、これを第2のフレームレートで前記オフセット減算部に送信するように構成された撮像素子と、
前記撮像素子がいくつかの明フレームと少なくとも1つの暗フレームを交互に前記オフセット減算部に送信することを確実にするように構成された制御部であって、前記撮像装置の前記視野の少なくとも一部のシーンが、前記少なくとも1つの暗フレームに関する前記露光時間において、および前記明フレームの各々に関する前記それぞれの露光時間において、等しいと仮定される場合に、前記それぞれの露光時間における前記撮像素子によって検出され、また前記明フレームの各々の前記それぞれの画像信号を生成するそれぞれの光量が、前記それぞれの露光時間における前記撮像素子によって検出され、また前記少なくとも1つの暗フレームの前記それぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
前記オフセット減算部は、少なくとも1つの暗フレームの前記画像信号に基づくオフセットを取得し、前記明フレームのうちの1つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成され、
前記少なくとも1つの暗フレームおよび前記いくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成し、
前記制御部が、前記少なくとも1つの暗フレームの露光時間を、前記明フレームのそれぞれの露光時間より短くなるように設定するように構成されている、
装置。
【請求項4】
オフセット減算部と、
複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第1のフレームレートで前記オフセット減算部に送信するように構成され、また、少なくとも1つの暗フレームについて、前記撮像素子のそれぞれの露光時間中に前記撮像装置の前記視野の前記少なくとも一部の前記光学撮像によって取得されたそれぞれの画像信号を受信し、これを第2のフレームレートで前記オフセット減算部に送信するように構成された撮像素子と、
前記撮像素子が複数の明フレームと少なくとも1つの暗フレームを交互に前記オフセット減算部に送信することを確実にするように構成された制御部であって、前記撮像装置の前記視野の少なくとも一部のシーンが、前記少なくとも1つの暗フレームに関する前記露光時間において、および前記明フレームの各々に関する前記それぞれの露光時間において、等しいと仮定される場合に、前記それぞれの露光時間における前記撮像素子によって検出され、また前記明フレームの各々の前記それぞれの画像信号を生成するそれぞれの光量が、前記それぞれの露光時間における前記撮像素子によって検出され、また前記少なくとも1つの暗フレームの前記それぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
前記オフセット減算部は、少なくとも1つの暗フレームの前記画像信号に基づくオフセットを取得し、前記明フレームのうちの1つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成され、
前記少なくとも1つの暗フレームおよび複数の前記明フレームは、時間的に互いに直接続くフレームのシーケンスを構成する、
装置。
【請求項5】
時間単位ごとに撮像素子に入射する光量を設定する可変絞りを含み、
前記制御部は、それぞれの第1の開口状態にあるように前記明フレームの各々について前記可変絞りを制御するように構成され、また、それぞれの第2の開口状態にあるように前記少なくとも1つの暗フレームについて前記可変絞りを制御するように構成され、前記可変絞りは、前記少なくとも1つの第2の開口状態における場合よりも前記第1の開口状態の各々における場合に、より大きい開口を有する、
請求項3または請求項4に記載の装置。
【請求項6】
前記少なくとも1つの第2の開口状態では、前記可変絞りが閉じられる、請求項1、2、5のいずれか1項に記載の装置。
【請求項7】
前記制御部は、前記少なくとも1つの暗フレームの前記それぞれの画像信号が前記シーンの前記光学撮像によって取得されるように、前記可変絞りを制御する、請求項1、2、5のいずれか1項に記載の装置。
【請求項8】
前記シーンを照明するように構成された照明部を含み、
前記制御部が、前記照明部を制御して、その結果、前記照明部は、前記明フレームの前記それぞれの露光時間中に、第1の強度で前記シーンを照明し、また、前記照明部は、前記少なくとも1つの暗フレームの前記露光時間中に、第2の強度で前記シーンを照明するか、またはオフに切り替えられ、前記第2の強度は前記第1の強度より小さい、
請求項1から7のいずれか1項に記載の装置。
【請求項9】
前記制御部が、時間的に互いに直接続くフレームの前記シーケンスが周期的に繰り返され、前記シーケンスの各々が時間的にシーケンスの対応する前のシーケンスに直接後続することを保証するように構成され、
前記オフセット減算部が、前記シーケンスの各々について前記それぞれのシーケンスの前記少なくとも1つの暗フレームの前記画像信号に基づくそれぞれのオフセットを取得し、それぞれのシーケンスの前記明フレームのうちの1つの画像信号に基づく信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成される、
請求項1からのいずれか一項に記載の装置。
【請求項10】
前記制御部が、所定のイベントがあるときに少なくとも1つの暗フレームが発生することを保証するように構成され、
前記オフセット減算部が、前記暗フレームに続く少なくとも1つの明フレームについて前記所定のイベントに起因して発生した前記少なくとも1つの暗フレームの前記画像信号に基づくオフセットを取得し、前記少なくとも1つの明フレームの前記画像信号に基づく前記信号から前記オフセットを減算することで、較正された信号を取得し、また、さらなる処理のために前記較正された信号を提供するように構成される、
請求項1からのいずれか一項に記載の装置。
【請求項11】
前記オフセット減算部が、複数の暗フレームの前記画像信号にわたる平均化によって前記オフセットを取得するように構成される、請求項1から10のいずれか一項に記載の装置。
【請求項12】
前記撮像素子が、複数の画素を有し、
前記オフセット減算部が、前記画素の各々について、前記少なくとも1つの暗フレームの前記各画素の前記画像信号に基づく各オフセットを取得するように構成される、
請求項1から11のいずれか一項に記載の装置。
【請求項13】
前記画素が、1つまたはいくつかの画素のグループに分けられ、
前記オフセット減算部が、前記グループの各々についてそれぞれのオフセットを取得し、前記明フレームのうちの1つの画像信号に基づく前記それぞれの画素の信号から前記グループの前記画素の各々について前記それぞれのオフセットを減算して、前記それぞれの画素の較正された信号を取得するように構成される、
請求項12に記載の装置。
【請求項14】
前記オフセット減算部が、前記少なくとも1つの暗フレームの前記それぞれのグループの前記画素の前記画像信号にわたる平均化によって、グループごとに前記それぞれのオフセットを取得するように構成される、
請求項13に記載の装置。
【請求項15】
請求項1から14のいずれか一項に記載の装置を備える内視鏡であって、
前記撮像素子が、前記内視鏡の遠位端にある前記内視鏡の先端に位置し、
前記オフセット減算部が、前記内視鏡の前記近位端に接続される、内視鏡。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に内視鏡に関連して、撮像素子データを較正するための方法に関する。
【背景技術】
【0002】
光学センサは、通常、信号オフセット(黒レベル、暗レベル)における空間的不均一性を示す。前述の不均一性は、経時的に変化し得、動作環境にも依存し得る。不均一性は、センサ自体、その電子機器、および/またはセンサからアナログ-デジタル変換器に信号を送信する線に起因し得る。後者の場合、空間構造は通常、センサセルから独立しており、したがって縦縞模様をもたらす。場合によっては、不均一性は、補償される必要があるような強度を有する。そのような誤差を補償することは、通常、制御された環境で不均一性を検出し、センサ装置に保存する較正ステップを含む。次に、これらのデータを記録中または画像処理中に使用して、不均一性の空間構造を補償する。
【0003】
較正のこの手法には、いくつかの欠点がある。
(1.)製造のために、追加のステップが必要であり、その結果、各センサ装置のコストが増加する。
(2.)較正データは、センサ装置に保存されなければならない。このような保存部を設けないと、そのためのスペースが必要となり、単位当たりのコストが高くなる。
(3.)制御された環境での較正では、センサ、回線、処理ユニット、および各端末のハードウェアが異なる場合の各可能な動作環境または各可能な組み合わせが考慮されない。
(4.)特定の時間間隔で較正を繰り返すには、専用のロジスティクスおよびインフラストラクチャが必要である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、先行技術を改善することである。
【課題を解決するための手段】
【0005】
本発明は、
オフセット減算部と、
複数の明フレームの各々について撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第1のフレームレートでオフセット減算部に送信するように構成され、また、少なくとも1つの暗フレームについて、撮像素子のそれぞれの露光時間中に撮像装置の視野の少なくとも一部の光学撮像によって取得されたそれぞれの画像信号を受信し、これを第2のフレームレートでオフセット減算部に送信するように構成された撮像素子と、
撮像素子がいくつかの明フレームと少なくとも1つの暗フレームを交互にオフセット減算部に送信することを確実にするように構成された制御部であって、
撮像装置の視野の少なくとも一部のシーンが、少なくとも1つの暗フレームに関する露光時間において、および明フレームの各々に関するそれぞれの露光時間において、等しいと仮定される場合に、それぞれの露光時間における撮像素子によって検出され、また明フレームの各々のそれぞれの画像信号を生成するそれぞれの光量が、それぞれの露光時間における撮像素子によって検出され、また少なくとも1つの暗フレームのそれぞれの画像信号を生成するそれぞれの光量より大きいことを確実にするように構成された制御部と、を含み、
オフセット減算部は、少なくとも1つの暗フレームの画像信号に基づくオフセットを取得し、明フレームのうちの1つの画像信号に基づく信号からオフセットを減算することで、較正された信号を取得し、また、さらなる処理のために較正された信号を提供するように構成され、
少なくとも1つの暗フレームおよびいくつかの明フレームは、時間的に互いに直接続くフレームのシーケンスを構成する、装置を提供する。
【発明の効果】
【0006】
このようにして、以下の利点の少なくとも1つが達成される。
・センサ装置を製造するために追加のステップは必要とされない。
・較正は、それぞれの動作環境およびハードウェアに対応する。
・較正を繰り返すためのロジスティクスおよび/またはインフラストラクチャは必要とされない。
【図面の簡単な説明】
【0007】
図1】先行技術による、シーンの画像記録を左側に、(係数10で強化され、複数のフレームにわたって平均化された)暗い画像の画像記録を右側に示す図である。
図2】本発明の一実施形態によるオフセット補償後の、シーンの画像記録を左側に、(係数10で強化され、複数のフレームにわたって平均化された)暗い画像の画像記録を右側に示す図である。
図3】本発明の一実施形態による、明フレームおよび暗フレームの記録シーケンスを示す図である。
図4】フレームの時間と露光時間に関する時間を示す図である。
図5】本発明の一実施形態による装置を示す図である。
図6】本発明の一実施形態で使用することができる装置を示す図である。
【発明を実施するための形態】
【0008】
以下の詳細な説明では、方法が説明されるが、説明では、方法を実行するように構成された装置にも言及されている。これに対応して、以下の詳細な説明では、方法を実行するように構成された装置が説明されるが、説明では、方法自体にも言及されている。本方法では、ヒトもしくは動物の体の外科的適用もしくは治療的適用における使用、またはヒトもしくは動物の体に対して行われる診断プロセスにおける使用を除外することができる。しかしながら、本発明によるいくつかの装置は、前述の適用またはプロセスに適し得る。
【0009】
前述の問題を解決するために、本発明の実施形態は、「ライブ較正」を提供する。ライブ較正では、フレームは、定期的な間隔で、または特定のイベントに起因して、それぞれのシーンの画像(「明フレーム」)を記録するのではなく暗い画像を記録するために使用される。前述のフレーム(「暗フレーム」)またはいくつかのそのような暗フレームから形成された平均値は、明フレームを較正するために使用される。
【0010】
ここで、「シーン」は、センサが記録する被写体空間(すなわち、特に被写体、その配置および背景)であると理解される。この用語は、本発明のいくつかの実施形態による装置によって制御されない限り、被写体空間の照明も含む。
【0011】
したがって、3つの主な変形形態があり、本発明の第1の主な変形形態は、撮像素子が暗い環境で使用される場合に主に有用である。本発明の一つの例は、例えばヒトもしくは動物の体腔、またはラインに挿入される内視鏡である。この環境では、暗いので、内視鏡はシーンを照明するそれ自体の光源に沿って進む。光源は、例えば、内視鏡の近位端で、内視鏡の遠位端の内視鏡先端で光源に接続された1つまたは複数のLEDまたはグラスファイバの出口端であってもよい。この主な変形形態によれば、暗フレームの露光時間中、照明はオフに切り替えられるか、または明フレームと比較して少なくとも低減される。したがって、センサは暗い画像のみを記録する。後者は、本発明のいくつかの実施形態において較正に使用される。
【0012】
第1の主な変形形態は暗いシーンを必要とするが(少なくとも、暗フレームの露光時間中にセンサによって検出された光強度は、明フレーム中にセンサによって検出された光強度より実質的に小さくなければならない)、第2および第3の主な変形形態によれば、環境も同様に比較的明るくすることができる。
【0013】
図4は、フレーム(または、それぞれ、フレームレートおよび逆フレームレート)の時間と露光時間の時間について説明している。図4は、センサの画素の例を使用して前述の時間を示している。撮像素子が複数の画素を有する場合、他の画素の時間は、1つの画素の時間と一致してもよく、またはそれに対してシフトされてもよい。
【0014】
センサは、それぞれの画像信号を1フレームにつき1回送信する。1回の送信から次の送信までの時間間隔は逆フレームレートである。その逆数がフレームレートである。ここから、各フレームの露光時間を区別する必要がある。露光時間は、画素のリセットから画素からの信号の読み出しまでの時間である。センサが読み出し信号を中間的に保存しない限り、それはさらなる評価のために直ちに送信される(例えば、A/D変換)。この場合、読み出しの時間は転送の時間と一致する。中間保存が行われる場合、図4に示すように、読み出し後に転送が行われる。
【0015】
明フレームでは、例えば、露光時間は逆フレームレートよりわずかに短くなるだけである。例えば、毎秒30画像のフレームレートの場合、それは約33ミリ秒になり得る。しかしながら、露光時間も逆フレームレートと比較して大幅に短縮され得る。逆フレームレート(例えば、動画用)の半分であってもよい。内視鏡検査では、動きぼけを回避すべき場合、それはさらに短くてもよい(逆フレームレートの1/5の範囲内、または数ミリ秒の大きさ)。最小露光時間は、それぞれのセンサの特性である。
【0016】
本発明の第2の主な変形形態によれば、暗フレームの露光時間は明フレームの露光時間と比較して短縮される。例えば、暗フレームにおける露光時間は、通常のフレームにおける露光時間よりも、2倍だけ短く、好ましくは5倍だけ短く、さらにより好ましくは10倍だけ短く、さらにより好ましくは50倍だけ短く、さらにより好ましくは500倍だけ短くてもよい。最大係数は、センサによって検出される光量が少なくなるため、10000、好ましくは5000、さらにより好ましくは1000であり得る。暗フレームの露光時間は0であってもよい。このため、暗フレームの露光時間中にセンサによって検出される光量は、シーン(その照明を含む)が変化しないと仮定すると、明フレームの露光時間中にセンサによって検出される光量より確実に小さくなる。したがって、本発明のいくつかの実施形態は、センサおよび/またはその電子機器および/またはラインの不均一性を較正するためにそのような暗フレームを利用する。
【0017】
本発明の第3の主な変形形態によれば、シーンが変化しない間(シーンの照明が変化しない場合を含む)に各時間単位についてセンサによって検出される光量は、可変絞りによって制御される。そのような絞りは、例えば、機械絞りであってもよい。しかしながら、逆フレームレートが短いので、多くの場合、機械絞りが遅すぎる可能性がある。あるいは、例えば、適切な速度で回転するストロボ絞りや、電子絞りを使用することができる。電子絞りは、例えば、LCDスクリーンで使用されるように、並置された半導体ライトバルブで構成することができる。
【0018】
暗フレームの間、絞り開口は明フレームの間より小さい。絞りは、暗フレームの間は閉じていることが好ましい。すなわち、この場合のカメラシャッターは絞りの特殊なケースであると考えられる。
【0019】
第1から第3の主な変形形態は、暗フレームにおける相対的な暗さを改善するために、互いに任意に組み合わせることができる。
【0020】
本発明の実施形態によれば、装置は、少なくとも1つの暗フレームを記録し、次いで複数の明フレームを記録する。しかしながら、複数の暗フレーム、または1つの暗フレームと1つの明フレームを交互に記録することもできる。通常、1つの暗フレームまたは複数の暗フレームは、周期的に記録される。加えて、または代替的に、所定のイベントのために1つの暗フレームまたは複数の暗フレームを記録することもできる。例えば、オペレータによる入力があった場合やシーン(特にその(外部)照明)が2つ以上の固定閾値だけ変化したことが判明した場合、または信号増幅器の乗数、したがってオフセットの強度が変化した場合に、1つの暗フレームまたは複数の暗フレームを記録することができる。
【0021】
図3は、本発明の一実施形態によるフレームのシーケンス(明フレーム101および暗フレーム102)の一例を示す。この例では、暗フレーム102、次いで一定数の明フレーム101(ここでは、5つの明るいフレーム)が、互いに直接続いて生成される。このシーケンスは定期的に繰り返され、場合によっては所定のイベントのために暗フレーム記録によって中断される。後続の明フレーム101のオフセットは、少なくとも、先行する暗フレーム102の信号に基づく。
【0022】
暗フレームは、画像の処理中および表示中には示されておらず、較正のために使用されているにすぎない。一例では、暗フレームの強度は、後続の通常フレームの強度から減算される。
撮像素子が複数の画素を含む場合、画素ごとに、または画素グループごとに較正を実行することができる。画素ごととは、各ピクセルに対して別個のオフセットが計算され、明フレームのそれぞれのピクセルのピクセル値から減算されることを意味する。画素グループごととは、画素がグループに分けられ、明フレームの1つのグループの各画素のそれぞれの画素値から同じオフセットが減算されることを意味する。前述のオフセットは、暗フレームのグループ内のすべての画素にわたって平均化することによって取得することができる。グループは、センサ表面上に任意の順序で配置されてもよい。例えば、1列の画素が1つのグループを形成してもよく、または、画素は、チェス盤パターンで、各々がn*m個の隣接する画素のグループ(例えば、2*2画素、または2*3画素、または3*2画素など)に分けられる。極端な例では、1つのグループはまた、撮像素子のすべての画素を含むことができる。
【0023】
別の例では、複数の暗フレームが記録される。次いで、前述の暗フレームは、例えば単純な平均または加重平均によって一緒に処理され、通常、最新の暗フレームは、以前の暗フレームより重く重み付けされる。これは、較正データのノイズを低減するのに役立ち得る。さらに、様々な暗フレームを比較することによって、例えば外部光源による変更された照明などの妨害信号が存在するときに検出することができ、この場合、それぞれの暗フレームはまったく使用されないか、またはほとんど重みなしで使用される。移動平均化は、較正をそれぞれの動作環境にも自動的に適合させることを可能にする。
【0024】
いくつかの実施形態では、特に、ラインおよび列に配置された複数の画素を含む撮像素子における縞模様の補償が関係する場合、同じフレームの各列(または各ライン)のいくつかの隣接画素にわたって平均化が実行される。この平均化は、複数のフレームにわたる平均化と組み合わせることができる。
【0025】
本発明の実施形態が適用される一例は、内視鏡である。しかしながら、本発明は、ヒトの体に挿入するための内視鏡に限定されない。これは、例えば、パイプラインに挿入される内視鏡にも使用され得る。本発明は内視鏡に限定されるものではなく、むしろ基本的にすべてのタイプの撮像素子に使用することができる。
【0026】
例えば、多くの内視鏡では、A/D変換器(アナログ-デジタル変換器)は、内視鏡の遠位端で内視鏡先端の撮像素子と同じチップ上に配置することができるが、他の内視鏡では、A/D変換器は、内視鏡の近位端に設けられる。特に後者の場合、A/D変換器および制御部からの撮像素子の距離が大きいので、信号干渉が大きくなる。(遠位端にA/D変換器を備える内視鏡と近位端にA/D変換器を備える内視鏡の両方における)干渉の主な原因は、その信号が画像信号と干渉する(抵抗結合および/または容量結合)クロックであり、これは、画像において縦縞模様をもたらす列依存オフセットを伴う(図1参照)。図1は、シーン(明フレーム)の画像記録を左側に、(係数10で強化され、複数の暗フレームにわたって平均化された)暗い画像の画像記録を右側に示す。縞模様は、シーンの記録および暗い画像の両方において明確に明らかである。
【0027】
したがって、本発明の実施形態によれば、上記で説明したように、暗フレームが定期的に記録される。これにより、信号オフセットを推定し、次いで画像処理中に補償することが可能になり、最小の縞模様のみが見える画像が得られる(図2を参照されたい)。図2は、左側のシーンの画像および右側の暗い画像の両方において、複数の暗フレームにわたって移動平均することによってオフセットが補償されたことを除いて、図1に対応する。図1の縞模様は、図2では実質的に見えなくなり、したがって、シーンの記録の品質が著しく改善される。
【0028】
この例における暗フレームは、暗フレームの露光時間の間、内視鏡の光源をオフに切り替えることによって記録することができる。また、暗フレームの露光時間を通常フレームの露光時間よりも実質的に短く設定することによって記録することもできる。この例では、露光時間が100μs未満の最小値に設定されているのに対して、明フレームの露光時間は数ミリ秒である。好ましくは、暗フレームの間、センサの露光時間は最小化され、光源はオフに切り替えられる。
【0029】
センサ(内視鏡の遠位端)がヒトもしくは動物の体内、または例えばパイプライン内に配置されている場合、外部光源はなく、暗フレームに暗い画像が記録されていると仮定することができる。外部光源が存在する可能性がある場所に内視鏡が配置されている場合、暗フレームの露光時間は明フレームの露光時間よりも実質的に短いため、および/または可変絞りが存在する場合、暗フレームの露光時間中の絞り開口は、明フレームの露光時間中の絞り開口よりも実質的に小さいため、信号は依然として暗いと見なされ得る。
【0030】
前述のように、較正のために、複数の暗フレームおよび/または画素グループ内のいくつかの画素にわたる移動平均アルゴリズムを使用して、較正データcalibを取得することができる。以下では、整数で動作するそのようなアルゴリズムの例を説明する。
暗フレームの画素値が閾値より小さい場合、その値は移動平均によって既存の較正データに加算される。より高い精度を達成するために、画素値pixelは2^globalShiftで乗算される。プログラミング言語Cにおいて、平均化のためのアルゴリズムは以下の通りである。
【0031】
if(pixel < threshold)

calib *=(1 << avgShift)-1;
calib+=(pixel << globalShift)+(1 <<(avgShift-1));
calib >>=avgShift;
【0032】
好ましくは、閾値「threshold」の値は、Blacklevel+MaxFPとして選択されるべきであり、ここで、BlacklevelはA/D変換器の黒レベルであり、MaxFPは縞模様が取り得る最大値である。閾値よりも高い画素値を無視することにより、補償されたフレームの最大誤差が2*MaxFP未満になるように、較正データが前述の値を超えないことが保証される。
【0033】
この例では、較正データは画素ごとに計算される。しかしながら、各暗フレーム内で画素データを最初に平滑化することも可能である。
【0034】
較正データは、例えば所定のライン(例えば、第1のライン)でUSBにより転送される画像データに付加される。実際の画像処理に先立って、画像データから較正データが減算され、較正データを含む第1のラインが除去される。
【0035】
本発明は、典型的なCCDまたはCMOSセンサの読み出し原理によって形成される縦縞模様に限定されない。これは、任意のオフセットパターンに適用することができる。オフセットパターンは、複数の暗フレームにわたって一定(または実質的に一定)であるように、経時的に比較的ゆっくりとしか変化しないことが好ましい。例えば、それらは10個の暗フレームにわたって10%を超えてずれるべきではない。5%未満、さらには2%未満のずれがより好ましい。
【0036】
典型的には、フレームレートは、特定の期間中のすべての明フレームおよび暗フレームについて一定であり、前述の明フレームおよび暗フレームのすべてについて等しい。しかしながら、本発明の実施形態では、フレームレートが一定であること、または明フレームと暗フレームとで等しいことは必要ではない。例えば、一部の明フレームまたは暗フレームは、より高いフレームレートで送信することができ、他の明フレームまたは暗フレームは、より低いフレームレートで送信することができる。例えば、すべての明フレームを、その期間中のすべての暗フレームのフレームレートとは異なる(好ましくはより小さい)フレームレートで送信することができる。しかしながら、暗フレームを記録するときにセンサが実際に暗い環境にあることを保証することができない限り、明フレームの逆フレームレート(すなわち、センサからの2つの画像信号送信間の時間間隔)は、センサの最小露光時間と比較して高くすることが好ましい。
【0037】
実施形態に応じて、較正(すなわち、画像データからのオフセットの減算)は、明フレームのセンサ信号のA/D変換の前、間、または後に実行することができる。明フレームのセンサ信号をA/D変換した後に較正を行う場合、複数の暗いフレームの対応するセンサ信号をA/D変換する前後両方の複数の暗フレームから、適宜、較正値を設定することができる。
本発明の実施形態によれば、撮像素子(任意選択の外部照明を含む)によって記録されたシーンが変化しないと仮定される場合、撮像素子によって検出され、また明フレームの各々に対してそれぞれの画像信号を生成するそれぞれの光量は、撮像素子によって検出され、また少なくとも1つの暗フレームに対してそれぞれの画像信号を生成するそれぞれの光量より大きい。好ましくは、明フレームの光量は、暗フレームの光量の2倍、さらにより好ましくは5倍、さらにより好ましくは10倍、さらにより好ましくは100倍である。暗フレームで検出される光量はまた、0であってもよい。
【0038】
図5は、本発明の一実施形態による装置を示す図である。この装置は、オフセット減算部10と、撮像素子20と、制御部30とを備える。
【0039】
複数の明フレームのそれぞれについて、撮像素子20は、撮像素子のそれぞれの露光時間中にシーンの光学撮像によって取得されたそれぞれの画像信号を受信し、これを第1のフレームレートでオフセット減算部10に送信する。さらに、撮像素子20は、少なくとも1つの暗フレームについて、撮像素子のそれぞれの露光時間中にシーンの光学撮像によって取得されたそれぞれの画像信号を受信し、これを第2のフレームレートでオフセット減算部10に送信する。
【0040】
撮像素子は、例えば、CCDセンサやCMOSセンサであってもよい。センサの画素数は限定されない。
【0041】
制御部30は、撮像素子が第1の数の明フレームと少なくとも1つの暗フレームとを交互にオフセット減算部10に送信することを保証する。さらに、制御部は、シーン(その(外部)照明を含む)が変化しないと仮定される場合、それぞれの露光時間における撮像素子20によって検出され、また明フレームの各々のそれぞれの画像信号を生成するそれぞれの光量が、それぞれの露光時間における撮像素子20によって検出され、また少なくとも1つの暗フレームのそれぞれの画像信号を生成するそれぞれの光量より大きいことを保証する。これは、例えば、シーンを照明する内部光源、それぞれの露光時間、および/または可変絞りの開口のサイズを制御することによって、制御部によって達成することができる。
【0042】
オフセット減算部10は、少なくとも1つの暗フレームの画像信号に基づいてオフセットを受信し、明フレームのうちの1つの画像信号に基づく信号からオフセットを減算して、較正された信号を取得し、また、さらなる処理のために較正された信号を提供する。信号は、撮像素子10からの明フレームの画像信号、または撮像素子10からの明フレームの画像信号から、例えばA/D変換および/またはさらなる処理ステップによって得られる信号であってもよい。オフセットは、同様に、撮像素子10からの暗フレームの対応する画像信号、または撮像素子10からの暗フレームの対応する画像信号から、例えばA/D変換および/またはさらなる処理ステップ(例えば、複数の暗フレームにわたる平均化)によって得られる信号であってもよい。
【0043】
制御部およびオフセット減算部、ならびに場合によっては存在する画像処理部は、ハードウェアおよび/またはソフトウェアの形態とすることができる。それらは、1つまたは複数のハードウェアユニットおよび/またはソフトウェアユニットに実装されてもよい。それらはまた、クラウドに実装されてもよい。それらの各々はまた、1つまたは複数のコンピュータ(例えば、ラップトップ)に実装されてもよい。図6に示すように、それらは、メモリ820を備えるプロセッサ810によって実装されてもよく、メモリ820は、プロセッサ810によって方法が実行されるときに、プロセッサ810が本発明による方法を実行することを保証するプログラム命令を保存する。
【0044】
一般に、撮像素子に入射する光量が多いほど、撮像素子によって検出される光量が多いと仮定される。例えば、検出される光量は、入射光量に比例することができ、または光量が増加するにつれて徐々に飽和することを示すことができる。
図1
図2
図3
図4
図5
図6