知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-19
(54)【発明の名称】オンザフライ欠陥画素補正
(51)【国際特許分類】
H04N 25/683 20230101AFI20240312BHJP
【ＦＩ】
H04N25/683
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023558191
(86)(22)【出願日】2022-03-23
(85)【翻訳文提出日】2023-11-16
(86)【国際出願番号】 US2022021504
(87)【国際公開番号】W WO2022204256
(87)【国際公開日】2022-09-29
(31)【優先権主張番号】63/166,208
(32)【優先日】2021-03-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
２．ＪＡＶＡ
３．ＰＹＴＨＯＮ
４．ｉＯＳ
(71)【出願人】
【識別番号】501228071
【氏名又は名称】エスアールアイ インターナショナル
【氏名又は名称原語表記】ＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ
【住所又は居所原語表記】３３３ Ｒａｖｅｎｓｗｏｏｄ Ａｖｅｎｕｅ， Ｍｅｎｌｏ Ｐａｒｋ， Ｃａｌｉｆｏｒｎｉａ ９４０２５， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】ジュー， ルイ
(72)【発明者】
【氏名】レバイン， ピーター， エー．
(72)【発明者】
【氏名】アール， コリン
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX22
5C024CX26
5C024HX23
5C024HX29
(57)【要約】
２以上の画素を有する画素アレイを備えたイメージセンサが論ぜられる。欠陥画素検出器は、欠陥画素を検出する。動的閾値範囲は、近隣画素の振幅レベルに基づいている。欠陥画素検出器は、動的閾値範囲を用いて近隣画素の振幅レベルに対する分析対象の画素の振幅レベルに基づいて分析対象の画素の欠陥状態を検出及び判定することで、欠陥画素を検出する。欠陥画素検出器は、アルゴリズムを適用し、動的閾値範囲を作成するために使用される近隣画素についての候補画素パターンを作成する。動的閾値範囲の値は、近隣画素の振幅レベルに基づいて変化する。
【特許請求の範囲】
【請求項1】
２以上の画素を有する画素アレイを備えたイメージセンサと、欠陥画素を検出するように構成され、かつ動的閾値範囲が近隣画素の振幅レベルに基づく、欠陥画素検出器と、を含み、
前記欠陥画素検出器が、前記動的閾値範囲を用いて近隣画素の前記振幅レベルに対する分析対象の画素の振幅レベルに基づいて前記分析対象の画素の欠陥状態を検出及び判定することで、前記欠陥画素を検出するように構成され、かつ
前記欠陥画素検出器が、１又は２以上のアルゴリズムを適用し、前記動的閾値範囲を作成するために使用される前記近隣画素についての候補画素パターンを作成するように構成され、前記動的閾値範囲の値が、前記近隣画素の前記振幅レベルに基づいて変化する、
装置。
【請求項2】
前記欠陥画素検出器が、前記画素アレイを備えた前記イメージセンサが作動された後で、近隣画素の前記振幅レベルに対する前記分析対象の個別画素の前記振幅レベルに基づいて、前記欠陥画素を検出するように構成され、前記欠陥画素検出器が、前記近隣画素のうちの２以上の対応する画素候補パターンを用いる第１のアルゴリズムを適用し、前記欠陥画素を検出するために使用される前記動的閾値範囲を作成するように構成され、かつ
置換画素値生成器が、画素補正値を作成するための前記近隣画素のうちの２以上の異なるセットに基づいて前記画素補正値を生成するように構成される、
ことをさらに含む、請求項１に記載の装置。
【請求項3】
前記欠陥画素検出器が、少なくとも振幅レベル検出器を使用し、前記分析対象の個別画素並びに前記近隣画素を評価することによって、１又は２以上の欠陥画素を特定するように構成され、置換画素値生成器が、前記２以上の画素を有する前記画素アレイの動作寿命スパンにわたって、前記画素アレイの前記動作寿命スパンの間に前記１又は２以上の欠陥画素が欠陥のある状態になると画素値補正を行うように構成され、前記近隣画素が、前記分析対象の画素から最大４画素離れているが、前記アレイ内の画素のセット全体より少ない画素から選択される、請求項１に記載の装置。
【請求項4】
振幅検出器が、前記分析対象の個別画素の前記振幅レベルを決定し、次いで、前記振幅レベルを前記欠陥画素検出器に供給するように構成され、前記振幅検出器によって検出される前記振幅レベルが、前記分析対象の画素のｉ）暗電流ノイズの測定又はｉｉ）前記暗電流ノイズの数学的決定のうちの一方によって決定される前記暗電流ノイズを少なくとも含む、請求項１に記載の装置。
【請求項5】
前記欠陥画素検出器が、判断カーネルによって供給される候補画素パターンを用いる１又は２以上のアルゴリズムを適用し、１）前記分析対象の画素の画素値の前記振幅レベルを、前記判断カーネルによって示される近隣画素の第１のパターンの前記振幅レベルのｉ）中央値の範囲及びｉｉ）平均値のうちの少なくとも一方と比較すること、２）前記分析対象の画素の前記画素値の形状を、近隣画素の画素値の形状と比較すること、並びに１）及び２）の任意の組合せのために使用される前記動的閾値範囲を作成するようにさらに構成される、請求項１に記載の装置。
【請求項6】
置換画素値生成器が、２以上の近隣画素の画素値に基づいて画素補正値を動的に生成し、前記欠陥画素の画素値に対する前記画素補正値を決定し、次いで前記画素補正値を前記欠陥画素の前記画素値に対して置換するように構成され、ｉ）前記２以上の近隣画素の前記画素値の中央値及びｉｉ）前記２以上の近隣画素の前記画素値の平均値のうちの少なくとも一方が、前記欠陥画素の前記画素値に対する前記画素補正値として置換される、請求項１に記載の装置。
【請求項7】
置換画素値生成器が、前記分析対象の画素の画素値とｉｉ）動的閾値範囲にフラクショナル係数を足したものとの間で比較を行うときに画素補正値を生成するように構成され、前記分析対象の画素の前記画素値が前記動的閾値範囲に前記フラクショナル係数を足したものの外にあるとき、前記置換画素値生成器が、ｉ）前記分析対象の画素に欠陥があると判定し、次いで、ｉｉ）１）前記画素補正値を、２）前記欠陥画素の前記画素値に対して置換するように構成される、請求項１に記載の装置。
【請求項8】
前記欠陥画素検出器が、前記近隣画素の対応する画素候補パターンを用いる第１のアルゴリズムを適用し、前記欠陥画素を検出するために使用される動的閾値範囲を作成するように構成され、前記動的閾値範囲が、ｉ）前記近隣画素のノイズレベル及びｉｉ）前記近隣画素によって取り込まれた光信号レベルの両方に基づく、請求項１に記載の装置。
【請求項9】
ランダムテレグラフノイズ検出器、暗電流ノイズ検出器、及び画素読出しノイズ検出器が、前記近隣画素のノイズレベルを検出するように構成され、前記ランダムテレグラフノイズ検出器、前記暗電流ノイズ検出器、及び前記画素読出しノイズ検出器が、組み合わされて、前記欠陥画素検出器へのノイズ入力を提供するようにさらに構成され、かつ前記欠陥画素検出器が、置換画素値生成器に結合され、前記置換画素値生成器と通信し、前記ランダムテレグラフノイズ検出器、前記暗電流ノイズ検出器、前記画素読出しノイズ検出器の入力から決定される動的閾値範囲に基づいて前記欠陥画素に対する画素補正値を生成するようにさらに構成される、請求項１に記載の装置。
【請求項10】
イメージセンサのための方法であって、２以上の画素を有する画素アレイを備えたイメージセンサを構成するステップと、
欠陥画素を検出するように欠陥画素検出器を構成するステップであって、動的閾値範囲が近隣画素の振幅レベルに基づくものである、ステップと、
前記動的閾値範囲を用いて近隣画素の前記振幅レベルに対する分析対象の画素の振幅レベルに基づいて前記分析対象の画素の欠陥状態を検出及び判定することで、前記欠陥画素を検出するように前記欠陥画素検出器を構成するステップと、
１又は２以上のアルゴリズムを適用し、前記動的閾値範囲を作成するために使用される前記近隣画素についての候補画素パターンを作成するように前記欠陥画素検出器を構成するステップであって、前記動的閾値範囲の値が、前記近隣画素の前記振幅レベルに基づいて変化する、ステップと、
を含む、イメージセンサのための方法。
【請求項11】
前記画素アレイを備えた前記イメージセンサが作動された後で、近隣画素の前記振幅レベルに対する分析対象の個別画素の前記振幅レベルに基づいて、欠陥画素を検出するように欠陥画素検出器を構成するステップをさらに含む、請求項１０に記載のイメージセンサのための方法。
【請求項12】
少なくとも振幅レベル検出器を使用し、前記分析対象の個別画素並びに前記近隣画素を評価することによって、１又は２以上の欠陥画素を特定するように前記欠陥画素検出器を構成するステップと、前記２以上の画素を有する前記画素アレイの動作寿命スパンにわたって、前記画素アレイの前記動作寿命スパンの間に前記１又は２以上の欠陥画素が欠陥のある状態になると画素値補正を行うように置換画素値生成器を構成するステップとを含む、請求項１０に記載のイメージセンサのための方法。
【請求項13】
前記分析対象の個別画素の前記振幅レベルを決定し、前記振幅レベルを前記欠陥画素検出器に供給するように振幅検出器を構成するステップであって、前記振幅検出器によって検出される前記振幅レベルが、前記分析対象の画素のｉ）暗電流ノイズの測定又はｉｉ）前記暗電流ノイズの数学的決定のうちの一方によって決定される前記暗電流ノイズを少なくとも含む、ステップをさらに含む、請求項１０に記載のイメージセンサのための方法。
【請求項14】
判断カーネルによって供給される候補画素パターンを用いる１又は２以上のアルゴリズムを適用し、１）前記分析対象の画素の画素値の前記振幅レベルを、前記判断カーネルによって示される近隣画素の第１のパターンの前記振幅レベルのｉ）中央値の範囲及びｉｉ）平均値のうちの少なくとも一方と比較すること、２）前記分析対象の画素の前記画素値の形状を、近隣画素の画素値の形状と比較すること、並びに１）及び２）の任意の組合せのために使用される前記動的閾値範囲を作成するように前記欠陥画素検出器を構成するステップであって、前記近隣画素が、前記分析対象の画素から最大４画素離れているが、前記アレイ内の画素のセット全体より少ない画素から選択される、ステップをさらに含む、請求項１０に記載のイメージセンサのための方法。
【請求項15】
２以上の近隣画素の画素値に基づいて画素補正値を動的に生成し、前記欠陥画素の画素値に対する前記画素補正値を決定し、次いで前記画素補正値を前記欠陥画素の前記画素値に対して置換するように置換画素値生成器を構成するステップであって、ｉ）前記２以上の近隣画素の前記画素値の中央値及びｉｉ）前記２以上の近隣画素の前記画素値の平均値のうちの少なくとも一方が、前記欠陥画素の前記画素値に対する前記画素補正値として置換される、ステップをさらに含む、請求項１０に記載のイメージセンサのための方法。
【請求項16】
ｉ）前記分析対象の画素の画素値とｉｉ）動的閾値範囲にフラクショナル係数を足したものとの間で比較を行うときに画素補正値を生成するように置換画素値生成器を構成するステップと、前記分析対象の画素の前記画素値が前記動的閾値範囲に前記フラクショナル係数を足したものの外にあるとき、ｉ）前記分析対象の画素に欠陥があると判定し、次いで、ｉｉ）１）前記画素補正値を、２）前記欠陥画素の前記画素値に対して置換するように前記置換画素値生成器を構成するステップとをさらに含む、請求項１０に記載のイメージセンサのための方法。
【請求項17】
前記近隣画素の対応する画素候補パターンを用いる第１のアルゴリズムを適用し、前記欠陥画素を検出するために使用される動的閾値範囲を作成するように前記欠陥画素検出器を構成するステップであって、前記動的閾値範囲が、前記近隣画素の前記ノイズレベル及び前記近隣画素によって取り込まれる光信号レベルの両方に基づく、ステップをさらに含む、請求項１０に記載のイメージセンサのための方法。
【請求項18】
前記近隣画素のうちの２又は３以上の対応する画素候補パターンを用いる第１のアルゴリズムを適用し、前記欠陥画素を検出するために使用される前記動的閾値範囲を作成するように前記欠陥画素検出器を構成するステップと、画素補正値を作成するための前記近隣画素のうちの２又は３以上の異なるセットに基づいて前記画素補正値を生成するように置換画素値生成器を構成するステップと、
をさらに含む、請求項１０に記載のイメージセンサのための方法。
【請求項19】
２以上の画素を有する画素アレイを備えたイメージセンサを有するカメラと、動的閾値範囲が近隣画素の振幅レベルに基づくものであり、欠陥画素を検出するように構成された欠陥画素検出器と、を含み、
前記欠陥画素検出器が、前記動的閾値範囲を用いて近隣画素の前記振幅レベルに対する分析対象の画素の振幅レベルに基づいて前記分析対象の画素の欠陥状態を検出及び判定することで、前記欠陥画素を検出するように構成され、
前記欠陥画素検出器が、１又は２以上のアルゴリズムを適用し、前記動的閾値範囲を作成するために使用される前記近隣画素についての候補画素パターンを作成するように構成され、前記動的閾値範囲の値が、前記近隣画素の前記振幅レベルに基づいて変化するものであり、かつ
前記欠陥画素検出器が、前記分析対象の画素の前記欠陥状態を判定するとき、画素補正値を生成するように構成される置換画素生成器と、
をさらに含むシステム。
【請求項20】
前記カメラ、前記イメージセンサ、前記欠陥画素検出器、及び前記置換画素値生成器を含む、暗視ゴーグルである、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
相互参照
本出願は、米国特許法第１１９条の下で、２０２１年３月２５日に出願された「ＯＮ－ＴＨＥ－ＦＬＹ ＤＥＦＥＣＴＩＶＥ ＰＩＸＥＬ ＣＯＲＲＥＣＴＩＯＮ」と題する、米国仮特許出願第６３／１６６，２０８号に対する優先権を主張し、参照によってその開示全体が本明細書に組み込まれる。
本出願は、米国特許法第１１９条の下で、２０２１年３月２５日に出願された「ＯＮ－ＴＨＥ－ＦＬＹ ＤＥＦＥＣＴＩＶＥ ＰＩＸＥＬ ＣＯＲＲＥＣＴＩＯＮ」と題する、米国仮特許出願第６３／１６６，２０８号に対する優先権を主張し、参照によってその開示全体が本明細書に組み込まれる。
【0002】
政府の権利
本発明は、米陸軍契約司令部によって授与された取引契約Ｗ９０９ＭＹ－１８－９－０００１下で政府の支援がなされた。政府は、本発明において一定の権利を有する。
本発明は、米陸軍契約司令部によって授与された取引契約Ｗ９０９ＭＹ－１８－９－０００１下で政府の支援がなされた。政府は、本発明において一定の権利を有する。
【0003】
本明細書の概念の一実施形態は、イメージセンサにおける技法及びツールに関する。
【背景技術】
【0004】
使用され得る手法は、欠陥判定器として、ある画素とその近隣画素又はそれらの線形外挿との間で対比を行うことである。画素に欠陥があるかどうかを判定し、補正値を置換するために固定の閾値が使用される。特定の対比値を超えると、画素に欠陥があると判定される。一般に、閾値は十分に高く設定され、信号のショットノイズが偽陽性をトリガすることのないようにする。本手法は、画像から有用な細部を除去し過ぎる傾向がある。本手法は、特に、近隣画素に基づく線形外挿が上手く機能しないため、関心のある信号が背景に近いときに低光条件下で、有用な細部を除去し過ぎる傾向がある。設定された閾値が高すぎる場合、本手法は、低光レベルの画像に見られるランダムテレグラフノイズ（ＲＴＮ）又は低レベル高暗電流画素を除去しない。
【0005】
欠陥画素を補正するために使用される別の手法は、欠陥画素位置のマップを記憶し、周囲画素でそれらを置き換えることである。これは、画素アレイを収容するチップに組み込まれた不揮発性メモリを必要とし、製造時の較正中に検出されるような欠陥画素に限定される。記憶されたマップは、例えば、イメージセンサが作動された後で、動作電圧の変更又は経年変化によって新たに発生した欠陥画素を補正することはできない。本手法は、フレーム単位でＲＴＮを除去しない。
【0006】
他の手法も使用されてきた。例えば、ＰＲＸ Ｃｏｒｐｏｒａｔｉｏｎに譲渡された２００２年に出願の「Ａｄｄｒｅｓｓａｂｌｅ ｉｍａｇｅｒ ｗｉｔｈ ｒｅａｌ ｔｉｍｅ ｄｅｆｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｕｂｓｔｉｔｕｔｉｏｎ」と題する米国特許第７，１２９，９７５号、及び１９７９年に出願の「Ｄｅｆｅｃｔ＿ｄｅｔｅｃｔｉｏｎ＿ｍｅａｎｓ＿ｆｏｒ＿ｃｈａｒｇｅ＿ｔｒａｎｓｆｅｒ ｉｍａｇｅｒｓ」と題する米国特許第４，２５３，１２０号を参照されたい。特許第７，１２９，９７５号は、画素内のノイズレベルに関する検出について開示しておらず、図２Ｂに示されるように、「最小の（光）のスポット２１２が、単一画素に実質的に閉じ込められている。」（"９７５号４列目１１～１２行目）。
【発明の概要】
【0007】
本明細書で提供されるのは、画素アレイを備えたイメージセンサのための様々な方法、装置、及びシステムである。
【0008】
一実施形態では、カメラは、画素アレイを備えたイメージセンサを有することができる。画素アレイは、そのアレイを構成する２以上の画素を有する。欠陥画素検出器は、欠陥画素を検出する。動的閾値範囲は、近隣画素（neighboring pixels）の振幅レベルに基づいている。欠陥画素検出器は、動的閾値範囲を用いて近隣画素の振幅レベルに対する分析対象の画素の振幅レベルに基づいて分析対象の画素の欠陥状態を検出及び判定することで、欠陥画素を検出する。欠陥画素検出器は、アルゴリズムを適用し、動的閾値範囲を作成するために使用される近隣画素についての候補画素パターンを作成する。動的閾値範囲の値は、近隣画素の振幅レベルに基づいて変化し、近隣画素は、分析対象の画素から最大４画素離れているが、アレイ内の画素のセット全体よりも少ない画素から選択される。
【0009】
これら及びさらに多くの実施形態について説明する。
【0010】
添付図面と関連する以下の詳細な説明を検討することにより、様々な例示の実施形態をより完全に理解することができる。
【図面の簡単な説明】
【0011】
【図1】画素アレイを備えたイメージセンサが作動された後で、画素アレイにおける近隣画素のノイズレベル（例えば、ノイズシグネチャ）に基づいて欠陥画素を検出するための１又は２以上の欠陥画素検出器を備えた例示のカメラの一実施形態のブロック図である。
【0012】
【図2】その中に２以上の画素を有する画素アレイ、及び置換画素値生成器と協働するオンザフライ欠陥画素検出器を備えた例示のイメージセンサの一実施形態を示す図である。
【0013】
【図3】動的閾値範囲を使用し、分析対象の画素に欠陥があると判定し、次いで１）画素補正値を２）欠陥画素の画素値に対して置換する、例示の置換画素値生成器と協働する例示のオンザフライ欠陥画素検出器の一実施形態を示す図である。
【0014】
【図4】第１の判断カーネルによって供給される近隣画素の候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は第１の置換えカーネルによって供給される近隣画素の候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す図である。
【0015】
【図5】第２の判断カーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は第２の置換えカーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す図である。
【0016】
【図6】第３の判断カーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は第３の置換えカーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す図である。
【0017】
【図7】第４の判断カーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は第４の置換えカーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す図である。
【0018】
【図8】２以上の画素を有する画素アレイ、オンザフライ欠陥画素検出器、及び置換画素値生成器の一実施形態に従ってネットワーク環境において互いに通信するいくつかの電子システム及びデバイスの図である。
【0019】
【図9】プロセッサを備えたメモリ上に記憶されているファームウェアと関連付けられたシステムの一部となり、本明細書で説明されるコンポーネントによって使用される種々のアルゴリズム及びカーネルを実装及び実行することができる、１又は２以上のコンピューティングデバイスの一実施形態の図である。
【発明を実施するための形態】
【0020】
本設計は、様々な修正、等価物、及び代替形態に従うが、その特定の実施形態が、図面において例示の目的で示されており、以下で詳細に説明する。本設計は、開示される特定の実施形態に限定されておらず、それとは異なり、本発明は、特定の実施形態で使用するすべての修正、等価物、及び代替形態を網羅することを理解されたい。
【0021】
図１は、画素アレイを備えたイメージセンサが作動された後で、画素アレイにおける近隣画素（neighboring pixels）のノイズレベル（例えば、ノイズシグネチャ）に基づいて欠陥画素を検出するための１又は２以上の欠陥画素検出器を備えた例示のカメラの一実施形態のブロック図を示す。
【0022】
カメラは、光学レンズ、イメージセンサ、アナログフロントエンドプロセス（及びアナログフロントエンドにおけるアナログ－デジタル変換）、画像処理ユニット、タイミング発生器、イメージセンサチップ上に及び／又は画像処理ユニット内にあるオンザフライ（on-the-fly）欠陥画素検出器１００、イメージセンサチップ上で発生される撮像タイミングを制御するタイミング発生器、並びにイメージセンサチップ上に及び／又は画像処理ユニット内にある置換画素値生成器１５０を通して被写体の画像を取り込む。
【0023】
一実施形態では、オンザフライ欠陥画素検出器１００は、イメージセンサチップ上に配置され、置換画素値生成器１５０は、生デジタル画像の作成中ではなく、生デジタル画像上の画素値に対して補正を作成する。
【0024】
画素アレイでは、これらの画素の各々が、欠陥画素検出器からの分析対象となる可能性があり、また分析対象となるとともに、欠陥があると判定されると、欠陥画素の画素値に対して画素補正値が生成される。最終的に、アレイにおけるすべての画素が、画素の参照試験セットとして使用される近隣画素の移動するセットの一部となる。各画素は、周囲画素の出力に基づいて試験される。
【0025】
１又は２以上のオンザフライ欠陥画素検出器１００は、画素アレイを備えたイメージセンサが作動された後で、近隣画素の振幅レベル（例えば、画素内の光信号やノイズ信号）に対する、分析対象の個別画素の振幅レベルに基づいて、欠陥画素を検出する。周囲画素に関するノイズを使用して、検出をトリガするための閾値を設定することができる。分析／試験対象の画素は、ノイズ測定には使用されない。
【0026】
オンザフライ欠陥画素検出器１００における検出アルゴリズムは、すべてのフレームにおけるすべての画素に対してカーネル（kernel）を評定する。分析対象の画素の画素振幅が近隣画素に対する動的閾値範囲外にある場合、欠陥があると見なされる。検出閾値範囲は、周囲画素ノイズに基づいて調節される。読出しノイズが優勢な暗視野（例えば、低周囲光条件）では、検出閾値範囲は、ＲＴＮを検出できるほど低く設定される。より高い周囲光条件、したがってより高いショットノイズでは、検出閾値範囲を拡大して、ショットノイズが欠陥画素として解釈されないようにする。本手法では、周囲光信号レベルと、分析対象の画素の周りにある近隣画素のカーネルにおけるノイズレベルとを知っている必要がある。
【0027】
オンザフライ欠陥画素検出器１００は、少なくともノイズレベルに基づいて、近隣画素の対応する候補パターン（例えば、カーネル）を用いる、ｉ）信号の平方根、ｉｉ）信号のピークツーピーク、ｉｉｉ）２以上の近隣画素の画素値の中央値の範囲、ｉＶ）画素値の平均値等の様々なアルゴリズムを適用し、動的閾値範囲を作成することができ、次いで、光信号レベルも考慮に入れることができる。動的閾値範囲を構成する値は、近隣画素のノイズレベルに基づいて変化し得る。近隣画素のパターン（例えば、近隣画素のプール）は、カーネルによって示される（例えば、図４～図７参照）。
【0028】
オンザフライ欠陥画素検出器１００は、複数の近隣画素の画素値を評価し、この分析対象の個別画素の画素値に欠陥があるか否かを判定することができる。本方法は、単一画素の画素値のその近隣画素からの逸脱を検出する。
【0029】
ここでシステム及び方法が対処している２つのノイズ問題がある。
【0030】
１． ＲＴＮ：ランダムテレグラフノイズ（ＲＴＮ）を見るためには、非常に低いノイズが必要とされる。ＲＴＮは、暗視のための光条件などの低光レベルで見られる。ＲＴＮは、画像内のランダムに点滅する画素として現れる。
【0031】
２． 高暗電流画素（ホワイトスポット）：これらの画素は、温度及びイメージャ積分時間に伴い強度が変化し、一般に、カメラにおいて許容されていない。ｉ）ＲＴＮ画素位置は、フレームごとに異なり、ｉｉ）高暗電流画素の明るさは、温度依存である。これは、温度に応じて、分析対象の特定の画素が、その画素値の置換を必要とする場合も必要としない場合もあるということを意味する。
【0032】
暗視に使用される低光レベルでは、ＲＴＮは画像内のランダムに点滅する画素として現れる。ＲＴＮに起因するランダムに点滅する画素は、目に対して邪魔となり得る。また、置換画素値生成器は、補正を必要とするフレームに対してのみ置換画素値を生成する。
【0033】
画素内のＲＴＮは、１０～１００フレーム又はそれ以上ごとに発生するため、ＲＴＮが発生するフレームごとに置き換えることにより、生み出される最終画像から桁違いの数のフレームが削除されることに留意されたい。
【0034】
また、画素は、大量の暗電流を有し、画像内にホワイトスポットとして現れる場合もある。大量の暗電流を有するこれらの画素は、温度やイメージャ積分時間に伴い変化し得るため、一般にイメージャにおいて許容されないものとなる。
【0035】
オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０は、協働し、シーンの光レベル内でリアルタイムに画素単位やフレーム単位で高ＲＴＮを持つ画素や高暗電流画素（明るい画素）を検出し、次いで、画素補正値を欠陥画素の画素値に対して加算／置換する方法を提供する。
【0036】
高暗電流画素を検出し、次いで、画素位置及び振幅情報を温度の関数としてメモリ内に記憶した後、この情報を、補正のために使用できることに留意されたい。暗電流画素の記憶及び置換えの欠点は、複数の温度における振幅及び位置を較正及び記憶することが必要となることである。欠陥のメカニズムが、常に同じではないため、振幅対温度は、すべての高暗電流画素に対して同じではない。
【0037】
本方法及びシステムは、良好画素又は不良／欠陥画素の動的判定要因として画素のノイズを使用する。置換画素値生成器１５０は、リアルタイムで補正を行い、これにより、フレーム単位で変化するＲＴＮノイズを補正することが可能となる。置換画素値生成器１５０は、暗電流スポットなどの他の欠陥に対しても補正を行う。この暗電流スポットは、ＲＴＮよりも安定しているが、温度に伴い変化し、経年変化に起因して現れ得る。オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０によって実行されるオンザフライの欠陥検出及び置換によってこれらの変化するタイプの欠陥も補正される。したがって、オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０は、協働し、シーン内容と画素欠陥とを区別し、次いで、近隣画素からの情報を欠陥画素に対して置換する。
【0038】
ＣＭＯＳイメージャは、高い画素歩留まりを有し得る。しかし、高暗電流画素やランダムテレグラフノイズ（ＲＴＮ）などの要因により、一般に、補正が必要となる画素がある。オンザフライ欠陥画素検出器１００は、近隣画素を使用する欠陥画素インジケータとすることができ、近隣画素を使用する置換画素値生成器１５０と通信することができる。本プロセスは、２つのステップを使用する。第１に、オンザフライ欠陥画素検出器１００が、画素に欠陥があると判定することができる。第２に、置換画素値生成器１５０が、近隣画素を使用して補正信号、例えば欠陥画素に対する画素補正値を形成し、欠陥画素の画素値を置き換えることができる。近隣画素値の中央値又は線形外挿を使用して、欠陥画素を検出し、且つ／又は欠陥画素に対して画素値を補正することができる。
【0039】
オンザフライ欠陥画素検出器１００は、ＲＴＮに基づく欠陥画素の検出及び画素値の置換えのための手法を提供することができる。ＲＴＮは、フレームごとにランダムであり、数個の電子のピークツーピーク振幅を有する。
【0040】
暗電流は、イメージアレイセンサ上の光の光子の到来プロセスによって引き起こされることに留意されたい。イメージセンサからの画像のより明るい部分における優勢なノイズは、典型的には、統計的量子変動、すなわち、所与の露光レベルにおいて検知される光子の数のばらつきによって引き起こされる。これが、ノイズとして検知される。
【0041】
置換画素値生成器１５０及びオンザフライ欠陥画素検出器１００は、協働し、オンザフライの検出及び補正を使用してイメージセンサの寿命スパンにわたってより多くの非欠陥画素を生み出し、維持することができる。
【0042】
オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０が、協働し、アレイの動作寿命の間、リアルタイムでアレイ内の画素を評定するため、製造時のカメラごとの較正を必要としない。
【0043】
オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０は、協働し、近隣画素を使用して欠陥画素を特定し、ＣＭＯＳイメージャに対してオンザフライ欠陥画素補正を行う。オンザフライ欠陥画素検出器１００は、各画素が、近隣画素ノイズによって決定される検出閾値を有するという点で動的である。欠陥画素は、通常、単一の隔離された画素であるため（シーン内容は、レンズの変調伝達関数（ＭＴＦ：ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）及び回折、並びに画素間の光学的クロストークに起因してより拡散しているが）、オンザフライの補正が可能となる。
【0044】
図２は、２以上の画素を有する画素アレイ、及び置換画素値生成器と協働するオンザフライ欠陥画素検出器を備えた例示のイメージセンサの一実施形態を示す図である。
【0045】
イメージセンサはまた、ノイズレベル検出器、クロック及びタイミング発生器、発振器、振幅検出器、ラインドライバ、並びにイメージセンサのために第１の画素１２０などの２又は３以上の画素の値にアクセスし、それらの値を読み出すための行列アクセス制御システムを有する。画素ボックスは、画素自体の外側にあるダイオードを示しているが、一実施形態では、ダイオードが画素自体の中に作製され得ることに留意されたい。アレイ内の画素の密度は、アレイによって取り込まれた画像からの所与の光信号が、２以上の画素によって検出されるようになっていることに留意されたい。実際、その画像内の光のスポットが、近隣画素群全体にわたって拡がることになる。
【0046】
１又は２以上のオンザフライ欠陥画素検出器１００は、画素アレイを備えたイメージセンサが作動された後で、近隣画素の振幅レベルに対する分析対象の個別画素の振幅レベルに基づいて、欠陥画素（初期の工場試験では良好であることが証明されている）を検出することができる。次に、置換画素値生成器１５０は、画素に欠陥があると通知され、デバイスの動作寿命スパンにわたって画素アレイ内の欠陥／不良画素の値を動的に（例えば、オンザフライで）補正する。これは、低光撮像の場合に特に役に立つことに留意されたい。したがって、置換画素値生成器１５０は、目立ちにくい値において置換を行うことによって欠陥／不良画素の値を動的に補正する。
【0047】
ノイズ検出器は、画素読出しノイズレベルのｉ）統計的決定又はｉｉ）実際の測定を使用し、次いで、ショットノイズ（ＲＴＮや暗電流ノイズ）を考慮に入れて分析対象の個別画素のノイズレベルを決定した後、それを、オンザフライ欠陥画素検出器１００に供給することに留意されたい。一実施形態では、ノイズは、光子ショットノイズ、読出しノイズ、及び暗電流ショットノイズであり、これは、求積法によって加算される。ノイズ検出器によって検出されるノイズレベルは、分析対象の画素のｉ）暗電流ノイズの測定又はｉｉ）暗電流ノイズの数学的（例えば、統計的）決定のうちの一方によって決定される暗電流ノイズを少なくとも含む。画素の画素値読出しは、取り込まれた光レベル及び画素に存在するノイズレベルを含むことに留意されたい。ノイズ検出器は、測定された画素値に基づいてその画素における近似ノイズ信号レベルを計算することができる。単位面積当たりの画素の密度に依存する近隣画素の画素値の分散、したがって振幅レベルは、近隣画素の各々におけるノイズ信号レベルを示す。繰り返しになるが、画像からの単一光ビームが、一般に、分析対象の画素並びにその近隣画素によって検出される。
【0048】
オンザフライ欠陥画素検出器１００は、少なくともノイズレベル検出器を使用し、分析対象の個別画素並びに近隣画素をオンザフライで評価することによって、１又は２以上の欠陥画素を特定する。欠陥画素検出器はまた、少なくとも振幅レベル検出器を使用し、分析対象の個別画素並びに近隣画素を評価することによって、１又は２以上の欠陥画素を特定することができる。
【0049】
置換画素値生成器１５０は、２以上の画素を有する画素アレイの動作寿命スパンにわたって、画素アレイの動作寿命スパンの間に１又は２以上の欠陥画素が欠陥のある状態になると、オンザフライの画素値補正を行う。
【0050】
置換画素値生成器１５０は、２以上の近隣画素の画素値に基づいて画素補正値を動的に生成し、欠陥画素の画素値に対する画素補正値を決定し、次いで、その画素補正値を欠陥画素の画素値に対して置換する。
【0051】
ｉ）２以上の近隣画素の画素値の中央値、及びｉｉ）２以上の近隣画素の画素値の平均値のうちの少なくとも一方が、欠陥画素の画素値に対する画素補正値として置換される。
【0052】
欠陥画素検出器は、（以下の）両アルゴリズムを使用し、分析対象の画素及びその近隣画素について検討を行った後、その近隣画素のノイズレベルと比較してノイズレベルが低すぎるか又はノイズレベルが高すぎるものとして目立っている個別画素を選抜する。オンザフライ欠陥画素検出器は、動的閾値範囲を使用し、近隣画素のノイズレベルに基づいて分析対象の画素の欠陥状態を検出及び判定する。動的閾値範囲を使用し、不良／欠陥画素を検出することにより、検出アルゴリズムが高光レベル条件並びに低光レベル条件の両方において効果的なものとすることができる。
【0053】
アルゴリズム１－信号の平方根（ｓｑｒｔ）
判断カーネルの最大値及び最小値を求め、ｍｉｎ－係数＊ｓｑｒｔ（ｍｉｎ）及びｍａｘ＋係数＊ｓｑｒｔ（ｍａｘ）の正常範囲を定義する。正常範囲は、画素ショットノイズを考慮に入れる。画素読出しが、正常範囲外にある場合、欠陥がある（例えば、図３参照）。
判断カーネルの最大値及び最小値を求め、ｍｉｎ－係数＊ｓｑｒｔ（ｍｉｎ）及びｍａｘ＋係数＊ｓｑｒｔ（ｍａｘ）の正常範囲を定義する。正常範囲は、画素ショットノイズを考慮に入れる。画素読出しが、正常範囲外にある場合、欠陥がある（例えば、図３参照）。
【0054】
欠陥画素検出器は、低信号レベルの平方根を取るときのオフセット値及び／又は数学的演算子を使用することができる。低光信号レベルでは、画素読出しノイズが優勢となり、画素ノイズレベルは、信号の平方根に比例しない。
【0055】
アルゴリズム２－信号のピークツーピーク
判断カーネルの最大値、最小値、（ｐ２ｐ＝ｍａｘ－ｍｉｎ）及び中央値を求め、正常範囲を中央値－係数＊ｐ２ｐ－調整値及び中央値＋係数＊ｐ２ｐ＋調整値として定義する。正常範囲は、（ｐ２ｐの形で）画素ショットノイズを考慮に入れる。画素読出しが、正常範囲外である場合、欠陥がある。
判断カーネルの最大値、最小値、（ｐ２ｐ＝ｍａｘ－ｍｉｎ）及び中央値を求め、正常範囲を中央値－係数＊ｐ２ｐ－調整値及び中央値＋係数＊ｐ２ｐ＋調整値として定義する。正常範囲は、（ｐ２ｐの形で）画素ショットノイズを考慮に入れる。画素読出しが、正常範囲外である場合、欠陥がある。
【0056】
欠陥画素検出器は、ライティング条件が明るいとき、オフセット値及び／又は数学的演算子の使用を気にする必要はないが、中央値又は平均値は、すべての画素の判断カーネルについて求める必要がある。欠陥画素検出器は、動的閾値範囲を用いて近隣画素の振幅レベルに対する分析対象の画素の振幅レベルに基づいて分析対象の画素の欠陥状態を検出及び判定することで、欠陥画素を検出することができる。
【0057】
画素に欠陥があると判定されると、置換えカーネルの中央値又は置換えカーネルの平均値が計算され、画素値が置き換えられる。
【0058】
同様に、置換画素補正値生成器は、１又は２以上の近隣画素の画素値に基づいて画素補正値を動的に生成し、欠陥画素の画素値に対する画素補正値を決定し、次いでこの画素補正値を欠陥画素の画素値に対して置換することができる。一実施形態では、個別画素に欠陥があると判定されると、置換えカーネルの中央値が計算され、個別画素が置き換えられる。一実施形態では、個別画素に欠陥があると判定されると、置換えカーネルの平均値が計算され、個別画素が置き換えられる。
【0059】
繰り返しになるが、オンザフライ欠陥画素検出器は、動的閾値範囲を用いて近隣画素の振幅レベルに対する分析対象の画素の振幅レベルに基づいて分析対象の画素の欠陥状態を検出及び判定することで、欠陥画素を検出することができる。オンザフライ欠陥画素検出器は、１又は２以上のアルゴリズムを適用し、動的閾値範囲を作成するために使用される近隣画素についての候補画素パターンを作成する。したがって、分析対象の画素の振幅値と比較される動的閾値範囲は、近隣画素の振幅レベルに基づいて変化する。
【0060】
オンザフライ欠陥画素検出器１００は、分析対象の画素の振幅値を決定し、（次いでシーンが明光信号レベル条件であるか又は低光信号条件であるかを考慮し）、その情報を動的閾値範囲にフラクショナル値（fractional value）を足し引きしたものと比較する。比較が、分析対象の画素の振幅レベル（例えば、取り込まれた光信号に画素のノイズレベルを足したもの）が、その動的閾値範囲にフラクショナル値を足し引きしたものの外にあることを示している場合、分析対象の画素が欠陥画素であると見なされ、画素補正値の生成が必要となる。
【0061】
基本原理は、両アルゴリズムで同じであり、分析対象の画素に対する近隣画素のノイズレベルを考慮し、その近隣画素のノイズと比較して目立っている各々の画素を選抜する。
【0062】
アルゴリズム２は、２つのカーネルの中央値の計算を必要とするが、「オフセット」を知っている必要はなく、「調整値」は、実際のカメラのオフセット設定により変わる場合も変わらない場合もある。
【0063】
ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、ガスイメージャ、及び／又はサーマルイメージャが、オンザフライ欠陥画素検出器１００及び置換／画素補正値生成器を使用してもよいことに留意されたい。イメージセンサ上の各画素アレイは、数百万の画素で構成され得る。オンザフライ欠陥画素検出器１００及び置換／画素補正値生成器は、イメージセンサの動作中に、画素に対する数百万の計算を定期的に実行する。なぜなら、分析対象の個別画素に対して実行される計算はまた、近隣画素の平均ノイズレベル及び動的閾値範囲が何であるかを割り出して、各個別画素が良好であるか又は不良である／欠陥があるかを判定し、欠陥がある場合には、画素補正値が何であるかを割り出す必要があるからである。
【0064】
低光レベル条件は、約１０ルクス未満となり得ることに留意されたい。明光レベル条件は、１０，０００ルクスとすることができる。朗報として、高光信号レベルでは、欠陥画素（ＲＴＮ画素やホット画素）が、ショットノイズ内に埋もれやすいため、目の邪魔にならなくなるということに留意されたい。それらの補正は、不要となり得る。
【0065】
図３は、動的閾値範囲を使用し、分析対象の画素に欠陥があると判定し、次いで１）画素補正値を２）欠陥画素の画素値に対して置換する、例示の置換画素値生成器と協働する例示のオンザフライ欠陥画素検出器の一実施形態を示す。
【0066】
動的欠陥画素検出器は、読出しノイズ検出器、光信号レベル検出器、及びショットノイズ検出器（例えば、ＲＴＮノイズ検出器と暗電流ノイズ検出器とを組み合わせたもの）と連携して、画素群によって検知されたノイズレベル及び光信号レベルの両方に基づいて動的閾値範囲を決定する。画素が低光条件にあるとき、動的閾値範囲は、閾値範囲ベースに読出しノイズを足したものとすることができる。画素が、明光条件など、平均光条件以上であるとき、動的閾値範囲は、閾値範囲ベースに暗電流ノイズを足したものとすることができる。中央において、図３は、４つの画素が分析対象の画素を取り囲んでいる例示の画素群を示す。右下において、図３は、欠陥画素を判定するために使用される動的閾値範囲にフラクショナル値を足したものを示しており、欠陥画素が判定されると、動的閾値範囲を使用して、置換画素値生成器１５０を決定することができる。
【0067】
ノイズ検出器は、複数の異なるタイプのノイズを考慮に入れる。ＲＴＮノイズ検出器、暗電流ノイズ検出器、及び画素読出しノイズ検出器は、分析対象の個別画素のノイズレベル及び近隣画素のノイズレベルを検出することができる。ＲＴＮノイズ検出器、暗電流ノイズ検出器、及び画素読出しノイズ検出器が組み合わされて、光信号レベル検出器からの光信号レベルとともに、オンザフライ欠陥画素検出器１００へのノイズ入力を提供することができる。ＲＴＮノイズ検出器及び暗電流ノイズ検出器が組み合わされて、置換補正値生成器へのショットノイズ入力を提供することができる。
【0068】
１又は２以上のノイズ検出器は、この画素の値の１）ノイズレベルの実際の測定並びに２）ノイズレベルの数学的（例えば、統計的）決定のうちの少なくとも一方を使用することができる。ＲＴＮノイズ検出器及び暗電流ノイズ検出器は、協働し、信号ＡＤＣカメラオフセット（分析対象の画素の値から減算する必要がある）に基づいて、ショットノイズのより正確な値を得ることができる。読出しノイズがショットノイズに対して優勢となる低信号レベルでは、画素読出しノイズのヒストグラムを得ることができ、乗算係数を調節して、ショットノイズを近似することができる。欠陥画素を特定するために使用される値は、補正に対しても使用する必要はないため、近似誤差は、ほとんど影響しない。
【0069】
近隣画素の最高画素値及び最低画素値の振幅間の差も瞬時局所ピークツーピークノイズとして扱われ得る。この値は、定数によって乗算し、欠陥画素を定義するための動的閾値範囲として使用される。
【0070】
読出しノイズ検出器は、画素の画素読出しノイズを読み出す。画素の画素読出しノイズは、画素からのノイズとＡＤＣからのノイズとの組合せとすることができる。イメージセンサの画素読出しノイズは、暗闇の積分時間ゼロ時のカメラの出力におけるものと同等のノイズレベル（電子ＲＭＩ単位）となり得る。
【0071】
オンザフライ欠陥画素検出器１００は、置換画素値生成器１５０に結合され、置換画素値生成器１５０と通信して、ＲＴＮノイズ検出器、暗電流ノイズ検出器、画素読出しノイズ検出器、及び光信号レベル検出器の入力から決定される動的閾値範囲に基づいて欠陥画素に対する画素補正値を生成することができる。繰り返しになるが、オンザフライ欠陥画素検出器１００は、近隣画素の対応する画素候補パターンを用いるアルゴリズムを適用し、欠陥画素を検出するために使用される動的閾値範囲を作成することができる。したがって、動的閾値範囲は、近隣画素のノイズレベル及び近隣画素によって取り込まれる光信号レベルに基づき得る。
【0072】
オンザフライ欠陥画素検出器１００は、複数の近隣画素の画素値を評価し、分析対象の個別画素の画素値に欠陥があるか否かを判定する。本方法は、単一画素の画素値の振幅レベルのその近隣画素の振幅レベルからの逸脱を検出する。画素の画素値がその近接画素に対して劇的に変化していることを見たときに理解すべき考え方は、それが実際のものではなく欠陥の徴候であるということである。なぜなら光源が単一画素に集光し、近隣画素に影響を及ぼさないということはないからである。
【0073】
図３における、画素Ｐ（ｍ，ｎ）、並びにその上、下、左、右にある近隣画素Ｐ（ｍ－１，ｎ）、Ｐ（ｍ＋１，ｎ）、Ｐ（ｍ，ｎ－１）及びＰ（ｍ，ｎ＋１）について検討する。これら４つの画素は、振幅信号レベルＳ１、Ｓ２、Ｓ３、Ｓ４及び対応するＲＭＳノイズＮ１、Ｎ２、Ｎ３、Ｎ４を有する。分析対象の中心画素Ｐ（ｍ，ｎ）について、画素Ｐ（ｍ，ｎ）の振幅信号レベルＳが、周囲画素Ｐ（ｍ－１，ｎ）、Ｐ（ｍ＋１，ｎ）、Ｐ（ｍ，ｎ－１）及びＰ（ｍ，ｎ＋１）の振幅信号レベルの中で調和している場合、分析対象の画素Ｐ（ｍ，ｎ）の画素値を補正する必要はない。分析対象の中心画素Ｐ（ｍ，ｎ）について、画素Ｐ（ｍ，ｎ）の振幅信号レベルＳが目立つ場合、補正が必要となる欠陥画素である可能性が高い。実際のシーン特徴では、近隣画素がゆっくりと変化するため、画素Ｐ（ｍ，ｎ）などの単一の画素が、その近隣画素Ｐ（ｍ－１，ｎ）、Ｐ（ｍ＋１，ｎ）、Ｐ（ｍ，ｎ－１）及びＰ（ｍ，ｎ＋１）と、それらの近隣画素に関連付けられた振幅レベルを大幅に超えて異なるはずがないことに留意されたい。
【0074】
オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０は、近隣画素ノイズから計算された判定値を使用することができる。画素値が、近隣画素のノイズによって定義された範囲外にある場合、分析対象の画素に欠陥があると見なされ、次いで、近隣画素の画素値を使用して、置換／画素補正値を形成することができる。画素補正値を決定するために使用される画素は、分析対象の画素に欠陥があるかどうかを検出及び判定するために使用される閾値の設定に使用される画素と同じでなくてもよい。分析対象の画素に欠陥があるかどうかを検出及び判定するために使用される閾値は、読出しノイズ、暗電流ショットノイズ、及び光子／ＲＴＮショットノイズを組み合わせたものによって確立することができる。ノイズレベルが高い場合、フラクショナルオフセット値を用いて使用される閾値を上げることができる。これは、ランダムノイズが高いと、欠陥が小さすぎる場合にそれを見ることがより困難となる又は不可能となるという考えと一致している。
【0075】
画素の画素値が、ショットノイズ優勢である場合（大半のケースに当てはまる）、画素ノイズレベルは、一般に、ポアソン統計に従う。ＲＭＳノイズレベルは、信号の平方根であり、ピークツーピークノイズレベルは、ＲＭＳノイズの約５～６倍のレベルである。したがって、例えば、近隣画素の４つの振幅信号レベルＳ１、Ｓ２、Ｓ３、Ｓ４に基づいて、置換画素値生成器１５０及び／又はオンザフライ欠陥画素検出器１００は、Ｓｍａｘ＝ｍａｘ（Ｓ１，Ｓ２，Ｓ３，Ｓ４）及びＳｍｉｎ＝ｍｉｎ（Ｓ１，Ｓ２，Ｓ３，Ｓ４）を求めることができる。中心画素の振幅レベルＳが、Ｓｍａｘ＋２．５＊ｓｑｒｔ（Ｓｍａｘ）とＳｍｉｎ－２．５＊ｓｑｒｔ（Ｓｍｉｎ）との間であるとき、オンザフライ欠陥画素検出器１００は、中心画素の振幅レベルＳが、近隣画素のノイズレベルとよく調和していると見なすことができる。中心画素の振幅レベルが、この範囲外にある場合、置換画素値生成器１５０は、２以上の近隣画素の画素値に基づいて画素補正値を動的に生成し、欠陥画素の画素値に対する画素補正値を決定し、次いでこの画素補正値を欠陥画素の画素値に対して置換することができる。欠陥画素の画素値に対して画素補正値を形成するための１つの手法は、周囲画素値の振幅レベルＳ１、Ｓ２、Ｓ３、及びＳ４の中央値を使用することである。この方法により、すべての光信号レベル及び暗電流レベルに対して目立っている欠陥画素のみが特定され、補正される。
【0076】
本手法は、最小数の画素を補正する。少数の周囲画素を使用して欠陥画素の画素値に対する画素補正値を形成することで、画像の細部が保持される。この例では、ノイズレベルに対する平方根値は、オンザフライ欠陥画素検出器１００が欠陥画素を検出するために使用され、欠陥画素の最終的な置換えの画素補正値のためには使用されないため、これは、近似値とすることができる。係数２．５は、動的閾値範囲に（この例では）２．５のフラクショナル係数を足したものの決定を介して調節を行い、欠陥画素の定義を緩めたり、厳しくしたりすることができる。
【0077】
本手法では、シーン内容の目立っている欠陥画素のみが補正されることになる。補正される画素数が削減され、シーン細部が最良に保たれる。閾値を事前に確立する必要がないため、本手法は制作によく適している。検出された振幅レベルを超えるフラクションのみが事前に決定される。閾値に対して追加されるフラクションは、すべての条件に対して機能する必要がある固定値を設定するよりも閾値の小さな部分とすることができる。
【0078】
動的閾値範囲のフラクション（例えば、その動的閾値範囲の倍数）は、一般的なフラクショナル値では３％とすることができ、１％～１０％の相対範囲を有することができる。アルゴリズムが、良好な画素値であることを示す範囲値を計算し、置換／画素補正値の生成をトリガするまでにこの範囲からどの程度外れることをユーザが許容するかを考慮に入れるため、これは、ユーザプログラマブルである。
【0079】
動的閾値範囲のフラクションは、アルゴリズムが、良好な画素値であることを示す範囲値を計算し、置換／画素補正値の生成をトリガするまでにこの範囲からどの程度外れることをユーザが許容するかを考慮に入れるため、ユーザプログラマブルである。
【0080】
一例では、フラクショナル値が０．０３であった場合、アルゴリズムは、動的閾値範囲の最高値（例えば、０．０３のフラクショナル値ポイントの１１０倍であり、およそ１１３に等しい）と閾値範囲の最低値（例えば、０．０３のフラクショナル値ポイントの８９倍であり、およそ８６に等しい）とを取り、高すぎるか又は低すぎる振幅レベルが欠陥と見なされる。
【0081】
したがって、この例では、アルゴリズムは、許容可能な良好な画素値であることを示す動的閾値範囲を、近隣画素の振幅シグネチャに基づいて算出し、８６と１１３との間になるようにし、その許容可能な範囲外にある場合、置換／画素補正値の生成をトリガする。動的閾値範囲の使用により、欠陥画素検出器が様々なタイプの画素欠陥（明るすぎる画素や埃があって十分に明るくない画素）を検出することが可能となることに留意されたい。
【0082】
本方法は、複数の異なるカーネルを適用することができ、これらのカーネルは、どのような画素が、近隣画素のプールにあるのかについての異なるパターン及び要因を有する。
【0083】
判断カーネルによって供給される候補画素パターンを用いる１又は２以上のアルゴリズムは、１）分析対象の画素の画素値を、２）判断カーネルによって示される近隣画素（この比較では近隣画素のプールが使用されている）の１又は２以上のパターンのｉ）中央値の範囲及びｉｉ）平均値のうちの少なくとも一方と比較するために使用される動的閾値範囲を作成する。したがって、４つ（上、下、左、及び右）の近隣画素パターン以外の他のパターンを使用して、近隣／周囲画素のための画素値を取得することもできる。例えば、判断カーネルによって供給される、４隅の画素及び場合によりさらに多くの近隣画素を使用する候補画素パターンを用いるアルゴリズムを含めて、Ｓｍｉｎ及びＳｍａｘを決定することができる。これらの近隣画素信号の範囲を使用して、ピークツーピーク振幅のばらつきを推定することができ、これらのばらつきは、ノイズの存在を示しているため、平方根計算を算出する必要はない。判断カーネルによって供給される候補画素パターンを用いる別のアルゴリズムは、例えば、補正動的閾値決定のために、次近接画素パターンを使用することができる。
【0084】
オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０によって実施されるオンザフライ補正は、シーン内容に基づいて欠陥画素の定義についてのその基準を動的に変更し、高光信号レベル及び低光信号レベルの両方に対して機能する。本方法は、白画素、黒画素、及び点滅画素を効果的に除去し、画像のビジュアル品質を向上させる。
【0085】
オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０は、協働し、周囲画素群によって取り込まれるシーン内容を、その画素群における１又は２以上の画素欠陥と区別し、次いで、近隣画素からの画素値情報を欠陥画素に対して置換する。
【0086】
画素のＲＴＮ及び暗電流欠陥は、単一画素内にほぼ常に含まれているが、一方で、シーン情報についての光信号は、光学系やデバイスの画像鮮明さ特性の測定を理由として単一画素には含まれていない。検出アルゴリズムは、すべてのフレームにおけるすべての画素に対してカーネルを評定する。画素振幅が近隣画素に対して動的閾値範囲を超える場合、画素に欠陥があると見なされる。
【0087】
オンザフライ欠陥画素検出器１００及び置換画素値生成器１５０は共に、周囲画素ノイズに基づいて検出閾値を調節する。画素読出しノイズが優勢となる暗視野（例えば、低光信号）では、動的閾値範囲は、ＲＴＮを検出できるほど低く設定される。より高い光信号及びより高いショットノイズの場合、動的閾値範囲を拡大してショットノイズが欠陥画素として解釈されないようする。本手法は、分析対象の画素の周りのカーネルにおける光信号レベル及びノイズレベルについての知識を使用する。検出動的閾値範囲は、検出された読出しノイズレベル又はショットノイズレベルをわずかだけ上回るように設定され得る。この場合、ノイズレベル未満の軽微な欠陥を有する画素はチェックされず、補正を必要としない。高光条件では、ショットノイズを超える欠陥を有する画素が補正される。ショットノイズを超える欠陥を有するこれらの画素は、通常、シーン内容において視認可能である。
【0088】
通常のライティング条件の問題において画素を試験する際、画像内の光の信号レベルが強すぎる／高すぎることにより、様々なノイズ源が試験内で重要なものとして現れないことがある。ショットノイズは、平均以上のライティング条件においてノイズのレベルに寄与する主要因である。画素読出しノイズは、低ライティング条件においてノイズのレベルに寄与する主要因である。したがって、多くの従来技術のイメージセンサでは、信号に対するノイズの影響について考える必要さえなかった。主に、極めて低いレベルの光（例えば、暗視）において試験するとき、個別画素のノイズレベルが、画像内の光の信号レベルと比較して有意な要因となる。逆もまた同様となり得る。低レベルの光において画素値を検出する場合、固定閾値を使用すると、一部の画素は欠陥があるものとして現れないが、新たな高レベルの光において再び試験すると、同じ画素が欠陥を有していることがある。
【0089】
他の従来技術では、どれが不良／欠陥画素であるのかを割り出そうとする場合、イメージセンサの寿命の持続期間にわたって（例えば、オンザフライで）定期的に何度も行うのではなく、製造時に試験を行い、不良／欠陥画素を判定するだけである。
【0090】
オンザフライ欠陥画素検出器１００は、そのイメージセンサの寿命スパンにわたってイメージセンサの動作の間に定常的に試験されるため、各画素が、近隣画素ノイズによって決定される検出閾値を有するという点で動的である。欠陥画素のオンザフライ検出手法は、近隣画素に対して画素読出しノイズ並びにショット（ＲＴＮ及び暗電流）ノイズを測定し、補正閾値を調節し、画素に欠陥があるかどうかを判定し、次いで、補正値を置換する。
【0091】
光信号が増大すると、ショットノイズが光信号の平方根として増大するため、動的閾値範囲をショットノイズの直ぐ上となるように拡大して、ノイズによる誤補正を最小限に抑えることができる。ピークツーピークショットノイズよりも低い振幅を持つ欠陥画素は補正されないが、容易に視認可能でもない。ショットノイズを超える視認可能な欠陥のみが補正される。オンザフライ欠陥画素検出器１００は、補正のために最小限必要な画素数を検出及び送信し、これによりＭＴＦの画像品質及びデータ完全性を維持する。
【0092】
したがって、オンザフライ欠陥画素検出器１００は、画質を最大化し、暗視撮像に対する検出範囲を拡大する。この範囲は、暗視撮像デバイスを比較する上で重要なメトリックとなる。画素アレイを備えたイメージセンサが作動された後の選択的な欠陥画素の置換えにより、製造時のイメージャの歩留まりが向上し、コストが抑えられる。オンザフライ欠陥画素検出器１００が、近隣画素を使用して欠陥画素を特定し、置換画素値生成器１５０が、ＣＭＯＳイメージャに対するオンザフライ欠陥画素補正を行うことができる。オンザフライ欠陥画素検出器１００は、各画素が、近隣画素ノイズレベルによって決定される動的閾値範囲（例えば、検出閾値）を有するという点で動的である。
【0093】
置換画素値生成器１５０は、分析対象の画素の値とｉｉ）動的閾値範囲にフラクショナル係数を足したものとの間で比較を行うときに画素補正値を生成し、分析対象の画素の値が動的閾値範囲にフラクショナル係数を足したものの外にある（例えば、その範囲より高い又は低い）とき、置換画素値生成器１５０は、ｉ）分析対象の画素に欠陥があると判定し、次いで、ｉｉ）１）画素補正値を、２）欠陥画素の画素値に対して置換する。本方法は、動的閾値範囲の範囲に対する最大値及び最小値を計算することができる。
【0094】
動的閾値範囲は、ノイズレベル及び光信号レベルに基づくことができる。動的閾値範囲はまた、フラクショナル係数を考慮に入れ、どのようなものが欠陥画素であるのかの判定閾値を設定することができる。画素の値と動的閾値範囲にフラクショナル係数を足したものとの間で比較を行い、画素の現在値が、動的閾値範囲にフラクショナル係数を足したものの外にある（例えば、その範囲より高い又は低い）とき、個別画素に欠陥があるという判定が行われ、画素値を置き換えることが必要となる。画素の値と動的閾値範囲にフラクショナル係数を足したものとの間で比較を行い、画素の値が、動的閾値範囲にフラクショナル係数を足したものに等しいか又はそれ以外の同範囲内となるとき、画素値が置き換えられることはない。
【0095】
画素アレイを含むチップ上に十分なメモリストレージを作成し、すべてのＲＴＮ位置を記憶し、この情報を欠陥画素の検出及び画素値の置換えに使用することは、実用的ではない可能性がある。置換えが必要となる画素が過多になってしまう。オンザフライ欠陥画素検出器１００及び置換画素補正生成器は、本明細書で説明されるアルゴリズムを定期的に使用し、次いで、このアルゴリズムが、異なる光レベルに対して異なる動的閾値範囲を固有に決定し、これにより、前もって既知の欠陥画素をマッピングして記憶するためのオンチップメモリ量を最小限に抑えることに留意されたい。
【0096】
図４は、例示の判断カーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は例示の置換えカーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す。欠陥画素があるかどうかを判定するために使用される近隣画素は、必ずしも、補正信号を作成するために使用される近隣画素と同じである必要はないことに留意されたい（図６及び図７参照）。
【0097】
オンザフライ欠陥画素検出器１００は、例示のカーネル１～４などの判断カーネルによって供給される候補画素パターンを用いる１又は２以上のアルゴリズムを適用し、１）分析対象の個別画素の画素値を、２）判断カーネルによって示される近隣画素のパターン（例えば、近隣画素のプール）のｉ）中央値及びｉｉ）平均値のうちの少なくとも一方と比較するために使用される動的閾値範囲を作成することができる。
【0098】
ユーザは、本明細書で説明される例示のカーネル１～４などの異なる判断カーネル及び置換えカーネルについて、カーネル生成器における画素パターン内で選択又はプログラムを行うことができる。
【0099】
オンザフライ欠陥画素検出器１００は、対応する画素候補パターン／カーネル（例えば、カーネル１～４）を用いるアルゴリズム（例えば、アルゴリズム１（信号の平方根（ｓｑｒｔ））又はアルゴリズム２（信号のピークツーピーク））を適用し、動的閾値範囲を作成する。作成された動的閾値範囲を使用して分析対象の画素に欠陥があるかどうかを判定し、これは、分析対象の画素の振幅レベル及び近隣画素の振幅レベルに少なくとも基づく。動的閾値範囲は、周囲光信号レベルも考慮に入れる場合もあることに留意されたい。
【0100】
判断及び置換えカーネル１
カーネル１は、最も単純なカーネルである。オンザフライ欠陥画素検出器１００は、カーネル１の画素パターンを用いるアルゴリズムを適用し、ＲＴＮを有する画素の２×２のクワッド的性質により、±２の近接画素が判断カーネルのために使用される。４つの近隣画素は、欠陥があるかどうかを判定すること、及び画素補正値に使用することの両方を行うために使用される。４つの近隣画素は、分析対象の画素から上、下、左、及び右に２画素離れて位置している。置換画素値生成器１５０は、分析対象の斜線付き画素の最近接画素ではなく、４つの影付き画素の中央値の置換えカーネルを使用する。
カーネル１は、最も単純なカーネルである。オンザフライ欠陥画素検出器１００は、カーネル１の画素パターンを用いるアルゴリズムを適用し、ＲＴＮを有する画素の２×２のクワッド的性質により、±２の近接画素が判断カーネルのために使用される。４つの近隣画素は、欠陥があるかどうかを判定すること、及び画素補正値に使用することの両方を行うために使用される。４つの近隣画素は、分析対象の画素から上、下、左、及び右に２画素離れて位置している。置換画素値生成器１５０は、分析対象の斜線付き画素の最近接画素ではなく、４つの影付き画素の中央値の置換えカーネルを使用する。
【0101】
これは、画素アレイのビニング又は非ビニング動作モードでＲＴＮ画素及びホット画素を判定するのに上手く機能する。
【0102】
図５は、第２の判断カーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は第２の置換えカーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す。
【0103】
判断及び置換えカーネル２
判断及び置換えカーネル２は、単純な画素のカーネルパターンである。
判断及び置換えカーネル２は、単純な画素のカーネルパターンである。
【0104】
オンザフライ欠陥画素検出器１００は、カーネル２の画素パターンを用いるアルゴリズムを適用し、最小の特徴を保持する。オンザフライ欠陥画素検出器１００はカーネル２の画素パターンを用いるアルゴリズムを適用し、判断カーネルのために±１の近接画素を使用し、分析対象の画素に欠陥があるかどうかを判定する。置換画素値生成器１５０は、分析対象の斜線付き画素の４つの最近接画素の中央値の置換えカーネルを使用する。置換え値は、できる限りの最良の値となることに留意されたい。
【0105】
４つの近隣画素は、欠陥があるかどうかを判定すること、及び画素補正値に使用することの両方を行うために使用される。４つの近隣画素は、分析対象の画素から上、下、左、及び右に１画素離れて位置している。置換えカーネルは、４つの影付き画素の中央値とすることができる。これは、ＲＴＮ画素を選別する際に問題となり得る。しかしながら、画素アレイが、ビニングモードで動作する場合、各画素は、ディスプレイにおいて２×２画素を占めるため、ＲＴＮ画素が問題となり得る。ただし、カーネル２は、非ビニングモードでホット画素を補正するのに上手く機能する。
【0106】
図６は、第３の判断カーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は第３の置換えカーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す。
【0107】
カーネル３
判断及び置換えカーネル３は、より複雑な画素のカーネルパターンである。判断カーネルと置換えカーネルとが異なっている。画素のカーネルパターンの近隣画素は、分析対象の画素から最大４画素離れているが、アレイ内の画素のセット全体よりも少ない画素から選択されることに留意されたい。本発明者らは、この画素の範囲が、画素のセットにわたって被写体からの単一光ビームの拡散を一貫して取り込むことに注目した。また、動的閾値範囲は、取り込まれた画像に基づいて決定されるため、デバイスの寿命期間にわたって変化するとともに、新規取込み画像ごとに変化する。
判断及び置換えカーネル３は、より複雑な画素のカーネルパターンである。判断カーネルと置換えカーネルとが異なっている。画素のカーネルパターンの近隣画素は、分析対象の画素から最大４画素離れているが、アレイ内の画素のセット全体よりも少ない画素から選択されることに留意されたい。本発明者らは、この画素の範囲が、画素のセットにわたって被写体からの単一光ビームの拡散を一貫して取り込むことに注目した。また、動的閾値範囲は、取り込まれた画像に基づいて決定されるため、デバイスの寿命期間にわたって変化するとともに、新規取込み画像ごとに変化する。
【0108】
オンザフライ欠陥画素検出器１００は、カーネル３の画素パターンを用いるアルゴリズムを適用し、分析対象の画素から±２の近接画素である８つの画素を使用する。
【0109】
置換画素値生成器１５０は、分析対象の斜線付き画素の４つの最近接画素の中央値の置換えカーネルを使用する。置換え値は、実際により近い。これは、ビニングモード及び非ビニングモードでＲＴＮ画素及びホット画素を判定するのに上手く機能する。ＲＴＮ画素に対する置換え値が問題となり得る。４つの置換えカーネル画素のうち、２つがＲＴＮを有することがあり、これにより、中央値が実際から逸脱し得る。
【0110】
図７は、第４の判断カーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示のオンザフライ欠陥画素検出器、及び／又は第４の置換えカーネルによって供給される候補画素パターンを用いる１若しくは２以上のアルゴリズムを適用する例示の置換画素値生成器の一実施形態を示す。
【0111】
カーネル４
判断及び置換えカーネル４は、より複雑な画素のカーネルパターンである。判断カーネルと置換えカーネルとが異なっている。
判断及び置換えカーネル４は、より複雑な画素のカーネルパターンである。判断カーネルと置換えカーネルとが異なっている。
【0112】
オンザフライ欠陥画素検出器１００は、カーネル４の画素パターンを用いるアルゴリズムを適用し、判断カーネルのために±２の近接画素である１６個の画素を使用する。なぜなら、判断カーネルは、±２の近隣画素である１６個の周囲画素すべてを使用するからである。
【0113】
置換画素値生成器１５０は、分析対象の斜線付き画素の周りにある８つの最近接画素の中央値の置換えカーネルを使用する。置換え値は、実際に近い。８つの置換えカーネル画素のうち、３つがＲＴＮ画素となり得るが、８つの中央値が、ＲＴＮ画素の影響を排除し、実際により近くなる。これは、ビニングモード及び非ビニングモードでＲＴＮ画素及びホット画素を判定するのに上手く機能する。
【0114】
ネットワーク
図８は、２又は３以上の画素を有する画素アレイ、オンザフライ欠陥画素検出器、及び置換画素値生成器の一実施形態に従ってネットワーク環境において互いに通信するいくつかの電子システム及びデバイスの図を示す。ネットワーク環境８００は、通信ネットワーク８２０を有する。ネットワーク８２０は、光ネットワーク、セルラネットワーク、インターネット、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、衛星ネットワーク、ファイバネットワーク、ケーブルネットワーク、及びこれらの組合せから選択される１又は２以上のネットワークを含むことができる。一実施形態では、通信ネットワーク８２０は、インターネットである。図示されるように、通信ネットワーク８２０を介して互いに接続された多数のサーバコンピューティングシステム及び多数のクライアントコンピューティングシステムがあり得る。ただし、例えば、単一のクライアントコンピューティングシステムが、単一のサーバコンピューティングシステムに接続される場合もあることを諒解されたい。したがって、サーバコンピューティングシステム及びクライアントコンピューティングシステムの任意の組合せが、通信ネットワーク８２０を介して互いに接続され得る。本明細書で説明されるカメラはまた、このネットワーク環境内、例えば、サーバ８０４Ａ及びデータベース８０６Ａのクラウドプラットフォーム内、ローカルサーバ８０４Ｂ及びデータベース８０６Ｂ、ラップトップ８０２Ｂなどのデバイス上、スマート自動車８０２Ｄなどのスマートシステム内、部分的にクラウドプラットフォームサーバ８０４Ａ内且つ部分的にラップトップ８０２Ｂなどのデバイス内（２つのシステムは互いに通信及び協働する）、並びに他の同様のプラットフォーム内に存在し、実装され得る。
図８は、２又は３以上の画素を有する画素アレイ、オンザフライ欠陥画素検出器、及び置換画素値生成器の一実施形態に従ってネットワーク環境において互いに通信するいくつかの電子システム及びデバイスの図を示す。ネットワーク環境８００は、通信ネットワーク８２０を有する。ネットワーク８２０は、光ネットワーク、セルラネットワーク、インターネット、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、衛星ネットワーク、ファイバネットワーク、ケーブルネットワーク、及びこれらの組合せから選択される１又は２以上のネットワークを含むことができる。一実施形態では、通信ネットワーク８２０は、インターネットである。図示されるように、通信ネットワーク８２０を介して互いに接続された多数のサーバコンピューティングシステム及び多数のクライアントコンピューティングシステムがあり得る。ただし、例えば、単一のクライアントコンピューティングシステムが、単一のサーバコンピューティングシステムに接続される場合もあることを諒解されたい。したがって、サーバコンピューティングシステム及びクライアントコンピューティングシステムの任意の組合せが、通信ネットワーク８２０を介して互いに接続され得る。本明細書で説明されるカメラはまた、このネットワーク環境内、例えば、サーバ８０４Ａ及びデータベース８０６Ａのクラウドプラットフォーム内、ローカルサーバ８０４Ｂ及びデータベース８０６Ｂ、ラップトップ８０２Ｂなどのデバイス上、スマート自動車８０２Ｄなどのスマートシステム内、部分的にクラウドプラットフォームサーバ８０４Ａ内且つ部分的にラップトップ８０２Ｂなどのデバイス内（２つのシステムは互いに通信及び協働する）、並びに他の同様のプラットフォーム内に存在し、実装され得る。
【0115】
この例では、２つの暗視カメラが、動的欠陥画素検出器及び置換画素生成器を備えたイメージセンサを使用することができる。すなわち、ドローンに搭載された夜間カメラ及びゴーグルに内蔵された夜間カメラである。
【0116】
通信ネットワーク８２０は、少なくとも第１のサーバコンピューティングシステム８０４Ａ及び第２のサーバコンピューティングシステム８０４Ｂから選択された１又は２以上のサーバコンピューティングシステムを、互いに、また、少なくとも１又は２以上のクライアントコンピューティングシステムに接続することができる。サーバコンピューティングシステム８０４Ａ及び８０４Ｂは、各々、データベース８０６Ａ及び８０６Ｂなどの組織化されたデータ構造を任意選択で含むことができる。１又は２以上のサーバコンピューティングシステムの各々は、１又は２以上の仮想サーバコンピューティングシステムを有することができ、複数の仮想サーバコンピューティングシステムが、設計により実装されてもよい。１又は２以上のサーバコンピューティングシステムの各々は、１又は２以上のファイアウォールを有し、データ完全性を保護することができる。
【0117】
クライアントコンピューティングシステムの例としては、第１のモバイルコンピューティングデバイス８０２Ａ（例えば、Ａｎｄｒｏｉｄベースのオペレーティングシステム）、第２のモバイルコンピューティングデバイス８０２Ｅ（例えば、ｉＯＳベースのオペレーティングシステム）、第１のウェアラブル電子デバイス８０２Ｃ（例えば、スマートウォッチ）、第１のポータブルコンピュータ８０２Ｂ（例えば、ラップトップコンピュータ）、第３のモバイルコンピューティングデバイス８０２Ｆ（例えば、Ａｎｄｒｏｉｄ又はｉＯＳベースのオペレーティングシステムを備えたタブレット）、第１のスマート車両８０２Ｄに組み込まれたスマートデバイス又はシステム、第１のスマート自転車に組み込まれたスマートＩｏＴデバイス又はシステム、第１のスマートテレビジョン８０２Ｈ、第１の仮想現実又は拡張現実ヘッドセット８０４Ｃ等を挙げることができる。１又は２以上のクライアントコンピューティングシステムの各々は、１又は２以上のファイアウォールを有し、データ完全性を保護することができる。
【0118】
「クライアントコンピューティングシステム」及び「サーバコンピューティングシステム」という用語の使用は、一般に通信を開始するシステム、及び一般に通信に応答するシステムを示すことが意図されることを諒解されたい。例えば、クライアントコンピューティングシステムは、一般に、通信を開始し、サーバコンピューティングシステムは、一般に、この通信に応答する。明示的に述べられない限り、いかなる階層も示唆されない。両機能は、単一の通信システム又はデバイスの中にあってもよく、その場合、クライアント－サーバ及びサーバ－クライアントの関係は、ピアツーピアとして見ることができる。したがって第１のポータブルコンピュータ８０２Ｂ（例えば、クライアントコンピューティングシステム）及びサーバコンピューティングシステム８０４Ａは共に、通信を開始し、それに応答することができ、これらの通信は、ピアツーピアとして見ることができる。また、サーバコンピューティングシステム８０４Ａ及び８０４Ｂは、ネットワーク８２０にわたって互いの通信を可能にする、回路構成及びソフトウェアを含む。サーバ８０４Ｂは、例えば、シミュレータデータをサーバ８０４Ａに送信してもよい。
【0119】
サーバコンピューティングシステムのうちの任意の１又は２以上は、クラウドプロバイダとすることができる。クラウドプロバイダは、クラウド（例えば、インターネットなどのネットワーク８２０）内にアプリケーションソフトウェアをインストールして動作させることができ、クラウドユーザは、クライアントコンピューティングシステムのうちの１又は２以上からアプリケーションソフトウェアにアクセスすることができる。一般に、クラウド内にクラウドベースのサイトを有するクラウドユーザは、アプリケーションソフトウェアが実行されているクラウドインフラ又はプラットフォームを単独で管理することができない。したがって、サーバコンピューティングシステム及びそれらの組織化されたデータ構造は、共有リソースとすることができ、各クラウドユーザが、共有リソースの特定量の専用の使用分を与えられる。各クラウドユーザのクラウドベースのサイトは、クラウド内に仮想量の専用空間及び帯域幅が与えられ得る。クラウドアプリケーションは、スケーラブル性において、他のアプリケーションと異なっている場合があり、これは、複数の仮想マシンに対してランタイムでタスクを複製して、変化する作業需要を満たすことにより、達成され得る。負荷分散装置は、仮想マシンのセットにわたって作業を分散させる。このプロセスは、単一のアクセスポイントのみを見る、クラウドユーザに対して透過である。
【0120】
クラウドベースのリモートアクセスは、ハイパーテキスト転送プロトコル（「ＨＴＴＰ」）などのプロトコルを利用し、クライアントコンピューティングシステム上に常駐するウェブブラウザアプリケーションなどのクライアントコンピューティングシステム上のアプリケーションとの要求及び応答サイクルに従事するようにコーディングされ得る。クラウドベースのリモートアクセスは、スマートフォン、デスクトップコンピュータ、タブレット、又は任意の他のクライアントコンピューティングシステムによって、いつでも且つ／又はどこでもアクセスされ得る。クラウドベースのリモートアクセスは、１）すべてのウェブブラウザベースのアプリケーションからの要求及び応答サイクル、２）専用のオンラインサーバからの要求及び応答サイクル、３）クライアントデバイス上に常駐するネイティブアプリケーションと別のクライアントコンピューティングシステムへのクラウドベースのリモートアクセスとの間の直接的な要求及び応答サイクル、並びに４）これらの組合せに従事するようにコーディングされる。
【0121】
一実施形態では、サーバコンピューティングシステム８０４Ａは、サーバエンジン、ウェブページ管理コンポーネント又はダイレクトアプリケーションコンポーネント、コンテンツ管理コンポーネント、及びデータベース管理コンポーネントを含むことができる。サーバエンジンは、基本的な処理及びオペレーティングシステムレベルのタスクを実行することができる。ウェブページ管理コンポーネントは、ブラウザを通して、デジタルコンテンツ及びデジタル広告の受信及び提供と関連付けられたウェブページ又は画面の作成及び表示又はルーティングを取り扱うことができる。同様に、ダイレクトアプリケーションコンポーネントは、ユーザのデバイス上の常駐するクライアントアプリと連携してもよい。ユーザ（例えば、クラウドユーザ）は、サーバコンピューティングシステムのうちの１又は２以上に、それらと関連付けられたユニフォームリソースロケータ（「ＵＲＬ」）によってアクセスすることができる。コンテンツ管理コンポーネントは、本明細書で説明される実施形態における機能の大半を取り扱うことができる。データベース管理コンポーネントは、データベースに対する記憶及び検索タスク、データベースへの問合せ、並びにデータの記憶を含むことができる。
【0122】
一実施形態では、サーバコンピューティングシステムは、ウィンドウ、ウェブページ等に情報を表示するように構成され得る。任意のプログラムモジュール、アプリケーション、サービス、プロセス、及び他の同様の実行可能なソフトウェアを含むアプリケーションは、例えば、サーバコンピューティングシステム８０４Ａ上で実行されると、サーバコンピューティングシステム８０４Ａに、表示画面空間の一部分にウィンドウ及びユーザインタフェース画面を表示させることができる。
【0123】
各アプリケーションは、ソフトウェアコンポーネントが、所望の情報の詳細を得るためのフィールドを提示することなどを実行するようにコーディングされた機能を実行するようにスクリプト化されたコードを有する。例えば、サーバコンピューティングシステム８０４Ａ内のアルゴリズム、ルーチン、エンジンは、提示フィールドからの情報を得て、その情報をデータベース（例えば、データベース８０６Ａ）などの適切な記憶媒体に入力することができる。比較ウィザードが、データベースを参照し、そのようなデータを利用するように、スクリプト化されてもよい。アプリケーションは、例えば、サーバコンピューティングシステム８０４Ａ上でホストされ、例えば、クライアントコンピューティングシステム８０２Ｂの特定のアプリケーション又はブラウザに提供されてもよい。次いで、アプリケーションは、詳細を入力できるウィンドウ又はページを提供する。
【0124】
コンピューティングシステム
図９は、プロセッサを備えたメモリ上に記憶されているファームウェアと関連付けられたシステムの一部となり、本明細書で説明されるコンポーネントによって使用される種々のアルゴリズム及びカーネルを実装及び実行することができる、１又は２以上のコンピューティングデバイスの一実施形態の図を示す。
図９は、プロセッサを備えたメモリ上に記憶されているファームウェアと関連付けられたシステムの一部となり、本明細書で説明されるコンポーネントによって使用される種々のアルゴリズム及びカーネルを実装及び実行することができる、１又は２以上のコンピューティングデバイスの一実施形態の図を示す。
【0125】
アルゴリズム及びカーネルは、例示のアーキテクチャ上で実行され得る。以下の例示のアーキテクチャは、本明細書で説明されるカメラを含む様々なコンピューティングデバイスによって利用され得る。
【0126】
ユーザのデバイス及び／又は認証局プラットフォームのコンポーネントは、コンピューティングデバイスの様々な部分で実装することができる。コンピューティングデバイス９００は、命令を実行するための１又は２以上のプロセッサ又は処理ユニット９２０、情報を記憶するための１又は２以上のメモリ９３０～９３２、コンピューティングデバイス９００のユーザからのデータ入力を受信するための１又は２以上のデータ入力コンポーネント９６０～９６３、管理モジュールを含む１又は２以上のモジュール、通信リンクを確立し、コンピューティングデバイスの外部にある他のコンピューティングデバイスと通信するためのネットワークインタフェース通信回路９７０、１又は２以上のセンサであって、これらのセンサからの出力が特定のトリガ条件を検知し、次いで対応する１又は２以上の事前にプログラムされたアクションを生成するために使用される、１又は２以上のセンサ、１又は２以上のメモリ９３０～９３２内に記憶された情報のうちの少なくとも一部を表示するための表示画面９９１、及び他のコンポーネントを含んでもよい。本システムのうちソフトウェア９４４、９４５、９４６内に実装される部分は、１又は２以上のメモリ９３０～９３２内に記憶されてもよく、１又は２以上のプロセッサ９２０によって実行されることに留意されたい。
【0127】
システムメモリ９３０は、リードオンリーメモリ（ＲＯＭ）９３１及びランダムアクセスメモリ（ＲＡＭ）９３２など、揮発性及び／又は不揮発性メモリの形態のコンピュータ記憶媒体を含む。これらのコンピューティングマシン可読媒体は、コンピューティングシステム９００によってアクセスされ得る任意の利用可能な媒体とすることができる。一例として、限定されないが、コンピューティングマシン可読媒体の使用は、コンピュータ可読命令、データ構造、他の実行可能なソフトウェア、又は他のデータなどの情報の記憶を含む。コンピュータ記憶媒体は、限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、又は所望の情報を記憶するために使用することができ、コンピューティングデバイス９００によってアクセスされ得る任意の他の有形媒体を含む。ワイヤレスチャネルなどの一時的な媒体は、マシン可読媒体に含まれない。
【0128】
システムは、起動中などに、コンピューティングシステム９００内で要素間の情報の転送を助け、典型的には、ＲＯＭ９３１内に記憶される基本ルーチンを含む、基本入出力システム９３３（ＢＩＯＳ）をさらに含む。ＲＡＭ９３２は、典型的には、処理ユニット９２０に即座にアクセス可能な且つ／又は処理ユニット９２０によって現在操作されているデータ及び／又はソフトウェアを含む。一例として、限定されないが、ＲＡＭ９３２は、オペレーティングシステム９３４、アプリケーションプログラム９３５、他の実行可能なソフトウェア９３６、及びプログラムデータ９３７の一部分を含むことができる。
【0129】
コンピューティングシステム９００はまた、他の取外し可能／取外し不能な揮発性／不揮発性コンピュータ記憶媒体を含むことができる。一例としてのみであるが、システムは、ソリッドステートメモリ９４１を有する。ソリッドステートメモリ９４１は、典型的には、インタフェース９４０などの取外し不能なメモリインタフェースを通してシステムバス９２１に接続され、ＵＳＢドライブ９５１が、典型的には、インタフェース９５０などの取外し可能なメモリインタフェースによってシステムバス９２１に接続される。
【0130】
ユーザは、キーボード、タッチスクリーン、又はソフトウェア若しくはハードウェア入力ボタン９６２、マイクロフォン９６３、ポインティングデバイス及び／若しくはスクロール式入力コンポーネント（マウス、トラックボール若しくはタッチパッド等）などの入力デバイスを通してコンピューティングシステム９００にコマンドや情報を入力してもよい。これら及び他の入力デバイスは、しばしば、システムバス９２１に結合されたユーザ入力インタフェース９６０を通して処理ユニット９２０に接続されるが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）などの他のインタフェース及びバス構造に接続される場合もある。表示モニタ９９１又は他のタイプの表示画面デバイスも、表示インタフェース９９０などのインタフェースを介してシステムバス９２１に接続される。モニタ９９１に加えて、コンピューティングデバイスはまた、スピーカ９９７、振動子９９９、及び他の出力デバイスなど、他の周辺出力デバイスを含んでもよく、これらは、出力周辺インタフェース９９５を通して接続されてもよい。
【0131】
コンピューティングシステム９００は、リモートコンピューティングシステム９８０などの１又は２以上のリモートコンピュータ／クライアントデバイスへの論理接続を使用してネットワーク化された環境内で動作することができる。リモートコンピューティングシステム９８０は、パーソナルコンピュータ、モバイルコンピューティングデバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイス又は他の一般的なネットワークノードを含むことができ、典型的には、コンピューティングシステム９００に関して上で説明した要素のうちの多く又はすべてを含む。論理接続は、パーソナルエリアネットワーク（ＰＡＮ）９７２（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））、ローカルエリアネットワーク（ＬＡＮ）９７１（例えば、Ｗｉ－Ｆｉ）及びワイドエリアネットワーク（ＷＡＮ）９７３（例えば、セルラネットワーク）を含むことができ、パーソナルエリアネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などの他のネットワークを含んでもよい。そのようなネットワーキング環境は、オフィス、企業のワイドコンピュータネットワーク、イントラネット及びインターネットにおいて一般的である。ブラウザアプリケーションは、コンピューティングデバイス上に常駐し、メモリ内に記憶されてもよい。
【0132】
ＬＡＮネットワーキング環境において使用されるとき、コンピューティングシステム９００は、ネットワークインタフェース９７０を通してＬＡＮ７９１に接続され、ネットワークインタフェース９７０はＢｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉアダプタとすることができる。ＷＡＮネットワーキング環境（例えば、インターネット）において使用されるとき、コンピューティングシステム９００は、典型的には、ＷＡＮ９７３を介して通信を確立するためのいくつかの手段を含む。モバイル電気通信技術に関して、例えば、無線インタフェース（内部又は外部にある場合がある）が、ネットワークインタフェース９７０又は他の適切なメカニズムを介してシステムバス９２１に接続されてもよい。ネットワーク化された環境において、コンピューティングシステム９００に対して示される他のソフトウェア又はその一部分が、リモートメモリ記憶デバイスに記憶されてもよい。一例として、限定はされないが、システムは、リモートコンピューティングデバイス９８０上に常駐するリモートアプリケーションプログラム９８５を有する。図示されるネットワーク接続は、例示であり、コンピューティングデバイス間の通信リンクを確立する他の手段が使用されてもよいことが諒解されよう。
【0133】
説明したように、コンピューティングシステム９００は、処理ユニット９２０、メモリ（例えば、ＲＯＭ９３１、ＲＡＭ９３２等）、コンピューティングデバイスに給電するための内蔵バッテリ、バッテリを充電するためのＡＣ電源入力部、表示画面、及びネットワークに接続されたリモートコンピューティングデバイスとワイヤレスに通信するための内蔵Ｗｉ－Ｆｉ回路構成を備えたモバイルデバイスを含むことができる。
【0134】
本設計は、本明細書で図示したものについて説明したものなどのコンピューティングシステム上で実行され得ることに留意されたい。ただし、本設計は、サーバ、メッセージ処理専用のコンピューティングデバイス、又は本設計の異なる部分がその異なる部分で実行される分散型システム上で実行される場合もある。
【0135】
いくつかの実施形態では、本明細書で説明したアルゴリズムを容易にするために使用されるソフトウェアは、非一時的マシン可読媒体上に具体化され得る。マシン可読媒体は、マシン（例えば、コンピュータ）によって可読な形態で情報を記憶する任意のメカニズムを含む。例えば、非一時的マシン可読媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、デジタル多用途ディスク（ＤＶＤ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気若しくは光カード、又は電子命令を記憶するのに好適な任意のタイプの媒体を含むことができる。
【0136】
本明細書で説明されるアプリケーションは、限定されないが、ソフトウェアアプリケーション、モバイルアプリケーション、及びオペレーティングシステムアプリケーションの一部であるプログラムを含むことに留意されたい。本説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する動作のアルゴリズム及び記号的表現に関して提示される。これらのアルゴリズム的説明及び表現は、データ処理分野の当業者によって使用され、他の当業者にその作業の中身を最も効果的に伝える手段である。アルゴリズムは、ここで、一般に、所望の結果を導くステップの自己無撞着シーケンスと見なされる。ステップは、物理量の物理的操作を必要とするものである。通常、必ずしも必要ではないが、これらの量は、記憶され、転送され、組み合わせられ、比較され、別法で操作されることが可能な電気又は磁気信号の形態を取る。主に一般的な使用上の理由から、これらの信号をビット、値、要素、記号、文字、用語、数等として言及することが便利となる場合があることが確認されている。これらのアルゴリズムは、Ｃ、Ｃ＋＋、ＨＴＴＰ、Ｊａｖａ、Ｐｙｔｈｏｎ又は他の同様の言語などの様々なソフトウェアプログラミング言語において記述され得る。また、アルゴリズムは、ソフトウェアのコード行、ソフトウェアに構成された論理ゲート、又は両方の組合せで実装され得る。一実施形態では、論理は、ブール論理の規則、命令のパターンを含むソフトウェア、又は両方の任意の組合せに従う電子回路から成る。ソフトウェアに実装されたアルゴリズムの任意の部分は、メモリの一部分に実行可能なフォーマットで記憶することができ、１又は２以上のプロセッサによって実行される。一実施形態では、モジュールは、そのモジュールについて説明した機能を実行するための論理及び他の電子コンポーネントなどの電子ハードウェア、そのモジュールについて説明した機能を実行するようにコーディングされた実行可能なコードのブロックとしてのソフトウェア、及び／又は電子ハードウェアと協働するソフトウェアの組合せに実装され得る。
【0137】
しかしながら、これら及び同様の用語のすべては、適切な物理量と関連付けられることになり、これらの量に適用される便利なラベルにすぎないことを認識されたい。上記説明から明らかなように特に記載のない限り、説明全体を通して、「処理すること」、「算出すること」、「計算すること」、「決定する（判定する）こと」又は「表示すること」等の用語を利用した説明は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムメモリ若しくはレジスタ、又は他のそのような情報記憶、送信若しくは表示デバイス内の物理量として同様に表される他のデータに変換する、コンピュータシステム又は同様の電子コンピューティングデバイスのアクション及びプロセスを指す。
【0138】
電子ハードウェアコンポーネントによって実行される多くの機能は、ソフトウェアエミュレーションによって複製され得る。したがって、これらの同じ機能を達成するように記述されたソフトウェアプログラムは、入出力回路構成内のハードウェアコンポーネントの機能をエミュレートすることができる。したがって、本明細書で提供されるのは、前述のシステムのコンピューティングデバイス上の１又は２以上のプロセッサによって実行されると、コンピューティングデバイスに、本明細書に記載されるように概説される動作を実行させる命令及びデータを記憶するように構成された１又は２以上の非一時的マシン可読媒体である。
【0139】
本明細書における「一実施形態」、「一例」等の言及は、説明される実施形態又は例が、特定の特徴、構造、又は特性を含み得るが、すべての実施形態が、必ずしも、特定の特徴、構造、又は特性を含むわけではないことを示す。そのような句は、必ずしも同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性が、ある実施形態に関連して説明されるとき、明示的に示されているか否かにかかわらず、他の実施形態に関連するそのような特徴、構造、又は特性に影響を及ぼすことは、当業者の知識の範囲内であると考えられる。
【0140】
前述の設計及びその実施形態は、相当の詳細において提供されているが、本明細書で提供される設計及び実施形態が、限定的となることが本出願人の意図ではない。追加の適合及び／又は修正も可能であり、より広い態様では、これらの適合及び／又は修正も包含される。したがって、添付の特許請求の範囲によって与えられる範囲から逸脱することなく、前述の設計及び実施形態からの逸脱を行うことができ、この範囲は、適切に解釈されるとき特許請求の範囲によってのみ限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】