特許 7512021 画像処理方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】画像処理方法及びシステム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240701BHJP

   H04N 19/625 20140101ALI20240701BHJP

【ＦＩ】

H04N19/85

H04N19/625

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2019148771

(22)【出願日】2019-08-14

(65)【公開番号】P2020058017

(43)【公開日】2020-04-09

【審査請求日】2022-08-12

(31)【優先権主張番号】2018903448

(32)【優先日】2018-09-13

(33)【優先権主張国・地域又は機関】AU

(73)【特許権者】

【識別番号】512262569

【氏名又は名称】ブラックマジック デザイン ピーティーワイ リミテッド

【氏名又は名称原語表記】Ｂｌａｃｋｍａｇｉｃ Ｄｅｓｉｇｎ Ｐｔｙ Ｌｔｄ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】ビュットナー カルステン

(72)【発明者】

【氏名】ハーベル ローワン ダグラス

【審査官】鉢呂 健

(56)【参考文献】

【文献】特開昭６２－１９６９８９（ＪＰ，Ａ）

【文献】特開２００７－３１０１６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００９２１４６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００９１７７３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオデータを処理する方法であって、前記ビデオデータは、一連の画像フレームを含み、各画像フレームは、イメージセンサによって生成されたピクセル値の配列を表す画像データを含み、前記画像データは、前記イメージセンサのテンポラルノイズ分布と、前記画像データを生成するために使用される前記イメージセンサの設定とに基づく変換関数を適用することによって、前記画像データ内のノイズを均一化するように処理され、前記処理された画像データは、周波数領域に表され、周波数領域係数の１以上のセットを含み、周波数領域係数の各セットは、ＤＣ係数と１以上のＡＣ係数を含み、前記方法は、
前記ビデオデータの各画像フレームに対して、ノイズ信号を前記画像データのゼロ値を有するＡＣ係数に印加することにより、前記ビデオデータを再生するためのノイズ印加画像データを生成するために、ゼロ値を有する周波数領域係数の前記１以上のセットにおける１以上のＡＣ係数を変更することを含み、前記ノイズ信号が、前記テンポラルノイズ分布に従うことを特徴とする方法。

【請求項2】

前記処理された画像データのテンポラルノイズ分布の標準偏差が、信号レベルのスペクトルにわたって一定である、請求項１に記載の方法。

【請求項3】

前記変換関数は、読み取りノイズおよびフォトンショットノイズの組み合わせを含む前記イメージセンサのノイズモデルを参照して、画像データに存在するノイズを均一化し、前記読み取りノイズおよび前記フォトンショットノイズはそれぞれ、ポアソン過程としてモデル化されたテンポラルノイズ分布を有する、請求項１に記載の方法。

【請求項4】

前記変更は１以上の前記ゼロ値を有するＡＣ係数を前記テンポラルノイズ分布に従う乱数又は疑似乱数と置換するステップを含むことを特徴とする請求項２に記載の方法。

【請求項5】

前記画像データの１以上の前記ゼロ値を有するＡＣ係数に前記ノイズ信号を印加するステップの前に、前記画像データに逆量子化を適用するステップをさらに含むことを特徴とする請求項４に記載の方法。

【請求項6】

再生するためにビデオデータを符号化する方法であって、前記ビデオデータは、一連の画像フレームを含み、各画像フレームは、ノイズ均等化された画像データを表し、前記ノイズ均等化された画像データは、イメージセンサによって生成されたピクセル値の配列に変換関数を適用することによって生成され、前記変換関数は、前記画像データを生成するために使用される前記イメージセンサおよび前記イメージセンサの設定に基づいており、前記ノイズ均等化された画像データは、信号レベルのスペクトルにわたって一定の標準偏差を有するテンポラルノイズ分布を有し、前記方法は、
ノイズ均等化された画像データの周波数領域表現に、前記テンポラルノイズ分布に従ったノイズ信号を印加して、ノイズ印加画像データを生成することと、
前記ノイズ印加画像データに対して逆変換を行い、前記ビデオデータの再生を可能にすることと、を含み、
再生において、画像フレームは、符号化前に画像フレームに存在していたノイズと知覚的に類似するノイズを含むことを特徴とする方法。

【請求項7】

前記変換関数は、読み取りノイズおよびフォトンショットノイズの組み合わせを含む前記イメージセンサのノイズモデルを参照して、ノイズ均一化された画像データを生成するために、画像データに存在するノイズを均一化し、前記読み取りノイズおよび前記フォトンショットノイズはそれぞれ、ポアソン過程としてモデル化されたテンポラルノイズ分布を有する、請求項６に記載の方法。

【請求項8】

前記ノイズ信号は、前記画像データの前記ノイズモデルに対応する所定の分布で生成される乱数又は疑似乱数から構成されることを特徴とする請求項７に記載の方法。

【請求項9】

前記ノイズ信号を印加することは、ゼロ値のＡＣ係数を対応するノイズ信号と置換することを含むことを特徴とする請求項８に記載の方法。

【請求項10】

前記画像データにノイズ信号を印加するステップの前に、前記画像データに逆量子化を適用するステップをさらに含むことを特徴とする請求項６に記載の方法。

【請求項11】

前記ノイズ印加画像データに逆離散コサイン変換を適用するステップをさらに含むことを特徴とする請求項１又は６に記載の方法。

【請求項12】

前記逆量子化を適用するステップの前に、前記画像データをエントロピー復号化するステップをさらに含むことを特徴とする請求項５又は１０に記載の方法。

【請求項13】

再生するためにビデオデータを符号化するように構成された画像処理装置であって、前記ビデオデータは、一連の画像フレームを含み、各画像フレームは、周波数領域に表される画像データを含み、前記画像データは、数学的変換の適用により生じた係数の１以上のセットを含み、係数の各セットは、ＤＣ係数と１以上のＡＣ係数を含み、前記画像処理装置は、請求項１～１０のいずれかに記載の方法を実行するように構成されている

【請求項14】

イメージセンサによって生成されたピクセル値の配列からなる画像データを処理する方法であって、
前記画像データを生成するために使用される前記イメージセンサおよび前記イメージセンサの設定に基づく変換関数を前記配列内の各ピクセル値に適用することによって、前記画像データ内に存在するノイズを均一化し、ノイズ均一化された画像データのテンポラルノイズ分布の標準偏差が、信号レベルのスペクトルにわたって一定であるようなノイズ均一化された画像データを得るステップと、
デコーダが前記テンポラルノイズ分布に従ってノイズ信号を適用することによって前記ノイズ均一化された画像データを処理できるように、前記ノイズ均一化された画像データとともに前記テンポラルノイズ分布の詳細をメタデータとして格納するステップと、
前記ノイズ均一化された画像データを周波数領域表現に変換するステップと
前記周波数領域表現を量子化するステップと、
を含む方法。

【請求項15】

前記変換関数は、読み取りノイズおよびフォトンショットノイズの組み合わせを含む前記イメージセンサのノイズモデルを参照して、画像データに存在するノイズを均一化し、前記読み取りノイズおよび前記フォトンショットノイズはそれぞれ、ポアソン過程としてモデル化されたテンポラルノイズ分布を有する、請求項１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像データ処理方法及びシステムに関する。特に、本発明はノイズを含む画像データの圧縮及びその解凍のための方法及びシステムに関する。

【背景技術】

【0002】

デジタルカラーカメラは、通常、電荷結合素子（ＣＣＤ）や相補型金属酸化膜半導体（ＣＭＯＳ）センサであるイメージセンサを使って、現実シーンのカラー画像を電子的に捕捉する。画像を含むデータは多くの場合カメラ内で処理され、カメラの内部記憶部に記憶させるために、あるいはカメラから外部メディアの記憶部へ転送するために及び／又は下流での処理のためにコード化される。

【0003】

デジタル画像の捕捉は光電変換プロセスを伴うものであり、それによりノイズを画像データに取り込む。ノイズは画像が生成されるとほとんどその時点から画像に取り込まれるため、ノイズは必然的にノイズを含まない画像の成分と同じ画像処理や符号化処理を受けることになる。離散コサイン変換（ＤＣＴ）に関わる符号化技術のために（特にその技術が高い圧縮率で適用されるものなので）高い周波数画像成分が除去される傾向となり、符号化画像にブロックタイプ構造として現れる。ＤＣＴ符号化を通してノイズ成分が除去されることで符号化画像に表現された表面に「プラスチック」の外観を与え得る。その結果、構造的な細部が明確でない画像エリアは高い周波数が除去されることにより、かつ歪んだ空間ノイズ特性に起因して外観が「不自然」になり得る。

【0004】

通常の画像に存在する避けることのできないノイズを処理するために数多くの技術が存在する。これらの技術は信号処理によるアプローチを含むとともに、圧縮アーティファクトを減衰させることを目的とした、画像が復号化された後に適用されるデブロッキングフィルタ等の様々のカテゴリのフィルタリングを用いるアプローチを含む。一般的に、そのようなフィルタリングはブロックタイプアーティファクトの可視化を低減するものである。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明はそのような圧縮アーティファクトに対処するための方法を提供することを目的とする。

【0006】

明細書に記載の従来技術の参照は、その従来技術が常識の一部であることを裁判管轄を問わず承認又は示唆されるものではなく、あるいはその従来技術が当業者によって従来技術の別の部分に関連すると見なされ、及び／又はそれと組み合わされると見なされると合理的に予測できることが承認又は示唆されるものではない。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、周波数領域に表れる画像データを処理する方法が提供され、該方法は該画像データにノイズ信号を印加してノイズ印加画像データを生成するステップを含む。

【0008】

本発明はノイズを減衰させたり又は完全に取り除くのではなく、むしろ画像にノイズ信号を印加することによって画像処理に対して直感に反するように思われるアプローチを行う。

【0009】

本発明は画像ノイズのある成分や強度が実際にはそれを見る人にとって知覚的に快適であり、又、見ている画像のより現実的な属性として感じられるという観察結果から生まれた。これは特に動画を見ている場合に起こる。より具体的には、フォトンショットノイズの特定の分布によって占められる画像ノイズは観察者にとって知覚的に快適に感じられる。この知覚的に快適な画像ノイズは、通常圧縮プロセスの中で失われたり、歪められたりするので、本発明は特定の空間的かつ時間的なノイズ分布が復号化画像にうまく反映されるようにそれらを再生することを目的とする。

【0010】

通常、周波数領域で表される画像データは離散コサイン変換の適用により生じる１以上の係数のセットを含み、各係数のセットはＤＣ係数と１以上のＡＣ係数を含む。この実施例によれば、１以上のセットの１以上の係数を変更することでノイズ信号を画像データに印加することができる。

【0011】

そのような修正は、場合により、１以上のＡＣ係数をある分布を有する疑似乱数に置換することであっても良い。この実施例によれば、置換されたＡＣ係数がゼロ値を有する場合もあり得る。

【0012】

好ましい実施例によれば、該方法は、ノイズ信号を印加するステップの前に実行される、画像データに存在するノイズを均一化するステップをさらに含む。この実施例では、画像データのうち圧縮されなかった空間表現に対して均一化ステップが実行される。通常、均一化ステップはその振幅又は標準偏差が画像データ全般に亘ってほぼ一定となるようにノイズを均一化する。

【0013】

該ノイズはノイズモデルを参照して均一化することが可能であり、該ノイズモデルは画像データを捕捉するために使われた特定のイメージセンサによって実行される光電子変換のモデルとなり得る。例えば該ノイズモデルは画像データ内の時空間分布を参照してノイズを特徴づけることができる。該ノイズモデルは光電変換に関連するフォトンショットノイズ及び／又は読出しノイズも構成する。

【0014】

実施例によれば、該ノイズモデルは実質的には正規分布を示す。

【0015】

実施例によれば、画像データに印加されるノイズ信号は該ノイズモデルを参照してスケーリングされる。

【0016】

選択的に、該方法は圧縮画像をエントロピー復号化するとともに、ノイズ信号の印加の前に画像ファイルに逆量子化を適用するステップを含む。

【0017】

該方法はさらに逆離散コサイン変換を適用するステップを含む。

【0018】

別の実施例によれば、イメージセンサから取得されたある振幅を有するあるノイズ成分とある振幅を有するある画像成分を含む画像信号を処理する方法を提供し、該方法は：
イメージセンサの特性から変換関数を決定し；及び
該変換関数を該画像信号に適用して画像成分の振幅から独立した略一定の振幅のノイズ成分を有する信号を生成する、ことを含む。

【0019】

ノイズ成分の「振幅」とはノイズ成分の値ではなく、むしろノイズ成分の統計的尺度の振幅のことを指している。

【0020】

該方法はさらに画像データを周波数領域表現に変換するステップを含む。実施例によれば、該変換は離散コサイン変換を該画像データに適用することを含む。

【0021】

該方法はさらに該変換された画像データを量子化するとともに量子化された画像ファイルをエントロピー符号化するステップを含んでも良い。

【図面の簡単な説明】

【0022】

本発明の一実施例を、添付図面を参照して説明する。

【図1】デジタルカメラの概略図である。

【図2】本発明の一実施例に係る方法の符号化フェーズのフローチャートである。

【図2A】本発明の一実施例に係る方法の符号化フェーズのフローチャートである。

【図3】本発明の一実施例に係る方法の復号化フェーズのフローチャートである。

【図4】画像補足パラメータ間の代表的な関係を示すグラフの一例である。

【図5】両軸におけるトータルノイズ対ＤＮへ変換された発生電子のグラフの一例である。

【図6】図５のグラフがフラットな線となるように線形信号をノイズ均等化応答（ＮＥＲ）に変換する変換の一例である。

【図7】８ｘ８ＤＣＴの各周波数領域係数におけるホワイトノイズの標準偏差について表面プロットした一例である。

【図8】８ｘ８ＤＣＴの各周波数領域係数におけるある形状のノイズの標準偏差について表面プロットした一例である。

【図9】８ｘ８ＤＣＴの各周波数領域係数におけるある形状のノイズの標準偏差について表面プロットした一例である。

【発明を実施するための形態】

【0023】

本発明の一実施例を、具体例を参照して説明するが、本発明の範囲がそのような例によって限定されることはない。

【0024】

図１は本発明に係る方法を実施することが可能なカメラ１０の概略図である。カメラ１０は受光した光を画像データに変換するように構成された撮像システム１２を含む。この例では、撮像システム１２はイメージセンサ（画像センサ）１２Ａ（例えばＣＣＤ又はＣＭＯＳイメージセンサチップ等）及びそれに付随するオプティカルフィルタ１２Ｂ（例えばＩＲカットフィルタ又はオプティカルローパスフィルタ）を含む。さらにオプティカルシステム１４（例えばレンズ）が設けられてイメージセンサ上に画像を形成する。イメージセンサはカラーフィルタが空間配列されたカラーフィルタアレイ（ＣＦＡ）を含み、カラーフィルタアレイはイメージセンサの前方に置かれてカラー画像を補足する。ＣＦＡのフィルタは単一のイメージセンサのフォトサイトと空間的に相関しているので、各フォトサイトは対応するスペクトル選択フィルタを有する。本発明の技術が特定のＣＦＡの使用に制限されることはないが、この例で使用されるＣＦＡはレッド、グリーン、ブルーのカラーフィルタが交互に配置されるベイヤＣＦＡである。

【0025】

撮像システム１２によって生成されるビデオデータは画像処理サブシステム１８へ送られる。画像処理サブシステム１８はＡＳＩＣ又はＦＰＧＡ又は関連するソフトウェアを備えたマイクロプロセッサ等の１以上のデータプロセッサを備え、画像処理タスクの範囲を実行するように構成される。ワーキングメモリ２０は画像処理や他のタスクを実行中にデータやソフトウェア等を一時的に記憶できるように設けられる。

【0026】

画像処理サブシステム１８はさらにビデオエンコードシステム２２を含む。一般的にビデオエンコードシステム２２は１以上のビデオコーデックをプロセッサに実行させることができるソフトウェアを供給することにより動作する。このシステムは本発明に係るビデオ処理方法を実行するとともにビデオデータをエンコードし任意のフォーマットに圧縮するために使用することができる。開示される方法は専用の外部ビデオや汎用コンピュータシステムのようなカメラとは分離した処理プラットフォームで実行さすることができる。

【0027】

画像処理サブシステム１８はさらにフォーマット変換システム２４を有し、フォーマット変換システム２４はビデオ出力データをビデオ送信システム２６を介して送信することが可能な、あるいは下流で処理するためにより都合の良い（Ｙ’ＣｂＣｒのような）フォーマットに変換する。フォーマット変換システム２４はビデオデータがビデオ送信システム２６へ送られる前にビデオデータを前記ビデオ送信フォーマットの１つにフォーマット化してビデオデータの送信を可能にするするために設けられる。これはビデオデータの元のフォーマットからビデオ送信システム２６の適切なビデオ送信フォーマット（の１つ）へコード変換することを含んでも良い。

【0028】

ビデオ送信システムは少なくともビデオ出力ポートを有するビデオインターフェイスを介して（外部ビデオレコーダ又はレコーダ／モニタ等へ）ビデオ出力データを送信（及びオプションとして受信）することができる。ビデオインターフェイスは双方向であってもよく従ってビデオ入力ポートを含むこともできる。一例としてビデオインターフェィスはＳＤＩインターフェイスであり、又は他の同様のインターフェイスであっても良い。

【0029】

カメラはローカル不揮発性メモリ３０に記憶されるビデオデータ（及び他の任意のデータ）の永続記憶を制御するように構成された、メモリコントロールサブシステム２８の形でデータ記憶システムを有する。ローカルメモリ３０としてメモリカードまたは着脱式ハードドライブのような着脱式メモリを使用しても良い。しかし一般的には、メモリコントロールサブシステム２８は制御信号をローカルメモリ３０との間で送受信し、メモリ３０へのビデオデータの記憶とその検索を制御し，さらに記憶のためにデータを符号化又はフォーマット化するために配置される。メモリ３０はシリアルＡＴＡプロトコルに従って動作するソリッドステートドライブとすることができ、その場合、メモリコントロールサブシステムはＳＡＴＡドライブの動作をコントロールしＳＡＴＡドライブのデータの読出しと書き込みを管理する。

【0030】

本発明の一実施例に係る方法の符号化フェーズ３５を図２のフローチャートに示す。該方法は画像を捕捉するステップ４０から開始する。前述したようにデジタル画像の捕捉はイメージセンサ１２Ａで受光した光を最初に電荷に変換し続いて電圧に変換し、そして最終的にデジタルナンバー（ＤＮ）に変換して行う。ＤＮの意味は使用されている特定の画像表現フォーマットに依存しており、本発明の技術は特定のフォーマットに制限されない。例えば、ＲＧＢフォーマットにおける画像の各ピクセルは３つのＤＮのベクトルからなり；（レッド、グリーン、ブルーである）３つのカラーチャネルのそれぞれに対するベクトルであり、全体の画像がピクセルの２次元の配列からなる。該２次元ピクセル配列はデジタル画像信号であることの視点からも分析され得る。

【0031】

デモサイジング処理がされていないＲＡＷ画像データに対しても、４以上のスペクトルバンドを含む画像データに対しても、本発明を等しく実施することができる。

【0032】

画像の補足に続いて変換機能（ステップ５０）が画像信号を構成する各ピクセルに適用される。これに関連して、画像信号の生成時に光電変換プロセスによって必然的にノイズが画像信号に取り込まれることになる。この取り込まれたノイズは撮像システム１２の光電子部品と電子部品の両方から生成され、ノイズは画像信号の生成の時点から画像信号への導入が始まるので、該ノイズは信号の画像成分と同じ画像処理ルーチンを通ることになる。

【0033】

しかし、発明者らは画像ノイズの特定の成分と強度が見る人にとって実際には知覚的に快適であり、あるいは見ている画像のより現実的な属性として感じられることを発見した。

【0034】

特に、発明者らはフォトンショットノイズの特定の分布によって占められる画像ノイズが見る人によって知覚的に快適感のある属性として感じられることを発見した。フォトンショットノイズは離散化され量子化された粒子の挙動や離散量子粒子とイメージセンサとの相互作用を決定づける基本的な物理プロセスから生まれる。上述のようにイメージセンサ１２Ａのフォトサイトの配列は定義された時間（即ち「インテグレーションタイム」）の間に各フォトサイトに衝突する入射光の量に比例する信号を生成する。しかし、照明やインテグレーションタイムが一定であったとしても、イメージセンサによって補足される信号は捕捉する毎に常に微妙に変化しており、フォトンショットノイズの現象が生じる。

【0035】

フォトンショットノイズを特徴づけるランダムな統計変動はポアソン過程としてモデル化でき、それの標準偏差（s_e）は次式で表される：

【0036】

【数1】

【0037】

但し、N_eはピクセルのフォトダイオードで生成される電子数である。

【0038】

このポアソン過程は正規分布として表すこともできる。

【0039】

他の重要なテンポラルノイズ成分はノイズフロアであり、イメージセンサ１２Ａの「読み出しノイズ」即ち「s_r」としても知られている。ノイズフロアは通常増幅器やＡＤＣ等の光学的、電子的成分を含む個別のノイズソースの組み合わせを包含している。ノイズフロアは固定ゲイン等特定の構成要素のセッティングに対して不変の正規分布としてモデル化することもできる。ノイズフロアはさらにインテグレーションタイム及びイメージセンサで受光する光量に依存しない。

【0040】

これらテンポラルノイズソースのモデル化により以下のトータルノイズが成立する：

【0041】

【数2】

【0042】

この量はシステム変換係数によってデジタルドメインへ移行される。

【0043】

特定のイメージセンサ及びそのセッティングに対してノイズモデルを知ることにより、変換機能が演算されイメージセンサの通常線形信号出力に適用されてテンポラルノイズの標準偏差を信号レベルのスペクトル全体にわたって略一定とすることができる。

【0044】

この変換された信号はここでは「ノイズ均等化応答」と記載する。

【0045】

以下に示すように、このノイズ均等化応答のコンセプトを使うことによりさらに略一定の分布を有するノイズを一部の画像エリアにあるいは画像全体に局所輝度とは無関係に加えることができる。

【0046】

変換に続いてノイズ均等化応答信号に、デモサイジング、フィルタカーネルの適用、及び／又は他のカラースペース（ＹＣｂＣｒ等）への変換等の代表的な画像処理が実行される（ステップ６０）。そのような処理は必然的にノイズ分布を変える効果をもたらす。

【0047】

画像処理に続いて、ノイズ均等化応答信号は離散コサイン変換（ＤＣＴ）を使って符号化される（ステップ７０）。そのような符号化は画像データ配列を適切なサイズ（８ｘ８等）のブロック分割し、ＤＣＴを使って各ブロックを周波数領域表現に変換することを含む。各ブロックのＤＣＴを演算する前にその値（ノイズ均等化応答を包含する）がシフトされてゼロを中心とする範囲を確定する。その後２次元のＤＣＴが該ブロックに適用される。これによりブロックの基本的強度レベルを決定する通常比較的大きなレベルの左上隅のエントリ（即ちＤＣ係数）を有するブロックを生み出す。残る係数はＡＣ係数として知られている。

【0048】

このようにＤＣＴエンコーディングを行うことによりＤＣＴ領域（即ち周波数）でノイズ分布を分析することが可能になる。それに加えて（以下に記載するように）、ノイズ信号の振幅は知られており、（少なくとも場合によっては）略一定なので、各ＤＣＴブロックは逆量子化が実行された後のタイミングで復号化のオペレーション中に個別に分析することができる。これによって、エンコード中に行われる量子化や他の丸め処理を受ける以前の信号に存在していた分布に（知覚的に類似するという意味において）適合するノイズ分布を周波数領域中に再生することができる。

【0049】

さらに、ノイズ均等化応答に組み込まれているノイズの標準偏差を知ることにより、より一定の輝度を有する特定の画像エリアに対するデータ記憶がＤＣオフセットに限定されるので最小化される。これらのエリアの空間及びテンポラルノイズが容易に再生されて後で信号に付加される。この点に関し、ノイズ分布の細部が選択されたフレームヘッダに又はタイルや、スライスや、ブロックレベルを含む画像データの他の部分にメタデータとして記憶される。これによりデコーダ（後述する）が各特定のフレームに適切なノイズ信号を印加することが可能になる。

【0050】

次にＤＣＴブロックが適切な量子化マトリクスを参照して量子化される（ステップ８０）。量子化により入力されたものより小さい係数を有するＤＣＴブロックを生む。所定の量子化の度合いに対して十分に小さい（ローマグニチュード）の入力周波数係数がゼロに圧縮される。これが起きると、信号に存在するそのような係数のノイズ成分は完全に除去される。

【0051】

量子化に続いて、ＤＣＴブロックは、今回はエントロピー符号化のプロセスを通して劣化されることなくさらに圧縮される（ステップ９０）。これは周波数データへのランレングス符号化アルゴリズムの適用及びその結果得られるデータのハフマン符号化を含む。この結果符号化圧縮画像が生成されそれが符号化画像ファイル１００に書き込まれる。

【0052】

代替の符号化フェーズを図２Ａのフローチャートを参照して説明する。符号化の方法は図示する通りであるが、図２では（図２Ａのステップ５５）の処理をすでに済ませている画像データに対して変換機能（図２Ａのステップ６５）が適用される。ステップ５５で実行される画像処理はステップ６０で実行される画像処理、即ちデモサイジング、フィルタカーネルの適用、及び／又は他のカラースペース（ＹＣｂＣｒ等）への変換に相当する。

【0053】

本発明に係る方法の符号化フェーズ１１０が図３のフローチャートにより説明される。符号化フェーズ１１０は以前記録された画像を再生するために使用される。画像再生はカメラハードウェア又はビデオプレーヤ又は編集システムの一部として分離したプロセッサ上で行われる。

【0054】

符号化フェーズ１１０は符号化フェーズ３５を実行することで生成された符号化画像ファイル１００に基づいて実行される。符号化フェーズ１１０の実行は最初に符号化画像ファイル１００のエントロピー復号化（ステップ１２０）である。エントロピー符号化は符号化フェーズ３５のエントロピー符号化（ステップ９０）を完全に反転させてそれぞれ量子化されたＤＣＴ係数のマトリクスからなるＤＣＴブロック集合を生成する。

【0055】

逆量子化（ステップ１３０）がその後量子化されたＤＣＴ係数の各ブロックに実行される。逆量子化は符号化フェーズ３５の量子化ステップ（ステップ８０）を可能な限り反転する。逆量子化は量子化（ステップ８０）で使用するために選択されたものと同じ量子化マトリクスを参照して実行される。このように生成された逆量子化されたＤＣＴブロックは、もとのＤＣＴ係数マトリクス即ちＤＣＴステップ（ステップ７０）中に生成されたものに酷似する（しかし正確に一致しない）。一方、該ＤＣＴ係数マトリクスは周波数領域の元の画像の表現である。

【0056】

量子化されたＤＣＴブロックを逆量子化することから生じる不完全な再生により圧縮に関連するアーティファクトが十分に復号化された画像または一連の画像において出現する。これらのアーティファクトは元の周波数係数がゼロを含む少数の量子化レベルに丸められることに起因する。逆量子化された後、ゼロの値の係数は除去されたものの本来は小さなノイズ又は信号成分だった可能性がある。本来のノイズ成分の細部に亘る値を復元する術はないが、ノイズのランダム分布の知見により新たな乱数又は疑似乱数のデータ値を発生させて該分布をフォロー（もしくはそれに近似）させることができる。

【0057】

この点に関し、逆量子化ステップにより出力された各ＤＣＴ係数マトリクスに対しノイズの再生が実行される（ステップ１４０）。ノイズ再生は各ＤＣブロックのＡＣ係数を変更することを含む。好ましい修正は正規分布した乱数又は疑似乱数をゼロ値を有するＤＣＴ係数マトリクスのＡＣ係数と置き換えることを含む。疑似乱数発生器は各フレームのヘッダに存在するシード値を参照できる。これにより該フレームがいつどのように復号化されたかに関わらず各フレームに亘り再生されたノイズ信号の整合性を確保する。

【0058】

ノイズの再生はノイズの正規分布をＤＣＴ係数マトリクスへ符号化した結果であり、それによって１以上のノイズ成分を微妙に変更する。

【0059】

場合によっては、ノイズの再生は逆ＤＣＴ後の（及び他の任意の操作後の）完全に復号された画像のノイズ特性が符号化する前の元の画像に存在したノイズと同じに見えるように実行される。

【0060】

信号の元のノイズ成分は時間と空間の両方においてランダムに分布されているので、生成された新しいランダム分布が各特定のブロックにおいて量子化前に存在したブロックと正確に同じ値を有することはない。しかしノイズ信号は同じ統計的分布を共有するので、係数の値が正確に再生される必要がない。

【0061】

ノイズの再生後、（今は任意のノイズ信号をモジュレートする修正された係数を含んだ）ＤＣＴ係数マトリクスは逆ＤＣＴを受ける（ステップ１５０）。このプロセスは最初にマトリクスの２次元逆ＤＣＴを行い、その結果を整数値に丸め、その整数値をシフトさせて元のデータ範囲を回復することにより実行する。

【0062】

逆ＤＣＴに続いて、任意のデブロッキングプロセス（ステップ１６０）が低周波ノイズ成分と比較して高周波成分が減衰するノンホワイトノイズ分布を構成するように結果として生じるマトリクスに実行される。他の任意のプロセスは適用されたノイズ均等化応答からの逆変換、カラー処理、又は他の画像処理を含む。

【0063】

復号化された画像１７０は方法１１０を実行することにより生成される。

【0064】

以下の説明は代表的なノイズ特性を備えた代表的な画像に上記の方法を実行する一例を示すものであり、その中で：
N_eは、ピクセルのフォトダイオードで発生される電子の数であり、
s_eは、テンポラルノイズのうちのフォトンショットノイズ成分（使用ユニット：電子）の標準偏差であり、
s_rは、テンポラルノイズ（使用ユニット：電子）のノイズフロア（即ち「読み出しノイズ」）成分の標準偏差であり、
s_totalは、トータルノイズの標準偏差（使用ユニット：電子）である。

【0065】

上述のように、信号範囲のほとんどはポアソン過程としてモデル化されるフォトンショットノイズによって理想的に占められており、その標準偏差s_eは以下のようにあらわされる：

【0066】

【数3】

【0067】

これらの２つのテンポラルノイズソースのみをモデル化することで以下のトータルノイズ（直角位相で合計された）を求める。

【0068】

【数4】

【0069】

このモデルで得られる最大値はN_eが最大の時に生じる。これは光によって飽和したフォトダイオードで発生する電子の数、則ち、フォトダイオードの「フルウェルキャパシティ」を表している。以下の説明において、
fwcは、該フルウェルキャパシティ（電子）であり、
s_maxは、トータルノイズの最大標準偏差であり、

【0070】

【数5】

【0071】

を満たす。

【0072】

イメージセンサに対するこれらの量の代表値は：

【0073】

【数6】

【0074】

である。

【0075】

図４で示されるグラフはN_e とs_totalとの間の代表的な関係を表している。

【0076】

この量はシステム変換係数によってデジタルドメインへ移行されるが、これは電子ユニットからデジタルナンバー(DN)のユニットへのリニアスケーリングである。

【0077】

システム変換係数は電子当たりのＤＮを単位として表され：
dn_maxは、フルウェルキャパシティが対応付けられるＤＮ値であり；
dn_offは、ゼロ電子（ブラック）入力信号が対応付けられるＤＮ「オフセット」値（注：これは読み出しノイズレベルの対応付けではない）であり；
A_cfは、変換係数(DN/e-)である。

【0078】

dn_offは、一般的にはゼロ電子入力の状況であっても存在する読み出しノイズのクランピングを避けるためにゼロより大きいペデスタルレベルとして設定される。

【0079】

カメラ画像の取得のための数値の例は：

【0080】

【数7】

【0081】

である。

【0082】

図５に示すように、トータルノイズ対発生電子の表現は両方の軸でＤＮに変換できる。

【0083】

入力ＤＮ値として、元の電子計数への逆変換は、

【0084】

【数8】

【0085】

で表される。

【0086】

入力データとして、それはノイズに晒されることでdn_minよりも小さい値になり、ノイズは単に読み取りノイズとしてモデル化される。

【0087】

このことは入力される電子をノンネガティブ値にクランプすることに等しい。即ち、

【0088】

【数9】

【0089】

で表現される。

【0090】

関連するトータルノイズは従って以下のようにモデル化される。

【0091】

【数10】

【0092】

ノイズはデジタルドメインで以下のように再表現される。

【0093】

【数11】

【0094】

線形信号をノイズ均等化応答（ＮＥＲ）に変換する変換を引き出して図５のプロットがフラットラインとなり、信号範囲の全体を通して略コンスタントなノイズの標準偏差とすることが都合良い。そのような変換の例を図６に示す。

【0095】

そのような非線形に対応付けられた結果として生じる信号のノイズ、y = f(x)は線形信号ノイズと勾配関数dy/dx = f'(x)の積として算出される。ここで、ｘは線形入力ＤＮ信号である。

【0096】

従って、マッピングは以下を満たすことになる：

【0097】

【数12】

【0098】

x >= dn_offの場合は、以下のように解かれる：

【0099】

【数13】

【0100】

x < dn_offの場合は、以下のように解かれる：

【0101】

【数14】

【0102】

従って、定数'c'が２つのサブレンジの間でスムーズな連続性を確保するように選ばれる限り、一定の信号ノイズ応答が信号入力範囲を通して生じる。

【0103】

ノンゼロペデスタルはダークノイズの標準偏差の適当数がクランプされないことを確実にするために変換信号でも使われる。即ち：
Bpsは、出力ＮＥＲ信号のサンプル当たりのＤＮビットであり、
Offsetは、ＮＥＲ信号に使われるノンゼロオフセット（ペデスタル）であり、
Ｂは、フラクショナルオフセットであり、

【0104】

【数15】

【0105】

である。

【0106】

線形信号からＮＥＲ信号への変換は以下のように定義する：

【0107】

【数16】

【0108】

Ｙがどこにあってもノンネガティブとなることを保証するためにさらなるクランピングを伴う。

【0109】

コンスタントノイズの標準偏差値（ＤＮ）がクランプされる個所を除けばどこにでも存在するためには、

【0110】

【数17】

【0111】

が成立する。

【0112】

（周波数領域のノイズ特性）
圧縮前の画像処理がなされていない場合、ＮＥＲ画像はホワイトノイズの空間ノイズ分布を有するものとしてモデル化される。これを図７に示す。

【0113】

このようなＤＣＴブロックにおいて圧縮が全てのノイズを完全に除去（量子化／丸め）するならば、解凍ステップ（逆ＤＣＴ動作の前）の間に印加される再生ノイズ（ステップ１４０）は同じプロファイルを有する（ゼロ値を有するＡＣ係数においてのみ印加されるが）。

【0114】

圧縮前画像処理が実行されるならば、かつバンドパスではない空間フィルタリング動作（通常実行する上ではローパスフィルタ）を含むものであれば、結果として生成される空間共分散は異なるＤＣＴ周波数係数をまたぐ不均一なノイズレベルとして周波数領域に存在するノンホワイトノイズ分布をもたらす。

【0115】

このことは８ｘ８ＤＣＴを想定して図８、９に示されているが、他のどのサイズであっても周波数分解は同様の分布を示す。

【0116】

このようなＤＣＴブロックにおいて圧縮が全てのノイズを完全に除去（量子化／丸め）するならば、そして成形されたノイズプロファイル（即ちホワイトノイズよりもむしろ成形されたノイズプロファイルを望むのであれば）、解凍プロセス（ＩＤＣＴオペレーション前の）に印加される（ステップ１４０）再生ノイズは同じプロファイルを有する（ゼロ値を有するＡＣ係数の場合においてのみ印加されるが）。投入されるノイズはすべての周波数係数に対して同じ標準偏差とはならない。

【0117】

本明細書において開示され限定された発明はテキストや図面に記載され又はそこから明白な個別の特徴の２つ以上の全ての代替されうる組み合わせに及ぶことが理解されるだろう。これらの異なる組み合わせの全てが本発明の様々の代替されうる態様を構成する。

【図1】

【図2】

【図2A】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】