特許 5773984 ビデオカメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5773984

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月2日

(54)【発明の名称】ビデオカメラ

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150813BHJP

   H04N 5/357 20110101ALI20150813BHJP

   G06T 5/00 20060101ALI20150813BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/335 570

   G06T5/00 705

【請求項の数】14

【全頁数】33

(21)【出願番号】特願2012-506053(P2012-506053)

(86)(22)【出願日】2010年3月26日

(65)【公表番号】特表2012-523790(P2012-523790A)

(43)【公表日】2012年10月4日

(86)【国際出願番号】US2010028808

(87)【国際公開番号】WO2010120472

(87)【国際公開日】20101021

【審査請求日】2013年3月22日

(31)【優先権主張番号】12/422,507

(32)【優先日】2009年4月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】509139391

【氏名又は名称】レッド．コム，インコーポレイテッド

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】ジャナード、ジェイムス

(72)【発明者】

【氏名】ナットレス、トーマス、グレーム

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 国際公開第２００８／１２８１１２（ＷＯ，Ａ１）

【文献】 特開２００７−２６７０７２（ＪＰ，Ａ）

【文献】 特開２００２−０５１２６６（ＪＰ，Ａ）

【文献】 特開２００８−１２４９７６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｈ０４Ｎ １／４０−１／４０９

Ｈ０４Ｎ １／４６，１／６０

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

画像内のノイズを低減するコンピュータ実装方法であって、
画像センサで捕捉された光に対応するデータのフレームを受信することであって、データの各フレームは、第１の色に対応する光を捕捉するために用いられる前記画像センサの第１ピクセルを表す第１の画像データと、第２の色に対応する光を捕捉するために用いられる前記画像センサの第２ピクセルを表す第２の画像データと、第３の色に対応する光を捕捉するために用いられる前記画像センサの第３ピクセルを表す第３の画像データとを含むことと、
前記画像センサにおける欠陥ピクセルを構成するデータのフレームに欠陥管理アルゴリズムを適用することと、
カレントフレーム内の前記第１の画像データと前記第２の画像データとを前記第３の画像データの平均を基礎として修正することと、
上記欠陥管理アルゴリズムをデータのフレームに適用した後に、前記カレントフレームにおいて互いに空間的近接内にある画像データをある閾値内にあるように調整することによって、前記データのフレームにノイズ除去アルゴリズムを適用することと、を含み、
前記空間的近接内にある画像データを調整することは、
ノイズの多いピクセルを取り囲み、且つ同じ色であるピクセルを用いてメジアンを計算することと、
前記ノイズの多いピクセルの値が前記閾値よりも大きければ前記ノイズの多いピクセルを前記メジアンに設定し、前記ノイズの多いピクセルの値が前記閾値よりも大きくなければ前記ノイズの多いピクセルをそのままにすることと、
を含み、
前記メジアン計算に用いられるピクセルの値は線形的な光センサーデータに一致し、
前記計算されるメジアン又は前記閾値が、前記ノイズの多いピクセルが明るい領域に存在するか暗い領域に存在するかに依存する、方法。

【請求項2】

前記空間的近接内にある画像データを調整することが、ノイズの多いピクセルに隣接するピクセルに前記ノイズの多いピクセルの距離、明るさの差及び明るさのうちの少なくとも１つを基礎として加重する値を計算することと、前記ノイズの多いピクセルを前記値に設定することとを含む、請求項１に記載の方法。

【請求項3】

先行フレームを基礎として前記カレントフレームを調整することが、前記先行フレームにおけるノイズの多いピクセルを包囲するピクセルに前記ノイズの多いピクセルの距離、明るさの差及び明るさのうちの少なくとも１つを基礎として加重する値を計算することと、前記カレントフレームにおける前記ノイズの多いピクセルを前記値に設定することとを含む、請求項１に記載の方法。

【請求項4】

前記第３の画像データは緑画像データを表す、請求項１に記載の方法。

【請求項5】

画像データにおけるノイズを低減するための画像処理デバイスであって、
第１、第２又は第３の色を表す画像データを記憶するコンピュータメモリと、
プロセッサと、を備え、
前記画像データは、前記第１の色の光を捕捉するために用いる画像センサの第１ピクセルで捕捉された光に対応する前記第１の色を表し、前記画像データは、前記第２の色の光を捕捉するために用いる画像センサの第２ピクセルで捕捉された光に対応する前記第２の色を表し、前記画像データは、前記第３の色の光を捕捉するために用いる画像センサの第３ピクセルで捕捉された光に対応する前記第３の色を表し、
前記プロセッサは、前記画像センサにおける欠陥ピクセルを構成する前記画像データに欠陥管理アルゴリズムを適用し、前記欠陥管理アルゴリズムの適用の後に、画素からノイズを除去するために空間的なノイズ除去を前記画像データに適用し、前記第１及び第２の色のうちの少なくとも一方の画素の画像データを前記第３の色の画素を基礎として修正し、欠陥が訂正され空間的にノイズ除去され修正された画像データを圧縮するように構成されており、
前記プロセッサは、ノイズの多いピクセルを取り囲み、且つ同じ色であるピクセルを用いてメジアンを計算し、前記ノイズの多いピクセルの値が閾値よりも大きければ前記ノイズの多いピクセルを前記メジアンに設定し、前記ノイズの多いピクセルの値が前記閾値よりも大きくなければ前記ノイズの多いピクセルをそのままにすることによって、前記空間的なノイズ除去を前記画像データに適用し、
前記計算されるメジアン又は前記閾値が、前記ノイズの多いピクセルが明るい領域に存在するか暗い領域に存在するかに依存する、画像処理デバイス。

【請求項6】

前記プロセッサは、前記第１及び第２の色のうちの少なくとも一方の画素を前記第３の色を基礎として修正する前にノイズを除去する、請求項５に記載の画像処理デバイス。

【請求項7】

前記プロセッサは、前記第１及び第２の色のうちの少なくとも一方の画素を前記第３の色を基礎として修正した後にノイズを除去する、請求項５に記載の画像処理デバイス。

【請求項8】

前記空間的なノイズ除去は、ノイズの多い画素に隣接する画素に前記ノイズの多い画素の距離、明るさの差及び明るさのうちの少なくとも１つを基礎として加重する値を計算し、且つ前記ノイズの多い画素を前記値に設定する、請求項５に記載の画像処理デバイス。

【請求項9】

前記隣接する画素は、前記ノイズの多いピクセルの周りに略ダイヤモンド状の形状を形成する少なくとも８個のデータポイントを含む、請求項８に記載の画像処理デバイス。

【請求項10】

前記プロセッサは、先行フレームにおけるノイズの多い画素に隣接する画素に前記ノイズの多い画素の距離、明るさの差及び明るさのうちの少なくとも１つを基礎として加重する値を計算し、且つカレントフレームにおける前記ノイズの多い画素を前記値に設定することで前記画像データの時間的なノイズ除去を行うように更に構成されている、請求項５に記載の画像処理デバイス。

【請求項11】

ビデオカメラであって、
レンズアッセンブリからの光を、前記光の少なくとも第１、第２及び第３の色を表す画像データの生信号に変換するように構成される感光デバイスと、
第１、第２及び第３の色による画像データを含むフレームを受信し、前記感光デバイスにおける欠陥ピクセルを構成する画像データのフレームに欠陥管理アルゴリズムを適用し、前記第１及び第２の色の画像データを前記第３の色の画像データの平均を基礎として修正し、カレントフレームにおいて互いに空間的近接内にある画像データをノイズ閾値内にあるように調整するように構成された画像プロセッサとを備え、
ノイズの多いピクセルを取り囲み、且つ同じ色であるピクセルを用いてメジアンを計算し、前記ノイズの多いピクセルの値が閾値よりも大きければ前記ノイズの多いピクセルを前記メジアンに設定し、前記ノイズの多いピクセルの値が前記閾値よりも大きくなければ前記ノイズの多いピクセルをそのままにすることによって、前記カレントフレームにおいて互いに空間的近接内にある画像データをノイズ閾値内にあるように調整し、
前記メジアン計算に用いられるピクセルの値は線形的な光センサーデータに一致し、
前記計算されるメジアン又は前記閾値が、前記ノイズの多いピクセルが明るい領域に存在するか暗い領域に存在するかに依存する、ビデオカメラ。

【請求項12】

前記画像プロセッサが空間的近接内にある画像データを調整することが、ノイズの多いピクセルに隣接するピクセルに前記ノイズの多いピクセルの距離、明るさの差及び明るさのうちの少なくとも１つを基礎として加重する値を計算することと、前記ノイズの多いピクセルを前記値に設定することとを含む、請求項１１に記載のビデオカメラ。

【請求項13】

前記隣接するピクセルは、前記ノイズの多いピクセルの周りに略円形のパターンを形成する少なくとも２１個のデータポイントを含む、請求項１２に記載のビデオカメラ。

【請求項14】

前記画像プロセッサは、先行フレームにおけるノイズの多いピクセルを包囲するピクセルに前記ノイズの多いピクセルの距離、明るさの差及び明るさのうちの少なくとも１つを基礎として加重する値を計算することと、前記カレントフレームにおける前記ノイズの多いピクセルを前記値に設定することによって、前記先行フレームを基礎として前記カレントフレームを調整する、請求項１１に記載のビデオカメラ。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、米国特許出願第１２／４２２，５０７号の継続出願であり、上記米国特許出願第１２／４２２，５０７号は、２００８年４月１１日に提出された「ビデオカメラ」と題する米国特許出願第１２／１０１，８８２号の一部継続出願であって、２００７年４月１１日に提出された米国仮特許出願第６０／９１１，１９６号及び２００７年１２月２８日に提出された同第６１／０１７，４０６号に対し、米国特許法第１１９条（ｅ）に基づく利益を主張している。これらの文書の内容は全て、本参照により開示に含まれる。

【技術分野】

【0002】

本発明は、静止画又は動画を捕捉するためのもの等のデジタルカメラに関し、より具体的には、画像データを圧縮するデジタルカメラに関する。

【背景技術】

【0003】

デジタルビデオカメラの利用可能性にも関わらず、大手映画及びある種のテレビ放送メディアのプロデューサ達はフィルムカメラに依存し続けている。こうして使用されるフィルムは、ビデオ編集機に従来手段によって編集され得る超高解像度画像を提供する。しかしながら、ごく最近では、このようなフィルムは走査され、デジタル化され且つデジタル編集されることが多い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

現在利用可能なデジタルビデオカメラの中には、高解像度の画像センサを含み、よって高解像度映像を出力するものがあるが、このようなカメラに搭載されて用いられる画像処理及び圧縮技術は損失性が過度に高く、よって排除する生画像データが多すぎて上述のマーケットのハイエンドな部分では受け入れ難い。本明細書で開示する少なくとも１つの実施形態の一態様は、大手映画市場等の上述のマーケットのよりハイエンドな部分にとって受容可能である映像品質を、少なくとも約２ｋの解像度を有する生ビデオデータ又は略生ビデオデータを少なくとも毎秒約２３フレームというフレームレートで捕捉し且つ記憶できるカメラによって叶えることができる、という実現化を含む。

【課題を解決するための手段】

【0005】

従って、ある実施形態によれば、ビデオカメラは、ポータブルハウジングと、このハウジングによって支持され且つ光を集束するように構成されるレンズアッセンブリとを備えることができる。感光デバイスは、集束された光を少なくとも２ｋの解像度を有する生画像データに毎秒少なくとも約２３フレームのフレームレートで変換するように構成され得る。カメラはまた、メモリデバイス、及び生画像データを視覚的に略無損失のまま少なくとも６対１の圧縮比で圧縮してメモリデバイスに記憶するように構成される、レートが毎秒少なくとも約２３フレームである処理システムも含む。

【0006】

別の実施形態によれば、カメラで動画を録画する方法は、感光デバイス上へ光を案内することを含む可能性がある。本方法はまた、感光デバイスによって受信された光を少なくとも毎秒２３フレームを超えるレートで生デジタル画像データに変換すること、生デジタル画像データを圧縮すること、及び生画像データを毎秒少なくとも約２３フレームで記憶デバイス上へ記録することをも含むことが可能である。

【0007】

更に別の実施形態によれば、ビデオカメラは、ハウジングによって支持され且つ光を集束するように構成されるレンズアッセンブリと、集束された光を、集束された光を表す生画像データの信号に変換するように構成される感光デバイスとを備えることが可能である。本カメラは、メモリデバイスと、生画像データを毎秒少なくとも約２３フレームのフレームレートで圧縮して記録するための手段も含むことが可能である。

【0008】

更に別の実施形態によれば、ビデオカメラは、カメラの映像録画動作の間にユーザが少なくとも１度のハウジングの移動に関して方向性を操作することを可能にするように構成される少なくとも１つの柄（handle）を有するポータブルハウジングを備えることが可能である。レンズアッセンブリは、ハウジングによって支持され、且つハウジング内部に配置される平面に光を集束するように構成される少なくとも１つのレンズを備えることが可能である。感光デバイスは、集束された光を少なくとも２ｋの水平解像度及び毎秒少なくとも約２３フレームのフレームレートで生画像データに変換するように構成されることが可能である。メモリデバイスはまた、ビデオ画像データを記憶するように構成されることも可能である。画像処理システムは、生画像データを視覚的に略無損失のまま少なくとも６対１の圧縮比で圧縮し、毎秒少なくとも約２３フレームのレートでメモリデバイスに記憶するように構成されることが可能である。

【0009】

本明細書で開示する少なくとも１つの発明の別の態様は、人間の目は他のどの色より緑の波長に対して感受性が高いという理由で、データの圧縮性を高め、しかもより高品質のビデオ画像を提供するために、画像センサから出力される画像データの緑画像データを基礎とする修正が使用され得る、という実現化を含む。このような１つの技法は、データの圧縮より前に、検出された緑光の振幅を、検出された赤及び／又は青光の振幅から減算することを含む可能性がある。これは、赤及び／又は青の画像データをより圧縮性の高い形式に変換することができる。例えば、ガンマ補正されたＲＧＢデータをＹ’ＣｂＣｒに変換するための既知のプロセスでは、画像は「脱相関(decorrelated)」されて大部分の画像データがＹ’（別称「輝度」）内に残され、よってそれ以外の彩度成分は圧縮性が高くなる。しかしながら、Ｙ’ＣｂＣｒフォーマットに変換するためのこの既知技術は、個々のカラーデータが空間相関されておらず、且つベイヤパターンデータは緑の画像データを青又は赤の画像データの２倍含むことから、ベイヤパターンデータに直に適用され得ない。本明細書で開示する実施形態の幾つかによれば、緑の画像データの減算プロセスは、大部分の画像データが緑の画像データ内に残され、それ以外のデータがより圧縮性の高い形態にされることにおいて、上述のＹ’ＣｂＣｒ変換に類似するとも言える。

【0010】

更に、緑画像データの減算プロセスは、逆にして全ての原初の生データを保全することもできる。従って、このような技法を組み込んだ、結果として得られるシステム及び方法は、このようなビデオ画像データの無損失又は視覚的に無損失な、且つ強化された圧縮性を提供することができる。

【0011】

従って、ある実施形態によれば、ビデオカメラは、ハウジングによって支持され且つ光を集束するように構成されるレンズアッセンブリと、集束された光を、集束された光の少なくとも第１、第２及び第３の色を表す生画像データの信号に変換するように構成される感光デバイスとを備えることが可能である。画像処理モジュールは、第１及び第２の色のうちの少なくとも一方の画像データを、第３の色の画像データを基礎として修正するように構成されることが可能である。さらに、本ビデオカメラは、メモリデバイスと、第１、第２及び第３の色の画像データを圧縮し且つ圧縮された画像データをメモリデバイス上へ記憶するように構成される圧縮デバイスとを含むことが可能である。

【0012】

別の実施形態によれば、画像を処理する一方法を提供することができる。本方法は、ある画像を第１の色を表す第１の画像データと、第２の色を表す第２の画像データと、第３の色を表す第３の画像データとに変換することと、少なくとも第１の画像データ及び第２の画像データを第３の画像データを基礎として修正することと、第３の画像データと修正された第１及び第２の画像データとを圧縮することと、圧縮されたデータを記憶することとを含むことが可能である。

【0013】

更に別の実施形態によれば、ビデオカメラは、ハウジングによって支持され且つ光を集束するように構成されるレンズアッセンブリを備えることが可能である。感光デバイスは、集束された光を集束された光の少なくとも第１、第２及び第３の色を表す生画像データの信号に変換するように構成されることが可能である。本カメラはまた、第１及び第２の色のうちの少なくとも一方の画像データを第３の色の画像データを基礎として修正するための手段と、メモリデバイスと、第１、第２及び第３の色の画像データを圧縮し且つ圧縮された画像データをメモリデバイス上へ記憶するように構成される圧縮デバイスとを含むことが可能である。

【図面の簡単な説明】

【0014】

【図1】図１は、一実施形態による、ハードウェアを含むことができ且つ／又はビデオ画像データを処理するための方法を実行するように構成され得るシステムを示すブロック図である。

【0015】

【図2】図２は、図１に略示されているカメラのハウジングの任意選択による一実施形態である。

【0016】

【図3】図３は、図１に示されているシステムによって使用されることが可能なベイヤパターンフィルタを有する画像センサの概略配置図である。

【0017】

【図4】図４は、図１に示されているシステムに使用されることが可能な画像処理モジュールを示す概略ブロック図である。

【0018】

【図5】図５は、図３の画像センサの緑センサセルからの緑画像データの概略配置図である。

【0019】

【図6】図６は、原初の緑画像データのうちの幾つかを削除する任意選択の処理を行った後の図５の残りの緑画像データを示す概略配置図である。

【0020】

【図7】図７は、図１の画像処理モジュールにおいて処理するために編成された、図５の赤、青及び緑画像データの概略配置図である。

【0021】

【図8】図８は、図１に示されているシステムによって使用されることが可能な画像データ変換技術を示すフローチャートである。

【0022】

【図8A】図８Ａは、図１に示されているシステムによって同じく使用されることが可能な図８の画像データ変換技術の一変形例を示すフローチャートである。

【0023】

【図9】図９は、図８の画像変換プロセスの結果として生じる青画像データの概略配置図である。

【0024】

【図10】図１０は、図８の画像変換プロセスの結果として生じる赤画像データの概略配置図である。

【0025】

【図11】図１１は、ガンマ補正のために画像データへ適用されることが可能な任意選択の例示的変換を示す。

【0026】

【図12】図１２は、画像データを解凍し且つデモザイクするために図１のシステムによって使用されることが可能な制御ルーチンを示すフローチャートである。

【0027】

【図12A】図１２Ａは、図１に示されているシステムによって同じく使用されることが可能な図１２の制御ルーチンの一変形例を示すフローチャートである。

【0028】

【図13】図１３は、図１２のフローチャートに従って解凍され且つデモザイクされた緑画像データの概略配置図である。

【0029】

【図14】図１４は、図１２のフローチャートに従って解凍され且つデモザイクされた、図１３からの原初の緑画像データの半分を示す概略配置図である。

【0030】

【図15】図１５は、図１２のフローチャートに従って解凍された青画像データの概略配置図である。

【0031】

【図16】図１６は、図１２のフローチャートに従ってデモザイクされた図１５の青画像データの概略配置図である。

【0032】

【図17A】図１７Ａは、図１に示されているシステムにおいて適用されることが可能なノイズ除去を含む画像データ変換技術を示すフローチャートである。

【図17B】図１７Ｂは、図１に示されているシステムにおいて適用されることが可能なノイズ除去を含む画像データ変換技術を示すフローチャートである。

【0033】

【図17C】図１７Ｃは、図１に示されているシステムの例示的なコンポーネントによって実行されるノイズ除去ルーチンを示すフローチャートである。

【0034】

【図18A】図１８Ａは、図１に示されているシステムの例示的なコンポーネントによって実行される閾値メジアンのノイズ除去ルーチンを示すフローチャートである。

【0035】

【図18B】図１８Ｂは、図１におけるシステムの例示的なコンポーネントによって実行される閾値メジアンのノイズ除去ルーチンにおいて使用されることが可能な青、赤及び緑画像データの概略配置図である。

【図18C】図１８Ｃは、図１におけるシステムの例示的なコンポーネントによって実行される閾値メジアンのノイズ除去ルーチンにおいて使用されることが可能な青、赤及び緑画像データの概略配置図である。

【0036】

【図19A】図１９Ａは、図１に示されているシステムの例示的なコンポーネントによって実行される空間的ノイズ除去ルーチンを示すフローチャートである。

【0037】

【図19B】図１９Ｂは、図１におけるシステムの例示的なコンポーネントによって実行される空間的及び時間的ノイズ除去ルーチンにおいて使用されることが可能な青、赤及び緑画像データの概略配置図である。

【図19C】図１９Ｃは、図１におけるシステムの例示的なコンポーネントによって実行される空間的及び時間的ノイズ除去ルーチンにおいて使用されることが可能な青、赤及び緑画像データの概略配置図である。

【0038】

【図19D】図１９Ｄは、図１８Ａのノイズ除去ルーチンによって適用されることが可能な例示的な重み関数を示す。

【図19E】図１９Ｅは、図１８Ａのノイズ除去ルーチンによって適用されることが可能な例示的な重み関数を示す。

【図19F】図１９Ｆは、図１８Ａのノイズ除去ルーチンによって適用されることが可能な例示的な重み関数を示す。

【0039】

【図20】図２０は、図１に示されているシステムの例示的なコンポーネントによって実行される時間的ノイズ除去ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0040】

図１は、動画用ビデオカメラのコンテキストで記述された、画像の検出、処理及び圧縮モジュールを有するカメラの概略ブロック図である。ここに開示されている実施形態は、ベイヤパターンフィルタを備える単一のセンサデバイスを有するビデオカメラのコンテキストで記述されているが、その理由は、これらの実施形態が本コンテキストにおいて特定の有用性を有することにある。しかしながら、本図における実施形態及び発明は、異なる画像フォーマットタイプに対して動作し、且つ静止画及び／又は動画用に構成されている他のタイプの画像センサ（例えば、ＣＭＹ Ｂａｙｅｒ並びに他の非Ｂａｙｅｒパターン）、他の数の画像センサ、を有するカメラへも適用されることが可能である。従って、本明細書に開示されている実施形態は例示的であって非限定的な実施形態であり、よって本明細書に開示される発明は開示されている例示的な実施形態に限定されないことは理解されるべきである。

【0041】

引き続き図１を参照すると、カメラ１０は、システム１４を支持するように構成される本体又はハウジング１２を含むことが可能であって、システム１４は、ビデオ画像データを検出し、処理し、且つ、場合により記憶し且つ／又は再生するように構成される。例えば、システム１４は、光学ハードウェア１６と、画像センサ１８と、画像処理モジュール２０と、圧縮モジュール２２と、記憶デバイス２４とを含んでもよい。場合により、カメラ１０は、モニタモジュール２６と、再生モジュール２８と、ディスプレイ３０も含むことが可能である。

【0042】

図２は、カメラ１０の非限定的な例示的実施形態を示す。図２に示されているように、光学ハードウェア１６は、その外面が露出されたままの状態でハウジング１２によって支持されることが可能である。実施形態によっては、システム１４はハウジング１２内で支持される。例えば、画像センサ１８、画像処理モジュール２０及び圧縮モジュール２２はハウジング１２内に収容されてもよい。記憶デバイス２４は、ハウジング１２内に搭載されることが可能である。さらに、実施形態によっては、記憶デバイス２４はハウジング１２の外部に搭載され、且つシステム１４の他の部分へ任意タイプの既知のコネクタ又はケーブルを介して接続されることが可能である。さらに、記憶デバイス２４は可撓ケーブルでハウジング１２へ接続されることが可能であって、記憶デバイス２４がハウジング１２とは幾分独立して移動されることを許容する。例えば、このような可撓ケーブル接続を使用すれば、記憶デバイス２４はユーザのベルトに装着されることが可能であり、ハウジング１２の総重量の低減が可能にされる。さらに、実施形態によっては、ハウジングは内部に、且つその外部に搭載された１つ又は複数の記憶デバイス２４を含んでもよい。さらに、ハウジング１２はモニタモジュール２６及び再生モジュール２８も支持することができる。さらに、実施形態によっては、ディスプレイ３０はハウジング１２の外部へ搭載されるように構成されてもよい。

【0043】

光学ハードウェア１６は、入ってくる画像を画像センサ１８上へ集束するように構成される少なくとも１つのレンズを有するレンズ系の形式であることが可能である。光学ハードウェア１６は、場合により、可変性のズーム、口径及び焦点を提供するマルチレンズシステムの形式であることも可能である。さらに、光学ハードウェア１６はハウジング１２によって支持され且つ複数の異なるタイプのレンズ系を受け入れるように構成されるレンズソケットの形式であることが可能であって、例えば、但し限定的ではなく、光学ハードウェア１６は、５０〜１００ミリメートル（Ｆ２．８）のズームレンズ、１８〜５０ミリメートル（Ｆ２．８）のズームレンズ、３００ミリメートル（Ｆ２．８）レンズ、１５ミリメートル（Ｆ２．８）レンズ、２５ミリメートル（Ｆ１．９）レンズ、３５ミリメートル（Ｆ１．９）レンズ、５０ミリメートル（Ｆ１．９）レンズ、８５ミリメートル（Ｆ１．９）レンズ及び／又は他の任意のレンズを含む様々なサイズのレンズ系を受け入れるように構成されるソケットを含む。先に述べたように、光学ハードウェア１６は、どのレンズが取り付けられるかに関わらず、画像が画像センサ１８の感光表面上へ集束され得るように構成されることが可能である。

【0044】

画像センサ１８は、例えば、但し限定的ではなく、ＣＣＤ、ＣＭＯＳ、Ｆｏｖｅｏｎ（登録商標）センサ等の縦型積層ＣＭＯＳデバイス又はプリズムを用いてセンサ間で光を分割するマルチセンサアレイを含む任意タイプのビデオセンシングデバイスであることが可能である。実施形態によっては、画像センサ１８は約１２００万個の光電池を有するＣＭＯＳデバイスを含むことが可能である。しかしながら、他のサイズのセンサも使用されることが可能である。構造によっては、カメラ１０は、「２ｋ」（例えば、２０４８×１１５２ピクセル）、「４ｋ」（例えば、４，０９６×２，５４０ピクセル）、「４．５ｋ」の水平解像度又はこれ以上の水平解像度で映像を出力するように構成されることが可能である。本明細書において、ｘｋ（上述の２ｋ及び４ｋ等）の様式で表現されている用語の量「ｘ」は、近似的な水平解像度を指す。従って、解像度「４ｋ」は約４０００又はそれ以上の水平ピクセルに相当し、且つ「２ｋ」は約２０００又はそれ以上のピクセルに相当する。現時点で市販されているハードウェアを使用すれば、センサは約０．５インチ（８ｍｍ）という小型であることが可能であるが、これは約１．０インチ又はそれ以上であってもよい。さらに、画像センサ１８は、センサ１８の予め決められた部分のみを選択的に出力することにより、可変解像度を提供するように構成されることも可能である。例えば、センサ１８及び／又は画像処理モジュールは、ユーザが出力される画像データの解像度を識別できるように構成されてもよい。

【0045】

またカメラ１０は、センサ１８の出力をダウンサンプリングし、且つ続いてこれを、映像出力を２Ｋ、１０８０ｐ、７２０ｐ又は他の任意の解像度で生み出すべく処理するように構成されることも可能である。例えば、センサ１８からの画像データは「ウィンドウ処理される」ことが可能であって、これにより、出力画像のサイズは縮小され、且つより高い読出し速度が見込まれる。しかしながら、他のサイズのセンサも使用されることが可能である。さらに、カメラ１０は、より高い解像度で映像出力を生み出すためにセンサ１８の出力をアップサンプリングするように構成されてもよい。

【0046】

図１から図３までを参照すると、実施形態によっては、センサ１８はベイヤパターンフィルタを含むことが可能である。従って、センサ１８は、そのチップセット（不図示）によって、画像センサ１８の個々の光電池により検出される赤、緑又は青の光の振幅を表現するデータを出力する。図３は、センサ１８のベイヤパターン出力を概略的に図示したものである。実施形態によっては、例えば、図３に示されているように、ベイヤパターンフィルタは赤要素の数及び青要素の数の２倍数の緑要素を有する。画像センサ１８のチップセットは、画像センサの各要素上の電荷を読み取り、これにより値ストリームを周知のＲＧＢフォーマット出力で出力するために使用されることが可能である。

【0047】

続いて図４を参照すると、画像処理モジュール２０は、場合により、画像センサ１８からのデータストリームを任意の既知方法でフォーマットするように構成されることが可能である。実施形態によっては、画像処理モジュール２０は、緑、赤及び青の画像データを３つ又は４つの別々のデータコンピレーションに分離するように構成されてもよい。例えば、画像処理モジュール２０は、赤データを１つのデータエレメントに、青データを１つの青データエレメントに、且つ緑データを１つの緑データエレメントに分離するように構成されてもよい。例えば、図４を参照すると、画像処理モジュール２０は、赤データ処理モジュール３２と、青データ画像処理モジュール３４と、第１の緑画像データ処理モジュール３６とを含んでもよい。

【0048】

しかしながら、先に述べたように、図３に示されているベイヤパターンデータは他の二色の２倍数である緑のピクセルを有する。図５は、青と赤のデータを除去して原初の緑の画像データのみを残したデータ成分を示している。

【0049】

実施形態によっては、カメラ１０は、緑画像データの幾つかを削除又は除外するように構成されることが可能である。例えば、実施形態によっては、画像処理モジュール２０は、緑画像データの合計量が青及び赤画像データの量と同じになるように、緑画像データの１／２を削除するように構成されてもよい。例えば、図６は、画像処理モジュール２０が緑画像データの１／２を削除した後の残りのデータを示している。図６に示された実施形態では、列ｎ−３、列ｎ−１、列ｎ＋１及び列ｎ＋３が削除されている。これは、単に、削除されることが可能な緑画像データパターンの一例である。緑画像データは、他のパターン及び他の量で削除されてもよい。

【0050】

代替例によっては、カメラ１０は、赤及び青画像データが緑画像データを基礎として変換された後に緑画像データの１／２を削除するように構成されることが可能である。任意選択であるこの技法については、緑画像データ値を他の色の画像データから減算する説明に続いて後述する。

【0051】

場合により、画像処理モジュール２０は緑画像データを選択的に削除するように構成されることが可能である。例えば、画像処理モジュール２０は、どの緑画像データを削除するかを選択的に決定するように構成される削除分析モジュール（不図示）を含んでもよい。例えば、このような削除モジュールは、緑画像データからの列パターンの削除が結果的にモアレ線等のエリアジングアーティファクト（aliasing artifacts）又は他の視覚的に知覚可能なアーティファクトをもたらすことになるかどうかを判定するように構成されてもよい。削除モジュールはさらに、このようなアーティファクトを生成する危険性が低いと思われる緑画像データパターンの削除を選択するように構成されることも可能である。例えば、削除モジュールは、画像センサ１８によって捕捉される画像が複数の平行する水平線を特徴とする画像特徴を含むと判断すれば、縦に交互する欄の緑画像データパターンの削除を選択するように構成されてもよい。この削除パターンは、画像内に検出される水平線に平行する交互する画像データラインの削除パターンから結果的に生じている可能性もあるモアレ線等のアーティファクトを減らすか、又は除去することができる。

【0052】

しかしながら、これは単に、削除モジュールによって使用されることが可能な画像特徴及び削除パターンのタイプの例示的且つ非限定的な一例であるに過ぎない。削除モジュールは、他の画像特徴を検出し且つ例えば、但し限定的ではなく、交互する列、交互する対角線又は他のパターンの削除等の他の画像データ削除パターンを使用するように構成されることも可能である。さらに、削除モジュールは、赤及び青画像データ等の他の画像データの一部又は使用されるセンサのタイプに依存して他の画像データの一部を削除するように構成されてもよい。

【0053】

さらに、カメラ１０は、どの画像データが削除されているかを指示するデータフィールドを画像データ内に挿入するように構成されることも可能である。例えば、但し限定的ではなく、カメラ１０は、ビデオクリップの「フレーム」の各々においてどのデータが削除されているかを指示するデータフィールドを、記憶デバイス２４へ記憶される任意のビデオクリップの初めに挿入するように構成されてもよい。実施形態によっては、カメラは、どの画像データが削除されているかを指示するデータフィールドを画像センサ１８によって捕捉される各フレームに挿入するように構成されることが可能である。例えば、画像処理モジュール２０が１つの削除パターンで緑画像データの１／２を削除するように構成されている実施形態によっては、データフィールドは画像データが削除されているか否かを示すシングルビットの小さいデータフィールドであってもよい。画像処理モジュール２０は、データを１つのパターンでのみ削除するように構成されることから、どのデータが削除されているかを示すことに関してはシングルビットで足りる。

【0054】

実施形態によっては、先に述べたように、画像処理モジュール２０は画像データを２つ以上のパターンで選択的に削除するように構成されることが可能である。従って、画像データ削除フィールドは、複数の異なる画像データ削除パターンのうちのどれが使用されたかを示すに足る数の値を含んでより大きくなってもよい。このデータフィールドは、下流側のコンポーネント及び／又はプロセスによって残りの画像データがどの空間的位置に対応するかを決定するために用いられてもよい。

【0055】

実施形態によっては、画像処理モジュールは、例えば図５に示されているデータである緑の生画像データを全て保持するように構成されることが可能である。このような実施形態では、画像処理モジュールは、１つ又は複数の緑画像データ処理モジュールを含んでもよい。

【0056】

先に述べたように、既知のベイヤパターンフィルタの場合、緑要素は赤要素の数及び青要素の数の２倍数で存在する。言い替えれば、赤要素はベイヤパターンアレイ全体の２５％を構成し、青要素はベイヤパターンアレイの２５％に相当し且つ緑要素はベイヤパターンアレイの要素の５０％を構成している。従って、全ての緑画像データが保持される実施形態によっては、画像処理モジュール２０は、第２の緑データ画像処理モジュール３８を含むことが可能である。従って、第１の緑データ画像処理モジュール３６は緑要素の半分を処理してもよく、且つ第２の緑画像データ処理モジュール３８は残りの緑要素を処理してもよい。しかしながら、本発明は、例えば、但し限定的ではなく、ＣＭＹ及びＲＧＢＷ等の他のタイプのパターンに関連して使用されてもよい。

【0057】

図７は、モジュール３２、３４、３６及び３８（図４）によって処理される赤、青及び２つの緑データ成分の概略図を含んでいる。これは、これらのモジュールの各々がほぼ同量のデータを扱っていることからそれらのサイズ及び構造がほぼ同一であり得るという理由によって、さらなる優位点を提供することができる。さらに、画像処理モジュール２０は、（モジュール３６及び３８の双方を用いることによって）全ての緑画像データが処理されるモードと、緑画像データの１／２が削除されるモード（この場合、モジュール３６及び３８のうちの一方だけを利用する）との間で選択的に切り替えられることが可能である。しかしながら、他の構成が使用されることも可能である。

【0058】

さらに、実施形態によっては、画像処理モジュール２０は他のモジュールを含むことも可能であり、且つ／又は、例えば、但し限定的ではなく、ガンマ補正プロセス、ノイズフィルタリングプロセス、他等の他のプロセスを実行するように構成されることも可能である。

【0059】

さらに、実施形態によっては、画像処理モジュール２０は、緑要素の値を青要素及び／又は赤要素の値から減算するように構成されることが可能である。従って、実施形態によっては、画像センサ１８によって所定の色が検出される場合、対応する赤又は青要素はゼロに減らされることが可能である。例えば、多くの写真において、黒、白又はグレーもしくはグレーから赤又は青色へ向かってシフトされる色の広いエリアが存在し得る。従って、画像センサ１８の対応するピクセルがグレーのエリアを検出していれば、緑、赤及び青の振幅はほぼ等しくなる。従って、赤及び青の値から緑の値が減算されれば、赤及び青の値はゼロ又は約ゼロに下がる。従って、これに続く圧縮プロセスでは、ピクセルにおいて黒、白又はグレーのエリアを検出するゼロの存在は増加し、よって結果的に得られるデータの圧縮性は高まる。さらに、緑を他の色の一方又は双方から減算することは、結果的に得られる画像データの圧縮性を他の理由からも高めることが可能である。

【0060】

このような技法は、より高い効果的な圧縮比の達成を助け、しかも、その原初の画像データのエントロピーとの関連性に起因して視覚的無損失を保つことが可能である。例えば、画像のエントロピーは、画像におけるランダム性の量に関連づけられる。１つの色の画像データの、例えば他の色の画像データからの減算はランダム性を減らし、よってこれらの色の画像データのエントロピーを減らすことができ、これにより、データは無損失でより高い圧縮比で圧縮されることができるようになる。典型的には、画像はランダムな色の値の集合体ではない。むしろ、周囲の画素間にある程度の相関性が存在する場合が多い。従って、このような減算技法は、画素の相関性を用いてより良い圧縮を達成することができる。圧縮の量は、少なくとも部分的に、画像内の原初の情報のエントロピーに依存する。

【0061】

実施形態によっては、赤又は青ピクセルから減算される振幅は、対象である赤又は青ピクセルに隣接する緑ピクセルから出力される値の大きさである可能性がある。更に、実施形態によっては、赤又は青要素から減算される緑の振幅は、周囲の緑要素の平均から導出されてもよい。このような技法については、後にさらに詳しく説明する。しかしながら、他の技法が用いられることも可能である。

【0062】

場合により、画像処理モジュール２０は、緑画像データを他の色から選択的に減算されるように構成されることも可能である。例えば、画像処理モジュール２０は、緑画像データを他の色の何れかの画像データの一部から減算することによってより良い圧縮性がもたらされるか否かを決定するように構成されてもよい。このモードでは、画像処理モジュール２０は、画像データのどの部分が（例えば緑画像データの減算により）修正されていて、どの部分がこうした修正をされていないか、を指示するフラグを画像データ内に挿入するように構成されてもよい。このようなフラグを用いて、下流側のデモザイク／再構成コンポーネントは、このようなデータフラグのステータスを基礎として、緑画像の値を他の色の画像データへ選択的に戻して追加することができる。

【0063】

場合により、画像処理モジュール２０は、例えば、緑の振幅の減算後に赤又は青のデータがゼロに近ければ（例えば、より高い解像度システムに関して０〜２５５又はこれ以上の振幅範囲の８ビットスケール上で１又は２以内）、赤及び青データの値を丸めるように構成されるさらなるデータ減算モジュール（不図示）を含むことも可能である。例えば、画像センサ１８は、０〜４０９５のスケール上で赤、青及び緑のデータを出力する１２ビットセンサであってもよい。丸めモジュールによって実行されるデータの任意の丸め又はフィルタリングは、所望される効果を達成するために調整されることが可能である。例えば、丸めは、無損失の出力を有することが所望されればより少ない程度に、且つ幾分かの損失又は損失性の出力を容認できればより大きい程度に実行されてもよい。丸めの中には、実行されてもなお視覚的に無損失な出力をもたらし得るものがある。例えば、８ビットスケール上では、２又は３までの絶対値を有する赤又は青のデータは０に丸められてもよく、しかもなお視覚的に無損失な出力をもたらす。さらに、１２ビットスケール上では、１０から２０までの絶対値を有する赤又は青のデータは０に丸められてもよく、しかもなお視覚的に無損失な出力をもたらす。

【0064】

さらに、ゼロに丸められる、又は他の値に丸められることが可能であって、しかもなお視覚的に無損失な出力をもたらす値の大きさは、光学ハードウェア１６、画像センサ１８、画像センサの解像度、画像センサ１８の色解像度（ビット）、フィルタリングのタイプ、画像処理モジュール２０によって実行されるアンチエイリアシング技法又は他の技法、圧縮モジュール２２によって実行される圧縮技法及び／又はカメラ１０の他のパラメータ又は特性を含むシステムの環境に依存する。

【0065】

先に述べたように、実施形態によっては、カメラ１０は、赤及び青画像データが緑画像データを基礎として変換された後に緑画像データの１／２を削除するように構成されることが可能である。例えば、但し限定的ではなく、画像処理モジュール２０は、周囲の緑データ値の大きさの平均が赤及び青のデータ値から減算された後に緑画像データの１／２を削除するように構成されてもよい。緑データのこの減算は、関連ハードウェアに対するスループット要件を低減することができる。さらに、残りの緑画像データは、図１４及び図１６を参照して後にさらに詳しく述べる赤及び青画像データの再構成に使用されることが可能である。

【0066】

先に述べたように、カメラ１０は、圧縮モジュール２２を含むことも可能である。圧縮モジュール２２は別個のチップの形式であってもよく、又はソフトウェア及び別のプロセッサと共に実装されてもよい。例えば、圧縮モジュール２２は、ＪＰＥＧ２０００標準に準拠する圧縮技法又は他の圧縮技法を実行する市販の圧縮チップの形式であってもよい。

【0067】

圧縮モジュールは、画像処理モジュール２０からのデータに対して任意タイプの圧縮プロセスを実行するように構成されることが可能である。実施形態によっては、圧縮モジュール２２は、画像処理モジュール２０によって実行される技法を利用する圧縮技法を実行する。例えば、先に述べたように、画像処理モジュール２０は、緑画像データの大きさを減算することによって赤及び青データの値の大きさを減らすように構成されてもよく、これにより、ゼロ値の数は増加するだけでなく、他の効果も生じる。さらに、画像処理モジュール２０は、画像データのエントロピーを用いる生データの操作を実行することができる。従って、圧縮モジュール２２によって実行される圧縮技法は、圧縮モジュール２２から出力される圧縮データのサイズを縮小するためにより大きいゼロストリングの存在から恩恵を受けるタイプであってもよい。

【0068】

さらに、圧縮モジュール２２は、視覚的に無損失な出力をもたらすために画像処理モジュール２０からの画像データを圧縮するように構成されることも可能である。例えば、まず、圧縮モジュールは、ＪＰＥＧ２０００、ＭｏｔｉｏｎＪＰＥＧ、任意のＤＣＴベースのコーデック、ＲＧＢ画像データの圧縮用に設計された任意のコーデック、Ｈ．２６４、ＭＰＥＧ４、Ｈｕｆｆｍａｎ又は他の技法等の、但しこれらに限定されない任意の既知の圧縮技法を適用するように構成されてもよい。

【0069】

使用される圧縮技法のタイプに依存して、圧縮技法の様々なパラメータは、視覚的に無損失な出力をもたらすように設定されることが可能である。例えば、上述の圧縮技法の多くは異なる圧縮率に調整されてもよく、この場合、解凍されると、結果として得られる画像は圧縮率が低いほど高品質になり、圧縮率が高いほど低品質になる。従って、圧縮モジュールは、視覚的に無損失な出力をもたらすような方法で画像データを圧縮するように構成されてもよく、若しくは、視覚的に無損失な出力を達成するためにユーザが様々なパラメータを調整できるように構成されてもよい。例えば、圧縮モジュール２２は、画像データを約６：１、７：１、８：１又はこれ以上の圧縮比で圧縮するように構成されてもよい。実施形態によっては、圧縮モジュール２２は、画像データを１２：１又はこれ以上の割合で圧縮するように構成されてもよい。

【0070】

さらに、圧縮モジュール２２は、圧縮モジュール２２によって達成される圧縮比をユーザが調整できるように構成されることも可能である。例えば、カメラ１０は、圧縮モジュール２２に圧縮比を変更させるコマンドをユーザが入力できるようにするユーザインタフェースを含んでもよい。従って、実施形態によっては、カメラ１０は可変圧縮を提供することができる。

【0071】

本明細書において、「視覚的に無損失」という言い回しは、同じディスプレイデバイス上でオリジナル（圧縮されたことのないもの）画像データと並べて比較された場合に、一般的な当業者は、両画像の視覚的検査だけではどちらの画像がオリジナルであるかを妥当な精度で決定することができないような出力を包含するように意図されている。

【0072】

引き続き図１を参照すると、カメラ１０は、記憶デバイス２４も含むことが可能である。記憶デバイスは、例えば、但し限定的ではなく、ハードディスク、フラッシュメモリ又は他の任意タイプのメモリデバイス等の任意タイプのデジタル記憶装置であってもよい。実施形態によっては、記憶デバイス２４のサイズは、解像度１２メガピクセル、色解像度１２ビット及び毎秒６０フレームで少なくとも約３０分間の映像に対応する圧縮モジュール２２からの画像データを記憶するに足るものであってもよい。しかしながら、記憶デバイス２４は任意のサイズを有することが可能である。

【0073】

実施形態によっては、記憶デバイス２４はハウジング１２の外部に搭載されることが可能である。さらに、実施形態によっては、記憶デバイス２４は、システム１４の他のコンポーネントへ、例えばＩＥＥＥ１３９４、ＵＳＢ２．０、ＩＤＥ、ＳＡＴＡ、他を含む、但しこれらに限定されない規格通信ポートを介して接続されることも可能である。さらに、実施形態によっては、記憶デバイス２４は、ＲＡＩＤプロトコルに従って動作する複数のハードドライブを備えることができる。しかしながら、記憶デバイスは任意のタイプの使用が可能である。

【0074】

引き続き図１を参照すると、先に述べたように、実施形態によっては、本システムは、動作中に画像センサ１８によって捕捉されるビデオ画像をユーザが見ることを可能にするように構成されるモニタモジュール２６及びディスプレイデバイス３０を含むことが可能である。実施形態によっては、画像処理モジュール２０は、モニタモジュール２６へ低減された解像度の画像データを出力するように構成されるサブサンプリングシステムを含むことが可能である。例えば、このようなサブサンプリングシステムは、２Ｋ、１０８０ｐ、７２０ｐ又は他の任意の解像度をサポートするビデオ画像データを出力するように構成されてもよい。実施形態によっては、デモザイクするために使用されるフィルタは、ダウンサンプリングとフィルタリングとを同時に実行できるように、ダウンサンプリングフィルタリングも実行するように適合化されてもよい。モニタモジュール２６は、画像処理モジュール２０からのデータに対して任意タイプのデモザイクプロセスを実行するように構成されてもよい。モニタモジュール２６はこの後、デモザイクされた画像データをディスプレイ３０へ出力することができる。

【0075】

ディスプレイ３０は、任意タイプの監視デバイスであることが可能である。例えば、但し限定的ではなく、ディスプレイ３０は、ハウジング１２によって支持される４インチＬＣＤパネルであってもよい。例えば、実施形態によっては、ディスプレイ３０は、ユーザがディスプレイ３０をハウジング１２に対する任意の角度で見ることができるようにディスプレイ３０がハウジング１２との任意の相対位置へ調整されることを可能にすべく構成される無限調整可能なマウントへ接続されてもよい。実施形態によっては、ディスプレイ３０はモニタモジュールへ、例えばＲＧＢ又はＹＣＣフォーマットのビデオケーブル等の任意タイプのビデオケーブルを介して接続されてもよい。

【0076】

場合により、再生モジュール２８は、記憶デバイス２４からデータを受信し、画像データを解凍し且つデモザイクし、次いで画像データをディスプレイ３０へ出力するように構成されることが可能である。実施形態によっては、モニタモジュール２６及び再生モジュール２８は、中間ディスプレイコントローラ（不図示）を介してディスプレイへ接続されることが可能である。従って、ディスプレイ３０は単一のコネクタでディスプレイコントローラへ接続されることが可能である。ディスプレイコントローラは、モニタモジュール２６又は再生モジュール２８の何れかからのデータをディスプレイ３０へ転送するように構成されることが可能である。

【0077】

図８は、カメラ１０による画像データの処理を示すフローチャート５０を含む。実施形態によっては、フローチャート５０は、記憶デバイス２４又はカメラ１０内の別の記憶デバイス（不図示）等のメモリデバイスに記憶される制御ルーチンを表すことが可能である。さらに、中央処理装置（ＣＰＵ）（不図示）は、この制御ルーチンを実行するように構成されることが可能である。フローチャート５０に対応する方法に関する以下の説明は、ビデオ画像データの１フレームの処理というコンテキストで記述する。従って、本技法は、単一の静止画の処理に適用されてもよい。これらのプロセスは、例えば１２を超えるフレームレート並びに２０、２３．９７６、２４、３０、６０及び１２０のフレームレート又はこれらのフレームレートの間、若しくはこれらを超える他のフレームレートの連続映像処理に適用されることも可能である。

【0078】

引き続き図８を参照すると、制御ルーチンは動作ブロック５２で開始されることが可能である。動作ブロック５２において、カメラ１０は、センサデータを取得することができる。例えば、図１を参照すると、ベイヤセンサ及びチップセットを含むことが可能な画像センサ１８は画像データを出力することができる。

【0079】

例えば、但し限定的ではなく、図３を参照すると、画像センサは、その受光表面上にベイヤパターンフィルタを有するＣＭＯＳデバイスを備えることが可能である。従って、光学ハードウェア１６からの集束された画像は、画像センサ１８のＣＭＯＳデバイス上のベイヤパターンフィルタ上へ集束される。図３は、ＣＭＯＳデバイス上のベイヤパターンフィルタの配置によって生成されるベイヤパターンの一例を示している。

【0080】

図３において、列ｍはベイヤパターンの左端から４番目の列であり、行ｎはパターンの上から４番目の行である。残りの列及び行は、列ｍ及び行ｎとの関連でラベリングされている。しかしながら、この配置は単に例示を目的として任意に選ばれているものであって、本明細書に開示される実施形態又は発明の何れをも限定するものではない。

【0081】

先に述べたように、既知のベイヤパターンフィルタは、青及び赤要素の２倍の緑要素を含む場合が多い。図５のパターンでは、青要素は行ｎ−３、ｎ−１、ｎ＋１及びｎ＋３にのみ現出する。赤要素は、行ｎ−２、ｎ、ｎ＋２及びｎ＋４にのみ現出する。しかしながら、緑要素は、赤及び青要素と共に散在されて全ての行及び列内に現出する。

【0082】

従って、動作ブロック５２では、画像センサ１８から出力される赤、青及び緑の画像データは画像処理モジュール２０によって受信され、且つ図７に示されているもの等の別々の色データ成分に編成されることが可能である。図７に示されているように、且つ図４を参照して先に述べたように、画像処理モジュール２０は、赤、青及び緑の画像データを４つの別々の成分に分離することができる。図７は、２つの緑成分（緑１及び緑２）と、１つの青成分と、１つの赤成分とを示している。しかしながらこれは、単に画像センサ１８からの画像データを処理する例示的な一方法である。さらに、先に述べたように、画像処理モジュール２０は場合により、緑画像データの１／２を任意に、又は選択的に削除することができる。

【0083】

動作ブロック５２の後、フローチャート５０は動作ブロック５４へ進むことができる。動作ブロック５６では、画像データはさらに処理されることが可能である。例えば、場合により、結果として生じるデータ（例えば、緑１、緑２、図９からの青画像データ及び図１０からの赤画像データ）のうちの任意の１つ又は全てがさらに処理されてもよい。

【0084】

例えば、画像データは、別の方法で予強調又は処理されてもよい。実施形態によっては、画像データはより（数学的に）非線形的になるように処理されてもよい。圧縮アルゴリズムの中には、圧縮に先立って画素にこのような線形化を実行することから恩恵を得るものがある。しかしながら、他の技法が用いられることも可能である。例えば、画像データは、事実上何の強調ももたらさない線形曲線で処理されてもよい。

【0085】

実施形態によっては、動作ブロック５４は、関数ｙ＝ｘ＾０．５によって画定される曲線を用いて画像データを処理することができる。実施形態によっては、この曲線は、画像データが、例えば、但し限定的ではなく、正規化された０〜１の範囲内の浮動小数点データであった場合に使用されることが可能である。例えば、画像データが１２ビットデータである他の実施形態では、画像は、曲線ｙ＝（ｘ／４０９５）＾０．５によって処理されてもよい。さらに、画像データは、ｙ＝（ｘ＋ｃ）＾ｇ等の他の曲線によって処理されてもよい。但し、０．０１＜ｇ＜１、及びｃは補正値であって、実施形態によっては０である可能性がある。さらに、例えばｙ＝Ａ＊ｌｏｇ（Ｂ＊ｘ＋Ｃ）の形式の曲線である対数曲線も使用されることが可能である。但し、Ａ、Ｂ及びＣは所望される結果をもたらすように選ばれる定数である。さらに、上述の曲線及びプロセスは、周知のＲｅｃ７０９ガンマ曲線に利用される技法に類似して、黒の近傍により線形的なエリアを与えるように修正されてもよい。これらのプロセスを画像データへ適用する場合、同じプロセスが全ての画像データへ適用されてもよく、又は、異なるプロセスが異なる色の画像データへ適用されてもよい。しかしながら、これらは単に画像データの処理に使用され得る例示的な曲線であり、曲線又は変換も使用されることが可能である。さらに、これらの処理技法は先に述べたもの等の数学的関数を用いて、又はルックアップテーブル（ＬＵＴ）を用いて適用されてもよい。さらに、異なるプロセス、技法又は変換が異なるタイプの画像データ、画像データの記録中に使用される異なるＩＳＯ設定、温度（ノイズレベルに影響する可能性がある）、他に対して用いられてもよい。

【0086】

動作ブロック５４の後、フローチャート５０は動作ブロック５６へ進むことができる。動作ブロック５６では、赤及び青の画素を変換することができる。例えば、先に述べたように、緑画像データは青及び赤の画像データ成分の各々から減算されることが可能である。実施形態によっては、赤又は青の画像データ値は、赤又は青の画素に隣接する緑画素のうちの少なくとも１つの緑画像データ値を減算することによって変換されてもよい。実施形態によっては、複数の隣接する緑画素のデータ値の平均値が赤又は青の画像データ値から減算されてもよい。例えば、但し限定的ではなく、２つ、３つ、４つ、又はこれ以上の緑画像データ値の平均値が計算され、且つ緑画素の近傍における赤又は青画素から減算されてもよい。

【0087】

例えば、但し限定的ではなく、図３を参照すると、赤要素Ｒ_{ｍ−２，ｎ−２}の生出力は４つの緑画素Ｇ_{ｍ−２，ｎ−３}、Ｇ_{ｍ−１，ｎ−２}、Ｇ_{ｍ−３，ｎ−２}及びＧ_{ｍ−２，ｎ−１}によって囲まれている。従って、赤要素Ｒ_{ｍ−２，ｎ−２}は、下記のように、包囲する緑要素の値の平均を減算することによって変換されることが可能である。
（１） Ｒ_ｍ，ｎ ＝ Ｒ_ｍ，ｎ − （Ｇ_{ｍ，ｎ−１} ＋ Ｇ_{ｍ＋１，ｎ} ＋ Ｇ_{ｍ，ｎ＋１} ＋ Ｇ_{ｍ−１，ｎ}）／４

【0088】

同様に、青要素も類似方法で、下記のように、包囲する緑要素の平均を減算することによって変換されることが可能である。
（２） Ｂ_{ｍ＋１，ｎ＋１} ＝Ｂ_{ｍ＋１，ｎ＋１} − （Ｇ_{ｍ＋１，ｎ} ＋ Ｇ_{ｍ＋２，ｎ＋１} ＋ Ｇ_{ｍ＋１，ｎ＋２} ＋ Ｇ_{ｍ，ｎ＋１}）／４

【0089】

図９は、原初の青生データＢ_{ｍ−１，ｎ−１}が変換されて新しい値がＢ’_{ｍ−１，ｎ−１}としてラベリングされている、結果として得られる青データ成分を示している（図中には成分中の１つの値のみ記入されているが、青要素の全てについて同じ技法を使用できる）。同様に、図１０は、変換された赤要素Ｒ_{ｍ−２，ｎ−２}がＲ’_{ｍ−２，ｎ−２}として同定されている、変換された赤データ成分を示している。この状態では、画像データはまだ「生」データとされることが可能である。例えば、データに対して実行される数学的プロセスは、原初の全ての値がこれらのプロセスを逆転させることによって取得され得るように完全に可逆性である。

【0090】

引き続き図８を参照すると、動作ブロック５６の後、フローチャート５０は動作ブロック５８へ進むことができる。動作ブロック５８において、生である、又は略生であり得る、結果として得られるデータは、任意の既知の圧縮アルゴリズムを用いてさらに圧縮されることが可能である。例えば、圧縮モジュール２２（図１）がこのような圧縮アルゴリズムを実行するように構成されてもよい。圧縮の後、圧縮された生データは記憶デバイス２４（図１）に記憶されてもよい。

【0091】

図８Ａは、参照数字５０’によって同定されたフローチャート５０の修正例である。フローチャート５０を参照して先に述べたステップの中にはフローチャート５０’の対応するステップのうちの幾つかに類似する、又は同じであり得るものがあり、よって同じ参照数字で同定されている。

【0092】

図８Ａに示されているように、フローチャート５０’は、実施形態によっては場合により動作ブロック５４を省くことができる。実施形態によっては、フローチャート５０’は、画像データにルックアップテーブルが適用され得る動作ブロック５７も含むことができる。例えば、図１１の曲線で表現される任意選択のルックアップテーブルは、さらなる圧縮を強調するために用いられてもよい。実施形態によっては、図１１のルックアップテーブルは緑画素に対してのみ使用される。他の実施形態では、このルックアップテーブルは赤及び青画素にも使用されてもよい。この同じルックアップテーブルは３つの異なる色に対して使用されてもよく、若しくは各色がその固有のルックアップテーブルを有してもよい。さらに、図１１の曲線によって表現されるもの以外のプロセスも適用されることが可能である。

【0093】

画像データを図８及び図８Ａを参照して先に述べたような方法で処理することにより、画像センサ１８からの画像データが６対１又はこれ以上の圧縮比で圧縮されることが可能であり、しかも視覚的に無損失なままであることが発見されている。さらに、画像データは（例えば緑画像データの減算によって）変換されているが、エンドユーザは依然として全ての生画像データを利用できる。例えば、プロセスのうちの所定のものを逆転することにより、全ての、又は略全ての原初の生データは抽出されることが可能であり、よってユーザが望む任意のプロセスを用いてさらに処理され、濾波され且つ／又はデモザイクされることが可能である。

【0094】

例えば、図１２を参照すると、記憶デバイス２４に記憶されたデータは解凍されてデモザイクされてもよい。場合により、カメラ１０はフローチャート６０によって示されている方法を実行するように構成されることが可能である。例えば、但し限定的ではなく、再生モジュール２８はフローチャート６０によって示されている方法を実行するように構成されてもよい。しかしながら、ユーザは記憶デバイス２４からのデータを別個のワークステーションへ転送してフローチャート６０の任意の、又は全てのステップ及び／又はオペレーションを適用することもできる。

【0095】

引き続き図１２を参照すると、フローチャート６０は動作ブロック６２で開始され、記憶デバイス２４からのデータが解凍される。例えば、動作ブロック６２におけるデータの解凍は、動作ブロック５８（図８）において実行される圧縮アルゴリズムの逆転であってもよい。動作ブロック６２の後、フローチャート６０は動作ブロック６４へ進むことができる。

【0096】

動作ブロック６４では、動作ブロック５６（図８）において実行されるプロセスが逆転されることが可能である。例えば、図１１の曲線の逆転、又は図８及び図８Ａの動作ブロック５６を参照して先に述べた他の関数のうちの任意のものの逆転が画像データに適用されてもよい。動作ブロック６４の後、フローチャート６０はステップ６６へ進むことができる。

【0097】

動作ブロック６６では、緑画素がデモザイクされることが可能である。例えば、先に述べたように、データ成分緑１及び／又は緑２（図７）からの全ての値は記憶デバイス２４に記憶されることが可能である。例えば、図５を参照すると、データ成分緑１、緑２からの緑画像データは、画像センサ１８によって適用される原初のベイヤパターンに従って配置されてもよい。緑データは次に、例えば線形補間、双線形、他等の任意の既知技法によってさらにデモザイクされてもよい。

【0098】

図１３は、全ての生の緑画像データからデモザイクされた緑画像データの例示的な配置を示す。文字Ｇ_ｘで同定された緑画像要素は原初の生（解凍された）画像データを表し、「ＤＧ_ｘ」で同定された要素は原初のデータからデモザイクプロセスを介して導出された要素を表す。この命名法は、他の色に対するデモザイクプロセスについての下記の説明に関連して用いられる。図１４は、原初の緑画像データの１／２からデモザイクされた緑画像データの例示的な画像データ配置を示す。

【0099】

引き続き図１２を参照すると、フローチャート６０は動作ブロック６６の後、動作ブロック６８へ進むことができる。動作ブロック６８では、デモザイクされた緑画像データはさらに処理されることが可能である。例えば、但し限定的ではなく、ノイズ低減技法が緑画像データへ適用されてもよい。しかしながら、緑画像データへは、アンチエイリアシング技術等の他の任意の画像処理技術も適用されることが可能である。動作ブロック６８の後、フローチャート６０は動作ブロック７０へ進むことができる。

【0100】

動作ブロック７０では、赤及び青の画像データがデモザイクされることが可能である。例えば、まず、図９の青画像データが原初のベイヤパターン（図１５）に従って再配置されてもよい。周囲の要素は、図１６に示されているように、線形補間、双線形、他を含む任意の既知のデモザイク技法を用いて既存の青画像データからデモザイクされてもよい。デモザイクステップの結果として、図１６に示されているように、あらゆるピクセルに青画像データが存在することになる。しかしながら、この青画像データは、図９の修正された青画像データ、即ち、緑画像データの値が減算された青画像データの値を基礎としてデモザイクされたものである。

【0101】

動作ブロック７０は、赤画像データのデモザイクプロセスも含むことが可能である。例えば、図１０からの赤画像データは原初のベイヤパターンに従って再配置され、且つ線形補間、双線形、他等の任意の既知のデモザイクプロセスによってさらにデモザイクされてもよい。

【0102】

動作ブロック７０の後、フローチャートは動作ブロック７２へ進むことができる。動作ブロック７２では、デモザイクされた赤及び青の画像データがデモザイクされた緑画像データから再構築されることが可能である。

【0103】

実施形態によっては、赤及び青の画像データ要素は各々、共通サイトの緑画像要素（同じ列「ｍ」及び行「ｎ」位置における緑画像要素）からの緑値を加算することによって再構築されることが可能である。例えば、デモザイクの後、青画像データは青要素値ＤＢ_{ｍ−２，ｎ−２}を含む。図３の原初のベイヤパターンは青要素をこの位置に含んでいなかったことから、この青値ＤＢ_{ｍ−２，ｎ−２}は、例えば要素Ｂ_{ｍ−３，ｎ−３}、 Ｂ_{ｍ−１，ｎ−３}、 Ｂ_{ｍ−３，ｎ−１}及びＢ_{ｍ−１，ｎ−１}のうちの任意の１つからの青値を基礎として上述のデモザイクプロセスを介して、又は他の任意の技法又は他の青画像要素によって導出されている。先に述べたように、これらの値は動作ブロック５４（図８）において修正されており、よって画像センサ１８により検出される原初の青画像データに一致しない。むしろ、これらの値の各々から緑値の平均が減算されていた。従って、結果的に生じる青画像データＤＢ_{ｍ−２，ｎ−２}も、緑画像データが減算された青データを表している。従って、ある実施形態では、要素ＤＧ_{ｍ−２，ｎ−２}のデモザイクされた緑画像データは青画像値ＤＢ_{ｍ−２，ｎ−２}へ加算されることが可能であり、これにより、再構築された青画像データ値がもたらされる。

【0104】

実施形態によっては、場合により、青及び／又は赤画像データはまず、デモザイクより前に再構築されることが可能である。例えば、変換された青画像データＢ’_{ｍ−１，ｎ−１}はまず、周囲の緑要素の平均値を加算することによって再構築されてもよい。これは、原初の青画像データＢ_{ｍ−１，ｎ−１}の取得又は再計算に繋がるものと思われる。このプロセスは、全ての青画像データに対して実行されてもよい。続いて、青画像データは任意の既知のデモザイク技法によってさらにデモザイクされてもよい。赤画像データもまた、同じ方法又は類似方法で処理されることが可能である。

【0105】

図１２Ａは、参照数字６０’によって同定されたフローチャート６０の修正例である。フローチャート６０を参照して先に述べたステップの中にはフローチャート６０’の対応するステップのうちの幾つかに類似する、又は同じであり得るものがあり、よって同じ参照数字で同定されている。

【0106】

図１２Ａに示されているように、フローチャート６０’は、動作ブロック６２に続いて動作ブロック６８’を含むことが可能である。動作ブロック６８’では、画像データに対してノイズ低減技法が実行されることが可能である。例えば、但し限定的ではなく、ノイズ低減技法が緑画像データへ適用されてもよい。しかしながら、緑画像データへは、アンチエイリアシング技術等の他の任意の画像処理技術も適用されることが可能である。動作ブロック６８’の後、フローチャートは動作ブロック７０’へ進むことができる。

【0107】

動作ブロック７０’では、画像データがデモザイクされることが可能である。動作ブロック６６及び７０を参照して先に述べた説明では、緑、赤及び青の画像データは２つのステップでデモザイクされることが可能である。しかしながら、このフローチャート６０’では、３色全ての画像データのデモザイクが１つのステップにおいて表される。但し、デモザイクプロセスに上述のものと同じデモザイク技法が用いられてもよい。動作ブロック７０’の後、フローチャートは、赤及び青画像データが再構築され得る動作ブロック７２へ、及び逆ルックアップテーブルが適用され得る動作ブロック６４へと進むことができる。

【0108】

画像データがフローチャート７０又は７０’の何れか、又は他の任意の適切なプロセスに従って解凍され且つ処理された後、画像データはデモザイクされた画像データとしてさらに処理されることが可能である。

【0109】

赤及び青画像データを再構築する前に緑画像データをデモザイクすることにより、所定のさらなる優位点が達成されることが可能である。例えば、先に述べたように、人間の目は緑光に対する感度がより高い。緑画像データのデモザイク及び処理は、人間の目の感度がそれに対してより高い緑画像値を最適化する。従って、これに続く赤及び青画像データの再構築は、緑画像データの処理によって影響される。

【0110】

さらに、ベイヤパターンは、赤及び青要素の２倍数の緑要素を有する。従って、全ての緑データが保持される実施形態では、緑要素の画像データは赤又は青画像データ要素の２倍存在する。従って、デモザイク技法、フィルタ及び他の画像処理技法は、より良くデモザイクされた鮮明な、又はフィルタリングされた画像をもたらす。これらのデモザイクされた値を用いて赤及び青画像データを再構築し且つデモザイクすることは、原初の緑データのより高い解像度に付随する利点を赤及び青要素の処理、再構成及びデモザイクへと転じる。従って、結果として得られる画像はさらに増強される。

【0111】

図１７Ａ〜図１７Ｂは、ノイズ除去の段階を含む、図８Ａのフローチャート５０の修正例を示す。この例示的な方法は、画像処理モジュール２０、圧縮モジュール２２及び／又はカメラ１０の他のコンポーネントによってアクセス可能なプロセスとして記憶されてもよい。フローチャート５０を参照して先に述べたステップの中には図１７Ａ〜図１７Ｂにおけるフローチャートの対応するステップのうちの幾つかに類似する、又は同じであり得るものがあり、よって同じ参照数字で同定されている。

【0112】

図１７Ａ〜図１７Ｂに示されているように、実施形態によっては、動作ブロック１７０は、画像データにノイズ除去が適用されるものに包含されることが可能である。ノイズ除去ステップは、１ピクセル又は画素におけるノイズ抑制に１つの画像フレームが使用される空間ノイズ除去等のノイズ除去技術を包含することができる。また、動き適応型、半動き適応型又は動き補償型の方法を含む、ノイズ補正用に複数の画像フレームを用いる時間ノイズ除去も使用されることが可能である。さらに、図１７Ｃ及び図１８〜図２０を参照して後にさらに詳述するように、他のノイズ除去方法を用いて画像又はビデオ信号からノイズが除去されてもよい。

【0113】

実施形態によっては、動作ブロック１７０に示されているノイズ除去段階は、動作ブロック５８における圧縮の前に発生することが可能である。圧縮に先立ってデータからノイズを除去することは、これが圧縮プロセスの有効性を大幅に向上させ得るという理由で効果的である可能性がある。実施形態によっては、ノイズ除去は動作ブロック５８における圧縮プロセスの一部として行われてもよい。

【0114】

図１７Ａ〜図１７Ｂに示されているように、動作ブロック１７０は、画像データ変換プロセスにおける多くのポイントで発生することが可能である。例えば、ノイズ除去は、ステップ５２の後、画像センサからの生画像データに対して変換に先立って適用されても、動作ブロック５６における変換の後にベイヤパターンデータに対して適用されてもよい。実施形態によっては、ノイズ除去は、動作ブロック５４において発生するデータの予強調（pre-emphasis）の前又は後で適用されてもよい。注目すべきは、予強調の前に行うノイズ除去は、これが知覚的線形データに対してより有効に作用し得るという理由で効果的であり得ることにある。さらに、例示的な実施形態では、緑画像データは、動作ブロック５６における赤及び青画素の変換プロセスの間のノイズを最小限に抑えるために、動作ブロック５６より前にノイズ除去されることも可能である。

【0115】

図１７Ｃは、画像データからノイズを除去する複数の段階を示すフローチャートを含む。実施形態によっては、本フローチャートは、記憶デバイス２４又はカメラ１０内の別の記憶デバイス（不図示）等のメモリデバイスに記憶されるノイズ除去ルーチンを表すことが可能である。さらに、中央処理装置（ＣＰＵ）（不図示）は、このノイズ除去ルーチンを実行するように構成されることが可能である。実施形態に依存して、後述するブロックのうちの所定のものは除去されてもよく、その他のものが追加されてもよく、且つブロックの順序が変更されてもよい。

【0116】

引き続き図１７Ｃを参照すると、ノイズ除去ルーチンは動作ブロック１７２で開始されることが可能である。動作ブロック１７２では、閾値メジアンのノイズ除去が適用される。閾値メジアンノイズ除去は、画像フレーム内でノイズ除去されているカレントピクセルの周囲又は近傍のピクセルを用いてメジアン（又は平均）を計算することを含んでもよい。閾値は、カレントピクセルをメジアンで置換するか否かを決定するために使用されることが可能である。これは、周囲のピクセルより遙かに明るい、又は暗いピクセル等のスパイク状ノイズを除去するために効果的であり得る。緑画素を基礎とする赤及び青画素の変形に先立って緑画素に閾値メジアンノイズ除去が適用される場合、ノイズ除去は大幅に向上されることが可能である。

【0117】

例えば、ある実施形態では、閾値メジアンノイズ除去は、ソーティングアルゴリズムを用いて、例えば適用される欠陥管理アルゴリズム及び時間ノイズによって導入されることがあるアーティファクトを平滑化する３×３メジアンフィルタを使用してもよい。これらのアーティファクトは、概して、ごま塩ノイズ（salt-and-pepper noise）として発現され、且つメジアンフィルタはこの種のノイズを除去するために有益である場合がある。

【0118】

先に述べたように、閾値メジアンノイズ除去において、閾値は、ピクセルが置換されるべきか否かを、ピクセルのメジアン値に対する類似性又は差異を測定する測定基準に依存して決定するために使用されることが可能である。例えば、近傍の緑ピクセルＧ１及びＧ２の想定は、これらが同一のサンプルからのものであるかのように扱われてもよい。閾値メジアンノイズ除去は、例示を目的として擬似コードの形式で表現されている下記のアルゴリズムを使用してもよい。

【0119】

差＝ａｂｓ（ガンマ（ピクセル値）−ガンマ（メジアン値））

【0120】

（差＜閾値）であれば、ピクセル値を選ぶ。

【0121】

それ以外は、メジアン値を選ぶ。

【0122】

当業者は、閾値メジアンノイズ除去が他のタイプのアルゴリズムを使用する場合があることを認識するであろう。例えば、閾値は、決定される、又は計算される静的値であってもよい。或いは、閾値は、カレントフレームの特性、１つ又は複数の先行フレームの特性、他を基礎として動的に決定され且つ調整されてもよい。

【0123】

ブロック１７４へ進むと、画像データに空間ノイズ除去が適用される。空間ノイズ除去は、ノイズ除去用の画像又はビデオフレームにおいてカレントピクセルに隣接する（例えば、空間的に近接している）画素を使用することを含んでもよい。実施形態によっては、周囲のピクセルに、カレントピクセルからのそれらの距離、明るさ及びカレントピクセルとの明るさレベルの差を基礎として加重する重み関数が使用されてもよい。これは、画像フレーム内のノイズ除去を大幅に向上させることができる。注目すべきは、空間ノイズ除去は、幾つかの実施形態において、変換された赤、青及び緑ピクセルに対し予強調の後に発生し得ることにある。

【0124】

続くブロック１７６では、画像データへ時間ノイズ除去が適用される。時間ノイズ除去は、幾つかの画像又はビデオフレームからのデータを用いてカレントフレームからノイズを除去することを含んでもよい。例えば、先行フレーム又は累積フレームを用いてカレントフレームからノイズが除去されてもよい。時間ノイズ除去プロセスは、実施形態によっては、ちらつきを除去するために用いられてもよい。実施形態によっては、先行フレームから正しいピクセル値を決定するために、ピクセルの動きを検出する動作適応型、半動作適応型及び動作補償型の方法が使用されてもよい。

【0125】

図１８Ａは、閾値メジアンノイズ除去の例示的な一方法のフローチャートの実施形態を示す。この例示的な方法は、画像処理モジュール１５０及び／又はカメラ１０の他のコンポーネントによってアクセス可能なプロセスとして記憶されてもよい。実施形態に依存して、後述するブロックのうちの所定のものは除去されてもよく、その他のものが追加されてもよく、且つブロックの順序が変更されてもよい。

【0126】

ブロック１８０を始めとして、画像フレーム内のカレントピクセルを包囲するピクセルのメジアン（又は、実施形態によっては平均値）が計算される。ピクセルサンプルは、カメラ１０の基礎を成すハードウェアにおける制限を均衡させながらノイズ除去を最適化するために、画像又はビデオフレームから様々なサイズのものが選択されてもよい。例えば、図１８Ｂは赤及び青データピクセルのサンプルカーネルサイズを示し、図１８Ｃは緑データピクセルのサンプルサイズを示している。図１８Ｂ〜図１８Ｃの双方において、赤（Ｒ）、青（Ｂ）及び緑（Ｇ１又はＧ２）の画像データのサンプルサイズは９ポイントである。

【0127】

図１８Ｂが赤及び青ピクセルのメジアンを計算するために使用されるピクセルのパターンを示していることは、注目すべきである。図示されているように、図１８において、赤及び青データに使用されるピクセルのサンプルは正方形形状を保っている。しかしながら、図１８Ｃにおいて分かるように、緑データに使用されるピクセルのサンプルはダイヤモンド形状を有する。サンプルの形状及びサイズは画像データのフォーマット及び他の制約に依存して異なるものが選択されてもよいことは、注目すべきである。

【0128】

引き続き図１８Ａを参照すると、動作ブロック１８０の後、フローチャートはブロック１８２へ進む。ブロック１８２では、カレントピクセルの値がメジアンと比較される。ブロック１８４へ進んで、カレントピクセルが（例えば、絶対差で）メジアンから閾値を超えて偏向していれば、ブロック１８６において、カレントピクセルはメジアン値で置換される。しかしながら、ブロック１８８では、カレントピクセルがメジアンから閾値を超えて偏向していなければ、カレントピクセル値はそのままにされる。

【0129】

実施形態によっては、計算されるメジアン又は閾値の値は、ノイズを除去されているカレントピクセルが暗い領域に存在するか、明るい領域に存在するかに依存して変わる可能性がある。例えば、ピクセル値が線形的な光センサデータに一致していれば、カレントピクセルが明るい領域に存在するか、暗い領域に存在するかを基礎として最終結果が歪まないように、周囲の各ピクセルに重みがかけられてもよい。或いは、閾値は、計算されるメジアン又はカレントピクセルの明るさに依存して選択されてもよい。これにより、ノイズ除去プロセスの間にフレームのシャドー領域におけるピクセルから過剰なノイズが除去されることをなくすことができる。

【0130】

図１９Ａは、画像又はビデオデータのフレームから空間ノイズを除去する例示的な一方法を示す。この例示的な方法は、画像処理モジュール２０、圧縮モジュール２２及び／又はカメラ１０の他のコンポーネントによってアクセス可能なプロセスとして記憶されてもよい。実施形態に依存して、後述するブロックのうちの所定のものは除去されてもよく、その他のものが追加されてもよく、且つブロックの順序が変更されてもよい。

【0131】

動作ブロック１９０を始めとして、画像フレーム内で１つのカレントピクセルが選択され、且つ閾値と照合されてそのカレントピクセルがノイズ閾値を超えているかどうかが決定される。熟練者は、カレントピクセルがノイズ閾値を超えているかどうかの決定に際して、図１８Ａを参照して述べたもの及び本明細書に記述されている他のものを含む様々な技法が使用され得ることを認識するであろう。

【0132】

続くブロック１９２では、カレントピクセルに隣接するピクセル集合が選択され、近傍ピクセルに空間関数が適用される。図１９Ｂ〜図１９Ｃは、空間関数への入力として供給するためのデータポイントとして使用されることが可能な周囲の青、赤及び緑ピクセルのサンプル配置を示す。図１９Ｂには、赤画像データの２１個のタップ又はポイントを有するサンプルカーネルが示されている。図１９Ｂから分かるように、このサンプルは略円形のパターン及び形状を有する。図１９Ｂに示されているものに類似するポイントのサンプリングが青画素にも使用可能であることは、注目すべきである。

【0133】

図１９Ｃには、カレントピクセルに隣接するデータポイントの緑データによるサンプリングが示されている。図示されているように、本サンプルは、略円形パターンを形成する２９個のデータポイントを含む。図１９Ｂ〜図１９Ｃは例示的な実施形態を示したものであり、サンプルとしては、必要とされるノイズ除去の程度及びカメラ１０のハードウェア上の制約に依存して他の数のデータポイント及び形状が選択され得ることは、注目すべきである。

【0134】

ブロック１９２をさらに参照すると、空間関数は、典型的には、ノイズを除去されているカレントピクセルを包囲するピクセルに、カレントピクセルと周囲ピクセルとの間の明るさレベルの差、カレントピクセルの明るさレベル及び周囲ピクセルのカレントピクセルからの距離を基礎として重みをかける。実施形態によっては、カレントピクセルのノイズを除去するために、記述されている３要素（並びに他の要素）のうちの幾つか、又は全てが空間関数によって使用されてもよい。

【0135】

実施形態によっては、近傍ピクセル毎のノイズ除去強度を決定するために、ノイズを除去されているカレントピクセルと各近傍ピクセルとの間の明るさレベルの絶対差が計算されてもよい。或いは、図１９Ｄに示されているように、バイラテラルフィルタを適用する例示的な重み関数がこの効果を達成するために適用されてもよい。図１９Ｄでは、カレントピクセルは重み関数へのｘ入力として与えられ、且つ周囲ピクセルはｙ入力として与えられている。図１９Ｄから分かるように、重み関数は、ｘ軸を中心に概して対称性であってもよい。重み関数の右側は、３つの線分を含んでもよい。カレントピクセル及び周囲ピクセルがどの線分に属するかに依存して、重み関数の結果は、３値のうちの１つになる可能性がある。実施形態によっては、重み関数のエンドポイント、（ｘ０，ｙ０）及び（ｘ３，ｙ３）は、各々座標（０，１）及び（１，０）に定められることが可能である。２つの中間点（ｘ１，ｙ１）及び（ｙ２，ｘ２）の座標は、プログラム可能であってもよい。座標の定配置及びプログラム可能な配置の組合せが、計算時間を短縮すると同時に引き続き高精度を与え得ることは、注目すべきである。実施形態によっては、図１９Ｄの例示的な関数に略類似する特性を有する重み関数も使用されることが可能である。

【0136】

先に述べたように、ノイズを除去されているカレントピクセルの明るさレベルは、カレントピクセルのノイズを除去するために空間関数によって使用されることも可能である。図１９Ｅ〜図１９Ｆは、画像のより暗い領域を考慮して空間ノイズ除去関数を調整するために使用されることが可能な例示的な重み関数を示している。概して、図１９Ｅに示されている曲線は、関数Ｙ ＝ Ｘ^１／３によって表されることが可能である。図１９Ｆに示されている曲線は、関数：Ｙ ＝（ｌ／３）^ｘによって表されることが可能である。図１９Ｅ〜図１９Ｆは共に、ノイズを除去されているピクセルの明るさ（又は絶対明度）を入力ｘとして受け入れ、加重された明るさの値をｙとして出力する。実施形態によっては、略類似の特性を有する曲線族も使用されることが可能である。

【0137】

引き続きブロック１９２を参照すると、各周囲ピクセルのノイズを除去されているカレントピクセルからの距離は、ノイズ除去効果がどの程度の強度であるかを制御するためにも使用されることが可能である。例示的な実施形態では、共に先に説明されている図１９Ｂ〜図１９Ｃは、近傍ピクセルをそれらのカレントピクセルからの距離を基礎として２つのグループに分離するために使用されることが可能である。近傍ピクセルは、それがどちらのグループに属するかに依存して、空間ノイズ除去関数において所定の重みを与えられてもよい。例えば、カレントピクセルからかなり遠いピクセルは少なく加重されてもよいのに対して、カレントピクセルへより近いピクセルはより重く加重されてもよい。実施形態によっては、距離を基礎として近傍ピクセルを区別化するために、３つ以上のグループが用いられてもよい。

【0138】

続く動作ブロック１９２では、空間関数は、カレントピクセルと各周囲ピクセルとの間の明るさレベルの差、カレントピクセルの明るさレベル及び各周囲ピクセルのカレントピクセルからの距離を基礎として周囲ピクセルに加重するカレントピクセルのノイズ除去ピクセル値を計算することを終了する。ノイズ除去ピクセル値が計算された後、カレントピクセルはこのノイズ除去ピクセル値に設定される。

【0139】

図２０は、ビデオ又は画像データのフレームから時間ノイズを除去する例示的な一方法を示す。この例示的な方法は、画像処理モジュール２０、圧縮モジュール２２及び／又はカメラ１０の他のコンポーネントによってアクセス可能なプロセスとして記憶されてもよい。実施形態に依存して、後述するブロックのうちの所定のものは除去されてもよく、その他のものが追加されてもよく、且つブロックの順序が変更されてもよい。

【0140】

動作ブロック２００を始めとして、画像フレーム内で１つのカレントピクセルが選択され、且つ閾値と照合されてそのカレントピクセルがノイズ閾値を超えているかどうかが決定される。熟練者は、カレントピクセルがノイズ閾値を超えているかどうかの決定に際して、図１８Ａを参照して述べたもの及び本明細書に記述されている他のものを含む様々な技法が使用され得ることを認識するであろう。

【0141】

ブロック２０２へ進むと、空間的にノイズ除去されている先行フレームが取得される。例えば、図１９Ａのノイズ除去ルーチンが先行フレーム上で実行されると、このフレームが選択されてもよい。或いは、未だノイズ除去が行われていない累積フレーム又は先行フレームが使用されてもよい。

【0142】

続くブロック２０４では、時間関数が、先行フレームからノイズを除去されているカレントピクセルを包囲するピクセルに、カレントピクセルと周囲ピクセルとの間の明るさレベルの差、カレントピクセルの明るさレベル及び周囲ピクセルのカレントピクセルからの距離を基礎として重みをかける。実施形態によっては、カレントピクセルのノイズを除去するために、記述されている３要素（並びに他の要素）のうちの幾つか、又は全てが時間関数によって使用されてもよい。

【0143】

ブロック２０４をさらに参照すると、先行フレームにおけるカレントピクセルに隣接するピクセル集合が選択され、これらの近傍ピクセルに時間関数が適用される。先行フレームにおける周囲の青、赤及び緑ピクセルのサンプル配置を示す先に述べた図１９Ｂ〜図１９Ｃは、カレントフレームにおけるノイズを除去されているカレントピクセルに加えて、時間関数におけるデータポイントとして使用されることが可能である。さらに、近傍ピクセル毎にその明るさレベルを基礎としてノイズ除去の強度を決定するための重み関数を示す先に述べた図１９Ｄも使用されることが可能である。実施形態によっては、先行フレームにおける周囲ピクセルにそのカレントピクセルからの距離を基礎として加重する距離重み関数は、ノイズ除去効果がどの程度の強度であるかを制御するために使用されることが可能である。実施形態によっては、ノイズを除去されているカレントピクセルの明るさレベルも時間関数によって使用されてもよい。図１９Ｅ〜図１９Ｆは、画像のより暗い領域を考慮して時間ノイズ除去関数を調整するために使用されることが可能な例示的な重み関数を示している。他の曲線及び曲線族が使用されてもよいことは、注目すべきである。

【0144】

続く動作ブロック２０６では、空間関数は、カレントフレーム内のカレントピクセルと各周囲ピクセルとの間の明るさレベルの差、カレントピクセルの明るさレベル及び周囲ピクセルの各カレントピクセルからの距離を基礎として先行フレームからの周囲ピクセルに加重するカレントピクセルのノイズ除去ピクセル値を計算することを終了する。ノイズ除去ピクセル値が計算された後、カレントピクセルはこのノイズ除去ピクセル値に設定されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図8A】

【図9】

【図10】

【図11】

【図12】

【図12A】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図17C】

【図18A】

【図18B】

【図18C】

【図19A】

【図19B】

【図19C】

【図19D】

【図19E】

【図19F】

【図20】