知財求人 - 知財ポータルサイト「IP Force」
▶ ブラックマジック デザイン ピーティーワイ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023025085
(43)【公開日】2023-02-21
(54)【発明の名称】カメラの画像処理方法およびカメラ
(51)【国際特許分類】
H04N 23/60 20230101AFI20230214BHJP
H04N 25/10 20230101ALI20230214BHJP
【ＦＩ】
H04N23/60 500
H04N9/07 A
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022186120
(22)【出願日】2022-11-22
(62)【分割の表示】P 2018113005の分割
【原出願日】2018-06-13
(31)【優先権主張番号】2017902284
(32)【優先日】2017-06-15
(33)【優先権主張国・地域又は機関】AU
(71)【出願人】
【識別番号】512262569
【氏名又は名称】ブラックマジック デザイン ピーティーワイ リミテッド
【氏名又は名称原語表記】Ｂｌａｃｋｍａｇｉｃ Ｄｅｓｉｇｎ Ｐｔｙ Ｌｔｄ
【住所又は居所原語表記】１１ Ｇａｔｅｗａｙ Ｃｏｕｒｔ， Ｐｏｒｔ Ｍｅｌｂｏｕｒｎｅ， Ｖｉｃｔｏｒｉａ ３２０７， Ａｕｓｔｒａｌｉａ
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】カルステン ブェットナー
(57)【要約】 （修正有）
【課題】デジタルカラーカメラのＲＡＷ画像データを処理する方法及びカメラを提供する。
【解決手段】方法は、カメラのＲＡＷ画像データを処理する方法はＲＡＷ画像データ１０２から輝度画像１１０を算出すること１０８及びＲＡＷ画像データからセンサ画像カラーの少なくとも１つに対応する少なくとも１つのクロミナンス画像１１４Ｂ、１１４Ｒを算出すること１１２を含む。輝度画像及びクロミナンス画像はＲＡＷ画像データに表され得る同じカラーレンジを表すことができる。クロミナンス画像は輝度画像の解像度よりも低い解像度を有する。
【選択図】図３
【解決手段】方法は、カメラのＲＡＷ画像データを処理する方法はＲＡＷ画像データ１０２から輝度画像１１０を算出すること１０８及びＲＡＷ画像データからセンサ画像カラーの少なくとも１つに対応する少なくとも１つのクロミナンス画像１１４Ｂ、１１４Ｒを算出すること１１２を含む。輝度画像及びクロミナンス画像はＲＡＷ画像データに表され得る同じカラーレンジを表すことができる。クロミナンス画像は輝度画像の解像度よりも低い解像度を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
カメラの画像データ処理方法であって、前記カメラはカラーフィルタアレイを備えた画
像センサを含み、画像センサはフォトサイトのアレイを含み、各フォトサイトはカラーフ
ィルタアレイの複数のカラーのそれぞれにおいて受光し、対応するフォトサイトで捕捉さ
れた光の強度を示すピクセル値を出力するように構成され；該方法は：
画像センサから出力されたＲＡＷ画像データを表す第１解像度を有する輝度画像を生成
すること；及び
前記画像センサから出力されるＲＡＷ画像データを表し前記第１解像度よりも低い第２
解像度を有する少なくとも１つのクロミナンス画像を生成すること
を含む方法。
像センサを含み、画像センサはフォトサイトのアレイを含み、各フォトサイトはカラーフ
ィルタアレイの複数のカラーのそれぞれにおいて受光し、対応するフォトサイトで捕捉さ
れた光の強度を示すピクセル値を出力するように構成され；該方法は：
画像センサから出力されたＲＡＷ画像データを表す第１解像度を有する輝度画像を生成
すること；及び
前記画像センサから出力されるＲＡＷ画像データを表し前記第１解像度よりも低い第２
解像度を有する少なくとも１つのクロミナンス画像を生成すること
を含む方法。
【請求項2】
前記方法は画像センサで生成されるＲＡＷ画像データをデモザイシングしてカラーフィ
ルタアレイの各カラーに対応するカラー画像を生成することを含む、請求項１に記載の方
法。
ルタアレイの各カラーに対応するカラー画像を生成することを含む、請求項１に記載の方
法。
【請求項3】
所定のカラーのカラー画像を生成することは：
カラー画像の各ピクセルに対し、別のピクセル周辺の複数のピクセルに基づいてエッジ
及びライン検出の少なくとも一つを実行し、前記エッジ又はライン検出に基づいてピクセ
ル値を決定することを含む、請求項２に記載の方法。
カラー画像の各ピクセルに対し、別のピクセル周辺の複数のピクセルに基づいてエッジ
及びライン検出の少なくとも一つを実行し、前記エッジ又はライン検出に基づいてピクセ
ル値を決定することを含む、請求項２に記載の方法。
【請求項4】
所定のピクセルのピクセル値を決定することは、そこからそのピクセル値を決定する所
定のピクセルの周辺のピクセルのサブセットを選択することを含む、請求項３に記載の方
法。
定のピクセルの周辺のピクセルのサブセットを選択することを含む、請求項３に記載の方
法。
【請求項5】
所定のピクセルのピクセル値を決定することは、前記ピクセル値を決定する際に該所定
のピクセル周辺のピクセルのサブセットのピクセルに対し重み付けを行うことを含む、請
求項３又は４のいずれかに記載の方法。
のピクセル周辺のピクセルのサブセットのピクセルに対し重み付けを行うことを含む、請
求項３又は４のいずれかに記載の方法。
【請求項6】
前記サブセットのピクセルの重み付けは重み付けされるサブセット内のピクセル又はピ
クセルのサブセットに適用が可能なノイズレベルに基づいて決定される、請求項５に記載
の方法。
クセルのサブセットに適用が可能なノイズレベルに基づいて決定される、請求項５に記載
の方法。
【請求項7】
クロミナンス画像の生成は：
各カラー画像のピクセル値と輝度画像のピクセルのサブセットにおける輝度画像との間
の差分、及び
各カラー画像のピクセル値と緑画像のピクセルのサブセットにおける緑画像との間の差分
、のいずれか差分を算出することを含む、請求項１～６のいずれかに記載の方法。
各カラー画像のピクセル値と輝度画像のピクセルのサブセットにおける輝度画像との間
の差分、及び
各カラー画像のピクセル値と緑画像のピクセルのサブセットにおける緑画像との間の差分
、のいずれか差分を算出することを含む、請求項１～６のいずれかに記載の方法。
【請求項8】
１以上の輝度画像及び１以上のクロミナンス画像がフィルタカーネルを使ってＲＡＷ画
像データから生成される、請求項１に記載の方法。
像データから生成される、請求項１に記載の方法。
【請求項9】
前記輝度画像及び１以上のクロミナンス画像が前記ＲＡＷ画像データのデモザイシング
処理を行うことなく生成される、請求項８に記載の方法。
処理を行うことなく生成される、請求項８に記載の方法。
【請求項10】
捕捉されたＲＡＷ画像データがＮｘＭピクセルの解像度を有する；及び／又は
輝度画像がＮｘＭピクセルの解像度を有する、請求項１～９のいずれかに記載の方法。
輝度画像がＮｘＭピクセルの解像度を有する、請求項１～９のいずれかに記載の方法。
【請求項11】
少なくとも１つの前記輝度画像、１以上のクロミナンス画像を圧縮することをさらに含
む、請求項１～１０のいずれかに記載の方法。
む、請求項１～１０のいずれかに記載の方法。
【請求項12】
前記輝度画像及び２つのクロミナンス画像が共通の圧縮アルゴリズムを使って一緒に圧
縮される、請求項１１に記載の方法。
縮される、請求項１１に記載の方法。
【請求項13】
ＲＡＷ画像データのカラーレンジが前記輝度画像及び１以上のクロミナンス画像の一方
又は両方に維持される、請求項１～１２のいずれかに記載の方法。
又は両方に維持される、請求項１～１２のいずれかに記載の方法。
【請求項14】
前記輝度画像及び２つのクロミナンス画像がＹＣｂＣｒ４２０フォーマットにフォーマ
ット化されている、請求項１～１３のいずれかに記載の方法。
ット化されている、請求項１～１３のいずれかに記載の方法。
【請求項15】
カメラの画像データ処理方法であって、該カメラはカラーフィルタアレイを備えた画像
センサを有し、画像センサはフォトサイトのアレイを含み、各フォトサイトはカラーフィ
ルタアレイの複数のカラーのそれぞれで受光し、対応するフォトサイトで捕捉された光の
強度を示すピクセル値を出力するように構成され；該方法は：
捕捉されたＲＡＷ画像データをデモザイシングして画像センサから出力されたＲＡＷ画
像データを表しかつカラーフィルタアレイの複数の色に対応する複数のカラー画像を生成
することを含み、該デモザイシング処理は；
カラーフィルタアレイの各カラーに対応するカラー画像を生成し、カラー画像の各ピク
セルに対しモザイシング処理された、捕捉されたＲＡＷ画像データの前記ピクセルの周辺
の複数のピクセルに基づいてエッジ及びライン検出の少なくとも一つを実行し、及び前記
エッジ又はライン検出に基づいて、所定のピクセル周辺のピクセルのサブセットを選択す
ることによりピクセル値を決定することを含み、前記ピクセルのサブセットは該サブセッ
ト内ピクセルの加重平均を算出する前記ピクセルと同じカラーである方法。
センサを有し、画像センサはフォトサイトのアレイを含み、各フォトサイトはカラーフィ
ルタアレイの複数のカラーのそれぞれで受光し、対応するフォトサイトで捕捉された光の
強度を示すピクセル値を出力するように構成され；該方法は：
捕捉されたＲＡＷ画像データをデモザイシングして画像センサから出力されたＲＡＷ画
像データを表しかつカラーフィルタアレイの複数の色に対応する複数のカラー画像を生成
することを含み、該デモザイシング処理は；
カラーフィルタアレイの各カラーに対応するカラー画像を生成し、カラー画像の各ピク
セルに対しモザイシング処理された、捕捉されたＲＡＷ画像データの前記ピクセルの周辺
の複数のピクセルに基づいてエッジ及びライン検出の少なくとも一つを実行し、及び前記
エッジ又はライン検出に基づいて、所定のピクセル周辺のピクセルのサブセットを選択す
ることによりピクセル値を決定することを含み、前記ピクセルのサブセットは該サブセッ
ト内ピクセルの加重平均を算出する前記ピクセルと同じカラーである方法。
【請求項16】
前記サブセット内のピクセルの重み付けは重み付けされるサブセット内のピクセル及び
ピクセルのサブセットのいずれかに適用可能なノイズレベルに基づいて決定される、請求
項１５に記載の方法。
ピクセルのサブセットのいずれかに適用可能なノイズレベルに基づいて決定される、請求
項１５に記載の方法。
【請求項17】
各カラー画像が画像センサから出力されたＲＡＷ画像データを表す、請求項１５又は１
６のいずれかに記載の方法。
６のいずれかに記載の方法。
【請求項18】
画像センサから出力されたＲＡＷ画像データを表す輝度画像を生成すること；及び
画像センサから出力されたＲＡＷ画像データを表す少なくとも１つのクロミナンス画像
を生成することをさらに含む、請求項１５又は１６のいずれかに記載の方法。
画像センサから出力されたＲＡＷ画像データを表す少なくとも１つのクロミナンス画像
を生成することをさらに含む、請求項１５又は１６のいずれかに記載の方法。
【請求項19】
請求項７～１４のいずれかに記載のステップをさらに含む請求項１５～１８のいずれか
に記載の方法。
に記載の方法。
【請求項20】
請求項１～１９のいずれかに記載された方法を実行するように構成された画像処理シス
テムを含むカメラ。
テムを含むカメラ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカメラの画像処理方法に関する。実施形態の説明は、ＲＧＢベイヤーカラーフ
ィルタアレイを使って捕捉された画像について行うが、白ピクセル、即ちフィルタリング
処理されていないピクセルを含むカラーフィルタアレイ（ＣＦＡ）を備えた異なる画像捕
捉構成を使って、他の実施例を実行することもできる。
ィルタアレイを使って捕捉された画像について行うが、白ピクセル、即ちフィルタリング
処理されていないピクセルを含むカラーフィルタアレイ（ＣＦＡ）を備えた異なる画像捕
捉構成を使って、他の実施例を実行することもできる。
【背景技術】
【0002】
デジタルカラーカメラは、通常、電荷結合素子（ＣＣＤ）や相補型金属酸化膜半導体（
ＣＭＯＳ）センサである画像センサを使って、現実シーンのカラー画像を電子的に捕捉す
る。画像センサは単色性であるので、デジタルカメラメーカは現場の色を捕捉するために
様々な解決方法を実行する。これらの解決方法はカラーチャネルごとに１つのセンサを用
いる３つのセンサデバイスの使用、垂直色感知フォトサイトの使用、又は最も一般的には
カラーフィルタアレイを備えたシングルセンサデバイスの使用を含む。現在カラーイメー
ジングに使われている最も費用対効果の高い方法の一つが、シングルセンサデバイスの利
用であり、デジタルカメラに広く使用されている。
ＣＭＯＳ）センサである画像センサを使って、現実シーンのカラー画像を電子的に捕捉す
る。画像センサは単色性であるので、デジタルカメラメーカは現場の色を捕捉するために
様々な解決方法を実行する。これらの解決方法はカラーチャネルごとに１つのセンサを用
いる３つのセンサデバイスの使用、垂直色感知フォトサイトの使用、又は最も一般的には
カラーフィルタアレイを備えたシングルセンサデバイスの使用を含む。現在カラーイメー
ジングに使われている最も費用対効果の高い方法の一つが、シングルセンサデバイスの利
用であり、デジタルカメラに広く使用されている。
【0003】
シングルセンサカメラにおいて、本質的にはカラーフィルタの空間的アレイであるカラ
ーフィルタアレイ（ＣＦＡ）は、シングル画像センサの前方に配置されて、異なるスペク
トル成分（色）を同時に捕捉する。ＣＦＡのフィルタはシングル画像センサのフォトサイ
トと空間的に相関し、各フォトサイトは対応するスペクトル選択フィルタを有する。シン
グルセンサカメラで捕捉されたＲＡＷ画像は、一般的に各フォトサイトにただ１つのカラ
ー要素を有するモザイク状のグレースケール画像を構成する。ＲＡＷ画像はその後一連の
画像処理ステップを経て捕捉された現実の情景をリアルに示す画像を生成する。
ーフィルタアレイ（ＣＦＡ）は、シングル画像センサの前方に配置されて、異なるスペク
トル成分（色）を同時に捕捉する。ＣＦＡのフィルタはシングル画像センサのフォトサイ
トと空間的に相関し、各フォトサイトは対応するスペクトル選択フィルタを有する。シン
グルセンサカメラで捕捉されたＲＡＷ画像は、一般的に各フォトサイトにただ１つのカラ
ー要素を有するモザイク状のグレースケール画像を構成する。ＲＡＷ画像はその後一連の
画像処理ステップを経て捕捉された現実の情景をリアルに示す画像を生成する。
【0004】
最も一般的に使用されるＣＦＡは、図２に示すような赤、緑、青が交互に配置されたベ
イヤーＣＦＡである。各フォトサイトで捕捉されるのはただ１つのカラータイプなので、
捕捉されたＲＡＷ画像はそれぞれ異なるフォトサイトの赤、緑、青値の「モザイク」であ
る。
イヤーＣＦＡである。各フォトサイトで捕捉されるのはただ１つのカラータイプなので、
捕捉されたＲＡＷ画像はそれぞれ異なるフォトサイトの赤、緑、青値の「モザイク」であ
る。
【0005】
「デモザイシング」として知られているプロセスにより各フォトサイトのフルカラー情
報を生成する。このプロセスにおいて、フォトサイトの不足するカラー情報は補間プロセ
スにより隣接のフォトサイトから決定される。ベイヤーＣＦＡを備えたセンサで３色画像
を取得する場合、ＲＡＷ画像データ量はこのデモザイシングプロセスにより３倍に増加す
る。さらにはホワイトバランス、カラー変換、ノイズリダクション、トーンマッピング等
のプロセスも必要となる。このような処理工程は以下のように実行される：
（１）上記画像処理工程はカメラが画像を記憶する前に実行され、ユーザが記憶された画
像をディスプレイ上でいつでも見られるようにする。捕捉した画像やビデオが直ちに見ら
れることに対し多くの要望があるため、ほとんどの民生用カメラのアプリケーションはＲ
ＡＷ画像データをそれが記憶される前に処理するようにしている。
（２）上記の画像処理工程のいくつかは後処理に回しても良い。このアプローチは業務用
カメラのアプリケーションではより一般的である。両方のオプションにはそれぞれの長所
と短所がある。
報を生成する。このプロセスにおいて、フォトサイトの不足するカラー情報は補間プロセ
スにより隣接のフォトサイトから決定される。ベイヤーＣＦＡを備えたセンサで３色画像
を取得する場合、ＲＡＷ画像データ量はこのデモザイシングプロセスにより３倍に増加す
る。さらにはホワイトバランス、カラー変換、ノイズリダクション、トーンマッピング等
のプロセスも必要となる。このような処理工程は以下のように実行される：
（１）上記画像処理工程はカメラが画像を記憶する前に実行され、ユーザが記憶された画
像をディスプレイ上でいつでも見られるようにする。捕捉した画像やビデオが直ちに見ら
れることに対し多くの要望があるため、ほとんどの民生用カメラのアプリケーションはＲ
ＡＷ画像データをそれが記憶される前に処理するようにしている。
（２）上記の画像処理工程のいくつかは後処理に回しても良い。このアプローチは業務用
カメラのアプリケーションではより一般的である。両方のオプションにはそれぞれの長所
と短所がある。
【0006】
上述のように、第１のオプションは、デモザイシングを行いデモザイシング処理された
画像データを圧縮するようなさまざまな画像処理アルゴリズムを画像センサのＲＡＷ画像
に適用する。このオプションの大きな短所は、圧縮が非効率となるだけでなく後処理に制
限があることである。この後処理の制限は、既に特定のカラー処理がデモザイシング処理
されたデータに適用されており、圧縮プロセスにおいて特定の画像情報が失われる可能性
があることに起因する。圧縮の非効率はデモザイシングのアルゴリズムがＲＡＷ画像デー
タと比較して３倍のデータ量に至らしめることに起因する。画像が記憶される前により小
さなサイズやビットレートを達成するために、この追加されたデータをより大幅に圧縮す
ることが必要になる。
画像データを圧縮するようなさまざまな画像処理アルゴリズムを画像センサのＲＡＷ画像
に適用する。このオプションの大きな短所は、圧縮が非効率となるだけでなく後処理に制
限があることである。この後処理の制限は、既に特定のカラー処理がデモザイシング処理
されたデータに適用されており、圧縮プロセスにおいて特定の画像情報が失われる可能性
があることに起因する。圧縮の非効率はデモザイシングのアルゴリズムがＲＡＷ画像デー
タと比較して３倍のデータ量に至らしめることに起因する。画像が記憶される前により小
さなサイズやビットレートを達成するために、この追加されたデータをより大幅に圧縮す
ることが必要になる。
【0007】
第２のオプションは画像センサのＲＡＷ画像データをエンコードして圧縮し、その後圧
縮されたモザイクＲＡＷ画像データをデモザイシング、ホワイトバランス等を行うことな
く記憶することに関わる。このオプションは画像センサで捕捉されたビジュアル情報の全
てが保留されるので後処理により大きな自由度がある。さらにこのオプションではデモザ
イシングによって追加される画像データが無いのでデモザイシングを十分に行った後で画
像をエンコードする場合に較べて圧縮が少なくて済む。しかしながら、必要なその後の画
像処理だけでなくフルデモザイシング等の大幅な処理がデコーディングステージで必要と
なる。
縮されたモザイクＲＡＷ画像データをデモザイシング、ホワイトバランス等を行うことな
く記憶することに関わる。このオプションは画像センサで捕捉されたビジュアル情報の全
てが保留されるので後処理により大きな自由度がある。さらにこのオプションではデモザ
イシングによって追加される画像データが無いのでデモザイシングを十分に行った後で画
像をエンコードする場合に較べて圧縮が少なくて済む。しかしながら、必要なその後の画
像処理だけでなくフルデモザイシング等の大幅な処理がデコーディングステージで必要と
なる。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は上述の課題の少なくともいくつかについて対処することを目的とするカメラＲ
ＡＷ画像データ処理方法及び／又はシステムを提供し、あるいは少なくとも有用な代替手
段を提供する。
ＡＷ画像データ処理方法及び／又はシステムを提供し、あるいは少なくとも有用な代替手
段を提供する。
【0009】
明細書に記載の従来技術の参照は、その従来技術が常識の一部であることを裁判管轄を
問わず承認又は示唆されるものではなく、あるいはその従来技術が当業者によって従来技
術の別の部分に関連すると見なされ、及び／又はそれと組み合わされると見なされると合
理的に予測できることが承認又は示唆されるものではない。
問わず承認又は示唆されるものではなく、あるいはその従来技術が当業者によって従来技
術の別の部分に関連すると見なされ、及び／又はそれと組み合わされると見なされると合
理的に予測できることが承認又は示唆されるものではない。
【課題を解決するための手段】
【0010】
本発明は、広義にはカメラのＲＡＷ画像データを処理する方法を提供する。該方法はＲ
ＡＷ画像データから輝度画像を算出し；ＲＡＷ画像データからセンサの画像カラーの少な
くとも１つに対応する少なくとも１つのクロミナンス画像を算出する。輝度画像及びクロ
ミナンス画像はＲＡＷ画像データに表現が可能な同じ色の範囲を表すことができる。本願
明細書中、画像もしくは画像データが画像センサから出力されたＲＡＷ画像データを表す
ものとして記載される場合は、該画像もしくは画像データが、該画像もしくは画像データ
によって表現可能なカラー値のレンジを狭くする処理を経ていないことを意味すると理解
されるべきである。即ち該画像もしくは画像データのデータ範囲は、画像センサによって
出力することができたものと較べて制限されていないしカットされてもいない。もちろん
、どのような画像タイプ（輝度画像、クロミナンス画像、カラープレーン等）の画像もし
くは画像データであっても、ＲＡＷ画像データに含めることができるカラーレンジ全てを
それ自体で表現することはできないことは理解されるべきである。
ＡＷ画像データから輝度画像を算出し；ＲＡＷ画像データからセンサの画像カラーの少な
くとも１つに対応する少なくとも１つのクロミナンス画像を算出する。輝度画像及びクロ
ミナンス画像はＲＡＷ画像データに表現が可能な同じ色の範囲を表すことができる。本願
明細書中、画像もしくは画像データが画像センサから出力されたＲＡＷ画像データを表す
ものとして記載される場合は、該画像もしくは画像データが、該画像もしくは画像データ
によって表現可能なカラー値のレンジを狭くする処理を経ていないことを意味すると理解
されるべきである。即ち該画像もしくは画像データのデータ範囲は、画像センサによって
出力することができたものと較べて制限されていないしカットされてもいない。もちろん
、どのような画像タイプ（輝度画像、クロミナンス画像、カラープレーン等）の画像もし
くは画像データであっても、ＲＡＷ画像データに含めることができるカラーレンジ全てを
それ自体で表現することはできないことは理解されるべきである。
【0011】
本発明の実施形態はセンサＲＡＷ画像データをデモザイシング処理して各捕捉カラーの
それぞれデモザイシング処理された画像を生成し、デモザイシング処理された画像データ
から輝度画像を算出し、センサの画像カラーの少なくとも１つに対応する、輝度画像より
も解像度が低いクロミナンス画像を算出することを広義に含む方法をさらに提供する。有
利な点は、デモザイシングをカメラの画像センサに対して最適化された方法で実行できる
ことである。
それぞれデモザイシング処理された画像を生成し、デモザイシング処理された画像データ
から輝度画像を算出し、センサの画像カラーの少なくとも１つに対応する、輝度画像より
も解像度が低いクロミナンス画像を算出することを広義に含む方法をさらに提供する。有
利な点は、デモザイシングをカメラの画像センサに対して最適化された方法で実行できる
ことである。
【0012】
以下の記載において、「カラーフィルタアレイ」は通常のカラーフィルタアレイに加え
て以下を備えたフィルタアレイの配置を有するフィルタアレイを含むものとして理解され
るべきである：
例えばフィルタが全く存在しないノーカラーフィルタリング、中立密度フィルタ、透明
の光透過性フィルタエレメント；
所定カラーに無関係のパスバンドを有するフィルタリング（例えばハイパスフィルタ、
ローパスフィルタ、広帯域バンドパスフィルタ等）。
て以下を備えたフィルタアレイの配置を有するフィルタアレイを含むものとして理解され
るべきである：
例えばフィルタが全く存在しないノーカラーフィルタリング、中立密度フィルタ、透明
の光透過性フィルタエレメント；
所定カラーに無関係のパスバンドを有するフィルタリング（例えばハイパスフィルタ、
ローパスフィルタ、広帯域バンドパスフィルタ等）。
【0013】
従って、カラーフィルタアレイにおける「カラー」あるいは画像のカラーのコンセプト
は（カラーという言葉に関連する使用を含め）カラーフィルタアレイのフィルタエレメン
トに対応するパスバンドの識別子として機能する。
は（カラーという言葉に関連する使用を含め）カラーフィルタアレイのフィルタエレメン
トに対応するパスバンドの識別子として機能する。
【0014】
第１の態様において本発明はカメラの画像データ処理方法を提供し、該カメラはカラー
フィルタアレイを備えた画像センサを含み、画像センサはフォトサイトのアレイを含み、
各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれで受光し、対応するフ
ォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成される。該方法
は、画像センサから出力されたＲＡＷ画像データを示す第１解像度を有する輝度画像を生
成し；該画像センサから出力されたＲＡＷ画像データを示す第１解像度よりも低い第２解
像度を有する少なくとも１つのクロミナンス画像を生成することを含むことができる。
フィルタアレイを備えた画像センサを含み、画像センサはフォトサイトのアレイを含み、
各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれで受光し、対応するフ
ォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成される。該方法
は、画像センサから出力されたＲＡＷ画像データを示す第１解像度を有する輝度画像を生
成し；該画像センサから出力されたＲＡＷ画像データを示す第１解像度よりも低い第２解
像度を有する少なくとも１つのクロミナンス画像を生成することを含むことができる。
【0015】
別の態様において、本発明はカメラの画像データ処理方法を提供し、該カメラはカラー
フィルタアレイを備えた画像センサを使ってＲＡＷ画像データを捕捉するように構成され
、画像センサフォトサイトのアレイを含み、各フォトサイトはカラーフィルタアレイの複
数のカラーのそれぞれで受光し、対応するフォトサイトで捕捉された光の強度を示すピク
セル値を出力するように構成され；該方法は：
捕捉されたＲＡＷ画像データをデモザイシングしてカラーフィルタアレイの複数の色に
対応する複数のカラー画像を生成し；
第１解像度を有する輝度画像を生成し；
第１解像度よりも低い第２解像度を有するカラーフィルタアレイのカラーのそれぞれに
対応する少なくとも１つのクロミナンス画像を生成することを含む。
フィルタアレイを備えた画像センサを使ってＲＡＷ画像データを捕捉するように構成され
、画像センサフォトサイトのアレイを含み、各フォトサイトはカラーフィルタアレイの複
数のカラーのそれぞれで受光し、対応するフォトサイトで捕捉された光の強度を示すピク
セル値を出力するように構成され；該方法は：
捕捉されたＲＡＷ画像データをデモザイシングしてカラーフィルタアレイの複数の色に
対応する複数のカラー画像を生成し；
第１解像度を有する輝度画像を生成し；
第１解像度よりも低い第２解像度を有するカラーフィルタアレイのカラーのそれぞれに
対応する少なくとも１つのクロミナンス画像を生成することを含む。
【0016】
デモザイシングはカラーフィルタアレイの各カラーに対応するカラー画像を生成するこ
とを含む。好ましくは、各カラーのカラー画像は第１の解像度である。
とを含む。好ましくは、各カラーのカラー画像は第１の解像度である。
【0017】
本発明の上記態様の実施例はさまざまな光学的特徴を含んでもよい。
【0018】
好ましくは、２以上のクロミナンス画像が生成される。
【0019】
上記いずれの態様であっても、カラー画像の生成（所定カラーの）は：カラー画像の各
ピクセルに対し、該ピクセル周辺の複数のピクセルに基づいてエッジ及びライン検出の少
なくとも一つを実行し、該エッジ又はライン検出に基づいてピクセル値を決定することを
含んでも良い。
ピクセルに対し、該ピクセル周辺の複数のピクセルに基づいてエッジ及びライン検出の少
なくとも一つを実行し、該エッジ又はライン検出に基づいてピクセル値を決定することを
含んでも良い。
【0020】
ピクセル値を決定することは、そこからそのピクセル値を決定する別のピクセルの周辺
のピクセルのサブセットを選択することを含んでも良い。それは、前記ピクセル値を決定
する場合のサブセット内のピクセルに対して重み付けを行うことを交互に又は追加的に含
んでも良い。前記サブセット内のピクセルの重み付けは重み付けされるサブセットのピク
セル又はピクセルのサブセットのいずれかに適用されるノイズレベルに基づいて決定して
も良い。
のピクセルのサブセットを選択することを含んでも良い。それは、前記ピクセル値を決定
する場合のサブセット内のピクセルに対して重み付けを行うことを交互に又は追加的に含
んでも良い。前記サブセット内のピクセルの重み付けは重み付けされるサブセットのピク
セル又はピクセルのサブセットのいずれかに適用されるノイズレベルに基づいて決定して
も良い。
【0021】
好ましくは、デモザイシングプロセスは周辺のピクセル値に基づいて不足するカラー情
報をそれが不足するフォトサイト毎に又はピクセル毎に推定する。好ましい実施例で使わ
れる方法はそれぞれのカラータイプのピクセルによって捕捉されたものと同様に微細でラ
ンダムノイズから区別できる画像細部を維持することである。さらに細部のエッジを維持
するとともに該ランダムノイズレベルが各イメージプレーンにおいて低減される。
報をそれが不足するフォトサイト毎に又はピクセル毎に推定する。好ましい実施例で使わ
れる方法はそれぞれのカラータイプのピクセルによって捕捉されたものと同様に微細でラ
ンダムノイズから区別できる画像細部を維持することである。さらに細部のエッジを維持
するとともに該ランダムノイズレベルが各イメージプレーンにおいて低減される。
【0022】
好ましくは、捕捉されたＲＡＷ画像データはＮｘＭピクセルの解像度を有する。輝度画
像もＮｘＭピクセルの解像度を有しても良い。
像もＮｘＭピクセルの解像度を有しても良い。
【0023】
輝度画像は複数のデモザイシング処理されたカラー画像の同じピクセル位置に対応する
複数のピクセル値を組合せて生成されても良い。１つの形態では、ピクセル値を組み合わ
せるステップはピクセル位置毎に複数のピクセル値に重み付けを行うことを含む。１つの
形態では、通常のベイヤーＲＧＢ ＣＦＡと同じ赤、青、緑ピクセルの割合を有する従来
のベイヤーＲＧＢカラーフィルタアレイが採用される場合、位置（ｉ， ｊ）における輝
度値Ｙは次式で算出される：
複数のピクセル値を組合せて生成されても良い。１つの形態では、ピクセル値を組み合わ
せるステップはピクセル位置毎に複数のピクセル値に重み付けを行うことを含む。１つの
形態では、通常のベイヤーＲＧＢ ＣＦＡと同じ赤、青、緑ピクセルの割合を有する従来
のベイヤーＲＧＢカラーフィルタアレイが採用される場合、位置（ｉ， ｊ）における輝
度値Ｙは次式で算出される：
【0024】
【数1】
【0025】
但し、Ｙ（ｉ，ｊ）は所定のピクセル位置（ｉ，ｊ）の輝度値を表し、Ｒ，Ｇ，Ｂはそ
のピクセル位置の赤、緑、青のカラー画像のピクセル値を表す。好ましくは、輝度画像の
第１解像度はＮｘＭピクセルのフル解像度である。
のピクセル位置の赤、緑、青のカラー画像のピクセル値を表す。好ましくは、輝度画像の
第１解像度はＮｘＭピクセルのフル解像度である。
【0026】
クロミナンス画像を生成するステップは、ＲＡＷ画像のピクセル値と輝度画像中のピク
セルのサブセットにおける輝度画像値との差分値を算出することを含む。好ましくは、ク
ロミナンス画像はＣＦＡの所定カラーのピクセルに対応するピクセルについて算出される
。例えば、シングルセンサ及び標準ＲＧＢベイヤーフィルタＣＦＡを使うカメラについて
、青と赤のクロミナンス画像が生成される。青のクロミナンス画像はＣＦＡの青のピクセ
ルに対応するピクセル値のみを含み、これは赤のクロミナンス画像に対しても同様である
。従って、クロミナンス画像は明らかに輝度画像と較べ低解像度となる。ＲＧＢベイヤー
フィルタの例では、クロミナンス画像は輝度画像のピクセル数の１／４である。この場合
、クロミナンス画像の各ピクセル（ｉ，ｊの位置の）に対し差異値を算出するステップは
次式を使うことができる：
セルのサブセットにおける輝度画像値との差分値を算出することを含む。好ましくは、ク
ロミナンス画像はＣＦＡの所定カラーのピクセルに対応するピクセルについて算出される
。例えば、シングルセンサ及び標準ＲＧＢベイヤーフィルタＣＦＡを使うカメラについて
、青と赤のクロミナンス画像が生成される。青のクロミナンス画像はＣＦＡの青のピクセ
ルに対応するピクセル値のみを含み、これは赤のクロミナンス画像に対しても同様である
。従って、クロミナンス画像は明らかに輝度画像と較べ低解像度となる。ＲＧＢベイヤー
フィルタの例では、クロミナンス画像は輝度画像のピクセル数の１／４である。この場合
、クロミナンス画像の各ピクセル（ｉ，ｊの位置の）に対し差異値を算出するステップは
次式を使うことができる：
【0027】
【数2】
【0028】
但し、ｋＢとｋＲは倍率であり；
ＣＢ（ｉ，ｊ）及びＣＲ（ｉ，ｊ）は所定のピクセル位置（ｉ，ｊ）の青の差分値、赤
の差分値を表し；
Ｒ（ｉ，ｊ），Ｂ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の赤、緑、青画像のピクセル値
を表し；
Ｙ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の輝度値を表わす。
ＣＢ（ｉ，ｊ）及びＣＲ（ｉ，ｊ）は所定のピクセル位置（ｉ，ｊ）の青の差分値、赤
の差分値を表し；
Ｒ（ｉ，ｊ），Ｂ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の赤、緑、青画像のピクセル値
を表し；
Ｙ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の輝度値を表わす。
【0029】
好ましくは、ｋＢとｋＲはＣＢ（ｉ，ｊ）及びＣＲ（ｉ，ｊ）のデータ範囲の精度を最
大化する一方で色応答のフルレンジが維持されるように値を抑えることなく選択される。
ｋＲ＝ｋＢ＝２の一例において、該方法はさらに算出された輝度値及び差分値をエンコー
ド及び／又は圧縮することを含むことができる。
大化する一方で色応答のフルレンジが維持されるように値を抑えることなく選択される。
ｋＲ＝ｋＢ＝２の一例において、該方法はさらに算出された輝度値及び差分値をエンコー
ド及び／又は圧縮することを含むことができる。
【0030】
輝度画像及びクロミナンス画像は分離された画像として圧縮されても良いし、関連画像
グループとして一緒に圧縮されても良い。好ましくは、圧縮には変換符号化を使い、例え
ば、ウェーブレット変換や離散コサイン変換等を使う。
グループとして一緒に圧縮されても良い。好ましくは、圧縮には変換符号化を使い、例え
ば、ウェーブレット変換や離散コサイン変換等を使う。
【0031】
より好ましくは、圧縮はＪＰＥＧ又はＪＰＥＧ ２０００圧縮を使って行う。このよう
な圧縮アルゴリズムは算出された輝度画像及びクロミナンス画像を圧縮プロセスにそのま
ま使えるので都合が良い。
な圧縮アルゴリズムは算出された輝度画像及びクロミナンス画像を圧縮プロセスにそのま
ま使えるので都合が良い。
【0032】
一例において該方法は：輝度値と差分値をエンコードしてＹＣｂＣｒ ４２０フォーマ
ットと互換性のある画像データを生成することを含めることができる。
ットと互換性のある画像データを生成することを含めることができる。
【0033】
さらなる態様において、本発明はカメラの画像データ処理方法を提供する。該カメラは
カラーフィルタアレイを備えた画像センサを含み、画像センサはフォトサイトのアレイを
含み、各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれで受光し、対応
するフォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成される。
該方法は、捕捉されたＲＡＷ画像データをデモザイシングして画像センサから出力された
ＲＡＷ画像データを表し、かつカラーフィルタアレイの複数の色に対応する複数のカラー
画像を生成し、該デモザイシング処理は；
カラーフィルタアレイの各カラーに対応するカラー画像を生成し、カラー画像の各ピク
セルに対しモザイシング処理された、捕捉されたＲＡＷ画像データの前記ピクセルの周辺
の複数のピクセルに基づいてエッジ及びライン検出の少なくとも一つを実行し、及び前記
エッジ又はライン検出に基づいて、所定のピクセル周辺のピクセルのサブセットを選択す
ることによりピクセル値を決定することを含み、前記ピクセルのサブセットは該サブセッ
ト内ピクセルの加重平均を算出する前記ピクセルと同じカラーである。
カラーフィルタアレイを備えた画像センサを含み、画像センサはフォトサイトのアレイを
含み、各フォトサイトはカラーフィルタアレイの複数のカラーのそれぞれで受光し、対応
するフォトサイトで捕捉された光の強度を示すピクセル値を出力するように構成される。
該方法は、捕捉されたＲＡＷ画像データをデモザイシングして画像センサから出力された
ＲＡＷ画像データを表し、かつカラーフィルタアレイの複数の色に対応する複数のカラー
画像を生成し、該デモザイシング処理は；
カラーフィルタアレイの各カラーに対応するカラー画像を生成し、カラー画像の各ピク
セルに対しモザイシング処理された、捕捉されたＲＡＷ画像データの前記ピクセルの周辺
の複数のピクセルに基づいてエッジ及びライン検出の少なくとも一つを実行し、及び前記
エッジ又はライン検出に基づいて、所定のピクセル周辺のピクセルのサブセットを選択す
ることによりピクセル値を決定することを含み、前記ピクセルのサブセットは該サブセッ
ト内ピクセルの加重平均を算出する前記ピクセルと同じカラーである。
【0034】
前記サブセットのピクセルの重み付けは重み付けされるサブセット内のピクセルかピク
セルのサブセットのいずれかに適用され得るノイズレベルに基づいて決定されることが望
ましい。
セルのサブセットのいずれかに適用され得るノイズレベルに基づいて決定されることが望
ましい。
【0035】
好ましくは、各カラー画像は画像センサから出力されたＲＡＷ画像データを表す。該方
法はさらに、画像センサから出力されたＲＡＷ画像データを表す輝度画像を生成し、画像
センサから出力されたＲＡＷ画像データを表す少なくとも１つのクロミナンス画像を生成
することを含む。好ましくは少なくとも２つのクロミナンス画像が生成される。さらなる
態様において、本発明は上記の方法のいずれかによる実施例を実行するように構成された
カメラを含む。該カメラは：
受光した光をＲＡＷ画像データに変更するように構成された画像捕捉システムと；
前述の方法に従ってＲＡＷ画像データを処理するように構成された画像処理システムを
含む。
法はさらに、画像センサから出力されたＲＡＷ画像データを表す輝度画像を生成し、画像
センサから出力されたＲＡＷ画像データを表す少なくとも１つのクロミナンス画像を生成
することを含む。好ましくは少なくとも２つのクロミナンス画像が生成される。さらなる
態様において、本発明は上記の方法のいずれかによる実施例を実行するように構成された
カメラを含む。該カメラは：
受光した光をＲＡＷ画像データに変更するように構成された画像捕捉システムと；
前述の方法に従ってＲＡＷ画像データを処理するように構成された画像処理システムを
含む。
【0036】
本明細書で使用される用語の“ｃｏｍｐｒｉｓｅｓ”及びその変化形の“ｃｏｍｐｒｉ
ｓｉｎｇ”、“ｃｏｍｐｒｉｓｅｓ”、“ｃｏｍｐｒｉｓｅｄ”等は、文脈からそれを必
要としない場合は、さらなる添加剤、コンポーネント、整数又はステップを除外すること
を意図しない。
ｓｉｎｇ”、“ｃｏｍｐｒｉｓｅｓ”、“ｃｏｍｐｒｉｓｅｄ”等は、文脈からそれを必
要としない場合は、さらなる添加剤、コンポーネント、整数又はステップを除外すること
を意図しない。
【0037】
本開示のさらなる形態及び先行するパラグラフに記載された形態のさらなる実施例は、
例を挙げ添付図面を参照してなされる以下の説明によって明らかとなる。
例を挙げ添付図面を参照してなされる以下の説明によって明らかとなる。
【図面の簡単な説明】
【0038】
【図1】本明細書で説明する方法を実施可能なカメラの概略ブロック図である。
【図2】ＮｘＭピクセルの解像度を有するセンサに適用される代表的なＣＦＡの配置、およびこれに対応するイメージ画像を示す。
【図3】代表的な方法の概要を表すフローチャートである。
【図5】ピクセル値決定プロセスにおいてエッジ検出に用いる一組の１次中心差分を表す。
【図6】ピクセル補間を実施するとき細線検出に用いられる一組の２次中心差分を表す。
【発明を実施するための形態】
【0039】
本発明の実施形態を具体的な例を参照して説明するが、発明の範囲はそのような例に限
定されることはない。例えば、実施形態として通常のＲＧＢベイヤーカラーフィルタアレ
イを備えるシングルセンサを使ったカメラの場合について説明する。しかしながら、本発
明の実施形態は「ホワイト」、中立密度、又はアレイ内のフィルタされないピクセルを含
むカラーフィルタアレイを含む他のカラーフィルタアレイの使用にも適用される。
定されることはない。例えば、実施形態として通常のＲＧＢベイヤーカラーフィルタアレ
イを備えるシングルセンサを使ったカメラの場合について説明する。しかしながら、本発
明の実施形態は「ホワイト」、中立密度、又はアレイ内のフィルタされないピクセルを含
むカラーフィルタアレイを含む他のカラーフィルタアレイの使用にも適用される。
【0040】
図１は本開示にかかる方法を実施可能なカメラ１０の概略図である。カメラ１０は受光
した光をＲＡＷ画像データに変換する画像捕捉システム１２を含む。この例では、画像捕
捉システム１２は画像センサ１２Ａ（例えばＣＣＤやＣＭＯＳ画像センサチップ等）と関
連するオプティカルフィルタ１２Ｂ（例えばＩＲカットオフフィルタやオプティカルロー
パスフィルタ）とを含む。オプティカルシステム１４、例えばレンズも画像センサの上に
画像を形成するために設けられる。画像センサはカラーフィルタの空間的アレイの形で、
カラー画像を捕捉できるように画像センサチップの前方に配置されるカラーフィルタアレ
イ（ＣＦＡ）を含む。ＣＦＡのフィルタはシングルイメージセンサのフォトサイトと空間
的に相関関係があり、各フォトサイトは対応するスペクトル選択フィルタを有する。上記
のようにこの実施例で使用されるＣＦＡは、図２に示すように赤、緑、青が交互に配置さ
れるベイヤーＣＦＡである。各フォトサイトはただ１つのカラータイプを捕捉するので、
捕捉されるＲＡＷ画像はそれぞれが異なるフォトサイトの赤、緑、青の値の「モザイク」
である。
した光をＲＡＷ画像データに変換する画像捕捉システム１２を含む。この例では、画像捕
捉システム１２は画像センサ１２Ａ（例えばＣＣＤやＣＭＯＳ画像センサチップ等）と関
連するオプティカルフィルタ１２Ｂ（例えばＩＲカットオフフィルタやオプティカルロー
パスフィルタ）とを含む。オプティカルシステム１４、例えばレンズも画像センサの上に
画像を形成するために設けられる。画像センサはカラーフィルタの空間的アレイの形で、
カラー画像を捕捉できるように画像センサチップの前方に配置されるカラーフィルタアレ
イ（ＣＦＡ）を含む。ＣＦＡのフィルタはシングルイメージセンサのフォトサイトと空間
的に相関関係があり、各フォトサイトは対応するスペクトル選択フィルタを有する。上記
のようにこの実施例で使用されるＣＦＡは、図２に示すように赤、緑、青が交互に配置さ
れるベイヤーＣＦＡである。各フォトサイトはただ１つのカラータイプを捕捉するので、
捕捉されるＲＡＷ画像はそれぞれが異なるフォトサイトの赤、緑、青の値の「モザイク」
である。
【0041】
図２はフィルタエレメントの配置に対応する、センサによリ出力されたＲＡＷ画像のフ
ォーマットを表している。ＲＡＷ画像データは画像センサのフォトサイトのＮｘＭアレイ
に対応するＮｘＭピクセルの解像度を有する。各フォトサイトは対応するフィルタエレメ
ントを有しており、それはＣＦＡの複数のカラーそれぞれで光を受光して捕捉された光の
強度を示すピクセル値を出力する。各フォトサイトで捕捉された光のカラーは各ピクセル
のＲ，Ｇ，Ｂとして図２に示されている。通常、「Ｒ」は赤ピクセル、「Ｇ」は緑ピクセ
ル、「Ｂ」は青ピクセルを表す。
ォーマットを表している。ＲＡＷ画像データは画像センサのフォトサイトのＮｘＭアレイ
に対応するＮｘＭピクセルの解像度を有する。各フォトサイトは対応するフィルタエレメ
ントを有しており、それはＣＦＡの複数のカラーそれぞれで光を受光して捕捉された光の
強度を示すピクセル値を出力する。各フォトサイトで捕捉された光のカラーは各ピクセル
のＲ，Ｇ，Ｂとして図２に示されている。通常、「Ｒ」は赤ピクセル、「Ｇ」は緑ピクセ
ル、「Ｂ」は青ピクセルを表す。
【0042】
画像捕捉システム１２で生成されるセンサＲＡＷビデオデータは画像処理サブシステム
１８へ送られる。画像処理サブシステム１８はＡＳＩＣやＦＰＧＡ又は関連するソフトウ
ェアを備えたマイクロプロセッサ等、１以上のプロセッサを含み、一連の画像処理タスク
を実行する。画像プロセッサ１６は以下のタスクを実行できるが、これらに限定されない
：糸巻き形ひずみ等の不要な光学的効果の補正、ベイヤーモザイク画像のデモザイシング
、ノイズリダクション、例えばデッドピクセル除去による捕捉されるビデオデータのピク
セル間変動の補正、変換効率変動の補正。ワーキングメモリ２０は画像処理及び／又は画
像圧縮や他のタスク実行する間データやソフトウェア等を一時的に記憶するために設けら
れる。
１８へ送られる。画像処理サブシステム１８はＡＳＩＣやＦＰＧＡ又は関連するソフトウ
ェアを備えたマイクロプロセッサ等、１以上のプロセッサを含み、一連の画像処理タスク
を実行する。画像プロセッサ１６は以下のタスクを実行できるが、これらに限定されない
：糸巻き形ひずみ等の不要な光学的効果の補正、ベイヤーモザイク画像のデモザイシング
、ノイズリダクション、例えばデッドピクセル除去による捕捉されるビデオデータのピク
セル間変動の補正、変換効率変動の補正。ワーキングメモリ２０は画像処理及び／又は画
像圧縮や他のタスク実行する間データやソフトウェア等を一時的に記憶するために設けら
れる。
【0043】
画像処理サブシステム１８はさらにビデオエンコーディングシステム２２を含む。通常
ビデオエンコーディングシステム２２はプロセッサが１以上のビデオコーデックを実装で
きるように構成されたソフトウェアを提供することで実装される。このシステムはビデオ
データを所望のフォーマットにエンコードし選択的に圧縮するために使用する。例えば、
ビデオエンコーディングシステム２２はビデオデータを任意の既知のビデオデータフォー
マットにエンコードするように設定できる。
ビデオエンコーディングシステム２２はプロセッサが１以上のビデオコーデックを実装で
きるように構成されたソフトウェアを提供することで実装される。このシステムはビデオ
データを所望のフォーマットにエンコードし選択的に圧縮するために使用する。例えば、
ビデオエンコーディングシステム２２はビデオデータを任意の既知のビデオデータフォー
マットにエンコードするように設定できる。
【0044】
画像処理サブシステム１８はさらにビデオ出力データを処理してビデオ伝送システム２
６を介して伝送されるフォーマットにするフォーマット変換システム２４を含む。一般的
に、ビデオ伝送システム２６は１個もしくは場合により数個のビデオ伝送プロトコルに適
合するビデオデータのみを伝送するように設定されている。フォーマット変換システム２
４はビデオ伝送システム２６に送られる前に、ビデオデータを前記ビデオ伝送フォーマッ
トの１つに合わせて伝送を可能にする。このことはビデオデータをそのオリジナルのフォ
ーマットからビデオ伝送システム２６の適当なビデオ伝送フォーマット（の１つ）にトラ
ンスコードすることを含む。
６を介して伝送されるフォーマットにするフォーマット変換システム２４を含む。一般的
に、ビデオ伝送システム２６は１個もしくは場合により数個のビデオ伝送プロトコルに適
合するビデオデータのみを伝送するように設定されている。フォーマット変換システム２
４はビデオ伝送システム２６に送られる前に、ビデオデータを前記ビデオ伝送フォーマッ
トの１つに合わせて伝送を可能にする。このことはビデオデータをそのオリジナルのフォ
ーマットからビデオ伝送システム２６の適当なビデオ伝送フォーマット（の１つ）にトラ
ンスコードすることを含む。
【0045】
ビデオ伝送システムは少なくともビデオ出力ポートを有するビデオインターフェイスを
介してビデオ出力データを伝送し（そして選択的に受信する）ように動作可能である。ビ
デオインターフェイスは双方向に動作可能であり従ってビデオ入力ポートも備える。一例
としてビデオインターフェイスはＳＤＩインターフェイスまたは他の同様のインターフェ
イスであってもよい。
介してビデオ出力データを伝送し（そして選択的に受信する）ように動作可能である。ビ
デオインターフェイスは双方向に動作可能であり従ってビデオ入力ポートも備える。一例
としてビデオインターフェイスはＳＤＩインターフェイスまたは他の同様のインターフェ
イスであってもよい。
【0046】
さらにカメラはメモリコントロールサブシステム２８の形式でデータ記憶システムを含
み、メモリコントロールサブシステムはローカル不揮発性メモリ３０上のビデオデータ（
及び他の任意のデータ）の永続性記憶装置をコントロールするために構成される。ローカ
ルメモリ３０はメモリカードやリムーバブルハードディスク等リムーバブルメモリを使っ
ても良い。しかし、一般的にはメモリコントロールサブシステム２８はローカルメモリ３
０に対する双方向のコントロール信号を送信及び／又は受信するように配置されてメモリ
３０のビデオデータの記憶と検索をコントロールし、さらに記憶のためのデータのエンコ
ーディングやフォーマッティングを実行する。メモリ３０はシリアルＡＴＡプロトコルに
従って動作するソリッドステートドライブであっても良く、メモリコントロールサブシス
テムはシリアルＡＴＡドライブの動作をコントロールしてメモリ３０に対しデータの読出
しと書き込みを管理する。
み、メモリコントロールサブシステムはローカル不揮発性メモリ３０上のビデオデータ（
及び他の任意のデータ）の永続性記憶装置をコントロールするために構成される。ローカ
ルメモリ３０はメモリカードやリムーバブルハードディスク等リムーバブルメモリを使っ
ても良い。しかし、一般的にはメモリコントロールサブシステム２８はローカルメモリ３
０に対する双方向のコントロール信号を送信及び／又は受信するように配置されてメモリ
３０のビデオデータの記憶と検索をコントロールし、さらに記憶のためのデータのエンコ
ーディングやフォーマッティングを実行する。メモリ３０はシリアルＡＴＡプロトコルに
従って動作するソリッドステートドライブであっても良く、メモリコントロールサブシス
テムはシリアルＡＴＡドライブの動作をコントロールしてメモリ３０に対しデータの読出
しと書き込みを管理する。
【0047】
図３はＲＡＷビデオデータを処理する実施形態についてその概略方法を示す。
【0048】
方法１００はＮｘＭピクセルの解像度を有するモザイク状複合カラー画像形式のＲＡＷ
センサ画像データ１０２から始まる。好ましい実施例では、ＲＡＷセンサデータはほとん
どが未処理のセンサデータである。これによりＲＡＷデータはセンサによって捕捉された
カラーレンジが制限やカットされることなく維持される。ホワイトやカラーバランスは処
理されたデータをデコーディングした後で、例えばポストプロダクションで適用される。
ＲＡＷセンサイメージデータ１０２はデモザイシング処理され（１０４）、それぞれデモ
ザイシング処理された画像１０６Ｒ，１０６Ｇ，１０６Ｂ（カラープレーン）を生成する
。各画像１０６Ｒ，１０６Ｇ，１０６ＢはＣＦＡカラーの１つに対応する。その後、輝度
画像１１０がデモザイシング処理された画像１０６Ｒ，１０６Ｇ，１０６Ｂから算出され
る（１０８）。そしてセンサ画像カラーの少なくとも１つに対応する一以上のクロミナン
ス画像１１４Ｂ，１１４Ｒを生成する（１１２）。デモザイシング１０４は第一解像度を
有するカラー画像を生成する。一般的にこれは捕捉画像データ（ＮｘＭピクセル）のフル
解像度となる。輝度画像１１０も通常デモザイシング画像１０６Ｒ，１０６Ｇ，１０６Ｂ
と同じ解像度であるが、クロミナンス画像１１４Ｂ，１１４Ｒは通常解像度が低い。最後
にエンコードステップ１１６が実行されて輝度画像とクロミナンス画像とが例えば圧縮又
はフォーマッティングされて今後の使用（例えば、記憶、伝送、表示等）のためにエンコ
ードされる。エンコードステップの出力データは、既知のツールでハンドリングや処理を
行えるように一般的な標準フォーマットに適合できることが有利である。これらのステッ
プのそれぞれについて実行例を下記に記載している。好ましい実施例では、本プロセスを
通して、画像データは、センサで捕捉されたカラーレンジをそのカラーレンジが制限やカ
ットされることなく保存することが好ましい。それにより、該データをあたかもＲＡＷ画
像データのように下流の処理で有効に取り扱うことができる。
センサ画像データ１０２から始まる。好ましい実施例では、ＲＡＷセンサデータはほとん
どが未処理のセンサデータである。これによりＲＡＷデータはセンサによって捕捉された
カラーレンジが制限やカットされることなく維持される。ホワイトやカラーバランスは処
理されたデータをデコーディングした後で、例えばポストプロダクションで適用される。
ＲＡＷセンサイメージデータ１０２はデモザイシング処理され（１０４）、それぞれデモ
ザイシング処理された画像１０６Ｒ，１０６Ｇ，１０６Ｂ（カラープレーン）を生成する
。各画像１０６Ｒ，１０６Ｇ，１０６ＢはＣＦＡカラーの１つに対応する。その後、輝度
画像１１０がデモザイシング処理された画像１０６Ｒ，１０６Ｇ，１０６Ｂから算出され
る（１０８）。そしてセンサ画像カラーの少なくとも１つに対応する一以上のクロミナン
ス画像１１４Ｂ，１１４Ｒを生成する（１１２）。デモザイシング１０４は第一解像度を
有するカラー画像を生成する。一般的にこれは捕捉画像データ（ＮｘＭピクセル）のフル
解像度となる。輝度画像１１０も通常デモザイシング画像１０６Ｒ，１０６Ｇ，１０６Ｂ
と同じ解像度であるが、クロミナンス画像１１４Ｂ，１１４Ｒは通常解像度が低い。最後
にエンコードステップ１１６が実行されて輝度画像とクロミナンス画像とが例えば圧縮又
はフォーマッティングされて今後の使用（例えば、記憶、伝送、表示等）のためにエンコ
ードされる。エンコードステップの出力データは、既知のツールでハンドリングや処理を
行えるように一般的な標準フォーマットに適合できることが有利である。これらのステッ
プのそれぞれについて実行例を下記に記載している。好ましい実施例では、本プロセスを
通して、画像データは、センサで捕捉されたカラーレンジをそのカラーレンジが制限やカ
ットされることなく保存することが好ましい。それにより、該データをあたかもＲＡＷ画
像データのように下流の処理で有効に取り扱うことができる。
【0049】
（デモザイシング１０４）
デモザイシングは単一の、マルチカラーの、モザイク状のＲＡＷ画像データ１０２から
ＣＦＡカラー毎にそれぞれの画像１０６Ｒ，１０６Ｇ，１０６Ｂを生成する。理解される
ように、それぞれの最終のカラー画像１０６Ｒ，１０６Ｇ，１０６Ｂは最初に捕捉された
ものよりそれぞれのカラーに対しより多くのピクセルを含み、従って各カラー画像に欠け
ているピクセル値を推定するための補間が必要になる。図４はデモザイシング処理された
単一のカラー画像１０６Ｒ，１０６Ｇ，１０６Ｂのフォーマットを示している。それぞれ
がＮｘＭピクセルの解像度を有する。
デモザイシングは単一の、マルチカラーの、モザイク状のＲＡＷ画像データ１０２から
ＣＦＡカラー毎にそれぞれの画像１０６Ｒ，１０６Ｇ，１０６Ｂを生成する。理解される
ように、それぞれの最終のカラー画像１０６Ｒ，１０６Ｇ，１０６Ｂは最初に捕捉された
ものよりそれぞれのカラーに対しより多くのピクセルを含み、従って各カラー画像に欠け
ているピクセル値を推定するための補間が必要になる。図４はデモザイシング処理された
単一のカラー画像１０６Ｒ，１０６Ｇ，１０６Ｂのフォーマットを示している。それぞれ
がＮｘＭピクセルの解像度を有する。
【0050】
実施形態において選択されたデモザイシングプロセスは画像センサによって捕捉された
詳細を保持するようにかつ画像センサによって取り込まれるかもしれないノイズを低減す
るように最適化される。
詳細を保持するようにかつ画像センサによって取り込まれるかもしれないノイズを低減す
るように最適化される。
【0051】
デモザイシングプロセスは重み付け補間に基づく。しかし、単に各単一のカラー画像の
「不足する」ピクセル値を算出するのではなく、好ましくは同じピクセル値決定プロセス
が全てのフォトサイト（ｉ，ｊ）で実行されて３色画像１０６Ｒ、１０６Ｇ、１０６Ｂを
得る。従って、特定のフォトサイトで捕捉されたカラー値が利用できる場合であっても、
ピクセル値の算出は（ＣＦＡの）全てのカラーに対し、全ての位置で有効に実行すること
ができる。これにより、ノイズ分布に対し全てのフォトサイトを通してバランスを取るこ
とが可能となり、３色ベイヤＣＦＡにおいて、２ｘ２ベイヤマクロピクセルの２つの緑フ
ォトサイト間の偏差補償が可能となる。
「不足する」ピクセル値を算出するのではなく、好ましくは同じピクセル値決定プロセス
が全てのフォトサイト（ｉ，ｊ）で実行されて３色画像１０６Ｒ、１０６Ｇ、１０６Ｂを
得る。従って、特定のフォトサイトで捕捉されたカラー値が利用できる場合であっても、
ピクセル値の算出は（ＣＦＡの）全てのカラーに対し、全ての位置で有効に実行すること
ができる。これにより、ノイズ分布に対し全てのフォトサイトを通してバランスを取るこ
とが可能となり、３色ベイヤＣＦＡにおいて、２ｘ２ベイヤマクロピクセルの２つの緑フ
ォトサイト間の偏差補償が可能となる。
【0052】
デモザイシングで使われるピクセル計算の概要は：
（ａ）決定すべきピクセル値の周囲のピクセルに基づいてエッジ及び／又は細線を検出
し、及び／又は
（ｂ） エッジ／細線情報を使って補間のために周辺ピクセルから寄与の選択または重
み付けを行う。
（ａ）決定すべきピクセル値の周囲のピクセルに基づいてエッジ及び／又は細線を検出
し、及び／又は
（ｂ） エッジ／細線情報を使って補間のために周辺ピクセルから寄与の選択または重
み付けを行う。
【0053】
このプロセスは中間（デモザイシング処理された）画像データのエッジや形状を保持す
るように様々な角度でエッジセンシティブである。ステップ（ａ）は異なるカラーフィル
タパターン内の異なる角度で勾配（１次差分）を計算するにより実行される。図５は緑フ
ォトサイト（図５（ａ））又は青フォトサイト（図５（ｂ））の位置（ｉ，ｊ）の１次中
心差分の例を示している。いずれの場合も中心差分は（ｉ，ｊ）の位置に対し相互に対向
する同一タイプの２つのフォトサイト間の差分として４方向に算出される。これらの差分
は以下のように算出される：
るように様々な角度でエッジセンシティブである。ステップ（ａ）は異なるカラーフィル
タパターン内の異なる角度で勾配（１次差分）を計算するにより実行される。図５は緑フ
ォトサイト（図５（ａ））又は青フォトサイト（図５（ｂ））の位置（ｉ，ｊ）の１次中
心差分の例を示している。いずれの場合も中心差分は（ｉ，ｊ）の位置に対し相互に対向
する同一タイプの２つのフォトサイト間の差分として４方向に算出される。これらの差分
は以下のように算出される：
【0054】
【数3】
【0055】
これらは水平、垂直、斜め上下方向の中心差分の絶対値である。これらはフォトサイト
のカラータイプに関係なく原点のフォトサイトＰ（ｉ，ｊ）を元に任意のフォトサイト位
置（ｉ，ｊ）で算出される。
のカラータイプに関係なく原点のフォトサイトＰ（ｉ，ｊ）を元に任意のフォトサイト位
置（ｉ，ｊ）で算出される。
【0056】
これらの勾配は３ｘ３ウィンドウで計算され任意の位置（ｉ，ｊ）でエッジ方向が決定
される一方、２次差分は異なる方向の線検出の手段として５ｘ５ウィンドウで計算される
。図６（ａ）、（ｂ）は緑、青フォトサイトの同様に４方向における２次差分をそれぞれ
示している。これらの差分は絶対値の差分として以下のように算出される：
される一方、２次差分は異なる方向の線検出の手段として５ｘ５ウィンドウで計算される
。図６（ａ）、（ｂ）は緑、青フォトサイトの同様に４方向における２次差分をそれぞれ
示している。これらの差分は絶対値の差分として以下のように算出される：
【0057】
【数4】
【0058】
１次中心差分は任意の中心ピクセル位置即ちカラータイプでの４つの異なる角度におい
てエッジを検出するために使われる。２次中心差分は任意の中心ピクセル位置即ちカラー
での同じ４つの異なる角度において細線を検出するために使われる。１次、２次差分の組
合せは異なる４つの角度におけるエッジと細線の両方の画像の詳細について情報を提供す
る。両方の検出器タイプの組合せは以下のように異なる角度に対し２つの絶対値差分を加
算することで達成できる：
てエッジを検出するために使われる。２次中心差分は任意の中心ピクセル位置即ちカラー
での同じ４つの異なる角度において細線を検出するために使われる。１次、２次差分の組
合せは異なる４つの角度におけるエッジと細線の両方の画像の詳細について情報を提供す
る。両方の検出器タイプの組合せは以下のように異なる角度に対し２つの絶対値差分を加
算することで達成できる：
【0059】
【数5】
【0060】
これは水平、垂直、上下斜め方向の角度検出器の１次セットである。角度検出器の２次
セットは、別の４つの角度のセットを与える垂直（又は水平）方向とその周辺斜め方向の
それぞれとの組合せを使って決定される。角度検出器は最小の差分の角度方向にかかる情
報を与え、平均化の方向を決定するために用いられる。
セットは、別の４つの角度のセットを与える垂直（又は水平）方向とその周辺斜め方向の
それぞれとの組合せを使って決定される。角度検出器は最小の差分の角度方向にかかる情
報を与え、平均化の方向を決定するために用いられる。
【0061】
ステップ（ｂ）では、これらの角度検出器のセットを使って各カラー値１０６Ｒ，１０
６Ｇ，１０６Ｂを算出するための周辺ピクセル値の組合せ方法を決定する。これには特定
のピクセル平均値の選択又は重み付けのいずれかを含む。図７は推定すべきカラータイプ
の２ピクセル間の異なる可能な平均化方向を示す。各ペアは以下の特徴を有している：
ピクセルは中心ピクセルから等距離であり；
ピクセルは中心ピクセルから正反対であり；
ピクセルは５ｘ５ウィンドウの中で中心ピクセルの回りの異なる角度に在り；
ピクセルは対応のエッジ／ライン検出器を有するか又は２つのエッジ／ライン検出器の
組合せによって決定される。
６Ｇ，１０６Ｂを算出するための周辺ピクセル値の組合せ方法を決定する。これには特定
のピクセル平均値の選択又は重み付けのいずれかを含む。図７は推定すべきカラータイプ
の２ピクセル間の異なる可能な平均化方向を示す。各ペアは以下の特徴を有している：
ピクセルは中心ピクセルから等距離であり；
ピクセルは中心ピクセルから正反対であり；
ピクセルは５ｘ５ウィンドウの中で中心ピクセルの回りの異なる角度に在り；
ピクセルは対応のエッジ／ライン検出器を有するか又は２つのエッジ／ライン検出器の
組合せによって決定される。
【0062】
図７（ａ）では、青のカラー値は緑のフォトサイトに基づいて決定される必要がある。
３つの異なるピクセル平均値は緑フォトサイトを中心とする５ｘ５ウィンドウ内のピクセ
ル値決定に含めることができる。これら３つの平均値は以下のように算出される：
３つの異なるピクセル平均値は緑フォトサイトを中心とする５ｘ５ウィンドウ内のピクセ
ル値決定に含めることができる。これら３つの平均値は以下のように算出される：
【0063】
【数6】
【0064】
図７（ｂ）の別の例は、青フォトサイトに基づく赤のカラー値を算出するために使われ
る。２つの異なるフォトサイト平均値がこのケースで含められ以下のように算出される：
る。２つの異なるフォトサイト平均値がこのケースで含められ以下のように算出される：
【0065】
【数7】
【0066】
対応の角度エッジ検出器は平均値のそれぞれについて重み付けを決定し各カラー値を推
定するとともに任意のエッジ又は細線を保存するために使われる。特定のカラーに対し使
われるピクセル平均値の各方向の重み係数ｗ（）は、特定方向の１次、２次差分から導出
される。一般的に、より高い重み付けがその特定の方向により低い差分を有する方向に対
して望ましい。重み係数は絶対値差に依存して０から１の範囲の重み係数を与える。最適
な重み関数は、フォトサイトの特定応答レベルにおいて差分がノイズ閾値より低い場合、
最大の重み付けを割り振る。一旦差分がノイズ閾値を超えると、重み付けは漸次減少し、
特定方向の大きな差分に対して結果的にはゼロになる。重み係数を創出するために指数関
数を使うことができるが、その方法は特定の関数に限定されない。重み関数はさらに中心
に対して２平均ピクセル分の距離を考慮できる。実施例で使用可能な適切な重み関数を次
式で示す：
定するとともに任意のエッジ又は細線を保存するために使われる。特定のカラーに対し使
われるピクセル平均値の各方向の重み係数ｗ（）は、特定方向の１次、２次差分から導出
される。一般的に、より高い重み付けがその特定の方向により低い差分を有する方向に対
して望ましい。重み係数は絶対値差に依存して０から１の範囲の重み係数を与える。最適
な重み関数は、フォトサイトの特定応答レベルにおいて差分がノイズ閾値より低い場合、
最大の重み付けを割り振る。一旦差分がノイズ閾値を超えると、重み付けは漸次減少し、
特定方向の大きな差分に対して結果的にはゼロになる。重み係数を創出するために指数関
数を使うことができるが、その方法は特定の関数に限定されない。重み関数はさらに中心
に対して２平均ピクセル分の距離を考慮できる。実施例で使用可能な適切な重み関数を次
式で示す：
【0067】
【数8】
【0068】
但し、Ｄは重み付けされる差分値、σはピクセルのシグナルレベルでのセンサのノイズ
分布の標準偏差を表す。
分布の標準偏差を表す。
【0069】
【0070】
【数9】
【0071】
この例は１次勾配エッジ検出器のみを使う。重み関数ｗ（）も１次、２次差分の絶対値
の合計に加えられてエッジ及びライン検出の両方を重み付けされた補間に含ませる。ｗ（
）の最小重み係数は０による除算を避けるため常に０よりも大である。赤フォトサイトに
対し青のピクセル値を決定するスキームも同様であるが、赤フォトサイトが中心となるよ
うに位置がずらされる。
の合計に加えられてエッジ及びライン検出の両方を重み付けされた補間に含ませる。ｗ（
）の最小重み係数は０による除算を避けるため常に０よりも大である。赤フォトサイトに
対し青のピクセル値を決定するスキームも同様であるが、赤フォトサイトが中心となるよ
うに位置がずらされる。
【0072】
図７（ａ）は緑フォトサイトで青のカラー値を算出することを求め、異なる３方向を示
しているが、そのうち２つは１次、２次差分の４方向と正確に一致しない。水平成分が対
応するエッジ及びライン検出器Ｄ１２ｈを有する一方ピクセル平均値Ｍ２ａ、Ｍ２ｂはそ
うではない。
しているが、そのうち２つは１次、２次差分の４方向と正確に一致しない。水平成分が対
応するエッジ及びライン検出器Ｄ１２ｈを有する一方ピクセル平均値Ｍ２ａ、Ｍ２ｂはそ
うではない。
【0073】
図７（ｂ）についてピクセル値決定の機能は上記と同じ原理に従う。
【0074】
図７（ｃ）は中心のフォトサイトを囲う５ｘ５ピクセル領域内の緑フォトサイトで赤の
ピクセル値を算出するために平均化が可能なピクセルペアを示している。これは図７（ａ
）の場合に似ており、図７（ａ）を９０度回転させている。図７（ｄ）は中心のフォトサ
イトを囲う５ｘ５ピクセル領域内の青フォトサイトで緑のピクセル値を算出するために平
均化が可能なピクセルのペアを示している。赤フォトサイトに対し緑のピクセル値を決定
するためのスキームも赤フォトサイトが中心となるよう位置を変えることを除き同様であ
る。
ピクセル値を算出するために平均化が可能なピクセルペアを示している。これは図７（ａ
）の場合に似ており、図７（ａ）を９０度回転させている。図７（ｄ）は中心のフォトサ
イトを囲う５ｘ５ピクセル領域内の青フォトサイトで緑のピクセル値を算出するために平
均化が可能なピクセルのペアを示している。赤フォトサイトに対し緑のピクセル値を決定
するためのスキームも赤フォトサイトが中心となるよう位置を変えることを除き同様であ
る。
【0075】
多数のピクセルを平均化するピクセル値決定プロセスは画像のランダムノイズの減少に
役立つ。各方向の絶対値差分はランダムノイズによって引き起こされる想定される差異と
比較することもできる。画像センサは所定のカメラデザインで周知であり、任意の特定の
モード又は構成において出力信号範囲に渡ってそのノイズパフォーマンスに対し特徴付け
を行えるので、任意の信号応答レベルでランダムノイズの標準偏差が一定になるように画
像センサの出力信号を変換する機能を決定できる。これにより、任意のカラータイプピク
セルの任意の信号レベル（デジタル値）とともに任意のピクセル位置でアルゴリズムが絶
対値差分に対し固定の重み関数を使うことができる。この重み関数はランダムノイズ成分
に対して予想される最大偏差に対し滑らかなカットオフを与え、エッジと細線とを区別し
て維持しランダムノイズを減衰させる。ノイズレベルより低い絶対値差分を示すどの角度
方向もその方向において２ピクセルの平均を使うことを許容する。その方向のノイズが重
み付けされたローパスフィルタにより多くのピクセルを含めることでノイズが減少するの
で、所定位置で捕捉されたカラータイプのピクセルにも同じ原理が適用される。当業者は
平均化されるピクセルと共にノイズ検出器の数を増やすことによりノイズが重み付けされ
たローパスフィルタのウインドウサイズを増大させることがこのアプローチにおいてノイ
ズ減少能力を高めることにも気付くであろう。
役立つ。各方向の絶対値差分はランダムノイズによって引き起こされる想定される差異と
比較することもできる。画像センサは所定のカメラデザインで周知であり、任意の特定の
モード又は構成において出力信号範囲に渡ってそのノイズパフォーマンスに対し特徴付け
を行えるので、任意の信号応答レベルでランダムノイズの標準偏差が一定になるように画
像センサの出力信号を変換する機能を決定できる。これにより、任意のカラータイプピク
セルの任意の信号レベル（デジタル値）とともに任意のピクセル位置でアルゴリズムが絶
対値差分に対し固定の重み関数を使うことができる。この重み関数はランダムノイズ成分
に対して予想される最大偏差に対し滑らかなカットオフを与え、エッジと細線とを区別し
て維持しランダムノイズを減衰させる。ノイズレベルより低い絶対値差分を示すどの角度
方向もその方向において２ピクセルの平均を使うことを許容する。その方向のノイズが重
み付けされたローパスフィルタにより多くのピクセルを含めることでノイズが減少するの
で、所定位置で捕捉されたカラータイプのピクセルにも同じ原理が適用される。当業者は
平均化されるピクセルと共にノイズ検出器の数を増やすことによりノイズが重み付けされ
たローパスフィルタのウインドウサイズを増大させることがこのアプローチにおいてノイ
ズ減少能力を高めることにも気付くであろう。
【0076】
図８（ａ）は原点の緑フォトサイトを囲む５ｘ５ピクセル領域を使って原点の緑フォト
サイトにおける緑ピクセル値を算出するために平均化される可能なピクセルペアを表して
いる。図８（ｂ）、図８（ｃ）は青と赤のフォトサイトについてのペアをそれぞれ示して
いる。図８（ｃ）の場合、ピクセル値の算出は以下に示すように適切に行われる：
サイトにおける緑ピクセル値を算出するために平均化される可能なピクセルペアを表して
いる。図８（ｂ）、図８（ｃ）は青と赤のフォトサイトについてのペアをそれぞれ示して
いる。図８（ｃ）の場合、ピクセル値の算出は以下に示すように適切に行われる：
【0077】
【数10】
【0078】
この場合、全ての方向で差分が大きいか、ノイズレベルを下回る差分の小さな方向で周
囲のピクセルと平均化されていれば、原点のピクセル値が加重合計を特徴づけることにな
る。同様のピクセル値の算出が、Ｐ（ｉ，ｊ）が青フォトサイトの場合の青ピクセル値に
対してなされる。緑フォトサイトの値は以下のように計算される：
囲のピクセルと平均化されていれば、原点のピクセル値が加重合計を特徴づけることにな
る。同様のピクセル値の算出が、Ｐ（ｉ，ｊ）が青フォトサイトの場合の青ピクセル値に
対してなされる。緑フォトサイトの値は以下のように計算される：
【0079】
【数11】
【0080】
好ましい実施形態で使われる方法はそれぞれのカラータイプのピクセルにより捕捉され
たものと同じように微細でかつランダムノイズから区別できる画像細部を維持することが
好ましい。さらに細部のエッジを維持するとともにランダムノイズレべルは各イメージプ
レーンにおいて低減される。
たものと同じように微細でかつランダムノイズから区別できる画像細部を維持することが
好ましい。さらに細部のエッジを維持するとともにランダムノイズレべルは各イメージプ
レーンにおいて低減される。
【0081】
（輝度画像の算出１１０）
輝度画像は複数のデモザイシング処理されたカラー画像のそれぞれの同一のピクセル位
置に対応する複数のピクセル値を組合わせることにより生成される。好ましい形態は、ピ
クセル値を組み合わせるステップがピクセル位置毎に複数のピクセル値を重み付けするこ
とを含む。従来のベイヤーＲＧＢカラーフィルタアレイが使用される場合、位置（ｉ，ｊ
）における輝度値Ｙは次式で算出される：
輝度画像は複数のデモザイシング処理されたカラー画像のそれぞれの同一のピクセル位
置に対応する複数のピクセル値を組合わせることにより生成される。好ましい形態は、ピ
クセル値を組み合わせるステップがピクセル位置毎に複数のピクセル値を重み付けするこ
とを含む。従来のベイヤーＲＧＢカラーフィルタアレイが使用される場合、位置（ｉ，ｊ
）における輝度値Ｙは次式で算出される：
【0082】
【数12】
【0083】
ここで、Ｙ（ｉ，ｊ）は所定ピクセル位置（ｉ，ｊ）の輝度値を表し、Ｒ、Ｇ、Ｂは該
ピクセル位置の赤、緑、青カラー画像のピクセル値を表す。輝度画像はデモザイシング処
理されたフル解像度即ちＮｘＭとなる。選択される重み付けは計算が単純化されかつ効率
的にエンコードできる輝度表現に近似されることを付記する。しかしながら、異なる重み
係数を使うこともできる。
ピクセル位置の赤、緑、青カラー画像のピクセル値を表す。輝度画像はデモザイシング処
理されたフル解像度即ちＮｘＭとなる。選択される重み付けは計算が単純化されかつ効率
的にエンコードできる輝度表現に近似されることを付記する。しかしながら、異なる重み
係数を使うこともできる。
【0084】
好ましい実施例では、エンコードされたデータはリアルなカラー画像にそのまま変換さ
れるカラー修正表現よりむしろＲＡＷ画像センサデータを表すことを求める。換言すれば
、輝度画像は捕捉カラーのフルレンジが後処理のために維持されることを可能にする、選
択された係数を有する。
れるカラー修正表現よりむしろＲＡＷ画像センサデータを表すことを求める。換言すれば
、輝度画像は捕捉カラーのフルレンジが後処理のために維持されることを可能にする、選
択された係数を有する。
【0085】
（クロミナンス画像の算出１１２）
クロミナンス画像を生成するステップ１１２は１つのカラープレーンのピクセルと前記
ピクセルにおける対応する輝度値間の差分値を算出することを含む。これは好ましくはカ
ラーピクセル値とＣＦＡの所定カラーのピクセルに対応するピクセルにおける輝度画像値
との間の差分値の算出を含んでも良い。この場合、青ピクセルが捕捉されるピクセルに対
しクロミナンス画像ピクセルが生成され青チャネルのクロミナンス画像を生成する。従っ
て青のクロミナンス画像はＣＦＡの青ピクセルに対応するピクセル値のみを含み、このこ
とは赤のクロミナンス画像に対してもあてはまる。従って、クロミナンス画像は輝度画像
よりも低い解像度となる。ＲＧＢベイヤーフィルタの例では、クロミナンス画像は輝度画
像の四分の一のピクセル数を有する。この例では、ＣＦＡがＸ＝３のカラータイプの場合
、Ｘ－１のクロミナンス画像が生成される。一般的にこれで十分である。しかし、コンセ
プトは、捕捉された光のスペクトル成分の追加的又はより正確な表現を許容するＸ＞３ま
で拡張可能である。そのような場合、システムはＸ－１のクロミナンス画像を記憶して最
大量の利用可能なカラー情報を維持する。３カラーフィルタに加えて白／透明フィルタが
ＣＦＡに含まれる場合、Ｘ＝４に繋がり、そのシーンにおいて１つのカラーが主に輝度情
報を担う場合はＸ－２のクロミナンス画像を生成することができる。例えば、これはＲ、
Ｇ、Ｂ成分に重み付けを行って第１輝度画像Ｙを生成することにより達成でき、白／透明
フィルタによってそのまま捕捉される第２輝度画像Ｙ２に匹敵する。これら２つの輝度表
現がその後エンコード用の単一輝度画像に組み合わされる。
クロミナンス画像を生成するステップ１１２は１つのカラープレーンのピクセルと前記
ピクセルにおける対応する輝度値間の差分値を算出することを含む。これは好ましくはカ
ラーピクセル値とＣＦＡの所定カラーのピクセルに対応するピクセルにおける輝度画像値
との間の差分値の算出を含んでも良い。この場合、青ピクセルが捕捉されるピクセルに対
しクロミナンス画像ピクセルが生成され青チャネルのクロミナンス画像を生成する。従っ
て青のクロミナンス画像はＣＦＡの青ピクセルに対応するピクセル値のみを含み、このこ
とは赤のクロミナンス画像に対してもあてはまる。従って、クロミナンス画像は輝度画像
よりも低い解像度となる。ＲＧＢベイヤーフィルタの例では、クロミナンス画像は輝度画
像の四分の一のピクセル数を有する。この例では、ＣＦＡがＸ＝３のカラータイプの場合
、Ｘ－１のクロミナンス画像が生成される。一般的にこれで十分である。しかし、コンセ
プトは、捕捉された光のスペクトル成分の追加的又はより正確な表現を許容するＸ＞３ま
で拡張可能である。そのような場合、システムはＸ－１のクロミナンス画像を記憶して最
大量の利用可能なカラー情報を維持する。３カラーフィルタに加えて白／透明フィルタが
ＣＦＡに含まれる場合、Ｘ＝４に繋がり、そのシーンにおいて１つのカラーが主に輝度情
報を担う場合はＸ－２のクロミナンス画像を生成することができる。例えば、これはＲ、
Ｇ、Ｂ成分に重み付けを行って第１輝度画像Ｙを生成することにより達成でき、白／透明
フィルタによってそのまま捕捉される第２輝度画像Ｙ２に匹敵する。これら２つの輝度表
現がその後エンコード用の単一輝度画像に組み合わされる。
【0086】
好ましい形態では、クロミナンス画像の各ピクセル（位置ｉ，ｊ）のカラー差分値を算
出するステップは次式を用いる：
出するステップは次式を用いる：
【0087】
【数13】
【0088】
ここで、ｋＢ、ｋＲは倍率であり；
ＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）は所定ピクセル位置（ｉ，ｊ）の青差分値と赤差分値
を表し；
Ｒ（ｉ，ｊ）、Ｂ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の赤、緑、青カラー画像のピク
セル値を表し；
Ｙ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の輝度値を表す。
ＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）は所定ピクセル位置（ｉ，ｊ）の青差分値と赤差分値
を表し；
Ｒ（ｉ，ｊ）、Ｂ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の赤、緑、青カラー画像のピク
セル値を表し；
Ｙ（ｉ，ｊ）はピクセル位置（ｉ，ｊ）の輝度値を表す。
【0089】
好ましくは、ＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）のデータレンジの精度を最大にするよう
に、具体的にはＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）をレンジ内に保つようにｋＲ、ｋＢが選
択される。一例においてｋＲ＝ｋＢ＝２となる。
に、具体的にはＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）をレンジ内に保つようにｋＲ、ｋＢが選
択される。一例においてｋＲ＝ｋＢ＝２となる。
【0090】
（エンコード１１６）
輝度画像の生成１１０及びクロミナンス画像の生成１１４Ｒ、１１４Ｂ後にこれらの画
像は伝送されて記憶される。これは圧縮、フォーマッティング、あるいは使用及び記憶の
ためのデータエンコーディングを含んでも良い。例えば、結果として生じる輝度画像１１
０及びクロミナンス画像１１４Ｒ、１１４Ｂを圧縮することができる。圧縮は適切な圧縮
技術（例えば離散コサイン変換（例えばＪＰＥＧ）やウェーブレット変換（例えばＪＰＥ
Ｇ２０００）に基づく技術を含む）を使って実行され得る。選択された圧縮方法は輝度画
像１００及びクロミナンス画像１１４Ｒ、１１４Ｂを完全に分離して処理できる。しかし
ながら、それらは一般的な方法で処理すべきである。特に、それらをＪＰＥＧ圧縮、ＪＰ
ＥＧ２０００等の色空間変換を従来から含む周知の技術を使用の一部として使って圧縮す
ることが効果的である。
輝度画像の生成１１０及びクロミナンス画像の生成１１４Ｒ、１１４Ｂ後にこれらの画
像は伝送されて記憶される。これは圧縮、フォーマッティング、あるいは使用及び記憶の
ためのデータエンコーディングを含んでも良い。例えば、結果として生じる輝度画像１１
０及びクロミナンス画像１１４Ｒ、１１４Ｂを圧縮することができる。圧縮は適切な圧縮
技術（例えば離散コサイン変換（例えばＪＰＥＧ）やウェーブレット変換（例えばＪＰＥ
Ｇ２０００）に基づく技術を含む）を使って実行され得る。選択された圧縮方法は輝度画
像１００及びクロミナンス画像１１４Ｒ、１１４Ｂを完全に分離して処理できる。しかし
ながら、それらは一般的な方法で処理すべきである。特に、それらをＪＰＥＧ圧縮、ＪＰ
ＥＧ２０００等の色空間変換を従来から含む周知の技術を使用の一部として使って圧縮す
ることが効果的である。
【0091】
好都合なことに、輝度画像１１０及びクロミナンス画像１１４Ｒ、１１４Ｂの相対的解
像度及びそれらのピクセルの本実施形態における空間的なアライメントは、その後の処理
においてＹＣｂＣｒ４２０画像データとして処理できることを意味している。これにより
、修正を行うことなく、周知の組み込まれた圧縮と伝送のプロトコルを使用することがで
きる。
像度及びそれらのピクセルの本実施形態における空間的なアライメントは、その後の処理
においてＹＣｂＣｒ４２０画像データとして処理できることを意味している。これにより
、修正を行うことなく、周知の組み込まれた圧縮と伝送のプロトコルを使用することがで
きる。
【0092】
この方法はＹＣｂＣｒ４２０画像をさらに画像処理するために異なる画像フォーマット
に変換することを含んでも良い。これはＹＣｂＣｒ４２０画像データをデコーディングし
それをＲＧＢ画像フォーマットに戻す変換を行うことを含む。実施形態では、各ピクセル
のＲＧＢ値が以下の計算により生成される：
に変換することを含んでも良い。これはＹＣｂＣｒ４２０画像データをデコーディングし
それをＲＧＢ画像フォーマットに戻す変換を行うことを含む。実施形態では、各ピクセル
のＲＧＢ値が以下の計算により生成される：
【0093】
【数14】
【0094】
ここで、（ｉ，ｊ）はピクセル位置を示す。このプロセスはセンサＲＡＷ画像１０２の
復元を行う。
復元を行う。
【0095】
この方法はさらに復号されたビデオデータの表示やデモザイシング処理されたカラー画
像の復元を含んでも良い。
像の復元を含んでも良い。
【0096】
しかしながら、これまでの記載から分かるように、クロミナンス画像はそれをフル解像
度で行うにはピクセルの数が少なすぎる。従って、フル解像度のデータを必要とする場合
には補間によりクロミナンス画像のための追加のピクセル値を生成することが必要になる
。クロミナンス成分は一般的には高い空間周波数を持たないのでこれはシンプルな双線形
補間となり得る。
度で行うにはピクセルの数が少なすぎる。従って、フル解像度のデータを必要とする場合
には補間によりクロミナンス画像のための追加のピクセル値を生成することが必要になる
。クロミナンス成分は一般的には高い空間周波数を持たないのでこれはシンプルな双線形
補間となり得る。
【0097】
本実施形態はカメラベースのデータ処理においていくつか利点がある。それらの第１の
利点はセンサＲＡＷデータのデータレンジを実質的に維持するようにＲＡＷ画像データを
エンコードして後処理においてカラー変換とトーンマッピングの適用に完全な自由度を与
えるとともに、（デモザイシング処理された未処理のＲＡＷデータと比較して）比較的良
好な圧縮率を達成できることである。さらには、ファイナルデータが既存のＲＡＷワーク
フローに適合する一方ＲＡＷ復号ステージで必要とされる処理レベルを低減し、それによ
ってワークフローを迅速化して大量の画像データのハンドリングを改善することである。
利点はセンサＲＡＷデータのデータレンジを実質的に維持するようにＲＡＷ画像データを
エンコードして後処理においてカラー変換とトーンマッピングの適用に完全な自由度を与
えるとともに、（デモザイシング処理された未処理のＲＡＷデータと比較して）比較的良
好な圧縮率を達成できることである。さらには、ファイナルデータが既存のＲＡＷワーク
フローに適合する一方ＲＡＷ復号ステージで必要とされる処理レベルを低減し、それによ
ってワークフローを迅速化して大量の画像データのハンドリングを改善することである。
【0098】
カメラにおいてデモザイシングの主要部分を実行することが圧縮コーデック及び望まし
い圧縮比に対してだけでなくカメラの特定の画像取得センサ及びそのノイズ特性に対して
もデモザイシングのアルゴリズムを適合させることを容易にする。
い圧縮比に対してだけでなくカメラの特定の画像取得センサ及びそのノイズ特性に対して
もデモザイシングのアルゴリズムを適合させることを容易にする。
【0099】
図９は図３の方法の代替方法を示しており、ＲＡＷビデオデータを処理する。方法１０
０はＮｘＭピクセルの解像度を有するモザイシング処理された多数のカラー画像形式のＲ
ＡＷセンサ画像データ１０２から始まる。好ましい実施例ではＲＡＷセンサデータはほと
んどが処理されていないセンサデータである。これにより、ＲＡＷデータはセンサにより
捕捉されたカラーレンジが制限やカットされることなく維持される。図９のプロセスでは
ＲＡＷセンサ画像データ１０２が輝度画像やクロミナンス画像の算出前にデモザイシング
処理されない。その代わりステップ１０８において適当なフィルタカーネル９００を用い
て輝度画像がモザイシング処理された画像から直接算出される。その後ステップ１１２に
おいて、１以上のクロミナンス画像１１４Ｂ，１１４Ｒが適当なフィルタカーネル９０２
を用いて生成される。
０はＮｘＭピクセルの解像度を有するモザイシング処理された多数のカラー画像形式のＲ
ＡＷセンサ画像データ１０２から始まる。好ましい実施例ではＲＡＷセンサデータはほと
んどが処理されていないセンサデータである。これにより、ＲＡＷデータはセンサにより
捕捉されたカラーレンジが制限やカットされることなく維持される。図９のプロセスでは
ＲＡＷセンサ画像データ１０２が輝度画像やクロミナンス画像の算出前にデモザイシング
処理されない。その代わりステップ１０８において適当なフィルタカーネル９００を用い
て輝度画像がモザイシング処理された画像から直接算出される。その後ステップ１１２に
おいて、１以上のクロミナンス画像１１４Ｂ，１１４Ｒが適当なフィルタカーネル９０２
を用いて生成される。
【0100】
図１０は従来のベイヤーＣＦＡを備えた画像センサで取得されモザイシング処理された
画像１０００から輝度画像１００４及び２つのクロミナンス画像１００８．Ｂ、１００８
．Ｒを生成するプロセスを示す。輝度画像Ｙの値は図３の値と同じである。以下に示す比
率において“ＡＮＤ”はＲ、Ｇ、Ｂ値の組合せを表している：
Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４
図３の例ではＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）がそれぞれ（Ｂ－Ｙ）／ｋＢ、（Ｒ－Ｙ
）／ｋＲとして算出されるが、本例ではクロミナンス画像Ｃｂ、Ｃｒがそれぞれ（Ｂ－Ｇ
）／ｋＢ、（Ｒ－Ｇ）／ｋＲを表す。即ち、クロミナンス画像は輝度画像に対し差分がな
いが、緑値に対して差分がある。
画像１０００から輝度画像１００４及び２つのクロミナンス画像１００８．Ｂ、１００８
．Ｒを生成するプロセスを示す。輝度画像Ｙの値は図３の値と同じである。以下に示す比
率において“ＡＮＤ”はＲ、Ｇ、Ｂ値の組合せを表している：
Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４
図３の例ではＣＢ（ｉ，ｊ）、ＣＲ（ｉ，ｊ）がそれぞれ（Ｂ－Ｙ）／ｋＢ、（Ｒ－Ｙ
）／ｋＲとして算出されるが、本例ではクロミナンス画像Ｃｂ、Ｃｒがそれぞれ（Ｂ－Ｇ
）／ｋＢ、（Ｒ－Ｇ）／ｋＲを表す。即ち、クロミナンス画像は輝度画像に対し差分がな
いが、緑値に対して差分がある。
【0101】
この例では、輝度画像１００４の各ピクセル値は図１０で示される３ｘ３フィルタカー
ネル１００２を使って生成される。フィルタカーネル１００２はフィルタによりカバーさ
れ算出するピクセル値のフォトサイトを中心とする、ピクセル値の加重合計に課される重
み付けを表している。該合計は１６で除算され値をレンジに戻す。本例のフィルタカーネ
ルは簡略化係数を使って特定幅の２次元ガウシアンフィルターを近似する。しかし、同じ
方法がより複雑なフィルタを使っても実行され目標に向けて周波数応答を改善する。その
例を図１１に示す。
ネル１００２を使って生成される。フィルタカーネル１００２はフィルタによりカバーさ
れ算出するピクセル値のフォトサイトを中心とする、ピクセル値の加重合計に課される重
み付けを表している。該合計は１６で除算され値をレンジに戻す。本例のフィルタカーネ
ルは簡略化係数を使って特定幅の２次元ガウシアンフィルターを近似する。しかし、同じ
方法がより複雑なフィルタを使っても実行され目標に向けて周波数応答を改善する。その
例を図１１に示す。
【0102】
Ｃｂ、Ｃｒ値１００８Ｂ、１００８Ｒをそれぞれ算出するには５ｘ５フィルタカーネル
１００６を使う。Ｃｂ値を算出するためにフィルタカーネル１００６が各青のフォトサイ
トに適用されて上記ピクセル値を計算する。各加重合計は３２（フィルタの重み合計）で
除算され各ピクセル値をレンジに入れて最終ピクセル値を得る。
１００６を使う。Ｃｂ値を算出するためにフィルタカーネル１００６が各青のフォトサイ
トに適用されて上記ピクセル値を計算する。各加重合計は３２（フィルタの重み合計）で
除算され各ピクセル値をレンジに入れて最終ピクセル値を得る。
【0103】
Ｃｒ値を得るためにフィルタカーネル１００６がモザイシング処理された画像１０００
の各赤フォトサイトに適用されて上記のようにその位置のＣｒピクセル値に対応するピク
セルを計算する。各加重合計は３２（フィルタの重み合計）で除算され各ピクセル値をレ
ンジに入れて最終ピクセル値を得る。
の各赤フォトサイトに適用されて上記のようにその位置のＣｒピクセル値に対応するピク
セルを計算する。各加重合計は３２（フィルタの重み合計）で除算され各ピクセル値をレ
ンジに入れて最終ピクセル値を得る。
【0104】
前例と同様Ｃｂ、Ｃｒの解像度は輝度画像の解像度の４分の１である。
【0105】
理解されるように、モザイシング処理されたフレーム１０００のエッジからフィルタ幅
半分より近くのフォトサイトに対しピクセル値を算出することが必要となる。
半分より近くのフォトサイトに対しピクセル値を算出することが必要となる。
【0106】
図１１は図１０のカーネル１００２に置き換えて使うことができる代替の２次元ガウシ
アンフィルタカーネル１１０２を示す。理解されるように、そのようなフィルタカーネル
を用いて算出されるピクセル値は５１２（フィルタ係数の合計値である）で除算される。
理解されるように、代替フィルタカーネル１１０２は９ｘ９領域をカバーする。より広い
ためにこのフィルタは３ｘ３ピクセルカーネル１００２よりも大きいノイズ低減を達成す
る。幾つかの実施例において、処理される画像フレームの１以上の特性（例えばフレーム
の所定領域のノイズレベル）に基づいて（フィルタカーネル１００２、１１０２等の２以
上のカーネルから）好ましいフィルタカーネルを選択できるようにしても良い。
アンフィルタカーネル１１０２を示す。理解されるように、そのようなフィルタカーネル
を用いて算出されるピクセル値は５１２（フィルタ係数の合計値である）で除算される。
理解されるように、代替フィルタカーネル１１０２は９ｘ９領域をカバーする。より広い
ためにこのフィルタは３ｘ３ピクセルカーネル１００２よりも大きいノイズ低減を達成す
る。幾つかの実施例において、処理される画像フレームの１以上の特性（例えばフレーム
の所定領域のノイズレベル）に基づいて（フィルタカーネル１００２、１１０２等の２以
上のカーネルから）好ましいフィルタカーネルを選択できるようにしても良い。
【0107】
図９に戻って、エンコードステップ１１６が実行されて輝度画像及びクロミナンス画像
がさらなる使用（記憶、送信、表示等）のために例えば圧縮及び／又はフォーマッティン
グによりエンコードされる。上記のように、好ましい形態において、ここで記載される実
施例のＹ、Ｃｒ、Ｃｂフレームのフレーム解像度の比率はＹＣｂＣｒ ４：２：０フォー
マットとしてエンコードするのに適している。さらにエンコードされた画像データはセン
サで取得されたカラーレンジを維持するのに最も好ましく、カラーレンジは制限やカット
されることなく恰もＲＡＷ画像データのように下流でデータが効果的に処理されることを
可能にする。
がさらなる使用（記憶、送信、表示等）のために例えば圧縮及び／又はフォーマッティン
グによりエンコードされる。上記のように、好ましい形態において、ここで記載される実
施例のＹ、Ｃｒ、Ｃｂフレームのフレーム解像度の比率はＹＣｂＣｒ ４：２：０フォー
マットとしてエンコードするのに適している。さらにエンコードされた画像データはセン
サで取得されたカラーレンジを維持するのに最も好ましく、カラーレンジは制限やカット
されることなく恰もＲＡＷ画像データのように下流でデータが効果的に処理されることを
可能にする。
【0108】
この明細書で開示され明らかにされた本発明は述べられた、あるいはテキストや図面か
ら明白な個々の特徴の２以上の全ての取り得る組合せに及ぶことが理解されるであろう。
これらの異なる組合せの全てが本発明の種々の代替の態様を構成する。
ら明白な個々の特徴の２以上の全ての取り得る組合せに及ぶことが理解されるであろう。
これらの異なる組合せの全てが本発明の種々の代替の態様を構成する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2022-12-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
カメラの画像処理方法であって、前記カメラは、受光した光をモザイク処理された複数のカラー画像の形式のＲＡＷ画像データに変換するように構成された画像捕捉システムを含み、前記画像捕捉システムは、カラーフィルタアレイを備えた画像センサを含み、前記画像センサは、前記カラーフィルタアレイのフィルタと空間的に相関したフォトサイトのアレイを含み、各フォトサイトは、対応するスペクトル選択フィルタを有し、前記カラーフィルタアレイ内の複数のカラーのそれぞれにおいて受光し、捕捉された光の強度を示すピクセル値を出力するように構成され、該方法は、
前記ＲＡＷ画像データを所望のビデオデータのフォーマットにエンコードすることを含む画像処理の範囲のタスクを実行するように構成された画像処理サブシステムへ、前記ＲＡＷ画像データを送ることを含み、
前記エンコードの前に、前記画像処理サブシステムによって、
前記フォトサイトの中心のピクセル値に第１のフィルタカーネルを適用することにより、各フォトサイトについて輝度値を算出することにより、前記ＲＡＷ画像データから輝度画像を生成することであり、前記第１のフィルタカーネルは、前記フィルタカーネルによりカバーされるピクセル値の加重合計に適用される重み付けを表しており、前記輝度画像は第１解像度を有し、前記画像センサから出力されたＲＡＷ画像データを表している、輝度画像を生成することと、
前記カラーフィルタアレイ内の第１のカラーのピクセル値を有する各フォトサイトの中心のピクセル値に第２のフィルタカーネルを適用することにより、前記画像センサから出力されるＲＡＷ画像データを表す第１のクロミナンス画像を前記ＲＡＷ画像データから生成することであり、前記第１のクロミナンス画像内のピクセル値は、前記カラーフィルタアレイ内の前記第１のカラーのピクセル値と前記カラーフィルタアレイ内の第２のカラーのピクセル値との間の差分を含む、第１のクロミナンス画像を生成することと、
前記カラーフィルタアレイ内の第３のカラーのピクセル値を有する各フォトサイトの中心のピクセル値に前記第２のフィルタカーネルを適用することにより、前記画像センサから出力されるＲＡＷ画像データを表す第２のクロミナンス画像を前記ＲＡＷ画像データから生成することであり、前記第２のクロミナンス画像内のピクセル値は、前記カラーフィルタアレイ内の前記第３のカラーのピクセル値と前記カラーフィルタアレイ内の前記第２のカラーのピクセル値との間の差分を含む、第２のクロミナンス画像を生成することと、を含む方法。
前記ＲＡＷ画像データを所望のビデオデータのフォーマットにエンコードすることを含む画像処理の範囲のタスクを実行するように構成された画像処理サブシステムへ、前記ＲＡＷ画像データを送ることを含み、
前記エンコードの前に、前記画像処理サブシステムによって、
前記フォトサイトの中心のピクセル値に第１のフィルタカーネルを適用することにより、各フォトサイトについて輝度値を算出することにより、前記ＲＡＷ画像データから輝度画像を生成することであり、前記第１のフィルタカーネルは、前記フィルタカーネルによりカバーされるピクセル値の加重合計に適用される重み付けを表しており、前記輝度画像は第１解像度を有し、前記画像センサから出力されたＲＡＷ画像データを表している、輝度画像を生成することと、
前記カラーフィルタアレイ内の第１のカラーのピクセル値を有する各フォトサイトの中心のピクセル値に第２のフィルタカーネルを適用することにより、前記画像センサから出力されるＲＡＷ画像データを表す第１のクロミナンス画像を前記ＲＡＷ画像データから生成することであり、前記第１のクロミナンス画像内のピクセル値は、前記カラーフィルタアレイ内の前記第１のカラーのピクセル値と前記カラーフィルタアレイ内の第２のカラーのピクセル値との間の差分を含む、第１のクロミナンス画像を生成することと、
前記カラーフィルタアレイ内の第３のカラーのピクセル値を有する各フォトサイトの中心のピクセル値に前記第２のフィルタカーネルを適用することにより、前記画像センサから出力されるＲＡＷ画像データを表す第２のクロミナンス画像を前記ＲＡＷ画像データから生成することであり、前記第２のクロミナンス画像内のピクセル値は、前記カラーフィルタアレイ内の前記第３のカラーのピクセル値と前記カラーフィルタアレイ内の前記第２のカラーのピクセル値との間の差分を含む、第２のクロミナンス画像を生成することと、を含む方法。
【請求項2】
前記カラーフィルタアレイは、赤、緑、および青のカラーフィルタを有するベイヤーカラーフィルタアレイである、請求項１に記載の方法。
【請求項3】
前記第２のカラーは緑である、請求項１または２に記載の方法。
【請求項4】
前記輝度画像は、前記第１、第２および第３のカラーの組み合わせを、１：２：１の割合で表す、請求項２または３に記載の方法。
【請求項5】
前記第１のフィルタカーネルはガウシアンフィルタを近似する、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記第１のフィルタカーネルは第１のサイズを有し、前記第２のフィルタカーネルは、前記第１のサイズと異なり前記第１のサイズより大きい第２のサイズを有する、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記第１および第２のクロミナンス画像は、前記第１解像度よりも低い第２解像度を有し、任意で、
前記ＲＡＷデータは前記第１解像度を有し、および／または、
前記第１および第２のクロミナンス画像は、前記第１解像度の４分の１である第２解像度を有する、請求項１～６のいずれか一項に記載の方法。
前記ＲＡＷデータは前記第１解像度を有し、および／または、
前記第１および第２のクロミナンス画像は、前記第１解像度の４分の１である第２解像度を有する、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記ＲＡＷ画像データのカラーレンジは、前記輝度画像および１以上の前記第１または第２のクロミナンス画像の一方又は両方に維持される、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記フォトサイトの中心のピクセル値に前記第１のフィルタカーネルを適用することは、前記ＲＡＷ画像データの画像フレームを処理することを含み、
前記方法は、処理される前記画像フレームの１以上の特性に基づいて、複数のフィルタカーネルから前記第１のフィルタカーネルを選択することをさらに含む、請求項１～８のいずれか一項に記載の方法。
前記方法は、処理される前記画像フレームの１以上の特性に基づいて、複数のフィルタカーネルから前記第１のフィルタカーネルを選択することをさらに含む、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記画像処理サブシステムによって、前記輝度画像、前記第１および第２のクロミナンス画像を、それぞれのフィルタ係数の合計で除算することにより、範囲内に入れることをさらに含む、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記画像処理サブシステムによって、前記輝度画像、前記第１および第２のクロミナンス画像をエンコードすることにより、エンコードされた画像データを生成することをさらに含む、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
前記エンコードすることは、少なくとも１つの前記輝度画像と、１以上の前記第１または第２のクロミナンス画像とを圧縮することを含む、請求項１１に記載の方法。
【請求項13】
前記エンコードすることは、前記輝度画像と前記第１および第２のクロミナンス画像とをＹＣｂＣｒ４２０フォーマットにフォーマット化することを含む、請求項１１に記載の方法。
【請求項14】
前記エンコードされた画像データは、前記センサによって捕捉されたカラーの範囲を維持する、請求項１１～１３のいずれか一項に記載の方法。
【請求項15】
請求項１～１４のいずれか一項に記載された方法を実行するように構成された、画像捕捉システムおよび画像処理システムを含むカメラ。