特開 2023-52939 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023052939

(43)【公開日】2023-04-12

(54)【発明の名称】符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20230404BHJP

   H04N 23/60 20230101ALI20230404BHJP

【ＦＩ】

H04N19/85

H04N23/60 500

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023016588

(22)【出願日】2023-02-07

(62)【分割の表示】P 2019566488の分割

【原出願日】2019-01-16

(31)【優先権主張番号】P 2018005212

(32)【優先日】2018-01-16

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】安藤 一郎

(72)【発明者】

【氏名】▲高▼橋 昌也

(57)【要約】

【課題】階調補正による暗部符号化歪を抑制すること。
【解決手段】符号化装置は、光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正部と、前記補正部によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化部と、を有し、前記補正部は、前記ＲＡＷ画像データの入力信号レベルが前記光学的黒の値よりも低い第１区間について第１の階調補正を実行し、前記ＲＡＷ画像データの入力信号レベルが前記光学的黒の値から最大値までの少なくとも一部である第２区間について第２の階調補正を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正部と、
前記補正部によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化部と、を有し、
前記補正部は、前記ＲＡＷ画像データの入力信号レベルが前記光学的黒の値よりも低い第１区間について第１の階調補正を実行し、前記ＲＡＷ画像データの入力信号レベルが前記光学的黒の値から最大値までの少なくとも一部である第２区間について第２の階調補正を実行する、符号化装置。

【発明の詳細な説明】

【参照による取り込み】

【0001】

本出願は、平成３０年（２０１８年）１月１６日に出願された日本出願である特願２０１８－５２１２の優先権を主張し、その内容を参照することにより、本出願に取り込む。

【技術分野】

【0002】

本発明は、符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラムに関する。

【背景技術】

【0003】

ＲＡＷ画像データに階調補正を施す技術が開示されている。しかしながら、撮像素子からの出力の光学的黒がゼロでないとき、暗部符号化歪抑制のため、上述したような√γ等による階調補正を施して符号化すると、光学的黒がゼロの場合に比べて、階調補正による暗部符号化歪抑制の度合が低減する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６－２７０４７８号公報

【発明の概要】

【0005】

本願において開示される発明の一側面となる符号化装置は、光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正部と、前記補正部によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化部と、を有する。

【0006】

本願において開示される発明の一側面となる復号装置は、ガンマ係数と光学的黒の値とに基づいて階調補正された階調補正ＲＡＷ画像データが符号化された符号化ＲＡＷ画像データを取得する取得部と、前記取得部によって取得された符号化ＲＡＷ画像データを前記階調補正ＲＡＷ画像データに復号する復号部と、前記復号部によって復号された前記階調補正ＲＡＷ画像データを、前記ガンマ係数と前記光学的黒の値とに基づいて階調逆補正して、階調補正前のＲＡＷ画像データを出力する逆補正部と、を有する。

【0007】

本願において開示される発明の一側面となる符号化方法は、光学的黒を有する撮像素子からのＲＡＷ画像データを、ガンマ係数と前記光学的黒の値とに基づいて階調補正する補正処理と、前記補正処理によって階調補正された階調補正ＲＡＷ画像データを符号化する符号化処理と、を実行する。

【0008】

本願において開示される発明の一側面となる復号方法は、ガンマ係数と光学的黒の値とに基づいて階調補正された階調補正ＲＡＷ画像データが符号化された符号化ＲＡＷ画像データを取得する取得処理と、前記取得処理によって取得された符号化ＲＡＷ画像データを前記階調補正ＲＡＷ画像データに復号する復号処理と、前記復号処理によって復号された前記階調補正ＲＡＷ画像データを、前記ガンマ係数と前記光学的黒の値とに基づいて階調逆補正して、階調補正前のＲＡＷ画像データを出力する逆補正処理と、を実行する。

【図面の簡単な説明】

【0009】

【図1】図１は、情報処理装置のハードウェア構成例を示すブロック図である。

【図2】図２は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。

【図3】図３は、符号化階調補正ＲＡＷ画像データのデータ構造例を示す説明図である。

【図4】図４は、符号化部の構成例を示すブロック図である。

【図5】図５は、符号化装置による符号化処理手順例を示すフローチャートである。

【図6】図６は、復号装置の機能的構成例を示すブロック図である。

【図7】図７は、復号部の構成例を示すブロック図である。

【図8】図８は、復号装置による復号処理手順例を示すフローチャートである。

【図9】図９は、光学的黒値を用いない場合の階調補正の入出力特性を示すグラフである。

【図10】図１０は、光学的黒値を用いない場合の階調補正のゲイン特性を示すグラフである。

【図11】図１１は、光学的黒値を用いない場合の階調逆補正の入出力特性を示すグラフである。

【図12】図１２は、光学的黒値を用いた場合の階調補正の入出力特性１を示すグラフである。

【図13】図１３は、光学的黒値を用いた場合の階調補正の入出力特性１におけるゲイン特性を示すグラフである。

【図14】図１４は、光学的黒値を用いる場合の階調逆補正の入出力特性１を示すグラフである。

【図15】図１５は、光学的黒値を用いた場合の階調補正の入出力特性２を示すグラフである。

【図16】図１６は、光学的黒値を用いた場合の階調補正の入出力特性２におけるゲイン特性を示すグラフである。

【図17】図１７は、光学的黒値を用いる場合の階調逆補正の入出力特性２を示すグラフである。

【図18】図１８は、光学的黒値を用いた場合の階調補正の入出力特性３を示すグラフである。

【図19】図１９は、光学的黒値を用いた場合の階調補正の入出力特性３におけるゲイン特性を示すグラフである。

【図20】図２０は、光学的黒値を用いる場合の階調逆補正の入出力特性３を示すグラフである。

【図21】図２１は、光学的黒値を用いた場合の階調補正の入出力特性４を示すグラフである。

【図22】図２２は、光学的黒値を用いた場合の階調補正の入出力特性４におけるゲイン特性を示すグラフである。

【図23】図２３は、光学的黒値を用いる場合の階調逆補正の入出力特性４を示すグラフである。

【図24】図２４は、光学的黒値を用いた場合の階調補正の入出力特性５を示すグラフである。

【図25】図２５は、光学的黒値を用いた場合の階調補正の入出力特性５におけるゲイン特性を示すグラフである。

【図26】図２６は、光学的黒値を用いる場合の階調逆補正の入出力特性５を示すグラフである。

【図27】図２７は、光学的黒値を用いた場合の階調補正の入出力特性６を示すグラフである。

【図28】図２８は、光学的黒値を用いた場合の階調補正の入出力特性６におけるゲイン特性を示すグラフである。

【図29】図２９は、光学的黒値を用いる場合の階調逆補正の入出力特性６を示すグラフである。

【図30】図３０は、光学的黒値を用いた場合の階調補正の入出力特性７を示すグラフである。

【図31】図３１は、光学的黒値を用いた場合の階調補正の入出力特性７におけるゲイン特性を示すグラフである。

【図32】図３２は、光学的黒値を用いる場合の階調逆補正の入出力特性７を示すグラフである。

【図33】図３３は、光学的黒値を用いた場合の階調補正の入出力特性８を示すグラフである。

【図34】図３４は、光学的黒値を用いた場合の階調補正の入出力特性８におけるゲイン特性を示すグラフである。

【図35】図３５は、光学的黒値を用いる場合の階調逆補正の入出力特性８を示すグラフである。

【図36】図３６は、光学的黒値を用いた場合の階調補正の入出力特性９を示すグラフである。

【図37】図３７は、光学的黒値を用いた場合の階調補正の入出力特性９におけるゲイン特性を示すグラフである。

【図38】図３８は、光学的黒値を用いる場合の階調逆補正の入出力特性９を示すグラフである。

【発明を実施するための形態】

【実施例0010】

＜情報処理装置のハードウェア構成例＞
図１は、情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置１００は、符号化装置および復号装置のいずれか一方、または両方を含む装置である。情報処理装置１００は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置であってもよく、パーソナルコンピュータやタブレット、スマートフォン、ゲーム機でもよい。

【0011】

情報処理装置１００は、プロセッサ１０１と、記憶デバイス１０２と、操作デバイス１０３と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０４と、撮像ユニット１０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６と、を有する。これらは、バス１０８により接続されている。プロセッサ１０１は、情報処理装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。

【0012】

記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。操作デバイス１０３は、データを操作する。操作デバイス１０３としては、たとえば、ボタン、スイッチ、タッチパネルがある。

【0013】

ＬＳＩ１０４は、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。

【0014】

撮像ユニット１０５は、被写体を撮像してＲＡＷ画像データを生成する。撮像ユニット１０５は、撮像光学系１５１と、カラーフィルタ１５２を有する撮像素子１５３と、信号処理回路１５４と、を有する。

【0015】

撮像光学系１５１は、たとえば、ズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１５１を１枚のレンズで図示する。

【0016】

撮像素子１５３は、撮像光学系１５１を通過した光束による被写体の結像を撮像（撮影）するデバイスである。撮像素子１５３は、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ）であってもよく、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ）であってもよい。

【0017】

撮像素子１５３の受光面には、光電変換部を有する画素群１６０がマトリクス状に配列されている。そして、撮像素子１５３の各画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタ１５２が所定の色配列に従って配置される。そのため、撮像素子１５３の各画素は、カラーフィルタ１５２での色分解によって各色成分に対応する電気信号を出力する。

【0018】

実施例１では、たとえば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタ１５２が２行２列のベイヤ配列にしたがって受光面に周期的に配置されている。一例として、撮像素子１５３の色配列の奇数行にはＧ，Ｂの画素が交互に並ぶとともに、色配列の偶数行にはＲ，Ｇの画素が交互に並んでいる。そして、色配列の全体では緑色画素が市松模様をなすように配置されている。これにより、撮像素子１５３は、撮影時にカラーのＲＡＷ画像データを取得することができる。

【0019】

なお、撮像素子１５３において２次元アレイ状に配列された画素群１６０は、有効画素領域１６１と、光学的黒画素領域１６２と、により構成される。有効画素領域１６１は、実際に光を受光し光電変換によって生成された信号電荷を増幅して信号処理回路１５４に出力する画素領域である。

【0020】

光学的黒画素領域１６２は、黒レベルの基準になる光学的黒を出力するための画素領域である。光学的黒画素領域１６２は、たとえば、有効画素領域１６１の外周に設けられる。光学的黒画素領域１６２は、たとえば、撮像素子１５３で発生した熱ノイズなどを減算補正するために設けられる。

【0021】

信号処理回路１５４は、撮像素子１５３から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次実行する。信号処理回路１５４から出力されるＲＡＷ画像データは、ＬＳＩ１０４または記憶デバイス１０２に入力される。通信ＩＦ１０６は、ネットワークを介して外部装置と接続し、データを送受信する。

【0022】

＜符号化装置の機能的構成例＞
図２は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。符号化装置２００は、階調補正部２０１と、符号化部２０２と、記録部２０３と、設定部２０４と、を有する。階調補正部２０１、符号化部２０２、記録部２０３、および設定部２０４は、具体的には、たとえば、記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０４により実現される機能である。

【0023】

階調補正部２０１は、ＲＡＷ画像データを階調補正する。ＲＡＷ画像データは、カラーフィルタ１５２を介して得られた被写体からの光を光電変換する撮像素子１５３からの光の強度に線形な画素値の画像データである。換言すれば、ＲＡＷ画像データは、ガンマ補正、デモザイク処理、ホワイトバランス調整、および色変換処理のような画像処理が施されていない画像データである。ＲＡＷ画像データのデータ量は、上述した画像処理や符号化処理（圧縮処理ともいう）が実行されたデータに比べて大きい。なお、ＲＡＷ画像データは、静止画でもよく、動画像の１フレームでもよい。

【0024】

階調補正部２０１は、光学的黒画素領域１６２を有する撮像素子１５３からのＲＡＷ画像データを、ガンマ係数の値（ガンマ値）と光学的黒の値とに基づいて階調補正する。たとえば、階調補正部２０１は、当該ＲＡＷ画像データについて光学的黒値を基準に√γ等による階調補正を実行する。階調補正部２０１は、階調補正に際し、ノイズリダクション処理（ＮＲ処理）を実行してもよい。なお、階調補正部２０１による階調補正の詳細は後述する。

【0025】

符号化部２０２は、階調補正部２０１によって階調補正されたＲＡＷ画像データ（以下、階調補正ＲＡＷ画像データ）を符号化し、符号化された階調補正ＲＡＷ画像データ（以下、符号化階調補正ＲＡＷ画像データ）を出力する。符号化部２０２は、階調補正ＲＡＷ画像データが静止画である場合、フレーム内符号化により、階調補正ＲＡＷ画像データをＩピクチャに符号化する。

【0026】

また、符号化部２０２は、階調補正ＲＡＷ画像データが動画像の１フレームである場合、フレーム内予測符号化により、階調補正ＲＡＷ画像データをＩピクチャに、または、他の階調補正ＲＡＷ画像データを参照してフレーム間予測符号化により階調補正ＲＡＷ画像データをＰピクチャまたはＢピクチャに符号化する。

【0027】

撮像素子１５３からの出力である光学的黒の値がゼロでない場合、暗部符号化歪抑制のために単に√γ等による階調補正を施すと、光学的黒値がゼロの場合に比べて、階調補正による暗部符号化歪の抑制度合が小さくなる。符号化部２０２は、光学的黒値を基準に√γ等による階調補正を実行し、符号化階調補正ＲＡＷ画像データのヘッダ情報に、復号再生時に用いるγ値に加えて光学的黒値を付与する。これにより、階調補正による暗部符号化歪の抑制度合の低下を解消する。

【0028】

記録部２０３は、符号化階調補正ＲＡＷ画像データを記憶デバイス１０２に記録する。設定部２０４は、ガンマ係数の値や算定仮ゲイン、露出値を設定し、階調補正部２０１に出力する。設定部２０４の詳細は、実施例３、実施例４で後述する。

【0029】

＜符号化階調補正ＲＡＷ画像データのデータ構造例＞
図３は、符号化階調補正ＲＡＷ画像データのデータ構造例を示す説明図である。符号化階調補正ＲＡＷ画像データ３００は、ヘッダ情報３０１と符号化データ列３０２とを有する。ヘッダ情報３０１は、符号化部２０２により付与される情報である。ヘッダ情報３０１は、画像形式情報３１１と制御情報３１２とを含む。符号化データ列３０２は、階調補正ＲＡＷ画像データを符号化したデータ列である。

【0030】

ヘッダ情報３０１の各要素について具体的に説明する。画像形式情報３１１は、符号化前の階調補正ＲＡＷ画像データのサイズ、符号化階調補正ＲＡＷ画像データのサイズ、色配列のパターンを特定する識別情報、符号化前の階調補正ＲＡＷ画像データの画素数を含む。

【0031】

制御情報３１２は、符号化階調補正ＲＡＷ画像データの種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれか）、参照フレームの識別情報のほか、階調補正を施したときのガンマ値３２１、黒レベルの基準となる光学的黒値３２２、算定仮ゲイン３２３、第１ポーチ幅３２４、第２ポーチ幅３２５、階調補正識別子３２６を含む。

【0032】

算定仮ゲイン３２３については、実施例３および実施例４で後述する。第１ポーチ幅３２４および第２ポーチ幅３２５については、実施例４で後述する。階調補正識別子３２６は、階調補正を実行するアルゴリズムを特定する識別子である。階調補正識別子３２６により、復号装置は、符号化階調補正ＲＡＷ画像データ３００が、どのアルゴリズムにより階調補正されたかを特定することができる。

【0033】

＜符号化部２０２の構成例＞
図４は、符号化部２０２の構成例を示すブロック図である。符号化部２０２は、第１蓄積部４０１と、減算部４０２と、直交変換部４０３と、量子化部４０４と、可変長符号化部４０５と、逆量子化部４０６と、逆直交変換部４０７と、加算部４０８と、第２蓄積部４０９と、動き検出部４１０と、動き補償部４１１と、を有する。

【0034】

第１蓄積部４０１は、階調補正部２０１から出力される階調補正ＲＡＷ画像データを蓄積する。第１蓄積部４０１に蓄積された階調補正ＲＡＷ画像データは、符号化対象の画像データとして入力順に減算部４０２へ出力される。なお、符号化の完了した階調補正ＲＡＷ画像データは第１蓄積部４０１から順次消去される。

【0035】

減算部４０２は、ＰピクチャまたはＢピクチャを生成するときには、入力された原画像（階調補正ＲＡＷ画像データ）の成分フレームと、動き補償部４１１で生成された後述の予測値との差分信号（予測誤差値）を出力する。また、減算部４０２は、Ｉピクチャを生成するときには、入力された原画像の成分フレームをそのまま出力する。

【0036】

直交変換部４０３は、Ｉピクチャを生成するときには、減算部４０２をスルーして入力された原画像に対して直交変換を行う。また、直交変換部４０３は、ＰピクチャまたはＢピクチャを生成するときには、上述した差分信号に対して直交変換をおこなう。

【0037】

量子化部４０４は、直交変換部４０３から入力されたブロック単位の周波数係数（直交変換係数）を量子化係数に変換する。量子化部４０４の出力は、可変長符号化部４０５および逆量子化部４０６にそれぞれ入力される。

【0038】

可変長符号化部４０５は、量子化係数や、動き検出部４１０からの動きベクトルを可変長符号化し、符号化階調補正ＲＡＷ画像データ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を出力する。

【0039】

逆量子化部４０６は、符号化の単位であるブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部４０７は、逆量子化部４０６で復号された周波数係数を逆直交変換して予測誤差値（または原画像）を復号する。

【0040】

加算部４０８は、復号された予測誤差値と、動き補償部４１１で生成された後述の予測値とを加算する。そして、加算部４０８から出力されたピクチャの復号値（参照フレーム）は第２蓄積部４０９に蓄積される。なお、以後の動き補償予測で参照されない参照フレームは第２蓄積部４０９から順次消去される。

【0041】

動き検出部４１０は、第２蓄積部４０９の参照フレームを用いて、符号化対象の階調補正ＲＡＷ画像データを予測するための動きベクトルを検出する。動きベクトルは、動き補償部４１１および可変長符号化部４０５に出力される。

【0042】

動き補償部４１１は、動きベクトルおよび参照フレームに基づいて、符号化対象の階調補正ＲＡＷ画像データをブロック単位で予測した予測値を出力する。この予測値は、減算部４０２および加算部４０８に出力される。

【0043】

なお、或るブロックについて動き補償予測を行う場合、符号化対象の階調補正ＲＡＷ画像データが予測値と完全に一致すると動きベクトルのみが符号化される。また、符号化対象の階調補正ＲＡＷ画像データが予測値と部分的に一致する場合、動きベクトルと差分画像が符号化される。また、符号化対象の階調補正ＲＡＷ画像データが予測値からすべて外れる場合には、ブロック全体分の画像がすべて符号化される。

【0044】

＜符号化処理手順例＞
図５は、符号化装置２００による符号化処理手順例を示すフローチャートである。符号化装置２００は、光学的黒画素領域１６２を有する撮像素子１５３から出力されたＲＡＷ画像データの入力を受け付け（ステップＳ５０１）、階調補正部２０１により、階調補正アルゴリズムを用いて、当該ＲＡＷ画像データを階調補正する（ステップＳ５０２）。

【0045】

つぎに、符号化装置２００は、符号化部２０２により、階調補正ＲＡＷ画像データを符号化する（ステップＳ５０３）。そして、符号化装置２００は、記録部２０３により、符号化階調補正ＲＡＷ画像データ３００を記憶デバイス１０２に格納する（ステップＳ５０４）。

【0046】

＜復号装置の機能的構成例＞
図６は、復号装置の機能的構成例を示すブロック図である。復号装置６００は、取得部６０１と、復号部６０２と、階調逆補正部６０３と、を有する。取得部６０１、復号部６０２、および階調逆補正部６０３は、具体的には、たとえば、記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０４により実現される機能である。

【0047】

取得部６０１は、符号化装置２００によって符号化された符号化階調補正ＲＡＷ画像データ３００を取得する。復号装置６００が符号化装置２００と通信可能である場合、取得部６０１は、符号化装置２００から送信されてくる符号化階調補正ＲＡＷ画像データ３００を受信する。復号装置６００が符号化装置２００と同一装置内に実装されている場合、取得部６０１は、記憶デバイス１０２に格納された符号化階調補正ＲＡＷ画像データ３００を読み出す。

【0048】

復号部６０２は、制御情報３１２を用いて符号化階調補正ＲＡＷ画像データ３００を階調補正ＲＡＷ画像データに復号する。具体的には、たとえば、復号部は、符号化階調補正ＲＡＷ画像データ３００の種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に応じて、参照フレームを特定し、符号化階調補正ＲＡＷ画像データ３００を階調補正ＲＡＷ画像データに復号する。

【0049】

階調逆補正部６０３は、復号部６０２によって復号された階調補正ＲＡＷ画像データを階調逆補正し、階調補正前のＲＡＷ画像データに復元する。具体的には、たとえば、階調逆補正部６０３は、制御情報３１２の階調補正識別子３２６を参照して、ＲＡＷ画像データに施された階調補正アルゴリズムを特定し、特定した階調補正アルゴリズムに対応する階調逆補正アルゴリズムを実行する。階調逆補正部６０３は、階調逆補正に際し、ノイズリダクション処理（ＮＲ処理）を実行してもよい。

【0050】

＜復号部６０２の構成例＞
図７は、復号部６０２の構成例を示すブロック図である。復号部６０２は、可変長符号復号部７０１と、逆量子化部７０２と、逆直交変換部７０３と、加算部７０４と、第３蓄積部７０５、動き補償部７０６を有している。

【0051】

可変長符号復号部７０１は、入力される符号化階調補正ＲＡＷ画像データ３００を復号し、量子化係数や、動きベクトルを出力する。なお、復号された量子化係数は逆量子化部７０２に入力され、復号された動きベクトルは動き補償部７０６に入力される。

【0052】

逆量子化部７０２は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部７０３は、逆量子化部７０２で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

【0053】

加算部７０４は、復号された予測誤差値と動き補償部７０６で生成された予測値とを加算することで、復号された画像データをブロック単位で出力する。そして、加算部７０４から出力された画像データは階調補正ＲＡＷ画像データとして出力されるとともに、第３蓄積部７０５に入力される。

【0054】

第３蓄積部７０５は、画像の復号値を参照フレームとして蓄積する。なお、以後の動き補償予測で参照されない画像データは第３蓄積部７０５から順次消去される。動き補償部７０６は、動きベクトルおよび参照フレームに基づいて、復号対象の画像をブロック単位で予測した予測値を加算部７０４に出力する。

【0055】

＜復号処理手順例＞
図８は、復号装置６００による復号処理手順例を示すフローチャートである。復号装置６００は、取得部６０１により、符号化階調補正ＲＡＷ画像データ３００を取得し（ステップＳ８０１）、復号部６０２により、符号化階調補正ＲＡＷ画像データ３００を階調補正ＲＡＷ画像データに復号する（ステップＳ２１０２）。そして、復号装置６００は、階調逆補正部６０３により、復号された階調補正ＲＡＷ画像データを階調逆補正して、ＲＡＷ画像データを復元する（ステップＳ８０３）。

【0056】

＜階調補正および階調逆補正の具体例＞
つぎに、実施例１にかかる階調補正部２０１による階調補正および階調逆補正部６０３による階調逆補正の具体例について、図９～図１７を用いて説明する。本実施例１との比較のため、光学的黒値を用いない階調補正および階調逆補正を図９～図１１のグラフに示し、実施例１の階調補正１および階調逆補正１を図１２～図１４に示し、実施例１の階調補正２および階調逆補正２を図１５～図１７に示す。

【0057】

（光学的黒値を用いない場合の階調補正の特性）
図９は、光学的黒値を用いない場合の階調補正の入出力特性を示すグラフである。横軸は、撮像素子１５３からのＲＡＷ画像データの信号レベル（入力信号レベルＥ）であり、縦軸は、階調補正ＲＡＷ画像データの信号レベル（出力信号レベルＥ´）である。以降、図１２、図１５、図１８、図２１、図２４でも同様である。ただし、図９の入力信号レベルＥは、光学的黒画素領域１６２を有しない撮像素子１５３からのＲＡＷ画像データの信号レベルである。

【0058】

また、信号レベルとは、たとえば、有効画素領域１６１内の画素の輝度を示す電圧値であり、０．０～１．０の範囲で正規化される。信号レベルが小さい画素は暗い画素、信号レベルが大きい画素は明るい画素を示す。また、ＯＢ（オプティカルブラック）は、光学的黒値である。

【0059】

図９の入出力特性グラフ９００を示す階調補正アルゴリズムは、下記式（１）で表現される。

【0060】

Ｅ´＝ＯＥＴＦ［Ｅ］＝Ｅ^１／γ・・・・・（１）

【0061】

ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、γはガンマ値である。

【0062】

入出力特性グラフ９００において、入力信号レベルが０．０から光学的黒値ＯＢまでの区間ＳＣ９について階調補正が実行される。ＲＡＷ画像データを符号化する場合、暗部および明部を均等に符号化するため、現像段階でガンマ補正を施すと、暗部が強調され、符号化による圧縮率が高いほど符号化歪みが目立つ。

【0063】

図１０は、光学的黒値を用いない場合の階調補正のゲイン特性を示すグラフである。ゲインとは、入力信号レベルＥの強調度である。光学的黒値を用いない場合の階調補正のゲイン特性グラフ１０００は、式（１）の微分により、下記式（２）で表現される。

【0064】

Ｇ＝｛ＯＥＴＦ［Ｅ］｝’＝（１／γ）×Ｅ^{｛（１／γ）－１｝}・・・・・（２）

【0065】

Ｇは、入力信号レベルＥのゲインである。ゲイン特性グラフ１０００において、入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９のゲインＧの値が光学的黒値ＯＢのゲインＧの値よりも大きい。すなわち、現像処理後は無効となる入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９の画素のゲインが大きい。したがって、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインが小さくなり符号化歪抑制効果が小さくなる。

【0066】

図１１は、光学的黒値を用いない場合の階調逆補正の入出力特性を示すグラフである。横軸は、階調補正ＲＡＷ画像データの信号レベル（入力信号レベルＥ´）であり、縦軸は、階調補正ＲＡＷ画像データから階調逆補正されたＲＡＷ画像データの信号レベル（出力信号レベルＥ）である。

【0067】

以降、図１４、図１７、図２０、図２３、図２６でも同様である。ただし、図１１の出力信号レベルＥは、階調逆補正により復元された、光学的黒画素領域１６２を有しない撮像素子１５３からのＲＡＷ画像データの信号レベルである。また、信号レベルとは、図９と同様、たとえば、有効画素領域１６１内の画素の輝度を示す電圧値であり、０．０～１．０の範囲で正規化される。信号レベルが小さい画素は暗い画素、信号レベルが大きい画素は明るい画素を示す。

【0068】

図１０の入出力特性グラフ１１００を示す階調逆補正アルゴリズムは、下記式（３）で表現される。

【0069】

Ｅ＝ＥＯＴＦ［Ｅ´］＝Ｅ^γ・・・・・（３）

【0070】

ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数、γはガンマ値である。

【0071】

（光学的黒値を用いた場合の階調補正の特性例１）
つぎに、図１２～図１４を用いて、光学的黒値を用いた場合の階調補正の特性例１について説明する。

【0072】

図１２は、光学的黒値を用いた場合の階調補正の入出力特性１を示すグラフである。入出力特性グラフ１２００では、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて階調補正を実行しない。換言すれば、図１２の入出力特性グラフ１２００では、入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９で出力信号レベルＥ´が０．０であり、入力信号レベルＥが光学的黒値ＯＢから立ち上がり、入力信号レベルＥが１．０で出力信号レベルＥ´が最大値をとる。

【0073】

図１２の入出力特性グラフ１２００を示す階調補正アルゴリズムは、下記式（４）で表現される。

【0074】

【数1】

【0075】

ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。階調補正部２０１は、式（４）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

【0076】

図１３は、光学的黒値を用いた場合の階調補正の入出力特性１におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ１３００は、式（４）の微分により、下記式（５）で表現される。

【0077】

【数2】

【0078】

Ｇは、入力信号レベルＥのゲインである。ゲイン特性グラフ１３００において、入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間のゲインＧの値が０．０であるため、暗部である０．０から光学的黒値ＯＢまでの区間ＳＣ９の入力信号レベルＥが強調されない。また、光学的黒値ＯＢでゲインＧの値が最大値をとるため、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

【0079】

現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現することがある。このとき、符号化部２０２と復号部６０２との間で生じる暗部の歪が目立ち易くなる。階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪が抑制される。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。

【0080】

図１４は、光学的黒値を用いる場合の階調逆補正の入出力特性１を示すグラフである。図１４の入出力特性グラフ１４００を示す階調逆補正アルゴリズムは、下記式（６）で表現される。

【0081】

Ｅ＝ＥＯＴＦ［Ｅ´］＝（Ｅ´）^γ＋ＯＢ・・・・・（６）

【0082】

ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。階調逆補正部６０３は、制御情報３１２に式（４）を示す階調補正識別子３２６を検出した場合、式（６）の階調逆補正を実行する。

【0083】

入出力特性グラフ１４００において、復元されたＲＡＷ画像データでは、出力信号レベルＥの最小値が光学的黒値ＯＢであるため、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

【0084】

（光学的黒値を用いた場合の階調補正の特性例２）
つぎに、図１５～図１７を用いて、光学的黒値を用いた場合の階調補正の特性例２について説明する。光学的黒値ＯＢを用いた場合の階調補正の特性例１では、図１２の入出力特性グラフ１２００において、出力信号レベルＥ´の明部である区間ＳＣ１２で復元されない状態となる。光学的黒値ＯＢを用いた場合の階調補正の特性例２では、光学的黒値ＯＢを用いた場合の階調補正の特性例１のように、本来の黒の再現性が高くして黒浮きを抑制しつつ、明部の再現性の向上を図る。

【0085】

図１５は、光学的黒値を用いた場合の階調補正の入出力特性２を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正の入出力特性例２では、光学的黒値ＯＢを用いた場合の階調補正の入出力特性例１と同様、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて階調補正を実行しない。

【0086】

換言すれば、図１５の入出力特性グラフ１５００では、入力信号レベルＥが０．０から光学的黒値までの区間ＳＣ９で出力信号レベルＥ´が０．０であり、入力信号レベルＥが光学的黒値ＯＢから立ち上がり、入力信号レベルＥが１．０で出力信号レベルＥ´が上限である１．０をとる。

【0087】

図１５の入出力特性グラフ１５００を示す階調補正アルゴリズムは、下記式（７）で表現される。

【0088】

【数3】

【0089】

ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。階調補正部２０１は、式（７）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

【0090】

このように、出力信号レベルＥ´の最大値を１．０としたことにより、入出力特性グラフ１２００に比べて、明部での色再現性の向上を図ることができる。

【0091】

図１６は、光学的黒値を用いた場合の階調補正の入出力特性２におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ１６００は、式（７）の微分により、下記式（８）で表現される。

【0092】

【数4】

【0093】

Ｇは、入力信号レベルＥのゲインである。入力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ９のゲインＧの値が０．０であるため、暗部である０．０から光学的黒値ＯＢまでの区間ＳＣ９の入力信号レベルＥが強調されない。また、光学的黒値ＯＢでゲインＧの値が最大値（無限大）をとるため、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

【0094】

また、光学的黒値を用いた場合の階調補正の入出力特性例１と同様、階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪が抑制される。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。

【0095】

図１７は、光学的黒値を用いる場合の階調逆補正の入出力特性２を示すグラフである。図１７の入出力特性グラフ１７００を示す階調逆補正アルゴリズムは、下記式（９）で表現される。

【0096】

Ｅ＝ＥＯＴＦ［Ｅ´］＝（１－ＯＢ）×（Ｅ´）^γ＋ＯＢ・・・・・（９）

【0097】

ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。階調逆補正部６０３は、制御情報３１２に式（７）を示す階調補正識別子３２６を検出した場合、式（９）の階調逆補正を実行する。

【0098】

光学的黒値ＯＢを用いた場合の階調補正の入出力特性例１と同様、復元されたＲＡＷ画像データでは、出力信号レベルＥの最小値が光学的黒値ＯＢであるため、出力信号レベルＥが０．０から光学的黒値ＯＢまでの区間ＳＣ１１の画素の色は再現されず、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができる。

【0099】

また、図１４の入出力特性グラフ１４００のような入力信号レベルＥ´が存在しない区間ＳＣ１４が、図１７の入出力特性グラフ１７００には存在しない。すなわち、光学的黒値ＯＢを用いた場合の階調補正の入出力特性例２では、明部の画素の色再現性の向上を図ることができる。

【実施例0100】

実施例２は、光学的黒値ＯＢ以下の入力信号レベルＥを再現しつつ、実施例１の光学的黒値を用いた場合の階調補正の入出力特性例２のように光学的黒値ＯＢのゲインＧを最大化する例である。実施例２では、実施例１との相違点を中心に説明し、実施例１と同一構成および同一処理内容については、実施例２でも流用し、かつ、その説明を省略する。

【0101】

図１８は、光学的黒値を用いた場合の階調補正の入出力特性３を示すグラフである。光学的黒値を用いた場合の階調補正の入出力特性例３では、光学的黒値を用いた場合の階調補正の入出力特性例１，２と異なり、階調補正部２０１が、光学的黒値ＯＢよりも低い入力信号レベルＥについて負の階調補正、すなわち、負の１／γ補正を実行し、光学的黒値ＯＢ以上の入力信号レベルＥについて正の階調補正、すなわち、正の１／γ補正を実行する。

【0102】

具体的には、たとえば、入出力特性グラフ１８００のうち、区間ＳＣ９の波形１８０１は、負の１／γ補正により得られる波形であり、光学的黒値ＯＢ以上の区間の波形１８０２は、正の１／γ補正により得られる波形である。

【0103】

図１８の入出力特性グラフ１８００を示す階調補正アルゴリズムは、下記式（１０）で表現される。

【0104】

【数5】

【0105】

ただし、ＥはＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（出力信号レベル）、ＯＥＴＦ［］は階調補正関数、ＯＢは光学的黒値、γはガンマ値である。

【0106】

式（１０）のうち、条件がＥ＜ＯＢである場合の式が負の１／γ補正の式であり、条件がＯＢ≦Ｅである場合の式が正の１／γ補正の式である。階調補正部２０１は、式（１０）の階調補正アルゴリズムを示す階調補正識別子３２６を符号化部２０２に出力し、符号化部２０２は、階調補正部２０１からの階調補正識別子３２６をヘッダ情報３０１内の制御情報３１２として付与する。

【0107】

区間ＳＣ９において負の１／γ補正を実行することで、階調補正されたＲＡＷ画像データでの光学的黒値ＯＢ付近の色再現性の向上を図ることができる。すなわち、入出力特性グラフ１８００の光学的黒値ＯＢ付近において、光学的黒値ＯＢよりも入力信号レベルＥが小さい側（マイナス方向）のノイズと光学的黒値ＯＢよりも入力信号レベルＥが大きい側（プラス方向）のノイズとがノイズリダクション処理で相殺されるため、実施例１よりも効率的にノイズを除去することができる。したがって、階調補正されたＲＡＷ画像データの光学的黒値ＯＢ付近の黒浮きを抑制し、色再現性の向上を図ることができる。

【0108】

図１９は、光学的黒値を用いた場合の階調補正の入出力特性３におけるゲイン特性を示すグラフである。光学的黒値ＯＢを用いた場合の階調補正における入力信号レベルＥのゲイン特性グラフ１９００は、式（１０）の微分により、下記式（１１）で表現される。

【0109】

【数6】

【0110】

Ｇは、入力信号レベルＥのゲインである。具体的には、たとえば、ゲイン特性グラフ１９００では、ゲインＧは、区間ＳＣ９において、入力信号レベルＥが０．０で最小値をとり、０．０から増加して光学的黒値ＯＢで最大値（無限大）となる。

【0111】

区間ＳＣ１９を、光学的黒値ＯＢから光学的黒値ＯＢの２倍となる入力信号レベルＥの値２ＯＢまでの区間とする。ゲインＧは、区間ＳＣ１９において、入力信号レベルＥが光学的黒値ＯＢで最大値（無限大）をとり、光学的黒値ＯＢから減少して２ＯＢで最小値となる。すなわち、区間ＳＣ９のゲイン特性を示す波形１９０１と区間ＳＣ１９のゲイン特性を示す波形１９０２は、光学的黒値ＯＢに対して線対称である。

【0112】

これにより、暗部となる区間ＳＣ９および区間ＳＣ１９において、光学的黒値ＯＢがゲインＧの最大値となる。また、区間ＳＣ９および区間ＳＣ１９において、入力信号レベルＥが光学的黒値ＯＢから離間するほどゲインＧが減衰する。したがって、現像処理後に画像として有効な光学的黒値ＯＢ以上の区間におけるゲインを大きくすることで符号化歪抑制効果を大きくすることができるとともに、当該暗部で発生するノイズを低減することができる。

【0113】

また、波形１９０１，１９０２が光学的黒値ＯＢに対し線対称であることから、光学的黒値ＯＢ付近において、光学的黒値ＯＢよりも入力信号レベルＥが小さい側（マイナス方向）のノイズと光学的黒値ＯＢよりも入力信号レベルＥが大きい側（プラス方向）のノイズとがノイズリダクション処理で相殺されてノイズが低減されるため、黒浮きを抑制することができる。

【0114】

また、実施例１と同様、階調補正で暗部のゲインＧを大きくすることで、符号化部２０２と復号部６０２との間で生じる暗部の歪が抑制される。これにより、現像処理や画像調整時に、暗部の絵柄を見易くする等の理由で暗部を明るく表現しても、暗部の歪が目立ち難くなる。

【0115】

図２０は、光学的黒値を用いる場合の階調逆補正の入出力特性３を示すグラフである。階調逆補正部６０３は、階調補正ＲＡＷ画像データの特定の入力信号レベルＥ´の値β以上について正の階調逆補正、すなわち、正のγ補正を実行し、βよりも低い入力信号レベルについて負の階調逆補正、すなわち、負のγ補正を実行する。

【0116】

区間ＳＣ２０１を、入力信号レベルＥ´が０．０から式（１０）に示したβまでの区間とし、区間ＳＣ２０２を、入力信号レベルＥ´がβから１．０までの区間とする。具体的には、たとえば、入出力特性グラフ２０００のうち、区間ＳＣ２０１の波形２００１は、負のγ補正により得られる波形であり、区間ＳＣ２０２の波形２００２は、正のγ補正により得られる波形である。

【0117】

図２０の入出力特性グラフ２０００を示す階調逆補正アルゴリズムは、下記式（１２）で表現される。

【0118】

【数7】

【0119】

ただし、Ｅ´は階調補正ＲＡＷ画像データの信号レベル（入力信号レベル）、Ｅは復元されたＲＡＷ画像データの信号レベル（出力信号レベル）、ＥＯＴＦ［］は階調逆補正関数である。式（１２）のうち、条件がＥ´＜βである場合の式が負のγ補正の式であり、条件がβ≦Ｅ´である場合の式が正のγ補正の式である。階調逆補正部６０３は、制御情報３１２に式（１０）を示す階調補正識別子３２６を検出した場合、式（１２）の階調逆補正を実行する。

【0120】

区間ＳＣ２０１において負のγ補正を実行することで、階調逆補正された復元ＲＡＷ画像データでの光学的黒値ＯＢ付近の符号化歪抑制効果を大きくできるとともに、当該暗部で発生するノイズを低減することができるので、色再現性の向上を図ることができる。