特許 6626295 画像符号化装置、画像処理装置、画像符号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6626295

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】画像符号化装置、画像処理装置、画像符号化方法

(51)【国際特許分類】

   H04N 19/126 20140101AFI20191216BHJP

   H04N 19/103 20140101ALI20191216BHJP

   H04N 19/176 20140101ALI20191216BHJP

   H04N 19/146 20140101ALI20191216BHJP

   H04N 19/196 20140101ALI20191216BHJP

   H04N 19/593 20140101ALI20191216BHJP

【ＦＩ】

   H04N19/126

   H04N19/103

   H04N19/176

   H04N19/146

   H04N19/196

   H04N19/593

【請求項の数】12

【全頁数】25

(21)【出願番号】特願2015-177919(P2015-177919)

(22)【出願日】2015年9月9日

(65)【公開番号】特開2017-55267(P2017-55267A)

(43)【公開日】2017年3月16日

【審査請求日】2018年9月10日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】金子 唯史

【審査官】 鉢呂 健

(56)【参考文献】

【文献】 特開２０１６−２１３５２８（ＪＰ，Ａ）

【文献】 特開２０１６−２１３５２７（ＪＰ，Ａ）

【文献】 特開２０１４−１７９９５７（ＪＰ，Ａ）

【文献】 特開２０１４−１７９７０７（ＪＰ，Ａ）

【文献】 特開２００８−１４１７３８（ＪＰ，Ａ）

【文献】 特開２０１１−２５９３４５（ＪＰ，Ａ）

【文献】 特開２０１２−１１４８７６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００６９９００（ＵＳ，Ａ１）

【文献】 特開２００４−００７４７５（ＪＰ，Ａ）

【文献】 特開平０５−２２７５２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定手段と、
前記符号化対象のブロックについて、該ブロックに含まれる前記グループごとに前記決定手段が決定した前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行って符号化データを生成する符号化手段と
を備え、
前記決定手段は、
前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式に決定し、
複数の量子化ステップのうち、少なくとも第１の量子化ステップと第２の量子化ステップの何れかを前記グループごとに決定し、
前記第１の量子化ステップは、前記符号化対象のブロックに含まれる前記グループの全てについて該第１の量子化ステップを用いて量子化を行い、該グループのそれぞれについて前記決定された符号化方式で符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となる量子化ステップであって、
前記第２の量子化ステップは、前記第１の量子化ステップよりも小さい量子化ステップであって、前記複数のグループのうち、少なくとも前記符号化対象のブロックの先頭のグループと最後尾のグループとに割り当てられることを特徴とする画像符号化装置。

【請求項2】

前記第２の量子化ステップは、前記複数のグループのうち、前記先頭のグループを含む連続する複数のグループと、前記最後尾のグループを含む連続する複数のグループとに割り当てられることを特徴とする、請求項１に記載の画像符号化装置。

【請求項3】

前記第１の量子化ステップは、前記複数のグループのうち、前記連続する複数のグループを除いたグループに割り当てられることを特徴とする、請求項２に記載の画像符号化装置。

【請求項4】

前記第２の量子化ステップは、複数の異なる量子化ステップを含み、
前記符号化対象のブロックの先頭のグループには、前記複数の異なる量子化ステップのうち最小の量子化ステップが割り当てられることを特徴とする、請求項１または２に記載の画像符号化装置。

【請求項5】

前記第２の量子化ステップに含まれる複数の異なる量子化ステップの種類の数は予め定められた数を超えないことを特徴とする、請求項４に記載の画像符号化装置。

【請求項6】

前記第２の量子化ステップは、第１の量子化ステップを１段下げた量子化ステップであることを特徴とする、請求項１乃至３のいずれか１項に記載の画像符号化装置。

【請求項7】

前記決定手段は、前記複数のグループのうち一部のグループに前記第２の量子化ステップを割り当て、前記複数のグループの残りのグループに前記第１の量子化ステップを割り当て、
前記一部のグループは、
前記一部のグループのそれぞれを前記第２の量子化ステップを用いて量子化し、該一部のグループのそれぞれについて前記決定された符号化方式で符号化した場合の符号長の第１の合計と、
前記残りのグループのそれぞれを前記第１の量子化ステップを用いて量子化し、該残りのグループのそれぞれについて前記決定された符号化方式で符号化した場合の符号長の第２の合計と
の合計が、前記所定値を超えず、且つ、最大の値となるように決定されることを特徴とする、請求項１乃至６のいずれか１項に記載の画像符号化装置。

【請求項8】

前記量子化ステップは、該量子化ステップが１段上がるごとに量子化結果が１ビットずつ小さくなることを特徴とする、請求項１乃至７のいずれか１項に記載の画像符号化装置。

【請求項9】

前記画像データがカラー画像データである場合に、前記グループは該カラー画像データを構成するカラー要素の組であることを特徴とする、請求項１乃至８のいずれか１項に記載の画像符号化装置。

【請求項10】

前記画像データがグレースケール画像データである場合に、前記グループは該グレースケール画像データを構成する隣接画素の組であることを特徴とする、請求項１乃至８のいずれか１項に記載の画像符号化装置。

【請求項11】

画像データを取得する取得手段と、
前記取得手段が取得した前記画像データを符号化処理する請求項１乃至１０のいずれか１項に記載の画像符号化装置と
を備えることを特徴とする画像処理装置。

【請求項12】

画像符号化装置が実行する画像符号化方法であって、
前記画像符号化装置の決定手段が、それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定工程と、
前記画像符号化装置の符号化手段が、前記符号化対象のブロックについて、該ブロックに含まれる前記グループごとに前記決定工程で決定された前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行って符号化データを生成する符号化工程と
を含み、
前記決定工程では、
前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式に決定され、
複数の量子化ステップのうち、少なくとも第１の量子化ステップと第２の量子化ステップの何れかを前記グループごとに決定され、
前記第１の量子化ステップは、前記符号化対象のブロックに含まれる前記グループの全てについて該第１の量子化ステップを用いて量子化を行い、該グループのそれぞれについて前記決定された符号化方式で符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となる量子化ステップであって、
前記第２の量子化ステップは、前記第１の量子化ステップよりも小さい量子化ステップであって、前記複数のグループのうち、少なくとも前記符号化対象のブロックの先頭のグループと最後尾のグループとに割り当てられることを特徴とする画像符号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像符号化装置、画像処理装置、画像符号化方法に関する。

【背景技術】

【0002】

近年、デジタルビデオなどの撮像装置は高解像度化、高フレームレート化に伴って、システムで扱う画像データ量が著しく増加しており、画像メモリやバスインターフェース回路の高速化が要求されている。これに対し、画像メモリやバスインターフェースの前後で画像の圧縮符号化を行って、画像データ量を削減することで回路の高速化の要求に対応することができる。

【0003】

この場合、画像圧縮のための符号化方式は回路規模が小型で、符号化遅延の小さいことが望まれる。そのため、従来のＪＰＥＧやＭＰＥＧ２に代表されるＤＣＴベースの符号化方式は不向きである。そこでＤＰＣＭ（Differential Pulse Code Modulation：差分パルス符号変調）ベースの予測符号化方式での提案がされている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−００４５１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、ＤＰＣＭベースの予測符号化方式では、画素レベルの変動が大きいエッジ部分の画質劣化が生じやすい。特許文献１の提案方式では、隣接画素データの差分値が所定の閾値以下であれば画質劣化の少ない符号化が可能である。しかし、急峻なエッジ部分のように隣接画素データの差分値が所定の閾値を超える場合、量子化により元の画素データビットを半分にする（例えば、１０ビットから５ビットにする）必要があり、大きな画質劣化の原因になる。同様に、予測画像と符号化対象画像との差分が大きい場合にも、大きな画質劣化の原因となる。

【0006】

本発明は上記課題に鑑み、効率的に符号化を行い、急峻なエッジ部分など、画素間での差分が大きい部分での画質劣化を低減しつつ、更に隣接する符号化対象のブロックの境界部分での画質の劣化を低減すること目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するための本発明は、画像符号化装置であって、
それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定手段と、
前記符号化対象のブロックについて、該ブロックに含まれる前記グループごとに前記決定手段が決定した前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行って符号化データを生成する符号化手段と
を備え、
前記決定手段は、
前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式に決定し、
複数の量子化ステップのうち、少なくとも第１の量子化ステップと第２の量子化ステップの何れかを前記グループごとに決定し、
前記第１の量子化ステップは、前記符号化対象のブロックに含まれる前記グループの全てについて該第１の量子化ステップを用いて量子化を行い、該グループのそれぞれについて前記決定された符号化方式で符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となる量子化ステップであって、
前記第２の量子化ステップは、前記第１の量子化ステップよりも小さい量子化ステップであって、前記複数のグループのうち、少なくとも前記符号化対象のブロックの先頭のグループと最後尾のグループとに割り当てられることを特徴とする。

【発明の効果】

【0008】

本発明によれば画素間での差分が大きい部分での画質劣化を低減しつつ、更に隣接する符号化対象のブロックの境界部分での画質の劣化を低減することができる。

【図面の簡単な説明】

【0009】

【図1】発明の実施形態に対応する画像処理装置及び画像符号化部の構成例を示すブロック図。

【図2】発明の実施形態に対応する画像復号化部の構成例を示すブロック図。

【図3】発明の実施形態に対応する画像符号化部の構成例を示すブロック図。

【図4】符号化ブロックを構成する画素データと画素グループとの関係を説明するための図。

【図5】発明の実施形態に対応するＱＰ決定部１１５における処理の一例を示すフローチャート。

【図6】図５のＳ５０３の処理の一例を示すフローチャート。

【図7】図５のＳ５０４の処理の一例を示すフローチャート。

【図8】発明の実施形態に対応する画素グループ単位の符号長及び選択されたＱＰの一例を示す図。

【図9】発明の実施形態に対応するスキャン変換を説明するための図。

【図10】発明の実施形態に対応する符号化データのフォーマットの例を示す図。

【図11】図５のＳ５０４の処理の他の一例を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照しながら、発明の実施形態について詳細に説明する。

【0011】

［実施形態１］
（画像処理装置の説明）
以下、発明の実施形態に対応する画像処理装置を説明する。図１（ａ）は発明の実施形態における画像処理装置の構成の一例を示す図である。画像処理装置１００は、例えば取得部１０、画像符号化部２０、メモリ３０を有する。図１の画像処理装置１００において、各ブロックは、撮像素子や表示素子のような物理的デバイスを除き専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。画像処理装置１００は例えばデジタルカメラとして実施することができるが、それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。

【0012】

図１（ａ）において、取得部１０は画像データを入力する機能を有する。取得部１０は、例えば、撮像センサを備える撮像部や、外部から伝送路を介して画像データを入力する構成を含む。或いは、取得部１０は、記録媒体などから画像データを読み出す構成を含む。また、取得される画像データは、静止画データであってもよく、動画データであってもよい。取得部１０が取得する画像データが動画データの場合、複数のフレームの動画データが連続的に取得されてもよい。

【0013】

取得部１０は、取得した画像データを画像符号化部２０に供給する。画像符号化部２０は、取得部１０から供給される画像データをパルス符号変調（ＰＣＭ）または差分パルス符号変調（ＤＰＣＭ）のいずれかの符号化方式に従って符号化し、情報量が圧縮された符号化データを出力する。出力された符号化データは、メモリ３０に記憶される。メモリ３０は、画像符号化部２０から出力された符号化データを記憶するために必要な記憶容量を有する。メモリ３０に記憶された符号化データには後段の処理部において現像処理や更なる圧縮処理が実施される。

【0014】

なお、図１（ａ）では、取得部、画像符号化部２０及びメモリ３０を独立した構成として示しているが、画像処理装置１００に実装するに当り、これらを一体に例えば１チップに統合してもよいし、あるいは別体として独立に構成しても良い。

【0015】

（画像符号化部の説明）
以下、図１（ｂ）を参照して、発明の実施形態に対応する画像符号化部２０の構成を説明する。図１（ｂ）は、発明の実施形態に係る画像符号化部２０の構成例を示すブロック図である。以下、本実施形態の画像符号化部２０の各ブロックの動作について説明する。

【0016】

図１（ａ）に示した画像符号化部２０は、仮符号化系１１０と本符号化系１２０の２つの大ブロックより構成される。さらに仮符号化系１１０は符号化部１１１Ａ〜１１１Ｄ、ＱＰ決定部１１５から構成され、本符号化系１２０で本符号化を行う際に使用する量子化パラメータのセットを決定するように動作する。本符号化系１２０は遅延部１２１、符号化部１１１Ｅ、多重化部１２３で構成され、仮符号化系１１０で決定された量子化パラメータのセットを用いた量子化処理を含む本符号化を実行するように動作する。画像符号化部２０は、画像符号化装置として専用のデバイス、ロジック回路やメモリを用いてハードウェア的に一体的に構成されても良いし、或いは、複数のデバイス等で分散して構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

【0017】

（符号ブロックと画素グループの説明）
画像符号化部２０には、外部から符号化対象となる画像データが入力端子１０１を介し、スキャン変換部１３０を経て入力される。本実施形態において画像符号化部２０が実行する画像符号化処理では、入力画像データを所定サイズ（画素数）を有するブロック（以下、「符号化ブロック」という）に分割し、符号化ブロック単位に符号化を行うものとする。また、符号化ブロックは１つ以上の所定数の画素からなる「画素グループ」にさらに分割される。画素グループは後述する符号化方法（ＰＣＭ／ＤＰＣＭ）の切り替えや、量子化パラメータ（以下、「ＱＰ」という）の切り替えを行う単位となる。画素グループは同一座標の画素や隣接画素など相関性の高い画素で構成されることが望ましく、単一のカラー要素のみで構成してもよいし、複数のカラー要素で構成してもよい。

【0018】

取得部１０からの画像データは、ラスタ走査の順に入力端子１０１に供給される。入力端子１０１からの画像データはラスタ走査の順にスキャン変換部１３０に入力される。スキャン変換部１３０は符号化ブロック毎に画像データを一旦保持し、奇数番目のブロックは画素のスキャン順を変えずに正順で出力し、各ラインの偶数番目のブロックはスキャン順を逆にして逆順で出力する。例えば、１番目の符号化ブロックは正順で出力され、２番目の符号化ブロックは逆順で出力される。ここで、逆順で出力するとは入力されたブロックの先頭画素を最後の画素として出力し、ブロックの最後の画素を先頭画素として出力するように変換して出力することをいう。これにより、同一ラインに含まれる複数のブロックにそれぞれ含まれる画素の並びが隣接するブロックの間で互いに正順と逆順とで異なるように並び替えられる。スキャン変換部１３０は偶数番目のブロックを正順で出力し、奇数番目のブロックを逆順で出力しても良い。

【0019】

本実施形態では画像データの形式として、図４（ａ）及び図４（ｂ）に示すＲＧＢ画像データを例として説明するが、他のデータ形式であっても良い。他のデータ形式の詳細は本実施形態の最後に図４（ｃ）及び（ｄ）を参照して説明する。また、画像データはラスタースキャン順に入力され、各カラー要素であるＲ（赤）、Ｇ（緑）、Ｂ（青）の各画素データは時分割に多重されており順次入力されるものとする。また各画素のビット深度は一例として１０ビットとする。スキャン変換された画像データは図４（ｂ）に示すように、画像データに含まれる各画素データの配置が逆順となる。これにより画像データはブロック毎に交互にスキャン順が変換されているブロック、変換されていないブロックとなり、このような画像データが仮符号化系１１０、本符号化系１２０に入力され符号化される。

【0020】

本実施形態では、ＲＧＢ画像データの各カラー要素それぞれ水平１６画素×垂直１画素×３色＝４８画素を符号化ブロックとする。また、各カラー要素の１画素ずつの計３画素を画素グループとする。

【0021】

図４（ａ）は本実施形態における符号化ブロックを構成する画素データと、画素グループとの関係を説明するための図である。図４（ａ）に示すように、符号化ブロックは、Ｒ、Ｇ、Ｂの各カラー要素について１６画素ずつから構成され、画素位置に応じてＲ、Ｇ、Ｂからなるカラー要素の組のそれぞれにグループ番号が割り当てられ、各画素には画素番号０から４７までのいずれかがそれぞれ割り当てられている。例えば、各カラー要素の１画素目のデータであるＲ０、Ｇ０、Ｂ０はグループ番号が「０」の画素グループを構成し、２画素目のデータであるＲ１、Ｇ１、Ｂ１はグループ番号が「１」の画素グループを構成している。本実施形態では、各画素のデータのことを「画像データ」と呼ぶことにする。図４（ｂ）は、スキャン変換部１３０から逆順に出力された符号化ブロックを構成する画素データと画素グループの関係を示す。ここでは元の順番が分かるようにグループ番号、画素番号、画像データを示しているが、画像符号化部２０における処理は図４（a）の入力と同じものとして処理される。

【0022】

（符号化部１１１の説明）
次に、仮符号化系１１０、本符号化系１２０で共通に使用される符号化部１１１の構成及び動作について、図３を参照して説明する。図３は符号化部１１１の構成例を示すブロック図である。図３に示すように、符号化部１１１は、例えば量子化部３０１、予測部３０２、減算器３０３、可変長符号化部３０４、ＰＣＭ符号長算出部３０５、符号長比較部３０６、セレクタ３０７、３０８を含んで構成される。

【0023】

符号化部１１１には、画像データとＱＰとが入力される。仮符号化系１１０の場合、ＱＰは符号化部１１１Ａから１１１Ｄのそれぞれに対して固定値として予め割り当てられていてもよい。図１（ｂ）では一例として、符号化部１１１Ａから１１１Ｄまで順にＱＰとして０、１、２、３がそれぞれ割り当てられている場合を示している。仮符号化系１１０の場合、各符号化部が予めＱＰの値を保持していても良い。本符号化系１２０には、仮符号化系１１０で決定されたＱＰがＱＰ決定部１１５から入力される。以下、符号化部１１１の具体的構成及びその動作について詳述する。

【0024】

まず、符号化部１１１に入力された画像データは量子化部３０１に入力される。量子化部３０１は与えられたＱＰにより入力画像データを量子化し、量子化されたデータを予測部３０２、減算器３０３、セレクタ３０７にそれぞれ出力する。本発明では量子化部３０１で量子化された量子化データをＰＣＭデータと呼ぶ。本実施形態では、ＱＰの値を０を最小値とする整数値とし、０から３までの範囲で変更できるものとして説明するが、より大きなＱＰの値を設定して更に大きな量子化ステップを使用しても良い。

【0025】

本実施形態において量子化部３０１は、ＱＰが小さいほど量子化ステップを小さく（細かく）し、ＱＰが大きいほど量子化ステップを大きく（粗く）する。そして、ＱＰが１増えるとＰＣＭデータの有意ビットが１ビット減少するように量子化を行う。例えば、式１で表される量子化を行う。
Ｑｕａｎｔ ＝ Ｄａｔａ ／ （１ ＜＜ ＱＰ） ・・・式１
（Ｑｕａｎｔ：量子化データ、Ｄａｔａ：入力画像データ、ＱＰ：量子化パラメータである。）

【0026】

また、１＜＜ＱＰとは、入力された画像データが、ＱＰで示されるビット数だけ、ビットシフトすることを示す。
式１のように量子化することよってＱＰに対する出力値、有意ビットは以下のようになる。
ＱＰ＝０：量子化ステップ＝１、入力データは量子化されずそのまま出力。有意ビット不変。
ＱＰ＝１：量子化ステップ＝２、入力データは１／２に量子化。有意ビットは１ビット減少。
ＱＰ＝２：量子化ステップ＝４、入力データは１／４に量子化。有意ビットは２ビット減少。
ＱＰ＝ｎ：量子化ステップ＝（１＜＜ｎ）、入力データは１／（１＜＜ｎ）に量子化。有意ビットはｎビット減少。

【0027】

上記式１は本実施形態における量子化処理の一例を示すものであって、これに限定されるものではない。ＱＰが１変化するたびに符号長が１ビット減少するような量子化であればよい。例えば非線形量子化を行ってもよい。本実施形態において、ＱＰ＝０からＱＰ＝ｎまでＱＰの値を１ずつ増加させることを量子化ステップを１段上げる、１段大きくする、１段粗くする等といい、逆にＱＰ＝ｎからＱＰ＝０までＱＰの値を１ずつ減少させることを量子化ステップを１段下げる、１段小さくする、１段細かくする等というものとする。

【0028】

ＰＣＭ符号長算出部３０５は、量子化部３０１から出力されたＰＣＭデータの符号長を、画像データのビット数（本実施形態では１０ビット）とＱＰとから、下記の式２を用いて決定する。
ＰＣＭ符号長 ＝ 画像データビット数 − ＱＰ ・・・式２

【0029】

本実施形態では、ＱＰの値が１増える毎に、ＰＣＭデータの符号長が１ビットずつ減少する。よって、ＱＰ＝０を初期値として、ＱＰが１増える毎に、ＰＣＭデータの符号長は１０ビットから１ビットずつ短くなる。ここで、仮符号化系１１０では、ＱＰの値は符号化部１１１Ａから１１１Ｄのそれぞれについて固定的に割り当てられているのでＰＣＭ符号長も固定値となる。よって、ＰＣＭ符号長算出部３０５は式２の演算によりＰＣＭ符号長を算出するのではなく、割り当てられたＱＰの値に基づくＰＣＭ符号長の固定値を保持し、出力する構成であってもよい。ＰＣＭ符号長算出部３０５は、決定したＰＣＭ符号長を符号長比較部３０６とセレクタ３０８とにそれぞれ出力する。

【0030】

次に、予測部３０２の動作を説明する。予測部３０２は図３に示すように逆量子化部３１０、画素遅延部３１１、量子化部３１２を含むように構成される。予測部３０２に入力されたＰＣＭデータは逆量子化部３１０にて一旦逆量子化された後、画素遅延部３１１に入力される。逆量子化部３１０での逆量子化処理では、量子化部３０１が画像データの量子化に使用したＱＰがそのまま用いられる。画素遅延部３１１は、同じカラー要素の前値が予測データとなるようカラー要素分遅延する。

【0031】

例えば、本実施形態では図４（ａ）または図４（ｂ）に示すようにＲＧＢの各カラー要素の画像データが順に入力される。図４（ａ）の場合、画像データＧ０の符号化後、次にＧ１を符号化するまでにＢ０、Ｒ１の画像データを先に符号化する。よって、画素遅延部３１１は３画素分遅延させて、Ｇ１を符号化するタイミングで量子化部３１２に対して保持していた逆量子化された画像データを出力する。量子化部３１２は、画素遅延部３１１から入力された画像データを量子化する。このとき量子化部３１２には、量子化部３０１が画像データＧ１を量子化する際に用いるＱＰが入力されるので、量子化部３０１と量子化部３１２との間で量子化ステップが一致する。予測部３０２で逆量子化を行った後で再度量子化する構成は、ＱＰの値が画素間で異なる場合に量子化ステップを一致させるために必要な構成であって、本符号化系１２０では必須である。一方、仮符号化系１１０ではＱＰは固定のため逆量子化部３１０、量子化部３１２を省略して、画素遅延部３１１だけでもよい。量子化部３１２での量子化結果は予測データとして減算器３０３に出力される。なお、各カラー要素の符号化ブロックの最初の画素（Ｒ０、Ｇ０、Ｂ０）は前画素が存在しないため、予測データとしては０の値を出力する。

【0032】

減算器３０３は、量子化部３０１からのＰＣＭデータと、予測部３０２からの予測データとの差分を予測差分データとして、可変長符号化部３０４へ出力する。予測差分データは正負の値を持つデータであり、画像データの変動の小さい平坦な部分では０付近の値となり、変動の大きいエッジ部分などでは大きな値になる。予測差分データは一般に０を中心としたラプラス分布の特性を持つ。

【0033】

可変長符号化部３０４は、入力された予測差分データに対して所定の可変長符号化方式による符号化を行って、１画素毎に符号データと符号長とを出力する。符号データはセレクタ３０７へ出力され、符号長は符号長比較部３０６及びセレクタ３０８にそれぞれ出力される。所定の可変長符号化方式には、例えばハフマン符号、ゴロム符号などが含まれる。可変長符号化部３０４が実行する可変長符号化方式では、入力値が０の場合に最も短い符号長の符号データが割り当てられており、入力値の絶対値が大きくなるほど、符号データの符号長は長くなる。なお、本実施形態において、可変長符号化部３０４から出力される符号データをＤＰＣＭデータと呼び、同符号長をＤＰＣＭ符号長と呼ぶ。

【0034】

符号長比較部３０６は、ＰＣＭ符号長とＤＰＣＭ符号長とを前述の画素グループ単位で比較し、符号長がより小さくなる符号データを選択するためのＰＣＭ／ＤＰＣＭ選択フラグを生成する。符号長比較部３０６は、画素グループを構成するＲ、Ｇ、Ｂの各色のＰＣＭ符号長とＤＰＣＭ符号長とを保持するように構成される。ＰＣＭ／ＤＰＣＭ選択フラグは、セレクタ３０７、セレクタ３０８に出力され、各セレクタでの出力データの切替えに用いられる。また、符号化部１１１の外部にも出力される。

【0035】

符号長の比較は前述した画素グループ単位で行われる。画素グループ単位での符号長の比較は具体的には以下のように算出する。ここでは、図４（ａ）のＲＧＢコンポネント形式のデータ入力について、グループ番号１の画素を対象に実行した例を示している。

【0036】

Ｓ_ＰＣＭ＿Ｒ１：Ｒ１のＰＣＭ符号長
Ｓ_ＰＣＭ＿Ｇ１：Ｇ１のＰＣＭ符号長
Ｓ_ＰＣＭ＿Ｂ１：Ｂ１のＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｒ１：Ｒ１のＤＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｇ１：Ｇ１のＤＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｂ１：Ｂ１のＤＰＣＭ符号長
ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ：ＰＣＭ／ＤＰＣＭ選択フラグ
Ｓ＿ＰＣＭ ＝Ｓ＿ＰＣＭ＿Ｒ１ ＋Ｓ＿ＰＣＭ＿Ｇ１ ＋Ｓ＿ＰＣＭ＿Ｂ１
Ｓ＿ＤＰＣＭ＝Ｓ＿ＤＰＣＭ＿Ｒ１＋Ｓ＿ＤＰＣＭ＿Ｇ１＋Ｓ＿ＤＰＣＭ＿Ｂ１
ｉｆ（Ｓ＿ＰＣＭ ＞ Ｓ＿ＤＰＣＭ）
ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ ＝ １
ｅｌｓｅ
ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ ＝ ０

【0037】

符号長比較部３０６は、画素グループごとにＰＣＭ符号長またはＤＰＣＭ符号長を合計してグループの符号長の合計（Ｓ＿ＰＣＭ、Ｓ＿ＤＰＣＭ）を算出する。次に、これを比較して、ＰＣＭ符号長の合計の方が大きい場合にフラグ値を１とし、ＤＰＣＭ符号長の合計の方が大きい場合にフラグ値を０とする。

【0038】

セレクタ３０７にはＰＣＭデータとＤＰＣＭデータが入力されており、ＰＣＭ／ＤＰＣＭ選択フラグに従って符号長の小さい方の符号データが選択されて、符号化部１１１の外部へと出力される。具体的に、ＰＣＭ／ＤＰＣＭ選択フラグのフラグ値が１の場合はＤＰＣＭ符号長の合計の方が小さいのでＤＰＣＭデータが選択され、フラグ値が０の場合はＰＣＭ符号長の合計の方が小さいのでＰＣＭデータが選択される。セレクタ３０８にはＰＣＭ符号長とＤＰＣＭ符号長が入力されており、ＰＣＭ／ＤＰＣＭ選択フラグに従って符号長の小さい方の符号長が選択されて、符号化部１１１の外部へと出力される。具体的に、ＰＣＭ／ＤＰＣＭ選択フラグのフラグ値が１の場合はＤＰＣＭ符号長が選択され、フラグ値が０の場合はＰＣＭ符号長が選択される。

【0039】

（仮符号化系の説明）
ここで図１の画像符号化部２０の説明に戻り、仮符号化系１１０における仮符号化処理について説明する。図１の仮符号化系１１０に入力された画像データは複数の符号化部１１１Ａ〜１１１Ｄによって、ＱＰが０〜３でそれぞれ仮符号化が行われ符号長がＱＰ決定部１１５に出力される。この符号長は、各ＱＰに対応する量子化ステップで量子化処理を行った量子化結果をＰＣＭまたはＤＰＣＭで符号化した符号データの符号長を表す。符号化部１１１Ａ〜１１１Ｄは図３に示した構成を有し、出力信号として、符号データ、符号長、ＰＣＭ／ＤＰＣＭ選択フラグが存在するが、この仮符号化系１１０では符号長のみを使用し、符号データ、ＰＣＭ／ＤＰＣＭ選択フラグは使用しなくてもよい。

【0040】

なお、本実施形態では符号化に用いるＱＰの範囲として０〜３としたため、仮符号化系１１０は符号化部１１１を４つ備えているが、発明の実施形態は当該構成に限定されるものではなく、符号化に用いるＱＰの範囲に応じて、符号化部１１１の数を変更することができる。

【0041】

ＱＰ決定部１１５は前段の符号化部１１１Ａ〜１１１Ｄから入力されたＱＰ毎の複数の符号長の情報に基づき、画素グループ単位に適用するＱＰ（適用ＱＰ）を決定する。以下、ＱＰ決定部１１５における適用ＱＰの決定方法の詳細を説明する。

【0042】

本施形態における、ＱＰ決定部１１５が実行する処理手順の概要を、図５を用いて説明する。図５において、符号化ブロック毎に本処理が開始されると、Ｓ５０１にてＱＰ決定部１１５は符号化部１１１Ａ〜１１１Ｄから、各符号化部に割り当てられたＱＰ毎に算出された符号長の情報を画素グループ単位に取得する。以下、取得される符号データの符号長を、ＱＰの値：ｑｐ、画素グループ番号：ｐｇを要素とする、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］と表す。ｑｐは０から３までの値をとり、ｐｇは０から１５までの値をとる。

【0043】

次に、Ｓ５０２においてＱＰ決定部１１５は、ＱＰ毎に符号化ブロック全体の符号長を算出する。符号化ブロック全体の符号長の算出に際しては符号化データに多重するヘッダ情報の符号長を加味する必要がある。ヘッダ情報とは復号時に必要な画素グループ毎のＱＰやＰＣＭ／ＤＰＣＭ選択フラグの情報であり、ヘッダ情報の符号長は、本実施形態ではＱＰ（０〜３）の表現のための２ビット×１６画素グループ＝３２ビットと、ＰＣＭ／ＤＰＣＭ選択フラグの１ビット×１６画素グループ＝１６ビットの合計４８ビットとなる。このとき、ヘッダ情報の符号長はＱＰや画像データの値に依らず固定値として予め予測可能であるので、ヘッダ情報の符号長を除外して符号化ブロックの符号長を算出してもよい。

【0044】

ヘッダ情報の符号長ｈｄ＿ｓｉｚｅ（＝４８ビット）と、全画素グループの符号長との合計を加算したブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］の算出が行われる。図８（ａ）及び図８（ｃ）は、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］とｂｌ＿ｓｉｚｅ［ｑｐ］の値の具体的な例を示す。図８（ａ）は図４（ａ）の正順入力に対応し、図８（ｃ）は図４（ｂ）の逆順入力に対応する。図８（ｃ）では画素グループ番号が左から右へ１５から０と降順となっているが、これは逆順を説明するためであって、図８（ａ）と同様に画素グループ番号は左から０から１５が割り当てられるものである。図８（ａ）において、例えば参照番号８０１が示す値（３０）はｐｇ＿ｓｉｚｅ［０］［０］であり、符号化ブロックにおける先頭の画素グループをＱＰ＝０で符号化した場合の符号長を示す。同様に、参照番号８０２が示す値（１８）はｐｇ＿ｓｉｚｅ［０］［１５］であり、符号化ブロックにおける最後の画素グループをＱＰ＝０で符号化した場合の符号長を示す。また、参照番号８０３が示す値（３８２）はｂｌ＿ｓｉｚｅ［０］であり、ＱＰ＝０で符号化した場合のブロック符号長を示し、参照番号８０４が示す値（２９３）はｂｌ＿ｓｉｚｅ［３］であり、ＱＰ＝３で符号化した場合のブロック符号長を示す。それぞれの値はビット単位で表されている。同図の値は以降の説明でも、具体的な値の例として用いて説明する。図８（ｃ）についても同様である。

【0045】

次に、Ｓ５０３においてＱＰ決定部１１５は、ｂｌ＿ｓｉｚｅ［ｑｐ］の中から所定の目標符号量ｔａｒｇｅｔ＿ｓｉｚｅ以下で、かつ最大の値を有するブロック符号長をｓｅｌ＿ｓｉｚｅに選定し、この時のｑｐをｓｅｌ＿ｑｐに選定する。Ｓ５０３における具体的な処理は、図６のフローチャートに示すとおりである。

【0046】

まずＳ６０１にて、ＱＰ決定部１１５はＱＰの値：ｑｐを０に初期化する。次にＳ６０２にてＱＰ決定部１１５は、現在選択されているＱＰにおける符号化ブロックの符号長：ｂｌ＿ｓｉｚｅ［ｑｐ］と目標符号量：ｔａｒｇｅｔ＿ｓｉｚｅとを比較する。比較の結果、ｂｌ＿ｓｉｚｅ［ｑｐ］がｔａｒｇｅｔ＿ｓｉｚｅ以下である場合（Ｓ６０２で「ＹＥＳ」）にはＳ６０３に移行し、ｂｌ＿ｓｉｚｅ［ｑｐ］がｔａｒｇｅｔ＿ｓｉｚｅより大きい場合（Ｓ６０２で「ＮＯ」）にはＳ６０５に移行する。

【0047】

Ｓ６０３では、Ｓ６０２において判定対象となったｂｌ＿ｓｉｚｅ［ｑｐ］を選択すべきブロック符号長ｓｅｌ＿ｓｉｚｅに決定する。次いでＳ６０４では、ｂｌ＿ｓｉｚｅ［ｑｐ］のＱＰの値を符号化ブロックの暫定的なＱＰを表すｓｅｌ＿ｑｐに決定し、処理を終了する。

【0048】

Ｓ６０５では、現在選択されているＱＰの値が最大値（ＭＡＸ＿ＱＰ）よりも小さいかどうかを判定し、最大値より小さい場合（Ｓ６０５で「ＹＥＳ」）はＳ６０６においてＱＰの値を１つ更新し、Ｓ６０２に戻って処理を継続する。現在のＱＰの値が最大値以上の場合（Ｓ６０５で「ＮＯ」）は処理を終了する。本実施形態におけるＭＡＸ＿ＱＰの値は３となる。なお、Ｓ６０５でＮＯと判定された場合、目標符号量より小さいブロック符号長が存在せず、ＱＰを選択できないこととなる。しかし、実際には、画像データのビット数に基づき、ＱＰの設定範囲及び目標符号量の値を予め調整することにより、ＱＰの最小値から最大値の間で目標符号量を下回るブロック符号長が得られるように設計することができる。

【0049】

このようにＱＰ＝０の初期値から１ずつ更新して、量子化ステップを１から２へ、２から４へと１段ずつ上げながら符号化ブロックの符号長を順に目標符号量と比較していく。そして、最初に目標符号量以下となった符号長に対応するＱＰの値を暫定的なＱＰ値とすることができる。目標符号量ｔａｒｇｅｔ＿ｓｉｚｅの具体的値については、本実施形態では例示的に３６０ビットとして説明する。この値は、符号化前の画像データの情報量が１０ビット×３×１６＝４８０ビットであるので、その３／４に相当する。目標符号量の大きさは期待する圧縮率に応じて任意に設定することができる。図８（ａ）及び図８（ｃ）に示す例では、ＱＰ：２のブロック符号長ｂｌ＿ｓｉｚｅ［２］である３２６（ビット）が目標符号量３６０ビットよりも小さく、ｓｅｌ＿ｓｉｚｅとして選定される。またこのときのＱＰの値２がｓｅｌ＿ｑｐに決定される。ここで、符号化ブロックの符号長にヘッダ情報の符号長を含めていない場合、目標符号量の値は３６０ビットからヘッダ情報の符号長を差し引いた値となる。上述の例ではヘッダの符号長は４８ビットであったので、この場合の目標符号量は３１２ビットとなる。

【0050】

図５の説明に戻り、Ｓ５０４ではＱＰ決定部１１５がＳ５０３で決定した符号化ブロックの暫定的なＱＰの値ｓｅｌ＿ｑｐに対し画素グループ単位の調整を行う。これにより、画素グループ単位の適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］を決定することができる。Ｓ５０４におけるｐｇ＿ｑｐ［ｐｇ］を決定するための処理の詳細を、図７のフローチャートを参照して詳述する。

【0051】

図７において、Ｓ７０１では、ＱＰ決定部１１５は画素グループ単位の適用ＱＰであるｐｇ＿ｑｐ［ｐｇ］を、Ｓ５０３で決定されたＱＰ：ｓｅｌ＿ｑｐで初期化する。このとき、ｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］までの全てがｓｅｌ＿ｑｐの値に初期化される。図８（ａ）及び図８（ｃ）の例では、ＱＰ＝２が選択されたのでｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］は全て２に初期化される。次にＳ７０２では、ＱＰ決定部１１５は現時点の符号化ブロックの符号長を表すパラメータｎｅｗ＿ｓｉｚｅを、Ｓ６０３で決定されたｓｅｌ＿ｓｉｚｅの値に初期化する。例えば図８（ａ）及び図８（ｃ）の例では、ｓｅｌ＿ｓｉｚｅはＱＰが２のときのブロック符号長３２６に決定されたので、Ｓ７０２ではｎｅｗ＿ｓｉｚｅの値は３２６に初期化される。ヘッダ符号長を考慮していない場合は、ブロック符号長は２７８となる。次にＳ７０３では、ＱＰ決定部１１５は現在選択されているＱＰを示すパラメータｑｐの値をＳ６０４で決定されたｓｅｌ＿ｑｐの値で初期化する。例えば図８（ａ）及び図８（ｃ）の例では、ｓｅｌ＿ｑｐは２に決定されたので、Ｓ７０３ではｑｐの値は２に初期化される。

【0052】

次にＳ７０４では、ＱＰ決定部１１５は新たなＱＰを示すパラメータｎｅｗ＿ｑｐの値を、ｑｐより１を減じた値で初期化する。ｎｅｗ＿ｑｐは、現在選択されているｑｐの値を１つ繰り下げた値を示す。さらにＳ７０５では、ＱＰ決定部１１５は処理対象の画素グループの番号を示すパラメータｐｇを初期化する。画素グループは０から１５までの１６グループがあるので、ｐｇ＝０に初期化される。さらにＳ７０６、Ｓ７０７ではＱＰ決定部１１５はｍｉｎｕｓ＿ｓｉｚｅをｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］に設定し、ｐｌｕｓ＿ｓｉｚｅをｐｇ＿ｓｉｚｅ［ｎｅｗ＿ｑｐ］［ｐｇ］に設定する。ここで、ｍｉｎｕｓ＿ｓｉｚｅとは、現在のｑｐの値に基づく選択画素グループの符号長を示し、ｐｌｕｓ＿ｓｉｚｅは現在のｑｐから１減じたｎｅｗ＿ｑｐの値に基づく選択画素グループの符号長を示す。例えば、ｐｇ＝０でｑｐ＝２の場合を考えると、図８（ａ）に示す例では、ｍｉｎｕｓ＿ｓｉｚｅは２４となり、ｐｌｕｓ＿ｓｉｚｅは２７となる。図８（ｃ）に示す例では、ｍｉｎｕｓ＿ｓｉｚｅは１６となり、ｐｌｕｓ＿ｓｉｚｅは１８となる。このｍｉｎｕｓ＿ｓｉｚｅと、ｐｌｕｓ＿ｓｉｚｅとは、画素グループ単位にｑｐを１だけ変更した場合に想定される符号化ブロックのブロック符号長の変化量を計算するために用いられる。

【0053】

Ｓ７０８では、ＱＰ決定部１１５は画素グループ単位にｑｐを１だけ変更した場合のブロック符号長を示すパラメータｔｍｐ＿ｓｉｚｅを、上記のｎｅｗ＿ｓｉｚｅ、ｍｉｎｕｓ＿ｓｉｚｅ、ｐｌｕｓ＿ｓｉｚｅから式３により求める。
ｔｍｐ＿ｓｉｚｅ＝ｎｅｗ＿ｓｉｚｅ−ｍｉｎｕｓ＿ｓｉｚｅ＋ｐｌｕｓ＿ｓｉｚｅ・・・式３
例えば、ｐｇ＝０でｑｐ＝２の場合を考えると、図８（ａ）の例ではｎｅｗ＿ｓｉｚｅ＝３２６、ｍｉｎｕｓ＿ｓｉｚｅ＝２４、ｐｌｕｓ＿ｓｉｚｅ＝２７であるから、ｔｍｐ＿ｓｉｚｅ＝３２９となる。同様に図８（ｃ）の例ではｎｅｗ＿ｓｉｚｅ＝３２６、ｍｉｎｕｓ＿ｓｉｚｅ＝１６、ｐｌｕｓ＿ｓｉｚｅ＝１８であるから、ｔｍｐ＿ｓｉｚｅ＝３２８となる。

【0054】

次にＳ７０９にてＱＰ決定部１１５は、Ｓ７０８で求めたｑｐ変更後の符号長ｔｍｐ＿ｓｉｚｅが、目標符号量（ｔａｒｇｅｔ＿ｓｉｚｅ）以下かどうかを判定する。ｔｍｐ＿ｓｉｚｅの値が目標符号量を上回る場合（Ｓ７０９で「ＮＯ」）、Ｓ７１４に移行する。一方、ｔｍｐ＿ｓｉｚｅの値が目標符号量以下の場合（Ｓ７０９で「ＹＥＳ」）、Ｓ７１０に移行する。Ｓ７１０では、ＱＰ決定部１１５はｎｅｗ＿ｓｉｚｅの値をｔｍｐ＿ｓｉｚｅの値で更新する。次いでＳ７１１においてＱＰ決定部１１５は処理対象の画素グループの適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］をｎｅｗ＿ｑｐの値で更新する。その後のＳ７１２、Ｓ７１３の処理では処理対象となる画素グループを更新していく。具体的にＳ７１２では、ＱＰ決定部１１５は現在の処理対象の画素グループの番号ｐｇが画素グループの番号の最大値（ＭＡＸ＿ＰＧ）より小さいか否かを判定する。ＭＡＸ＿ＰＧの値は、本実施形態の場合１５となる。ここで、ｐｇが最大値より小さい場合（Ｓ７１２で「ＹＥＳ」）、Ｓ７１３に移行してＱＰ決定部１１５はｐｇを１だけ更新して、Ｓ７０６に戻って新たな画素グループについて画素グループ単位の適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］を決定する処理を行う。一方、ｐｇが最大値に一致する場合（Ｓ７１３で「ＮＯ」）、Ｓ７１４に移行する。

【0055】

次にＳ７１４では、ＱＰ決定部１１５は現在のｑｐの値が０より大きいか否かを判定すると共に、ｓｅｌ＿ｑｐから現在のｑｐを引いた値がＭＡＸ＿ＤＩＦＦより小さいか否かを判定する。ＭＡＸ＿ＤＩＦＦは、ｓｅｌ＿ｑｐからｑｐを下げることが可能な回数を規定している。ＭＡＸ＿ＤＩＦＦはＱＰが取り得る範囲に応じて任意に決定でき、例えば２とすることができ、その場合にはｓｅｌ＿ｑｐの値から２回まではｑｐの値を下げることができる。上記の例ではｓｅｌ＿ｑｐ＝２であるから、ｑｐ＝０となるまで処理を行うことができる。仮にｓｅｌ＿ｑｐ＝３であった場合にはｑｐ＝１までは下げられるが、ｑｐ＝０には下げられない。またＭＡＸ＿ＤＩＦＦを１または３としてもよい。このように回数を制限するのは、再帰的処理の実行時間を制限するためである。ＭＡＸ＿ＤＩＦＦを設定することによりｓｅｌ＿ｑｐに追加して適用ＱＰに含めることが可能なＱＰの種類数を規定することができる。

【0056】

Ｓ７１４では、ＱＰ決定部１１５はｑｐが０であった場合、または、ｑｐを下げた回数がＭＡＸ＿ＤＩＦＦに一致する場合（Ｓ７１４で「ＮＯ」）は本処理を終了する。ｑｐが０より大きく、かつ、ｑｐを下げた回数がＭＡＸ＿ＤＩＦＦに満たない場合（Ｓ７１４で「ＹＥＳ」）は、Ｓ７１５に移行する。Ｓ７１５ではＱＰ決定部１１５はｑｐの値を１だけ減じて、Ｓ７０４に戻って処理を繰り返す。このようにして決定された適用ＱＰはＱＰ決定部１１５から本符号化系１２０へ出力される。

【0057】

ここで、図７における処理の具体例を、図４（ａ）の正順入力の場合につき図８（ａ）を参照して説明する。選定されたｓｅｌ＿ｓｉｚｅ（図８（ａ）の例では３２６）を基にして、まず、画素グループ番号０の画素グループのＱＰの値を１だけ小さくした場合のブロック符号長（３２６−２４−２７＝３２９）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素グループ番号１のＱＰを１だけ小さくした場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出される画素グループ番号１のブロック符号長は（３２９−２４＋２７＝３３２）であり、目標符号量よりも小さい。このようにして画素グループを順に選択してブロック符号長を算出していくと以下のようになる。

【0058】

画素グループ番号２：３３２−２４＋２７＝３３５
画素グループ番号３：３３５−１８＋２２＝３３９
画素グループ番号４：３３９−１９＋２３＝３４３
画素グループ番号５：３４３−１５＋１８＝３４６
画素グループ番号６：３４６−１３＋１５＝３４８
画素グループ番号７：３４８−１３＋１５＝３５０
画素グループ番号８：３５０−１６＋１６＝３５０
画素グループ番号９：３５０−１８＋２２＝３５４
画素グループ番号１０：３５４−１７＋１７＝３５４
画素グループ番号１１：３５４−１５＋１８＝３５７
画素グループ番号１２：３５７−１２＋１２＝３５７
画素グループ番号１３：３５７−１６＋２０＝３６１

【0059】

上記算出されたブロック符号長において、画素グループ番号１３のブロック符号長は目標符号量を超えてしまう。よって、これ以降は再び画素グループ番号０に戻ってＱＰの値を更に１だけ減少させて、同じようにブロック符号長を算出していく。但し、ＭＡＸ＿ＤＩＦＦ＝１であった場合にはこの時点で処理を終了する。
画素グループ番号０：３５７−２７＋３０＝３６０
画素グループ番号１：３６０−２７＋３０＝３６３

【0060】

ここでは画素グループ番号１において目標符号量を超えてしまう。この時点でｑｐの値は０となっているので処理を終了する。このようにして決定された適用ＱＰの具体的な値を図８（ｂ）に示す。図８（ｂ）では、太線で囲った符号長に対応するＱＰが、画素グループ毎に決定された適用ＱＰを表している。画素グループ単位の適用ＱＰの各値は、ｐｇ＿ｑｐ［０］は０、ｐｇ＿ｑｐ［１〜１２］は１、ｐｇ＿ｑｐ［１３〜１５］は２となる。このように、本実施形態では、先頭の画素グループから順により小さいＱＰが割り当てられる。図８（ｂ）では先頭の画素グループのみにＱＰ＝０が割り当てられたが、他の条件では先頭の画素グループを含む連続する複数の画素グループに対して最小のＱＰを割り当てることも可能である。

【0061】

次に、図７における処理の具体例を、図４（ｂ）の逆順入力の場合につき図８（ｃ）を参照して説明する。選定されたｓｅｌ＿ｓｉｚｅ（図８（ｃ）の例では３２６）を基にして、まず、画素グループ番号０（スキャン変換前の正順では１５、以下同様）の画素グループのＱＰの値を１だけ小さくした場合のブロック符号長（３２６−１６＋１８＝３２８）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素グループ番号１（１４）のＱＰを１だけ小さくした場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出される画素グループ番号１のブロック符号長は（３２８−１８＋１８＝３２８）であり、目標符号量よりも小さい。このようにして画素グループを順に選択してブロック符号長を算出していくと以下のようになる。

【0062】

画素グループ番号２（１３）：３２８−１６＋２０＝３３２
画素グループ番号３（１２）：３３２−１２＋１２＝３３２
画素グループ番号４（１１）：３３２−１５＋１８＝３３５
画素グループ番号５（１０）：３３５−１７＋１７＝３３５
画素グループ番号６（９）：３３５−１８＋２２＝３３９
画素グループ番号７（８）：３３９−１６＋１６＝３３９
画素グループ番号８（７）：３３９−１３＋１５＝３４１
画素グループ番号９（６）：３４１−１３＋１５＝３４３
画素グループ番号１０（５）：３４３−１５＋１８＝３４６
画素グループ番号１１（４）：３４６−１９＋２３＝３５０
画素グループ番号１２（３）：３５０−１８＋２２＝３５４
画素グループ番号１３（２）：３５４−２４＋２７＝３５７
画素グループ番号１４（１）：３５７−２４＋２７＝３６０
画素グループ番号１５（０）：３６０−２４＋２７＝３６３

【0063】

上記算出されたブロック符号長において、画素グループ番号１５（０）のブロック符号長は目標符号量を超えてしまう。よって、これ以降は再び画素グループ番号０に戻ってＱＰの値を更に１だけ減少させて、同じようにブロック符号長を算出していく。但し、ＭＡＸ＿ＤＩＦＦ＝１であった場合にはこの時点で処理を終了する。
画素グループ番号０（１５）：３６０−１８＋１８＝３６０
画素グループ番号１（１４）：３６０−１８＋１８＝３６０
画素グループ番号２（１３）：３６０−２０＋２０＝３６０
画素グループ番号３（１２）：３６０−１２＋１２＝３６０
画素グループ番号４（１１）：３６０−１８＋２２＝３６４

【0064】

ここでは画素グループ番号４（１１）において目標符号量を超えてしまう。この時点でｑｐの値は０となっているので処理を終了する。このようにして決定された適用ＱＰの具体的な値を図８（ｄ）に示す。図８（ｄ）では、太線で囲った符号長に対応するＱＰが、画素グループ毎に決定された適用ＱＰを表している。画素グループ単位の適用ＱＰの各値は、ｐｇ＿ｑｐ［０〜３（１５〜１２）］は０、ｐｇ＿ｑｐ［４〜１４（１１〜１）］は１、ｐｇ＿ｑｐ［１５（０）］は２となる。以上の例では、ヘッダ情報の符号長を考慮した場合について説明したが、ヘッダ情報の符号長を考慮しない場合には上述の数値からヘッダ情報の符号長４８ビットを適宜差し引くだけでよい。

【0065】

以上、説明したように、本実施形態では、ＱＰ決定部１１５におけるＳ５０４の画素グループ単位の適用ＱＰの決定方法において、ブロックの総符号量が目標符号量を超えない範囲で、先頭の画素グループから順にＱＰを小さい値に変更することができる。また、本実施形態では、仮符号化系及び本符号化系に入力される画像データは予め各ラインの奇数番のブロックと偶数番目のブロックとでスキャン順を逆にしている。

【0066】

図９（ａ）は仮符号化系１１０、本符号化系１２０における処理順を示す模式図である。図９（ａ）において画像データ９０１は、複数の符号化ブロック９０２及び９０３で構成される。符号化ブロック９０２は奇数番目の符号化ブロックを示し、符号化ブロック９０３は偶数番目の符号化ブロックを示す。各符号化ブロック中の矢印は符号化の処理順を表している。ここでは奇数番目のブロック９０２は左から右に符号化処理が行われ、偶数番目のブロック９０３は右から左に逆順に符号化処理が行われることになる。

【0067】

このように処理順をブロック毎に交互に変えることによって、ブロック内のＱＰ値の変化する方向がブロック毎に交互に変化する。本実施形態におけるＱＰ値の変化する方向はブロックの処理順に先頭ブロック側に小さいＱＰが選ばれるため、各ブロック内では小から大のＱＰ値の変化となっている。これが処理対象の画素順をブロック毎に交互に変えることによって、例えば奇数番のブロックは小から大のＱＰ値の変化となり、偶数番のブロックは大から小のＱＰ値の変化となる。このＱＰの変化の一例を図９（ｂ）に示す。

【0068】

図９（ｂ）はブロック内のＱＰ値の一例を示す模式図である。同図においても、画像データ９０１は複数の符号化ブロック９０２及び９０３で構成される。奇数番目のブロック９０２はスキャン変換されずに符号化されるため、無地で示す前半画素グループ９１１は第１のＱＰ値（例えば２）で符号化され、斜線で示す後半画素グループ９１２は第２のＱＰ値（例えば３）で符号化される。同様にして偶数番目のブロック９０３は、スキャン変換されて逆順に符号化されるため、斜線で示す前半画素グループ９１３が第２のＱＰ値で符号化され、無地で示す後半画素グループ９１４が第１のＱＰ値で符号化される。他のブロックにおいても同様にして第１のＱＰ値を無地、第２のＱＰ値を斜線でそれぞれ示している。自然画においては隣接するブロックは同じような絵柄となる場合が多く、同じＱＰ値となる場合が多いためこのようなＱＰ値の分布は有効である。
このように処理順をブロック毎に交互に変えることによって、隣接するブロックの境界部分のＱＰ値の差を小さくし、ブロック境界部分の画質が一様となる。これにより、ブロック境界部分の劣化により不自然にブロック境界が視認されるようなことを低減することができる。

【0069】

また本実施形態では、ブロック符号量が所定値を超えない範囲でＱＰを高画質となる方向に調整して未使用のビットを可能な限り削減しつつ、符号化結果の品質を向上させることができる。量子化ステップが小さいＱＰの使用割合が増え、未使用のビット数を削減できるため、符号化による画質劣化をさらに低減できる。

【0070】

（本符号化系の説明）
次に、図１の本符号化系１２０の動作について説明する。本符号化系１２０にも仮符号化系１１０に入力された画像データと同一の画像データが入力されるが、仮符号化系１１０のＱＰ決定部１１５が適用ＱＰを決定し出力するまで待機する必要がある。そこで、入力画像データは遅延部１２１に入力され、仮符号化系１１０が適用ＱＰを決定するために必要な所定の処理サイクル分だけ遅延される。遅延後の画像データは遅延部１２１から符号化部１１１Ｅへ出力される。これにより符号化部１１１Ｅは、仮符号化系１１０が適用ＱＰを決定した符号化ブロックを、当該決定された適用ＱＰを用いて符号化することができる。

【0071】

符号化部１１１Ｅは、図３に示した符号化部１１１と同一の構成を有し、適用ＱＰを用いて、遅延された画像データを本符号化する。これによりＱＰ決定部１１５が決定したブロック符号長と同じ符号長の符号データが生成され、ＰＣＭ／ＤＰＣＭ選択フラグ、符号長と共に多重化部１２３に出力される。多重化部１２３には符号化部１１１Ｅからの符号データ、符号長、ＰＣＭ／ＤＰＣＭ選択フラグと、ＱＰ決定部１１５からのＱＰが入力されており、符号ブロック毎に所定のフォーマットで多重化が行われる。

【0072】

以下、発明の実施形態に対応するフォーマットの一例について図１０（ａ）を用いて説明する。図１０（ａ）は符号化フォーマットのデータ構造を表す図であり、括弧で示す数値は各領域に格納されるデータのビット数を表している。ブロックの全体の符号化データ１００１（３６０ビット）は、ヘッダ部１００２（４８ビット）と、画素データ部１００３（３１２ビット）から構成される。ヘッダ部１００２はＱＰの値を格納するＱＰ値部１００４（３２ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１００５（１６ビット）とで構成される。ＱＰ値部１００４には画素グループ毎に２ビットのＱＰ（１００４＿０〜１００４＿ｆまで）が１６個分格納される。フラグ部１００５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１００５＿０〜１５０５＿ｆまで）が１６個分格納される。画素データ部１００３には符号データが画素数分（３×１６＝４８画素分）格納される。多重化された符号化データ１００１はストリームデータとして出力端子１０２に出力され、非図示の画像メモリ、バスインターフェースに出力される。

【0073】

（画像復号化部の説明）
次に、画像符号化部２０で生成された符号化データを復号する、発明の実施形態に対応する画像復号化部の構成例及び動作について説明する。図２は、発明の実施形態に対応する画像復号化部４０の構成例を示すブロック図である。画像処理装置１００は画像復号化部４０を有し、メモリ３０に記憶された符号化データを復号することができる。以下、本実施形態の画像復号化部の構成例において各ブロックの動作について説明する。

【0074】

図２に示す画像復号化部４０は、分離部２０３、可変長復号化部２０４、加算器２０５、セレクタ２０６、逆量子化部２０７、予測部２０８で構成されている。画像復号化部４０は、専用のデバイス、ロジック回路やメモリを用いてハードウェア的に一体的に構成されても良いし、或いは、複数のデバイス等で分散して構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

【0075】

画像復号化部４０には、非図示の画像メモリ、バスインターフェースなどを介して、画像符号化部２０で生成されたストリームデータが入力端子２０１を介して分離部２０３に入力される。分離部２０３は入力されたストリームデータを所定のフォーマットに従ってデコードして、ＱＰ、ＰＣＭ／ＤＰＣＭ選択フラグ、符号データの情報を分離し、処理サイクル毎に順次出力する。ＱＰは逆量子化部２０７と量子化部２１０に出力し、ＰＣＭ／ＤＰＣＭ選択フラグはセレクタ２０６に出力する。符号データのうち、ＰＣＭデータはセレクタ２０６に出力し、ＤＰＣＭデータは可変長復号化部２０４に出力する。可変長復号化部２０４は入力されたＤＰＣＭデータの可変長復号化を行い、復号化されたＤＰＣＭデータを加算器２０５に出力する。加算器２０５は、後述の予測部２０８からの予測値と復号されたＤＰＣＭデータを加算して復号値を得て、セレクタ２０６に出力する。

【0076】

セレクタ２０６は分離部２０３からのＰＣＭデータと、加算器２０５からの復号値を、ＰＣＭ／ＤＰＣＭ選択フラグに応じて切り替えて量子化データとして出力し、逆量子化部２０７へ出力する。逆量子化部２０７はＱＰ値を用いて、セレクタ２０６からの量子化データを逆量子化して、復号画像データを生成し、予測部２０８と出力端子２０２に出力する。予測部２０８は画素遅延部２０９、量子化部２１０から構成される。逆量子化部２０７から入力された復号画像データは、画素遅延部２０９にて同じカラー要素の前値が予測値となるようカラー要素分遅延され、量子化部２１０にて量子化されて予測値として出力される。なお、各カラー要素の符号化ブロックの最初の画素は前画素が存在しないため、予測値としては０の値を出力する。逆量子化部２０７から出力された復号画像データは出力端子２０２を介し、スキャン変換部２１１を介してスキャン変換された後に外部へと出力される。

【0077】

スキャン変換部２１１はブロック毎に画像データを一旦保持し、各ラインの偶数番目のブロックはスキャン順を逆にして逆順で出力し、奇数番目のブロックは画素のスキャン順を変えずに出力する。スキャン順を逆にして出力するとは、スキャン変換部１３０との関連で説明した内容と同意である。これにより、画像符号化部２０におけるスキャン変換部１３０でスキャン変換されたブロックのスキャン順が元に戻されて出力される。元のスキャン順に戻された復号画像データは出力端子２０２を介し、外部へと出力される。

【0078】

以上説明したように、本実施形態では、複数の画素グループからなる符号化対象の符号化ブロック毎の固定長の符号化を行うため、まず、仮符号化系にて複数のＱＰで仮符号化して符号量を求め、それらの符号量から画素グループ単位に適用するＱＰの値を決定する。次いで本符号化系にて、決定された適用ＱＰを用いて本符号化を行う構成とした。これにより、符号化ブロックのブロック符号長が所定値を超えない最大の値となるようにＱＰの値を決定することができる。また、画素グループ毎に符号長が所定値を超えない範囲でＱＰの値をより小さい値とすることができるので、画素グループ単位に画質を向上させることができる。また、画像符号化の処理順をブロック毎に交互に変えることによって、隣接するブロックの境界部分のＱＰ値の差を小さくし、ブロック境界部分の画質が一様となる。これにより、ブロック境界部分の劣化により不自然にブロック境界が視認されるようなことを低減することができる。

【0079】

また、符号化の際に用いるＱＰおよびＰＣＭ／ＤＰＣＭ選択フラグは画素グループ単位で選択（切替）が可能な構成とした。ＰＣＭ／ＤＰＣＭ選択は、隣接画素差分に応じて、差分が大きい場合はＰＣＭとし、差分が小さい場合はＤＰＣＭにするのではなく、各画素グループでＰＣＭ、ＤＰＣＭの両方の符号長を算出しておき、符号長がより小さくなる符号化方式を選択するようにした。これにより、ブロック単位での効率的な符号化が可能となる。

【0080】

具体的に本実施形態では、隣接画素間の差分が大きくなる場合であっても特許文献１のようにＰＣＭ符号化の場合に符号長を１０ビットから５ビットに強制的に半分にはしない。その代わり、量子化ステップ１を含む段階的に設定された複数の量子化ステップを用いて、ＰＣＭ及びＤＰＣＭの各符号化結果において符号長の短いものを画素グループ毎に選択しておく。さらに、本実施形態ではグループ単位の符号長だけでなく、符号化ブロックのブロック符号長を考慮して量子化ステップを選択するため、一部の画素グループにおいて符号長が大きくなったとしても、他の画素グループの符号長が小さければそこで相殺される。よって、符号化ブロック内に急峻なエッジが含まれ、当該エッジ成分で大きな符号長が費やされたとしても、エッジの前後が平坦であれば当該エッジの符号長の分はそこで吸収されるので、エッジ成分を符号化する際に特許文献１のように不必要にビットを削減する必要がなくなる。

【0081】

上述の発明の実施形態において、画像データのビット数は、１０ビットに限定されるものではなく、８ビット、１２ビットなど異なるビット数であってもよい。また、ブロックサイズは水平１６画素×垂直１画に限定されるものではなく、任意のサイズでよい。例えば水平４画素×垂直４画素のように２次元構造としてもよい。

【0082】

さらに、符号化対象の画像データの形式はＲＧＢ画像データに限定されるものではなく、グレースケール画像、カラー画像のうちＹＣｂＣｒ、ベイヤー配列データなどの画像データ形式であってもよい。図４（ｃ）は画像データ形式が輝度信号（Ｙ）と、二つの色差信号（Ｃｒ，ｂ）であり、ＹＣｂＣｒ４：２：２の場合の符号化ブロックを構成する画素データと、画素グループとの関係について示す。図４（ｃ）では、Ｙを２画素、Ｃｂ、Ｃｒを１画素ずつの計４画素を単位画素グループとし、符号化ブロックを４×８＝３２画素から構成する例を示している。ここで、符号化ブロックに含める画素グループの数はより８グループよりも多くても良い。図４（ｄ）は、画像データ形式がベイヤー配列の場合の符号化ブロックを構成する画素データと、画素グループとの関係について示す。図４（ｄ）では、Ｇを２画素、Ｒ、Ｂを１画素ずつの計４画素を単位画素グループとし、符号化ブロックを４×８＝３２画素から構成する例を示している。ここで、符号化ブロックに含める画素グループの数はより８グループよりも多くても良い。グレースケール画像については不図示であるが、グレースケール画像を構成する画素のうち隣接画素の組から画素グループを構成することができる。その際、単位画素グループには例えば３画素または４画素の隣接画素を含めることができる。

【0083】

［実施形態２］
次に、発明の他の実施形態を説明する。本実施形態２と上述の実施形態１との相違点は、画像符号化部２０のＱＰ決定部１１５内部の処理にあり、その他の符号化部、遅延部、多重化部の構成及び動作については実施形態１と同様であるため説明は省略する。

【0084】

本施形態における、ＱＰ決定部１１５の処理手順の概要は図５及び図６に示したものと基本的に同じである。但し、本実施形態では、Ｓ５０４で画素グループ単位の適用ＱＰを決定する方法が実施形態１とは異なる。本実施形態に対応する処理の詳細は図１１のフローチャートに示す通りである。図１１のフローチャートは図７のフローチャートの変形例であって、ｐｇ＿ｎｕｍ、ｓｉｇｎ、ｐｇ＿ｕｐｄａｔｅという３つの新たなパラメータが追加され、これに伴って処理が一部異なっている。

【0085】

図１１において、Ｓ１１０１からＳ１１０４までの処理はＳ７０１からＳ７０４までと同じである。Ｓ１１０５では、ＱＰ決定部１１５は処理対象の画素グループの番号を示すパラメータｐｇを０に初期化する。また、処理済みの画素グループ数を示すｐｇ＿ｎｕｍを０に初期化するとともに、ｐｇ更新方法を切替えるための符号ｓｉｇｎを０に初期化する。また、処理対象の画素グループを切替えるために使用するｐｇ＿ｕｐｄａｔｅを１５に初期化する。

【0086】

その後のＳ１１０６からＳ１１１１までの処理はＳ７０６からＳ７１１までの処理と同様である。続くＳ１１１２の処理では、ＱＰ決定部１１５は現在処理済みの画素グループ数を示すｐｇ＿ｎｕｍが画素グループの番号の最大値（ＭＡＸ＿ＰＧ）より小さいか否かを判定する。ＭＡＸ＿ＰＧの値は、本実施形態の場合１５となる。ここでｐｇ＿ｎｕｍが最大値より小さい場合（Ｓ１１１２で「ＹＥＳ」）、Ｓ１１１３に移行し、ｐｇ＿ｎｕｍが最大値と一致する場合（Ｓ１１１２で「ＮＯ」）、Ｓ１１１７に移行する。Ｓ１１１３ではＱＰ決定部１１５は符号ｓｉｇｎが０か否かを判定する。もし符号が０の場合は（Ｓ１１１３で「ＹＥＳ」）、Ｓ１１１４に移行し、符号が１の場合は（Ｓ１１１３で「ＮＯ」）、Ｓ１１１５に移行する。ここで符号ｓｉｇｎが０の値を有するとは、処理対象の画素グループがブロックの先頭により近いことを意味し、符号ｓｉｇｎが１の値を有するとは、処理対象の画素グループがブロックの最後尾により近いことを意味する。本実施形態では、処理対象の画素グループを先頭側と最後尾側とで交互に切替えていくことを特徴とするが、その切替のために符号ｓｉｇｎを用いている。

【0087】

Ｓ１１１４では、処理対象の画素グループの番号を示すパラメータｐｇにｐｇ＿ｕｐｄａｔｅの値を加算してｐｇを更新し、Ｓ１１１６に移行する。例えば、処理対象の画素グループがｐｇ＝０だった場合、ｐｇ＿ｕｐｄａｔｅは初期値として１５を与えられているので、次の処理対象の画素グループｐｇは１５となる。一方、Ｓ１１１５では、処理対象の画素グループの番号を示すパラメータｐｇからｐｇ＿ｕｐｄａｔｅの値を減算してｐｇを更新し、Ｓ１１１６に移行する。例えば、処理対象の画素グループがｐｇ＝１５で、ｐｇ＿ｕｐｄａｔｅが１４であった場合、次の処理対象の画素グループｐｇは１となる。

【0088】

Ｓ１１１６では、ｐｇ＿ｕｐｄａｔｅを、現在の値から１を減算することにより更新する。例えば、ｐｇ＿ｕｐｄａｔｅが１５であれば、更新後のｐｇ＿ｕｐｄａｔｅは１４である。また、符号ｓｉｇｎを、１から現在の値を減ずることにより更新する。この演算により、符号ｓｉｇｎは０と１とを交互に有することになる。さらにｐｇ＿ｎｕｍを、現在の値に１を加算することにより、処理済みの画素グループ数を更新する。その後、Ｓ１１０６に戻って処理を継続する。

【0089】

以上の処理において、処理対象の画素グループを示すｐｇは初期値０から始まり、Ｓ１１１４またはＳ１１１５の更新処理に従い順に１５、１、１４、２、１３、３、１２、４、１１、５、１０、６、９、７、８と切り替わり、ブロック符号長の算出はブロックの左右端の画素グループから徐々に中央の画素グループに向かって実施されることになる。こうして算出したブロック符号長が目標符号量を超えた場合（Ｓ１１０９で「ＮＯ」）、Ｓ１１１７に移行する。Ｓ１１１７及びＳ１１１８の処理は、Ｓ７１４及びＳ７１５の処理と同様である。

【0090】

ここで図１１における処理の具体例を、図４（ａ）の入力の場合につき図８（ｅ）を参照して説明する。選定されたｓｅｌ＿ｓｉｚｅ（図８（ｅ）の例では３２６）を基にして、まず、画素グループ番号０の画素グループのＱＰの値を１だけ小さくした場合のブロック符号長（３２６−２４＋２７＝３２９）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素グループ番号１のＱＰを１だけ小さくした場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出される画素グループ番号１５のブロック符号長は（３２９−１６＋１８＝３３１）であり、目標符号量よりも小さい。このようにして画素グループを順に選択してブロック符号長を算出していくと以下のようになる。

【0091】

画素グループ番号１：３３１−２４＋２７＝３３４
画素グループ番号１４：３３４−１８＋１８＝３３４
画素グループ番号２：３３４−２４＋２７＝３３７
画素グループ番号１３：３３７−１６＋２０＝３４１
画素グループ番号３：３４１−１８＋２２＝３４５
画素グループ番号１２：３４５−１２＋１２＝３４５
画素グループ番号４：３４５−１９＋２３＝３４９
画素グループ番号１１：３４９−１５＋１８＝３５２
画素グループ番号５：３５２−１５＋１８＝３５５
画素グループ番号１０：３５５−１７＋１７＝３５５
画素グループ番号６：３５５−１３＋１５＝３５７
画素グループ番号９：３５７−１８＋２２＝３６１

【0092】

上記算出されたブロック符号長において、画素グループ番号９のブロック符号長は目標符号量を超えてしまう。よって、これ以降は再び画素グループ番号０に戻ってＱＰの値を更に１だけ減少させて、同じようにブロック符号長を算出していく。但し、ＭＡＸ＿ＤＩＦＦ＝１であった場合にはこの時点で処理を終了する。
画素グループ番号０：３５７−２７＋３０＝３６０
画素グループ番号１５：３６０−１８＋１８＝３６０
画素グループ番号１：３６０−２７＋３０＝３６３

【0093】

ここでは画素グループ番号１において目標符号量を超えてしまう。この時点でｑｐの値は０となっているので処理を終了する。このようにして決定された適用ＱＰの具体的な値を図８（ｅ）に示す。図８（ｅ）では、太線で囲った符号長に対応するＱＰが、画素グループ毎に決定された適用ＱＰを表している。画素グループ単位の適用ＱＰの各値は、ｐｇ＿ｑｐ［０］は０、ｐｇ＿ｑｐ［１〜６］は１、ｐｇ＿ｑｐ［７〜９］は２、ｐｇ＿ｑｐ［１０〜１４］は１、ｐｇ＿ｑｐ［１５］は０となる。
このように、本実施形態では、符号化ブロックの先頭または最後尾といった端部側に位置する画素グループにより小さいＱＰが割り当てられ、符号化ブロックの中心付近に位置する画素グループに大きいＱＰが割り当てられる。これによりブロック内のＱＰ値はブロックの中央部が高く、ブロックの両端（すなわちブロック境界部分）が低く分布されるようになる。これにより、隣接するブロックの境界部分のＱＰ値の差を小さくでき、ブロック境界部分の画質が一様となるため、ブロック境界が不自然に視認されることを少なくできる。

【0094】

[実施形態３]
次に、発明の更なる実施形態について説明する。本実施形態３と上述の実施形態１との相違点は多重化部１２３内部の処理方法であり、その他の符号化部、ＱＰ決定部、遅延部、多重化部の構成及び動作については実施形態１と同様であるため説明は省略する。

【0095】

多重化部１２３には符号化部１１１Ｅからの符号データ、符号長、ＰＣＭ／ＤＰＣＭ選択フラグと、ＱＰ決定部１１５からのＱＰが入力されており、符号ブロック毎に所定のフォーマットで多重化が行われる。ここで、ＱＰ決定部１１５からのＱＰは、実施形態１で図８（ｂ）との関連で説明したように、
ｐｇ＿ｑｐ［０］＝０、
ｐｇ＿ｑｐ［１〜１２］＝１
ｐｇ＿ｑｐ［１３〜１５］＝２
のように規則性がある。実施形態１では、図１０（ａ）に示すとおり、ＱＰを格納する領域１００４を３２ビット分用意した。しかし、実施形態３の例では全てのＱＰを格納しなくても、先頭（画素グループ番号：０）のＱＰと、ＱＰが切り替る位置を示す画素グループ番号の情報があれば符号化ブロックにおけるＱＰの配列パターンを復元することができる。そこで、先頭のＱＰをｑｐ０、ＱＰが１番目に変化する画素グループ番号をｑｐ＿ｐｏｓ１、ＱＰが２番目に変化する画素グループ番号をｑｐ＿ｐｏｓ２としてヘッダに格納する。このようなフォーマットによりヘッダ符号長の削減が可能になる。

【0096】

また、上記では格納すべきＱＰ値として先頭のＱＰ、即ち最小のＱＰとしたが、同様の効果は割り当てられた最大のＱＰとした場合でも得られる。この場合でも切り替わり位置が特定できれば正しいＱＰの割当てを再現することができるからである。

【0097】

本実施形態に対応するヘッダフォーマットの一例を図１０（ｂ）を用いて説明する。図１０（ｂ）は符号化フォーマットのデータ構造の一例を示す図であり、ブロックの全体の符号化データ１０１１（３６０ビット）は、ヘッダ部１０１２（２６ビット）と、画素データ部１０１３（３３４ビット）から構成される。ヘッダ部１０１２はＱＰを格納するＱＰ値部１０１４（１０ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１０１５（１６ビット）とで構成される。ＱＰ値部１０１４にはｑｐ０の２ビット（１０１６）、ｑｐ＿ｐｏｓ１の４ビット（１０１７）、ｑｐ＿ｐｏｓ２の４ビット（１０１８）が格納される。図８（ｂ）の例では、（０、１、１３）の値が格納される。フラグ部１０１５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１０１５＿０〜１０１５＿ｆ）が１６個分格納される。画素データ部１０１３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。多重化された符号化データ１０１１はストリームデータとして出力端子１０２に出力され、非図示の画像メモリ、バスインターフェースに出力される。

【0098】

図１０（ｂ）に示すヘッダフォーマットでは、ヘッダ符号長が２６ビットで画像データ部の符号長が３３４ビットとなるため、上述の実施形態におけるブロック符号長の算出方法及び目標符号量の値が異なる。具体的に図５のＳ５０２におけるブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］の算出においては、ヘッダ符号長を考慮する場合には、その大きさを２６ビットとする。ブロック符号長の算出にヘッダ符号長を考慮しない場合、Ｓ５０３の目標符号量を３３４ビットとする。

【0099】

図１０（ｂ）では、ヘッダ部にＱＰの切り替わり位置の情報を２つ持たせる場合を説明したが、ヘッダ部に含めるべき切り替わり位置の情報の数は、図７のＳ７１４における判定で使用したＭＡＸ＿ＤＩＦＦの値に依存する。図１０（ｂ）はＭＡＸ＿ＤＩＦＦ＝２の場合を示したが、ＭＡＸ＿ＤＩＦＦ＝１の場合は切り替わりの位置の情報としてｑｐ＿ｐｏｓ１の４ビットだけあれば足りるので、ヘッダ部１０１２のサイズを更に４ビット削減し、画素データ部１０１３のサイズを更に４ビット増加することができる。

【0100】

以上、説明したように、本実施形態においては多重化部１２３でＱＰをヘッダに格納する際に、ＱＰの値をそのままヘッダに格納するのではなく、ＱＰの初期値と、ＱＰが切り替る位置の情報とを格納する。これにより、ヘッダ部の符号長を削減し、符号化データに含める画素データのサイズを増加させることができる。この結果、量子化ステップの小さいＱＰの使用割合が増えるため、符号化による画質劣化をさらに低減できる。

【0101】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0102】

１０：取得部、２０：画像符号化部、３０：メモリ、１０１：入力端子、１０２：出力端子、１１０：仮符号化系、１２０：本符号化系、スキャン変換部１３０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】