特許 6203515 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6203515

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 19/42 20140101AFI20170914BHJP

【ＦＩ】

   H04N19/42

【請求項の数】10

【全頁数】26

(21)【出願番号】特願2013-75270(P2013-75270)

(22)【出願日】2013年3月29日

(65)【公開番号】特開2014-200038(P2014-200038A)

(43)【公開日】2014年10月23日

【審査請求日】2016年2月18日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100136353

【弁理士】

【氏名又は名称】高尾 建吾

(72)【発明者】

【氏名】齋藤 和宏

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特開２００７−０１９９０２（ＪＰ，Ａ）

【文献】 特開２００１−１２８１７０（ＪＰ，Ａ）

【文献】 特開平１０−１３６３７９（ＪＰ，Ａ）

【文献】 特開２０１２−２２７６０２（ＪＰ，Ａ）

【文献】 特開２００５−３１８４１１（ＪＰ，Ａ）

【文献】 特開２００５−０７９６２１（ＪＰ，Ａ）

【文献】 特開２００９−１５３０２０（ＪＰ，Ａ）

【文献】 特開平１１−０２７６６７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００７５９４３（ＵＳ，Ａ１）

【文献】 特開２０１１−０７７８３７（ＪＰ，Ａ）

【文献】 国際公開第２００８／０３８５１３（ＷＯ，Ａ１）

【文献】 特開２００９−０７１８０２（ＪＰ，Ａ）

【文献】 特開２０１０−２７２９９３（ＪＰ，Ａ）

【文献】 特開２００１−２３８１９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １／４１−１／４１９

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

画像処理の処理対象であるピクチャを記憶する記憶部と、
ピクチャに対する画像処理をソフトウェア処理によって実行するソフトウェア処理部と、
ピクチャに対する画像処理をハードウェア処理によって実行するハードウェア処理部と、
を備え、
前記ソフトウェア処理部は、前記ハードウェア処理部の動作モードとして、画像処理装置の最大処理能力に基づいて規定される垂直同期期間内に、入力ピクチャを様々にエンコードすることにより、ピクチャサイズ及びフレームレートの少なくとも一方が異なる複数の出力ピクチャを生成するモードであるマルチモードを設定可能であり、
前記ハードウェア処理部の動作モードがマルチモードに設定された場合には、
前記ソフトウェア処理部は、各垂直同期期間内に生成すべき複数の出力ピクチャに関する複数の設定情報を、前記ハードウェア処理部が入力ピクチャのエンコードを開始する前に前記ハードウェア処理部に一括して通知し、
前記ハードウェア処理部は、各垂直同期期間において、前記ソフトウェア処理部から通知された複数の設定情報に基づいて、複数の出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行し、各垂直同期期間内に生成すべき複数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知を前記ソフトウェア処理部に割り込み通知する、画像処理装置。

【請求項2】

前記ソフトウェア処理部は、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャの用途とに基づいて、複数の出力ピクチャの各々のピクチャサイズ及びフレームレートを設定する、請求項１に記載の画像処理装置。

【請求項3】

連続する複数の垂直同期期間の各々において生成すべき出力ピクチャは、出力ピクチャのフレームレートに応じて異なり、
前記ソフトウェア処理部は、複数の出力ピクチャのうち、各垂直同期期間において生成すべき出力ピクチャを特定する情報を、前記設定情報に含めて前記ハードウェア処理部に通知する、請求項１又は２に記載の画像処理装置。

【請求項4】

前記ハードウェア処理部は、
入力ピクチャを符号化する符号化回路と、
前記符号化回路によって符号化されたピクチャをＮＡＬ化するＮＡＬ化回路と、
前記符号化回路及び前記ＮＡＬ化回路を制御する制御回路と、
を有し、
前記ソフトウェア処理部から前記ハードウェア処理部に通知された前記設定情報は、前記ＮＡＬ化回路及び前記制御回路に入力される、請求項１〜３のいずれか一つに記載の画像処理装置。

【請求項5】

前記ＮＡＬ化回路に入力される設定情報には、各出力ピクチャのＮＡＬ化に使用するヘッダ情報が含まれる、請求項４に記載の画像処理装置。

【請求項6】

前記ソフトウェア処理部はさらに、前記ハードウェア処理部の動作モードとして、入力ピクチャをエンコードすることにより、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと比較して、ピクチャサイズが小さくフレームレートが高い出力ピクチャを生成するモードである高速モードを設定可能であり、
前記ハードウェア処理部の動作モードが高速モードに設定された場合には、
前記ソフトウェア処理部は、出力ピクチャに関する設定情報を、前記ハードウェア処理部が入力ピクチャのエンコードを開始する前に前記ハードウェア処理部に通知し、
前記ハードウェア処理部は、前記ソフトウェア処理部から通知された設定情報に基づいて、出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行し、指定数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知を前記ソフトウェア処理部に割り込み通知する、請求項１に記載の画像処理装置。

【請求項7】

前記ソフトウェア処理部は、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャのピクチャサイズと、前記ハードウェア処理部の最大クロック周波数とに基づいて、出力ピクチャの最大フレームレートを設定する、請求項６に記載の画像処理装置。

【請求項8】

前記ソフトウェア処理部は、連続したエンコードが実行される出力ピクチャの指定数に関する情報を、前記設定情報に含めて前記ハードウェア処理部に通知する、請求項６又は７に記載の画像処理装置。

【請求項9】

前記ハードウェア処理部は、
入力ピクチャを符号化する符号化回路と、
前記符号化回路によって符号化されたピクチャをＮＡＬ化するＮＡＬ化回路と、
前記符号化回路及び前記ＮＡＬ化回路を制御する制御回路と、
を有し、
前記ソフトウェア処理部から前記ハードウェア処理部に通知された前記設定情報は、前記ＮＡＬ化回路及び前記制御回路に入力される、請求項６〜８のいずれか一つに記載の画像処理装置。

【請求項10】

前記ＮＡＬ化回路に入力される設定情報には、出力ピクチャのＮＡＬ化に使用するヘッダ情報が含まれる、請求項９に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、特に、Ｈ．２６４圧縮符号化方式におけるリアルタイムエンコーダに関する。

【背景技術】

【0002】

背景技術に係る映像記録装置が、下記特許文献１に開示されている。当該映像記録装置において、映像入力部から入力された複数の映像データは、フレームバッファに格納される。符号化処理部は、映像データの符号化処理を実行する。エンコーダ制御部は、フレームバッファに格納されている複数の映像データの各々に関して、符号化処理の割り当て時間を設定する。そして、符号化処理部の現在の処理対象の映像データに関して設定された割り当て時間が経過すると、処理対象の映像データを次の映像データに切り替える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２７２９９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

Ｈ．２６４リアルタイムエンコーダにおいては、ＣＰＵ等を用いたソフトウェア処理によってヘッダ処理を行い、ハードウェアアクセラレータ等を用いたハードウェア処理によってマクロブロック処理を行う構成が一般的である。その理由は、ヘッダ処理に関しては、様々なプロファイルやアプリケーションに柔軟に対応できるようにソフトウェア処理を行うのが有効であり、マクロブロック処理に関しては、演算量は膨大であるが定型処理の繰り返しが多いためにハードウェア処理を行うのが有効だからである。

【0005】

しかし、ソフトウェア処理とハードウェア処理との協働によってエンコードを行う場合には、１ピクチャの処理が完了する度に、ＣＰＵからハードウェアアクセラレータへのコマンド発行や、ハードウェアアクセラレータからＣＰＵへの処理完了通知（割り込み通知）が発生する。従って、ＣＰＵとハードウェアアクセラレータとの間でのコマンド発行及び割り込み通知が頻発し、その結果、ＣＰＵの処理負荷が増大するとともに、待機時間が長くなるために全体としてエンコードの所要時間が長期化する。

【0006】

本発明は係る事情に鑑みて成されたものであり、１ピクチャ毎にコマンド発行及び割り込み通知を行う場合と比較すると、ソフトウェア処理部の処理負荷を軽減できるとともに、エンコードの所要時間を短縮することが可能な、画像処理装置を得ることを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様に係る画像処理装置は、画像処理の処理対象であるピクチャを記憶する記憶部と、ピクチャに対する画像処理をソフトウェア処理によって実行するソフトウェア処理部と、ピクチャに対する画像処理をハードウェア処理によって実行するハードウェア処理部と、を備え、前記ソフトウェア処理部は、前記ハードウェア処理部の動作モードとして、画像処理装置の最大処理能力に基づいて規定される垂直同期期間内に、入力ピクチャを様々にエンコードすることにより、ピクチャサイズ及びフレームレートの少なくとも一方が異なる複数の出力ピクチャを生成するモードであるマルチモードを設定可能であり、前記ハードウェア処理部の動作モードがマルチモードに設定された場合には、前記ソフトウェア処理部は、各垂直同期期間内に生成すべき複数の出力ピクチャに関する複数の設定情報を、前記ハードウェア処理部が入力ピクチャのエンコードを開始する前に前記ハードウェア処理部に一括して通知し、前記ハードウェア処理部は、各垂直同期期間において、前記ソフトウェア処理部から通知された複数の設定情報に基づいて、複数の出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行し、各垂直同期期間内に生成すべき複数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知を前記ソフトウェア処理部に割り込み通知することを特徴とするものである。

【0008】

第１の態様に係る画像処理装置によれば、ハードウェア処理部の動作モードがマルチモードに設定された場合には、ソフトウェア処理部は、各垂直同期期間内に生成すべき複数の出力ピクチャに関する複数の設定情報を、ハードウェア処理部が入力ピクチャのエンコードを開始する前にハードウェア処理部に一括して通知する。また、ハードウェア処理部は、各垂直同期期間において、ソフトウェア処理部から通知された複数の設定情報に基づいて、複数の出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行する。そして、各垂直同期期間内に生成すべき複数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知をソフトウェア処理部に割り込み通知する。その結果、ピクチャサイズやフレームレートが異なる複数シーケンスの出力ピクチャに関するマルチエンコードを実行するにあたって、ソフトウェア処理部とハードウェア処理部との間で１ピクチャ毎にコマンド発行及び割り込み通知を行う場合と比較すると、ソフトウェア処理部の処理負荷を軽減できるとともに、エンコード処理の所要時間を短縮することが可能となる。

【0009】

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記ソフトウェア処理部は、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャの用途とに基づいて、複数の出力ピクチャの各々のピクチャサイズ及びフレームレートを設定することを特徴とするものである。

【0010】

第２の態様に係る画像処理装置によれば、ソフトウェア処理部は、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャの用途とに基づいて、複数の出力ピクチャの各々のピクチャサイズ及びフレームレートを設定する。従って、画像処理装置の最大処理能力を有効に活用しつつ、マルチエンコードを適切に実行することが可能となる。

【0011】

本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、連続する複数の垂直同期期間の各々において生成すべき出力ピクチャは、出力ピクチャのフレームレートに応じて異なり、前記ソフトウェア処理部は、複数の出力ピクチャのうち、各垂直同期期間において生成すべき出力ピクチャを特定する情報を、前記設定情報に含めて前記ハードウェア処理部に通知することを特徴とするものである。

【0012】

第３の態様に係る画像処理装置によれば、ソフトウェア処理部は、複数の出力ピクチャのうち、各垂直同期期間において生成すべき出力ピクチャを特定する情報を、設定情報に含めてハードウェア処理部に通知する。従って、ハードウェア処理部は、複数の出力ピクチャのうち各垂直同期期間において生成すべき出力ピクチャを、設定情報に基づいて適切に処理することが可能となる。

【0013】

本発明の第４の態様に係る画像処理装置は、第１〜第３のいずれか一つの態様に係る画像処理装置において特に、前記ハードウェア処理部は、入力ピクチャを符号化する符号化回路と、前記符号化回路によって符号化されたピクチャをＮＡＬ化するＮＡＬ化回路と、前記符号化回路及び前記ＮＡＬ化回路を制御する制御回路と、を有し、前記ソフトウェア処理部から前記ハードウェア処理部に通知された前記設定情報は、前記ＮＡＬ化回路及び前記制御回路に入力されることを特徴とするものである。

【0014】

第４の態様に係る画像処理装置によれば、ソフトウェア処理部からハードウェア処理部に通知された設定情報は、ＮＡＬ化回路及び制御回路に入力される。このように、マルチエンコードを実行するにあたって必要となる設定情報をＮＡＬ化回路及び制御回路に入力することにより、ハードウェア処理部においてマルチエンコードを適切に実行することが可能となる。

【0015】

本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、前記ＮＡＬ化回路に入力される設定情報には、各出力ピクチャのＮＡＬ化に使用するヘッダ情報が含まれることを特徴とするものである。

【0016】

第５の態様に係る画像処理装置によれば、ＮＡＬ化回路に入力される設定情報には、各出力ピクチャのＮＡＬ化に使用するヘッダ情報が含まれる。このように、各出力ピクチャのＮＡＬ化を行うにあたって必要となるヘッダ情報をＮＡＬ化回路に入力することにより、ＮＡＬ化回路において各出力ピクチャのＮＡＬ化を適切に実行することが可能となる。

【0017】

本発明の第６の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記ソフトウェア処理部はさらに、前記ハードウェア処理部の動作モードとして、入力ピクチャをエンコードすることにより、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと比較して、ピクチャサイズが小さくフレームレートが高い出力ピクチャを生成するモードである高速モードを設定可能であり、前記ハードウェア処理部の動作モードが高速モードに設定された場合には、前記ソフトウェア処理部は、出力ピクチャに関する設定情報を、前記ハードウェア処理部が入力ピクチャのエンコードを開始する前に前記ハードウェア処理部に通知し、前記ハードウェア処理部は、前記ソフトウェア処理部から通知された設定情報に基づいて、出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行し、指定数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知を前記ソフトウェア処理部に割り込み通知することを特徴とするものである。

【0018】

第６の態様に係る画像処理装置によれば、ハードウェア処理部の動作モードが高速モードに設定された場合には、ソフトウェア処理部は、出力ピクチャに関する設定情報を、ハードウェア処理部が入力ピクチャのエンコードを開始する前にハードウェア処理部に通知し、ハードウェア処理部は、ソフトウェア処理部から通知された設定情報に基づいて、出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行し、指定数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知をソフトウェア処理部に割り込み通知する。その結果、ピクチャサイズが小さくフレームレートが高い出力ピクチャを生成するモードである高速モードを実行するにあたって、ソフトウェア処理部とハードウェア処理部との間で１ピクチャ毎にコマンド発行及び割り込み通知を行う場合と比較すると、ソフトウェア処理部の処理負荷を軽減できるとともに、エンコード処理の所要時間を短縮することが可能となる。

【0019】

本発明の第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置において特に、前記ソフトウェア処理部は、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャのピクチャサイズと、前記ハードウェア処理部の最大クロック周波数とに基づいて、出力ピクチャの最大フレームレートを設定することを特徴とするものである。

【0020】

第７の態様に係る画像処理装置によれば、ソフトウェア処理部は、画像処理装置で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャのピクチャサイズと、ハードウェア処理部の最大クロック周波数とに基づいて、出力ピクチャの最大フレームレートを設定する。従って、画像処理装置の最大処理能力を有効に活用しつつ、高速エンコードを適切に実行することが可能となる。

【0021】

本発明の第８の態様に係る画像処理装置は、第６又は第７の態様に係る画像処理装置において特に、前記ソフトウェア処理部は、連続したエンコードが実行される出力ピクチャの指定数に関する情報を、前記設定情報に含めて前記ハードウェア処理部に通知することを特徴とするものである。

【0022】

第８の態様に係る画像処理装置によれば、ソフトウェア処理部は、連続したエンコードが実行される出力ピクチャの指定数に関する情報を、設定情報に含めてハードウェア処理部に通知する。従って、ハードウェア処理部は、高速エンコードにおいて連続したエンコードによって生成すべき指定数の出力ピクチャを、設定情報に基づいて適切に処理することが可能となる。

【0023】

本発明の第９の態様に係る画像処理装置は、第６〜第８のいずれか一つの態様に係る画像処理装置において特に、前記ハードウェア処理部は、入力ピクチャを符号化する符号化回路と、前記符号化回路によって符号化されたピクチャをＮＡＬ化するＮＡＬ化回路と、前記符号化回路及び前記ＮＡＬ化回路を制御する制御回路と、を有し、前記ソフトウェア処理部から前記ハードウェア処理部に通知された前記設定情報は、前記ＮＡＬ化回路及び前記制御回路に入力されることを特徴とするものである。

【0024】

第９の態様に係る画像処理装置によれば、ソフトウェア処理部からハードウェア処理部に通知された設定情報は、ＮＡＬ化回路及び制御回路に入力される。このように、高速エンコードを実行するにあたって必要となる設定情報をＮＡＬ化回路及び制御回路に入力することにより、ハードウェア処理部において高速エンコードを適切に実行することが可能となる。

【0025】

本発明の第１０の態様に係る画像処理装置は、第９の態様に係る画像処理装置において特に、前記ＮＡＬ化回路に入力される設定情報には、出力ピクチャのＮＡＬ化に使用するヘッダ情報が含まれることを特徴とするものである。

【0026】

第１０の態様に係る画像処理装置によれば、ＮＡＬ化回路に入力される設定情報には、出力ピクチャのＮＡＬ化に使用するヘッダ情報が含まれる。このように、出力ピクチャのＮＡＬ化を行うにあたって必要となるヘッダ情報をＮＡＬ化回路に入力することにより、ＮＡＬ化回路において出力ピクチャのＮＡＬ化を適切に実行することが可能となる。

【発明の効果】

【0027】

本発明によれば、ピクチャサイズやフレームレートが異なる複数シーケンスの出力ピクチャに関するマルチエンコードを実行するにあたって、ソフトウェア処理部とハードウェア処理部との間で１ピクチャ毎にコマンド発行及び割り込み通知を行う場合と比較すると、ソフトウェア処理部の処理負荷を軽減できるとともに、エンコードの所要時間を短縮することが可能となる。

【図面の簡単な説明】

【0028】

【図1】本発明の実施の形態に係るカメラシステムの全体構成を示す図である。

【図2】画像処理装置の構成を簡略化して示す図である。

【図3】ハードウェア処理部の構成を示す図である。

【図4】通常モードにおける画像処理装置の処理フローを示すフローチャートである。

【図5】通常モードにおける画像処理装置の制御シーケンスを示す図である。

【図6】画像処理装置が生成する複数シーケンスの一例を示す図である。

【図7】シーケンスのピクチャサイズ及びフレームレートの第１の設定例を示す図である。

【図8】シーケンスのピクチャサイズ及びフレームレートの第２の設定例を示す図である。

【図9】シーケンスのピクチャサイズ及びフレームレートの第３の設定例を示す図である。

【図10】マルチモードにおいて、同一の所定単位期間内にエンコードされるシーケンスの関係を示す図である。

【図11】通常モードで複数シーケンスを生成した場合の完了通知回数を示す図である。

【図12】マルチモードにおける画像処理装置の制御シーケンスを示す図である。

【図13】ピクチャサイズとフレームレートとの関係を示す図である。

【図14】高速モードにおける画像処理装置の処理フローを示すフローチャートである。

【図15】高速モードにおける画像処理装置の制御シーケンスを示す図である。

【発明を実施するための形態】

【0029】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

【0030】

図１は、本発明の実施の形態に係るカメラシステム１の全体構成を示す図である。カメラシステム１は、複数のカメラ３（３Ａ〜３Ｃ）と、カメラ３に接続されたリアルタイムエンコーダ等の画像処理装置２と、画像処理装置２に接続されたモニタ４及びハードディスク等の記録装置５と、通信ネットワーク６を介して画像処理装置２に接続されたモニタ７とを備えて構成されている。例えば、特定の施設を警備するための監視カメラシステムの用途でカメラシステム１を利用する場合には、カメラ３は監視対象エリア内に設置され、画像処理装置２、モニタ４、及び記録装置５は施設の警備室内に設置され、モニタ７は遠隔の警備会社内に設置される。

【0031】

画像処理装置２は、カメラ３によって撮影された画像に対してＨ．２６４圧縮符号化方式でエンコードを行う。当該画像は、記録装置５に記録されるとともに、リアルタイムでモニタ４に表示される。また、当該画像は、通信ネットワーク６を介して警備会社に送信され、警備会社内のモニタ７に表示される。

【0032】

図２は、画像処理装置２の構成を簡略化して示す図である。画像処理装置２は、画像処理の処理対象であるピクチャを記憶するＤＤＲメモリ等の記憶部１３と、ピクチャに対する画像処理をソフトウェア処理によって実行するＣＰＵ等のソフトウェア処理部１１と、ピクチャに対する画像処理をハードウェア処理によって実行するハードウェアアクセラレータ等のハードウェア処理部１２とを備えて構成されている。記憶部１３、ソフトウェア処理部１１、及びハードウェア処理部１２は、システムバス１４を介して相互に接続されている。また、ソフトウェア処理部１１及びハードウェア処理部１２は、レジスタバス１５を介して相互に接続されている。

【0033】

ソフトウェア処理部１１は、画像のエンコードに用いる各種の情報をハードウェア処理部１２に通知する。ハードウェア処理部１２は、ソフトウェア処理部１１からの指示により、記憶部１３から画像を読み出して当該画像のエンコードを行う。そして、エンコードが完了すると、エンコードの完了通知をソフトウェア処理部１１に通知する。

【0034】

図３は、ハードウェア処理部１２の構成を示す図である。図３の接続関係で示すように、ハードウェア処理部１２は、ＤＭＡＲ２１と、ＤＭＡインタフェース２２と、エンコード制御回路２３と、動き探索回路２４と、動き補償回路２５と、直交変換・量子化・逆量子化回路２６と、ＣＡＢＡＣ／ＣＡＶＬＣ符号化回路等のエントロピ符号化回路２７と、ＮＡＬ符号化回路２８と、ＤＭＡＷ２９と、ＮＡＬ復号回路３０と、ＣＡＢＡＣ／ＣＡＶＬＣ復号回路等のエントロピ復号回路３１と、デブロッキングフィルタ回路等のフィルタ回路３２と、デコードシーケンサ３３と、デコード制御回路３４と、ＣＰＵインタフェース３５と、割り込み制御回路３６とを備えて構成されている。

【0035】

ＤＭＡＲ２１及びＤＭＡＷ２９は、システムバス１４を介して記憶部１３に接続されている。ＣＰＵインタフェース３５及び割り込み制御回路３６は、レジスタバス１５を介してソフトウェア処理部１１に接続されている。また、図示を省略したが、ＤＭＡＲ２１及びＤＭＡＷ２９はレジスタバス１５を介してソフトウェア処理部１１に接続されており、ＣＰＵインタフェース３５はシステムバス１４を介してソフトウェア処理部１１に接続されている。

【0036】

図３では簡略化のため接続関係の図示を省略したが、ＣＰＵインタフェース３５は、ＤＭＡＲ２１、ＤＭＡＷ２９、エンコード制御回路２３、ＮＡＬ符号化回路２８、エントロピ符号化回路２７、及びデコードシーケンサ３３に接続されている。また、割り込み制御回路３６は、エンコード制御回路２３及びデコードシーケンサ３３に接続されている。また、デコードシーケンサ３３は、エンコード制御回路２３及び割り込み制御回路３６に接続されている。また、デコード制御回路３４は、ＮＡＬ復号回路３０、エントロピ復号回路３１、動き補償回路２５、直交変換・量子化・逆量子化回路２６、及びフィルタ回路３２に接続されており、デコード時にこれらの回路を制御する。また、エンコード制御回路２３は、割り込み制御回路３６、動き探索回路２４、動き補償回路２５、直交変換・量子化・逆量子化回路２６、フィルタ回路３２、ＮＡＬ符号化回路２８、及びエントロピ符号化回路２７に接続されており、エンコード時にこれらの回路を制御する。

【0037】

エンコード時には、処理対象の画像データが、ＤＭＡＲ２１、ＤＭＡインタフェース２２、エンコード制御回路２３、動き探索回路２４、動き補償回路２５、直交変換・量子化・逆量子化回路２６、エントロピ符号化回路２７、ＮＡＬ符号化回路２８、及びＤＭＡＷ２９を経由することによって、パイプライン処理による画像のエンコードが行われる。

【0038】

デコード時には、処理対象の画像データが、ＤＭＡＲ２１、ＮＡＬ復号回路３０、エントロピ復号回路３１、直交変換・量子化・逆量子化回路２６、動き補償回路２５、フィルタ回路３２、ＤＭＡインタフェース２２、及びＤＭＡＷ２９を経由することによって、パイプライン処理による画像のデコードが行われる。

【0039】

本実施の形態に係る画像処理装置２では、ソフトウェア処理部１１による設定によって、ハードウェア処理部１２（特にＮＡＬ符号化回路２８）の符号化動作モードとして、通常モード、マルチモード、及び高速モードの３つの動作モードを任意に切り替えることが可能である。

【0040】

通常モードは、ソフトウェア処理部１１からの１回の指示でハードウェア処理部１２が１ピクチャのエンコードを行い、１ピクチャのエンコードが完了する毎に、ハードウェア処理部１２からソフトウェア処理部１１にエンコードの完了通知が通知される動作モードである。

【0041】

マルチモードは、ソフトウェア処理部１１からの１回の指示で、ハードウェア処理部１２がピクチャサイズやフレームレートが異なる複数シーケンスの複数ピクチャのエンコードを行い、当該複数ピクチャのエンコードが全て完了すると、ハードウェア処理部１２からソフトウェア処理部１１にエンコードの完了通知が通知される動作モードである。

【0042】

高速モードは、ソフトウェア処理部１１からの１回の指示で、ハードウェア処理部１２が通常モードより高いフレームレートで１シーケンスの複数ピクチャのエンコードを行い、当該複数ピクチャのエンコードが全て完了すると、ハードウェア処理部１２からソフトウェア処理部１１にエンコードの完了通知が通知される動作モードである。

【0043】

以下、各動作モードについて順に説明する。

【0044】

＜通常モード＞
図４は、通常モードにおける画像処理装置２の処理フローを示すフローチャートである。

【0045】

まずステップＰ０１においてソフトウェア処理部１１は、ハードウェア処理部１２の外部の回路に関する設定を行う。例えば、図示しないＤＭＡコントローラに関連する初期設定や、割り込み及びクロック制御に関する初期設定を行う。

【0046】

次にステップＰ０２においてソフトウェア処理部１１は、ハードウェア処理部１２に対してストリームバッファの初期設定を行う。例えば、ＮＡＬ符号化回路２８内のストリームバッファの動作モードとして、リングバッファモード及びリニアバッファモードの一方を設定する。

【0047】

次にステップＰ０３においてソフトウェア処理部１１は、ハードウェア処理部１２に対してシーケンスパラメータの設定を行う。例えば、ピクチャサイズ、レート制御関連パラメータ、量子化マトリクス、エントロピ符号化モード、及びＮＡＬヘッダ情報に関する設定を行う。

【0048】

次にステップＰ０４においてソフトウェア処理部１１は、今回の処理対象のピクチャが、処理すべき最後のピクチャであるか否かを判定する。

【0049】

最後のピクチャでない場合、次にステップＰ０５においてソフトウェア処理部１１は、ハードウェア処理部１２に対して画像バッファの設定を行う。例えば、キャプチャ画像バッファ、ローカルデコード画像バッファ、及び参照画像バッファに関する設定を行う。

【0050】

次にステップＰ０６においてソフトウェア処理部１１は、ハードウェア処理部１２への入力ピクチャとなるキャプチャ画像を、記憶部１３内に準備する。

【0051】

次にステップＰ０７においてソフトウェア処理部１１は、ハードウェア処理部１２に対してピクチャパラメータの設定を行う。例えば、ピクチャの基本情報、デブロッキングフィルタ関連、動き探索関連、及びエントロピ符号化関連の設定を行う。

【0052】

次にステップＰ０８においてソフトウェア処理部１１は、記憶部１３からハードウェア処理部１２へのキャプチャ画像及び参照画像の転送の開始を指示する。

【0053】

次にステップＰ０９においてソフトウェア処理部１１は、ハードウェア処理部１２に対して、次のピクチャのエンコードで使用する量子化マトリクスに関する設定を行う。

【0054】

次にステップＰ１０においてソフトウェア処理部１１は、ハードウェア処理部１２に対してマクロブロック処理の開始を指示する。

【0055】

次にステップＰ１１においてソフトウェア処理部１１は、ハードウェア処理部１２に対して、ＮＡＬ化に必要なヘッダ情報のパラメータ設定を行う。例えば、ヘッダデータの有効ビット長、及びヘッダの開始バイト位置に関する設定を行う。ハードウェア処理部１２を通常モードで動作させる場合には、１ピクチャのエンコードで使用するヘッダ情報を設定する。

【0056】

次にステップＰ１２においてソフトウェア処理部１１は、ハードウェア処理部１２に対してヘッダ情報のＮＡＬ化の開始を指示する。

【0057】

次にステップＰ１３，Ｐ１４においてソフトウェア処理部１１は、エンコードの完了通知がハードウェア処理部１２から送られてくるまで待機する。エンコードの完了通知は、割り込み通知としてハードウェア処理部１２からソフトウェア処理部１１に入力される。

【0058】

完了通知を受領すると、次にステップＰ１５においてソフトウェア処理部１１は、ＮＡＬエラーの解析を行う。例えば、ストリームバッファのバッファフルエラーの発生の有無を解析する。

【0059】

ＮＡＬエラーが発生している場合、次にステップＰ２４においてソフトウェア処理部１１は、所定のエラー処理によってエンコードを終了する。あるいは、バッファサイズを拡大してステップＰ０４以降の処理をやり直しても良い。

【0060】

ＮＡＬエラーが発生していない場合、次にステップＰ１６においてソフトウェア処理部１１は、ｃａｂａｃ＿ｚｅｒｏ＿ｗｏｒｄ（ＣＺＷ）及び／又はフィラーデータの挿入の要否を判定する。例えば、その時点でのストリームの発生符号量に関する情報をハードウェア処理部１２から取得することにより、当該発生符号量に基づいてＣＺＷ及び／又はフィラーデータの挿入の要否を判定する。

【0061】

ＣＺＷ及び／又はフィラーデータの挿入が必要である場合、次にステップＰ１７においてソフトウェア処理部１１は、ハードウェア処理部１２に対して、ＮＡＬ化に必要なＣＺＷ及び／又はフィラーデータのパラメータ設定を行う。例えば、挿入するＣＺＷ及び／又はフィラーデータのサイズを設定する。

【0062】

次にステップＰ１８においてソフトウェア処理部１１は、ハードウェア処理部１２に対して、ＣＺＷ及び／又はフィラーデータのＮＡＬ化の開始を指示する。

【0063】

次にステップＰ１９，Ｐ２０においてソフトウェア処理部１１は、エンコードの完了通知がハードウェア処理部１２から送られてくるまで待機する。エンコードの完了通知は、割り込み通知としてハードウェア処理部１２からソフトウェア処理部１１に入力される。

【0064】

完了通知を受領すると、次にステップＰ２１においてソフトウェア処理部１１は、ＮＡＬエラーの解析を行う。例えば、ストリームバッファのバッファフルエラーの発生の有無を解析する。

【0065】

ＮＡＬエラーが発生している場合、次にステップＰ２４においてソフトウェア処理部１１は、所定のエラー処理によってエンコードを終了する。あるいは、バッファサイズを拡大してステップＰ０４以降の処理をやり直しても良い。

【0066】

ＮＡＬエラーが発生していない場合、次にステップＰ２２においてソフトウェア処理部１１は、エンコードの完了後にハードウェア処理部１２から記憶部１３に書き込まれたＮＡＬ化ストリームを、記憶部１３から出力する。

【0067】

次にステップＰ２３においてソフトウェア処理部１１は、エンコードピクチャ用のカウンタ値を１だけインクリメントした後、ステップＰ０４の判定を行う。これにより、予め設定された所定数のピクチャのエンコードが完了するまで、上記の処理が繰り返される。そして、最後のピクチャのエンコードが完了すると、処理が終了する。

【0068】

図５は、通常モードにおける画像処理装置２の制御シーケンスを示す図である。

【0069】

まずソフトウェア処理部１１は、各種レジスタの設定情報を初期化するためのリセット信号Ｓ０１を、エンコード制御回路２３に入力する。

【0070】

次にＮＡＬ符号化回路２８は、ウエイト設定信号Ｓ０２をエントロピ符号化回路２７に入力する。

【0071】

次にソフトウェア処理部１１は、上記ステップＰ０３，Ｐ０５，Ｐ０７で述べた設定情報等を含む初期設定信号Ｓ０３を、エンコード制御回路２３に入力する。

【0072】

次にソフトウェア処理部１１は、上記ステップＰ０２で述べたストリームバッファの初期設定信号Ｓ０４を、ＮＡＬ符号化回路２８に入力する。

【0073】

次にソフトウェア処理部１１は、上記ステップＰ０８で述べた記憶部１３からハードウェア処理部１２への画像転送を開始させるコマンドＳ０５を、エンコード制御回路２３に入力する。

【0074】

次にソフトウェア処理部１１は、上記ステップＰ０９で述べた量子化マトリクスの設定信号Ｓ０６を、エンコード制御回路２３に入力する。

【0075】

次にソフトウェア処理部１１は、上記ステップＰ１０で述べたマクロブロック処理を開始させるコマンドＳ０７を、エンコード制御回路２３に入力する。

【0076】

次にエンコード制御回路２３は、マクロブロックのエントロピ符号化を開始させる信号Ｓ０８を、エントロピ符号化回路２７に入力する。これにより、エントロピ符号化回路２７は、当該マクロブロックのエントロピ符号化を開始する。

【0077】

次にソフトウェア処理部１１は、上記ステップＰ１１で述べたヘッダ情報の設定信号Ｓ０９を、ＮＡＬ符号化回路２８に入力する。

【0078】

次にソフトウェア処理部１１は、上記ステップＰ１２で述べたヘッダ情報のＮＡＬ化を開始させるコマンドＳ１０を、ＮＡＬ符号化回路２８に入力する。

【0079】

次にＮＡＬ符号化回路２８は、ＮＡＬ符号化回路２８のクロック開始信号Ｓ１１を、エンコード制御回路２３に入力する。これにより、上記ステップＰ１２で述べたＮＡＬ符号化回路２８によるＮＡＬ化処理が開始される。

【0080】

ヘッダ情報のＮＡＬ化が完了すると、次にＮＡＬ符号化回路２８は、ヘッダ情報のＮＡＬ化完了信号Ｓ１２を、ソフトウェア処理部１１に入力する。また、ＮＡＬ符号化回路２８は、ウエイト解除信号Ｓ１３をエントロピ符号化回路２７に入力する。これにより、エントロピ符号化回路２７からＮＡＬ符号化回路２８にマクロブロックのデータが入力され、ＮＡＬ符号化回路２８は当該マクロブロックのデータに関してＮＡＬ化を行う。

【0081】

次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１４を、エンコード制御回路２３に入力する。

【0082】

次にエンコード制御回路２３は、次のマクロブロックのエントロピ符号化を開始させる信号Ｓ１５を、エントロピ符号化回路２７に入力する。当該マクロブロックのエントロピ符号化が完了すると、次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１６をエンコード制御回路２３に入力する。図中のループＬ０２で示すように、エンコード制御回路２３は、ピクチャ内の全てのマクロブロックに関するエントロピ符号化が完了するまで、同様の処理を繰り返す。

【0083】

次にエンコード制御回路２３は、最後のマクロブロックのエントロピ符号化を開始させる信号Ｓ１７を、エントロピ符号化回路２７に入力する。当該マクロブロックのエントロピ符号化が完了すると、次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１８をエンコード制御回路２３に入力する。また、エントロピ符号化回路２７は、ピクチャ内の最後のマクロブロックであることを示す信号Ｓ１９を、ＮＡＬ符号化回路２８に入力する。

【0084】

次にＮＡＬ符号化回路２８は、最後のマクロブロックのスライスデータに関するＮＡＬ化が完了すると、ＮＡＬ符号化回路２８のクロック停止信号Ｓ２０を、エンコード制御回路２３に入力する。また、ＮＡＬ符号化回路２８は、ウエイト設定信号Ｓ２１をエントロピ符号化回路２７に入力する。

【0085】

次にＮＡＬ符号化回路２８は、１ピクチャ分のスライスデータのＮＡＬ化が完了したことを示すＮＡＬ化完了信号Ｓ２２を、エンコード制御回路２３に入力する。

【0086】

次にエンコード制御回路２３は、上記ステップＰ１３で述べたエンコードの完了通知Ｓ２３を、ソフトウェア処理部１１に入力する。

【0087】

上記ステップＰ１６〜Ｐ２１で述べたようにＣＺＷ及び／又はフィラーデータの挿入が必要である場合には、次にソフトウェア処理部１１は、上記ステップＰ１８で述べたＣＺＷ及び／又はフィラーデータのＮＡＬ化を開始させるコマンドＳ２４を、ＮＡＬ符号化回路２８に入力する。

【0088】

次にＮＡＬ符号化回路２８は、ＮＡＬ符号化回路２８のクロック開始信号Ｓ２５を、エンコード制御回路２３に入力する。これにより、上記ステップＰ１８で述べたＮＡＬ符号化回路２８によるＮＡＬ化処理が開始される。

【0089】

ＣＺＷ及び／又はフィラーデータのＮＡＬ化が完了すると、次にＮＡＬ符号化回路２８は、ＣＺＷ及び／又はフィラーデータのＮＡＬ化完了信号Ｓ２６を、ソフトウェア処理部１１に入力する。

【0090】

次にＮＡＬ符号化回路２８は、ＮＡＬ符号化回路２８のクロック停止信号Ｓ２７を、エンコード制御回路２３に入力する。

【0091】

図中のループＬ０１で示すように、処理対象である全てのピクチャに関するＮＡＬ化が完了するまで、上記と同様の処理が繰り返し実行される。

【0092】

＜マルチモード＞
図１を参照して、画像処理装置２から出力された画像は、記録装置５への記録やモニタ４，７への表示等の様々な用途に利用される。そこでマルチモードでは、カメラ３によって撮影された画像（つまり画像処理装置２への入力ピクチャ）を画像処理装置２が同一時間で並行にリアルタイムエンコードすることにより、用途に応じてピクチャサイズやフレームレートが異なる複数のシーケンス（つまり画像処理装置２からの出力ピクチャ）を画像処理装置２から出力する。

【0093】

本実施の形態の例において、画像処理装置２は、最大処理能力（最大演算能力）としてピクチャサイズが１９２０×１０８０でフレームレートが１０３ｆｐｓの画像を処理可能であるものとする。この場合、画像処理装置２は１秒あたり８４０４８０個のマクロブロックを処理可能である。画像処理装置２は、この最大処理能力を複数シーケンスの生成に分配することによって、複数シーケンスのリアルタイムエンコードを実現する。

【0094】

図６は、画像処理装置２が生成する複数シーケンスの一例を示す図である。ピクチャサイズが１９２０×１０８０でフレームレートが１０３ｆｐｓの最大処理能力を分配することにより、画像処理装置２は、記録装置５への記録用途として、ピクチャサイズが１９２０×１０８０でフレームレートが３０ｆｐｓ、ピクチャサイズが６４０×４８０でフレームレートが３０ｆｐｓ、及びピクチャサイズが３２０×２４０でフレームレートが３０ｆｐｓの３個のシーケンスと、高レートでの配信用途（例えばモニタ４への表示用途）として、ピクチャサイズが１９２０×１０８０でフレームレートが３０ｆｐｓ、ピクチャサイズが６４０×４８０でフレームレートが３０ｆｐｓ、及びピクチャサイズが３２０×２４０でフレームレートが３０ｆｐｓの３個のシーケンスと、低レートでの配信用途（例えばモニタ７への表示用途）として、ピクチャサイズが１９２０×１０８０でフレームレートが１０ｆｐｓ、ピクチャサイズが６４０×４８０でフレームレートが１０ｆｐｓ、及びピクチャサイズが３２０×２４０でフレームレートが１０ｆｐｓの３個のシーケンスとの、合計９個のシーケンスを生成することが可能である。

【0095】

各シーケンスのピクチャサイズ及びフレームレートは、ソフトウェア処理部１１によって設定される。ソフトウェア処理部１１は、画像処理装置２の最大処理能力と、ユーザによって指定されたシーケンスの用途とに基づいて、複数シーケンスに分配された処理能力の合計が画像処理装置２の最大処理能力以下となるように、各シーケンスのピクチャサイズ及びフレームレートを設定する。

【0096】

図７は、シーケンスのピクチャサイズ及びフレームレートの第１の設定例を示す図である。記録装置５への記録用途として、ピクチャサイズが１９２０×１０８０、６４０×３６０、３２０×１８０でフレームレートがいずれも３０ｆｐｓの３個のシーケンスＳＥＱ００〜ＳＥＱ０２と、高レートでの配信用途として、ピクチャサイズが１９２０×１０８０、６４０×３６０、３２０×１８０でフレームレートがいずれも１５ｆｐｓの３個のシーケンスＳＥＱ１０〜ＳＥＱ１２と、低レートでの配信用途として、ピクチャサイズが１９２０×１０８０、６４０×３６０、３２０×１８０でフレームレートがいずれも１０ｆｐｓの３個のシーケンスＳＥＱ２０〜ＳＥＱ２２とが設定されている。

【0097】

図８は、シーケンスのピクチャサイズ及びフレームレートの第２の設定例を示す図である。記録装置５への記録用途として、ピクチャサイズが１９２０×１０８０、６４０×３６０、３２０×１８０でフレームレートがいずれも３０ｆｐｓの３個のシーケンスＳＥＱ００〜ＳＥＱ０２と、高レートでの配信用途として、ピクチャサイズが１９２０×１０８０、３２０×１８０、３２０×１８０でフレームレートがいずれも３０ｆｐｓの３個のシーケンスＳＥＱ１０〜ＳＥＱ１２と、低レートでの配信用途として、ピクチャサイズが１９２０×１０８０、６４０×３６０、３２０×１８０でフレームレートがいずれも１０ｆｐｓの３個のシーケンスＳＥＱ２０〜ＳＥＱ２２とが設定されている。

【0098】

図９は、シーケンスのピクチャサイズ及びフレームレートの第３の設定例を示す図である。記録装置５への記録用途として、ピクチャサイズが１９２０×１０８０、６４０×３６０、３２０×１８０でフレームレートがいずれも３０ｆｐｓの３個のシーケンスＳＥＱ００〜ＳＥＱ０２と、高レートでの配信用途として、ピクチャサイズが１２８０×７２０、３２０×１８０、３２０×１８０でフレームレートがいずれも３０ｆｐｓの３個のシーケンスＳＥＱ１０〜ＳＥＱ１２と、低レートでの配信用途として、ピクチャサイズが１２８０×７２０、６４０×３６０、３２０×１８０でフレームレートがいずれも３０ｆｐｓの３個のシーケンスＳＥＱ２０〜ＳＥＱ２２とが設定されている。

【0099】

このようにマルチモードでは、画像処理装置２の最大処理能力を分配することによって、複数シーケンスＳＥＱ００〜ＳＥＱ０２，ＳＥＱ１０〜ＳＥＱ１２，ＳＥＱ２０〜ＳＥＱ２２を生成するためのエンコードが並行して行われる。

【0100】

図１０は、マルチモードにおいて、同一の所定単位期間内にエンコードされるシーケンスの関係を示す図である。所定単位期間は、マルチエンコードで扱う複数シーケンスのうち最高フレームレートのシーケンスに関する、ピクチャ毎のエンコード間隔（垂直同期期間）である。ここでは図７に示した第１の設定例が採用された場合を想定しており、最高フレームレートが３０ｆｐｓであるため、垂直同期期間Ｖ１〜Ｖ９は３３ｍｓである。

【0101】

シーケンスＳＥＱ００〜ＳＥＱ０２はフレームレートが３０ｆｐｓであるため、垂直同期期間Ｖ１〜Ｖ９の全てにおいてエンコードが行われる。シーケンスＳＥＱ１０〜ＳＥＱ１２はフレームレートが１５ｆｐｓであるため、垂直同期期間Ｖ１，Ｖ３，Ｖ５，Ｖ７，Ｖ９においてエンコードが行われる。シーケンスＳＥＱ２０〜ＳＥＱ２２はフレームレートが１０ｆｐｓであるため、垂直同期期間Ｖ１，Ｖ４，Ｖ７においてエンコードが行われる。その結果、垂直同期期間Ｖ１では９個、垂直同期期間Ｖ２では３個、垂直同期期間Ｖ３では６個、垂直同期期間Ｖ４では６個、垂直同期期間Ｖ５では６個、垂直同期期間Ｖ６では３個、垂直同期期間Ｖ７では９個、垂直同期期間Ｖ８では３個、垂直同期期間Ｖ９では６個のピクチャのエンコードが行われる。

【0102】

上述の通常モードによると、１ピクチャの処理が完了する度に、ソフトウェア処理部１１からハードウェア処理部１２へのコマンドＳ０５，Ｓ０７，Ｓ１０、及び、ハードウェア処理部１２からソフトウェア処理部１１へのエンコードの完了通知Ｓ２３が発生する。従って、各垂直同期期間Ｖ１〜Ｖ９において、エンコードするピクチャ数に等しい数のコマンドＳ０５，Ｓ０７，Ｓ１０及び完了通知Ｓ２３がそれぞれ発生する。そこでマルチモードでは、各垂直同期期間Ｖ１〜Ｖ９においてはハードウェア処理部１２内で複数のピクチャを連続して処理し、ピクチャ毎のコマンドＳ０５，Ｓ０７，Ｓ１０及び完了通知Ｓ２３を省略する。これにより、図１０に示すように各垂直同期期間Ｖ１〜Ｖ９における完了通知Ｓ２３の回数はいずれも１回となり、割り込み通知の発生回数を抑制することができる。

【0103】

図１１は、図１０との比較のために、通常モードで複数シーケンスを生成した場合の完了通知回数を示す図である。通常モードによると、垂直同期期間Ｖ１では９回、垂直同期期間Ｖ２では３回、垂直同期期間Ｖ３では６回、垂直同期期間Ｖ４では６回、垂直同期期間Ｖ５では６回、垂直同期期間Ｖ６では３回、垂直同期期間Ｖ７では９回、垂直同期期間Ｖ８では３回、垂直同期期間Ｖ９では６回の完了通知Ｓ２３が発生する。

【0104】

図１２は、マルチモードにおける画像処理装置２の制御シーケンスを示す図である。

【0105】

まずソフトウェア処理部１１は、各種レジスタの設定情報を初期化するためのリセット信号Ｓ０１を、エンコード制御回路２３に入力する。

【0106】

次にＮＡＬ符号化回路２８は、ウエイト設定信号Ｓ０２をエントロピ符号化回路２７に入力する。

【0107】

次にソフトウェア処理部１１は、上記ステップＰ０３，Ｐ０５，Ｐ０７で述べた設定情報等を含む初期設定信号Ｓ０３を、エンコード制御回路２３に入力する。マルチモードでは、各垂直同期期間においてエンコードする複数のシーケンスを特定するための情報が、初期設定信号Ｓ０３に含まれる。また、マルチモードでは、ＮＡＬ符号化回路２８内のストリームバッファの動作モードとして、リニアバッファモードが設定される。

【0108】

次にソフトウェア処理部１１は、上記ステップＰ０２で述べたストリームバッファの初期設定信号Ｓ０４を、ＮＡＬ符号化回路２８に入力する。

【0109】

次にソフトウェア処理部１１は、上記ステップＰ０８で述べた記憶部１３からハードウェア処理部１２への画像転送を開始させるコマンドＳ０５を、エンコード制御回路２３に入力する。マルチモードでは、各垂直同期間においてエンコードする全てのキャプチャ画像が、記憶部１３内に準備されている。

【0110】

次にソフトウェア処理部１１は、上記ステップＰ０９で述べた量子化マトリクスの設定信号Ｓ０６を、エンコード制御回路２３に入力する。

【0111】

次にソフトウェア処理部１１は、ＮＡＬ符号化回路２８がマルチモードとして動作すべきことを指示する設定信号Ｓ３０を、ＮＡＬ符号化回路２８に入力する。

【0112】

次にソフトウェア処理部１１は、上記ステップＰ１０で述べたマクロブロック処理を開始させるコマンドＳ０７を、エンコード制御回路２３に入力する。

【0113】

次にエンコード制御回路２３は、マクロブロックのエントロピ符号化を開始させる信号Ｓ０８を、エントロピ符号化回路２７に入力する。これにより、エントロピ符号化回路２７は、当該マクロブロックのエントロピ符号化を開始する。

【0114】

次にソフトウェア処理部１１は、上記ステップＰ１１で述べたヘッダ情報の設定信号Ｓ０９を、ＮＡＬ符号化回路２８に入力する。マルチモードでは、各垂直同期間においてエンコードする全てのピクチャに関するヘッダ情報が、一括してＮＡＬ符号化回路２８に入力される。

【0115】

次にソフトウェア処理部１１は、上記ステップＰ１２で述べたヘッダ情報のＮＡＬ化を開始させるコマンドＳ１０を、ＮＡＬ符号化回路２８に入力する。

【0116】

次にＮＡＬ符号化回路２８は、ＮＡＬ符号化回路２８のクロック開始信号Ｓ１１を、エンコード制御回路２３に入力する。これにより、上記ステップＰ１２で述べたＮＡＬ符号化回路２８によるＮＡＬ化処理が開始される。

【0117】

ヘッダ情報のＮＡＬ化が完了すると、次にＮＡＬ符号化回路２８は、ヘッダ情報のＮＡＬ化完了信号Ｓ１２を、ソフトウェア処理部１１に入力する。マルチモードでは、各垂直同期間においてエンコードする最後のピクチャに関するヘッダ情報のＮＡＬ化が完了した場合にのみ、ＮＡＬ化完了信号Ｓ１２がソフトウェア処理部１１に入力される。

【0118】

また、ＮＡＬ符号化回路２８は、ウエイト解除信号Ｓ１３をエントロピ符号化回路２７に入力する。これにより、エントロピ符号化回路２７からＮＡＬ符号化回路２８にマクロブロックのデータが入力され、ＮＡＬ符号化回路２８は当該マクロブロックのデータに関してＮＡＬ化を行う。

【0119】

次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１４を、エンコード制御回路２３に入力する。

【0120】

次にエンコード制御回路２３は、次のマクロブロックのエントロピ符号化を開始させる信号Ｓ１５を、エントロピ符号化回路２７に入力する。当該マクロブロックのエントロピ符号化が完了すると、次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１６をエンコード制御回路２３に入力する。図中のループＬ０２で示すように、エンコード制御回路２３は、ピクチャ内の全てのマクロブロックに関するエントロピ符号化が完了するまで、同様の処理を繰り返す。

【0121】

次にエンコード制御回路２３は、最後のマクロブロックのエントロピ符号化を開始させる信号Ｓ１７を、エントロピ符号化回路２７に入力する。当該マクロブロックのエントロピ符号化が完了すると、次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１８をエンコード制御回路２３に入力する。また、エントロピ符号化回路２７は、ピクチャ内の最後のマクロブロックであることを示す信号Ｓ１９を、ＮＡＬ符号化回路２８に入力する。

【0122】

次にＮＡＬ符号化回路２８は、最後のマクロブロックのスライスデータに関するＮＡＬ化が完了すると、ＮＡＬ符号化回路２８のクロック停止信号Ｓ２０を、エンコード制御回路２３に入力する。マルチモードでは、各垂直同期間においてエンコードする最後のピクチャに関するスライスデータのＮＡＬ化が完了した場合にのみ、クロック停止信号Ｓ２０がソフトウェア処理部１１に入力される。

【0123】

また、ＮＡＬ符号化回路２８は、ウエイト設定信号Ｓ２１をエントロピ符号化回路２７に入力する。

【0124】

また、ＮＡＬ符号化回路２８は、１ピクチャ分のスライスデータのＮＡＬ化が完了したことを示すＮＡＬ化完了信号Ｓ２２を、エンコード制御回路２３に入力する。

【0125】

次にエンコード制御回路２３は、次のピクチャのエントロピ符号化を開始し、当該ピクチャのスライスデータのＮＡＬ化が完了すると、ＮＡＬ化完了信号Ｓ２２がＮＡＬ符号化回路２８からエンコード制御回路２３に再び入力される。図中のループＬ０３で示すように、エンコード制御回路２３は、各垂直同期間においてエンコードする全てのピクチャに関するスライスデータのＮＡＬ化が完了するまで、同様の処理を繰り返す。

【0126】

次にエンコード制御回路２３は、上記ステップＰ１３で述べたエンコードの完了通知Ｓ２３を、ソフトウェア処理部１１に入力する。

【0127】

上記ステップＰ１６〜Ｐ２１で述べたようにＣＺＷ及び／又はフィラーデータの挿入が必要である場合には、次にソフトウェア処理部１１は、上記ステップＰ１８で述べたＣＺＷ及び／又はフィラーデータのＮＡＬ化を開始させるコマンドＳ２４を、ＮＡＬ符号化回路２８に入力する。

【0128】

次にＮＡＬ符号化回路２８は、ＮＡＬ符号化回路２８のクロック開始信号Ｓ２５を、エンコード制御回路２３に入力する。これにより、上記ステップＰ１８で述べたＮＡＬ符号化回路２８によるＮＡＬ化処理が開始される。

【0129】

ＣＺＷ及び／又はフィラーデータのＮＡＬ化が完了すると、次にＮＡＬ符号化回路２８は、ＣＺＷ及び／又はフィラーデータのＮＡＬ化完了信号Ｓ２６を、ソフトウェア処理部１１に入力する。図中のループＬ０４で示すように、ＮＡＬ符号化回路２８は、各垂直同期間においてエンコードする全てのピクチャに関するＣＺＷ及び／又はフィラーデータのＮＡＬ化が完了するまで、同様の処理を繰り返す。

【0130】

次にＮＡＬ符号化回路２８は、ＮＡＬ符号化回路２８のクロック停止信号Ｓ２７を、エンコード制御回路２３に入力する。マルチモードでは、各垂直同期間においてエンコードする最後のピクチャに関するＣＺＷ及び／又はフィラーデータのＮＡＬ化が完了した場合にのみ、クロック停止信号Ｓ２７がソフトウェア処理部１１に入力される。

【0131】

なお、図１２の例では、各垂直同期間においてエンコードする全てのピクチャに関するスライスデータのＮＡＬ化が完了した後に、当該全てのピクチャに関するＣＺＷ及び／又はフィラーデータをまとめてＮＡＬ化する例について述べた。この例に限らず、各垂直同期間においてエンコードする各ピクチャに関するスライスデータのＮＡＬ化が完了した後に、当該ピクチャに関するＣＺＷ及び／又はフィラーデータをＮＡＬ化することもできる。

【0132】

図中のループＬ０１で示すように、処理対象である全てのピクチャに関するＮＡＬ化が完了するまで、上記と同様の処理が繰り返し実行される。

【0133】

このように、ハードウェア処理部１２の動作モードがマルチモードに設定された場合には、ソフトウェア処理部１１は、複数の出力ピクチャに関する複数の設定情報（各垂直同期間においてエンコードする全てのピクチャに関するヘッダ情報等）を、ハードウェア処理部１２が入力ピクチャのエンコードを開始する前にハードウェア処理部１２に一括して通知する。また、ハードウェア処理部１２は、ソフトウェア処理部１１から通知された複数の設定情報に基づいて、複数の出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行する。そして、複数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知Ｓ２３をソフトウェア処理部１１に割り込み通知する。その結果、ピクチャサイズやフレームレートが異なる複数シーケンスの出力ピクチャに関するマルチエンコードを実行するにあたって、ソフトウェア処理部１１とハードウェア処理部１２との間で１ピクチャ毎にコマンド発行及び割り込み通知を行う場合と比較すると、ソフトウェア処理部１１の処理負荷を軽減できるとともに、エンコード処理の所要時間を短縮することが可能となる。

【0134】

また、ソフトウェア処理部１１は、画像処理装置２で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャの用途とに基づいて、複数の出力ピクチャの各々のピクチャサイズ及びフレームレートを設定する。従って、画像処理装置２の最大処理能力を有効に活用しつつ、マルチエンコードを適切に実行することが可能となる。

【0135】

また、ソフトウェア処理部１１は、複数の出力ピクチャのうち、各所定単位期間において生成すべき出力ピクチャを特定する情報を、初期設定信号Ｓ０３（設定情報）に含めてハードウェア処理部１２に通知する。従って、ハードウェア処理部１２は、複数の出力ピクチャのうち各所定単位期間において生成すべき出力ピクチャを、初期設定信号Ｓ０３に基づいて適切に処理することが可能となる。

【0136】

また、ソフトウェア処理部１１からハードウェア処理部１２に通知された設定情報は、ＮＡＬ符号化回路２８（ＮＡＬ化回路）及びエンコード制御回路２３（制御回路）に入力される。このように、マルチエンコードを実行するにあたって必要となる設定情報をＮＡＬ符号化回路２８及びエンコード制御回路２３に入力することにより、ハードウェア処理部１２においてマルチエンコードを適切に実行することが可能となる。

【0137】

＜高速モード＞
上記と同様に、画像処理装置２は、最大処理能力としてピクチャサイズが１９２０×１０８０でフレームレートが１０３ｆｐｓの画像を処理可能であるものとする。また、１マクロブロックのエンコードに必要な処理クロック数が３３０サイクルであるものとする。この場合、ピクチャサイズが１９２０×１０８０でフレームレートが１０３ｆｐｓの画像を処理するのに必要なハードウェア処理部１２のクロック周波数は、２７８ＭＨｚである。

【0138】

そこで高速モードでは、ハードウェア処理部１２のクロック周波数の上限値を２７８ＭＨｚとして、ピクチャサイズを１９２０×１０８０よりも下げることにより、１０３ｆｐｓより高いフレームレートの画像を扱えるようにする。

【0139】

図１３は、ピクチャサイズとフレームレートとの関係を示す図である。例えば、ピクチャサイズが６４０×４８０でフレームレートが１６０ｆｐｓの画像を処理するのに必要なクロック周波数は、上限値２７８ＭＨｚ以下の６３．４ＭＨｚであるため、画像処理装置２の処理能力の範囲内で当該画像を処理することが可能である。クロック周波数の値に代えて×印を記した項目は、クロック周波数が上限値２７８ＭＨｚを超える領域に相当する。

【0140】

図１３によると、ピクチャサイズが１９２０×１０８０であれば最大フレームレートは１０３ｆｐｓであり、ピクチャサイズが８５４×４８０であれば最大フレームレートは４００ｆｐｓであり、ピクチャサイズが６４０×４８０であれば最大フレームレートは４００ｆｐｓであり、ピクチャサイズが６４０×３６０であれば最大フレームレートは８００ｆｐｓであり、ピクチャサイズが３５２×２８８であれば最大フレームレートは１５００ｆｐｓであり、ピクチャサイズが３２０×２４０であれば最大フレームレートは１５００ｆｐｓであり、ピクチャサイズが３２０×１８０であれば最大フレームレートは３０００ｆｐｓであり、ピクチャサイズが１７６×１４４であれば最大フレームレートは６０００ｆｐｓであり、ピクチャサイズが１６０×１２８であれば最大フレームレートは８０００ｆｐｓであることが分かる。

【0141】

各ピクチャサイズに対する最大フレームレートは、ソフトウェア処理部１１によって設定される。ソフトウェア処理部１１は、画像処理装置２で処理可能な最大ピクチャサイズ（１９２０×１０８０）及び当該最大ピクチャサイズに対応するフレームレート（１０３ｆｐｓ）と、出力ピクチャのピクチャサイズと、ハードウェア処理部１２のクロック周波数の上限値（２７８ＭＨｚ）とに基づいて、出力ピクチャの最大フレームレートを設定する。

【0142】

上述の通常モードによると、１ピクチャの処理が完了する度に、ソフトウェア処理部１１からハードウェア処理部１２へのコマンドＳ０５，Ｓ０７，Ｓ１０、及び、ハードウェア処理部１２からソフトウェア処理部１１へのエンコードの完了通知Ｓ２３が発生する。従って、高フレームレートの画像を扱う場合には、フレームレートに比例してコマンドＳ０５，Ｓ０７，Ｓ１０及び完了通知Ｓ２３の発生回数が増加する。そこで高速モードでは、指定数（例えばＧＯＰ１５の場合は２５５個、ＧＯＰ３０の場合は２４０個）のピクチャを連続して処理し、これら指定数のピクチャ内では、ピクチャ毎のコマンドＳ０５，Ｓ０７，Ｓ１０及び完了通知Ｓ２３を省略する。これにより、割り込み通知の発生回数を抑制することができる。

【0143】

図１４は、高速モードにおける画像処理装置２の処理フローを示すフローチャートである。図４に示した通常モードとの相違点は、処理負荷を軽減するためにステップＰ１６〜Ｐ２１のＣＺＷ及び／又はフィラーデータの挿入処理を省略したことである。その他については図４と同様であるため、重複した説明は省略する。

【0144】

図１５は、高速モードにおける画像処理装置２の制御シーケンスを示す図である。

【0145】

まずソフトウェア処理部１１は、各種レジスタの設定情報を初期化するためのリセット信号Ｓ０１を、エンコード制御回路２３に入力する。

【0146】

次にＮＡＬ符号化回路２８は、ウエイト設定信号Ｓ０２をエントロピ符号化回路２７に入力する。

【0147】

次にソフトウェア処理部１１は、上記ステップＰ０３，Ｐ０５，Ｐ０７で述べた設定情報等を含む初期設定信号Ｓ０３を、エンコード制御回路２３に入力する。高速モードでは、連続エンコードを行う指定数に関する情報が、初期設定信号Ｓ０３に含まれる。

【0148】

次にソフトウェア処理部１１は、上記ステップＰ０２で述べたストリームバッファの初期設定信号Ｓ０４を、ＮＡＬ符号化回路２８に入力する。

【0149】

次にソフトウェア処理部１１は、上記ステップＰ０８で述べた記憶部１３からハードウェア処理部１２への画像転送を開始させるコマンドＳ０５を、エンコード制御回路２３に入力する。高速モードでは、連続エンコードする指定数の全てのキャプチャ画像が、記憶部１３内に準備されている。

【0150】

次にソフトウェア処理部１１は、上記ステップＰ０９で述べた量子化マトリクスの設定信号Ｓ０６を、エンコード制御回路２３に入力する。

【0151】

次にソフトウェア処理部１１は、ＮＡＬ符号化回路２８が高速モードとして動作すべきことを指示する設定信号Ｓ４０を、ＮＡＬ符号化回路２８に入力する。

【0152】

次にソフトウェア処理部１１は、上記ステップＰ１０で述べたマクロブロック処理を開始させるコマンドＳ０７を、エンコード制御回路２３に入力する。

【0153】

次にエンコード制御回路２３は、マクロブロックのエントロピ符号化を開始させる信号Ｓ０８を、エントロピ符号化回路２７に入力する。これにより、エントロピ符号化回路２７は、当該マクロブロックのエントロピ符号化を開始する。

【0154】

次にソフトウェア処理部１１は、上記ステップＰ１１で述べたヘッダ情報の設定信号Ｓ０９を、ＮＡＬ符号化回路２８に入力する。高速モードでは、連続エンコードする指定数の全てのピクチャに関するヘッダ情報が、一括してＮＡＬ符号化回路２８に入力される。

【0155】

次にソフトウェア処理部１１は、上記ステップＰ１２で述べたヘッダ情報のＮＡＬ化を開始させるコマンドＳ１０を、ＮＡＬ符号化回路２８に入力する。

【0156】

次にＮＡＬ符号化回路２８は、ＮＡＬ符号化回路２８のクロック開始信号Ｓ１１を、エンコード制御回路２３に入力する。これにより、上記ステップＰ１２で述べたＮＡＬ符号化回路２８によるＮＡＬ化処理が開始される。

【0157】

ヘッダ情報のＮＡＬ化が完了すると、次にＮＡＬ符号化回路２８は、ヘッダ情報のＮＡＬ化完了信号Ｓ１２を、ソフトウェア処理部１１に入力する。高速モードでは、連続エンコードする指定数の全てのピクチャに関するヘッダ情報のＮＡＬ化が完了した場合にのみ、ＮＡＬ化完了信号Ｓ１２がソフトウェア処理部１１に入力される。

【0158】

また、ＮＡＬ符号化回路２８は、ウエイト解除信号Ｓ１３をエントロピ符号化回路２７に入力する。これにより、エントロピ符号化回路２７からＮＡＬ符号化回路２８にマクロブロックのデータが入力され、ＮＡＬ符号化回路２８は当該マクロブロックのデータに関してＮＡＬ化を行う。

【0159】

次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１４を、エンコード制御回路２３に入力する。

【0160】

次にエンコード制御回路２３は、次のマクロブロックのエントロピ符号化を開始させる信号Ｓ１５を、エントロピ符号化回路２７に入力する。当該マクロブロックのエントロピ符号化が完了すると、次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１６をエンコード制御回路２３に入力する。図中のループＬ０２で示すように、エンコード制御回路２３は、ピクチャ内の全てのマクロブロックに関するエントロピ符号化が完了するまで、同様の処理を繰り返す。

【0161】

次にエンコード制御回路２３は、最後のマクロブロックのエントロピ符号化を開始させる信号Ｓ１７を、エントロピ符号化回路２７に入力する。当該マクロブロックのエントロピ符号化が完了すると、次にエントロピ符号化回路２７は、マクロブロックのエントロピ符号化の完了信号Ｓ１８をエンコード制御回路２３に入力する。また、エントロピ符号化回路２７は、ピクチャ内の最後のマクロブロックであることを示す信号Ｓ１９を、ＮＡＬ符号化回路２８に入力する。

【0162】

次にＮＡＬ符号化回路２８は、最後のマクロブロックのスライスデータに関するＮＡＬ化が完了すると、ＮＡＬ符号化回路２８のクロック停止信号Ｓ２０を、エンコード制御回路２３に入力する。高速モードでは、連続エンコードする最後のピクチャに関するスライスデータのＮＡＬ化が完了した場合にのみ、クロック停止信号Ｓ２０がソフトウェア処理部１１に入力される。

【0163】

また、ＮＡＬ符号化回路２８は、ウエイト設定信号Ｓ２１をエントロピ符号化回路２７に入力する。

【0164】

また、ＮＡＬ符号化回路２８は、１ピクチャ分のスライスデータのＮＡＬ化が完了したことを示すＮＡＬ化完了信号Ｓ２２を、エンコード制御回路２３に入力する。

【0165】

次にエンコード制御回路２３は、次のピクチャのエントロピ符号化を開始し、当該ピクチャのスライスデータのＮＡＬ化が完了すると、ＮＡＬ化完了信号Ｓ２２がＮＡＬ符号化回路２８からエンコード制御回路２３に再び入力される。図中のループＬ０３で示すように、エンコード制御回路２３は、連続エンコードする指定数の全てのピクチャに関するスライスデータのＮＡＬ化が完了するまで、同様の処理を繰り返す。

【0166】

次にエンコード制御回路２３は、上記ステップＰ１３で述べたエンコードの完了通知Ｓ２３を、ソフトウェア処理部１１に入力する。

【0167】

図中のループＬ０１で示すように、処理対象である全てのピクチャに関するＮＡＬ化が完了するまで、上記と同様の処理が繰り返し実行される。

【0168】

このように、ハードウェア処理部１２の動作モードが高速モードに設定された場合には、ソフトウェア処理部１１は、出力ピクチャに関する設定情報（指定数等）を、ハードウェア処理部１２が入力ピクチャのエンコードを開始する前にハードウェア処理部１２に通知し、ハードウェア処理部１２は、ソフトウェア処理部１１から通知された設定情報に基づいて、出力ピクチャに関するエンコードを、ピクチャ毎の完了通知を省略して連続して実行し、指定数の出力ピクチャに関するエンコードが全て完了することにより、エンコードの完了通知Ｓ２３をソフトウェア処理部１１に割り込み通知する。その結果、ピクチャサイズが小さくフレームレートが高い出力ピクチャを生成するモードである高速モードを実行するにあたって、ソフトウェア処理部１１とハードウェア処理部１２との間で１ピクチャ毎にコマンド発行及び割り込み通知を行う場合と比較すると、ソフトウェア処理部１１の処理負荷を軽減できるとともに、エンコード処理の所要時間を短縮することが可能となる。

【0169】

また、ソフトウェア処理部１１は、画像処理装置２で処理可能な最大ピクチャサイズ及び当該最大ピクチャサイズに対応するフレームレートと、出力ピクチャのピクチャサイズと、ハードウェア処理部１２の最大クロック周波数とに基づいて、出力ピクチャの最大フレームレートを設定する。従って、画像処理装置２の最大処理能力を有効に活用しつつ、高速エンコードを適切に実行することが可能となる。

【0170】

また、ソフトウェア処理部１１は、連続したエンコードが実行される出力ピクチャの指定数に関する情報を、初期設定信号Ｓ０３（設定情報）に含めてハードウェア処理部１２に通知する。従って、ハードウェア処理部１２は、高速エンコードにおいて連続したエンコードによって生成すべき指定数の出力ピクチャを、設定情報に基づいて適切に処理することが可能となる。

【0171】

また、ソフトウェア処理部１１からハードウェア処理部１２に通知された設定情報は、ＮＡＬ符号化回路２８（ＮＡＬ化回路）及びエンコード制御回路２３（制御回路）に入力される。このように、高速エンコードを実行するにあたって必要となる設定情報をＮＡＬ符号化回路２８及びエンコード制御回路２３に入力することにより、ハードウェア処理部において高速エンコードを適切に実行することが可能となる。

【0172】

また、ＮＡＬ符号化回路２８に入力される設定情報Ｓ０９には、出力ピクチャのＮＡＬ化に使用するヘッダ情報が含まれる。このように、出力ピクチャのＮＡＬ化を行うにあたって必要となるヘッダ情報をＮＡＬ符号化回路２８に入力することにより、ＮＡＬ符号化回路２８において出力ピクチャのＮＡＬ化を適切に実行することが可能となる。

【符号の説明】

【0173】

２ 画像処理装置
１１ ソフトウェア処理部
１２ ハードウェア処理部
１３ 記憶部
２３ エンコード制御回路
２７ エントロピ符号化回路
２８ ＮＡＬ符号化回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】