特許 6084682 符号化方法および符号化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6084682

(24)【登録日】2017年2月3日

(45)【発行日】2017年2月22日

(54)【発明の名称】符号化方法および符号化装置

(51)【国際特許分類】

   H04N 19/126 20140101AFI20170213BHJP

   H04N 19/176 20140101ALI20170213BHJP

   H04N 19/174 20140101ALI20170213BHJP

   H04N 19/14 20140101ALI20170213BHJP

   H04N 19/146 20140101ALI20170213BHJP

【ＦＩ】

   H04N19/126

   H04N19/176

   H04N19/174

   H04N19/14

   H04N19/146

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2015-507704(P2015-507704)

(86)(22)【出願日】2013年3月25日

(86)【国際出願番号】JP2013058487

(87)【国際公開番号】WO2014155471

(87)【国際公開日】20141002

【審査請求日】2015年6月10日

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】日立マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜特許業務法人

(72)【発明者】

【氏名】岡田 光弘

(72)【発明者】

【氏名】稲田 圭介

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開平１１−１６４３０５（ＪＰ，Ａ）

【文献】 特開平０５−０４１８０６（ＪＰ，Ａ）

【文献】 特開２００９−２４６５４０（ＪＰ，Ａ）

【文献】 特開２０１０−１４１６５９（ＪＰ，Ａ）

【文献】 特表２００６−５１９５６５（ＪＰ，Ａ）

【文献】 特開平０８−１０２９４７（ＪＰ，Ａ）

【文献】 特開２０１０−１６４６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力される画像の第１の領域の画像の複雑度を計算する入力画像複雑度計算ステップと、
符号化単位の画像の複雑度を計算する符号化単位複雑度計算ステップと、
量子化パラメータを算出する量子化パラメータ算出ステップと、
前記量子化パラメータ算出ステップで算出した量子化パラメータを用いて入力される画像のエンコードを行うエンコードステップと、を有し、
前記第１の領域の大きさは、設定される遅延時間に基づいて可変であり、
前記量子化パラメータ算出ステップは前記入力画像複雑度計算ステップで算出した前記第１の領域の画像の複雑度と前記符号化単位複雑度計算ステップで算出した前記符号化単位の画像の複雑度と前記エンコードステップで算出した発生符号量とに基づき前記量子化パラメータを算出することを特徴とする符号化方法。

【請求項2】

請求項１に記載の符号化方法であって、
符号化単位の画像の特徴量を抽出する符号化単位特徴量抽出ステップを有し、
前記量子化パラメータ算出ステップは前記符号化単位特徴量抽出ステップで抽出した前記符号化単位の画像の特徴量も加味して前記量子化パラメータを算出することを特徴とする符号化方法。

【請求項3】

入力される画像の第１の領域の画像の複雑度を計算する入力画像複雑度計算部と、
符号化単位の画像の複雑度を計算する符号化単位複雑度計算部と、
量子化パラメータを算出する量子化パラメータ算出部と、
前記量子化パラメータ算出部で算出した量子化パラメータを用いて入力される画像のエンコードを行うエンコード部と、を有し、
前記第１の領域の大きさは、設定される遅延時間に基づいて可変であり、
前記量子化パラメータ算出部は前記入力画像複雑度計算部で算出した前記第１の領域の画像の複雑度と前記符号化単位複雑度計算部で算出した前記符号化単位の画像の複雑度と前記エンコード部で算出した発生符号量とに基づき前記量子化パラメータを算出することを特徴とする符号化装置。

【請求項4】

請求項３に記載の符号化装置であって、
符号化単位の画像の特徴量を抽出する符号化単位特徴量抽出部を有し、
前記量子化パラメータ算出部は前記符号化単位特徴量抽出部で抽出した前記符号化単位の画像の特徴量も加味して前記量子化パラメータを算出することを特徴とする符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野は、画像符号化に関する。

【背景技術】

【0002】

特許文献１には、「従来のフィードバック制御によるデータ量制御方式では、エントロピー符号化によって高い符号化効率が得られるが、データ量をフレーム単位などで確実に一定以内にすることができないから蓄積系メディアには適用し難いという点」等を課題とし、その解決手段として「予め定められた一定区間毎の符号化出力データ量が一定値以内になるようにデータ量を制御して高能率符号化が行われるようにした符号化出力データ量の制御方式であって、前記した予め定められた一定区間よりも短かい区間を単位にしてデータ量を予測する手段と、前記した予測手段によって得られる予測データ量に基づいて前記した予め定められた一定区間における予測データ量の合計が一定になるように符号化処理を制御する手段と、前記の予測手段によって得た予測データ量と実際に符号化されたデータ量との差を累積し、前記した累積の結果に基づいて符号化処理を制御する手段とからなる符号化出力データ量の制御方式を提供する」ことが記載されている。

【0003】

また、特許文献２には、「ハードウェアが小規模で済み、最適な効率で符号量割り当てを行い、画質劣化の少ない復号画像が得られる画像信号の符号化制御装置を提供する点」（特許文献２［００１０］参照）を課題とし、その解決手段として「量子化パラメータ初期値演算部と、マクロブロックライン量子化パラメータ演算部と、マクロブロックのアクティビティ計算部と、アクティビティ平均値計算部と、複雑度演算部とを備える画像信号の符号化制御装置であって、アクティビティ計算部とアクティビティ平均値計算部とから出力されるアクティビティとアクティビティ平均値とに基づき、マクロブロックを予め設定したクラスに分類してクラス情報を出力するクラス分け部と、クラス情報に従って、クラスの特性に対応するテーブル情報が書き込まれた変換テーブルを選択して参照し、マクロブロックライン量子化パラメータ演算部から出力されるマクロブロックライン量子化パラメータを、マクロブロック毎の量子化パラメータに変換する変換テーブル部とを備えること」（特許文献２［００１１］参照）等が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平０２−１９４７３４号公報

【特許文献2】特開２０００−２７０３２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、いずれの特許文献においても、映像伝送における遅延時間を考慮しつつ、伝送する映像の画質を向上させることについては考慮されていない。

【課題を解決するための手段】

【0006】

上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、入力される画像を解析する解析ステップと、解析ステップの解析結果を用いて量子化パラメータを算出する量子化パラメータ算出ステップと、量子化パラメータ算出ステップで算出した量子化パラメータを用いて入力される画像のエンコードを行うエンコードステップと、を有し、解析ステップで解析する第１の領域の大きさが可変であることを特徴とする。

【発明の効果】

【0007】

上記手段によれば、映像伝送における遅延時間を考慮しつつ、伝送する映像の画質を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】画像符号化装置の構成図の例である。

【図2】エンコード部の構成図の例である。

【図3】入力画像複雑度を計算する領域の例である。

【図4】各処理ブロックの処理タイミングの一例を示すタイミング図である。

【図5】ＱＰ値計算部の構成図の例である。

【図6】車載カメラシステムの構成図の例である。

【図7】画像符号化装置の構成図の例である。

【図8】ＱＰ値計算部の構成図の例である。

【図9】特徴ＱＰの変換テーブルの例である。

【図10】目標遅延時間の例である。

【図11】画像符号化装置の構成図の例である。

【図12】監視カメラシステムの一例である。

【図13】テレビ会議システムの一例である。

【図14】車載カメラシステムの一例である。

【発明を実施するための形態】

【0009】

動画像圧縮は多くのアプリケーションで利用されている。特に、ＴＶ会議システムや車載ネットワークカメラシステム等の用途においては、画像圧縮を利用して低遅延で画像を伝送したいというニーズがあり、低遅延かつ高画質な圧縮画像を伝送するための画像符号化技術が必要となる。

【0010】

低遅延で圧縮画像を伝送する方法として、符号化時に発生する符号量を一定にすることがあげられる。発生符号量を一定にすることで、発生した符号量を平滑化するためのバッファ遅延を無くすことができるので、低遅延化が実現できる。

【0011】

特許文献１には、一定区間ごとの符号化出力データ量が一定値以内になるようにデータ量を制御する発明が開示されており、このように符号量の変動をできるだけ抑えて、一定区間ごとの符号量が出来るだけ均一にすることは、バッファ遅延の抑制にある程度有効である。しかしながら、画像の絵柄とは関係なく、発生する符号量に応じてフォードバック処理するため画像の絵柄に適したビット配分が難しく、画質が劣化することが考えられる。

【0012】

一方、特許文献２の技術的思想では、マクロブロック及び１画面全体のアクティビティ平均値を用いてＱパラメータを決めることで、効率の良い符号割り当てを行ない、画質劣化の少ない圧縮符号化を可能としている。しかしながら、特許文献２には１画面全体のアクティビティを用いる記載しかなく、特に１フレーム以下の低遅延画像伝送システムで使用する際の対応方法についての記載はない。また、マクロブロックのアクティビティを足し合わせて１画面全体のアクティビティ平均値を求める構成のため、１画面全体のアクティビティ平均値は、前フレームの値を用いることとなる。そのため、急激に絵柄が変わった場合に、発生符号量が多く発生するまたは少なく発生することがあり、発生符号量を精度よく推測できないことが考えられる。

【0013】

以下、低遅延かつ高画質な圧縮画像を伝送する実施例を、図面を用いて説明する。

【実施例1】

【0014】

本実施例では、画像符号化を行う画像符号化装置の例を説明する。本実施例では、画像符号化にＨ．２６４を用いた例について述べる。

【0015】

まずは、図１２〜１４を用いて本実施例の画像符号化装置が適用される画像伝送システムについて説明する。図１２は監視カメラシステム、図１３はテレビ会議システム、図１４は車載カメラシステムの一例を示す図である。

【0016】

図１２において、１２０１、１２０２、１２０３はそれぞれＡ地点、Ｂ地点、Ｃ地点に設置された監視カメラ、１２０４は監視カメラ１２０１、１２０２、１２０３で撮像された画像を受信する監視センター、１２０５はインターネット回線等のワイドエリアネットワーク（ＷＡＮ）である。監視カメラ１２０１〜１２０３で撮像された映像はＷＡＮ１２０５を介して監視センター１２０４内のモニタ等に表示することが可能である。図１２においては監視カメラが３つの場合の例を示しているが、監視カメラの数は２つ以下であっても４つ以上であってもよい。

【0017】

本実施例の画像符号化装置は、例えば監視カメラ１２０１〜１２０３に搭載される。画像符号化装置は、監視カメラ１２０１〜１２０３のレンズを介して入力された入力画像に対して、後述する符号化処理を行い、符号化処理された入力画像はＷＡＮ１２０５へ出力される。

【0018】

図１３において、１３０１、１３０２、１３０３はそれぞれＡ地点、Ｂ地点、Ｃ地点に設置されたテレビ会議システム、１３０４はインターネット回線等のＷＡＮである。テレビ会議システム１３０１〜１３０３のカメラで撮像された映像はＷＡＮ１３０４を介してテレビ会議システム１３０１〜１３０３のモニタ等に表示することが可能である。図１３においてはテレビ会議システムが３つの場合の例を示しているが、テレビ会議システムの数は２つであっても４つ以上であってもよい。

【0019】

本実施例の画像符号化装置は、例えばテレビ会議システム１３０１〜１３０３のカメラに搭載される。画像符号化装置は、テレビ会議システム１３０１〜１３０３のカメラのレンズを介して入力された入力画像に対して、後述する符号化処理を行い、符号化処理された入力画像はＷＡＮ１３０４へ出力される。

【0020】

図１４において、１４０１は自動車、１４０２、１４０３は自動車１４０１に搭載される車載カメラ、１４０４は車載カメラ１４０２、１４０３で撮像された映像を表示するモニタ、１４０５は自動車１４０１内のローカルエリアネットワーク（ＬＡＮ）である。車載カメラ１４０２、１４０３で撮像された映像はＬＡＮ１４０５を介してモニタ１４０４に表示することが可能である。図１４においては車載カメラが２つ搭載された例を示しているが、車載カメラの数は１つであっても３つ以上であってもよい。

【0021】

本実施例の画像符号化装置は、例えば車載カメラ１４０２、１４０３に搭載される。画像符号化装置は、車載カメラ１４０２、１４０３のレンズを介して入力された入力画像に対して、後述する符号化処理を行い、符号化処理された入力画像はＬＡＮ１４０５へ出力される。

【0022】

次に、本実施例の画像符号化装置について説明する。図１は、画像符号化装置の構成図の例である。画像符号化装置１００は、入力画像書込み部１０１、入力画像複雑度計算部１０２、入力画像用メモリ１０３、符号化単位画像読込み部１０４、エンコード部１０５、エンコード用メモリ１０６、符号化単位複雑度計算部１０７、ＱＰ（量子化パラメータ）値計算部１０８、制御部１０９から構成される。

【0023】

入力画像書込み部１０１は、ラスタスキャン順に入力される入力画像を入力画像用メモリ１０３に書き込む処理を行う。

【0024】

入力画像複雑度計算部１０２は、メモリに書き込む前の入力画像を用いて複雑度を計算し、入力画像複雑度を出力する。ここで、複雑度とは、目標遅延時間分の領域の入力画像の絵柄の難易度を示す指標であり、例えば（式１）に記載する分散値ｖａｒで与えられる。

【0025】

ここで、Ｎは計算する横方向の画素数、Ｍは計算する縦方向の画素数を表しており、x _(i.j）は上記Ｎ×Ｍ画素の範囲内の画素値、ＸはＮ×Ｍ画素の範囲内の画素値の平均値である。このＮとＭについては、設定された目標遅延時間より決定する。

【0026】

また、目標遅延時間とは、画像が入力されてから、ストリームが出力されるまでのエンコード処理の処理時間であり、この遅延時間単位での発生符号量が一定以下になるように制御する。目標遅延時間単位の発生符号量を一定以下にすることで、画像伝送システムを安定動作させるために必要な受信装置側のバッファリング時間を計算することができる。そのため、画像伝送システムの画像伝送時の伝送時間を保障することが可能となる。目標遅延時間は、例えば車載ネットワークであれば１ｍｓ〜５０ｍｓ程度、テレビ会議システムであれば１００ｍｓ秒程度が想定されるが、状況に応じて要求される目標遅延時間が変化することも考えられる。

【0027】

入力画像用メモリ１０３は、ラスタスキャン順に入力された入力画像を一旦蓄積し、符号化単位（Ｈ．２６４の場合は１６画素×１６画素のマクロブロック（以下、「ＭＢ」と示す）。）のＭＢ画像を連続して読み出すために使用するメモリである。このメモリはＳＤＲＡＭのような外部メモリでも良いし、ＳＲＡＭのような内部メモリでも良い。

【0028】

符号化単位画像読込み部１０４は、入力画像用メモリ１０３からＭＢ画像を読み出すブロックである。符号化単位画像読込み部１０４で読み出されたＭＢ画像は、エンコード部１０５と符号化単位複雑度計算部１０７へ供給される。

【0029】

符号化単位複雑度計算部１０７は、ＭＢ画像を用いてＭＢ毎の複雑度を計算し、符号化単位複雑度を出力する。これは、入力画像複雑度計算部１０２と同一の分散式（式１）を用いて計算する。ここでＨ．２６４の場合は、ＭＢが１６画素×１６画素なため、Ｎ，Ｍともに１６になる。

【0030】

ＱＰ値計算部１０８は、前記入力画像複雑度と、前記符号化単位複雑度と、エンコード部１０５で実際にエンコードした時に発生した発生符号量を用いて、ＭＢ毎のＱＰ値を出力する。ＱＰとは、quantization parameter、すなわち量子化パラメータを示すものであり、ＱＰ値の算出方法については、後ほど具体例を挙げて説明する。

【0031】

エンコード部１０５は符号化単位画像読込み部１０４から出力されるＭＢ画像とＱＰ値計算部１０８からＭＢ毎に出力されるＱＰ値を用いてエンコード処理を行い、ストリームを生成する。

【0032】

エンコード用メモリ１０６は、予測処理に使用するための再生画像を蓄えておくメモリであり、入力画像用メモリと同様にＳＤＲＡＭ、ＳＲＡＭどちらでも良い。入力画像用メモリ１０３とエンコード用メモリ１０６は、図１では分けて記載しているが分ける必要はなく、一つのＳＤＲＡＭを使用するとしても良い。

【0033】

制御部１０９は、設定された目標遅延時間に基づいて、図１に記載の各処理ブロック（入力画像書込み部１０１、入力画像複雑度計算部１０２、符号化単位画像読込み部１０４、エンコード部１０５、符号化単位複雑度計算部１０７、ＱＰ値計算部１０８）を制御するブロックである。制御方法については後ほど具体例を挙げて説明する。

【0034】

なお、入力画像複雑度計算部１０２と符号化単位複雑度計算部１０７とを含む構成を単に解析部ともいう。

【0035】

次に、図２を用いてエンコード部１０５の詳細を説明する。エンコード部１０５は、予測部２０１と周波数変換・量子化部２０２、符号化部２０３、逆周波数変換・逆量子化部２０４から構成される。

【0036】

まず、予測部２０１ではＭＢ画像を入力として、画面内予測、またはフレーム間予測のどちらか効率の良い方を選択し予測画像を作成する。その後、前記生成した予測画像と、現画像から前記予測画像を引き算した誤差画像を出力する。画面内予測は、エンコード用メモリ１０６で蓄えた、隣接ＭＢの再生画像を用いて予測画像を作成する方法であり、フレーム間予測は、エンコード用メモリ１０６で蓄えた過去フレームの再生画像を用いて予測画像を作成する方法である。

【0037】

周波数変換・量子化部２０２は、誤差画像に周波数変換を施した後、ＱＰ値計算部から与えられた量子化パラメータに基づいて、各周波数成分の変換係数を量子化した量子化係数を出力する。

【0038】

符号化部２０３は、周波数変換・量子化部２０２から出力された量子化係数を符号化処理してストリームを出力する。また、ＱＰ値計算部１０８で使用する発生符号量を出力する。

【0039】

逆周波数変換・逆量子化部２０４は、量子化係数を逆量子化して各周波数成分の変換係数に戻した後、逆周波数変換して誤差画像を生成する。その後に予測部２０１から出力された予測画像と足し合わせて再生画像を作成し、エンコード用メモリ１０６に蓄える。

【0040】

次に制御部１０９の制御例を説明する。前提条件は、１２８０画素×７２０画素、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の画像を目標遅延時間３．３３ｍｓでエンコード処理するとする。

【0041】

図３は、１フレームの画像（６０ｆｐｓなので1フレームあたり１６．６６６ｍｓ）を目標遅延時間３．３３ｍｓ毎の領域（領域１〜領域５）に分けた図である。すべての領域とも同じ大きさであり、領域中の四角のブロックはＭＢを示している。ＭＢ中に記載したナンバーは処理順番に番号を割り当てている。１つの領域に横のＭＢ数は８０個、縦のＭＢ数は９個、合計ＭＢ数は７２０個となる。この領域毎に、発生符号量を一定にしつつ高画質化するように処理を行う。

【0042】

このように、目標遅延時間に基づいて領域の大きさを変化させることにより、目標遅延時間に応じた高画質化処理が可能となる。

【0043】

図４に図１、２に記載の各処理ブロック（入力画像書込み部１０１、入力画像複雑度計算部１０２、符号化単位画像読込み部１０４、エンコード部１０５、符号化単位複雑度計算部１０７、ＱＰ値計算部１０８、予測部２０１、周波数変換・量子化部２０２、符号化部２０３）の処理タイミングを示したタイミング図を示す。横軸は時間、縦軸は各処理ブロックを示しており、処理ブロック毎にどのタイミングでどの領域またはＭＢを処理しているかが分かるようになっている。この処理タイミングの制御は、図１に記載の制御部１０９が行う。エンコード部１０５の各処理は図４に記載のようにＭＢ毎のパイプライン処理となる。ここで、パイプライン処理とは、ＭＢ毎の符号化処理を複数の段階（ステージ）に分割し、各ステージの処理を並列に処理することであり、高速処理を行なうための手法である。

【0044】

まず、入力画像書込み部１０１の入力画像書込み処理と、入力画像複雑度計算部１０２の入力画像複雑度計算処理とが並行して行われる。領域１の入力画像がすべて入力画像用メモリ１０３に書き込み終わったら、符号化単位画像読込み部１０４の符号化単位画像読込み処理を行いエンコード部１０５と符号化単位複雑度計算部１０７に出力する。ここで、読込みと並行して、符号化単位複雑度計算部１０７の符号化単位複雑度計算を行う。

【0045】

次に、ＱＰ値計算部１０８のＱＰ計算処理と、予測部２０１の予測処理を並行して行う。さらに、周波数変換・量子化部２０２では、一つ前のＱＰ値計算処理で計算したＱＰ値を使用し、周波数変換・量子化処理を行う。最後に、符号化部２０３の符号化処理を行い、ストリームを出力する。

【0046】

ここで、実際のエンコード処理による遅延時間は、入力画像が入力されてから、符号化部２０３からストリームが出力されるまでとなる。よって、領域１が入力される時間３．３３ｍｓに３ＭＢ分処理する時間を足し合わせた時間となるが、３ＭＢ分の処理時間は、数十マイクロ秒のオーダー（１６．６６６ｍｓ／３６００ＭＢ×３ＭＢ＝０．０１４ｍｓ）であり十分小さいため、本明細書では入力画像が入力されてから符号化部２０３からストリームが出力されるまでの時間は約３．３３ｍｓとみなせる。

【0047】

このように、目標遅延時間分の領域の入力画像を用いて、入力画像複雑度を計算後、実際のエンコード処理を開始することにより、目標遅延時間分の領域の入力画像の絵柄の符号化難易度が分かるため、目標遅延時間分の領域に適したビット配分を行い高画質化することができる。ここで、目標遅延時間を変更する場合は、目標遅延時間に対応して領域サイズが変更され、エンコード処理の開始タイミングを変更することで、対応可能である。

【0048】

次に図５を用いてＱＰ値の決定方法の具体例を説明する。図５は、ＱＰ値計算部１０８の内部の詳細を示した図であり、ベースＱＰ計算部５０１、ＭＢ（マクロブロック）ＱＰ計算部５０２、ＱＰ値算出部５０３から構成される。

【0049】

ベースＱＰ計算部５０１は、領域（領域１〜領域５）を跨ぐときにのみ実行される処理であり、入力画像複雑度と符号量を用いて次に処理する領域のベースＱＰを出力する。このベースＱＰは下記（式２）で与えられる。

【0050】

ここで、ＱＰ_aveは、前の領域の平均ＱＰ値、bitrateは前の領域の発生符号量、target_bitrateは次の領域の目標符号量、αは係数、var_nextは次の領域の入力画像複雑度、var_preは前の領域の入力画像複雑度を示している。（式２）により、前の領域の発生符号量と次の領域全体の入力画像複雑度を加味して、次の領域のベースＱＰを決定することが可能となるため、発生符号量を精度よく推測することができる。さらに、前回符号化した際の平均ＱＰ値と発生符号量を元にループ処理しているため、（式２）は画像に合わせて最適化され、推測する符号量と実際の発生符号量の間の誤差を小さくしている。

【0051】

次に、ＭＢＱＰ計算部５０２は、ＭＢ毎に実行される処理であり、符号化単位複雑度と入力画像複雑度からＭＢＱＰを出力する。このＭＢＱＰは（式３）で与えられる。

【0052】

ここで、βは係数、γはリミッタ値を示しており、γよりＭＢＱＰが大きい場合はγ、−γよりＭＢＱＰが小さい場合は−γとする。（式３）を用いると、入力画像複雑度より符号化単位複雑度が大きい複雑な絵柄のＭＢは、ＭＢＱＰを大きくして発生符合量を抑える。逆に入力画像複雑度より符号化単位複雑度が小さい平坦な絵柄のＭＢは、ＭＢＱＰを小さくして符号量を割り当てて主観画質を良くすることができる。

【0053】

このように、平坦な絵柄の劣化に敏感な人間の視覚特性に合わせた適切なビット配分が可能となり、高画質化することができる。また、この処理は、発生する符合量の多い複雑な絵柄のＭＢＱＰを大きくして、発生する符号量の少ない平坦な絵柄のＭＢＱＰを小さくすることになるため、主観画質の向上だけではなく、ＭＢ毎の発生符号量を平滑化する効果も備えている。

【0054】

最後にＱＰ値算出部５０３では、（式４）に記載の式により、ＱＰ値を算出する。

【0055】

以上、実施例１に記載の符号化装置１００では、ＱＰ値計算部１０８のベースＱＰ計算部５０１における発生符号量を一定にする処理と、ＱＰ値計算部１０８のＭＢＱＰ計算部５０２における絵柄に応じたＱＰ値の制御により、目標遅延時間毎の発生符号量を一定にしつつ、高画質化が実現可能となる。

【0056】

また、実施例１の構成は、目標遅延時間をエンコード中やアプリケーション毎に変える場合にも有効である。入力画像複雑度計算部１０２での入力画像複雑度の計算と並行して符号化単位毎の符号化単位複雑度を計算する場合、目標遅延時間の領域内にあるＭＢ数分の符号化単位複雑度をメモリに記録しておく必要がある（実施例１の例では、７２０ＭＢ分のメモリが必要）。

【0057】

これに対して、実施例１の構成は、符号化単位画像を入力画像用メモリ１０３から読み出したタイミングで、符号化単位複雑度を計算しているので、パイプライン処理の遅延分（実施例１の例では、次のステージで使用するので１ＭＢ分）のメモリを持っていればよく、目標遅延時間によらないで固定のメモリを持てばよい。これは、４ｋ８ｋサイズなど大きな画像サイズの画像を符号化する場合に、少ない固定量のメモリで良いため特に有効である。

【0058】

また、エンコード中のパイプライン処理を変更することなく、実現可能な構成であり、本処理を導入したことによる、エンコード処理の遅延は発生しない。

【0059】

実施例１では、１フレーム以下の目標遅延時間の例で説明したが、蓄積用途の場合、リアルタイム性が要求されないので、目標遅延時間はメモリの容量が許す限り遅く設定してもよい。例えば、３フレーム分を目標遅延時間と設定した場合、入力画像を３枚分解析してからビット配分を行うことができるため、高画質化を実現できる。

【0060】

また、ラスタキャン順に入力画像が入力される例を説明したが、ラスタスキャン順ではなく、例えば、Ｋ画素×Ｌ画素毎に一度に入力されるとしても良い。

【0061】

また、Ｈ．２６４についての例を挙げたが、符号化単位毎に画像の品質を変更できるパラメータを持った動画像符号化方式（ＭＰＥＧ２、次世代の動画像符号化方式ＨＥＶＣ（Ｈ．２６５）など）であれば、本構成を用いることで同様の効果が得られる。

【0062】

また、複雑度は分散値の例を説明したが、隣の画素との差分値の合計、エッジ検出フィルタ（Ｓｏｂｅｌフィルタ、ラプラシアンフィルタなど）の合計値など、画像の複雑度を示す指標であれば分散値に限らない。

【0063】

また、図５を用いてＱＰ値計算部１０８の具体的なＱＰ値の決定手法を説明したが、この処理に限定されるものではない。少なくとも入力画像複雑度と符号化単位複雑度と発生符号量を用いて、目標遅延時間に応じて発生符号量を一定にしつつ高画質化が実現できていれば良い。

【0064】

また、入力画像複雑度計算部１０２で複雑度を計算する領域の大きさは、目標遅延時間に入力される領域の大きさにした場合の例を説明したが、目標遅延時間に入力される領域の大きさより、小さい領域毎に複雑度を計算するとしても良い。例えば、上記例では、７２０ＭＢ分の領域で入力画像複雑度を計算していたが、１／３の２４０ＭＢの領域毎に入力画像複雑度を計算するとする。この場合、２４０ＭＢ毎に（式４’）に示す符号量補正ＱＰの項を加えることができる。ここで、符号量補正ＱＰは、２４０ＭＢ毎に計算される値であり、直前２４０ＭＢで発生した符号量を元に計算される。例えば、直前２４０ＭＢで発生した符合量が一定にしたい符号量より、多かった場合は、符号量補正ＱＰ値をプラス値に、逆に発生符号量が一定にしたい符号量より、少なかった場合は、符号量ＱＰ値をマイナス値にすることで、目標遅延時間における発生符号量を一定にする精度を高めることが可能となる。

【0065】

次に、車載ネットワークカメラシステムを例に再生画像で画像認識を行う場合に、画像認識処理の性能向上が可能な画像符号化装置の例を説明する。

【0066】

まず図６を用いて前提としているカメラシステムの構成図の例を説明する。図６のカメラシステムは画像送信装置１０００と画像受信装置１１００から構成される。画像送信装置１０００は、例えば車載カメラであり、光をデジタルの画像に変換する撮像部１００１と、撮像部１００１から出力されたデジタルの画像をエンコード処理してストリームを生成する画像符号化部１００２と、エンコード処理したストリームをパケット化してネットワーク上に出力するネットワークＩＦ１００３で構成される。

【0067】

また、画像受信装置１１００は、例えばカーナビゲーションシステムであり、映像送信装置１０００から送信されたパケットを受け取りストリームに変換するネットワークＩＦ１１０１と、ネットワークＩＦ１１０１から出力されたストリームを復号処理して再生画像を生成する画像復号部１１０２と、画像復号部１１０２から出力された再生画像をディスプレイなどに表示する表示部１１０３と、画像復号部１１０３から出力された再生画像に画像認識処理する画像認識部１１０４と画像認識した結果が危険な状態を示す結果となった場合に音声を出力して運転者に知らせる音声出力部１１０５を備える。

【0068】

以上、図６の車載ネットワークカメラシステムの構成を例に、再生画像で画像認識処理を行なう場合に画像認識処理の性能向上が可能な画像符号化部１００２の構成図を図７に示す。図７の画像符号化装置１００２のうち、既に説明した図１に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。

【0069】

図１と異なる点は、符号化単位特徴量抽出部１１０と、ＱＰ値計算部１１１である。符号化単位特徴量抽出部１１０は、ＭＢ画像から画像特徴量を抽出し、符号化単位画像特徴量を出力する。

【0070】

なお、入力画像複雑度計算部１０２と符号化単位複雑度計算部１０７と符号化単位特徴量抽出部とを含む構成を単に解析部ともいう。

【0071】

図８にＱＰ値計算部１１１の内部構成を示す。図８のＱＰ値計算部１１１のうち既に説明した図５に示された同一の符号を付された構成と同一の機能を有する部分については、説明を省略する。

【0072】

図５と異なる点は、特徴ＱＰ計算部５０４とＱＰ算出部５０５である。特徴ＱＰ計算部５０４は、符号化単位画像特徴量から特徴量の大きさに従い特徴ＱＰを出力する。ＱＰ算出部５０５は、ベースＱＰとＭＢＱＰだけでなく特徴ＱＰも加味した（式５）で与えられる式でＱＰ値を計算する。

【0073】

ここで、図６の車載ネットワークカメラシステムの受信装置１１００で道路に引かれている白線の認識をする場合を例に、特徴ＱＰの計算方法を説明する。まず、符号化単位特徴量抽出部１１０では、白線認識で必要となる白線特徴量の抽出を行う。具体的には隣の画素との差分値を計算し、直線上に連続的に同じ段差の差分値がある場合に、特徴量が大きくなるような３段階の白線特徴量（０、１、２の３段階であり、値が大きいほど白線である可能性が高いとする）という符号化単位画像特徴量を出力する。さらに、特徴ＱＰ計算部５０４では、図９のテーブルに基づいて、３段階の白線特徴量から特徴量ＱＰを決定する。本実施例では、一例として、図９のテーブルに基づいた特徴量ＱＰの決定手法の例を挙げたがこれに限定されるものではない。例えば、一次関数やＬｏｇ関数等の数式を用いて特徴量ＱＰを決定してもよい。また、特徴量の抽出には隣の画素との差分値を使用した例を記載したが、予め指定の絵柄を検索可能な基本パタンの画像を用意し、その基本パタンとパターンマッチングを行なった結果（類似度）を利用して、特徴量ＱＰを決定するなど、画質を向上したい対象が判定できる指標値であればよい。また、本実施例では、符号化単位で特徴量を計算する例を説明したが、図１１に示すように、入力画像複雑度計算部１０２が計算する領域で特徴量を計算する構成としても良い。

【0074】

図１０は、図６の車載ネットワークカメラシステムを例に、アプリケーションに応じて目標遅延時間を変更する例を表している。アプリケーションとしては、駐車時の後方障害物検知、高速走行時の白線逸脱警報、市街地走行時の標識認識とする。車載ネットワークカメラシステムにおいては、車の速度に応じて利用されるアプリケーションが変わることが考えられるため、車の速度に応じて目標遅延時間を変更するようにしてもよい。

【0075】

駐車時の障害物検知は、時速２０ｋｍ以下の速度で使用されることが想定される。速度が遅いため、１フレーム毎の画像の変化は少ないので１０ｍｓ以下の低遅延化は必要なく、目標遅延時間を３３．３ｍｓとなるため、１フレーム分の解析結果を用いて高画質化できる。

【0076】

一方、高速走行時の白線逸脱警報では、時速１００ｋｍ以上の速度で使用することが想定される。よって、１フレーム毎に画像が大きく変化すると考えられる。遅延時間が大きいと画像認識処理をして危険な状態を検知したとしても、既に事故が発生していたということが起こる可能性があるため目標遅延時間は１ｍｓと少ないことが重要となる。

【0077】

また、市街地走行時の標識認識は、時速４０ｋｍ〜８０ｋｍの中程度の速度なので、１ｍｓまでは行かないが目標遅延時間をある程度短くすることが必要となるため１０ｍｓとする。

【0078】

このように、車載ネットワークカメラシステムのアプリケーションの場合、使用するアプリケーションに応じて、または車の速度に応じて目標遅延時間を決めることで、アプリケーションの画像認識性能を最大限に活かすことが可能となる。

【0079】

このように、車載ネットワークカメラシステムに画像符号化装置を適用した場合では、画像受信装置１１００の画像認識部１１０４の画像認識処理のアルゴリズムが注目する画像特徴を、画像送信装置１０００の符号化単位特徴抽出部１１０で簡易的に特徴量を抽出し、ＱＰ値計算部１１１で該当ＭＢのＱＰ値を下げることにより、目標遅延時間に対して符号量を一定と高画質化を実現しつつ、さらに画像認識処理の性能向上が可能な画像符号化装置を実現することが可能となる。

【0080】

また、本実施例では、車載ネットワークカメラシステムの例を説明したが、撮像部１００１を例えば、レコーダなどの蓄積装置に置き換えても良い。

【0081】

車載ネットワークカメラシステム以外（例えばテレビ会議システム等）に画像符号化装置を適用した場合でも、使用されるアプリケーションに応じて目標遅延時間を設定することで、画像伝送における遅延を考慮しつつ、伝送する画像を高画質化することが可能となる。

【符号の説明】

【0082】

１００ 画像符号化装置
１０１ 入力画像書込み部
１０２ 入力画像複雑度計算部
１０３ 入力画像用メモリ
１０４ 符号化単位画像読込み部
１０５ エンコード部
１０６ エンコード用メモリ
１０７ 符号化単位複雑度計算部
１０８ ＱＰ値計算部
１０９ 制御部
２０１ 予測部
２０２ 周波数変換・量子化部
２０３ 符号化部
２０４ 逆周波数変換・逆量子化部
５０１ ベースＱＰ計算部
５０２ ＭＢＱＰ計算部
５０３ ＱＰ値算出部
１０００ 画像送信装置
１００１ 撮像部
１００２ 画像符号化部
１００３ ネットワークＩＦ
１１００ 画像受信装置
１１０１ ネットワークＩＦ
１１０２ 画像復号部
１１０３ 表示部
１１０４ 画像認識部
１１０５ 音声出力部
１２０１ 監視カメラ
１２０２ 監視カメラ
１２０３ 監視カメラ
１２０４ 監視センター
１２０５ ＷＡＮ
１３０１ テレビ会議システム
１３０２ テレビ会議システム
１３０３ テレビ会議システム
１３０４ ＷＡＮ
１４０１ 自動車
１４０２ 車載カメラ
１４０３ 車載カメラ
１４０４ モニタ
１４０５ ＬＡＮ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】