特許 7311972 ＧＯＰサイズ決定装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-11

(45)【発行日】2023-07-20

(54)【発明の名称】ＧＯＰサイズ決定装置及びプログラム

(51)【国際特許分類】

   H04N 19/114 20140101AFI20230712BHJP

   H04N 19/137 20140101ALI20230712BHJP

   H04N 19/14 20140101ALI20230712BHJP

   H04N 19/142 20140101ALI20230712BHJP

   H04N 19/177 20140101ALI20230712BHJP

   H04N 19/85 20140101ALI20230712BHJP

【ＦＩ】

H04N19/114

H04N19/137

H04N19/14

H04N19/142

H04N19/177

H04N19/85

【請求項の数】 5

(21)【出願番号】P 2019011610

(22)【出願日】2019-01-25

(65)【公開番号】P2020120334

(43)【公開日】2020-08-06

【審査請求日】2021-12-24

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【審査官】坂東 大五郎

(56)【参考文献】

【文献】米国特許出願公開第２００２／０１０１９２９（ＵＳ，Ａ１）

【文献】特開２０１２－０３９５６９（ＪＰ，Ａ）

【文献】特開２０１４－０１７７３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

映像を符号化する際の前処理装置であって、前記符号化のＧＯＰサイズを動的に決定するＧＯＰサイズ決定装置において、
複数フレームの画像を時間方向及び空間方向に周波数分解して周波数分解画像を生成する時空間周波数分解部と、
前記周波数分解画像の高周波帯域内の要素値の分散値に第１の重みを乗じた値と、前記周波数分解画像の他の周波帯域内の要素値の分散値に前記第１の重みよりも小さい第２の重みを乗じた値との合計値を、パワー分散値として算出するパワー分散算出部と、
前記パワー分散値が大きいほど、ＧＯＰサイズが小さくなるように決定するＧＯＰサイズ決定部と、
を備えることを特徴とするＧＯＰサイズ決定装置。

【請求項2】

映像を符号化する際の前処理装置であって、前記符号化のＧＯＰサイズを動的に決定するＧＯＰサイズ決定装置において、
複数フレームの画像を時間方向及び空間方向に周波数分解して周波数分解画像を生成する時空間周波数分解部と、
高周波帯域内の要素値の重みが大きくなるように重み付けをした、前記周波数分解画像の全周波数帯域内の要素値の合計値を、トータルパワー値として算出するトータルパワー算出部と、
前記トータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定するＧＯＰサイズ決定部と、
を備えることを特徴とするＧＯＰサイズ決定装置。

【請求項3】

映像を符号化する際の前処理装置であって、前記符号化のＧＯＰサイズを動的に決定するＧＯＰサイズ決定装置において、
複数フレームの画像を時間方向及び空間方向に周波数分解して周波数分解画像を生成する時空間周波数分解部と、
前記周波数分解画像の高周波帯域内の要素値の分散値に第１の重みを乗じた値と、前記周波数分解画像の他の周波帯域内の要素値の分散値に前記第１の重みよりも小さい第２の重みを乗じた値との合計値を、パワー分散値として算出するパワー分散算出部と、
高周波帯域内の要素値の重みが大きくなるように重み付けをした、前記周波数分解画像の全周波数帯域内の要素値の合計値を、トータルパワー値として算出するトータルパワー算出部と、
前記パワー分散値及び前記トータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定するＧＯＰサイズ決定部と、
を備えることを特徴とするＧＯＰサイズ決定装置。

【請求項4】

入力された映像についてシーンチェンジが行われたフレームを特定するシーンチェンジ判定部をさらに備え、
前記時空間周波数分解部は、前記シーンチェンジ判定部により特定されたフレームから複数フレームの画像を時間方向及び空間方向に周波数分解して前記周波数分解画像を生成することを特徴とする、請求項１から３のいずれか一項に記載のＧＯＰサイズ決定装置。

【請求項5】

コンピュータを、請求項１から４のいずれか一項に記載のＧＯＰサイズ決定装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＧＯＰ（Group of Pictures）サイズを動的に決定するＧＯＰサイズ決定装置及びプログラムに関する。

【背景技術】

【0002】

従来、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）などの符号化技術では、符号化効率を向上させるために、ＲＤ（Rate-Distortion）最適化において、ＲＤが最小となる符号化パラメータを選定している。ここで、全ての符号化パラメータを探索すれば符号化効率を最大化することができるが、符号化時間の問題から実用的ではない。特に、ＧＯＰサイズを可変とする場合には、様々なＧＯＰサイズに応じた符号化を行う必要があり、全ての符号化パラメータを探索するには非常に時間を要する。

【0003】

そこで、特許文献１には、蓄積手段に蓄積された各画像の小ブロック毎の代表値間の差分情報又は該各画像の画素差分情報の画面内総和から画像間の変化量を測定し、該測定された変化量が予め決められた閾値以上の場合に、フレーム内符号化モードでの符号化を行う画像を決定し、該フレーム内符号化された画像と次にフレーム内符号化される画像の直前の画像までを１ＧＯＰと決定する技術が開示されている。また、特許文献２には、入力画像の特徴に応じて適切なＧＯＰサイズ、ＧＯＰ構造をとることにより、符号化ビット量を制御することで、少ない遅延時間で高画質を実現できる可変ビットレート動画像符号化技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第３８８８５３３号公報

【文献】特許第３８１５６６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１及び特許文献２に開示された技術では、フレーム内で局所的にランダムな動きをする画像（例えば、飛び散る火花、水面の乱反射など）が含まれているような場合に、少ない遅延時間で入力画像の特徴に応じて適切なＧＯＰサイズを制御することにより符号化効率を向上させることは困難であった。

【0006】

かかる事情に鑑みてなされた本発明の目的は、符号化時間を増大させることなく、最適なＧＯＰサイズを動的に決定し、局所的にランダムな動きをする画像が含まれている場合であっても、符号化効率を向上させることが可能なＧＯＰサイズ決定装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明に係るＧＯＰサイズ決定装置は、映像を符号化する際の前処理装置であって、前記符号化のＧＯＰサイズを動的に決定するＧＯＰサイズ決定装置において、複数フレームの画像を時間方向及び空間方向に周波数分解して周波数分解画像を生成する時空間周波数分解部と、前記周波数分解画像の高周波帯域内の要素値の分散値に第１の重みを乗じた値と、前記周波数分解画像の他の周波帯域内の要素値の分散値に前記第１の重みよりも小さい第２の重みを乗じた値との合計値を、パワー分散値として算出するパワー分散算出部と、前記パワー分散値が大きいほど、ＧＯＰサイズが小さくなるように決定するＧＯＰサイズ決定部と、を備えることを特徴とする。

【0008】

また、上記課題を解決するため、本発明に係るＧＯＰサイズ決定装置は、映像を符号化する際の前処理装置であって、前記符号化のＧＯＰサイズを動的に決定するＧＯＰサイズ決定装置において、複数フレームの画像を時間方向及び空間方向に周波数分解して周波数分解画像を生成する時空間周波数分解部と、高周波帯域内の要素値の重みが大きくなるように重み付けをした、前記周波数分解画像の全周波数帯域内の要素値の合計値を、トータルパワー値として算出するトータルパワー算出部と、前記トータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定するＧＯＰサイズ決定部と、を備えることを特徴とする。

【0009】

また、上記課題を解決するため、本発明に係るＧＯＰサイズ決定装置は、映像を符号化する際の前処理装置であって、前記符号化のＧＯＰサイズを動的に決定するＧＯＰサイズ決定装置において、複数フレームの画像を時間方向及び空間方向に周波数分解して周波数分解画像を生成する時空間周波数分解部と、前記周波数分解画像の高周波帯域内の要素値の分散値に第１の重みを乗じた値と、前記周波数分解画像の他の周波帯域内の要素値の分散値に前記第１の重みよりも小さい第２の重みを乗じた値との合計値を、パワー分散値として算出するパワー分散算出部と、高周波帯域内の要素値の重みが大きくなるように重み付けをした、前記周波数分解画像の全周波数帯域内の要素値の合計値を、トータルパワー値として算出するトータルパワー算出部と、前記パワー分散値及び前記トータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定するＧＯＰサイズ決定部と、を備えることを特徴とする。

【0010】

さらに、本発明に係るＧＯＰサイズ決定装置において、入力された映像についてシーンチェンジが行われたフレームを特定するシーンチェンジ判定部をさらに備え、前記時空間周波数分解部は、前記シーンチェンジ判定部により特定されたフレームから複数フレームの画像を時間方向及び空間方向に周波数分解して前記周波数分解画像を生成することを特徴とする。

【0011】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記ＧＯＰサイズ決定装置として機能させることを特徴とする。

【発明の効果】

【0012】

本発明によれば、符号化時間を増大させることなく、最適なＧＯＰサイズを動的に決定することができる。また、本発明によれば、局所的にランダムな動きをする画像が含まれている場合であっても、符号化効率を向上させることが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態に係るＧＯＰサイズ決定装置の概要を説明する図である。

【図2】本発明の第１の実施形態に係るＧＯＰサイズ決定装置の構成例を示すブロック図である。

【図3】本発明の第１の実施形態に係るＧＯＰサイズ決定装置における時空間周波数分解部の処理を説明する図である。

【図4】本発明の第２の実施形態に係るＧＯＰサイズ決定装置の構成例を示すブロック図である。

【図5】本発明の第３の実施形態に係るＧＯＰサイズ決定装置の構成例を示すブロック図である。

【図6】本発明の第３の実施形態に係るＧＯＰサイズ決定装置の効果を示す図である。

【図7】本発明の第４の実施形態に係るＧＯＰサイズ決定装置の構成例を示すブロック図である。

【図8】本発明の第４の実施形態に係るＧＯＰサイズ決定装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0015】

まず、図１を参照して、本発明の実施形態に係るＧＯＰサイズ決定装置の概要について説明する。符号化装置２０は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）やＨ．２６５／ＨＥＶＣなどの符号化方式により符号化を行う、既存の符号化装置である。

【0016】

ＧＯＰサイズ決定装置１０は、映像を符号化する際の前処理装置であり、符号化装置２０にて符号化される映像を事前解析し、符号化のＧＯＰサイズ（ＧＯＰ内のフレーム数）を動的に、短時間で決定する。そして、ＧＯＰサイズ決定装置１０は、ＧＯＰサイズを含むＧＯＰ情報を符号化装置２０に出力する。ＧＯＰサイズの決定方法の詳細については、下記の実施形態にて説明する。

【0017】

ＧＯＰサイズ決定装置１０は、所定のタイミングごとに複数フレームの画像を入力して、ＧＯＰサイズを決定してもよい。すなわち、ＧＯＰサイズ決定装置１０は、各ＧＯＰのサイズを変えてもよいし、所定のタイミングでＧＯＰのサイズを変えてもよい。なお、ＧＯＰサイズの最小値は１である。また、ＧＯＰサイズ決定装置１０は、ピクチャ間の参照関係（ＧＯＰ構造）を示す情報をＧＯＰ情報に含めてもよい。ＧＯＰ構造は任意とすることができる。例えば、ＧＯＰサイズ決定装置１０は、ＧＯＰ構造を、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣなどの符号化方式で採用されている階層構造とする。

【0018】

符号化装置２０は、ＧＯＰサイズ決定装置１０から入力されたＧＯＰ情報に従って、入力映像に対してフレーム内予測処理又はフレーム間予測処理を行い、符号化データを生成する。一般的に、従来の符号化装置２０は、ＧＯＰサイズを固定として符号化処理を行っていたが、ＧＯＰサイズ決定装置１０からＧＯＰ情報を取得することにより、パラメータの１つであるＧＯＰサイズを可変とすることができ、符号化効率を向上させることが可能となる。

【0019】

（第１の実施形態）
次に、本発明の第１の実施形態に係るＧＯＰサイズ決定装置について説明する。図２に、本発明の第１の実施形態に係るＧＯＰサイズ決定装置１の構成例を示す。図２に示すＧＯＰサイズ決定装置１は、フレームメモリ１１と、時空間周波数分解部１２と、パワー分散算出部１３と、ＧＯＰサイズ決定部１４－１と、を備える。

【0020】

フレームメモリ１１は、時空間周波数分解部１２による処理を行うために、複数フレームの画像を記憶する。

【0021】

時空間周波数分解部１２は、フレームメモリ１１に記憶された複数フレームの画像を時間方向及び空間方向（以下、「時空間方向」という。）に周波数分解（３次元周波数分解）して、周波数分解画像を生成する。そして、時空間周波数分解部１２は、生成した周波数分解画像のうち、パワー分散値の算出に用いられる帯域の画像をパワー分散算出部１３に出力する。時空間周波数分解部１２は、フーリエ変換、ウェーブレット分解などの既知の任意の手法により周波数分解を行う。

【0022】

図３を参照して、ウェーブレット分解による周波数分解について説明する。時空間周波数分解部１２は、周波数分解を行う際に、各方向の分解階数を任意とすることができるが、図３に示す例では、水平方向の分解階数ｎ_ｘ＝１、垂直方向の分解階数ｎ_ｙ＝１、時間方向の分解階数ｎ_ｔ＝１としている。この場合、時空間周波数分解部１２は、水平方向、垂直方向、及び時間方向のそれぞれについて、低周波帯域Ｌの画像及び高周波帯域Ｈの画像を得る。

【0023】

パワー分散算出部１３は、時空間周波数分解部１２から入力された周波数分解画像の各画素の全周波数電力に対するパワーの分散値であるパワー分散値を、高周波帯域のパワー分散値の重みが大きくなるように重み付けして算出する。そして、パワー分散算出部１３は、算出したパワー分散値をＧＯＰサイズ決定部１４－１に出力する。

【0024】

例えば、パワー分散算出部１３は、周波数分解画像のうち、水平方向、垂直方向、及び時間方向の全てについて高周波帯域である時空間高周波帯域ＨＨＨの重みをａとし、他の周波数帯域の重みをａよりも小さいｂとして、ａ×（時空間高周波帯域ＨＨＨのパワー分散値）＋ｂ×（他の周波数帯域のパワー分散値）を全体のパワー分散値として算出する。なお、重みｂを０としてもよく、その場合には、パワー分散算出部１３は、時空間高周波帯域ＨＨＨの画像のみを用いて、該画像の各画素のパワーの分散値をパワー分散値として算出する。さらに、パワー分散算出部１３は、時空間高周波帯域ＨＨＨの画像の全画素を用いてパワー分散値を算出してもよいし、時空間高周波帯域ＨＨＨの画像のうち、閾値以上のパワーのみ又は上位から所定の割合のパワーのみを用いてパワー分散値を算出してもよい。

【0025】

ＧＯＰサイズ決定部１４－１は、パワー分散算出部１３から入力されたパワー分散値が大きいほど、ＧＯＰサイズが小さくなるように決定する。そして、ＧＯＰサイズ決定部１４－１は、決定したＧＯＰサイズを含むＧＯＰ情報を外部に出力する。

【0026】

時空間方向に周波数分解した周波数分解画像の高周波帯域のパワー分散値が大きいということは、細かい模様がランダムに動いていることを意味する。このような画像に対しては、Ｐピクチャ及びＢピクチャにおけるフレーム間予測が困難であり、符号化時における差分誤差が大きくなると考えられる。そこで、ＧＯＰサイズ決定部１４－１により、パワー分散値が大きい場合にはＧＯＰサイズを小さくすることにより、符号化効率を向上させることが可能となる。

【0027】

なお、パワー分散値の大きさとＧＯＰサイズとの関係を、予めテーブルに保持しておき、ＧＯＰサイズ決定部１４－１は該テーブルを参照してＧＯＰサイズを決定してもよい。また、ＧＯＰサイズ決定部１４－１は、さらにビットレートや画質に応じてＧＯＰサイズを可変としてもよい。

【0028】

以上説明したように、ＧＯＰサイズ決定装置１は、複数フレームの画像を時空間方向に周波数分解した周波数分解画像の各画素のパワーのパワー分散値を、高周波帯域の重みが大きくなるように重み付けして算出し、パワー分散値が大きいほど、ＧＯＰサイズが小さくなるように決定する。そのため、ＧＯＰサイズ決定装置１によれば、符号化前に映像の特徴量を事前解析し、その結果に基づいて最適なＧＯＰサイズを動的に短時間で決定することが可能となる。かくして、符号化装置において符号化時間を増大させずに符号化効率を向上させることが可能となる。

【0029】

（第２の実施形態）
次に、本発明の第２の実施形態に係るＧＯＰサイズ決定装置について説明する。図４に、本発明の第２の実施形態に係るＧＯＰサイズ決定装置２の構成例を示す。図４に示すＧＯＰサイズ決定装置２は、フレームメモリ１１と、時空間周波数分解部１２と、ＧＯＰサイズ決定部１４－２と、トータルパワー算出部１５と、を備える。

【0030】

時空間周波数分解部１２は、第１の実施形態と同様に、フレームメモリ１１に記憶された複数フレームの画像を時空間方向に周波数分解して、周波数分解画像を生成する。そして、時空間周波数分解部１２は、生成した周波数分解画像のうち、トータルパワー値の算出に用いられる帯域の画像をトータルパワー算出部１５に出力する。

【0031】

トータルパワー算出部１５は、時空間周波数分解部１２から入力された周波数分解画像の各画素の全周波数電力に対するパワーの合計値であるトータルパワー値を、高周波帯域のトータルパワー値の重みが大きくなるように重み付けして算出する。トータルパワー値は、各画素のパワーのＲＭＳ（Root Mean Square）値であってもよい。そして、トータルパワー算出部１５は、算出したトータルパワー値をＧＯＰサイズ決定部１４－２に出力する。

【0032】

例えば、トータルパワー算出部１５は、周波数分解画像のうち、水平方向、垂直方向、及び時間方向の全てについて高周波帯域である時空間高周波帯域ＨＨＨの画像の重みをｃとし、他の周波数帯域画像の重みをｃよりも小さいｄとし、ｃ×（時空間高周波帯域ＨＨＨのトータルパワー値）＋ｄ×（他の周波数帯域のトータルパワー値）を全体のトータルパワー値として算出する。なお、重みｄを０としてもよく、その場合には、トータルパワー算出部１５は、時空間高周波帯域ＨＨＨの画像のみを用いて、該画像の各画素のパワーの合計値をトータルパワー値として算出する。さらに、トータルパワー算出部１５は、時空間高周波帯域ＨＨＨの画像の全画素を用いてトータルパワー値を算出してもよいし、時空間高周波帯域ＨＨＨの画像のうち、閾値以上のパワーのみ又は上位から所定の割合のパワーのみを用いてトータルパワー値を算出してもよい。

【0033】

ＧＯＰサイズ決定部１４－２は、トータルパワー算出部１５から入力されたトータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定する。そして、ＧＯＰサイズ決定部１４－２は、決定したＧＯＰサイズを含むＧＯＰ情報を外部に出力する。

【0034】

時空間方向に周波数分解した周波数分解画像の高周波帯域のトータルパワー値が大きいということは、細かい模様が大きく動いていることを意味する。このような画像に対しては、Ｐピクチャ及びＢピクチャにおけるフレーム間予測が困難であり、符号化時における差分誤差が大きくなると考えられる。そこで、ＧＯＰサイズ決定部１４－２により、トータルパワー値が大きい場合にはＧＯＰサイズを小さくすることにより、符号化効率を向上させることが可能となる。

【0035】

なお、トータルパワー値の大きさとＧＯＰサイズとの関係を、予めテーブルに保持しておき、ＧＯＰサイズ決定部１４－２は該テーブルを参照してＧＯＰサイズを決定してもよい。また、ＧＯＰサイズ決定部１４－２は、さらにビットレートや画質に応じてＧＯＰサイズを可変としてもよい。

【0036】

以上説明したように、ＧＯＰサイズ決定装置２は、複数フレームの画像を時空間方向に周波数分解した周波数分解画像の各画素のパワーのトータルパワー値を、高周波帯域の重みが大きくなるように重み付けして算出し、トータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定する。そのため、ＧＯＰサイズ決定装置２によれば、符号化前に映像の特徴量を事前解析し、その結果に基づいて最適なＧＯＰサイズを動的に短時間で決定することが可能となる。かくして、符号化装置において符号化時間を増大させずに符号化効率を向上させることが可能となる。

【0037】

（第３の実施形態）
次に、本発明の第３の実施形態に係るＧＯＰサイズ決定装置について説明する。図５に、本発明の第３の実施形態に係るＧＯＰサイズ決定装置３の構成例を示す。図５に示すＧＯＰサイズ決定装置３は、フレームメモリ１１と、時空間周波数分解部１２と、パワー分散算出部１３と、ＧＯＰサイズ決定部１４－３と、トータルパワー算出部１５と、を備える。

【0038】

時空間周波数分解部１２は、第１の実施形態と同様に、フレームメモリ１１に記憶された、複数フレームの画像を時空間方向に周波数分解して、周波数分解画像を生成する。そして、時空間周波数分解部１２は、生成した周波数分解画像のうち、パワー分散値の算出に用いられる帯域の画像をパワー分散算出部１３に出力し、トータルパワー値の算出に用いられる帯域の画像をトータルパワー算出部１５に出力する。

【0039】

パワー分散算出部１３は、第１の実施形態と同様に、時空間周波数分解部１２から入力された周波数分解画像の各画素の全周波数電力に対するパワーのパワー分散値を、高周波帯域のパワー分散値の重みが大きくなるように重み付けして算出する。そして、パワー分散算出部１３は、算出したパワー分散値をＧＯＰサイズ決定部１４－３に出力する。

【0040】

トータルパワー算出部１５は、第２の実施形態と同様に、時空間周波数分解部１２から入力された周波数分解画像の各画素の全周波数電力に対するパワーのトータルパワー値を、高周波帯域のトータルパワー値の重みが大きくなるように重み付けして算出する。そして、トータルパワー算出部１５は、算出したトータルパワー値をＧＯＰサイズ決定部１４－３に出力する。

【0041】

ＧＯＰサイズ決定部１４－３は、パワー分散算出部１３から入力されたパワー分散値、及びトータルパワー算出部１５から入力されたトータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定する。そして、ＧＯＰサイズ決定部１４－３は、決定したＧＯＰサイズを含むＧＯＰ情報を外部に出力する。

【0042】

時空間方向に周波数分解した周波数分解画像の高周波帯域のパワー分散値及びトータルパワー値が大きいということは、細かい模様がランダム且つ大きく動いていることを意味する。このような画像に対しては、Ｐピクチャ及びＢピクチャにおけるフレーム間予測が困難であり、符号化時における差分誤差が大きくなると考えられる。そこで、パワー分散値及びトータルパワー値が大きい場合にはＧＯＰサイズが小さくすることにより、符号化効率を向上させることが可能となる。

【0043】

例えば、ＧＯＰサイズ決定部１４－３は、パワー分散算出部１３から入力されたパワー分散値と、トータルパワー算出部１５から入力されたトータルパワー値とを乗算し、乗算値が大きいほど、ＧＯＰサイズが小さくなるように決定する。乗算する際には、重み付けをしてもよい。例えば、ＧＯＰサイズ決定部１４－３は、パワー分散値の重みをｅ、トータルパワー値の重みをｆとし、ｅ×パワー分散値＋ｆ×トータルパワー値を求め、該値が大きいほど、ＧＯＰサイズが小さくなるように決定する。重みｅ，ｆは、映像の種類に応じて可変としてもよい。

【0044】

なお、パワー分散値及びトータルパワー値の乗算値とＧＯＰサイズとの関係を、予めテーブルに保持しておき、ＧＯＰサイズ決定部１４－３は該テーブルを参照してＧＯＰサイズを決定してもよい。また、ＧＯＰサイズ決定部１４－３は、さらにビットレートや画質に応じてＧＯＰサイズを可変としてもよい。

【0045】

以上説明したように、ＧＯＰサイズ決定装置３は、複数フレームの画像を時空間方向に周波数分解した周波数分解画像の各画素のパワーのパワー分散値及びトータルパワー値を、高周波帯域の重みが大きくなるように重み付けして算出し、パワー分散値及びトータルパワー値が大きいほど、ＧＯＰサイズが小さくなるように決定する。そのため、ＧＯＰサイズ決定装置３によれば、符号化前に映像の特徴量を事前解析し、その結果に基づいて最適なＧＯＰサイズを動的に短時間で決定することが可能となる。ＧＯＰサイズ決定装置３は、パワー分散値及びトータルパワー値の双方を算出しているため、フレーム間予測が困難な画像をＧＯＰサイズ決定装置１及びＧＯＰサイズ決定装置２よりもさらに精度良く検出し、最適なＧＯＰサイズを決定することができる。かくして、符号化装置において符号化時間を増大させずに符号化効率を向上させることが可能となる。

【0046】

図６は、ＧＯＰサイズ決定装置３の効果を示す図である。図６（ａ）は、ＧＯＰサイズ決定装置３により決定されたＧＯＰサイズに従って符号化した後に復号した画像である。図６（ｂ）は、従来法のように複数のＧＯＰサイズによる処理を試行して符号化を行い最適なＧＯＰサイズを決定して符号化した後に復号した画像である。図６（ａ）（ｂ）の比較により明らかなように、本装置を用いることで符号化劣化を抑制し、高画質な画像を得ることが可能となる。また、従来の方法では試行数分の符号化処理を行うため、並列処理を行った場合には回路規模が膨大となり最大ＧＯＰサイズ分の遅延が発生し、直列処理を行った場合には回路規模は大きくならないが遅延量が膨大となる。これに対して、本装置を用いることで、符号化時間を増大させずに符号化効率を向上させることが可能となる。

【0047】

（第４の実施形態）
次に、本発明の第４の実施形態に係るＧＯＰサイズ決定装置について説明する。図７に、本発明の第４の実施形態に係るＧＯＰサイズ決定装置４の構成例を示す。図７に示すＧＯＰサイズ決定装置４は、フレームメモリ１１と、時空間周波数分解部１２と、パワー分散算出部１３と、ＧＯＰサイズ決定部１４－３と、トータルパワー算出部１５と、シーンチェンジ判定部１６と、を備える。

【0048】

シーンチェンジ判定部１６は、ＧＯＰサイズ決定装置４に入力された映像について、シーンチェンジの有無を判定し、シーンチェンジが行われたフレームを特定する。例えば、フレーム間の画像値の差分を求め、差分が閾値を超える場合にはシーンチェンジが行われたものと判定する。そして、シーンチェンジ判定部１６は、シーンチェンジが行われたフレームから、該フレーム以降の数フレームをフレームメモリ１１に記憶させる。

【0049】

時空間周波数分解部１２は、フレームメモリ１１に記憶された複数フレームの画像、すなわち、シーンチェンジ判定部１６により特定されたフレームから複数フレームの画像を、時空間方向に周波数分解して周波数分解画像を生成する。

【0050】

パワー分散算出部１３、トータルパワー算出部１５、及びＧＯＰサイズ決定部１４－３の処理は、第３の実施形態と同一であるため、説明を省略する。

【0051】

（ＧＯＰサイズ決定装置４の動作）
次に、ＧＯＰサイズ決定装置４の動作について説明する。図８は、ＧＯＰサイズ決定装置４の動作例を示すフローチャートである。

【0052】

ステップＳ１０１において、ＧＯＰサイズ決定装置４は、シーンチェンジ判定部１６によりシーンチェンジの有無を判定する。シーンチェンジ判定部１６によりシーンチェンジが行われていないと判断された場合には（ステップＳ１０２－Ｎｏ）、処理をステップＳ１０１に戻して、継続してシーンチェンジの有無を判定する（ステップＳ１０１）。そして、シーンチェンジ判定部１６によりシーンチェンジが行われたと判定された場合にのみ、以降に処理を進める。すなわち、ＧＯＰサイズ決定装置４はＧＯＰサイズを決定すると、次にシーンチェンジ判定部１６によりシーンチェンジが行われたと判定されるまで、ＧＯＰサイズを保持する。

【0053】

ＧＯＰサイズ決定装置４は、シーンチェンジ判定部１６によりシーンチェンジが行われたと判定された場合には（ステップＳ１０２－Ｙｅｓ）、ステップＳ１０３において、フレームメモリ１１により、複数フレームの画像を記憶する。

【0054】

続いて、ステップＳ１０４において、ＧＯＰサイズ決定装置４は、時空間周波数分解部１２により、フレームメモリ１１に記憶された複数フレームの画像を時空間方向に周波数分解して、周波数分解画像を生成する。

【0055】

続いて、ステップＳ１０５において、ＧＯＰサイズ決定装置４は、パワー分散算出部１３により、周波数分解画像の各画素のパワーのパワー分散値を、高周波帯域の重みが大きくなるように重み付けして算出する。

【0056】

また、ステップＳ１０６において、トータルパワー算出部１５により、周波数分解画像の各画素のパワーのトータルパワー値を、高周波帯域の重みが大きくなるように重み付けして算出する。なお、ステップＳ１０５の処理とステップＳ１０６の処理とは、並行して行われてもよいし、ステップＳ１０６の処理が先に行われてもよい。

【0057】

最後に、ステップＳ１０７において、ＧＯＰサイズ決定装置４は、ＧＯＰサイズ決定部１４－３により、パワー分散値及びトータルパワー値に基づいて、ＧＯＰサイズを決定する。

【0058】

以上説明したように、ＧＯＰサイズ決定装置４は、入力された映像についてシーンチェンジが行われたフレームを特定してから、周波数分解画像を生成し、パワー分散値及びトータルパワー値に基づいてＧＯＰサイズを決定する。そのため、ＧＯＰサイズ決定装置４によれば、適切なタイミングでＧＯＰサイズを変更することができ、フレーム内で局所的にランダムな動きをするような画像の符号化時における差分誤差を小さくすることができる。したがって、ＧＯＰサイズ決定装置３よりもさらに符号化効率を向上させることが可能となる。

【0059】

以上、ＧＯＰサイズ決定装置１～４について説明したが、ＧＯＰサイズ決定装置１から４として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、ＧＯＰサイズ決定装置１～４の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

【0060】

また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

【0061】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【0062】

例えば、第４の実施形態において説明したシーンチェンジ判定部１６を、第１の実施形態にかかるＧＯＰサイズ決定装置１が備えていてもよいし、第２の実施形態にかかるＧＯＰサイズ決定装置２が備えていてもよい。

【符号の説明】

【0063】

１，２，３，４，１０ ＧＯＰサイズ決定装置
１１ フレームメモリ
１２ 時空間周波数分解部
１３ パワー分散算出部
１４－１，１４－２，１４－３ ＧＯＰサイズ決定部
１５ トータルパワー算出部
１６ シーンチェンジ判定部
２０ 符号化装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】