特許 7181492 復号装置、符号化装置、復号方法、符号化方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-22

(45)【発行日】2022-12-01

(54)【発明の名称】復号装置、符号化装置、復号方法、符号化方法及びプログラム

(51)【国際特許分類】

   H04N 19/587 20140101AFI20221124BHJP

   H04N 19/31 20140101ALI20221124BHJP

   H04N 19/46 20140101ALI20221124BHJP

【ＦＩ】

H04N19/587

H04N19/31

H04N19/46

【請求項の数】 7

(21)【出願番号】P 2021555743

(86)(22)【出願日】2019-11-15

(86)【国際出願番号】 JP2019044862

(87)【国際公開番号】W WO2021095229

(87)【国際公開日】2021-05-20

【審査請求日】2022-02-25

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】坂東 幸浩

(72)【発明者】

【氏名】高村 誠之

(72)【発明者】

【氏名】木全 英明

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０１８－００６８３１（ＪＰ，Ａ）

【文献】特開２０１８－０８８６３３（ＪＰ，Ａ）

【文献】特開２００４－０８８２４４（ＪＰ，Ａ）

【文献】Yukihiro BANDOH, Seishi TAKAMURA and Atsushi SHIMIZU，TEMPORAL FILTER DESIGN FOR ENCODER-ORIENTED VIDEO GENERATION BASED ON BAYESIAN OPTIMIZATION，ICIP 2018，IEEE，2018年10月，pp.2555-2559

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記低フレームレートの動画像である低フレームレート画像と重みとを取得する取得部と、
前記低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを前記重みに基づいて合成することによって、前記中フレームレートの動画像である中フレームレート画像における第３フレームを合成する復号部とを備え、
前記低フレームレート画像及び前記重みは、予め定められた期間の前記高フレームレートの動画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、予め導出される、復号装置。

【請求項2】

前記低フレームレート画像及び前記重みは、さらに、前記低フレームレート画像の符号量を最小化するように予め導出される、請求項１に記載の復号装置。

【請求項3】

フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記高フレームレートの動画像である高フレームレート画像に基づいて、前記中フレームレートの動画像である中フレームレート画像を導出するための前記低フレームレートの動画像である低フレームレート画像を符号化する符号化装置であって、
前記低フレームレート画像と前記中フレームレート画像と重みとを前記高フレームレート画像に基づいて導出し、前記低フレームレート画像と前記重みとを符号化する符号化部を備え、
前記符号化部は、
前記低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを前記重みに基づいて合成することによって前記中フレームレート画像を導出し、
予め定められた期間の前記高フレームレート画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、前記低フレームレート画像及び前記重みを導出する、
符号化装置。

【請求項4】

前記符号化部は、さらに、前記低フレームレート画像の符号量を最小化するように、前記低フレームレート画像及び前記重みを導出する、請求項３に記載の符号化装置。

【請求項5】

復号装置が実行する復号方法であって、
フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記低フレームレートの動画像である低フレームレート画像と重みとを取得する取得ステップと、
前記低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを前記重みに基づいて合成することによって、前記中フレームレートの動画像である中フレームレート画像における第３フレームを合成する復号ステップとを含み、
前記低フレームレート画像及び前記重みは、予め定められた期間の前記高フレームレートの動画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、予め導出される、復号方法。

【請求項6】

フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記高フレームレートの動画像である高フレームレート画像に基づいて、前記中フレームレートの動画像である中フレームレート画像を導出するための前記低フレームレートの動画像である低フレームレート画像を符号化する符号化装置が実行する符号化方法であって、
前記低フレームレート画像と前記中フレームレート画像と重みとを前記高フレームレート画像に基づいて導出し、前記低フレームレート画像と前記重みとを符号化する符号化ステップを含み、
前記符号化ステップでは、
前記低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを前記重みに基づいて合成することによって前記中フレームレート画像を導出し、
予め定められた期間の前記高フレームレート画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、前記低フレームレート画像及び前記重みを導出する、符号化方法。

【請求項7】

請求項１又は請求項２に記載の復号装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、復号装置、符号化装置、復号方法、符号化方法及びプログラムに関する。

【背景技術】

【0002】

昨今の半導体技術の進歩を受け、高速度カメラにおける動画像のフレームレートが大きく向上している。高速度カメラにより取得された高フレームレート画像の用途は、画像再生時の高画質化と画像解析の高精度化とに分類される。

【0003】

画像再生時の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることにより、被写体の滑らかな動きを表現することが目的である。このため、画像再生時の高画質化は、ディスプレイ装置が動画像を等速再生することが前提である。

【0004】

一方、画像解析の高精度化は、視覚の検知限を越えた高フレームレート画像を用いることにより、画像解析の高精度化を行うことが目的である。スポーツ選手、ＦＡ・検査、自動車等の高速移動物体のスロー再生による画像解析は、代表的な応用例である。

【0005】

動画像の入力システムのフレームレートの上限と、動画像の出力システムのフレームレートの上限とは、非対称である。すなわち、動画像の入力システムである高速度カメラのフレームレートの上限は、１００００ｆｐｓを超えている。一方、動画像の出力システムであるディスプレイ装置のフレームレートの上限は、１２０ｆｐｓから２４０ｆｐｓまでである。このため、高速度カメラで撮影された動画像は、スロー再生に用いられる（特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００４－２０１１６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

視覚の検知限を越えた高フレームレート画像を用いることにより、動画像の符号化処理に対して親和性の高い等速再生用の画像を生成することができる。高フレームレート画像は、時間方向に高密度でサンプリングされたフレーム群を含んでいる。画像生成装置は、１０００Ｈｚ等の高密度時間サンプリングされたフレーム群を用いて３０Ｈｚ等の等速再生用の画像を生成すれば、等速再生用の画像の生成を高い時間分解能で制御することが可能である。

【0008】

しかしながら、符号発生量の低減を目的とした動画像符号化の前処理では、画像生成装置が再生フレームレートでフレームをサンプリングすることが前提となっている。このため、従来の画像生成装置は、再生フレームレートよりも高い時間分解能ではフレームをサンプリングしていない。

【0009】

高フレームレート画像のフレームを単純に間引く処理では、時間方向のエイリアシングに起因する画質劣化が問題となる。このような問題を回避するには、時間フィルタによる時間軸方向の帯域制限フィルタリングが必要である。

【0010】

一方、動き補償フレーム間予測を用いる符号化器では、時間方向のエイリアシングの低減は、予測誤差の低減に直接の関係がない。また、動き補償フレーム間予測を用いる符号化器では、高密度時間サンプリングされたフレームが十分に活用されておらず、時間フィルタとしての自由度には制約がある。

【0011】

すなわち、３０ｆｐｓ又は６０ｆｐｓ等の低フレームレートの動画像（以下「低フレームレート画像」という。）の場合、フィルタリングのための十分な数のサンプル（フレーム）が確保できないため、フィルタの特性を高精度に近似することは困難である。例えば、６０ｆｐｓの動画像信号をフィルタリングすることによって６０ｆｐｓの動画像信号から３０ｆｐｓの動画像信号が生成される場合、フィルタリングの対象のフレームが重複しないという条件下では、フィルタリングの対象のフレームは２（＝６０／３０）フレームに限定されるという制約がある。

【0012】

一方、高フレームレート画像の場合、フィルタ設計の自由度は拡張される。例えば、１０００ｆｐｓの動画像信号をフィルタリングすることによって、１０００ｆｐｓの動画像信号から６２．５ｆｐｓの動画像信号が生成される場合、フィルタリングの対象のフレームが重複しないという条件下でも、フィルタリングの対象のフレームは、２フレームよりも多い１６（＝１０００／６２．５）フレームとすることができる。このように、高フレームレート画像から低フレームレート画像を生成する場合、フィルタリング設計の自由度は高い。この自由度の高さを利用することで、符号化器は符号化効率を向上させることができる可能性がある。

【0013】

そもそも従来の技術では、低フレームレートの動画像を復号装置が高フレームレートの動画像に基づいて生成する点が着目されていた。しかしながら、中フレームレートの動画像を復号装置が生成しやすい低フレームレートの動画像を符号化装置が高フレームレートの動画像に基づいて生成することも考えられる。ここで、生成しやすいとは、主観画質の劣化が抑えられること、且つ、符号化効率が向上することである。

【0014】

しかしながら、従来の装置は、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することができない場合があった。

【0015】

上記事情に鑑み、本発明は、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である復号装置、符号化装置、復号方法、符号化方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0016】

本発明の一態様は、フレームレートの高い順に高フレームレートと中フレームレートと低フレームレートとが予め定められており、前記低フレームレートの動画像である低フレームレート画像と重みとを取得する取得部と、前記低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを前記重みに基づいて合成することによって、前記中フレームレートの動画像である中フレームレート画像における第３フレームを合成する復号部とを備え、前記低フレームレート画像及び前記重みは、予め定められた期間の前記高フレームレートの動画像における複数のフレームと、前記期間の前記中フレームレート画像における複数のフレームとの乖離度を最小化するように、予め導出される、復号装置である。

【発明の効果】

【0017】

本発明により、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である。

【図面の簡単な説明】

【0018】

【図1】実施形態における、フィルタリングシステムの構成例を示す図である。

【図2】実施形態における、フィルタリングシステムのハードウェア構成例を示す図である。

【図3】実施形態における、乖離量、乖離度及び発生符号量の例を示す図である。

【図4】実施形態における、係数候補ベクトルの選択例を示す図である。

【図5】実施形態における、符号化装置の動作例を示すフローチャートである。

【図6】実施形態における、復号装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0019】

本発明の実施形態について、図面を参照して詳細に説明する。
以下では、フレームレート（時間解像度）の高い順に、高フレームレートと、中フレームレートと、低フレームレートとが予め定められている。高フレームレートは、例えば、１０００ｆｐｓである。中フレームレートは、例えば、２４０ｆｐｓである。低フレームレートは、例えば、３０ｆｐｓ又は６０ｆｐｓである。

【0020】

図１は、フィルタリングシステム１の構成例を示す図である。フィルタリングシステム１は、高フレームレートの動画像（以下「高フレームレート画像」という。）に対して時間フィルタリングを実行するシステムである。フィルタリングシステム１は、フィルタリング装置２と、記憶装置３とを備える。

【0021】

フィルタリング装置２は、高フレームレート画像に対して時間フィルタリングを実行する装置である。フィルタリング装置２は、符号化装置２０と、復号装置２１とを備える。なお、符号化装置２０は、復号装置２１の機能部のうちの少なくとも一つを備えてもよい。復号装置２１は、符号化装置２０の機能部のうちの少なくとも一つを備えてもよい。

【0022】

符号化装置２０は、通信部２００と、符号化部２０１とを備える。符号化部２０１は、辞書設計部２０２と、選択部２０３と、フィルタ２０４と、可逆符号化器２０５とを備える。復号装置２１は、通信部２１０と、復号部２１１とを備える。

【0023】

記憶装置３は、例えば、フィルタリング処理前の高フレームレート画像のフレーム群と、フィルタリング処理後の低フレームレート画像のフレーム群と、低フレームレート画像のフレームに割り当てられた重みと、データテーブルと、プログラムとを記憶する。データテーブルは、例えば、フィルタ係数の候補の辞書を表す。

【0024】

図２は、フィルタリングシステム１のハードウェア構成例を示す図である。フィルタリングシステム１は、記憶装置３と、プロセッサ４と、通信装置５と備える。

【0025】

通信部２００と符号化部２０１と通信部２１０と復号部２１１とのうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ４が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置３に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。通信部２００と通信部２１０とのうちの一部又は全部は、通信装置５に備えられてもよい。プログラムは、電気通信回線を経由して、通信装置５によって受信されてもよい。

【0026】

通信部２００と符号化部２０１と通信部２１０と復号部２１１とのうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0027】

通信部２００は、高フレームレート画像を、記憶装置３から取得する。通信部２００は、高フレームレート画像に基づいてフィルタ２０４によって生成された低フレームレート画像の符号化の結果を、可逆符号化器２０５から取得する。通信部２００は、低フレームレート画像の符号化の結果を、記憶装置３に記録する。通信部２００は、選択部２０３によって低フレームレート画像の各フレームに割り当てられた重みを、記憶装置３に記録する。

【0028】

辞書設計部２０２は、最適なフィルタ係数の候補ベクトルが辞書から選択された場合において、選択された候補ベクトルに応じて最適なシフト量が導出された場合におけるフィルタ設計コストを最小化するように、辞書（フィルタ係数の候補ベクトルの集合）を設計する。

【0029】

以下では、時間フィルタに入力される画像のフレームを「原フレーム」という。時間フィルタから出力される画像のフレームを「合成フレーム」という。

【0030】

選択部２０３は、予め定められた期間の高フレームレート画像における複数の原フレームと、同じ期間の低フレームレート画像における複数のフレーム（合成フレーム）との乖離量を導出する。

【0031】

選択部２０３は、予め定められた期間の高フレームレート画像における複数の原フレームと、同じ期間の中フレームレートの動画像（以下「中フレームレート画像」という。）における複数のフレーム（表示フレーム）との乖離度を導出する。

【0032】

選択部２０３は、導出された乖離度により定まるフィルタ設計コストを最小化するフィルタ係数を、辞書（フィルタ係数の候補ベクトルの集合）から選択する。選択部２０３は、導出された乖離度により定まるコストを最小化するシフト量を、フィルタ位置のシフト量として選択する。

【0033】

選択部２０３は、同じ予め定められた期間の低フレームレート画像における複数のフレームの発生符号量と、導出された乖離度とにより定まるフィルタ設計コストを最小化するフィルタ係数を、辞書から選択してもよい。

【0034】

選択部２０３は、同じ予め定められた期間の低フレームレート画像における符号化対象フレームの発生符号量と乖離度とにより定まるフィルタ設計コストを最小化するフィルタ係数を、辞書から選択してもよい。

【0035】

なお、選択部２０３は、低フレームレート画像において時系列で連続する第１成フレーム及び第２フレーム（符号化対象フレーム）を重みに基づいて合成することによって、中フレームレート画像における第３フレーム（表示フレーム）を合成してもよい。

【0036】

フィルタ２０４は、高フレームレート画像の複数のフレームを用いて、低フレームレート画像における複数の合成フレーム（符号化対象フレーム）を、選択されたフィルタ係数に応じて生成する。可逆符号化器２０５は、低フレームレート画像における複数の合成フレームに対して、可逆符号化を実行する。

【0037】

通信部２１０（取得部）は、低フレームレート画像と重みとを、記憶装置３から取得する。復号部２１１は、低フレームレート画像において時系列で連続する第１成フレーム及び第２フレーム（符号化対象フレーム）を重みに基づいて合成することによって、中フレームレート画像における第３フレーム（表示フレーム）を合成する。

【0038】

次に、フィルタリングシステム１の詳細を説明する。
＜表記法について＞
通信部２００は、高フレームレート画像を記憶装置３から取得する。符号化部２０１は、低フレームレート画像を高フレームレート画像から生成するための時間フィルタを設計する。低フレームレート画像は、発生符号量が少ないので、符号化に適した動画像である。また、低フレームレート画像は、符号化の規格に適した動画像である。

【0039】

以下では、表記の簡略化のため、動画像の各フレームは一次元信号として表される。原フレームは、時間位置ｔ（ｔ＝ｊ_ｓδ_ｓ（ｊ_ｓ＝０，１，…））においてサンプリングされる。δ_ｓは、時間フィルタに入力される動画像のフレームの間隔を表す。以下では、時間軸上の区間（期間）「ｉＭδ_ｓ≦ｔ≦（（ｉ＋１）Ｍ－１）δ_ｓ」を「第ｉステージ」という。

【0040】

フィルタ２０４は、（２Δ＋１）タップの時間フィルタである。第ｉステージにおいてフィルタ２０４から出力された第ｉフレームは、式（１）のように表される。

【0041】

【数1】

【0042】

ｉは、ステージを指定するインデックスを表す。ｉの値は、非負の整数値である。ｆ（ｘ，ｊ_ｓ）は、第ｊ_ｓ番目の原フレームの位置ｘ（ｘ＝０，…，Ｘ－１）における画素値を表す。式（１）に示された関数式（２）は、床関数を用いて、（Ｍ／２）を超えない最大の整数を表す。

【0043】

【数2】

【0044】

ｗ_ｉ［ｊ_ｓ］は、時間フィルタのフィルタ係数を表す。ここで、式（３）が成り立つ。

【0045】

【数3】

【0046】

ｗ_ｉ（＝（ｗ_ｉ［－Δ］，…，ｗ_ｉ［Δ］））は、フィルタ係数を要素とするベクトル（以下「係数ベクトル」という。）を表す。ｐ_ｉは、フィルタ位置のシフト量を制御するパラメータを表す。すなわち、ｐ_ｉは、フィルタ係数が施される時間位置を補正するパラメータを表す。ｐ_ｉの値は、（０，…，±Ｐ）である。

【0047】

「Ｍ」は、合成フレームのフレーム間隔を決定するパラメータである。式（１）においてシフト量が零値である場合、合成フレームのフレーム間隔は、「Ｍδ_ｓ」と表される。以下では、（２Δ＋２Ｐ＋１≦Ｍ）が成り立っている。以下、係数ベクトルの候補を「係数候補ベクトル」という。

【0048】

Ｎ種類の係数候補ベクトルからなる辞書（係数候補ベクトルの集合）は、「Γ_Ｎ＝（γ_０，…，γ_Ｎ－１）」と表される。ここで、γ_ｎ（＝（γ_ｎ［－Δ］，…，γ_ｎ［Δ］））は、第ｎ番目（ｎ＝０，…，Ｎ－１）の係数候補ベクトルを表す。

【0049】

＜フィルタ２０４（時間フィルタ）の設計の定式化について＞
［フィルタ係数とシフト量との最適化の規準について］
図３は、乖離量、乖離度及び発生符号量の例を示す図である。選択部２０３は、互いに同じステージ（期間）における合成フレーム及び原フレームの間の乖離量とに基づいて、係数ベクトル及びシフト量を選択する。

【0050】

選択部２０３は、合成フレームの発生符号量と、互いに同じステージ（期間）における表示フレーム及び原フレームの間の乖離度とに基づいて、係数ベクトル及びシフト量を選択してもよい。発生符号量は、合成フレームに対して可逆符号化を実行する可逆符号化器２０５の出力の符号量である。

【0051】

フィルタ２０４は、選択された係数ベクトル及びシフト量に基づいて、高フレームレートを有する原フレーム群に対して、時間フィルタの処理を実行する。フィルタ２０４は、時間フィルタの処理の実行結果として、低フレームレートを有する合成フレーム群を生成する。フィルタ２０４は、合成フレーム群を可逆符号化器２０５に出力する。

【0052】

可逆符号化器２０５は、合成フレーム群を、可逆符号化の符号化対象フレーム群として取得する。可逆符号化器２０５は、合成フレーム群に対して動き補償予測を実行する。動き補償予測では、可逆符号化器２０５は、符号化対象フレームを部分領域に分割する。可逆符号化器２０５は、合成フレーム群のうちの参照フレームにおける対応領域を、符号化対象フレーム（被予測フレーム）における部分領域ごとに導出する。可逆符号化器２０５は、符号化対象フレームの部分領域と参照フレームの対応領域との差分（予測誤差）に基づいて、符号化対象フレームを符号化する。

【0053】

以下では、数式において文字の上に記載される記号（例えば、＾）は、その文字の直前に記載される。符号化対象フレーム（第ｉ番目の合成フレーム）は、「＾ｆ（ｘ，ｉ，Ｍ，ｗ_ｉ，ｐ_ｉ）」と表記される。「ｗ_ｉ」は、第ｉ番目の合成フレーム（第ｉ合成フレーム）の係数ベクトルを表す。「ｐ_ｉ」は、第ｉ番目の合成フレームのシフト量を表す。

【0054】

（ｉ≧１）が成り立つ場合、可逆符号化器２０５は、第ｉ番目の合成フレームに対して、参照フレームを用いる動き補償予測（インター予測）の符号化を実行する。参照フレーム（第（ｉ－１）番目の合成フレーム）は、「＾ｆ（ｘ，ｉ－１，Ｍ，ｗ_ｉ－１，ｐ_ｉ－１）」と表記される。「ｗ_ｉ－１」は、第（ｉ－１）番目の合成フレームの係数ベクトルを表す。「ｐ_ｉ－１」は、第（ｉ－１）番目の合成フレームのシフト量を表す。符号化対象フレームの発生符号量は、「Ψ［ｗ_ｉ，ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１］」と表記される。

【0055】

（ｉ＝０）が成り立つ場合、可逆符号化器２０５は、第０番目の合成フレームに対して、イントラ符号化を実行する。符号化対象フレームの発生符号量は、「Ψ［ｗ_０，ｗ_－１，ｐ_０，ｐ_－１］」と表記される。「ｗ_０」は、第０番目の合成フレームの係数ベクトルを表す。「ｗ_－１」は、値を持たない変数（ダミー変数）である。「ｐ_０」は、第０番目の合成フレームのシフト量を表す。「ｐ_－１」は、値を持たない変数（ダミー変数）である。

【0056】

互いに同じステージ（期間）における合成フレーム及び原フレームの間の乖離量は、式（４）のように表される。

【0057】

【数4】

【0058】

式（４）は、第ｉステージ（第ｉ期間）における合成フレーム及び原フレームの間の二乗誤差和を表す。「Ｘ」は、合成フレーム又は原フレームの画素数を表す。フィルタ２０４の設計では、選択部２０３は、乖離量を所定閾値以下にするという制約条件の下で、式（５）のように発生符号量を最小化する。

【0059】

【数5】

【0060】

選択部２０３は、式（５）に示された制約条件付き最小化問題を、式（６）に示されたコスト関数（フィルタ設計コスト）に対する制約無し最小化問題として解く。

【0061】

【数6】

【0062】

ここで、「λ」は、式（５）における制約条件を満たすための制御パラメータを表す。

【0063】

［時間フィルタの設計の最適化について］
図４は、係数候補ベクトルの選択例を示す図である。時間フィルタの設計の最適化では、辞書設計部２０２は、ベイズ最適化に基づいて、辞書に登録される係数ベクトルの候補を決定する。これによって、辞書設計部２０２は辞書を設計することができる。

【0064】

選択部２０３は、辞書に登録された係数ベクトルの候補のうちから、合成フレームごとに動的計画法に基づいて係数ベクトルを選択する。選択部２０３は、選択された係数ベクトルに基づいて、合成フレームごとに動的計画法に基づいてシフト量を導出する。参照フレーム及び被予測フレームを結ぶ経路（シフト量）は、評価尺度の値（コスト）を表す。

【0065】

［辞書に登録されるフィルタ係数（係数ベクトル）と、シフト量との最適化について］
式（６）に示されたフィルタ設計コスト（評価尺度）の総和を最小化する合成フレームをフィルタ２０４が生成するために、選択部２０３は、係数ベクトル及びシフト量の（Ｊ／Ｍ）個の組み合わせについて、式（７）に示された最小化問題の解を導出する。

【0066】

【数7】

【0067】

仮に、式（７）に示された最小化問題の解を選択部２０３が総当り法を用いて導出する場合、指数オーダの演算量が必要とされる。これに対して、式（７）に示された最小化問題の解を選択部２０３が動的計画法に基づいて導出する場合、多項式オーダの演算量が必要とされる。そこで、選択部２０３は、動的計画法に基づいて、式（７）に示された最小化問題の解を導出する。評価尺度「Ｓ_ｉ（ｗ_ｉ，ｐ_ｉ）」は、式（８）のように表される。

【0068】

【数8】

【0069】

評価尺度「Ｓ_ｉ（ｗ_ｉ，ｐ_ｉ）」は、式（９）に示された漸化式を満たす。

【0070】

【数9】

【0071】

選択部２０３は、式（９）に示されているように、「Ξ［ｗ_ｉ，ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１］＋Ｓ_ｉ－１（ｗ_ｉ－１，ｐ_ｉ－１）」を最小化する係数候補ベクトルを選択し、シフト量「ｐ_ｉ」を導出することによって、評価尺度「Ｓ_ｉ（ｗ_ｉ，ｐ_ｉ）」を導出する。この結果、式（７）に示された最小化問題の解を導出する問題は、係数ベクトル及びシフト量の「｛Ｎ×（２Ｐ＋１）｝^２Ｊ／Ｍ」通りの組み合わせについて最適解を探索する問題となる。選択部２０３は、辞書設計部２０２によって設計された辞書が与えられた条件下で、最適なフィルタ係数及びシフト量を選択する。

【0072】

［辞書の設計について］
辞書Γは、Ｎ種類の係数候補ベクトルを有する。係数候補ベクトルは、（２Δ＋１）の要素を有する。したがって、辞書Γは、「（２Δ＋１）Ｎ」個の実数値の集合となる。辞書の設計の評価尺度は、最適な係数ベクトルが辞書から選択された場合において、選択された係数ベクトルに応じて最適なシフト量が導出された場合における、フィルタ設計コスト（以下「固定辞書最適コスト」という。）である。固定辞書最適コストは、式（１０）のように表される。

【0073】

【数10】

【0074】

辞書設計部２０２は、固定辞書最適コストを最小化する係数候補ベクトルの集合を推定する。すなわち、辞書設計部２０２は、「（２Δ＋１）Ｎ」次元の空間における評価尺度（固定辞書最適コスト）の最小値を探索する。しかしながら、固定辞書最適コストは、微分不可能な非線形関数であり、微分不可能な非凸関数である。このため、辞書設計部２０２は、最小値を解析的に導出することができない。また、辞書設計部２０２は、凸最適化に基づいて最小値を導出することができない。

【0075】

そこで、辞書設計部２０２は、ベイズ最適化に基づいて、固定辞書最適コストの最小値を導出する。すなわち、辞書設計部２０２は、固定辞書最適コストと辞書との関係を、ベイズ最適化に基づいて推定する。これによって、辞書設計部２０２は、固定辞書最適コストを最小化する最適な辞書を設計することができる。

【0076】

評価尺度の導出に高い演算コストが必要とされる場合において、ベイズ最適化は、限られたサンプル点の観測結果に基づく多次元探索に適した手法である。ベイズ最適化では、ガウス過程のベイズ推定に基づいて、未観測サンプル点に対して評価尺度の値が推定されるからである。

【0077】

辞書に応じた固定辞書最適コストを辞書設計部２０２が推定する場合、ベイズ最適化において、式（１１）に示された観測モデルが用いられる。

【0078】

【数11】

【0079】

ここで、「Γ_ｉ」は、辞書における第ｉ番目の係数ベクトルを表す。「ｈ」は、未知関数を表す。「Ω_ｉ」は、辞書における第ｉ番目の係数ベクトルに応じたコスト関数（フィルタ設計コスト）を表す。「ε_ｉ」は、観測時のノイズを表す。「Ｎ（０，２）」は、平均が０であり分散が２であるガウス分布を表す。

【0080】

以下では、「｛ｈ（Γ_１），…，ｈ（Γ_ｍ）｝」は、「ｈ_１：ｍ」と略記される。「｛Γ_１，…，Γ_ｍ｝」は、「Γ_１：ｍ」と略記される。「｛Ω_１，…，Ω_ｍ｝」は、「Ω_１：ｍ」と略記される。

【0081】

ベイズ最適化における推定の対象は、未知関数「ｈ」である。辞書設計部２０２は、事前分布としてのガウス過程を用いて、未知関数「ｈ」を推定する。すなわち、辞書設計部２０２は、多次元ガウス分布「Ｎ（０，Ｋ（Γ_１：ｍ））」を用いて、関数値の集合「ｈ_１：ｍ」を推定する。ここで、「Ｋ（Γ_１：ｍ）」は、（ｍ×ｍ）行列である。「Ｋ（Γ_１：ｍ）」の第（ｉ，ｊ）要素は、共分散関数ｋ（Γ_ｉ，Γ_ｊ）である。

【0082】

辞書設計部２０２は、「Ｍａｔｅｒｎ５／２カーネル」を、共分散関数として用いる。式（１１）は、第ｉ番目の係数ベクトル「Γ_ｉ」について、未知関数「ｈ」にノイズ「ε_ｉ」が重畳している観測値のモデルである。

【0083】

ベイズ最適化では、辞書設計部２０２は、観測値を最小化することが期待される探索点を、辞書における複数の係数ベクトルのうちから逐次的に選択する。辞書設計部２０２は、観測値「Ｄ_１：ｍ＝｛Γ_１：ｍ，Ω_１：ｍ｝」を累積する。辞書設計部２０２は、ベイズ則に基づいて、未知関数「ｈ」の事後分布を導出する。辞書設計部２０２は、未知関数「ｈ」の事後分布を用いて、未知サンプル「Γ」における観測値「Ω」のベイズ予測分布を、式（１２）のように解析的に導出する。

【0084】

【数12】

【0085】

ここで、「ｋ（Γ）」は、「（ｋ（Γ，Γ_１），…，ｋ（Γ，Γ_ｍ））^Ｔ」を表す。「Ω_１：ｍ」は、「（Ω_１，…，Ω_ｍ）^Ｔ」を表す。「Ｔ」は転置を表す。「Ｉ」は、（ｍ×ｍ）の単位行列を表す。

【0086】

辞書設計部２０２は、ベイズ予測分布に基づいて、選択された探索点について。評価尺度（獲得関数の値）を導出する。すなわち、辞書設計部２０２は、ベイズ予測分布に基づいて、選択された探索点について、固定辞書最適コストを導出する。辞書設計部２０２は、導出された評価尺度（固定辞書最適コスト）を最小化するように、次の探索点を選択する。以下では、獲得関数の値は、一例として信頼下限（lower confidence bound）である。

【0087】

＜表示フレームに対する重みの適応的な設定について＞
以下では、「Ｍ_ｓ」は、時間軸上の区間（期間）であるステージあたりの原フレームの枚数を表す。「Ｍ_ｄ」は、時間軸上の区間（期間）であるステージあたりの表示フレームの枚数を表す。「Ｒ_ｄ＝Ｍ_ｓ／Ｍ_ｄ」は、表示フレームあたりの原フレームの枚数を表す。

【0088】

時間軸上の区間「（ｉＭ_ｓ＋ｉ_ｄＲ_ｄ）δ_ｓ≦ｔ≦（ｉＭ_ｓ＋（ｉ_ｄ＋１）Ｒ_ｄ－１）δ_ｓ」における、表示フレーム群は、式（１３）のように表される。すなわち、第ｉステージにおける、第ｉ_ｄ（＝０，…，Ｍ_ｄ－１）番目の表示フレームは、式（１３）のように表される。表示フレーム群のフレームレート（中フレームレート）は、低フレームレートよりも高く、高フレームレートよりも低い。

【0089】

【数13】

【0090】

なお、合成フレーム（符号化対象フレーム）の枚数と表示フレームの枚数とが等しい場合、「Ｍ_ｄ」が１となるので、表示フレーム群は、式（１４）のように表される。式（１４）では、表示フレーム群のフレームレート（中フレームレート）は、低フレームレートと等しく、高フレームレートよりも低い。

【0091】

【数14】

【0092】

第ｉステージにおける表示フレーム及び原フレームの間の乖離度は、式（１５）のように表される。

【0093】

【数15】

【0094】

ここで、「α_ｉ」は、「（α_０，…，α_Ｍｄ－１）」を表す。「ｗ_{ｉ－１：ｉ＋１}」は、「（ｗ_ｉ－１，ｗ_ｉ，ｗ_ｉ＋１）」を表す。「ｐ_{ｉ－１：ｉ＋１}」は、「（ｐ_ｉ－１，ｐ_ｉ，ｐ_ｉ＋１）」を表す。

【0095】

選択部２０３は、例えば第１の設定方法から第３の設定方法までのいずれかの方法で、重みを決定する。

【0096】

第１の設定方法は、式（１６）のように表される。

【0097】

【数16】

【0098】

第２の設定方法は、式（１７）のように表される。

【0099】

【数17】

【0100】

ここで、「Ξ_ｄ」は、式（６）に示されたコスト関数（フィルタ設計コスト）が修正されたコスト関数として、式（１８）のように表される。

【0101】

【数18】

【0102】

第３の設定方法は、式（１９）のように表される。

【0103】

【数19】

【0104】

ここで、「Ξ’_ｄ」は、式（６）に示されたコスト関数（フィルタ設計コスト）が修正されたコスト関数として、式（２０）のように表される。

【0105】

【数20】

【0106】

ここで、ψ（α_ｉ）は、重み「α_ｉ」の符号量を表す。

【0107】

次に、フィルタリングシステム１の動作例を説明する。
図５は、符号化装置２０の動作例を示すフローチャートである。通信部２００は、高フレームレート画像における複数のフレーム（原フレーム群）を、記憶装置３から取得する（ステップＳ１０１）。符号化部２０１は、予め定められた期間の高フレームレート画像における複数のフレームと、その期間の中フレームレート画像における複数のフレームとの乖離度を最小化するように、低フレームレート画像及び重みを導出する（ステップＳ１０２）。

【0108】

符号化部２０１は、低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを重みに基づいて合成することによって、中フレームレート画像を導出する（ステップＳ１０３）。符号化部２０１は、低フレームレート画像と重みとを符号化する（ステップＳ１０４）。

【0109】

図６は、復号装置２１の動作例を示すフローチャートである。通信部２１０は、低フレームレート画像と重みとを、記憶装置３から取得する（ステップＳ２０１）。復号部２１１は、低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを重みに基づいて合成することによって、中フレームレート画像における第３フレーム（表示フレーム）を合成する（ステップＳ２０２）。

【0110】

以上のように、符号化装置２０は、高フレームレート画像に基づいて、中フレームレート画像を導出するための低フレームレート画像を符号化する。符号化部２０１は、低フレームレート画像と中フレームレート画像と重みとを、高フレームレート画像に基づいて導出する。符号化部２０１は、低フレームレート画像と重みとを符号化する。ここで、符号化部２０１は、低フレームレート画像において時系列で連続する第１フレーム及び第２フレームを重みに基づいて合成することによって、中フレームレート画像を導出する。符号化部２０１は、予め定められた期間（ステージ）の高フレームレート画像における複数のフレームと、その期間の中フレームレート画像における複数のフレームとの乖離度を最小化するように、低フレームレート画像及び重みを導出する。

【0111】

このように、符号化部２０１は、予め定められた期間（ステージ）の高フレームレート画像における複数のフレームと、その期間の中フレームレート画像における複数のフレームとの乖離度を最小化するように、低フレームレート画像及び重みを導出する。これによって、高フレームレート画像から生成される低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である。

【0112】

符号化装置２０は、高フレームレート画像に対する時間フィルタリング後の低フレームレート画像における、符号化対象フレームの発生符号量を導出してもよい。符号化装置２０は、符号化対象フレームと、その符号化対象フレームの時間位置に対応する時間位置における高フレームレート画像のフレーム群との乖離量の加重和を導出してもよい。符号化装置２０は、表示フレームと高フレームレート画像のフレーム群との乖離度の加重和を導出してもよい。符号化装置２０は、乖離量の加重和と乖離度の加重和とのうちの少なくとも一つの加重和を最小化するフィルタ係数を、フィルタ係数の集合（辞書）のうちから選択してもよい。符号化装置２０は、加重和の累積値（コスト値）を最小化するフィルタ係数を、低フレームレート画像におけるフレームごとに選択してもよい。

【0113】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0114】

本発明は、画像の符号化装置及び復号装置に適用可能である。

【符号の説明】

【0115】

１…フィルタリングシステム、２…フィルタリング装置、３…記憶装置、４…プロセッサ、５…通信装置、２０…符号化装置、２１…復号装置、２００…通信部、２０１…符号化部、２０２…辞書設計部、２０３…選択部、２０４…フィルタ、２０５…可逆符号化器、２１０…通信部、２１１…復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】