特許 7161736 符号化方法、符号化装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-19

(45)【発行日】2022-10-27

(54)【発明の名称】符号化方法、符号化装置及びプログラム

(51)【国際特許分類】

   H04N 19/527 20140101AFI20221020BHJP

【ＦＩ】

H04N19/527

【請求項の数】 5

(21)【出願番号】P 2021505508

(86)(22)【出願日】2019-11-29

(86)【国際出願番号】 JP2019046710

(87)【国際公開番号】W WO2020183811

(87)【国際公開日】2020-09-17

【審査請求日】2021-08-05

(31)【優先権主張番号】P 2019047260

(32)【優先日】2019-03-14

(33)【優先権主張国・地域又は機関】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０１８ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｈｔｔｐｓ：／／２０１８．ｉｅｅｅｉｃｉｐ．ｏｒｇ

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】高村 誠之

(72)【発明者】

【氏名】チョン ジーン

(72)【発明者】

【氏名】ヤン チェン

【審査官】田中 純一

(56)【参考文献】

【文献】特開２０１５－１０４０３０（ＪＰ，Ａ）

【文献】特開２０１０－１０３８７７（ＪＰ，Ａ）

【文献】特開２００７－３１２４２５（ＪＰ，Ａ）

【文献】特開２００４－２２１７４４（ＪＰ，Ａ）

【文献】Zhengyou Zhang，Flexible Camera Calibration By Viewing a Plane From Unknown Orientations，[online]，2002年08月06日，https://ieeexplore.ieee.org/document/791289，URL<https://ieeexplore.ieee.org/document/791289>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

符号化装置が実行する符号化方法であって、
カメラによって動画像の複数のフレームに撮影された物体の画像に基づいて、前記複数のフレームにおいて前記カメラの内部行列に関するカメラパラメータが同一であるか否かを判定し、前記カメラパラメータが同一である場合、前記カメラパラメータを所定の装置に出力するステップと、
前記カメラパラメータが同一である場合、前記物体の画像に定められた３点の移動先を表す６個のパラメータを生成し、６個の前記パラメータに基づいてホモグラフィ行列を生成し、６個の前記パラメータを前記所定の装置に出力するステップと、
前記動画像の復号画像に対して、前記ホモグラフィ行列を用いる射影変換を実行するステップと、
前記射影変換の結果と前記フレームとの差分である予測残差信号を生成するステップと、
前記予測残差信号を符号化するステップと
を含む符号化方法。

【請求項2】

前記物体の外観は、平面状の形状を有する、請求項１に記載の符号化方法。

【請求項3】

カメラによって動画像の複数のフレームに撮影された物体の画像に基づいて、前記複数のフレームにおいて前記カメラの内部行列に関するカメラパラメータが同一であるか否かを判定し、前記カメラパラメータが同一である場合、前記カメラパラメータを所定の装置に出力する解析部と、
前記カメラパラメータが同一である場合、前記物体の画像に定められた３点の移動先を表す６個のパラメータを生成し、６個の前記パラメータに基づいてホモグラフィ行列を生成し、６個の前記パラメータを前記所定の装置に出力する行列生成部と、
前記動画像の復号画像に対して、前記ホモグラフィ行列を用いる射影変換を実行する射影変換部と、
前記射影変換の結果と前記フレームとの差分である予測残差信号を生成する減算部と、
前記予測残差信号を符号化する符号化部と
を備える符号化装置。

【請求項4】

前記物体の外観は、平面状の形状を有する、請求項３に記載の符号化装置。

【請求項5】

請求項３又は請求項４に記載の符号化装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化方法、符号化装置及びプログラムに関する。
本願は、２０１９年３月１４日に、日本に出願された特願２０１９－０４７２６０号に基づき優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

絵画、タブレット端末又は地面等の平面状の形状を外観に有する物体（以下「平面状の物体」という。）をカメラが動画撮影する場合がある。動画像のフレームに撮影された物体の画像の形状、大きさ及び位置は、物体の動きとカメラの動きとに応じて、動画像のフレームごとに変化する。撮影された平面状の物体の画像の形状、大きさ及び位置が動画像の各フレームにおいて同じになるように、符号化装置が物体の画像の動きを補償（動き補償）する場合がある。

【0003】

動画像符号化の規格の一つであるＭＰＥＧ－４（非特許文献１参照）のＡＳＰ（Advanced Simple Profile）には、グローバル動き補償（Global Motion Compensation : GMC）と呼ばれる動き補償の方式が採用されている。符号化装置は、動画像のフレームの隅ごとに２次元動きベクトルを定めることによって動き補償を実行する。

【0004】

図７は、シンタクス要素の一つである「no_of_sprite_warping_points」に関する図である。「no_of_sprite_warping_points」の値が４である場合、符号化装置は、射影変換を用いてグローバル動き補償を実行する。１本の２次元動きベクトルは、２個のパラメータを持つ。したがって、符号化装置は、グローバル動き補償の処理単位ごとに、８（＝２×４）個のパラメータを復号装置に伝送する。

【0005】

「no_of_sprite_warping_points」の値が３である場合、符号化装置は、相似変換を用いて動き補償を実行する。相似変換の自由度は、射影変換の自由度よりも低い。「no_of_sprite_warping_points」の値が２である場合、符号化装置は、アフィン変換（Affine transformation）を用いて動き補償を実行する。アフィン変換の自由度も、射影変換の自由度より低い。そこで、「no_of_sprite_warping_points」の値を２又は３で適応的に切り替える方法が、ＪＶＥＴ(Joint Exploration team on Future Video Coding)の規格案として提案されている（非特許文献２参照）。

【0006】

「no_of_sprite_warping_points」の値が３である場合のアフィン変換と等価である変換を用いた動き補償が提案されている（非特許文献３参照）。Ｈ．２６４／ＡＶＣ（Advanced Video Coding）（非特許文献４参照）と、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）（非特許文献５参照）とでは、符号化装置は、フレームの間で平行移動（非回転移動）する物体の画像の変形のみを動き補償する。この動き補償は、「no_of_sprite_warping_points」の値が１である場合の動き補償に相当する。

【0007】

３次元空間に存在する平面状の物体（剛体）をカメラが移動しながら撮影した２次元画像（フレーム）における座標の関係式は、式（１）のように表される。

【0008】

【数1】

【0009】

図８は、４本の動きベクトルに基づく射影変換の例を示す図である。フレーム４００の４点「（ｘ_１,ｙ_１），…，（ｘ_４,ｙ_４）」が、フレーム４０１の４点「（ｘ’_１,ｙ’_１），…，（ｘ’_４,ｙ’_４）」に対応する場合、符号化装置は、式（１）の線型方程式を解くことで、「ｈ_１１，…，ｈ_３２」を導出することができる。ここで、フレーム４００の４点「（ｘ_１,ｙ_１）…（ｘ_４,ｙ_４）」は、矩形であるフレーム４００の頂点でなくてもよい。

【0010】

符号化装置は、「ｈ_１１，…，ｈ_３２」と式（２）～（５）とに基づく射影変換によって、フレーム４００の点（ｘ,ｙ）に対応するフレーム４０１の点（ｘ’,ｙ’）を導出する。式（２）の３×３行列「Ｈ」は、ホモグラフィ行列である。

【0011】

【数2】

【0012】

【数3】

【0013】

【数4】

【0014】

【数5】

【0015】

フレーム４００における既知の４点の移動先を表す８個のパラメータ（ｘ’_１,ｙ’_１,…,ｘ’_４,ｙ’_４）は、符号化装置が点（ｘ,ｙ）を点（ｘ’,ｙ’）に変換するために必要なパラメータである。このことは、ホモグラフィ行列Ｈの変数「ｈ_１１，…，ｈ_３２」が８個であることと、ＭＰＥＧ－４のＡＳＰのグローバル動き補償が「no_of_sprite_warping_points＝４（パラメータ数＝８）であることとに対応している。

【先行技術文献】

【非特許文献】

【0016】

【文献】ISO/IEC 14496-2:2004 Information technology -- Coding of audio-visual objects -- Part 2: Visual

【文献】F. Zou, J. Chen, M. Karczewicz, X. Li, H.-C. Chuang, W.-J. Chien “Improved affine Motion Prediction”, JVET-C0062, May 2016

【文献】M. Narroschke, R. Swoboda, “Extending HEVC by an affine motion model”, Picture coding symposium 2013

【文献】ISO/IEC 14496-10:2014 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding

【文献】ISO/IEC 23008-2:2015 Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 2: High efficiency video coding

【発明の概要】

【発明が解決しようとする課題】

【0017】

このように、移動するカメラから撮影された平面状の物体の画像がカメラ及び物体の相対位置等に応じて変形する場合、符号化装置は、８個のパラメータに基づく射影変換を用いて動き補償する。また、位置が固定されたカメラによって撮影された静止中の任意形状の物体の画像がカメラのカメラパラメータに応じて変形する場合も、符号化装置は、８個のパラメータに基づく射影変換を用いて動き補償する。

【0018】

しかしながら、平面状の物体の物理的な変形には制約がある。このため、平面状の物体の物理的な変形の自由度は、射影変換が表現し得る変形の自由度（８個のパラメータ）よりも少ない。

【0019】

図９は、平面状の板（剛体）の例を示す図である。図１０から図１５は、図９に示された平面状の板の変形の第１例から第６例を示す図である。図９から図１５では、平面状の板は、市松模様の板（チェッカーボード）として表現されている。位置が固定されたカメラの向きがカメラパラメータに応じて変化した場合、図９に示された平面状の板の画像は、図１０又は図１１に示された平面状の板の画像のように変形する。移動するカメラの姿勢が変化した場合、図９に示された平面状の板の画像は、図１２に示された平面状の板の画像のように回転及び縮小する。

【0020】

図９に示された平面状の板が剛体であることから、図１３から図１５に示された平面状の板の画像の異常な変形は、明らかに不自然である。しかしながら、符号化装置は、図１３から図１５に示された平面状の板の画像の変形を、８個のパラメータ（自由度）の射影変換を用いて表現している。このように、従来の符号化装置は、画像の符号化効率を向上させることができない場合がある。

【0021】

上記事情に鑑み、本発明は、画像の符号化効率を向上させることが可能である符号化方法、符号化装置及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0022】

本発明の一態様は、符号化装置が実行する符号化方法であって、符号化装置が実行する符号化方法であって、カメラによって動画像の複数のフレームに撮影された物体の画像に基づいて、前記複数のフレームにおいて前記カメラの内部行列に関するカメラパラメータが同一であるか否かを判定し、前記カメラパラメータが同一である場合、前記カメラパラメータを所定の装置に出力するステップと、前記カメラパラメータが同一である場合、前記物体の画像に定められた３点の移動先を表す６個のパラメータを生成し、６個の前記パラメータに基づいてホモグラフィ行列を生成し、６個の前記パラメータを前記所定の装置に出力するステップと、前記動画像の復号画像に対して、前記ホモグラフィ行列を用いる射影変換を実行するステップと、前記射影変換の結果と前記フレームとの差分である予測残差信号を生成するステップと、前記予測残差信号を符号化するステップとを含む符号化方法である。

【0023】

本発明の一態様は、カメラによって動画像の複数のフレームに撮影された物体の画像に基づいて、前記複数のフレームにおいて前記カメラの内部行列に関するカメラパラメータが同一であるか否かを判定し、前記カメラパラメータが同一である場合、前記カメラパラメータを所定の装置に出力する解析部と、前記カメラパラメータが同一である場合、前記物体の画像に定められた３点の移動先を表す６個のパラメータを生成し、６個の前記パラメータに基づいてホモグラフィ行列を生成し、６個の前記パラメータを前記所定の装置に出力する行列生成部と、前記動画像の復号画像に対して、前記ホモグラフィ行列を用いる射影変換を実行する射影変換部と、前記射影変換の結果と前記フレームとの差分である予測残差信号を生成する減算部と、前記予測残差信号を符号化する符号化部とを備える符号化装置である。

【0024】

本発明の一態様は、上記の符号化装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0025】

本発明により、画像の符号化効率を向上させることが可能である。

【図面の簡単な説明】

【0026】

【図1】実施形態における、符号化装置の構成例を示す図である。

【図2】実施形態における、動き補償部の構成例を示す図である。

【図3】実施形態における、画像の座標の例を示す図である。

【図4】実施形態における、３本の動きベクトルに基づく射影変換の例を示す図である。

【図5】実施形態における、符号化装置の動作例を示すフローチャートである。

【図6】実施形態における、動き補償部の動作例を示すフローチャートである。

【図7】シンタクス要素の一つである「no_of_sprite_warping_points」に関する図である。

【図8】４本の動きベクトルに基づく射影変換の例を示す図である。

【図9】平面状の板の例を示す図である。

【図10】平面状の板の変形の第１例を示す図である。

【図11】平面状の板の変形の第２例を示す図である。

【図12】平面状の板の変形の第３例を示す図である。

【図13】平面状の板の変形の第４例を示す図である。

【図14】平面状の板の変形の第５例を示す図である。

【図15】平面状の板の変形の第６例を示す図である。

【発明を実施するための形態】

【0027】

本発明の実施形態について、図面を参照して詳細に説明する。
符号化装置は、例えば図１０から図１５に示された物体の画像の変形を、射影変換を用いて表現する。物体の物理的な変形には制約があるので、符号化装置は、８個よりも少ない数のパラメータ（自由度）の射影変換を用いて、動画像のフレームにおける物体の画像の変形を表現する。符号化装置は、８個よりも少ない６個のパラメータ（自由度）の射影変換を用いた精度の高い動き補償によって、画像の符号化効率を向上させることができる。

【0028】

図１は、符号化装置１の構成例を示す図である。符号化装置１は、動画像を符号化する装置である。符号化装置１は、動画像のフレームに定められたブロックごとに、動画像を符号化する。符号化装置１は、符号化データを復号装置に出力する。符号化装置１は、６個のパラメータ（３本の動きベクトル）を表す信号（以下「６パラメータ信号」という。）と、カメラパラメータを表す信号（以下「カメラパラメータ信号」という。）とを、復号装置等の外部装置（不図示）に出力する。

【0029】

符号化装置１は、減算部１０と、変換部１１と、量子化部１２と、エントロピー符号化部１３と、逆量子化部１４と、逆変換部１５と、加算部１６と、歪除去フィルタ１７と、フレームメモリ１８と、フレーム内予測部１９と、動き補償部２０と、切替部２１とを備える。

【0030】

符号化装置１における動き補償部２０以外の各機能部は、例えば、「Ｈ．２６５／ＨＥＶＣ」及び「Ｈ．２６４／ＡＶＣ」等の周知の動画像符号化の規格に基づいて動作してもよい。符号化装置１における動き補償部２０の一部は、周知の動画像符号化の規格に基づいて動作してもよい。

【0031】

符号化装置１の一部又は全部は、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。符号化装置１の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration）又はＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。

【0032】

減算部１０は、予測信号を動画像信号から減算する。予測信号は、フレーム内予測部１９又は動き補償部２０によって、所定の処理単位ごとに生成される。所定の処理単位は、Ｈ．２６５／ＨＥＶＣでは、予測単位（prediction unit）である。減算部１０は、減算結果である予測残差信号を、変換部１１に出力する。変換部１１は、予測残差信号に対して離散コサイン変換（Discrete Cosine Transform）を実行する。量子化部１２は、離散コサイン変換の結果を量子化する。エントロピー符号化部１３は、量子化の結果に対してエントロピー符号化を実行する。エントロピー符号化部１３は、エントロピー符号化の結果である符号化データを、復号装置等の外部装置（不図示）に出力する。

【0033】

逆量子化部１４は、量子化の結果を逆量子化する。逆変換部１５は、逆量子化の結果に対して逆離散コサイン変換（Inverse Discrete Cosine Transform）を実行する。加算部１６は、逆離散コサイン変換の結果と予測信号とを加算することによって、復号画像を生成する。歪除去フィルタ１７は、復号画像の歪を除去することによって、歪が除去された復号画像信号を生成する。

【0034】

フレームメモリ１８は、歪が除去された復号画像信号を記憶する。フレームメモリ１８に記憶された復号画像信号（ローカル復号画像信号）は、復号装置によって生成される復号画像信号と同じである。フレームメモリ１８は、記憶されている時間が所定時間以上となった復号画像信号を、フレームメモリ１８から削除する。なお、フレームメモリ１８は、長時間参照フレームの復号画像信号を、フレームメモリ１８が削除指示を取得するまで記憶してもよい。フレームメモリ１８は、参照されないフレームの復号画像信号を記憶しなくてもよい。

【0035】

フレーム内予測部１９は、復号画像信号に対してフレーム内予測処理を実行することによって、フレーム内予測処理の結果に応じた予測信号を生成する。動き補償部２０は、復号画像信号に対して動き補償予測処理を実行することによって、動き補償予測処理の結果に応じた予測信号を生成する。切替部２１は、フレーム内予測処理の結果に応じた予測信号を、減算部１０に出力する。切替部２１は、動き補償予測処理の結果に応じた予測信号を、減算部１０に出力する。

【0036】

次に、動き補償部２０の構成例を説明する。
図２は、動き補償部２０の構成例を示す図である。動き補償部２０は、解析部２００と、フレーム間予測部２０１と、行列生成部２０２と、射影変換部２０３と、切替部２０４とを備える。

【0037】

動き補償のモードには、第１モードと、第２モードとがある。第１モードは、「Ｈ．２６５／ＨＥＶＣ」及び「Ｈ．２６４／ＡＶＣ」等の周知の動画像符号化の規格におけるフレーム間予測処理に基づく動き補償のモードである。第２モードは、３本の動きベクトル（６パラメータ信号）に基づくホモグラフィ行列を用いて、フレームメモリ１８に記憶された復号画像信号（ローカル復号画像信号）に対して、射影変換を射影変換単位ごとに実行する動き補償のモードである。

【0038】

解析部２００は、所定の期間（時間区間）における動画像の複数のフレーム（以下「フレームグループ」という。）を、動画像信号として取得する。解析部２００は、取得されたフレームグループについて、カメラパラメータが不変である期間において撮影されたフレームグループであるか否かを判定する。カメラパラメータが不変である期間において撮影されたフレームグループに対しては、ホモグラフィ行列を用いる射影変換の精度が高いので、第１モードの動き補償よりも第２モードの動き補償が適している。

【0039】

カメラパラメータが不変でない期間において撮影されたフレームグループであると判定された場合、解析部２００は、第１モードを表す動き補償モード信号（以下「第１動き補償モード信号」という。）を生成する。解析部２００は、第１動き補償モード信号を、フレーム間予測部２０１及び切替部２０４に出力する。

【0040】

カメラパラメータが不変である期間において撮影されたフレームグループであると判定された場合、解析部２００は、第２モードを表す動き補償モード信号（以下「第２動き補償モード信号」という。）を生成する。解析部２００は、第２動き補償モード信号を、行列生成部２０２及び切替部２０４に出力する。

【0041】

フレーム間予測部２０１は、第１動き補償モード信号を解析部２００から取得した場合、復号画像信号をフレームメモリ１８から取得する。フレーム間予測部２０１は、動画像信号を解析部２００から取得する。フレーム間予測部２０１は、周知の動画像符号化の規格におけるフレーム間予測処理に基づく動き補償を、復号画像信号に対して実行する。フレーム間予測部２０１は、第１モードの動き補償に基づく予測信号を、切替部２０４に出力する。

【0042】

行列生成部２０２は、第２動き補償モード信号を解析部２００から取得した場合、フレームグループとカメラパラメータ信号とを、解析部２００から取得する。行列生成部２０２は、第２動き補償モード信号を解析部２００から取得した場合、復号画像信号をフレームメモリ１８から取得する。

【0043】

行列生成部２０２は、６パラメータ信号を、復号装置等の外部装置（不図示）と射影変換部２０３とに、フレームごとに出力する。行列生成部２０２は、６パラメータ信号を、復号装置等の外部装置（不図示）と射影変換部２０３とに、復号画像に定められた射影変換単位ごとに出力する。復号装置等の外部装置は、出力されたカメラパラメータ信号及び６パラメータ信号を用いて、ホモグラフィ行列を導出することができる。行列生成部２０２は、出力されたカメラパラメータ信号と６パラメータ信号とを用いて、ホモグラフィ行列「Ｈ」を生成する。

【0044】

射影変換部２０３は、ホモグラフィ行列「Ｈ」を用いる射影変換を、フレームメモリ１８に記憶された復号画像信号（ローカル復号画像信号）に対して実行する。射影変換部２０３は、第２モードの動き補償に基づく予測信号を、切替部２０４に出力する。

【0045】

図３は、画像の座標の例を示す図（参考文献１「ディジタル画像処理」，ＣＧ－ＡＲＴＳ協会，２０１５，ｐ.３１４）である。３次元空間に存在する平面３００における点Ｐの座標（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）と、移動するカメラの座標（ｘ，ｙ，１）との関係は、式（６）のように表される。

【0046】

【数6】

【0047】

ここで、「ｈ」は、カメラの位置Ｃ１から平面３００への垂線の長さを表す。「ｎ」は、垂線の方向を表す単位ベクトルを表す。「ｔ」は、カメラの位置Ｃ１を始点とし、カメラの位置Ｃ２を終点とするベクトルを表す。「Ｒ」は、３×３のサイズの回転行列を表す。すなわち、「Ｒ」は、位置Ｃ１から位置Ｃ２までカメラが移動した際の空間回転量を表す。「Ａ」は、カメラパラメータを表す。位置Ｃ１から撮影された点Ｐの画像の座標「ｍ１＝（ｘ,ｙ，１）^Ｔ」と、位置Ｃ２から撮影された点Ｐの画像の座標「ｍ２＝（ｘ’,ｙ’，１）^Ｔ」と、カメラパラメータ「Ａ」との組み合わせは、カメラの内部行列を表す。内部行列のサイズは、３×３である。ｚ^Ｔは、行列又はベクトルであるｚの転置を表す。

【0048】

ホモグラフィ行列「Ｈ」の全ての要素が定数倍となる変動は許容される。ホモグラフィ行列「Ｈ」は、所定の定数λを用いて、式（７）のように表される。

【0049】

【数7】

【0050】

ここで、カメラパラメータ「Ａ」は、３次元空間におけるカメラの位置及び方向に依存しないパラメータである（参考文献２「Z. Zhang, Flexible Camera Calibration by Viewing a Plane from Unknown Orientations, Proc. ICCV 1999, vol. 1, pp. 666-673, 1999」）。例えば、カメラパラメータ「Ａ」は、パン、チルト及びズームのパラメータである。解析部２００は、射影変換部２０３が動き補償を実行する前に、行列生成部２０２にカメラパラメータを送信する。

【0051】

図３では、３次元空間における位置（ベクトル）は、座標「ｔ＝（ｔｘ，ｔｙ，ｔｚ）^Ｔ」を用いて表現される。平面３００は、座標ｔのｚ座標「ｔｚ＝０」を示す平面である。カメラの位置Ｃ１から平面３００への垂線の長さ「ｈ」は、カメラの位置Ｃ１の座標ｔのｚ座標の絶対値を表す。解析部２００は、射影変換部２０３が動き補償を実行する前に、行列生成部２０２にカメラの位置Ｃ１のｚ座標の絶対値を送信する。カメラの位置Ｃ１から平面３００への垂線の方向を表す単位ベクトルｎは、常に（０，０，１）^Ｔである。したがって、式（８）は、３次元ベクトルとなっている。

【0052】

【数8】

【0053】

位置Ｃ１から位置Ｃ２までカメラが移動した場合について、行列生成部２０２は、空間回転量「Ｒ」と座標「ｔ」とに基づいて、ホモグラフィ行列「Ｈ」を導出する。空間回転量「Ｒ」にとって必要十分なパラメータの個数は３個である。空間回転量「Ｒ」は、式（９）を用いて、式（１０）のように表される。

【0054】

【数9】

【0055】

【数10】

【0056】

ここで、θ_ｘは、ｘ軸方向の回転角を表す。θ_ｙは、ｙ軸方向の回転角を表す。θ_ｚは、ｚ軸方向の回転角を表す。座標「ｔ」が３次元ベクトルであることから、座標「ｔ」にとって必要十分なパラメータの個数は３個である。行列生成部２０２がホモグラフィ行列「Ｈ」を導出するためには、空間回転量「Ｒ」にとって必要十分なパラメータの個数は３個と、座標「ｔ」にとって必要十分なパラメータの個数は３個との計６個のパラメータがあればよい。

【0057】

行列生成部２０２は、式（１１）に示された６個のパラメータ（θ_ｘ，θ_ｙ，θ_ｚ，ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）を、予め定められたホモグラフィ行列「Ｈ」に対する多次元探索処理によって導出する。

【0058】

【数11】

【0059】

行列生成部２０２は、空間回転量「Ｒ」の第１列をＲ１と、空間回転量「Ｒ」の第２列をＲ２として、空間回転量「Ｒ」の第３列を上書きする多次元探索によって、６個のパラメータ「θ_ｘ，θ_ｙ，θ_ｚ，ｓｘ，ｓｙ，ｓｚ」を導出してもよい。

【0060】

【数12】

【0061】

例えば、行列生成部２０２は、６個のパラメータ（変数）を、式（１３）、式（１４）及び式（１５）に示された各値に基づく６次元探索によって、式（１６）のように導出する。

【0062】

【数13】

【0063】

【数14】

【0064】

【数15】

【0065】

【数16】

【0066】

ホモグラフィ行列「Ｈ」は、式（１７）のように導出される。

【0067】

【数17】

【0068】

なお、行列生成部２０２は、ホモグラフィ行列「Ｈ」が導出されるために必要十分な６個のパラメータを、参考文献２に示された方法によって導出してもよい。

【0069】

図４は、３本の動きベクトルに基づく射影変換の例を示す図である。射影変換部２０３は、点（ｘ_１，ｙ_１）の動きベクトルに基づいて、点（ｘ_１，ｙ_１）を点（ｘ’_１,ｙ’_１）に変換する。射影変換部２０３は、点（ｘ_２，ｙ_２）の動きベクトルに基づいて、点（ｘ_２，ｙ_２）を点（ｘ’_２,ｙ’_２）に変換する。射影変換部２０３は、点（ｘ_３，ｙ_３）の動きベクトルに基づいて、点（ｘ_３，ｙ_３）を点（ｘ’_３,ｙ’_３）に変換する。

【0070】

射影変換部２０３は、点（ｘ’_１,ｙ’_１）と点（ｘ’_２,ｙ’_２）と点（ｘ’_３,ｙ’_３）とホモグラフィ行列「Ｈ」とを用いる射影変換によって、点「（ｘ_４，ｙ_４）＝（６００，０）」を、点「（ｘ’_４,ｙ’_４）＝（６１０．１，－４．８３４６）」に変換する。

【0071】

このように、射影変換部２０３は、わずか６個のパラメータ（３本の動きベクトル）を用いる射影変換によって、残りの１本の動きベクトルを導出する。すなわち、行列生成部２０２は、わずか６個のパラメータで、ホモグラフィ行列「Ｈ」を生成する。

【0072】

次に、符号化装置１の動作例を説明する。
図５は、符号化装置１の動作例を示すフローチャートである。減算部１０は、予測残差信号を生成する（ステップＳ１０１）。変換部１１は、予測残差信号に対して離散コサイン変換を実行する。量子化部１２は、離散コサイン変換の結果を量子化する（ステップＳ１０２）。エントロピー符号化部１３は、量子化の結果に対してエントロピー符号化を実行する（ステップＳ１０３）。

【0073】

逆量子化部１４は、量子化の結果を逆量子化する。逆変換部１５は、逆量子化の結果に対して逆離散コサイン変換を実行する（ステップＳ１０４）。加算部１６は、逆離散コサイン変換の結果と予測信号とを加算することによって、復号画像を生成する（ステップＳ１０５）。歪除去フィルタ１７は、復号画像の歪を除去することによって、歪が除去された復号画像信号を生成する（ステップＳ１０６）。

【0074】

歪除去フィルタ１７は、復号画像信号をフレームメモリ１８に記録する（ステップＳ１０７）。フレーム内予測部１９は、復号画像信号に対してフレーム内予測処理を実行することによって、フレーム内予測処理の結果に応じた予測信号を生成する。動き補償部２０は、復号画像信号に対して動き補償予測処理を実行することによって、動き補償予測処理の結果に応じた予測信号を生成する（ステップＳ１０８）。

【0075】

図６は、動き補償部２０の動作例を示すフローチャートである。解析部２００は、フレームグループを取得する（ステップＳ２０１）。解析部２００は、フレームグループの各フレームの画像を解析し、解析結果に基づいてカメラパラメータを導出する。解析部２００は、カメラパラメータ「Ａ」が不変である期間において撮影されたフレームグループであるか否かを判定する（ステップＳ２０２）。

【0076】

カメラパラメータ「Ａ」が不変である期間において撮影されたフレームグループである場合（ステップＳ２０２：ＹＥＳ）、解析部２００は、第２動き補償モード信号を、行列生成部２０２と切替部２０４とに出力する（ステップＳ２０３）。

【0077】

解析部２００は、カメラパラメータ信号を、行列生成部２０２に出力する。解析部２００は、カメラパラメータ信号を、復号装置等の外部装置（不図示）に出力する（ステップＳ２０４）。

【0078】

行列生成部２０２は、６パラメータ信号を、復号装置等の外部装置（不図示）に対して、フレームごとに出力する。また、行列生成部２０２は、６パラメータ信号を、復号装置等の外部装置（不図示）に対して、復号画像に定められた射影変換単位（予測単位）ごとに出力する（ステップＳ２０５）。

【0079】

行列生成部２０２は、カメラパラメータ信号と６パラメータ信号とを用いて、ホモグラフィ行列「Ｈ」を生成する（ステップＳ２０６）。射影変換部２０３は、フレームメモリ１８に記憶された復号画像信号（ローカル復号画像信号）に対して、ホモグラフィ行列「Ｈ」を用いる射影変換によって第２モードの動き補償を実行する（ステップＳ２０７）。

【0080】

射影変換部２０３は、第２モードの動き補償に基づく予測信号を、切替部２０４に出力する。切替部２０４は、第２モードの動き補償に基づく予測信号を、減算部１０に出力する（ステップＳ２０８）。

【0081】

射影変換部２０３は、取得されたフレームグループにおける全てのフレームに対して第２モードの動き補償が実行されたか否かを判定する（ステップＳ２０９）。いずれかのフレームに対して第２モードの動き補償が実行されていないと判定された場合（ステップＳ２０９：ＮＯ）、射影変換部２０３は、ステップＳ２０５に処理を戻す。全てのフレームに対して第２モードの動き補償が実行されたと判定された場合（ステップＳ２０９：ＹＥＳ）、行列生成部２０２及び射影変換部２０３は、取得されたフレームグループに対する動き補償の処理を終了する。

【0082】

カメラパラメータ「Ａ」が不変でない期間において撮影されたフレームグループ（周知のフレーム間予測処理に適したフレームグループ）である場合（ステップＳ２０２：ＮＯ）、解析部２００は、第１動き補償モード信号を、フレーム間予測部２０１と切替部２０４とに出力する（ステップＳ２１０）。

【0083】

フレーム間予測部２０１は、周知の動画像符号化の規格におけるフレーム間予測処理に基づく動き補償を、フレームメモリ１８に記憶された復号画像信号（ローカル復号画像信号）に対して実行する（ステップＳ２１１）。フレーム間予測部２０１は、第１モードの動き補償に基づく予測信号を、切替部２０４に出力する。切替部２０４は、第１モードの動き補償に基づく予測信号を、減算部１０に出力する（ステップＳ２１２）。

【0084】

フレーム間予測部２０１は、取得されたフレームグループにおける全てのフレームに対して第１モードの動き補償が実行されたか否かを判定する（ステップＳ２１３）。いずれかのフレームに対して第１モードの動き補償が実行されていないと判定された場合（ステップＳ２１３：ＮＯ）、フレーム間予測部２０１は、ステップＳ２１１に処理を戻す。全てのフレームに対して第１モードの動き補償が実行されたと判定された場合（ステップＳ２１３：ＹＥＳ）、フレーム間予測部２０１は、取得されたフレームグループに対する動き補償の処理を終了する。

【0085】

以上のように、実施形態の符号化装置１は、解析部２００と、行列生成部２０２と、射影変換部２０３とを備える。解析部２００は、カメラによって動画像の複数のフレーム（フレームグループ）に撮影された物体の画像を解析する。解析部２００は、解析結果に基づいて、フレームグループにおいてカメラの内部行列に関するカメラパラメータが同一であるか否かを判定する。解析部２００は、カメラの内部行列に関するカメラパラメータが同一である場合、カメラパラメータを所定の装置に出力する。カメラパラメータの変化量が所定範囲内であれば、カメラパラメータが同一であると見なされてもよい。行列生成部２０２は、カメラパラメータが同一である場合、撮影された物体の画像に定められた３点の移動先を表す６個のパラメータ（３本の動きベクトル）を生成する。行列生成部２０２は、６個のパラメータに基づいて、ホモグラフィ行列を生成する。行列生成部２０２は、６個のパラメータを所定の装置に出力する。射影変換部２０３は、動画像の復号画像（ローカル復号画像信号）に対して、ホモグラフィ行列を用いる射影変換を射影変換単位で実行する。射影変換部２０３は、射影変換の結果を、第２モードの動き補償に基づく予測信号として切替部２０４に出力する。

【0086】

このように、実施形態の符号化装置１は、物体の画像の射影変換に基づく動き補償によって、高画質の復号画像を生成可能である少ない符号量の符号化データを生成する。これによって、実施形態の符号化装置１は、画像の符号化効率を向上させることが可能である。実施形態の符号化装置１は、カメラパラメータが不変である期間のフレームグループの動き補償では、予め定められたカメラパラメータと射影変換単位（予測単位）ごとの６パラメータ伝送によって、オーバーヘッドを削減することが可能である。

【0087】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0088】

本発明は、静止画像又は動画像の可逆符号化若しくは非可逆符号化を実行する符号化装置に適用可能である。

【符号の説明】

【0089】

１…符号化装置、１０…減算部、１１…変換部、１２…量子化部、１３…エントロピー符号化部、１４…逆量子化部、１５…逆変換部、１６…加算部、１７…歪除去フィルタ、１８…フレームメモリ、１９…フレーム内予測部、２０…動き補償部、２１…切替部、２００…解析部、２０１…フレーム間予測部、２０２…行列生成部、２０３…射影変換部、２０４…切替部、３００…平面、４００…フレーム、４０１…フレーム、Ｃ１…位置、Ｃ２…位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】