特許 7164813 予測装置、予測方法、及びプログラム。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-25

(45)【発行日】2022-11-02

(54)【発明の名称】予測装置、予測方法、及びプログラム。

(51)【国際特許分類】

   H04N 19/52 20140101AFI20221026BHJP

   H04N 19/597 20140101ALI20221026BHJP

【ＦＩ】

H04N19/52

H04N19/597

【請求項の数】 6

(21)【出願番号】P 2018218459

(22)【出願日】2018-11-21

(65)【公開番号】P2020088533

(43)【公開日】2020-06-04

【審査請求日】2021-02-17

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】宮澤 健人

(72)【発明者】

【氏名】坂東 幸浩

(72)【発明者】

【氏名】清水 淳

【審査官】鉢呂 健

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０１２８９７９（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１６２９１１（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１６２９１２（ＷＯ，Ａ１）

【文献】LI, Bin and XU, Jizheng，Non-SCCE1: Unification of intra BC and inter modes，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: Sapporo, JP, 30 June - 9 July 2014, [JCTVC-R0100_r1]，JCTVC-R0100 (version 2)，ITU-T，2014年06月29日，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0100-v2.zip＞: JCTVC-R0100_r1.doc: pp. 1-2

【文献】HENRY, Felix et al.，Stereoscopic 360 video compression with the next generation video codec，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017, [JVET-G0064]，JVET-G0064 (version 2)，ITU-T，2017年07月15日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/7_Torino/wg11/JVET-G0064-v2.zip＞: JVET-G0064_r1.doc: pp. 1-5

【文献】SAMELAK, Jaroslaw et al.，Experimental results for frame -compatible multiview video coding using HEVC SCC，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 26th Meeting: Geneva, CH, 12-20 January 2017, [JCTVC-Z0041]，JCTVC-Z0041 (version 4)，ITU-T，2017年01月18日，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/26_Geneva/wg11/JCTVC-Z0041-v4.zip＞: JCTVC-Z0041-v4/MPEG 117 JCTVC Z Screen Content Coding Experiments Jan 2017 v3.docx: pp. 1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

他視点画像が一枚の画像に合成された合成画像の符号化において符号化対象ブロックの動きベクトルを予測する予測装置であって、
予測された動きベクトルの候補を示す第１の予測動きベクトルを記憶する記憶部と、
所定の条件を満たす場合に、隣接視点における前記符号化対象ブロックと同位置の画素を指し示すベクトルである第２の予測動きベクトルを生成し、前記記憶部に記憶させる更新部と、
を備え、
前記所定の条件は、前記第１の予測動きベクトルを生成するために参照される隣接ブロックが参照するブロックに対応する視点と、前記符号化対象ブロックが属する画像に対応する視点とが隣接していないという条件である
予測装置。

【請求項2】

前記所定の条件は、
前記符号化対象ブロックが含まれる合成画像と、前記第２の予測動きベクトルを生成するために参照される合成画像とが同一の合成画像であるという条件である
請求項１に記載の予測装置。

【請求項3】

前記所定の条件は、
前記符号化対象ブロックが、合成画像内で一番上に位置する視点に含まれるブロックではないという条件である
請求項１又は請求項２に記載の予測装置。

【請求項4】

他視点画像が一枚の画像に合成された合成画像の符号化において符号化対象ブロックの動きベクトルを予測する予測装置であって、
予測された動きベクトルの候補を示す第１の予測動きベクトルを記憶する記憶部と、
所定の条件を満たす場合に、 前記記憶部に記憶された前記第１の予測動きベクトルの数が複数存在する場合、隣接視点における前記符号化対象ブロックと同位置の画素を指し示すベクトルである第２の予測動きベクトルを生成し、より優先度が低い前記第１の予測動きベクトルを、前記第２の予測動きベクトルによって上書きする更新部と、
を備え、
前記所定の条件は、前記第１の予測動きベクトルを生成するために参照される隣接ブロックが参照するブロックに対応する視点と、前記符号化対象ブロックが属する画像に対応する視点とが隣接していないという条件である
予測装置。

【請求項5】

他視点画像が一枚の画像に合成された合成画像の符号化において符号化対象ブロックの動きベクトルを予測する予測方法であって、
予測された動きベクトルの候補を示す第１の予測動きベクトルを記憶する記憶ステップと、
所定の条件を満たす場合に、隣接視点における前記符号化対象ブロックと同位置の画素を指し示すベクトルである第２の予測動きベクトルを生成し、記憶させる更新ステップと、
を有し、
前記所定の条件は、前記第１の予測動きベクトルを生成するために参照される隣接ブロックが参照するブロックに対応する視点と、前記符号化対象ブロックが属する画像に対応する視点とが隣接していないという条件である
予測方法。

【請求項6】

請求項１から請求項４のうちいずれか一項に記載の予測装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測装置、予測方法、及びプログラムに関する。

【背景技術】

【0002】

Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）におけるインター符号化では、動きベクトルの予測（ＭＶＰ；Motion Vector Prediction）が行われ、動きベクトルの予測差分のみが伝送される。これにより、復号に必要となる動きベクトルの情報が効率的に伝送される。予測動きベクトルは、次のような優先度で作成される。まず空間方向に最大２つの予測動きベクトルが作成され、次に時間方向に最大１つの予測動きベクトルが作成され、そして最後に零ベクトルが追加される。ここで、空間方向の予測動きベクトルとは、周辺の符号化済みブロックの動きベクトルのコピーである。符号化対象ブロックと周辺の符号化済みブロックとの位置関係に基づいて、動きベクトルをコピーする対象となる符号化済みブロックに関する優先順位が予め決められている。また、時間方向の予測動きベクトルとは、現ピクチャの符号化対象ブロックと同位置（同一の座標）にある、符号化済みピクチャ（参照ピクチャ）における符号化済みブロックの動きベクトルのコピーである。予測動きベクトルが２つ作成された段階で、動きベクトルの予測は終了し、２つの予測動きベクトルのうちどちらの予測動きベクトルを予測に使用するかを示すインデックスと、予測差分とが伝送される。

【0003】

また、ＨＥＶＣのスクリーンコンテンツ向け拡張規格として定められた技術のひとつとして、ＩＢＣ（イントラブロックコピー）がある。ＩＢＣは、現ピクチャの符号化済みの領域を参照ピクチャの対象としてインター予測を行う技術である（例えば、非特許文献１）。ＩＢＣにおける動きベクトルの探索及び動きベクトルの予測は、ＨＥＶＣにおけるインター予測と同様の手順で行われる。但し、現ピクチャは、長期参照ピクチャとして参照ピクチャセットに格納される。そのため、ＩＢＣでは、通常の動きベクトルの予測とは異なり、フレーム間距離による動きベクトルの予測値のスケーリングが行われず、また、現フレーム以外のフレームに基づく動きベクトルを予測値として用いることがない。

【0004】

ところで、高臨場感を表現するためには滑らかな運動視差の表現が重要である。運動視差の表現方式としては多眼表示があるが視域の切換えが発生する。多眼表示の指向性密度を向上した超多眼表示又は高密度指向性表示では運動視差は滑らかになるものの連続的な運動視差を表現するには多くの画像数が必要となる。そこで、複数の画像をリニアブレンディングすることにより少ない画像数で連続的な運動視差を表現する表示技術が提案されている。リニアブレンディングは、隣接した２つのカメラによってそれぞれ撮像された２つの画像に対して線形補完を行うことによって、これらのカメラの中間に位置する視点（以下、「中間視点」という。）に対する画像を生成する手法である（例えば、非特許文献２）。このリニアブレンディングを用いて裸眼３Ｄ（three-dimensional;３次元）表示を実現するディスプレイを、リニアブレンディングディスプレイという（例えば、非特許文献３）。リニアブレンディングディスプレイは、視点の方向に応じて異なる光線を表示することができる。リニアブレンディングディスプレイは、カメラアレイにより撮像された多視点画像から中間視点に対する画像を生成し、視点の位置に応じた画像を出力する。これにより、視聴者は、移動に伴って変化する視点の位置にそれぞれ対応する画像を見ることができるため、立体感を得ることができる。

【0005】

なお、リニアブレンディングディスプレイへの入力は、例えば図５に示すように、各視点に対する画像がそれぞれサブサンプリングされた上で、縦方向に積み重ねられた、多視点画像が一枚に合成された画像である。また、リニアブレンディングディスプレイの構成の一例を図６に示す。図示するように、例えば、視点Ａ、視点Ｂ、及び視点Ｃへのそれぞれの光線を作る画素が順に並べられた多視点画像が、液晶パネルに入力される。そして、視点Ａ、視点Ｂ、及び視点Ｃへは、それぞれに対応する光線のみが届くように構成される。また、隣接する複数の視点への光線が中間視点の位置に応じた混合比で混合されることにより、当該中間視点への光線が生成される。これにより、裸眼立体視が実現される。図示するように、例えば、視点Ａと視点Ｂからの距離が均等である中間視点に対する光線は、視点Ａに対する光線と視点Ｂに対する光線とが混合比５：５で混合された光線となる。

【先行技術文献】

【非特許文献】

【0006】

【文献】M.Budagavi, et al., "AHG8: Video coding using Intra motion compensation," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 13th Meeting: Incheon, Korea, 18-26 April 2013.

【文献】M.Date et al., "Real-time viewpoint image synthesis using strips of multi-camera images," Proc. of SPIE-IS&T, Vol.9391 939109-7, 17 March 2015.

【文献】伊達宗和 他, ”視覚的に等価なライトフィールド フラットパネル３Ｄディスプレイ,” 第22回日本バーチャルリアリティ学会大会論文集， 1B4-04， 2017年9月

【発明の概要】

【発明が解決しようとする課題】

【0007】

多視点画像が一枚に合成された画像の場合、予測符号化の際に、他の視点に対する画像の同位置のブロックを参照することができるため、予測残差を小さくすることができる。この場合、他の視点に対する画像の同位置のブロックの動きベクトルは、通常の時間方向の動きベクトルと比べてかなり大きくなる。そのため、動きベクトルの予測が重要になる。しかしながら、例えば前景と背景との境界部分等において、通常の動きベクトル探索とＩＢＣとが入り混じるため、動きベクトルの予測がうまく行われず、符号量が増大することがあるという課題がある。

【0008】

本発明はこのような状況を鑑みてなされたもので、多視点画像が一枚に合成された画像をより効率的に圧縮することができる技術の提供を目的としている。

【課題を解決するための手段】

【0009】

本発明の一態様は、他視点画像が一枚の画像に合成された合成画像の符号化において符号化対象ブロックの動きベクトルを予測する予測装置であって、予測された動きベクトルの候補を示す第１の予測動きベクトルを記憶する記憶部と、所定の条件を満たす場合に、隣接視点における前記符号化対象ブロックと同位置の画素を指し示すベクトルである第２の予測動きベクトルを生成し、前記記憶部に記憶させる更新部と、を備える予測装置である。

【0010】

また、本発明の一態様は、上記の予測装置であって、前記所定の条件は、前記符号化対象ブロックが含まれる合成画像と、前記第２の予測動きベクトルを生成するために参照される合成画像とが同一の合成画像であるという条件である。

【0011】

また、本発明の一態様は、上記の予測装置であって、前記所定の条件は、前記符号化対象ブロックが、合成画像の一番上に位置する視点に含まれるブロックではないという条件である。

【0012】

また、本発明の一態様は、上記の予測装置であって、前記所定の条件は、前記第１の予測動きベクトルを生成するために参照される隣接ブロックが参照するブロックに対応する視点と、前記符号化対象ブロックが属する画像に対応する視点とが隣接していないという条件である。

【0013】

また、本発明の一態様は、他視点画像が一枚の画像に合成された合成画像の符号化において符号化対象ブロックの動きベクトルを予測する予測装置であって、予測された動きベクトルの候補を示す第１の予測動きベクトルを記憶する記憶部と、前記記憶部に記憶された前記第１の予測動きベクトルの数が複数存在する場合、隣接視点における前記符号化対象ブロックと同位置の画素を指し示すベクトルである第２の予測動きベクトルを生成し、より優先度が低い前記第１の予測動きベクトルを、前記第２の予測動きベクトルによって上書きする更新部と、を備える予測装置である。

【0014】

また、本発明の一態様は、他視点画像が一枚の画像に合成された合成画像の符号化において符号化対象ブロックの動きベクトルを予測する予測方法であって、予測された動きベクトルの候補を示す第１の予測動きベクトルを記憶する記憶ステップと、所定の条件を満たす場合に、隣接視点における前記符号化対象ブロックと同位置の画素を指し示すベクトルである第２の予測動きベクトルを生成し、記憶させる更新ステップと、を有する予測方法である。

【0015】

また、本発明の一態様は、上記の予測装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0016】

本発明により、多視点画像が一枚に合成された画像をより効率的に圧縮することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る予測装置１の機能構成を示すブロック図である。

【図2】本発明の一実施形態に係る予測装置１の隣接視点動きベクトル生成部１２の機能構成を示すブロック図である。

【図3】本発明の一実施形態に係る予測装置１の動作を示すフローチャートである。

【図4】本発明の一実施形態に係る予測装置１の隣接視点動きベクトル生成部１２の動作を示すフローチャートである。

【図5】リニアブレンディングされた入力画像を説明するための図である。

【図6】リニアブレンディングディスプレイの構成を説明するための図である。

【発明を実施するための形態】

【0018】

＜実施形態＞
本発明の一実施形態に係る予測装置、予測方法、及びプログラムは、多視点画像が一枚に合成された画像の符号化に用いられるものであり、所定の条件を満たす場合に、予め記憶された２つの予測動きベクトルのうち、より優先度が低い方の予測動きベクトルを、符号化対象ブロックが属する画像に対応する視点に隣接する視点に対する画像における同位置のブロックを指し示す動きベクトルによって上書きすることを特徴とする。以下、本発明の一実施形態に係る予測装置、予測方法、及びプログラムについて、図面を参照しながら説明する。

【0019】

［予測装置の構成］
図１は、本発明の一実施形態に係る予測装置１の機能構成を示すブロック図である。図１に示すように、予測装置１は、制御部１０と、空間方向動きベクトル予測部１１と、隣接視点動きベクトル生成部１２と、時間方向動きベクトル予測部１３と、零ベクトル生成部１４と、予測動きベクトル記憶部１５と、を含んで構成される。

【0020】

本実施形態に係る予測装置１に入力される情報は、符号化対象ブロックの座標を示す情報（以下、「符号化対象ブロック情報」という。）、符号化対象ブロックに隣接したブロックの動きベクトル（以下、「隣接ブロック動きベクトル」という。）、符号化済みピクチャにおいて現ピクチャの符号化対象ブロックの位置と同位置にあるブロックの動きベクトル（以下、「他ピクチャ内ブロック動きベクトル」という。）、及び、符号化対象ブロックの参照ピクチャを示す番号（以下、「参照ピクチャ番号」という。）である。なお、これらの入力情報は、Ｈ．２６５／ＨＥＶＣにおける動きベクトルの予測に用いられる入力情報と同様の情報である。

【0021】

なお、符号化の対象となる画像の構成は予め定められているものとする。すなわち、合成された多視点画像に含まれる、各視点に対する画像の幅は、ＧＯＰ（Group Of Pictures）全体で固定されている。このような、符号化の対象となる画像の構成を示す情報は、例えばＳＰＳ（Sequence Parameter Set）等のヘッダ情報に含めて伝送される。

【0022】

制御部１０は、予測装置１が備える各機能ブロックの動作を制御する。制御部１０は、例えば、予測動きベクトル記憶部１５に記憶されている予測動きベクトルの数を認識し、予測動きベクトルの数に基づいて（例えば、予測動きベクトルの数が２つ未満であるか否かを判定することによって）各機能ブロックの動作を制御する。

【0023】

空間方向動きベクトル予測部１１は、外部の装置から、符号化対象ブロック情報と隣接ブロック動きベクトルとを取得する。空間方向動きベクトル予測部１１は、制御部１０による制御のもとで、取得した符号化対象ブロック情報と隣接ブロック動きベクトルとに基づいて、空間方向の動きベクトルの予測を行う。これにより、Ｈ．２６５／ＨＥＶＣの場合と同様に、最大２つの空間方向の予測動きベクトル（以下、「空間方向予測動きベクトル」という。）が生成される。

【0024】

空間方向動きベクトル予測部１１は、生成された空間方向予測動きベクトルを、予測動きベクトル記憶部１５に記憶させる。また、空間方向動きベクトル予測部１１は、生成された空間方向予測動きベクトルを、隣接視点動きベクトル生成部１２へ出力する。

【0025】

隣接視点動きベクトル生成部１２は、空間方向動きベクトル予測部１１から出力された空間方向予測動きベクトルを取得する。また、隣接視点動きベクトル生成部１２は、外部の装置から、符号化対象ブロック情報及び参照ピクチャ番号を取得する。隣接視点動きベクトル生成部１２は、取得した空間方向予測動きベクトルと符号化対象ブロック情報と参照ピクチャ番号とに基づいて、隣接視点予測を実施する。隣接視点動きベクトル生成部１２は、隣接視点予測の予測結果に基づいて、予測動きベクトル記憶部１５に記憶された予測動きベクトルを更新する。なお、隣接視点動きベクトル生成部１２のさらに詳細な構成及び隣接視点予測の処理の詳細については後述する。

【0026】

時間方向動きベクトル予測部１３は、外部の装置から、符号化対象ブロック情報及び他ピクチャ内ブロック動きベクトルを取得する。時間方向動きベクトル予測部１３は、制御部１０による制御のもとで、取得した符号化対象ブロック情報と他ピクチャ内ブロック動きベクトルとに基づいて、時間方向の動きベクトルの予測を行う。これにより、Ｈ．２６５／ＨＥＶＣの場合と同様に、最大１つの時間方向の予測動きベクトル（以下、「時間方向予測動きベクトル」という。）が生成される。時間方向動きベクトル予測部１３は、生成された時間方向予測動きベクトルを、予測動きベクトル記憶部１５に記憶させる。

【0027】

零ベクトル生成部１４は、制御部１０による制御のもとで、予測動きベクトル記憶部１５に記憶されているベクトル（予測動きベクトル候補）が２つになるまで、零ベクトルを予測動きベクトル記憶部１５にさらに記憶させる。

【0028】

予測動きベクトル記憶部１５は、外部の装置へ出力される予測動きベクトル（以下、「予測ベクトル候補」という。）を記憶する。予測動きベクトル記憶部１５は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＤＤ（Solid State Drive）、ＲＡＭ（Random Access Memory；読み書き可能なメモリ）、レジスタ等によって実現される。

【0029】

［隣接視点動きベクトル生成部の構成］
以下、隣接視点動きベクトル生成部１２の構成について更に詳しく説明する。
図２は、本発明の一実施形態に係る予測装置１の隣接視点動きベクトル生成部１２の機能構成を示すブロック図である。図２に示すように、隣接視点動きベクトル生成部１２は、参照ピクチャ条件判定部１２１と、符号化対象ブロック座標条件判定部１２２と、空間方向予測動きベクトル条件判定部１２３と、隣接視点動きベクトル生成部１２４と、を含んで構成される。

【0030】

参照ピクチャ条件判定部１２１は、参照ピクチャ番号を取得する。参照ピクチャ条件判定部１２１は、取得した参照ピクチャ番号が０であるか否かについての判定を行う。参照ピクチャ番号が０であるとは、符号化対象ブロックが属するピクチャ（現ピクチャ）を参照していること、すなわち、符号化対象ブロックが属するピクチャと参照するピクチャとがとが同一のピクチャであることである。なお、現ピクチャを参照している場合の処理は、上述したＩＢＣ（イントラブロックコピー）を行うことと等価である。

【0031】

符号化対象ブロック座標条件判定部１２２は、符号化対象ブロック情報を取得する。符号化対象ブロック座標条件判定部１２２は、現ピクチャを参照していると参照ピクチャ条件判定部１２１により判定された場合（すなわち、参照ピクチャ番号が０である場合）、取得した符号化対象ブロック情報に基づいて、符号化対象ブロックが一番上に位置する視点に対応する画像に含まれるブロックであるか否かについての判定を行う。

【0032】

空間方向予測動きベクトル条件判定部１２３は、空間方向予測動きベクトルを取得する。空間方向予測動きベクトル条件判定部１２３は、符号化対象ブロックが一番上に位置する視点に対応する画像に含まれるブロックではないと符号化対象ブロック座標条件判定部１２２により判定された場合、空間方向予測動きベクトルが隣接視点を参照しているか否かについての判定を行う。

【0033】

隣接視点動きベクトル生成部１２４は、空間方向予測動きベクトルが隣接視点を参照していないと空間方向予測動きベクトル条件判定部１２３により判定された場合、隣接視点予測動きベクトルを生成する。この場合、隣接視点動きベクトル生成部１２４は、予測動きベクトル記憶部１５に２つの空間方向予測動きベクトルが既に記憶されているならば、これら２つの空間方向予測動きベクトルのうち、より優先度が低い方の空間方向予測動きベクトル（例えば、より後に生成された空間方向予測動きベクトル）を、上記生成された隣接視点予測動きベクトルによって上書きする。

【0034】

［予測装置の動作］
以下、予測装置１の動作について説明する。
図３は、本発明の一実施形態に係る予測装置１の動作を示すフローチャートである。

【0035】

まず、空間方向動きベクトル予測部１１は、符号化対象ブロック情報と隣接ブロック動きベクトルとを取得する。空間方向動きベクトル予測部１１は、取得した符号化対象ブロック情報と隣接ブロック動きベクトルとに基づいて、空間方向の動きベクトルの予測を行う（ステップＳ０１）。これにより、最大２つの空間方向予測動きベクトルが生成される。空間方向動きベクトル予測部１１は、生成された空間方向予測動きベクトルを、予測動きベクトル記憶部１５に記憶させる。

【0036】

隣接視点動きベクトル生成部１２は、空間方向動きベクトル予測部１１によって生成された空間方向予測動きベクトルを取得する。また、隣接視点動きベクトル生成部１２は、符号化対象ブロック情報及び参照ピクチャ番号を取得する。隣接視点動きベクトル生成部１２は、空間方向予測動きベクトルと符号化対象ブロック情報と参照ピクチャ番号とに基づいて、隣接視点予測を実施する（ステップＳ０２）。

【0037】

以下、隣接視点動きベクトル生成部１２による隣接視点予測について更に詳しく説明する。
図４は、本発明の一実施形態に係る予測装置１の隣接視点動きベクトル生成部１２の動作を示すフローチャートである。

【0038】

まず、参照ピクチャ条件判定部１２１は、参照ピクチャ番号を取得する（ステップＳ２０１）。参照ピクチャ条件判定部１２１は、取得した参照ピクチャ番号が０であるか否かについての判定を行う（ステップＳ２０２）。参照ピクチャ番号が０ではないと参照ピクチャ条件判定部１２１により判定された場合（ステップＳ２０２・ＮＯ）、この隣接視点予測の処理は終了する。

【0039】

一方、参照ピクチャ番号が０であると参照ピクチャ条件判定部１２１により判定された場合（ステップＳ２０２・ＹＥＳ）、符号化対象ブロック座標条件判定部１２２は、符号化対象ブロック情報を取得する（ステップＳ２０３）。符号化対象ブロック座標条件判定部１２２は、取得した符号化対象ブロック情報に基づいて、符号化対象ブロックが一番上に位置する視点に対応する画像に含まれるブロックであるか否かについての判定を行う（ステップＳ２０４）。符号化対象ブロックが一番上に位置する視点に対応する画像に含まれるブロックであると符号化対象ブロック座標条件判定部１２２により判定された場合（ステップＳ２０４・ＹＥＳ）、この隣接視点予測の処理は終了する。

【0040】

一方、符号化対象ブロックが一番上に位置する視点に対応する画像に含まれるブロックではないと符号化対象ブロック座標条件判定部１２２により判定された場合（ステップＳ２０４・ＮＯ）、空間方向予測動きベクトル条件判定部１２３は、空間方向予測動きベクトルを取得する（ステップＳ２０５）。空間方向予測動きベクトル条件判定部１２３は、空間方向予測動きベクトルが隣接視点を参照しているか否かについての判定を行う（ステップＳ２０６）。空間方向予測動きベクトルが隣接視点を参照していると空間方向予測動きベクトル条件判定部１２３により判定された場合（ステップＳ２０６・ＹＥＳ）、この隣接視点予測の処理は終了する。

【0041】

一方、空間方向予測動きベクトルが隣接視点を参照していないと空間方向予測動きベクトル条件判定部１２３により判定された場合（ステップＳ２０６・ＮＯ）、隣接視点動きベクトル生成部１２４は、隣接視点予測動きベクトルを生成する（ステップＳ２０７）。

【0042】

なお、ここで、隣接視点予測動きベクトルは、隣接視点における符号化対象ブロックと同位置の画素を指し示すようなものであればよい。すなわち、隣接視点予測動きベクトルとは、例えば、図５に示した合成された入力画像において、水平方向成分が０であり、垂直方向成分が視点ひとつ分の画素幅であるようなベクトルである。

【0043】

隣接視点動きベクトル生成部１２４は、予測動きベクトル記憶部１５に２つの空間方向予測動きベクトルが既に記憶されている場合、これら２つの空間方向予測動きベクトルのうち、より優先度が低い方の空間方向予測動きベクトル（例えば、より後に生成された空間方向予測動きベクトル）を、上記生成された隣接視点予測動きベクトルによって上書きする（ステップＳ２０８）。
以上で、隣接視点動きベクトル生成部１２による隣接視点予測の処理は終了する。

【0044】

このように、隣接視点予測においては、現ピクチャを参照していること（参照ピクチャ番号が０であること）、符号化対象ブロックが一番上に位置する視点に対応する画像に含まれるブロックではないこと、及び、空間方向予測動きベクトルが隣接視点を参照していないことの３つの条件を満たす場合に、隣接視点予測動きベクトルが生成される。

【0045】

なお、上記３つの条件のうち、３つ目の条件（すなわち、空間方向予測動きベクトルが隣接視点を参照していないという条件）は省略されてもよい。但し、一般的にＩＢＣでは、隣接したブロックの動きベクトルは一致する傾向にある。そのため、隣接ブロックの動きベクトルが他視点を指しており、かつ隣接視点で同じ位置を指していない場合にはそちらを優先したほうが予測残差が少なくなることが期待されることから、３つ目の条件を加えることが望ましい。

【0046】

再び図３に戻って説明する。
次に、制御部１０は、予測動きベクトル記憶部１５に記憶された予測動きベクトルが２つ未満であるか否かについての判定を行う（ステップＳ０３）。予測動きベクトル記憶部１５に記憶された予測動きベクトルが２つ未満ではない（すなわち、２つである（複数存在する））と制御部１０により判定された場合（ステップＳ０３・ＮＯ）、予測動きベクトル記憶部１５は、記憶している２つの予測動きベクトルを、予測動きベクトル候補として出力する（ステップＳ０７）。

【0047】

一方、予測動きベクトル記憶部１５に記憶された予測動きベクトルが２つ未満であると制御部１０により判定された場合（ステップＳ０３・ＹＥＳ）、時間方向動きベクトル予測部１３は、符号化対象ブロック情報と他ピクチャ内ブロック動きベクトルとに基づいて、時間方向の動きベクトル予測を行う（ステップＳ０４）。これにより、最大１つの時間方向予測動きベクトルが生成される。時間方向動きベクトル予測部１３は、生成された時間方向予測動きベクトルを、予測動きベクトル記憶部１５に記憶させる。

【0048】

次に、制御部１０は、予測動きベクトル記憶部１５に記憶された予測動きベクトルが２つ未満であるか否かについての判定を行う（ステップＳ０５）。予測動きベクトル記憶部１５に記憶された予測動きベクトルが２つ未満ではない（すなわち、２つである）と制御部１０により判定された場合、予測動きベクトル記憶部１５は、記憶している２つの予測動きベクトルを予測動きベクトル候補として出力する（ステップＳ０７）。

【0049】

一方、予測動きベクトル記憶部１５に記憶された予測動きベクトルが２つ未満であると制御部１０により判定された場合、零ベクトル生成部１４は、予測動きベクトル記憶部１５に記憶されているベクトル（予測動きベクトル候補）が２つになるまで、零ベクトルを追加する（ステップＳ０６）。次に、予測動きベクトル記憶部１５は、記憶している２つの予測動きベクトルを、予測動きベクトル候補として出力する（ステップＳ０７）。
以上で、図３のフローチャートに基づく予測装置１の動作が終了する。

【0050】

以上説明したように、本発明の一実施形態係る予測装置１は、他視点画像が一枚の画像に合成された画像（合成画像）の符号化において符号化対象ブロックの動きベクトルを予測する。予測装置１は、予測された動きベクトルの候補（第１の予測動きベクトル）を記憶する予測動きベクトル記憶部１５（記憶部）と、所定の条件を満たす場合に、隣接視点における前記符号化対象ブロックと同位置の画素を指し示すベクトルである隣接視点動きベクトル（第２の予測動きベクトル）を生成し、予測動きベクトル記憶部１５に記憶させる隣接視点動きベクトル生成部１２（更新部）とを備える。

【0051】

すなわち、本発明の一実施形態係る予測装置１は、隣接する視点に対する画像における、符号化対象ブロックと同位置のブロックの動きベクトルを予測ベクトルとして追加する。上記の構成を備えることにより、予測装置１は、多視点映像を一枚に合成した映像を従来の符号化方式よりも効率的に圧縮することができる。

【0052】

上述した実施形態における予測装置１の一部又は全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

【0053】

以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び要旨を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。

【符号の説明】

【0054】

１…予測装置、１０…制御部、１１…空間方向動きベクトル予測部、１２…隣接視点動きベクトル生成部、１３…時間方向動きベクトル予測部、１４…零ベクトル生成部、１５…予測動きベクトル記憶部、１２１…参照ピクチャ条件判定部、１２２…符号化対象ブロック座標条件判定部、１２３…空間方向予測動きベクトル条件判定部、１２４…隣接視点動きベクトル生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】