特許 6114404 ビデオ信号処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6114404

(24)【登録日】2017年3月24日

(45)【発行日】2017年4月12日

(54)【発明の名称】ビデオ信号処理方法及び装置

(51)【国際特許分類】

   H04N 19/597 20140101AFI20170403BHJP

【ＦＩ】

   H04N19/597

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2015-552574(P2015-552574)

(86)(22)【出願日】2014年1月8日

(65)【公表番号】特表2016-507972(P2016-507972A)

(43)【公表日】2016年3月10日

(86)【国際出願番号】KR2014000204

(87)【国際公開番号】WO2014109547

(87)【国際公開日】20140717

【審査請求日】2015年7月8日

(31)【優先権主張番号】61/750,314

(32)【優先日】2013年1月8日

(33)【優先権主張国】US

(31)【優先権主張番号】61/750,739

(32)【優先日】2013年1月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】ホ チン

(72)【発明者】

【氏名】チョン チウク

(72)【発明者】

【氏名】イェ ソフン

(72)【発明者】

【氏名】ク ムンモ

(72)【発明者】

【氏名】キム テソプ

(72)【発明者】

【氏名】スン チェウォン

(72)【発明者】

【氏名】ソン ウンヨン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特表２０１１−５１９２２６（ＪＰ，Ａ）

【文献】 特表２００９−５０９４５４（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０４４１６８（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／００５５４８（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１７１４７７（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１１／０２１１６３８（ＵＳ，Ａ１）

【文献】 Christian Bartnik et.al.，HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，44nd Meeting: San Jose, CA, USA，２０１２年 ２月，VCEG-AR13，pp.1-42

【文献】 Dmytro Rusanovskyy et al.，Suggestion for a depth-enhanced multiview video coding extension to H.264 Annex A: Nokia 3DV Test Mo，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，44th Meeting: San Jose, CA, USA，２０１２年 ２月，VCEG-AR14-AnnexA，pp.1-14

【文献】 Jian-Liang Lin et al.，3D-CE5.a related: Simplification on the disparity vector derivation for AVC-based 3D video coding，Joint Collaborative Team on 3D Video Coding Extension Developme of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，1st Meeting: Stockholm, SE，２０１２年 ７月，JCT2-A0046_r2，pp.1-4

【文献】 Jian-Liang Lin et al.，3D-CE5.h related: Simplification on disparity vector derivation for HEVC-based 3D video coding，Joint Collaborative Team on 3D Video Coding Extension Developme of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，1st Meeting: Stockholm, SE，２０１２年 ７月，JCT2-A0047_r1，pp.1-3

【文献】 Yu-Lin Chang et al.，3D-CE5.h related: Depth-oriented Neighboring Block Disparity Vector (DoNBDV) with virtual depth，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2nd Meeting: Shanghai, CN，２０１２年１０月，JCT3V-B0090r1，pp.1-5

【文献】 Jiwook Jung et al.，3D-CE1.h related : Adaptive method for Depth-oriented Neighboring Block，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，3rd Meeting: Geneva，２０１３年 １月，JCT3V-C0112_r3，pp.1-6

【文献】 Yi-Wen Chen et al.，3D-CE2.a related: MB-level depth-to-DV conversion in ATM，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，3rd Meeting: Geneva, CH，２０１３年 １月，JCT3V-C0134，pp.1-3

【文献】 Dong Tian et al.，CE1.h: Backward View Synthesis Prediction using Neighbouring Blocks，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，3rd Meeting: Geneva, CH，２０１３年 １月，JCT3V-C0152_r1，pp.1-5

【文献】 Yu-Lin Chang et al.，3D-CE2.h related: Simplified DV derivation for DoNBDV and BVSP，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/W，4th Meeting: Incheon, KR，２０１３年 ４月，JCT3V-D0138，pp.1-4

【文献】 Christian Bartnik et.al.，HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，44nd Meeting: San Jose, CA, USA，２０１２年 ２月，VCEG-AR13，pp.1-42

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

現在のテクスチャーブロックに対応するデプスブロックを獲得する段階と、
前記デプスブロック内のデプス値の少なくとも一つを用いて第１の視点間モーションベクトルを獲得する段階と、
前記第１の視点間モーションベクトルを用いて前記現在のテクスチャーブロックの参照ブロックを獲得する段階と、
前記参照ブロックを用いて前記現在のテクスチャーブロックの予測値を獲得する段階と、を含み、
前記現在のテクスチャーブロックに対応する前記デプスブロックを獲得する前記段階は、
前記現在のテクスチャーブロックの隣接ブロックから誘導される第２の視点間モーションベクトルを獲得する段階と、
前記第２の視点間モーションベクトル及び前記現在のテクスチャーブロックの位置を用いて前記デプスブロックの位置を獲得する段階と、を含み、
前記少なくとも一つのデプス値は、前記デプスブロック内の左側上端ピクセルのデプス値、左側下端ピクセルのデプス値、右側上端ピクセルのデプス値及び右側下端ピクセルのデプス値の少なくとも一つである、ビデオ信号処理方法。

【請求項2】

前記少なくとも一つのデプス値は、前記デプスブロック内の左側上端ピクセルのデプス値、左側下端ピクセルのデプス値、右側上端ピクセルのデプス値及び右側下端ピクセルのデプス値のうち最も大きいデプス値である、請求項１に記載のビデオ信号処理方法。

【請求項3】

前記デプスブロックは、前記現在のテクスチャーブロックの隣接視点にある、請求項１に記載のビデオ信号処理方法。

【請求項4】

現在のテクスチャーブロックに対応するデプスブロックを獲得し、前記デプスブロック内のデプス値の少なくとも一つを用いて第１の視点間モーションベクトルを獲得し、前記第１の視点間モーションベクトルを用いて前記現在のテクスチャーブロックの参照ブロックを獲得し、前記参照ブロックを用いて前記現在のテクスチャーブロックの予測値を獲得するインター予測部を含み、
前記現在のテクスチャーブロックに対応する前記デプスブロックの前記獲得は、
前記現在のテクスチャーブロックの隣接ブロックから誘導される第２の視点間モーションベクトルの獲得と、
前記第２の視点間モーションベクトル及び前記現在のテクスチャーブロックの位置を用いる前記デプスブロックの位置の獲得と、を含み、
前記少なくとも一つのデプス値は、前記デプスブロック内の左側上端ピクセルのデプス値、左側下端ピクセルのデプス値、右側上端ピクセルのデプス値及び右側下端ピクセルのデプス値の少なくとも一つである、ビデオデコーダー。

【請求項5】

前記少なくとも一つのデプス値は、前記デプスブロック内の左側上端ピクセルのデプス値、左側下端ピクセルのデプス値、右側上端ピクセルのデプス値及び右側下端ピクセルのデプス値のうち最も大きいデプス値である、請求項４に記載のビデオデコーダー。

【請求項6】

前記デプスブロックは、前記現在のテクスチャーブロックの隣接視点にある、請求項４に記載のビデオデコーダー。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ信号のコーディング方法及び装置に関する。

【背景技術】

【0002】

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納する一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的重複性、時間的重複性及び視点間重複性を有している点にある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、ビデオ信号のコーディング効率を高めることにある。

【課題を解決するための手段】

【0004】

本発明は、現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて視点間モーションベクトルを獲得することを特徴とする。

【0005】

また、本発明は、現在のテクスチャーブロックに対応するデプスブロックの一部のデプス値を用いて視点間モーションベクトルを獲得することを特徴とする。

【0006】

また、本発明は、照度差補償過程を行うための補償係数を現在のテクスチャーブロックの隣接ピクセルと参照ブロックの隣接ピクセルを用いて獲得することを特徴とする。

【0007】

また、本発明は、特定条件によって照度差補償のための補償係数を簡単に獲得することを特徴とする。

【発明の効果】

【0008】

本発明は、現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて視点間モーションベクトルを獲得することによって、正確な視点間モーションベクトルを獲得し、視点間インター予測の正確度を高めることができる。

【0009】

また、本発明は、現在のテクスチャーブロックに対応するデプスブロックの一部のデプス値を用いて視点間モーションベクトルを獲得することによって、視点間インター予測の複雑度を減少させることができる。

【0010】

また、本発明は、照度差補償を行うことによって正確な現在のテクスチャーブロックの予測値を獲得し、視点間インター予測の正確度を高めることができる。

【0011】

また、本発明は、特定条件によって補償係数を簡単に獲得することによって、照度差補償の複雑度を減少させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明が適用される実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図である。

【図2】本発明が適用される一実施例であって、ビデオデコーダーの概略的なブロック図である。

【図3】本発明が適用される一実施例であって、デプス（ｄｅｐｔｈ）の概念を説明するために示した図である。

【図4】本発明が適用される一実施例であって、視点間インター予測の一例を示した図である。

【図5】本発明が適用される一実施例であって、視点間インター予測を通じて現在のテクスチャーブロックをデコーディングする一例に対するフローチャートである。

【図6】本発明が適用される一実施例であって、現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて現在のテクスチャーブロックの視点間モーションベクトルを獲得する一例に対するフローチャートである。

【図7】本発明が適用される一実施例であって、現在のテクスチャーブロックに対応するデプスブロック内のデプス値を用いて現在のテクスチャーブロックの第１の視点間モーションベクトルを獲得する一例を示した図である。

【図8】本発明が適用される一実施例であって、最大デプス視点間モーションベクトル及び最頻デプス視点間モーションベクトルを獲得するために用いられる現在のテクスチャーブロックに対応するデプスブロックの一部のピクセルの一例を示した図である。

【図9】本発明が適用される一実施例であって、照度差を補償する一例に対するフローチャートである。

【図10】本発明が適用される一実施例であって、照度差を補償する過程で使用される現在のテクスチャーブロック、参照ブロック、現在のテクスチャーブロックの隣接ピクセル及び参照ブロックの隣接ピクセルの例を示した図である。

【発明を実施するための形態】

【0013】

本発明は、現在のテクスチャーブロックに対応するデプスブロックを獲得し、前記デプスブロック内のデプス値のうち少なくとも一つのデプス値を用いて第１の視点間モーションベクトルを獲得し、前記第１の視点間モーションベクトルを用いて前記現在のテクスチャーブロックの参照ブロックを獲得し、前記参照ブロックを用いて現在のテクスチャーブロックの予測値を獲得するインター予測部を含むビデオデコーダー及びビデオ信号処理方法である。

【0014】

また、本発明は、前記少なくとも一つのデプス値は、前記デプスブロック内の左側上端ピクセルのデプス値、左側下端ピクセルのデプス値、右側上端ピクセルのデプス値及び右側下端ピクセルのデプス値のうち少なくとも一つであることを特徴とするビデオデコーダー及びビデオ信号処理方法である。

【0015】

また、本発明は、前記少なくとも一つのデプス値は、前記デプスブロック内の左側上端ピクセルのデプス値、左側下端ピクセルのデプス値、右側上端ピクセルのデプス値及び右側下端ピクセルのデプス値のうち最も大きいデプス値であることを特徴とするビデオデコーダー及びビデオ信号処理方法である。

【0016】

また、本発明の前記インター予測部は、前記現在のテクスチャーブロックの隣接ブロックから誘導される第２の視点間モーションベクトルを獲得し、前記第２の視点間モーションベクトルを用いて隣接視点内のテクスチャーブロックを獲得し、前記隣接視点内のテクスチャーブロックを用いて前記デプスブロックを獲得することを特徴とする。

【0017】

また、本発明の前記デプスブロックは、前記現在のテクスチャーブロックの隣接視点にあることを特徴とする。

【0018】

多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的重複性、時間的重複性及び視点間に存在する重複性を考慮している。また、多視点映像の場合、３次元映像を具現するために２個以上の視点で撮影された多視点テクスチャー映像をコーディングすることができる。また、必要に応じて、多視点テクスチャー映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングするにおいて、空間的重複性、時間的重複性または視点間重複性を考慮して圧縮コーディング可能であることは当然である。デプスデータは、カメラと該当の画素との間の距離情報を表現したものであって、本明細書内において、デプスデータは、デプス情報、デプス映像、デプスピクチャー、デプスシーケンス、デプスビットストリームなどのデプスと関連する情報と柔軟に解釈することができる。また、本明細書において、コーディングとは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。

【0019】

図１は、本発明が適用される実施例であって、デプスコーディングが適用される放送受信機の内部ブロック図である。

【0020】

本実施例に係る放送受信機は、空中波放送信号を受信し、映像を再生するためのものである。前記放送受信機は、受信されたデプス関連情報を用いて３次元コンテンツを生成することができる。前記放送受信機は、チューナー１００、復調／チャンネルデコーダー１０２、トランスポート逆多重化部１０４、パケット解除部１０６、オーディオデコーダー１０８、ビデオデコーダー１１０、ＰＳＩ／ＰＳＩＰ処理部１１４、３Ｄレンダリング部１１６、フォーマッター１２０及びディスプレイ部１２２を含む。

【0021】

チューナー１００は、アンテナ（図示せず）を介して入力される多数の放送信号のうちユーザーが選局したいずれか一つのチャンネルの放送信号を選択して出力する。復調／チャンネルデコーダー１０２は、チューナー１００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行い、トランスポートストリーム（ＴＳ）を出力する。トランスポート逆多重化部１０４は、トランスポートストリームを逆多重化し、ビデオＰＥＳとオーディオＰＥＳを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。パケット解除部１０６は、ビデオＰＥＳとオーディオＰＥＳに対してパケットを解除し、ビデオＥＳとオーディオＥＳを復元する。オーディオデコーダー１０８は、オーディオＥＳをデコーディングし、オーディオビットストリームを出力する。オーディオビットストリームは、デジタル―アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカー（図示せず）を通じて出力される。ビデオデコーダー１１０は、ビデオＥＳをデコーディングし、元の映像を復元する。前記オーディオデコーダー１０８及び前記ビデオデコーダー１１０のデコーディング過程は、ＰＳＩ／ＰＳＩＰ処理部１１４によって確認されるパケットＩＤ（ＰＩＤ）に基づいて進行することができる。デコーディング過程で、前記ビデオデコーダー１１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するのに必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって隠される領域（Ｏｃｃｌｕｓｉｏｎ）を推定するための情報（例えば、客体輪郭線などの幾何学的情報、客体透明度情報及びカラー情報）などを抽出して３Ｄレンダリング部１１６に提供することができる。しかし、本発明の他の実施例においては、前記デプス情報及び／または付加情報がトランスポート逆多重化部１０４によって分離されることもある。

【0022】

ＰＳＩ／ＰＳＩＰ処理部１１４は、トランスポート逆多重化部１０４からのＰＳＩ／ＰＳＩＰ情報を受け入れ、これをパーシングしてメモリ（図示せず）またはレジスターに格納することによって、格納された情報に基づいて放送が再生されるようにする。３Ｄレンダリング部１１６は、復元された映像、デプス情報、付加情報及びカメラパラメーターを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。

【0023】

また、３Ｄレンダリング部１１６は、復元された映像と、前記の復元された映像に対するデプス情報を用いて３Ｄワーピング（Ｗａｒｐｉｎｇ）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、前記３Ｄレンダリング部１１６が前記ビデオデコーダー１１０と別個のブロックで構成されていると説明しているが、これは一実施例に過ぎず、前記３Ｄレンダリング部１１６は前記ビデオデコーダー１１０に含まれて行われることもある。

【0024】

フォーマッター１２０は、デコーディング過程で復元した映像、すなわち、実際のカメラによって撮影された映像と、３Ｄレンダリング部１１６によって生成された仮想映像を該当の受信機でのディスプレイ方式に合わせてフォーマッティングし、ディスプレイ部１２２を通じて３Ｄ映像が表示されるようになる。ここで、前記３Ｄレンダリング部１１６による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッター１２０による映像フォーマッティングがユーザーの命令に応答して選択的に行われることもある。すなわち、視聴者は、リモートコントローラー（図示せず）を操作し、合成映像が表示されないようにすることもでき、映像合成が行われる視点を指定することもできる。

【0025】

以上説明したように、３Ｄ映像を生成するために、デプス情報は、３Ｄレンダリング部１１６で用いられているが、他の実施例として前記ビデオデコーダー１１０で用いられることもある。以下では、前記ビデオデコーダー１１０でデプス情報を用いる多様な実施例を説明する。

【0026】

図２は、本発明が適用される実施例であって、ビデオデコーダーの概略的なブロック図である。

【0027】

図２を参照すると、前記ビデオデコーダー１１０は、大きく分けて、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、デブロッキングフィルター部２４０、復号ピクチャーバッファ部２５０、インター予測部２６０及びイントラ予測部２７０を含むことができる。ここで、実線は、カラーピクチャーデータの流れを意味し、点線は、デプスピクチャーデータの流れを意味する。このように、図２では、カラーピクチャーデータとデプスピクチャーデータを区分して表示したが、これは別個のビットストリームを意味することができ、または、一つのビットストリーム内でデータの流れのみを区分したものと見ることもできる。すなわち、前記カラーピクチャーデータと前記デプスピクチャーデータは、一つのビットストリーム、または別個のビットストリームとして伝送することができ、図２では、データの流れを示すだけで、一つのデコーダー内で全て行われるものに限定されない。

【0028】

まず、受信されたデプスビットストリーム２００を復号するためにＮＡＬ単位でパーシングを行う。このとき、ＮＡＬヘッダー領域、ＮＡＬヘッダーの拡張領域、シーケンスヘッダー領域（例えば、シーケンスパラメーターセット）、シーケンスヘッダーの拡張領域、ピクチャーヘッダー領域（例えば、ピクチャーパラメーターセット）、ピクチャーヘッダーの拡張領域、スライスヘッダー領域、スライスヘッダーの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスと関連する様々な属性情報を含ませることができる。デプスコーディングは、別個のコーデックを用いて行えるが、既存のコーデックとの互換をなす場合であると、デプスビットストリームの場合に限って、デプスと関連する様々な属性情報を追加することがより効率的であり得る。例えば、前記シーケンスヘッダー領域（例えば、シーケンスパラメーターセット）またはシーケンスヘッダーの拡張領域でデプスビットストリームであるか否かを識別できるデプス識別情報を追加することができる。前記デプス識別情報により、入力されたビットストリームがデプスコーディングされたビットストリームである場合に限って、デプスシーケンスに対する属性情報を追加することができる。

【0029】

パーシングされたデプスビットストリーム２００は、エントロピーデコーディング部２１０を通じてエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部２２０では、受信された量子化された値に一定の定数を掛けることによって変換された係数値を獲得し、逆変換部２３０では、前記係数値を逆変換することによってデプスピクチャーのデプス情報を復元するようになる。イントラ予測部２７０では、現在のデプスピクチャーの復元されたデプス情報を用いて画面内の予測を行うようになる。一方、デブロッキングフィルター部２４０では、ブロック歪曲現象を減少させるためにそれぞれのコーディングされたマクロブロックにデブロッキングフィルタリングを適用する。フィルターは、ブロックのエッジをスムージングし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強さ（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｔｈ）と境界周囲のイメージサンプルの変化（ｇｒａｄｉｅｎｔ）によって左右される。フィルタリングを経た各デプスピクチャーは、出力されたり、参照ピクチャーとして用いるために復号ピクチャーバッファ部２５０に格納される。

【0030】

復号ピクチャーバッファ部（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ ｕｎｉｔ）２５０では、画面間予測を行うために以前にコーディングされた各デプスピクチャーを格納または開放する役割などをする。このとき、各デプスピクチャーを復号ピクチャーバッファ部２５０に格納または開放するために、各ピクチャーのｆｒａｍｅ＿ｎｕｍとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いるようになる。したがって、デプスコーディングにおいて、前記以前にコーディングされた各ピクチャーのうち現在のデプスピクチャーと異なる視点にあるデプスピクチャーもあるので、これらピクチャーを参照ピクチャーとして活用するためには、前記ｆｒａｍｅ＿ｎｕｍとＰＯＣだけでなく、デプスピクチャーの視点を識別するデプス視点情報も共に用いることができる。

【0031】

また、前記復号ピクチャーバッファ部２５０は、デプスピクチャーの視点間予測のための参照ピクチャーリストを生成するためにデプス視点に対する情報を用いることができる。例えば、デプス―ビュー参照情報（ｄｅｐｔｈ―ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）を用いることができる。デプス―ビュー参照情報とは、各デプスピクチャーの視点間依存関係を示すために用いられる情報をいう。例えば、全体のデプス視点の個数、デプス視点識別番号、デプス―ビュー参照ピクチャーの個数、デプス―ビュー参照ピクチャーのデプス視点識別番号などがあり得る。

【0032】

前記復号ピクチャーバッファ部２５０は、より柔軟に画面間予測を実現するために参照ピクチャーを管理する。例えば、適応メモリ管理方法（Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｏｐｅｒａｔｉｏｎ Ｍｅｔｈｏｄ）と移動ウィンドウ方法（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ Ｍｅｔｈｏｄ）を用いることができる。これは、参照ピクチャーと非参照ピクチャーのメモリを一つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、各デプスピクチャーは、復号ピクチャーバッファ部内で各カラーピクチャーと区別するために別途の表示でマーキングすることができ、前記マーキング過程で各デプスピクチャーを識別するための情報を用いることができる。このような過程を通じて管理される各参照ピクチャーは、インター予測部２６０でデプスコーディングのために用いることができる。

【0033】

図２を参照すると、インター予測部２６０は、動き補償部２６１、仮想視点合成部２６２及びデプスピクチャー予測部２６３を含むことができる。

【0034】

動き補償部２６１では、エントロピーデコーディング部２１０から伝送された各情報を用いて現在のブロックの動きを補償する。ビデオ信号から現在のブロックに隣接する各ブロックの動きベクトルを抽出し、前記現在のブロックの動きベクトル予測値を獲得する。前記動きベクトル予測値と前記ビデオ信号から抽出される差分ベクトルを用いて現在のブロックの動きを補償する。また、このような動き補償は、一つの参照ピクチャーを用いて行うこともでき、複数のピクチャーを用いて行うこともできる。デプスコーディングにおいて、現在のデプスピクチャーが異なる視点にあるデプスピクチャーを参照する場合、前記復号ピクチャーバッファ部２５０に格納されているデプスピクチャーの視点間予測のための参照ピクチャーリストに対する情報を用いて動き補償を行うことができる。また、そのデプスピクチャーの視点を識別するデプス視点情報を用いて動き補償を行うこともできる。

【0035】

また、仮想視点合成部（Ｖｉｒｔｕａｌ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｕｎｉｔ）２６２は、現在のカラーピクチャーの視点に隣接する視点のカラーピクチャーを用いて仮想視点のカラーピクチャーを合成する。互いに隣接する視点の各カラーピクチャーを用いるために、または、所望の特定視点のカラーピクチャーを用いるために、前記カラーピクチャーの視点を示す視点識別情報を用いることができる。前記仮想視点のカラーピクチャーを生成する場合、前記仮想視点のカラーピクチャーを生成するか否かを指示するフラグ情報を定義することができる。前記フラグ情報が前記仮想視点のカラーピクチャーを生成することを指示する場合、前記視点識別情報を用いて仮想視点のカラーピクチャーを生成することができる。前記仮想視点合成部２６２を通じて獲得された仮想視点のカラーピクチャーは、レファレンスピクチャーとして使用することもでき、この場合、前記仮想視点のカラーピクチャーにも前記視点識別情報を割り当てることが可能であることは当然である。

【0036】

他の実施例において、前記仮想視点合成部２６２は、現在のデプスピクチャーの視点に隣接する視点にあるデプスピクチャーを用いて仮想視点のデプスピクチャーを合成することができる。同様に、デプスピクチャーの視点を示すためにデプス視点識別情報を用いることができる。ここで、前記デプス視点識別情報は、対応するカラーピクチャーの視点識別情報から誘導することができる。例えば、前記対応するカラーピクチャーは、現在のデプスピクチャーと同一のピクチャー出力順序情報及び同一の視点識別情報を有することができる。

【0037】

デプスピクチャー生成部２６３は、デプスコーディング情報を用いて現在のデプスピクチャーを生成することができる。ここで、前記デプスコーディング情報は、カメラと客体との間の距離を示す距離変数（例えば、カメラ座標系上のＺ座標値など）、デプスコーディングのためのマクロブロックタイプ情報、デプスピクチャー内の境界線識別情報、ＲＢＳＰ内のデータがデプスコーディングされたデータを含んでいるか否かを示す情報、またはデータタイプがデプスピクチャーデータであるか、カラーピクチャーデータであるか、それともパララックスデータであるか否かを示す情報などを含むことができる。また、前記デプスコーディング情報を用いて現在のデプスピクチャーを予測することもできる。すなわち、現在のデプスピクチャーに隣接するデプスピクチャーを用いたインター予測が可能であり、現在のデプスピクチャー内のデコーディングされたデプス情報を用いたイントラ予測が可能である。

【0038】

以下では、図３を参照してデプスの概念について詳細に説明する。

【0039】

図３は、本発明が適用される一実施例であって、デプス（ｄｅｐｔｈ）の概念を説明するために示した図である。

【0040】

図３を参照すると、カメラの位置（Ｏｃ）は、３次元カメラ座標系の原点を示し、Ｚ軸（ｏｐｔｉｃａｌ ａｘｉｓ）は目で眺める方向と一直線になる。カメラ座標系の任意の一点Ｐ＝（Ｘ，Ｙ，Ｚ）は、Ｚ軸に対して垂直である２次元イメージ平面の任意の一点ｐ＝（ｘ，ｙ）に投影され得る。ここで、２次元イメージ平面上の任意の一点ｐ＝（ｘ，ｙ）は、３次元座標系の任意の一点Ｐ＝（Ｘ，Ｙ，Ｚ）のテクスチャー値またはカラー値として表現することができ、この場合の２次元イメージ平面は、テクスチャーピクチャーを意味することができる。一方、２次元イメージ平面上のｐ＝（ｘ，ｙ）は、３次元座標系のＰ＝（Ｘ，Ｙ，Ｚ）のＺ値として表現することもでき、この場合の２次元イメージ平面は、デプスピクチャーまたはデプスマップを意味することができる。

【0041】

また、前記３次元座標系のＰ＝（Ｘ，Ｙ，Ｚ）は、カメラ座標系の任意の一点を示すが、複数のカメラで撮影された場合、前記複数のカメラに対する共通の基準座標系が必要であり得る。図３において、Ｏｗ点を基準とする基準座標系の任意の点をＰｗ＝（Ｘｗ，Ｙｗ，Ｚｗ）とすることができ、Ｐｗ＝（Ｘｗ，Ｙｗ，Ｚｗ）は、３ｘ３ローテーションマトリックス（ｒｏｔａｔｉｏｎ ｍａｔｒｉｘ）Ｒと３ｘ１変換ベクトル（ｔｒａｎｓｌａｔｉｏｎ ｖｅｃｔｏｒ）Ｔを用いてカメラ座標系の任意の一点Ｐ＝（Ｘ，Ｙ，Ｚ）に変換することができる。例えば、前記Ｐは、数式１のように獲得することができる。

【0042】

【数1】

【0043】

前記の説明に基づいてデプスピクチャーを再び定義すると、カメラの位置を基準にしてカメラの位置と実物との間の距離を相対的な値で数値化した各情報の集合と言うことができる。デプスピクチャー内のデプス情報は、テクスチャーピクチャーの任意のピクセルに対応するカメラ座標系上の３次元座標Ｐ＝（Ｘ，Ｙ，Ｚ）のＺ値から獲得することができる。ここで、Ｚ値は、実数範囲に属する値であり、これを整数範囲に属する値に量子化させてデプス情報として用いることもできる。例えば、デプス情報は、次の数式２または数式３のように量子化することができる。

【0044】

【数2】

【0045】

【数3】

【0046】

ここで、Ｚｑは、量子化されたデプス情報を意味し、図１の［Ｔｏｐ ｖｉｅｗ］を参照すると、Ｚｎｅａｒは、Ｚ座標値の下限（ｔｈｅ ｌｏｗｅｒ ｌｉｍｉｔ）を意味し、Ｚｆａｒは、Ｚ座標値の上限（ｔｈｅ ｕｐｐｅｒ ｌｉｍｉｔ）を意味することができる。前記数式２または数式３によって量子化されたデプス情報は０〜２５５範囲内の整数値を有することができる。

【0047】

デプスピクチャーは、テクスチャー映像シーケンスと共にまたは別個のシーケンスにコーディングすることができ、この場合、既存のコーデックとの互換のために多様な実施例を適用することができる。例えば、ＨＥＶＣコーデックと互換できるようにデプスコーディング技術を付加技術として適用することができ、または、Ｈ．２６４／ＡＶＣ多視点ビデオコーディング内で拡張技術として適用することもできる。

【0048】

本発明では、現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて現在のテクスチャーブロックの視点間モーションベクトルを獲得し、視点間モーションベクトルを用いて獲得された参照ブロックのピクセル値に対する照度差補償を行い、正確な視点間インター予測を行える方法を提案する。以下では、図４を参照して、視点間インター予測について説明する。

【0049】

図４は、本発明が適用される一実施例であって、視点間インター予測の一例を示した図である。

【0050】

視点間インター予測は、現在のテクスチャーピクチャー４００内の現在のテクスチャーブロック４１０の予測値を獲得するために、現在のテクスチャーブロック４１０と異なる視点に位置した参照ピクチャー４２０内の参照ブロック４３０のピクセル値を用いるインター予測である。視点間インター予測の正確性は、現在のテクスチャーブロック４１０の参照ブロック４３０を示す視点間モーションベクトル４４０の正確度と照度差の最小化と関連が深い。

【0051】

したがって、本発明は、現在のデプスピクチャー４５０内の現在のテクスチャーブロックに対応するデプスブロック４６０または現在のテクスチャーブロックに対応するデプスブロックを用いて正確な視点間モーションベクトル４４０を獲得し、照度差補償を通じて正確な現在のテクスチャーブロック４１０の予測値を獲得する方法を提案する。併せて、視点間モーションベクトル４４０の獲得方法と照度差補償方法をより簡単に行い、複雑度を減少させる方法も提案する。まず、図５を参照して、視点間インター予測を通じて現在のテクスチャーブロック４１０をデコーディングする方法に対して説明する。

【0052】

図５は、本発明が適用される一実施例であって、視点間インター予測を通じて現在のテクスチャーブロックをデコーディングする一例に対するフローチャートである。

【0053】

現在のテクスチャーブロックの視点間モーションベクトルを獲得することができる（Ｓ５１０）。ここで、視点間モーションベクトルは、現在のテクスチャーブロックと異なる視点の参照ブロックを示すことができる。現在のテクスチャーブロックの視点間モーションベクトルは、ビットストリームから獲得したり、隣接ブロックの視点間モーションベクトルから獲得したり、現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて獲得することができる。デプス値から視点間モーションベクトルを獲得する方法に対しては、図６〜図８を参照して後述することにする。

【0054】

視点間モーションベクトルを用いて獲得された参照ブロックのピクセル値を用いて現在のテクスチャーブロックの予測値を獲得することができる（Ｓ５２０）。視点間モーションベクトルが示す参照ブロックは、現在のテクスチャーブロックと異なる視点に位置し得る。そして、参照ブロックのピクセル値を現在のテクスチャーブロックの予測値として用いることができる。基準視点の参照ブロックと現在の視点の現在のテクスチャーブロックとの間の視点差による照度差が発生し得る。したがって、参照ブロックのピクセル値を予測値として用いるとき、照度差を補償して現在のテクスチャーブロックの予測値として用いることができる。照度差補償を通じた現在のテクスチャーブロックの予測値を獲得する方法に対しては、図９〜図１０を参照して後述することにする。

【0055】

現在のテクスチャーブロックの予測値を用いて現在のテクスチャーブロックをデコーディングすることができる（Ｓ５４０）。

【0056】

以下では、現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて現在のテクスチャーブロックの視点間モーションベクトルを獲得する一例に対して、図６〜図８を参照して説明する。

【0057】

図６は、本発明が適用される一実施例であって、現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて現在のテクスチャーブロックの視点間モーションベクトルを獲得する一例に対するフローチャートである。

【0058】

現在のテクスチャーブロックに対応するデプスブロックから少なくとも一つのデプス値を獲得することができる（Ｓ５１２）。前記デプスブロックは、現在のテクスチャーブロックと同一の視点、同一の出力順序のデプスピクチャー内のデプスブロックであり得る。または、現在のテクスチャーブロックの隣接ブロックから誘導された視点間モーションベクトル（以下、第２の視点間モーションベクトルという。）を用いて獲得された現在のテクスチャーブロックの隣接視点にあるデプスブロックであってもよい。例えば、隣接ブロックから誘導された第２の視点間モーションベクトルが示す隣接視点内のテクスチャーブロックを獲得し、前記隣接視点内のテクスチャーブロックを用いて現在のテクスチャーブロックに対応するデプスブロックを獲得することができる。前記デプスブロックは、隣接視点内のテクスチャーブロックと同一の視点、同一の位置のデプスブロックであって、現在のテクスチャーの隣接視点にある。

【0059】

現在のテクスチャーブロックに対応するデプスブロック内の少なくとも一つのデプス値を用いて現在のテクスチャーブロックの視点間モーションベクトル（以下、第１の視点間モーションベクトルという。）を獲得することができる（Ｓ５１４）。デプス値を用いて視点間モーションベクトルを誘導する方法は、数式４及び数式５に基づいて説明する。

【0060】

【数4】

【0061】

数式４を参照すると、Ｚは、該当のピクセルのカメラからの距離を意味し、Ｄは、Ｚを量子化した値であって、本発明のデプスデータに対応する。Ｚｎｅａｒ及びＺｆａｒは、デプスピクチャーが属した視点に対して定義されたＺの最小値及び最大値をそれぞれ意味する。また、Ｚｎｅａｒ及びＺｆａｒは、シーケンスパラメーターセット、スライスヘッダーなどを通じてビットストリームから抽出することができ、デコーダー内に予め定義された情報であってもよい。したがって、該当のピクセルのカメラからの距離Ｚを２５６レベルで量子化した場合、数式３のようにデプスデータ、Ｚｎｅａｒ及びＺｆａｒを用いてＺを復元することができる。その後、復元されたＺを用いて、数式５のように、現在のテクスチャーブロックに対する視点間モーションベクトルを誘導することができる。

【0062】

【数5】

【0063】

数式５において、ｆは、カメラの焦点距離を意味し、Ｂは、カメラ間の距離を意味する。ｆ及びＢは、全てのカメラに対して同一であると仮定することができ、したがって、デコーダーに予め定義された情報であり得る。

【0064】

現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて第１の視点間モーションベクトルを獲得する方法には、多様な実施例がある。例えば、第１の視点間モーションベクトルは、現在のテクスチャーブロックに対応するデプスブロック内のデプス値のうち最も大きい値である最大値を用いて獲得することができる。または、第１の視点間モーションベクトルは、デプスブロック内のデプス値のうち最も多く存在する値である最頻値を用いて獲得することができる。または、第１の視点間モーションベクトルは、既に決定された条件によって第１の視点間モーションベクトルを獲得することができる。以下では、第１の視点間モーションベクトルを獲得する多様な実施例に対して図７〜図８を参照して説明する。

【0065】

図７は、本発明が適用される一実施例であって、現在のテクスチャーブロックに対応するデプスブロック内のデプス値を用いて現在のテクスチャーブロックの第１の視点間モーションベクトルを獲得する一例を示した図である。

【0066】

現在のテクスチャーブロックに対応するデプスブロック４６０は、図７の（ａ）のようにデプス値を含むことができる。現在のテクスチャーブロックの第１の視点間モーションベクトルは、現在のテクスチャーブロックに対応するデプスブロックの少なくとも一つのデプス値を用いて図６で説明した式によって第１の視点間モーションベクトルを獲得することができる。ところが、現在のテクスチャーブロックに対応するデプスブロック４６０は、複数のデプス値を含むことができる。複数のデプス値を含む現在のテクスチャーブロックに対応するデプスブロック４６０を用いて第１の視点間モーションベクトルを獲得する場合、図７の（ｂ）のように複数の第１の視点間モーションベクトルを獲得することができる。したがって、以下では、現在のテクスチャーブロックに対応するデプスブロック内のどのデプス値を用いて現在のテクスチャーブロックの第１の視点間モーションベクトルを獲得するかに対して説明する。

【0067】

現在のテクスチャーブロックに対応するデプスブロックのデプス値を用いて現在のテクスチャーブロックの第１の視点間モーションベクトルを獲得する方法は、次の通りである。

【0068】

１）最大デプス値を用いた視点間モーションベクトル獲得

【0069】

現在のテクスチャーブロックの第１の視点間モーションベクトルは、現在のテクスチャーブロックに対応するデプスブロックのデプス値のうち最も大きいデプス値（以下、「最大デプス値」という。）を用いて獲得することができる。最大デプス値を用いて獲得された第１の視点間モーションベクトルを最大デプス視点間モーションベクトル（ＤｉｓＭＡＸ）と定義することができる。例えば、図７の（ａ）において、最も大きいデプス値を有するピクセル７０１を用いて獲得された視点間モーションベクトルを現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる。最大デプス値は、デプスブロック内の全てのピクセルを比較して獲得することができる。または、最大デプス値は、デプスブロック内の少なくとも一つのピクセルのみを比較して獲得することもできる。最大デプス値を有する現在のテクスチャーブロックに対応するデプスブロック内の領域は、物体が隠される現象が起こらないので、視点間インター予測の正確度を高めることができる。

【0070】

２）最頻デプス値を用いた視点間モーションベクトル獲得

【0071】

また、現在のテクスチャーブロックの第１の視点間モーションベクトルは、現在のテクスチャーブロックに対応するデプスブロックのデプス値のうち最も多く存在するデプス値（以下、「最頻デプス値」という。）を用いて獲得することができる。最頻デプス値を用いて獲得された第１の視点間モーションベクトルを最頻デプス視点間モーションベクトル（ＤｉｓＭＰＤ）と定義することができる。例えば、図７の（ａ）において、最頻デプス値を有するピクセル７０２を用いて獲得された視点間モーションベクトルを現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる。最頻デプス値は、デプスブロック内の全てのピクセルを比較して獲得することができる。または、デプスブロック内の少なくとも一つのピクセルのみを比較して獲得することもできる。

【0072】

または、現在のテクスチャーブロックに対応するデプスブロックのデプス値を視点間モーションベクトルに変換し、最も多く存在する視点間モーションベクトルを現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる（最も多く存在する視点間モーションベクトルが最頻デプス視点間モーションベクトルであり得る）。例えば、図７の（ｂ）において、最も多く存在する視点間モーションベクトルを現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる。最頻デプス値または最も多く存在する第１の視点間モーションベクトルを用いる場合、現在のテクスチャーブロックに対応するデプスブロックの大多数のピクセルに該当する視点間モーションベクトルを獲得することができ、視点間インター予測の正確度を高めることができる。

【0073】

３）特定条件による視点間モーションベクトル獲得

【0074】

また、現在のテクスチャーブロックの第１の視点間モーションベクトルは、特定条件によって最大デプス視点間モーションベクトル及び最頻デプス視点間モーションベクトルのうち一つとして獲得することができる。以下の条件で、ＮｕｍＤｉｓＭＡＸは、最大デプス視点間モーションベクトルと同一の視点間モーションベクトルを有する現在のテクスチャーブロックに対応するデプスブロック内のピクセルの個数、または、最大デプス視点間モーションベクトルと一定範囲の誤差内の類似する視点間モーションベクトルを有する現在のテクスチャーブロックに対応するデプスブロック内のピクセルの個数を示すことができる。そして、ＮｕｍＤｉｓＭＰＤは、最頻デプス視点間モーションベクトルと同一の視点間モーションベクトルを有する現在のテクスチャーブロックに対応するデプスブロック内のピクセルの個数、または、最頻デプス視点間モーションベクトルと一定範囲の誤差内の類似する視点間モーションベクトルを有する現在のテクスチャーブロックに対応するデプスブロック内のピクセルの個数を示すことができる。

【0075】

３―１）ＮｕｍＤｉｓＭＡＸとのオクルージョン領域（ｏｃｃｌｕｓｉｏｎ ａｒｅａ）を合わせたピクセルの数が現在のテクスチャーブロックのピクセル数の半分以上であると、最大デプス視点間モーションベクトルを現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる。反対の場合は、最頻デプス視点間モーションベクトルを現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる。ここで、オクルージョン領域は、現在のテクスチャーブロックと現在のテクスチャーブロックに対応するデプスブロックを合成して計算したり、下記の数式６を通じて獲得することができる。

【0076】

【数6】

【0077】

数式６において、ＮｕｍＲｏｗＯＦＤｉｓＭＡＸは、ＤｉｓＭＡＸと同一または類似する視点間モーションベクトルを有する各ピクセルがある列の個数を意味する。そして、ｓｈｉｆｔは、視点間モーションベクトルの値が整数単位で表現されていない場合、これを整数に変換するためのものである。

【0078】

３―２）ＮｕｍＤｉｓＭＰＤとＮｕｍＤｉｓＭＡＸを比較して現在のテクスチャーブロックの第１の視点間モーションベクトルを決定することができる。

【0079】

例えば、ａｂｓ（ＮｕｍＤｉｓＭＰＤ−ＮｕｍＤｉｓＭＡＸ）が現在のテクスチャーブロックの全体のピクセル数の一定比率以下である場合、最大デプス視点間モーションベクトルを現在のテクスチャーブロックの視点間モーションベクトルとして獲得することができる。反対の場合は、最頻デプス視点間モーションベクトルを現在のテクスチャーブロックの視点間モーションベクトルとして獲得することができる。

【0080】

更に他の例において、ＮｕｍＤｉｓＭＰＤ／ＮｕｍＤｉｓＭＡＸが既に決定されたしきい値以下である場合、最大デプス視点間モーションベクトルを現在のテクスチャーブロックの視点間モーションベクトルとして獲得することができる。反対の場合は、最頻デプス視点間モーションベクトルを現在のテクスチャーブロックの視点間モーションベクトルとして獲得することができる。

【0081】

３―３）ａｂｓ（ＤｉｓＭＰＤ−ＤｉｓＭＡＸ）が既に決定されたしきい値以上である場合、最大デプス視点間モーションベクトルを現在のテクスチャーブロックの視点間モーションベクトルとして獲得することができる。反対の場合は、最頻デプス視点間モーションベクトルを現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる。

【0082】

３―４）仮想デプス値を用いる場合、臨時視点間モーションベクトルが存在し得る。最大デプス視点間モーションベクトル及び最頻デプス視点間モーションベクトルのうち臨時視点間モーションベクトルに近いものを、現在のテクスチャーブロックの第１の視点間モーションベクトルとして獲得することができる。

【0083】

上述した最大デプス視点間モーションベクトルと最頻デプス視点間モーションベクトルは、現在のテクスチャーブロックに対応するデプスブロック内の少なくとも一つのピクセルを比較して獲得することができる。すなわち、現在のテクスチャーブロックに対応するデプスブロックの全てのピクセルのデプス値または対応する視点間モーションベクトルを比較して獲得したり、現在のテクスチャーブロックに対応するデプスブロックのうち一部のピクセルのデプス値または対応する視点間モーションベクトルを比較して獲得することができる。以下では、現在のテクスチャーブロックに対応するデプスブロックのうち一部のピクセルのみを比較して最大デプス視点間モーションベクトルと最頻デプス視点間モーションベクトルが獲得される一例に対して、図８を参照して説明することにする。

【0084】

図８は、本発明が適用される一実施例であって、最大デプス視点間モーションベクトル及び最頻デプス視点間モーションベクトルを獲得するために用いられる現在のテクスチャーブロックに対応するデプスブロックの一部のピクセルの一例を示した図である。

【0085】

現在のテクスチャーブロックに対応するデプスブロックの一部のピクセルのみを比較し、比較されたピクセルのうち最も大きいデプス値を最大デプス値として獲得し、比較されたピクセルのうち最も多く存在するデプス値を最頻デプス値として獲得することができる。比較される一部のピクセルは、既に決定された条件によって変更可能である。

【0086】

例えば、図８の（ａ）のように、現在のテクスチャーブロックに対応するデプスブロックの左側上端ピクセル８０１のデプス値、左側下端ピクセル８０２のデプス値、右側上端ピクセル８０３のデプス値及び右側下端ピクセル８０４のデプス値を比較し、最も大きいデプス値を最大デプス値として獲得することができる。また、最も多く存在するデプス値を最頻デプス値として獲得することができる。そして、最大デプス値を用いて最大デプス視点間モーションベクトルを獲得することができる。同様に、最頻デプス値を用いて最頻デプス視点間モーションベクトルを獲得することができる。

【0087】

または、図８の（ｂ）のように、左側上端ピクセル８０１のデプス値、左側下端ピクセル８０２のデプス値、右側上端ピクセル８０３のデプス値、右側下端ピクセル８０４のデプス値及び中心ピクセル８０５のデプス値を比較し、最大デプス値または最頻デプス値を獲得することができる。そして、最大デプス値を用いて最大デプス視点間モーションベクトルを獲得することができる。同様に、最頻デプス値を用いて最頻デプス視点間モーションベクトルを獲得することができる。

【0088】

または、図８の（ｃ）のように、左側上端ピクセル８０１のデプス値、左側下端ピクセル８０２のデプス値、右側上端ピクセル８０３のデプス値、右側下端ピクセル８０４のデプス値、中心ピクセル８０５のデプス値、上端ピクセル８０６のデプス値、左側ピクセル８０７のデプス値、下端ピクセル８０８のデプス値及び右側ピクセル８０９のデプス値を比較し、最大デプス値または最頻デプス値を獲得することができる。そして、最大デプス値を用いて最大デプス視点間モーションベクトルを獲得することができる。同様に、最頻デプス値を用いて最頻デプス視点間モーションベクトルを獲得することができる。

【0089】

また、図８の（ｄ）のように、左側上端ピクセル８０１のデプス値、左側下端ピクセル８０２のデプス値、右側上端ピクセル８０３のデプス値、右側下端ピクセル８０４のデプス値、中心ピクセル８０５、８１８、８１９、８２０のデプス値、上端ピクセル８１０、８１１のデプス値、左側ピクセル８１２、８１３のデプス値、下端ピクセル８１４、８１５のデプス値及び右側ピクセル８１６、８１７のデプス値を比較し、最大デプス値または最頻デプス値を獲得することができる。そして、最大デプス値を用いて最大デプス視点間モーションベクトルを獲得することができる。同様に、最頻デプス値を用いて最頻デプス視点間モーションベクトルを獲得することができる。

【0090】

図８の（ａ）〜（ｄ）で説明した方法以外にも、多様に選択されたピクセルを比較することによって最大デプス値及び最頻デプス値を獲得することができる。

【0091】

図６〜図８を通じて説明したように獲得された第１の視点間モーションベクトルを用いて現在のテクスチャーブロックの参照ブロックを獲得することができる。そして、図５で説明したように、参照ブロックの予測値に対して照度差補償を行い、現在のテクスチャーブロックの予測値を獲得することができる。照度差補償は、多視点映像が撮影されるとき、各視点で照明やカメラの特性が異なることから発生する視点間の差を補償するために行う。以下では、照度差を補償する方法の一例に対して、図９〜図１０を参照して詳細に説明することにする。

【0092】

図９は、本発明が適用される一実施例であって、照度差を補償する一例に対するフローチャートである。

【0093】

補償係数情報を獲得することができる（Ｓ５２２）。補償係数は、照度差補償のために用いられる情報であって、第１の補償係数及び第２の補償係数を含むことができる。第１の補償係数及び第２の補償係数は、現在のテクスチャーブロックの隣接ピクセル及び参照ブロックの隣接ピクセルを用いて獲得することができる。現在のテクスチャーブロックの隣接ピクセル及び参照ブロックの隣接ピクセルを用いて補償係数を獲得する方法に対しては、図１０を参考にして再び説明することにする。

【0094】

補償係数を用いて参照ブロックのピクセル値に対して視点間補償を行い、現在のテクスチャーブロックの予測値を獲得することができる（Ｓ５２４）。照度差補償を具現するために、下記の数式７のような線形式を用いて照度差補償を行うことができる。

【0095】

【数7】

【0096】

数式７において、Ｐｒｅｄ［ｘ，ｙ］は、照度差が補償された現在のテクスチャーブロックの予測値を示し、Ｒｅｆ［ｘ，ｙ］は、参照ブロックのピクセル値を示し、ａは、照度差補償のための第１の補償係数を示し、ｂは、照度差補償のための第２の補償係数を示す。

【0097】

図１０は、本発明が適用される一実施例であって、照度差を補償する過程で使用される現在のテクスチャーブロック、参照ブロック、現在のテクスチャーブロックの隣接ピクセル及び参照ブロックの隣接ピクセルの例を示した図である。

【0098】

図１０の（ａ）は、現在のテクスチャーブロック４１０及び現在のテクスチャーブロックの隣接ピクセル１０１０を示している。現在のテクスチャーブロックの隣接ピクセル１０１０は、現在のテクスチャーブロック４１０の左側または上端に位置したピクセルのうち少なくとも一つを示すことができる。そして、図１０の（ｂ）は、参照ブロック４３０及び参照ブロックの隣接ピクセル１０２０を示すことができる。参照ブロックの隣接ピクセル１０２０は、参照ブロック４３０の左側または上端に位置したピクセルのうち少なくとも一つを示すことができる。

【0099】

現在のテクスチャーブロックの隣接ピクセル１０１０及び参照ブロックの隣接ピクセル１０２０を用いて補償係数を獲得する方法は、次の通りである。

【0100】

１）補償係数は、線形最小二乗法による数式８−1、数式８−２の解を通じて獲得することができる。

【0101】

【数8】

【0102】

【数9】

【0103】

数式８−１、数式８−２において、αは、第１の補償係数を示し、βは、第２の補償係数を示す。そして、ｉは、現在のテクスチャーブロックの隣接ピクセル１０１０と参照ブロックの隣接ピクセル１０２０に割り当てられたインデックスを示し、ＰｒｅｄＮ（ｉ）は、現在のテクスチャーブロックの周辺ピクセル値を意味し、ＲｅｆＮ（ｉ）は、参照ブロックの周辺ピクセル値を意味する。

【0104】

２）また、補償係数は、現在のテクスチャーブロックの隣接ピクセル１０１０と参照ブロックの隣接ピクセル１０２０の平均及び標準偏差を用いて数式９−１、数式９−２を通じて獲得することができる。

【0105】

【数10】

【0106】

【数11】

【0107】

数式９−１、数式９−２において、ｓｉｇｍａ_predは、現在のテクスチャーブロックの周辺ピクセル１０１０に対する標準偏差を示し、ｓｉｇｍａ_refは、参照ブロックの周辺ピクセル１０２０に対する標準偏差を示し、ｍｅａｎ_predは、現在のテクスチャーブロックの周辺ピクセル１０１０に対する平均を示し、ｍｅａｎ_refは、参照ブロックの周辺ピクセル１０２０に対する平均を示す。

【0108】

３）また、第１の補償係数を１に設定し、第２の補償係数のみを数式１０を通じて獲得することができる。

【0109】

【数12】

【0110】

４）また、第２の補償係数を０に設定し、第１の補償係数のみを数式１１を通じて獲得することができる。

【0111】

【数13】

【0112】

数式１１において、ｓｕｍ_predは、現在のテクスチャーブロックの周辺ピクセルの和を示し、ｓｕｍ_refは、参照ブロックの周辺ピクセルの和を示す。

【0113】

上述した方法によって獲得された補償係数は、特定条件によって用いない場合もある。例えば、２）の方法を通じて第１の補償係数及び第２の補償係数を獲得した後、獲得された第１の補償係数と１との差が既に決定されたしきい値以下である場合、第１の補償係数は利用されず、３）の方法のように第１の補償係数は１に設定し、第２の補償係数のみを獲得することができる。または、２）の方法を通じて第１の補償係数及び第２の補償係数を獲得した後、第２の補償係数と０との差が既に決定されたしきい値以下である場合、第２の補償係数は利用されず、４）の方法のように第２の補償係数は０に設定し、第１の補償係数のみを獲得することができる。または、２）の方法を通じて第１の補償係数及び第２の補償係数を獲得した後、第１の補償係数及び第２の補償係数を全て利用できる場合、１）の方法を用いて第１の補償係数及び第２の補償係数を獲得することができる。このような柔軟な方法は、照度差補償をより効率的に行えるようにする。

【0114】

以上説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送送／受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに使用することができる。また、前記マルチメディア放送送／受信装置は移動通信端末機を含むことができる。

【0115】

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピューターで実行されるためのプログラムとして製作し、コンピューターで読み取り可能な記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータもコンピューターで読み取り可能な記録媒体に格納することができる。前記コンピューターで読み取り可能な記録媒体は、コンピューターシステムによって読み取り可能なデータが格納される全ての種類の格納装置を含む。コンピューターで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ―ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、前記エンコーディング方法によって生成されたビットストリームは、コンピューターで読み取り可能な記録媒体に格納したり、有／無線通信網を用いて伝送することができる。

【産業上の利用可能性】

【0116】

本発明は、ビデオ信号をコーディングするのに用いることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8(a)】

【図8(b)】

【図8(c)】

【図8(d)】

【図9】

【図10】