【文献】
Li Zhang et al.,3D-CE5.h related: Disparity vector derivation for multiview video and 3DV,ISO/IEC JTC1/SC29/WG11 MPEG2012/m24937 Geneva, Switzerland,2012年 5月,m24937,pp.1-5
【文献】
Li Zhang et al.,3D-CE5.h related: Improved merge mode for inter-view predicted motion,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1st Meeting: Stockholm, SE,2012年 7月,JCT2-A0096,pp.1-4
【文献】
Thomas Guionnet et al.,CE5.h related: Merge candidate list extension for disparity compensated prediction,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1st Meeting: Stockholm, SE,2012年 7月,JCT2-A0134_r1,pp.1-3
【文献】
Ji Ho Park et al.,Motion Skip Mode with Residual Prediction,Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC 1/SC 29/WG 11 and ITU-T SG 16 Q.6) 26th Meeting: Antalya, TR,2008年 1月,JVT-Z031r1,pp.1-9
【文献】
Christian Bartnik et al.,HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding,ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group,44nd Meeting: San Jose, CA, USA,2012年 2月,VCEG-AR13,pp.1-42
【文献】
Li Zhang et al.,3D-CE5.h: Merge candidates derivation from disparity vector,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Shanghai, CN,2012年10月,JCT3V-B0048,pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
前記映像符号器は、前記1つ以上の加えられたインタービュー動きベクトル候補を空間的マージング候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成される、請求項42に記載の装置。
前記映像符号器は、シフトされたディスパリティベクトルに基づいて前記1つ以上の加えられたインタービュー動きベクトル候補をシフトすることなしにインタービュー動きベクトル候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成される、請求項42に記載の装置。
【発明を実施するための形態】
【0013】
[0024]映像において三次元効果を生み出すために、シーンの2つのビュー、例えば、左目ビュー及び右目ビューを同時に又はほぼ同時に示すことができる。左目ビュー及び右目ビューに対応する、同じシーンの2つのピクチャを、わずかに異なる水平位置からキャプチャすること(又は、例えば、コンピュータによって生成されたグラフィックスとして、生成すること)ができ、観る人の左目と右目との間の水平方向の差異(disparity)を表現する。これらの2つのピクチャを同時に又はほぼ同時に表示することによって、左目ビューピクチャは観る人の左目によって知覚され、右目ビューピクチャは観る人の右目によって知覚され、観る人は、三次元効果を経験することができる。幾つかのその他の場合においては、三次元効果を作り出すために垂直の差異を使用することができる。
【0014】
[0025]概して、本開示は、マルチビュー映像データ及び/又はマルチビューテクスチャプラス深度映像データをコーディング及び処理するための技法について説明し、テクスチャ情報は、概して、ピクチャのルミナンス(輝度又は強度)及びクロミナンス(色、例えば、青い色合い及び赤い色合い)を表す。深度情報は、深度マップによって表現することができ、深度マップの個々のピクセルには、テクスチャピクチャの対応するピクセルが画面において、相対的に画面の前部において、又は相対的に画面の背後において表示されるべきかを示す値が割り当てられる。これらの深度値は、テクスチャ及び深度情報を用いてピクチャを合成するときに差異値に変換することができる。
【0015】
[0026]本開示は、マルチビュー及び/又はマルチビュープラス深度(例えば、3D−HEVC)映像コーディングにおいてインタービュー予測の効率及び品質を向上させるための技法について説明する。特に、本開示は、動きベクトル予測候補リストにポピュレート(populate)するためにディスパリティベクトルを使用するときにインタービュー動き予測に関する動きベクトル予測の品質を向上させるための技法を提案する。
【0016】
[0027]
図1は、本開示の技法を利用することができる映像符号化及び復号システム例10を示したブロック図である。
図1において示されるように、システム10は、行先デバイス14によってのちの時点で復号されるべき符号化された映像データを提供するソースデバイス12を含む。特に、ソースデバイス12は、コンピュータによって読み取り可能な媒体16を介して行先デバイス14に映像データを提供する。ソースデバイス12及び行先デバイス14は、広範なデバイスのうちのいずれかを備えることができ、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームプレイコンソール、映像ストリーミングデバイス、等を含む。幾つかの場合は、ソースデバイス12及び行先デバイス14は、無線通信のために装備することができる。
【0017】
[0028]行先デバイス14は、コンピュータによって読み取り可能な媒体16を介して復号されるべき符号化された映像データを受信することができる。コンピュータによって読み取り可能な媒体16は、符号化された映像データをソースデバイス12から行先デバイス14に移動させることが可能なあらゆるタイプの媒体又はデバイスを備えることができる。一例では、コンピュータによって読み取り可能な媒体16は、ソースデバイス12がリアルタイムで行先デバイス14に直接符号化された映像データを送信するのを可能にするための通信媒体を備えることができる。符号化された映像データは、通信規格、例えば、無線通信プロトコル、に準拠して変調し、行先デバイス14に送信することができる。通信媒体は、あらゆる無線又は有線の通信媒体、例えば、無線周波数(RF)スペクトル又は1つ以上の物理的送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、グローバルネットワーク、例えば、インターネット、の一部を成すことができる。通信媒体は、ルータ、スイッチ、基地局、又は、ソースデバイス12から行先デバイス14への通信を容易にするのに役立つことができるその他のあらゆる装置を含むことができる。
【0018】
[0029]幾つかの例では、符号化されたデータは、出力インタフェース22から記憶デバイスに出力することができる。同様に、符号化されたデータは、入力インタフェースによって記憶デバイスからアクセスすることができる。記憶デバイスは、様々な分散された又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は非揮発性メモリ、又は符号化された映像データを格納するためのその他の適切なデジタル記憶媒体を含むことができる。さらなる例では、記憶デバイスは、ソースデバイス12によって生成された符号化された映像を格納することができるファイルサーバ又は他の中間的な記憶デバイスに対応することができる。行先デバイス14は、ストリーミング又はダウンロードを介して記憶デバイスから格納された映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納すること及び符号化された映像データを行先デバイス14に送信することが可能なあらゆるタイプのサーバであることができる。ファイルサーバ例は、(例えば、ウェブサイトのための)ウェブサーバと、FTPサーバと、ネットワーク接続記憶(NAS)デバイスと、ローカルディスクドライブと、を含む。行先デバイス14は、インターネット接続を含む標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデム、等)、又は両方の組み合わせを含むことができる。記憶デバイスからの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。
【0019】
[0030]本開示の技法は、無線の用途またはセッティングには必ずしも限定されない。それらの技法は、映像コーディングに適用することができ、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、インターネットストリーミング映像送信、例えば、HTTPを通じてのダイナミックアダプティブストリーミング(DASH)、データ記憶媒体への格納のために符号化されるデジタル映像、データ記憶媒体に格納されたデジタル映像の復号、又はその他の用途をサポートする。幾つかの例では、システム10は、映像ストリーミング、映像再生、映像放送、及び/又は映像テレフォニー、等の用途をサポートするために1方向又は2方向の映像送信をサポートするように構成することができる。
【0020】
[0031]
図1の例では、ソースデバイス12は、映像ソース18と、深度推定ユニット19と、映像符号器20と、出力インタフェース22と、を含む。行先デバイス14は、入力インタフェース28と、映像復号器30と、深度画像に基づくレンダリング(DIBR)ユニット31と、表示装置32と、を含む。その他の例では、ソースデバイス及び行先デバイスは、その他のコンポーネント又は配置を含むことができる。例えば、ソースデバイス12は、外部の映像ソース18、例えば、外部のカメラ、から映像データを受信することができる。同様に、行先デバイス14は、一体化された表示装置を含むのではなく、外部の表示装置とインタフェースすることができる。
【0021】
[0032]
図1の例示されるシステム10は、単なる一例である。本開示の技法は、あらゆるデジタル映像符号化及び/又は復号デバイスによって実行することができる。概して、本開示の技法は、映像符号化デバイスによって実行されるが、それらの技法は、典型的には“CODEC”と呼ばれる映像符号器/復号器によって実行することもできる。さらに、本開示の技法は、映像プリプロセッサによって実行することもできる。ソースデバイス12及び行先デバイス14は、ソースデバイス12が行先デバイス14への送信のためにコーディングされた映像データを生成する該コーディングデバイスの例であるにすぎない。幾つかの例では、デバイス12、14は、デバイス12、14の各々が符号化コンポーネント及び復号コンポーネントを含むような実質上対称的な形で動作することができる。従って、システム10は、例えば、映像ストリーミング、映像再生、映像放送、及び/又は映像テレフォニー、に関して、映像デバイス12、14、間での1方向又は2方向の映像送信をサポートすることができる。
【0022】
[0033]ソースデバイス12の映像ソース18は、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像が入った映像アーカイブ、及び/又は映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェース、を含むことができる。さらなる代替として、映像ソース18は、コンピュータグラフィックに基づくデータを、ソース映像、又は、ライブ映像、アーカイブに保存された映像、及びコンピュータによって生成された映像の組み合わせとして生成することができる。幾つかの場合においては、映像ソース18がビデオカメラである場合は、ソースデバイス12及び行先デバイス14は、いわゆるカメラフォン又はビデオフォンを形成することができる。しかしながら、上記のように、本開示において説明される技法は、映像コーディング全般に適用可能であり、無線及び/又は有線用途に適用することができる。各場合において、キャプチャされた、予めキャプチャされた、又はコンピュータによって生成された映像は、映像符号器20によって符号化することができる。符号化された映像情報は、出力インタフェース22によってコンピュータによって読み取り可能な媒体16上に出力することができる。
【0023】
[0034]映像ソース18は、映像データの複数のビューを映像符号器20に提供することができる。例えば、映像ソース18は、各々が撮影中の特定のシーンに関してユニークな水平位置を有するカメラの配列に対応することができる。代替として、映像ソース18は、例えば、コンピュータグラフィックスを用いて、個別の水平なカメラの観点から映像データを生成することができる。深度推定ユニット19は、テクスチャ画像内のピクセルに対応する深度ピクセルに関する値を決定するように構成することができる。例えば、深度推定ユニット19は、サウンドナビゲーション・アンド・レンジング(Sound Navigation and Ranging(SONAR)ユニット、ライトディテクション・アンド・レンジング(Light Detection and Ranging(LIDAR)ユニット、又はシーンの映像データを記録しながら実質的に同時に深度値を直接決定することが可能なその他のユニットを表すことができる。
【0024】
[0035]さらに加えて又は代替で、深度推定ユニット19は、異なる水平なカメラの観点から実質的に同時にキャプチャされた2つ以上の画像を比較することによって間接的に深度値を計算するように構成することができる。画像内の実質的に類似するピクセル値間の水平の差異を計算することによって、深度推定ユニット19は、シーン内の様々なオブジェクトの深度を概算することができる。幾つかの例では、深度推定ユニット19は、映像ソース18と機能的に一体化することができる。例えば、映像ソース18がコンピュータグラフィックス画像を生成するときには、深度推定ユニット19は、例えば、テクスチャ画像をレンダリングするために使用されるピクセル及びオブジェクトのz座標を用いて、図形のオブジェクトに関する実際の深度マップを提供することができる。
【0025】
[0036]コンピュータによって読み取り可能な媒体16は、一時的な媒体、例えば、無線放送又は有線のネットワーク送信、又は記憶媒体(すなわち、非一時的な記憶媒体)例えば、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、又はその他のコンピュータによって読み取り可能な媒体、を含むことができる。幾つかの例では、ネットワークサーバ(示されていない)は、符号化された映像データをソースデバイス12から受信し、符号化された映像データを、例えば、ネットワーク送信を介して行先デバイス14に提供することができる。同様に、媒体生産ファシリティ、例えば、ディスクスタンピングファシリティ、のコンピューティングデバイスは、符号化された映像データをソースデバイス12から受信し、符号化された映像データが入ったディスクを生産することができる。従って、コンピュータによって読み取り可能な媒体16は、様々な例において、様々な形態の1つ以上のコンピュータによって読み取り可能な媒体を含むと理解することができる。
【0026】
[0037]行先デバイス14の入力インタフェース28は、コンピュータによって読み取り可能な媒体16から情報を受信する。コンピュータによって読み取り可能な媒体16の情報は、ブロック及びその他のコーディングされたユニット、例えば、GOP、の特性及び/又は処理を記述した構文要素を含む、映像復号器30によっても使用される、映像符号器20によって定義された構文情報を含むことができる。表示装置32は、復号された映像データをユーザに表示し、様々な表示装置、例えば、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示装置、のうちのいずれかを備えることができる。幾つかの例では、表示装置32は、例えば、観る人のために3D視覚効果を作り出すために、2つ以上のビューを同時に又は実質的に同時に表示することが可能なデバイスを備えることができる。
【0027】
[0038]行先デバイス14のDIBRユニット31は、映像復号器30から受信された復号されたビューのテクスチャ及び深度情報を用いて合成されたビューをレンダリングすることができる。例えば、DIBRユニット31は、テクスチャ画像のピクセルデータに関する水平差異を対応する深度マップ内のピクセルの値の関数として決定することができる。次に、DIBRユニット31は、テクスチャ画像内のピクセルを決定された水平差異分だけ左又は右にオフセットすることによって合成された画像を生成することができる。このようにして、表示装置32は、1つ以上のビューをあらゆる組み合わせで表示することができ、それらは、復号されたビュー及び/又は合成されたビューに対応することができる。本開示の技法により、映像復号器30は、深度範囲に関するオリジナルの及び更新された精度値及びカメラパラメータをDIBRユニット31に提供することができ、ビューを適切に合成するために深度範囲及びカメラパラメータを使用することができる。
【0028】
[0039]
図1には示されていないが、幾つかの態様では、映像符号器20及び映像復号器30は、各々、音声符号器及び復号器と一体化することができ、及び、共通のデータストリーム又は別々のデータストリーム内の音声及び映像の両方の符号化を取り扱うための該当するMUX−DEMUXユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル(UDP)に準拠することができる。
【0029】
[0040]映像符号器20及び映像復号器30は、映像コーディング規格、例えば、現在策定中の高効率映像コーディング(HEVC)規格、により動作することができ、及び、HEVCテストモデル(HM)に準拠することができる。代替として、映像符号器20及び映像復号器30は、その他の独占規格又は工業規格、例えば、ITU−T H.264規格、代替でMPEG−4、Part10、Advanced Video Coding(AVC)と呼ばれる、又は該規格の拡張版、例えば、ITU−T H.264/AVCのMVC拡張版により動作することができる。特に、本開示の技法は、高度なコーデックに基づくマルチビュー及び/又は3D映像コーディングに関連する。概して、本開示の技法は、様々な異なる映像コーディング規格のうちのいずれかに適用することができる。例えば、これらの技法は、ITU−T H.264/AVC(advanced video coding)のマルチビュー映像コーディング(MVC)拡張版、来るべきHEVC規格の3D映像(3DV)拡張版、又はその他のコーディング規格に適用することができる。
【0030】
[0041]来るべきHEVC規格の最近のドラフトが、2012年7月11〜2012年7月12日にスウェーデンのストックホルムで開催された第10回会議においてITU−T SG16 WP3及びISO/IEC JTC1/SC29/WG11の映像コーディングに関する共同作業チーム(JCT−VC)によって提出された文書 HCTVC−J1003、Bross et al.,“High Efficiency Video Coding(HEVC) Text Specification Draft8”において記述されており、2013年6月7日現在では、http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zipからダウンロード可能である。例示する目的上、本開示の技法は、主に、HEVCの3DV拡張版に関して説明されている。しかしながら、これらの技法は、三次元効果を生み出すために使用されるその他の映像データコーディング規格に対して適用可能であることが理解されるべきである。
【0031】
[0042]ITU−T H.264/MPEG−4(AVC)規格は、ジョイントビデオチーム(JVT)と呼ばれる集団パートナーシップの産物として、ITU−Tビデオコーディングエキスパーツグループ(VCEG)及びISO/IECムービングピクチャエキスパーツグループ(MEPG)の共同で作成されたものである。幾つかの態様では、本開示において説明される技法は、H.264規格に一般的に準拠するデバイスに適用することができる。H.264規格は、ITU−T研究グループによる、ITU−T勧告H.264、一般的オーディオビジュアルサービスに関するアドバンストビデオコーディング(2005年3月付)において記述されており、ここでは、H.264規格又はH.264仕様、又は、H.264/AVC規格又は仕様と呼ばれる。ジョイントビデオチーム(JVT)では、H.264/MPEG−4 AVCの拡張バージョンに関する作業を継続している。
【0032】
[0043]映像符号器20及び映像復号器30は、各々、様々な適切な符号器回路、例えば、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらのあらゆる組み合わせのうちのいずれかとして実装することができる。技法がソフトウェア内において部分的に実装されるときには、デバイスは、ソフトウェアに関する命令を適切な、非一時的なコンピュータによって読み取り可能な媒体に格納することができ及び本開示の技法を実行するために1つ以上のプロセッサを用いてハードウェア内で命令を実行することができる。映像符号器20及び映像復号器30の各々は、1つ以上の符号器又は復号器に含めることができ、それらのいずれも、各々のデバイスにおいて結合された符号器/復号器(CODEC)の一部として一体化することができる。映像符号器20及び/又は映像復号器30を含むデバイスは、集積回路、マイクロプロセッサ、及び/又は無線通信デバイス、例えば、携帯電話、を備えることができる。
【0033】
[0044]最初に、HEVCのコーディング技法例が説明される。JCT−VCは、HEVC規格の策定作業中である。HEVC標準化努力は、HEVCテストモデル(HM)と呼ばれる映像コーディングデバイスの進化中のモデルに基づいている。HMは、例えば、ITU−T H.264/AVCによる既存のデバイスに対して映像コーディングデバイスの幾つかの追加能力を前提にしている。例えば、H.264は9つのイントラ予測符号化モードを提供する一方で、HMは、33もの角イントラ予測符号化モードプラスDC及びPlanarモードを提供することができる。
【0034】
[0045]概して、HMのワーキングモデルでは、映像フレーム又はピクチャは、ツリーブロックのシーケンス又はルマサンプル及びクロマサンプルの両方を含む最大のコーディングユニット(LCU)に分割することができると記述している。ビットストリーム内の構文データは、ピクセル数の点で最大のコーディングユニットであるLCUに関するサイズを定義することができる。スライスは、コーディング順序の幾つかの連続するツリーブロックを含む。映像フレーム又はピクチャは、1つ以上のスライスに分割することができる。各ツリーブロックは、四分木によりコーディングユニット(CU)に分割することができる。概して、四分木データ構造は、CU当たり1つのノードを含み、根ノードがツリーブロックに対応する。CUが4つのサブCUに分割される場合は、CUに対応するノードは、4つの葉ノードを含み、それらの各々がサブCUのうちの1つに対応する。
【0035】
[0046]四分木データ構造の各ノードは、対応するCUに関する構文データを提供することができる。例えば、四分木内のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含むことができる。CUに関する構文要素は、反復的に定義することができ、CUがサブCUに分割されるかどうかに依存することができる。CUがそれ以上分割されない場合は、それは葉CUと呼ばれる。本開示では、原葉CUの明示の分割は存在しない場合でも、葉CUの4つのサブCUも葉CUと呼ばれる。例えば、16×16サイズのCUがそれ以上分割されない場合は、16×16CUは分割されなかったが、4つの8×8サブCUも葉CUと呼ばれる。
【0036】
[0047]CUは、H.264規格のマクロブロックと同様の目的を有し、ただし、CUはサイズの区別を有さない。例えば、ツリーブロックは、4つの子ノード(サブCUとも呼ばれる)に分割することができ、各子ノードは、親ノード及び他の4つの子ノードに分割することができる。最終的な、分割されない子ノードは、四分木の葉ノードと呼ばれ、葉CUともよばれるコーディングノードを備える。コーディングされたビットストリームと関連付けられた構文データは、ツリーブロックを分割することができる最大回数を定義することができ、最大CU深度と呼ばれ、コーディングノードの最小サイズを定義することもできる。従って、ビットストリームは、最小のコーディングユニット(SCU)を定義することもできる。本開示は、HEVCに関するCU、PU、又はTUのいずれか、又は、その他の規格に関する同様のデータ構造(例えば、H.264/AVCにおけるマクロブロック及びサブブロック)を意味するために用語“ブロック”を使用する。
【0037】
[0048]CUは、コーディングノードと、そのコーディングノードと関連付けられた予測ユニット(PU)及び変換ユニット(U)を含む。CUのサイズは、コーディングノードのサイズに対応し、形状は正方形でなければならない。CUのサイズは、8×8ピクセルからツリーブロックのサイズまでの範囲であることができ、最大サイズは64×64ピクセル以上である。各CUには、1つ以上のPU及び1つ以上のTUが入ることができる。CUと関連付けられた構文データは、例えば、1つ以上のPUへのCUの分割を記述することができる。分割モードは、CUがスキップ又は直接モード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なることができる。PUは、形状が非正方形に分割することができる。CUと関連付けられた構文データは、例えば、四分木による1つ以上のTUへのCUの分割も記述することができる。TUの形状は、正方形であっても非正方形(例えば、長方形)であってもよい。
【0038】
[0049]HEVC規格は、TUによる変換を考慮しており、異なるCUごとに異なることができる。TUは、典型的には、分割されたLCUに関して定義される所定のCU内のPUのサイズに基づいてサイズが設定されるが、常にそうであるわけではない。TUは、典型的には、PUと同じサイズであるか又はそれよりも小さい。幾つかの例では、CUに対応する残差サンプルは、“残差四分木(RQT)”と呼ばれる四分木構造を用いてより小さいユニットに細分割することができる。RQTの葉ノードは、変換ユニット(TU)と呼ぶことができる。TUと関連付けられたピクセル差分値は、変換係数を生成するために変換することができ、それらは量子化することができる。
【0039】
[0050]葉CUは、1つ以上の予測ユニット(PU)を含むことができる。概して、PUは、対応するCUの全部又は一部に対応する空間エリアを表し、PUに関する基準サンプルを取り出すためのデータを含むことができる。さらに、PUは、予測に関連するデータを含む。例えば、PUがイントラモード符号化されるときには、PUに関するデータは、残差四分木(RQT)に含めることができ、それは、PUに対応するTUに関するイントラ予測モードを記述するデータを含むことができる。他の例として、PUがインターモード符号化されるときには、PUは、PUに関する1つ以上の動きベクトルを定義するデータを含むことができる。PUに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する解像度(例えば、1/4ピクセル精度又は1/8ピクセル精度)、動きベクトルが指し示す基準ピクチャ、及び/又は動きベクトルに関する基準ピクチャリスト(例えば、リスト0、リスト1、又はリストC)を記述することができる。
【0040】
[0051]1つ以上のPUを有する葉CUは、1つ以上の変換ユニット(TU)を含むこともできる。変換ユニットは、上述されるように、RQT(TU四分木構造とも呼ばれる)を用いて指定することができる。例えば、分割フラグは、葉CUが4つの変換ユニットに分割されるかどうかを示すことができる。次に、各変換ユニットは、さらなるサブTUにさらに分割することができる。TUがそれ以上分割されない場合は、それは、葉TUと呼ぶことができる。概して、イントラコーディングに関して、葉CUに属するすべての葉TUは、同じイントラ予測モードを共有する。すなわち、葉CUのすべてのTUに関する予測された値を計算するために同じイントラ予測モードが概して適用される。イントラコーディングに関して、映像符号器は、TUに対応するCUの部分とオリジナルブロックとの間の差分として、イントラ予測モードを用いて各葉TUに関する残差値を計算することができる。TUは、必ずしもPUのサイズに限定されない。従って、TUは、PUよりも大きいこと又は小さいことができる。イントラコーディングに関して、PUは、同じCUに関する対応する葉TUと共配置することができる。幾つかの例では、葉TUの最大サイズは、対応する葉CUのサイズに対応することができる。
【0041】
[0052]さらに、葉CUのTUは、残差四分木(RQT)と呼ばれる各々の四分木データ構造と関連付けることもできる。すなわち、葉CUは、その葉CUがどのようにしてTUに分割されるかを示す四分木を含むことができる。TU四分木の根ノードは、概して、葉CUに対応し、CU四分木の根ノードは、概して、ツリーブロック(又はLCU)に対応する。分割されないRQTのTUは、葉TUと呼ばれる。概して、本開示は、別記がないかぎり、葉CU及び葉TUをそれぞれ意味するために用語CU及びTUを使用する。
【0042】
[0053]映像シーケンスは、典型的には、一連の映像フレーム又はピクチャを含む。ピクチャのグループ(GOP)は、概して、映像ピクチャのうちの一連の1つ以上を備える。GOPは、GOP内に含まれるピクチャ数を記述する構文データをGOPのヘッダ、1つ以上のピクチャのヘッダ、又はその他の場所において含むことができる。ピクチャの各スライスは、各々のスライスに関する符号化モードを記述するスライス構文データを含むことができる。映像符号器20は、典型的には、映像データを符号化するために個々の映像スライス内の映像ブロックに対して動作する。映像ブロックは、CU内のコーディングノードに対応することができる。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。
【0043】
[0054]一例として、HMは、様々なPUサイズの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測、及び2N×2N、2N×N、N×2N、又はN×Nの対称的PUサイズでのインター予測をサポートする。HMは、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズでのインター予測に関する非対称的な分割もサポートする。非対称的な分割では、CUの1方の方向が分割されず、他方の方向が25%及び75%に分割される。25%の分割に対応するCUの部分は、“n”によって示され、“上(Up)”、“下(Down)”、“左(Left)”、又は“右(Right)”の表示文字によって後続される。従って、例えば、“2N×nU”は、水平に分割され、最上部が2N×0.5N PU、最下部が2N×1.5N PUである2N×2N CUを意味する。
【0044】
[0055]本開示においては、“N×N”及び“N by N”は、垂直及び水平の寸法に関する映像ブロックのピクチャ寸法を意味するために互換可能な形で使用することができ、例えば、16×16ピクセル又は16 by 16ピクセル。概して、16×16ブロックは、垂直方向に16ピクセル(y=16)及び水平方向に16ピクセル(x=16)を有することになる。同様に、N×Nブロックは、概して、垂直方向にNのピクセル及び水平方向にNのピクセルを有し、ここで、Nは、負でない整数値を表す。ブロック内のピクセルは、行及び列で配列することができる。さらに、ブロックは、水平方向と垂直方向で必ずしも同じピクセル数を有する必要がない。例えば、ブロックは、N×Mピクセルを備えることができ、ここで、Mは必ずしもNと等しくない。
【0045】
[0056]CUのPUを用いたイントラ予測又はインター予測コーディングに引き続き、映像符号器20は、CUのTUに関する残差データを計算することができる。PUは、空間領域(ピクセル領域とも呼ばれる)において予測ピクセルデータを生成する方法又はモードを記述する構文データを備えることができ、及び、TUは、変換、例えば、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、又は概念的に類似する変換を残差映像データに適用後に変換領域において係数を備えることができる。残差データは、符号化されないピクチャのピクセルとPUに対応する予測値との間のピクセル差分に対応することができる。映像符号器20は、CUに関する残差データを含むTUを形成することができ、次に、CUに関する変換係数を生成するためにTUを変換することができる。
【0046】
[0057]変換係数を生成するための変換に引き続き、映像符号器20は、それらの変換係数の量子化を行うことができる。量子化は、概して、係数を表すために使用されるデータ量を低減させ、さらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、係数の一部又は全部と関連付けられたビット深度を低減させることができる。例えば、量子化中にnビット値が切り捨てられてmビット値になり、ここで、nはmよりも大きい。
【0047】
[0058]量子化に引き続き、映像符号器は、変換係数を走査し、量子化された変換係数を含む二次元行列から一次元ベクトルを生成することができる。走査は、より高いエネルギー(従って、より低い周波数)係数をアレイの前部に置き、より低いエネルギー(及び従って、より高い周波数)係数をアレイの後部に置くように設計することができる。幾つかの例では、映像符号器20は、エントロピー符号化することができるシリアライズされたベクトルを生成するために量子化された変換係数を走査するために予め定義された走査順序を利用することができる。その他の例では、映像符号器20は、適応型走査を行うことができる。一次元ベクトルを形成するために量子化された変換係数を走査後は、映像符号器20は、例えば、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔パーティショニングエントロピー(PIPE)コーディング又は他のエントロピー符号化法により一次元ベクトルをエントロピー符号化することができる。映像符号器20は、映像データを復号する際に映像復号器30によって使用するための符号化された映像データと関連付けられた構文要素もエントロピー符号化することができる。
【0048】
[0059]CABACを行うために、映像符号器20は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当てることができる。コンテキストは、例えば、シンボルの近隣値がゼロでないかどうかに関連することができる。CAVLCを行うために、映像符号器20は、送信されるべきシンボルに関する可変長コードを選択することができる。VLCにおけるコードワードは、相対的により短いコードがより確率の高いシンボルに対応し、より長いコードがより確率の低いシンボルに対応するような形で構築することができる。このように、VLCの使用は、例えば、送信されるべき各シンボルに関して等しい長さのコードワードを使用することと比較してビットの節約を達成することができる。確率決定は、シンボルに割り当てられたコンテキストに基づくことができる。
【0049】
[0060]本節では、マルチビュー及びマルチビュープラス深度コーディング技法が説明される。最初に、MVC技法が説明される。上記のように、MVCは、ITU−T H.264/AVCの拡張版である。MVCでは、複数のビューに関するデータは、時間最優先(time−first)の順序でコーディングされ、従って、復号順序配列は、時間最優先コーディングと呼ばれる。特に、共通の時間インスタンス(time instance)における複数のビューの各々に関するビューコンポーネント(すなわち、ピクチャ)をコーディングすることができ、次に、異なる時間インスタンスに関する他の組のビューコンポーネントをコーディングすることができ、以下同様である。アクセスユニットは、1つの出力時間インスタンスに関するすべてのビューのコーディングされたピクチャを含むことができる。アクセスユニットの復号順序は、必ずしも出力(又は表示)順序と同一ではないことが理解されるべきである。
【0050】
[0061]典型的なMVC復号順序(すなわち、ビットストリーム順序)が
図2に示される。復号順序配列は、時間最優先コーディングと呼ばれる。アクセスユニットの復号順序は、出力又は表示順序と同一ではないことができることに注目すること。
図2において、S0乃至S7は、各々、マルチビュー映像の異なるビューを意味する。T0乃至T8は、各々、1つの出力時間インスタンスを表す。アクセスユニットは、1つの出力時間インスタンスに関するすべてのビューのコーディングされたピクチャを含むことができる。例えば、第1のアクセスユニットは、時間インスタンスT0に関するすべてのビューS0乃至S7を含むことができ、第2のアクセスユニットは、時間インスタンスT1に関するすべてのビューS0乃至S7を含むことができ、以下同様である。
【0051】
[0062]簡潔さを目的として、本開示は次の定義を使用することができる。
【0052】
ビューコンポーネント:単一のアクセスユニットにおけるビューのコーディングされた表現。
【0053】
ビューがコーディングされたテクスチャ表現及び深度表現の両方を含むときには、ビューコンポーネントは、テクスチャビューコンポーネント及び深度ビューコンポーネントから成る。
【0054】
テクスチャビューコンポーネント:単一のアクセスユニットにおけるビューのテクスチャのコーディングされた表現。
【0055】
深度ビューコンポーネント:単一のアクセスユニットにおけるビューの深度のコーディングされた表現。
【0056】
[0063]
図2において、各ビューは、ピクチャの組を含む。例えば、ビューS0は、ピクチャ0、8、16、24、32、40、48、56、及び64の組を含み、ビューS1は、ピクチャ1、9、17、25、33、41、49、57、及び65の組を含み、以下同様である。各組は、2つのピクチャを含み、1方のピクチャは、テクスチャビューコンポーネントと呼ばれ、他方のピクチャは、深度ビューコンポーネントと呼ばれる。ビューのピクチャの組内のテクスチャビューコンポーネント及び深度ビューコンポーネントは、互いに対応するとみなすことができる。例えば、ビューのピクチャの組内のテクスチャビューコンポーネントは、ビューのピクチャの組内の深度ビューコンポーネントに対応するとみなされ、逆も同様である(すなわち、深度ビューコンポーネントは、組内のそれのテクスチャビューコンポーネントに対応し、逆も同様である)。本開示において使用される場合、深度ビューコンポーネントに対応するテクスチャビューコンポーネントは、単一のアクセスユニットの同じビューの一部であるテクスチャビューコンポーネント及び深度ビューコンポーネントであるとみなすことができる。
【0057】
[0064]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。例えば、テクスチャビューコンポーネントは、ルマ(Y)コンポーネントと、クロマ(Cb及びCr)コンポーネントと、を含むことができる。深度ビューコンポーネントは、それの対応するテクスチャビューコンポーネントにおけるピクセルの相対的深度を示すことができる。一例として、深度ビューコンポーネントは、ルマ値のみを含む灰色スケール画像である。換言すると、深度ビューコンポーネントは、どのような画像コンテンツも搬送することができず、むしろ、テクスチャビューコンポーネントにおけるピクセルの相対的深度の尺度を提供する。
【0058】
[0065]例えば、深度ビューコンポーネントにおける純粋に白いピクセルは、対応するテクスチャビューコンポーネントにおけるそれの対応するピクセル又はピクセル(複数)が、観る人の観点からより近いことを示し、深度ビューコンポーネントにおける純粋に黒いピクセルは、対応するテクスチャビューコンポーネントにおけるそれの対応するピクセル又はピクセル(複数)が、観る人の観点からより離れていることを示す。黒と白との間の様々な灰色度は、異なる深度レベルを示す。例えば、深度ビューコンポーネントにおける非常に濃い灰色のピクセルは、テクスチャビューコンポーネントにおけるそれの対応するピクセルが、深度ビューコンポーネントにおけるわずかに灰色のピクセルよりも遠く離れていることを示す。ピクセルの深度を識別するために灰色スケールのみが必要であるため、深度ビューコンポーネントに関するカラー値は何の役にも立たないので、深度ビューコンポーネントは、クロマコンポーネントを含む必要がない。
【0059】
[0066]深度を識別するためにルマ値(例えば、強度値)のみを用いる深度ビューコンポーネントは、例示することを目的として提供されており、限定するものであるとはみなされるべきでない。その他の例では、テクスチャビューコンポーネントにおけるピクセルの相対的深度を示すためにあらゆる技法を利用することができる。
【0060】
[0067]マルチビュー映像コーディングに関する典型的なMVC予測構造(各ビュー内のインターピクチャ予測及びインタービュー予測の両方を含む)が
図3に示される。予測方向は矢印によって示され、矢印の先のオブジェクトが矢印の根本のオブジェクトを予測基準として使用する。MVCでは、インタービュー予測は、差異動き補償によってサポートされ、H.264/AVC動き補償の構文を使用するが、異なるビュー内のピクチャを基準ピクチャとして使用することを可能にする。
【0061】
[0068]
図3の例において、6つのビュー(ビューID“S0”乃至“S5”を有する)が示され、12の時間的位置(“T0”乃至“T11”)が各ビューに関して示される。すなわち、
図3の各行はビューに対応し、各列は、時間的位置に対応する。
【0062】
[0069]MVCは、いわゆる基本ビューを有しており、それはH.264/AVC復号器によって復号可能であり、ステレオビュー対もMVCによってサポート可能であるが、MVCの利点は、3つ以上のビューを3D映像入力として使用し、複数のビューによって表現されるこの3D映像を復号する例をサポート可能なことである。MVC復号器を有するクライアントのレンダラ(renderer)は、複数のビューを有する3D映像コンテンツを期待することができる。
【0063】
[0070]
図3のピクチャは、各行及び各列の交差点において示される。H.264/AVC規格は、映像の一部分を表現するために用語フレームを使用することができる。本開示は、用語ピクチャ及びフレームを互換可能な形で使用することができる。
【0064】
[0071]
図3のピクチャは、英字を含むブロックを用いて例示され、英字は、対応するピクチャがイントラコーディングされるか(すなわち、Iピクチャ)、又は、1つの方向にインターコーディングされるか(すなわち、Pピクチャ)又は複数の方向にインターコーディングされるか(すなわち、Bピクチャ)を示す。概して、予測は矢印によって示され、矢印の先のピクチャは、矢印の根本のピクチャを予測基準のために使用する。例えば、時間的位置T0におけるビューS2のPピクチャは、時間位置T0におけるビューS0のIピクチャから予測される。
【0065】
[0072]単一ビュー映像符号化と同様に、マルチビュー映像コーディング映像シーケンスのピクチャは、異なる時間的位置におけるピクチャに関して予測的に符号化することができる。例えば、時間的位置T1におけるビューS0のbピクチャは、時間的位置T0におけるビューS0のIピクチャから向かう矢印を有しており、bピクチャは、Iピクチャから予測されることを示す。しかしながら、マルチビュー映像コーディングに関しては、ピクチャは、インタービュー予測することができる。すなわち、ビューコンポーネントは、参考のためにその他のビュー内のビューコンポーネントを使用することができる。例えば、MVCでは、インタービュー予測は、あたかも他のビュー内のビューコンポーネントがインター予測基準であるものとして実現される。潜在的なインタービュー基準は、シーケンスパラメータセット(SPS)MVC拡張版においてシグナリングされ、基準ピクチャリスト構築プロセスによって変更することができ、それは、インター予測又はインタービュー予測基準の柔軟な順序設定を可能にする。インタービュー予測は、HEVCの提案されるマルチビュー拡張の1つの特徴でもあり、3D−HEVC(マルチビュープラス深度)を含む。
【0066】
[0073]
図3は、インタービュー予測の様々な例を提供する。
図3の例におけるビューS1のピクチャは、ビューS1の異なる時間的位置におけるピクチャから予測され、及び、同じ時間的位置におけるビューS0及びS2のピクチャからインタービュー予測されるとして例示される。例えば、時間的位置T1におけるビューS1のbピクチャは、時間的位置T0及びT2におけるビューS1のBピクチャの各々、及び時間的位置T1におけるビューS0及びS2のbピクチャから予測される。
【0067】
[0074]幾つかの例では、
図3は、テクスチャビューコンポーネントを例示するとみなすことができる。例えば、
図2において例示されるI、P、B、及びbピクチャは、各々のビューに関するテクスチャビューコンポーネントであるとみなすことができる。本開示において説明される技法により、
図3において例示されるテクスチャビューコンポーネントの各々に関して、対応する深度ビューコンポーネントが存在する。幾つかの例では、深度ビューコンポーネントは、
図3において対応するテクスチャビューコンポーネントに関して例示される方法と同様のそれで予測することができる。
【0068】
[0075]2つのビューのコーディングもMVCによってサポート可能である。MVCの利点の1つは、MVC符号器が3つ以上のビューを3D映像入力として使用可能なことであり、MVC復号器が該マルチビュー表現を復号することができることである。従って、MVC復号器を有するいずれのレンダラも、3つ以上のビューを有する3D映像コンテンツを期待することができる。
【0069】
[0076]MVCにおいては、同じアクセスユニット内の(すなわち、同じ時間インスタンスを有する)ピクチャ間でのインタービュー予測が許容される。非基本ビューのうちの1つ内のピクチャをコーディングするときには、ピクチャは、異なるビュー内にあるが、同じ時間インスタンス内に存在する場合は基準ピクチャリスト内に加えることができる。インタービュー基準ピクチャは、インター予測基準ピクチャとまったく同じように、基準ピクチャリストのあらゆる位置に入れることができる。
図3において示されるように、ビューコンポーネントは、参考のためにその他のビュー内のビューコンポーネントを使用することができる。MVCでは、インタービュー予測は、あたかも他のビュー内のビューコンポーネントがインター予測基準であるものとして実現される。
【0070】
[0077]以下では、マルチビューコーディング及び/又は深度(3D−HEVC)を伴うマルチビューコーディング(MV−HEVC)とともに使用することができるインター予測に関連する幾つかの該当するHEVC技法について説明する。説明される最初の技法は、インター予測に関する基準ピクチャリスト構築である。
【0071】
[0078]インター予測を用いてPUをコーディングすることは、現在のブロック(例えば、PU)と基準フレーム内のブロックとの間の動きベクトルを計算することを含む。動きベクトルは、動き推定(又は動き探索)と呼ばれるプロセスを通じて計算される。例えば、動きベクトルは、基準フレームの基準サンプルに対する現在のフレーム内の予測ユニットの変位を示すことができる。基準サンプルは、ピクセル差分の点でコーディングされているPUを含むCUの部分と密接にマッチすることが判明したブロックであることができ、それは、絶対差分和(SAD)、2乗差分和(SSD)、又はその他の差分メトリックによって決定することができる。基準サンプルは、基準フレーム又は基準スライス内のあらゆる場所で生じることができる。幾つかの例では、基準サンプルは、分数ピクセル位置で生じることができる。基準フレームのうちで現在の部分に最高にマッチする部分を見つけた時点で、符号器は、現在のブロックに関する現在の動きベクトルを、現在のブロックから基準フレーム内のマッチする部分までの(例えば、現在のブロックの中心からマッチする部分の中心までの)位置の差分として決定する。
【0072】
[0079]幾つかの例では、符号器は、符号化された映像ビットストリーム内の各ブロックに関する動きベクトルをシグナリングすることができる。シグナリングされた動きベクトルは、映像データを復号するために動き補償を行うために復号器によって使用される。しかしながら、情報を搬送するためには多数のビットが典型的に必要であるため、オリジナルの動きベクトルをシグナリングすることは、その直接的な結果としてコーディング効率が低下することがある。
【0073】
[0080]幾つかの例では、符号器は、オリジナルの動きベクトルを直接シグナリングするのではなく、各パーティションに関する、すなわち各PUに関する、動きベクトルを予測することができる。この動きベクトル予測を行うに際して、符号器は、現在のブロックと同じフレーム内の空間的に隣接するブロックから決定された一組の動きベクトル候補又は基準フレーム(すなわち、現在のフレーム以外のフレーム)内の共配置されたブロックから決定された時間的動きベクトル候補を選択することができる。映像符号器20は、動きベクトル予測を行い、及び、必要な場合は、シグナリングの際のビットレートを低減させるために、オリジナルの動きベクトルをシグナリングするのではなく、動きベクトルを予測するために基準ピクチャのインデックスをシグナリングすることができる。空間的に近隣のブロックからの動きベクトル候補は、空間的MVP候補と呼ぶことができ、他方、他の基準フレーム内の共配置されたブロックからの動きベクトル候補は、時間的MVP候補と呼ぶことができる。
【0074】
[0081]HEVC規格では2つの異なるモード又はタイプの動きベクトル予測が提案されている。1つのモードは、“マージ”モードと呼ばれる。他方のモードは、適応型動きベクトル予測(AMVP)と呼ばれる。
【0075】
[0082]マージモードでは、映像符号器20は、予測構文のビットストリームシグナリングを通じて、動きベクトル、(動きベクトルが指し示す、所定の基準ピクチャリスト内の、基準フレームを識別する)基準インデックス及び(基準フレームが現在のフレームに時間的に先行するか又は後続するかに関して、基準ピクチャリスト(リスト0又はリスト1)を識別する)動き予測方向を、フレームの現在のブロックに関する選択された動きベクトル候補からコピーするように命令する。これは、選択された動きベクトル候補(すなわち、特定の空間的MVP候補又は時間的MVP候補)を識別する動きベクトル候補リスト内へのインデックスをビットストリームでシグナリングすることによって完遂される。
【0076】
[0083]従って、マージモードの場合は、予測構文は、モード(この場合は“マージ”モード)を識別するフラグと、選択された動きベクトル候補を識別するインデックスと、を含むことができる。幾つかの例では、動きベクトル候補は、現在のブロックを参照する原因ブロック(causal block)内に存在することになる。すなわち、動きベクトル候補は、映像復号器30によって既に復号されていることになる。従って、映像復号器30は、原因ブロックに関する動きベクトル、基準インデックス、及び動き予測方向を既に受信及び/又は決定している。従って、映像復号器30は、単に、原因ブロックと関連付けられた動きベクトル、基準インデックス、及び動き予測方向をメモリから取り出し、これらの値を現在のブロックに関する動き情報としてコピーすることができる。マージモードにおいてブロックを再構築するために、映像復号器30は、現在のブロックに関する導き出された動き情報を使用して予測ブロックを入手し、コーディングされたブロックを再構築するために予測ブロックに残差データを加える。
【0077】
[0084]スキップモードの場合は、同じマージ候補リストが生成されるが残差はシグナリングされないことに注目すること。単純化のため、スキップモードは、マージモードと同じ動きベクトル導出プロセスを有するため、本明細書において説明されるすべての技法がマージモード及びスキップモードの両方に適用される。
【0078】
[0085]AMVPでは、映像符号器20は、ビットストリームシグナリングを通じて、候補ブロックから動きベクトルをコピーだけし、コピーされたベクトルを現在のブロックの動きベクトルに関する予測子として使用するように命令し、動きベクトル差分(MVD)をシグナリングする。現在のブロックの動きベクトルと関連付けられた基準フレーム及び予測方向は、別々にシグナリングされる。MVDは、現在のブロックに関する現在の動きベクトルと候補ブロックから導き出された動きベクトル予測子との間の差分である。この場合は、映像符号器20は、動き推定を使用し、コーディングされるべきブロックに関する実際の動きベクトルを決定し、次に、実際の動きベクトルと動きベクトル予測子との間の差分をMVDとして決定する。このようにして、映像復号器30は、マージモードのようには、動きベクトル候補の正確なコピーを現在の動きベクトルとして使用せず、むしろ、動き推定から決定された現在の動きベクトルに値の点で“近い”ことができる動きベクトル候補を使用し、現在の動きベクトルを複製するためにMVDを加えることができる。AMVPモードでブロックを再構築するために、復号器は、対応する残差データを加えてコーディングされたブロックを再構築する。
【0079】
[0086]ほとんどの状況において、MVDは、現在の動きベクトル全体よりも少ないビットをシグナリングのために要求する。従って、AMVPは、動きベクトル全体を送信することに関するコーディング効率を維持しつつ現在の動きベクトルのより正確なシグナリングを可能にする。対照的に、マージモードは、MVDの指定は考慮しておらず、従って、マージモードは、シグナリング効率の向上(すなわち、より少ないビット)のために動きベクトルシグナリング精度を犠牲にする。AMVPに関する予測構文は、モードに関するフラグ(この場合はAMVPフラグ)と、候補ブロックに関するインデックスと、現在の動きベクトルと候補ブロックからの予測動きベクトルとの間のMVDと、基準インデックスと、動き予測方向と、を含むことができる。
【0080】
[0087]インター予測は、基準ピクチャリスト構築も含むことができる。基準ピクチャリストは、動き探索及び動き推定を行うために利用可能である基準ピクチャ又は基準フレームを含む。典型的には、Bピクチャ(2方向に予測されるピクチャ)の第1又は第2の基準ピクチャリストに関する基準ピクチャリスト構築は、2つのステップ、すなわち、基準ピクチャリスト初期化及び基準ピクチャリスト再順序設定(変更)、を含む。基準ピクチャリスト初期化は、POC(ピクチャオーダーカウント、ピクチャの表示順序と整合)値の順序基づいて基準ピクチャメモリ(復号ピクチャバッファ(DPB)とも呼ばれる)の基準ピクチャをリスト内にいれる明示のメカニズムである。基準ピクチャリスト再順序設定メカニズムは、基準ピクチャリスト初期化ステップ中にリストに入れられたピクチャの位置を新しい位置に変更することができ、又は、基準ピクチャメモリ内の基準ピクチャが初期化されたリストに入れられなかった場合でもそのピクチャをあらゆる位置に入れることができる。幾つかのピクチャは、基準ピクチャリスト再設定(変更)後は、初期位置から遠く離れたリスト内の位置に入れることができる。しかしながら、ピクチャの位置がリストのアクティブな基準ピクチャの数を超える場合は、ピクチャは、最終的な基準ピクチャリストのエントリとはみなされない。アクティブな基準ピクチャの数は、各リストに関するスライスヘッダにおいてシグナリングすることができる。基準ピクチャリストが構築された後は(すなわち、RefPicList0及びRefPicList1、利用可能な場合)、基準ピクチャリストに含まれる基準ピクチャを識別するために基準ピクチャリストの基準インデックスを使用することができる。
【0081】
[0088]
図4は、マージモード及びAMVPモードの両方において使用することができる候補ブロック120の組例を示す。この例では、候補ブロックは、左下(A0)121、左(A1)122、左上(B2)125、上(B1)124、右上(B0)123の空間的位置、及び時間的(T)126位置にある。この例では、左の候補ブロック122は、現在のブロック127の左縁に隣接する。左ブロック122の下縁は、現在のブロック127の下縁と整合される。上の候補ブロック124は、現在のブロック127の右縁に隣接する。上のブロック124の右縁は、現在のブロック127の右縁と整合される。
【0082】
[0089]次に説明される技法は、時間的動きベクトル予測子(TMVP)又は時間的動きベクトル候補に関する。時間的動きベクトル予測は、現在コーディングされているCUが入ったフレーム以外のフレームからの動きベクトル候補ブロックしか使用しない。TMVPを得るためには、最初に、共配置されたピクチャが識別される。HEVCでは、共配置されたピクチャは、基準ピクチャリストが現在構築されている現在のピクチャと異なる時間からのものである。現在のピクチャがBスライスである場合は、共配置されたピクチャがRefPicList0又はRefPicList1のいずれからのものであるかを示すために構文要素collocated_from_10_flagがスライスヘッダにおいてシグナリングされる。スライスヘッダは、スライス内に含められたすべての映像ブロックに関連するデータ要素が入っている。基準ピクチャリストが識別された後は、リスト内のピクチャ内のピクチャを識別するためにスライスヘッダにおいてシグナリングされた構文要素collocated_ref_idxが使用される。
【0083】
[0090]次に、共配置されたピクチャを検査することによって共配置された予測ユニット(PU)(例えば、時間的動きベクトル候補)が識別される。このPUが入ったコーディングユニット(CU)の右最下部PUの動きベクトル、又は、このPUが入ったCUの中央のPU内の右最下部PUの動きのいずれかが使用される。
【0084】
[0091]高度動きベクトル予測(AMVP)又はマージモードに関する動き候補を生成するために上記のプロセスによって識別された動きベクトルが使用されるときには、それらは、典型的には、(POCによって反映された)時間的位置に基づいてスケーリングされる。TMVPから導き出された時間的マージング候補に関するすべての可能な基準ピクチャリストのターゲット基準インデックスが0に設定され、他方、AMVPに関しては、それは復号された基準インデックスに等しく設定されることに注目すること。
【0085】
[0092]HEVCでは、シーケンスパラメータセット(SPS)は、フラグsps_temporal_mvp_enable_flagを含み、スライスヘッダは、sps_temporal_mvp_enable_flagが1に等しいときにフラグpic_temporal_mvp_enable_flagを含む。pic_temporal_mvp_enable_flag及びtemporal_idの両方が特定のピクチャに関して0に等しいときには、復号順序においてその特定のピクチャの前のピクチャからの動きベクトルは、その特定のピクチャ又は復号順序でその特定のピクチャの後のピクチャを復号する際に時間的動きベクトル予測子として使用されない。
【0086】
[0093]マルチビュー映像コーディングフォーマットの他のタイプは、深度値の使用を導入する。3Dテレビ及びフリービューポイントビデオに関して一般的であるマルチビュー映像プラス深度(MVD)データフォーマットの場合は、テクスチャ画像及び深度マップは、マルチビューテクスチャピクチャを用いて独立してコーディングすることができる。
図5は、MVDデータフォーマットをテクスチャ画像及びそれの関連付けられたサンプルごとの深度マップとともに例示する。深度範囲は、対応する3Dポイントに関してカメラからの距離minimum z
near及びmaximum z
farの範囲内に制限することができる。
【0087】
[0094]カメラパラメータ及び深度範囲値は、3Dディスプレイ上において提供する前に復号されたビューコンポーネントを処理するのに便利であることができる。従って、H.264/MVCの現在のバージョンに関しては特殊な補足拡張情報(SEI)メッセージが定義され、すなわち、マルチビュー取得情報SEIであり、取得環境の様々なパラメータを指定する情報を含む。しかしながら、H.264/MVC内では深度範囲関連情報を示すための構文は指定されていない。
【0088】
[0095]3D映像(3DV)は、マルチビュー映像プラス深度(MVD)フォーマットを用いて表現することができ、(個々の水平のカメラ位置に対応することができる)様々なビューの少数のキャプチャされたテクスチャ画像、及び関連付けられた深度マップ、をコーディングすることができ、その結果得られたビットストリームパケットを多重化して3D映像ビットストリーム内に入れることができる。現在は、VCEG及びMPEGの3D映像コーディングに関する共同作業チーム(JCT−3C)が、HEVCに基づく3DV規格を策定中であり、標準化努力の一部は、HEVCに基づくマルチビュー映像コーデック(MV−HEVC)及びHEVCに基づく3D映像コーディングに関する他の部分(3D−HEVC)の標準化を含む。MV−HEVCに関しては、高レベル構文(HLS)変更のみが存在し、従って、HEVCにおけるCU/PUレベルでのモジュールを再設計する必要がなく、MV−MEVCに関して完全に使用可能であることが保証されるべきである。3D−HEVCに関しては、テクスチャビュー及び深度ビューの両方に関する新しいコーディングツール(コーディングユニット/予測ユニットレベルにおけるそれらを含む)を含むこと及びサポートすることができる。3D−HEVCに関する最新のソフトウェア3D−HTMを次のリンクからダウンロードすることができる。すなわち、
https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-4.0.1/
[0096]最新の基準ソフトウェアでは、コーディング効率をさらに向上させるために、2つの新技術、すなわち、“インタービュー動き予測”及び“インタービュー残差予測”が採用されている。インタービュー動き予測及びインタービュー残差予測は、現在コーディングされているビューと異なるビュー内の動きベクトル候補又は残差とCUを利用する。動き探索、動き推定、及び動きベクトル予測に関して使用されるビューは、現在コーディングされているビューと同じ時間インスタンスからのものであることができ又は異なる時間インスタンスからのものであることができる。これらの2つのコーディングツールをイネーブルにするためには、第1のステップは、ディスパリティベクトルを導き出すことである。
【0089】
[0097]MVCと同様に、3D−HEVCでは、異なるビューからの再構築されたビューコンポーネントに基づくインタービュー予測がイネーブルにされる。この場合は、共配置されたピクチャ内のTMVPが指し示す基準ピクチャのタイプ、及び、(HEVCにおいて0に等しいインデックスを有する)時間的マージング候補に関するターゲット基準ピクチャのそれは、異なることができる。例えば、1方の基準ピクチャは、インタービュー基準ピクチャ(差異に設定されたタイプ)であり、他方の基準ピクチャは、時間的基準ピクチャ(時間に設定されたタイプ)である。インタービュー基準ピクチャは、コーディング中の現在のビューからの他のビューからの基準ピクチャであることができる。このインタービュー基準ピクチャは、同じ時間インスタンス(例えば、同じPOC)からのもの又は異なる時間インスタンスからのものであることができる。時間的基準ピクチャは、現在コーディングされているCUと異なる時間インスタンスからであるが、同じビュー内にあるピクチャである。その他の例、例えば、現在の3D−HTMソフトウェア、では、時間的マージング候補に関するターゲット基準ピクチャは、0に設定すること、又は、現在コーディングされているPUに関して左が隣接しているPUの基準ピクチャインデックスの値に設定することができる。従って、時間的マージング候補に関するターゲット基準ピクチャは、0に等しくなることはできない。
【0090】
[0098]現在の3D−HTMでは、ディスパリティベクトルを導き出すために、近隣ブロックに基づくディスパリティベクトル(NBDV)の導出と呼ばれる方法が使用される。NBDVの導出は、空間的及び時間的近隣ブロックからのディスパリティ動きベクトルを利用する。NBDVの導出では、空間的又は時間的近隣ブロックの動きベクトルは、固定された検査順序で検査される。ディスパリティ動きベクトルが識別された、すなわち、動きベクトルがインタービュー基準ピクチャを指し示した時点で、検査プロセスが終了され、識別されたディスパリティ動きベクトルが戻されてディスパリティベクトルに変換され、それは、インタービュー動き予測及びインタービュー残差予測において使用される。ディスパリティベクトルは、2つのビュー間の変位であり、ディスパリティ動きベクトルは、一種の動きベクトルであり、2D映像コーディングで使用される時間的動きベクトルに類似しており、基準ピクチャが異なるビューからのものであるときに動き補償のために使用される。すべての予め定義された近隣ブロックを検査後にディスパリティ動きベクトルが見つからない場合は、ゼロのディスパリティベクトルがインタービュー動き予測のために使用され、対応するPUに関してインタービュー残差予測がディスエーブルにされる。
【0091】
[0099]NBDVに関して使用される空間的及び時間的近隣ブロックが次の節で説明され、検査順序によって後続される。ディスパリティベクトル導出のためには5つの空間的近隣ブロックが使用される。それらは、
図4に示されるのと同じブロックである。
【0092】
[0100]現在のビューからのすべての基準ピクチャが候補ピクチャとして取り扱われる。幾つかの例では、候補ピクチャの数は、現在の3D−HTMソフトウェア実装の場合と同じように、特定の数、例えば、4、に制限することができる。共配置された基準ピクチャが最初に検査され、候補ピクチャの残りの部分は、基準インデックス(refIdx)の昇順で検査される。基準ピクチャリスト0及び基準ピクチャリスト1の両方が利用可能であるときには、検査される第1の基準ピクチャリストは、collocated_from_10_flagによって決定される。1に等しいcollocated_from_10_flagは、共配置されたパーティションが入ったピクチャは基準ピクチャリスト0から導き出されるように指定し、そうでない場合は、ピクチャは、基準ピクチャリスト1から導き出される。collocated_from_10_flagが存在しないときには、それは、1に等しいと推論される。
【0093】
[0101]各候補ピクチャに関して、時間的近隣ブロックを導き出すために3つの候補領域が決定される。領域が2つ以上の16×16ブロックを網羅するときには、該領域内のすべての16×16ブロックがラスター走査順序で検査される。これらの3つの候補領域は、次のように定義される。
【0094】
CPU:共配置されたPU。現在のPU又は現在のCUの共配置された領域。
【0095】
CLCU:共配置された最大のコーディングユニット。最大コーディングユニット(LCU)は、現在のPUの共配置された領域を網羅する。
【0096】
BR:CPUの右最下部(BR)の4×4ブロック。
【0097】
[0102]候補ブロックに関する検査順序は、次のように定義することができる。空間的近隣ブロックが最初に検査され、時間的近隣ブロックによって後続される。
図4を参照した、5つの空間的近隣ブロックの検査順序は、A1、B1、B0、A0及びB2のように定義することができる。
【0098】
[0103]各候補ピクチャに関して、この候補ピクチャ内の3つの候補領域が順に検査される。3つの領域の検査順序は、第1の非基本ビューに関してはCPU、CLCU及びBRとして定義され、第2の非基本ビューに関してはBR、CPU、CLCUとして定義される。
【0099】
[0104]ディスパリティベクトル(DV)に基づき、利用可能な場合は、新しい動きベクトル候補(すなわち、インタービュー予測された動きベクトル)をAMVP及びスキップ/マージモード候補リストに加えることができる。インタービュー予測された動きベクトルは、利用可能な場合は、時間的動きベクトルである。
【0100】
[0105]スキップモードは、マージモードと同じ動きベクトル導出プロセスを有するため、本明細書において説明されるすべての技法がマージモード及びスキップモードの両方に適用される。マージ/スキップモードに関しては、インタービュー予測された動きベクトルは、次のステップによって導き出される。
【0101】
(1)同じアクセスユニットの基準ビュー内の現在のPU/CUの対応するブロックの位置がディスパリティベクトルによって突き止められる。
【0102】
(2)対応するブロックがイントラコーディングされず及びインタービュー予測されず、及び、それの基準ピクチャが、現在のPU/CUの同じ基準ピクチャリスト内の1つのエントリのPOC値に等しいそれを有する場合は、その動き情報(予測方向、基準ピクチャ、及び動きベクトル)は、POCに基づいて基準インデックスを変換後に、導き出されてインタービュー予測された動きベクトルになる。
【0103】
[0106]
図6は、インタービュー予測された動きベクトル候補の導出プロセスの例を示す。ディスパリティベクトルは、現在コーディングされているビュー(ビュー1又はV1)内の現在のPU140に対応する異なるビュー(例えば、ビュー0又はV0)内のブロック142を見つけることによって計算される。対応するブロック142がイントラコーディングされておらず及びインタービュー予測されておらず、及び、それの基準ピクチャが、現在のPU140の基準ピクチャリスト(例えば、
図6に示される、Ref0、List0;Ref0、List1;Ref1、List 1)内にあるPOC値を有する場合は、対応するブロック142に関する動き情報は、インタービュー予測された動きベクトルとして使用される。上記のように、基準インデックスは、POCに基づいてスケーリングすることができる。
【0104】
[0107]インタービュー予測された動きベクトルが利用可能でない(例えば、対応するブロック142がイントラコーディング又はインタービュー予測される)場合は、ディスパリティベクトルはインタービューディスパリティ動きベクトルに変換され、それは、AMVP又はマージ候補リストにおいて、利用可能なときのインタービュー予測された動きベクトルと同じ位置に加えられる。この文脈では、インタービュー予測された動きベクトル又はインタービューディスパリティ動きベクトルのいずれも“インタービュー候補”と呼ぶことができる。
【0105】
[0108]AMVPモードにおいて、ターゲット基準インデックスが時間的動きベクトルに対応する場合は、インタービュー予測された動きベクトルは、ディスパリティベクトルによって位置が突き止められた現在のPUの対応するブロック内の動きベクトルを検査することによって見つけられる。さらに、AMVPモードにおいては、ターゲット基準インデックスがディスパリティ動きベクトルに対応する場合は、インタービュー予測された動きベクトルは導き出されず、ディスパリティベクトルがインタービューディスパリティ動きベクトルに変換される。
【0106】
[0109]マージ/スキップモードでは、インタービュー予測された動きベクトルが利用可能である場合は、マージ候補リストにおいてすべての空間的及び時間的マージング候補の前に挿入される。インタービュー予測された動きベクトルが利用可能でない場合は、インタービューディスパリティ動きベクトルは、利用可能な場合は、同じ位置に挿入される。現在の3D−HTMソフトウェアでは、すべての空間的候補と異なる場合は、インタービュー予測された動きベクトル又はインタービュー予測ディスパリティ動きベクトルが、AMVP候補リスト内のすべての有効な空間的候補に後続する。
【0107】
[0110]HEVCに基づくマルチビュー/3DVコーディングにおける動きに関連するコーディングの現在の設計は、導き出されたディスパリティベクトルが正確さをしばしば欠き、その結果コーディング効率が低下するという事実に起因する次の問題を有する。
【0108】
[0111]1つの欠点は、第1の利用可能なディスパリティ動きベクトルから導き出されたディスパリティベクトルが選択され、その他の空間的/時間的近隣ブロックの他のディスパリティ動きベクトルのほうが正確であるということである。他の欠点は、不正確なディスパリティベクトルは不正確なインタービュー予測された動きベクトルに結び付くことがあるということである。他の欠点は、複数の動きベクトル候補がマージング候補リスト内に加えられたときにその結果として生じる。この場合は、冗長な(すなわち、同一の)動きベクトル候補が存在するおそれがある。
【0109】
[0112]他の欠点は、ディスパリティベクトルがマージリスト内に加えられるインタービューディスパリティ動きベクトルに変換されるときにその結果として生じる。インタービューディスパリティベクトルが正確でない場合は、インタービュー予測ディスパリティ動きベクトルが不正確なことがある。
【0110】
[0113]さらに他の欠点は、マージング候補を導き出すために空間的/時間的近隣ブロックが使用され、それらがインタービュー予測されるときにその結果として生じる。この場合は、動きベクトルの垂直成分は0に等しくすることができない。
【0111】
[0114]これらの欠点に鑑みて、本開示は、ディスパリティベクトルの精度、及び、インタービュー予測された動きベクトル及びインタービュー予測ディスパリティ動きベクトルの精度をさらに向上させるための様々な方法及び技法を提案する。
【0112】
[0115]本開示の第1の例では、映像符号器20及び映像復号器30は、複数のディスパリティベクトルを近隣ブロックから導き出すように構成し、インタービュー動き予測及び/又はインタービュー予測残差予測のための選択のためにより多くのディスパリティベクトルを提供することができる。すなわち、現在コーディングされているPUに関して1つのディスパリティベクトルを単に導き出すのではなく、現在のブロックに関してより多くのディスパリティベクトルが導き出される。
【0113】
[0116]一例では、NBDVプロセスにおいて近隣ブロックの第1の識別されたディスパリティ動きベクトルを戻す代わりに、複数の識別されたディスパリティ動きベクトルを戻すことができる。追加のディスパリティベクトルを導き出すことは、より正確なディスパリティベクトルが選択される可能性を増大させる。この例のさらなる態様では、複数のディスパリティ動きベクトルが導き出されるときには、複数のディスパリティベクトルのうちのいずれがインタービュー動き予測のために及び/又はインタービュー残差予測のために使用されるかを示すためにPU又はCUに関してインデックスをシグナリングすることができる。映像復号器30では固定された数のディスパリティベクトルを指定することができる。他の例では、上記の技法は、AMVP又はマージモードのうちの1つのみに適用することができる。他の例では、上記の技法は、AMP及びマージモードの両方に適用される。
【0114】
[0117]本開示の他の例では、複数のディスパリティ動きベクトルが導き出されるときには、マージ及び/又はAMVP候補リスト内に加えられるより多くのインタービュー予測された動きベクトル候補及び/又はインタービューディスパリティ動きベクトルを変換するために複数のディスパリティベクトルを使用することができる。一例では、(例えば、上述されるように、近隣ブロックからの)追加のディスパリティベクトルは、すべてインタービューディスパリティ動きベクトルに変換される。第1のディスパリティベクトルは、現在のディスパリティベクトルと同じように使用される。他の例では、追加のディスパリティベクトルの各々は、最初に、インタービュー予測された動きベクトル候補に変換され、それが利用不能である場合は(例えば、対応するブロックがイントラコーディング又はインタービュー予測される場合は)、ディスパリティベクトルは、インタービュー予測ディスパリティ動きベクトルに変換される。第1のディスパリティベクトルは、現在のディスパリティベクトルと同じように使用される。
【0115】
[0118]本開示の他の例では、1つのみのディスパリティベクトルが近隣ブロックから導き出されるときでさえも、2つ以上のインタービュー予測された動きベクトル候補及び/又はディスパリティ動きベクトルを、マージ及び/又はAMVP候補リスト内に加えることができる。この例の1つの代替では、基本ビューの基準ブロックがディスパリティベクトルによって識別された後に、インタービュー予測された動きベクトル候補が基準ブロックから生成されたのと同じ方法でインタービュー予測された動きベクトル候補を生成するために基準ブロックを指し示すディスパリティベクトルが入ったPUの左PU及び/又は右PUが使用される。この例の他の代替では、インタービュー予測された動きベクトル候補が導き出された後に、動きベクトルは、基準ピクチャリスト0又は基準ピクチャリスト1のいずれかに対応する各動きベクトルに関して4及び/又は−4だけ(すなわち、1つのピクセルに対応する)水平にシフトされる。この例の他の代替では、ディスパリティベクトルによって変換されたディスパリティ動きベクトルからシフトされたディスパリティ動きベクトルがマージ及び/又はAMVP候補リストに含められる。他の代替例では、シフトされた値は、w及び/又は−wに等しく、ここで、wは、基準ブロックが入っているPUの幅である。他の代替例では、シフトされた値は、w及び/又は−wに等しく、ここで、wは、現在のPUの幅である。
【0116】
[0119]本開示の他の例では、1つだけのディスパリティベクトルが近隣ブロックから導き出されたときで、インタービュー予測された動きベクトル候補が加えられた後でさえも、ディスパリティベクトルは、インタービューディスパリティ動きベクトルに変換し、マージ及び/又はAMVP候補リスト内にさらに加えることができる。先行のマージ/AMVP候補リスト構築技法では、インタービューディスパリティ動きベクトル候補は、候補リストには含まれていなかった。
【0117】
[0120]本開示の他の例では、上記の方法のうちのいずれかによって加えられたMERGE及び/又はAMVP候補は、各々の候補リストにおいて、所定のピクチャタイプに関する(又はピクチャタイプにかかわらず)次の幾つかの位置のうちの1つに挿入される。一例では、候補は、第1のディスパリティベクトルによって導き出されたインタービュー予測された動きベクトル候補又はインタービューディスパリティ動きベクトル候補の後に、従って、すべての空間的候補の前に、挿入される。他の例では、候補は、すべての空間的及び時間的候補、及び第1のディスパリティベクトルによって導き出された候補の後に、従って、結合された候補の前に、挿入される。他の例では、候補は、すべての空間的候補の後、従って、時間的候補の前、に挿入される。他の例では、候補は、すべての候補の前に挿入される。
【0118】
[0121]本開示の他の例では、新しく加えられた動きベクトル候補の各々に関してプルーニング(pruning)を適用することができ、第1のディスパリティベクトルから導き出された候補さえも含む。プルーニングは、候補が冗長(例えば、他の候補と同一である)場合は、それを動きベクトル候補リストから取り除くことを含む。プルーニングに関して行われる比較は、すべての候補の間で行われるか、又は、ディスパリティベクトルに基づく新しく加えられた候補と他のタイプの候補(例えば、空間的候補、時間的候補、等)との間で行うことができる。この例の1つの代替では、選択性の空間的候補(例えば、A1、B1)のみが、プルーニングのために新しく導き出された動きベクトル候補と比較され、第1のディスパリティベクトルから導き出された候補を含む、さらに、第1のディスパリティベクトルから導き出された候補を含む、新しく加えられた動きベクトル候補は、重複を避けるために互いに比較される。
【0119】
[0122]本開示の他の例では、動きベクトル候補を導き出すために空間的/時間的近隣ブロックからの動き情報が使用され、及び、動きベクトルがディスパリティ動きベクトルであるときに、動きベクトルの垂直成分をマージ及び/又はAMVPモードに関して強制的に0に設定することができる。
【0120】
[0123]以下の節では、提案される技法の一部の実装例が説明される。この実装例では、1までのみの等しくないディスパリティベクトルを導き出すことができる。第1のディスパリティベクトルは、現在のディスパリティベクトルと同様に使用される。第2のディスパリティベクトルは、インタービューディスパリティ動きベクトルに変換される。
【0121】
[0124]複数のディスパリティベクトルの導出は、NBDVと類似しており、同じ近隣ブロック検査順序をする。映像符号器20及び/又は映像復号器30が第1のディスパリティ動きベクトルを識別した後は、1つの新しい等しくないディスパリティ動きベクトル(すなわち、第1のディスパリティベクトルと異なる値を有するディスパリティベクトル)が見つかるまで検査プロセスが継続する。新しいディスパリティ動きベクトルの数がある値Nを超えるときには、新しい等しくないディスパリティベクトルが見つからないときでも、追加のディスパリティ動きベクトルは導き出されない。Nは、1よりも大きい整数値、例えば、10、であることができる。
【0122】
[0125]1つの代替実装においては、(検査順序で等しくないディスパリティベクトルに先行する)第2の利用可能なディスパリティ動きベクトルが第1のディスパリティ動きベクトルに等しい場合は、映像符号器20は、フラグ(すなわち、dupFlag)を1に設定し、そうでない場合は、それは0に設定される。
【0123】
[0126]第1のディスパリティベクトルから第1の動きベクトル候補を導き出すためのプロセスは、現在の3D−HEVCにおける場合と同じである。しかしながら、第2のディスパリティベクトルは、インタービューディスパリティ動きベクトル(第2の新しい候補)に変換され、候補リストにおいて、第1のディスパリティベクトルから導き出された第1の候補の直後、従って、すべての空間的候補の前に、加えられる。
【0124】
[0127]他の例では、dugFlagが0に等しい場合は、第2のディスパリティベクトルは、インタービューディスパリティ動きベクトル(第2の新しい候補)に変換され、候補リストにおいて、第1のディスパリティベクトルから導き出された第1の候補の直後、従って、すべての空間的候補の前に、加えられる。dugFlagが1に等しい場合は、次が適用される。
【0125】
−第1の候補がインタービュー予測された動きベクトル候補である場合は、第1のディスパリティベクトルは、第2の候補に変換され、それは、インタービューディスパリティ動きベクトルである。
【0126】
−そうでない場合は、第2のディスパリティベクトルが第2の候補に変換され、それは、インタービューディスパリティ動きベクトルである。
【0127】
[0128]動きベクトル候補リスト内への追加の動きベクトル候補の挿入は、次のようにして完遂させることができる。第1の候補及び第2の候補の両方が、A1及びB1から導き出された空間的候補と比較される(
図4参照)。A1又はB1からの空間的候補が、これらの2つの新しい候補のうちのいずれかと等しい場合は、空間的候補は、候補リストから取り除かれる。代替として、ディスパリティベクトルに基づく2つの新しい候補の両方が、候補リスト内の第1の2つの空間的候補と比較される。
【0128】
[0129]本開示の他の例では、1つのディスパリティベクトルのみを導き出すことができる。しかしながら、スキップ/マージモードに関してはディスパリティベクトルに基づいてより多くの候補を導き出すことができる。
【0129】
[0130]第1のディスパリティベクトルの変換は、次のようにして完遂させることができる。ディスパリティベクトルに基づいて、インタービュー予測された動きベクトル(すなわち、第1のインタービュー予測候補、又は第1のIVC)が利用可能である場合は、スキップ/マージモード候補リストに加えられる。第1のIVCの生成プロセスは、現在の3D−HEVC設計と同じであることができる。さらに、ディスパリティベクトルは、インタービューディスパリティ動きベクトル(第2のIVCと時々呼ばれる)に変換され、候補リストにおいて、該当する場合の第1のインタービュー候補の後、及びすべての空間的候補の前に、さらに加えられる。
【0130】
[0131]近隣PUからのインタービュー候補は、次のように取り扱うことができる。基本ビューの基準ブロックがディスパリティベクトルによって識別された後に、現在の3D−HEVC仕様におけるインタービュー予測された動きベクトル候補の生成と同様の方法でインタービュー予測された動きベクトル候補を生成するために基準ブロックが入ったPUの左PUが使用される。さらに、本開示の技法により、インタービュー予測された動きベクトル候補が利用不能である場合は、インタービューディスパリティ動きベクトル候補が導き出され、ディスパリティベクトルは、水平成分における左PUの幅が減じられる。インタービュー予測された動きベクトル候補又は左PUから導き出されたインタービューディスパリティ動きベクトル(すなちわ、左PUIからのインタービュー候補、又はIVCLPU)が、候補リストにおいてすべての空間的候補の後に挿入される。この追加の候補は、時間的候補の前に挿入される。
【0131】
[0132]さらに、現在の3D−HEVC仕様におけるインタービュー予測された動きベクトル候補の生成と同様の方法でインタービュー予測された動きベクトル候補を生成するために基準ブロックが入ったPUの右PUを使用することができる。さらに、本開示の技法により、インタービュー予測された動きベクトル候補が利用可能でない場合は、インタービューディスパリティ動きベクトル候補が導き出され、ディスパリティベクトルは、水平成分における基準ブロックが入ったPUの幅が加えられる。インタービュー予測された動きベクトル候補又は右PUから導き出されたインタービューディスパリティ動きベクトル(すなちわ、左PUIからのインタービュー候補、又はIVCRPU)が、候補リストにおいてすべての空間的マージング候補及び左PUから導き出されたインタービュー候補の後に挿入される。この追加の候補は、時間的候補の前及びIVCLPUの後に挿入される。
【0132】
[0133]他の例では、利用可能な場合の2つの新しく加えられたインタービュー候補(すなわち、IVCLPU及びIVCRPU)の両方が、候補リストにおいて時間的候補の後に挿入される。他の例では、IVCLPU及びIVCRPUのうちの1つのみが候補リスト内に加えられる。
【0133】
[0134]インタービュー候補に基づく追加のプルーニングプロセスを次のようにして完遂させることができる。A1又はB1から導き出された各空間的候補が、第1のIVC及び第2のIVC(利用可能な場合)とそれぞれ比較される。A1又はB1からの空間的候補がこれらの2つの候補のうちのいずれかと等しい場合は、それは、マージ候補リストから取り除かれる。さらに、IVCLPUを第1のIVC、第2のIVC、及びA1又はB1から導き出された空間的候補とそれぞれ比較することができる。IVCLPUがこれらの候補のうちのいずれかと等しい場合は、それは、候補リストから取り除かれる。さらに、IVCRPUは、第1のIVC、第2のIVC、A1又はB1からそれぞれ導き出された空間的候補、及びIVCLPUとそれぞれ比較することができる。IVCRPUがこれらの候補のうちのいずれかと等しい場合は、それは、候補リストから取り除かれる。
【0134】
[0135]本開示によりプルーニングする他の例では、2つの候補が同じタイプを有する(例えば、それらはディスパリティ動きベクトルである又はそれらは時間的動きベクトルである)ときのみに、それらは比較される。例えば、IVCLPUがインタービュー予測された動きベクトルである場合は、IVCLPUと第1のIVCとの間の比較は必要ない。
【0135】
[0136]本開示の他の例では、1までのみの等しくないディスパリティベクトルを導き出すことができる。第1のディスパリティベクトルは、上述される技法を用いて第1のIVC、第2のIVC、IVCLPU及びIVCRPUを導き出すために使用される。第2のディスパリティベクトルは、インタービューディスパリティ動きベクトルに変換される。複数のディスパリティベクトルの導出は、上述される技法により完遂させることができる。第1のディスパリティベクトルを変換するための及び左及び右PUからより多くのインタービュー候補を導き出すための上述される技法と同じ技法を利用することができる。
【0136】
[0137]第2のディスパリティベクトルの変換は、次のようにして完遂させることができる。第2のディスパリティベクトルは、インタービューディスパリティ動きベクトル(すなわち、第3のIVC)に変換し、候補リストにおいて、第1のIVC及び第2のIVC(利用可能な場合)の直後、従って、すべての空間的候補の前、に加えることができる。インタービュー候補に基づく追加のプルーニングプロセスを次のように行うことができる。A1又はB1から導き出された各空間的候補が、第1のIVC、第2のIVC、及び第3のIVC(利用可能な場合)とそれぞれ比較される。A1又はB1からの空間的候補が、これらの3つの候補のうちのいずれかと等しい場合は、それは、候補リストから取り除かれる。
【0137】
[0138]一例では、IVCLPUが第1のIVC、第2のIVC、及び第3のIVC、及びA1又はB1から導き出された空間的候補とそれぞれ比較される。IVCLPUがこれらの3つの候補のうちのいずれかと等しい場合は、それは、候補リストから取り除かれる。
【0138】
[0139]他の例では、IVCRPUが第1のIVC、第2のIVC、第3のIVC、A1又はB1から導き出された空間的候補、及びIVCLPUとそれぞれ比較される。IVCRPUがこれらの3つの候補のうちのいずれかと等しい場合は、それは、候補リストから取り除かれる。
【0139】
[0140]本開示によるプルーニングの他の例では、2つの候補が同じタイプを有する(例えば、それらはディスパリティ動きベクトルである又はそれらは時間的動きベクトルである)ときのみに、それらは比較される。例えば、IVCLPUがインタービュー予測された動きベクトルである場合は、IVCLPUと第1のIVCとの間の比較は必要ない。
【0140】
[0141]
図7は、本開示の技法を実装することができる映像符号器20の例を示したブロック図である。映像符号器20は、映像スライス、例えば、テクスチャ画像及び深度マップの両方のスライス、内の映像ブロックのイントラ及びインターコーディング(インタービューコーディングを含む)を行うことができる。テクスチャ情報は、概して、ルミナンス(輝度又は強度)情報と、クロミナンス(色、例えば、青い色合い及び赤い色合い)情報と、を含む。概して、映像符号器20は、ルミナンススライスに関するコーディングモードを決定し、及び、(例えば、分割情報、イントラ予測モード選択、動きベクトル、等を再使用することによって)クロミナンス情報を符号化するためにルミナンス情報をコーディングすることからの予測情報を再使用することができる。イントラコーディングは、所定の映像フレーム又はピクチャ内の映像の空間的冗長性を低減させる又は除去するために空間的予測に依存する。インターコーディングは、映像シーケンスの隣接するフレーム又はピクチャ内の映像の空間的冗長性を低減させる又は除去するために時間的予測に依存する。イントラモード(Iモード(登録商標))は、幾つかの空間に基づくコーディングモードのうちのいずれかを意味することができる。インターモード、例えば、単一方向性予測(Pモード)又は2予測(Bモード)、は、幾つかの時間に基づくコーディングモードのうちのいずれかを意味することができる。
【0141】
[0142]
図7において示されるように、映像符号器20は、符号化されるべき映像フレーム(例えば、テクスチャ画像又は深度マップ)内の現在の映像ブロック(すなわち、映像データのブロック、例えば、ルミナンスブロック、クロミナンスブロック、又は深度ブロック)を受信する。
図7の例において、映像符号器20は、モード選択ユニット40と、基準フレームメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56と、を含む。モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、分割ユニット48と、を含む。映像ブロック再構築に関して、映像符号器20は、逆量子化ユニット58と、逆変換ユニット60と、加算器62と、も含む。再構築された映像からブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするためにデブロッキングフィルタ(
図2は示されていない)を含めることもできる。希望される場合は、デブロッキングフィルタは、典型的には、加算器62の出力をフィルタリングする。デブロッキングフィルタに加えて追加のフィルタ(インループ又はポストループ)を使用することもできる。簡潔さを目的として、該フィルタは示されていないが、希望される場合は、(インループフィルタとして)加算器50の出力をフィルタリングすることができる。
【0142】
[00143]符号化プロセス中に、映像符号器20は、コーディングされるべき映像フレーム又はスライスを受信する。フレーム又はスライスは、複数の映像ブロックに分割することができる。動き推定ユニット42及び動き補償ユニット44は、時間的予測を提供するために1つ以上の基準フレーム内の1つ以上のブロックに関して受信された映像ブロックのインター予測コーディングを行う。イントラ予測ユニット46は、代替として、空間的予測を提供するためにコーディングされるべきブロックと同じフレーム又はスライス内の1つ以上の近隣ブロックに関して受信された映像ブロックのイントラ予測コーディングを行うことができる。映像符号器20は、例えば、映像データの各ブロックに関して該当するコーディングモードを選択するために複数のコーディングパス(coding pass)を行うことができる。
【0143】
[0144]さらに、分割ユニット48は、以前のコーディングパスにおける以前の分割方式の評価に基づいて、映像データのブロックをサブブロックに分割することができる。例えば、分割ユニット48は、最初にフレーム又はスライスをLCUに分割し、及び、レート−歪み解析(例えば、レート−歪み最適化)に基づいて各々のLCUをサブCUに分割することができる。モード選択ユニット40は、サブCUへのLCUの分割を示す四分木データ構造をさらに生成することができる。四分木の葉ノードCUは、1つ以上のPUと、1つ以上のTUと、を含むことができる。
【0144】
[0145]モード選択ユニット40は、例えば、誤り結果に基づいてコーディングモードのうちの1つ、イントラ又はインター、を選択することができ、及び、結果的に得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するために加算器50に及び基準フレームとしての使用ための符号化されたブロックを再構築するために加算器62に提供する。モード選択ユニット40は、構文要素、例えば、動きベクトル、イントラモードインジケータ、分割情報、及びその他の構文情報、もエントロピー符号化ユニット56に提供する。
【0145】
[0146]動き推定ユニット42及び動き補償ユニット44は、高度に一体化することができるが、概念上の目的のために別々に示されている。動き推定は、動き推定ユニット42によって行われ、映像ブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム(又はその他のコーディングされたユニット)内のコーディング中の現在のブロックに対する基準フレーム(又はその他のコーディングされたユニット)内の予測ブロックに対する現在の映像フレーム又はピクチャ内の映像ブロックのPUの変位を示すことができる。
【0146】
[0147]予測ブロックは、ピクセル差分の点でコーディングされるべき映像ブロックのPUに密接にマッチングすることが判明しているブロックであり、差分絶対値和(SAD)、差分二乗和(SSD)、又はその他の差分メトリックによって決定することができる。幾つかの例では、映像符号器20は、基準フレームメモリ64に格納された基準ピクチャの整数未満のピクセル位置に関する値を計算することができる。例えば、映像符号器20は、基準ピクチャの1/4ピクセル位置、1/8ピクセル位置、又はその他の分数のピクセル位置の値を内挿することができる。従って、動き推定ユニット42は、完全ピクセル位置及び分数ピクセル位置に関する動き探索を行い、分数のピクセル精度を有する動きベクトルを出力することができる。
【0147】
[0148]動き推定ユニット42は、インターコーディングされたスライス内の映像ブロックのPUの位置を基準ピクチャの予測ブロックの位置と比較することによってそのPUに関する動きベクトルを計算する。基準ピクチャは、第1の基準ピクチャリスト(リスト0)又は第2の基準ピクチャリスト(リスト1)から選択することができ、それらの各々は、基準フレームピクチャ64に格納された1つ以上の基準ピクチャを識別する。基準ピクチャリストは、本開示の技法を用いて構築することができる。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56及び動き補償ユニット44に送信する。
【0148】
[0149]動き補償は、動き補償ユニット44によって行われ、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを含むことができる。繰り返すと、幾つかの例では、動き推定ユニット42及び動き補償ユニット44は、機能的に一体化することができる。現在の映像ブロックのPUに関する動きベクトルを受信した時点で、動き補償ユニット44は、基準ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックの位置を突き止めることができる。加算器50は、後述されるように、コーディング中の現在の映像ブロックのピクセル値から予測ブロックのピクセル値を減じることによって残差映像ブロックを形成し、ピクセル差分値を形成する。概して、動き推定ユニット42は、ルマコンポーネントに関する動き推定を行い、動き補償ユニット44は、クロマコンポーネント及びルマコンポーネントの両方に関してルマコンポーネントに基づいて計算された動きベクトルを使用する。このようにして、動き補償ユニット44は、クロマコンポーネントをコーディングするためにルマコンポーネントに関して決定された動き情報を再使用することができ、従って、動き推定ユニット42は、クロマコンポーネントに関する動き探索を行う必要がない。モード選択ユニット40は、映像スライスの映像ブロックを復号する際に映像復号器30によって使用するために映像ブロック及び映像スライスと関連付けられた構文要素を生成することもできる。
【0149】
[0150]イントラ予測ユニット46は、上述されるように、動き推定ユニット42及び動き補償ユニット44によって行われるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。幾つかの例では、イントラ予測ユニット46は、例えば、別々の符号化パス(encoding pass)中に、様々なイントラ予測モードを用いて現在のブロックを符号化することができ、及び、イントラ予測ユニット46(又は、幾つかの例では、モード選択ユニット40)は、使用すべき適当なイントラ予測モードを試験されたモードから選択することができる。
【0150】
[0151]例えば、イントラ予測ユニット46は、様々な試験されたイントラ予測モードに関するレート−歪み解析を用いてレート−歪み値を計算すること、及び、試験されたモードの中で最良のレート−歪み特性を有するイントラ予測モードを選択することができる。レート−歪み解析は、概して、符号化されたブロックを生成するために符号化されたブロックとオリジナルの符号化されないブロックとの間の歪み(又は誤り)の量、及び符号化されたブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測モジュール46は、いずれのイントラ予測モードがブロックに関する最良のレート−歪み値を呈するかを決定するために様々な符号化されたブロックに関する歪み及びレートから比率を計算することができる。
【0151】
[0152]ブロックに関するイントラ予測モードを選択後は、イントラ予測ユニット46は、ブロックに関する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に提供することができる。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化することができる。映像符号器20は、送信されたビットストリーム内に構成データを含めることができ、それらは、複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)、様々なブロックに関するコンテキクストを符号化する定義、最も可能性の高いイントラ予測モードのインディケーション、イントラ予測モードインデックステーブル、及び各コンテキストに関して使用すべき修正されたイントラ予測モードインデックステーブルを含むことができる。
【0152】
[0153]映像符号器20は、モード選択ユニット40からの予測データをコーディング中のオリジナルの映像ブロックから減じることによって残差映像ブロックを形成する。加算器50は、この減算動作を行うコンポーネント又はコンポーネント(複数)を表す。変換処理ユニット52は、変換、例えば、離散コサイン変換(DCT)又は概念的に類似の変換、を残差ブロックに適用し、残差変換係数値を備える映像ブロックを生成する。変換処理ユニット52は、DCTに概念的に類似するその他の変換を行うことができる。ウェーブレット変換、整数変換、サブバンド変換又はその他のタイプの変換も使用可能である。いずれの場合も、変換処理ユニット52は、残差ブロックに変換を適用し、残差変換係数のブロックを生成する。[0154]変換は、残差情報をピクセル領域から変換領域、例えば、周波数領域、に変換することができる。変換処理ユニット52は、その結果得られた変換係数を量子化ユニット54に送信することができる。量子化ユニット54は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、係数の一部又は全部と関連付けられたビット深度を低減させることができる。量子化度は、量子化パラメータを調整することによって変更することができる。幾つかの例では、量子化ユニット54は、量子化された変換係数を含む行列の走査を行うことができる。代替として、エントロピー符号化ユニット56は、走査を行うことができる。
【0153】
[0155]量子化に引き続き、エントロピー符号化ユニット56は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔分割エントロピー(PIPE)コーディング、又はその他のエントロピー符号化技法を実行することができる。コンテキストに基づくエントロピーコーディングの場合は、コンテキストは、近隣ブロックに基づくことができる。エントロピー符号化ユニット56によるエントロピー符号化に引き続き、符号化されたビットストリームは、他のデバイス(例えば、映像復号器30)に送信すること、又は、のちの送信又は取り出しのためにアーカイブに保存することができる。
【0154】
[0156]逆量子化ユニット58及び逆変換ユニット60は、例えば、基準ブロックとしてののちの使用のためにピクセル領域において残差ブロックを再構築するために逆量子化及び逆変換をそれぞれ適用する。動き補償ユニット44は、基準フレームピクチャ64のフレームのうちの1つの予測ブロックに残差ブロックを加えることによって基準ブロックを計算することができる。動き補償ユニット44は、動き推定における使用のために整数未満のピクセル値を計算するために1つ以上の内挿フィルタを再構築された残差ブロックに適用することもできる。加算器62は、基準フレームピクチャ64での格納のための再構築された映像ブロックを生成するために動き補償ユニット44によって生成された動き補償された予測ブロックに再構築された残差ブロックを加える。再構築された映像ブロックは、後続する映像フレーム内のブロックをインターコーディングするための基準ブロックとして動き推定ユニット42及び動き補償ユニット44によって使用することができる。
【0155】
[0157]映像符号器20は、ルミナンスコンポーネントをコーディングするためのコーディング技法に実質的に類似する方法で深度マップを符号化することができ、ただし、対応するクロミナンスコンポーネントは存在しない。例えば、イントラ予測ユニット46は、深度マップのブロックをイントラ予測することができ、動き推定ユニット42及び動き補償ユニット44は、深度マップのブロックをイントラ予測することができる。しかしながら、上述されるように、深度マップのイントラ予測中に、動き補償ユニット44は、深度範囲の差分及びそれらの深度範囲に関する精度値に基づいて基準深度マップの値をスケーリング(すなわち、調整)することができる。例えば、現在の深度マップ及び基準深度マップ内の異なる最大深度値が同じ実世界の深度に対応する場合は、映像符号器20は、予測目的のために、基準深度マップの最大深度値が現在の深度マップ内の最大深度値と等しくなるようにスケーリングすることができる。さらに加えて又は代替で、映像符号器20は、例えば、インタービュー予測と実質的に類似する技法を用いて、ビュー合成予測のためのビュー合成ピクチャを生成するために更新された深度範囲値及び精度値を使用することができる。
【0156】
[0158]
図8は、本開示の技法を実装することができる映像復号器30の例を示したブロック図である。
図8の例では、映像復号器30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、逆量子化ユニット76と、逆変換ユニット78と、基準フレームメモリ82と、加算器80と、を含む。映像復号器30は、幾つかの例では、映像符号器20に関して説明された符号化パスと概して相互的な復号パスを行うことができる(
図7)。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成することができ、他方、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成することができる。
【0157】
[0159]復号プロセス中には、映像復号器30は、符号化された映像スライスの映像ブロックを表す符号化された映像ビットストリーム及び関連付けられた構文要素を映像符号器20から受信する。映像復号器30のエントロピー復号ユニット70は、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及びその他の構文要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトル及びその他の構文要素を動き補償ユニット72に転送する。映像復号器30は、映像スライスレベル及び/又は映像ブロックレベルで構文要素を受信することができる。
【0158】
[0160]映像スライスがイントラコーディングされた(I)スライスとしてコーディングされるときには、イントラ予測ユニット74は、シグナリングされたイントラ予測モード及び現在のフレーム又はピクチャの以前に復号されたブロックからのデータに基づいて現在の映像スライスの映像ブロックに関する予測データを生成することができる。映像フレームがインターコーディングされた(すなわち、B、P又はGPB)スライスとしてコーディングされるときには、動き補償ユニット72は、動きベクトル及びエントロピー復号ユニット70から受信されたその他の構文要素に基づいて現在の映像スライスの映像ブロックに関する予測ブロックを生成する。予測ブロックは、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つから生成することができる。映像復号器30は、基準フレームピクチャ82に格納された基準ピクチャに基づいて本開示の技法を用いて、基準フレームリスト、リスト0及びリスト1、を構築することができる。動き補償ユニット72は、動きベクトル及びその他の構文要素を構文解析することによって現在の映像スライスの映像ブロックに関する予測情報を決定し、復号中の現在の映像ブロックに関する予測ブロックを生成するために予測情報を使用する。例えば、動き補償ユニット72は、映像スライス、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)、スライスに関する基準ピクチャリストのうちの1つ以上に関する構築情報、スライスの各インター符号化された映像ブロックに関する動きベクトル、スライスの各インターコーディングされた映像ブロックに関する動きベクトル、スライスの各インター符号化された映像ブロックに関するインター予測状態、及び現在の映像スライス内の映像ブロックを復号するためのその他の情報、の映像ブロックをコーディングするために使用される予測モード(例えば、イントラ又はインター予測)を決定するために受信された構文要素の一部を使用する。
【0159】
[0161]動き補償ユニット72は、内挿フィルタに基づいて内挿を行うこともできる。動き補償ユニット72は、基準ブロックの整数未満のピクセルに関する内挿値を計算するために映像ブロックの符号化中に映像符号器20によって使用される内挿フィルタを使用することができる。この場合は、動き補償ユニット72は、受信された構文要素から映像符号器20によって使用される内挿フィルタを決定すること及び予測ブロックを生成するために内挿フィルタを使用することができる。
【0160】
[0162]逆量子化ユニット76は、ビットストリーム内で提供され、エントロピー復号ユニット70によって復号された量子化された変換係数を逆量子化する、すなわち、量子化解除する。逆量子化プロセスは、量子化度、そして同様に、適用されるべき逆量子化度、を決定するために映像スライス内の各映像ブロックに関して映像復号器30によって計算された量子化パラメータQP
Yを使用することを含むことができる。
【0161】
[0163]逆変換ユニット78は、ピクセル領域において残差ブロックを生成するために逆変換、例えば、逆DCT、逆整数変換、又は概念的に類似する逆変換プロセスを変換係数に適用する。
【0162】
[0164]動き補償ユニット72が動きベクトル及びその他の構文要素に基づいて現在の映像ブロックに関する予測ブロックを生成した後は、映像復号器30は、逆変換ユニット78からの残差ブロックを、動き補償ユニット72によって生成された対応する予測ブロックと加算することによって復号された映像ブロックを形成する。加算器90は、この加算動作を行うコンポーネント又はコンポーネント(複数)を表す。希望される場合は、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用することもできる。ピクセル遷移を平滑化するか、又は映像品質を向上するために(コーディングループ内又はコーディングループ後の)その他のループフィルタを使用することもできる。所定のフレーム又はピクチャ内の復号された映像ブロックは、基準ピクチャメモリ82に格納され、それは、後続する動き補償のために使用される基準ピクチャを格納する。基準フレームメモリ82は、表示装置、例えば、
図1の表示装置32、でののちの提示のために復号された映像も格納する。
【0163】
[0165]
図9は、本開示の技法による符号化プロセス例を示したフローチャートである。
図9の技法は、映像符号器20の1つ以上の構造上のユニットによって実装することができる。映像符号器20は、映像符号器20は、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、及び、ディスパリティベクトルを1つ以上のインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補に変換する(904)ように構成することができ、ディスパリティベクトルは、現在のブロックに関する近隣ブロックから導き出される(902)。
【0164】
[0166]映像符号器20は、1つ以上のインタービュー予測された動きベクトル候補及び1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加えるようにさらに構成することができる(906)。動きベクトル予測モードは、スキップモード、マージモード、及びAMVPモードのうちの1つであることができる。本開示の一例では、映像符号器20は、インタービュー予測された動きベクトル及びインタービューディスパリティ動きベクトルのうちの加えられた1つ以上を2つ以上の選択されたマージング候補と比較することに基づいて候補リストをプルーニングするように構成することができる(908)。映像符号器20は、候補リストを用いて現在のブロックを符号化するようにさらに構成することができる(910)。本開示の一例では、映像符号器20は、インタービュー動き予測及びインタービュー残差予測のうちの1つを用いて現在のブロックを符号化するように構成することができる。
【0165】
[0167]
図10は、本開示の技法による符号化プロセス例を示したフローチャートである。
図10の技法は、映像符号器20の1つ以上の構造上のユニットによって実装することができる。映像符号器20は、現在のブロックに関する1つ以上のディスパリティベクトル、及び、基準ビュー内の1つ以上の基準ブロックの位置を突き止めるための1つのディスパリティベクトルを導き出すように構成することができ、ディスパリティベクトルは、現在のブロックに関する近隣ブロックから導き出され(1002)、1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められる(1004)。
【0166】
[0168]映像符号器20は、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加えるようにさらに構成することができ、加えられた動き情報は、1つ以上のインタービュー動きベクトル候補である(1006)。映像符号器20は、ディスパリティベクトルを1つ以上の値だけシフトすることによって1つ以上のインタービューディスパリティ動きベクトル候補を候補リストに加えるようにさらに構成することができる(1007)。本開示の幾つかの例では、映像符号器20は、候補リストをプルーニングするようにさらに構成することができる(1008)。本開示の一例では、候補リストをプルーニングすることは、1つ以上の加えられたインタービュー動きベクトル候補を空間的マージング候補と比較することに基づく。本開示の他の例では、候補リストをプルーニングすることは、シフトされたディスパリティベクトルに基づいて、1つ以上の加えられたインタービュー動きベクトル候補をシフトすることなしにインタービュー動きベクトル候補と比較することに基づく。
【0167】
[0169]本開示の一例では、映像符号器20は、1つ以上のディスパリティベクトルを−4乃至4の値だけ水平にシフトするようにさらに構成することができ、従って、シフトされたディスパリティベクトルは、スライス内で固定される。本開示の他の例では、映像符号器20は、基準ブロックが入った予測ユニット(PU)の幅に基づいてある値だけ1つ以上のディスパリティベクトルをシフトするようにさらに構成することができる。本開示の他の例では、映像符号器20は、1つ以上のディスパリティベクトルを現在のブロックの幅に基づいてある値だけシフトするようにさらに構成することができる。
【0168】
[0170]映像符号器20は、候補リストを用いて現在のブロックを符号化するようにさらに構成することができる(1110)。本開示の一例では、現在のブロックを符号化することは、インタービュー動き予測を用いて現在のブロックを符号化すること及び/又はインタービュー残差予測を用いて現在のブロックを符号化することのうちの1つを備える。
【0169】
[0171]
図11は、本開示の技法による復号プロセス例を示したフローチャートである。
図11の技法は、映像復号器30の1つ以上の構造上のユニットによって実装することができる。映像復号器30は、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、及び、ディスパリティベクトルを1つ以上のインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補に変換するように構成することができ(1104)、ディスパリティベクトルは、現在のブロックに関する近隣ブロックから導き出される(1102)。
【0170】
[0172]映像復号器30は、1つ以上のインタービュー予測された動きベクトル候補及び1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加えるようにさらに構成することができる(1106)。動きベクトル予測モードは、スキップモード、マージモード、及びAMVPモードのうちの1つであることができる。本開示の一例では、映像復号器30は、インタービュー予測された動きベクトル及びインタービューディスパリティ動きベクトルのうちの加えられた1つ以上を2つ以上の選択されたマージング候補と比較することに基づいて候補リストをプルーニングするように構成することができる(1108)。映像復号器30は、候補リストを用いて現在のブロックを復号するようにさらに構成することができる(1110)。本開示の一例では、映像復号器30は、インタービュー動き予測及びインタービュー残差予測のうちの1つを用いて現在のブロックを復号するように構成することができる。
【0171】
[0173]
図12は、本開示の技法による復号プロセス例を示したフローチャートである。
図12の技法は、映像復号器30の1つ以上の構造上のユニットによって実装することができる。映像復号器30は、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し(1202)、及び、基準ビュー内の1つ以上の基準ブロックの位置を突き止めるために1つのディスパリティベクトルを使用するように構成することができ、ディスパリティベクトルは、現在のブロックに関する近隣ブロックから導き出され、1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められる(1204)。
【0172】
[0174]映像復号器30は、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加えるようにさらに構成することができ、加えられた動き情報は、1つ以上のインタービュー動きベクトル候補である(1206)。映像復号器30は、ディスパリティベクトルを1つ以上の値だけシフトすることによって1つ以上のインタービューディスパリティ動きベクトル候補を候補リストに加えるようにさらに構成することができる(1207)。本開示の幾つかの例では、映像復号器30は、候補リストをプルーニングするようにさらに構成することができる(1208)。本開示の一例では、候補リストをプルーニングすることは、1つ以上の加えられたインタービュー動きベクトル候補を空間的マージング候補と比較することに基づく。本開示の他の例では、候補リストをプルーニングすることは、シフトされたディスパリティベクトルに基づいて、1つ以上の加えられたインタービュー動きベクトル候補をシフトすることなしにインタービュー動きベクトル候補と比較することに基づく。
【0173】
[0175]本開示の一例では、映像復号器30は、1つ以上のディスパリティベクトルを−4乃至4のある値だけ水平にシフトするようにさらに構成することができ、従って、シフトされたディスパリティベクトルは、スライス内で固定される。本開示の他の例では、映像復号器30は、基準ブロックが入った予測ユニット(PU)の幅に基づいてある値だけ1つ以上のディスパリティベクトルをシフトするようにさらに構成することができる。本開示の他の例では、映像復号器30は、1つ以上のディスパリティベクトルを現在のブロックの幅に基づいてある値だけシフトするようにさらに構成することができる。
【0174】
[0176]映像復号器30は、候補リストを用いて現在のブロックを復号するようにさらに構成することができる(1210)。本開示の一例では、現在のブロックを復号することは、インタービュー動き予測を用いて現在のブロックを復号すること及びインタービュー残差予測を用いて現在のブロックを復号することのうちの1つを備える。
【0175】
[0177]例に依存して、ここにおいて説明されるいずれかの技法の幾つかの行為又はイベントは、異なるシーケンスで行うことができ、追加すること、結合すること、又はまったく省くことができる(例えば、技法を実践するためにすべての行為又はイベントが必要なわけではない)ことが認識されるべきである。さらに、幾つかの例では、行為又はイベントは、順次ではなく、同時並行して、例えば、マルチスレッド処理、割り込み処理、又は複数のプロセッサ、を通じで行うことができる。
【0176】
[0178]1つ以上の例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において1つ以上の命令又はコードとして格納又は送信すること及びハードウェアに基づく処理ユニットによって実行することができる。コンピュータによって読み取り可能な媒体は、コンピュータによって読み取り可能な記憶媒体を含むことができ、それは、有形な媒体、例えば、データ記憶媒体、又は、例えば、通信プロトコルにより、1つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体、に対応する。このように、コンピュータによって読み取り可能な媒体は、概して、(1)非一時的である有形なコンピュータによって読み取り可能な記憶媒体又は(2)通信媒体、例えば、信号又は搬送波、に対応することができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び/又はデータ構造を取り出すために1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができる。
【0177】
[0179]一例により、及び制限することなしに、該コンピュータによって読み取り可能な記憶媒体は、希望されるプログラムコードを命令又はデータ構造の形態で格納するために使用することができ及びコンピュータによってアクセス可能であるRAM、ROM、EEPROM、CD−ROM又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン(DSL)、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、DSL、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。しかしながら、コンピュータによって読み取り可能な記憶媒体およびデータ記憶媒体は、コネクション、搬送波、信号、又はその他の遷移媒体は含まず、代わりに、非一時的な、有形の記憶媒体を対象とすることが理解されるべきである。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザーディスク(登録商標)(disc)と、光ディスク(disc)と、デジタルバーサタイルディスク(DVD)(disc)と、フロッピー(登録商標)ディスク(disk)と、ブルーレイディスク(disc)と、を含み、ここで、diskは、通常は磁気的にデータを複製し、discは、レーザーを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
【0178】
[0180]命令は、1つ以上のプロセッサ、例えば、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、又はその他の同等の集積又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、1つ以上の回路又は論理素子内に完全に実装することが可能である。
【0179】
[0181]本開示の技法は、無線ハンドセット、集積回路(IC)又は一組のIC(例えば、チップセット)を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び/又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように1つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。
【0180】
[0182]様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]マルチビュー映像データを復号する方法であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出すことであって、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出されることと、ディスパリティベクトルをインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補のうちの1つ以上に変換することと、前記1つ以上のインタービュー予測された動きベクトル候補及び前記1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加えることと、前記候補リストを用いて前記現在のブロックを復号することと、を備える、方法。
[C2]前記現在のブロックを復号することは、インタービュー動き予測を用いて前記現在のブロックを復号すること及びインタービュー残差予測を用いて前記現在のブロックを復号することのうちの1つを備えるC1に記載の方法。
[C3]前記動きベクトル予測モードは、スキップモード、マージモード、及びアドバンスト動きベクトル予測(AMVP)モードのうちの1つであるC1に記載の方法。
[C4]前記インタービュー予測された動きベクトル及びインタービューディスパリティ動きベクトルのうちの前記加えられた1つ以上を2つ以上の選択された空間的マージング候補と比較することに基づいて前記候補リストをプルーニングすることをさらに備えるC1に記載の方法。
[C5]マルチビュー映像データを復号する方法であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出すことであって、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出されることと、基準ビューにおいて1つ以上の基準ブロックの位置を突き止めるために1つのディスパリティベクトルを使用することであって、前記1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められることと、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加えることであって、前記加えられた動き情報は、1つ以上のインタービュー動きベクトル候補であることと、前記候補リストを用いて前記現在のブロックを復号することと、を備える、方法。
[C6]前記1つ以上のディスパリティベクトルを−4乃至4の値だけ水平にシフトすることをさらに備え、従って、シフトされたディスパリティベクトルは、スライス内において固定されるC5に記載の方法。
[C7]前記1つ以上のディスパリティベクトルを基準ブロックが入った予測ユニット(PU)の幅に基づいてある値だけシフトすることをさらに備えるC5に記載の方法。
[C8]前記1つ以上のディスパリティベクトルを前記現在のブロックの幅に基づいてある値だけシフトすることをさらに備えるC5に記載の方法。
[C9]前記現在のブロックを復号することは、インタービュー動き予測を用いて前記現在のブロックを復号すること及びインタービュー残差予測を用いて現在のブロックを復号することのうちの1つを備えるC5に記載の方法。
[C10]前記1つ以上の加えられたインタービュー動きベクトル候補を空間的マージング候補と比較することに基づいて前記候補リストをプルーニングすることをさらに備えるC5に記載の方法。
[C11]シフトされたディスパリティベクトルに基づいて前記1つ以上の加えられたインタービュー動きベクトル候補をシフトすることなしにインタービュー動きベクトル候補と比較することに基づいて前記候補リストをプルーニングすることをさらに備えるC5に記載の方法。
[C12]マルチビュー映像データを復号するように構成された装置であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、ディスパリティベクトルをインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補のうちの1つ以上に変換し、前記1つ以上のインタービュー予測された動きベクトル候補及び前記1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加え、及び、前記候補リストを用いて前記現在のブロックを復号するように構成された映像復号器を備え、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出される、装置。
[C13]前記映像復号器は、インタービュー動き予測を用いて前記現在のブロックを復号すること及びインタービュー残差予測を用いて前記現在のブロックを復号することのうちの1つを行うことによって前記現在のブロックを復号するC12に記載の装置。
[C14]前記動きベクトル予測モードは、スキップモード、マージモード、及びアドバンスト動きベクトル予測(AMVP)モードのうちの1つであるC12に記載の装置。
[C15]前記映像復号器は、前記インタービュー予測された動きベクトル及びインタービューディスパリティ動きベクトルのうちの前記加えられた1つ以上を2つ以上の選択された空間的マージング候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成されるC12に記載の装置。
[C16]マルチビュー映像データを復号するように構成された装置であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、基準ビューにおいて1つ以上の基準ブロックの位置を突き止めるために1つのディスパリティベクトルを使用し、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加え、ディスパリティベクトルを1つ以上の値だけシフトすることによって前記1つ以上のインタービューディスパリティ動きベクトル候補を前記候補リストに加え、及び前記候補リストを用いて前記現在のブロックを復号するように構成された映像復号器を備え、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出され、前記1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められ、前記加えられた動き情報は、1つ以上のインタービュー動きベクトル候補である、装置。
[C17]前記映像復号器は、前記1つ以上のディスパリティベクトルを−4乃至4の値だけ水平にシフトするようにさらに構成され、従って、シフトされたディスパリティベクトルは、スライス内において固定されるC16に記載の装置。
[C18]前記映像復号器は、前記1つ以上のディスパリティベクトルを基準ブロックが入った予測ユニット(PU)の幅に基づいてある値だけシフトするようにさらに構成されるC16に記載の装置。
[C19]前記映像復号器は、前記1つ以上のディスパリティベクトルを前記現在のブロックの幅に基づいてある値だけシフトするようにさらに構成されるC16に記載の装置。
[C20]前記映像復号器は、インタービュー動き予測を用いて前記現在のブロックを復号すること及びインタービュー残差予測を用いて前記現在のブロックを復号することのうちの1つを行うことによって前記現在のブロックを復号するC16に記載の装置。
[C21]前記映像復号器は、前記1つ以上の加えられたインタービュー動きベクトル候補を空間的マージング候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成されるC16に記載の装置。
[C22]シフトされたディスパリティベクトルに基づいて前記1つ以上の加えられたインタービュー動きベクトル候補をシフトすることなしにインタービュー動きベクトル候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成されるC16に記載の装置。
[C23]マルチビュー映像データを復号するように構成された装置であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出すための手段であって、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出される手段と、ディスパリティベクトルをインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補のうちの1つ以上に変換するための手段と、前記1つ以上のインタービュー予測された動きベクトル候補及び前記1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加えるための手段と、前記候補リストを用いて前記現在のブロックを復号するための手段と、を備える、装置。
[C24]マルチビュー映像データを復号するように構成された装置であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出すための手段であって、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出される手段と、基準ビューにおいて1つ以上の基準ブロックの位置を突き止めるために1つのディスパリティベクトルを使用するための手段であって、前記1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められる手段と、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加えるための手段であって、前記加えられた動き情報は、1つ以上のインタービュー動きベクトル候補である手段と、ディスパリティベクトルを1つ以上の値だけシフトすることによって前記1つ以上のインタービューディスパリティ動きベクトル候補を前記候補リストに加えるための手段と、前記候補リストを用いて前記現在のブロックを復号するための手段と、を備える、装置。
[C25]コンピュータによって読み取り可能な記憶媒体であって、実行されたときに、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、ディスパリティベクトルをインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補のうちの1つ以上に変換し、前記1つ以上のインタービュー予測された動きベクトル候補及び前記1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加え、及び前記候補リストを用いて前記現在のブロックを復号することを、映像データを復号するように構成されたデバイスの1つ以上のプロセッサに行わせる命令を格納し、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出される、コンピュータによって読み取り可能な記憶媒体。
[C26]コンピュータによって読み取り可能な記憶媒体であって、実行されたときに、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、基準ビューにおいて1つ以上の基準ブロックの位置を突き止めるために1つのディスパリティベクトルを使用し、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加え、ディスパリティベクトルを1つ以上の値だけシフトすることによって前記1つ以上のインタービューディスパリティ動きベクトル候補を前記候補リストに加え、及び前記候補リストを用いて前記現在のブロックを復号することを、映像データを復号するように構成されたデバイスの1つ以上のプロセッサに行わせる命令を格納し、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出され、前記1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められ、前記加えられた動き情報は、1つ以上のインタービュー動きベクトル候補である、コンピュータによって読み取り可能な記憶媒体。
[C27]マルチビュー映像データを符号化する方法であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出すことであって、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出されることと、ディスパリティベクトルをインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補のうちの1つ以上に変換することと、前記1つ以上のインタービュー予測された動きベクトル候補及び前記1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加えることと、前記候補リストを用いて前記現在のブロックを符号化することと、を備える、方法。
[C28]前記現在のブロックを符号化することは、インタービュー動き予測を用いて前記現在のブロックを符号化すること及びインタービュー残差予測を用いて前記現在のブロックを符号化することのうちの1つを備えるC27に記載の方法。
[C29]前記動きベクトル予測モードは、スキップモード、マージモード、及びアドバンスト動きベクトル予測(AMVP)モードのうちの1つであるC27に記載の方法。
[C30]前記インタービュー予測された動きベクトル及びインタービューディスパリティ動きベクトルのうちの前記加えられた1つ以上を2つ以上の選択された空間的マージング候補と比較することに基づいて前記候補リストをプルーニングすることをさらに備えるC27に記載の方法。
[C31]マルチビュー映像データを符号化する方法であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出すことであって、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出されることと、基準ビューにおいて1つ以上の基準ブロックの位置を突き止めるために1つのディスパリティベクトルを使用することであって、前記1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められることと、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加えることであって、前記加えられた動き情報は、1つ以上のインタービュー動きベクトル候補であることと、ディスパリティベクトルを1つ以上の値だけシフトすることによって前記1つ以上のインタービューディスパリティ動きベクトル候補を前記候補リストに加えることと、前記候補リストを用いて前記現在のブロックを復号することと、を備える、方法。
[C32]前記1つ以上のディスパリティベクトルを−4乃至4の値だけ水平にシフトすることをさらに備え、従って、シフトされたディスパリティベクトルは、スライス内において固定されるC31に記載の方法。
[C33]前記1つ以上のディスパリティベクトルを基準ブロックが入った予測ユニット(PU)の幅に基づいてある値だけシフトすることをさらに備えるC31に記載の方法。
[C34]前記1つ以上のディスパリティベクトルを前記現在のブロックの幅に基づいてある値だけシフトすることをさらに備えるC31に記載の方法。
[C35]前記現在のブロックを符号化することは、インタービュー動き予測を用いて前記現在のブロックを符号化すること及びインタービュー残差予測を用いて現在のブロックを符号化することのうちの1つを備えるC31に記載の方法。
[C36]前記1つ以上の加えられたインタービュー動きベクトル候補を空間的マージング候補と比較することに基づいて前記候補リストをプルーニングすることをさらに備えるC31に記載の方法。
[C37]シフトされたディスパリティベクトルに基づいて前記1つ以上の加えられたインタービュー動きベクトル候補をシフトすることなしにインタービュー動きベクトル候補と比較することに基づいて前記候補リストをプルーニングすることをさらに備えるC31に記載の方法。
[C38]マルチビュー映像データを符号化するように構成された装置であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、ディスパリティベクトルをインタービュー予測された動きベクトル候補及びインタービューディスパリティ動きベクトル候補のうちの1つ以上に変換し、前記1つ以上のインタービュー予測された動きベクトル候補及び前記1つ以上のインタービューディスパリティ動きベクトル候補を動きベクトル予測モードに関する候補リストに加え、及び、前記候補リストを用いて現在のブロックを復号するように構成された映像符号器を備え、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出される、装置。
[C39]前記映像符号器は、インタービュー動き予測を用いて前記現在のブロックを符号化すること及びインタービュー残差予測を用いて前記現在のブロックを符号化することのうちの1つを行うことによって前記現在のブロックを符号化するC38に記載の装置。
[C40]前記動きベクトル予測モードは、スキップモード、マージモード、及びアドバンスト動きベクトル予測(AMVP)モードのうちの1つであるC38に記載の装置。
[C41]前記映像符号器は、前記インタービュー予測された動きベクトル及びインタービューディスパリティ動きベクトルのうちの前記加えられた1つ以上を2つ以上の選択された空間的マージング候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成されるC38に記載の装置。
[C42]マルチビュー映像データを符号化するように構成された装置であって、現在のブロックに関する1つ以上のディスパリティベクトルを導き出し、基準ビューにおいて1つ以上の基準ブロックの位置を突き止めるために1つのディスパリティベクトルを使用し、複数の基準ブロックの動き情報を動きベクトル予測モードに関する候補リストに加え、ディスパリティベクトルを1つ以上の値だけシフトすることによって前記1つ以上のインタービューディスパリティ動きベクトル候補を前記候補リストに加え、及び前記候補リストを用いて前記現在のブロックを復号するように構成された映像符号器を備え、前記ディスパリティベクトルは、前記現在のブロックに関する近隣ブロックから導き出され、前記1つ以上の基準ブロックは、ディスパリティベクトルを1つ以上の値だけシフトすることに基づいて位置が突き止められ、前記加えられた動き情報は、1つ以上のインタービュー動きベクトル候補である、装置。
[C43]前記映像符号器は、前記1つ以上のディスパリティベクトルを−4乃至4の値だけ水平にシフトするようにさらに構成され、従って、シフトされたディスパリティベクトルは、スライス内において固定されるC42に記載の装置。
[C44]前記映像符号器は、前記1つ以上のディスパリティベクトルを基準ブロックが入った予測ユニット(PU)の幅に基づいてある値だけシフトするようにさらに構成されるC42に記載の装置。
[C45]前記映像符号器は、前記1つ以上のディスパリティベクトルを前記現在のブロックの幅に基づいてある値だけシフトするようにさらに構成されるC42に記載の装置。
[C46]前記映像符号器は、インタービュー動き予測を用いて前記現在のブロックを符号化すること及びインタービュー残差予測を用いて現在のブロックを符号化することのうちの1つを行うことによって前記現在のブロックを符号化するC42に記載の装置。
[C47]前記映像符号器は、前記1つ以上の加えられたインタービュー動きベクトル候補を空間的マージング候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成されるC42に記載の装置。
[C48]シフトされたディスパリティベクトルに基づいて前記1つ以上の加えられたインタービュー動きベクトル候補をシフトすることなしにインタービュー動きベクトル候補と比較することに基づいて前記候補リストをプルーニングするようにさらに構成されるC42に記載の装置。