【文献】
Zhaotai Pan et al.,A Low-Comprexity Screen Compression Scheme for Interactive Screen Sharing,IEEE Transactions on Circuits and Systems for Video Technology,IEEE,2013年 6月,Vol.23, No.6,pp.949-960
【文献】
Liwei Guo et al.,Non-RCE3: Modified Palette Mode for Screen Content Coding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting: Vienna, AT,2013年 7月,JCTVC-N0249,pp.1-6
【文献】
Liwei Guo et al.,Evaluation of Palette Mode Coding on HM-12.0+RExt-4.1,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,15th Meeting: Geneva, CH,2013年10月,JCTVC-O0218_r1,pp.1-7
【文献】
Xiaoyu Xiu et al.,Description of screen content coding technology proposal by InterDigital,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,17th Meeting: Valencia, ES,2014年 3月,JCTVC-Q0037,pp.1-30
(58)【調査した分野】(Int.Cl.,DB名)
前記インデックス値は、カレント画素と関連付けられ、前記パレットインデックス予測データおよび前記最後のインデックス値は、コピーモードと関連付けられ、ならびに前記最後のインデックス値は、前記カレント画素からの走査パターンに従った距離に位置する前の画素のインデックス値である、ことを特徴とする請求項1に記載の方法。
前記インデックス値は、カレント画素と関連付けられ、前記パレットインデックス予測データおよび前記最後のインデックス値は、コピーモードと関連付けられ、ならびに前記最後のインデックス値は、前記カレント画素からの走査パターンに従った距離に位置する前の画素のインデックス値である、ことを特徴とする請求項4に記載の復号器。
前記インデックス値は、カレント画素と関連付けられ、前記パレットインデックス予測データおよび前記最後のインデックス値は、コピーモードと関連付けられ、前記最後のインデックス値は、前記カレント画素からの走査パターンに従った距離に位置する前の画素のインデックス値である、ことを特徴とする請求項7に記載の方法。
前記インデックス値は、カレント画素と関連付けられ、前記パレットインデックス予測データおよび前記最後のインデックス値は、コピーモードと関連付けられ、前記最後のインデックス値は、前記カレント画素からの走査パターンに従った距離に位置する前の画素のインデックス値である、ことを特徴とする請求項11に記載の符号器。
前記プロセッサは、前記パレットテーブルおよび前記パレットインデックス予測データを復号器に送信するように構成される、ことを特徴とする請求項11に記載の符号器。
【発明を実施するための形態】
【0012】
さまざまな図に関する具体的な実施形態の詳細な説明についてこれより説明する。本説明は、可能な実装の詳細な例を提供しているが、その詳細は、例示的であることを意図し、決してその適用範囲を限定するものではないことに留意されたい。
【0013】
図1は、例示的な画面コンテンツ共有システムを示すブロック図である。画面コンテンツ共有システムは、受信機10、復号器12、およびディスプレイ(例えば、レンダラ)14を含むことができる。受信機10は、ビデオ信号を受信することができ、そしてビデオストリームを復号化することができ、かつディスプレイ14に出力され得る複数のピクチャバッファ16に記憶された複数の別個のピクチャを作成することができる復号器12に転送にするためにそれらのビデオ信号を復調することができる。
【0014】
図2は、
図1の復号器12として使用できる例示的なブロックベースのシングルレイヤ復号器を示すブロック図である。復号器は、符号器によって作り出されるビデオビットストリーム201を受信し、そしてビデオ信号が表示されるように再構築できる。ビデオ復号器において、ビットストリーム201は、エントロピー復号器203によってパースされる。残差係数は、逆量子化器論理ブロック205で逆量子化されて、逆変換論理ブロック207で逆変換されて再構築された残差信号209を取得することができる。空間予測(例えば、空間予測論理ブロック211)および/または時間予測(例えば、時間予測論理ブロック213)を使用して予測信号215を取得するために符号化モードと予測情報を使用できる。予測信号215と再構築された残差信号209とを一緒にして再構築されたビデオ信号217を取得することができる。再構築されたビデオ信号は、モニタ223に表示するために参照ピクチャストア221に記憶される前におよび/または今後のビデオ信号を復号化するために使用される前に、ループフィルタリング(例えば、ループフィルタ論理ブロック219)をさらに通過することができる。
【0015】
図3は、
図1の画面コンテンツ共有システムにおいて受信される符号化されるビデオデータを作成するために使用できる例示的ブロックベースのシングルレイヤビデオ符号器を示すブロック図である。
図3に示すように、効率的な圧縮を実現するために、シングルレイヤ符号器は、例えば、ブロック301における空間予測(例えば、イントラ予測)および/またはブロック303における時間予測(例えば、インター予測および/または動き補償予測)を用いて入力ビデオ信号300を予測できる。符号器はまた、例えば、レートの考慮と歪みの考慮との組み合わせなど、ある基準に基づいて予測の適した形式(例えば、最も適した形式)を選ぶことができるモード決定論理305を有することもできる。符号器はその後、予測残差310(例えば、入力信号300と予測信号311との間の差信号)をブロック307において変換し、および/またはブロック309において量子化することができる。モード情報(例えば、イントラまたはインター予測)と一緒に、量子化された残差313と予測情報311(例えば、動きベクトル、参照ピクチャインデックス、イントラ予測モードなど)はさらに、エントロピーコーダ315において圧縮されて、出力ビデオビットストリーム317にパックされる。
図3に示すように、符号器は、再構築された残差323を取得するために量子化された残差に対し、ブロック319において逆量子化を適用し、および/またはブロック321において逆変換を適用することによって再構築されたビデオ信号325を作成し、そしてその信号を予測信号311に戻って付加することができる。再構築されたビデオ信号325はさらに、ループフィルタ327(例えば、デブロッキングフィルタ、サンプル適応オフセット(Sample Adaptive Offsets)、および/または適応ループフィルタ(Adaptive Loop Filters))通過して、今後のビデオ信号を予測するために使用される参照ピクチャストア329に記憶される。
【0016】
MPEGは、送信帯域幅および記憶域を節約するビデオ符号化規格に取り組んでいる。高効率ビデオ符号化(HEVC)は、ITU−Tビデオコーディングエキスパートグループ(VCEG)とISO/IECムービングピクチャエキスパートグループ(MPEG)によって共同開発された新しく出現したビデオ圧縮規格である。HEVCは、その符号器と復号器が
図2および
図3に従ってオペレートすることができるという点においてブロックベースのハイブリッドビデオ符号化規格である。HEVCによって他の規格と比べて大きいビデオブロックを使用することが可能となり、四分木分割(quadtree partition)を信号ブロック符号化情報に使用することが可能となる。ピクチャまたはスライスは、同じサイズ(例えば、64×64)を有する符号化ツリーブロック(CTB)に分割される。CTBは、四分木を有する符号化ユニット(CU)に分割されて、CUは、いくつかのパターンを使用してさらに予測ユニット(PU)に分割され、また四分木を使用して変換ユニットに分割される。インター符号化されたCU毎に、CUのPUは、
図4に示すように、8つの分割モードのうちの1つを有することができる。時間予測、例えば、動き補償を適用してインター符号化されたPUを再構築できる。HEVCの4分の1画素まで可能である、動きベクトルの精度に応じて、小数点位置の画素値を取得するために線形フィルタを適用できる。HEVCにおいて、補間フィルタは、例えば、ルマでは7または8タップフィルタ、クロマでは4タップフィルタを有することができる。HEVCのデブロッキングフィルタは、コンテンツベースにすることができる。符号化モード差分、動き差分、参照ピクチャ差、画素値差分などの、多数の要因に応じて、異なるデブロッキングフィルタのオペレーションをTUおよびPUにおいて適用できる。エントロピー符号化の場合、HEVCは、ほとんどのブロックレベルのシンタックス要素に対してコンテキストベースの適応型2値算術符号化(CABAC)を採用することができる。CABAC符号化は、コンテキストベースの符号化された標準ビンおよび/またはコンテキストを用いないバイパス符号化されたビンを使用できる。
【0017】
テキストおよびグラフィックスなどの、画面コンテンツ素材は、天然のビデオコンテンツとは異なる特性を示すことができる。符号化ツールは、画面コンテンツ符号化の符号化効率を例えば、ピクチャ符号化および/またはイントラブロックのコピーに基づいて改善することができる。
【0018】
図5Aに示すように、画面コンテンツブロックは、限定された色数を含むことができ、画素の色値は、隣接する(例えば、上または左または右の)画素から反復することができる。パレットテーブルを、相当な量の画素値を記録するディクショナリとして使用することができ、対応するパレットインデックスマップを使用して、
図5Bに示すように、対応する画素の色値を表すことができる。空間的冗長性を削減するために、「
ラン(run)」
バリューを使用して同じパレットインデックス値、例えば、色インデックス値を有する連続した画素の長さを示すことができる。パレットベースの符号化方法を使用して符号化画面コンテンツの圧縮性能を改善することができる。
【0019】
Burrows−Wheeler変換(BWT)を無損失データ圧縮に使用できる。BWTは、入力キャラクターストリングを再配置して同じキャラクターを有する要素が複数実行できるようにする。再配置されたストリングを出力するために、入力ストリングの可能なローテーションを記憶するためのテーブルを生成することができる。ローテーションされたストリングをソートすることができる。ソートされたデータの列(例えば、最終列)を出力ストリングとして抽出することができる。出力ストリングとは別に、ブロック位置の後端を送信して復号器側での再構築を容易にすることができる。BWTの例を
図7Aに示す。ソースは、「BANANA」であり、BWTの出力は、「NNBAAA」である。
【0020】
復号化は、送信したストリングを復号化テーブルに変換することに関与できる。復号化テーブルをソートすることができる。変換されたストリングを復号化テーブルに添付することおよび復号化テーブルをソートすることを、kラウンドで遂行することができ、ここにkは、ストリング長である。最後のラウンドの場合、最後のブロック位置の後端は、元のストリングになる。例えば、
図7Bにおいて、変換されたストリング「NNBAAA」は、復号化テーブルに添付される。ソーティングの後、復号化テーブルの第1列は、「AAABNN」となる。第2のラウンドにおいて、ストリング「NNBAAA」は、再度復号化テーブルに添付され、そして復号化テーブルは、再度ソートされる。6ラウンド(例えば、ストリングの長さ)の後、ブロック位置の後端「A」を有する復号化テーブルの第4行は、元のストリングである。エントロピー符号化において、3つのキャラクター、例えば、「N」、「B」および「A」は、対応する
ランバリュー、例えば、1、0および2にそれぞれシグナリングされる。再配置されたストリングは、元の入力ストリングよりも圧縮し易くなる。BWT符号化方法は、パレットインデックスマップ符号化の効率の改善に適用されるのに適している。
【0021】
BWTベースのパレットインデックスマップの再順序付け、エスケープカラーシグナリング、パレットインデックス予測、およびパレットインデックスマップ符号化を含む、パレット符号化のコンポーネントの性能を提供することができる。符号化技術をHEVC符号化または他のビデオコーデックに適用することができる。
【0022】
一部のビデオ符号化規格は、画面コンテンツ符号化の圧縮性能を完全に最適化することができない。例えば、一部の汎用符号器は、自然なビデオシーケンスに最適化され得る。画面コンテンツは、自然なビデオシーケンスよりも離散型色分布および不連続トーンを有する鋭角エッジを多く含み得る。いくつかのモード決定および変換ベースの符号化プロセスを適用した後、一部の残差値は、後続するエントロピー符号化プロセスに対する残差走査方法が非効率となり得る高周波数エリアに置かれこともある。パレットベースの符号化方法は、色ヒストグラムから符号化されたブロックに共通して出現する色を選択すること、およびパレットテーブルの最も似た要素を探索してCU画素をパレットインデックスに変換することでパレットを形成することによって画面コンテンツブロックの符号化性能を改善することができる。
ランバリューは、同じパレットインデックスを共有する多数の連続した画素位置を示すために使用され、パレットインデックスを表すオーバーヘッドを削減することができる。予測モード、例えば、
ランモードまたはコピーモードを使用して、カレント画素のパレットインデックスが水平ラスタ走査順にカレント画素位置の左/右の画素のパレットインデックスから予測されるか、またはカレント画素位置の上に位置する画素から予測されるかどうかを示すことができる。
【0023】
CU画素を主色およびエスケープカラーにクラスタ化してパレットテーブルを形成することができる。ラインモードを使用してパレットインデックスを符号化することができる。パレットベースの符号化方法は、相当な量の符号化利得を示すことができる。パレットインデックスマップは、水平ラスタ走査順に走査される。次のラインを走査する時に不連続性の問題が生じる可能性があり、これによってパレット符号化モードのシグナリングに使用される符号化ビットが多くなる可能性がある。さらに、パレットインデックスマップの隣接する位置間の幾何学的相関は、実行およびコピーモード予測の使用に活用される。
【0024】
パレットインデックスマップの再順序付けは、BWT符号化を使用できる。再順序付けされるインデックスは、圧縮し易くされて、パレットインデックスマップ符号化の効率を改善することができる。
【0025】
エスケープカラーの識別がパレットインデックスシグナリングを介して実現されるように、エスケープカラーを固定されたパレットマップインデックスに割り当てることができる。
【0026】
エスケープカラーのインデックス値をパレットテーブルサイズに送信できる。これによって、エスケープカラーの位置を示す付加的なフラグのシグナリングを回避することができる。
【0027】
コピーレフトモードおよび/または遷移パレットモードを使用して幾何学的インデックス値の関係を利用することができ、そしてシグナリングパレットインデックス値のオーバーヘッドを削減することができる。
【0028】
パレットインデックスマップ符号化は、パレットインデックスマップの主コンポーネント、例えば、モード、
ランバリュー、インデックス値、およびエスケープカラー値を効率的に符号化することができる。
【0029】
画面コンテンツ符号化のパレット符号化は、BWTベースのパレットインデックスマップ再順序付け、エスケープカラーシグナリング、パレットインデックス予測、および/またはパレットインデックスマップ符号化に関与することができる。
【0030】
BWTは、同じ要素をまとめてグループ化することができる。BWTを使用してパレットインデックスマップの隣接する位置間の相関を増加することができる。BWTは、パレットインデックスマップを符号化する前に適用され得る。BWTを適用する前に、パレットインデックス走査順では、位置は、
図6の例(a)と(b)にそれぞれ示すように、垂直または水平ラスタ走査順に予測され得る。垂直または水平ラスタ走査順は、不連続性の問題が出ることもあり、例えば、行の第1の位置のインデックス値は、前行の最後の位置とは異なる値である確率が高い。これによってBWTが非効率になり、符号化に使用されるシンボルの数が増加する恐れがある。不連続性の問題を緩和するために、(例えば、
図6の例(c)と(d)に示すような)横断走査順または(例えば、
図6の例(e)と(f)に示すような)ジグザグ走査順を使用できる。この走査方法は、走査順経路に沿って隣接する位置の類似度を維持することができる。
【0031】
位置が一次元インデックスシーケンスとして走査された後、シーケンスは、BWTプロセスにフィードされて、BWT側の情報(例えば、オーバーヘッド)とする後端位置は、復号器側の再構築のために符号化される。BWTのサイド情報は、一部のブロックでは符号化利得も損失も生じないBWTベースの符号化のオーバーヘッドになり得る。1ビットフラグを使用してBWTが遂行される否かを示すことができる。1ビットフラグは、例えば、アプリケーションに応じて、シーケンスレベル、ピクチャまたはスライスレベル、またはCUレベルでシグナリングされ得る。BWTの複雑度は、ソーティングに関連し、符号化/復号化テーブルの記憶は、かなりの記憶空間を使用し得る。BWT入力のデータ構造は、リングバッファにすることができる。m×mブロックの場合、ブロック位置をポイントするm×mポインタを生成することができ、これらのポインタ間のソーティングを遂行できる。これは、符号化/復号化テーブルによって使用される記憶空間を削減することができる。
【0032】
パレットテーブル内に対応するエントリを有することができない画素を識別するために、画素をエスケープカラー画素として分類することができる。色の分類は、式(1)および(2)で表すことができ、式中のerror(C,PLT)は、パレットテーブルの色Cと最も類似した色PLTとの間の最小エラーである。error(C,PLT)が閾値ERROR_LIMITよりも少なければ、色Cは、主色である。error(C,PLT)が閾値ERROR_LIMIT以上であれば、色Cは、エスケープカラーである。エラー関数は、色Cとi番目のパレットエントリP
iとの間の二乗平均エラーによって測定することができる。
【0035】
エスケープカラーは、非エスケープカラー、例えば、主色をシグナリングするのには使用されないパレットインデックスを使用してシグナリングされ得る。このやり方でエスケープカラーをシグナリングすることにより、エスケープカラーをシグナリングする1または複数の専用フラグビットの使用と関連付けられたシグナリングオーバーヘッドを避けることができる。例えば、エスケープカラーをシグナリングするために付加的なフラグビットを使用せずに、これらのエスケープカラーの位置を識別するために、エスケープカラーのパレットインデックスは、最大インデックス値プラス1に設定される。例えば、最大パレットインデックス値が30であれば、エスケープカラーのパレットインデックスは、31に設定される。
【0036】
パレットインデックス予測は、画素間の幾何学的関係を利用できる。パレットインデックス予測は、コピーレフトモードおよび/または遷移モードを用いることができる。画素は、その画素の上に置かれているすでに再構築された画素からコピーされ得る。
ランモードにおいて、画素は、そのすぐ左隣の画素からコピーされ得る。
【0037】
ランおよびコピーモードの符号化において、2つの連続コピーモードをシングルコピーモードとしてマージすることができる。前のモードがコピーモードであれば、第2のコピーモードを使用してコピーレフトモードをシグナリングすることができる。コピーレフトモードの場合、開始位置をその前の位置と比較して、前の符号化モードがコピーモードであれば、コピーレフトモードが使用される。コピーレフトモードは、パレットインデックス値をシグナリングせずに
ランバリューをシグナリングすることができる。
図8は、コピーレフトモードの例を示している。
ランおよびコピーモードが使用されて、画素802の前のモードがコピーモード(
図8の黒い画素804で示された)であれば、画素802は、
ランモードとして符号化される。パレットインデックス値は、1としてシグナリングされ、その
ランバリューがシグナリングされる。シグナリングされるインデックス値が前のモードと同じであるので、1であるパレットインデックス値のシグナリングは、省略される。オーバーヘッドを削減するためにコピーレフトモードを使用でき、コピーレフトモードが使用可能である時、画素802は、その前の位置と比較されて、
ランバリュー(例えば、
ランバリューのみ)がシグナリングされ得る。
【0038】
コピーレフトモードをシグナリングする時、コピーレフトモードのモード値は、コピーモードと同様に符号化される。復号器側において、カレントモードと前のモードの両方がコピーモードとしてシグナリングされる時、カレントモードは、コピーレフトモードとして解釈される。それに応じて、付加的なモード値を使用せずにコピーレフトモードをシグナリングすることができる。前のモードがコピーレフトモードであり、カレントモードがコピーモードであれば、カレントモードは、なおもコピーモードである。
【0039】
遷移モードによって、カレント画素のパレットインデックスがすでに発生しているパレットインデックスのパターンからコピーされるようにできる。すでに発生しているパターンの位置を、開始位置の隣にあるインデックス値の最近の(例えば、直近の)前の出現に対して示すことができる。
【0040】
遷移モードは、開始位置の隣の位置を選択することおよびそのインデックス値を判定することに関与することができる。インデックス値の直近の前の出現が置かれ、アンカー位置として選択され得る。アンカー位置の隣接する位置を、インデックス値をコピーするための開始位置として選ぶことができる。例えば、
図9の例(a)において、(破線で示された)開始位置の左の位置が選ばれ、その最後の出現位置がアンカー位置として選択され得る。アンカー位置の(太線で示された)右の位置は、コピーインデックス値の開始位置として選択され得る。
図9に示した例において、コピーのソースにすることができる、すでに発生しているインデックスパターンは、参照数字902で示され、コピーされたインデックス、例えば、遷移モードを使用して符号化されたインデックスは、参照数字904で示されている。
【0041】
遷移モードの場合、アンカー位置を判定するために使用できる開始位置に対して隣接する位置をシグナリングすることができる。コピーされるパターンの開始として使用できる、アンカー位置に対して隣接する位置をシグナリングすることができる。遷移モードは、CUが大きいパレットテーブルサイズを有する時に遷移モードの使用によるオーバーヘッドを緩和することを可能にできる。例えば、パレットテーブルサイズが小さい時、実行およびコピーモードを頻繁に使用されるパレットモードにすることができる。遷移モードも実行可能であれば、全パレットモードを3つまで増加することができ、たとえ遷移モードが選ばれていなくても、より多いビットを使用してパレットモードをシグナリングすることができる。パレットテーブルサイズが大きい時、遷移モードを使用して実行またはコピーモードの予測不足を補うためおよび遷移モードの使用によるオーバーヘッドを相殺する(compensate)インデックスパターンを探索することができる。BWT符号化を用いずに遷移モードを使用できる。
【0042】
符号化ツールを使用してパレットインデックスマップを効率的に圧縮することができる。これらの符号化ツールは、インデックス値符号化、
ランバリュー符号化、およびパレットエスケープカラー予測を含むことができる。
【0043】
パレット符号化において、インデックス値は、シグナリングが
ランモードの時に送信され得る。実施形態において、インデックス値を固定長のコードワードとして符号化することができる。例えば、パレットテーブルサイズが31であれば、5ビットを使用してレベル値を符号化する。たとえインデックス値が1であっても、5ビットを使用してレベル値を符号化する。実施形態において、可変長符号化(例えば、指数―ゴロム符号化)を使用してインデックス値を符号化することができる。符号化ツールを使用して、インデックス値の削減および/またはエスケープカラーインデックスの再順序付けなど、インデックス値を効率的に符号化することができる。
【0044】
符号器、例えば、
図3の符号器は、複数の色のそれぞれの色に対応する複数の色インデックスを備えるパレットテーブルを作り出すことによってビデオデータをパレット符号化することができる。符号器は、パレットインデックスマップを生成できる。パレットインデックスマップは、ビデオデータの1または複数の画素をパレットテーブルの1または複数の色インデックスにマップすることができる。符号器は、パレットインデックスマップに基づいてパレットインデックス予測データを作成できる。パレットインデックス予測データは、パレットインデックスマップの少なくとも一部のインデックス値を示すことができるデータを備えることができる。パレットインデックス予測データの作成は、最後のインデックス値に基づいてパレットインデックスマップのインデックス値を調整するかどうかを判定することを含むことができる。
【0045】
インデックス値(例えば、色インデックス)の大きさ(magnitude)を削減するために、前の符号化モードに従ってインデックス値を修正することができる。例えば、インデックス値は、pim
iと表される、前の符号化モードの最後のインデックス値に従って1減少する。カレントインデックス値がpim
iよりも大きければ、符号化インデックス値は、カレントインデックス値マイナス1になる。そうでない場合、カレントインデックス値は、変更されない。インデックス値を符号化するために使用されるビット数を効率的に削減することができる。例えば、pim
iが6でありカレントインデックス値が7であれば、符号化されるインデックス値は、7−1=6である。順序0、7を有する指数―ゴロム符号化を使用する時は、0001000と符号化される。6を符号化する場合、コードワードは00111であり、それに応じて、コードワード長を7ビットから5ビットに削減することができる。復号器側において、復号器は、pim
iと比較してカレントインデックス値を再構築することができる。pim
iがカレントインデックス値よりも小さいまたは等しければ、カレントインデックス値は、1増加する。
【0046】
エスケープカラー画素の位置をシグナリングするために、エスケープカラー画素のインデックス値は、パレットインデックスの最大値に設定される。第1のインデックス値は、ゼロに設定される。エスケープカラーの出現率は、ほとんどの主色の出現率よりも高い。エスケープカラー画素のインデックス値をシグナリングするオーバーヘッドを削減するために、エスケープカラー画素のインデックス値をフロントインデックス値と交換することができる。
図11に示すように、レンダリングする前のエスケープカラーインデックス値は、nである。レンダリングの後、エスケープカラーインデックスは、mに変更されて、mから(n−1)までの元のインデックス値は、m+1からnまでにシフトされる。mの値の選択は、例えば、0から(m−1)までのインデックスがエスケープカラーインデックスよりも多い頻度で使用できるようにし、およびmから(n−1)までの元のインデックスがエスケープカラーインデックスよりも少ない頻度で使用できるように、元のインデックス値に基づくことができる。このようなmの値が存在すれば、エスケープカラーインデックスは、mに変更される。例えば、パレットテーブルサイズが31であれば、エスケープカラーのインデックス値は、31に設定される。インデックスのレンダリングの後、エスケープカラーのインデックス値は、2に変更されて、2から30までのインデックス値は、3から31にシフトされる。順序0を有する指数−ゴロム符号化を使用することによって、インデックス値31は、000011111と符号化される。エスケープカラーのインデックス値が2と交換されると、エスケープカラーを提示するために使用されるコードワードは、011になり、それに応じてエスケープカラーインデックスのレンダリングは、エスケープカラー画素のシグナリングオーバーヘッドを削減することができる。
【0047】
一次元パレット符号化において、
ランバリューを使用して連続位置セグメントの長さを示すことができる。可変長符号化方法(例えば、ゴロム−ライス符号化または指数−ゴロム符号化)を使用して
ランバリューを効率的に符号化することができる。ライスパラメータの設定は、ゴロム−ライス符号化を考慮に入れることができる。例えば、0に設定されたライスパラメータを用いると、値6は、1111110と符号化される。1に設定されたライスパラメータを用いると、コードワードは、11100になる。パラメータ設定は、符号化効率に影響を与える。最適なライスパラメータを使用して値を符号化することができるが、これらのパラメータ設定のシグナリングは、オーバーヘッドを使用する恐れがあり、符号化性能が低下する恐れがある。ライスパラメータは、
ランモードまたは非
ランモードを推定することができる。
【0048】
カレントパレット符号化モードが
ランモードであれば、ライスパラメータルックアップテーブルを使用してライスパラメータ値を予測することができる。同じインデックス値のライスパラメータを高度に相関させることができる。カレント
ランバリューに使用されるライスパラメータを前のライスパラメータから導出できる。ライスパラメータルックアップテーブルを使用して、パレットインデックスに対してすでに使用されたライスパラメータを記録することができる。例えば、
図10に示すように、インデックスの2つの前のライスパラメータrp(x,0)とrp(x,1)を記録することができる。これらは、インデックスxの最後と最後から2番目のライスパラメータを表す。式(3)を使用してライスパラメータを導出できる。
【0050】
ここにcrp
xは、推定されたライスパラメータであり、RP_LIMITは、ライスパラメータの上限である。推定されたライスパラメータを取得した後、ライスパラメータルックアップテーブルは、更新される。式(4)と(5)を使用してテーブルを更新することができる。
【0053】
非
ランモードにおいて、インデックスコピーを遂行でき、さまざまなインデックス値をコピーすることができる。俯瞰的な(overlooking)戦略を使用して非
ランモードのライスパラメータを取得できる。インデックスマップを符号化する前に、候補ライスパラメータをテストすることができる。最小限のオーバーヘッドを有する候補を非
ランモードのライスパラメータとして選択することができる。推定プロセスを、例えば、以下のように遂行できる。
【0055】
エスケープカラー符号化の場合、色コンポーネントの画素値を符号化し、またはそれに隣接する画素から予測することができる。エスケープカラー値は、最小エラーを有するパレットテーブルエントリから予測され得る。例えば、
図12に示すように、エスケープカラー画素の最小エラーを有するパレットテーブルエントリiを選択することができる。エントロピー符号化において、予測されるテーブルエントリ(例えば、エスケープカラーと比較して最小エラーを有する符号器によって判定されるパレットテーブルエントリ)のインデックス値、絶対差値、およびサインビットを復号器側にシグナリングすることができる。復号器において、これらの値を使用してエスケープカラー画素を再構築できる。
【0056】
すでに符号化されたエスケープカラーをエスケープカラーの予測に使用できる。すでに符号化されたエスケープカラーをカレント符号化ユニットのリストに記憶できる。直近のエスケープカラーをリストの最初に配置することができ、例えば、直近のエスケープカラーをリストの1番目のエントリにすることができる。リストは、符号化されたエスケープカラースタックにすることができる。符号化されるカレントエスケープカラーの場合、予測子(例えば、最適な予測子)を、例えば、レート歪み最適化基準を使用して符号化されたエスケープカラーまたはパレットテーブルから選択することができる。予測タイプ値(例えば、フラグ)は、予測子が符号化されたエスケープカラースタックからであるか、またはパレットテーブルからであるかを示すことができる。インデックスを符号化してどちらのエントリ、例えば、符号化されたエスケープカラースタックからのエントリまたはパレットテーブルからのエントリが予測子として使用されるかを示すことができる。カレントエスケープカラーが符号化された後に更新プロセスを遂行できる。カレント符号化されたエスケープカラーが予測符号化でありかつ残差がゼロでなければ、またはカレントエスケープカラーが予測符号化でなければ、新しいエスケープカラーと見なされて、スタックの最上に付加される。スタックが満杯であれば、スタックの最後のエントリが除去される。スタックの最上のエントリを最小のインデックス値(例えば、ゼロ)と関連付けることができ、そして他のエントリのインデックス値を昇順(increasing order)で割り建てることができる。カレント符号化ユニットを符号化する前に、符号化されたエスケープカラーを異なるやり方で初期化することができる。例えば、カレント符号化ユニットのパレットテーブルの色を予測するのに全く使用できないパレットテーブルの予測子による色でスタックを満たすことができる。
【0057】
エスケープカラーインデックス調整、エスケープカラー反復符号化、および/またはエスケープカラー符号化スキップ決定を使用して、エスケープカラー画素をシグナリングするオーバーヘッドをさらに削減できる。
図13は、パレットエスケープカラー予測の例を示している。
【0058】
量子化の後、エスケープカラー値をパレットテーブルエントリと同じにすることができる。これらのエスケープカラーのパレットインデックスを対応するパレットテーブルエントリのインデックスに調整することができる。調整は、エスケープカラーの量子化の後に遂行される。調整の場合、量子化されたエスケープカラー画素は、パレットテーブルエントリと比較され、エスケープカラーインデックスは、同じ場合に対応するパレットテーブルエントリのインデックスにリセットされる
【0059】
エスケープカラー予測が、カレントエスケープカラー画素が前のエスケープカラー画素と同じであるかどうかを示す前に1ビットフラグをシグナリングすることができる。エスケープカラー予測は、カレントエスケープカラー画素と前のエスケープカラー画素が同じであると直ちに省略される。
【0060】
CUのエスケープカラーを符号化する前に、信号差値であるかどうかを判定するレート歪み決定関数を使用できる。決定関数を使用して、シグナリングと非シグナリングとの間の差値のレート歪みコストを比較することができる。決定がエスケープカラーをシグナリングすることであれば、予測されたテーブルエントリのインデックス、差値、およびサインビットは、例えば、
図13の1302、1304においてシグナリングされる。そうでない場合、エスケープカラーインデックスは、例えば、最適なレート歪み性能を用いてパレットテーブルエントリのインデックスに調整される。
【0061】
本明細書で開示されている原理は、可変長符号化の例とする指数−ゴロム符号化またはゴロム−ライス符号化のコンテキストにおいて開示されているが、他の可変長符号化アルゴリズムに適用可能であってもよい。
【0062】
例えば、HEVCのシンタックスに基づく、シンタックス要素を使用して、パレット符号化モードで符号化されるCUにシグナリングすることができる。本明細書で開示されているパレット符号化方法を、例えば、表1および表2に示すような、シンタックス要素を使用してビットストリームにシグナリングすることができる。表2に示すように、エスケープカラーは、例えば、別個のループによって、主色、例えば、パレットテーブルで表された色から別個に符号化され得る。
【0066】
シンタックス要素palette_index_scan_orderは、既定の走査順を表す。palette_index_scan_orderが0であれば、ラスタ走査順は、パレットインデックス予測に使用される。palette_index_scan_orderが1であれば、横断走査順が使用される。palette_index_scan_orderが2であれば、ジグザグ走査順が使用される。
【0067】
シンタックス要素palette_bwt_flagは、BWT符号化方法が実行可能であるかどうかを示す。palette_bwt_flagが1であれば、BWT符号化方法は、実行可能である。palette_bwt_flagが0であれば、BWT符号化方法は、実行不可能である。
【0068】
シンタックス要素palette_bwt_eob_positionは、BWT復号化の最後のブロック位置を表す。
【0069】
シンタックス要素non_run_mode_rice_parameterは、非実行モードの実行値を復号化するライスパラメータを表す。
【0070】
シンタックス要素palette_modeは、パレット符号化モード(例えば、
ランモード、コピーモード、または遷移モード)を表す。
【0071】
シンタックス要素transition_mode_neighbor_positionは、遷移モードでアンカー位置を置くために使用される開始位置に対して隣接する位置を表す。transition_mode_neighbor_positionが1であれば、上方に隣接する位置が使用される。transition_mode_neighbor_positionが0であれば、左に隣接する位置が使用される。
【0072】
シンタックス要素transition_mode_copy_directionは、遷移モードでインデックス値のコピーを開始するアンカー位置に対して隣接する位置を表す。transition_mode_copy_directionが1であれば、下方に隣接する位置が示される。transition_mode_copy_directionが0であれば、右に隣接する位置が示される。
【0073】
シンタックス要素runは、同じパレットインデックス(例えば、“run_mode_flag=1”)を有するいくつかの連続した位置または(例えば、コピーモードで使用されるような)上の行の位置と同じパレットインデックスを有するいくつかの連続した位置を表す。
ランバリューは、
ランモードでライスパラメータルックアップテーブルを使用することによって復号化される。非
ランモードの場合、
ランバリューは、non_run_mode_rice_parameterによって復号化される。
【0074】
シンタックス要素repeated_escape_color_flagは、エスケープカラー値が反復されるかどうかを示す。repeated_escape_color_flagが1であれば、カレントエスケープカラー値は、前のエスケープカラー値に設定される。repeated_escape_color_flagが0であれば、カレントエスケープカラー値は、前のエスケープカラー値とは異なる。
【0075】
シンタックス要素predicted_palette_table_indexは、カレントエスケープカラーの予測されたパレットテーブルエントリのインデックス値を表す。
【0076】
シンタックス要素escape_color_residue_absolute_valueは、カレントエスケープカラーと予測されたパレットテーブルエントリとの間の絶対差を表す。
【0077】
シンタックス要素escape_color_residue_signは、カレントエスケープカラーと予測されたパレットテーブルエントリとの間の差のサイン値を表す。
【0078】
本明細書に開示されているパレット符号化方法を、例えば、表3に示すように、シンタックス要素を使用してビットストリームにシグナリングすることができる。エスケープカラー値は、パレットインデックスの符号化ループによって別個に符号化され得る。
【0079】
例えば、ビデオデータは、パレット色を表すことができるインデックスを備えるパレットテーブルを作り出すことによって符号化され得る。ビデオデータの符号化ユニットのパレットインデックスマップを生成することができる。パレットインデックスマップは、インデックス、例えば、一連のインデックスを備えることができる。インデックスを、例えば、パレットテーブルのインデックスから、またはエスケープカラーモードを示すことができるインデックスから取り出すことができる。インデックスは、符号化ユニットの画素をパレット色またはエスケープカラーモードに選択的にマップすることができる。パレットテーブルおよび符号化ユニットのパレットインデックスマップの一連のインデックスを表すことができるパレットインデックスマップパラメータをビデオビットストリームに送信できる。パレットインデックスマップパラメータが送信された後、付加的なパラメータをビデオビットストリームに送信できる。これらの付加的なパラメータは、エスケープカラーモードにマップされる符号化ユニットの画素のエスケープカラー値を示すことができる。
【0080】
例えば、ビデオデータは、パレット色を表すことができる複数のインデックスを備えるパレットテーブルをビットストリームで受信することによって復号化され得る。パレットインデックスマップパラメータもビデオビットストリームで受信できる。パレットインデックスマップパラメータは、インデックス、例えば、一連のインデックスを表すことができる。インデックスは、ビデオデータの符号化ユニットの1または複数の画素をパレットテーブルのパレット色またはエスケープカラーモードにマップすることができる。パレットインデックスマップパラメータを使用して、パレットインデックスマップによってエスケープカラーモードにマップされ得る符号化ユニットの画素を判定することができる。エスケープカラーパラメータを受信できる。エスケープカラーパラメータは、エスケープカラーモードにマップされる符号化ユニットの画素のエスケープカラー値を示すことができる。受信されたパレットインデックスマップパラメータおよび受信されたエスケープカラーパラメータに基づいて符号化ユニットの画素の色を再構築することができる。
【0083】
シンタックス要素palette_index_scan_orderは、既定の走査順を表す。palette_index_scan_orderが0であれば、ラスタ走査順は、パレットインデックス予測プロセスで使用される。palette_index_scan_orderが1に等しければ、横断走査順が使用される。palette_index_scan_orderが2に等しければ、ジグザグ走査順が使用される。
【0084】
シンタックス要素palette_bwt_flagは、BWT符号化方法が実行可能であるかどうかを示す。palette_bwt_flagが1に等しければ、BWT符号化方法は、実行可能である。palette_bwt_flagが0に等しければ、BWT符号化方法は、実行不可能である。
【0085】
シンタックス要素palette_bwt_eob_positionは、BWT復号化の最後のブロック位置を表す。
【0086】
シンタックス要素non_run_mode_rice_parameterは、非実
行モードの
ランバリューを復号化するライスパラメータを表す。
【0087】
シンタックス要素palette_modeは、パレット符号化モード(例えば、実行モード、コピーモード、または遷移モード)を表す
【0088】
シンタックス要素transition_mode_neighbor_positionは、遷移モードでアンカー位置を置くために使用される開始位置に対して隣接する位置を表す。transition_mode_neighbor_positionが1に等しければ、上方に隣接する位置が使用される。transition_mode_neighbor_positionが0に等しければ、左に隣接する位置が使用される。
【0089】
シンタックス要素transition_mode_copy_directionは、遷移モードでインデックス値のコピーを開始するアンカー位置に対して隣接する位置を表す。transition_mode_copy_directionが1に等しければ、コピーは、下方に隣接する位置から開始する。transition_mode_copy_directionが0に等しければ、コピーは、右に隣接する位置から開始する。
【0090】
シンタックス要素runは、同じパレットインデックス(例えば、“run_mode_flag=1”)を有する連続した位置の数または(コピーモードで使用されるような)上の行の位置と同じパレットインデックスを有する連続した位置の数を表す。
ランバリューは、
ランモードでライスパラメータルックアップテーブルを使用することによって復号化される。非
ランモードの場合、
ランバリューは、non_run_mode_rice_parameterによって復号化される。
【0091】
シンタックス要素repeated_escape_color_flagが1に等しければ、カレントエスケープカラー値は、前のエスケープカラー値に設定される。repeated_escape_color_flagが0に等しければ、カレントエスケープカラー値は、前のエスケープカラー値と同じにはならない。
【0092】
シンタックス要素predicted_palette_table_indexは、カレントエスケープカラーの予測されたパレットテーブルエントリのインデックス値を表す。
【0093】
シンタックス要素escape_color_residue_absolute_valueは、カレントエスケープカラーと予測されたパレットテーブルエントリとの間の絶対差値を表す。
【0094】
シンタックス要素escape_color_residue_signは、カレントエスケープカラーと予測されたパレットテーブルエントリとの間の差値のサイン値を表す
【0095】
復号器、例えば、
図2の復号器は、ビデオデータを、例えば、ビデオビットストリームでパレットテーブルを受信することによってパレット復号化することができる。パレットテーブルは、複数の色のパレット色を表すことができる複数のインデックスを含むことができる。復号器は、パレットインデックスマップパラメータをビデオビットストリームで受信できる。パレットインデックスマップパラメータは、一連のインデックスを表すことができる。一連のインデックスのうちの1または複数のインデックス、例えば、各インデックスは、ビデオデータの符号化ユニットの1または複数の画素を、パレットテーブルのパレット色またはエスケープカラーモードのいずれかにマップすることができる。パレットインデックスマップパラメータに基づいて、復号器は、パレットインデックスマップによってエスケープカラーモードにマップされ得る符号化ユニットの画素を判定することができる。別個のループにおいて、例えば、符号化ユニットのインデックスマップパラメータのセットを受信した後、復号器は、例えば、表1、表2および表3のうちの1または複数に示すように、エスケープカラーモードにマップされる符号化ユニットの画素のそれぞれのエスケープカラー値を示すことができるエスケープカラーパラメータを受信できる。復号器は、受信されたパレットインデックスマップパラメータおよび受信されたエスケープカラーパラメータに基づいて符号化ユニットの画素の色を再構築することができる。
【0096】
符号器、例えば、
図3の符号器は、複数の色のパレット色を表すことができる複数のインデックスを備えることができるパレットテーブルを作り出すことによってビデオデータをパレット符号化することができる。符号器は、ビデオデータの符号化ユニットのパレットインデックスマップを生成できる。パレットインデックスマップは、一連のインデックスを備えることができる。一連のインデックスのうちの1または複数のインデックス、例えば、各インデックスを、パレットテーブルの複数のインデックスまたはエスケープカラーモードを示すインデックスのいずれかから取り出すことができる。インデックスは、符号化ユニットの画素をパレット色またはエスケープカラーモードに選択的にマップすることができる。符号器は、パレットテーブルおよびパレットインデックスマップパラメータをビデオビットストリームに送信できる。パレットインデックスマップパラメータは、符号化ユニットのパレットインデックスマップの一連のインデックスを表すことができる。パレットインデックスマップパラメータが送信された後、符号器は、例えば、表1、表2および表3のうちの1または複数に示すように、1または複数の付加的なパラメータをビデオビットストリームに送信できる。これらの付加的なパラメータは、エスケープカラーモードにマップされる符号化ユニットの画素のエスケープカラー値を示すことができる。
【0097】
図14Aは、開示された1または複数の実施形態を実装することができる例示的な通信システム1400の図である。通信システム1400は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する、多元接続システムにすることができる。通信システム1400は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にできる。例えば、通信システム1400は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)などの、1または複数のチャネルアクセス方法を用いることができる。
【0098】
図14Aに示すように、通信システム1400は、無線送信/受信ユニット(WTRU)1402a、1402b、1402c、および/または1402d(一般的にまたは集合的にWTRU1402と呼ぶことができる)、無線アクセスネットワーク(RAN)1403/1404/1405、コアネットワーク1406/1407/1409、公衆交換電話網(PSTN)1408、インターネット1410、および他のネットワーク1412を含むことができるが、開示された実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図することが認識されよう。それぞれのWTRU1402a、1402b、1402c、1402dは、無線環境で操作し、および/または通信するように構成された任意のタイプのデバイスであってよい。例として、WTRU1402a、1402b、1402c、1402dは、無線信号を送信および/または受信するように構成することができ、そしてユーザ機器(UE)、移動局、固定式または移動式加入者ユニット、ページャ、セルラー電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品などを含むことができる。
【0099】
通信システム1400はまた、基地局1414aと基地局1414bを含むこともできる。それぞれの基地局1414a、1414bは、WTRU1402a、1402b、1402c、1402dのうちの少なくとも1つとワイヤレスにインタフェースして、コアネットワーク1406/1407/1409、インターネット1410、および/またはネットワーク1412など1または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプのデバイスであってよい。例として、基地局1414a、1414bは、ベーストランシーバ基地局(BTS)、Node−B、eNodeB、Home NodeB、Home eNodeB、サイトコントローラ、アクセスポイント(AP)、無線ルータなどであってよい。基地局1414a、1414bはそれぞれ、単一要素として示されているが、基地局1414a、1414bは、相互接続された任意の数の基地局および/またはネットワーク要素を含んでもよいことが認識されよう。
【0100】
基地局1414aは、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどといった他の基地局および/またはネットワーク要素(図示せず)を含むこともできる、RAN1403/1404/1405の一部にすることができる。基地局1414aおよび/または基地局1414bは、セル(図示せず)と呼ぶことができる特定の地理的領域内で無線信号を送信および/または受信するように構成することができる。セルをセルセクタにさらに分割することができる。例えば、基地局1414aと関連付けられたセルを3つのセクタに分割することができる。従って、一実施形態において、基地局1414aは、3つのトランシーバ、例えば、セルの各セクタに1トランシーバを含むことができる。別の実施形態において、基地局1414aは、多入力多出力(MIMO)技術を用いることができ、従って、セルの各セクタに複数のトランシーバを利用することができる。
【0101】
基地局1414a、1414bは、適した任意の無線通信リンク(例えば、無線周波数(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光線など)であってよい、エアインタフェース1415/1416/1417を介してWTRU1402a、1402b、1402c、1402dのうちの1または複数と通信できる。エアインタフェース1415/1416/1417は、適した任意の無線アクセス技術(RAT)を使用して確立することができる。
【0102】
より詳細には、上記のように、通信システム1400は、多元接続システムにすることができ、そして、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなど1または複数のチャネルアクセススキームを用いることができる。例えば、RAN1403/1404/1405の基地局1414aおよびWTRU1402a、1402b、1402cは、WCDMA(登録商標)(広域帯CDM)を使用してエアインタフェース1415/1416/1417を確立することができる、UTRA(ユニバーサル移動体通信システム(UMTS)地上波無線アクセス)など無線技術を実装することができる。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)など通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
【0103】
別の実施形態において、基地局1414aおよびWTRU1402a、1402b、1402cは、LTE(ロングタームエボリューション)および/またはLTE−A(LTEアドバンスト)を使用してエアインタフェース1415/1416/1417を確立することができる、E−UTRA(発展型UMTS地上波無線アクセス)など無線技術を実装することができる。
【0104】
他の実施形態において、基地局1414aおよびWTRU1402a、1402b、1402cは、IEEE802.16(即ち、Worldwide Interoperability for Microwave Access(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV−DO、Interim Standard 2000(IS−2000)、Interim Standard 95(IS−95)、Interim Standard 856(IS−856)、Global System for Mobile communications(GSM(登録商標))、Enhanced Data rates for GSM Evolution(EDGE)などといった無線技術を実装することができる。
【0105】
図14Aの基地局1414bは、例えば、無線ルータ、Home NodeB、Home eNodeB、またはアクセスポイントにすることができ、職場、自宅、車、キャンパスなど局所的な場所で無線接続性を容易にするために適した任意のRATを利用することができる。一実施形態において、基地局1414bおよびWTRU1402c、1402dは、無線ローカルエリアネットワーク(WLAN)を確立するIEEE802.11など無線技術を実装することができる。別の実施形態において、基地局1414bおよびWTRU1402c、1402dは、無線パーソナルエリアネットワーク(WPAN)を確立するIEEE802.15など無線技術を実装することができる。さらに別の実施形態において、基地局1414bおよびWTRU1402c、1402dは、セルベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用して、ピコセルまたはフェムトセルを確立することができる。
図14Aに示すように、基地局1414bは、インターネット1410に直接接続できる。従って、基地局1414bは、コアネットワーク1406/1407/1409経由でインターネット1410にアクセスする必要がない。
【0106】
RAN1403/1404/1405は、音声、データ、アプリケーション、および/またはVoIP(ボイスオーバーインターネットプロトコル)サービスをWTRU1402a、1402b、1402c、1402dのうちの1または複数に提供するように構成された任意のタイプのネットワークであってよい、コアネットワーク1406/1407/1409と通信することができる。例えば、コアネットワーク1406/1407/1409は、呼制御、課金サービス、モバイルロケーションベースのサービス、プリペイド電話、インターネット接続性、ビデオ分散などを提供し、および/またはユーザ認証などハイレベルのセキュリティ機能を遂行できる。
図14Aに示していないが、RAN1403/1404/1405および/またはコアネットワーク1406/1407/1409は、RAN1403/1404/1405と同じRATまたは異なるRATを用いる、他のRATとの直接または間接通信であってもよいことが認識されよう。例えば、E−UTRA無線技術を利用することができるRAN1403/1404/1405に接続されることに加えて、コアネットワーク1406/1407/1409はまた、GSM無線技術を用いる別のRAN(図示せず)と通信することもできる。
【0107】
コアネットワーク1406/1407/1409はまた、WTRU1402a、1402b、1402c、1402dがPSTN1408、インターネット1410、および/または他のネットワーク1412にアクセスするためのゲートウェイとして機能することもできる。PSTN1408は、旧来の音声電話サービス(POST)を提供する回線交換電話網を含むことができる。インターネット1410は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)およびインターネットプロトコル(IP)など共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含むことができる。ネットワーク1412は、他のサービスプロバイダによって所有されるおよび/またはオペレートされる有線および/または無線通信ネットワークを含むことができる。例えば、ネットワーク1412は、RAN1403/1404/1405と同じRATまたは異なるRATを用いることができる1または複数のRANに接続された別のコアネットワークを含むことができる。
【0108】
通信システム1400のWTRU1402a、1402b、1402c、1402dの一部またはすべては、マルチモード能力を含むことができ、例えば、WTRU1402a、1402b、1402c、1402dは、異なる無線リンクを介して異なる無線ネットワークと通信する複数のトランシーバを含むことができる。例えば、
図14Aに示したWTRU1402cは、セルベースの無線技術を用いることができる基地局1414aと、IEEE802無線技術を用いることができる基地局1414bとの通信を行うように構成することができる。
【0109】
図14Bは、例示的なWTRU1402のシステムである。
図14Bに示すように、WTRU1402は、プロセッサ1418、トランシーバ1420、送信/受信要素1422、スピーカ/マイクロフォン1424、キーパッド1426、ディスプレイ/タッチパッド1428、ノンリムーバブルメモリ1430、リムーバブルメモリ1432、電源1434、全地球測位システム(GPS)チップセット1436、および他の周辺機器1438を含むことができる。WTRU1402は、実施形態と整合性を保った上で、上述の要素の任意の組み合わせを含んでもよいことが認識されよう。さらに、実施形態は、基地局1414aおよび1414b、および/または基地局1414aおよび1414bが、限定されないが、とりわけトランシーバ基地局(BTS)、Node−B、サイトコントローラ、アクセスポイント(AP)、ホームノード−B、発展型ホームノード−B(eNodeB)、ホーム発展型ノード−B(HeNB)、ホーム発展型ノード−Bゲートウェイ、およびプロキシノードを表すことができるノードが
図14Bおよび本明細書で説明される要素の一部またはすべてを含むことができることを企図する。
【0110】
プロセッサ1418は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連付けられた1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、現場プログラム可能ゲートアレイ(FPGA)回路、その他のタイプの集積回路(IC)、ステートマシンなどであってよい。プロセッサ1418は、信号コーディング、データ処理、電力制御、入力/出力処理、および/またはWTRU1402が無線環境でオペレートすることを可能にするその他の機能性を遂行できる。プロセッサ1418をトランシーバ1420に結合することができ、そのトランシーバを送信/受信要素1422に結合することができる。
図14Bは、プロセッサ1418とトランシーバ1420とを別個のコンポーネントとして示しているが、プロセッサ1418とトランシーバ1420とを電子パッケージまたはチップに統合できることが認識されよう。
【0111】
送信/受信要素1422は、エアインタフェース1415/1416/1417を介して基地局(例えば、基地局1414a)に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態において、送信/受信要素1422は、RF信号を送信および/または受信するように構成されたアンテナにすることができる。別の実施形態において、送信/受信要素1422は、例として、IR、UV、または可視光線信号を送信および/または受信するように構成されたエミッタ/検出器にすることができる。さらに別の実施形態において、送信/受信要素1422は、RF信号と光信号との両方を送受信するように構成することができる。送信/受信要素1422は、無線信号の任意の組み合わせを送信および/または受信するように構成することができることが認識されよう。
【0112】
さらに、送信/受信要素1422を単一要素として
図14Bに示しているが、WTRU1402は、任意の数の送信/受信要素1422を含むことができる。より詳細には、WTRU1402は、MIMO技術を用いることができる。従って、一実施形態において、WTRU1402は、エアインタフェース1415/1416/1417を介して無線信号を送信および受信するための2または3以上の送信/受信要素1422(例えば、複数のアンテナ)を含むことができる。
【0113】
トランシーバ1420は、送信/受信要素1422によって送信される信号を変調して、送信/受信要素1422によって受信される信号を復調するように構成することができる。上記のように、WTRU1402は、マルチモード能力を有することができる、従って、トランシーバ1420は、WTRU1402が、例えば、UTRAおよびIEEE802.11など複数のRAT経由で通信することを可能にする複数のトランシーバを含むことができる。
【0114】
WTRU1402のプロセッサ1418は、スピーカ/マイクロフォン1424、キーバッド1426、および/またはディスプレイ/タッチパッド1428(例えば、液晶ディスプレイ(LCD)ディスプレイユニットまたは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、そしてそれらからユーザ入力データを受信できる。プロセッサ1418はまた、スピーカ/マイクロフォン1424、キーバッド1426、および/またはディスプレイ/タッチパッド1428にユーザデータを出力することもできる。さらに、プロセッサ1418は、ノンリムーバブルメモリ1430および/またはリムーバブルメモリ1432など適した任意のタイプのメモリからの情報にアクセスして、それらのメモリにデータを記憶することができる。ノンリムーバブルメモリ1430は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスク、またはその他のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ1432は、契約者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態において、プロセッサ1418は、サーバまたはホームコンピュータ(図示せず)など物理的にWTRU1402に置かれていないメモリからの情報にアクセスして、それらのメモリにデータを記憶することができる。
【0115】
プロセッサ1418は、電源1434から電力を受信することができ、その電力をWTRU1402の他のコンポーネントに分散および/または制御するように構成することができる。電源1434は、WTRU1402に電力供給するのに適した任意のデバイスであってよい。例として、電源1434は、1または複数の乾電池(例えば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含むことができる。
【0116】
プロセッサ1418はまた、GPSチップセット1436を、WTRU1402の現在位置に関する位置情報(例えば、経緯度)を提供するように構成することができる、GPSチップセット1436にも結合され得る。追加または代替として、GPSチップセット1436からの情報により、WTRU1402は、基地局(例えば、基地局1414a、1414b)からエアインタフェース1415/1416/1417を介して位置情報を受信し、および/または2または3以上の近隣の基地局から受信される信号のタイミングに基づいてWTRUの位置を判定することができる。WTRU1402は、実施形態と整合性を保った上で、適した任意の位置判定方法によって位置情報を獲得できることが認識されよう。
【0117】
プロセッサ1418は、付加的な特徴、機能性および/または有線または無線接続性を提供する、1または複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる、他の周辺機器1438にさらに結合され得る。例えば、周辺機器1438は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ(写真またはビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含むことができる。
【0118】
図14Cは、実施形態に従ったRAN1403とコアネットワーク1406のシステム図である。上記のように、RAN1403は、UTRA無線技術を用いてエアインタフェース1415を介してWTRU1402a、1402b、1402cと通信することができる。RAN1403はまた、コアネットワーク1406と通信することもできる。
図14Cに示すように、RAN1403は、エアインタフェース1415を介してWTRU1402a、1402b、1402cと通信するための1または複数のトランシーバを含むことができる、Node−B1440a、1440b、1440cを含むことができる。Node−B1440a、1440b、1440cのそれぞれをRAN1403内の特定のセル(図示せず)と関連付けることができる。RAN1403はまた、RNC1442a、1442bを含むこともできる。RAN1404aは、実施形態と整合性を保った上で、任意の数のNode−BおよびRNCを含んでもよいことが認識されよう。
【0119】
図14Cに示すように、Node−B1440a、1440bは、RNC1442aと通信することができる。さらに、Node−B1440cは、RNC1442bと通信することができる。Node−B1440a、1440b、1440cは、Iubインタフェース経由でそれぞれのRNC1442a、1442bと通信することができる。RNC1442a、1442bは、Iurインタフェース経由で互いに通信することができる。それぞれの1442a、1442bは、接続されているそれぞれのNode−B1440a、1440b、1440cを制御するように構成することができる。さらに、それぞれのRNC1442a、1442bは、外ループ電力制御、読み込み制御、許可制御、パケットスケジューリング、ハンドオーバー制御、マクロダイバーシティ、セキュリティ関数、データ暗号化などといった他の機能性を実行し、またはサポートするように構成することができる。
【0120】
図14Cに示したコアネットワーク1406は、メディアゲートウェイ(MGW)1444、モバイル交換センター(MSC)1446、サービングGPRSサポートノード(SGSN)1448、および/またはゲートウェイGPRSサポートノード(GGSN)1450を含むことができる。それぞれの上述した要素をコアネットワーク1406の一部として示しているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび/またはオペレートされてもよいことが認識されよう。
【0121】
RAN1403のRNC1442aをIuCSインタフェース経由でコアネットワーク1406のMSC1446に接続することができる。MSC1446をMGW1444に接続することができる。MSC1446およびMGW1444は、WTRU1402a、1402b、1402cにPSTN1408など回路交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cと従来の固定電話回線の通信デバイスとの間の通信を容易にすることができる。
【0122】
RAN1403のRNC1442aをIuPSインタフェース経由でコアネットワーク1406aのSGSN1448に接続することもできる。SGSN1448をGCSN1450に接続することができる。SGSN1448およびGCSN1450は、WTRU1402a、1402b、1402cにインターネット1410などパケット交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cとIP対応デバイスとの間の通信を容易にすることができる。
【0123】
上記のように、コアネットワーク1406を他のサービスプロバイダによって所有されるおよび/またはオペレートされる他の有線または無線ネットワークを含むことができる、ネットワーク1412に接続することもできる。
【0124】
図14Dは、実施形態に従ったRAN1404とコアネットワーク1407のシステム図である。上記のように、RAN1404は、エアインタフェース1416を介してWTRU1402a、1402b、1402cと通信するE−UTRA無線技術を用いることができる。RAN1404はまた、コアネットワーク1407と通信することもできる。
【0125】
RAN1404は、eNode−B1460a、1460b、1460cを含むことができるが、RAN1404は、実施形態と整合性を保った上で、任意の数のeNode−Bを含んでもよいことが認識されよう。eNode−B1460a、1460b、1460cはそれぞれ、エアインタフェース1416を介してWTRU1402a、1402b、1402cと通信するための1または複数のトランシーバを含むことができる。一実施形態において、eNode−B1460a、1460b、1460cは、MIMO技術を実装することができる。従って、eNode−B1460aは、例えば、WTRU1402aに無線信号を送信し、そしてそのWTRUから無線信号を受信するための複数のアンテナを使用することができる。
【0126】
それぞれのeNode−B1460a、1460b、1460cを特定のセル(図示せず)と関連付けることができ、そして無線リソース管理決定、ハンドオーバー決定、アップリンクおよび/またはダウンリンクのユーザのスケジューリングなどを処理するように構成することができる。
図14Dに示すように、eNode−B1460a、1460b、1460cは、X2インタフェースを介して互いに通信することができる。
【0127】
図14Dに示したコアネットワーク1407は、モビリティ管理エンティティ(MME)1462、サービングゲートウェイ1464、およびパケットデータネットワーク(PDN)ゲートウェイ1466を含むことができる。それぞれの上述した要素をコアネットワーク1407の一部として示しているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび/またはオペレートされてもよいことが認識されよう。
【0128】
MME1462をS1インタフェース経由でそれぞれのRAN1404のeNode−B1460a、1460b、1460cに接続することができ、制御ノードとして機能することができる。例えば、MME1462は、WTRU1402a、1402b、1402cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU1402a、1402b、1402cの初期接続(initial attach)中に特定のサービングゲートウェイを選択することなどに関与することができる。MME1462はまた、RAN1404と、GSMまたはWCDMAなど他の無線技術を用いる他のRAN(図示せず)とを切り替える制御プレーン機能を提供することもできる。
【0129】
サービングゲートウェイ1464をS1インタフェース経由でRAN1404のそれぞれのeNode−B1460a、1460b、1460cに接続することができる。サービングゲートウェイ1464は一般に、WTRU1402a、1402b、1402cへの/からのユーザデータパケットをルーティングカレントして転送することができる。サービングゲートウェイ1464はまた、eNode−B間のハンドオーバー中にユーザプレーンをアンカーすること、ダウンリンクデータがWTRU1402a、1402b、1402cに使用可能になった時にページングをトリガすること、WTRU1402a、1402b、1402cのコンテキストを管理して記憶することなどといった他の機能を遂行することもできる。
【0130】
サービングゲートウェイ1464はまた、WTRU1402a、1402b、1402cにインターネット1410などパケット交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cとIP対応デバイスとの間の通信を容易にすることができる、PDNゲートウェイ1466に接続されることもできる。
【0131】
コアネットワーク1407は、他のネットワークとの通信を容易にすることもできる。例えば、コアネットワーク1407は、WTRU1402a、1402b、1402cにPSTN1408など回路交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク1407は、コアネットワーク1407とPSTN1408との間のインタフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができるか、またはこれと通信することができる。さらに、コアネットワーク1407は、他のサービスプロバイダによって所有されるおよび/またはオペレートされる他の有線および/または無線通信ネットワークを含むことができる、ネットワーク1412へのアクセスをWTRU1402a、1402b、1402cに提供することができる。
【0132】
図14Eは、実施形態に従ったRAN1405とコアネットワーク1409のシステム図である。RAN1405は、エアインタフェース1417を介してWTRU1402a、1402b、1402cと通信するIEEE802.16無線技術を用いるアクセスサービスネットワーク(ASN)にすることができる。以下でさらに論じられるように、WTRU1402a、1402b、1402cの異なる機能エンティティとRAN1405とコアネットワーク1409cとの間の通信リンクを参照ポイントとして定義することができる。
【0133】
図14Eに示すように、RAN1405は、基地局1480a、1480b、1480cおよびASNゲートウェイ1482を含むことができるが、RAN1405は、実施形態と整合性を保った上で、任意の数の基地局およびASNゲートウェイを含んでもよいことが認識されよう。基地局1480a、1480b、1480cをそれぞれ、RAN1405の特定のセル(図示せず)と関連付けることができ、そしてそれぞれは、エアインタフェース1417を介してWTRU1402a、1402b、1402cと通信するための1または複数のトランシーバを含むことができる。一実施形態において、基地局1480a、1480b、1480cは、MIMO技術を実装することができる。従って、基地局1480aは、例えば、WTRU1402aに無線信号を送信し、およびそのWTRUから無線信号を受信するための複数のアンテナを使用できる。基地局1480a、1480b、1480cはまた、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)ポリシー強制などといったモビリティ管理機能を提供することもできる。ASNゲートウェイ1482は、トラフィック集合ポイントとして機能することができ、そしてページング、加入者プロファイルのキャッシング、コアネットワーク1409cへのルーティングなどに関与することができる。
【0134】
WTRU1402a、1402b、1402cとRAN1405との間のエアインタフェース1417を、IEEE802.16仕様を実装するR1参照ポイントとして定義することができる。さらに、それぞれのWTRU1402a、1402b、1402cは、コアネットワーク1409との論理インタフェース(図示せず)を確立することができる。WTRU1402a、1402b、1402cとコアネットワーク1409との間の論理インタフェースを、認証、承認、IPホスト構成管理、および/またはモビリティ管理に使用できる、R2参照ポイントとして定義することができる。
【0135】
それぞれの基地局1480a、1480b、1480c間の通信リンクを、WTRUハンドオーバーおよび基地局間のデータ転送を容易にするためのプロトコルを含むR8参照ポイントとして定義することができる。基地局1480a、1480b、1480cとASNゲートウェイ1482との間の通信リンクをR6参照ポイントとして定義することができる。R6参照ポイントは、それぞれのWTRU1402a、1402b、1402cと関連付けられるモビリティイベントに基づいてモビリティ管理を容易にするためのプロトコルを含むことができる。
【0136】
図14Eに示すように、RAN1405をコアネットワーク1409に接続できる。RAN1405とコアネットワーク1409との間の通信リンクを、例えば、データ転送およびモビリティ管理能力を容易にするためのプロトコルを含むR3参照ポイントとして定義することができる。コアネットワーク1409は、モバイルIPホームエージェント(MIP−HA)1484、認証、承認、アカウンティング(AAA)サーバ1486、およびゲートウェイ1488を含むことができる。上述したそれぞれの要素はコアネットワーク1409の一部として示されているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび/またはオペレートされてもよいことが認識されよう。
【0137】
MIP−HAは、IPアドレス管理に関与することができ、そしてWTRU1402a、1402b、1402cが異なるASNおよび/または異なるコアネットワーク間でロームできるようにする。MIP−HA1484は、WTRU1402a、1402b、1402cにインターネット1410などパケット交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cとIP対応デバイスとの間の通信を容易にすることができる。AAAサーバ1486は、ユーザ認証およびユーザサービスをサポートすることに関与することができる。ゲートウェイ1488は、他のネットワークとの相互作用を容易にすることができる。例えば、ゲートウェイ1488は、WTRU1402a、1402b、1402cにPSTN1408など回路交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cと従来の固定電話回線の通信デバイスとの間の通信を容易にすることができる。さらに、ゲートウェイ1488は、他のサービスプロバイダによって所有されるおよび/またはオペレートされる他の有線および/または無線ネットワークを含むことができる、ネットワーク1412へのアクセスをWTRU1402a、1402b、1402cに提供することができる。
【0138】
図14Eに示していないが、RAN1405を他のASNに接続でき、およびコアネットワーク1409を他のコアネットワークに接続できることが認識されよう。RAN1404cと他のASNとの間の通信リンクを、RAN1405と他のASNとの間のWTRU1402a、1402b、1402cのモビリティを調整するためのプロトコルを含むことができる、R4参照ポイントとして定義することができる。コアネットワーク1409と他のコアネットワークとの間の通信リンクを、ホームコアネットワークと訪問されるコアネットワークとの間の相互作用を容易にするためのプロトコルを含むことができる、R5参照ポイントとして定義することができる。
【0139】
本明細書で開示されているプロセスおよび手段は、任意の組み合わせにおいて適用することができ、他の無線技術、および他のサービスに適用することができる。
【0140】
WTRUは、物理的デバイスのアイデンティティ、または予約関連のアイデンティティ、例えば、MSISDN、SIP、URIなどといったユーザのアイデンティティを参照することができる。WTRUは、アプリケーションベースのアイデンティティ、例えば、1アプリケーション当たりに使用され得るユーザ名を参照することができる。
【0141】
上記のプロセスは、コンピュータまたはプロセッサによって実行されるコンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、および/またはファームウェアに実装されてもよい。コンピュータ可読媒体の例は、限定されないが、(有線および/または無線接続を介して送信される)電子信号および/またはコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、限定されないが、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、限定されないが、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、および/またはCD−ROMディスク、および/またはデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと関連付けられたプロセッサを使用して、WTRU、UE、端末機、基地局、RNC、および/または任意のホストコンピュータで使用される無線周波数トランシーバを実装することができる。