IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星ディスプレイ株式會社の特許一覧

特許7433001表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法
<>
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図1
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図2
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図3
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図4
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図5
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図6
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図7
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図8
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図9
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図10
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図11
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図12
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図13
  • 特許-表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-08
(45)【発行日】2024-02-19
(54)【発明の名称】表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、ならびに、圧縮ビットストリームの復号化方法
(51)【国際特許分類】
   H04N 19/13 20140101AFI20240209BHJP
   H04N 19/157 20140101ALI20240209BHJP
   H04N 19/176 20140101ALI20240209BHJP
   H04N 19/91 20140101ALI20240209BHJP
   H03M 7/42 20060101ALI20240209BHJP
【FI】
H04N19/13
H04N19/157
H04N19/176
H04N19/91
H03M7/42
【請求項の数】 20
(21)【出願番号】P 2019136086
(22)【出願日】2019-07-24
(65)【公開番号】P2020017956
(43)【公開日】2020-01-30
【審査請求日】2022-07-12
(31)【優先権主張番号】62/702,788
(32)【優先日】2018-07-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/151,158
(32)【優先日】2018-10-03
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】512187343
【氏名又は名称】三星ディスプレイ株式會社
【氏名又は名称原語表記】Samsung Display Co.,Ltd.
【住所又は居所原語表記】1, Samsung-ro, Giheung-gu, Yongin-si, Gyeonggi-do, Republic of Korea
(74)【代理人】
【識別番号】110002619
【氏名又は名称】弁理士法人PORT
(72)【発明者】
【氏名】チルマライ ビザヤラックハバン
【審査官】久保 光宏
(56)【参考文献】
【文献】"VESA Display Compression-M (VDC-M) Standard",Version 1.1,[online], Video Electronics Standards Association (VESA),2018年03月11日,Pages 1-4,29,39,40,57-61,109,123-133,[令和5年6月24日検索], インターネット, <URL: https://app.box.com/s/vcocw3z73ta09txiskj7cnk6289j356b/folder/82067216811>.
【文献】Natan Jacobson, et al.,"A new display stream compression standard under development in VESA",Proceedings of SPIE,2017年09月19日,Vol.10396,Pages from 103960U-1 to 103960U-12,<DOI: 10.1117/12.2274595>.
(58)【調査した分野】(Int.Cl.,DB名)
H04N19/00-19/98
H03M7/30-7/50
CSDB(日本国特許庁)
学術文献等データベース(日本国特許庁)
IEEEXplore(IEEE)
(57)【特許請求の範囲】
【請求項1】
ビット基盤表現(bit-based representation)にそれぞれ関連する複数のプレフィックスコードブック(prefix codebook)を提供し、
選択された符号化モード処理によって生成された第1個数の標本値を含む標本値ブロックを現在標本値ブロックとして受信し、
前記第1個数の標本値を複数のエントロピー符号化グループ(entropy coding group)に配分することによって前記複数のエントロピー符号化グループを形成し、
前記各エントロピー符号化グループの標本値を一つの選択されたビット基盤表現に変換し、
前記各エントロピー符号化グループに使用するビット基盤表現を判定し、
前記判定によって前記各エントロピー符号化グループに対して前記複数のプレフィックスコードブックのうちの一つのプレフィックスコードブックを選択し、
前記選択されたプレフィックスコードブックを適用して前記各エントロピー符号化グループのプレフィックス値を符号化し、
前記各エントロピー符号化グループのビット表現を形成し、
前記複数のエントロピー符号化グループのビット表現を出力として提供すること
を含み、
前記複数のプレフィックスコードブックは、
第1ビット基盤表現に関連する第1プレフィックスコードブックと、
第2ビット基盤表現に関連しており第1プレフィックスコードブックと異なる第2プレフィックスコードブックと
を含み、
前記第1ビット基盤表現を使用して符号化することに決定した場合、前記第1プレフィックスコードブックを選択し、前記第2ビット基盤表現を使用して符号化することに決定した場合、前記複数のプレフィックスコードブックのうちの前記第1プレフィックスコードブックと異なる第2プレフィックスコードブックを選択し、
前記各エントロピー符号化グループのビット表現は、一つのプレフィックスと一つ以上の標本値を含み、
前記一つのプレフィックスは、一つの選択されたプレフィックスコードブックを使用して符号化し、
前記一つ以上の標本値は、前記選択されたビット基盤表現で符号化する、
エントロピー符号化器のエントロピー符号化グループ形成方法。
【請求項2】
前記第1ビット基盤表現は、符号絶対値ビット基盤表現を含み、
前記第2ビット基盤表現は、2の補数ビット基盤表現を含む、請求項1に記載の方法。
【請求項3】
前記複数のプレフィックスコードブックを提供することは、
前記符号絶対値ビット基盤表現に関連する前記第1プレフィックスコードブックを提供し、
前記2の補数ビット基盤表現に関連する前記第2プレフィックスコードブックを提供すること
を含む、請求項2に記載の方法。
【請求項4】
前記各エントロピー符号化グループの標本値を一つの選択されたビット基盤表現に変換することは、
第1エントロピー符号化グループの前記標本値を前記第1ビット基盤表現に変換し、
第2エントロピー符号化グループの前記標本値を前記第2ビット基盤表現に変換すること
を含む、請求項1に記載の方法。
【請求項5】
前記複数のプレフィックスコードブックを提供することは、符号化体系を使用して前記第1プレフィックスコードブックおよび前記第2プレフィックスコードブックを提供することを含み、
前記第1プレフィックスコードブックは、コードワードをプレフィックス値にマッピングする第1マッピングを有し、
前記第2プレフィックスコードブックは、コードワードをプレフィックス値にマッピングする第2マッピングを有し、
前記第2マッピングは、前記第1マッピングと異なる、請求項1に記載の方法。
【請求項6】
前記複数のプレフィックスコードブックを提供することは、
第1符号化体系を使用する前記第1プレフィックスコードブックを提供し、
第2符号化体系を使用する前記第2プレフィックスコードブックを提供すること
を含み、
前記第2符号化体系は、前記第1符号化体系と異なる、請求項1に記載の方法。
【請求項7】
前記標本値ブロックは、複数の成分を有する画素値ブロックから導き出され、前記画素値ブロックの一成分に関連し、
前記複数のプレフィックスコードブックを提供することは、複数の成分プレフィックスコードブックを含む前記第1プレフィックスコードブックを提供することを含み、
前記成分プレフィックスコードブックのそれぞれは、画素値の一成分に関連する、請求項1に記載の方法。
【請求項8】
前記決定によって前記各エントロピー符号化グループに対して前記複数のプレフィックスコードブックのうちの一つのプレフィックスコードブックを選択することは、
第1エントロピー符号化グループを前記第1ビット基盤表現を使用して符号化し、前記第1エントロピー符号化グループが前記画素値の該当成分と関連する場合に、前記第1エントロピー符号化グループに対する前記第1プレフィックスコードブックの複数の成分プレフィックスコードブックのうちの一つの成分プレフィックスコードブックを選択すること
を含む、請求項7に記載の方法。
【請求項9】
前記複数のプレフィックスコードブックを提供することは、符号化体系およびマッピングを使用する第3プレフィックスコードブックを提供することを含み、
前記マッピングは、コードワードをプレフィックス値にマッピングし、
前記マッピングは、確率が低プレフィックス値ほど、ビット長が長いコードワードにマッピングする、請求項1に記載の方法。
【請求項10】
前記複数のプレフィックスコードブックを提供することは、符号化体系およびマッピングを使用する第3プレフィックスコードブックを提供することを含み、
前記マッピングは、コードワードをプレフィックス値にマッピングし、
前記マッピングは、複数のプレフィックス値を含む第1のグループを複数のコードワードを含む第1のグループにマッピングし、複数のプレフィックス値を含む第2のグループを複数のコードワードを含む第2のグループにマッピングし、
複数のプレフィックス値を含む前記第1のグループの確率は、複数のプレフィックス値を含む前記第2のグループの確率より高く、
複数のコードワードを含む前記第1のグループのビット長は複数のコードワードを含む前記第2のグループのビット長より短い、請求項1に記載の方法。
【請求項11】
プロセッサーと、
前記プロセッサーと連結されており、インストラクションを前記プロセッサーに供給するメモリと
を含み、
前記プロセッサーは、前記インストラクションによって、
ビット基盤表現にそれぞれ関連する複数のプレフィックスコードブック(prefix
codebook)を提供し、
選択された符号化モード処理によって生成された第1個数の標本値を含む標本値ブロックを現在標本値ブロックとして受信し、
前記第1個数の標本値を複数のエントロピー符号化グループに配分することによって前記複数のエントロピー符号化グループを形成し、
前記各エントロピー符号化グループの標本値を一つの選択されたビット基盤表現に変換し、
前記各エントロピー符号化グループに使用するビット基盤表現を判定し、
前記複数のエントロピー符号化グループのうちの一つのエントロピー符号化グループを第1ビット基盤表現を使用して符号化することに決定した場合、前記複数のプレフィックスコードブックから第1プレフィックスコードブックを選択し、
前記一つのエントロピー符号化グループを第2ビット基盤表現を使用して符号化することに決定した場合、前記複数のプレフィックスコードブックから前記第1プレフィックスコードブックと異なる第2プレフィックスコードブックを選択し、
前記選択されたプレフィックスコードブックを適用して前記各エントロピー符号化グループのプレフィックス値を符号化し、
前記各エントロピー符号化グループのビット表現を形成し、
前記複数のエントロピー符号化グループのビット表現を出力として提供し、
前記各エントロピー符号化グループのビット表現は、一つのプレフィックスと一つ以上の標本値を含み、
前記一つのプレフィックスは、一つの選択されたプレフィックスコードブックを使用して符号化し、
前記一つ以上の標本値は、前記選択されたビット基盤表現で符号化する、
エントロピー符号化器のエントロピー符号化グループ形成システム。
【請求項12】
前記第1ビット基盤表現は、符号絶対値ビット基盤表現を含み、
前記第2ビット基盤表現は、2の補数ビット基盤表現を含む、請求項11に記載のシステム。
【請求項13】
前記プロセッサーは、前記インストラクションによって、
前記符号絶対値ビット基盤表現に関連する前記第1プレフィックスコードブックを提供し、
前記2の補数ビット基盤表現に関連する前記第2プレフィックスコードブックを提供する、請求項12に記載のシステム。
【請求項14】
前記プロセッサーは、前記インストラクションによって、
第1エントロピー符号化グループの前記標本値を前記第1ビット基盤表現に変換し、
第2エントロピー符号化グループの前記標本値を前記第2ビット基盤表現に変換する、請求項11に記載のシステム。
【請求項15】
前記プロセッサーは、前記インストラクションによって、符号化体系を使用して前記第1プレフィックスコードブックおよび前記第2プレフィックスコードブックを提供し、
前記第1プレフィックスコードブックは、コードワードをプレフィックス値にマッピングする第1マッピングを有し、
前記第2プレフィックスコードブックは、コードワードをプレフィックス値にマッピングする第2マッピングを有し、
前記第2マッピングは、前記第1マッピングと異なる、請求項11に記載のシステム。
【請求項16】
前記プロセッサーは、前記インストラクションによって、
第1符号化体系を使用する前記第1プレフィックスコードブックを提供し、
第2符号化体系を使用する前記第2プレフィックスコードブックを提供し、
前記第2符号化体系は、前記第1符号化体系と異なる、請求項11に記載のシステム。
【請求項17】
前記プロセッサーは、前記インストラクションによって、符号化体系およびマッピングを使用する第3プレフィックスコードブックを提供し、
前記マッピングは、コードワードをプレフィックスにマッピングし、
前記マッピングは、確率が低プレフィックス値ほど、ビット長が長いコードワードにマッピングする、請求項11に記載のシステム。
【請求項18】
前記標本値ブロックは、複数の成分を有する画素値ブロックから導き出され、前記画素値ブロックの一成分に関連し、
前記プロセッサーは、前記インストラクションによって、
それぞれ画素値の一成分に関連する複数の成分プレフィックスコードブックを含む前記第1プレフィックスコードブックを提供し、
第1エントロピー符号化グループを前記第1ビット基盤表現を使用して符号化することに決定し、前記第1エントロピー符号化グループが前記画素値の該当成分に関連する場合に、前記第1エントロピー符号化グループに対する前記第1プレフィックスコードブックの複数の成分プレフィックスコードブックのうちの一つの成分プレフィックスコードブックを選択する、請求項11に記載のシステム。
【請求項19】
符号化器で各エントロピー符号化グループのプレフィックスを符号化する複数のプレフィックスコードブックを使用して符号化された圧縮ビットストリームを受信し、
前記圧縮ビットストリームの現在標本値ブロックを処理し、
前記現在標本値ブロックの各エントロピー符号化グループに使用されたビット基盤表現を判定し、
前記判定されたビット基盤表現に基づいて、前記複数のプレフィックスコードブックのうちの一つのプレフィックスコードブックを選択し、
前記選択されたプレフィックスコードブックを使用して前記現在標本値ブロックを復号化し、
前記現在標本値ブロックの各成分に対する標本値を出力として生成すること
を含む、圧縮ビットストリームの復号化方法。
【請求項20】
前記複数のプレフィックスコードブックは、
符号絶対値ビット基盤表現に関連する第1プレフィックスコードブックと、
2の補数ビット基盤表現に関連する第2プレフィックスコードブック
を含む、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示インターフェース圧縮時のエントロピー符号化グループ形成方法およびシステム、特にプレフィックス符号化方法に関するものである。
【0002】
本出願は、2018年7月24日に米国特許庁に出願した米国特許出願番号第62/702,788号を優先権主張し、ここに引用することによってこの出願の全体内容を本願に含む。
【背景技術】
【0003】
VESA(Video Electronics Standard Association)は、いわゆるVDC-M(VESA Display Compression-Mobile)というモバイルまたはスマートホン表示装置またはハンドヘルド(hand-held)装置用の新たな表示インターフェース圧縮規格を開発した。VDC-MはDSC(Display Stream Compression)と同一で視覚情報損失の無い品質を維持しながらも、DSCより高い圧縮率を目標にしている。そして、このようにするためには難易度が高まる。VDC-MはMIPI DSI(display serial interface)などのディスプレイリンクを使用するモバイル装置に適用される。
【0004】
特に、VDC-M圧縮規格は固定レートコーデック(fixed rate codec)(符号化器-復号器)であり、色成分当り8ビットのRGB4:4:4信号源に対して画素当り6ビットまで圧縮レートを遅らせるようにすることができる。VDC-Mはブロックサイズが8×2画素であるブロック基準コーデック(block based codec)である。動作時には、VDC-Mコーデックは各ブロックに複数の符号化モードを適用または試験し、レート歪みコスト(rate-distortion cost)に基づいたブロックに対して最適符号化モードを選択する。各ブロックに対して互いに異なる符号化モードが選択され得る。選択された符号化モードの下で、データサンプルはエントロピー符号化器(entropy encoder)によって符号化され、圧縮されたビットストリームを生成する。ビットストリーム多重化を行い、圧縮されたビットストリームの並列パーシング(parallel parsing)が可能なようにすることによって、高い復号化処理率(高い復号化スループット)を得ることができる。
【先行技術文献】
【特許文献】
【0005】
【文献】米国特許第6198412号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
復号化スループットに優れたエントロピー符号化グループ形成方法およびシステムを提供する。
【課題を解決するための手段】
【0007】
本発明の一実施形態によるエントロピー符号化器のエントロピー符号化グループ形成方法は、ビット基盤表現(bit-based representation)にそれぞれ関連する複数のプレフィックスコードブック(prefix codebook)を提供し、選択された符号化モード処理によって生成された第1個数の標本値を含む標本値ブロックを現在標本値ブロックとして受信し、前記第1個数の標本値を複数のエントロピー符号化グループ(entropy coding group)に配分することによって前記複数のエントロピー符号化グループを形成し、前記各エントロピー符号化グループの標本値を一つの選択されたビット基盤表現に変換し、前記各エントロピー符号化グループに使用するビット基盤表現を判定し、前記決定によって前記各エントロピー符号化グループに対して前記複数のプレフィックスコードブックのうちの一つのプレフィックスコードブックを選択し、前記選択されたプレフィックスコードブックを適用して前記各エントロピー符号化グループのプレフィックス値を符号化し、前記各エントロピー符号化グループのビット表現を形成し、前記複数のエントロピー符号化グループのビット表現を出力として提供することを含み、前記複数のプレフィックスコードブックは、第1ビット基盤表現に関連する第1プレフィックスコードブックと、第2ビット基盤表現に関連しており第1プレフィックスコードブックと異なる第2プレフィックスコードブックとを含み、前記第1ビット基盤表現を使用して符号化することに決定した場合、前記第1プレフィックスコードブックを選択し、前記第2ビット基盤表現を使用して符号化することに決定した場合、前記複数のプレフィックスコードブックのうちの前記第1プレフィックスコードブックと異なる第2プレフィックスコードブックを選択し、前記各エントロピー符号化グループのビット表現は一つのプレフィックスと一つ以上の標本値を含み、前記プレフィックスは一つの選択されたプレフィックスコードブックを使用して符号化し、前記一つ以上の標本値は前記選択されたビット基盤表現で符号化する。
【0008】
本発明の一実施形態によるエントロピー符号化器のエントロピー符号化グループ形成システムは、プロセッサーと、前記プロセッサーと連結されており、インストラクションを前記プロセッサーに供給するメモリとを含み、前記プロセッサーは前記インストラクションによって、ビット基盤表現にそれぞれ関連する複数のプレフィックスコードブック(prefix codebook)を提供し、選択された符号化モード処理によって生成された第1個数の標本値を含む標本値ブロックを現在標本値ブロックとして受信し、前記第1個数の標本値を複数のエントロピー符号化グループに配分することによって前記複数のエントロピー符号化グループを形成し、前記各エントロピー符号化グループの標本値を一つの選択されたビット基盤表現に変換し、前記各エントロピー符号化グループに使用するビット基盤表現を判定し、前記複数のエントロピー符号化グループのうちの一つのエントロピー符号化グループを第1ビット基盤表現を使用して符号化することに決定した場合、前記複数のプレフィックスコードブックから第1プレフィックスコードブックを選択し、前記一つのエントロピー符号化グループを第2ビット基盤表現を使用して符号化することに決定した場合、前記複数のプレフィックスコードブックから前記第1プレフィックスコードブックと異なる第2プレフィックスコードブックを選択し、前記選択されたプレフィックスコードブックを適用して前記各エントロピー符号化グループのプレフィックス値を符号化し、前記各エントロピー符号化グループのビット表現を形成し、前記複数のエントロピー符号化グループのビット表現を出力として提供し、前記各エントロピー符号化グループのビット表現は一つのプレフィックスと一つ以上の標本値を含み、前記プレフィックスは一つの選択されたプレフィックスコードブックを使用して符号化し、前記一つ以上の標本値は前記選択されたビット基盤表現で符号化する。
【0009】
本発明の一実施形態による圧縮ビットストリームの復号化方法は、符号化器で各エントロピー符号化グループのプレフィックスを符号化する複数のプレフィックスコードブックを使用して符号化された圧縮ビットストリームを受信し、前記圧縮ビットストリームの現在標本値ブロックを処理し、前記現在標本値ブロックの各エントロピー符号化グループに使用されたビット基盤表現を判定し、前記判定されたビット基盤表現に基づいて、前記複数のプレフィックスコードブックのうちの一つのプレフィックスコードブックを選択し、前記選択されたプレフィックスコードブックを使用して前記現在標本値ブロックを復号化し、前記現在標本値ブロックの各成分に対する標本値を出力として生成することを含む。
【発明の効果】
【0010】
このようにすることによって、復号化スループットに優れたエントロピー符号化グループ形成方法およびシステムを提供することができる。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態による表示インターフェースコーデックを行うシステム構成を示すブロック図である。
図2】本発明の一実施形態による表示ストリーム符号化器の動作を示すブロック図である。
図3】本発明の一実施形態によるエントロピー符号化器の動作を示すフローチャートである。
図4図4(a)~4(d)を含み、本発明の一実施形態によるエントロピー符号化グループ構造および共通プレフィックスエントロピー符号化出力(CPEC)を示す図である。
図5図5(a)および図5(b)を含み、本発明の一実施形態による標本値ブロック内の一成分に対するエントロピー符号化グループを形成するのに使用される分類方法を示す図である。
図6図6(a)および図6(b)を含み、8個の標本値からなる一つのブロック内の一成分に対するエントロピー符号化グループを形成するのに使用される本発明の一実施形態の分類方法を示す図である。
図7図7(a)および7(b)を含み、本発明の一実施形態による2の補数および符号絶対値ビット基盤表現を使用するエントロピー符号化グループ構造を示す図である。
図8】本発明の一実施形態による一標本値ブロックに対するエントロピー符号化グループを示す図である。
図9】本発明の一実施形態によるプレフィックスコードブックを示す。
図10】符号絶対値および2の補数表現のエントロピー符号化グループの例を示す図である。
図11図11(a)および11(b)を含み、本発明の一実施形態による符号絶対値および2の補数表現の確率質量関数(pmf)を示す図である。
図12図12(a)および12(b)を含み、本発明の一実施形態によるプレフィックス符号化方法に実装できる互いに異なるビット基盤表現のプレフィックスコードブックを示す図である。
図13】本発明の一実施形態によるエントロピー符号化器で行われるエントロピー符号化方法を示したフローチャートである。
図14】本発明の一実施形態による表示ストリーム復号器に実現された復号化方法を示したフローチャートである。
【発明を実施するための形態】
【0012】
本発明の一実施形態は実質的に少なくとも一つの図面を参照して以下で説明するエントロピー符号化グループを形成する装置および方法に関するものであって、特許請求の範囲に記載する。
【0013】
以下において、本発明の効果、変形および特徴について、実施形態を例とし、添付した図面を用いて説明されることで、さらに詳しく本発明を理解できるはずである。
【0014】
本発明の一実施形態による表示インターフェースコーデック(display interface codec)は一つ以上の符号化モード(coding mode)を使用して画素値ブロックを符号化するものであって、プレフィックス暗号化方法(prefix coding method)を実行して復号化動作のスループット(throughput)を改善するエントロピー符号化器を含む。本発明の一実施形態によれば、表示インターフェースコーデックはプレフィックス暗号化方法を実行して一つのプレフィックスコードブック(codebook)を選択する表示ストリーム符号化器(display stream encoder)を含み、エントロピー暗号化グループ(entropy coding group)の標本値を暗号化するのに使用されるビット基盤表現(bit-based representation)に基づいてエントロピー暗号化グループのプレフィックスを暗号化する。プレフィックス暗号化方法は、エントロピー符号化器に実装された暗号化モードのうちのいずれかを使用してエントロピー暗号化グループに適用することができる。本発明の一実施形態によれば、エントロピー暗号化グループの標本値は、2の補数(two’s complement:2C)および符号絶対値(sign-magnitude:SM)表現を含むビット基盤表現を使用して符号化できる。プレフィックス暗号化方法は、符号絶対値表現用の第1プレフィックスコードブックと2の補数表現用の第2プレフィックスコードブックを提供する。
【0015】
本発明の一実施形態によれば、表示インターフェースコーデックは、プレフィックス暗号化方法を実行してプレフィックスを復号化する表示ストリーム復号器(display stream decoder)を含む。特に、表示ストリーム復号器は、符号化器でプレフィックス暗号化方法を使用して生成された圧縮ビットストリームを受信する。復号器は、各エントロピー符号化グループのプレフィックスに使用されるプレフィックスコードブックを決定する。復号器は、その次に、表示ストリーム符号化器で使用した選択されたプレフィックスコードブックに基づいて各ブロックを復号化する。
【0016】
本発明の一実施形態によれば、表示インターフェースコーデックは、VDC-M(VESA Display Compression Mobile)と呼ばれるモバイルまたはスマートホン表示装置用表示インターフェース圧縮規格に基づいた映像信号圧縮を行う。VDC-M表示インターフェース圧縮規格は、Jacobsonなどの論文“A new display stream compression standard under development in VESA”、Proc.SPIE 10396、Applications of Digital Image Processing XL、103960U(19 September 2017)に記載されている。特に、VDC-Mは固定レートコーデック(fixed rate codec)(符号化器-復号器)であり、RGB4:4:4信号源に対して画素当り6ビットまで圧縮レートを遅らせるようにすることができる。図1は、本発明の一実施形態による表示インターフェースコーデックを行うシステム構成を示したブロック図である。図1を参照すれば、電子装置10は、表示リンク13を通じて表示駆動集積回路16と通信するアプリケーションプロセッサー(application processor)12を含む。アプリケーションプロセッサー12は、映像情報(video contents)を受信し、表示ストリーム符号化器15、例えばVDC-M表示インターフェース圧縮規格に基づいた表示ストリーム符号化器を実装する表示エンジン14を含む。符号化されたビットストリームは、符号化器15から表示リンク13を経て表示駆動集積回路16に伝送される。表示リンク13は、物理的なリンクまたは無線リンクであり得る。表示駆動集積回路16は、入力ビットストリームを保存し、受信したビットストリームを表示ストリーム復号器18、例えばVDC-M表示インターフェース圧縮規格に基づいた表示ストリーム復号器に提供するフレームバッファー17を含む。
【0017】
本発明の一実施形態によれば、表示ストリーム符号化器15および表示ストリーム復号器18は両方とも半導体集積回路などのハードウェア成分として実装できる。本発明の一実施形態によれば、表示ストリーム符号化器15および表示ストリーム復号器18はASIC(application specific integrated circuits)として実装できる。本発明の他の一実施形態によれば、表示ストリーム復号器18はハードウェアで実装され、表示ストリーム符号化器15はホストシステムのアプリケーションプロセッサー12内のソフトウェアまたはファームウエアで実装される。
【0018】
図2は、本発明の一実施形態による表示ストリーム符号化器15の動作を示すブロック図である。VDC-M表示インターフェース圧縮規格は、ブロックサイズが8×2画素であるブロック基準コーデック(block based codec)である。したがって、表示ストリーム符号化器15は、8×2画素、例えば、8列および2行ブロックの映像データに作用する。図2を参照すれば、表示ストリーム符号化器15は、8×2画素の画素ブロック20に対する画素値を受信する。各画素ブロックは、一つ以上の色成分に対する画素値を含む。例えば、各画素ブロックは、3個の色成分に対する画素値を含むことが一般的である。符号化器15は、画素ブロック20を用いて、平坦度感知を行い、レート制御状態更新を行う(21)。符号化器15は、その次に、画素ブロック20に対する画素値に対して全てのセットの符号化モードを並列にテストする(22)。本発明の一実施形態では、符号化モード(23~27)が適用される。それぞれの符号化モードに対して、符号化器15はそのモードが要求する全てのシンタックスビット(syntax bits)の総和であるモードのレートRおよび歪み(distortion)D(R/D)を決定する。符号化器15は各符号化モードに対してRDコスト(cost)を決定する。符号化器15はレート制御制限(rate control constraints)を条件として、RDコストが最も小さい符号化モードを選択する(28)。符号化器15は、その次に、エントロピー符号化器30を使用して選択された符号化モードを符号化する。エントロピー符号化器30は、表示リンク13の上に伝送できる圧縮ビットストリームを生成する。表示ストリーム符号化器15は、その次に、次の画素ブロックに移動する。動作過程で、映像情報の1フレーム内にある各画素ブロックに対して互いに異なる符号化モードが選択され得る。
【0019】
本明細書で、“成分(component)”または“色成分(color components)”は映像信号を表現するのに使用される色成分を示し、RGBまたはYCbCrまたはYUVであり得る。
【0020】
表示ストリーム符号化器15の各符号化モードは、特定類型の映像情報に特化した特性を有することができる。本発明の一実施形態では、表示ストリーム符号化器15が以下の符号化モードを行う。
(1)変換(transform)モード(23)-変換モードは、入力映像源で自然的内容物(natural contents)をキャプチャーするのに有用である。変換モードの例としては、離散コサイン変換(discrete cosine transform)がある。
(2)ブロック予測(block prediction:BP)モード(24)-ブロック予測モードは、入力映像源でグラフィックおよびテキスト情報をキャプチャーするのに有用である。
(3)中間点予測(midpoint prediction:MPP)モード(25)-中間点予測モードは、入力映像源で無相関(uncorrelated)ノイズ情報をキャプチャーするのに有用である。
(4)予備(fallback)モード-手頃な他のモードがない時に固定速度圧縮を保障するために一つ以上の予備モードが提供される。本発明の一実施形態では、中間点予測予備(midpoint prediction fallback:MPPF)モード(26)およびブロック予測スキップ(block prediction skip:BP-Skip)モード(27)を備える。
<エントロピー符号化器(Entropy Coder)>
【0021】
図2を参照すれば、選択された符号化モードで、表示ストリーム符号化器15は、エントロピー符号化器30を使用して標本(sample)を符号化する。エントロピー符号化器30の動作について説明する。図3は本発明の実施形態によるエントロピー符号化器の動作を示すフローチャートである。エントロピー符号化器40は、ブロックの各色成分上の標本を別々のグループに分けることによって復号器で高いスループット(throughput)が出るようにする。図3を参照すれば、エントロピー符号化器40は、選択された符号化モードが生成した色成分当り16個のデータ値の画素ブロックを受信する。本発明の一実施形態によれば、各色成分に対する画素ブロックのデータ値は標本または標本値とも言い、エントロピー符号化器は各色成分当り16個の標本のブロックを受信することができる。一色成分に関連したそれぞれのデータ値ブロックに対して、エントロピー符号化器40は一つ以上の標本をエントロピー符号化グループ(エントロピー符号化グループ:ECG)にグループ化する(42)。特に、それぞれの色成分に対する画素ブロックにある標本は所定数のエントロピー符号化グループに分布される。例えば、4:4:4映像情報に対して、一つの色成分に対して16個の標本のブロックは4個のエントロピー符号化グループに分布され得る。エントロピー符号化器40は、その次に、各グループの標本値を所定のビット基盤表現(bit-based representation)に変換する(44)。例えば、エントロピー符号化器40は各標本値を2の補数表現に変換することができる。これとは異なり、エントロピー符号化器40は、各標本値を符号絶対値表現に変換することができる。
【0022】
エントロピー符号化器40は、その次に、ブロックの各グループに対してプレフィックス値(prefix value)を決定する(46)。より具体的には、プレフィックス値は、エントロピー符号化グループの標本値を符号化するのに必要な標本当りビット数を示す。本発明の一実施形態によれば、各エントロピー符号化グループは、一つの可変長プレフィックス、そして標本値であるN個の固定長サフィックス(suffix)を含む。プレフィックス値は、各標本値または各サフィックスを表現するのに必要なビット数を示す。各グループに対してこのプレフィックスおよびこれから決定されたサフィックス(suffix)と共に、エントロピー符号化器40はエントロピー符号化グループを伝送される圧縮ビットストリームにパッケージ化する(package)(48)。このような方式で、映像情報の各色成分に対する符号化データがエントロピー符号化グループのセットとして圧縮ビットストリームに伝送される。
【0023】
エントロピー符号化器40が符号化するデータ値は、選択された符号化モードの機能/関数である。本発明の一実施形態によれば、変換モード(23)が選択されれば、エントロピー符号化器は量子変換係数を符号化する。即ち、データ値は量子変換係数である。本発明の他の一実施形態によれば、ブロック予測モード(24)が選択されれば、エントロピー符号化器40は量子予測残余(quantized prediction residuals)を符号化する。
【0024】
前述で、映像情報は4:4:4映像情報であると仮定した。この場合には、それぞれの色成分に対してブロック当り16個の標本がある。例えば、RGB映像信号に対して、R、G、B色成分それぞれは、ブロック当り16個の標本を含む。本発明の他の一実施形態によれば、映像情報は4:2:2映像情報であり得る。4:2:2映像情報に対しては、ルマ(luma)成分が16個の標本からなるブロックを含み、2個のクロマ(chroma)成分が8個の標本または4×2ブロックサイズのみを含む。本発明の他の一実施形態によれば、映像情報は4:2:0映像情報であり得る。4:2:0映像情報に対しては、ルマ成分は16個の標本からなるブロックを含み、2個のクロマ(chroma)成分が4個の標本または2×2ブロックサイズのみを含む。
【0025】
エントロピー符号化器40は、データ値の画素ブロックにある各色成分に対する16個の標本を受信して、標本をエントロピー符号化グループに分ける。各エントロピー符号化グループ内の標本値は、ビット基盤表現(bit-based representation)に符号化される。本発明の一実施形態で、エントロピー符号化グループは、共通プレフィックスエントロピー符号化(common prefix entropy code:CPEC)を使用してビット基盤表現に変換される。図4は、図4(a)~4(d)を含み、本発明の一実施形態によるエントロピー符号化グループ構造および共通プレフィックスエントロピー符号化出力(CPEC)を示す。図4(a)を参照すれば、エントロピー符号化器40は標本をエントロピー符号化グループに分け、各エントロピー符号化グループは可変長(variable-length)プレフィックスおよび一つ以上の固定長(fixed-length)サフィックスを含む。図4(a)に示した例で、エントロピー符号化グループは、そのブロックの4個の標本に関連する4個のサフィックス(Suffix1、Suffix2、Suffix3、Suffix4)を含む。
【0026】
各エントロピー符号化グループに対して、CPECを適用して標本値をビット基盤表現に変換する。特に、グループ大きさがNであるかN個の標本を有する一つのエントロピー符号化グループは一つの可変長プレフィックスを含み、プレフィックスの後にN個の固定長サフィックスが続く。ここで、Nは0より大きい整数である。CPECを使用する場合、プレフィックスはユナリコード(unary code)のような可変長コードを使用して符号化され、それぞれのサフィックスを符号化するのに使用されるビット数を示す。グループ内での実際標本値はサフィックスで表現され、グループ内の各標本に対して一つのサフィックスがある。グループ内のN個のサフィックスは同一なビット数、即ち、固定長コードに割り当てられる。例えば、標本は、2の補数または符号絶対値表現で表現できる。特に、CPECを使用するエントロピー符号化グループ内の各サフィックスは、与えられたビット基盤表現で符号化された一つの標本値に該当する。
【0027】
図4(b)は、標本値が{1、-2、-1、0}である4個の標本を有するエントロピー符号化グループに対するCPEC出力の例を示す。この実施形態によれば、2の補数表現を使用してエントロピー符号化グループの標本値に対するビットを生成する。このグループを再現するのに必要なビット数は2である。特に、2の補数表現で、[-2(n-1)、2(n-1)-1]範囲のデータを示すのにはnビットが必要である。図4(b)に示した例では、各標本値が2の補数表現での2ビットで表現される。したがって、プレフィックスは値2を示す。標本値が{1、-2、-1、0}であるグループに対して、CPEC動作によって出力されたビットはプレフィックスが110(unary code of 2)および4個のサフィックスであり、各標本は2ビットを使用して符号化され、例えば、図4(b)に示したように“01 10 11 00”で符号化される。図4(b)に示した例でCPEC動作の出力は一つの例に過ぎず、CPEC動作の実際出力は実際に実装した結果によって異なるものであり得る。
【0028】
図4(b)に示した例は、2の補数表現を使用する。しかし、CPEC動作で、符号絶対値表現のような他の表現を使用して各エントロピー符号化グループのビットを生成することもできる。符号絶対値表現を使用する場合、各標本に対してnビットが必要であり、グループ内の全ての標本の絶対値(即ち、大きさ)は[0、2n-1]のデータ範囲内にある。符号絶対値表現で、符号ビット(sign bit)は0でない値のみを示す。符号絶対値表現を使用したCPEC出力は、図4(c)に示されている。標本値が{1、-2、-1、0}である入力グループに対して、符号絶対値表現でのCPEC動作出力はプレフィックス110(unary code of 2)であってもよく、プレフィックスの後にはサフィックスが続き、最後には符号ビットが続く。サフィックスは2ビットを使用して各標本に対する絶対値を、例えば01 10 01 00に符号化し、符号ビットは1 0 0であってもよく、正数は1、負数は0で示す。ここで、最後の記号0に対しては符号値が表現されないという点を注目しなければならない。
【0029】
グループ内の標本が全て0値を有すれば、グループ全体に対して1ビットのみ表現し、本発明の一実施形態ではこれをグループスキップ(group skip)という。グループスキップは、符号絶対値および2の補数表現を使用するCPECに対して適用することができる。
【0030】
このように、エントロピー符号化器40は一ブロックの各成分の標本を分けてエントロピー符号化グループセットを生成し、これは圧縮ビットストリームに伝送される。エントロピー復号器で、当該グループの可変長プレフィックスがパーシング(parsing)され、当該グループの残りのサフィックスビット数は知られている。したがって、図4(d)に示したように、復号器が以前のグループのサフィックスを復号化する間に、エントロピー復号器は飛び越えて次のグループのプレフィックスに対するパーシングを始めることができる。可変長コードの制限された数(8×2の大きさのブロックで、一つの色成分に対して最大4である)によって復号器は高いスループット(throughput)を達成することができる。
【0031】
エントロピー符号化器40は、標本のグループを標本のブロックの各成分に対するエントロピー符号化グループに決定する。ECGの大きさ、即ち、ECGに含まれている標本の数は符号化モード、色成分およびクロマサンプリング方式(chroma sampling format)によって変わる。エントロピー符号化グループ内の標本分布も符号化モードによって変わる。
【0032】
図5(a)および図5(b)を含む図5は、本発明の一実施形態による標本値ブロック内の一成分に対するエントロピー符号化グループを形成するのに使用される分類方法を示している。図5(a)を参照すれば、一成分に対する各標本値ブロックは、8×2または16個の標本S0~S15を含む。本発明の一実施形態で、エントロピー符号化器は16個の標本を4個のエントロピー符号化グループECG0~ECG3に分布させ、各グループは図5(b)に示したようにCPEC構造を用いて符号化される。本発明の一実施形態で、不均一分類方法(non-uniform grouping method)が使用され、各エントロピー符号化グループの標本大きさまたは標本数は同一でない。例えば、不均一標本分布を変換モードに使用して変換ドメイン(domain)で類似の周波数を有する標本が集まるようにする。図5(b)を参照すれば、分類方法は大きさが1、3、5および7であるエントロピー符号化グループを形成する。DC値S0は別個のグループECG0として取り扱う。グループECG1は、3個の標本S1、S2、S8を含む。グループECG2は、5個の標本S3、S4、S9、S10、S11を含む。グループECG3は、7個の標本S5、S6、S7、S12、S13、S14、S15を含む。特に、各グループに割り当てられる標本は8×2ブロック内でジグザグ(zig-zag)形態に選択することができる。
【0033】
4:4:4映像情報の場合には、各色成分(例えば、RGB)が同一な数の標本、即ち、ブロック当り16個の標本を含む。したがって、図5に示した分類方法は、全ての色成分に使用できる。4:2:2映像情報の場合、ルマ(luma)成分は16個の標本からなるブロックを含み、これにより、図5に示した分類方法が使用できる。しかし、クロマ(chroma)成分は、8個の標本または4×2ブロックサイズのみを含む。その場合には、他の分類方法が適用できる。図6(a)および図6(b)を含む図6は、8個の標本値からなる一つのブロック内の一成分に対するエントロピー符号化グループを形成するのに使用される発明の一実施形態の分類方法を示している。図6(a)を参照すれば、4:2:2映像情報に対して、クロマ成分は4×2または8個の標本のブロックサイズで表現される。その場合、分類方法は、図6(b)に示したように、1個および7個の標本をそれぞれ有する2個のエントロピー符号化グループECG0、ECG1を形成することができる。
【0034】
前述の不均一標本分布は、変換暗号化モードと共に使用して変換ドメインで類似周波数を有する標本を集めるのに使用すれば有用である。ブロック予測モードの場合には、均一分類方法が使用され、各エントロピー符号化グループは同数の量子残余標本を含む。例えば、この分類方法は、成分当り8×2標本値ブロックに対してグループ当り4個の標本をおく。一実施形態によれば、第1グループECG0は標本{S0、S1、S8、S9}を含むことができ、第2グループECG1は標本{S2、S3、S10、S11}を含むことができる。
【0035】
与えられたブロックの標本値がエントロピー符号化グループ内に分布された状態で、各エントロピー符号化グループの標本値は与えられたビット基盤表現に変換される。共通プレフィックスエントロピー符号化(common prefix entropy code:CPEC)を各エントロピー符号化グループに適用して各グループに対するプレフィックス、サフィックスおよび(可能であれば)符号ビットを生成する。図7(a)および7(b)を含む図7は、本発明の一実施形態によって2の補数および符号絶対値ビット基盤表現を使用するエントロピー符号化グループ構造を示す。図7(a)は、2の補数(2C)表現を使用して符号化されたエントロピー符号化グループ60を示す。図7(a)を参照すれば、エントロピー符号化グループ60は、グループスキップ(Group Skip)を示す1ビットを含む。前述のように、全ての標本値(サフィックス)が0であれば、グループスキップ(Group Skip)ビットはそのグループの残り部分に対するパーシングをスキップするように表示する。エントロピー符号化グループ60は、その次に、可変長コード(variable-length code、VLC)であるプレフィックスおよび固定長コード(fixed-length code、FLC)を成す一つ以上のサフィックスを含む。本発明の一実施形態によれば、エントロピー符号化グループ60は、4個のサフィックス(Suffix0、Suffix1、Suffix2、Suffix3)を含む。グループ内の各サフィックスはビット数が同一であり、nビットで表現される。プレフィックスは、各サフィックスを表現するのに使用されるビット数を示す。したがって、プレフィックスはnの値を示す。
【0036】
図7(b)は、符号絶対値(SM)表現を使用して符号化されたエントロピー符号化グループ65を示す。共通プレフィックスエントロピー符号化(CPEC)をエントロピー符号化グループ65に適用して、そのグループに対するプレフィックス、サフィックスおよび符号ビットを生成する。図7(b)を参照すれば、エントロピー符号化グループ65はグループスキップ(Group Skip)を示す1ビットを含む。エントロピー符号化グループ60は、その次に、可変長コード(variable-length code、VLC)であるプレフィックスおよび固定長コード(fixed-length code、FLC)を成す一つ以上のサフィックスを含む。本発明の一実施形態によれば、エントロピー符号化グループ65は、4個のサフィックス(Suffix0、Suffix1、Suffix2、Suffix3)を含む。符号絶対値表現で、各サフィックスは各標本値の絶対値を符号化する。そのグループの各サフィックスはビット数がnであり、プレフィックスはnの値を示す。エントロピー符号化グループ65は、その次に、可変長コードである符号ビットを含む。符号絶対値表現で、符号ビット(Sign Bits)は0でない値に対してのみ表示する。
【0037】
前述のように、エントロピー符号化器は一ブロックの各成分の標本値を分けてエントロピー符号化グループセットを生成し、各エントロピー符号化グループの標本値は選択されたビット基盤表現に変換する。各標本のブロックに対して、各グループに対して互いに異なるビット基盤表現を選択することができる。本発明の一実施形態によれば、一つの標本値ブロックに対して符号絶対値(SM)および2の補数(2C)ビット基盤表現を全て使用してエントロピー符号化グループを符号化する。
【0038】
図8は、本発明の一実施形態による一標本値ブロックに対するエントロピー符号化グループを示す。図8を参照すれば、標本ブロック70の各成分にある標本は二つ以上のエントロピー符号化グループに分布する。本発明の一実施形態によれば、標本は4個のグループGP0、GP1、GP2、GP3に分布する。本発明の一実施形態によれば、最初の3個のエントロピー符号化グループGP0、GP1、GP2は符号絶対値(SM)表現を使用して符号化し、最後のグループGP3は2の補数(2C)表現を使用して符号化する。SM表現では、各標本値の絶対値を符号化してサフィックスを形成する。その次に、0より大きい標本値に対してのみ該当する符号ビット(Sign bits)を表示する。復号器の観点から、符号ビットをパーシングする前に標本値(サフィックス)の絶対値に対応するビットをパーシングして復号化する。したがって、符号絶対値表現では、パーサ(parser)と標本値の絶対値を復号化する復号化ロジックの間に依存性がある。
【0039】
復号化のスループット(throughput)を改善するために、最後のグループGP3を2の補数表現を使用して符号化する。2の補数表現では、各標本値(符号含み)がサフィックス内で直接符号化される。したがって、パーサと復号化ロジックの間に依存性がない。
【0040】
図8は、ビットストリームに伝送するためにパッケージ化されたエントロピー符号化グループGP0~GP3を示す。実際には、標本ブロックの各成分に対して、各グループのプレフィックス(Prefix)とサフィックス(Suffix)が前に位置し、最初の3つのグループに対する符号ビットがその後に続くようにエントロピー符号化グループをパッケージ化する。即ち、符号絶対値表現を使用して符号化された3個のグループに対する符号ビットは、そのブロックの各成分に対するビットストリームの最後に位置する。図8で、説明を簡単にするためにグループスキップ(Group Skip)ビットはエントロピー符号化グループから除いた。図7に示したように、グループスキップビットは各エントロピー符号化グループのプレフィックスより前に位置する。
【0041】
前述のように構成されたエントロピー符号化グループ各セットは、符号絶対値表現グループと少なくとも一つの2の補数表現グループを含む。前述のように、各エントロピー符号化グループは、ユナリコード(unary code)のような可変長コードを使用して符号化されたプレフィックスが先行する。プレフィックス値は一グループの全ての標本(または標本値)を再現するのに必要な最小ビット数に対応する。本発明の一実施形態によれば、プレフィックス値は“bitsReq”とも言う。各標本値を符号化するのに必要なビット数(“bitsReq”)は、ビット基盤表現の関数である。即ち、符号絶対値または2の補数表現を使用すれば、各エントロピー符号化グループに対して互いに異なるプレフィックス値が生成され、これによりプレフィックスのビット数が互いに異なるようになる。
【0042】
エントロピー符号化器で、プレフィックスコードブックを使用してプレフィックスを可変長コードに符号化することができる。図9は、本発明の一実施形態によるプレフィックスコードブックを示す。図9に示したコードブックは、ユナリコードを使用してプレフィックス(bitsReq)を符号化する。本明細書において、コードブックは、一つの記号(symbol)(または値)をバイナリコードワード(binary code word)にマッピングする辞書を示す。全ての係数が0である場合に、グループスキップ(Group Skip)ビットを使用するため、プレフィックス値が0である場合はコードブックにない。6以上であるプレフィックス値に対して、ユナリコードに基づいたバイナリコードワードは“1”が(bitsReq-1)個であり、その後に0が続く。図9に示したプレフィックスコードブックは、画素値の互いに異なる成分[ルマ(luma)とクロマ(chroma)]に対して互いに異なるコードブックを提供する。したがって、ルマ成分のプレフィックス値4に対するユナリコードは“110”である。反面、クロマ成分のプレフィックス値4に対するユナリコードは“1110”である。
【0043】
従来のエントロピー符号化器では、サフィックスに使用されるビット基盤表現に関係なく同一なコードブックを使用する。例えば、2の補数表現および符号絶対値表現の両方ともが図9に示した同一なユナリ符号化コードブックを使用してプレフィックス値を符号化する。しかし、2の補数表現と符号絶対値表現のデータ値範囲が異なるため、これは適切な方法でない。詳細に説明すれば、2の補数表現の範囲(range2C)と符号絶対値表現の範囲(rangeSM)はそれぞれ以下の通りである。
range2C(n bits)=[-2n-1、2n-1-1]
rangeSM(n bits)=[0、2n-1-1]
2の補数表現において、与えられたnビットでさらに多くの標本を表現できるという点に留意しなければならない。特に、負の標本も与えられたnビットで表現することができる。
【0044】
図10は、符号絶対値および2の補数表現のエントロピー符号化グループの例を示したものである。図10を参照すれば、エントロピー符号化グループは、値が[-1、13、1、6]である4個の標本を含む。符号絶対値表現のプレフィックス値(bitsReq)は4である。即ち、符号絶対値表現を使用して標本値[-1、13、1、6]を符号化するのに4ビットが必要である。反面、2の補数表現のプレフィックス値(bitsReq)は5である。即ち、2の補数表現を使用して標本値[-1、13、1、6]を符号化するのに5ビットが必要である。
【0045】
その結果、同一なエントロピー符号化グループ内で、2の補数表現で計算したプレフィックス値と符号絶対値表現で計算したプレフィックス値は互いに異なる。したがって、2の補数表現と符号絶対値表現の両方に同一なコードブックを使用して適正な性能を達成することはできない。
【0046】
本発明の一実施形態による表示インターフェースコーデックのエントロピー符号化方法では、プレフィックス符号化方法を実行してエントロピー符号化グループのサフィックスまたは標本値を符号化するのに使用されるビット基盤表現に基づいて複数のプレフィックスコードブックのうちの一つを選択し、各ビット基盤表現に対して一つのプレフィックスコードブックが提供される。各プレフィックスコードブックは、与えられた符号化体系(coding scheme)とプレフィックス値に与えられたコードワード割り当て(assignment of code word)を実行する。また、本発明の一実施形態によれば、与えられた表現に対するプレフィックスコードブックは、画素値の互いに異なる成分に対して互いに異なるコードワード割り当てを付与することができる。本発明の一実施形態によれば、第1プレフィックスコードブックは符号絶対値表現に付与し、第2プレフィックスコードブックは2の補数表現に付与する。したがって、互いに異なるビット基盤表現を有するプレフィックス値は、互いに異なるプレフィックスコードブックを使用して符号化できる。このような方式で、各ビット基盤表現に対してプレフィックス値の符号化が適正化され、これにより、表示インターフェースコーデックの性能が改善できる。これとは対照的に、従来のエントロピー符号化体系は標本値を符号化するのに使用されるビット基盤表現と関係なく同一なプレフィックスコードブックを使用し、これは準適正性能を引き出すことができる。
【0047】
本発明の一実施形態によれば、各プレフィックスコードブックは、以下の符号化体系のうちの一つ以上を使用して設計できる。符号化体系は、例えば、ユナリコード(unary code)、ハフマンコード(Huffman code)、指数ゴロムコード(Exponential-Golomb codes)、ゴロム-ライスコード(Golomb-Rice codes)またはゴロム-ライスコードと指数ゴロムコードの組み合わせなどである。各プレフィックスコードブックは、互いに異なる符号化体系を使用することができる。例えば、第1コードブックはユナリコードを使用し、第2コードブックはハフマンコードを使用することができる。
【0048】
全てのプレフィックスコードブックに対して同一な符号化体系を使用する場合、例えば、全てのコードブックがユナリコードを使用する場合、コードブックのコードワードのマッピングは互いに異なることがある。即ち、同一なプレフィックス値が互いに異なるプレフィックスコードブックの互いに異なるユナリコードに割り当てられるかマッピングされることがある。
【0049】
また、与えられた表現に対して、画素値の各成分に互いに異なるプレフィックスコードブックを付与することができる。即ち、符号化体系および/またはコードワード割り当てが画素値の各成分に対して同一であるか、互いに異なることがある。本発明の一実施形態によれば、互いに異なる色成分は互いに異なる符号化体系を使用することができる。例えば、RGB画素データのR成分はユナリコードを使用し、G成分はハフマンコードを使用することができる。同一な符号化体系を使用する場合には、各成分が自分のコードワード割り当てを有することができる。即ち、各成分に対して互いに異なるユナリコードに同一なプレフィックス値が割り当てられる。
【0050】
一グループの与えられた標本値に対して、符号絶対値表現と2の補数表現の範囲差のため、プレフィックス値が同一でないことがある。標本のビット基盤表現の関数としてのプレフィックス値の差は、二つの表現の確率質量関数(pmf)が互いに異なるということを内包する。図11(a)および11(b)を含む図11は、本発明の一実施形態による符号絶対値および2の補数表現の確率質量関数(pmf)を示す。確率質量関数(pmf)はx軸のプレフィックス値(bitsReq)の関数で示し、与えられたプレフィックス値に対する確率値はy軸にprob(bitsReq)として示した。図11(a)を参照すれば、符号絶対値表現の場合、プレフィックス値1が最も確率が高く、その次の確率が高いものはプレフィックス値2である。図11(b)を参照すれば、2の補数表現の場合、プレフィックス値2が最も確率が高く、その次の確率が高いものはプレフィックス値3である。
【0051】
本発明の一実施形態によれば、ビット基盤表現に関連した確率質量関数(pmf)からの情報を使用して最も確率の高いプレフィックス値がさらに短いコードワード(またはビット数がさらに小さなコードワード)に関連するようにプレフィックスコードブックを生成する。本発明の一実施形態によれば、確率が低いプレフィックス値はビット数が高いコードワードに割り当てられるようにプレフィックスコードブックを生成する。したがって、確率が最も高いプレフィックス値は最も短いコードワードに、確率が最も低いプレフィックスは最も長いコードワードに割り当てられる。本発明の他の一実施形態によれば、一般にコードワード長(code word length)に対する確率の関係を使用してプレフィックスコードブックを生成することができるが、マッピングはプレフィックス値とコードワード長の線形関係に限定されない。すなわち、さらに短いビット長のコードワードに高い確率を有する複数のプレフィックス値が割り当てられ、さらに長いビット長のコードワードに低い確率を有する複数のプレフィックスが割り当てられる。最も高い確率のプレフィックス値が最も短いコードワードに割り当てられず、複数の短いコードワードのうちの一つに割り当てられる。
【0052】
図12(a)および12(b)を含む図12は本発明の一実施形態によるプレフィックス符号化方法に実装できる互いに異なるビット基盤表現のプレフィックスコードブックを示す。図12を参照すれば、符号絶対値表現(SM Representation)に第1プレフィックスコードブック80(図12(a)]を付与し、2の補数表現(2C Representation)に第2プレフィックスコードブック90(図12(b)]を付与する。本発明の一実施形態によれば、二つのプレフィックスコードブックを同一な符号化体系(ユナリコード)を使用して生成する。しかし、各プレフィックスコードブックのプレフィックス値-コードワード割り当ては、ビット基盤表現に関連する確率質量関数に基づいてそのビット基盤表現に対して特定に配列され、さらに確率の高いプレフィックス値がさらに短いビット長のコードワードに割り当てられる。
【0053】
図12(a)を参照すれば、プレフィックスコードブック80は、符号化体系(Prefix Code)としてユナリコード(Unary Code)を使用する。標本値が全て0であるグループはグループスキップ(Group Skip)ビットで示すため、プレフィックス値(Prefix Value(luma and chroma components))0は含まれない。プレフィックスコードブック80は、各プレフィックス値(1以上)を符号絶対値表現でのプレフィックス値の確率質量関数に基づいてユナリコードとしてプレフィックスコードにマッピングする。例えば、図11(a)に示した符号絶対値表現に対する確率質量関数の例を使用して、符号絶対値表現の最も確率の高いプレフィックス値は1であり、プレフィックスコードブック80は最も短いユナリコード0をプレフィックス値1に割り当てる。符号絶対値表現で、その次の高い確率のプレフィックス値は2であり、プレフィックスコードブック80はその次の短いユナリコード10をプレフィックス値2に割り当てる。プレフィックス値の確率が低くなるほど、ビット長が長いユナリコードが割り当てられるようにプレフィックスコードブック80を生成する。本発明の一実施形態によれば、7以上のプレフィックス値の場合には、ユナリコードに基づいた2進コードは、1が(bitsReq-1)個であり、その後に0が続く。また、本発明の一実施形態では、符号絶対値表現のルマ成分とクロマ成分に同一なプレフィックスコードブックを使用する。
【0054】
図12(b)を参照すれば、プレフィックスコードブック90は符号化体系(Prefix Code)としてユナリコード(Unary Code)を使用する。標本値が全て0であるグループは、グループスキップ(Group Skip)ビットで示すためプレフィックス値0は含まれない。プレフィックスコードブック90は、各プレフィックス値(1以上)を2の補数表現でのプレフィックス値の確率質量関数に基づいてユナリコードとしてプレフィックスコードにマッピングする。また、本発明の一実施形態では、2の補数表現のルマ成分とクロマ成分に対して互いに異なる二つのコードブック90A、90Bを付与する。
【0055】
例えば、図11(b)に示した2の補数表現に対する確率質量関数の例を使用して、2の補数表現の最も確率の高いプレフィックス値は2であり、プレフィックスコードブック90は最も短いユナリコード0をプレフィックス値2に割り当てる。2の補数表現でその次の高い確率のプレフィックス値は3であり、プレフィックスコードブック90Aはその次の短いユナリコード10をプレフィックス値3に割り当て、プレフィックスコードブック90Bはその次の短いユナリコード110をプレフィックス値3に割り当てる。プレフィックス値の確率が低くなるほど、ビット長が長いユナリコードが割り当てられるようにプレフィックスコードブック90を生成する。本発明の一実施形態によれば、7以上のプレフィックス値の場合には、ユナリコードに基づいた2進コードは、1が(bitsReq-1)個であり、その後に0が続く。
【0056】
2の補数表現のプレフィックスコードブック90の場合、画素値のルマ成分とクロマ成分に互いに異なるコードワード割り当てを使用する。例えば、ルマ成分のプレフィックス値(Prefix Value(luma component))5に対して、プレフィックスコードブック90Aがユナリコードワード“1110”を割り当てる。反面、クロマ成分のプレフィックス値(Prefix Value(chroma component))5に対しては、プレフィックスコードブック90Bがユナリコードワード“11110”を割り当てる。
【0057】
互いに異なるビット基盤表現に対して互いに異なるプレフィックスコードブックを付与することによって、各プレフィックスコードブックが該当ビット基盤表現に対して適正化され得る。このような方法で、表示インターフェースコーデック性能が顕著に改善できる。特に、本発明の一実施形態によるプレフィックス符号化方法は、復号器で略同一なスループット(throughput)を維持しながらも複雑度を高めず圧縮性能を改善することができる。
【0058】
前述のプレフィックス符号化方法およびプレフィックスコードブックは本発明の一実施形態に過ぎず、これに限定されない。本発明の他の一実施形態によれば、他のプレフィックスコードブックを使用することができる。前述の実施形態では、8×2または4×2画素ブロックサイズにエントロピー符号化分類方法を適用した。本発明の他の一実施形態によれば、プレフィックス符号化方法を全てのブロックサイズとブロックの各成分に対する全ての数のエントロピー符号化グループを生成する全ての方類方法に適用することができる。本発明の一実施形態によれば、プレフィックス符号化方法は、4:4:4、4:2:2、4:2:0を含む全てのクロマ標本方式に適用できる。プレフィックス符号化方法は、CPECを使用する全ての符号化モードに適用できる。例えば、プレフィックス符号化方法を変換モードにのみ適用するか、ブロック予測モードにのみ適用するか、変換モードおよびブロック予測モードの両方ともに適用することができる。
【0059】
図13は、本発明の一実施形態によるエントロピー符号化器で行われるエントロピー符号化方法を示したフローチャートである。本発明の一実施形態によれば、エントロピー符号化方法は、図2の表示ストリーム符号化器にあるエントロピー符号化器30で行うことができる。選択された符号化モード(例えば、変換モード、ブロック予測モードなど)に基づいて、画素ブロックの各成分に対して標本ブロックが生成される。図13を参照すれば、エントロピー符号化方法1300は、画素値の画素ブロックの各成分に対する選択された符号化モード過程で生成されたS個の標本値からなる一ブロックを受信する(1302)。エントロピー符号化方法1300は、そのブロックの各成分に対する標本値を二つ以上のエントロピー符号化グループに分布させることによって符号化グループを生成する(1304)。エントロピー符号化方法1300は、その次に、CPECに基づいて各エントロピー符号化グループの一つ以上の標本値を選択されたビット基盤表現に変換する(1306)。例えば、エントロピー符号化方法1300は、符号絶対値表現を使用して最初の3つのグループを変換し、最後のグループは2の補数表現を使用して変換する。
【0060】
方法1300は、その次に、各成分の各エントロピー符号化グループに対して、そのグループに使用するビット基盤表現を判定する(1308)。即ち、方法1300は、各エントロピー符号化グループのうち、一つのエントロピー符号化グループを選択し、選択されたエントロピー符号化グループに使用するビット基盤表現を判定する。
【0061】
使用するビット基盤表現を判定した結果(判定結果)に基づき、選択されたエントロピー符号化グループが符号絶対値表現に変換される場合には、方法1300は第1プレフィックスコードブックを適用して選択されたエントロピー符号化グループに対するプレフィックス値を符号化する(1310)。使用するビット基盤表現を判定した結果(判定結果)に基づき、選択されたエントロピー符号化グループが2の補数表現に変換される場合には、方法1300は第2プレフィックスコードブックを適用して選択されたエントロピー符号化グループに対するプレフィックス値を符号化する(1312)。第1または第2プレフィックスコードブック、または両方は、画素値の互いに異なる成分に対して別個のプレフィックスコードブックを含むことができる。その場合、方法1300は、選択された第1または第2プレフィックスコードブックで標本値の特定成分に関連する適切なプレフィックスコードブックを適用してプレフィックス値を符号化する。
【0062】
方法1300は、その次に、選択されたエントロピー符号化グループが最後のグループか否かを判別する(1314)。NOの場合、方法1300は、次のグループを選択し(1316)、使用されるビット基盤表現を決定し(1308)、該当のプレフィックスコードブックを適用して(1310、1312)、そのグループに対するプレフィックス値を符号化する。
【0063】
YESの場合、各グループに対するプレフィックスとサフィックスで、エントロピー符号化方法はエントロピー符号化グループをパッケージ化し、エントロピー符号化グループセットを出力として提供する(1318)。方法1300は、その次に、次のブロックを選択する(1320)。方法は1302で繰り返されて、次の画素値ブロックの各成分に対するS個の標本値ブロックを含む次の標本値ブロックを受信する。
【0064】
図1を再び参照すれば、表示ストリーム符号化器15が圧縮ビットストリームを生成し、生成された圧縮ビットストリームは表示リンク13を通じて表示駆動集積回路16に伝送される。表示駆動集積回路16の表示ストリーム復号器18は、圧縮ビットストリームを復号化する。本発明の一実施形態によれば、表示ストリーム復号器18は、受信した圧縮ビットストリームを複号化するために、符号化器15が使用したエントロピー符号化方法を実行する。図14は、本発明の一実施形態による表示ストリーム復号器に実装された復号化方法を示したフローチャートである。図14を参照すれば、復号化方法1400は、圧縮ビットストリームを受信する(1402)。復号化方法1400は、前述の第1または第2プレフィックスコードブックを用いた多重プレフィックスコードブックを使用するエントロピー符号化方法を使用して符号化された圧縮ビットストリームを復号化する。
【0065】
復号化方法1400は、圧縮ビットストリームから各標本値ブロックを処理する(1404)。処理しようとする標本値ブロックに対して、復号化方法1400は、当該標本値ブロックの各エントロピー符号化グループに使用するビット基盤表現を決定する(1406)。例えば、復号化方法1400は、特定エントロピー符号化グループが符号絶対値表現と2の補数表現のうちのいずれの表現を使用して変換されたかを判定する。
【0066】
使用されたビット基盤表現の判定結果に基づいて、復号化方法1400は、当該標本値ブロックの各エントロピー符号化グループに対する適切なプレフィックスコードブックを選択する(1408)。また、プレフィックスコードブックが画素値の互いに異なる成分に対して互いに異なるプレフィックスコードブックを含む場合、復号化方法1400は標本値に関連する成分のプレフィックスコードブックを選択する。
【0067】
プレフィックスコードブックが決定されると、復号化方法1400は、決定されたプレフィックスコードブックを使用して当該標本値ブロックの復号化を行う(1410)。特に、復号化方法1400は、圧縮ビットストリームのビットをパーシングして各グループに対するプレフィックスとサフィックスを識別する。復号化方法1400は、選択されたプレフィックスコードブックを使用して各グループのプレフィックスを復号化する。復号化方法1400は各グループの標本値を復号化する。各グループに対して復号化された標本値は各成分の8×2ブロック標本値を生成するのに使用される。例えば、図5または図6に示した分類動作の逆動作を行ってエントロピー符号化グループの標本値を8×2ブロック順に戻す。結局、当該標本値ブロックの一成分に対する8×2標本値ブロックを求める。
【0068】
復号化方法1400は、その次に、8×2標本値を処理して当該標本値ブロックの画素値を求める(1412)。例えば、復号化方法1400は、図3に示した動作の逆動作を適用して標本値ブロックから画素値ブロックを求める。復号化方法1400は画素データを映像データ出力として提供し、例えば、画素データは表示装置に供給されて映像再生され得る。復号化方法1400は、その次に、次のブロックを選択し(1416)、1404で選択されたブロックの処理を繰り返す。
【0069】
本発明は様々な方式で実装でき、例えば、方法、装置、システム、物質組み合わせ(composition of matter)、コンピュータで読み取り可能な記憶媒体に実装されたコンピュータプログラムおよび/またはメモリと連結されてメモリから提供を受ける、または、メモリに保存されたインストラクションを実行するハードウェアプロセッサーまたはプロセッサー装置などで実装できる。本明細書では、このような実装形態または本発明が取ることができる他の形態は技術(technique)と言える。一般に、前述の方法のステップまたは動作の順序は本発明の範囲内で変えられてもよい。特別な言及がない限り、課題を遂行すると説明したプロセッサーやメモリなどの部品は、与えられた時間に課題を遂行するように一時的に構成された汎用部品であってもよく、課題を遂行するように製作された専用部品であってもよい。ここで、‘プロセッサー(processor)’という用語は、コンピュータプログラムインストラクションなど、データを処理するように構成された一つ以上の装置、回路および/または処理コア(processing core)であり得る。
【0070】
本発明の一つ以上の実施形態を本発明の原理を示す添付図面と共に詳細に説明した。本発明を以上のような実施形態を用いて説明したが、本発明はいずれの実施形態にも限定されない。本発明の範囲は特許請求の範囲によってのみ限定され、幾多の代替物、変形物および等価物を包括する。本発明の理解のために多くの詳細な内容を説明した。このような詳細な内容は実施形態を示すためのものであり、このような詳細な内容の一部または全体がなくても特許請求の範囲によって本発明を実装することができる。本発明を明確にするため、また、例えば、本発明が不必要に不明瞭になることを避けるため、本発明の属する技術分野で知られている内容の詳細な説明は省略される。
【0071】
以上の説明は、本発明の一実施形態を説明したものに過ぎず、本発明を限定しようとするものではない。本発明の範囲内で様々な修正および変形が可能である。本発明は特許請求の範囲によって定義される。
【符号の説明】
【0072】
10 電子装置
12 アプリケーションプロセッサー
13 表示リンク
14 表示エンジン
15 表示ストリーム符号化器
16 表示駆動集積回路
17 フレームバッファー
18 表示ストリーム復号器
30、40 エントロピー符号化器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14