特許 7017542 映像復号装置および映像復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-31

(45)【発行日】2022-02-08

(54)【発明の名称】映像復号装置および映像復号方法

(51)【国際特許分類】

   H04N 19/433 20140101AFI20220201BHJP

   H04N 19/85 20140101ALI20220201BHJP

   H04N 19/426 20140101ALI20220201BHJP

【ＦＩ】

H04N19/433

H04N19/85

H04N19/426

【請求項の数】 15

(21)【出願番号】P 2019127671

(22)【出願日】2019-07-09

(65)【公開番号】P2020108135

(43)【公開日】2020-07-09

【審査請求日】2019-07-09

(31)【優先権主張番号】201811593362.0

(32)【優先日】2018-12-25

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】519187872

【氏名又は名称】星宸科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＳｉｇｍａＳｔａｒ Ｔｅｃｈｎｏｌｏｇｙ Ｌｔｄ．

(74)【代理人】

【識別番号】100217434

【弁理士】

【氏名又は名称】万野 秀人

(72)【発明者】

【氏名】孫 明勇

【審査官】古市 徹

(56)【参考文献】

【文献】国際公開第２０１５／１１５６４４（ＷＯ，Ａ１）

【文献】特開２０１７－０５５２７５（ＪＰ，Ａ）

【文献】特開２００７－２６６９７０（ＪＰ，Ａ）

【文献】特表２０１８－５３０９５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

映像ストリーム中の制御情報を読み取って復号し、
前記制御情報に基づいて、前記映像ストリーム中の複数の映像ストリームパケットを読み取り、
復号回路が、少なくとも前記制御情報に基づいて選択的に、メモリモジュールの第１の一時記憶領域からの第１参照ピクチャ中の対応画素データおよび前記メモリモジュールの第２の一時記憶領域からの第２参照ピクチャ中の対応画素データの少なくとも一方を読み取り、
前記第１参照ピクチャ中の対応画素データおよび前記第２参照ピクチャ中の対応画素データから選択される少なくとも一方、ならびに前記複数の映像ストリームパケットに基づく復号を実行して、復号ピクチャの画素データを生成し、
前記復号を実行する際、前記復号ピクチャの画素データを後処理回路に伝送し、前記制御情報に基づいて、前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納し、
前記制御情報に基づいて前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納するステップにおいて、さらに、前記復号ピクチャが短時間参照ピクチャである場合、前記復号ピクチャの画素データを前記第１の一時記憶領域に格納し、
前記復号ピクチャの画素データを前記第１の一時記憶領域に格納するステップにおいて、さらに、前記復号ピクチャの画素データを、前記第１の一時記憶領域中で前記第１参照ピクチャの領域よりも先に最大動きベクトル検索範囲から格納し、
前記第１参照ピクチャの読み取りにおいて、
前記制御情報に基づいて、前記第１参照ピクチャの参照ピクチャ領域に対応するピクチャ領域スタートアドレスオフセットを取り出し、
前記ピクチャ領域スタートアドレスオフセットと前記第１参照ピクチャの参照ピクチャスタートアドレスオフセットとを加算した後、前記第１の一時記憶領域のサイズで除算して剰余を取得し、
前記第１の一時記憶領域の前記メモリモジュールにおける一時記憶領域スタートアドレスに前記剰余を加算した後の読み取りスタートアドレスから、前記参照ピクチャ領域を読み取る
映像復号方法。

【請求項2】

前記制御情報に基づいて前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納するステップにおいて、さらに、前記復号ピクチャの画素データを圧縮する
請求項１に記載の映像復号方法。

【請求項3】

前記第１の一時記憶領域および前記第２の一時記憶領域は、同一のＤＲＡＭ（Dynamic Random Access Memory）の中にある
請求項１に記載の映像復号方法。

【請求項4】

メモリモジュールと、
復号回路と、
後処理回路と
前記メモリモジュール、前記復号回路および前記後処理回路に電気的に接続し、複数のファームウエア実行可能命令を実行する処理回路とを備える映像復号装置であって、
映像ストリーム中の制御情報を読み取って復号し、
前記復号回路は、
前記制御情報に基づいて、前記映像ストリーム中の複数の映像ストリームパケットを読み取り、
少なくとも前記制御情報に基づいて選択的に、前記メモリモジュールの第１の一時記憶領域からの第１参照ピクチャ中の対応画素データおよび前記メモリモジュールの第２の一時記憶領域からの第２参照ピクチャ中の対応画素データの少なくとも一方を読み取り、
前記第１参照ピクチャ中の対応画素データおよび前記第２参照ピクチャ中の対応画素データから選択される少なくとも一方、ならびに前記複数の映像ストリームパケットに基づく復号を実行して、復号ピクチャの画素データを生成し、
前記復号を実行する際、前記復号ピクチャの画素データを後処理回路に伝送し、前記制御情報に基づいて、前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納する映像復号方法を実行し、
前記制御情報に基づいて前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納するステップにおいて、さらに、前記復号ピクチャが短時間参照ピクチャである場合、前記復号ピクチャの画素データを前記第１の一時記憶領域に格納し、
前記復号ピクチャの画素データを前記第１の一時記憶領域に格納するステップにおいて、さらに、前記復号ピクチャの画素データを、前記第１の一時記憶領域中で前記第１参照ピクチャの領域よりも先に最大動きベクトル検索範囲から格納し、
前記第１参照ピクチャの読み取りにおいて、
前記制御情報に基づいて、前記第１参照ピクチャの参照ピクチャ領域に対応するピクチャ領域スタートアドレスオフセットを取り出し、
前記ピクチャ領域スタートアドレスオフセットと前記第１参照ピクチャの参照ピクチャスタートアドレスオフセットとを加算した後、前記第１の一時記憶領域のサイズで除算して剰余を取得し、
前記第１の一時記憶領域の前記メモリモジュールにおける一時記憶領域スタートアドレスに前記剰余を加算した後の読み取りスタートアドレスから、前記参照ピクチャ領域を読み取る
映像復号装置。

【請求項5】

前記制御情報に基づいて前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納するステップにおいて、さらに、前記復号ピクチャの画素データを圧縮する
請求項４に記載の映像復号装置。

【請求項6】

前記第１の一時記憶領域と前記第２の一時記憶領域は、同一のＤＲＡＭ（Dynamic Random Access Memory）の中にある
請求項４に記載の映像復号装置。

【請求項7】

映像ストリーム中の制御情報を読み取って復号し、
前記制御情報に基づいて、前記映像ストリーム中の複数の映像ストリームパケットを読み取り、
少なくとも前記制御情報に基づいて、メモリモジュールの第１の一時記憶領域から少なくとも第１参照ピクチャ中の対応画素データを読み取り、前記第１の一時記憶領域の格納内容は順次格納されたものであり、前記格納内容には、最大動きベクトル検索範囲ピクチャおよび前記第１参照ピクチャが含まれ、
前記複数の映像ストリームパケットおよび少なくとも前記第１参照ピクチャ中の対応画素データに基づく復号を実行して復号ピクチャの画素データを生成し、
前記復号を実行する際、前記復号ピクチャの画素データを後処理回路に伝送して後処理を行い、前記制御情報に基づいて前記復号ピクチャの画素データを前記第１の一時記憶領域に格納し、前記第１の一時記憶領域において前記最大動きベクトル検索範囲ピクチャの前記格納内容から順に前記格納内容を置き換え、
前記第１参照ピクチャの読み取りにおいて、
前記制御情報に基づいて、前記第１参照ピクチャの参照ピクチャ領域に対応するピクチャ領域スタートアドレスオフセットを取り出し、
前記ピクチャ領域スタートアドレスオフセットと前記第１参照ピクチャの参照ピクチャスタートアドレスオフセットとを加算した後、前記第１の一時記憶領域のサイズで除算して剰余を取得し、
前記第１の一時記憶領域の前記メモリモジュールにおける一時記憶領域スタートアドレスに前記剰余を加算した後の読み取りスタートアドレスから、前記参照ピクチャ領域を読み取る
映像復号方法。

【請求項8】

元の前記最大動きベクトル検索範囲ピクチャおよび第１部分の前記第１参照ピクチャを順に前記復号ピクチャの画素データに置き換えて新しい前記第１参照ピクチャとし、前記第１部分の後方に位置する第２部分の前記第１参照ピクチャを新しい前記最大動きベクトル検索範囲ピクチャとする
請求項７に記載の映像復号方法。

【請求項9】

前記復号ピクチャの第１の一時記憶領域への格納において、さらに、
前記復号ピクチャの復号ピクチャ領域に対応する復号ピクチャ領域スタートアドレスオフセットを決定し、
前記復号ピクチャ領域スタートアドレスオフセットと前記復号ピクチャの復号ピクチャスタートアドレスオフセットとを加算した後、前記第１の一時記憶領域のサイズで除算して剰余を取得し、
前記第１の一時記憶領域の前記メモリモジュールにおける一時記憶領域スタートアドレスに前記剰余を加算した後の格納スタートアドレスに、前記復号ピクチャ領域を格納する
請求項７に記載の映像復号方法。

【請求項10】

さらに、前記制御情報に基づいて、前記メモリモジュールの第２の一時記憶領域から少なくとも第２参照ピクチャを読み取り、
前記複数の映像ストリームパケット、ならびに前記第１参照ピクチャおよび第２参照ピクチャに基づいて復号して前記復号ピクチャを生成する
請求項７に記載の映像復号方法。

【請求項11】

前記第１参照ピクチャは、短時間参照ピクチャおよび長時間参照ピクチャの一方であり、前記第２参照ピクチャは、前記短時間参照ピクチャおよび前記長時間参照ピクチャの他方である
請求項１０に記載の映像復号方法。

【請求項12】

前記最大動きベクトル検索範囲ピクチャのサイズは、ピクチャ幅と最大検索行数との積である
請求項７に記載の映像復号方法。

【請求項13】

さらに、後処理を行った後の前記復号ピクチャの画素データを、前記メモリモジュールの表示一時記憶領域に格納する。
請求項７に記載の映像復号方法。

【請求項14】

さらに、前記復号ピクチャの画素データを圧縮し、圧縮した後の前記復号ピクチャの画素データを前記第１の一時記憶領域に格納する
請求項７に記載の映像復号方法。

【請求項15】

メモリモジュールと、
復号回路と、
後処理回路と
前記メモリモジュール、前記復号回路および前記後処理回路に電気的に接続し、複数のファームウエア実行可能命令を実行する処理回路とを備える映像復号装置であって、
映像ストリーム中の制御情報を読み取り、
前記復号回路は、
前記制御情報に基づいて、前記映像ストリーム中の複数の映像ストリームパケットを読み取り、
少なくとも前記制御情報に基づいて、前記メモリモジュールの第１の一時記憶領域から少なくとも第１参照ピクチャ中の対応画素データを読み取り、前記第１の一時記憶領域の格納内容は順次格納されたものであり、前記格納内容には、最大動きベクトル検索範囲ピクチャおよび前記第１参照ピクチャが含まれ、
前記複数の映像ストリームパケットおよび少なくとも前記第１参照ピクチャ中の対応画素データに基づく復号を実行して復号ピクチャの画素データを生成し、
前記復号を実行するとともに、前記復号ピクチャの画素データを後処理回路に伝送して後処理を行い、前記制御情報に基づいて前記復号ピクチャの画素データを前記第１の一時記憶領域に格納し、前記第１の一時記憶領域において前記最大動きベクトル検索範囲ピクチャの前記格納内容から順に前記格納内容を置き換える映像復号方法を実行し、
前記第１参照ピクチャの読み取りにおいて、
前記制御情報に基づいて、前記第１参照ピクチャの参照ピクチャ領域に対応するピクチャ領域スタートアドレスオフセットを取り出し、
前記ピクチャ領域スタートアドレスオフセットと前記第１参照ピクチャの参照ピクチャスタートアドレスオフセットとを加算した後、前記第１の一時記憶領域のサイズで除算して剰余を取得し、
前記第１の一時記憶領域の前記メモリモジュールにおける一時記憶領域スタートアドレスに前記剰余を加算した後の読み取りスタートアドレスから、前記参照ピクチャ領域を読み取る
映像復号装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像復号技術に関し、特に映像復号装置および映像復号方法に関する。

【背景技術】

【0002】

映像コーデックは、デジタル映画を圧縮または解凍することで、伝送時のさらなる効率化を実現できる。多くの従来の符号化技術において、例えば、Ｈ．２６４、Ｈ．２６５またはＨＥＶＣなどの映像符号化復号規格では、動き推定および動き補償技術を用いて、時系列中のピクチャを参照して符号化し、動画像を有効に記録して圧縮することで、伝送および格納するデータ量を低減する。したがって、映像デコーダの一部は、参照ピクチャに基づいて復号しているピクチャを扱うために、複数の符号化タイミングに関する参照ピクチャを格納する必要がある。また、復号中のピクチャについても、復号するプロセスに伴って一時的に格納しなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、参照ピクチャおよび復号ピクチャは、いずれもメモリに格納しなければならない。もし格納について効率的な設計をしなければ、メモリの空間を利用する時、無駄が生じやすくなる。

【0004】

このような従来技術の問題に鑑み、本発明は、従来の技術を改善することができる映像復号装置および映像復号方法を提供することを目的とする。

【0005】

さらに、本発明は、映像を復号する時に必要な参照ピクチャと生成された復号ピクチャとにメモリモジュールの一時記憶領域を共有させてメモリの使用量を効率的に低減できる映像復号装置および映像復号方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、映像ストリーム中の制御情報を読み取り、前記制御情報に基づいて、前記映像ストリーム中の複数の映像ストリームパケットを読み取り、復号回路が、少なくとも前記制御情報に基づいて選択的に、メモリモジュールの第１の一時記憶領域からの第１参照ピクチャ中の対応画素データおよび前記メモリモジュールの第２の一時記憶領域からの第２参照ピクチャ中の対応画素データの少なくとも一方を読み取り、前記第１参照ピクチャ中の対応画素データおよび前記第２参照ピクチャ中の対応画素データから選択される少なくとも一方、ならびに前記映像ストリームパケットに基づく復号を実行して、復号ピクチャの画素データを生成し、前記復号を実行する際、前記復号ピクチャの画素データを後処理回路に伝送し、前記制御情報に基づいて、前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納する映像復号方法を含む。

【0007】

本発明は、さらにメモリモジュール、復号回路、後処理回路および処理回路を備える映像復号装置を含む。処理回路はメモリモジュール、復号回路および後処理回路に電気的に接続し、複数のファームウエア実行可能命令を実行する。これらを備える映像復号装置は映像復号方法を実行する。映像復号方法において、復号回路は、少なくとも前記制御情報に基づいて選択的に、前記メモリモジュールの第１の一時記憶領域からの第１参照ピクチャ中の対応画素データおよび前記メモリモジュールの第２の一時記憶領域からの第２参照ピクチャ中の対応画素データの少なくとも一方を読み取り、前記第１参照ピクチャ中の対応画素データおよび前記第２参照ピクチャ中の対応画素データから選択される少なくとも一方、ならびに前記映像ストリームパケットに基づく復号を実行して、復号ピクチャの画素データを生成し、復号を実行する際、前記復号ピクチャの画素データを後処理回路に伝送し、前記制御情報に基づいて、前記復号ピクチャの画素データを前記第１の一時記憶領域および前記第２の一時記憶領域の一方に格納する。

【0008】

本発明は、映像ストリーム中の制御情報を読み取って復号し、前記制御情報に基づいて、前記映像ストリーム中の複数の映像ストリームパケットを読み取り、少なくとも前記制御情報に基づいて、メモリモジュールの第１の一時記憶領域から少なくとも第１参照ピクチャ中の対応画素データを読み取り、前記第１の一時記憶領域の格納内容は順次格納されたものであり、前記格納内容には、前方に位置する最大動きベクトル検索範囲ピクチャおよび後方に位置する前記第１参照ピクチャが含まれ、前記映像ストリームパケットおよび少なくとも前記第１参照ピクチャ中の対応画素データに基づく復号を実行して復号ピクチャの画素データを生成し、前記復号を実行する際、前記復号ピクチャの画素データを後処理回路に伝送して後処理を行い、前記制御情報に基づいて前記復号ピクチャの画素データを行ごとに前記第１の一時記憶領域に格納し、前記第１の一時記憶領域において最も前方に位置する前記格納内容から順に前記格納内容を置き換える映像復号方法を含む。

【0009】

本発明は、さらにメモリモジュール、復号回路、後処理回路および処理回路を備えるほかの映像復号装置を含む。処理回路はメモリモジュール、復号回路および後処理回路に電気的に接続し、複数のファームウエア実行可能命令を実行する。これらを備える映像復号装置は映像復号方法を実行する。映像復号方法において、映像ストリーム中の制御情報を読み取って復号し、前記復号回路は、前記制御情報に基づいて、前記映像ストリーム中の複数の映像ストリームパケットを読み取り、少なくとも前記制御情報に基づいて、前記メモリモジュールの第１の一時記憶領域から少なくとも第１参照ピクチャ中の対応画素データを読み取り、前記第１の一時記憶領域の格納内容は順次格納されたものであり、前記格納内容には、前方に位置する最大動きベクトル検索範囲ピクチャおよび後方に位置する前記第１参照ピクチャが含まれ、前記映像ストリームパケットおよび少なくとも前記第１参照ピクチャ中の対応画素データに基づく復号を実行して復号ピクチャの画素データを生成し、前記復号を実行するとともに、前記復号ピクチャの画素データを後処理回路に伝送して後処理を行い、前記制御情報に基づいて前記復号ピクチャの画素データを前記第１の一時記憶領域に格納し、前記第１の一時記憶領域において最も前方に位置する前記格納内容から順に前記格納内容を置き換える。

【0010】

本発明の特徴、実施方法および効果について、図面を参照しながら実施の形態を詳しく説明する。

【図面の簡単な説明】

【0011】

【図1】図１は本発明の一実施例における映像復号装置のブロックを示す図である。

【図2】図２は本発明の一実施例における映像復号方法のフローを示す図である。

【図3A】図３Ａは本発明の一実施例における第１の一時記憶領域を示す図である。

【図3B】図３Ｂは本発明の一実施例における第１の一時記憶領域を示す図である。

【図3C】図３Ｃは本発明の一実施例における第１の一時記憶領域を示す図である。

【発明を実施するための形態】

【0012】

（実施の形態）
以下では、図および具体的な実施の形態を用いて、本発明を詳しく説明する。ただし、これらは本発明を限定するものではない。

【0013】

本発明は、復号する際に、メモリに効率的に参照ピクチャおよび復号ピクチャを記憶させて記憶領域の節約効果をもたらす映像復号装置および映像復号方法を提供することを目的とする。

【0014】

図１を参照すると、当該図１は本発明の一実施例における映像復号装置１００のブロック図である。映像復号装置１００は、映像ストリーム（Element Stream：ES）を受信し、映像ストリームＥＳ中の映像ストリームパケットおよび制御情報を復号して後処理を行い、出力復号映像ＤＯＩを生成し、表示モジュール（図示せず）に出力復号映像ＤＯＩを表示させる。

【0015】

映像復号装置１００は、少なくともメモリコントローラ１５０、メモリモジュール１１０、復号回路１２０、後処理回路１３０および処理回路１４０を含む。そのうち、メモリモジュール１１０は、インタフェースを介して映像復号装置１００に接続される独立素子でもよい。

【0016】

実施例において、メモリモジュール１１０は、メモリコントローラ１５０および復号回路１２０を介して、後処理回路１３０および処理回路１４０に接続される。メモリモジュール１１０は、映像を復号する時に必要な異なるデータを格納する異なる領域を有し、少なくとも映像ストリームＥＳ領域、一つまたは複数の短時間参照ピクチャ領域、一つまたは複数の長時間参照ピクチャ領域およびＤＯＩ領域を含む。メモリモジュール１１０は、スピードが比較的速いメモリ、例えば、ＤＤＲ ＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory）で実現してもよいが、それに限らない。

【0017】

実施例において、映像復号装置１００は、さらにメモリコントローラ１５０を含んでもよい。メモリコントローラ１５０は、例えば、メモリインタフェースユニット（Memory Interface Unit：ＭＩＵ）により実現されてもよいが、それに限らない。映像復号装置１００における他の回路モジュールにおいて、例えば復号回路１２０、後処理回路１３０および処理回路１４０は、メモリコントローラ１５０を介してメモリモジュール１１０にアクセスすることで、データをメモリモジュール１１０に記憶、またはメモリモジュール１１０からデータを読み取ってもよい。

【0018】

復号回路１２０は、例えば参照ピクチャおよび映像ストリームパケットに限らない必要なデータに基づいて復号し、順に復号済み画素をメモリ群に格納し、後処理回路１３０に伝送し、復号ピクチャＤＩを生成する。デコーダは、例えばＨ．２６４あるいはＨ．２６５の符号化規格に基づいて復号工程を行うが、それらの符号化規格に限らない。

【0019】

後処理回路１３０は、復号ピクチャＤＩに後処理を行うためのものであり、例えばスケーリング（scaling）、映像品質処理またはフォーム変換に限らない後処理を行うことで、出力復号映像ＤＯＩを生成する。

【0020】

処理回路１４０は、メモリモジュール１１０、復号回路１２０および後処理回路１３０に電気的に接続する。処理回路１４０は一つまたは多数のマイクロプロセッサ（microprocessor）または映像ストリーム分析回路との組み合わせにより構成されてもよく、ファームウエア実行可能命令１４１を実行することで、映像復号装置１００の機能を実行する。更に詳しく説明すると、処理回路１４０は映像復号装置１００に含まれる格納モジュール（図示せず）からファームウエア実行可能命令１４１を取り出す。ファームウエア実行可能命令１４１は、例えば映像ストリーム制御情報の復号、復号回路１２０および後処理回路１３０などのハードウエアモジュールのファームウエア／ドライバ（firmware/driver）プログラム、およびその他の復号回路１２０および後処理回路１３０などのハードウエアモジュールを操作および制御するための関連コマンドを含むが、これらに限らない。さらに、復号回路１２０および後処理回路１３０などハードウエアモジュールを操作および制御し、上記の映像ストリームＥＳの復号および後処理を行い、出力復号映像ＤＯＩを生成する。

【0021】

実施例において、復号回路１２０、後処理回路１３０および処理回路１４０は、映像ストリーム復号および映像後処理の過程において、必要な制御情報を交換する。

【0022】

図２を合わせて説明する。以下、図１および図２を合わせて、映像復号装置１００の詳細な機能をさらに詳しく説明する。

【0023】

図２は本発明の一実施例における映像復号方法２００のフローチャートである。映像復号方法２００は、図１に示す映像復号装置１００に適用してもよい。映像復号方法２００の実施例において、図２に示すように、下記のステップを含む。

【0024】

ステップＳ２１０において、処理回路１４０に映像ストリームＥＳにおける制御情報を読み取らせて復号させる。制御情報は、パケットが短時間参照ピクチャ（Short Term Reference Frame：STRF）または長時間参照ピクチャ（Long Term Reference Frame：LTRF）に属するかを識別し、復号するためのパラメーターなどである。

【0025】

実施例において、映像ストリームＥＳは、メモリモジュール１１０中の映像ストリームパケット一時記憶領域１１２に一時格納される。処理回路１４０および復号回路１２０は、メモリコントローラ１５０を介して映像ストリームパケット一時記憶領域１１２を読み取り、映像ストリームＥＳ中の制御情報および映像ストリームパケット（ES Packets）を取得する。

【0026】

ステップＳ２２０において、復号回路１２０に、制御情報に基づいて、映像ストリームＥＳ中の映像ストリームパケットを読み取らせる。

【0027】

実施例において、映像ストリームＥＳは、制御情報以外に、さらに映像ストリームパケットを含む。そのうち、映像ストリームＥＳ中の制御情報は符号化に関連する情報を含み、映像ストリームパケットは実際の映像データである。処理回路１４０は、制御情報に基づいて、復号するパケットおよび参照するピクチャを把握し、復号回路１２０を制御して、メモリコントローラ１５０を介して映像ストリームＥＳ中の映像ストリームパケットを読み取らせる。

【0028】

ステップＳ２３０において、復号回路１２０に、少なくとも制御情報に基づいて選択的に、メモリモジュール１１０の第１の一時記憶領域１１４からの第１参照ピクチャＳＦ中の対応画素データ、およびメモリモジュール１１０の第２の一時記憶領域１１６からの第２参照ピクチャＬＦ中の対応画素データの少なくとも一方を読み取らせる。

【0029】

実施例において、復号回路１２０は同時に制御情報および映像ストリームパケットの内容に基づいて、上記の読み取り動作を選択的に行うことができる。

【0030】

実施例において、第１の一時記憶領域１１４に格納される内容は少なくとも第１参照ピクチャＳＦを含むが、本実施例において、第１参照ピクチャＳＦは短時間参照ピクチャである。復号対象ピクチャの時系列でＮ個目のピクチャを例にすると、第１参照ピクチャＳＦはＮ－１個目のピクチャ、つまり復号が完了している、直前の復号ピクチャである。第２の一時記憶領域１１６に格納される内容は、少なくとも第２参照ピクチャＬＦを含むが、本実施例において、第２参照ピクチャＬＦは長時間参照ピクチャである。復号対象ピクチャの時系列でＮ個目のピクチャを例にすると、第２参照ピクチャＬＦはＮ－５個目のピクチャであり、直前の復号ピクチャではない。復号回路１２０は、復号対象ピクチャごとの要求に基づいて、必要な参照データを読み取るが、短時間参照ピクチャおよび長時間参照ピクチャを読み取ってもよいし、短時間参照ピクチャおよび長時間参照ピクチャの一方を読み取ってもよいし、またはいずれの参照ピクチャも読み取らなくてもよい。

【0031】

メモリの節約の点から更に詳しく考えると、もし復号対象ピクチャが短時間参照ピクチャである場合、復号対象ピクチャと直前の復号ピクチャとは第１の一時記憶領域１１４を共有し、復号対象ピクチャにより徐々に直前の復号ピクチャは上書きされるが、少なくとも現在の復号対象ピクチャを復号するために必要な直前復号ピクチャ領域は確保しなければならない。本実施例において、映像ストリームＥＳに含まれる映像ピクチャのピクチャ高さをＨとし、ピクチャ幅をＷとし、映像ピクチャのサイズをＨ×Ｗとし、符号化復号の規格によりピクチャ間の動きベクトルの最大検索行数がＶと設定される時、最大動きベクトル検索範囲ピクチャのサイズはＶ×Ｗになる。したがって、第１の一時記憶領域１１４のサイズはＨ×Ｗ＋Ｖ×Ｗであり、第１の一時記憶領域１１４は環状のバッファメモリ（Ring Buffer）設計でもよいが、本発明は上記に限らない。もし復号対象ピクチャが長時間参照ピクチャである場合、復号対象ピクチャは、直前の復号ピクチャと第２の一時記憶領域１１６を共有する。その他の点では短時間参照ピクチャと第１の一時記憶領域１１４を共有する動作と同じであり、ここでは詳しく説明しない。

【0032】

ステップＳ２４０において、復号回路１２０を制御し、第１参照ピクチャＳＦ中の対応画素データおよび第２参照ピクチャＬＦ中の対応画素データから選択される少なくとも一方、ならびに映像ストリームパケットに基づいて復号して、復号ピクチャＤＩの画素データを生成する。

【0033】

実施例において、復号回路１２０は、例えばＨ．２６４あるいはＨ．２６５のビデオ符号化復号規格に基づいて、映像ストリームＥＳ中の映像ストリームパケットを順に復号し、現在の復号対象ピクチャの復号が完了するまで、復号済みの画素をメモリモジュール１１０に格納して後処理回路１３０に送信し、復号ピクチャＤＩを生成する。復号回路１２０が映像ストリームパケットを復号する際には、制御信号および映像ストリームパケットデータに基づいて、第１参照ピクチャＳＦの画素データおよび第２参照ピクチャＬＦの画素データを選択的に参照して復号しなければならない。

【0034】

ステップＳ２５０において、復号するとともに、復号回路１２０を制御し、復号ピクチャＤＩ中の復号済みの画素データを順に後処理回路１３０に伝送して後処理を行い、制御情報により、復号ピクチャＤＩ中の復号済みの画素データを順に第１の一時記憶領域１１４または第２の一時記憶領域１１６に格納する。実施例において、もし復号ピクチャＤＩが短時間参照ピクチャである場合、復号ピクチャＤＩ中の復号済みの画素を順に第１の一時記憶領域１１４に格納し、または復号ピクチャＤＩが長時間参照ピクチャである場合、復号ピクチャＤＩ中の復号済みの画素を順に第２の一時記憶領域１１６に格納する。

【0035】

他の実施例において、１つの短時間参照ピクチャおよび１つの長時間参照ピクチャを格納することに限らず、かつ第１の一時記憶領域に短時間参照ピクチャを格納し、第２の一時記憶領域に長時間参照ピクチャを格納することに限らず、システムにより必要に応じて配置を調整できる。

【0036】

なお、実施例において、後処理回路１３０の後処理を経て生成される出力復号映像ＤＯＩは、外部の表示装置に表示される。

【0037】

本実施例において、復号ピクチャが短時間参照ピクチャである時、復号回路１２０は、メモリコントローラ１５０により第１の一時記憶領域１１４中の第１参照ピクチャＳＦの画素データを読み取りながら、生成した復号ピクチャＤＩの画素データをメモリコントローラ１５０により第１の一時記憶領域１１４に格納する。

【0038】

第１の一時記憶領域１１４がリングバッファメモリである例において、復号対象ピクチャの復号に第１参照ピクチャＳＦを参照しなければならない時、必要な最大動きベクトル検索範囲ＭＦのサイズはＶ×Ｗであり、復号回路１２０が生成する復号ピクチャＤＩは、第１の一時記憶領域１１４中の第１参照ピクチャＳＦの前方のＶ×Ｗ位置から格納しなければならない。復号回路１２０が生成する復号ピクチャＤＩは、元の最大動きベクトル検索範囲ピクチャＭＦ１の内容を優先的に置き換える。次に、サイズがＶ×Ｗである最大動きベクトル検索範囲ピクチャＭＦ１がすべて置き換えられた後、復号回路１２０は、すべての復号ピクチャＤＩのデータを生成および格納し終わるまで、続けて第１部分の第１参照ピクチャＳＦを置き換える。

【0039】

第１の一時記憶領域１１４では、復号ピクチャＤＩにより徐々に第１の一時記憶領域１１４に格納されている内容を置き換える方法に基づいて、第１参照ピクチャＳＦおよび復号ピクチャＤＩに、第１の一時記憶領域１１４を共有させる。しかし、復号回路１２０が復号する際には動きベクトルの情報が必要であるため、復号ピクチャＤＩが最後の一部のピクチャ領域でも変わらず復号回路１２０が第１参照ピクチャＳＦを参照して復号できるように、少なくとも第１参照ピクチャＳＦ中の最大動きベクトル検索に適合する範囲を確保しなければならない。そのうち、最大動きベクトル検索の範囲のサイズ（つまりＶのサイズ）は必要に応じて決定してもよい。

【0040】

復号ピクチャが長時間参照ピクチャである時、復号回路１２０は、メモリコントローラ１５０により第２の一時記憶領域１１６中の第２参照ピクチャＬＦを読み取りながら、生成した復号ピクチャＤＩの画素をメモリコントローラ１５０により第２の一時記憶領域１１６に格納する。第２の一時記憶領域１１６へのアクセス動作と上述の第１の一時記憶領域１１４へのアクセス動作とは同じなので、ここでは繰り返し説明しない。

【0041】

次に、図３Ａから図３Ｃを参照する。図３Ａから図３Ｃは、それぞれ本発明の一実施例における第１の一時記憶領域１１４を示す図である。

【0042】

図３Ａに示すように、第１の一時記憶領域１１４には、第１参照ピクチャＳＦおよび最大動きベクトル検索範囲ピクチャＭＦ１が格納される。復号の開始直後、復号回路１２０は第１参照ピクチャＳＦのスタート位置から読み取り、復号した後の復号ピクチャＤＩを、最大動きベクトル検索範囲ピクチャＭＦ１のスタート位置から格納する。

【0043】

実施例において、以下の方法により第１参照ピクチャＳＦを読み取る。まず、第１参照ピクチャＳＦのスタート位置の、第１の一時記憶領域１１４のスタート位置に対するアドレスオフセットが、処理回路１４０により参照ピクチャスタートアドレスオフセットＳｔｏｆｆとして記録される。さらに、処理回路１４０は、制御情報により、対応する第１参照ピクチャＳＦ中の、対応する参照ピクチャ領域ＲＢのピクチャ領域スタートアドレスオフセットＭｂｏｆｆを取り出す。

【0044】

処理回路１４０は、さらにピクチャ領域スタートアドレスオフセットＭｂｏｆｆと参照ピクチャスタートアドレスオフセットＳｔｏｆｆとを加算した後、第１の一時記憶領域１１４のサイズ（Ｈ×Ｗ＋Ｖ×Ｗ）で除算して剰余Ｒ１を取得する。さらに詳しく言えば、剰余Ｒ１＝（Ｍｂｏｆｆ＋Ｓｔｏｆｆ） ｍｏｄ (Ｈ×Ｗ＋Ｖ×Ｗ)である。本実施例において、第１参照ピクチャＳＦが格納される位置は連続するので、ピクチャ領域スタートアドレスオフセットＭｂｏｆｆと参照ピクチャスタートアドレスオフセットＳｔｏｆｆとを加算した結果は、第１の一時記憶領域１１４のサイズを上回ることなく、この剰余Ｒ１は加算結果と同じになる。

【0045】

次に、処理回路１４０は、第１の一時記憶領域１１４がメモリモジュール１１０の一時記憶領域スタートアドレスＩＡに剰余を加算した後の読み取りスタートアドレス（ＩＡ＋Ｒ１）を算出し、復号回路１２０に当該読み取りスタートアドレスに基づいて、必要な参照ピクチャ領域ＲＢを読み取らせる。

【0046】

一方、以下で説明する方法により、復号ピクチャＤＩの格納を行ってもよい。まず、Ｎ個目の復号ピクチャＤＩについて、そのスタート位置の、第１の一時記憶領域１１４のスタート位置に対するアドレスオフセットは、処理回路１４０により復号ピクチャスタートアドレスオフセットＮｆｏｆｆとして記録されてもよい。復号ピクチャＤＩに含まれる復号ピクチャ領域の、復号ピクチャＤＩスタート位置に対するオフセットは、処理回路１４０により復号ピクチャ領域スタートアドレスオフセットＭＢｏｆｆと決定されてもよい。

【0047】

処理回路１４０は、さらに復号ピクチャ領域スタートアドレスオフセットＭＢｏｆｆと復号ピクチャスタートアドレスオフセットＮｆｏｆｆとを加算した後、第１の一時記憶領域１１４のサイズで除算して剰余Ｒ２を取得する。さらに詳しくいえば、剰余Ｒ２＝（ＭＢｏｆｆ＋Ｎｆｏｆｆ） ｍｏｄ （Ｈ×Ｗ＋Ｖ×Ｗ）である。

【0048】

本実施例において、復号ピクチャＤＩの格納が最大動きベクトル検索範囲ピクチャＭＦ１のサイズを上回らない時、復号ピクチャ領域スタートアドレスオフセットＭＢｏｆｆと復号ピクチャスタートアドレスオフセットＮｆｏｆｆとを加算した結果は、第１の一時記憶領域１１４のサイズを上回ることなく、この剰余Ｒ２は加算結果と同じになる。

【0049】

次に、処理回路１４０は、第１の一時記憶領域１１４がメモリモジュール１１０の一時記憶領域スタートアドレスＩＡと剰余とを加算した後の格納スタートアドレス（ＩＡ＋Ｒ２）を算出し、復号回路１２０に、当該格納スタートアドレスに基づいて復号ピクチャ領域ＤＢを格納させる。

【0050】

復号ピクチャＤＩの格納が最大動きベクトル検索範囲ピクチャＭＦ１のサイズを上回る時、復号ピクチャ領域スタートアドレスオフセットＭＢｏｆｆと復号ピクチャスタートアドレスオフセットＮｆｏｆｆとを加算した結果は、第１の一時記憶領域１１４のサイズより大きくなり、加算結果を第１の一時記憶領域１１４のサイズで除算すれば、商は１より大きくなる。したがって、取得した剰余Ｒ２により、処理回路１４０は、第１の一時記憶領域１１４のメモリモジュール１１０における一時記憶領域スタートアドレスＩＡに剰余を加算した後の、本当の格納スタートアドレス（ＩＡ＋Ｒ２）を算出することが可能で、復号回路１２０に、当該格納スタートアドレスに基づいて復号ピクチャ領域を格納させる。

【0051】

さらに詳しく言えば、復号ピクチャＤＩの格納が最大動きベクトル検索範囲ピクチャＭＦ１のサイズを上回る時、処理回路１４０は、元の第１参照ピクチャＳＦを置き換えるように、第１の一時記憶領域１１４の先頭から格納する。

【0052】

したがって、上記の方法により復号した後、図３Ｂが示すように、格納されるＮ個目の復号ピクチャＤＩは新しい第１参照ピクチャＳＦとなり、第１の一時記憶領域１１４において二つの部分に分かれる。第１部分は時系列で比較すれば前であり、図３Ａの中の最大動きベクトル検索範囲ピクチャＭＦ１に相当する。第２部分は時系列で比較すれば後ろであるが、第１の一時記憶領域１１４でのアドレスはスタートアドレスから格納されるので、第１部分に比べて前方に位置し、図３Ａの中の第１参照ピクチャＳＦの一部分に相当する。図３Ａ中の第１参照ピクチャＳＦの他の部分は、新しい最大動きベクトル検索範囲ピクチャＭＦ１になる。

【0053】

また、Ｎ＋１個目の復号ピクチャＤＩを復号する時、再び上記動作が行われる。さらに詳しく言えば、復号回路１２０は上記のアドレスを算出し、図３Ｂの第１参照ピクチャＳＦのスタート位置から読み取る。復号後に上記のアドレスを算出し、図３Ｂの最大動きベクトル検索範囲ピクチャＭＦ１のスタート位置から復号ピクチャＤＩを格納する。

【0054】

したがって、上記の方法により復号した後、図３Ｃに示すように、格納されるＮ＋１個目の復号ピクチャＤＩは新しい第１参照ピクチャＳＦになる。そして残りの部分の第１参照ピクチャＳＦは、新しい最大動きベクトル検索範囲ピクチャＭＦ１になる。

【0055】

したがって、本発明の映像復号装置１００は、上記の時系列による循環格納の仕組みに基づいて、有効に第１参照ピクチャＳＦおよび復号ピクチャＤＩに同一の一時記憶領域を共有させることができる。実際の動作において、第１の一時記憶領域１１４の循環格納はリングバッファ（circular buffer）の方法で成り立ってもよいし、メモリ管理ユニット（memory management unit）を設けることで成り立ってもよい。

【0056】

さらに、復号ピクチャＤＩの生成とともに、復号回路１２０は復号ピクチャＤＩを同期して後処理回路１３０に伝送して後処理が行われるので、後処理回路１３０のアクセスのために復号ピクチャＤＩを別途格納する必要がない。したがって、上記の本願の仕組みによれば、メモリアクセス帯域幅を節約する目的を果たすことができる。

【0057】

実施例において、復号回路１２０は、まず生成された復号ピクチャＤＩを圧縮した後、圧縮後の復号ピクチャＤＩを第１の一時記憶領域１１４に格納してもよい。したがって、第１の一時記憶領域１１４のサイズはさらに低減することが可能で、メモリの使用量をさらに節約できる。

【0058】

ここで注意すべきことは、上記の実施例において、いずれも短時間参照ピクチャ（第１参照ピクチャＳＦ）を格納するための第１の一時記憶領域１１４を配置することを好ましい例として説明した。しかし、他の実施例において、長時間参照ピクチャ（第２参照ピクチャＬＦ）を格納するための第２の一時記憶領域１１６を配置しても、上記のリングバッファ構造を有することが可能で、長時間参照ピクチャである第２参照ピクチャＬＦおよび復号ピクチャＤＩに、同一の一時記憶領域を共有させることができる。

【0059】

さらに詳しく言うと、処理回路１４０は制御情報を読み取った後、現在復号して生成された復号ピクチャＤＩについて、短時間参照ピクチャに対応する第１の一時記憶領域１１４に格納するか、または長時間参照ピクチャに対応する第２の一時記憶領域１１６に格納するかを判断し、上述の仕組みにより格納内容の置き換えを行う。したがって、第２の一時記憶領域１１６の動作メカニズムについては、ここで述べない。

【0060】

さらに、上記の実施例では、第１の一時記憶領域１１４に１枚の短時間参照ピクチャを格納することを好ましい例として説明した。しかし、他の実施例において、第１の一時記憶領域１１４は、復号回路１２０が複数枚の短時間参照ピクチャに基づいて復号できるように、複数枚の短時間参照ピクチャを格納してもよい。

【0061】

そして、上記の実施例では、同時に短時間参照ピクチャおよび長時間参照ピクチャを参照し復号する仕組みについて説明した。しかし、他の実施例において、復号回路１２０は短時間参照ピクチャのみ参照する方法で復号を行ってもよい。

【0062】

ここで注意すべきことは、上記の実施の形態は好ましい一例にすぎない。その他の実施例において、当業者は本発明の趣旨を逸脱しない範囲で変形することができる。

【0063】

上記のように、本発明における映像復号装置および映像復号方法によると、映像を復号する時に必要な参照ピクチャおよび生成された復号ピクチャにメモリモジュール中の一時記憶領域を共有させ、メモリの使用量を効率的に低減できる。

【0064】

上記のように本発明の実施の形態を説明したが、本発明は、上記実施の形態に限定されるものではない。当業者が本発明の示す内容または暗示する内容に基づいて、本発明の技術的特徴について各種変形を施して得られる変形例のいずれも本発明の範囲に含まれる。言い換えると、本発明の保護範囲は、請求の範囲に記載されている構成要素により決められる。

【符号の説明】

【0065】

１００ 映像復号装置
１１０ メモリモジュール
１１２ 映像ストリームパケット一時記憶領域
１１４ 第１の一時記憶領域
１１６ 第２の一時記憶領域
１１８ 表示レジスタ
１２０ 復号回路
１３０ 後処理回路
１４０ 処理回路
１４１ ファームウエア実行可能命令
１５０ メモリコントローラ
２００ 映像復号方法
ＤＢ 復号ピクチャ領域
ＤＩ 復号ピクチャ
ＤＯＩ 出力復号映像
ＥＳ 映像ストリーム
ＬＦ 第２参照ピクチャ
ＭＢｏｆｆ 復号ピクチャ領域スタートアドレスオフセット
Ｍｂｏｆｆ ピクチャ領域スタートアドレスオフセット
ＭＦ１ 最大動きベクトル検索範囲ピクチャ
ＭＦ２ 最大動きベクトル検索範囲ピクチャ
Ｎｆｏｆｆ 復号ピクチャスタートアドレスオフセット
ＲＢ 参照ピクチャ領域
ＳＦ 第１参照ピクチャ
Ｓｔｏｆｆ 参照ピクチャスタートアドレスオフセット
Ｓ２１０～Ｓ２６０ ステップ

【図1】

【図2】

【図3A】

【図3B】

【図3C】