特許 7082529 半導体装置及び半導体装置による処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-31

(45)【発行日】2022-06-08

(54)【発明の名称】半導体装置及び半導体装置による処理方法

(51)【国際特許分類】

   G06F 12/04 20060101AFI20220601BHJP

【ＦＩ】

G06F12/04 530

【請求項の数】 15

(21)【出願番号】P 2018108454

(22)【出願日】2018-06-06

(65)【公開番号】P2019212089

(43)【公開日】2019-12-12

【審査請求日】2020-10-15

(73)【特許権者】

【識別番号】302062931

【氏名又は名称】ルネサスエレクトロニクス株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】橋本 亮司

(72)【発明者】

【氏名】松本 圭介

(72)【発明者】

【氏名】ウィン ヴァン ニャット

【審査官】北村 学

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０２０８８０８（ＵＳ，Ａ１）

【文献】特開２０１０－０９８３５２（ＪＰ，Ａ）

【文献】特開２０１０－２２６６７２（ＪＰ，Ａ）

【文献】特開２０１２－０４４２４０（ＪＰ，Ａ）

【文献】国際公開第２０１３／１１１５９３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

ＩＰＣ Ｇ０６Ｆ １２／００ － １２／０６

Ｇ０６Ｆ １３／１６ － １３／１８

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
を備え、
前記圧縮処理回路は、前記判定回路によって圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれると判定された場合、前記画像処理回路によって画像処理された前記圧縮処理対象の画像ブロックを圧縮しないように構成されている、
半導体装置。

【請求項2】

複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
を備え、
前記圧縮処理回路は、前記判定回路によって圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれないと判定された場合、前記画像処理回路によって画像処理された前記圧縮処理対象の画像ブロックを圧縮するように構成されている、
半導体装置。

【請求項3】

複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
を備え、
前記画像処理回路は、前記対象画像を前記タイル毎に符号化して符号化ストリームを生成するとともに、前記符号化ストリームに対応する局所復号画像を生成する、符号化回路であって、
前記圧縮処理回路は、前記符号化回路によって符号化処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行うように構成されている、
半導体装置。

【請求項4】

複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
を備え、
前記画像処理回路は、前記対象画像を前記タイル毎に復号化して復号化画像を生成する復号化回路であって、
前記圧縮処理回路は、前記復号化回路によって復号化処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行うように構成されている、
半導体装置。

【請求項5】

複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
を備え、
前記判定回路によって圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれると判定された場合、
前記画像処理回路は、前記圧縮処理対象の画像ブロックのうち前記タイル境界によって分割された一方の領域の画像に対して画像処理を行った後に、他方の領域の画像に対して画像処理を行うように構成され、
前記圧縮処理回路は、画像処理された前記一方の領域の画像を圧縮せずにメモリに書き込んだ後、画像処理された前記他方の領域の画像を圧縮せずに前記メモリに書き込むように構成されている、
半導体装置。

【請求項6】

前記圧縮処理回路は、画像処理された前記一方の領域の画像に加えて前記他方の領域の画像に代わるダミー画像を前記メモリに書き込んだ後、画像処理された前記他方の領域の画像を、圧縮せずに、前記メモリの前記ダミー画像が書き込まれた記憶領域に上書きするように構成されている、
請求項５に記載の半導体装置。

【請求項7】

前記画像処理回路は、さらに、前記一方の領域の画像と前記他方の領域の画像との境界領域に対してフィルタ処理を行うように構成され、
前記圧縮処理回路は、画像処理された前記一方の領域の画像を圧縮せずにメモリに書き込んだ後、前記フィルタ処理の結果のうち前記一方の領域の画像に対するフィルタ処理の結果を圧縮せずに前記メモリの対応する記憶領域に上書きし、かつ、画像処理されかつフィルタ処理された前記他方の領域の画像を圧縮せずに前記メモリに書き込むように構成されている、
請求項５に記載の半導体装置。

【請求項8】

複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
を備え、
前記判定回路によって、隣接する前記画像ブロックである第１画像ブロック及び第２画像ブロックの境界線上に前記タイル境界が存在すると判定された場合、
前記画像処理回路は、前記第１及び前記第２画像ブロックのそれぞれに対して画像処理を行った後に、前記第１及び前記第２画像ブロックの境界領域に対してフィルタ処理を行うように構成され、
前記圧縮処理回路は、画像処理された前記第１画像ブロックを圧縮せずにメモリに書き込んだ後、前記第１及び前記第２画像ブロックの境界領域に対するフィルタ処理結果のうち、前記第１画像ブロックの領域に対するフィルタ処理結果を圧縮せずに前記メモリの対応する記憶領域に上書し、かつ、画像処理されかつフィルタ処理された前記第２画像ブロックを圧縮して前記メモリに書き込むように構成されている、
半導体装置。

【請求項9】

複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
を備え、
前記画像処理回路は、前記画像ブロックのうち前記タイル境界によって分割された一方の領域の画像に対して画像処理を行った後に、他方の領域の画像に対して画像処理を行うように構成され、
前記圧縮処理回路は、前記画像処理回路によって前記タイル境界における画像のフィルタ処理が行われない場合、前記判定回路による判定結果に関わらず、画像処理された前記一方の領域の画像と、前記他方の領域の画像に代わる第１ダミー画像と、からなる圧縮単位の第１分割画像ブロックを圧縮してメモリに書き込んだ後、画像処理された前記他方の領域の画像と、前記一方の領域の画像に代わる第２ダミー画像と、からなる圧縮単位の第２分割画像ブロックを圧縮して前記メモリに書き込むように構成されている、
半導体装置。

【請求項10】

前記メモリから読み出された圧縮後の前記第１及び前記第２分割画像ブロックをそれぞれ伸張した後、伸張された前記一方の領域の画像及び伸張された前記他方の領域の画像を結合させることによって前記画像ブロックを再生する伸張処理回路をさらに備えた、
請求項９に記載の半導体装置。

【請求項11】

バスと、
前記バスに接続された請求項１～１０の何れか一項に記載の半導体装置と、
前記半導体装置の出力結果が前記バスを介して書き込まれるメモリと、
を備えた半導体システム。

【請求項12】

複数のタイルによって分割された対象画像を当該タイル毎に画像処理し、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定処理を行い、
画像処理された前記画像ブロックに対して、判定結果に応じた圧縮処理を行う、
半導体装置による処理方法であって、
前記圧縮処理では、前記判定処理において圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれると判定された場合、画像処理された前記圧縮処理対象の画像ブロックを圧縮しない、
半導体装置による処理方法。

【請求項13】

複数のタイルによって分割された対象画像を当該タイル毎に画像処理し、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定処理を行い、
画像処理された前記画像ブロックに対して、判定結果に応じた圧縮処理を行う、
半導体装置による処理方法であって、
前記圧縮処理では、前記判定処理において圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれないと判定された場合、画像処理された前記圧縮処理対象の画像ブロックを圧縮する、
半導体装置による処理方法。

【請求項14】

複数のタイルによって分割された対象画像を当該タイル毎に画像処理し、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定処理を行い、
画像処理された前記画像ブロックに対して、判定結果に応じた圧縮処理を行う、
半導体装置による処理方法であって、
前記画像処理では、前記対象画像を前記タイル毎に符号化して符号化ストリームを生成するとともに、前記符号化ストリームに対応する局所復号画像を生成し、
前記圧縮処理では、符号化処理された前記画像ブロックに対して、前記判定結果に応じた圧縮処理を行う、
半導体装置による処理方法。

【請求項15】

複数のタイルによって分割された対象画像を当該タイル毎に画像処理し、
前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定処理を行い、
画像処理された前記画像ブロックに対して、判定結果に応じた圧縮処理を行う、
半導体装置による処理方法であって、
前記画像処理では、前記対象画像を前記タイル毎に復号化して復号化画像を生成し、
前記圧縮処理では、復号化処理された前記画像ブロックに対して、前記判定結果に応じた圧縮処理を行う、
半導体装置による処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は半導体装置及び半導体装置による処理方法に関し、例えば、回路規模を増大させることなく効率よく画像データの圧縮処理を行うのに適した半導体装置及び半導体装置による処理方法に関する。

【背景技術】

【0002】

画像処理装置は、例えば、動画像を構成する各画像（フレーム）を符号化して符号化ストリームを生成する。ここで、画像処理装置は、符号化ストリームの各画像に対応する局所復号画像を、書き込みバスを介して外部メモリに書き込むとともに、外部メモリに書き込まれた別の局所復号画像を、読み出しバスを介して読み出して、符号化対象の画像の予測に用いている。

【0003】

しかしながら、この画像処理装置では、画像が大容量である場合、画像処理装置と外部メモリとの間のバスの帯域が大幅に消費されてしまうため、効率よく画像処理を行うことができないという問題があった。

【0004】

このような問題に対する解決策が特許文献１に開示されている。特許文献１には、符号化されたデータを圧縮したうえでメモリに書き込む半導体装置の構成が開示されている。それにより、この半導体装置は、当該半導体装置とメモリとの間のバスの帯域の消費を抑制することができるため、効率よく画像処理を行うことができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１１７１４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、近年では、画像処理装置は、符号化対象の画像を複数のタイルに分割してタイル毎に画像処理（例えば符号化処理）を行っている。この画像処理装置に特許文献１の圧縮処理の技術を適用した場合、当該画像処理装置は、例えば２つのタイルに跨がって設けられた圧縮単位の画像ブロックに対する圧縮処理を、当該２つのタイルの画像処理が共に完了した後にしか行うことができない。そのため、この画像処理装置は、一方のタイルの画像処理完了後から他方のタイルの画像処理が完了するまでの間に一方のタイルの画像処理結果を保持するための保持回路を備える必要があり、回路規模を増大させてしまうという問題があった。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0007】

一実施の形態によれば、半導体装置は、複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、前記対象画像の圧縮単位である画像ブロックの領域に、前記タイル境界が含まれるか否かを判定する判定回路と、前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、を備える。

【0008】

他の実施の形態によれば、半導体装置による処理方法は、複数のタイルによって分割された対象画像を当該タイル毎に画像処理し、前記対象画像の圧縮単位である画像ブロックの領域に、前記タイル境界が含まれるか否かを判定する判定処理を行い、画像処理された前記画像ブロックに対して、判定結果に応じた圧縮処理を行う。

【発明の効果】

【0009】

前記一実施の形態によれば、回路規模を増大させることなく、効率よく圧縮処理を行うことが可能な半導体装置及び半導体装置による処理方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１にかかる画像処理システムの構成例を示す図である。

【図2】対象画像ＤＶｉｎの一部の領域Ｐ１を模式的に示す図である。

【図3】対象画像ＤＶｉｎの一部の領域Ｐ２を模式的に示す図である。

【図4】対象画像ＤＶｉｎの一部の領域Ｐ３を模式的に示す図である。

【図5】対象画像ＤＶｉｎの一部の領域Ｐ３にダミー領域を挿入した場合のイメージ図である。

【図6】圧縮の有無による画像ブロックのメモリ上での配置の違いを示す図である。

【図7】実施の形態４にかかる画像処理システムの構成例を示す図である。

【発明を実施するための形態】

【0011】

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0012】

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0013】

＜実施の形態１＞
図１は、実施の形態１にかかる画像処理システム（半導体システム）ＳＹＳ１の構成例を示すブロック図である。本実施の形態にかかる画像処理システムＳＹＳ１は、動画像を構成する各画像（フレーム）の符号化処理及び圧縮処理を行うシステムである。以下、具体的に説明する。

【0014】

図１に示すように、画像処理システムＳＹＳ１は、符号化回路（画像処理回路）１１と、判定回路１２と、圧縮処理回路１３と、伸張処理回路１４と、バス１５と、バス１６と、メモリ１７と、を備える。なお、画像処理システムＳＹＳ１の構成要素のうちメモリ１７以外の構成要素によって画像処理装置（半導体装置）１が構成されている。

【0015】

符号化回路１１は、符号化対象の画像（以下、対象画像と称す）ＤＶｉｎを符号化することによって符号化ストリームＢＳｏｕｔを生成する部である。具体的には、符号化回路１１は、タイル分割部１１１と、減算器１１２と、直交変換部１１３と、量子化部１１４と、可変長符号化部１１５と、逆量子化部１１６と、逆直交変換部１１７と、加算器１１８と、フィルタ１１９と、動き予測部１２０と、を備える。

【0016】

タイル分割部１１１は、対象画像ＤＶｉｎを符号化単位である複数の矩形状のタイルに分割する。なお、符号化回路１１による各タイルの符号化処理は、実際には、各タイルを構成する複数の処理ブロックの単位で細分化して行われる。例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、各タイルを構成する複数のＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）の単位で符号化処理が行われる。また、ＶＰ９では、各タイルを構成する複数のＳｕｐｅｒｂｌｏｃｋの単位で符号化処理が行われる。なお、当然ながら、ＣＴＢやＳｕｐｅｒｂｌｏｃｋの単位で符号化処理が行われる場合に限られず、それ以外でも、各タイルを構成する複数の処理ブロック単位で符号化処理が行われることができる。

【0017】

減算器１１２は、タイル分割部１１１から一つずつ順番に出力されるタイル（以下、符号化対象タイルと称す）から、動き予測部１２０から出力された対応する予測タイルを減算することにより、差分タイルを出力する。なお、差分タイルは、符号化対象タイルから空間的な冗長性及び時間的な冗長性を取り除いたものである。

【0018】

直交変換部１１３は、各差分タイルに対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施すことによってＤＣＴ係数を出力する。量子化部１１４は、直交変換部１１３から出力されたＤＣＴ係数を量子化する。なお、本実施の形態では、直交変換部１１３が、各差分タイルに対してＤＣＴを施す場合を例に説明しているが、これに限られない。直交変換部１１３は、各差分タイルに対してＤＳＴ（Ｄｉｓｃｒｅａｔｅ Ｓｉｇｎ Ｔｒａｎｓｆｏｒｍ）等の他の種類の直交変換処理を施すように構成されても良い。

【0019】

可変長符号化部１１５は、量子化部１１４によって量子化されたＤＣＴ係数に対して可変長の符号化を行う。

【0020】

逆量子化部１１６は、量子化されたＤＣＴ係数に対して逆量子化を行う。逆直交変換部１１７は、逆量子化部１１６によって逆量子化されたＤＣＴ係数に対して逆ＤＣＴを施すことによって、差分復号タイルを出力する。なお、差分復号タイルは、減算器１１２から出力される差分タイルに対応する情報である。

【0021】

加算器１１８は、予測タイルと、差分復号タイルと、を加算する。フィルタ１１９は、加算器１１８の出力結果に対してフィルタ処理を施すことによって、局所復号タイルを出力する。例えば、フィルタ１１９は、タイル境界の凹凸を滑らかにするためのフィルタ処理を行う。

【0022】

ここで、符号化回路１１は、対象画像ＤＶｉｎを構成する複数の符号化対象タイルのそれぞれに対して同様の処理を行うことによって、対象画像ＤＶｉｎが符号化された符号化ストリームＢＳｏｕｔを出力するとともに、複数の局所復号タイルからなる局所復号画像ＬＤＩを出力する。

【0023】

判定回路１２は、タイル分割部１１１による分割情報、及び、圧縮処理回路１３による圧縮情報に基づいて、局所復号画像ＬＤＩ（より詳しくは局所復号画像ＬＤＩの元となった対象画像ＤＶｉｎ）の圧縮単位である各画像ブロックにタイル境界Ｘ１が含まれているか否かを判定する。なお、タイル分割部１１１による分割情報には、例えば、各タイルの位置及びサイズの情報が含まれる。また、圧縮処理回路１３による圧縮情報には、例えば、各画像ブロックの位置及びサイズの情報が含まれる。なお、各画像ブロックの位置及びサイズは、メモリ１７の格納先アドレスから取得することもできる。

【0024】

圧縮処理回路１３は、局所復号画像ＬＤＩの圧縮単位である各画像ブロックに対して、判定回路１２による判定結果に応じた圧縮処理を行う。例えば、判定回路１２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていないと判定された場合、圧縮処理回路１３は、当該画像ブロックを圧縮する。それに対し、判定回路１２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていると判定された場合、圧縮処理回路１３は、当該画像ブロックを圧縮しない。圧縮処理回路１３によって圧縮処理（圧縮しない処理を含む）された画像ブロックは、バス１５を介して、メモリ１７に書き込まれる。メモリ１７に書き込まれた画像ブロックは、符号化回路１１に設けられた動き予測部１２０による画像間予測（フレーム間予測）に用いられる。

【0025】

伸張処理回路１４は、メモリ１７からバス１６を介して読み出された複数の画像ブロックのうち、圧縮処理回路１３によって圧縮された画像ブロックに対して伸張処理を行う。そして、伸張処理回路１４は、これら複数の画像ブロックを結合させることによって局所復号画像ＬＤＩを再生する。

【0026】

符号化回路１１において、動き予測部１２０は、符号化対象タイルと、局所復号画像ＬＤＩのうち符号化対象タイルに対応する領域のタイル（参照タイル）と、を比較することによって、タイル間の画像の動きを予測し、予測された画像の動きを補償するタイルを予測タイルとして出力する。この予測タイルは、既に説明したように、減算器１１２及び加算器１１８に供給される。

【0027】

このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれる画像ブロックについては圧縮を行わないため、タイル境界Ｘ１を挟んで形成された２つのタイルの一方のタイルの符号化完了後、他方のタイルの符号化が完了するまで、の間に、一方のタイルの符号化結果を保持するための保持回路を備える必要がない。また、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれない画像ブロックについては圧縮を行うため、画像処理装置１とメモリ１７との間のバス１５の帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、回路規模を増大させることなく、効率よく画像処理を行うことができる。

【0028】

（画像処理装置１による処理内容の具体例）
続いて、画像処理装置１による判定処理及び圧縮処理の詳細について、図２を用いて説明する。

【0029】

図２は、画像ＤＶｉｎの一部の領域Ｐ１を模式的に示す図である。図２の例では、対象画像ＤＶｉｎの一部の領域Ｐ１が、符号化単位である矩形状のタイルＴ１，Ｔ２に分割されている。また、図２の例では、対象画像ＤＶｉｎの一部の領域Ｐ１が、圧縮単位である矩形状の画像ブロックＢ１～Ｂ１２に分割されている。

【0030】

例えば、画像ＤＶｉｎの一部の領域Ｐ１では、まず、タイルＴ１の領域に対して符号化処理が行われ、その後、タイルＴ２の領域に対して符号化処理が行われる。具体的には、まず、４行に分割されたタイルＴ１の領域のうち、１行目の領域Ｅ１から領域Ｅ２、２行目の領域Ｅ３から領域Ｅ４、３行目の領域Ｅ５から領域Ｅ６、及び、４行目の領域Ｅ７から領域Ｅ８にかけて、連続して符号化処理が行われる。その後、４行に分割されたタイルＴ２の領域のうち、１行目の領域Ｅ９から領域Ｅ１０、２行目の領域Ｅ１１から領域Ｅ１２、３行目の領域Ｅ１３から領域Ｅ１４、及び、４行目の領域Ｅ１５から領域Ｅ１６にかけて、連続して符号化処理が行われる。

【0031】

また、符号化処理と並行して圧縮処理が行われる。
まず、判定回路１２は、画像ブロックＢ１の領域にタイルＴ１、Ｔ２の境界線（以下、タイル境界と称す）Ｘ１が含まれているか否かの判定を行う。本例では、判定回路１２は、画像ブロックＢ１の領域にタイル境界Ｘ１が含まれていないと判定する。それにより、圧縮処理回路１３は、符号化処理された画像ブロックＢ１を圧縮する。圧縮された画像ブロックＢ１は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ２～Ｂ４においても同様の処理が行われる。

【0032】

次に、判定回路１２は、画像ブロックＢ５の領域にタイル境界Ｘ１が含まれているか否かの判定を行う。本例では、判定回路１２は、画像ブロックＢ５の領域にタイル境界Ｘ１が含まれていると判定する。それにより、圧縮処理回路１３は、画像ブロックＢ５の領域のうち、先に符号化処理されたタイルＴ１側の領域Ｅ２の画像データ（以下、画像データＥ２と称す）の圧縮を行わない。この圧縮されていない画像データＥ２は、ダミーの画像データ（以下、ダミーデータと称す）Ｄ９とともに、バス１５を介して、メモリ１７に書き込まれる。なお、ダミーデータＤ９は、まだ符号化処理されていないタイルＴ２側の領域Ｅ９の画像データの代わりのデータである。したがって、ダミーデータＤ９を付加せずに画像データＥ２のみがメモリ１７に書き込まれても良い。画像ブロックＢ６～Ｂ８においても同様の処理が行われる。

【0033】

その後、タイルＴ２の領域Ｅ９の符号化処理が完了すると、符号化処理されたタイルＴ２側の領域Ｅ９の画像データ（以下、画像データＥ９と称す）は、圧縮されずに、バス１５を介して、メモリ１７に書き込まれる。このとき、メモリ１７にダミーデータＤ９が書き込まれている場合には、ダミーデータＤ９は、画像データＥ９によって上書きされる。ここで、画像データＥ２及びダミーデータＤ９は圧縮されずにメモリ１７に格納されているため、ダミーデータＤ９の格納先アドレスの算出は容易である。なお、画像データＥ９は、符号化回路１１から圧縮処理回路１３を経由してメモリ１７に書き込まれてもよいし、符号化回路１１からメモリ１７に直接書き込まれてもよい。画像ブロックＢ６～Ｂ８においても、それぞれ領域Ｅ１１，１３，Ｅ１５の符号化処理の完了後に同様の処理が行われる。

【0034】

次に、判定回路１２は、画像ブロックＢ９の領域にタイルＴ１、Ｔ２の境界線であるタイル境界Ｘ１が含まれていないと判定する。それにより、圧縮処理回路１３は、符号化処理された画像ブロックＢ９を圧縮する。圧縮された画像ブロックＢ９は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ１０～Ｂ１２においても同様の処理が行われる。

【0035】

このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれる画像ブロック（例えば画像ブロックＢ５）の圧縮を行わないため、タイル境界Ｘ１を挟んで形成されたタイルＴ１，Ｔ２の一方のタイルＴ１の符号化完了後、他方のタイルＴ２の符号化が完了するまで、の間に、一方のタイルＴ１の符号化結果を保持するための保持回路を備える必要がない。また、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれない画像ブロック（例えば画像ブロックＢ１）については圧縮を行うため、画像処理装置１とメモリ１７との間のバス１５の帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、回路規模を増大させることなく、効率よく画像処理を行うことができる。

【0036】

なお、特許文献１の画像処理装置において、保持回路を設けることなく全ての画像ブロックの圧縮を行うことを目的として、画像ブロック間の境界線上にタイル境界Ｘ１が位置するように強引に調整しようとすると、タイルのサイズが統一されない等の問題がある。仮に、画像ブロック間の境界線上にタイル境界Ｘ１が位置するように調整された場合でも、タイル境界Ｘ１の画像にはフィルタ処理が行われるのが一般的である。そのため、タイル境界Ｘ１を挟んで設けられた２つのタイルの一方のタイルの画像処理が完了してから、他方のタイルの画像処理が完了し、かつ、タイル境界Ｘ１の画像に対してフィルタ処理が行われるまで、の間に、一方のタイルの画像処理結果を保持するための保持回路を備える必要がある。そのため、依然として回路規模が増大してしまうという問題がある。

【0037】

＜実施の形態２＞
本実施の形態では、画像処理装置１による判定処理及び圧縮処理の他の例について、図３を用いて説明する。

【0038】

図３は、符号化対象の画像ＤＶｉｎの一部の領域Ｐ２を模式的に示す図である。図３の例では、対象画像ＤＶｉｎの一部の領域Ｐ２が、符号化単位である矩形状のタイルＴ１，Ｔ２に分割されている。また、図３の例では、対象画像ＤＶｉｎの一部の領域Ｐ２が、圧縮単位である矩形状の画像ブロックＢ１～Ｂ８に分割されている。

【0039】

ここで、図３の例では、隣接する画像ブロックＢ１，Ｂ５の境界線上にタイル境界Ｘ１が存在している。同様に、隣接する画像ブロックＢ２，Ｂ６の境界線上、隣接する画像ブロックＢ３，Ｂ７の境界線上、及び、隣接する画像ブロックＢ４，Ｂ８の境界線上に、タイル境界Ｘ１が存在している。

【0040】

例えば、画像ＤＶｉｎの一部の領域Ｐ２では、まず、タイルＴ１の領域に対して符号化処理が行われ、その後、タイルＴ２の領域に対して符号化処理が行われる。具体的には、まず、４行に分割されたタイルＴ１の領域のうち、１行目の領域Ｅ１から領域Ｅ２、２行目の領域Ｅ３から領域Ｅ４、３行目の領域Ｅ５から領域Ｅ６、及び、４行目の領域Ｅ７から領域Ｅ８にかけて、連続して符号化処理が行われる。その後、４行に分割されたタイルＴ２の領域のうち、１行目の領域Ｅ９から領域Ｅ１０、２行目の領域Ｅ１１から領域Ｅ１２、３行目の領域Ｅ１３から領域Ｅ１４、及び、４行目の領域Ｅ１５から領域Ｅ１６にかけて、連続して符号化処理が行われる。

【0041】

まず、判定回路１２は、隣接する画像ブロックＢ１，Ｂ５の境界線上にタイル境界Ｘ１が存在すると判定する。それにより、圧縮処理回路１３は、符号化処理された画像ブロックＢ１を圧縮しない。この圧縮されていない画像ブロックＢ１は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ２～Ｂ４においても同様の処理が行われる。

【0042】

その後、タイルＴ２に属する画像ブロックＢ５の符号化処理が完了すると、フィルタ１１９によって、符号化処理された画像ブロックＢ１，Ｂ５の境界領域に対するフィルタ処理が行われる。その後、フィルタ処理された境界領域のうち、画像ブロックＢ１側の領域に対するフィルタ処理結果は、バス１５を介して、メモリ１７に書き込まれる。このとき、メモリ１７に格納された画像ブロックＢ１のうち画像ブロックＢ２との境界領域は、フィルタ処理結果によって上書きされる。ここで、画像ブロックＢ１は圧縮されずにメモリ１７に格納されているため、フィルタ処理結果によって上書きされる記憶領域のアドレスの算出は容易である。なお、フィルタ処理結果は、符号化回路１１から圧縮処理回路１３を経由してメモリ１７に書き込まれても良いし、符号化回路１１からメモリ１７に直接書き込まれても良い。画像ブロックＢ６～Ｂ８においても、それぞれ画像ブロックＢ２～Ｂ４との境界領域に対するフィルタ処理の完了後に同様の処理が行われる。

【0043】

また、圧縮処理回路１３は、符号化処理され、かつ、フィルタ処理された画像ブロックＢ５を圧縮する。圧縮された画像ブロックＢ５は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ６～Ｂ８においても、同様の処理が行われる。

【0044】

このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、隣接する画像ブロックの境界線上にタイル境界Ｘ１が存在する場合でも、実施の形態１の場合と同様に、回路規模を増大させることなく、効率よく画像処理を行うことができる。

【0045】

＜実施の形態３＞
本実施の形態では、画像処理装置１による判定処理及び圧縮処理の他の例について、図４～図６を用いて説明する。なお、本実施の形態では、タイル境界Ｘ１における画像のフィルタ処理が不要であるものとする。

【0046】

図４は、符号化対象の画像ＤＶｉｎの一部の領域Ｐ３を模式的に示す図である。なお、図４に示す領域Ｐ３のタイルＴ１，Ｔ２及び画像ブロックＢ１～Ｂ１２の関係については、図２に示す領域Ｐ１の場合と同様であるため、その説明を省略する。また、図５は、対象画像ＤＶｉｎの一部の領域Ｐ３にダミー領域を挿入した場合のイメージ図である。図６は、圧縮の有無による画像ブロックのメモリ上での配置の違いを示す図である。

【0047】

圧縮処理回路１３は、タイル境界Ｘ１における画像のフィルタ処理が不要である場合、圧縮処理対象の画像ブロックの領域にタイル境界Ｘ１が含まれているか否かに関わらず、当該画像ブロックを圧縮する。

【0048】

例えば、圧縮処理回路１３は、判定回路１２によって画像ブロックＢ５の領域にタイル境界Ｘ１が含まれていると判定された場合でも、当該画像ブロックＢ５を圧縮する。

【0049】

具体的には、圧縮処理回路１３は、まず、先に符号化されたタイルＴ１側の領域Ｅ２の画像データ（以下、画像データＥ２と称す）と、ダミーデータＤ９と、からなる圧縮単位の画像ブロックＢ５＿１を圧縮する。圧縮された画像ブロックＢ５＿１は、バス１５を介して、メモリ１７に書き込まれる。同様に、画像データＥ４，Ｅ６，Ｅ８とダミーデータＤ１１，Ｄ１３，Ｄ１５とをそれぞれ組み合わせた画像ブロックＢ６＿１，Ｂ７＿１，Ｂ８＿１が、バス１５を介して、メモリ１７に書き込まれる。

【0050】

その後、タイルＴ２側の領域Ｅ９の符号化処理が完了すると、圧縮処理回路１３は、符号化処理されたタイルＴ２側の領域Ｅ９の画像データ（以下、画像データＥ９と称す）と、ダミーデータＤ２と、からなる圧縮単位の画像ブロックＢ５＿２を圧縮する。圧縮された画像ブロックＢ５＿２は、バス１５を介して、メモリ１７に書き込まれる。同様に、画像データＥ１１，Ｅ１３，Ｅ１５とダミーデータＤ４，Ｄ６，Ｄ８とをそれぞれ組み合わせた画像ブロックＢ６＿２，Ｂ７＿２，Ｂ８＿２が、バス１５を介して、メモリ１７に書き込まれる。

【0051】

画像ブロックＢ５の読み出しは以下の手順で行われる。まず、伸張処理回路１４は、メモリ１７からバス１６を介して、圧縮された画像ブロックＢ５＿１，Ｂ５＿２を読み出す。その後、伸張処理回路１４は、圧縮された画像ブロックＢ５＿１，Ｂ５＿２のそれぞれに対して伸長処理を行う。そして、伸張処理回路１４は、伸長処理された画像ブロックＢ５＿１，Ｂ５＿２からそれぞれダミーデータＤ９，Ｄ２を除去し、残った画像データＥ２，Ｅ９を結合させることによって画像データＢ５を再生する。

【0052】

なお、圧縮された画像データＢ５＿１，Ｂ５＿２のメモリ１７の格納先の先頭アドレスは、圧縮されずに格納された場合と同じ先頭アドレスとなるように設定されることが好ましい（図６参照）。それにより、画像データＢ５＿１，Ｂ５＿２のアクセスが容易になる。あるいは、圧縮された画像データＢ５＿１，Ｂ５＿２をメモリ１７に書き込む際に、画像データＢ５が画像データＢ５＿１，Ｂ５＿２の２つに分割されたことを示す情報、及び、画像ブロックＢ５＿１，Ｂ５＿２にダミーデータＤ９，Ｄ２が付加される前のそれぞれのデータサイズを補助情報として書き込むようにしてもよい。

【0053】

このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１における画像のフィルタ処理が不要である場合には、圧縮単位の画像ブロックのうちタイル境界Ｘ１によって分割された一方の領域をダミーデータとともに一つの画像ブロックとして圧縮するとともに、他方の領域をダミーデータとともに別の一つの画像ブロックとして圧縮する。それにより、本実施の形態にかかる画像処理装置１及び画像処理システムＳＹＳ１では、メモリ１７の記憶容量を増やす必要があるものの、画像処理装置１とメモリ１７との間のバスの帯域の消費を抑制することができる。

【0054】

＜実施の形態４＞
上記実施の形態１～３では、画像の符号化を行う画像処理装置１について説明した。それに対し、本実施の形態では、符号化ストリームの復号化を行う画像処理装置２について説明する。

【0055】

図７は、画像処理システム（半導体システム）ＳＹＳ２の構成例を示すブロック図である。画像処理システムＳＹＳ２は、符号化ストリームＢＳｉｎの復号化処理及び圧縮処理を行うシステムである。

【0056】

図７に示すように、画像処理システムＳＹＳ２は、復号化回路（画像処理回路）２１と、判定回路２２と、圧縮処理回路２３と、伸張処理回路２４と、バス２５と、バス２６と、メモリ２７と、を備える。なお、画像処理システムＳＹＳ２の構成要素のうちメモリ２７以外の構成要素によって画像処理装置（半導体装置）２が構成されている。

【0057】

復号化回路２１は、復号化対象の符号化ストリームＢＳｉｎを復号化することによって画像ＤＶｏｕｔを生成する部である。具体的には、タイル分割部２１１と、可変長復号化部２１２と、逆量子化部２１３と、逆直交変換部２１４と、加算器２１５と、フィルタ２１６と、動き予測部２１７と、を備える。

【0058】

タイル分割部２１１は、復号化対象の符号化ストリームＢＳｉｎを復号化単位である複数のタイルに分割する。なお、復号化回路２１による各タイルの復号化処理は、実際には、各タイルを構成する複数の処理ブロックの単位で細分化して行われる。例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、各タイルを構成する複数のＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）の単位で復号化処理が行われる。また、ＶＰ９では、各タイルを構成する複数のＳｕｐｅｒｂｌｏｃｋの単位で復号化処理が行われる。なお、当然ながら、ＣＴＢやＳｕｐｅｒｂｌｏｃｋの単位で復号化処理が行われる場合に限られず、それ以外でも、各タイルを構成する複数の処理ブロック単位で復号化処理が行われることができる。

【0059】

可変長復号化部２１２は、タイル分割部２１１から一つずつ順番に出力されるタイル（以下、復号化対象タイルと称す）に対して可変長の復号化を行うことにより、量子化されたＤＣＴ係数を出力する。

【0060】

逆量子化部２１３は、量子化されたＤＣＴ係数に対して逆量子化を行う。逆直交変換部２１４は、逆量子化部２１３によって逆量子化されたＤＣＴ係数に対して逆ＤＣＴを施すことによって、差分復号タイルを出力する。

【0061】

加算器２１５は、差分復号タイルと、動き予測部２１７から出力された対応する予測タイルと、を加算する。フィルタ２１６は、加算器２１５の出力結果に対してフィルタ処理を施すことによって、復号化されたタイル（復号化タイル）を出力する。例えば、フィルタ２１６は、タイル境界の凹凸を滑らかにするフィルタ処理を行う。

【0062】

ここで、復号化回路２１は、復号化対象の符号化ストリームＢＳｏｕｔを構成する複数の復号化対象タイルのそれぞれに対して同様の処理を行うことによって、複数の復号化タイルからなる画像ＤＶｏｕｔを出力する。

【0063】

判定回路２２は、タイル分割部２１１による分割情報、及び、圧縮処理回路２３による圧縮情報に基づいて、画像ＤＶｏｕｔの圧縮単位である各画像ブロックに、タイル境界Ｘ１が含まれるか否かを判定する。なお、タイル分割部２１１による分割情報には、例えば、各タイルの位置及びサイズの情報が含まれる。また、圧縮処理回路２３による圧縮情報には、例えば、各画像ブロックの位置及びサイズの情報が含まれる。なお、各画像ブロックの位置及びサイズは、メモリ２７の格納先アドレスから取得することもできる。

【0064】

圧縮処理回路２３は、画像ＤＶｏｕｔの圧縮単位である各画像ブロックに対して、判定回路２２による判定結果に応じた圧縮処理を行う。例えば、判定回路２２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていないと判定された場合、圧縮処理回路２３は、当該画像ブロックを圧縮する。それに対し、判定回路２２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていると判定された場合、圧縮処理回路２３は、当該画像ブロックを圧縮しない。圧縮処理回路２３によって圧縮処理（圧縮処理しない処理を含む）された画像ブロックは、バス２５を介して、メモリ２７に書き込まれる。メモリ２７に書き込まれた画像ブロックは、復号化回路２１に設けられた動き予測部２１７による画像間予測（フレーム間予測）に用いられる。

【0065】

伸張処理回路２４は、メモリ２７からバス２６を介して読み出された複数の画像ブロックのうち、圧縮処理回路２３によって圧縮された画像ブロックに対して伸張処理を行う。そして、伸張処理回路２４は、これら複数の画像ブロックを結合させることによって画像ＤＶｏｕｔを再生する。

【0066】

復号化回路２１において、動き予測部２１７は、復号化対象タイルと、画像ＤＶｏｕｔのうち復号化対象タイルに対応する領域のタイル（参照タイル）と、を比較することによってタイル間の画像の動きを予測し、予測された画像の動きを補償するタイルを予測タイルとして出力する。この予測タイルは、既に説明したように、加算器２１５に供給される。

【0067】

このように、本実施の形態にかかる画像処理装置２及びそれを備えた画像処理システムＳＹＳ２は、タイル境界Ｘ１が含まれる画像ブロックについては圧縮を行わないため、タイル境界Ｘ１を挟んで形成された２つのタイルの一方のタイルの復号化完了後、他方のタイルの復号化が完了するまで、の間に、一方のタイルの復号化結果を保持するための保持回路を備える必要がない。また、本実施の形態にかかる画像処理装置２及びそれを備えた画像処理システムＳＹＳ２は、タイル境界Ｘ１が含まれない画像ブロックについては圧縮を行うため、画像処理装置２とメモリ２７との間のバスの帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、本実施の形態にかかる画像処理装置２及びそれを備えた画像処理システムＳＹＳ２は、回路規模を増大させることなく、効率よく画像処理を行うことができる。

【0068】

なお、本実施の形態４にかかる画像処理装置２による判定処理及び圧縮処理については、上記実施の形態１～３にかかる画像処理装置１による判定処理及び圧縮処理の場合と同様であるため、その説明を省略する。

【0069】

以上のように、上記実施の形態１～４にかかる画像処理装置及びそれを備えた画像処理システムは、タイル境界Ｘ１が含まれる画像ブロックについては圧縮を行わないため、タイル境界Ｘ１を挟んで形成された２つのタイルの一方のタイルの画像処理後、他方のタイルの画像処理が完了するまで、の間に、一方のタイルの画像処理結果を保持するための保持回路を備える必要がない。また、上記実施の形態１～４にかかる画像処理装置及びそれを備えた画像処理システムは、タイル境界Ｘ１が含まれない画像ブロックについては圧縮を行うため、画像処理装置とメモリとの間のバスの帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、上記実施の形態１～４にかかる画像処理装置及びそれを備えた画像処理システムは、回路規模を増大させることなく、効率よく画像処理を行うことができる。

【0070】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

【符号の説明】

【0071】

１ 画像処理装置
２ 画像処理装置
１１ 符号化回路
１２ 判定回路
１３ 圧縮処理回路
１４ 伸張処理回路
１５ バス
１６ バス
１７ メモリ
２１ 復号化回路
２２ 判定回路
２３ 圧縮処理回路
２４ 伸張処理回路
２５ バス
２６ バス
２７ メモリ
１１１ タイル分割部
１１２ 減算器
１１３ 直交変換部
１１４ 量子化部
１１５ 可変長符号化部
１１６ 逆量子化部
１１７ 逆直交変換部
１１８ 加算器
１１９ フィルタ
１２０ 動き予測部
２１１ タイル分割部
２１２ 可変長復号化部
２１３ 逆量子化部
２１４ 逆直交変換部
２１５ 加算器
２１６ フィルタ
２１７ 動き予測部
ＳＹＳ１ 画像処理システム
ＳＹＳ２ 画像処理システム
Ｔ１，Ｔ２ タイル
Ｘ１ タイル境界

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】