特開 2023-157778 並列映像エンコーダ装置、並列映像エンコーダ処理方法、及び並列映像エンコーダ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023157778

(43)【公開日】2023-10-26

(54)【発明の名称】並列映像エンコーダ装置、並列映像エンコーダ処理方法、及び並列映像エンコーダ処理プログラム

(51)【国際特許分類】

   H04N 19/436 20140101AFI20231019BHJP

   H04N 19/51 20140101ALI20231019BHJP

【ＦＩ】

H04N19/436

H04N19/51

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022067899

(22)【出願日】2022-04-15

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】中村 健

(72)【発明者】

【氏名】小林 大祐

(72)【発明者】

【氏名】大森 優也

(72)【発明者】

【氏名】佐藤 雅之

(72)【発明者】

【氏名】岩崎 裕江

(72)【発明者】

【氏名】小林 広明

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK13

5C159MA05

5C159NN01

5C159UA02

5C159UA33

5C159UA37

(57)【要約】

【課題】性能を維持しつつ、チップ間の転送量を削減することができる。
【解決手段】入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ装置である。並列映像エンコーダ装置は、各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて管理テーブルを参照し、転送済みであれば自チップのメモリにｒｅａｄ要求をし、転送中であれば隣接チップへの転送要求をせずに受信を待ち、未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、管理テーブルの状態を更新する。
【選択図】図５

【特許請求の範囲】

【請求項1】

入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ装置であって、
各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、
フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、
転送済みであれば自チップのメモリにｒｅａｄ要求をし、
転送中であれば隣接チップへの転送要求をせずに受信を待ち、
未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する符号化処理部、
を含む並列映像エンコーダ装置。

【請求項2】

現フレームの符号化処理が開始される前に参照画像の一部を事前転送範囲に応じて事前に転送する事前転送部を更に含み、
前記符号化処理部は、現フレームの符号化処理が開始された後は、事前転送範囲の情報と前記管理テーブルの情報との両方に基づいて、転送の状態を判定する、請求項１に記載の並列映像エンコーダ装置。

【請求項3】

１つの参照フレームが複数の符号化フレームにわたって参照される場合は、前記管理テーブルを参照される間継続して利用し、当該参照フレームがこれ以上参照されないことが確認された時点で前記管理テーブルの全ブロックの値を初期化し、新たな参照フレームの前記管理テーブルとして利用する、請求項１又は請求項２に記載の並列映像エンコーダ装置。

【請求項4】

入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ処理方法であって、
各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、
フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、
転送済みであれば自チップのメモリにｒｅａｄ要求をし、
転送中であれば隣接チップへの転送要求をせずに受信を待ち、
未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する、
処理をコンピュータに実行させる並列映像エンコーダ処理方法。

【請求項5】

入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ処理プログラムであって、
各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、
フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、
転送済みであれば自チップのメモリにｒｅａｄ要求をし、
転送中であれば隣接チップへの転送要求をせずに受信を待ち、
未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する、
処理をコンピュータに実行させる並列映像エンコーダ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、並列映像エンコーダ装置、並列映像エンコーダ処理方法、及び並列映像エンコーダ処理プログラムに関する。

【背景技術】

【0002】

ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ．２６ｘといった映像エンコーダの高解像度化への要求に対応するため、複数のエンコーダモジュールを用いた画面分割型の並列処理アーキテクチャがしばしば用いられる。この手法は古くはＭＰＥＧ－２におけるＨＤＴＶエンコーダから近年のＨＥＶＣにおける８Ｋエンコーダに至るまで、複数の先行事例がある。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】M Ikeda, et al., “An MPEG-2 Video Encoder LSI with Scalability for HDTV based on Three-layer Cooperative," DATE’ 99: Design, automation and test in Europe Conference, Jan. 1999.

【非特許文献2】F. M. Sampaio, et al. “Hybrid Scratchpad Video Memory Architecture for Energy-Efficient Parallel HEVC” IEEE Transactions on Circuits and Systems for Video Technology, Vol.29, Issue 10, Oct. 2018

【発明の概要】

【発明が解決しようとする課題】

【0004】

映像符号化では各フレームで生成されるローカルデコード画像を次フレーム以降の符号化時に参照画像として用いる。画面分割による効率低下を招かないためには、図１に示すように分割境界を跨ぐ動き探索／動き補償を行うためにチップ間での参照画像の共有が必要となる（「／」は「又は」を意味する）。従来手法では、次フレーム以降で参照される可能性のあるローカルデコード画像の領域を全て、生成直後に隣接チップに事前に転送する方法が一般的である（例えば非特許文献１参照）。

【0005】

参照画像を事前に転送する従来手法では、映像によっては分割境界を跨ぐ動きが少ないことから、転送された参照画像の多くの部分が参照されずに廃棄されることがあり、必ずしも効率が良いとは言えなかった。また、必要とされる参照画像範囲を予測したうえで事前に転送する方法もあった（例えば非特許文献２参照）。しかし、予測が外れた時に参照画像が利用できず、符号化効率が低下する課題があった。

【0006】

開示の技術は、上記の点に鑑みてなされたものであり、性能を維持しつつ、チップ間の転送量を削減することができる並列映像エンコーダ装置、並列映像エンコーダ処理方法、及び並列映像エンコーダ処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の第１態様は、入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ装置であって、各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、転送済みであれば自チップのメモリにｒｅａｄ要求をし、転送中であれば隣接チップへの転送要求をせずに受信を待ち、未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する符号化処理部、を含む。

【0008】

本開示の第２態様は、入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ処理方法であって、各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、転送済みであれば自チップのメモリにｒｅａｄ要求をし、転送中であれば隣接チップへの転送要求をせずに受信を待ち、未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する、処理をコンピュータに実行させる。

【0009】

本開示の第３態様は、入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ処理プログラムであって、各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、転送済みであれば自チップのメモリにｒｅａｄ要求をし、転送中であれば隣接チップへの転送要求をせずに受信を待ち、未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する、処理をコンピュータに実行させる。

【発明の効果】

【0010】

開示の技術によれば、性能を維持しつつ、チップ間の転送量を削減することができる。

【図面の簡単な説明】

【0011】

【図1】分割境界を跨ぐ動き探索／動き補償を行うチップ間を模式的に示す図である。

【図2】チップ間の即時転送を模式化した図である。

【図3】エンコーダモジュールが持つ管理テーブルの一例を示す図である。

【図4】並列映像エンコーダ装置のハードウェア構成を示すブロック図である。

【図5】本実施形態の並列映像エンコーダ装置の機能的な構成を示すブロック図である。

【図6】第１実施形態に係る並列映像エンコーダ装置によるフローチャート１の処理の流れを示すフローチャートである。

【図7】第１実施形態に係る並列映像エンコーダ装置によるフローチャート２の処理の流れを示すフローチャートである。

【図8】フレームの事前転送範囲を説明する図である。

【図9】第２実施形態に係る並列映像エンコーダ装置によるフローチャート３の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0013】

まず、本開示の各実施形態の技術の概要について説明する（以下、各実施形態に共通する事項について本実施形態と記載する）。本実施形態では、エンコーダモジュールをチップ単位とし、エンコーダモジュールの各々に管理テーブルを有する。本実施形態では、管理テーブルを用いて隣接チップに必要な参照画像を要求する即時転送を効率的に行うことで、性能を維持しつつチップ間データ転送量を効率的に削減する。図２は、チップ間の即時転送を模式化した図である。図２の自チップが着目するエンコーダモジュールを示し、上チップが隣接エンコーダモジュールを示している。本実施形態では、動き探索／動き補償の実行時に管理テーブルを用いる（図２中のｔａｂｌｅ ２５Ｅ（以下、符号省略））。動き探索／動き補償は、ＭＥ／ＭＣ（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ／Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）と表記する。チップには、エンコーダモジュールとしての各種処理を実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１Ｅを備える。ＭＥ／ＭＣに係る処理はＣＯＤＥＣ ２２Ｅを用いて実行される。参照画像データ自体は各チップのＣａｃｈｅ ２３Ｅ又はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ） ２４Ｅに保存される（図２中の（Ｒ））。図２の（ａ１）～（ａ３）は管理テーブルで管理されるブロック単位を示し、（ａ１）は上領域、（ａ２）は自領域、（ａ３）は下領域を示し、上チップ、自チップ、下チップに対応する。なお参照画像の各ブロックのメモリ上の格納アドレスは隣接チップから転送されたデータも元々自チップにあるデータも含めて、ブロックの座標とフレーム番号から一意に決まるという前提である。特定の８ｘ８画素ブロックが転送済みか否かの情報は各チップが該当ブロックを受信したか否かで判断することにより各チップに閉じて管理可能である。そのためチップ（モジュール）間で管理テーブルの情報をやりとりする必要はない。

【0014】

本実施形態では、図３に示すように、エンコーダモジュールは、参照画像の転送状態（自チップに転送済みか等）を８ｘ８画素等のブロック単位で管理する管理テーブルを持ち、ブロックの状態に応じた処理を行う。（ａ１）上領域の色付き部分が自チップに転送済みのブロックである。転送済みの場合は、自チップのメモリにｒｅａｄ要求を行う。ここでいうチップのメモリは、Ｃａｃｈｅ ２３Ｅ又はＤＲＡＭ ２４Ｅ（以下同様）である。未転送の場合は、隣接チップへの転送要求を行い、転送完了後、データを自チップのメモリに格納する。また、転送待ちの場合は、重複した転送要求を行わないように制御する。これにより帯域の小さなチップ間転送のデータ量を抑え、転送待ちによる遅延を抑制することができる。

【0015】

また、第１実施形態においては、参照される確率が高い領域の参照画像については、従来技術と同様に事前に転送しておくことで、バースト的なチップ間転送の増加を抑制し、転送遅延をより小さくすることが可能となる。

【0016】

本実施形態の技術により空いた帯域を他のデータ転送に割り当てることが可能となり、チップ間インタフェースの帯域削減、及びハードウェアコストの削減が可能となる。また本実施形態の技術は映像エンコーダにおいて、より効果を発揮するが、映像デコーダ装置にも適用が可能である。

【0017】

以下、本実施形態の構成について説明する。

【0018】

図４は、並列映像エンコーダ装置１００のハードウェア構成を示すブロック図である。

【0019】

図４に示すように、並列映像エンコーダ装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、通信インタフェース（Ｉ／Ｆ）１７、及び複数のエンコーダモジュールとしてのチップ１８（以下、単にチップと記載する）を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0020】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、並列映像エンコーダ処理プログラムが格納されている。

【0021】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0022】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

【0023】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。

【0024】

通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

【0025】

［第１実施形態］
次に、第１実施形態に係る並列映像エンコーダ装置１００の各機能構成について説明する。図５は、本実施形態の並列映像エンコーダ装置の機能的な構成を示すブロック図である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された並列映像エンコーダ処理プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

【0026】

図５に示すように、並列映像エンコーダ装置１００は、機能的には、事前転送部１０２と、符号化処理部１１０とを含んで構成されている。並列映像エンコーダ装置１００ではこれらの機能的な処理部をそれぞれのエンコーダモジュール毎に有する。並列映像エンコーダ装置１００では、各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態がブロック単位で管理される。

【0027】

事前転送部１０２は、現フレームの符号化処理が開始される前に参照画像の一部を事前転送範囲に応じて事前に転送しておく。事前転送部１０２の処理は、後述するフローチャート１において説明する。

【0028】

符号化処理部１１０は、フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて管理テーブルを参照して、転送の状態に応じた処理を行う。転送済みであれば自チップのメモリにｒｅａｄ要求をする。転送中であれば隣接チップへの転送要求をせずに受信を待つ。未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、テーブル状態を更新する。

【0029】

また、第１実施形態では符号化処理部１１０は、現フレームの符号化処理が開始された後は、事前転送範囲の情報と管理テーブルの情報との両方に基づいて、転送の状態を判定する。

【0030】

また、符号化処理部１１０は、１つの参照フレームが複数の符号化フレームにわたって参照される場合は、管理テーブルを参照される間継続して利用し、当該参照フレームがこれ以上参照されないことが確認された時点で管理テーブルの全ブロックの値を初期化し、新たな参照フレームの管理テーブルとして利用する。

【0031】

次に、第１実施形態に係る並列映像エンコーダ装置１００の作用について説明する。図６及び図７は、第１実施形態に係る並列映像エンコーダ装置１００における並列映像エンコーダ処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から並列映像エンコーダ処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、各エンコーダモジュールにおいて処理が実行される。第１実施形態では、図６に示すフローチャート１に従い事前転送を行った後、図７に示すフローチャート２に従い即時転送をする。フローチャート１の各処理は、各エンコーダモジュールのＣＰＵ２１Ｅが、実行する処理である。図８は、フレームの事前転送範囲を説明する図である。フローチャート２は、各エンコーダモジュールのＣＰＵ２１Ｅが、符号化処理部１１０として実行する、フレームに対するＭＥ／ＭＣ及び符号化処理（以下、符号化処理）である。

【0032】

フローチャート１では、フレーム（ｎ１～ｎ６）の順に処理していくことを例に説明する。ステップＳ１－１及びＳ１－２の事前転送に係る処理が、事前転送部１０２としての処理である。ステップＳ１－３～Ｓ１－５は符号化処理部１１０としての処理である。

【0033】

ステップＳ１－１でフレーム（ｎ１）の符号化処理を実施する際に事前転送に係る処理を実行する。ステップＳ１－１において、ＣＰＵ２１Ｅは、現フレーム（ｎ１）の符号化時に、参照フレーム（ｎ０）に対する参照範囲をもとに、参照画像の一部のフレーム（ｎ２）における事前転送範囲を決定する。ここでの参照範囲は、参照フレーム（ｎ０）を参照画像とする符号化処理を行う際の範囲である。事前転送範囲は、例えば、分割領域毎に上下の分割境界から垂直方向にどの程度離れた画素までが参照されたかという履歴（参照範囲）に基づき事前転送の垂直画素幅を決定する、等すればよい。この場合は送信側から受信側のチップに対して、どの垂直範囲の参照画像データを転送したか、情報を伝達することを想定する。

【0034】

ステップＳ１－２で次のフレーム（ｎ２）に移り、フレーム（ｎ２）の符号化処理を実施する際に事前転送に係る処理を実行する。ステップＳ１－２において、ＣＰＵ２１Ｅは、現フレーム（ｎ２）について、参照画像であるローカルデコード画像が生成された直後に、前のフレーム（ｎ１）で決められた事前転送範囲に基づいて、上又は下側の分割画像を担当するチップに参照画像を転送する。

【0035】

ステップＳ１－３で次のフレーム（ｎ３）に移り、フレーム（ｎ２）の符号化処理を実施する。ステップＳ１－３において、ＣＰＵ２１Ｅは、現フレーム（ｎ３，ｎ４，ｎ５，ｎ６）について、参照フレーム（ｎ２）を参照画像とし、事前転送範囲の情報と管理テーブルの情報とに基づいて、符号化処理を行う。符号化処理は、必要な参照画像を自チップのメモリに要求するか、隣接チップに要求するかを決定しながら行う。符号化処理は、図７のフローチャート２を参照して詳細を説明する。

【0036】

ステップＳ１－４において、ＣＰＵ２１Ｅは、ステップＳ１－３で用いた参照フレームについて、当該参照フレームへの参照がこれ以上ないか否かを判定する。判定は、Ｄｅｃｏｄｅ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒサイズ等から閾値判定により確認すればよい。参照がない場合にはステップＳ１－５へ移行する。参照がある場合には、ステップＳ１－３に戻り、次のフレーム（ｎｎ）について符号化処理を実施する。

【0037】

ステップＳ１－５において、ＣＰＵ２１Ｅは、参照フレーム（ｎ２）への参照がこれ以上ないことが確認された時点で管理テーブルの全ブロックの値を初期化し、新たな参照フレーム用の管理テーブルとして再利用する。以降、フレームがある場合には、フローチャート１のステップＳ１－１～Ｓ１－５の処理を再び実行する。

【0038】

次に図７のフローチャート２のフレームの符号化処理について説明する。

【0039】

ステップＳ２－１において、ＣＰＵ２１Ｅは、対象とするフレームを指定し、当該フレームの各ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）の各符号化処理において、必要な参照フレームと参照範囲を決定する。ここでは、空間的・時間的に隣接する処理済みＣＵのＭＥ／ＭＣ処理結果及び符号化処理結果に基づいて、当該ＣＵの動き探索方法や動き探索範囲を決定し、それに基づき必要な参照フレームと参照範囲を決定する。図８の例では、対象とするフレーム（ｎ３，ｎ４，ｎ５，ｎ６）について、参照フレーム（ｎ２）が参照される。

【0040】

ステップＳ２－２において、ＣＰＵ２１Ｅは、参照範囲に含まれる８ｘ８ブロック（ｘ，ｙ）全てについて、以下の処理対象に設定する。対象とするブロックを要求元ＭＥブロックとする。

【0041】

ステップＳ２－３において、ＣＰＵ２１Ｅは、要求元ＭＥブロックにおいて、同ブロックが事前転送範囲か否かを確認する。事前転送範囲は例えば８ｘ８ブロックの垂直座標のみで判断できるものとする。事前転送範囲でない場合はステップＳ２－４へ移行し、事前転送範囲である場合はステップＳ２－５へ移行する。

【0042】

ステップＳ２－４において、ＣＰＵ２１Ｅは、事前転送の範囲外の場合に、続いて転送用Ｉ／Ｆにある管理テーブルのブロック（ｘ，ｙ）の情報を確認し、転送の状態を判定する。状態が転送済みの場合はステップＳ２－５へ移行する。状態が未転送の場合はステップＳ２－７へ移行する。状態が転送中の場合はステップＳ２－１１へ移行する。

【0043】

ステップＳ２－５において、ＣＰＵ２１Ｅは、状態が転送済みの場合に要求元ＭＥブロックでメモリにｒｅａｄ要求する。

【0044】

ステップＳ２－６において、ＣＰＵ２１Ｅは、ｒｅａｄが完了するのを待機し、ｒｅａｄ完了後に次のステップＳ２－１４へ移行する。

【0045】

ステップＳ２－７において、ＣＰＵ２１Ｅは、状態が未転送の場合に転送用Ｉ／Ｆから隣接チップに転送要求し、ブロック（ｘ，ｙ）の状態を転送中に変更する。ステップＳ２－８で転送の完了を確認する。

【0046】

ステップＳ２－９において、ＣＰＵ２１Ｅは、転送完了後、受信データを要求元ＭＥブロックに転送する。そしてステップＳ２－１４へ移行する。また、一定時間後にステップＳ２－１０を行う。

【0047】

ステップＳ２－１０において、ＣＰＵ２１Ｅは、一定時間後、データをメモリにｗｒｉｔｅしブロック（ｘ，ｙ）の状態を転送済みに変更する。

【0048】

ステップＳ２－１１において、ＣＰＵ２１Ｅは、状態が転送中の場合に、転送用Ｉ／Ｆの転送待ちキューに要求情報を追加する。ステップＳ２－１２で転送の完了を確認する。

【0049】

ステップＳ２－１３において、ＣＰＵ２１Ｅは、転送完了を確認した後、要求元ＭＥブロックに転送する。そしてステップＳ２－１４へ移行する。

【0050】

ステップＳ２－１４において、ＣＰＵ２１Ｅは、全ての８ｘ８ブロックのデータが制限時間内に揃ったかを判定する。揃っている場合はステップＳ２－１５へ移行し、揃っていない場合はステップＳ２－１６へ移行する。

【0051】

ステップＳ２－１５において、ＣＰＵ２１Ｅは、ＭＥ処理を行う。

【0052】

ステップＳ２－１６において、ＣＰＵ２１Ｅは、揃っていない場合にＭＥ処理エラーとして他の符号化モードを選択する等の対処をする。

【0053】

ステップＳ２－１７において、ＣＰＵ２１Ｅは、フレーム内の全てのＣＵについて、符号化処理が終了したか否かを判定する。終了した場合には処理を終了し、終了していない場合にはステップＳ２－１に戻って処理を繰り返す。

【0054】

以上説明したように第１実施形態の並列映像エンコーダ装置１００によれば、性能を維持しつつ、チップ間の転送量を削減することができる。

【0055】

［第２実施形態］
第２実施形態では、第１実施形態のような事前転送は行わず、図９のフローチャート３に示す通りに即時転送をする。第１実施形態に比べてより実装が簡易になる。また、第２実施形態の並列映像エンコーダ装置１００は機能的には、符号化処理部１１０を含み、事前転送部１０２は備えない。

【0056】

ステップＳ３－１において、ＣＰＵ２１Ｅは、対象とするフレームを指定し、当該フレームの各ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）の各符号化処理において、必要な参照フレームと参照範囲を決定する。

【0057】

ステップＳ３－２において、ＣＰＵ２１Ｅは、参照範囲に含まれる８ｘ８ブロック（ｘ，ｙ）全てについて、以下の処理対象に設定する。対象とするブロックを要求元ＭＥブロックとする。

【0058】

ステップＳ３－４において、ＣＰＵ２１Ｅは、事前転送の範囲外の場合に、続いて転送用Ｉ／Ｆにある管理テーブルのブロック（ｘ，ｙ）の情報を確認し、転送の状態を判定する。状態が転送済みの場合はステップＳ３－５へ移行する。状態が未転送の場合はステップＳ３－７へ移行する。状態が転送中の場合はステップＳ３－１１へ移行する。

【0059】

ステップＳ３－５において、ＣＰＵ２１Ｅは、状態が転送済みの場合に要求元ＭＥブロックでメモリにｒｅａｄ要求する。

【0060】

ステップＳ３－６において、ＣＰＵ２１Ｅは、ｒｅａｄが完了するのを待機し、ｒｅａｄ完了後に次のステップＳ３－１４へ移行する。

【0061】

ステップＳ３－７において、ＣＰＵ２１Ｅは、状態が未転送の場合に転送用Ｉ／Ｆから隣接チップに転送要求し、ブロック（ｘ，ｙ）の状態を転送中に変更する。ステップＳ３－８で転送の完了を確認する。

【0062】

ステップＳ３－９において、ＣＰＵ２１Ｅは、転送完了後、受信データをメモリにｗｒｉｔｅすると同時に状態を転送済みに変更する。

【0063】

ステップＳ３－１０において、ＣＰＵ２１Ｅは、要求元ＭＥブロックに状態の変更を通知する。そして、ステップＳ３－５へ移行する。

【0064】

ステップＳ３－１１において、ＣＰＵ２１Ｅは、状態が転送中の場合に、転送用Ｉ／Ｆの転送待ちキューに要求情報を追加する。ステップＳ３－１２で転送の完了を確認する。

【0065】

ステップＳ３－１３において、ＣＰＵ２１Ｅは、転送完了を確認した後、要求元ＭＥに転送完了を通知する。そして、ステップＳ３－５へ移行する。

【0066】

ステップＳ３－１４において、ＣＰＵ２１Ｅは、全ての８ｘ８ブロックのデータが制限時間内に揃ったかを判定する。揃っている場合はステップＳ３－１５へ移行し、揃っていない場合はステップＳ３－１６へ移行する。

【0067】

ステップＳ３－１５において、ＣＰＵ２１Ｅは、ＭＥ処理を行う。

【0068】

ステップＳ３－１６において、ＣＰＵ２１Ｅは、揃っていない場合にＭＥ処理エラーとして他の符号化モードを選択する等の対処をする。

【0069】

ステップＳ３－１７において、ＣＰＵ２１Ｅは、フレーム内の全てのＣＵについて、符号化処理が終了したか否かを判定する。終了した場合には処理を終了し、終了していない場合にはステップＳ３－１に戻って処理を繰り返す。

【0070】

以上説明したように第２実施形態の並列映像エンコーダ装置１００によれば、性能を維持しつつ、簡易にチップ間の転送量を削減することができる。

【0071】

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した並列映像エンコーダ処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、並列映像エンコーダ処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0072】

また、上記各実施形態では、並列映像エンコーダ処理プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0073】

以上の実施形態に関し、更に以下の付記を開示する。

【0074】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ処理装置であって、
各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、
フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、
転送済みであれば自チップのメモリにｒｅａｄ要求をし、
転送中であれば隣接チップへの転送要求をせずに受信を待ち、
未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する、
ように構成されている並列映像エンコーダ装置。

【0075】

（付記項２）
入力画像を分割し複数のエンコーダモジュール間で参照画像を相互に転送する並列映像エンコーダ処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
各エンコーダモジュールが管理テーブルを有し、当該管理テーブルにおいて隣接エンコーダモジュールで生成された参照画像の転送状態をブロック単位で管理し、
フレームの符号化処理において、動き探索又は動き補償に必要な参照画像を要求する場合に、参照範囲に含まれる各ブロックについて前記管理テーブルを参照し、
転送済みであれば自チップのメモリにｒｅａｄ要求をし、
転送中であれば隣接チップへの転送要求をせずに受信を待ち、
未転送であれば隣接チップへの転送要求を出し受信した後に自チップのメモリに格納し、前記管理テーブルの状態を更新する、
非一時的記憶媒体。

【符号の説明】

【0076】

１００ 並列映像エンコーダ装置
１０２ 事前転送部
１１０ 符号化処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】