特開 2025-13122 イメージ信号処理装置およびそれを含む撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025013122

(43)【公開日】2025-01-24

(54)【発明の名称】イメージ信号処理装置およびそれを含む撮影システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20250117BHJP

【ＦＩ】

H04N23/60

H04N23/60 500

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024001186

(22)【出願日】2024-01-09

(31)【優先権主張番号】10-2023-0091693

(32)【優先日】2023-07-14

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】白石 大介

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA56

5C122FH07

5C122HA63

5C122HA71

(57)【要約】

【課題】イメージ信号プロセッサのバッファサイズを減らし、処理時間を減らすことができるようにする撮影システムを提供する。
【解決手段】本発明の一実施形態に係る撮影システム１は、イメージデータの読み取り動作または書き込み動作が行われるフレームメモリ２０と、既に設定された順序で入力されるイメージデータをフレームメモリ２０に書き込み、フレームメモリ２０から読み取られたデータを処理し、処理されたイメージデータを出力するイメージ信号処理装置２００と、を含み、イメージ信号処理装置２００は、イメージデータの入力が進行する方向とは異なる方向にイメージデータの処理順序を変換して処理し、処理されたイメージデータの順序を既に設定された順序に整列して出力することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

イメージデータの読み取り動作または書き込み動作が行われるフレームメモリと、
既に設定された順序で入力される前記イメージデータを前記フレームメモリに書き込み、前記フレームメモリから読み取られたデータを処理し、処理されたイメージデータを出力するイメージ信号処理装置と、
を含み、
前記イメージ信号処理装置は、
前記イメージデータの入力が進行する方向とは異なる方向に前記イメージデータの処理順序を変換して処理し、前記処理されたイメージデータの順序を前記既に設定された順序に整列して出力する、撮影システム。

【請求項2】

前記イメージ信号処理装置は、
前記イメージデータの入力が進行する方向と垂直な方向に前記イメージデータを処理する、請求項１に記載の撮影システム。

【請求項3】

前記イメージ信号処理装置は、
前記イメージデータを処理するデータ処理部と、
前記イメージデータを前記フレームメモリに書き込み、前記フレームメモリに格納されたデータを読み取って処理順序を任意の順序に変換して前記データ処理部に伝達し、前記データ処理部により処理されたイメージデータの順序を前記既に設定された順序に整列して前記フレームメモリに書き込み、前記フレームメモリに書き込まれたデータを入出力インターフェースに出力するバッファ回路と、を含む、請求項１に記載の撮影システム。

【請求項4】

前記イメージ信号処理装置は、
前記フレームメモリと前記バッファ回路との間で前記イメージデータを互いに伝達するメモリインターフェースをさらに含む、請求項３に記載の撮影システム。

【請求項5】

前記バッファ回路は、
前記イメージデータを前記フレームメモリに伝達する第１バッファと、
前記フレームメモリから印加される前記イメージデータの処理順序を変換して前記データ処理部に伝達し、前記データ処理部により処理されたデータを整列して前記フレームメモリに伝達する第２バッファと、
前記フレームメモリに格納されたデータを出力する第３バッファと、を含む、請求項３に記載の撮影システム。

【請求項6】

前記バッファ回路は、
前記フレームメモリから読み取られたデータのうち一部のデータだけをフリップフロップに格納し演算処理に用いる、請求項３に記載の撮影システム。

【請求項7】

前記データ処理部は、
前記イメージデータに基づいてマルチスケール処理を行う複数のマルチスケール処理部を含む、請求項３に記載の撮影システム。

【請求項8】

前記マルチスケール処理は、
前記イメージデータを互いに異なる解像度を有するイメージに再調整し、それぞれ異なるスケールを有する複数のイメージを処理する、請求項７に記載の撮影システム。

【請求項9】

前記既に設定された順序は、
ラスタスキャン順である、請求項１に記載の撮影システム。

【請求項10】

前記イメージ信号処理装置は、
前記イメージデータにおいてフィルタリング処理対象となるターゲットピクセルが特定の数以上である場合に並列時分割で処理する、請求項１に記載の撮影システム。

【請求項11】

前記イメージ信号処理装置は、
前記ターゲットピクセル数を入力ピクセルよりも増加させて処理する、請求項１０に記載の撮影システム。

【請求項12】

前記イメージ信号処理装置は、
前記ターゲットピクセルが水平方向に配置されている場合、
垂直方向にデータ処理を行う、請求項１０に記載の撮影システム。

【請求項13】

前記イメージ信号処理装置は、
前記ターゲットピクセルが垂直方向に配置されている場合、
水平方向にデータ処理を行う、請求項１０に記載の撮影システム。

【請求項14】

前記イメージ信号処理装置は、
前記イメージデータが水平方向に複数のレーンを有する場合に垂直方向にデータ処理を進行し、
前記イメージデータが垂直方向に複数のレーンを有する場合に水平方向にデータ処理を進行する、請求項１に記載の撮影システム。

【請求項15】

イメージデータを格納するフレームメモリと、
既に設定された順序で入力されるイメージデータを前記フレームメモリに書き込み、前記フレームメモリから読み取られたデータを処理して前記フレームメモリに書き込み、前記フレームメモリから読み取られた処理されたイメージデータを出力するバッファ回路と、
を含み、
前記バッファ回路は、
第１方向にイメージデータの入力が進行する場合、第２方向に前記イメージデータの処理順序を変換して処理し、処理されたイメージデータの順序を前記既に設定された順序に整列して出力する、イメージ信号処理装置。

【請求項16】

前記第１方向と前記第２方向とは互いに垂直な方向である、請求項１５に記載のイメージ信号処理装置。

【請求項17】

前記既に設定された順序は、
ラスタスキャン順である、請求項１５に記載のイメージ信号処理装置。

【請求項18】

前記バッファ回路から印加されるイメージデータを処理するデータ処理部と、
前記フレームメモリと前記バッファ回路との間で前記イメージデータを互いに伝達するメモリインターフェースと、をさらに含む、請求項１５に記載のイメージ信号処理装置。

【請求項19】

前記バッファ回路は、
前記イメージデータを前記フレームメモリに伝達する第１バッファと、
前記フレームメモリから印加される前記イメージデータの処理順序を変換して前記データ処理部に伝達し、前記データ処理部により処理されたデータを整列して前記フレームメモリに伝達する第２バッファと、
前記フレームメモリに格納されたデータを出力する第３バッファと、を含む、請求項１８に記載のイメージ信号処理装置。

【請求項20】

前記データ処理部は、
前記イメージデータに基づいてマルチスケール処理を行う複数のマルチスケール処理部を含む、請求項１８に記載のイメージ信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光を感知してイメージデータを生成することができる撮影システムに関する。

【背景技術】

【0002】

イメージセンサ（ｉｍａｇｅ ｓｅｎｓｏｒ）は、光に反応する光感知半導体物質の性質を用いて光学イメージをキャプチャ（ｃａｐｔｕｒｅ）する装置である。自動車、医療、コンピュータ、および通信などの産業の発展に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、セキュリティ用カメラ、医療用マイクロカメラなどの様々な分野において、高性能（ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ）のイメージセンシング装置の需要が増大している。

【0003】

イメージセンシング装置の技術が発展するにつれ、イメージセンシング装置より撮影されるデータの容量が増加している。イメージデータの容量が増加すると、それをバッファリングするためにさらに多いバッファを必要とし、イメージデータを処理する速度が増加し得る。そこで、イメージデータを処理するバッファ数と処理速度を下げるためのイメージ信号処理技術が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施形態は、イメージ信号プロセッサのバッファサイズを減らし、処理時間を減らすことができるようにする撮影システムを提供する。

【課題を解決するための手段】

【0005】

本発明の実施形態に係る撮影システムは、イメージデータの読み取り動作または書き込み動作が行われるフレームメモリと、既に設定された順序で入力されるイメージデータをフレームメモリに書き込み、フレームメモリから読み取られたデータを処理し、処理されたイメージデータを出力するイメージ信号処理装置と、を含み、イメージ信号処理装置は、イメージデータの入力が進行する方向とは異なる方向にイメージデータの処理順序を変換して処理し、処理されたイメージデータの順序を既に設定された順序に整列して出力することができる。

【0006】

本発明の他の実施形態に係るイメージ信号処理装置は、イメージデータを格納するフレームメモリと、既に設定された順序で入力されるイメージデータをフレームメモリに書き込み、フレームメモリから読み取られたデータを処理してフレームメモリに書き込み、フレームメモリから読み取られた処理されたイメージデータを出力するバッファ回路と、を含み、バッファ回路は、第１方向にイメージデータの入力が進行する場合、第２方向にイメージのデータの処理順序を変換して処理し、処理されたイメージデータの順序を既に設定された順序に整列して出力することができる。

【発明の効果】

【0007】

本発明の実施形態は、イメージ信号プロセッサのバッファサイズを減らし、処理時間を減らすことができるようにする効果を提供することができる。

【0008】

さらに、本発明の実施形態は例示のためのものであり、当業者であれば、添付の特許請求の範囲の技術的思想および範囲を通じて様々な修正、変更、代替、および付加が可能であり、このような修正、変更などは以下の特許請求の範囲に属するものと見なされるべきである。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る撮影システムを示したブロック図である。

【図2】図１のイメージ信号処理装置の動作を説明するための図である。

【図3】図１のイメージ信号処理装置における垂直にデータの入力が進行する場合を説明するための図である。

【図4】図１のイメージ信号処理装置における水平にデータの入力が進行する場合を説明するための図である。

【図5】図１のイメージ信号処理装置におけるデータ処理部の動作を説明するための図である。

【図6】図１のイメージ信号処理装置におけるアクセス動作を説明するための図である。

【図7】図１のイメージ信号処理装置における書き込み動作を説明するための図である。

【図8】図１のイメージ信号処理装置における書き込み動作を説明するための図である。

【図9】図１のイメージ信号処理装置における読み取り動作を説明するための図である。

【図10】図１のイメージ信号処理装置における読み取り動作を説明するための図である。

【図11】図１のイメージ信号処理装置における読み取り動作を説明するための図である。

【図12】図１のイメージ信号処理装置における読み取りおよび書き込み動作時のデータ整列処理を説明するための図である。

【図13】図１のイメージ信号処理装置における読み取りおよび書き込み動作時のデータ整列処理を説明するための図である。

【図14】図１のフレームメモリからの出力アクセス動作を説明するための図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して様々な実施形態が説明される。ただし、本開示は、特定の実施形態に限定されず、実施形態の様々な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、等価物（ｅｑｕｉｖａｌｅｎｔ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解しなければならない。本開示の実施形態は、本開示により直間接的に認識可能な様々な効果を提供することができる。

【0011】

図１は、本発明の一実施形態に係る撮影システムを示したブロック図である。
図１を参照すると、撮影システム１は、静止画を撮影するデジタルスチルカメラ、または動画を撮影するデジタルビデオカメラなどの装置を意味し得る。例えば、撮影装置１０はデジタル一眼レフカメラ（Ｄｉｇｉｔａｌ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｒｅｆｌｅｘ；ＤＳＬＲ）、ミラーレス（ｍｉｒｒｏｒｌｅｓｓ）カメラ、または携帯電話（特に、スマートフォン）で実現可能であるが、これに限定されない。撮影装置１０は、レンズおよび撮像素子を含むことで、被写体を撮影し、イメージを生成できる装置を含む概念であってもよい。

【0012】

撮影システム１は、撮影装置（ｉｍａｇｉｎｇ ｄｅｖｉｃｅ）１０、フレームメモリ（ｆｒａｍｅ ｍｅｍｏｒｙ）２０、およびホスト装置（ｈｏｓｔ ｄｅｖｉｃｅ）３０を含むことができる。

【0013】

ここで、撮影装置１０は、イメージセンシング部（ｉｍａｇｅ ｓｅｎｓｏｒ）１００、タイミングコントローラ（ｔｉｍｉｎｇ ｃｏｎｔｒｏｌｌｅｒ）１１０、読み出し回路（ｒｅａｄｏｕｔ ｃｉｒｃｕｉｔ）１２０、イメージ信号処理装置（ＩＳＰ；ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）２００、および入出力インターフェース（Ｉ／Ｏ ｉｎｔｅｒｆａｃｅ）３００を含むことができる。

【0014】

イメージセンシング部１００は、光学信号を電気信号に変換するＣＩＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）であってもよい。イメージセンシング部１００は、タイミングコントローラ１１０により、オン／オフ（ｏｎ／ｏｆｆ）、動作モード、動作タイミング、感度などの全般的な動作が制御されることができる。イメージセンシング部１００は、タイミングコントローラ１１０の制御に応じて、光学信号を電気信号に変換したイメージデータを読み出し回路１２０に伝送することができる。

【0015】

タイミングコントローラ１１０は、イメージセンシング部１００の各構成の動作に求められるクロック信号、タイミング制御のための制御信号、行を選択するための行アドレス信号、および列を選択するための列アドレス信号をイメージセンシング部１００に提供することができる。一実施形態によると、タイミングコントローラ１１０は、ロジック制御回路（Ｌｏｇｉｃ ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔ）、位相ロックループ（Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ、ＰＬＬ）回路、タイミング制御回路（ｔｉｍｉｎｇ ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔ）、および通信インターフェース回路（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ ｃｉｒｃｕｉｔ）などを含むことができる。

【0016】

読み出し回路１２０は、２つのサンプル（基準信号と画像信号）間の差を除去するためにピクセル信号を２回サンプリングすることで、固定パターンノイズのようなピクセルの所望しないオフセット値を除去できるように相関二重サンプリングを用いることができる。読み出し回路１２０は、相関二重サンプリングされた信号をデジタル信号に変換するＡＤＣ（ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）を含むことができる。読み出し回路１２０は、ＡＤＣから提供されるそれぞれの列単位のイメージデータを一時的にホールドして出力する出力バッファを含むことができる。読み出し回路１２０は、タイミングコントローラ１１０の制御信号に基づいて出力バッファの列を選択し、出力バッファの選択された列に一時的に格納されたイメージデータが順次出力されるように制御する列ドライバを含むことができる。

【0017】

イメージ信号処理装置２００は、読み出し回路１２０から入力されるイメージデータに対して画像信号処理を行うことができる。イメージ信号処理装置２００は、補正されたイメージデータに対してノイズを低減させ、ガンマ補正（Ｇａｍｍａ Ｃｏｒｒｅｃｔｉｏｎ）、カラーフィルタアレイ補間（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、カラーマトリクス（ｃｏｌｏｒ ｍａｔｒｉｘ）、カラー補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、カラーエンハンスメント（ｃｏｌｏｒ ｅｎｈａｎｃｅｍｅｎｔ）などの画質改善のための画像信号処理を行うことができる。また、イメージ信号処理装置２００は、画質改善のための画像信号処理を行って生成した画像データを圧縮処理して画像ファイルを生成することができ、または前記画像ファイルから画像データを復元することができる。画像の圧縮形式は、可逆形式または非可逆形式であってもよい。圧縮形式の例として、静止画の場合、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式などを用いることができる。また、動画の場合、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準に従って複数のフレームを圧縮して動画ファイルを生成することができる。画像ファイルは、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）標準に従って生成されることができる。

【0018】

イメージ信号処理装置２００は、バッファ回路２１０、データ処理部２２０、およびメモリインターフェース２３０を含むことができる。
ここで、バッファ回路２１０は、読み出し回路１２０から印加されるイメージデータを一時的に格納し、メモリインターフェース２３０を介してフレームメモリ２０に書き込むことができる。そして、バッファ回路２１０は、フレームメモリ２０に書き込まれたイメージデータをメモリインターフェース２３０を介して読み取って一時的に格納し、データ処理部２２０に伝達することができる。

【0019】

また、バッファ回路２１０は、データ処理部２２０から処理されたデータを一時的に格納し、メモリインターフェース２３０を介してフレームメモリ２０に書き込むことができる。そして、バッファ回路２１０は、フレームメモリ２０に書き込まれたイメージデータをメモリインターフェース２３０を介して読み取って一時的に格納し、入出力インターフェース３００に伝達することができる。ただし、バッファ回路２１０の動作はこれに限定されない。一例として、バッファ回路２１０は、読み出し回路１２０、データ処理部２２０、フレームメモリ２０、ホスト装置３０、およびその他の構成の間で所定のデータを一時的に格納し伝達する一連の動作を行うことができる。バッファ回路２１０にデータを伝達するかまたはバッファ回路２１０からデータの伝達を受ける構成は、図１に示された構成に限定されない。

【0020】

このようなバッファ回路２１０は、複数のバッファ２１１～２１５を含むことができる。複数のバッファ２１１～２１５それぞれはフリップフロップまたは揮発性メモリ（例えば、ＳＲＡＭ）を含むことができるが、メモリの種類はこれに限定されない。

【0021】

ここで、バッファ２１１は、読み出し回路１２０とメモリインターフェース２３０との間に連結されることができる。バッファ２１１は、読み出し回路１２０から入力されるイメージデータをメモリインターフェース２３０を介してフレームメモリ２０に格納する動作（Ｔ１）を行うことができる。バッファ２１２～２１４は、メモリインターフェース２３０とデータ処理部２２０との間に連結されることができる。バッファ２１２～２１４は、メモリインターフェース２３０から印加されたデータを格納し、それぞれに対応するマルチスケール処理部２２１～２２３に伝達する動作（Ｔ２）を行うことができる。さらに、バッファ２１２～２１４は、それぞれに対応するマルチスケール処理部２２１～２２３から印加されたデータを格納し、再びメモリインターフェース２３０に伝達する動作（Ｔ３）を行うことができる。バッファ２１５は、メモリインターフェース２３０と入出力インターフェース３００との間に連結されることができる。バッファ２１５は、メモリインターフェース２３０を介してフレームメモリ２０から印加されるイメージデータを入出力インターフェース３００に出力する動作（Ｔ４）を行うことができる。このような構成を有するバッファ回路２１０に関するより詳細な内容は後述する。

【0022】

そして、データ処理部２２０は、バッファ回路２１０から印加されるイメージデータに基づいてマルチスケール処理を行うことができる。データ処理部２２０は、マルチスケール処理が行われたイメージデータをバッファ回路２１０に伝達することができる。ここで、マルチスケール処理とは、前処理過程により原本イメージを互いに異なる解像度を有するイメージに再調整し、それぞれ異なるスケールを有する複数のイメージを処理することを意味し得る。

【0023】

このようなデータ処理部２２０は、複数のマルチスケール処理部２２１～２２３を含むことができる。マルチスケール処理部２２１～２２３は、バッファ２１２～２１４と対応するように連結されることができる。マルチスケール処理部２２１～２２３は、それぞれに対応するバッファ２１２～２１４を介してフレームメモリ２０から伝達されたデータを処理した後、処理されたデータを再びバッファ２１２～２１４に伝達することができる。このような構成を有するデータ処理部２２０に関するより詳細な内容は後述する。

【0024】

メモリインターフェース２３０は、フレームメモリ２０とバッファ回路２１０との間でデータインターフェーシングを行うことができる。バッファ回路２１０からのイメージデータは、メモリインターフェース２３０を介してフレームメモリ２０に書き込まれることができる。そして、フレームメモリ２０から読み取られたイメージデータは、メモリインターフェース２３０を介してバッファ回路２１０に伝達されることができる。

【0025】

イメージ信号処理装置２００は、画像信号処理されたイメージデータを入出力インターフェース３００に伝送することができる。入出力インターフェース３００は、ホスト装置３０との通信を行い、画像信号処理されたイメージデータをホスト装置３０に伝送することができる。一実施形態によると、入出力インターフェース３００はＭＩＰＩ（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）インターフェースであってもよいが、本発明の範囲はこれに限定されない。

【0026】

フレームメモリ２０は、イメージ信号処理装置２００から受信するイメージデータを書き込み（すなわち、格納）、フレームメモリ２０に格納されたイメージデータは、読み取られてイメージ信号処理装置２００に伝達されることができる。フレームメモリ２０は揮発性メモリ（例えば、ＤＲＡＭ）を含むことができるが、メモリの種類はこれに限定されない。フレームメモリ２０は、イメージセンシング部１００のピクセルアレイが一度に撮影したフレームに対応するイメージデータを格納することができる。

【0027】

図１の実施形態ではフレームメモリ２０が撮影装置１０の外部に位置するものとして示しているが、本発明の実施形態はこれに限定されない。一例として、フレームメモリ２０は、撮影装置１０の内部に位置するか、またはイメージ信号処理装置２００の内部に位置してもよい。

【0028】

ホスト装置３０は、撮影装置１０から受信する画像信号処理されたイメージデータを処理するプロセッサ（例えば、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ））、イメージデータを格納するメモリ（例えば、不揮発性メモリ）、またはイメージデータを視覚的に出力するディスプレイ装置（例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ））であってもよい。

【0029】

図２は、図１のイメージ信号処理装置の動作を説明するための図である。
図２の実施形態は、処理対象のピクセルが水平８レーン（Ｌａｎｅ）である場合にデータを処理する過程を一例として示すことができる。

【0030】

図２の（Ａ）のように、入力されるイメージデータが１サイクル間処理（Ｐ１処理）され、その後、次のイメージデータの処理（Ｐ２処理）が必要である。周辺ピクセルが必要なフィルタ処理の場合、全てのピクセルの計算を同時に完了する必要がある。すなわち、高解像度であり、フレームレートが定められている処理には、スループット（Ｔｈｒｏｕｇｈｐｕｔ）１サイクルが必要である。イメージ信号処理装置２００内のクロック周波数を減少させるために、水平方向に８ピクセルずつデータの入力が進行するため、水平８ピクセルを１サイクルとして処理しなければならない。８ピクセルを１サイクルとして並列処理する場合、処理速度は減少可能であるが、同一の回路を８個備えなければならないため、１ピクセル処理に比べて回路の規模が大きくなり得る。

【0031】

本発明の実施形態は、図２の（Ｂ）のように、イメージデータの入力が進行する方向（ラスタスキャン順）と垂直になるようにイメージデータの方向を垂直並列形態に変更して処理することができる。イメージデータの処理方向を垂直方向に変更してピクセルの処理順序を変更することで、並列データの時分割処理が可能である。ここで、時分割処理とは、時間－分割多重化（ＴＤＭ、ｔｉｍｅ－ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅｘｉｎｇ）方式で複数の入力イメージを処理することを意味し得る。

【0032】

イメージデータに含まれる多くのピクセルのうち周辺ピクセルのデータを用いて処理対象ピクセルのフィルタリングを行うことができる。周辺ピクセルが必要なフィルタ処理の場合にも、水平１ピクセルを１サイクルとして処理するため、並列データの時分割処理が可能である。

【0033】

例えば、ピクセルの処理順序が任意に変更されると、並列処理を行うためのデータ量も変更されるため、水平８レーンのデータを１２レーンに増やして処理することができる。イメージデータが１サイクル間処理（Ｐ３処理）され、その後、並列データであるイメージデータの処理（Ｐ４処理）が必要である。

【0034】

すなわち、本発明の実施形態は、入力されるイメージデータをフレームメモリ２０に格納し、格納されたイメージデータを読み取ってイメージデータの入力が進行する方向と垂直な方向にピクセルデータの順序を変更して処理した後、処理されたピクセルデータを再びフレームメモリ２０に格納し、フレームメモリ２０に格納されたデータを再び読み取ってピクセルデータの順序を再び戻し、整列したイメージデータを出力することができる。

【0035】

本発明の実施形態において、イメージ信号処理装置２００は、ラスタ（Ｒａｓｔｅｒ）スキャン順にイメージデータが入出力されることを仮定することにする。ここで、ラスタスキャン順は、例えば、左側から右側に複数のピクセルの全行を順次スキャンすることを意味し得る。

【0036】

しかし、上記のようにバッファ回路２１０（例えば、図１のバッファ２１１～２１４）においてピクセルの処理順序を変更する場合、データ処理部２２０は、ラスタ順に関係なく、任意のピクセルの順序でデータを処理することができる。そして、バッファ回路２１０（例えば、図１のバッファ２１１～２１４）においては、ピクセルの順序を入力ピクセルの順序と同じように元通りに整列して出力することができる。

【0037】

実施形態により、前述した図１で説明した（Ｔ１）～（Ｔ４）の動作を例示としてバッファ回路２１０の動作を説明する。バッファ２１１は、（Ｔ１）動作時に水平方向にデータの入力を受けてメモリインターフェース２３０に伝達することができる。そして、バッファ２１１～２１４は、（Ｔ２）動作時にメモリインターフェース２３０から水平方向にデータが入力されるが、垂直方向にデータを処理してデータ処理部２２０に伝達することができる。さらに、バッファ２１１～２１４は、（Ｔ３）動作時にデータ処理部２２０から垂直方向にデータが入力されるが、水平方向にデータを処理してメモリインターフェース２３０に伝達することができる。バッファ２１５は、（Ｔ４）動作時に水平方向にデータの入力を受けて入出力インターフェース３００に伝達することができる。このような、バッファ回路２１０の書き込みおよび読み取り動作は、後述する図７～図１４でさらに詳細に説明する。

【0038】

したがって、データを並列時分割で迅速に処理するために、イメージ信号処理装置２００内部のデータ処理部２２０では任意のピクセルの順序で処理されるが、撮影装置１０内のイメージ信号処理装置２００に入出力されるピクセルの順序は変更されない。

【0039】

例えば、本発明の実施形態はタップ（Ｔａｐ）数の大きい二次元デジタルフィルタを実装する場合に適用可能であるが、これに限定されない。例えば、本発明の実施形態は１フレームに処理時間の制約がある静止画または画像モードのように全ピクセルを使用しないイメージ信号処理装置に適用可能であるが、これに限定されない。

【0040】

イメージデータが水平方向に複数のレーン（Ｌａｎｅ）を有する場合、水平方向にデータ処理を進行するためには重複する回路が必要であり、各レーンで同時に結果を出す必要があるため、重複する回路を減らすことができない。しかし、水平方向に複数のレーンを有する場合に垂直方向にデータ処理を進行するか、または垂直方向に複数のレーンを有する場合に水平方向にデータ処理を進行することで、重複する回路を減らすことができる。これにより、本発明の実施形態に係るイメージ信号処理装置は、イメージデータに対応するピクセル数よりも少ない数のバッファだけでデータ処理を行うことができる。すなわち、本発明の実施形態によると、データ処理のために必要なバッファ数および時間を減らすことができる。

【0041】

図３は、図１のイメージ信号処理装置における垂直にデータの入力が進行する場合を説明するための図である。
図３を参照すると、イメージ信号処理装置２００において処理しようとするイメージデータが（Ａ）のようにベイヤーパターンである場合を仮定することにする。図３の実施形態では、二次元デジタルフィルタにおいて水平方向に配置された８レーン（Ｌａｎｅ）のデータを処理する場合、演算のために２０ピクセル×１３ラインのピクセルが必要である。総１４ラインのうち７番目のラインにフィルタリング処理対象となる８レーンのターゲットピクセル（ＴＰＸ）が水平方向に含まれることができる。

【0042】

例えば、（Ｂ）のようにグリーン（Ｇｒｅｅｎ）ピクセルにおいて、垂直方向にデータの入力が進行する場合、水平方向に配列された１０個のグリーンピクセルまたは９個のグリーンピクセルを用いて時分割でデータ処理を行うことができる。例えば、イメージ信号処理装置２００は、１クロックに１つの水平ライン（１０個のグリーンピクセルまたは９個のグリーンピクセル）に対し演算を行うことを繰り返すことで（一例として、パイプライン処理）、１３クロックに１３ラインに対し演算を行うことができる。

【0043】

例えば、（Ｃ）のようにレッド（Ｒｅｄ）ピクセルにおいて、垂直方向にデータの入力が進行される場合、水平方向に配列された１０個のレッドピクセルを用いて時分割でデータ処理を行うことができる。例えば、イメージ信号処理装置２００は、１クロックに１つの水平ライン（１０個のレッドピクセル）に対し演算を行うことを繰り返すことで（一例として、パイプライン処理）、１３クロックに１３ラインに対し演算を行うことができる。

【0044】

例えば、（Ｄ）のようにブルー（Ｂｌｕｅ）ピクセルにおいて、垂直方向にデータの入力が進行される場合、水平方向に配列された１０個のブルーピクセルを用いて時分割でデータ処理を行うことができる。例えば、イメージ信号処理装置２００は、１クロックに１つの水平ライン（１０個のブルーピクセル）に対し演算を行うことを繰り返すことで（一例として、パイプライン処理）、１３クロックに１３ラインに対し演算を行うことができる。

【0045】

一例として、二次元デジタルフィルタから８レーンのデータを同時に出力するために、水平方向に１０個のピクセルを演算し、１３サイクル後の演算結果を用いることができる。例えば、各ピクセルのデータを二乗する演算がある場合を仮定する。各ピクセルのデータを残したまま最後に演算を行う場合、遅延単位だけのバッファ（例えば、フリップフロップ）が必要である。しかし、各ピクセルのデータを加算するかまたは他の演算が必要な場合、全ての演算結果をバッファに格納せず、演算結果のみを格納することで回路数を減らすことができる。

【0046】

図４は、図１のイメージ信号処理装置における水平にデータの入力が進行する場合を説明するための図である。
図４を参照すると、イメージ信号処理装置２００において処理しようとするイメージデータが（Ｅ）のようにベイヤーパターンである場合を仮定することにする。図４の実施形態では、二次元デジタルフィルタにおいて垂直方向に配置された８レーン（Ｌａｎｅ）のデータを処理する場合、演算のために１３ピクセル×２０ラインのピクセルが必要である。総１４ピクセルのうち７番目のピクセルにフィルタリング処理対象となる８レーン（Ｌａｎｅ）のターゲットピクセル（ＴＰＸ）が垂直方向に含まれることができる。

【0047】

例えば、（Ｆ）のようにグリーン（Ｇｒｅｅｎ）ピクセルにおいて、水平方向にデータの入力が進行される場合、垂直方向に配列された１０個のグリーンピクセルまたは９個のグリーンピクセルを用いて時分割でデータ処理を行うことができる。例えば、イメージ信号処理装置２００は、１クロックに１つの垂直ライン（１０個のグリーンピクセルまたは９個のグリーンピクセル）に対し演算を行うことを繰り返すことで（一例として、パイプライン処理）、１３クロックに１３ラインに対し演算を行うことができる。

【0048】

例えば、（Ｇ）のようにレッド（Ｒｅｄ）ピクセルにおいて、水平方向にデータの入力が進行される場合、垂直方向に配列された１０個のレッドピクセルを演算することができる。例えば、イメージ信号処理装置２００は、１クロックに１つの垂直ライン（１０個のレッドピクセル）に対し演算を行うことを繰り返すことで（一例として、パイプライン処理）、１３クロックに１３ラインに対し演算を行うことができる。

【0049】

例えば、（Ｈ）のようにブルー（Ｂｌｕｅ）ピクセルにおいて、水平方向にデータの入力が進行される場合、垂直方向に配列された１０個のブルーピクセルを演算することができる。例えば、イメージ信号処理装置２００は、１クロックに１つの垂直ライン（１０個のブルーピクセル）に対し演算を行うことを繰り返すことで（一例として、パイプライン処理）、１３クロックに１３ラインに対し演算を行うことができる。

【0050】

一例として、二次元デジタルフィルタから８レーンのデータを同時に出力するために、垂直方向に１０個のピクセルを演算し、１３サイクル後の演算結果を用いることができる。これにより、ターゲットピクセルが配置された方向とは異なる方向（水平方向）にデータを時分割で演算することで、スループット（Ｔｈｒｏｕｇｈｐｕｔ）が変化せず、かつ、演算のための回路数を減らすことができる。

【0051】

図５は、図１のイメージ信号処理装置におけるデータ処理部の動作を説明するための図である。本発明の実施形態ではフレームメモリが必要な処理動作のうちマルチスケール処理を一例として説明するが、本発明の実施形態はこれに限定されない。

【0052】

図５を参照すると、データ処理部２２０は、フレームメモリ２０に書き込まれたイメージデータに対してマルチスケール処理を行うことができる。すなわち、バッファ２１２～２１４を介してフレームメモリ２０から読み取られたイメージデータがデータ処理部２２０に入力されると、データ処理部２２０は、マルチスケール処理を行い、処理されたイメージデータをバッファ２１２～２１４を介して再びフレームメモリ２０に書き込むことができる。

【0053】

例えば、複数のマルチスケール処理部２２１～２２３それぞれは、入力されるイメージデータをダウンスケーリングし、解像度が互いに異なる（半分の大きさを有する）イメージを生成することができる。ここで、複数のマルチスケール処理部２２１～２２３それぞれは、ダウンスケーリングごとに生成されたイメージをフレームメモリ２０に格納することができる。

【0054】

例えば、マルチスケール処理部２２１～２２３は、イメージデータ（３８４０×２１６０サイズ）をダウンスケーリングして生成されたイメージデータ（１９２０×１０８０サイズ）をフレームメモリ２０に格納することができる。このように、マルチスケール処理部２２１～２２３は、入力されるイメージデータを特定の大きさ（半分の大きさ）にダウンスケーリングし、入力イメージデータよりも小さいサイズを有するそれぞれのイメージデータ（９６０×５４０サイズ、４８０×２７０サイズ、２４０×１３５サイズなど）をフレームメモリ２０に格納することができる。

【0055】

そして、複数のマルチスケール処理部２２１～２２３それぞれは、ダウンスケーリングされたイメージを以前のサイズのイメージと比較して処理されたイメージデータを出力することができる。ここで、複数のマルチスケール処理部２２１～２２３それぞれは、イメージの処理時ごとに処理結果をフレームメモリ２０に格納することができる。一例として、マルチスケール処理部２２１～２２３それぞれにより行われるイメージ処理動作は、２つの異なる大きさを有するイメージを比較してノイズ低減を行う動作を意味し得る。

【0056】

例えば、マルチスケール処理部２２１～２２３は、ダウンスケーリングされたイメージデータ（２４０×１３５サイズ）と以前のイメージデータ（４８０×２７０サイズ）を比較して処理されたイメージデータをフレームメモリ２０に格納することができる。このように、マルチスケール処理部２２１～２２３は、他のスケーリングされたイメージデータを比較および処理し、入力イメージデータよりも大きいサイズを有するそれぞれのイメージデータ（９６０×５４０サイズ、１９２０×１０８０サイズ、３８４０×２１６０サイズなど）をフレームメモリ２０に格納することができる。

【0057】

マルチスケール処理部２２１～２２３により行われるマルチスケール処理は、１つのスケールの専用処理ではなく、各スケールで共通の演算ができる処理であってもよい。そして、マルチスケール処理部２２１～２２３は、１フレームを処理する間、マルチスケール数だけ複数回繰り返し使用することができる。

【0058】

図６および図７は、図１のイメージ信号処理装置における書き込み動作を説明するための図である。図６および図７は、バッファ２１１が読み出し回路１２０から印加されたイメージデータをメモリインターフェース２３０を介してフレームメモリ２０に伝達する動作（Ｔ１）を説明するための図である。

【0059】

図６を参照すると、（Ａ）のように、８レーン単位のイメージデータが読み出し回路１２０からバッファ２１１に印加されることができる。バッファ２１１は、前述した図１の（Ｔ１）動作のように、水平方向に印加される８レーン単位のイメージデータをメモリインターフェース２３０に伝達することができる。よって、１０ビット×８レーン単位のイメージデータがフレームメモリ２０に格納されることができる。

【0060】

例えば、バッファ２１１は、（Ｂ）のように、６クロック当たり１回の周期で８レーン（Ｌａｎｅ０～Ｌａｎｅ７）のデータをフレームメモリ２０に書き込むことができるようにデータを整列することができる。例えば、メモリインターフェース２３０が５１２ビット単位でフレームメモリ２０にアクセスする場合、バッファ２１１は、８レーンのデータを６クロックの周期として４８ピクセル（４８０ビット）のデータをフレームメモリ２０に格納することができる。

【0061】

図６の（Ｃ）は、フレームメモリ２０におけるイメージデータの格納状態の例示を示すことができる。一例として、フレームメモリ２０に格納されるデータの幅が１６ビットであると仮定すると、１つのアクセス動作の場合、１６ビット×３２バーストにより５１２ビットが格納されることができる。例えば、５１２ビットのうち４８０ビットは、ピクセルのビット値（４８ピクセル）を示し、残りの３２ビットは、リザーブド（ｒｅｓｅｒｖｅｄ）として用いられることができる。

【0062】

図７を参照すると、バッファ２１１は、読み出し回路１２０からイメージデータ（１０ビット×８レーン単位のイメージデータ）が入力されると、メモリインターフェース２３０を介してフレームメモリ２０にデータを書き込むことができる。例えば、バッファ２１１は、複数のフリップフロップ（ＦＦ）を含むことができる。バッファ２１１は、８ピクセル（１０ビット×８レーン）のデータを６クロックの周期として総５１２ビットのデータをフレームメモリ２０に書き込むことができる。

【0063】

図８～図１０は、図１のイメージ信号処理装置における読み取り動作を説明するための図である。図８～図１０は、バッファ２１２～２１４がメモリインターフェース２３０を介してフレームメモリ２０からデータを読み取る動作（Ｔ２）を説明するための図である。

【0064】

図８は、フレームメモリ２０に１つのアクセスだけのデータ（４８０ビット（４８ピクセルデータ））を格納した状態の例示を示すことができる。例えば、０ｘ００００～０ｘ０９ＦＦまでが１番目のラインのピクセルデータとして格納されることができ、０ｘ０Ａ００～０ｘ１３ＦＦまでが２番目のラインのピクセルデータとして格納されることができ、０ｘ１４００～０ｘ１ＤＦＦまでが３番目のラインのピクセルデータとして格納されることができ、０ｘ１Ｅ００～０ｘ２７ＦＦまでが４番目のラインのピクセルデータとして格納されることができる。

【0065】

図９は、図１のイメージ信号処理装置におけるアクセス動作を説明するための図である。図９は、前述した図１の（Ｔ２）動作のように、フレームメモリ２０に格納されたデータがバッファ２１２～２１４にアクセスされる動作を示すことができる。バッファ２１１～２１４は、水平方向に入力されたデータを垂直方向に整列することができる。

【0066】

フレームメモリ２０とバッファ回路２１０との間のアクセス時にラスタ（Ｒａｓｔｅｒ）スキャン順の制約がある場合、フレームメモリ２０のデータを１ラインずつ読み取ってバッファ回路２１０に格納することができる。

【0067】

しかし、図９を参照すると、本発明の実施形態は、バッファ２１２～２１４（例えば、バッファ２１２）においてイメージデータの処理順序を変更し、データ処理部２２０において任意の順序でデータ処理を行うため、フレームメモリ２０とバッファ２１２～２１４との間のアクセス時にラスタ（Ｒａｓｔｅｒ）スキャン順の制約を受けない。

【0068】

バッファ２１２～２１４は、フレームメモリ２０に書き込まれたデータ（例えば、１～４番目のラインのデータ）のうち、演算に用いられる各ラインの開始部分の一部のデータ（Ｉ）を集めて演算処理に用いることができる。そして、バッファ２１２～２１４においてまだ使用していない領域（ＲＮＲ）のデータは読み取っていないため、バッファが不要である。

【0069】

図１０は、前述した図１の（Ｔ２）動作のように、バッファ２１２～２１４に格納されたデータを読み取る動作を示すことができる。バッファ２１２～２１４は、メモリインターフェース２３０を介してフレームメモリ２０から印加されるイメージデータを読み取ってデータ処理部２２０に伝達することができる。例えば、バッファ２１２～２１４は、複数のフリップフロップ（ＦＦ）を含むことができる。バッファ２１２～２１４は、１０ビット×４８ピクセル（４８０ビット）のデータを読み取ることができる。バッファ２１２～２１４は、２ピクセル×２４レーンのデータを１クロックごとに読み取ることができる。バッファ２１２～２１４は、書き込み動作と読み取り動作が重なり得るため、２倍のライン数を有することができる。すなわち、バッファ２１２～２１４は、ライン１～ライン２４の第１バッファグループ、およびライン２５～ライン４８の第２バッファグループを含むことができる。

【0070】

フレームメモリ２０は、ラスタ順にデータを格納することができる。しかし、前述したように、本発明の実施形態は、データの入力が進行する方向と垂直な方向にデータを並列処理することができる。これにより、バッファ回路２１０は、データのアクセスが容易なフリップフロップ（ＦＦ）を含むことができる。本発明の実施形態ではバッファ回路２１０がフリップフロップを含むものを一例として説明したが、バッファ回路２１０の構成は、これに限定されず、ＳＲＡＭまたは他の揮発性メモリを含んでもよい。

【0071】

図１１は、図１のイメージ信号処理装置における読み取り動作時のデータ整列処理を説明するための図である。図１１は、バッファ２１２～２１４において、メモリインターフェース２３０を介してフレームメモリ２０からデータの入力を受けて整列する動作（Ｔ２）を説明するための図である。

【0072】

図１１の（Ａ）のように、読み取ろうとする目標データは、２×１２サイズのピクセル（並列ピクセル）を１クロックの周期として処理することに設定することができる。例えば、並列処理のためのデータ格納容量は、１０ビット×４８ピクセル×２４ライン×２面である場合に２３，０４０ビットに設定されることができる。

【0073】

図１１の（Ｂ）は、フレームメモリ２０の格納状態を示すことができる。例えば、横４８、縦１の大きさを有する１ラインのメモリ領域に１０ビット×８レーン×６サイクルである場合、４８０ビットを２４サイクルにわたって格納することができる。

【0074】

そして、図１１の（Ｃ）は、バッファ２１２～２１４がフレームメモリ２０に格納されたデータを整列することを示すことができる。一例として、バッファ２１２～２１４は、フレームメモリ２０から読み取られた４８ピクセルを２４ラインに分割し、分割されたデータを２４回読み取って格納することができる。

【0075】

図１１の（Ｄ）は、バッファ２１２～２１４において１クロックで並列処理を完了した結果を示すことができる。本発明の実施形態は、垂直並列処理を行うことができるため、１回の処理で２４クロックで得ることができるだけのデータを格納することができる。

【0076】

図１２は、図１のイメージ信号処理装置において読み取り動作時にデータを処理する動作を説明するための図である。図１２は、バッファ２１２～２１４においてデータを処理しマルチスケール処理部２２１～２２３に伝達する動作（Ｔ２）を説明するための図である。

【0077】

図１２は、９６ピクセル（４８ピクセル×２）および１２ラインの処理対象ピクセルサイズを有するパターンを示すことができる。イメージ信号処理装置２００は、７×７フィルタリング処理のために、上端および下端の一部ラインをミラーリングし、処理対象ピクセルだけでなく、周辺ピクセルを含ませた２４ラインのデータを読み取ることができる。

【0078】

複数ラインのデータを処理するために各ラインの左側のピクセルを含むデータを読み取ることができる。例えば、バッファ２１２～２１４は、フレームメモリ２０の１番目のラインアドレス（０ｘ０００００００）からデータを読み取り、次に２番目のラインのアドレス（０ｘ０００１４００）からデータを読み取る方式で、１２番目のラインまでデータを読み取ることができる。

【0079】

例えば、図１２の実施形態は、４Ｋ（３８４０×２１６０サイズのデータ）ベイヤー配列のイメージデータに対して７×７フィルタリング処理を行う場合に必要なバッファを示すことができる。図１２の実施形態によると、バッファ２１２～２１４で処理されマルチスケール処理部２２１～２２３に出力されるデータは２ピクセル×１２ラインであり得る。よって、マルチスケール処理部２２１～２２３は、２ピクセル×１２ラインのデータを同時に処理し、８レーンと比較して３倍の処理速度でデータを処理することができる。

【0080】

図１３は、書き込み動作時のデータ整列を説明するための図である。図１３は、バッファ２１２～２１４においてマルチスケール処理部２２１～２２３から印加された処理データをメモリインターフェース２３０を介してフレームメモリ２０に書き込む動作（Ｔ３）を説明するための図である。

【0081】

図１３の（Ａ）のように、バッファ２１１に入力された目標データは、２×１２サイズのピクセルを１クロックで処理してフレームメモリ２０に伝達されることができる。例えば、整列処理のためのデータ維持容量は、１０ビット×４８ピクセル×１２ライン×２面である場合に１１，５２０ビットに設定されることができる。

【0082】

そして、図１３の（Ｂ）は、フレームメモリ２０にデータを書き込むためにバッファ２１２～２１４に入力された垂直データを水平データに変換して整列処理することを示すことができる。一例として、バッファ回路２１０は、入力されたデータを１２ラインだけのデータで処理するために横２、縦１のデータに分割し、２４サイクルだけのデータを格納することができる。図１３の（Ｃ）は、フレームメモリ２０の格納状態を示すことができる。例えば、横４８、縦１の大きさを有する１ラインのメモリ領域に１０ビット×２ピクセル×２４サイクルである場合、４８０ビットを２４サイクルにわたって格納することができる。

【0083】

図１４は、図１のフレームメモリからの出力アクセス動作を説明するための図である。図１４は、バッファ２１５においてメモリインターフェース２３０を介してフレームメモリ２０から印加されるデータを入出力インターフェース３００に伝達する動作（Ｔ４）を説明するための図である。

【0084】

図１４の（Ａ）は、フレームメモリ２０におけるイメージデータの格納状態の例示を示すことができる。一例として、フレームメモリ２０に格納されるデータの幅が１６ビットであると仮定すると、１つのアクセス動作の場合、１６ビット×３２バーストにより５１２ビットが格納されることができる。例えば、５１２ビットのうち４８０ビットは、ピクセルのビット値（４８ピクセル）を示し、残りの３２ビットは、リザーブド（ｒｅｓｅｒｖｅｄ）として用いられることができる。

【0085】

バッファ２１５は、（Ｂ）のように、６クロック当たり１回の周期で８レーン（Ｌａｎｅ０～Ｌａｎｅ７）のデータを読み取ることができる。例えば、メモリインターフェース２３０が５１２ビット単位でフレームメモリ２０にアクセスする場合、バッファ２１５は、８レーンのデータを６クロックの周期として４８ピクセル（４８０ビット）のデータを読み取ることができる。（Ｃ）のように、バッファ２１５は、１０ビット×８レーン単位のイメージデータをフレームメモリ２０から順次読み取ることができる。

【0086】

本発明の実施形態において、データの読み取り、書き込み、およびアクセス動作時に用いられるデータの幅、ビット数、および大きさなどは、理解を助けるための一実施形態にすぎず、これに限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】