特開 2020-4002 局所特徴量算出回路および局所特徴量算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-4002(P2020-4002A)

(43)【公開日】2020年1月9日

(54)【発明の名称】局所特徴量算出回路および局所特徴量算出方法

(51)【国際特許分類】

   G06T 1/20 20060101AFI20191206BHJP

【ＦＩ】

   G06T1/20 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【全頁数】28

(21)【出願番号】特願2018-121868(P2018-121868)

(22)【出願日】2018年6月27日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100080159

【弁理士】

【氏名又は名称】渡辺 望稔

(74)【代理人】

【識別番号】100152984

【弁理士】

【氏名又は名称】伊東 秀明

(72)【発明者】

【氏名】渡辺 祥則

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057CH08

5B057CH14

5B057DB02

5B057DB09

(57)【要約】

【課題】回路規模、消費電力およびコストを低減し、かつ計算時間を短縮することができる局所特徴量算出回路および局所特徴量算出方法を提供する。
【解決手段】局所特徴量算出回路においては、ブロック単位特徴量算出回路が、ブロック画像の局所特徴量を算出し、バッファが、複数のブロック画像の局所特徴量を保持する。一時読み出しレジスタが、バッファから順次読み出される、補間処理で用いられる横方向のｍ個および縦方向のｎ個のブロック画像からなるｔ個のブロック画像のうちの縦方向のｎ個のブロック画像の局所特徴量を順次保持し、ブロックレジスタが、一時読み出しレジスタから同時に出力される、縦方向のｎ個のブロック画像の局所特徴量をｍ個のレジスタ群に順次シフトして保持する。補間回路が、ブロックレジスタから同時に出力される、ｔ個のブロック画像の局所特徴量の間を補間して画像のピクセルの局所特徴量を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を縦方向および横方向に分割した複数のブロック画像の各々について、前記ブロック画像の特徴量である局所特徴量を算出するブロック単位特徴量算出回路と、
前記複数のブロック画像の局所特徴量を保持するバッファと、
ｍおよびｎを２以上の整数とし、ｔを４以上の整数として、処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量の間の補間処理で用いられる、横方向のｍ個および縦方向のｎ個のブロック画像からなるｔ個のブロック画像のうちの前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタを有し、１ピクセル時間単位で、前記バッファから順次読み出される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｎ個のレジスタに順次保持する一時読み出しレジスタと、
前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタからなるレジスタ群を、前記横方向のｍ個のブロック画像に対応するｍ個有し、１ブロック時間毎に、前記一時読み出しレジスタから同時に出力される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｍ個のレジスタ群に順次シフトして保持するブロックレジスタと、
前記１ブロック時間毎に、前記ブロックレジスタから同時に出力される、前記補間処理で用いられるｔ個のブロック画像の局所特徴量の間を補間して前記画像のピクセルの局所特徴量を算出する補間回路と、を備える、局所特徴量算出回路。

【請求項2】

前記ブロック単位特徴量算出回路は、前記ブロック画像の局所特徴量として、前記ブロック画像の全てのピクセルのデータの平均値、中央値、最大値、最小値、最頻値または代表ピクセル値を算出する、請求項１に記載の局所特徴量算出回路。

【請求項3】

前記ブロック単位特徴量算出回路は、現フレームの画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の各々について、前記ブロック画像の局所特徴量を算出し、
さらに、１ブロックライン時間単位で、前記ブロック単位特徴量算出回路から出力される、前記現フレームの画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量を保持し、前記現フレームの画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量を保持してから、前記補間処理で用いられるｎ個のブロック画像として、前記バッファに書き込まれた１フレーム前の画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量の前記バッファからの読み出しが完了するまでの一定のブロックライン時間遅延させて出力する一時書き込みレジスタと、
前記一時書き込みレジスタから同時に出力される、前記ブロックラインに含まれる複数のブロック画像の局所特徴量を順次出力するマルチプレクサと、を備え、
前記マルチプレクサから順次出力されるブロック画像の局所特徴量が前記バッファに書き込まれる、請求項１または２に記載の局所特徴量算出回路。

【請求項4】

さらに、前記マルチプレクサから順次出力される、前記処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量を用いてフィルタリング処理を行うフィルタ回路を備え、
前記フィルタ回路から出力されるブロック画像の局所特徴量が前記バッファに書き込まれる、請求項３に記載の局所特徴量算出回路。

【請求項5】

前記現フレームの画像の最初のブロックラインから、最後のブロックラインの前記一定のブロックライン時間前までの前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、前記一定のブロックライン時間遅延されたブロックラインに含まれる最後のラインの後ろの水平ブランキング期間において、前記一定のブロックライン時間遅延されたブロックラインの次のブロックラインに含まれる左端のブロック画像に対応する、前記補間処理で用いられる複数のブロック画像の局所特徴量が前記バッファから読み出された後、前記バッファに書き込まれ、前記最後のブロックラインから前記一定のブロックライン時間前までの前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、前記一定のブロックライン時間遅延された垂直ブランキング期間において、前記バッファに書き込まれた後、次のフレームの画像の左上のブロック画像に対応する、前記補間処理で用いられる複数のブロック画像の局所特徴量が前記バッファから読み出される、請求項３または４に記載の局所特徴量算出回路。

【請求項6】

次の処理対象のピクセルを含むブロック画像が前記ブロックラインの左端のブロック画像である場合、前記ブロックラインに含まれるライン毎に、前記次の処理対象のピクセルを含むブロックラインの前の水平ブランキング期間において、前記左端のブロック画像を含む前記縦方向のｎ個のブロック画像の局所特徴量が前記バッファから順次読み出されて前記一時読み出しレジスタに順次保持され、前記一時読み出しレジスタから同時に出力される、前記左端のブロック画像を含む縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群の全てに書き込まれた後、前記左端のブロック画像の右側のブロック画像から、前記左端のブロック画像に対応する、前記補間処理で用いられる横方向のｍ個のブロック画像のうちの右端のブロック画像までのｉ個のブロック画像のうちのｊ番目（１≦ｊ≦ｉ）のブロック画像を含む縦方向のｎ個のブロック画像の局所特徴量が前記バッファから順次読み出されて前記一時読み出しレジスタに順次保持され、前記一時読み出しレジスタから同時に出力される、前記ｊ番目のブロック画像を含む縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群にシフトされることが、前記ｉ個のブロック画像のうちの１番目のブロック画像からｉ番目のブロック画像まで繰り返される、請求項３ないし５のいずれか一項に記載の局所特徴量算出回路。

【請求項7】

前記次の処理対象のピクセルを含むブロック画像が前記左端のブロック画像の右側のブロック画像から、前記ブロックラインの右端のブロック画像の（ｍ−１）／２個前までのブロック画像のいずれかである場合、前記ブロックラインに含まれるライン毎に、前記次の処理対象のピクセルを含むブロック画像の１つ前のブロック画像のタイミングにおいて、前記次の処理対象のピクセルを含むブロック画像に対応する前記ｍ個のブロック画像のうちの右端の縦方向のｎ個のブロック画像の局所特徴量が前記バッファから順次読み出されて前記一時読み出しレジスタに順次保持され、前記処理対象のピクセルが前記次の処理対象のピクセルを含むブロック画像に移動するタイミングで、前記一時読み出しレジスタから同時に出力される、前記ｍ個のブロック画像のうちの右端の縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群にシフトされる、請求項６に記載の局所特徴量算出回路。

【請求項8】

前記次の処理対象のピクセルを含むブロック画像が前記ブロックラインの右端のブロック画像から、前記ブロックラインの右端のブロック画像の（ｍ−１）／２個のブロック画像のいずれかである場合、前記ブロックラインに含まれるライン毎に、前記次の処理対象のピクセルを含むブロック画像の１つ前のブロック画像のタイミングにおいて、前記次の処理対象のピクセルを含むブロック画像に対応する前記ｍ個のブロック画像のうちの右端の縦方向のｎ個のブロック画像の局所特徴量が前記バッファから読み出されることなく、前記処理対象のピクセルが前記次の処理対象のピクセルを含むブロック画像に移動するタイミングで、前記一時読み出しレジスタから同時に出力される前記縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群にシフトされる、請求項６または７に記載の局所特徴量算出回路。

【請求項9】

さらに、前記ブロック画像の局所特徴量を前記バッファに書き込むためのライトアドレス、および、前記ブロック画像の局所特徴量を前記バッファから読み出すためのリードアドレスを生成するマイクロプロセッサを備える、請求項１ないし８のいずれか一項に記載の局所特徴量算出回路。

【請求項10】

前記補間回路は、前記ブロック画像における最大のブロックアドレスに基づいて、前記ブロック画像における処理対象のピクセルのブロックアドレスにより算出される重み付け係数と、隣接する前記ブロック画像の局所特徴量と、を演算することにより、前記ブロック画像における処理対象のピクセルの局所特徴量を算出する、請求項１ないし９のいずれか一項に記載の局所特徴量算出回路。

【請求項11】

ブロック単位特徴量算出回路が、画像を縦方向および横方向に分割した複数のブロック画像の各々について、前記ブロック画像の特徴量である局所特徴量を算出するステップと、
バッファが、前記複数のブロック画像の局所特徴量を保持するステップと、
ｍおよびｎを２以上の整数とし、ｔを４以上の整数として、処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量の間の補間処理で用いられる、横方向のｍ個および縦方向のｎ個のブロック画像からなるｔ個のブロック画像のうちの前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタを有する一時読み出しレジスタが、１ピクセル時間単位で、前記バッファから順次読み出される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｎ個のレジスタに順次保持するステップと、
前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタからなるレジスタ群を、前記横方向のｍ個のブロック画像に対応するｍ個有するブロックレジスタが、１ブロック時間毎に、前記一時読み出しレジスタから同時に出力される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｍ個のレジスタ群に順次シフトして保持するステップと、
補間回路が、前記１ブロック時間毎に、前記ブロックレジスタから同時に出力される、前記補間処理で用いられるｔ個のブロック画像の局所特徴量の間を補間して前記画像のピクセルの局所特徴量を算出するステップと、を含む、局所特徴量算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広いダイナミックレンジを持つＨＤＲ（High Dynamic Range）画像等の画像を分割した複数のブロック画像の各々について、ブロック画像の特徴量である局所特徴量を算出する局所特徴量算出回路および局所特徴量算出方法に関する。

【背景技術】

【0002】

ＣＲＴ（Cathode Ray Tube）を用いていた時代よりも広いダイナミックレンジを持つＨＤＲ画像を記録するために、ＨＤＲ１０およびＨＬＧ（Hybrid Log Gamma）などのフォーマットが提唱され、利用されている。ＨＤＲ１０では、表示されるべき画像の絶対的な輝度が記録される。ＨＬＧでは、ＳＤＲ（Standard Dynamic Range）画像と同様にディスプレイが表示可能な最大輝度を最大値とする相対的な値が記録されるが、その低輝度領域はＳＤＲ画像と同じであり、高輝度領域の変換関数（変換曲線）は指数関数になる。

【0003】

これに対して、ディスプレイの標準的なガンマ値γである２．２の二乗のガンマ曲線の逆変換曲線を用いてピクセルのデータを変換する従来の画像はＳＤＲ画像と呼ばれる。

【0004】

上記の広いダイナミックレンジを持つＨＤＲ画像を、狭いダイナミックレンジを持つディスプレイに表示するための変換を行う手法はトーンマッピングと呼ばれ、このトーンマッピングを行う回路がトーンマッピング回路である。しかし、ディスプレイの最大輝度、最小輝度などの性能は多様なため、その限られた輝度領域にＨＤＲ画像の全ての階調を再現することは不可能であり、明部または暗部の一部の階調は失われることになる。

【0005】

画像またはこれを分割したブロック画像毎に平均輝度または多数のピクセル輝度が属する階調領域（階調範囲）を算出し、その領域内に圧縮して表示することにより階調が潰れる領域を削減することができる。このような局所的な情報を用いた処理を行う場合、人間の視覚特性などの理由から、輝度値そのものではなくその対数値を用いて処理が行われている。ＨＤＲ１０で使われているＰＱ（Perceptual Quantization）カーブおよびＨＬＧの変換関数の高輝度領域はこのような特性を取り込み、対数関数に近い関数を用いて輝度信号が表現されている。

【0006】

例えば、画像の情報によらず、ｙ＝［０，１］の範囲内にトーンマッピングを行う場合の変換関数としては、単純なものとして、ｙ＝ｘ／（１＋ｘ）の変換関数および区分線形関数などがある。

【0007】

また、局所的な情報を取り入れた変換関数としては、非特許文献１に記載されているように、入力画像Ｌ（ｘ，ｙ）に対して下記式（１）に示すローパスフィルタＲｉ(ｘ，ｙ，ｓ)（ｓはフィルタの大きさを表す係数）をかけて下記式（２）に示す画像Ｖｉ(ｘ，ｙ，ｓ)を算出し、画像Ｖｉ(ｘ，ｙ，ｓ)に対して下記式（３）に示す関係となる関数などが知られている。

【0008】

【数1】

【0009】

また、非特許文献２では、対数空間における勾配を計算し、それを圧縮することによりトーンマッピングが行われている。

【0010】

非特許文献３では、複数のスケールの画像を作成し、それぞれのスケールの画像にＳ字型の非線形変換を施した後に合成する方法が提唱されている。

【0011】

非特許文献４では、それぞれのスケールの画像に対して並列に処理を行うことで高速化を達成する方法も提案されている。

【0012】

また、特許文献１では、対数入力画像に対して少なくとも２つの異なるスケールレシオ画像を生成し、それを対数入力画像に加えることによりトーンマッピングが行われている。

【0013】

特許文献２では、まずＨＤＲ画像における対数ルミナンスピクセル値のヒストグラムから対数グローバルトーンマッピングされたルミナンス画像を計算し、そこから局所的な対数レシオ画像を計算し、それに基づいてダウンスケーリングされた第２対数トーンマッピング画像および第２レシオ画像を生成する処理を繰り返して画像の符号化を行い、ＪＰＥＧ−ＨＤＲ画像が作成されている。

【0014】

特許文献３では、送信部が伝送ビデオデータを補助情報（レベルマッピング・カーブ情報および／または電光変換特性情報）と共に送信し、受信部が伝送ビデオデータを受信し、処理部が伝送ビデオデータのレベルを補助情報に基づいて変換している。また、図１５、１８および１９には、受信画像にＨＤＲ逆変換を施した後に電光変換関数（ＥＯＴＦ：Electro-Optical Transfer Function）を用いてレベルマッピングが行われている。

【0015】

特許文献４では、局所的処理部が、入力信号が示すピクセル値をバッファに記憶し、補正対象ピクセルおよびその周囲の参照ピクセルのピクセル値をバッファから順次読み出してレジスタに記憶し、補正対象ピクセルおよび参照ピクセルのピクセル値をレジスタからパラレルに出力して、補正対象ピクセルのピクセル値を参照ピクセルのピクセル値に基づいて補正した補正値を求め、大域的処理部が、１フレーム前の１フレーム分の補正値と補正対象ピクセルの補正値とにより更なる補正値を求めることにより、画像の全体的な補正処理が行われている。

【先行技術文献】

【特許文献】

【0016】

【特許文献1】特開２０１５−２１２９７８号公報

【特許文献2】特表２０１５−５０８５８９号公報

【特許文献3】国際公開第２０１５／１１１４６７号

【特許文献4】特開２０１７−１７４１９５号

【非特許文献】

【0017】

【非特許文献1】Erik Reinhard、外３名、" Photographic tone reproduction for digital images"、[online]、2002-07-01、ACM New York, NY, USA、"ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2002"、Volume 21 Issue 3, July 2002、［平成３０年２月２６日検索］、インターネット<URL:https://dl.acm.org/citation.cfm?id=566575>

【非特許文献2】Raanan Fattal、外２名、"Gradient Domain High Dynamic Range Compression"、[online]、"School of Computer Science and Engineering"、"The Hebrew University of Jerusalem"、［平成３０年２月２６日検索］、インターネット<URL: http://www.cs.huji.ac.il/~danix/hdr/>

【非特許文献3】Sylvain Paris、外２名、"Local Laplacian Filters: Edge-aware Image Processing with a Laplacian Pyramid"、[online]、March 2015、"ACM Transactions on Graphics (Proceedings of SIGGRAPH 2011)"、"Communications of the ACM"、Vol. 58, No. 3、インターネット<URL:https://people.csail.mit.edu/sparis/publi/2011/siggraph/>

【非特許文献4】Mathieu Aubry、外４名、"Fast Local Laplacian Filters: Theory and Applications "、[online]、2014、"ACM Transactions on Graphics"、［平成３０年２月２６日検索］、インターネット<URL: http://www.di.ens.fr/~aubry/llf.html>

【発明の概要】

【発明が解決しようとする課題】

【0018】

画像またはブロック画像の情報によらない一様な変換関数を用いる場合、明部では白つぶれ、暗部では黒潰れが起きる。そのため画面またはブロック画像の輝度分布に応じて、多数のピクセルが属する階調の領域に多くのビットを割り振るマッピングが提唱され、実施されているが、出力画像の連続性と、回路規模、計算時間および消費電力の観点での計算コストとの両立は簡単ではなかった。特に、モバイルディスプレイへの組み込み用途などでは計算結果の厳密さよりも計算負荷の軽さが求められている。

【0019】

また、１フレーム内で処理が完結しない場合、処理対象の画像をフレームメモリに格納する必要があり、回路規模、消費電力およびコストが増大する。

【0020】

本発明の目的は、回路規模、消費電力およびコストを低減し、かつ計算時間を短縮することができる局所特徴量算出回路および局所特徴量算出方法を提供することにある。

【課題を解決するための手段】

【0021】

上記目的を達成するために、本発明は、画像を縦方向および横方向に分割した複数のブロック画像の各々について、前記ブロック画像の特徴量である局所特徴量を算出するブロック単位特徴量算出回路と、
前記複数のブロック画像の局所特徴量を保持するバッファと、
ｍおよびｎを２以上の整数とし、ｔを４以上の整数として、処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量の間の補間処理で用いられる、横方向のｍ個および縦方向のｎ個のブロック画像からなるｔ個のブロック画像のうちの前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタを有し、１ピクセル時間単位で、前記バッファから順次読み出される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｎ個のレジスタに順次保持する一時読み出しレジスタと、
前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタからなるレジスタ群を、前記横方向のｍ個のブロック画像に対応するｍ個有し、１ブロック時間毎に、前記一時読み出しレジスタから同時に出力される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｍ個のレジスタ群に順次シフトして保持するブロックレジスタと、
前記１ブロック時間毎に、前記ブロックレジスタから同時に出力される、前記補間処理で用いられるｔ個のブロック画像の局所特徴量の間を補間して前記画像のピクセルの局所特徴量を算出する補間回路と、を備える、局所特徴量算出回路を提供する。

【0022】

ここで、前記ブロック単位特徴量算出回路は、前記ブロック画像の局所特徴量として、前記ブロック画像の全てのピクセルのデータの平均値、中央値、最大値、最小値、最頻値または代表ピクセル値を算出することが好ましい。

【0023】

また、前記ブロック単位特徴量算出回路は、現フレームの画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の各々について、前記ブロック画像の局所特徴量を算出し、
さらに、１ブロックライン時間単位で、前記ブロック単位特徴量算出回路から出力される、前記現フレームの画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量を保持し、前記現フレームの画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量を保持してから、前記補間処理で用いられるｎ個のブロック画像として、前記バッファに書き込まれた１フレーム前の画像における前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量の前記バッファからの読み出しが完了するまでの一定のブロックライン時間遅延させて出力する一時書き込みレジスタと、
前記一時書き込みレジスタから同時に出力される、前記ブロックラインに含まれる複数のブロック画像の局所特徴量を順次出力するマルチプレクサと、を備え、
前記マルチプレクサから順次出力されるブロック画像の局所特徴量が前記バッファに書き込まれることが好ましい。

【0024】

さらに、前記マルチプレクサから順次出力される、前記処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量を用いてフィルタリング処理を行うフィルタ回路を備え、
前記フィルタ回路から出力されるブロック画像の局所特徴量が前記バッファに書き込まれることが好ましい。

【0025】

また、前記現フレームの画像の最初のブロックラインから、最後のブロックラインの前記一定のブロックライン時間前までの前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、前記一定のブロックライン時間遅延されたブロックラインに含まれる最後のラインの後ろの水平ブランキング期間において、前記一定のブロックライン時間遅延されたブロックラインの次のブロックラインに含まれる左端のブロック画像に対応する、前記補間処理で用いられる複数のブロック画像の局所特徴量が前記バッファから読み出された後、前記バッファに書き込まれ、前記最後のブロックラインから前記一定のブロックライン時間前までの前記処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、前記一定のブロックライン時間遅延された垂直ブランキング期間において、前記バッファに書き込まれた後、次のフレームの画像の左上のブロック画像に対応する、前記補間処理で用いられる複数のブロック画像の局所特徴量が前記バッファから読み出されることが好ましい。

【0026】

また、次の処理対象のピクセルを含むブロック画像が前記ブロックラインの左端のブロック画像である場合、前記ブロックラインに含まれるライン毎に、前記次の処理対象のピクセルを含むブロックラインの前の水平ブランキング期間において、前記左端のブロック画像を含む前記縦方向のｎ個のブロック画像の局所特徴量が前記バッファから順次読み出されて前記一時読み出しレジスタに順次保持され、前記一時読み出しレジスタから同時に出力される、前記左端のブロック画像を含む縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群の全てに書き込まれた後、前記左端のブロック画像の右側のブロック画像から、前記左端のブロック画像に対応する、前記補間処理で用いられる横方向のｍ個のブロック画像のうちの右端のブロック画像までのｉ個のブロック画像のうちのｊ番目（１≦ｊ≦ｉ）のブロック画像を含む縦方向のｎ個のブロック画像の局所特徴量が前記バッファから順次読み出されて前記一時読み出しレジスタに順次保持され、前記一時読み出しレジスタから同時に出力される、前記ｊ番目のブロック画像を含む縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群にシフトされることが、前記ｉ個のブロック画像のうちの１番目のブロック画像からｉ番目のブロック画像まで繰り返されることが好ましい。

【0027】

また、前記次の処理対象のピクセルを含むブロック画像が前記左端のブロック画像の右側のブロック画像から、前記ブロックラインの右端のブロック画像の（ｍ−１）／２個前までのブロック画像のいずれかである場合、前記ブロックラインに含まれるライン毎に、前記次の処理対象のピクセルを含むブロック画像の１つ前のブロック画像のタイミングにおいて、前記次の処理対象のピクセルを含むブロック画像に対応する前記ｍ個のブロック画像のうちの右端の縦方向のｎ個のブロック画像の局所特徴量が前記バッファから順次読み出されて前記一時読み出しレジスタに順次保持され、前記処理対象のピクセルが前記次の処理対象のピクセルを含むブロック画像に移動するタイミングで、前記一時読み出しレジスタから同時に出力される、前記ｍ個のブロック画像のうちの右端の縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群にシフトされることが好ましい。

【0028】

また、前記次の処理対象のピクセルを含むブロック画像が前記ブロックラインの右端のブロック画像から、前記ブロックラインの右端のブロック画像の（ｍ−１）／２個のブロック画像のいずれかである場合、前記ブロックラインに含まれるライン毎に、前記次の処理対象のピクセルを含むブロック画像の１つ前のブロック画像のタイミングにおいて、前記次の処理対象のピクセルを含むブロック画像に対応する前記ｍ個のブロック画像のうちの右端の縦方向のｎ個のブロック画像の局所特徴量が前記バッファから読み出されることなく、前記処理対象のピクセルが前記次の処理対象のピクセルを含むブロック画像に移動するタイミングで、前記一時読み出しレジスタから同時に出力される前記縦方向のｎ個のブロック画像の局所特徴量が前記ブロックレジスタのｍ個のレジスタ群にシフトされることが好ましい。

【0029】

さらに、前記ブロック画像の局所特徴量を前記バッファに書き込むためのライトアドレス、および、前記ブロック画像の局所特徴量を前記バッファから読み出すためのリードアドレスを生成するマイクロプロセッサを備えることが好ましい。

【0030】

また、前記補間回路は、前記ブロック画像における最大のブロックアドレスに基づいて、前記ブロック画像における処理対象のピクセルのブロックアドレスにより算出される重み付け係数と、隣接する前記ブロック画像の局所特徴量と、を演算することにより、前記ブロック画像における処理対象のピクセルの局所特徴量を算出することが好ましい。

【0031】

また、本発明は、ブロック単位特徴量算出回路が、画像を縦方向および横方向に分割した複数のブロック画像の各々について、前記ブロック画像の特徴量である局所特徴量を算出するステップと、
バッファが、前記複数のブロック画像の局所特徴量を保持するステップと、
ｍおよびｎを２以上の整数とし、ｔを４以上の整数として、処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量の間の補間処理で用いられる、横方向のｍ個および縦方向のｎ個のブロック画像からなるｔ個のブロック画像のうちの前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタを有する一時読み出しレジスタが、１ピクセル時間単位で、前記バッファから順次読み出される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｎ個のレジスタに順次保持するステップと、
前記縦方向のｎ個のブロック画像に対応するｎ個のレジスタからなるレジスタ群を、前記横方向のｍ個のブロック画像に対応するｍ個有するブロックレジスタが、１ブロック時間毎に、前記一時読み出しレジスタから同時に出力される、前記縦方向のｎ個のブロック画像の局所特徴量を前記ｍ個のレジスタ群に順次シフトして保持するステップと、
補間回路が、前記１ブロック時間毎に、前記ブロックレジスタから同時に出力される、前記補間処理で用いられるｔ個のブロック画像の局所特徴量の間を補間して前記画像のピクセルの局所特徴量を算出するステップと、を含む、局所特徴量算出方法を提供する。

【発明の効果】

【0032】

本発明によれば、画像における複数のブロック画像の局所特徴量をバッファに保持するため、局所特徴量を保持するために必要なメモリ容量を大幅に削減することができる。従って、回路規模を大幅に削減し、消費電力およびコストを大幅に低減することができる。

【0033】

また、補間処理で用いられる縦方向のｎ個のブロック画像の局所特徴量をブロックレジスタのｍ個のレジスタ群に順次シフトし、ｔ個のブロック画像の局所特徴量をブロックレジスタから同時に出力することにより、隣り合う２つのブロック画像において、（ｍ−１）個のレジスタ群に保持される局所特徴量を共通に使用して、バッファからブロック画像の局所特徴量を読み出す回数を大幅に減らし、かつ計算時間を大幅に短縮することができる。

【図面の簡単な説明】

【0034】

【図1】本発明に係る局所特徴量算出回路の構成を表す一実施形態のブロック図である。

【図2】ＨＤＲ画像を表す一実施形態の概念図である。

【図3】ブロック画像を表す一実施形態の概念図である。

【図4】図１に示すブロック単位特徴量算出回路および一時書き込みレジスタの構成を表す一実施形態のブロック図である。

【図5】図１に示す一時読み出しレジスタおよびブロックレジスタの構成を表す一実施形態のブロック図である。

【図6】１ブロックラインに含まれる複数のブロック画像の局所特徴量をバッファに書き込むタイミングを表す一実施形態の概念図である。

【図7】補間処理で用いられるブロック画像の局所特徴量をバッファから読み出すタイミングを表す一実施形態の概念図である。

【図8】ブロック画像の局所特徴量をバッファに書き込むタイミングと、ブロック画像の局所特徴量をバッファから読み出すタイミングとの関係を表す一実施形態の概念図である。

【図9】ブロック画像を４分割した第Ｉ〜IV象限を表す一実施形態の概念図である。

【図10】処理対象のピクセルを含むブロック画像および補間処理で用いられるブロック画像を表す一実施形態の概念図である。

【図11】本発明に係る局所特徴量算出回路の構成を表す別の実施形態のブロック図である。

【発明を実施するための形態】

【0035】

以下に、添付の図面に示す好適実施形態に基づいて、本発明の局所特徴量算出回路および局所特徴量算出方法を詳細に説明する。

【0036】

図１は、本発明に係る局所特徴量算出回路の構成を表す一実施形態のブロック図である。図１に示す局所特徴量算出回路１０は、ＨＤＲ画像を縦方向にＮ個（Ｎは２以上の整数）、および横方向にＭ個（Ｍは２以上の整数）に分割した複数のブロック画像の各々について、ブロック画像の特徴量である局所特徴量を算出する。また、局所特徴量算出回路１０は、ブロック画像に含まれる各々のピクセルの特徴量であるピクセルの局所特徴量を算出する。

【0037】

局所特徴量算出回路１０は、画像アドレス生成回路１２と、ブロックアドレス生成回路１４と、水平ブランキングカウント回路１６と、垂直ブランキングカウント回路１８と、マルチプレクサ２０と、周期カウンタ２２と、ライトアドレス生成回路２４と、リードアドレス生成回路２６と、ブロック単位特徴量算出回路２８と、一時書き込みレジスタ３０と、マルチプレクサ３２と、フィルタ回路３４と、バッファ３６と、一時読み出しレジスタ３８と、ブロックレジスタ４０と、補間回路４２と、を備えている。

【0038】

局所特徴量算出回路１０において、画像アドレス生成回路１２には、画像同期信号として、外部から、ＨＤＲ画像のピクセルのデータが入力される表示期間を表すデータイネーブル信号DE、および、垂直ブランキング期間の開始タイミングを表す垂直同期信号VSYNCが入力される。
画像アドレス生成回路１２は、データイネーブル信号DEおよび垂直同期信号VSYNCに基づいて、１ピクセル時間毎に、現フレームのＨＤＲ画像における処理対象のピクセルの横方向（水平方向）および縦方向（垂直方向）のアドレス（座標）ｘ，ｙを生成する。
なお、１ピクセル時間は、ピクセルクロックP_Clock（図２参照）の１周期に相当する時間である。

【0039】

本実施形態の場合、画像アドレス生成回路１２は、データイネーブル信号DEおよび垂直同期信号VSYNCに基づいて、ＨＤＲ画像の表示期間（有効領域）、水平ブランキング期間および垂直ブランキング期間（無効領域）を検出する。また、表示期間において、水平方向のピクセル数をピクセルクロックP_Clockでカウントし、かつ、垂直方向のライン数をカウントすることにより、ＨＤＲ画像の横方向および縦方向のピクセルのアドレスｘ，ｙを生成する。

【0040】

続いて、ブロックアドレス生成回路１４には、１ピクセル時間毎に、画像アドレス生成回路１２からＨＤＲ画像のピクセルのアドレスｘ，ｙが入力され、外部からブロック画像の横方向のピクセル数（幅）block_widthおよび縦方向のピクセル数（高さ）block_heightを表すサイズ情報が入力される。
ブロックアドレス生成回路１４は、ＨＤＲ画像のピクセルのアドレスｘ，ｙおよび、上記のブロック画像のサイズ情報に基づいて、図２に示すように、１ブロック時間毎に、現フレームのＨＤＲ画像における処理対象のピクセルの位置を含むブロック画像の横方向および縦方向の位置を表すインデックスｑｘ，ｑｙ、および、図３に示すように、１ピクセル時間毎に、現フレームのＨＤＲ画像のブロック画像内における処理対象のピクセルのアドレスを表すブロックアドレスｒｘ，ｒｙを生成する。
なお、１ブロック時間は、１ブロック画像の横方向のピクセル数block_width×ピクセルクロックP_Clockの１周期に相当する時間である。

【0041】

本実施形態の場合、ブロックアドレス生成回路１４は、ＨＤＲ画像のピクセルのアドレスｘ，ｙを、それぞれ、ブロック画像の横方向のピクセル数、すなわちblock_width、および縦方向のピクセル数、すなわちblock_heightで除算し、その除算結果の商をブロック画像の横方向および縦方向のインデックスｑｘ，ｑｙとし、余りを横方向および縦方向のブロックアドレスｒｘ，ｒｙとすることにより、ブロック画像のインデックスｑｘ，ｑｙおよびブロックアドレスｒｘ，ｒｙを生成する。

【0042】

図２において、ＨＤＲ画像における左上のブロック画像のインデックスｑｘ，ｑｙ＝０，０であり、右下のブロック画像のインデックスｑｘ，ｑｙ＝Ｍ−１，Ｎ−１である。つまり、Ｍ，Ｎは、ＨＤＲ画像におけるブロック画像の横方向および縦方向の数を表す。また、図３において、ブロック画像における左上のピクセルのブロックアドレスｒｘ，ｒｙ＝０，０であり、右下のピクセルのブロックアドレスｒｘ，ｒｙ＝ｗｘ，ｗｙである。つまり、ｗｘ=block_width-1，ｗｙ=block_height-1を表す。

【0043】

続いて、水平ブランキングカウント回路１６および垂直ブランキングカウント回路１８には、外部からデータイネーブル信号DEおよび垂直同期信号VSYNCが入力される。
水平ブランキングカウント回路１６は、データイネーブル信号DEに基づいて、１ピクセル時間毎に、水平ブランキング期間において水平ブランキングカウント値hblank_countをカウントする。また、垂直ブランキングカウント回路１８は、垂直同期信号VSYNCに基づいて、１ピクセル時間毎に、垂直ブランキング期間において垂直ブランキングカウント値vblank_countをカウントする。

【0044】

本実施形態の場合、水平ブランキングカウント回路１６は、データイネーブル信号DEに基づいて水平ブランキング期間の開始タイミングを検出し、図２に示すように、水平ブランキング期間の開始タイミングからピクセルクロックP_Clockをカウントした水平ブランキングカウント値hblank_countを出力する。また、垂直ブランキングカウント回路１８は、垂直同期信号VSYNCに基づいて垂直ブランキング期間の開始タイミングを検出し、垂直ブランキング期間の開始タイミングからピクセルクロックP_Clockをカウントした垂直ブランキングカウント値vblank_countを出力する。

【0045】

続いて、マルチプレクサ２０には、水平ブランキングカウント回路１６から水平ブランキングカウント値hblank_countが入力され、垂直ブランキングカウント回路１８から垂直ブランキングカウント値vblank_countが入力される。また、マルチプレクサ２０には、外部から垂直同期信号VSYNCが入力される。
マルチプレクサ２０は、垂直同期信号VSYNCに基づいて、水平ブランキングカウント値hblank_countと垂直ブランキングカウント値vblank_countとを切り替え、ブランキングカウント値blank_countとして出力する。

【0046】

本実施形態の場合、マルチプレクサ２０は、垂直同期信号VSYNCに基づいて垂直ブランキング期間なのか否かを検出し、垂直ブランキング期間において、ブランキングカウント値blank_countとして垂直ブランキングカウント値vblank_countを出力する。また、垂直ブランキング期間ではない場合、水平ブランキング期間において、ブランキングカウント値blank_countとして水平ブランキングカウント値hblank_countを出力する。

【0047】

続いて、周期カウンタ２２には、マルチプレクサ２０からブランキングカウント値blank_countが入力される。また、周期カウンタ２２には、外部から、ブロック画像のサイズ情報および補間処理で用いられる縦方向のブロック画像の数の情報が入力される。
周期カウンタ２２は、ブランキングカウント値blank_count、ブロック画像のサイズ情報、および、補間処理で用いられる縦方向のブロック画像の数の情報に応じて、１ピクセル時間毎に、ブランキング期間において周期的に変化する周期カウント値ｐｒｘを出力する。

【0048】

本実施形態の場合、補間処理において、縦方向の３個（ｎ＝３）および横方向の３個（ｍ＝３）からなる９個のブロック画像の局所特徴量が用いられる場合で説明する。周期カウンタ２２は、水平ブランキング期間の開始のタイミングでリセットされて０となり、その後、水平ブランキング期間において、周期カウント値ｐｒｘとして、水平ブランキングカウント値hblank_countを、ブロック画像の縦方向の数のｎ＝３で除算した余りの値０，１，２を繰り返し出力する。

【0049】

また、周期カウンタ２２は、垂直ブランキング期間の開始のタイミングでリセットされて０となり、その後、垂直ブランキング期間において、周期カウント値ｐｒｘとして、（垂直ブランキングカウント値vblank_count−１ブロックラインに含まれるブロック画像の数）を、ブロック画像の縦方向の数のｎ＝３で除算した余りの値０，１，２を繰り返し出力する。なお、周期カウント値ｐｒｘは、垂直ブランキングカウント値vblank_countが１ブロックラインに含まれるブロック画像の数以上の値となるまでは負数になるが、その期間、周期カウント値ｐｒｘは使用されない。

【0050】

続いて、ライトアドレス生成回路２４には、水平ブランキングカウント回路１６から水平ブランキングカウント値hblank_countが入力され、垂直ブランキングカウント回路１８から垂直ブランキングカウント値vblank_countが入力され、ブロックアドレス生成回路１４からブロック画像の縦方向のインデックスｑｙが入力される。
ライトアドレス生成回路２４は、水平ブランキングカウント値hblank_count、垂直ブランキングカウント値vblank_count、ブロック画像の縦方向のインデックスｑｙに基づいて、ブロック画像の局所特徴量をバッファ３６に書き込むためのライトアドレスwaddrを生成する。

【0051】

続いて、リードアドレス生成回路２６には、水平ブランキングカウント回路１６から水平ブランキングカウント値hblank_countが入力され、垂直ブランキングカウント回路１８から垂直ブランキングカウント値vblank_countが入力される。
リードアドレス生成回路２６は、水平ブランキングカウント値hblank_countおよび垂直ブランキングカウント値vblank_countに基づいて、ブロック画像の局所特徴量をバッファ３６から読み出すためのリードアドレスraddrを生成する。

【0052】

上記ＨＤＲ画像のピクセルのアドレスｘ，ｙ、ブロック画像のインデックスｑｘ，ｑｙおよびブロックアドレスｒｘ，ｒｙ、水平ブランキングカウント値hblank_countおよび垂直ブランキングカウント値vblank_count、周期カウント値ｐｒｘ、ならびに、ライトアドレスwaddrおよびリードアドレスraddr等は、ピクセルクロックP_Clockに同期して生成される。

【0053】

続いて、ブロック単位特徴量算出回路２８には、１ピクセル時間毎に、外部からＨＤＲ画像のピクセルのデータが入力される。また、ブロック単位特徴量算出回路２８には、外部からブロック画像のサイズ情報が入力される。
ブロック単位特徴量算出回路２８は、ＨＤＲ画像を縦方向および横方向に分割した複数のブロック画像の各々について、ブロック画像の全てのピクセルのデータおよびブロック画像のサイズ情報に基づいて、ブロック画像の特徴量である局所特徴量を算出する。

【0054】

ブロック単位特徴量算出回路２８には、ＨＤＲ画像のピクセルのデータとして、ＨＤＲ画像の１ライン目の左端から有効領域の右端までのピクセルのデータが順次入力される。以後同様にして、２ライン目から有効領域の最終ラインまでの各々のラインについて、左端から右端までのピクセルのデータが順次入力される。

【0055】

ブロック単位特徴量算出回路２８は、ブロック画像の局所特徴量として、１ブロックライン時間毎に、ブロック画像の全てのピクセルのデータの平均値、中央値、最大値、最小値、最頻値または代表ピクセル値等を算出する。代表ピクセル値は、ブロック画像の全てのピクセルのうちの左上のピクセル、中央のピクセルというように、ブロック画像において、あらかじめ決められた位置（アドレス）のピクセルのデータである。
なお、１ブロックライン時間は、１ブロックラインの横方向のピクセル数×１ブロックラインの縦方向のピクセル数×ピクセルクロックP_Clockの１周期に相当する時間である。

【0056】

本実施形態の場合、ＨＤＲ画像は縦方向のＮ＝１００個および横方向のＭ＝１００個からなる１００００個のブロック画像に分割される。ブロック単位特徴量算出回路２８は、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインに含まれるＭ＝１００個のブロック画像の各々について、ブロック画像の局所特徴量として、ブロック画像の全てのピクセルのデータの平均値を算出する。

【0057】

図４は、図１に示すブロック単位特徴量算出回路および一時書き込みレジスタの構成を表す一実施形態のブロック図である。図４に示すブロック単位特徴量算出回路２８は、１ブロックラインに含まれる複数（Ｍ＝１００個）のブロック画像の数に一致する複数（Ｍ＝１００個）の累積加算器４４および平均値算出回路４６を備えている。図４において、最上部から最下部までの複数の累積加算器は、１ブロックラインの左端から右端までの複数のブロック画像に対応する。

【0058】

累積加算器４４は、加算器４８と、レジスタ５０と、を備えている。加算器４８には、ＨＤＲ画像のピクセルのデータおよびレジスタ５０の出力が入力され、レジスタ５０には、加算器４８の出力が入力される。
累積加算器４４は、１ピクセル時間毎に、加算器４８によりブロック画像に属するピクセルのデータとレジスタ５０の出力とを加算し、その加算値をレジスタ５０に保持することを繰り返すことにより、ブロック画像の全てのピクセルのデータを累積加算する。

【0059】

平均値算出回路４６には、累積加算器４４から累積加算値が入力され、外部からブロック画像のサイズ情報が入力される。
平均値算出回路４６は、ブロック画像のサイズ情報に基づいて、累積加算値を、ブロック画像の全ピクセル数で除算することにより、ブロック画像の全てのピクセルのデータの平均値を算出する。平均値算出回路４６は、例えばブロック画像の全ピクセル数が２ｐ（ｐは１以上の整数）である場合、累積加算値を下位ビット方向にｐビットシフトすることにより容易に除算することができる。

【0060】

続いて、一時書き込みレジスタ３０には、１ブロックライン時間単位で、ブロック単位特徴量算出回路２８から１ブロックラインに含まれる複数のブロック画像、すなわちＭ＝１００の局所特徴量が入力される。
一時書き込みレジスタ３０は、１ブロックライン時間単位で、ブロック単位特徴量算出回路２８から同時に出力される、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量を保持し、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量を保持してから、補間処理で用いられるｎ個のブロック画像として、バッファ３６に書き込まれた１フレーム前のＨＤＲ画像における処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量のバッファ３６からの読み出しが完了するまでの一定のブロックライン時間遅延させて出力する。

【0061】

本実施形態の場合、一時書き込みレジスタ３０は、図４に示すように、１ブロックラインに含まれるＭ＝１００個のブロック画像の数に一致する１００個のレジスタ５２を有する第１および第２のレジスタ群５４、５６を備えている。これは、本実施形態の場合、補間処理に使用する縦方向のブロック画像数ｎ＝３であるため、ｎ−１＝２のレジスタ群を備えていることを意味する。第１のレジスタ群５４には、ブロック単位特徴量算出回路２８から同時に出力される、ブロックラインに含まれる複数（Ｍ＝１００個）のブロック画像の局所特徴量が入力される。第１のレジスタ群５４の出力は、第２のレジスタ群５６に入力される。
処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、一時書き込みレジスタ３０により２ブロックライン時間遅延される。このため、後述するように、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロック画像の補間処理で使用するバッファ３６のデータは、その補間処理が終了するまで上書きされることがない。

【0062】

続いて、マルチプレクサ３２には、一時書き込みレジスタ３０から１ブロックラインに含まれる複数のブロック画像Ｍ＝１００の局所特徴量が入力される。
マルチプレクサ３２は、一時書き込みレジスタ３０から同時に出力される、ブロックラインに含まれる複数のブロック画像の局所特徴量を順次出力する。

【0063】

本実施形態の場合、マルチプレクサ３２は、水平ブランキング期間および垂直ブランキング期間において、ブランキングカウント値blank_countに応じて、ブロックラインの左端から有効領域の右端までのブロック画像の局所特徴量を順次出力する。

【0064】

続いて、フィルタ回路３４には、マルチプレクサ３２からブロック画像の局所特徴量が入力される。
フィルタ回路３４は、マルチプレクサ３２から順次出力される、処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量を用いてフィルタリング処理を行う。

【0065】

補間処理によりピクセルの局所特徴量は滑らかに変化するが、隣り合うブロック画像の局所特徴量が急激に変化する場合がある。フィルタ回路３４は、隣り合う複数のブロック画像の局所特徴量の変化を滑らかにするローパスフィルタの役割を果たし、フィルタリング処理として、例えば処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量を重み付けして加算平均等を算出する。

【0066】

なお、フィルタ回路３４は、補間処理で用いられるブロック画像の局所特徴量の数よりも多い数のブロック画像の局所特徴量を用いてフィルタリング処理を行うことが好ましい。また、フィルタ回路３４は必須の構成要素ではない。フィルタ回路３４を備えていない場合、マルチプレクサ３２から順次出力されるブロック画像の局所特徴量がバッファ３６に順次書き込まれる。

【0067】

続いて、バッファ３６には、１ピクセル時間単位で、フィルタ回路３４からブロック画像の局所特徴量が入力される。また、バッファ３６には、ライトアドレス生成回路２４からライトアドレスwaddrが入力され、リードアドレス生成回路２６からリードアドレスraddrが入力され、外部からライトイネーブル信号wenおよびリードイネーブル信号renが入力される。
バッファ３６は、１ピクセル時間単位で、フィルタ回路３４から出力される、現フレームのＨＤＲ画像の複数のブロック画像の局所特徴量を、ライトイネーブル信号wenに同期して、ライトアドレスwaddrにより指定されるアドレスに保持する（書き込む）。また、バッファ３６は、１フレーム前のＨＤＲ画像のブロック画像の局所特徴量を、リードイネーブル信号renに同期して、リードアドレスraddrにより指定されるアドレスから出力する（読み出す）。詳細の動作については、後述する。

【0068】

本実施形態の場合、処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、図６に示すように、そのブロックラインに含まれる最後のラインの後ろの水平ブランキング期間において、読出し動作の完了後に、バッファ３６に書き込まれる。

【0069】

ブロック画像の横方向および縦方向のピクセルサイズ＊ブロック画像の横方向および縦方向の数がＨＤＲ画像の横方向および縦方向のピクセル数と等しくない場合、つまり、ブロック画像のピクセルサイズに満たないブロック画像がＨＤＲ画像の右端または下端に存在する場合、ブロック画像のピクセルサイズに満たないブロック画像の局所特徴量として、その左側または上側のブロック画像の局所特徴量が使用されてもよい。そのため、１フレームの最後では、水平ブランキング期間において、一時書き込みレジスタ３０から出力される、ブロックラインに含まれる複数のブロック画像の局所特徴量のバッファ３６への書き込みをせず、フレームの垂直有効信号が入力される場合には、それが無効になった場合に、あるいは垂直同期信号VSYNCのみが入力される場合には、それが有効になった場合に、つまり、垂直ブランキング期間において、垂直ブランキングカウント値vblank_countのカウントを開始するのと同時にバッファ３６への書き込みを開始するのでもよい。

【0070】

一方、補間処理で用いられるブロック画像の、１フレーム前の局所特徴量は、補間処理において複数のブロック画像の局所特徴量が同時に使用されることを考慮して、さらにはアドレス計算に必要な時間およびバッファ３６からのデータの読み出しのレイテンシ等を考慮して、処理対象のピクセルを含むブロック画像に対応する、補間処理で用いられる複数のブロック画像の局所特徴量が実際に使用される前に、バッファ３６から先読みされる。

【0071】

図７に示すように、補間処理で使用するブロックサイズが、ｍ＝３、ｎ＝３の場合、処理対象のピクセルを含むブロック画像の３つ前のブロック画像のタイミングにおいて、９個のブロック画像のうちの左側の縦方向の３個のブロック画像０、３、６の１フレーム前の局所特徴量が読み出される。また、２つ前のブロック画像のタイミングにおいて、中央の縦方向の３個のブロック画像１、４、７の１フレーム前の局所特徴量が読み出され、１つ前のブロック画像のタイミングにおいて、右側の縦方向の３個のブロック画像２、５、８の１フレーム前の局所特徴量が読み出される。縦方向の３個のブロック画像の局所特徴量の読み出しは、ブロックラインに含まれるライン毎に、３つ前のブロック画像から１つ前のブロック画像までの各ブロック画像のタイミングにおいて、ブロックアドレスｒｘ＝０から３ピクセルクロックP_Clockで行われる。

【0072】

なお、バッファ３６は、ＨＤＲ画像の全てのブロック画像の局所特徴量を保持する容量を備えるものであれば特に限定されないが、本実施形態の場合、ＳＲＡＭ（Static Random Access Memory）が使用されている。

【0073】

続いて、図５に示すように、一時読み出しレジスタ３８には、１ピクセル時間単位で、バッファ３６からブロック画像の１フレーム前の局所特徴量が入力され、周期カウンタ２２から周期カウント値ｐｒｘが入力され、ブロックアドレス生成回路１４から横方向のブロックアドレスｒｘが入力される。
一時読み出しレジスタ３８は、ｍおよびｎを２以上の整数とし、ｔを４以上の整数として、処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の１フレーム前の局所特徴量の間の補間処理で用いられる、横方向のｍ個（図５では、ｍ＝３）および縦方向のｎ個（図５では、ｎ＝３）のブロック画像からなるｔ個（図５では、ｔ＝９）のブロック画像のうちの縦方向の３個のブロック画像に対応する３個のレジスタ５８を有する。一時読み出しレジスタ３８は、周期カウント値ｐｒｘおよび横方向のブロックアドレスｒｘに基づいて、１ピクセル時間単位で、バッファ３６から順次読み出される、縦方向の３個のブロック画像の局所特徴量を３個のレジスタ５８に順次保持する。一時読み出しレジスタ３８からは、１ブロック時間毎に、３個のレジスタ５８に保持された３個のブロック画像の局所特徴量が同時に出力される。

【0074】

本実施形態の場合、補間処理で用いられるブロック画像は９個、その縦方向のブロック画像の数は３個であり、図５に示すように、一時読み出しレジスタ３８は３個のレジスタ５８を備えている。一時読み出しレジスタ３８は、例えばブロックアドレスｒｘ＝０、１、２のタイミングでバッファ３６から読み出される、縦方向の３個のブロック画像の局所特徴量を、周期カウント値ｐｒｘ＝０、１、２に応じて３個のレジスタ５８に順次保持する。

【0075】

続いて、ブロックレジスタ４０には、１ブロック時間毎に、一時読み出しレジスタ３８から３個のブロック画像の局所特徴量が同時に入力される。また、ブロックレジスタ４０には、マルチプレクサ２０からブランキングカウント値blank_countが入力され、ブロックアドレス生成回路１４から横方向のブロックアドレスｒｘが入力される。
ブロックレジスタ４０は、９個のブロック画像のうちの縦方向の３個のブロック画像に対応する３個のレジスタ６０からなるレジスタ群６２を、９個のブロック画像のうちの横方向の３個のブロック画像に対応する３個有する。つまり、ブロックレジスタ４０は、９個のレジスタ６０を有する。ブロックレジスタ４０は、１ブロック時間毎に、一時読み出しレジスタ３８から同時に出力される、縦方向の３個のブロック画像の局所特徴量を、３個のレジスタ群６２の全てに書き込むまたは順次シフトして保持する。ブロックレジスタ４０からは、９個のレジスタ６０に保持された９個のブロック画像の局所特徴量が同時に出力される。

【0076】

ブランキングカウント値blank_count＝０の場合、つまり、水平ブランキング期間および垂直ブランキング期間の開始タイミングにおいて、縦方向の３個のブロック画像の局所特徴量が一時読み出しレジスタ３８から同時に出力され、ブロックレジスタ４０の３個のレジスタ群６２の全てに書き込まれる。つまり、３個のレジスタ群６２には、同じ縦方向の３個のブロック画像の局所特徴量が書き込まれる。

【0077】

また、ブロックアドレスｒｘ＝０の場合、つまり、ブロック画像の開始タイミングにおいて、縦方向の３個のブロック画像の局所特徴量が一時読み出しレジスタ３８から同時に出力され、ブロックレジスタ４０の３個のレジスタ群６２に順次シフトされる。つまり、隣り合う２つのブロック画像に対応する３個のレジスタ群６２のうちの２個のレジスタ群６２に保持されるブロック画像の局所特徴量は同じになる。

【0078】

本実施形態の場合、図５に示すように、補間処理で用いられるブロック画像は、処理対象のピクセルを含むブロック画像およびその周囲の８個のブロック画像からなる、縦方向の３個および横方向の３個からなる９個のブロック画像０〜８である。ブロックレジスタ４０は、縦方向の３個のブロック画像の数に一致する３個のレジスタ６０を有するレジスタ群６２を、横方向の３個のブロック画像の数に一致する３個有する。つまり、ブロックレジスタ９０は、縦方向の３個および横方向の３個からなる９個のレジスタ６０を備えている。

【0079】

図５に示すブロックレジスタ４０において、「４」は、図７に示す処理対象のピクセルを含むブロック画像の１フレーム前の局所特徴量を表し、「１」および「７」は、その１ブロックライン時間前および１ブロックライン時間後のブロック画像の１フレーム前の局所特徴量を表す。「１、４、７」は、処理対象のピクセルを含む縦方向の３個のブロック画像の１フレーム前の局所特徴量、「２、５、８」は、処理対象のピクセルを含むブロック画像の右側の縦方向の３個のブロック画像の１フレーム前の局所特徴量、「０、３、６」は、処理対象のピクセルを含むブロック画像の左側の縦方向の３個のブロック画像の１フレーム前の局所特徴量を表す。

【0080】

なお、本実施形態の場合、補間処理で用いられる９個のブロック画像の１フレーム前の局所特徴量のみを先読みするため、水平ブランキング期間において、縦方向のｎ個のブロック画像の局所特徴量をブロックレジスタ４０のｍ個のレジスタ群の全てに書き込み、シフトしない。しかし、より多くのブロック画像の局所特徴量を先読みする場合、縦方向の複数個のブロック画像の局所特徴量をブロックレジスタ４０の複数個のレジスタ群に書き込んだ後、さらにシフトする場合もあり得る。

【0081】

続いて、補間回路４２には、１ブロック時間毎に、ブロックレジスタ４０からｔ個のブロック画像の１フレーム前の局所特徴量が入力され、画像アドレス生成回路１２から現フレームのＨＤＲ画像のピクセルのアドレスｘ，ｙが入力される。
補間回路４２は、ＨＤＲ画像のピクセルのアドレスｘ，ｙに基づいて、１ブロック時間毎に、ブロックレジスタ４０から同時に出力される、補間処理で用いられるｔ個のブロック画像の局所特徴量の間を補間してＨＤＲ画像のピクセルの局所特徴量を算出する。

【0082】

本実施形態の場合、９個のブロック画像の局所特徴量を用いて補間処理が行われる。補間の方法は特に限定されないが、例えば処理対象のピクセルを含むブロック画像およびその左右の２個のブロック画像からなる横方向の３個のブロック画像の局所特徴量の間を補間し、同様にその１ブロックライン時間前および１ブロックライン時間後の横方向の３個のブロック画像の間の局所特徴量の間をそれぞれ補間する。また、処理対象のピクセルを含むブロック画像およびその上下の２個のブロック画像からなる縦方向の３個のブロック画像の局所特徴量の間を補間し、同様にその左側および右側の縦方向の３個のブロック画像の間の局所特徴量の間をそれぞれ補間する。

【0083】

なお、９個のブロック画像の局所特徴量の全てを用いて補間処理を行ってもよいし、あるいは、処理対象のピクセルを含むブロック画像およびその周囲の１以上のブロック画像の局所特徴量を用いて補間処理を行ってもよい。

【0084】

以下、補間処理について一例を挙げて説明する。

【0085】

本実施形態の場合、図９に示すように、ブロック画像のサイズ情報をもとに、横方向および縦方向の中央位置においてブロック画像を分割することにより、ブロック画像を４分割した第Ｉ〜IV象限について、それぞれ異なる補間処理が行われる。

【0086】

補間処理で用いられる基本演算式は以下の通りである。
Interpolate(a, b, r, w)=(a*(w-r)+b*r)/w
(r>w/2)の場合には、以下の演算式が用いられる。
Interpolate3(a, b, c, r, w)=Interpolate(b, c, r-w/2, w)
(r≦w/2)の場合には、以下の演算式が用いられる。
Interpolate3(a, b, c, r, w)=Interpolate(a, b, r+w/2, w)
ここで、ａ、ｂ、ｃは、処理対象のピクセルの位置により算出される重み付け係数であり、隣接するブロック画像の補間値を調整する。ｒはブロック画像における処理対象のピクセルのブロックアドレスｒｘ，ｒｙであり、ｗはブロック画像における最大のブロックアドレスｗｘ，ｗｙである。InterpolateおよびInterpolate3は、補間処理を行う関数を表す。

【0087】

第Ｉ象限（rx>wx/2, ry≦wy/2）
Step1:補間値=Interpolate3(Interpolate(block[1], block[2], rx-wx/2, wx), Interpolate(block[4], block[5], rx-wx/2, wx), Interpolate(block[7], block[8], rx-wx/2, wx), ry, wy)
Step2:補間値=Interpolate(Interpolate(block[1], block[2], rx-wx/2, wx), Interpolate(block[4], block[5], rx-wx/2, wx), ry+wy/2, wy)
Step3:補間値=(Interpolate(block[1], block[2], rx-wx/2, wx)*(wy-(ry+wy/2))+Interpolate(block[4], block[5], rx-wx/2, wx)*(ry+wy/2))/wy
Step4:補間値=((block[1]*(wx-(rx-wx/2))+block[2]*(rx-wx/2))/wx)*(wy-(ry+wy/2))+((block[4]*(wx-(rx-wx/2))+block[5]*(rx-wx/2))/wx)*(ry+wy/2))/wy
すなわち、第Ｉ象限において、ブロック画像における最大のブロックアドレスｗｘ，ｗｙ、つまり、ブロック画像のサイズ情報に基づいて、ブロック画像における処理対象のピクセルのブロックアドレスｒｘ，ｒｙ、つまり、ブロック画像内における処理対象のピクセルの位置情報により算出される重みづけ係数と、隣接するブロック画像の局所特徴量とを演算することにより、処理対象のピクセルの補間値を算出する。

【0088】

第II象限（rx≦wx/2, ry≦wy/2）
Step1:補間値=Interpolate3(Interpolate(block[0], block[1], rx+wx/2, wx), Interpolate(block[3], block[4], rx+wx/2, wx), Interpolate(block[6], block[7], rx+wx/2, wx), ry, wy)
Step2:補間値=Interpolate(Interpolate(block[0], block[1], rx+wx/2, wx), Interpolate(block[3], block[4], rx+wx/2, wx), ry+wy/2, wy)

【0089】

第III象限（rx≦wx/2, ry>wy/2）
Step1:補間値=Interpolate3(Interpolate(block[0], block[1], rx+wx/2, wx), Interpolate(block[3], block[4], rx+wx/2, wx), Interpolate(block[6], block[7], rx+wx/2, wx), ry, wy)
Step2:補間値=Interpolate(Interpolate(block[3], block[4], rx+wx/2, wx), Interpolate(block[6], block[7], rx+wx/2, wx), ry-wy/2, wy)

【0090】

第IV象限（rx>wx/2, ry>wy/2）
Step1:補間値=Interpolate3(Interpolate(block[1], block[2], rx-wx/2, wx), Interpolate(block[4], block[5], rx-wx/2, wx), Interpolate(block[7], block[8], rx-wx/2, wx), ry, wy);
Step2:補間値=Interpolate(Interpolate(block[4], block[5], rx-wx/2, wx), Interpolate(block[7], block[8], rx-wx/2, wx), ry-wy/2, wy)

【0091】

補間値は、現フレームのＨＤＲ画像のピクセルの局所特徴量であり、block[0]〜block[8]は、ｔ＝９個の１フレーム前のブロック画像の局所特徴量である。なお、第II〜IV象限において、Step２からStep３，４への展開方法は第Ｉ象限の場合と同様であるから、その記載を省略している。

【0092】

次に、局所特徴量算出回路１０の動作を説明する。

【0093】

局所特徴量算出回路１０においては、画像アドレス生成回路１２により、データイネーブル信号DEおよび垂直同期信号VSYNCに基づいて、現フレームのＨＤＲ画像における処理対象のピクセルのアドレスｘ，ｙが生成される。

【0094】

続いて、ブロックアドレス生成回路１４により、現フレームのＨＤＲ画像のピクセルのアドレスｘ，ｙおよびブロック画像のサイズ情報に基づいて、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロック画像のインデックスｑｘ，ｑｙおよびブロックアドレスｒｘ，ｒｙが生成される。

【0095】

また、水平ブランキングカウント回路１６により、データイネーブル信号DEに基づいて、水平ブランキング期間の開始タイミングからピクセルクロックP_Clockをカウントした水平ブランキングカウント値hblank_countが出力される。
垂直ブランキングカウント回路１８により、垂直同期信号VSYNCに基づいて、垂直ブランキング期間の開始タイミングからピクセルクロックP_Clockをカウントした垂直ブランキングカウント値vblank_countが出力される。

【0096】

続いて、マルチプレクサ２０により、垂直同期信号VSYNCに基づいて、水平ブランキングカウント値hblank_countと垂直ブランキングカウント値vblank_countとが切り替えられ、垂直ブランキング期間において、ブランキングカウント値blank_countとして垂直ブランキングカウント値vblank_countが出力され、水平ブランキング期間において、ブランキングカウント値blank_countとして水平ブランキングカウント値hblank_countが出力される。

【0097】

続いて、周期カウンタ２２により、ブランキングカウント値blank_countが動作する期間において、補間処理で用いられるブロック画像の縦方向の数に同期して、周期カウント値ｐｒｘ＝０、１、２が繰り返し出力される。

【0098】

また、ライトアドレス生成回路２４により、水平ブランキングカウント値hblank_count、垂直ブランキングカウント値vblank_countおよびブロック画像の縦方向のインデックスｑｙに基づいて、バッファ３６のライトアドレスwaddrが生成される。
リードアドレス生成回路２６により、水平ブランキングカウント値hblank_countおよび垂直ブランキングカウント値vblank_countに基づいて、バッファ３６のリードアドレスraddrが生成される。

【0099】

一方、ブロック単位特徴量算出回路２８により、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインに含まれるＭ＝１００個のブロック画像の各々について、ブロック画像の全てのピクセルのデータおよびブロック画像のサイズ情報に基づいて、ブロック画像の局所特徴量として、ブロック画像の全てのピクセルのデータの例えば平均値が算出される。

【0100】

続いて、ブロック単位特徴量算出回路２８から同時に出力される、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインに含まれるＭ＝１００個のブロック画像の局所特徴量が、一時書き込みレジスタ３０に保持される。

【0101】

ここで、局所特徴量算出回路１０においては、１フレーム前のＨＤＲ画像のブロック画像の局所特徴量のバッファ３６からの読み出し、および、現フレームのＨＤＲ画像のブロック画像の局所特徴量のバッファ３６への書き込みが順次行われる。ここで、補間処理で用いられるブロック画像のサイズ、ｍ＊ｎに相当する数のレジスタを保有しているため、書き込みと読出しが同時に行われることはない。また、処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、水平ブランキング期間または垂直ブランキング期間においてバッファ３６に書き込まれる。詳細は後述する。

【0102】

本実施形態の場合、補間処理において、ｍ＝３、ｎ＝３、ｔ＝９としているため、処理対象のピクセルを含むブロック画像およびその周囲の８個のブロック画像からなる９個のブロック画像の局所特徴量がバッファ３６から順次読み出される。つまり、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインおよびその１ブロックライン時間前および１ブロックライン時間後のブロックラインのブロック画像の１フレーム前の局所特徴量がバッファ３６から読み出される。

【0103】

現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量を、その計算終了の直後にバッファ３６に保存すると、補間処理で用いられる１フレーム前のＨＤＲ画像のブロック画像の局所特徴量が現フレームのＨＤＲ画像のブロック画像の局所特徴量で上書きされる。従って、補間処理での使用が終わるまでの間、１フレーム前のＨＤＲ画像のブロック画像の局所特徴量を現フレームのＨＤＲ画像のブロック画像の局所特徴量で上書きして消さないように、現フレームのＨＤＲ画像のブロック画像の局所特徴量は一時書き込みレジスタ３０に保持される。

【0104】

図１０に示すように、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロック画像がブロック画像４である場合、図１０に示される破線よりも上側にある現フレームのＨＤＲ画像のブロック画像０，１，２の局所特徴量の計算は既に終了している。また、ブロック画像３，４，５の局所特徴量は計算中であり、ブロック画像６，７，８の局所特徴量はまだ計算が開始されていない状態である。

【0105】

もしもブロック画像０，１，２の局所特徴量が、その計算終了の直後にバッファ３６に上書きされると、現フレームのＨＤＲ画像における処理対象のピクセルの補間処理で用いられるブロック画像０〜８のうち、ブロック画像０，１，２の局所特徴量は現フレームのＨＤＲ画像のブロック画像の局所特徴量で上書きされることとなり、その他のブロック画像３，４，５およびブロック画像６，７，８の局所特徴量は１フレーム前のＨＤＲ画像のブロック画像の局所特徴量となってしまう。

【0106】

つまり、補間処理で用いられるブロック画像の局所特徴量として、異なるフレームのＨＤＲ画像のブロック画像の局所特徴量が混在することになる。異なるフレームのＨＤＲ画像の局所特徴量が混在した状態で補間処理を行なうのは問題があるため、この問題を回避するために、現フレームのＨＤＲ画像の計算済みのブロック画像０，１，２の局所特徴量は、一時書き込みレジスタ３０に一定のブロックライン時間保持される。

【0107】

従って、処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、そのブロックラインに含まれる最後のラインの後ろの水平ブランキング期間においてバッファ３６に書き込むことができず、処理対象のピクセルを含むブロックラインの次のブロックラインに含まれる最後のラインの後ろの水平ブランキング期間以降の水平ブランキング期間または垂直ブランキング期間においてバッファ３６に書き込む必要がある。

【0108】

一時書き込みレジスタ３０においては、処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量が第１のレジスタ群５４に保持され、次のブロックラインのタイミングで第１のレジスタ群５４の出力が第２のレジスタ群５６にシフトされる。これにより、一時書き込みレジスタ３０に保持された複数のブロック画像の局所特徴量は、２ブロックライン時間遅延されて出力される。

【0109】

なお、補間処理で用いられる周辺のブロック画像の数が増えると、一時書き込みレジスタ３０の段数、つまり、現フレームのＨＤＲ画像のブロック画像の局所特徴量を保持しておく時間も増える。例えば、補間処理において縦方向のｎ＝５個および横方向のｍ＝５個からなるｔ＝２５個のブロック画像の局所特徴量を用いる場合、一時書き込みレジスタ３０の段数は、縦方向の３個および横方向の３個のブロック画像の場合よりも横方向に２段増え、現フレームのＨＤＲ画像のブロック画像の局所特徴量は４ブロックライン時間保持される。

【0110】

続いて、マルチプレクサ３２により、ブランキングカウント値blank_countに応じて、一時書き込みレジスタ３０から同時に出力されるＭ＝１００個のブロック画像の局所特徴量が順次出力される。

【0111】

続いて、フィルタ回路３４により、マルチプレクサ３２から順次出力される、処理対象のピクセルを含むブロック画像およびその周囲のブロック画像の局所特徴量を用いてフィルタリング処理が行われる。

【0112】

続いて、フィルタ回路３４から出力される、現フレームのＨＤＲ画像における処理対象のピクセルを含むブロックラインのＭ＝１００個のブロック画像の局所特徴量が、ライトイネーブル信号wenに同期して、ライトアドレスwaddrにより指定されるバッファ３６のアドレスに順次書き込まれる。

【0113】

一方、バッファ３６に保持されている、１フレーム前のＨＤＲ画像に含まれる複数のブロック画像の局所特徴量の中から、次の処理対象のピクセルを含むブロック画像に対応する、補間処理で用いられる複数のブロック画像の局所特徴量が、リードイネーブル信号renに同期して、リードアドレスraddrにより指定されるバッファ３６のアドレスから順次読み出される。

【0114】

ここで、現フレームのＨＤＲ画像の最初のブロックラインから、最後のブロックラインの一定のブロックライン時間前までの処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、一定のブロックライン時間遅延されたブロックラインに含まれる最後のラインの後ろの水平ブランキング期間において、一定のブロックライン時間遅延されたブロックラインの次のブロックラインに含まれる左端のブロック画像に対応する、現フレームのＨＤＲ画像における処理対象のピクセルの補間処理で用いられる複数のブロック画像の１フレーム前の局所特徴量がバッファ３６から読み出された後に、バッファ３６に書き込まれる。

【0115】

本実施形態の場合、図８に示すように、処理対象のピクセルを含むブロックラインに含まれるＭ＝１００個のブロック画像の局所特徴量は、２ブロックライン時間遅延されたブロックラインに含まれる最後のラインの後ろの水平ブランキング期間において、その次のブロックラインの左端のブロック画像に対応する、補間処理で用いられる６個のブロック画像０、３、６および１、４、７の局所特徴量がバッファ３６から読み出された後、バッファ３６に書き込まれる例を示しているが、ブロックライン時間の遅延量は、これに限られず、垂直ブランキング期間にすべての処理が完了すればよい。

【0116】

本例では、６個のブロック画像０、３、６およびブロック画像１、４、７の局所特徴量の読み出しは、ブロックラインに含まれるライン毎に、水平ブランキング期間において、その開始タイミングから６ピクセルクロックP_Clockで行われる。また、Ｍ＝１００個のブロック画像の局所特徴量の書き込みは、６個のブロック画像０、３、６および１、４、７の局所特徴量の読み出しが完了した後、Ｍ＝１００ピクセルクロックP_Clockで行われる。
なお、図８は、１ブロックラインに４ラインが含まれる場合の例である。ブロックラインに含まれる最後のラインに対応するブロック画像の局所特徴量の読み出しのタイミングのみが記載さている箇所も４ラインの各々について同様に読み出しが行われる。

【0117】

また、最後のブロックラインから一定のブロックライン時間前までの処理対象のピクセルを含むブロックラインに含まれる複数のブロック画像の局所特徴量は、一定のブロックライン時間遅延された垂直ブランキング期間において、バッファ３６に書き込まれた後、次のフレームのＨＤＲ画像の左上のブロック画像に対応する、補間処理で用いられる複数のブロック画像の局所特徴量がバッファ３６から読み出される。

【0118】

本実施形態の場合、図８に示すように、処理対象のピクセルを含むブロックラインに含まれるＭ＝１００個のブロック画像の局所特徴量が、１ブロックライン時間遅延された垂直ブランキング期間において、バッファ３６に書き込まれた後、次のフレームのＨＤＲ画像の左上のブロック画像に対応する、補間処理で用いられる４個のブロック画像３、６および４、７の局所特徴量がバッファ３６から読み出される例である。

【0119】

Ｍ＝１００個のブロック画像の局所特徴量の書き込みは、垂直ブランキング期間において、その開始タイミングから１００ピクセルクロックP_Clockで行われる。また、４個のブロック画像３、６および４、７の局所特徴量の読み出しは、１００個のブロック画像の局所特徴量の書き込みが完了した後、ブロックラインに含まれるライン毎に、４ピクセルクロックP_Clockで行われる。

【0120】

続いて、バッファ３６から順次読み出される、補間処理で用いられる９個のブロック画像のうちの処理対象のピクセルを含む縦方向の３個のブロック画像の局所特徴量が、一時読み出しレジスタ３８の３個のレジスタに順次保持される。
処理対象のピクセルを含む縦方向の３個のブロック画像の局所特徴量が一時読み出しレジスタ３８に保持された後、この３個のブロック画像の局所特徴量は、一時読み出しレジスタ３８から同時に出力される。

【0121】

続いて、一時読み出しレジスタ３８から同時に出力される、処理対象のピクセルを含む縦方向の３個のブロック画像の局所特徴量が、次のブロック画像の開始タイミングにおいて、ブロックレジスタ４０の３個のレジスタ群に順次シフトされる。
処理対象のピクセルを含むブロック画像に対応する、補間処理で用いられる９個のブロック画像の局所特徴量がブロックレジスタ４０に保持された後、この９個のブロック画像の局所特徴量は、ブロックレジスタ４０から同時に出力される。

【0122】

ここで、次の処理対象のピクセルを含むブロック画像がブロックラインの左端のブロック画像である場合、図８に示すように、ブロックラインに含まれるライン毎に、次の処理対象のピクセルを含むブロックラインの前の水平ブランキング期間において、左端のブロック画像を含む縦方向の３個（ｎ個）のブロック画像の局所特徴量がバッファ３６から順次読み出されて一時読み出しレジスタ３８に順次保持される。
続いて、一時読み出しレジスタ３８から同時に出力される、左端のブロック画像を含む縦方向の３個のブロック画像の局所特徴量がブロックレジスタ４０の３個（ｍ個）のレジスタ群６２の全てに書き込まれる。
その後、左端のブロック画像の右側のブロック画像から、左端のブロック画像に対応する、補間処理で用いられる横方向の３個（ｍ個）のブロック画像のうちの右側（右端）のブロック画像までのｉ個のブロック画像のうちのｊ番目（１≦ｊ≦ｉ）のブロック画像を含む縦方向の３個のブロック画像の局所特徴量がバッファ３６から順次読み出されて一時読み出しレジスタ３８に順次保持され、一時読み出しレジスタ３８から同時に出力される、ｊ番目のブロック画像を含む縦方向の３個のブロック画像の局所特徴量がブロックレジスタ４０の３個のレジスタ群６２に順次シフトされることが、ｉ個のブロック画像のうちの１番目のブロック画像からｉ番目のブロック画像まで繰り返される。

【0123】

次の処理対象のピクセルを含むブロック画像がブロックラインの左端のブロック画像である場合、処理対象のピクセルを含むブロック画像に対応する９個のブロック画像のうちの左側の縦方向の３個のブロック画像は存在しないが、上記の処理により、存在しない左側の縦方向の３個のブロック画像の局所特徴量として、左端のブロック画像を含む縦方向の３個のブロック画像の局所特徴量が使用される。

【0124】

次の処理対象のピクセルを含むブロック画像がブロックラインの左端のブロック画像の右側のブロック画像から、ブロックラインの右端のブロック画像の（ｍ−１）／２個前まで、本実施形態においては１個前までのブロック画像のいずれかである場合、ブロックラインに含まれるライン毎に、次の処理対象のピクセルを含むブロック画像の１つ前のブロック画像のタイミングにおいて、次の処理対象のピクセルを含むブロック画像に対応する横方向の３個のブロック画像のうちの右側（右端）の縦方向の３個のブロック画像の局所特徴量がバッファ３６から順次読み出されて一時読み出しレジスタ３８に順次保持される。
そして、処理対象のピクセルが次の処理対象のピクセルを含むブロック画像に移動するタイミングで、一時読み出しレジスタ３８から同時に出力される、横方向の３個のブロック画像のうちの右側の縦方向の３個のブロック画像の局所特徴量がブロックレジスタ４０の３個のレジスタ群にシフトされる。

【0125】

次の処理対象のピクセルを含むブロック画像がブロックラインの右端のブロック画像から、ブロックラインの右端のブロック画像の（ｍ−１）／２個のブロック画像のいずれかである場合、つまり、本実施形態においてはブロックラインの右端のブロック画像である場合、ブロックラインに含まれるライン毎に、次の処理対象のピクセルを含むブロック画像の１つ前のブロック画像のタイミングにおいて、次の処理対象のピクセルを含むブロック画像に対応する横方向の３個のブロック画像のうちの右側（右端）の縦方向の３個のブロック画像の局所特徴量がバッファから読み出されることなく、処理対象のピクセルが次の処理対象のピクセルを含むブロック画像に移動するタイミングで、一時読み出しレジスタ３８から同時に出力される縦方向の３個のブロック画像の局所特徴量がブロックレジスタの３個のレジスタ群にシフトされる。

【0126】

例えば、処理対象のピクセルを含むブロック画像がブロックラインの右端のブロック画像である場合、処理対象のピクセルを含むブロック画像に対応する９個のブロック画像のうちの右側の縦方向の３個のブロック画像は存在しないが、上記の処理により、存在しない右側の縦方向の３個のブロック画像の局所特徴量として、右端のブロック画像を含む縦方向の３個のブロック画像の局所特徴量が使用される。
ブロックラインの右端のブロック画像から、ブロックラインの右端のブロック画像の（ｍ−１）／２個のブロック画像のうちの右端のブロック画像以外のブロック画像についても同様である。

【0127】

処理対象のピクセルを含むブロック画像がＨＤＲ画像の左上、右上、左下および右下のブロック画像である場合も同様に処理される。

【0128】

そして、補間回路４２により、ブロックレジスタ４０から同時に出力される、補間処理で用いられるｔ＝９個の１フレーム前のＨＤＲ画像のブロック画像の局所特徴量の間が補間されて現フレームのＨＤＲ画像のピクセルの局所特徴量が算出される。

【0129】

局所特徴量算出回路１０においては、ＨＤＲ画像の全てのピクセルの局所特徴量ではなく、ＨＤＲ画像における複数のブロック画像の局所特徴量をバッファ３６に保持するため、局所特徴量を保持するために必要なバッファ３６のメモリ容量を大幅に削減することができる。従って、回路規模を大幅に削減し、消費電力およびコストを大幅に低減することができる。

【0130】

また、補間処理で用いられる縦方向のｎ個のブロック画像の局所特徴量をブロックレジスタ４０のｍ個のレジスタ群６２に順次シフトし、ｔ個のブロック画像の局所特徴量をブロックレジスタ４０から同時に出力することにより、隣り合う２つのブロック画像において、（ｍ−１）個のレジスタ群６２に保持される局所特徴量を共通に使用して、バッファ３６からブロック画像の局所特徴量を読み出す回数を大幅に減らし、かつ計算時間を大幅に短縮することができる。

【0131】

なお、例えばバッファ３６のライトアドレスおよびリードアドレス等は、専用のハードウェアに限らず、ＣＰＵ（Central Processing Unit）等のマイクロプロセッサを利用して生成することもできる。

【0132】

図１１は、本発明に係る局所特徴量算出回路の構成を表す別の実施形態のブロック図である。図１１に示す局所特徴量算出回路１１は、図１に示す局所特徴量算出回路１０において、ライトアドレス生成回路２４およびリードアドレス生成回路２６の代わりに、ＣＰＵ６４を備えている。

【0133】

つまり、局所特徴量算出回路１１は、画像アドレス生成回路１２と、ブロックアドレス生成回路１４と、水平ブランキングカウント回路１６と、垂直ブランキングカウント回路１８と、マルチプレクサ２０と、周期カウンタ２２と、ブロック単位特徴量算出回路２８と、一時書き込みレジスタ３０と、マルチプレクサ３２と、フィルタ回路３４と、バッファ３６と、一時読み出しレジスタ３８と、ブロックレジスタ４０と、補間回路４２と、ＣＰＵ６４と、を備えている。

【0134】

以下、ＣＰＵ６４について説明し、これ以外の他の構成要素の繰り返しの説明は省略する。

【0135】

ＣＰＵ６４には、画像アドレス生成回路１２から出力されるＨＤＲ画像のピクセルのアドレスｘ，ｙ、ブロックアドレス生成回路１４から出力されるブロック画像の縦方向のインデックスｑｙ、水平ブランキングカウント回路１６から出力される水平ブランキングカウント値hblank_count、垂直ブランキングカウント回路１８から出力される垂直ブランキングカウント値vblank_count、および、マルチプレクサ２０から出力されるブランキングカウント値blank_countが入力される。

【0136】

ＣＰＵ６４は、ＨＤＲ画像のピクセルのアドレスｘ，ｙ、ブロック画像の縦方向のインデックスｑｙ、水平ブランキングカウント値hblank_countおよび垂直ブランキングカウント値vblank_countに基づいて、バッファ３６のライトアドレスwaddr、ライトイネーブル信号wen、リードアドレスraddrおよびリードイネーブル信号renを生成する。また、ＣＰＵ６４は、ブランキングカウント値blank_countおよびブロック画像のサイズ情報等を出力する。

【0137】

このように、ＣＰＵ６４を使用することにより、バッファ３６のライトアドレスwaddrおよびリードアドレスraddr等の生成の他、各部位の制御をしたり、他の回路とＣＰＵ６４を共通に使用したりして、より柔軟に設計を行うことができる。一方、ブロック単位特徴量算出回路２８、一時書き込みレジスタ３０、一時読み出しレジスタ３８およびブロックレジスタ４０等は、複数のデータを同時に処理して同時に出力する必要があるため、専用のハードウェアで構成する方が望ましい。

【0138】

本発明の局所特徴量算出回路は、例えばブロック画像の局所特徴量を用いてトーンマッピングを行うトーンマッピング回路において好適に利用可能であるが、トーンマッピング回路に限らず、ブロック画像の局所特徴量を用いる各種の回路においても利用可能である。また、本発明の局所特徴量算出回路は、ＨＤＲ画像に限らず、各種の画像に対して適用可能である。

【0139】

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

【符号の説明】

【0140】

１０、１１ 局所特徴量算出回路
１２ 画像アドレス生成回路
１４ ブロックアドレス生成回路
１６ 水平ブランキングカウント回路
１８ 垂直ブランキングカウント回路
２０ マルチプレクサ
２２ 周期カウンタ
２４ ライトアドレス生成回路
２６ リードアドレス生成回路
２８ ブロック単位特徴量算出回路
３０ 一時書き込みレジスタ
３２ マルチプレクサ
３４ フィルタ回路
３６ バッファ
３８ 一時読み出しレジスタ
４０ ブロックレジスタ
４２ 補間回路
４４ 累積加算器
４６ 平均値算出回路
４８ 加算器
５０、５２、５８、６０ レジスタ
５４、５６、６２ レジスタ群
６４ ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】