特許 7419204 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 1/20 20060101AFI20240115BHJP

【ＦＩ】

G06T1/20 A

【請求項の数】 7

(21)【出願番号】P 2020157793

(22)【出願日】2020-09-18

(65)【公開番号】P2022051360

(43)【公開日】2022-03-31

【審査請求日】2022-06-22

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317011920

【氏名又は名称】東芝デバイス＆ストレージ株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】羽田 隆二

(72)【発明者】

【氏名】増田 篤司

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１３－０５５５４１（ＪＰ，Ａ）

【文献】特開２０１５－０８０１４９（ＪＰ，Ａ）

【文献】特開２０１３－２１４９５２（ＪＰ，Ａ）

【文献】特開２０１６－０４０８７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／２０

(57)【特許請求の範囲】

【請求項1】

互いに１ラインの画素数が異なる複数のカメラを有する撮像部に接続され、前記撮像部からの入力画素レートよりも２倍以上の動作周波数を有する画像処理装置であって、
ＦＩＦＯメモリと、
前記複数のカメラから入力されるデータを保持する複数のラインバッファと、
前記複数のラインバッファに保持された前記データに対して所定の画像処理を施す画像処理回路と、
前記複数のラインバッファの少なくとも１つにおいて、前記所定の画像処理が完了する前に、前記データの上書きが発生するか否かを検出し、検出結果に応じた出力制御信号を出力するコントローラと、
前記出力制御信号に応じて、前記複数のラインバッファへの前記データの出力を停止し、出力を停止された前記データを前記ＦＩＦＯメモリに保持させるように制御する制御回路と、
を有する画像処理装置。

【請求項2】

前記コントローラは、前記所定の画像処理が完了する前に、前記データの上書きが発生することを検出した場合、前記データを前記ＦＩＦＯメモリに保持させるための前記出力制御信号を前記制御回路に出力し、
前記所定の画像処理が完了する前に、前記データの上書きが発生しないことを検出した場合、前記データを前記複数のラインバッファに保持させるための前記出力制御信号を前記制御回路に出力する請求項１に記載の画像処理装置。

【請求項3】

前記画像処理回路により前記所定の画像処理が施された前記データに歪み補正を行う歪み補正回路を有する請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記複数のカメラから入力される前記データは、ライン単位のライン画素データである請求項１から請求項３のいずれか１つに記載の画像処理装置。

【請求項5】

前記複数のカメラから入力される前記データは、前記制御回路に同時入力される請求項１から請求項４のいずれか１つに記載の画像処理装置。

【請求項6】

前記複数のカメラから入力される前記データは、前記制御回路に逐次入力される請求項１から請求項４のいずれか１つに記載の画像処理装置。

【請求項7】

前記複数のカメラから入力されるデータは、ＲＡＷデータであり、
前記画像処理回路は、前記ＲＡＷデータをＲＧＢデータに変換する請求項１から請求項６のいずれか１つに記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置に関する。

【背景技術】

【0002】

従来、運転支援システム及び監視カメラシステム等のような、多数のカメラを用いて構成されたシステムが知られている。

【0003】

多数のカメラを用いて構成されたシステムにおいては、多数のカメラ各々から出力されるデータに対して現像処理等の画像処理を施す必要があるため、カメラの総数に応じて画像処理回路（画像処理プロセッサ）の個数が増え、回路規模が増大する。そのため、複数のカメラから出力されたライン毎のライン画素データを、例えば１つの画像処理回路により時分割で処理することで、画像処理回路の個数を削減することが考えられる。

【0004】

しかしながら、上述のシステムは、画角及び／または有効画素数が異なる多様なカメラを有する構成となっており、ライン毎にラインバッファへの書き込み時間や画像処理時間が変動する。この場合、あるラインバッファに書き込まれたライン画素データに対して画像処理が完了する前に、ラインバッファに新たなライン画素データが書き込まれ、ラインバッファのデータが上書きされる虞がある。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第３５８６１３１号公報

【文献】特開２００７－１８０６３５号公報

【文献】特表２０１３－５２４６８８号公報

【文献】特開２０１３－２０１７５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

実施形態は、画像処理が完了前にラインバッファのデータが上書きされることを回避することができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の画像処理装置は、互いに１ラインの画素数が異なる複数のカメラを有する撮像部に接続され、前記撮像部からの入力画素レートよりも２倍以上の動作周波数を有する画像処理装置であって、ＦＩＦＯメモリと、複数のラインバッファと、画像処理回路と、コントローラと、制御回路とを有する。複数のラインバッファは、複数のカメラから入力されるデータを保持する。画像処理回路は、複数のラインバッファに保持されたデータに対して所定の画像処理を施す。コントローラは、前記複数のラインバッファの少なくとも１つにおいて、前記所定の画像処理が完了する前に、前記データの上書きが発生するか否かを検出し、検出結果に応じた出力制御信号を出力する。制御回路は、出力制御信号に応じて、前記複数のラインバッファへのデータの出力を停止し、出力を停止されたデータをＦＩＦＯメモリに保持させるように制御する。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態の画像処理装置を含む画像処理システムの構成の一例を示す図である。

【図2】画像処理が完了する前にラインバッファの上書きが発生する場合の動作を示す図である。

【図3】画像処理が完了する前にラインバッファの上書きが発生しない場合の動作を示す図である。

【図4】第１の実施形態の効果について説明するための図である。

【図5】第２の実施形態の動作について説明するための図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して実施形態について詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態の画像処理装置を含む画像処理システムの構成の一例を示す図である。図１に示すように、画像処理システム１０１は、撮像部１と、画像処理装置２と、ＤＲＡＭ３と、バス４とを有して構成されている。

【0010】

撮像部１は、例えば、互いに異なる画角及び／または有効画素数を有するｎ（ｎ≧２）個のカメラＣＭ１、ＣＭ２、・・・、ＣＭｎを備えて構成されている。なお、以下の説明では、カメラＣＭ１、ＣＭ２、・・・、ＣＭｎの全部又は一部を示す場合、カメラＣＭと呼ぶ。

【0011】

撮像部１の各カメラＣＭは、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを有して構成されている。撮像部１は、各カメラＣＭで得られた１ライン分の画素データ（ライン画素データ）にどのカメラＣＭで得られたかを示すＩＤを付加し、パラレル伝送によって画像処理装置に出力する。画像処理装置２は、１ライン分のライン画素データに付加されたＩＤに基づいて、ライン画素データが複数のカメラＣＭのうち、どのカメラＣＭから出力されたライン画素データかを判別することができる。

【0012】

画像処理装置２は、撮像部１から１ライン分ずつ出力されるライン画素データを蓄積し、蓄積したライン画素データに画像処理を施すことによりフレーム画像データを生成し、生成したフレーム画像データをバス４を経由してＤＲＡＭ３へ出力する。

【0013】

画像処理装置２は、制御部１０と、ＦＩＦＯ１１と、選択部１２と、第１ラインバッファ１３と、第２ラインバッファ１４と、画像処理回路１５と、選択部１６と、第３ラインバッファ１７と、第４ラインバッファ１８と、歪み補正回路１９とを有して構成されている。

【0014】

第１ラインバッファ１３は、第１格納部１３ａ及び第２格納部１３ｂを備える。第２ラインバッファ１４は、第１格納部１４ａ及び第２格納部１４ｂを備える。第３ラインバッファ１７は、第１格納部１７ａ及び第２格納部１７ｂを備える。第４ラインバッファ１８は、第１格納部１８ａ及び第２格納部１８ｂを備える。歪み補正回路１９は、コントローラ２０を備える。

【0015】

本実施形態の画像処理装置２は、撮像部１からの入力画素レートよりも２倍以上の動作周波数を有しており、撮像部１から入力される複数のライン画素データを時分割で処理することができる。なお、以下の説明では、２つのカメラＣＭ１、ＣＭ２から画素データが画像処理装置２に入力される場合について説明するが、３つ以上のカメラから画素データが画像処理装置２に入力される構成であってもよい。

【0016】

撮像部１のカメラＣＭ１、ＣＭ２により撮像されたライン画素データは、１ライン毎にカメラＣＭ１、ＣＭ２のＩＤとともに制御部１０に入力される。カメラＣＭ１、ＣＭ２により撮像されたライン画素データは、現像処理が施されていないＲＡＷデータである。

【0017】

制御回路としての制御部１０は、後述するreadyフラグ（出力制御信号）に応じて、入力されたライン画素データをＦＩＦＯ１１または選択部１２に出力する。すなわち、制御部１０は、readyフラグに応じて、ライン画素データを後段の画像処理回路１５に供給するか、後段の画像処理回路１５へのライン画素データの供給を停止し、ＦＩＦＯメモリを構成するＦＩＦＯ１１に一時的に保持させるかを制御する。制御部１０は、readyフラグがＬレベルの場合、入力されたライン画素データをＩＤとともにＦＩＦＯ１１に出力する。一方、制御部１０は、readyフラグがＨレベルの場合、入力されたライン画素データを選択部１２に出力する。

【0018】

選択部１２は、ＩＤに応じてライン画素データを第１ラインバッファ１３または第２ラインバッファ１４に出力する。選択部１２は、カメラＣＭ１を示すＩＤが入力されると、ライン画素データを第１ラインバッファ１３に出力し、カメラＣＭ２を示すＩＤが入力されるライン画素データを第２ラインバッファ１４に出力する。

【0019】

第１ラインバッファ１３の第１格納部１３ａ及び第２格納部１３ｂには、それぞれカメラＣＭ１の１ライン分のライン画素データが格納される。すなわち、第１ラインバッファ１３には、カメラＣＭ１の２ライン分のライン画素データが書き込まれる。

【0020】

例えば、カメラＣＭ１の１ライン目のライン画素データが第１ラインバッファに１３に入力されると、第１格納部１３ａにカメラＣＭ１の１ライン目のライン画素データが書き込まれ、カメラＣＭ１の２ライン目のライン画素データが第１ラインバッファに１３に入力されると、第２格納部１３ｂに書き込まれる。そして、カメラＣＭ１の３ライン目のライン画素データが第１ラインバッファに１３に入力されると、第１格納部１３ａにカメラＣＭ１の３ライン目のライン画素データが書き込まれ、カメラＣＭ１の４ライン目のライン画素データが第１ラインバッファに１３に入力されると、第２格納部１３ｂに書き込まれる。このように、第１ラインバッファ１３の第１格納部１３ａ及び第２格納部１３ｂには、カメラＣＭ１のライン画素データが順次書き込まれる。

【0021】

同様に、第２ラインバッファ１４の第１格納部１４ａ及び第２格納部１４ｂには、それぞれカメラＣＭ２の１ライン分のライン画素データが格納される。すなわち、第２ラインバッファ１４には、カメラＣＭ２の２ライン分のライン画素データが書き込まれる。

【0022】

例えば、カメラＣＭ２の１ライン目のライン画素データが第２ラインバッファに１４に入力されると、第１格納部１４ａにカメラＣＭ２の１ライン目のライン画素データが書き込まれ、カメラＣＭ２の２ライン目のライン画素データが第２ラインバッファに１４に入力されると、第２格納部１４ｂに書き込まれる。そして、カメラＣＭ２の３ライン目のライン画素データが第２ラインバッファに１４に入力されると、第１格納部１４ａにカメラＣＭ２の３ライン目のライン画素データが書き込まれ、カメラＣＭ２の４ライン目のライン画素データが第２ラインバッファに１４に入力されると、第２格納部１４ｂに書き込まれる。このように、第２ラインバッファ１４の第１格納部１４ａ及び第２格納部１４ｂには、カメラＣＭ２のライン画素データが順次書き込まれる。

【0023】

画像処理回路１５は、第１ラインバッファ１３及び第２ラインバッファ１４の少なくとも１つの格納部にライン画素データの書き込みが完了すると、書き込みが完了したライン画素データに対して画像処理を施す。画像処理回路１５は、撮像部１からのＲＡＷデータをＲＧＢデータに変換して選択部１６に出力する。

【0024】

ここで、第１ラインバッファ１３及び第２ラインバッファ１４の各格納部へのライン画素データの書き込みが同時に完了した場合は、画像処理回路１５は画像サイズの小さい順に画像処理を開始する。なお、第１ラインバッファ１３及び第２ラインバッファ１４の各格納部へのライン画素データの書き込みが同時に完了した場合の画像処理を開始する順番は、これに限定されるものではなく、例えば、ＩＤの小さいカメラＣＭからのライン画素データから画像処理を開始してもよい。

【0025】

選択部１６は、ＲＧＢデータに変換された、カメラＣＭ１のライン画素データを第３ラインバッファ１７に出力し、カメラＣＭ２のライン画素データを第４ラインバッファ１８に出力する。

【0026】

第３ラインバッファ１７の第１格納部１７ａ及び第２格納部１７ｂには、ＲＧＢデータに変換されたカメラＣＭ１のライン画素データが順次書き込まれる。第４ラインバッファ１８の第１格納部１８ａ及び第２格納部１８ｂには、ＲＧＢデータに変換されたカメラＣＭ２のライン画素データが順次書き込まれる。

【0027】

歪み補正回路１９は、第３ラインバッファ１７及び第４ラインバッファ１８に格納されたライン画素データに対して歪み補正処理を行い、フレーム画像を生成してＤＲＡＭ３に出力する。

【0028】

コントローラ２０は、第１ラインバッファ１３及び／又は第２ラインバッファ１４を監視し、第１ラインバッファ１３及び／又は第２ラインバッファ１４の各格納部において、画像処理が完了する前にライン画素データの上書きが発生するか否かを検出する。コントローラ２０は、第１ラインバッファ１３及び／又は第２ラインバッファ１４において、画像処理の完了前にライン画素データの上書きが発生することを検出すると、readyフラグをＬレベルにして制御部１０に出力する。

【0029】

制御部１０は、Ｌレベルのreadyフラグが入力されると、第１ラインバッファ１３及び／又は第２ラインバッファ１４へのライン画素データの供給を停止する。そして、制御部１０は、供給を停止したライン画素データ及びＩＤをＦＩＦＯ１１に出力し、ＦＩＦＯ１１にライン画素データ及びＩＤを保持させる。

【0030】

その後、コントローラ２０は、第１ラインバッファ１３及び／又は第２ラインバッファ１４において、画像処理の完了前にライン画素データの上書きが発生しないことを検出すると、readyフラグをＨレベルにして制御部１０に出力する。

【0031】

制御部１０は、Ｈレベルのreadyフラグが入力されると、ＦＩＦＯ１１からライン画素データをファーストインファーストアウトで読み出して選択部１２に出力することで、第１ラインバッファ１３及び／又は第２ラインバッファ１４へのライン画素データの供給を再開する。

【0032】

次に、本実施形態の画像処理装置の動作について図２及び図３を用いて説明する。
図２は、画像処理が完了する前にラインバッファの上書きが発生する場合の動作を示す図である。図３は、画像処理が完了する前にラインバッファの上書きが発生しない場合の動作を示す図である。

【0033】

カメラＣＭ１とカメラＣＭ２は、画角（挟角、広角）や画素数（２Ｋ、４Ｋ）等の違いから、１ラインの画素数が異なっている。本実施形態では、カメラＣＭ１の１ラインの画素数がカメラＣＭ２の１ラインの画素数よりも２倍程度多いものとして説明する。例えば、カメラＣＭ１の１ラインの画素数が４０００画素であり、カメラＣＭ２の１ラインの画素数が２０００画素である。

【0034】

第１ラインバッファ１３には、カメラＣＭ１からのライン画素データＬ１、Ｌ２、Ｌ３、Ｌ４、・・・、が入力され、第２ラインバッファ１４には、カメラＣＭ２からのライン画素データＬ１、Ｌ２、Ｌ３、Ｌ４、・・・、が入力される。

【0035】

まず、カメラＣＭ１のライン画素データＬ１が第１ラインバッファ１３の第１格納部１３ａに書き込まれ、カメラＣＭ１のライン画素データＬ２が第１ラインバッファ１３の第２格納部１３ｂに書き込まれる。

【0036】

その後、カメラＣＭ１のライン画素データＬ３が第１ラインバッファ１３に入力されると、第１ラインバッファ１３の第１格納部１３ａにカメラＣＭ１のライン画素データＬ３が上書きされる。そして、カメラＣＭ１のライン画素データＬ４が第１ラインバッファ１３に入力されると、第１ラインバッファ１３の第２格納部１３ｂにカメラＣＭ１のライン画素データＬ４が上書きされる。

【0037】

一方、カメラＣＭ２のライン画素データＬ１が第２ラインバッファ１４の第１格納部１４ａに書き込まれ、カメラＣＭ２のライン画素データＬ２が第２ラインバッファ１４の第２格納部１４ｂに書き込まれる。

【0038】

その後、カメラＣＭ２のライン画素データＬ３が第２ラインバッファ１４に入力されると、第２ラインバッファ１４の第２格納部１４ｂにカメラＣＭ２のライン画素データＬ３が上書きされる。そして、カメラＣＭ２のライン画素データＬ４が第２ラインバッファ１４に入力されると、第２ラインバッファ１４の第２格納部１４ｂにカメラＣＭ２のライン画素データＬ４が上書きされる。

【0039】

画像処理回路１５は、ライン画素データＬの書き込みが完了した順に画像処理を開始する。図２の例では、第２ラインバッファ１４の第１格納部１４ａへのライン画素データＬ１の書き込みが最初に完了しているため、画像処理回路１５は、時間ｔ１において、第２ラインバッファ１４の第１格納部１４ａに書き込まれたライン画素データＬ１に対して画像処理を開始する。

【0040】

次に、第１ラインバッファ１３の第１格納部１３ａへのライン画素データＬ１の書き込みが完了している。画像処理回路１５は、第２ラインバッファ１４の第１格納部１４ａに書き込まれたライン画素データＬ１の画像処理が完了すると、時間ｔ２において、第１ラインバッファ１３の第１格納部１３ａに書き込まれたライン画素データＬ１に対して画像処理を開始する。

【0041】

次に、第２ラインバッファ１４の第２格納部１４ｂへのライン画素データＬ２の書き込みが完了している。画像処理回路１５は、第１ラインバッファ１３の第１格納部１３ａに書き込まれたライン画素データＬ１の画像処理が完了すると、時間ｔ３において、第２ラインバッファ１４の第２格納部１４ｂに書き込まれたライン画素データＬ２の画像処理を開始する。

【0042】

ここで、第２ラインバッファ１４の第２格納部１４ｂには、時間ｔ４において、ライン画素データＬ４の書き込みが開始されている。この結果、画像処理回路１５が第２ラインバッファ１４の第２格納部１４ｂに格納されているライン画素データＬ２の画像処理が完了する前に、第２格納部１４ｂに新たなライン画素データＬ４の書き込みが開始される。この場合、画像処理回路１５により現在行われている画像処理が正常に完了しない可能性が高くなる。

【0043】

そこで、コントローラ２０がreadyフラグをＬレベルにすることで、カメラＣＭ２のライン画素データＬ４の供給を停止させる。制御部１０は、Ｌレベルのreadyフラグが入力されると、カメラＣＭ２のライン画素データＬ４をＦＩＦＯ１１に出力し、ＦＩＦＯ１１に一時的に保持させる。

【0044】

図３に示すように、画像処理回路１５がカメラＣＭ２のライン画素データＬ２に対する画像処理を完了すると、コントローラ２０は、ライン画素データの上書きが発生しないことを検知する。コントローラ２０は、readyフラグをＨレベルにすることで、カメラＣＭ２のライン画素データＬ４の供給を再開させる。制御部１０は、Ｈレベルのreadyフラグが入力されると、カメラＣＭ２のライン画素データＬ４をＦＩＦＯ１１から読み出し、選択部１２を介して第２ラインバッファ１４に供給する。

【0045】

以上の処理により、画像処理回路１５が第２ラインバッファ１４の第２格納部１４ｂのライン画素データＬ２に対して画像処理が完了した後、時間ｔ５において、第２ラインバッファ１４の第２格納部１４ｂに新たなライン画素データＬ４の書き込みが開始される。

【0046】

この結果、本実施形態の画像処理装置２によれば、画像処理が完了前に第１ラインバッファ１３及び／又は第２ラインバッファ１４のライン画素データが上書きされることを回避することができる。

【0047】

図４は、第１の実施形態の効果について説明するための図である。
比較例では、２つのカメラＣＭからの画像データを非時分割で画像処理する場合、２つの画像処理回路が必要であった場合のものを示す。なお、図４では、比較例（非時分割）の画像処理回路の個数、ロジック回路の面積、メモリ容量、チップ面積、及び、消費電力と、本実施形態（時分割）の画像処理回路の個数、ロジック回路の面積、メモリ容量、チップ面積、及び、消費電力とを比で表している。

【0048】

本実施形態では、２つのカメラＣＭ１、ＣＭ２からの画像データを時分割で入力し、１つの画像処理回路１５によりライン毎に時分割で画像処理を行う構成になっている。例えば、運転支援システムでは、車両の前方を撮影するためのフロントカメラ、車両の後方を撮影するためのバックカメラ、車両の左側方を撮影するための左サイドカメラ、及び、車両の右側方を撮影するための右サイドカメラを含む少なくとも４つのカメラを備える。本実施形態では、４つのカメラを備えている場合でも、２つの画像処理回路を有していればよい。

【0049】

そのため、本実施形態（時分割）の画像処理回路の個数は、比較例（非時分割）の画像処理回路の個数の５０％に削減することができる。これに伴い、本実施形態のロジック回路の面積は、比較例のロジック回路の面積の５０％に削減することができる。本実施形態と比較例でメモリ容量は変わらないが、ロジック回路の面積の削減に伴い、本実施形態のチップ面積は、比較例のチップ面積の約８１％に削減することができる。また、ロジック回路の面積の削減に伴い、本実施形態の消費電力は、比較例の消費電力の８３％に削減することができる。

【0050】

この結果、本実施形態によれば、比較例に比べてチップ面積を約１９％小さくすることができるとともに、比較例に比べて消費電力を約１７％削減することができる。

【0051】

（第２の実施形態）
次に、第２の実施形態について説明する。
第１の実施形態では、撮像部１の複数のカメラＣＭからライン画素データが画像処理装置２に同時入力されていたが、第２の実施形態では、撮像部１の複数のカメラＣＭからライン画素データが画像処理装置２に逐次入力される。第２の実施形態の画像処理装置２の構成は、第１の実施形態と同様であるが、撮像部１のライン画素データの出力仕様が第１の実施形態と異なっている。

【0052】

図５は、第２の実施形態の動作について説明するための図である。
撮像部１のカメラＣＭ１及びＣＭ２により撮像されたライン画素データは、画像処理装置２に逐次入力される。第１の実施形態と同様に、カメラＣＭ１からのライン画素データＬ１、Ｌ２、Ｌ３、Ｌ４、・・・、は、第１ラインバッファ１３に入力され、カメラＣＭ２からのライン画素データＬ１、Ｌ２、Ｌ３、Ｌ４、・・・、は、第２ラインバッファ１４に入力される。

【0053】

カメラＣＭ１からのライン画素データＬ１、Ｌ２、Ｌ３、Ｌ４、・・・、は、第１ラインバッファ１３の第１格納部１３ａ及び第２格納部１３ｂに順次格納される。一方、カメラＣＭ２からのライン画素データＬ１、Ｌ２、Ｌ３、Ｌ４、・・・、は、第２ラインバッファ１４の第１格納部１４ａ及び第２格納部１４ｂに順次格納される。

【0054】

制御部１０には、カメラＣＭ２のライン画素データＬ１、カメラＣＭ１のライン画素データＬ１、カメラＣＭ２のライン画素データＬ２、カメラＣＭ２のライン画素データＬ３、カメラＣＭ２のライン画素データＬ４の順番でライン画素データが逐次入力される。

【0055】

そのため、図５に示すように、カメラＣＭ２のライン画素データＬ１が第２ラインバッファ１４の第１格納部１４ａに書き込まれる。次に、カメラＣＭ１のライン画素データＬ１が第１ラインバッファ１３の第１格納部１３ａに書き込まれ、カメラＣＭ２のライン画素データＬ２が第２ラインバッファ１４の第２格納部１４ｂに書き込まれる。

【0056】

その後、カメラＣＭ２のライン画素データＬ３が第２ラインバッファ１４の第１格納部１４ａに書き込まれ（上書きされ）、カメラＣＭ２のライン画素データＬ４が第２ラインバッファ１４の第２格納部１４ｂに書き込まれる（上書きされる）。

【0057】

画像処理回路１５は、第２ラインバッファ１４の第１格納部１４ａにカメラＣＭ２のライン画素データＬ１の書き込みが完了すると、時間ｔ１１において、カメラＣＭ２のライン画素データＬ１の画像処理を開始する。

【0058】

次に、画像処理回路１５は、第１ラインバッファ１３の第１格納部１３ａにカメラＣＭ１のライン画素データＬ１の書き込みが完了すると、時間ｔ１２において、カメラＣＭ１のライン画素データＬ１の画像処理を開始する。

【0059】

カメラＣＭ１のライン画素データＬ１の画像処理が完了する時間には、第２ラインバッファ１４の第２格納部１４ｂにカメラＣＭ２のライン画素データＬ２の書き込みが完了している。そのため、画像処理回路１５は、カメラＣＭ１のライン画素データＬ１の画像処理が完了すると、時間ｔ１３において、カメラＣＭ２のライン画素データＬ２の画像処理を開始する。

【0060】

ここで、第２ラインバッファ１４の第２格納部１４ｂには、時間ｔ１４において、ライン画素データＬ４の書き込みが開始されている。この結果、画像処理回路１５が第２ラインバッファ１４の第２格納部１４ｂに格納されているライン画素データＬ２の画像処理が完了する前に、第２格納部１４ｂに新たなライン画素データＬ４の書き込みが開始される。この場合、画像処理回路１５により現在行われている画像処理が正常に完了しない可能性が高くなる。

【0061】

そこで、コントローラ２０がreadyフラグをＬレベルにすることで、カメラＣＭ２のライン画素データＬ４の供給を停止させる。制御部１０は、Ｌレベルのreadyフラグが入力されると、カメラＣＭ２のライン画素データＬ４をＦＩＦＯ１１に出力し、ＦＩＦＯ１１に一時的に保持させる。

【0062】

画像処理回路１５がカメラＣＭ２のライン画素データＬ２に対する画像処理が完了すると、コントローラ２０がreadyフラグをＨレベルにすることで、カメラＣＭ２のライン画素データＬ４の供給を再開させる。制御部１０は、Ｈレベルのreadyフラグが入力されると、カメラＣＭ２のライン画素データＬ４をＦＩＦＯ１１から読み出し、選択部１２を介して第２ラインバッファ１４に供給する。

【0063】

以上の処理により、画像処理回路１５が第２ラインバッファ１４の第２格納部１４ｂのライン画素データＬ２に対して画像処理が完了した後、時間ｔ１５において、第２ラインバッファ１４の第２格納部１４ｂに新たなライン画素データＬ４の書き込みが開始される。

【0064】

この結果、本実施形態の画像処理装置２によれば、第１の実施形態と同様に、画像処理が完了前に第１ラインバッファ１３及び／又は第２ラインバッファ１４のライン画素データが上書きされることを回避することができる。

【0065】

発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0066】

１…撮像部、２…画像処理装置、３…ＤＲＡＭ、４…バス、１０…制御部、１１…ＦＩＦＯ、１２，１６…選択部、１３…第１ラインバッファ、１３ａ，１４ａ，１７ａ，１８ａ…第１格納部、１３ｂ，１４ｂ，１７ｂ，１８ｂ…第２格納部、１４…第２ラインバッファ、１５…画像処理回路、１７…第３ラインバッファ、１８…第４ラインバッファ、１９…歪み補正回路、２０…コントローラ、１０１…画像処理システム。

【図1】

【図2】

【図3】

【図4】

【図5】