知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝デバイス＆ストレージ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-15
(45)【発行日】2023-12-25
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 1/20 20060101AFI20231218BHJP
H04N 23/60 20230101ALI20231218BHJP
【ＦＩ】
G06T1/20 C
H04N23/60 500
【請求項の数】
6
(21)【出願番号】P 2020153260
(22)【出願日】2020-09-11
(65)【公開番号】P2022047375
(43)【公開日】2022-03-24
【審査請求日】2022-06-23
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317011920
【氏名又は名称】東芝デバイス＆ストレージ株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】羽田 隆二
(72)【発明者】
【氏名】増田 篤司
【審査官】中田 剛史
(56)【参考文献】
【文献】特開２０１９－１６００６３（ＪＰ，Ａ）
【文献】特開２０００－２８７１７４（ＪＰ，Ａ）
【文献】特開２００８－２９９８７１（ＪＰ，Ａ）
【文献】特開２００６－１４８３２７（ＪＰ，Ａ）
【文献】特開２０１１－０８５５３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／２０
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
複数の撮像部により生成された複数の画像を、１ライン毎に入力する画像を切り替えて、１ライン毎に入力する入力コントローラと、
前記複数の撮像部からの入力をバッファリングする入力バッファ回路と、
前記入力コントローラから１ライン毎に切り替えて入力される前記複数の画像をパイプライン処理で画像処理する画像処理回路と、
前記画像処理回路により画像処理された前記複数の画像を、一の画像内における画素位置が連続する画素の集合であるブロック単位でバッファリングする出力バッファ回路と、
前記ブロックに、前記ブロックに含まれる特定画素のアドレスと、前記ブロックを含む画像を生成した撮像部の識別ＩＤと、を含むタグ情報を付すバッファコントローラと、
を備え、
前記バッファコントローラは、前記出力バッファ回路の使用率を監視して、前記出力バッファ回路のオーバフローが予測される場合に指示信号を前記入力コントローラへ出力し、
前記入力コントローラは、前記指示信号に応じて、前記入力バッファ回路に前記複数の撮像部からの入力をバッファリングさせ、遅延して前記画像処理回路へ出力するように制御する画像処理装置。
【請求項2】
前記画像処理回路は、一の画像内における複数の着目領域の処理を行う領域処理回路を備え、前記バッファコントローラは、着目領域を識別するための領域ＩＤをさらに含むタグ情報を前記ブロックに付す請求項１に記載の画像処理装置。
【請求項3】
前記画像処理回路は、前記複数の画像の歪みを補正する歪補正回路を含む請求項１に記載の画像処理装置。
【請求項4】
前記画像処理回路は、前記複数の撮像部から入力されるＲＡＷ画像をデモザイキング処理してＲＧＢ画像を生成する前処理回路を、前記歪補正回路の前段にさらに含み、
前記入力バッファ回路は、前記前処理回路よりも前段側に設けられている請求項３に記載の画像処理装置。
【請求項5】
前記出力バッファ回路は、２段以上に階層化された複数の出力バッファを含み、ある段の出力バッファに記憶したブロック内の全ての画素が揃ってから、次の段の出力バッファに転送することを順次行い、最終段の出力バッファを含む１段以上の出力バッファの全ての画素が揃った複数のブロックを連結して伝送ブロックを生成し、
前記バッファコントローラは、前記伝送ブロックに含まれる特定画素のアドレスと、前記識別ＩＤと、を含むタグ情報を付して、前記出力バッファ回路に前記伝送ブロックを出力させる請求項１に記載の画像処理装置。
【請求項6】
複数の撮像部により生成された複数の画像を、１ライン毎に入力する画像を切り替えて、１ライン毎に入力し、
前記複数の撮像部からの入力を入力バッファ回路にバッファリングし、
１ライン毎に切り替えて入力される前記複数の画像をパイプライン処理で画像処理回路により画像処理し、
前記画像処理回路により画像処理された前記複数の画像を、一の画像内における画素位置が連続する画素の集合であるブロック単位で出力バッファ回路にバッファリングし、
前記ブロックに、前記ブロックに含まれる特定画素のアドレスと、前記ブロックを含む画像を生成した撮像部の識別ＩＤと、を含むタグ情報を付し、
前記出力バッファ回路の使用率を監視して、前記出力バッファ回路のオーバフローが予測される場合に指示信号を出力し、
前記指示信号に応じて、前記入力バッファ回路に前記複数の撮像部からの入力をバッファリングさせ、遅延して前記画像処理回路へ出力するように制御する画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
一般的に、デジタルカメラ等の撮像装置で被写体を撮像して得られた画像は、撮像レンズ等の光学系が有する歪曲収差や倍率色収差の影響を受ける。例えば、撮像装置によって取得した画像を、自動車の衝突防止、または監視カメラに利用する場合等においては、広い範囲を見ることができるように超広角レンズが採用されることがある。超広角レンズは、より狭い画角のレンズに比べて、歪曲収差や倍率色収差が大きくなる傾向にある。
【0003】
歪曲収差や倍率色収差を抑制する光学系も知られているが、こうした光学系はコストが高いために、近年では、画像処理により収差を補正する技術が用いられるようになってきている。
【0004】
画像処理回路による画像処理をＤＲＡＭ経由で行うと、フレーム遅延、ＤＲＡＭバンド幅によるデータ転送速度の制限、消費電力の増加などが生じる。そこで、パイプライン処理により画素を処理して出力バッファ回路に蓄積し、出力バッファ回路からＤＲＡＭへ転送する構成が採用されている。
【0005】
ところで、近年の車載カメラ等では、例えば図１６に示すように、前方を広角で撮影する４ｋカメラＦＷＣ、前方を狭角で撮影する２ｋカメラＦＣ、右側方を広角で撮影する４ｋカメラＲＣ、左側方を広角で撮影する４ｋカメラＬＣ、後方を広角で撮影する４ｋカメラＢＷＣ、後方を狭角で撮影する２ｋカメラＢＣなど、画角や画素数が異なる複数種類の撮像部が組み合わされることがある。図１６は車載カメラの配置例を示す図である。
【0006】
従来は、複数の撮像部に１対１に対応して複数の画像処理回路が設けられ、画像処理回路により処理された画素を蓄積する出力バッファ回路が、複数の画像処理回路に１対１に対応して複数設けられていた。
【0007】
近年、画像処理回路の処理能力が向上し、複数の撮像部からの画像を１つの画像処理回路で時分割して処理できるようになってきている。１つの画像処理回路で時分割して処理された複数の撮像部からの複数の画像は、複数の撮像部に１対１に対応して設けた複数の出力バッファ回路にそれぞれ記憶される。
【0008】
しかし、上述したような種類が異なる複数の撮像部を組み合わせて、複数の画像を１つの画像処理回路で時分割して処理する場合、画像によって出力バッファ回路の使用量ピークとなるライン位置が異なる。このために、複数の画像を複数の出力バッファ回路にそれぞれ記憶すると、複数の出力バッファ回路の全体として、バッファ利用効率が下がることがある。
【先行技術文献】
【特許文献】
【0009】
【文献】特開２００３－１５８６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
そこで、実施形態は、複数の撮像部からの画像を１つの画像処理回路で処理して出力バッファ回路に蓄積する場合に、バッファ利用効率を向上してバッファ容量を削減することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
実施形態の画像処理装置は、複数の撮像部により生成された複数の画像を、１ライン毎に入力する画像を切り替えて、１ライン毎に入力する入力コントローラと、前記複数の撮像部からの入力をバッファリングする入力バッファ回路と、前記入力コントローラから１ライン毎に切り替えて入力される前記複数の画像をパイプライン処理で画像処理する画像処理回路と、前記画像処理回路により画像処理された前記複数の画像を、一の画像内における画素位置が連続する画素の集合であるブロック単位でバッファリングする出力バッファ回路と、前記ブロックに、前記ブロックに含まれる特定画素のアドレスと、前記ブロックを含む画像を生成した撮像部の識別ＩＤと、を含むタグ情報を付すバッファコントローラと、を備え、前記バッファコントローラは、前記出力バッファ回路の使用率を監視して、前記出力バッファ回路のオーバフローが予測される場合に指示信号を前記入力コントローラへ出力し、前記入力コントローラは、前記指示信号に応じて、前記入力バッファ回路に前記複数の撮像部からの入力をバッファリングさせ、遅延して前記画像処理回路へ出力するように制御する。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態に係わる画像処理システムの構成を示すブロック図である。
【図2】第１の実施形態に係わる歪補正回路の構成の一例を示すブロック図である。
【図3】第１の実施形態に係わる歪補正回路の読み出し画素と書き込み画素の対応関係を示す図表である。
【図4】第１の実施形態に係わる画像補正処理を示すフローチャートである。
【図5】第１の実施形態に係わる出力バッファ回路を説明するためのブロック図である。
【図6】第１の実施形態に係わり、多層化されていない場合の出力バッファの書き込み及び読み出しを説明するための図である。
【図7】第１の実施形態に係わり、多層化されている場合の出力バッファの書き込み及び読み出しを説明するための図である。
【図8】第１の実施形態に係わる出力バッファの、撮像部に応じた使用量の変化の一例を示すグラフである。
【図9】第１の実施形態に係わり、出力バッファ内のサブブロックに付すタグ情報の例を示す図である。
【図10】第１の実施形態に係わり、バッファコントローラがオーバフローを監視して行う処理を示すフローチャートである。
【図13】第１の実施形態に係わり、出力バッファ回路の実装例を説明するための図である。
【図14】第２の実施形態に係わる画像処理システムの構成を、一部を省略して示すブロック図である。
【図15】第１の実施形態に係わり、出力バッファ内のサブブロックに付すタグ情報の例を示す図である。
【図16】車載カメラの配置例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して実施形態を説明する。
【0014】
（第１の実施形態）
図１は第１の実施形態に係わる画像処理システムの構成を示すブロック図である。本実施の形態は歪補正処理においてラインバッファ容量を低減するラスタスキャン入力・ランダム出力を採用する。本実施の形態はこのラスタスキャン入力・ランダム出力の歪補正に際して、出力バッファ回路を多層化することにより、バッファサイズ（容量）の低減及び伝送効率の向上を可能にする。また、本実施形態は、複数の撮像部から入力される複数の画像に対して、時分割で歪補正処理を含む画像処理を行い、画像処理後の複数の画像を出力バッファ回路に格納することで、さらにバッファサイズ（容量）の低減を可能とするものである。
図１は第１の実施形態に係わる画像処理システムの構成を示すブロック図である。本実施の形態は歪補正処理においてラインバッファ容量を低減するラスタスキャン入力・ランダム出力を採用する。本実施の形態はこのラスタスキャン入力・ランダム出力の歪補正に際して、出力バッファ回路を多層化することにより、バッファサイズ（容量）の低減及び伝送効率の向上を可能にする。また、本実施形態は、複数の撮像部から入力される複数の画像に対して、時分割で歪補正処理を含む画像処理を行い、画像処理後の複数の画像を出力バッファ回路に格納することで、さらにバッファサイズ（容量）の低減を可能とするものである。
【0015】
（構成）
図１の画像処理システムは、ＣＰＵ２５を備えている。ＣＰＵ２５は図示しないメモリに記憶されたプログラムに従い動作して各部を制御するようになっている。撮像部２２は、撮像部［０］２２ａと、撮像部［１］２２ｂと、を備えている（なお、撮像部を区別するための［０］，［１］は、省略しても混乱が生じない場合に、適宜省略する）。図１では撮像部２２が２つの撮像部２２ａ，２２ｂを備える例を示すが、画像処理装置２１が処理可能であれば、より一般に任意の複数の撮像部を備えていても構わない。
図１の画像処理システムは、ＣＰＵ２５を備えている。ＣＰＵ２５は図示しないメモリに記憶されたプログラムに従い動作して各部を制御するようになっている。撮像部２２は、撮像部［０］２２ａと、撮像部［１］２２ｂと、を備えている（なお、撮像部を区別するための［０］，［１］は、省略しても混乱が生じない場合に、適宜省略する）。図１では撮像部２２が２つの撮像部２２ａ，２２ｂを備える例を示すが、画像処理装置２１が処理可能であれば、より一般に任意の複数の撮像部を備えていても構わない。
【0016】
撮像部２２ａ、及び撮像部２２ｂは、図示しない光学系と、ＣＭＯＳセンサ等の図示しない撮像素子と、をそれぞれ備えている。撮像素子は、行（ライン）方向および列方向に配列された複数の画素と、例えば原色ベイヤー配列のカラーフィルタを備え、光学系を介して入射した光学像を光電変換して、複数の画素で構成される撮像信号（ＲＡＷ画像）を取得する。ここで、撮像部２２ａにより取得された画像、及び撮像部２２ｂにより取得された画像は、光学系の歪曲収差等による歪みを有している。
【0017】
撮像部２２の出力（ＲＡＷ画像）は画像処理装置２１に入力され、画像処理装置２１により画像処理が行われる。画像処理装置２１は、入力コントローラ４と、ＦＩＦＯ５と、前処理回路２と、歪補正回路１と、出力バッファ回路３と、を備えている。
【0018】
入力コントローラ４は、複数の撮像部２２ａ，２２ｂにより生成された複数の画像を、１ライン毎に入力する画像を切り替えて、１ライン毎に入力する。すなわち、入力コントローラ４は、撮像部２２ａにより生成された第１の画像から１ラインの画素を入力したら、次は撮像部２２ｂにより生成された第２の画像から１ラインの画素を入力し、その次は撮像部２２ａにより生成された第１の画像から１ラインの画素を入力する、等を行う。
【0019】
入力コントローラ４には、ＦＩＦＯ（First In First Out）５が接続されている。ＦＩＦＯ５は、複数の撮像部２２ａ，２２ｂからの入力をバッファリングする入力バッファ回路である。入力コントローラ４は、後述する待機信号（readyフラグが０のready[0]信号）（指示信号）を受信すると、撮像部２２から入力される画素をＦＩＦＯ５に蓄積し、準備完了信号（readyフラグが１のready[1]信号）を受信すると、ＦＩＦＯ５に蓄積した画素を読み出して前処理回路２へ出力する。
【0020】
ここで、撮像部２２からラスタスキャン順で１ライン毎に入力される画素は、撮像部２２ａ，２２ｂの何れから出力された画素であるかに応じて、撮像部２２ａから出力されたラインであることを示すタグ情報、または撮像部２２から出力されたラインであることを示すタグ情報が付されている。そこで、入力コントローラ４は、タグに応じてＦＩＦＯ５の入出力を区別することで、撮像部［０］２２ａ用のＦＩＦＯ［０］５ａと、撮像部［１］２２ｂ用のＦＩＦＯ［１］５ｂと、の２つが設けられているのと同様の処理を行う。
【0021】
前処理回路２及び歪補正回路１は、入力コントローラ４から１ライン毎に切り替えて入力される複数の画像を、パイプライン処理で画像処理する画像処理回路である。前処理回路２は歪補正回路１よりも前段に設けられ、１画素がＲＧＢの内の何れか１色成分で構成されるＲＡＷ画像をデモザイキング処理して、１画素にＲＧＢの３色成分が存在するＲＧＢ画像に変換する。また、前処理回路２は、必要に応じて、ガンマ変換等の処理を行っても構わない。
【0022】
なお、ＲＡＷ画像は、例えば１画素が１４ビットのデータで構成されている。これに対してＲＧＢ画像は、１画素が８×３＝２４ビット、または１６×３＝４８ビットのデータで構成され、デモザイキング処理によりデータ量が増大する。このために、入力バッファ回路であるＦＩＦＯ５を前処理回路２よりも前段側に設けてＲＡＷ画像の画素を記憶するように構成することで、バッファ容量の低減を図っている。
【0023】
歪補正回路１は、前処理回路２から出力される複数の画像の歪みを時分割で補正した後に、出力バッファ回路３へ出力する。具体的に、歪補正回路１は、入力コントローラ４および前処理回路２を経由して、撮像部２２ａからラスタスキャン順で入力された画像に歪補正及び倍率色収差補正を行うことと、撮像部２２ｂからラスタスキャン順で入力された画像に歪補正及び倍率色収差補正を行うこととを、時分割で実施する。歪補正回路１による歪曲収差等の補正処理については、後でより詳しく説明する。
【0024】
出力バッファ回路３は、画像処理回路（前処理回路２、歪補正回路１）により画像処理された複数の画像を、一の画像内における画素位置が連続する画素の集合であるブロック単位でバッファリングする。そして、出力バッファ回路３は、全ての画素が揃った複数のブロック（具体的には、後述するサブブロック）を連結して、伝送ブロックとして出力する。
【0025】
ここで、出力バッファ回路３は、バッファコントローラ３１（図５参照）を含む。そして、バッファコントローラ３１は、ブロック（サブブロックまたは伝送ブロック）に、前記ブロックに含まれる特定画素（ブロック内の、例えば先頭画素）のアドレス（address）と、前記ブロックを含む画像を生成した撮像部２２ａ，２２ｂの識別ＩＤであるカメラＩＤ（camID）と、を含むタグ情報を付す。従って、画素位置が連続する複数画素の集合である伝送ブロックは、例えば先頭画素のアドレスに基づいて、いわゆるバースト転送によってＲＡＭへ高速に転送される。
【0026】
画像処理装置２１の出力バッファ回路３から出力される伝送ブロックは、バス２３を介してＤＲＡＭ２４へ転送され記憶される。ＤＲＡＭ２４は、ＣＰＵ２５の制御により、カメラＩＤが撮像部［０］２２ａからの画像であることを示す場合には記憶領域であるメモリ［０］２４ａに伝送ブロックを記憶し、カメラＩＤが撮像部［１］２２ｂからの画像であることを示す場合には記憶領域であるメモリ［１］２４ｂに伝送ブロックを記憶する。また、メモリ［０］２４ａ及びメモリ［１］２４ｂ内における記憶アドレスは、タグ情報のアドレスに基づきＣＰＵ２５により制御される。
【0027】
【0028】
【0029】
図２において、歪補正回路１は、ラインバッファ１１と、書き込み画素位置計算部１２と、読み出し画素位置計算部１３と、書き込み画素位置判定部１４と、パラメータ格納部１５と、画素補間部１６と、を備えている。
【0030】
ラインバッファ１１は、前処理回路２からラスタスキャン順に読み込まれる入力画像の画素（入力画素）を、補正処理に必要なライン数だけ保持する。例えば、バイリニア補間を用いて歪曲収差の補正を行う場合、１～２ライン分の画素を保持する。
【0031】
書き込み画素位置計算部１２は、書き込み画素領域を算出する。書き込み画素領域は、補正対象である読み出し画素Piを用いて補間した画素が含まれると推定される領域である。具体的には、読み出し画素Piの位置（vo, ho）（以下、画素Pi（vo, ho）と示す）を含む、周囲４点の画素｛Pi0（vo, ho）、Pi1（vo, ho-1）、Pi2（vo-1, ho-1）、Pi3（vo-1, ho）｝からなる読み出し画素位置集合を定義する。図３は歪補正回路１の読み出し画素と書き込み画素の対応関係を示す図表である。なお、本説明において、画素位置座標（v, h）は、画像左上を原点(0, 0)として、vを垂直画素位置、hを水平画素位置としている。
【0032】
読み出し画素Pi0、Pi1、Pi2、Pi3のそれぞれについて、画素位置計算の関数を用い、対応する書き込み画素Po0、Po1、Po2、Po3の位置（vo’, ho’）、（vo’, ho-1’）、（vo-1’, ho-1’）、（vo-1’, ho’）を算出する。４点の画素Po0（vo’, ho’）、Po1（vo’, ho-1’）、Po2（vo-1’, ho-1’）、Po3（vo-1’, ho’）を頂点とする矩形領域が、書き込み画素領域となる。
【0033】
画素位置計算には、例えば、多項式で表現される関数や、グリッドテーブル変換など、一般的な画素位置計算用の関数を用いることができる。ただし、画素位置計算関数は、逆関数が存在するものを用いる。
【0034】
読み出し画素位置計算部１３は、書き込み画素領域内において、垂直位置、水平位置ともに整数となる画素の位置（書き込み画素候補Poc（v’, h’））を抽出する。そして、書き込み画素候補Poc（v’, h’）に対応する読み出し画素Pi（v”, h”）を、画素位置計算を行って算出する。なお、画素位置計算は、書き込み画素位置計算部１２で行った画素位置計算の逆関数を用いて行う。候補が複数ある場合は、全ての候補Poc（v’, h’）に対して読み出し画素Pi（v”, h”）を算出する。
【0035】
書き込み画素位置判定部１４は、読み出し画素Pi（v”, h”）が読み出し画素位置集合に含まれている場合、当該画素Pi（v”, h”）に対する書き込み画素候補Poc（v’, h’）を、補正画素位置の書き込み画素Po（v’, h’）として確定する。
【0036】
パラメータ格納部１５は、書き込み画素位置計算部１２及び読み出し画素位置計算部１３における画素位置計算関数に用いるパラメータが格納されている。
【0037】
画素補間部１６は、確定した書き込み画素Po（v’, h’）に対応する読み出し画素Pi（v”, h”）の画素値を算出する。通常、読み出し画素Pi（v”, h”）の座標は非整数であるので、例えば周辺の４画素を用いたバイリニア補間など、既存の補間手法を用いて画素値を算出する。算出した読み出し画素Pi（v”, h”）の画素値を、書き込み画素Po（v’, h’）の画素値として出力する。出力された画素値は、出力バッファ回路３に格納される。なお、出力画素は補正を行った順に出力するため、出力画素の位置（補正画素位置）はランダムとなる。
【0038】
次に、歪補正回路１における画像補正処理の手順を説明する。図４は画像補正処理を示すフローチャートである。
【0039】
まず、ラスタスキャン順に歪補正回路１に入力された画素を、画素補間部１６での処理に必要なライン数分、ラインバッファ１１に格納する（ステップＳ１）。例えば、バイリニア補間を用いる場合、補間対象画素の周辺２×２画素（４画素）の画素値が必要となるため、少なくとも１ライン＋１画素分の画素値を格納する。
【0040】
次に、補正対象画素である読み出し画素Pi（vo, ho）を特定し、読み出し画素Piを用いて補間した画素が含まれると推定される、書き込み画素領域を算出する（ステップＳ２）。具体的には、まず、読み出し画素Pi（vo, ho）を含む周囲４点の画素｛Pi0（vo, ho）、Pi1（vo, ho-1）、Pi2（vo-1, ho-1）、Pi3（vo-1, ho）｝からなる読み出し画素位置集合を定義する。すなわち、Pi1（vo, ho-1）は、Pi（vo, ho）の左隣の画素、Pi2（vo-1, ho-1）はPi（vo, ho）の左上の画素、Pi3（vo-1, ho）はPi（vo, ho）の上の画素である。次に、画素Pi0、Pi1、Pi2、Pi3のそれぞれについて、画素位置計算を行い、対応する書き込み画素Po0（vo’, ho’）、Po1（vo’, ho-1’）、Po2（vo-1’, ho-1’）、Po3（vo-1’, ho’）を算出する。
【0041】
画素位置計算は、例えば、多項式で表現される関数を用いる場合、次の手順で行う。
（ａ）像高の算出：入力画素の位置を、左上を原点とする（v, h）の座標系から、光学中心を原点とする(x, y)の座標系に変換する。なお、両座標系とも、水平方向は右側を正とし、垂直方向は下側を正とする。また、光学中心から入力画素までの距離（像高）rを算出する。以下に示す（１）～（３）式を用いて行う。
（ａ）像高の算出：入力画素の位置を、左上を原点とする（v, h）の座標系から、光学中心を原点とする(x, y)の座標系に変換する。なお、両座標系とも、水平方向は右側を正とし、垂直方向は下側を正とする。また、光学中心から入力画素までの距離（像高）rを算出する。以下に示す（１）～（３）式を用いて行う。
【0042】
（１）式において、vin は、垂直方向の入力画素位置（非負数）、[SENSOR_CROP_OFS_V]は、光学中心からの垂直画素位置オフセット（光学中心と、（v, h）座標系の原点との間の、垂直方向のオフセット）とする。また、（２）式において、hinは、水平方向の入力画素位置（非負数）、[SENSOR_CROP_OFS_H]は、光学中心からの水平画素位置オフセット（光学中心と、（v, h）座標系の原点との間の、水平方向のオフセット）とする。また、（３）式において、[NORM_SCALE]は正規化係数（非負数）とする。
【0043】
なお、画像中心と光学中心とが一致する場合、[SENSOR_CROP_OFS_V]、[SENSOR_CROP_OFS_H]は、以下の（４）（５）式となる。
[SENSOR_CROP_OFS_V] = －(入力画像垂直サイズ/2 － 0.5) …（４）式
[SENSOR_CROP_OFS_ H] = －(入力画像水平サイズ/2 － 0.5) …（５）式
[SENSOR_CROP_OFS_V] = －(入力画像垂直サイズ/2 － 0.5) …（４）式
[SENSOR_CROP_OFS_ H] = －(入力画像水平サイズ/2 － 0.5) …（５）式
【0044】
（ｂ）画素位置計算の像高スケールの算出：光学中心から距離rにある点が、画素位置変換によって光学中心方向に移動する距離r_scaleを算出する。以下に示す（６）式を用いて行う。
r_scale = P0 + P1*r + P2 * r2 + P3*r3 + P4*r4 + P5*r5 + P6*r6 + P7*r7 + P8*r8 + P9*r9 + P10*r10 …（６）式
（６）式において、Px（x = 0～10 ）は、それぞれの次数に応じた多項式係数とする。
r_scale = P0 + P1*r + P2 * r2 + P3*r3 + P4*r4 + P5*r5 + P6*r6 + P7*r7 + P8*r8 + P9*r9 + P10*r10 …（６）式
（６）式において、Px（x = 0～10 ）は、それぞれの次数に応じた多項式係数とする。
【0045】
（ｃ）出力画素位置の算出：像高スケールを用いて入力画素位置を出力画素位置に変換し、（v, h）の座標系に戻す。以下に示す（７）（８）式を用いて行う。
vout = r_scale * y － [SENSOR_CROP_OFS_V] …（７）式
hout = r_scale*x － [SENSOR_CROP_OFS_ H] …（８）式
（７）式において、voutは垂直方向の出力画素位置（非負数）、（８）式において、houtは水平方向の出力画素位置（非負数）とする。
vout = r_scale * y － [SENSOR_CROP_OFS_V] …（７）式
hout = r_scale*x － [SENSOR_CROP_OFS_ H] …（８）式
（７）式において、voutは垂直方向の出力画素位置（非負数）、（８）式において、houtは水平方向の出力画素位置（非負数）とする。
【0046】
すなわち、（ａ）から（ｃ）の一連の手順により、読み出し画素Pi（vo, ho）、Pi1（vo, ho-1）、Pi2（vo-1, ho-1）、Pi3（vo-1, ho）が、それぞれ、書き込み画素Po0（vo’, ho’） 、Po1（vo’, ho-1’）、Po2（vo-1’, ho-1’）、Po3（vo-1’, ho’）に変換される。
【0047】
なお、画素位置計算として、上述のような多項式で表現される関数を用いる場合、[SENSOR_CROP_OFS_V]、[SENSOR_CROP_OFS_H]、[NORM_SCALE]、Px（x = 0～10 ）の各パラメータは予め設定されており、パラメータ格納部１５に格納されているものとする。
【0048】
画素位置計算は、グリッドテーブル変換を用いて行うこともできる。グリッドテーブルとは、画素位置（v, h）をグリッドノードとした２次元のアドレステーブルである。各グリッドノードには、変換先の画素位置が格納されている。グリッドノードの間に位置する任意の画素位置に対応するアドレスは、近傍グリッドノードから補間することで算出する。画素位置計算としてグリッドテーブル変換を用いる場合、次の手順で行う。
【0049】
（ｄ）参照グリッドノードの算出：参照グリッドノードとして、入力画素の左上に位置するグリッドノードを決定する。以下に示す（９）（１０）式を用いて行う。
ref_v = vin * GRID_PATCH_VSIZE_INV …（９）式
ref_h = hin * GRID_PATCH_HSIZE_INV …（１０）式
ref_v = vin * GRID_PATCH_VSIZE_INV …（９）式
ref_h = hin * GRID_PATCH_HSIZE_INV …（１０）式
【0050】
（９）式において、vin は、垂直方向の入力画素位置（非負数）、GRID_PATCH_VSIZE_INVは、垂直グリッドノード間距離の逆数とする。GRID_PATCH_VSIZE_INVは、以下の（１１）式を用いて算出する。
（１１）式において、[SENSOR_CROP_VSIZE]は、入力画像垂直サイズ、[GRID_NODE_NUM_V]は、垂直グリッドノード数とする。
【0051】
また、（１０）式において、hinは、水平方向の入力画素位置（非負数）、GRID_PATCH_HSIZE_INVは、水平グリッドノード間距離の逆数とする。GRID_PATCH_HSIZE_INVは、以下の（１２）式を用いて算出する。
（１２）式において、[SENSOR_CROP_HSIZE]は、入力画像水平サイズ、[GRID_NODE_NUM_H]は、水平グリッドノード数とする。
【0052】
（ｅ）重みの算出：入力画素位置から参照グリッドノードを含む周囲４点のグリッドノードに対する、垂直方向及び水平方向の距離の比に基づく重みを算出する。以下に示す（１３）（１４）式を用いて算出する。
weight_v = ref_v － [ref_v] …（１３）式
weight_h = ref_h － [ref_h] …（１４）式
（１３）（１４）式において、[]はガウス記号を表す。参照グリッドノードに関する垂直方向の重みは1－weight_vとなる。また、参照グリッドノードに関する水平方向の重みは、1－weight_hとなる。
weight_v = ref_v － [ref_v] …（１３）式
weight_h = ref_h － [ref_h] …（１４）式
（１３）（１４）式において、[]はガウス記号を表す。参照グリッドノードに関する垂直方向の重みは1－weight_vとなる。また、参照グリッドノードに関する水平方向の重みは、1－weight_hとなる。
【0053】
（ｆ）出力画素位置の算出：参照グリッドノードを含む周囲４点のグリッドノードのテーブルと、入力画素位置に対する各グリッドノードの重みを用い、バイリニア補間によって、出力画素位置を算出する。
【0054】
（ｆ－１）垂直方向の出力画素位置の算出
以下に示す（１５）～（１７）式を用いて算出する。
v0out = table_v(ref_v, ref_h) * (1－weight_h) + table_v(ref_v, ref_h+1) * weight_h …（１５）式
v1out = table_v(ref_v+1, ref_h) * (1－weight_h) + table_v(ref_v+1, ref_h+1) * weight_h …（１６）式
vout = v0out * (1－weight_v) + v1out * weight_v …（１７）式
（１５）（１６）式において、table_v(v, h)は、垂直画素位置グリッドテーブルとする。また、（１７）式において、voutは、は垂直方向の出力画素位置（非負数）である。
以下に示す（１５）～（１７）式を用いて算出する。
v0out = table_v(ref_v, ref_h) * (1－weight_h) + table_v(ref_v, ref_h+1) * weight_h …（１５）式
v1out = table_v(ref_v+1, ref_h) * (1－weight_h) + table_v(ref_v+1, ref_h+1) * weight_h …（１６）式
vout = v0out * (1－weight_v) + v1out * weight_v …（１７）式
（１５）（１６）式において、table_v(v, h)は、垂直画素位置グリッドテーブルとする。また、（１７）式において、voutは、は垂直方向の出力画素位置（非負数）である。
【0055】
（ｆ－２）水平方向の出力画素位置の算出
以下に示す（１８）～（２０）式を用いて算出する。
h0out = table_ h (ref_v, ref_h) * (1－weight_h) + table_ h (ref_v, ref_h+1) * weight_h …（１８）式
h1out = table_h(ref_v+1, ref_h) * (1－weight_h) + table_h(ref_v+1, ref_h+1) * weight_h …（１９）式
hout = h0out * (1－weight_h) + h1out * weight_v …（２０）式
（１８）（１９）式において、table_h(v, h)は、水平画素位置グリッドテーブルとする。また、（２０）式において、houtは、は水平方向の出力画素位置（非負数）である。
以下に示す（１８）～（２０）式を用いて算出する。
h0out = table_ h (ref_v, ref_h) * (1－weight_h) + table_ h (ref_v, ref_h+1) * weight_h …（１８）式
h1out = table_h(ref_v+1, ref_h) * (1－weight_h) + table_h(ref_v+1, ref_h+1) * weight_h …（１９）式
hout = h0out * (1－weight_h) + h1out * weight_v …（２０）式
（１８）（１９）式において、table_h(v, h)は、水平画素位置グリッドテーブルとする。また、（２０）式において、houtは、は水平方向の出力画素位置（非負数）である。
【0056】
すなわち、（ｄ）から（ｆ）の一連の手順により、読み出し画素Pi（vo, ho）、Pi1（vo, ho-1）、Pi2（vo-1, ho-1）、Pi3（vo-1, ho）が、それぞれ、書き込み画素Po0（vo’, ho’） 、Po1（vo’, ho-1’）、Po2（vo-1’, ho-1’）、Po3（vo-1’, ho’）に変換される。
【0057】
なお、画素位置計算として、上述のようなグリッドテーブル変換を用いる場合、[SENSOR_CROP_VSIZE]、[GRID_NODE_NUM_V]、[SENSOR_CROP_HSIZE]、[GRID_NODE_NUM_H]、table_v(v, h)、table_h(v, h)の各パラメータは予め設定されており、パラメータ格納部１５に格納されているものとする。
【0058】
画素位置計算により算出された、４点の画素Po0（vo’, ho’） 、Po1（vo’, ho-1’）、Po2（vo-1’, ho-1’）、Po3（vo-1’, ho’）を頂点とする矩形領域が、書き込み画素領域として特定される。
【0059】
次に、上記特定された矩形領域内において、垂直座標、及び、水平座標が共に整数となる画素位置（書き込み画素候補Poc（v’, h’））を抽出する。例えば、画素Po0（vo’, ho’） 、Po1（vo’, ho-1’）、Po2（vo-1’, ho-1’）、Po3（vo-1’, ho’）の各座標を、繰り上げ・繰り下げにより調整・整数化し、得られた画素位置に外接する矩形領域内の全ての画素位置を、書き込み画素候補Poc（v’, h’）とする（ステップＳ３）。
【0060】
繰り上げ・繰り下げによる調整・整数化は、以下に示す（２１）（２２）式を用いて行う。なお、４点の内、左側または上側に位置する画素については、（２１）式を用い、右側または下側に位置する画素については、（２２）式を用いる。
調整後画素位置 = [書き込み画素位置 － WRITE_AREA_DELTA] …（２１）式
調整後画素位置 = [書き込み画素位置 + WRITE_AREA_DELTA] …（２２）式
（２１）（２２）式において、WRITE_AREA_DELTAは整数化調整値であり、予め設定された値である。また、[]はガウス記号を表す。
調整後画素位置 = [書き込み画素位置 － WRITE_AREA_DELTA] …（２１）式
調整後画素位置 = [書き込み画素位置 + WRITE_AREA_DELTA] …（２２）式
（２１）（２２）式において、WRITE_AREA_DELTAは整数化調整値であり、予め設定された値である。また、[]はガウス記号を表す。
【0061】
続いて、ステップＳ３で求めた全ての書き込み画素候補Poc（v’, h’）に対し、書き込み画素Po（v’, h’）であるか否かの判定を行う。判定をまだ行っていない書き込み画素候補Poc（v’, h’）がある場合（ステップＳ４、Ｎｏ）、画素位置計算により、対応する読み出し画素Pi（v”, h”）を算出する（ステップＳ５）。画素位置計算は、ステップＳ２で用いた画素位置計算の逆関数を用いて行う。このとき、Pi（v”, h”）の垂直座標、水平座標は、一般に非整数となる。
【0062】
次に、Pi（v”, h”）の画素値を補間によって算出するために必要な画素を特定する。例えば、バイリニア補間によって画素値を算出する場合、Pi（v”, h”）の周囲４点の画素が補間に必要な画素となる。補間に必要な全ての画素が、読み出し画素位置集合に含まれている場合、当該読み出し画素Pi（v”, h”）に対応する書き込み画素候補Poc（v’, h’）を、書き込み画素Po（v’, h’）と確定する（ステップＳ６、Ｙｅｓ）。
【0063】
この場合、確定した書き込み画素Po（v’, h’）の画素値を、対応する読み出し画素Pi（v”, h”）の画素値を画素補間によって算出して出力する（ステップＳ７）。なお、出力画素Po（v’, h’）は、ラスタスキャン順でなくランダムとなる。続いてステップＳ４に戻り、未判定の書き込み画素候補Poc（v’, h’）の有無を調べる。
【0064】
一方、補間に必要な画素の内、読み出し画素位置集合に含まれていない画素が存在する場合、当該読み出し画素Pi（v”, h”）に対応する書き込み画素候補Poc（v’, h’）は、書き込み画素Po（v’, h’）でないと確定する（ステップＳ６、Ｎｏ）。この場合、画素補間は行わずに、ステップＳ４に戻って、未判定の書き込み画素候補Poc（v’, h’）の有無を調べる。
【0065】
ステップＳ４において、ステップＳ３で求めた全ての書き込み画素候補Poc（v’, h’）について、判定が行われている場合、画像補正処理の一連の手順を終了する。
【0066】
このように、本実施の形態の歪補正回路１による歪補正処理では、前処理回路２からラスタスキャン順に読み込まれる入力画素を、この順に補正処理を行う。従って、補正に必要な入力画素の範囲を１乃至数ライン程度で抑えることができるため、入力画素を格納するラインバッファ１１の搭載量を低減することができ、製造コストを抑制することができる。
【0067】
なお、ラインバッファ１１の搭載量は、画素補間の手法に応じて設定される。例えば、バイリニア法を用いる場合、２ライン程度搭載すればよいが、バイキュービック法を用いる場合、４ライン程度搭載する必要がある。
【0068】
また、読み出し画素から書き込み画素を算出する画素位置計算の方法は、上述の方法に限定されない。すなわち、逆関数が存在する方法であれば、任意の方法を用いることができる。また、複数の画素位置計算方法を組み合わせて用いてもよい。
【0069】
（出力バッファの多層化）
歪補正回路１から出力される各画素は、出力バッファ回路３へ入力される。出力バッファ回路３は、入力された画像を一時的に保持した後、バス２３を介してＤＲＡＭ２４に出力する。こうして、ＤＲＡＭ２４には、歪補正された画像が記憶される。
歪補正回路１から出力される各画素は、出力バッファ回路３へ入力される。出力バッファ回路３は、入力された画像を一時的に保持した後、バス２３を介してＤＲＡＭ２４に出力する。こうして、ＤＲＡＭ２４には、歪補正された画像が記憶される。
【0070】
ところで、一般的に、ＤＲＡＭへの転送は、伝送効率を考慮して、所定の伝送単位で行われる。このとき、歪補正処理をもしラスタスキャン入力・ラスタスキャン出力で行う場合には、出力バッファにラスタスキャン順の画素を順次蓄積し、例えば１ライン分の画素が蓄積される毎に、ＤＲＡＭへの転送を行えばよい。
【0071】
これに対し、歪補正処理をラスタスキャン入力・ランダム出力で行う場合には、出力がランダムとなることから、例えば、伝送単位の出力バッファを複数用意して、各バッファにラスタスキャン順の画素が蓄積される毎に、ＤＲＡＭへ転送することになる。この場合、ＤＲＡＭへの転送は、伝送単位の出力バッファ内に、画素が全てラスタスキャン順に蓄積されてからとなる。
【0072】
しかし、ランダム出力では、出力バッファの連続したアドレスに順次画素が書き込まれるとは限らないので、出力バッファの利用効率が低下する。ＤＲＡＭ転送の伝送効率を考慮すると、所定の伝送単位はある程度の大きさを確保する必要があるのに対して、ランダム出力での出力バッファの利用効率を考慮すると、所定の伝送単位を小さくする方が好ましくなってしまう。
【0073】
そこで、本実施の形態においては、レンズ歪みの特性に応じて出力バッファを多層化することで、出力バッファの利用効率の向上と、ＤＲＡＭ転送の伝送効率の向上との両立を図りながら、出力バッファ全体のサイズ低減を行っている。
【0074】
【0075】
図５において出力バッファ回路３は、バッファコントローラ３１と、出力バッファ３２，３３と、を備えている。出力バッファ３２は１段目の出力バッファであり、出力バッファ３３は２段目の出力バッファである。バッファコントローラ３１は出力バッファ３２，３３の書き込み及び読み出しを制御する。
【0076】
出力バッファ３２は、所定の容量の複数の領域Ｅ１を有しており、出力バッファ３３は、所定の容量の複数の領域Ｅ２を有している。領域Ｅ１，Ｅ２の容量は独立して設定可能である。例えば、領域Ｅ１の容量と領域Ｅ２の容量との和の容量を伝送単位の容量に設定する。
【0077】
例えば、領域Ｅ１，Ｅ２の容量が何れも６４バイトであるものとすると、１画素が１６ビットデータの場合には各領域Ｅ１，Ｅ２にそれぞれ３２画素が格納可能であり、１画素が８ビットデータの場合には各領域Ｅ１，Ｅ２にそれぞれ６４画素が格納可能である。
【0078】
以下、領域Ｅ１又はＥ２にそれぞれ格納される補正画素位置が連続する一連の画素の集合をそれぞれサブブロックというものとし、２つの領域Ｅ１及びＥ２に格納された補正画素位置が連続した伝送単位の一連の画素の集合を伝送ブロックというものとする。なお、出力バッファが３段以上で構成される場合には、これらの３段以上の出力バッファに格納されている補正画素位置が連続した伝送単位の一連の画素の集合を伝送ブロックという。
【0079】
バッファコントローラ３１は、歪補正回路１からランダムな順に出力される各画素を、出力バッファ３２の複数の領域Ｅ１の内の何れかの領域Ｅ１にまず格納する。このとき、対象画素が、既に画素が格納された領域Ｅ１の何れかと同じ領域Ｅ１に格納すべき補正画素位置（アドレス）である場合に、その領域Ｅ１に格納する。また、対象画素が、既に画素が格納された領域Ｅ１の何れとも異なる領域Ｅ１に格納すべきアドレスである場合に、まだ画素が格納されていない領域Ｅ１の何れかに格納する。
【0080】
出力バッファ３２の各領域Ｅ１には、最初に書き込まれる画素が含まれるサブブロック（ここでは、１段目の領域Ｅ１に格納されるサブブロック）における特定画素（例えば、サブブロック内の先頭画素）のアドレスを含むタグ情報（本実施の形態のタグ情報には上述したようにカメラＩＤも含まれるが、これについては後述する）が付与される。
【0081】
こうしてバッファコントローラ３１は、補正画素位置（アドレス）が連続する画素を各領域Ｅ１の連続した記憶位置に書き込む。つまり、領域Ｅ１の容量が６４バイトで、１画素が１６ビットデータの場合には、各領域Ｅ１に補正画素位置（アドレス）が連続する３２画素分の画素が格納される。例えば、伝送単位である伝送ブロックが６４画素で構成される場合には、領域Ｅ１には伝送ブロックの半分の画素のサブブロックが格納可能である。
【0082】
バッファコントローラ３１は、出力バッファ３２のある領域Ｅ１の全記憶位置に画素が格納された状態になったか否かを判定する。以下、領域Ｅ１にサブブロックの全データが格納されたことを充填完了とも言い、バッファコントローラ３１は、充填完了となった領域Ｅ１に格納されているサブブロックの画素を後段の出力バッファ３３に転送する。
【0083】
出力バッファ３３の各領域Ｅ２にも、最初に書き込まれる画素が含まれるサブブロック（ここでは、２段目の領域Ｅ２に格納されるサブブロック）における特定画素（例えば、サブブロック内の先頭画素）のアドレスを含むタグ情報が付与される。
【0084】
バッファコントローラ３１は、補正画素位置（アドレス）が連続する画素を各領域Ｅ２の連続した記憶位置に書き込む。つまり、例えば、領域Ｅ２の容量が６４バイトで、１画素が１６ビットデータの場合には、各領域Ｅ２に補正画素位置が連続する３２画素分の画素が格納される。１伝送ブロックが６４画素で構成される場合には、領域Ｅ１，Ｅ２に格納されたアドレスが連続するサブブロック（一方のサブブロックの末尾の画素のアドレスが、他方のサブブロックの先頭の画素のアドレスと連続するサブブロック）同士を連結することで、伝送ブロックの画素が得られる。
【0085】
バッファコントローラ３１は、出力バッファ３３の領域Ｅ２毎に充填完了になったか否かを判定する。バッファコントローラ３１は、領域Ｅ２が充填完了となった場合において、当該領域Ｅ２に格納された画素と、この画素に補正画素位置が連続する画素を格納する領域Ｅ１に格納された画素とで、伝送ブロックの全データが格納される（以下、この場合も充填完了という）状態になると、これらの領域Ｅ１，Ｅ２に格納されている全画素、すなわち、補正画素位置が連続する伝送単位の複数の画素（伝送ブロックの全画素）をバス２３を介してＤＲＡＭ２４に転送して記憶させるようになっている。
【0086】
次に、図６及び図７を参照して本実施の形態における多層化された出力バッファ３２，３３によって出力バッファの利用効率を向上させることができる理由について説明する。図６は多層化されていない場合の出力バッファの書き込み及び読み出しを説明するための図、図７は多層化されている場合の出力バッファの書き込み及び読み出しを説明するための図である。
【0087】
説明を簡略化するために、前処理回路２からの画像が水平方向に１６画素であり、ＤＲＡＭ２４への伝送単位が４画素であるものとして、図６及び図７を説明する。図６及び図７は、撮像部２２の光学系の収差等の影響により破線で示すようなたる型歪が生じた結果、本来の画像の第１ラインの各画素が図６及び図７の画素ａ１～ａ４，ｂ１～ｂ４，…，ｄ１～ｄ４の位置に移動した画像として歪補正回路１に入力された例を示している。撮像部２２からの各画素はラスタスキャン順で歪補正回路１に入力され、入力された画素順で画像処理が行われて出力バッファへ出力される。
【0088】
図６は出力バッファが階層化されておらず伝送単位である４画素分の３つの領域Ｄ１～Ｄ３を有している例を示している。図６の例では、画素ａ１～ａ４，ｂ１～ｂ４，…，ｄ１～ｄ４の内、歪補正回路１に最初に入力される画素は画素ｄ１である。この画素ｄ１は出力バッファの例えば領域Ｄ３に格納される。第２ラインの左から３番目の画素ａ３及び画素ａ４が順次歪補正回路１に入力されて処理されると、処理後の画素ａ３，ａ４は領域Ｄ１の連続する位置に書き込まれる（ただし、領域Ｄ１のタグ情報に含まれるアドレスは、例えば、先頭画素ａ１のアドレスとなる）。次に、補正画素位置が連続する画素ｂ１～ｂ４が順次入力され、これらの補正画素位置が連続する画素ｂ１～ｂ４は、領域Ｄ２に順次格納される。領域Ｄ２が充填完了すると、領域Ｄ２に格納されている全ての画素が読み出されてＤＲＡＭに転送される。
【0089】
図６の太枠の画素まで処理が進んだ状態では、領域Ｄ２は充填完了後に転送されて空き状態となる一方、領域Ｄ１は第３ラインの左から１番目及び２番目の画素ａ１，ａ２の処理が行われるまで充填状態とはならず、また、領域Ｄ３は第３ラインの右から２番目の画素ｄ４の処理が行われるまで充填状態とはならない。すなわち、出力バッファに空きがあるにもかかわらず、これらの空き領域は利用されず、利用効率が低い状態である。
【0090】
図７は出力バッファを２段に多層化した例を示しており、出力バッファ３２に相当する領域Ｅ１ａ，Ｅ１ｂにより１段目出力バッファを構成し、出力バッファ３３に相当する領域Ｅ２ａ，Ｅ２ｂにより２段目出力バッファを構成した例を示している。領域Ｅ１ａ，Ｅ１ｂ，Ｅ２ａ，Ｅ２ｂは何れも２画素分の容量を有している。
【0091】
画素ａ１～ａ４，ｂ１～ｂ４，…，ｄ１～ｄ４の内、歪補正回路１に最初に入力される画素ｄ１は、１段目出力バッファの例えば領域Ｅ１ｂに格納される。第２ラインの左から３番目の画素ａ３及び画素ａ４が順次歪補正回路１に入力されて処理されると、処理後の画素ａ３，ａ４は領域Ｅ１ａの位置に書き込まれる。バッファコントローラ３１は領域Ｅ１ａが充填完了すると、領域Ｅ１ａに格納されているサブブロックの画素ａ３，ａ４を２段目出力バッファの例えば領域Ｅ２ａに転送して記憶させ、領域Ｅ１ａを空き状態とする。
【0092】
次に、補正画素位置が連続する画素ｂ１～ｂ４が順次入力される。先ず、画素ｂ１，ｂ２は、領域Ｅ１ａに書き込まれ、更にバッファコントローラ３１によって領域Ｅ２ｂに転送される。更に、バッファコントローラ３１は、空き領域Ｅ１ａに画素ｂ３，ｂ４を書き込む。バッファコントローラ３１は、２段目出力バッファを構成する領域Ｅ２ｂが充填完了すると共に、この領域Ｅ２ｂに格納されている画素に補正画素位置が連続する画素によって、１段目出力バッファの領域が充填完了すると、これらの２つの領域の画素、すなわち、領域Ｅ２ｂ，Ｅ１ａに格納されている伝送ブロックの全ての画素をバス２３を介してＤＲＡＭ２４に転送する。これにより、これらの領域Ｅ１ａ，Ｅ２ｂは空き領域となる。
【0093】
すなわち、図７の太枠に示す画素まで処理が進んでいる状態では、１段目出力バッファＥ１ａおよび２段目出力バッファＥ２ｂは空き領域となっており、次に歪補正処理が終了した画素の書き込みが可能となる。太枠に示す画素までの処理を、図６の例では合計出力バッファサイズ（４×３＝１２画素分）で行っていたが、図７の例では合計出力バッファサイズ（２×４＝８画素分）で行うことができる。従って、図７のバッファ回路の構成例は、図６のバッファ回路の構成例に比べて、出力バッファの利用効率が向上している。
【0094】
図６及び図７に示すようなたる型歪では、画像中央ほど歪が小さく、画像の四隅ほど歪が大きい。このため、画像中央近傍では、各画素は歪補正回路１への入力順と略同じ順で出力され、１段目バッファの各領域Ｅ１は充填速度が比較的高く、比較的短時間で充填完了する。逆に、画像四隅近傍では、各画素の歪補正回路１への入力順と出力順とは比較的大きく異なり、１段目バッファの各領域Ｅ１は充填速度が比較的遅く、充填完了するまでに比較的長時間を要する。
【0095】
このため、１段目バッファのバッファサイズを比較的小さくすることで、充填速度の速い画素位置の画素によるバッファ利用効率を高めると共に、充填速度の遅い画素位置の画素によるバッファ利用効率の低下を抑制することができる。これにより、合計バッファサイズを低減化し伝送効率を向上させることが可能である。なお、（１段目の出力バッファ３２の領域Ｅ１の数）≧（２段目の出力バッファ３３の領域Ｅ２の数）になるように構成した場合に、伝送効率をより向上させることもできる。３段以上で出力バッファを階層化する場合にも、好適となる場合がある。
【0096】
（評価の一例）
撮像部２２ａ，２２ｂの何れかの光学系として所定の魚眼レンズを採用した場合に、魚眼レンズを採用した撮像部２２ａまたは２２ｂからの画像を歪補正するのに必要な出力バッファの容量について、１段構成である場合と２段構成である場合とを比較する評価を行った。
撮像部２２ａ，２２ｂの何れかの光学系として所定の魚眼レンズを採用した場合に、魚眼レンズを採用した撮像部２２ａまたは２２ｂからの画像を歪補正するのに必要な出力バッファの容量について、１段構成である場合と２段構成である場合とを比較する評価を行った。
【0097】
バス２３を介してＤＲＡＭ２４への伝送単位である伝送ブロックサイズを１２８バイトに設定した場合についてシミュレーションを行い、図６のような１段構成の出力バッファと図７のような２段構成の出力バッファとについて、歪補正に必要な出力バッファ容量を求めた。なお、１画素は１６ビットデータとし、１伝送ブロックは６４画素の集合であるものとする。
【0098】
シミュレーションによると、出力バッファを１段で構成した場合には、歪補正のために、１伝送ブロック（１２８バイト）を記憶する領域（以下、エントリともいう）を１００１個有する出力バッファを用いる必要がある。すなわち、この場合の出力バッファサイズは１００１×１２８バイト＝１２５Ｋバイトとなる。
【0099】
これに対し、出力バッファを２段で構成した場合には、歪補正のために、１サブブロック（６４バイト）を記憶する領域（エントリ）Ｅ１を４４７個有する出力バッファ３２と、１サブブロック（６４バイト）を記憶する領域（エントリ）Ｅ２を２３２個有する出力バッファ３３とを用いればよい。この場合の出力バッファサイズは、４４７×６４バイト＋２３２×６４バイト＝４２Ｋバイトとなる。
【0100】
すなわち、この例では、出力バッファを多層化することにより、出力バッファの合計サイズを約１／３に低減可能である。なお、出力バッファの合計サイズを変更しないものとすると、出力バッファを多層化することにより伝送ブロックサイズを大きくすることができることになり、伝送効率を向上させることができる。
【0101】
このように、画像の位置によって歪の大きさが異なり、出力バッファの充填速度が異なるという性質を利用して、出力バッファを複数段に多層化し、各段のバッファ数（エントリ数）及びバッファサイズを適正な値とすることで、バッファメモリ容量を低減し伝送効率を向上させることが可能である。
【0102】
（撮像部２２ａ，２２ｂによる出力バッファ使用量の相違）
次に、図８は出力バッファの、撮像部２２ａ，２２ｂに応じた使用量の変化の一例を示すグラフである。
次に、図８は出力バッファの、撮像部２２ａ，２２ｂに応じた使用量の変化の一例を示すグラフである。
【0103】
上述したように、たる型歪の場合は画像の周辺部ほど歪みが大きくなるために、出力バッファの使用量が中央部よりも大きくなる。従って、画像の第１ラインや最終ライン付近では出力バッファの使用量が比較的大きく、画像の中央ライン付近では出力バッファの使用量が比較的小さい。
【0104】
このとき、撮像部［０］２２ａと撮像部［１］２２ｂの種類（例えば、レンズの画角、撮像素子の画素数など）が異なると、図８に示すように、出力バッファの使用量ピークとなるライン位置が撮像部２２ａ，２２ｂ毎に異なる場合がある。
【0105】
ここで、図８に示す例は、曲線Ｃ０がライン位置に対する撮像部［０］２２ａの出力バッファ使用量の変化の例を示し、曲線Ｃ１がライン位置に対する撮像部［１］２２ｂの出力バッファ使用量の変化の例を示している。
【0106】
図８の例では、撮像部［０］２２ａの出力ライン数が撮像部［１］２２ｂの出力ライン数よりも多く、撮像部［０］２２ａの出力バッファ使用量の最大値は撮像部［１］２２ｂの出力バッファ使用量の最大値よりも大きく、撮像部［０］２２ａの出力バッファ使用量の最小値は撮像部［１］２２ｂの出力バッファ使用量の最小値よりも小さくなっている。
【0107】
ここで仮に、出力バッファ回路３を、撮像部［０］２２ａ用と撮像部［１］２２ｂ用とで別々に設けたとすると、合計のバッファ容量は、撮像部［０］２２ａの出力バッファ使用量の最大値と、撮像部［１］２２ｂの出力バッファ使用量の最大値と、を合計した加算最大値以上の容量を確保する必要がある。
【0108】
これに対して、出力バッファ回路３を、撮像部［０］２２ａ用と撮像部［１］２２ｂ用とで共用する構成にした場合、曲線Ｃ０と曲線Ｃ１とを加算した合成曲線のピーク位置（合成最大値）をカバーするバッファ容量であれば足りることになる。そして、撮像部の種類が異なる場合は、一般的に、合成最大値は加算最大値よりも小さくなる。
【0109】
このような理由から、出力バッファの利用効率を向上して容量を低減するために、本実施の形態では、出力バッファ回路３を、撮像部［０］２２ａ用と撮像部［１］２２ｂ用とで共用する構成を採用している。このために、タグ情報に撮像部［０］２２ａと撮像部［１］２２ｂとを区別するためのカメラＩＤを付加している。
【0110】
図９は、出力バッファ内のサブブロックに付すタグ情報の例を示す図である。
上述したように、バッファコントローラ３１は、出力バッファＥ１，Ｅ２に格納されたサブブロック（block[0],block[1],…）に対して、特定画素（例えば、サブブロック内の先頭画素）のアドレス（address）と、伝送ブロックを含む画像を生成した撮像部２２ａ，２２ｂを識別するためのカメラＩＤ（camID）と、を含むタグ情報（tag[0],tag[1],…）を付す。
上述したように、バッファコントローラ３１は、出力バッファＥ１，Ｅ２に格納されたサブブロック（block[0],block[1],…）に対して、特定画素（例えば、サブブロック内の先頭画素）のアドレス（address）と、伝送ブロックを含む画像を生成した撮像部２２ａ，２２ｂを識別するためのカメラＩＤ（camID）と、を含むタグ情報（tag[0],tag[1],…）を付す。
【0111】
このとき、カメラＩＤが共通し、アドレスが連続する出力バッファＥ１のサブブロックと出力バッファＥ２のサブブロックとを連結して伝送ブロックを生成する際には、生成される伝送ブロックに含まれる特定画素（例えば、伝送ブロック内の先頭画素）のアドレスと、共通するカメラＩＤとを含むタグ情報を付する。
【0112】
また、出力バッファ回路３が３段以上の複数段で構成される場合にも、カメラＩＤが共通し、アドレスが連続する複数のサブブロックを連結して後段の出力バッファに格納する際には、連結により生成されるサブブロックに含まれる特定画素（例えば、サブブロック内の先頭画素）のアドレスと、共通するカメラＩＤとを含むタグ情報を付する。
【0113】
このように、アドレスに加えてカメラＩＤをタグ情報に含ませることで、１つの出力バッファ回路３に、撮像部［０］２２ａからの画素と、撮像部［１］２２ｂからの画素とを区分して蓄積することができる。
【0114】
上述したように、出力バッファ回路３は、図８を参照して説明したような、曲線Ｃ０と曲線Ｃ１とを加算した合成曲線のピーク位置（合成最大値）をカバーするバッファ容量を備えるように構成されている。しかし、合成最大値に対する余裕分を大きくするとバッファ容量の増大につながるために、余裕分はなるべく小さくすることが好ましい。
【0115】
実際の使用時においては、撮像部［０］２２ａから出力される画素の出力タイミングと、撮像部［１］２２ｂから出力される画素の出力タイミングとに、様々な要因による揺らぎが存在する。すると、設計時に見積もった合成曲線の合成最大値よりも高いピーク値が表れて、出力バッファがオーバフローしてしまう可能性が生じる。
【0116】
そこで、本実施の形態の画像処理装置２１では、出力バッファのオーバフローを事前に予測して、オーバフローが予測される場合には、入力バッファ回路であるＦＩＦＯ５に画素を一時的に保持することで、オーバフローを回避するようにしている。このための処理を、図１０を参照して説明する。
【0117】
図１０は、バッファコントローラ３１がオーバフローを監視して行う処理を示すフローチャートである。
【0118】
バッファコントローラ３１は、１回の動作サイクル毎（ただし、所定数の動作サイクル毎でも構わない）に、出力バッファ回路３内に設けられた出力バッファの使用率を算出する（ステップＳ１１）。
【0119】
次に、バッファコントローラ３１は、前回算出したバッファ使用率と、今回算出したバッファ使用率と（必要に応じて、さらには前回よりも以前に算出したバッファ使用率と）から、バッファ使用率の傾きを算出する（ステップＳ１２）。なお、ここではバッファ使用率の変化を１次近似で予測する場合を想定して傾きを算出したが、２次以上の近似で予測するようにしても構わない。
【0120】
続いて、バッファ使用率の傾きが正である（つまり、バッファ使用率が増加していることを示す）場合には、算出した傾きで現在のバッファ使用率が増加すると、何回の動作サイクルを経た後にバッファ使用率が１００％以上になる（つまり、オーバフローする）かをバッファコントローラ３１が予測する（ステップＳ１３）。
【0121】
そして、バッファコントローラ３１は、オーバフローするまでの動作サイクル数が、予め設定された所定サイクル以内であるか否かを判定する（ステップＳ１４）。
【0122】
ステップＳ１４において、所定サイクル以内であると判定した場合に、バッファコントローラ３１は待機信号（ready[0]信号）（指示信号）を入力コントローラ４へ送信する（ステップＳ１５）。上述したように、入力コントローラ４は、待機信号（ready[0]信号）（指示信号）を受信すると、撮像部２２から入力される画素を前処理回路２へ転送せずに、ＦＩＦＯ５に一旦蓄積する。
【0123】
このように、バッファコントローラ３１は、出力バッファ回路３の使用率を監視して、出力バッファ回路３のオーバフローが予測される場合に指示信号を入力コントローラ４へ出力する。入力コントローラ４は、指示信号に応じて、入力バッファ回路であるＦＩＦＯ５に複数の撮像部２２ａ，２２ｂからの入力をバッファリングさせ、遅延して画像処理回路（前処理回路２、歪補正回路１）へ出力するように制御する。
【0124】
また、ステップＳ１４において、所定サイクル以内でないと判定した場合に、バッファコントローラ３１は準備完了信号（ready[1]信号）を入力コントローラ４へ送信する（ステップＳ１６）。入力コントローラ４は、準備完了信号（ready[1]信号）を受信すると、ＦＩＦＯ５に画素の蓄積がある場合には、撮像部２２から入力される画素をＦＩＦＯ５に蓄積しながら、ＦＩＦＯ５から前処理回路２へ画素の出力を行う。また、入力コントローラ４は、準備完了信号（ready[1]信号）を受信すると、ＦＩＦＯ５に画素の蓄積がない場合には、撮像部２２から入力される画素を前処理回路２へ転送する。
【0125】
ステップＳ１５またはステップＳ１６の処理を行ったら、バッファコントローラ３１は、撮像部［０］２２ａからの画像と、撮像部［１］２２ｂからの画像との何れについても、全ての処理が済んで、この処理を終了するか否かを判定する（ステップＳ１７）。
【0126】
ステップＳ１７において、バッファコントローラ３１が処理を終了しないと判定した場合には、ステップＳ１１へ戻って、次の動作サイクルの処理を上述したように行う。一方、ステップＳ１７において、バッファコントローラ３１が処理を終了すると判定した場合には、この処理を終える。
【0127】
図１１及び図１２を参照して、出力バッファ回路３の動作を更に詳細に説明する。図１１は図１中のある段（２段構成の例では１段目）の出力バッファの動作を説明するための説明図、図１２は図１中の次の段（２段構成の例では２段目）の出力バッファの動作を説明するための説明図である。
【0128】
図１１は出力バッファ３２を示しており、［０］，［１］，…［ｉ］によって示す複数の（具体的には、（ｉ＋１）個の）領域Ｅ１（以下、これらの領域を区別する必要がある場合には領域Ｅ１［０］，Ｅ１［１］，…Ｅ１［ｉ］という）を備えている。複数の領域Ｅ１［０］，Ｅ１［１］，…Ｅ１［ｉ］は、それぞれがサブブロックの画素を記憶し、Ｎバイトの容量を各有している。各領域Ｅ１には、１つ以上の画素が記憶されることによって、上述したように、領域Ｅ１に格納されるサブブロック内の例えば先頭画素のアドレス（address）と、カメラＩＤ（camID）と、を含むタグ情報（tag）が付加される。
【0129】
それぞれの領域Ｅ１，Ｅ２には、同一の撮像部２２ａ，２２ｂから出力された補正画素位置（アドレス）が連続する一連の画素（サブブロックの画素）が記憶される。このために、タグ情報にサブブロック内の各画素のアドレスを含ませる必要はなく、特定画素（例えば、サブブロック内の先頭画素）のアドレス１つを含ませれば、サブブロック内の各画素のアドレスを特定することが可能となっている。
【0130】
図１２は出力バッファ３３を示しており、［０］，［１］，…［ｊ］によって示す複数の（具体的には、（ｊ＋１）個の）領域Ｅ２（以下、これらの領域を区別する必要がある場合には領域Ｅ２［０］，Ｅ２［１］，…Ｅ２［ｊ］という）を備えている。複数の領域Ｅ２［０］，Ｅ２［１］，…Ｅ２［ｊ］は、それぞれがサブブロックの画素を記憶し、Ｎバイトの容量を各有している。各領域Ｅ２には、出力バッファ３２から１つ以上の画素が転送されることによって、上述と同様に、領域Ｅ２に格納されるサブブロック内の例えば先頭画素のアドレス（address）と、カメラＩＤ（camID）と、を含むタグ情報（tag）が付加される。
【0131】
バッファコントローラ３１は、出力バッファ３２から出力バッファ３３への画素の転送をタグ情報により管理する。これにより、バッファコントローラ３１は、領域Ｅ１，Ｅ２に格納された、カメラＩＤが一致し、アドレスが連続する２つのサブブロックを連結して、より大きいサブブロックを生成し、または伝送ブロックを生成することができる。
【0132】
具体的に、連結される２つのサブブロックは、一方のサブブロックの末尾画素のアドレスと、他方のサブブロックの先頭画素のアドレスとが連続している。このとき、連結によって生成される新たなサブブロック（または、伝送ブロック）のアドレスは、前述した一方のサブブロックの先頭画素のアドレスとなる。
【0133】
例えば、伝送ブロックを構成する補正画素位置が連続する一連の画素ａ１，ａ２，…，ａｎ，ａｎ＋１，…，ａｍの内、先ず画素ａ１，ａ２，…，ａｎが出力バッファ３２の所定の領域Ｅ１に記憶されるものとする。この場合には、画素ａ１，ａ２，…，ａｎの例えば先頭画素ａ１に対応するアドレスと、カメラＩＤと、を含むタグ情報ｔａｇ０１が付加されて当該領域Ｅ１に記憶される。
【0134】
バッファコントローラ３１は、領域Ｅ１が充填完了すると、これらのサブブロックの画素ａ１，ａ２，…，ａｎを、タグ情報ｔａｇ０１と共に、出力バッファ３３の領域Ｅ２、例えば領域Ｅ２［１］に転送して記憶させる（図１２参照）。
【0135】
次に、画素ａ１，ａ２，…，ａｎにアドレスが連続する画素ａｎ＋１，…，ａｍが出力バッファ３２の領域Ｅ１、例えば、領域Ｅ１［０］に書き込まれるものとする（図１１参照）。この場合には、領域Ｅ１［０］には、領域Ｅ２［１］のタグ情報ｔａｇ０１に画像位置が連続することを示すタグ情報ｔａｇ０２（例えば先頭画素ａｎ＋１に対応するアドレスと、カメラＩＤと、を含むタグ情報ｔａｇ０２）が付加されて記憶される。
【0136】
画素ａｎ＋１，…，ａｍにより領域Ｅ１［０］が充填完了すると、バッファコントローラ３１は、タグ情報を利用して、出力バッファ３３の領域Ｅ２［１］と出力バッファ３２の領域Ｅ１［０］とに格納されている伝送ブロック（ここでは２段構成の例を説明しているために、２つのサブブロックを連結すると伝送ブロックが生成される）の画素、すなわち、カメラＩＤが一致し、アドレスが連続する一連の画素ａ１，ａ２，…，ａｎ，ａｎ＋１，…，ａｍを読み出して、バス２３を介してＤＲＡＭ２４に転送する。
【0137】
この場合には、バッファコントローラ３１は、画素ａ１，ａ２，…，ａｎ，ａｎ＋１，…，ａｍに含まれる特定画素（例えば、先頭画素）の画像位置に対応するアドレスと、カメラＩＤと、を含むタグ情報（例えば先頭画素ａ１に対応するアドレスと、ｔａｇ０１およびｔａｇ０２に共通するカメラＩＤと、を含むタグ情報）ｔａｇ［０］を伝送ブロックに付加する。
【0138】
ＣＰＵ２５は、タグ情報ｔａｇ［０］を参照して、伝送ブロックを、カメラＩＤに応じたＤＲＡＭ２４のメモリ［０］２４ａまたはメモリ［１］２４ｂ内の、アドレスに応じた位置に記憶させる。
【0139】
なお、図１１及び図１２は、領域Ｅ１，Ｅ２に格納するサブブロックのサイズ（容量）は何れもＮバイト（ｎ個の画素）の例を示しており、伝送ブロックサイズＭ＝２Ｎであり、ｍ＝２ｎである。しかし、領域Ｅ２に格納したＮバイト（ｎ画素）のサブブロックと、領域Ｅ１に格納したＮバイトよりも小さいサブブロックによって構成される伝送ブロックの画素を伝送することも可能であり、この場合には、Ｍ≧Ｎとなる。
【0140】
また、図１１及び図１２を用いた説明では、２段目の出力バッファ３３には転送されたサブブロックに対応して付加されたタグ情報が記憶されるとしたが、この出力バッファ３３に記憶されたサブブロックとこれに対応する１段目の出力バッファ３２に記憶されたサブブロックとの画像上の位置関係が明確である場合には、出力バッファ３３には伝送ブロックに対応した画像位置を示すタグ情報を記憶させるようになっていてもよい。
【0141】
（実装例）
図１３は、出力バッファ回路３の実装例を説明するための図である。なお、図１３では、［ｙ：ｘ］の表記によって、下位側の第ｘビットから上位側の第ｙビットのビット範囲のデータであることを示す。また、図１３に示す各段のエントリ数は例であり、図示の数に限定されるものではなく、歪曲収差や倍率色収差などに応じて必要となる適宜の数に設定すればよい。図１３に示す書き込み及び読み出し制御は、図５に示したバッファコントローラ３１によって実現される。
図１３は、出力バッファ回路３の実装例を説明するための図である。なお、図１３では、［ｙ：ｘ］の表記によって、下位側の第ｘビットから上位側の第ｙビットのビット範囲のデータであることを示す。また、図１３に示す各段のエントリ数は例であり、図示の数に限定されるものではなく、歪曲収差や倍率色収差などに応じて必要となる適宜の数に設定すればよい。図１３に示す書き込み及び読み出し制御は、図５に示したバッファコントローラ３１によって実現される。
【0142】
出力バッファ回路３への入力画素は、Ｇ，Ｂ，Ｒの成分ｉ＿ｇ＿ｐｉｘ［１５：０］，ｉ＿ｂ＿ｐｉｘ［１５：０］，ｉ＿ｒ＿ｐｉｘ［１５：０］の各１６ビットのデータである。そして、入力画素は、水平方向の補正画素位置を示す１３ビットの水平アドレスｉ＿ｈ［１２：０］及び垂直方向の補正画素位置を示す１２ビットの垂直アドレスｉ＿ｖ［１１：０］と、カメラＩＤと、を有する。
【0143】
図１３に示す例では、出力バッファ回路３に、１段目バッファL2ISP_wbuf1～６段目バッファL2ISP_wbuf6が設けられている。
【0144】
１段目バッファL2ISP_wbuf1には、２バイトのＧ，Ｂ，Ｒ各成分のデータ（１画素分）が２７６エントリ分格納される。具体的に、１エントリには、２バイトのＧ成分のデータと、２バイトのＢ成分のデータと、２バイトのＲ成分のデータと、が画素値として格納される。１段目バッファL2ISP_wbuf1のタグには、１２ビットの水平アドレスｉ＿ｈ［１２：１］及び３ビットの垂直アドレスｉ＿ｖ［２：０］と、カメラＩＤとが格納される。１段目バッファL2ISP_wbuf1のエントリにサブブロックが充填完了すると、１段目バッファL2ISP_wbuf1から２段目バッファL2ISP_wbuf2へ転送される。
【0145】
２段目バッファL2ISP_wbuf2には４バイトのＧ，Ｂ，Ｒ各成分のデータ（２画素分）が２６０エントリ分格納される。２段目バッファL2ISP_wbuf2のタグには、１１ビットの水平アドレスｉ＿ｈ［１２：２］及び３ビットの垂直アドレスｉ＿ｖ［２：０］と、カメラＩＤとが格納される。２段目バッファL2ISP_wbuf2は、１段目バッファL2ISP_wbuf1から転送されたデータを、カメラＩＤが一致し、アドレスが連続するエントリへ格納する。２段目バッファL2ISP_wbuf2のエントリにサブブロックが充填完了すると、２段目バッファL2ISP_wbuf2から３段目バッファL2ISP_wbuf3へ転送される。
【0146】
３段目バッファL2ISP_wbuf3には８バイトのＧ，Ｂ，Ｒ各成分のデータ（４画素分）が２６３エントリ分格納される。３段目バッファL2ISP_wbuf3のタグには、１０ビットの水平アドレスｉ＿ｈ［１２：３］及び３ビットの垂直アドレスｉ＿ｖ［２：０］と、カメラＩＤとが格納される。３段目バッファL2ISP_wbuf3は、２段目バッファL2ISP_wbuf2から転送されたデータを、カメラＩＤが一致し、アドレスが連続するエントリへ格納する。３段目バッファL2ISP_wbuf3のエントリにサブブロックが充填完了すると、３段目バッファL2ISP_wbuf3から４段目バッファL2ISP_wbuf4へ転送される。
【0147】
４段目バッファL2ISP_wbuf4には１６バイトのＧ，Ｂ，Ｒ各成分のデータ（８画素分）が２６３エントリ分格納される。４段目バッファL2ISP_wbuf4のタグには、９ビットの水平アドレスｉ＿ｈ［１２：４］及び４ビットの垂直アドレスｉ＿ｖ［３：０］と、カメラＩＤとが格納される。４段目バッファL2ISP_wbuf4は、３段目バッファL2ISP_wbuf3から転送されたデータを、カメラＩＤが一致し、アドレスが連続するエントリへ格納する。４段目バッファL2ISP_wbuf4のエントリにサブブロックが充填完了すると、４段目バッファL2ISP_wbuf4から５段目バッファL2ISP_wbuf5へ転送される。
【0148】
５段目バッファL2ISP_wbuf5には３２バイトのＧ，Ｂ，Ｒ各成分のデータ（１６画素分）が２５４エントリ分格納される。５段目バッファL2ISP_wbuf5のタグには、８ビットの水平アドレスｉ＿ｈ［１２：５］及び５ビットの垂直アドレスｉ＿ｖ［４：０］と、カメラＩＤとが格納される。５段目バッファL2ISP_wbuf5は、４段目バッファL2ISP_wbuf4から転送されたデータを、カメラＩＤが一致し、アドレスが連続するエントリへ格納する。５段目バッファL2ISP_wbuf5のエントリにサブブロックが充填完了すると、５段目バッファL2ISP_wbuf5から６段目バッファL2ISP_wbuf6へ転送される。
【0149】
６段目バッファL2ISP_wbuf6には６４バイトのＧ，Ｂ，Ｒ各成分のデータ（３２画素分）が２４８エントリ分格納される。６段目バッファL2ISP_wbuf6のタグには、７ビットの水平アドレスｉ＿ｈ［１２：６］及び５ビットの垂直アドレスｉ＿ｖ［４：０］と、カメラＩＤとが格納される。６段目バッファL2ISP_wbuf6は、５段目バッファL2ISP_wbuf5から転送されたデータを、カメラＩＤが一致し、アドレスが連続するエントリへ格納する。
【0150】
上記のように、第１段から第６段へ移行するにつれて、アドレスが連続する画素数が増えるために、タグには水平アドレスの下位ビットから順に格納不要となり、上位ビットだけを格納すれば足りるようになる。また、アドレスが連続する画素数が増えるにつれて歪みが大きくなるために、第１段から第６段へ移行するにつれて垂直アドレスのビット数を適宜増加させている。
【0151】
そして、充填完了した各段のエントリに、アドレスが連続する１２８バイトのデータがある場合に、各段のエントリのデータを連結する。例えば、第６段の充填完了した２つのエントリに、アドレスが連続する６４バイトのデータが２つある場合には、バッファコントローラ３１は、これらを連結してアドレスが連続する１２８バイトのデータを生成する。また例えば、第６段の充填完了した１つのエントリに６４バイトのデータが１つあり、第５段の充填完了した２つのエントリに３２バイトのデータが２つあって、これらのアドレスが連続している場合に、バッファコントローラ３１は、１つの６４バイトデータと２つの３２バイトデータを連結して、アドレスが連続する１２８バイトのデータを生成する。
【0152】
こうして生成したアドレスが連続する１２８バイトのデータに、アドレスとカメラＩＤとを含むタグ情報を付加して、バッファコントローラ３１が伝送ブロックを生成する。生成した伝送ブロックは、出力バッファ回路３から、バス２３を経由してＤＲＡＭ２４へ伝送される。伝送ブロックは、上述したように、タグ情報に示されるカメラＩＤに応じたＤＲＡＭ２４のメモリ［０］２４ａまたはメモリ［１］２４ｂ内の、タグ情報に示されるアドレスに応じた位置に記憶される。
【0153】
なお、上述では図１３を参照して１画素が１６ビットデータである例を説明したが、１画素が８ビットデータである場合には、図１３の出力バッファ回路３内の上段に示すように、０段目バッファL2ISP_wbuf0を追加して、１バイトのＧ，Ｂ，Ｒ各成分のデータ（１画素分）を２７６エントリ分格納すればよい。具体的に、１エントリには、１バイトのＧ成分のデータと、１バイトのＢ成分のデータと、１バイトのＲ成分のデータと、が画素値として格納される。０段目バッファL2ISP_wbuf0のタグには、１２ビットの水平アドレスｉ＿ｈ［１２：１］及び３ビットの垂直アドレスｉ＿ｖ［２：０］と、カメラＩＤとが格納される。
【0154】
０段目バッファL2ISP_wbuf0のエントリにサブブロックが充填完了すると、０段目バッファL2ISP_wbuf0から１段目バッファL2ISP_wbuf1へ転送される。そして、１段目バッファL2ISP_wbuf1の１エントリには、アドレスが連続する２画素分のデータが格納されることになる。１画素が８ビットデータである場合には、その後の各段の１エントリに格納される画素数も、１６ビットデータである場合の２倍となる。
【0155】
また、ＹＵＶ４２２プレーナーフォーマットを採用した場合には、ＵＶ画素（ｂｒ）の出力データ幅はＹ画素（ｇ）の半分になる。従って、Ｙ画素は１２８バイトの伝送ブロックで出力されるが、ＵＶ画素はそれぞれ６４バイトの伝送ブロックで出力される。
【0156】
こうして、出力バッファ回路３は、２段以上に階層化された複数の出力バッファを含み、ある段の出力バッファに記憶したサブブロック内の全ての画素が揃ってから、次の段の出力バッファに転送することを順次行い、最終段の出力バッファを含む１段以上の出力バッファの全ての画素が揃った複数のブロックを連結して伝送ブロックを生成する。そして、バッファコントローラ３１は、伝送ブロックに含まれる特定画素のアドレスと、カメラＩＤと、を含むタグ情報を付して、出力バッファ回路３に伝送ブロックを出力させる。
【0157】
このような第１の実施形態によれば、複数の撮像部２２ａ，２２ｂにより生成された複数の画像を、入力コントローラ４が１ライン毎に入力する画像を切り替えて１ライン毎に入力し、パイプライン処理により画像処理回路（前処理回路２、歪補正回路１）で画像処理するようにしたために、撮像部と同一数の画像処理回路を設ける必要がなくなり、回路規模を縮小して消費電力及びコストの削減を図ることができる。
【0158】
さらに、出力バッファ回路３が格納するブロックにアドレスとカメラＩＤとを含むタグ情報を付すようにしたために、出力バッファ回路３が、複数の撮像部２２ａ，２２ｂにより生成された複数の画像をバッファリングすることが可能となる。これにより、出力バッファ回路３の利用効率を向上することができ、撮像部と同一数の出力バッファ回路３を設ける必要がなくなって、回路規模を縮小し消費電力及びコストの削減を図ることができる。
【0159】
また、出力バッファ回路３が、画像の画素を、一の画像内における画素位置が連続する画素の集合である伝送ブロック毎に出力するようにしたために、より小さいブロック単位（例えば１画素毎に）で出力する場合に比べて、伝送効率を向上することができる。
【0160】
そして、伝送ブロックにアドレスとカメラＩＤとを含むタグ情報を付すようにしたために、ＤＲＡＭ２４内における画像毎の適切な記憶領域の適切なアドレスに、伝送ブロックを記憶させることができる。
【0161】
出力バッファ回路３の使用率を監視してオーバフローが予測される場合に、複数の撮像部２２ａ，２２ｂからの入力を入力バッファ回路であるＦＩＦＯ５にバッファリングするようにしたために、複数の撮像部２２ａ，２２ｂからの入力のタイミングに揺らぎがある場合でも、処理漏れを生じることなく画像処理回路（前処理回路２、歪補正回路１）により処理することができる。
【0162】
画像処理回路が、複数の画像の歪みを補正する歪補正回路１を含むために、広角レンズが採用された撮像部を複数有する例えば車載カメラ等のコスト削減にも好適となる。
【0163】
入力バッファ回路であるＦＩＦＯ５を、複数の撮像部２２ａ，２２ｂから入力されるＲＡＷ画像をデモザイキング処理してＲＧＢ画像を生成する前処理回路２よりも前段側に設けたために、ＦＩＦＯ５は、一般的に、ＲＧＢ画像よりもデータ量が小さいＲＡＷ画像をバッファリングすれば足りる。このために、ＦＩＦＯ５を前処理回路２よりも後段側に設けた場合よりも、バッファ容量を低減することができる。
【0164】
出力バッファ回路３を２段以上に階層化したために、合計バッファサイズを低減して、伝送効率を向上させることができる。このとき、各段のサブブロックに、アドレスと、カメラＩＤと、を含むタグ情報を付すようにしたために、複数の撮像部２２からの画像を、何れの段においても適切に区別して格納することができる。
【0165】
（第２の実施形態）
図１４は、第２の実施形態に係わる画像処理システムの構成を、一部を省略して示すブロック図である。
この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点について説明する。
図１４は、第２の実施形態に係わる画像処理システムの構成を、一部を省略して示すブロック図である。
この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点について説明する。
【0166】
なお、図１４では簡略化のために図示を省略しているが、画像処理システムは、図１の画像処理システムと同様に、ＣＰＵ２５を備えている。また、第２の実施形態の画像処理装置２１Ａは、図１の画像処理装置２１と同様に、入力コントローラ４、ＦＩＦＯ５、及び前処理回路２を備えている。そして、図１０を参照して説明したように、バッファコントローラ３１が所定サイクル以内のオーバフローを予測すると、待機信号（ready[0]信号）（指示信号）を入力コントローラ４へ送信して、撮像部２２から入力されるＦＩＦＯ５にバッファリングするのも上述した第１の実施形態と同様である。
【0167】
第２の実施形態の画像処理装置２１Ａは、画像処理回路として、領域処理回路６をさらに備えている。領域処理回路６は、一の画像内における複数の着目領域の処理を行う回路であり、歪補正回路１と出力バッファ回路３との間に設けられている。複数の着目領域の一例としては、ある撮像部、例えば撮像部２２ａにより取得された画像に対して、画像全体を１つの着目領域とし、画像の中央部の部分領域を他の１つの着目領域とすることが挙げられる。ただし、この例に限定されるものではなく、画像の任意の領域を着目領域とすることができる。
【0168】
図１４には、領域処理回路６が１つの画像に対して２つの領域処理を行う例を示している。具体的に、領域処理回路６は、１つの画像におけるある領域［０］を処理する領域処理回路［０］６ａと、同画像における他の領域［１］を処理する領域処理回路［１］６ｂと、を備えている。
【0169】
領域処理回路［０］６ａは、歪補正回路１により歪み補正された画素がある領域［０］に含まれる画素である場合に処理を行って、領域［０］に係る画素であることを示す領域ＩＤと共に出力バッファ回路３へ出力する。
【0170】
領域処理回路［１］６ｂは、歪補正回路１により歪み補正された画素が他の領域［１］に含まれる画素である場合に処理を行って、領域［１］に係る画素であることを示す領域ＩＤと共に出力バッファ回路３へ出力する。
【0171】
なお、歪補正回路１により歪み補正された画素は、ある領域［０］だけに含まれる場合と、他の領域［１］だけに含まれる場合と、ある領域［０］と他の領域［１］との両方に含まれる場合と、ある領域［０］と他の領域［１］との何れにも含まれない場合と、がある。そして、ある領域［０］と他の領域［１］との両方に含まれる場合には、領域処理回路［０］６ａと領域処理回路［１］６ｂとの両方から、その画素がそれぞれの領域ＩＤと共に出力バッファ回路３へ個別に出力される。
【0172】
出力バッファ回路３は、２段以上に階層化されている各段のエントリにサブブロックを記憶する際に、アドレス（address）と、カメラＩＤ（camID）と、着目領域を識別するための領域ＩＤ（roiID）と、を含むタグ情報を付して記憶する。
【0173】
図１５は、出力バッファ内のサブブロックに付すタグ情報の例を示す図である。
図示のように、サブブロック（block[0],block[1],…）のそれぞれに、タグ情報（tag[0],tag[1],…）が付されており、タグ情報は、アドレス（address）と、カメラＩＤ（camID）と、領域ＩＤ（roiID）とを含んでいる。
図示のように、サブブロック（block[0],block[1],…）のそれぞれに、タグ情報（tag[0],tag[1],…）が付されており、タグ情報は、アドレス（address）と、カメラＩＤ（camID）と、領域ＩＤ（roiID）とを含んでいる。
【0174】
そして、バッファコントローラ３１は、サブブロックから伝送ブロックを生成すると、アドレス（address）と、カメラＩＤ（camID）と、領域ＩＤ（roiID）と、を含むタグ情報を付して、バス２３を経由しＤＲＡＭ２４へ伝送する。
【0175】
カメラＩＤが撮像部［０］２２ａからの画像であり、領域ＩＤがある領域［０］の画像であることを示す場合には、ＣＰＵ２５の制御により、ＤＲＡＭ２４は、記憶領域であるメモリ［０，０］２４ａ１に伝送ブロックを記憶する。
【0176】
カメラＩＤが撮像部［０］２２ａからの画像であり、領域ＩＤが他の領域［１］の画像であることを示す場合には、ＣＰＵ２５の制御により、ＤＲＡＭ２４は、記憶領域であるメモリ［０，１］２４ａ２に伝送ブロックを記憶する。
【0177】
カメラＩＤが撮像部［１］２２ｂからの画像であり、領域ＩＤがある領域［０］の画像であることを示す場合には、ＣＰＵ２５の制御により、ＤＲＡＭ２４は、記憶領域であるメモリ［１，０］２４ｂ１に伝送ブロックを記憶する。
【0178】
カメラＩＤが撮像部［１］２２ｂからの画像であり、領域ＩＤが他の領域［１］の画像であることを示す場合には、ＣＰＵ２５の制御により、ＤＲＡＭ２４は、記憶領域であるメモリ［１，１］２４ｂ２に伝送ブロックを記憶する。
【0179】
ここに、メモリ［０，０］２４ａ１、メモリ［０，１］２４ａ２、メモリ［１，０］２４ｂ１、及びメモリ［１，１］２４ｂ２内における記憶アドレスが、タグ情報のアドレスに基づきＣＰＵ２５により制御されることは、第１の実施形態と同様である。
【0180】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、複数の画像の内の少なくとも１つの画像に対して、複数の着目領域の処理を行う場合に、バッファコントローラ３１が、着目領域を識別するための領域ＩＤをさらに含むタグ情報をサブブロックに付すようにしたために、出力バッファ回路３が、複数の着目領域の画素をバッファリングすることが可能となる。これにより、出力バッファ回路３の利用効率を向上することができ、着目領域の数と同じ数の出力バッファ回路３を設ける必要がなくなって、回路規模を縮小し消費電力及びコストの削減を図ることができる。
【0181】
また、バッファコントローラ３１が、着目領域を識別するための領域ＩＤをさらに含むタグ情報を伝送ブロックに付すようにしたために、ＤＲＡＭ２４内における画像毎かつ着目領域毎の適切な記憶領域の、適切なアドレスに、伝送ブロックを記憶させることができる。
【0182】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0183】
１…歪補正回路、２…前処理回路、３…出力バッファ回路、４…入力コントローラ、５…ＦＩＦＯ、６…領域処理回路、１１…ラインバッファ、１２…書き込み画素位置計算部、１３…読み出し画素位置計算部、１４…書き込み画素位置判定部、１５…パラメータ格納部、１６…画素補間部、２１，２１Ａ…画像処理装置、２２…撮像部、２３…バス、２４…ＤＲＡＭ、２５…ＣＰＵ、３１…バッファコントローラ、３２，３３…出力バッファ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】