特許 7218260 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-27

(45)【発行日】2023-02-06

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230130BHJP

【ＦＩ】

H04N5/232

H04N5/232 290

【請求項の数】 4

(21)【出願番号】P 2019156589

(22)【出願日】2019-08-29

(65)【公開番号】P2021034997

(43)【公開日】2021-03-01

【審査請求日】2021-09-16

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317011920

【氏名又は名称】東芝デバイス＆ストレージ株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】羽田 隆二

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１３－２１４９５２（ＪＰ，Ａ）

【文献】特開２００４－０２３３９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

ｎ（ｎ≧２）個のカメラ各々から得られた画素データを用い、前記ｎ個のカメラ各々に対応するフレーム画像データを生成するように構成された画像処理装置であって、
前記ｎ個のカメラ各々に対応するｎ個のバッファ回路を備え、前記ｎ個のカメラ各々から順次出力される画素データを蓄積するバッファ部と、
前記バッファ部に含まれる一のバッファ回路に蓄積された一のラインの画素データ群をライン画像データとして読み込むとともに、当該読み込んだライン画像データに対して画像処理を施して得られたデータを用いて前記ｎ個のカメラのうちの一のカメラに対応する前記フレーム画像データを生成する演算部と、
前記ｎ個のカメラのうちの所定のカメラから出力される画素データを前記ｎ個のバッファ回路のうちの所定のバッファ回路に蓄積させるための制御を行うとともに、前記演算部が読み込む前記ライン画像データの基となる画素データの読み込み先を、前記画像処理が施されていない画素データが蓄積されている各バッファ回路のうちのいずれかに選択的に設定するための制御を行う制御部と、
を有し、
前記制御部は、前記ｎ個のカメラ各々に設けられたイメージセンサにおける水平方向の１ライン分の画素群から画素データを得るために要する時間をデータ取得期間とした場合に、前記ｎ個のカメラの中で最も長いデータ取得期間内において、前記ライン画像データの基となる画素データの読み込み先を、前記バッファ部に含まれるとともに前記一のバッファ回路とは異なる他のバッファ回路へ切り替えるための制御を行う
ことを特徴とする画像処理装置。

【請求項2】

前記制御部は、前記ｎ個のカメラ各々に対応する前記フレーム画像データの画像サイズに基づき、前記ｎ個のカメラ各々における前記データ取得期間の長さを推定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記制御部は、前記データ取得期間の長さを一定の長さに揃えるための同期信号を生成して前記ｎ個のカメラ各々へ出力する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記演算部は、前記画像処理として歪補正処理を行う
ことを特徴とする請求項１に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置に関する。

【背景技術】

【0002】

運転支援システム及び監視カメラシステム等のような、多数のカメラを用いて構成されたシステムが従来知られている。

【0003】

前述の多数のカメラを用いて構成されたシステムにおいては、当該多数のカメラ各々から出力されるデータに対して現像処理等の画像処理を施すために用いられる回路の規模がカメラの総数に応じて増大してしまう、という問題点が生じている。

【先行技術文献】

【特許文献】

【0004】

【文献】日本国特開２００３－１５８６５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

実施形態は、多数のカメラ各々から出力されるデータに対して画像処理を施すために用いられる回路の規模の増大を抑制することが可能な画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の画像処理装置は、ｎ（ｎ≧２）個のカメラ各々から得られた画素データを用い、前記ｎ個のカメラ各々に対応するフレーム画像データを生成するように構成されている。前記画像処理装置は、バッファ部と、演算部と、制御部と、を有する。前記バッファ部は、前記ｎ個のカメラ各々に対応するｎ個のバッファ回路を備え、前記ｎ個のカメラ各々から順次出力される画素データを蓄積する。前記演算部は、前記バッファ部に含まれる一のバッファ回路に蓄積された一のラインの画素データ群をライン画像データとして読み込むとともに、当該読み込んだライン画像データに対して画像処理を施して得られたデータを用いて前記ｎ個のカメラのうちの一のカメラに対応する前記フレーム画像データを生成する。前記制御部は、前記ｎ個のカメラのうちの所定のカメラから出力される画素データを前記ｎ個のバッファ回路のうちの所定のバッファ回路に蓄積させるための制御を行うとともに、前記演算部が読み込む前記ライン画像データの基となる画素データの読み込み先を、前記画像処理が施されていない画素データが蓄積されている各バッファ回路のうちのいずれかに選択的に設定するための制御を行う。更に、前記制御部は、前記ｎ個のカメラ各々に設けられたイメージセンサにおける水平方向の１ライン分の画素群から画素データを得るために要する時間をデータ取得期間とした場合に、前記ｎ個のカメラの中で最も長いデータ取得期間内において、前記ライン画像データの基となる画素データの読み込み先を、前記バッファ部に含まれるとともに前記一のバッファ回路とは異なる他のバッファ回路へ切り替えるための制御を行う。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。

【図2】複数のカメラを乗用車に設けた場合の例を説明するための図。

【図3】カメラに設けられたイメージセンサの構成の一例を説明するための図。

【図4】第１の実施形態に係る画像処理装置の具体的な動作の一例を説明するための図。

【図5】第２の実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。

【図6】第２の実施形態に係る画像処理装置の具体的な動作の一例を説明するための図。

【発明を実施するための形態】

【0008】

以下、実施形態について、図面を参照しつつ説明を行う。

【0009】

（第１の実施形態）
図１から図４は、第１の実施形態に係るものである。

【0010】

画像処理システム１０１は、例えば、図１に示すように、撮像部１と、画像処理装置２と、記憶部３と、を有して構成されている。図１は、第１の実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図である。

【0011】

撮像部１は、例えば、互いに異なる画角及び／または有効画素数を有するｎ（ｎ≧２）個のカメラＣＭ１、ＣＭ２、…、ＣＭｎを備えて構成されている。

【0012】

具体的には、例えば、図２に示すような乗用車ＣＪの運転を支援するために画像処理システム１０１が用いられる場合には、撮像部１を構成するカメラとして、当該乗用車ＣＪの前方を撮像するための画角ＦＶを有するフロントカメラと、当該乗用車ＣＪの後方を撮像するための画角ＢＶを有するバックカメラと、当該乗用車ＣＪの左側方を撮像するための画角ＬＶを有する左サイドカメラと、当該乗用車ＣＪの右側方を撮像するための画角ＲＶを有する右サイドカメラと、を含む少なくとも４つのカメラが設けられていればよい。図２は、複数のカメラを乗用車に設けた場合の例を説明するための図である。

【0013】

撮像部１の各カメラは、ＣＭＯＳセンサ等のイメージセンサを有して構成されている。また、撮像部１の各カメラは、イメージセンサの撮像面上に格子状に配置された各画素からラスタスキャン順に得られた画素データを画像処理装置２へ順次出力するように構成されている。また、撮像部１の各カメラは、イメージセンサにおける一のラインに属する画素群（水平方向の１ライン分の画素群）からの画素データの取得を開始するタイミングを示す水平同期信号を画像処理装置２へ出力するように構成されている。

【0014】

ここで、撮像部１に含まれるｎ個のカメラのうちの１つをカメラＣＭｉ（ｉ＝１、２、…、ｎ）とした場合、当該カメラＣＭｉに設けられたイメージセンサＩＭｉの撮像面上には、例えば、図３に示すように、画素データの取得対象となる画素群を有する有効画素領域ＶＰＡと、当該有効画素領域ＶＰＡに隣接する位置に配置されているとともに当該画素データの読み出し等を行うための回路を有する回路領域ＣＰＡと、が設けられている。図３は、カメラに設けられたイメージセンサの構成の一例を説明するための図である。

【0015】

有効画素領域ＶＰＡには、水平方向の有効画素数ＨＳＩＺＥｉと、垂直方向の有効画素数ＶＳＩＺＥｉと、を乗じた個数の画素を有する有効画素群が設けられている。また、有効画素領域ＶＰＡに設けられた水平方向の１ライン分の有効画素群ＶＰＬを１画素ずつスキャンすることにより、後述のライン画像データの基となる画素データ群を得ることができる。

【0016】

画像処理装置２は、例えば、１つ以上のプロセッサと、記憶回路と、を有する集積回路として構成されている。また、画像処理装置２は、撮像部１からラスタスキャン順に出力される画素データを蓄積し、当該蓄積した画素データに対して画像処理を施すことによりフレーム画像データ（後述）を生成し、当該生成したフレーム画像データを記憶部３へ出力するように構成されている。換言すると、画像処理装置２は、撮像部１に含まれるｎ個のカメラ各々に設けられたイメージセンサに含まれる各画素からラスタスキャン順に得られた画素データを用い、当該ｎ個のカメラ各々に対応するフレーム画像データを生成するように構成されている。また、画像処理装置２は、例えば、図１に示すように、セレクタ２１と、撮像部１に含まれるｎ個のカメラ各々に対応するｎ個のバッファ回路ＢＦ１、ＢＦ２、…、ＢＦｎを備えたバッファ部２２と、演算部２３と、パラメータ格納部２４と、制御部２５と、を有して構成されている。

【0017】

セレクタ２１は、制御部２５から出力される制御信号に応じ、カメラＣＭｉからラスタスキャン順に出力される画素データを、バッファ部２２に含まれるｎ個のバッファ回路のうちの１つに相当するバッファ回路ＢＦｉに書き込むための動作を行うように構成されている。また、セレクタ２１は、撮像部１の各カメラから出力される水平同期信号を制御部２５へ転送するように構成されている。

【0018】

バッファ部２２は、撮像部１に含まれるｎ個のカメラ各々から順次出力される画素データを蓄積するように構成されている。

【0019】

バッファ部２２の各バッファ回路は、例えば、ＳＲＡＭを有して構成されている。また、バッファ部２２の各バッファ回路は、入力ラインバッファ及び中間バッファを含む回路として構成されている。

【0020】

バッファ部２２のバッファ回路ＢＦｉは、カメラＣＭｉにより得られた画素データを時系列に蓄積することができるように構成されている。また、バッファ部２２のバッファ回路ＢＦｉは、カメラＣＭｉの有効画素数、及び、カメラＣＭｉにより得られた画素データに対して施される画像処理の処理内容等に応じて予め設定されたバッファサイズＢＵＦ＿ＲＥＱｉを有して構成されている。

【0021】

バッファ部２２は、ｎ個のバッファ回路によるバッファサイズの総和が下記数式（１）を用いて算出されるバッファサイズＢＵＦ＿ＳＵＭになるように構成されている。

【0022】

上記数式（１）のＭＡＸ＿ＨＳＩＺＥは、撮像部１に含まれるｎ個のカメラ各々における水平方向の有効画素数のうちの最大の画素数を表している。また、上記数式（１）のＨＳＩＺＥｉは、カメラＣＭｉにおける水平方向の有効画素数を表している。

【0023】

そのため、例えば、水平方向の有効画素数が４０００画素であるとともに垂直方向の有効画素数が２０００画素であるカメラＣＭ１と、水平方向の有効画素数が２０００画素であるとともに垂直方向の有効画素数が１０００画素であるカメラＣＭ２と、が撮像部１に含まれている場合には、バッファ部２２のバッファサイズを下記数式（２）により算出されるサイズに設定すればよい。

【0024】

演算部２３は、例えば、演算回路を有して構成されている。また、演算部２３は、制御部２５から出力される制御信号に応じ、バッファ部２２に含まれるバッファ回路ＢＦｉに蓄積された一のラインの画素データ群をライン画像データとして読み込み、当該読み込んだライン画像データに対して画像処理を施すように構成されている。そして、演算部２３は、前述の画像処理によって得られたデータを用いてカメラＣＭｉに対応するフレーム画像データを生成し、当該生成したフレーム画像データを記憶部３へ出力するように構成されている。前述のフレーム画像データは、カメラＣＭｉに設けられたイメージセンサの有効画素数と同数の画素を含む１つの画像（１フレーム分の画像）として生成される。

【0025】

なお、本実施形態の演算部２３は、現像処理及び歪補正処理を含む少なくとも２つの処理を画像処理として行うように構成されているものとする。また、本実施形態の演算部２３は、前述の２つの処理に加え、例えば、色補正処理及びガンマ補正処理のうちの少なくとも１つの処理を画像処理としてさらに行うように構成されていてもよい。

【0026】

演算部２３は、フレーム画像データの画像サイズ等に応じて予め設定された動作周波数で動作するように構成されている。具体的には、演算部２３は、下記数式（３）を用いて算出される周波数ＩＳＰ＿ＦＲＥＱ以上の動作周波数で動作するように構成されている。

【0027】

上記数式（３）のＭＡＸ＿ＶＳＩＺＥは、撮像部１に含まれるｎ個のカメラ各々における垂直方向の有効画素数のうちの最大の画素数を表している。また、上記数式（３）のＦＰＳは、演算部２３から記憶部３へのフレーム画像データの出力に係るフレームレートを表している。

【0028】

そのため、上記数式（３）によれば、例えば、水平方向の有効画素数が４０００画素であるとともに垂直方向の有効画素数が２０００画素であるカメラＣＭ１と、水平方向の有効画素数が２０００画素であるとともに垂直方向の有効画素数が１０００画素であるカメラＣＭ２と、が撮像部１に含まれている場合には、演算部２３の動作周波数を６４０ＭＨｚ以上の周波数に設定すればよい。

【0029】

また、上記数式（３）によれば、例えば、水平方向の有効画素数が４０００画素であるとともに垂直方向の有効画素数が２０００画素であるカメラＣＭ１と、水平方向の有効画素数が２０００画素であるとともに垂直方向の有効画素数が１０００画素であるカメラＣＭ２と、水平方向の有効画素数が１０００画素であるとともに垂直方向の有効画素数が７００画素であるカメラＣＭ３と、が撮像部１に含まれている場合には、演算部２３の動作周波数を７２０ＭＨｚ以上に設定すればよい。

【0030】

パラメータ格納部２４は、例えば、レジスタ回路を有して構成されている。また、パラメータ格納部２４には、演算部２３及び制御部２５の動作に用いられるパラメータが格納されている。具体的には、パラメータ格納部２４には、例えば、撮像部１に含まれるｎ個のカメラ各々に対応するフレーム画像データの画像サイズ、及び、当該ｎ個のカメラ各々に対応する歪補正の補正量等のパラメータが格納されている。

【0031】

制御部２５は、例えば、制御回路を有して構成されている。また、制御部２５は、セレクタ２１を経て出力される水平同期信号に基づき、カメラＣＭｉから出力される画素データをバッファ回路ＢＦｉに蓄積させるための制御信号を生成し、当該生成した制御信号をセレクタ２１へ出力するように構成されている。また、制御部２５は、セレクタ２１を経て出力される水平同期信号と、パラメータ格納部２４から読み込んだパラメータと、に基づき、画像処理の開始タイミング及び処理内容等を制御するための制御信号を生成し、当該生成した制御信号を演算部２３へ出力するように構成されている。また、制御部２５は、イメージセンサにおける１番目のラインの画素群のスキャンを開始するタイミングを揃えるためのフレーム同期信号を生成し、当該生成したフレーム同期信号を撮像部１の各カメラへ出力するように構成されている。

【0032】

記憶部３は、例えば、ＤＲＡＭを有して構成されている。また、記憶部３は、画像処理装置２（演算部２３）から出力されるフレーム画像データを順次格納するように構成されている。

【0033】

続いて、本実施形態の作用について説明する。なお、以降においては、水平方向の有効画素数が４０００画素であるとともに垂直方向の有効画素数が２０００画素であるカメラＣＭ１と、水平方向の有効画素数が２０００画素であるとともに垂直方向の有効画素数が１０００画素であるカメラＣＭ２と、の２つのカメラが撮像部１に含まれている場合を例に挙げて説明する。また、以降においては、バッファサイズがＢＵＦ＿ＲＥＱ１に設定されたバッファ回路ＢＦ１と、バッファサイズが２×ＢＵＦ＿ＲＥＱ２に設定されたバッファ回路ＢＦ２と、の２つのバッファ回路がバッファ部２２に含まれているとともに、演算部２３の動作周波数が６４０ＭＨｚに設定されているものとして説明を行う。

【0034】

制御部２５は、カメラＣＭ１からセレクタ２１を経て出力される水平同期信号に基づき、当該カメラＣＭ１から順次出力される画素データをバッファ回路ＢＦ１へ書き込ませるための制御信号を生成してセレクタ２１へ出力する。また、制御部２５は、カメラＣＭ２からセレクタ２１を経て出力される水平同期信号に基づき、当該カメラＣＭ２から順次出力される画素データをバッファ回路ＢＦ２へ書き込ませるための制御信号を生成してセレクタ２１へ出力する。

【0035】

制御部２５は、パラメータ格納部２４から読み込んだパラメータに含まれる画像サイズに基づき、撮像部１に含まれるｎ個のカメラ各々におけるデータ取得期間の長さを推定する。

【0036】

具体的には、制御部２５は、パラメータ格納部２４から読み込んだパラメータに含まれる画像サイズに基づき、カメラＣＭ１のデータ取得期間ＬＰ１と、カメラＣＭ２のデータ取得期間ＬＰ２と、をそれぞれ推定する。

【0037】

なお、本実施形態におけるデータ取得期間は、例えば、イメージセンサにおける水平方向の１ライン分の画素群（一のラインに属する画素群）から画素データを得るために要する時間として規定される。また、以降においては、簡単のため、データ取得期間ＬＰ１がデータ取得期間ＬＰ２の２倍の長さを有すると推定されたものとして説明を行う。

【0038】

制御部２５は、撮像部１に含まれる各カメラの中で最も長いデータ取得期間を特定するとともに、当該特定したデータ取得期間と、セレクタ２１を経て出力される水平同期信号と、に基づき、画像処理の開始タイミング及び処理内容等を制御するための制御信号を生成し、当該生成した制御信号を演算部２３へ出力する。

【0039】

ここで、本実施形態の演算部２３及び制御部２５において行われる具体的な動作の一例について、図４を参照しつつ説明する。なお、以降においては、カメラＣＭ１から出力された画素データに対応するライン画像データの生成に必要な画素データ群がバッファ回路ＢＦ１に予め蓄積されているものとして説明を行う。また同様に、以降においては、カメラＣＭ２から出力された画素データに対応するライン画像データの生成に必要な画素データ群がバッファ回路ＢＦ２に予め蓄積されているものとして説明を行う。また、以降においては、撮像部１に含まれる各カメラ（ＣＭ１及びＣＭ２）の中で最も長いデータ取得期間がＬＰ１であることが特定されたものとして説明を行う。図４は、第１の実施形態に係る画像処理装置の具体的な動作の一例を説明するための図である。

【0040】

制御部２５は、カメラＣＭ１からセレクタ２１を経て出力される水平同期信号に基づき、当該カメラＣＭ１のデータ取得期間ＬＰ１の開始タイミングに相当する時刻Ｔａ（図４参照）において、バッファ回路ＢＦ１に格納された画素データ群に対する画像処理を開始させるための制御信号を生成して演算部２３へ出力する。また、制御部２５は、時刻Ｔａにおいて、バッファ回路ＢＦ１に格納された画素データ群に対し、パラメータ格納部２４から読み込んだパラメータに含まれる補正量ＣＡ１を用いて歪補正処理を行わせるための制御信号を生成して演算部２３へ出力する。

【0041】

演算部２３は、制御部２５から出力される制御信号に応じ、時刻Ｔａにおいて、バッファ部２２のバッファ回路ＢＦ１に予め蓄積された４０００個分の画素データにより構成される一のラインの画素データ群をライン画像データＬＧ１１として読み込むとともに、当該読み込んだライン画像データＬＧ１１に対する画像処理を開始する。また、演算部２３は、時刻Ｔａから時刻Ｔｂまでの期間に相当する処理期間ＳＰ１１（図４参照）において、バッファ回路ＢＦ１から読み込んだライン画像データＬＧ１１に対し、現像処理と、補正量ＣＡ１を用いた歪補正処理と、を含む画像処理を施す。

【0042】

制御部２５は、カメラＣＭ２からセレクタ２１を経て出力される水平同期信号に基づき、 時刻Ｔａから時刻Ｔｂまでの期間に相当するとともに処理期間ＳＰ１１と重複するデータ取得期間ＬＰ２（図４参照）において、当該カメラＣＭ２から順次出力される画素データをバッファ回路ＢＦ２へ書き込ませるための制御信号を生成してセレクタ２１へ出力する。

【0043】

すなわち、以上に述べた動作によれば、処理期間ＳＰ１１において、バッファ回路ＢＦ１から読み込まれた１ライン分のライン画像データＬＧ１１に対して画像処理が施される一方で、バッファ回路ＢＦ２に蓄積された画素データ群に対しては画像処理が施されない。そのため、本実施形態においては、バッファ回路ＢＦ２のバッファサイズを２×ＢＵＦ＿ＲＥＱ２に設定することにより、処理期間ＳＰ１１の期間内にカメラＣＭ２から順次出力される全ての画素データが当該バッファ回路ＢＦ２に書き込まれるようにしている。

【0044】

制御部２５は、演算部２３の動作状態を監視することにより、ライン画像データＬＧ１１に対する画像処理の進捗状況を取得する。そして、制御部２５は、当該カメラＣＭ２のデータ取得期間ＬＰ２の開始タイミングに相当するとともに処理期間ＳＰ１１の終了タイミングに相当する時刻Ｔｂ（図４参照）において、バッファ回路ＢＦ２に格納された画素データ群に対する１回目の画像処理を開始させるための制御信号を生成して演算部２３へ出力する。また、制御部２５は、時刻Ｔｂにおいて、バッファ回路ＢＦ２に格納された画素データ群に対し、パラメータ格納部２４から読み込んだパラメータに含まれる補正量ＣＡ２（＜ＣＡ１）を用いて歪補正処理を行わせるための制御信号を生成して演算部２３へ出力する。

【0045】

演算部２３は、制御部２５から出力される制御信号に応じ、時刻Ｔｂにおいて、バッファ部２２のバッファ回路ＢＦ２に予め蓄積された２０００個分の画素データにより構成される一のラインの画素データ群をライン画像データＬＧ２１として読み込むとともに、当該読み込んだライン画像データＬＧ２１に対する画像処理を開始する。また、演算部２３は、時刻Ｔｂから時刻Ｔｃまでの期間に相当する処理期間ＳＰ２１（図４参照）において、バッファ回路ＢＦ２から読み込んだライン画像データＬＧ２１に対し、現像処理と、補正量ＣＡ２を用いた歪補正処理と、を含む画像処理を施す。

【0046】

すなわち、以上に述べた動作によれば、処理期間ＳＰ２１において、バッファ回路ＢＦ２から読み込まれた１ライン分のライン画像データＬＧ２１に対して画像処理が施される一方で、バッファ回路ＢＦ１に蓄積された画素データ群に対しては画像処理が施されない。

【0047】

制御部２５は、演算部２３の動作状態を監視することにより、ライン画像データＬＧ２１に対する画像処理の進捗状況を取得する。そして、制御部２５は、処理期間ＳＰ２１の終了タイミングに相当する時刻Ｔｃ（図４参照）において、バッファ回路ＢＦ２に格納された画素データ群に対する２回目の画像処理を開始させるための制御信号を生成して演算部２３へ出力する。また、制御部２５は、時刻Ｔｃにおいて、バッファ回路ＢＦ２に格納された画素データ群に対し、パラメータ格納部２４から読み込んだパラメータに含まれる補正量ＣＡ２を用いて歪補正処理を行わせるための制御信号を生成して演算部２３へ出力する。

【0048】

演算部２３は、制御部２５から出力される制御信号に応じ、時刻Ｔｃにおいて、バッファ部２２のバッファ回路ＢＦ２に蓄積された２０００個分の画素データにより構成されるとともにライン画像データＬＧ２１に隣接する一のラインの画素データ群をライン画像データＬＧ２２として読み込むとともに、当該読み込んだライン画像データＬＧ２２に対する画像処理を開始する。また、演算部２３は、時刻Ｔｃから時刻Ｔｄまでの期間に相当する処理期間ＳＰ２２（図４参照）において、バッファ回路ＢＦ２から読み込んだライン画像データＬＧ２２に対し、現像処理と、補正量ＣＡ２を用いた歪補正処理と、を含む画像処理を施す。

【0049】

すなわち、以上に述べた動作によれば、処理期間ＳＰ２２において、バッファ回路ＢＦ２から読み込まれた１ライン分のライン画像データＬＧ２２に対して画像処理が施される一方で、バッファ回路ＢＦ１に蓄積された画素データ群に対しては画像処理が施されない。また、以上に述べた動作によれば、時刻Ｔａから時刻Ｔｄまでの期間に相当するデータ取得期間ＬＰ１（図４参照）において、バッファ回路ＢＦ１から読み込まれた１ライン分のライン画像データＬＧ１１と、バッファ回路ＢＦ２から読み込まれた２ライン分のライン画像データＬＧ２１及びＬＧ２２と、のそれぞれに対して画像処理が施される。また、以上に述べた動作によれば、制御部２５は、ライン画像データの基となる画素データの読み込み先を、バッファ部２２に含まれるとともに画像処理が施されていない画素データが蓄積されている各バッファ回路のうちのいずれかに選択的に設定するための制御を行う。また、以上に述べた動作によれば、制御部２５は、撮像部１に含まれるｎ個のカメラの中で最も長いデータ取得期間ＬＰ１内において、ライン画像データの基となる画素データの読み込み先を、バッファ回路ＢＦ１からバッファ回路ＢＦ２へ切り替えるための制御を行う。

【0050】

なお、本実施形態は、以上に述べた各部の構成及び／または動作を適宜変形することにより、撮像部１に３つ以上のカメラが含まれている場合に対しても適用することができる。

【0051】

以上に述べたように、本実施形態によれば、撮像部１に含まれる複数のカメラ各々から出力される画素データに対して時分割に画像処理を施すことにより、当該複数のカメラ各々に対応するライン画像データを生成することができる。また、本実施形態によれば、前述の画像処理に必要なバッファ部２２のバッファサイズ及び演算部２３の動作周波数が、撮像部１に含まれる複数のカメラ各々の仕様等に応じて設定される。そのため、本実施形態によれば、多数のカメラ各々から出力されるデータに対して画像処理を施すために用いられる回路の規模の増大を抑制することができる。

【0052】

（第２の実施形態）
図５及び図６は、第２の実施形態に係るものである。

【0053】

なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。

【0054】

画像処理システム１０１Ａは、例えば、図５に示すように、撮像部１と、画像処理装置２Ａと、記憶部３と、を有して構成されている。図５は、第２の実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図である。

【0055】

画像処理装置２Ａは、例えば、１つ以上のプロセッサと、記憶回路と、を有して構成されている。また、画像処理装置２Ａは、撮像部１から順次出力される画素データを蓄積し、当該蓄積した画素データに対して画像処理を施すことによりフレーム画像データ（後述）を生成し、当該生成したフレーム画像データを記憶部３へ出力するように構成されている。また、画像処理装置２Ａは、例えば、図５に示すように、セレクタ２１と、ｎ個のバッファ回路ＢＦ１、ＢＦ２、…、ＢＦｎを備えたバッファ部２２Ａと、演算部２３Ａと、パラメータ格納部２４と、制御部２５Ａと、を有して構成されている。

【0056】

バッファ部２２Ａは、ｎ個のバッファ回路によるバッファサイズの総和が下記数式（４）を用いて算出されるバッファサイズＢＵＦ＿ＳＵＭになるように構成されている。

【0057】

上記数式（４）によれば、例えば、水平方向の有効画素数が４０００画素であるとともに垂直方向の有効画素数が２０００画素であるカメラＣＭ１と、水平方向の有効画素数が２０００画素であるとともに垂直方向の有効画素数が１０００画素であるカメラＣＭ２と、が撮像部１に含まれている場合には、バッファ部２２のバッファサイズをＢＵＦ＿ＲＥＱ１＋ＢＵＦ＿ＲＥＱ２に設定すればよい。

【0058】

演算部２３Ａは、フレーム画像データの画像サイズ等に応じて予め設定された動作周波数で動作するように構成されている。具体的には、演算部２３Ａは、下記数式（５）を用いて算出される周波数ＩＳＰ＿ＦＲＥＱ以上の動作周波数で動作するように構成されている。

【0059】

上記数式（５）によれば、例えば、水平方向の有効画素数が４０００画素であるとともに垂直方向の有効画素数が２０００画素であるカメラＣＭ１と、水平方向の有効画素数が２０００画素であるとともに垂直方向の有効画素数が１０００画素であるカメラＣＭ２と、が撮像部１に含まれている場合には、演算部２３Ａの動作周波数を４８０ＭＨｚ以上の周波数に設定すればよい。

【0060】

制御部２５Ａは、セレクタ２１を経て出力される水平同期信号に基づき、撮像部１の各カメラから出力される画素データのバッファ部２２Ａへの書き込みを制御するための制御信号を生成し、当該生成した制御信号をセレクタ２１へ出力するように構成されている。また、制御部２５Ａは、セレクタ２１を経て出力される水平同期信号と、パラメータ格納部２４から読み込んだパラメータと、に基づき、画像処理の開始タイミング及び処理内容等を制御するための制御信号を生成し、当該生成した制御信号を演算部２３Ａへ出力するように構成されている。また、制御部２５Ａは、イメージセンサにおける１番目のラインの画素群のスキャンを開始するタイミングを揃えるためのフレーム同期信号を生成し、当該生成したフレーム同期信号を撮像部１の各カメラへ出力するように構成されている。また、制御部２５Ａは、イメージセンサにおけるデータ取得期間の長さを一定の長さに揃えるための同期信号に相当するライン同期信号を生成し、当該生成したライン同期信号を撮像部１に含まれるｎ個のカメラ各々へ出力するように構成されている。

【0061】

続いて、本実施形態の作用について説明する。なお、以降においては、水平方向の有効画素数が４０００画素であるとともに垂直方向の有効画素数が２０００画素であるカメラＣＭ１と、水平方向の有効画素数が２０００画素であるとともに垂直方向の有効画素数が１０００画素であるカメラＣＭ２と、の２つのカメラが撮像部１に含まれている場合を例に挙げて説明する。また、以降においては、バッファサイズがＢＵＦ＿ＲＥＱ１に設定されたバッファ回路ＢＦ１と、バッファサイズがＢＵＦ＿ＲＥＱ２に設定されたバッファ回路ＢＦ２と、の２つのバッファ回路がバッファ部２２Ａに含まれているとともに、演算部２３Ａの動作周波数が４８０ＭＨｚに設定されているものとして説明を行う。

【0062】

制御部２５Ａは、イメージセンサにおけるデータ取得期間をＬＰ３に揃えるためのライン同期信号を生成し、当該生成したライン同期信号を撮像部１の各カメラへ出力する。すなわち、このような制御部２５Ａの動作によれば、撮像部１に含まれる各カメラ（ＣＭ１及びＣＭ２）の中で最も長いデータ取得期間がＬＰ３となる。

【0063】

制御部２５Ａは、カメラＣＭ１からセレクタ２１を経て出力される水平同期信号に基づき、当該カメラＣＭ１から順次出力される画素データをバッファ回路ＢＦ１へ書き込ませるための制御信号を生成してセレクタ２１へ出力する。また、制御部２５Ａは、カメラＣＭ２からセレクタ２１を経て出力される水平同期信号に基づき、当該カメラＣＭ２から順次出力される画素データをバッファ回路ＢＦ２へ書き込ませるための制御信号を生成してセレクタ２１へ出力する。

【0064】

制御部２５Ａは、データ取得期間ＬＰ３と、セレクタ２１を経て出力される水平同期信号と、に基づき、画像処理の開始タイミング及び処理内容等を制御するための制御信号を生成し、当該生成した制御信号を演算部２３へ出力する。

【0065】

ここで、本実施形態の演算部２３Ａ及び制御部２５Ａにおいて行われる具体的な動作の一例について、図６を参照しつつ説明する。なお、以降においては、カメラＣＭ１から出力された画素データに対応するライン画像データの生成に必要な画素データ群がバッファ回路ＢＦ１に予め蓄積されているとともに、カメラＣＭ２から出力された画素データに対応するライン画像データの生成に必要な画素データ群がバッファ回路ＢＦ２に予め蓄積されているものとして説明を行う。図６は、第２の実施形態に係る画像処理装置の具体的な動作の一例を説明するための図である。

【0066】

制御部２５Ａは、カメラＣＭ１またはカメラＣＭ２からセレクタ２１を経て出力される水平同期信号に基づき、データ取得期間ＬＰ３の開始タイミングに相当する時刻Ｔｅ（図６参照）において、バッファ回路ＢＦ１に格納された画素データ群に対する画像処理を開始させるための制御信号を生成して演算部２３Ａへ出力する。また、制御部２５Ａは、時刻Ｔｅにおいて、バッファ回路ＢＦ１に格納された画素データ群に対し、パラメータ格納部２４から読み込んだパラメータに含まれる補正量ＣＡ１を用いて歪補正処理を行わせるための制御信号を生成して演算部２３Ａへ出力する。

【0067】

演算部２３Ａは、制御部２５Ａから出力される制御信号に応じ、時刻Ｔｅにおいて、バッファ部２２Ａのバッファ回路ＢＦ１に予め蓄積された４０００個分の画素データにより構成される一のラインの画素データ群をライン画像データＬＧ３１として読み込むとともに、当該読み込んだライン画像データＬＧ３１に対する画像処理を開始する。また、演算部２３Ａは、時刻Ｔｅから時刻Ｔｆまでの期間に相当する処理期間ＳＰ３１（図６参照）において、バッファ回路ＢＦ１から読み込んだライン画像データＬＧ３１に対し、現像処理と、補正量ＣＡ１を用いた歪補正処理と、を含む画像処理を施す。

【0068】

すなわち、以上に述べた動作によれば、処理期間ＳＰ３１において、バッファ回路ＢＦ１から読み込まれた１ライン分のライン画像データＬＧ３１に対して画像処理が施される一方で、バッファ回路ＢＦ２に蓄積された画素データ群に対しては画像処理が施されない。

【0069】

制御部２５Ａは、演算部２３Ａの動作状態を監視することにより、ライン画像データＬＧ３１に対する画像処理の進捗状況を取得する。そして、制御部２５Ａは、処理期間ＳＰ３１の終了タイミングに相当する時刻Ｔｆ（図６参照）において、バッファ回路ＢＦ２に格納された画素データ群に対する画像処理を開始させるための制御信号を生成して演算部２３Ａへ出力する。また、制御部２５Ａは、時刻Ｔｆにおいて、バッファ回路ＢＦ２に格納された画素データ群に対し、パラメータ格納部２４から読み込んだパラメータに含まれる補正量ＣＡ２を用いて歪補正処理を行わせるための制御信号を生成して演算部２３Ａへ出力する。

【0070】

演算部２３Ａは、制御部２５Ａから出力される制御信号に応じ、時刻Ｔｆにおいて、バッファ部２２のバッファ回路ＢＦ２に予め蓄積された２０００個分の画素データにより構成される一のラインの画素データ群をライン画像データＬＧ３２として読み込むとともに、当該読み込んだライン画像データＬＧ３２に対する画像処理を開始する。また、演算部２３Ａは、時刻Ｔｆから時刻Ｔｇまでの期間に相当する処理期間ＳＰ３２（図６参照）において、バッファ回路ＢＦ２から読み込んだライン画像データＬＧ３２に対し、現像処理と、補正量ＣＡ２を用いた歪補正処理と、を含む画像処理を施す。

【0071】

すなわち、以上に述べた動作によれば、処理期間ＳＰ３２において、バッファ回路ＢＦ２から読み込まれた１ライン分のライン画像データＬＧ３２に対して画像処理が施される一方で、バッファ回路ＢＦ１に蓄積された画素データ群に対しては画像処理が施されない。また、以上に述べた動作によれば、時刻Ｔｅから時刻Ｔｇまでの期間に相当するデータ取得期間ＬＰ３（図６参照）において、バッファ回路ＢＦ１から読み込まれた１ライン分のライン画像データＬＧ３１と、バッファ回路ＢＦ２から読み込まれた１ライン分のライン画像データＬＧ３２と、のそれぞれに対して画像処理が施される。また、以上に述べた動作によれば、制御部２５Ａは、ライン画像データの基となる画素データの読み込み先を、バッファ部２２Ａに含まれるとともに画像処理が施されていない画素データが蓄積されている各バッファ回路のうちのいずれかに選択的に設定するための制御を行う。また、以上に述べた動作によれば、制御部２５Ａは、撮像部１に含まれるｎ個のカメラの中で最も長いデータ取得期間ＬＰ３内において、ライン画像データの基となる画素データの読み込み先を、バッファ回路ＢＦ１からバッファ回路ＢＦ２へ切り替えるための制御を行う。

【0072】

なお、本実施形態は、以上に述べた各部の構成及び／または動作を適宜変形することにより、撮像部１に３つ以上のカメラが含まれている場合に対しても適用することができる。

【0073】

以上に述べたように、本実施形態によれば、撮像部１に含まれる複数のカメラ各々から出力される画素データに対して時分割に画像処理を施すことにより、当該複数のカメラ各々に対応するライン画像データを生成することができる。また、本実施形態によれば、前述の画像処理に必要なバッファ部２２Ａのバッファサイズ及び演算部２３Ａの動作周波数が、撮像部１に含まれる複数のカメラ各々の仕様等に応じて設定される。そのため、本実施形態によれば、多数のカメラ各々から出力されるデータに対して画像処理を施すために用いられる回路の規模の増大を抑制することができる。

【0074】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0075】

１ 撮像部
２，２Ａ 画像処理装置
３ 記憶部
２１ セレクタ
２２，２２Ａ バッファ部
２３，２３Ａ 演算部
２４ パラメータ格納部
２５，２５Ａ 制御部
１０１，１０１Ａ 画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】