(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102449
(43)【公開日】2024-07-31
(54)【発明の名称】車載カメラ
(51)【国際特許分類】
H04N 23/60 20230101AFI20240724BHJP
H04N 23/57 20230101ALI20240724BHJP
【FI】
H04N23/60
H04N23/57
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023006337
(22)【出願日】2023-01-19
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】中村 健
(72)【発明者】
【氏名】相原 祐一郎
(72)【発明者】
【氏名】道口 将由
(72)【発明者】
【氏名】宇佐美 光陽
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA14
5C122EA68
5C122FA18
5C122FK23
5C122GC05
5C122GC53
5C122GC86
5C122HA71
5C122HA88
5C122HB01
5C122HB06
5C122HB10
(57)【要約】 (修正有)
【課題】画像を効率的に車両側へ転送できる車載カメラを提供する。
【解決手段】撮像センサと光学系とメモリとを有する車載カメラにおいて、撮像センサは、有効画素領域R1では、行方向にX1個の画素が配列され、列方向にY1個の画素が配列される。光学系は、少なくとも一つのレンズを有し、レンズの光軸AXが撮像センサの有効画素領域と交差する。メモリは、記録画素領域の位置を格納する。記録画素領域は、有効画素領域の内側の領域である。記録画素領域では、行方向にX2個の画素が配列され、列方向にY2個の画素が配列される。X2は、X1より小さい。Y2は、Y1より小さい。車載カメラは、撮像センサの起動に対応してメモリから記録画素領域の位置を読み出し、撮像センサの有効画素領域の中から記録画素領域に対応する出力画像を出力するとともに、記録画素領域の位置を出力する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
第1方向にX1個の画素が配列され、前記第1方向と交差する第2方向にY1個の画素が配列された第1四角形の第1画素領域を備える撮像センサと、
少なくとも一つのレンズを備え、前記撮像センサの前記第1画素領域と交差する光軸を有する光学系と、
前記第1画素領域の内側であって、前記第1方向に、前記X1より小さいX2個の画素が配列され、前記第2方向に、前記Y1より小さいY2個の画素が配列された第2四角形の第2画素領域の位置を格納するメモリと、備え、
前記撮像センサの起動に対応して前記メモリから前記第2画素領域の位置を読み出し、
前記撮像センサの前記第1画素領域の中から前記第2画素領域に対応する出力画像を出力するとともに、前記第2画素領域の前記位置を出力する、
車載用カメラ。
【請求項2】
請求項1に記載の車載用カメラであって、
前記メモリに格納される前記第2画素領域の前記位置は、前記第2画素領域の第1角の第1画素位置と、前記第1角と対角の第2角の第2画素位置で、表される、
車載用カメラ。
【請求項3】
請求項1に記載の車載用カメラであって、
前記第2画素領域の中心画素の位置は、前記少なくとも一つのレンズの歪曲中心に対応する、
車載用カメラ。
【請求項4】
請求項1に記載の車載用カメラであって、
更に、プロセッサを備え、
前記プロセッサが、
前記撮像センサの起動に対応して前記メモリから前記第2画素領域の前記位置を読み出し、
前記撮像センサの前記第1画素領域の中から前記第2画素領域に対応する前記出力画像を出力するとともに、前記第2画素領域の前記位置を出力する、
車載用カメラ。
【請求項5】
請求項1に記載の車載用カメラであって、
前記第1四角形は、第1長方形であり、
前記第2四角形は、第2長方形である、
車載用カメラ。
【請求項6】
請求項1に記載の車載用カメラであって、
前記第1方向は、水平方向であって、
前記第2方向は、垂直方向である、
車載用カメラ。
【請求項7】
請求項1に記載の車載用カメラであって、
前記撮像センサが実装された回路基板と、
筐体と、を備え、
前記筐体は、少なくとも前記撮像センサと前記回路基板と前記メモリとを収容する、
車載用カメラ。
【請求項8】
請求項7に記載の車載用カメラであって、
更に、プロセッサを備え、
前記筐体は、コネクタを備え、
前記コネクタは、前記筐体の外部と内部を電気的に接続する、少なくとも二つの端子を備え、
前記少なくとも二つの端子の内、少なくとも一つは前記プロセッサと電気的に接続され、
前記コネクタの前記少なくとも一つの端子は、前記第2画素領域に対応する前記出力画像を出力する、
車載用カメラ。
【請求項9】
請求項8に記載の車載用カメラであって、
前記コネクタの前記少なくとも二つの端子の前記筐体の外部の側は、車両の他の部分に接続されたケーブルが接続されるように構成されている、
車載用カメラ。
【請求項10】
請求項9に記載の車載用カメラであって、
前記ケーブルは、ツイストペアケーブルであり、C2B(登録商標)規格に準拠する、
車載用カメラ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車載カメラに関する。
【背景技術】
【0002】
車両に接続される車載カメラは、車両周辺の画像を取得すると、その画像を車両側へ転送する。車載カメラでは、画像を効率的に車両側へ転送することが望まれる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-106598号公報
【特許文献2】特開2013-207622号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、画像を効率的に車両側へ転送できる車載カメラを提供する。
【課題を解決するための手段】
【0005】
本開示に係る車載カメラは、撮像センサと光学系とメモリとを有する。撮像センサは、第1画素領域を有する。第1画素領域では、第1方向にX1個の画素が配列され、第2方向にY1個の画素が配列される。第2方向は、第1方向と交差する。第1画素領域は、第1四角形の領域である。光学系は、少なくとも一つのレンズを有する。光学系は、光軸を有する。光軸は、撮像センサの第1画素領域と交差する。メモリは、第2画素領域の位置を格納する。第2画素領域は、第1画素領域の内側の領域である。第2画素領域では、第1方向にX2個の画素が配列され、第2方向にY2個の画素が配列される。X2は、X1より小さい。Y2は、Y1より小さい。第2画素領域は、第2四角形の領域である。車載カメラは、撮像センサの起動に対応してメモリから第2画素領域の位置を読み出す。車載カメラは、撮像センサの第1画素領域の中から第2画素領域に対応する出力画像を出力するとともに、第2画素領域の位置を出力する。
【発明の効果】
【0006】
本開示に係る車載カメラによれば、画像を効率的に車両側へ転送できる。
【図面の簡単な説明】
【0007】
【
図1】第1の実施形態に係る車載カメラが搭載される車両を示す上面図。
【
図2】第1の実施形態に係る車載カメラの構成を示す正面図。
【
図3】第1の実施形態に係る車載カメラの構成を示す断面図。
【
図4】第1の実施形態に係る車載カメラの構成を示すブロック図。
【
図5】第1の実施形態における画素配列の有効画素領域及び記録画素領域を示す図。
【
図6】第1の実施形態に係る車載カメラの製造方法を示すフローチャート。
【
図7】第1の実施形態に係る車載カメラの動作を示すフローチャート。
【
図8】第1の実施形態に係る車載カメラの動作を示す図。
【
図9】第2の実施形態における画素配列の有効画素領域及び記録画素領域を示す図。
【
図10】第2の実施形態に係る車載カメラの製造方法を示すフローチャート。
【
図11】第2の実施形態に係る車載カメラの動作を示すフローチャート。
【
図12】第2の実施形態に係る車載カメラの動作を示す図。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、本開示に係る車載カメラの実施形態について説明する。
【0009】
(第1の実施形態)
【0010】
第1の実施形態にかかる車載カメラは、車両に接続され、車両100周辺の画像を取得し、その画像を車両側へ転送するが、画像を効率的に車両側へ転送するための工夫が施される。
【0011】
車載カメラ1は、
図1に示すような車両100に搭載され得る。
図1は、車載カメラ1が搭載される車両100を示す上面図である。車載カメラ1は、車体101における外側に設置され、車両周辺の画像を取得可能である。車両100は、車載カメラ1で取得された車両周辺の画像を処理し、処理後の画像を所定の表示装置に出力可能である。
【0012】
図1では、複数の車載カメラ1_1,1_2,1_3,1_4が、それぞれ、車体101の後方端部101a、側方(
図1における右方)端部101b、側方(
図1における左方)端部101c、前方端部101dに設置される構成が例示されている。車載カメラ1_1,1_2,1_3,1_4で取得された画像は、それぞれ、ディスプレイ102に表示され得る。
【0013】
図1では、4個の車載カメラ1_1~1_4が例示されるが、車載カメラ1の個数は、3個以下であってもよいし、5個以上であってもよい。車載カメラ1の設置場所は、車体101における車両周辺の画像を取得可能な他の場所であってもよい。あるいは、車載カメラ1の設置場所は、車体101における車室内の画像を取得可能な他の場所であってもよい。画像の出力先は、ディスプレイ102以外の出力装置であってもよい。
【0014】
車載カメラ1は、
図2及び
図3に示すように、車両100へ搭載されるのに適した構成を有する。
図2は、車載カメラ1の構成を示す平面図である。
図3は、車載カメラの構成を示す断面図である。
図3は、
図2をA-A線で切った場合の断面を示す。以下では、車載カメラ1の光軸方向をZ方向とし、Z方向に垂直な面内で直交する2方向をX方向及びY方向とする。
【0015】
車載カメラ1は、光学系2、筐体31、撮像センサ3、ISP(Image Signal Processor)4、不揮発性メモリ5、回路基板34、コネクタ7、ポッティング32及び溶接リング33を有する。
【0016】
光学系2は、レンズ2aと鏡筒2bとを有する。レンズ2aは、車載カメラ1における光軸AXにおける上流側(+Z側)に配される。レンズ2aは、その結像面に被写体像を結像させ得る。レンズ2aは、歪曲収差を有し得る。レンズ2aは、ガラス等の透光性の部材で形成される。
図1では、光学系2が1個のレンズ2aを有する構成が例示されるが、光学系2は複数のレンズ2aを有していてもよい。
【0017】
鏡筒2bは、レンズ2aをXY方向の外側から保持する。鏡筒2bは、XY方向の内側に光軸AXが通る空洞2cを有し、レンズ2aの光を光軸AXに沿ってその下流側(-Z側)へ導く。鏡筒2bは、遮光性の材料で形成され得る。
【0018】
筐体31は、+Z側が開放された箱型の部材である。筐体31は、遮光性の材料で形成され得る。筐体31は、光学系2の-Z側に配される。筐体31は、撮像センサ3、ISP4、不揮発性メモリ5、回路基板34を収容する。
【0019】
鏡筒3bの-Z側端が接続される。筐体31の+Z側端における鏡筒3bのXY方向外側の部分は、溶接リング33で覆われる。
【0020】
回路基板34は、ねじ止め等により筐体31に固定される。回路基板34には、少なくとも撮像センサ3が搭載される。回路基板34には、ISP4、不揮発性メモリ5がさらに搭載され得る。撮像センサ3、ISP4、不揮発性メモリ5は、別々のチップに実装され、それぞれが回路基板34の+Z側の主面に搭載され得る。回路基板34及び筐体31の間にはポッティング32が介在してもよい。ポッティング32は、防水性の材料で形成され得る。
【0021】
なお、撮像センサ3、ISP4、不揮発性メモリ5は、1チップに実装されてもよいし、複数チップに分けて実装されてもよい。撮像センサ3及びISP4が1チップに実装され、不揮発性メモリ5が他のチップに実装されてもよい。
【0022】
撮像センサ3、ISP4、不揮発性メモリ5は、異なる回路基板上に搭載されてもよい。例えば、車載カメラ1が回路基板35(図示せず)をさらに有し、撮像センサ3及びISP4が1チップ又は別々のチップとして同じ回路基板34に搭載され、不揮発性メモリ5は、他の回路基板35に搭載されてもよい。あるいは、撮像センサ3が1チップとして同じ回路基板34に搭載され、ISP4及び不揮発性メモリ5が1チップ又は別々のチップとして他の回路基板35に搭載されてもよい。
【0023】
撮像センサ3は、レンズ2aの結像面近傍に配される。撮像センサ3は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型イメージセンサであってもよいし、CCD(Charge Coupled Device)型イメージセンサであってもよい。
【0024】
ISP4は、撮像センサ3から出力される信号に対して所定の処理を行うことが可能である。ISP4において、所定の処理は、ハードウェア的に実装されてもよいし、ソフトウェア的に実装されてもよいし、一部の処理がハードウェア的に実装され残りの処理がソフトウェア的に実装されてもよい。ISP4は、撮像センサ3の付近に配されてもよい。
【0025】
不揮発性メモリ5は、ISP4から受ける情報を不揮発に記憶可能である。不揮発性メモリ5は、ISP4の付近に配されてもよい。不揮発性メモリ5は、フラッシュメモリ、ReRAM(Resistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、MRAM(Magnetoresistive Random Access Memory)などであってもよい。
【0026】
コネクタ7は、車載カメラ1を車両100の車体101へ接続するための機械的なコネクタとして機能する。
【0027】
コネクタ7は、筐体31の-Z側に配され、筐体31に接続される。コネクタ7は、固定部材(図示せず)を介して車体101に接続される。これにより、車載カメラ1が車体101に設置される。
【0028】
コネクタ7は、
図4に示すように、車載カメラ1をケーブル20(
図4産所)経由でカメラECU(Electronic Control Unit)100へ接続するための電気的なコネクタとしても機能する。
図4は、車載カメラ1の構成を示すブロック図である。
【0029】
なお、本明細書において、第1の要素と第2の要素とが「電気的に接続される」とは、第1の要素と第2の要素とのそれぞれの機能を妨げない範囲で、第1の要素と第2の要素との間に第3の要素が介在して接続されることを含むものとする。
【0030】
カメラECU100は、車両100の車体101内に配され得る。ケーブル20は、一端のコネクタ27がコネクタ7に接続可能であり、他端のコネクタが車両100における部分(例えば、カメラECU100に接続するためのコネクタ)に接続可能である。
図4では、簡略化のため、ケーブル20における他端のコネクタの図示が省略される。
【0031】
ケーブル20は、車載カメラ1及びカメラECU100間のシリアル通信を媒介可能である。ケーブル20は、車載カメラ1及びカメラECU100間でシングルエンドの信号を伝送してもよいし、差動信号を伝送してもよい。
【0032】
ケーブル20は、導線の表皮効果や誘電体損失等に起因したチャネル損失により、伝送信号における信号強度の損失の高周波成分が低周波成分に比べて大きくなりやすい。このため、ケーブル20は、信号を伝送可能な帯域が上限周波数Fth以下に制限され得る。上限周波数Fthは、148.5MHzであってもよい。ケーブル20を介した信号伝送を上限周波数Fth以下で行うことにより、シリアル通信における信号品質が保証され得る。
【0033】
ケーブル20は、シングルエンドの信号を伝送する場合、同軸ケーブルであってもよい。これに応じて、車載カメラ1のコネクタ7とケーブル20のコネクタ27とは、それぞれ、同軸コネクタであってもよい。
【0034】
ケーブル20は、差動信号を伝送する場合、ツイストペアケーブルでもよい。ケーブル20は、C2B(Car Camera Bus)(登録商標)規格に準拠するツイストペアケーブルであってもよい。これに応じて、車載カメラ1のコネクタ7とケーブル20のコネクタ27とは、それぞれ、ツイストペアケーブル用のコネクタであってもよい。
図3、
図4では、ケーブル20が差動信号を伝送する場合の構成が例示される。
【0035】
図3に示すコネクタ7は、空洞部7aを有する。コネクタ7は、空洞部7a内に複数の接続端子71,72,73,74を有する。各接続端子71,72,73,74は、凸型の接続端子であってもよい。各接続端子71,72,73,74は、空洞部7aの底面7a1から-Z側に突出する。
【0036】
コネクタ7の空洞部7aには、
図4に示すケーブル20のコネクタ27が挿入可能であってもよい。コネクタ27は、複数の端子21~24を有する。コネクタ27の接続端子21,22,23,24は、コネクタ7の接続端子71,72,73,74に対応する。各接続端子21~24は、対応する接続端子(例えば、
図3に示す凸型の接続端子)と嵌合可能に構成された凹型の接続端子であってもよい。
【0037】
ケーブル20は、複数の接続端子21,22,23,24に対応する複数の通信線CL1~CL4を有する。カメラECU110は、CPU(Central Processing Unit)111、デコーダ(DECODER)112、主電源113を有する。通信線CL1,CL2は、車載カメラ1及びデコーダ112を接続し、車載カメラ1及びデコーダ112間で差動信号SIG+,SIG-を伝送する。通信線CL3,CL4は、車載カメラ1及び主電源113を接続し、それぞれ、主電源113から車載カメラ1へグランド電位GND、電源電位PWRを伝送する。
【0038】
車載カメラ1は、光学系2、撮像センサ3、ISP4、不揮発性メモリ5、コネクタ7に加えて、発振器6、エンコーダ(ENCODER)8、電源回路9を有する。撮像センサ3は、画素配列3a及び周辺回路3bを有する。
【0039】
なお、発振器6、エンコーダ8、電源回路9は、撮像センサ3と同じ回路基板34(
図3参照)に搭載されてもよいし、他の回路基板35(図示せず)に搭載されてもよい。
【0040】
コネクタ7は、複数の接続端子71~74を有する。複数の接続端子71~74のうち、接続端子71,72は、差動対を構成し、互いに逆相の差動信号用の端子として機能する。接続端子71,72は、それぞれがエンコーダ8を介してISP4に電気的に接続される。接続端子73は、グランド端子として機能し、接続端子74は、電源端子として機能する。接続端子73,74は、それぞれが電源回路9に電気的に接続される。
【0041】
電源回路9は、コネクタ7の接続端子73,74を介してグランド電位GND、電源電位PWRを受ける。電源回路9は、電源線を介して、発振器6、撮像センサ3、ISP4、不揮発性メモリ5、エンコーダ8に接続される。電源回路9は、発振器6、撮像センサ3、ISP4、不揮発性メモリ5、エンコーダ8のそれぞれへ電源電力を電源線経由で供給可能である。
【0042】
光学系2は、その光軸AXが撮像センサ3の画素配列3aに交差する。
【0043】
撮像センサ3の画素配列3aでは、
図5に示すように、複数の画素が複数行及び複数列を構成するように配列される。
図5は、画素配列3aの有効画素領域R1及び記録画素領域R2を示す図である。行に沿った方向を行方向と呼び、列に沿った方向を列方向と呼ぶことにする。行方向及び列方向は、直交していてもよいし、所定の角度(例えば、89~91°)で交差していてもよい。行方向は、水平方向とも呼ばれる。列方向は、垂直方向とも呼ばれる。
【0044】
図5では、Y
1行×X
1列の画素が配列される画素配列3aが例示される。画素配列3a全体に対応する領域を有効画素領域R1と呼ぶことにする。有効画素領域R1では、行方向にX
1個の画素が配列され、列方向にY
1個の画素が配列される。X
1、Y
1は、それぞれ、自然数である。有効画素領域R1は、第1四角形を有する。第1四角形は、行方向を長手方向とする第1長方形であってもよい。この場合、例えば、X
1は1572であり、Y
1は1016であってもよい。
【0045】
図4に示す周辺回路3bは、制御線61を介して発振器6に接続され、タイミング信号を制御線61経由で受け得る。
【0046】
ISP4は、制御線41を介して周辺回路3bに接続され、制御線44を介してエンコーダ8に接続される。制御線44は、I2C(Inter-Integrated Circuit)方式に対応してもよい。ISP4及びエンコーダ8は、互いにI2C方式に従って、制御線44を介した接続先との通信を確立してもよい。ISP4は、同期信号及び制御信号を生成し、制御線41経由で周辺回路3bへ供給するとともに、I2C方式に従って制御線44経由でエンコーダ8へ供給する。同期信号は、水平同期信号HREF、垂直同期信号Vsync、画素クロックPCLKを含む。制御信号は、垂直ブランキング画素数V1,V2を含む。
【0047】
ここで、車載カメラ1は例えば動画像を取得してケーブル20経由で車両100側(カメラECU110側)へ転送するが、車両100の仕様に応じて所定のフレームレートを満たすことが要求される。前述のように、ケーブル20は、信号を伝送可能な帯域が上限周波数Fth以下に制限され得る。例えば、有効画素領域R1の画像がケーブル20経由で上限周波数Fth以下の速度で車両100側へ送信されると、画像のデータ量が大きすぎ、所定のフレームレートを満たすことが困難な傾向にある。
【0048】
そのため、ISP4は、有効画素領域R1のうち記録画素領域R2に対応する出力画像の信号を出力するように、周辺回路3bを制御可能である。記録画素領域R2は、有効画素領域R1の内側の領域であり、有効画素領域R1の一部の領域である。周辺回路3bは、発振器6からのタイミング信号とISP4からの同期信号(水平同期信号HREF、垂直同期信号Vsync、画素クロックPCLK)及び制御信号(垂直ブランキング画素数V1,V2)とに応じて、記録画素領域R2から選択的に画素信号が出力されるように、画素配列3aを駆動可能である。
【0049】
例えば、
図5に示す記録画素領域R2は、水平同期信号HREF、垂直同期信号Vsync、垂直ブランキング画素数V
1,V
2などに応じて規定され得る。
【0050】
記録画素領域R2は、画素配列3aにおける有効画素領域R1の内側の領域である。記録画素領域R2では、行方向にX2個の画素が配列され、列方向にY2個の画素が配列される。X2、Y2は、それぞれ、自然数である。X2、Y2は、それぞれ、ケーブル20で信号を伝送可能な上限周波数Fthに応じて予め実験的に決められ得る。
【0051】
周辺回路3bは、水平同期信号HREF、垂直同期信号Vsync、画素クロックPCLK、垂直ブランキング画素数V1,V2に応じて、複数の画素行を順に選択しながら選択画素行に含まれる各列の画素から画素信号を読み出す読み出し走査を行う。
【0052】
例えば、周辺回路3bは、垂直同期信号Vsyncの立ち上がりエッジに応じて読み出し走査を1行目から開始する。周辺回路3bは、選択画素行が何行目かをカウントしている。周辺回路3bは、垂直ブランキング画素数V
1に応じて、1行目~V
1行目をスキップする。周辺回路3bは、画素クロックPCLKに応じてV
1+1行目の画素を
図5における左から右へ順次選択していき、水平同期信号HREFがノンアクティブレベル(例えば、Lレベル)からアクティブレベル(例えば、Hレベル)になると選択画素の画素信号を信号線42に出力し始める。周辺回路3bは、画素クロックPCLKに応じてV
1+1行目の画素をさらに順次選択していき、水平同期信号HREFがアクティブレベルからノンアクティブレベルになると画素信号の信号線42への出力をやめる。周辺回路3bは、画素クロックPCLKに応じてV
1+1行目の画素を右端まで選択すると、行番号をV
1+2にカウントアップし、画素クロックPCLKに応じてV
1+2行目の画素を左から選択し始める。これ以降、V
1+Y
2行目まで同様の動作が繰り返される。周辺回路3bは、画素クロックPCLKに応じてV
1+Y
2行目の画素を右端まで選択すると、行番号をV
1+Y
2+1にカウントアップし、垂直ブランキング画素数V
2(=Y
1-(V
1+Y
2))に応じて、V
1+Y
2+1行目~Y
1行目までスキップし、読み出し走査を終了する。
【0053】
X2は、X1より小さく、次の数式1が成り立つ。
X1=H1+X2+H2・・・数式1
【0054】
数式1において、H
1は、
図5における記録画素領域R2の左側の水平ブランキング画素数である。H
2は、
図5における記録画素領域R2の右側の水平ブランキング画素数である。
【0055】
水平ブランキング画素数H1は、水平同期信号HREFがHレベルになる前にLレベルに維持される水平ブランキング期間における画素クロック数に対応する。水平ブランキング画素数H2は、水平同期信号HREFがHレベルからLレベルになった後にLレベルに維持される水平ブランキング期間における画素クロック数に対応する。
【0056】
Y2は、Y1より小さく、次の数式2が成り立つ。
Y1=V1+Y2+V2・・・数式2
【0057】
数式2において、V
1は、
図5における記録画素領域R2の上側の垂直ブランキング画素数である。V
2は、
図5における記録画素領域R2の下側の垂直ブランキング画素数である。
【0058】
垂直ブランキング画素数V1は、垂直同期信号Vsyncの立ち上がりエッジタイミングから画素信号の読み出しをスキップする垂直ブランキング行数に対応する。垂直ブランキング画素数V2は、V1+Y2行目の画素信号の読み出し完了後に画素信号の読み出しをスキップする垂直ブランキング行数に対応する。
【0059】
記録画素領域R2は、第2四角形を有する。第2四角形は、第2長方形であってもよい。この場合、例えば、X2は1280であり、Y2は960であってもよい。
【0060】
有効画素領域R1における記録画素領域R2の位置は、記録画素領域R2の中心PCが有効画素領域R1の中心に略一致するように設定され得る。このとき、次の数式3が成り立つ。
H1=H2,V1=V2・・・数式3
【0061】
有効画素領域R1における位置は、画素座標で表すことができる。画素座標は、(行番号,列番号)で表されるとする。
図5における有効画素領域R1の左上の角の画素の位置を画素座標の原点(1,1)とする。
【0062】
記録画素領域R2の中心PCの画素座標(Bx,By)は、有効画素領域R1の中心に略一致し、次の数式4を満たすように設定され得る。
Bx=X1/2,By=Y1/2・・・数式4
【0063】
一方、光学系2の光軸AXは、有効画素領域R1の中心からずれた位置で交差し、記録画素領域R2の中心PCからずれた位置で交差する。前述のように、光学系2のレンズ2aは、歪曲収差を有し、有効画素領域R1に樽型又は糸巻き型に歪曲した被写体像を形成し得る。被写体像の歪曲中心DCは、有効画素領域R1の中心からずれた位置になり、記録画素領域R2の中心PCからずれた位置になる。
【0064】
歪曲中心DCの位置は、不揮発性メモリ5に不揮発に格納される。歪曲中心DCの位置は、歪曲中心DCの画素座標(Cx,Cy)で表される。歪曲中心DCの画素座標(Cx,Cy)は、次の数式5を満たす。
Cx≠Bx,Cy≠By・・・数式5
【0065】
図4に示す画素配列3aは、信号線42を介してISP4に接続される。
【0066】
ISP4は、画素配列3aにおける記録画素領域R2から出力される複数の画素信号を信号線42経由で受け得る。ISP4は、複数の画素信号に対して所定の処理を行い、記録画素領域R2の画像情報を生成する。画像情報は、任意の表色系の信号を含み得るが、例えばYUV信号を含む。YUV信号は、輝度成分を示すY信号、輝度成分と青色成分との色差を示すU信号、輝度成分と赤色成分との色差を示すV信号を含む。YUV信号は、YUV方式の任意のデータ形式を採用しえるが、YUV422形式を採用してもよい。YUV422では、隣り合う2画素の信号を1セットとして一部の情報を共有するため、画質の劣化を防ぎつつデータ量を削減できる。
【0067】
ISP4は、複数ビット幅(例えば、8ビット幅)のデータバス43を介してエンコーダ8に接続される。データバス43は、I2C方式に対応してもよい。ISP4及びエンコーダ8は、互いにI2C方式に従って、データバス43を介した接続先との通信を確立してもよい。ISP4は、I2C方式に従って、記録画素領域R2の画像情報を複数ビット(例えば、8ビット)のパラレル信号としてバス配線経由でエンコーダ8へ転送可能である。
【0068】
エンコーダ8は、記録画素領域R2の画像情報をパラレル信号として受ける。エンコーダ8は、記録画素領域R2の画像情報をパラレル・シリアル変換し、記録画素領域R2の画像情報をシリアル信号の形態にする。エンコーダ8は、シリアル信号を差動化し、差動信号SIG+,SIG-を生成してコネクタ7、ケーブル20経由でカメラECU110のデコーダ112へ出力する。
【0069】
不揮発性メモリ5は、制御線51を介してISP4に接続される。制御線51は、SPI(Serial Peripheral Interface)方式に対応してもよい。ISP4及び不揮発性メモリ5は、互いにSPI方式に従って、制御線51を介した接続先との通信を確立してもよい。
【0070】
例えば、ISP4は、制御線51を介して、歪曲中心DCの位置の情報を不揮発性メモリ5に格納させる。歪曲中心DCの位置は、歪曲中心DCの画素座標(Cx,Cy)を含んでもよい。ISP4は、制御線51を介して、歪曲中心DCの位置を不揮発性メモリ5から読み出す。
【0071】
ISP4は、制御線45を介してエンコーダ8に接続される。制御線45は、I2C方式に対応してもよい。ISP4及びエンコーダ8は、互いにI2C方式に従って、制御線45を介した接続先との通信を確立してもよい。ISP4は、I2C方式に従って、シリアル信号をエンコーダ8との間で授受し得る。
【0072】
例えば、ISP4は、制御線45を介して、歪曲中心DCの位置の情報を示すシリアル信号をエンコーダ8から受ける。ISP4は、制御線45を介して、歪曲中心DCの位置の情報を示すシリアル信号をエンコーダ8へ供給する。
【0073】
エンコーダ8は、歪曲中心DCの位置の情報を示すシリアル信号をISP4から受ける。エンコーダ8は、シリアル通信(例えば、C2B(登録商標))の規格に従い、記録画素領域R2の画像情報と歪曲中心DCの位置の情報とを時分割でカメラECU110へ送信してもよい。エンコーダ8は、記録画素領域R2の画像情報のシリアル信号の前又は後に、歪曲中心DCの位置の情報のシリアル信号を付加してもよい。エンコーダ8は、歪曲中心DCの位置の情報のシリアル信号を差動化し、差動信号SIG+,SIG-を生成してコネクタ7、ケーブル20経由でカメラECU110のデコーダ112へ出力し得る。
【0074】
エンコーダ8は、歪曲中心DCの位置の情報を示すシリアル信号をカメラECU110からケーブル20経由で受けると、歪曲中心DCの位置の情報を示すシリアル信号をISP4へ制御線45経由で転送し得る。
【0075】
次に、車載カメラ1の製造方法について、
図6を用いて説明する。
図6は、車載カメラ1の製造方法を示すフローチャートである。
【0076】
車載カメラ1が組み立てられる(S1)。例えば、筐体31及びコネクタ7が作製される。撮像センサ3、ISP4、不揮発性メモリ5が回路基板34に実装される。発振器6、エンコーダ8、電源回路9がさらに回路基板34に実装され得る。回路基板34は、筐体31内に取り付けられる。その後、光学系2の光軸AXの調整、光学系2のフォーカス位置の調整、光学系2のあおりの調整などが行われ、光学系2の鏡筒2b及び筐体31の相対的な取り付け位置が調整される。取り付け位置が決定されると、光学系2の鏡筒2bが筐体31に接着剤等で接着され、車載カメラ1が組み立てられる。
【0077】
光学系2の歪曲中心DCの位置が測定される(S2)。例えば、コネクタ7にテスト装置(図示せず)が接続される。例えば、格子状のテストパターンが撮像センサ3で撮像され、撮像センサ3で撮像された有効画素領域R1(
図5参照)の画像がISP4、エンコーダ8、コネクタ7経由でテスト装置へ転送される。テスト装置は、モニター画面を有し、転送された有効画素領域R1の画像がモニター画面に映し出されてもよい。有効画素領域R1の画像における格子状のテストパターンは、樽型又は糸巻き型に歪曲し得る。テスト装置は、有効画素領域R1における歪曲中心DCの位置を測定する。テスト装置は、有効画素領域R1において、格子状のテストパターンの歪曲の曲率が行方向・列方向にそれぞれほぼゼロになる画素位置(Cx,Cy)を歪曲中心DCの位置として求めてもよい。
【0078】
不揮発性メモリ5に歪曲中心DCの位置が書き込まれる(S3)。例えば、テスト装置は、歪曲中心DCの位置の測定結果をコネクタ7、エンコーダ8、ISP4経由で不揮発性メモリ5に書き込む。不揮発性メモリ5には、歪曲中心DCの画素位置(Cx,Cy)の情報が書き込まれてもよい。
【0079】
不揮発性メモリ5からISP4、エンコーダ8、コネクタ7経由で書き込み完了の通知を受けると、テスト装置は、コネクタ7から取り外される。
【0080】
これにより、車載カメラ1が完成する(S4)。その後、コネクタ7がケーブル20を介してカメラECU110に接続されるとともにコネクタ7が固定部材を介して車体101に接続される。これにより、車載カメラ1が電気的・機械的に車両100に設置される。
【0081】
次に、車載カメラ1の動作について
図7を用いて説明する。
図7は、車載カメラ1の動作を示すフローチャートである。
【0082】
カメラECU110は、所定の条件が成立することに応じて、車載カメラ1の電源起動が要求されたと認識し、車載カメラ1への電源供給を開始する(S101)。所定の条件は、車載カメラ1の電源起動要求を上位のコントローラ(例えば、車両100全体を制御するECU)から受けることであってもよいし、バッテリ又は電力変換装置から受ける電源電力が所定の閾値に達することであってもよい。カメラECU110は、電源電力をバッテリ又は電力変換装置から受けると、その電源電力を用いて車載カメラ1用の電源電力を生成し、グランド電位GND及び電源電位PWRとして通信線CL3,CL4経由で車載カメラ1へ供給し始める。
【0083】
これに応じて、車載カメラ1の電源回路9は、カメラECU110からの電源の受領を開始し(S11)、リセット状態になる。
【0084】
カメラECU110において、電源電位PWRのレベルが閾値レベルに達して所定時間が経過すると、主電源113が電源電位PWRのレベルの制御をロックし、CPU111がロックを確認する(S102)。
【0085】
車載カメラ1において、電源電位PWRのレベルが閾値レベルに達して所定時間が経過すると、電源回路9が、そのリセット状態を解除し(S12)、各部への電源供給を開始する。
【0086】
エンコーダ8は、電源回路9からの電源供給の開始に応じて、初期化を行う(S13)。エンコーダ8は、各種のパラメータの値を初期値にする。例えば、エンコーダ8は、ビデオモード・タイミング等の通信用のパラメータを初期値にする。
【0087】
ISP4は、電源回路9からの電源供給の開始に応じて、不揮発性メモリ5との制御線51経由の通信を確立する。ISP4は、SPI方式に従って、不揮発性メモリ5との通信を制御線51経由で確立してもよい。ISP4は、制御線51を介して歪曲中心DCの位置の情報を不揮発性メモリ5から読み出す(S14)。ISP4は、歪曲中心DCの位置の情報を保持する。
【0088】
ISP4は、エンコーダ8とのデータバス43及び制御線44,45経由の通信を確立する。ISP4は、I2C方式に従って、データバス43及び制御線44,45を介したエンコーダ8との通信をそれぞれ確立してもよい。これにより、データバス43及び制御線44,45を開通させる(S15)。
【0089】
カメラECU110において、デコーダ112は、車載カメラ1と通信を行うための設定を行う(S103)。例えば、デコーダ112は、通信線CL1,CL2が接続されるGPIO(General Purpose Input Output)の端子112a,112bを、車載カメラ1とシリアル通信するための端子に割り当てる。デコーダ112は、通信初期設定用のパラメータを端子112a,112b、通信線CL1,CL2、接続端子21,22、接続端子71,72経由でエンコーダ8へ送信する。通信初期設定用のパラメータは、ビデオモード・タイミング等の通信用のパラメータの設定値を含む。
【0090】
車載カメラ1において、エンコーダ8は、通信初期設定用のパラメータを受信すると、通信初期設定用のパラメータに応じて通信用のパラメータを設定する(S16)。例えば、エンコーダ8は、ビデオモード・タイミング等の通信用のパラメータの値を、初期値から、通信初期設定用のパラメータに含まれる設定値へ変更する。エンコーダ8は、設定が完了すると、完了通知を接続端子71,72、接続端子21,22、通信線CL1,CL2、端子112a,112b経由でデコーダ112へ送信する。
【0091】
カメラECU110において、デコーダ112は、完了通知を受信する。これにより、ケーブル20を介したエンコーダ8及びデコーダ112間の通信が確立し得る。
【0092】
デコーダ112は、カメラECU110内におけるCPU111との通信を確立する。デコーダ112は、MIPI(Mobile Industry Processor Interface)方式に従って、CPU111との通信を確立してもよい。デコーダ112は、CPU111との通信が確立すると、車載カメラ1から受ける画像をCPU111へ転送するためのパラメータを設定する(S104)。転送用のパラメータは、フレームレートの値を含んでもよい。デコーダ112及びCPU111間の転送のフレームレートは、ケーブル20を介したデコーダ112及びエンコーダ8間の通信のフレームレートより大きい。
【0093】
車載カメラ1において、ISP4は、撮像センサ3を制御して撮像動作を開始させる。これに応じて、撮像センサ3は、
図8(a)に示すように、画素配列3aの全体に対応する有効画素領域R1で被写体像を取得するが、その一部である記録画素領域R2から選択的に画素信号を出力する。
図8は、車載カメラ1の動作を示す図である。記録画素領域R2の中心PCの位置は、歪曲中心DCの位置からずれている。
【0094】
ISP4は、撮像センサ3から記録画素領域R2の信号を取得する。ISP4は、記録画素領域R2の信号に対して所定の処理を行い、
図8(b)に示すような記録画素領域R2の画像IM2を生成する。画像IM2における中心PCの位置は、記録画素領域R2における中心PCの位置に対応する。画像IM2の中心PCの位置は、画像IM2における歪曲中心DCの位置からずれている。ISP4は、記録画素領域R2の画像(出力画像)IM2と歪曲中心DCの位置とをエンコーダ8、コネクタ7及びケーブル20経由でカメラECU110へ出力し始める(S17)。
【0095】
カメラECU110において、CPU111は、記録画素領域R2の画像(出力画像)IM2と歪曲中心DCの位置とを車載カメラ1からケーブル20、デコーダ112経由で受ける。CPU111は、記録画素領域R2の画像(出力画像)IM2と歪曲中心DCの位置とを用いて、所定の表示装置に出力するための表示画像を生成する(S105)。所定の表示装置は、ディスプレイ102(
図1参照)であってもよい。
【0096】
例えば、記録画素領域R2の中心PCの位置は、予めカメラECU110に設定されている。記録画素領域R2の中心PCの位置は、有効画素領域R1における記録画素領域R2の中心PCの画素位置に対応する。
【0097】
CPU111は、記録画素領域R2の画像IM2と歪曲中心DCの位置とを受けると、記録画素領域R2の中心PCの位置を取得する。CPU111は、記録画素領域R2の画像IM2と歪曲中心DCの位置と中心PCの位置とに応じて、
図8(c)に示すような表示画像IM3を生成する。表示画像IM3は、歪曲中心DCを中心とし、記録画素領域R2と同じ画素数(
図5に示すX
2×Y
2)であるような画像である。
【0098】
CPU111は、画像IM2を用いながら、歪曲中心DCを中心とし記録画素領域R2と同じ画素数を有する画像を求める演算処理を行う。例えば、CPU111は、有効画素領域R1における中心PCの画素位置と歪曲中心DCの画素位置との差分DFを求める。CPU111は、記録画素領域R2の
図8(c)における左上の角CN1を差分DFでシフトさせた画素位置を、表示画像IM3の左上の角CN3とする。CPU111は、記録画素領域R2の
図8(c)における右下の角CN2を差分DFでシフトさせた画素位置を、表示画像IM3の右下の角CN4とする。これにより、CPU111は、角CN3と角CN4とで規定される表示画像IM3を生成する。
【0099】
すなわち、CPU111は、画像IM2から部分領域PR2を削除し、部分領域PR3を追加して、表示画像IM3を生成する。表示画像IM3は、
図8(c)に一点鎖線で囲って示される。部分領域PR2は、
図8(c)にピッチが大きいハッチングで示される。部分領域PR3は、
図8(c)にピッチが小さいハッチングで示される。CPU111は、表示画像IM3を生成する際に、部分領域PR3において、画像情報が欠けていることを示す単色(ブルー又はグレーなど)の画素値を補間してもよい。
【0100】
車載カメラ1において、ISP4は、画像IM2に対して所定の処理を行い、画像IM2を安定化させながら(S18)、記録画素領域R2の画像IM2を引き続き出力する。所定の処理は、露出調整、ホワイトバランス調整、ゲイン調整、ガンマ補正などを含む。
【0101】
カメラECU110において、CPU111は、車載カメラ1からの画像IM2が安定化したことに応じて、表示画像IM3を所定の表示装置(例えば、ディスプレイ102)へ供給する。所定の表示装置は、表示画像IM3を表示する(S106)。
【0102】
以上のように、第1の実施形態では、車載カメラ1は、撮像センサ3の起動に対応して歪曲中心DCの位置を不揮発性メモリ5から読み出し、有効画素領域R1の一部である記録画素領域R2の出力画像と歪曲中心DCの位置とをケーブル20経由でカメラECU110へ出力する。これにより、出力画像をケーブル20経由で上限周波数Fth以下の速度でカメラECU110へ送信でき、車載カメラ1に要求される所定のフレームレートを満たすことができる。また、出力画像に加えて歪曲中心DCの位置をカメラECU110へ送信するので、カメラECU110により歪曲中心DCを中心とし且つ記録画素領域R2と同じ画素数(例えば、X2×Y2)である表示画像IM3を生成できる。この結果、車載カメラ1に要求される所定のフレームレートを満たしながら、歪曲中心DCの位置が適切に調整された表示画像を所定の表示装置(例えば、ディスプレイ102)に表示できる。
【0103】
(第2の実施形態)
次に、第2の実施形態にかかる車載カメラ1について説明する。以下では、第1の実施形態と異なる部分を中心に説明する。
【0104】
第1の実施形態では、車載カメラ1から記録画素領域R2の画像IM2と歪曲中心DCの位置とが両者の中心のずれた状態で車両100側へ送信される構成及び動作が例示されるが、第2の実施形態では、両者の中心の合った状態で車両100側へ送信される構成及び動作が例示される。
【0105】
車載カメラ1において、不揮発性メモリ5は、歪曲中心DCの位置に代えて、
図9に示すような記録画素領域R21の位置を格納する。
図9は、画素配列3aの有効画素領域R1及び記録画素領域R21を示す図である。記録画素領域R21の位置は、記録画素領域R21の有効画素領域R1における位置であってもよい。
【0106】
記録画素領域R21は、その中心PC21が歪曲中心DCに略一致している。歪曲中心DCの画素座標は(Cx,Cy)で表される。記録画素領域R21は、その中心PC21の画素座標(Bx21,By21)が次の数式6を満たすように設定され得る。
Bx21≒Cx,By21≒Cy・・・数式6
【0107】
記録画素領域R2の中心PC21の位置は、有効画素領域R1の中心の位置からずれた位置になる。これに応じて、次の数式7~9が成り立つ。
X1=H11+X2+H12・・・数式7
Y1=V11+Y2+V12・・・数式8
H11≠H12,V11≠V12・・・数式9
【0108】
数式7において、H
11は、
図9における記録画素領域R21の左側の水平ブランキング画素数である。H
12は、
図9における記録画素領域R21の右側の水平ブランキング画素数である。数式8において、V
11は、
図9における記録画素領域R21の上側の垂直ブランキング画素数である。V
12は、
図9における記録画素領域R21の下側の垂直ブランキング画素数である。
【0109】
図9では、次の数式10が成り立つ場合が例示される。
H
11>H
12,V
11>V
12・・・数式10
【0110】
ISP4は、記録画素領域R21の位置を設定する。ISP4は、水平同期信号HREF、垂直同期信号Vsync、垂直ブランキング画素数V11,V12などを調整するにより、記録画素領域R21の位置を設定してもよい。
【0111】
記録画素領域R21の位置は、不揮発性メモリ5に不揮発に格納される。不揮発性メモリ5には、記録画素領域R21の位置として、記録画素領域R21を代表する箇所の画素位置が格納され得る。不揮発性メモリ5には、記録画素領域R21を代表する箇所の画素位置として、対角方向にある2つの角の画素位置が格納され得る。例えば、不揮発性メモリ5には、
図9における左上の角CN11の画素位置と右下の角CN12の画素位置とが格納されてもよい。
【0112】
角CN11の画素位置は、角CN11の画素座標(Sx,Sy)で表される。角CN11の画素座標(Sx,Sy)は、次の数式11を満たす。
Sx=H11,Sy=V11・・・数式11
【0113】
角CN12の画素位置は、角CN12の画素座標(Ex,Ey)で表される。角CN12の画素座標(Ex,Ey)は、次の数式12を満たす。
Ex=H11+X2=X1-H12,Ey=V11+Y2=Y1-V12・・・数式12
【0114】
このとき、記録画素領域R21の中心PC21は、角CN11及び角CN12を結ぶ対角線の中点である。これに応じて、中心PC21の画素位置の行番号Bx21は、角CN11の画素位置の行番号Sxと角CN12の画素位置の行番号Exとの平均値である。中心PC21の画素位置の列番号By21は、角CN11の画素位置の列番号Syと角CN12の画素位置の列番号Eyとの平均値である。すなわち、次の数式13が成り立つ。
Bx21=(Sx+Ex)/2,By21=(Sy+Ey)/2・・・数式13
【0115】
数式6、数式13により、歪曲中心DCの画素座標(Cx,Cy)について、次の数式14が成り立つ。
Cx≒(Sx+Ex)/2,Cy≒(Sy+Ey)/2・・・数式14
【0116】
数式14に示されるように、歪曲中心DCの画素位置の行番号Cxは、角CN11の画素位置の行番号Sxと角CN12の画素位置の行番号Exとの平均値に略等しい。中心PC21の画素位置の列番号Cyは、角CN11の画素位置の列番号Syと角CN12の画素位置の列番号Eyとの平均値に略等しい。
【0117】
また、車載カメラ1の製造方法が、
図10に示すように、次の点で第1の実施形態と異なる。
図10は、車載カメラ1の製造方法を示すフローチャートである。
【0118】
S1,S2が行われた後、記録画素領域R21の有効画素領域R1における位置が特定される(S102)。例えば、テスト装置は、歪曲中心DCの位置の測定結果を車載カメラ1におけるコネクタ7、エンコーダ8経由でISP4へ供給する。ISP4は、歪曲中心DCの位置の測定結果に応じて、記録画素領域R21の中心PC21が歪曲中心DCに略一致するような記録画素領域R21の位置を特定する。特定される記録画素領域R21の位置は、対角方向にある2つの角の画素位置を含んでもよく、例えば、角CN11の画素座標(Sx,Sy)と角CN12の画素座標(Ex,Ey)とを含んでもよい。ISP4は、特定された記録画素領域R21の位置を規定するように、水平同期信号HREF、垂直同期信号Vsync、垂直ブランキング画素数V
11,V
12などを調整する(
図9参照)。
【0119】
不揮発性メモリ5に記録画素領域R21の位置が書き込まれる(S103)。例えば、ISP4は、不揮発性メモリ5に記録画素領域R21の位置を書き込む。不揮発性メモリ5には、対角方向にある2つの角の画素位置が書き込まれてもよく、例えば、角CN11の画素座標(Sx,Sy)と角CN12の画素座標(Ex,Ey)とが書き込まれてもよい。
【0120】
ISP4からエンコーダ8、コネクタ7経由で書き込み完了の通知を受けると、テスト装置は、コネクタ7から取り外される。
【0121】
これにより、車載カメラ1が完成する(S4)。その後、コネクタ7がケーブル20を介してカメラECU110に接続されるとともにコネクタ7が固定部材を介して車体101に接続される。これにより、車載カメラ1が電気的・機械的に車両100に設置される。
【0122】
また、車載カメラ1の動作が、
図11に示すように、次の点で第1の実施形態と異なる。
図11は、車載カメラ1の動作を示すフローチャートである。
【0123】
S101,S102,S11~S13が第1の実施形態と同様に行われた後、車載カメラ1において、ISP4は、電源回路9からの電源供給の開始に応じて、不揮発性メモリ5との制御線51経由の通信を確立する。ISP4は、記録画素領域R21の位置の情報を不揮発性メモリ5から読み出す(S214a)。ISP4は、記録画素領域R21の位置の情報を保持する。
【0124】
ISP4は、画素配列3aの有効画素領域R1における記録画素領域R21の位置を設定する(S214b)。ISP4は、不揮発性メモリ5から記録画素領域R21の位置を取得する。ISP4は、記録画素領域R21の位置として、有効画素領域R1における記録画素領域R21を代表する箇所の画素位置を取得してもよい。ISP4は、記録画素領域R21を代表する箇所の画素位置として、対角方向にある2つの角の画素位置を取得してもよい。例えば、ISP4は、
図12(a)における左上の角CN11の画素位置と右下の角CN12の画素位置とを取得してもよい。
図12は、第2の実施形態に係る車載カメラ1の動作を示す図である。
【0125】
ISP4は、不揮発性メモリ5から読み出された記録画素領域R21の位置になるように、記録画素領域R21の位置を設定する。ISP4は、水平同期信号HREF、垂直同期信号Vsync、垂直ブランキング画素数V
11,V
12などを調整するにより、記録画素領域R21の位置を設定してもよい。これにより、
図12(a)に示すように、記録画素領域R21の位置は、その中心PC21が歪曲中心DCに略一致するような位置に設定される。
【0126】
その後、S15,S103,S16が第1の実施形態と同様に行われた後、車載カメラ1において、ISP4は、撮像センサ3を制御して撮像動作を開始させる。これに応じて、撮像センサ3は、
図12(a)に示すように、画素配列3aの全体に対応する有効画素領域R1で被写体像を取得するが、その一部である記録画素領域R21から選択的に画素信号を出力する。記録画素領域R21の中心PC21の位置は、歪曲中心DCの位置に略一致している。
【0127】
ISP4は、撮像センサ3から記録画素領域R21の信号を取得する。ISP4は、記録画素領域R21の信号に対して所定の処理を行い、
図12(b)に示すような記録画素領域R21の画像IM21を生成する。画像IM21の中心PC21の位置は、記録画素領域R2の中心PC21の位置に対応する。画像IM21の中心PC21は、画像IM21の歪曲中心DCに略一致している。ISP4は、記録画素領域R2の画像(出力画像)IM21と記録画素領域R21の位置とをエンコーダ8、コネクタ7及びケーブル20経由でカメラECU110へ出力し始める(S217)。
【0128】
ISP4は、記録画素領域R21の位置として、記録画素領域R21を代表する箇所の画素位置を出力し得る。ISP4は、記録画素領域R21を代表する箇所の画素位置として、対角方向にある2つの角の画素位置を出力し得る。例えば、ISP4は、
図12(b)における左上の角CN11の画素位置と右下の角CN12の画素位置とを出力してもよい。
【0129】
カメラECU110において、CPU111は、記録画素領域R21の画像(出力画像)IM21と記録画素領域R21の位置とを車載カメラ1からケーブル20、デコーダ112経由で受ける。CPU111は、記録画素領域R21の画像(出力画像)IM21を用いて、所定の表示装置に出力するための表示画像を生成する(S205)。
【0130】
歪曲中心DCの位置は、予めカメラECU110に設定されている。歪曲中心DCの位置は、画像IM21における歪曲中心DCの画素位置に対応する。CPU111は、記録画素領域R21の位置と歪曲中心DCの位置とに応じて、画像IM21の中心PC21が歪曲中心DCに略一致していることを確認してもよい。これに応じて、CPU111は、
図12(b)、
図12(c)に示すように、記録画素領域R21の画像IM21をそのまま用いて表示画像IM31を生成してもよい。表示画像IM31は、歪曲中心DCを中心とし、記録画素領域R21と同じ画素数(例えば、
図9に示すX
2×Y
2)であるような画像である。
【0131】
表示画像IM31を生成する際に記録画素領域R21の画像IM21がそのまま用いられれば、CPU111は、歪曲中心DCを中心とし記録画素領域R21と同じ画素数を有する画像を求める演算処理(
図8(c)参照)を省略することができる。CPU111は、削除される部分領域PR2(
図8(c)参照)の発生を避けながら表示画像IM31を生成できる。CPU111は、実質的に画像情報が欠けた部分領域PR3(
図8(c)参照)を含まない表示画像IM31を生成できる。これにより、表示画像IM31の画像品質を向上できる。
【0132】
車載カメラ1において、ISP4は、画像IM21に対して所定の処理を行い、画像IM21を安定化させながら(S18)、記録画素領域R21の画像IM21と歪曲中心DCの位置とを出力する。所定の処理は、露出調整、ホワイトバランス調整、ゲイン調整、ガンマ補正などを含む。
【0133】
カメラECU110において、CPU111は、車載カメラ1からの画像IM21が安定化したことに応じて、表示画像IM31を所定の表示装置(例えば、ディスプレイ102)へ供給する。所定の表示装置は、表示画像IM31を表示する(S106)。
【0134】
以上のように、第2の実施形態では、車載カメラ1は、撮像センサ3の起動に対応して記録画素領域R21の位置を不揮発性メモリ5から読み出し、有効画素領域R1の一部である記録画素領域R21の出力画像と記録画素領域R21の位置とをケーブル20経由でカメラECU110へ出力する。これにより、出力画像をケーブル20経由で上限周波数Fth以下の速度でカメラECU110へ送信でき、車載カメラ1に要求される所定のフレームレートを満たすことができる。また、出力画像に加えて記録画素領域R21の位置をカメラECU110へ送信するので、記録画素領域R21の中心PC21が歪曲中心DCに合っていることをカメラECU110で確認でき、記録画素領域R21の画像IM21をそのまま用いて表示画像IM3を生成できる。この結果、車載カメラ1に要求される所定のフレームレートを満たしながら、歪曲中心DCの位置が適切である表示画像を所定の表示装置(例えば、ディスプレイ102)に表示できる。
【0135】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0136】
1,1_1~1_4 車載カメラ
2 レンズ
3 撮像センサ
4 ISP
5 不揮発性メモリ
7 コネクタ
20 ケーブル
31 筐体
34 回路基板