特開 2022-98337 撮像装置および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022098337

(43)【公開日】2022-07-01

(54)【発明の名称】撮像装置および画像処理装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220624BHJP

   H04N 7/18 20060101ALI20220624BHJP

【ＦＩ】

G06T1/00 330Z

H04N7/18 J

H04N7/18 V

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020211821

(22)【出願日】2020-12-21

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100147692

【弁理士】

【氏名又は名称】下地 健一

(72)【発明者】

【氏名】山崎 敦志

【テーマコード（参考）】

5B057

5C054

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057CE10

5B057DA07

5B057DA08

5B057DA16

5B057DB02

5B057DB09

5C054CA04

5C054CC02

5C054FD02

5C054FE18

5C054HA30

(57)【要約】

【課題】撮影対象迄の距離が異なる複数のカメラの画像を合成して、人が感じる違和感を低減した広い視野の画像を生成する。
【解決手段】撮像装置は、第１撮影部と、第２撮影部と、第３撮影部と、画像処理部とを備える。第１撮影部は、第１の位置から第１の方向を撮像した第１画像を取得する。第２および第３撮影部は、第１の位置に対して第１の方向の反対側に位置する第２及び第３の位置から、第２および第３の方向を撮影して第２および第３画像を取得する。第２撮影部と第３撮影部とは、それぞれ第１撮影部と視野を一部共有する。画像処理部は、第２画像および第３画像のそれぞれの一部を、第１画像の一部と結合させた結合画像を生成する。第２撮影部と第３撮影部とは、第１撮影部よりも長い焦点距離を有し、且つ、第１撮影部よりも広い視野角を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の位置から第１の方向を撮像した第１画像を取得する第１撮影部と、
前記第１の位置に対して前記第１の方向の反対側に位置する第２の位置から第２の方向を撮影して第２画像を取得する第２撮影部であって、前記第１撮影部と視野を一部共有する該第２撮影部と、
前記第１の位置に対して前記第１の方向の反対側に位置する第３の位置から、第３の方向を撮影して第３画像を取得する第３撮影部であって、前記第１撮影部と視野を一部共有する該第３撮影部と、
前記第２画像および前記第３画像のそれぞれの一部を、前記第１画像の一部と結合させた結合画像を生成する画像処理部と
を有し、
前記第２撮影部と前記第３撮影部は、前記第１撮影部よりも長い焦点距離を有し、且つ、前記第１撮影部よりも広い視野角を有する、
撮像装置。

【請求項2】

前記第２撮影部及び前記第３撮影部は、中心窩レンズを備え、視野の周辺部に比べ中央部の解像度が高い、請求項１に記載の撮像装置。

【請求項3】

前記第２画像及び前記第３画像は、像倍率が最も高い位置、または、前記像倍率が最も高い位置の前記第１画像の一部が配置される側の反対側で、前記第１画像に結合される、請求項１または２に記載の撮像装置。

【請求項4】

前記第２画像及び前記第３画像は、像倍率が最も高い領域が幾何学的中心からずれている、請求項３に記載の撮像装置。

【請求項5】

前記画像処理部は、前記第１画像と、前記第２画像及び前記第３画像それぞれとの結合部分において、被写体の画像の大きさを一致または近似させるように、前記第１画像と前記第２画像及び前記第３画像との少なくとも何れかの画像を拡大または縮小する、請求項１から４の何れか一項に記載の撮像装置。

【請求項6】

前記第１の方向から見たとき、前記第２撮影部及び前記第３撮影部は、前記第１撮影部を挟んで異なる側に配置される、請求項１から４の何れか一項に記載の撮像装置。

【請求項7】

第１撮影部により、第１の位置から第１の方向を撮像した第１画像、前記第１撮影部と視野を一部共有する第２撮影部により、前記第１の位置に対して前記第１の方向の反対側に位置する第２の位置から第２の方向を撮影した第２画像、及び、前記第１撮影部と視野を一部共有する第３撮影部により、前記第１の位置に対して前記第１の方向の反対側に位置する第３の位置から第３の方向を撮影した第３画像を取得する画像取得部と、
前記第２画像および前記第３画像のそれぞれの一部を、前記第１画像の一部と結合させた結合画像を生成する画像処理部と
を有し、
前記第２撮影部と前記第３撮影部とは、前記第１撮影部よりも長い焦点距離を有し、且つ、前記第１撮影部よりも広い視野角を有する、
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置および画像処理装置に関する。

【背景技術】

【0002】

従来、車両の後方中央及び左右側方に設けられた３つのカメラによりそれぞれ撮像された車両後方の画像を合成して、一つの広い視野の画像を生成する装置が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－２５５９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、車両の左右側方に設けられたカメラと、車両の後方中央に設けられたカメラとでは、車輌の進行方向に対する取付位置が異なるため、撮影対象までの距離が異なる。そのため、同じ仕様のカメラを用いた場合は、撮影された画像上での被写体の大きさが異なる。例えば、撮影対象からより遠い位置に位置する左右の側方に設けられたカメラの画像は、撮影対象により近い後方中央のカメラの画像よりも撮影対象が小さく撮影される。そのため、左右のカメラの画像と中央のカメラの画像とを結合させると、違和感が生じることがある。違和感を解消するために、中央のカメラの画像に適合するように、左右のカメラの画像を画像処理により拡大すると、左右のカメラの画像の画質が劣化することがある。

【0005】

したがって、これらの点に着目してなされた本発明の目的は、撮影対象までの距離が異なる複数のカメラの画像を合成して、人が感じる違和感を低減した広い視野の画像を得ることができる撮像装置および画像処理装置を提供することにある。

【課題を解決するための手段】

【0006】

本開示の撮像装置は、第１撮影部と、第２撮影部と、第３撮影部と、画像処理部とを備える。前記第１撮影部は、第１の位置から第１の方向を撮像した第１画像を取得する。前記第２撮影部は、前記第１の位置に対して前記第１の方向の反対側に位置する第２の位置から第２の方向を撮影して第２画像を取得する。前記第２撮影部は、前記第１撮影部と視野を一部共有する。前記第３撮影部は、前記第１の位置に対して前記第１の方向の反対側に位置する第３の位置から、第３の方向を撮影して第３画像を取得する。前記第３撮影部は、前記第１撮影部と視野を一部共有する。前記画像処理部は、前記第２画像および前記第３画像のそれぞれの一部を、前記第１画像の一部と結合させた結合画像を生成する。前記第２撮影部と前記第３撮影部とは、前記第１撮影部よりも長い焦点距離を有し、且つ、前記第１撮影部よりも広い視野角を有する。

【0007】

本開示の画像処理装置は、画像取得部と、画像処理部とを含む。前記画像取得部は、第１撮影部により、第１の位置から第１の方向を撮像した第１画像、前記第１撮影部と視野を一部共有する第２撮影部により、前記第１の位置に対して前記第１の方向の反対側に位置する第２の位置から第２の方向を撮影した第２画像、及び、前記第１撮影部と視野を一部共有する第３撮影部により、前記第１の位置に対して前記第１の方向の反対側に位置する第３の位置から第３の方向を撮影した第３画像を取得する。前記画像処理部は、前記第２画像および前記第３画像のそれぞれの一部を、前記第１画像の一部と結合させた結合画像を生成する。前記第２撮影部と前記第３撮影部とは、前記第１撮影部よりも長い焦点距離を有し、且つ、前記第１撮影部よりも広い視野角を有する。

【発明の効果】

【0008】

本開示の実施形態によれば、撮影対象までの距離が異なる複数のカメラの画像を合成して、人が感じる違和感を低減した広い視野の画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係る撮像装置の概略構成を示すブロック図である。

【図2】図１の撮像装置の各撮影部の配置と撮影範囲の一例を示す図である。

【図3】それぞれのカメラ画像の切り出し部分を説明する図であり、（ａ）は左カメラ画像の切り出し部分を、（ｂ）は、中央カメラ画像の切り出し部分を、（ｃ）は、右カメラ画像の切り出し部分を、それぞれ説明する図である。

【図4】合成画像とその倍率特性を説明する図である。

【図5】画像処理部による画像合成方法を説明する図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

【0011】

（撮像装置の構成）
本開示の一実施形態に係る撮像装置１０は、図１に示すように、中央カメラ１１、右カメラ１２、左カメラ１３、および、画像処理部１４を含んで構成される。画像処理部１４は、中央カメラ１１、右カメラ１２および左カメラ１３の３つのカメラから出力された画像から合成した画像を、例えば表示部１５を含む外部に出力するように構成される。

【0012】

（カメラ）
中央カメラ１１は、第１撮影部である。右カメラ１２および左カメラ１３は、一方が第２撮影部であり、他方が第３撮影部である。中央カメラ１１、右カメラ１２および左カメラ１３は、それぞれ、一つ以上のレンズと撮像素子とを有する。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。中央カメラ１１、右カメラ１２および左カメラ１３は、それぞれ、レンズにより撮像素子の受光面に結像された画像を電気信号に変換するように構成される。中央カメラ１１、右カメラ１２および左カメラ１３は、電気信号に変換された画像に対して、明度調整、コントラスト調整、ガンマ補正等の任意の画像処理を行ってよい。

【0013】

中央カメラ１１、右カメラ１２および左カメラ１３は、それぞれ互いに異なる第１の位置、第２の位置および第３の位置に位置する。中央カメラ１１の撮像する方向を第１の方向とする。第１の方向は、中央カメラ１１の光軸の向く方向である。右カメラ１２の位置である第２の位置は、中央カメラ１１の光軸から離れた位置であって、第１の位置に対して第１の方向の反対側に位置する。すなわち、右カメラ１２は、中央カメラ１１の背面側、言い換えると中央カメラ１１から見て被写体と反対側に位置する。右カメラ１２の撮影する方向を第２の方向とする。第２の方向は、第１の方向と同じであっても異なってもよい。左カメラ１３の位置である第３の位置は、中央カメラ１１の光軸から離れた位置であって、第１の位置に対して第１の方向の反対側に位置する。すなわち、左カメラ１３は、中央カメラ１１の背面側に位置する。右カメラ１２の撮影する方向を第３の方向とする。第３の方向は、第１の方向と同じであっても異なってもよい。右カメラ１２は、中央カメラ１１から中央カメラ１１の撮像する方向を向いたとき、中央カメラ１１の光軸の右側に位置してよい。左カメラ１３は、中央カメラ１１から中央カメラ１１の撮像する方向に向いたとき、中央カメラ１１の光軸方向の左側に位置してよい。右カメラ１２および左カメラ１３は、第１方向から見たとき、中央カメラ１１を挟んで異なる側に位置する。これによって、撮像装置１０は、左右方向に広い範囲を撮像する対象の領域としてカバーすることができる。

【0014】

一実施形態において、撮像装置１０は、図２に示すように車両２０に搭載される。「車両」は、自動車、軌道車両、産業車両、及び生活車両を含むが、これらに限られない。自動車は、乗用車、バス及びトラック等を含む。撮像装置１０は、「車両」以外の移動体に搭載されてよい。移動体は、航空機、船舶、および、ロボット等を含んでよい。一例として、図２の車両２０は、自動車であるものとして説明する。

【0015】

中央カメラ１１は、光軸Ｏを車両２０の後方に向けて、車両２０の後部中央に固定されるリアカメラである。中央カメラ１１は、被写体距離ｄ１離れて位置する被写体に対して焦点が合うように設計される。右カメラ１２は、車両２０の右側に配置され、車両２０の右側方及び後方を撮像可能な右サイドカメラである。右カメラ１２は、例えば、右側のドアミラーの位置に配置することができる。左カメラ１３は、車両２０の左側に配置され、車両２０の左側方及び後方を撮像可能な左サイドカメラである。左カメラ１３は、例えば、左側のドアミラーの位置に配置することができる。右カメラ１２および左カメラ１３は、被写体距離ｄ２（ｄ２＞ｄ１）離れて位置する被写体に対して焦点が合うように設計される。一例として、ｄ１およびｄ２は、それぞれは１０ｍおよび１２．５ｍとすることができる。この場合、右カメラ１２および左カメラ１３は、中央カメラ１１に比べて約２．５ｍだけ長く被写体から離れて位置する。

【0016】

車両２０において、右カメラ１２および左カメラ１３は、車両２０周辺の監視のために使用される。撮像装置１０の死角を減らすため、右カメラ１２および左カメラ１３の視野角θＲ，θＬは広い方が好ましい。例えば、右カメラ１２および左カメラ１３は、約９０度の視野角を有する。約５０度の中央カメラ１１の視野角θＣに比べ、右カメラ１２の視野角θＲおよび左カメラ１３の視野角θＬは大きい。中央カメラ１１、右カメラ１２および左カメラ１３が撮影する映像は後述するように結合される。従って、それぞれのカメラが撮影する同一の被写体は、同一、もしくは同程度の大きさに撮影されることが望ましい。しかし、広い視野角を持つカメラは一般的に焦点距離が短くなる。このため、右カメラ１２および左カメラ１３と、これらよりも車両２０の後方に取り付けた中央カメラ１１との倍率を合わせにくいという問題がある。

【0017】

このため、本開示の撮像装置１０では、右カメラ１２および左カメラ１３として、中心窩レンズを用いたカメラを採用する。中心窩レンズを用いたカメラは、視野の中央部の解像度が周辺領域の解像度に比べて高いカメラである。ここで、解像度とは例えば画角１度あたりに含まれるピクセルの数である。中心窩レンズで撮像した画像は、中央領域の画像が、周辺領域の画像に対して拡大されている。一例として、最も画像の拡大率が高くなる中央領域の解像度の最大値は、最も画像の縮小率が大きくなる周辺領域の解像度の最低値に比べ、２．５倍以上であり、例えば３倍程度である。中央領域は、例えば光軸を中心とする所定範囲の領域である。中心窩レンズを用いることにより、右カメラ１２および左カメラ１３は、中央カメラ１１の視野角θＣよりも広い視野角θＲ，θＬを有しながら、中央カメラ１１の焦点距離よりも長い焦点距離を有することができる。これによって、右カメラ画像３０Ｒおよび左カメラ画像３０Ｌの中央部分で、被写体の大きさを中央カメラ画像３０Ｃの画像の被写体の大きさに近づけることができる。なお、中心窩レンズにおいて、画像の拡大率が最大となる部分は、必ずしも画像の中心である必要はない。例えば、右カメラ画像３０Ｒにおける拡大率のピーク位置は左方向、すなわち中央カメラ１１の光軸側にシフトしていても良い。同様に、左カメラ画像３０Ｌにおける拡大率のピーク位置は右方向、すなわち中央カメラ１１の光軸側にシフトしていても良い。

【0018】

図２の下部に、それぞれ中央カメラ１１、右カメラ１２および左カメラ１３により撮像される、中央カメラ画像３０Ｃ、右カメラ画像３０Ｒおよび左カメラ画像３０Ｌが示される。中央カメラ画像３０Ｃは第１画像である。右カメラ画像３０Ｒおよび左カメラ画像３０Ｌの一方は第２画像である。他方は第３画像である。中央カメラ１１と右カメラ１２とは、視野を一部共有する。中央カメラ１１と左カメラ１３とは、視野を一部共有する。このため、中央カメラ画像３０Ｃと右カメラ画像３０Ｒとは、画像中に含まれる被写体が一部重複する。また、中央カメラ画像３０Ｃと左カメラ画像３０Ｌとは、画像中に含まれる被写体が一部重複する。図２において、中央カメラ画像３０Ｃと右カメラ画像３０Ｒとの被写体が重複する重複領域Ａ１、および、中央カメラ画像３０Ｃと左カメラ画像３０Ｌとの被写体が重複する重複領域Ａ２が示される。重複領域Ａ１には、右カメラ画像３０Ｒの倍率がピークとなる部分が含まれてよい。重複領域Ａ２には、左カメラ画像３０Ｌの倍率がピークとなる部分が含まれてよい。

【0019】

（画像処理部）
図１の画像処理部１４は、画像処理装置と言い換えることができる。画像処理部１４は、入力部１６、制御部１７、記憶部１８及び出力部１９を含む。

【0020】

入力部１６は、中央カメラ１１、右カメラ１２および左カメラ１３のそれぞれから、中央カメラ画像３０Ｃ、右カメラ画像３０Ｒおよび左カメラ画像３０Ｌを取得する。入力部１６は、画像取得部である。入力部１６は、画像処理部１４への画像データの入力を受ける入力インタフェースである。入力部１６は、物理コネクタ、及び無線通信機を含んでよい。入力部１６には、中央カメラ１１、右カメラ１２および左カメラ１３の各々が撮像した画像の画像データが入力される。入力部１６は入力された画像データを制御部１７に引き渡す。

【0021】

制御部１７は、画像処理部１４全体の制御を行うとともに、入力部１６が取得した中央カメラ画像３０Ｃ、右カメラ画像３０Ｒおよび左カメラ画像３０Ｌに対して画像処理を行う。制御部１７は、一つまたは複数のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１７は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

【0022】

制御部１７は、記憶部１８に記憶された画像処理プログラムを実行することができる。記憶部１８は、例えば半導体メモリ、磁気メモリ、および光メモリ等の何れか一つ以上を含む。制御部１７が実行する画像処理には、入力部１６が取得した中央カメラ画像３０Ｃ、右カメラ画像３０Ｒおよび左カメラ画像３０Ｌを結合する処理を含む。制御部１７は、右カメラ画像３０Ｒおよび左カメラ画像３０Ｌのそれぞれ一部を、中央カメラ画像３０Ｃの一部と結合させた結合画像を生成することができる。結合画像は、車両２０に対して後方の広い範囲の風景を示す一枚の画像となる。制御部１７による画像の結合が、図３および図４に示される。

【0023】

図３（ａ）は、左カメラ画像３０Ｌと、左カメラ画像３０Ｌの左右方向の各位置での像倍率を示す像倍率曲線３２Ｌとを示す。像倍率曲線３２Ｌは、左カメラ画像３０Ｌの左右方向に延びる仮想線３３Ｌに沿う像倍率の変化を示す。像倍率曲線３２Ｌは、左カメラ１３のレンズの倍率特性に対応する。左カメラ１３のレンズは中心窩レンズである。このため、左カメラ画像３０Ｌは、周辺領域に対して中央領域の倍率が高い。言い換えれば、周辺領域に対して中央領域の解像度が高い。像倍率がピークとなる位置を倍率ピーク位置と呼ぶ。左カメラ画像３０Ｌの像倍率は、倍率ピーク位置から離れるに従って低下する。左カメラ画像３０Ｌの像倍率は、倍率ピーク位置において中央カメラ画像３０Ｃの像倍率と同じ値、または、中央カメラ画像３０Ｃの像倍率に近い値とすることができる。

【0024】

制御部１７は、左カメラ画像３０Ｌの倍率ピーク位置、または、倍率ピーク位置の中央カメラ画像３０Ｃが配置される側の反対側にずれた位置を境界として、中央カメラ画像３０Ｃの反対側の領域を左部分画像３１Ｌとして切り出す。すなわち、制御部１７は、倍率ピーク位置、または、倍率ピーク位置よりも左側にずれた位置を境界として、左カメラ画像３０Ｌの左側の領域を左部分画像３１Ｌとして切り出す。左部分画像３１Ｌを切り出す境界の位置を、倍率ピーク位置の右側にずれた位置とすると、左部分画像３１Ｌ内に倍率のピーク位置に対して倍率の低い部分が左右に存在するため、結合した画像が見づらくなる虞がある。そのような画像では、例えば、結合した画像における被写体の大きさの変化の連続性が失われ、結合位置が顕在化する恐れがある。左部分画像３１Ｌを切り出す境界の位置を、倍率ピーク位置の右側にずれた位置にした場合、後述する中央部分画像３１Ｃとの結合において、左部分画像３１Ｌの一部に画像の拡大処理が必要となる場合がある。

【0025】

倍率ピーク位置は、左カメラ画像３０Ｌの幾何学的な中心に位置してよいが、幾何学的中心からずれていてもよい。図３（ａ）の例では、左カメラ画像３０Ｌの倍率ピーク位置は、中央カメラ画像３０Ｃが撮像する領域側にずれている。このようにすることによって、左カメラ画像３０Ｌと中央カメラ画像３０Ｃの画像を結合することを容易とし、且つ、広い結合画像を得ることができる。

【0026】

図３（ｂ）は、中央カメラ画像３０Ｃと、中央カメラ画像３０Ｃの横方向の各位置での像倍率を示す像倍率曲線３２Ｃとを示す。像倍率曲線３２Ｃは、中央カメラ画像３０Ｃの左右方向に延びる仮想線３３Ｃに沿う像倍率の変化を示す。中央カメラ１１には、倍率特性が何れの方向においても略一定な通常のレンズが使用される。このため、像倍率曲線３２Ｃは、平坦に近い形状となっている。制御部１７は、左カメラ画像３０Ｌおよび右カメラ画像３０Ｒから切り出される左部分画像３１Ｌ及び右部分画像３１Ｒ（図３（ｃ）参照）と被写体が重なる部分を中央カメラ画像３０Ｃから除いた部分を、中央部分画像３１Ｃとして切り出す。

【0027】

図３（ｃ）は、右カメラ画像３０Ｒと、右カメラ画像３０Ｒの横方向の各位置での像倍率を示す像倍率曲線３２Ｒとを示す。図３（ｃ）は、図３（ａ）と線対称であり、左右の違いを除けば図３（ａ）と同じであるから、説明を省略する。制御部１７は、右カメラ画像３０Ｒから右部分画像３１Ｒを切り出す。

【0028】

中央カメラ１１により撮像される被写体の画像の大きさと、右カメラ１２および左カメラ１３により撮像される被写体の画像の倍率ピーク位置での大きさとは、画像を切り出した境界において、一致することが好ましい。すなわち、左部分画像３１Ｌと中央部分画像３１Ｃの結合位置において、被写体の大きさが一致していることが好ましい。同様に、右部分画像３１Ｒと中央部分画像３１Ｃの結合位置において、被写体の大きさが一致していることが好ましい。しかし、それらの画像において被写体の大きさが一致しなかったとしても、制御部１７は、画像の拡大または縮小処理によって、それら被写体の画像の大きさを一致または近似させるように補正することができる。右カメラ１２と左カメラ１３は、それぞれ中心窩レンズを用いるカメラであるため、中央部分画像３１Ｃと、右部分画像３１Ｒ及び左部分画像３１Ｌとの結合位置における被写体の大きさは概ね近似させることができるため、画像の縮小又は拡大処理による画像劣化の影響を小さくすることができる。なお、中央カメラ画像３０Ｃと、右カメラ画像３０Ｒ及び左カメラ画像３０Ｌとの境界（すなわち、中央カメラ画像３０、右カメラ画像３０Ｒ、および、左カメラ画像３０Ｌの切り出し線）は直線に限られず、曲線状の切り出し線で切りだしてもよい。

【0029】

制御部１７は、中央カメラ画像３０Ｃ、右カメラ画像３０Ｒおよび左カメラ画像３０Ｌから、それぞれ切り出した中央部分画像３１Ｃ、右部分画像３１Ｒおよび左部分画像３１Ｌを結合させ、図４に示すように結合画像３４を生成する。結合画像３４の像倍率を示す結合された像倍率曲線３５は、中央部の広い領域で像倍率が高く周辺部に向けて像倍率が低下する。これによって結合画像３４は、中央部において広い高精細な領域を有する、広い視野の画像となる。

【0030】

制御部１７は、結合画像３４を、出力部１９を介して表示部１５等の他の装置に出力することができる。出力部１９は、結合画像３４の画像データを外部に出力する出力インタフェースである。出力部１９は、物理コネクタ、及び無線通信機を含んでよい。一実施形態において、出力部１９は、ＣＡＮ（Control Area Network）等の車両２０のネットワークに接続されることができる。

【0031】

結合画像３４を表示する表示部１５は、任意の表示装置を採用することができる。例えば、表示部１５は、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、電界放出ディスプレイ（ＦＥＤ：Field Emission Display）、等の種々のフラットパネルディスプレイを採用しうる。表示部１５は、他の装置、例えばナビゲーション装置のディスプレイを共用してよい。表示部１５は、車両２０の後方を映す電子ミラーとして使用することができる。

【0032】

（処理フロー）
以下に、図５を参照して、制御部１７が実行する画像処理方法を説明する。制御部１７は、記憶部１８に記憶された画像処理プログラムに従って、図５に示されるフローチャートの処理を実行する。画像処理プログラムは、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。

【0033】

まず、制御部１７は、中央カメラ１１、右カメラ１２および左カメラ１３から、それぞれ、中央カメラ画像３０Ｃ，右カメラ画像３０Ｒおよび左カメラ画像３０Ｌを取得する（ステップＳ１０１）。

【0034】

ステップＳ１０１の後、制御部１７は、右カメラ画像３０Ｒの倍率ピーク位置の右側部分から右部分画像３１Ｒを切り出す（ステップＳ１０２）。

【0035】

制御部１７は、左カメラ画像３０Ｌの倍率ピーク位置の左側部分から左部分画像３１Ｌを切り出す（ステップＳ１０３）。

【0036】

制御部１７は、中央カメラ画像３０Ｃの右部分画像３１Ｒおよび左部分画像３１Ｌと被写体が重なる部分を除いた中央部分から中央部分画像３１Ｃを切り出す（ステップＳ１０４）。

【0037】

ステップＳ１０２、Ｓ１０３およびＳ１０４が実行される順序は、図５に示される順序に限られない。ステップＳ１０２、Ｓ１０３およびＳ１０４は、図５と異なる順序で実行されてよい。また、ステップＳ１０２、Ｓ１０３およびＳ１０４は、同時並行して実行されてよい。

【0038】

ステップＳ１０２からＳ１０４が終了した後、制御部１７は、中央部分画像３１Ｃ、右部分画像３１Ｒおよび左部分画像３１Ｌに対して、画像処理を行う（ステップＳ１０５）。ステップＳ１０５で行う画像処理は、画像の拡大または縮小を含む。制御部１７は、中央部分画像３１Ｃと右部分画像３１Ｒおよび左部分画像３１Ｌとが、結合する境界部分である結合部分で被写体の大きさが一致しない場合、何れかの画像を拡大または縮小させて、被写体の大きさを一致または近似させることができる。また、制御部１７は、必要な場合、右部分画像３１Ｒおよび左部分画像３１Ｌの歪を補正する処理を行ってよい。制御部１７は、これらの補正に加え、画像間の結合部分をより自然に見せるための補正を行ってよい。

【0039】

ステップＳ１０５の後、制御部１７は、中央部分画像３１Ｃ、右部分画像３１Ｒおよび左部分画像３１Ｌを結合して、結合画像３４を生成する（ステップＳ１０６）。

【0040】

制御部１７は、ステップＳ１０５で生成した結合画像３４を表示部１５に出力させる（ステップＳ１０７）。

【0041】

以上説明したように、本実施形態によれば、中央カメラ１１よりも被写体から離れて位置する右カメラ１２および左カメラ１３が、中央カメラ１１よりも長い焦点距離を有し、且つ、中央カメラ１１よりも広い視野角を有する中心窩レンズを採用する。これによって、右カメラ１２および左カメラ１３は、中央カメラ１１よりも広い視野角を有する。また、右カメラ１２および左カメラ１３に中心窩レンズを用いたことにより、右部分画像３１Ｒおよび左部分画像３１Ｌと、中央部分画像３１Ｃとは、互いの結合部分において画像内の被写体の大きさを一致させるか又は近づけることができる。これによって、中央部分画像３１Ｃと右部分画像３１Ｒおよび左部分画像３１Ｌとは、違和感が無い態様、または、違和感が低減された態様で結合させることができる。さらに、右部分画像３１Ｒおよび左部分画像３１Ｌの中央部分画像３１Ｃとの結合部分近傍は、中央部分画像３１Ｃと同様の高精細な画像となる。したがって、撮像装置１０は、中央部において高精細であり、且つ、人が感じる違和感を低減した広い視野の画像を生成することが可能になる。また、撮像装置１０では、中央部分画像３１Ｃと右部分画像３１Ｒおよび左部分画像３１Ｌとを結合させるために、画像の拡大等の処理を行う場合でも、画像の拡大率を小さくすることができる。これによって、画像拡大により生じる画像の劣化を最小限にすることができる。

【0042】

撮像装置１０が出力する結合画像３４は、車両２０の電子ミラーの画像として使用することができる。結合画像３４は、中央部分が拡大され、左右の周辺部分が縮小された画像となる。電子ミラーで観察される画像は、中央部分の重要度が高く、相対的に周辺部分の重要度が低い。このため、撮像装置１０が出力する結合画像３４は、電子ミラー等、車両２０の安全運転を支援する装置への用途に好適である。

【0043】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、中央カメラ１１は１台のカメラでなく複数のカメラの組み合わせとし、中央カメラ画像３０Ｃをそれらのカメラの撮影画像を組み合わせて生成しても良い。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【符号の説明】

【0044】

１０ 撮像装置
１１ 中央カメラ（第１撮影部）
１２ 右カメラ（第２撮影部）
１３ 左カメラ（第３撮影部）
１４ 画像処理部（画像処理装置）
１５ 表示部
１６ 入力部（画像取得部）
１７ 制御部
１８ 記憶部
１９ 出力部
２０ 車両
３０Ｃ 中央カメラ画像
３０Ｒ 右カメラ画像
３０Ｌ 左カメラ画像
３１Ｃ 中央部分画像
３１Ｒ 右部分画像
３１Ｌ 左部分画像
３２Ｃ、３２Ｒ、３２Ｌ 像倍率曲線
３３Ｃ、３３Ｒ、３３Ｌ 仮想線
３４ 結合画像
３５ 結合された像倍率曲線
Ａ１、Ａ２ 重複領域
ｄ１、ｄ２ 被写体距離
θＣ、θＲ、θＬ 視野角
Ｏ 光軸

【図1】

【図2】

【図3】

【図4】

【図5】