特許 6022930 カメラシステム、カメラモジュールおよびカメラ制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6022930

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月9日

(54)【発明の名称】カメラシステム、カメラモジュールおよびカメラ制御方法

(51)【国際特許分類】

   B60R 1/00 20060101AFI20161027BHJP

   H04N 5/225 20060101ALI20161027BHJP

   H04N 5/232 20060101ALI20161027BHJP

【ＦＩ】

   B60R1/00 A

   H04N5/225 F

   H04N5/232 Z

   H04N5/225 A

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2012-281745(P2012-281745)

(22)【出願日】2012年12月25日

(65)【公開番号】特開2014-125029(P2014-125029A)

(43)【公開日】2014年7月7日

【審査請求日】2015年5月15日

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100153017

【弁理士】

【氏名又は名称】大倉 昭人

(74)【代理人】

【識別番号】100154003

【弁理士】

【氏名又は名称】片岡 憲一郎

(72)【発明者】

【氏名】中田 圭俊

(72)【発明者】

【氏名】鈴村 瑞己

【審査官】 中村 泰二郎

(56)【参考文献】

【文献】 特開２０１１−２０５５１４（ＪＰ，Ａ）

【文献】 特開２００７−２３３８６４（ＪＰ，Ａ）

【文献】 特開２０１２−１１３６０５（ＪＰ，Ａ）

【文献】 特開２００９−１０１９８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １／００，１１／０２，２１／００

Ｈ０４Ｎ ５／２２５，５／２３２，７／１８

(57)【特許請求の範囲】

【請求項1】

車両の周辺を撮像する複数のカメラモジュールを備え、複数の前記カメラモジュールが撮像した各カメラ画像を出力し、前記車両内の表示手段にて各画像を合成した車両周辺画像が表示されるカメラシステムであって、
複数の前記カメラモジュールは、それぞれ自己の撮像したカメラ画像から物体認識処理を行う物体認識部と、前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、
前記通信部は、それぞれ前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力し、
前記複数のカメラモジュールの少なくとも一つは、前記車両ネットワークを介して他のカメラモジュールから前記認識物体の座標情報を取得することを特徴とするカメラシステム。

【請求項2】

前記複数のカメラモジュールの少なくとも一つは、前記取得した座標情報を用いて前記車両周辺画像中の前記認識物体に対するマーカーを付す、請求項１に記載のカメラシステム。

【請求項3】

複数の前記カメラモジュールの少なくとも一つは、互いに隣接する一対のカメラ画像の双方に前記認識物体が位置する場合に、前記座標情報を用いて、一方のカメラ画像と他方のカメラ画像との双方に跨る滑らかなマーカーを生成する、請求項２に記載のカメラシステム。

【請求項4】

複数の前記カメラモジュールの少なくとも一つは、前記マーカーの位置、大きさおよび形状の少なくとも一つを変更する、請求項３に記載のカメラシステム。

【請求項5】

複数の前記カメラモジュールは、それぞれ制御部を有し、該制御部のいずれか一つが主制御部となって、前記座標情報を用いた前記車両周辺画像へのマーカー付加処理を行う請求項２から４のいずれか一項に記載のカメラシステム。

【請求項6】

前記主制御部は、複数の前記カメラモジュールのそれぞれに設けられた他の制御部を、前記車両ネットワークを介して統括制御する請求項５に記載のカメラシステム。

【請求項7】

複数の前記カメラモジュールは、それぞれ前記車両ネットワークを介して接続される前記車両の処理ユニットにより識別情報が割り当てられ、該識別情報に応じて前記主制御部が決定される請求項６に記載のカメラシステム。

【請求項8】

前記識別情報の割り当ては、前記車両ネットワークの規格におけるネゴシエーションのプロトコルに準拠して行われる請求項７に記載のカメラシステム。

【請求項9】

前記カメラ画像は、撮像部が撮像した画像を視点変換した俯瞰画像である、請求項１から８のいずれか一項に記載のカメラシステム。

【請求項10】

複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行うカメラシステムに用いられるカメラモジュールであって、
前記車両の周辺を撮像する撮像部と、
前記撮像部が撮像した画像から物体認識処理を行う物体認識部と、
前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、
前記通信部は、前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力し、
前記車両ネットワークを介して他のカメラモジュールから該他のカメラモジュールが物体認識部で認識した認識物体の座標情報を取得する、ことを特徴とするカメラモジュール。

【請求項11】

複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行う際のカメラ制御方法であって、
前記カメラモジュールが、自己が撮像したカメラ画像から物体認識処理により認識物体を認識する認識工程と、
前記カメラモジュールが、前記認識工程において認識した認識物体の座標情報を車両に設けられた車両ネットワークに出力する出力工程と、
前記カメラモジュールが、前記車両ネットワークを介して他のカメラモジュールから該他のカメラモジュールが物体認識部で認識した認識物体の座標情報を取得する工程と、を有することを特徴とするカメラ制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラシステム、カメラモジュールおよびカメラ制御方法に関し、より詳細には、複数のカメラモジュールが撮像した複数の各カメラ画像を合成して車両周辺画像とし、これを車両に設けたディスプレイ等の表示手段に出力するものに関する。

【背景技術】

【0002】

従来、自動車の前後左右に取り付けた複数のカメラモジュールが撮像したカメラ画像を合成して車両周辺画像を生成し、これを車室内に設置したディスプレイ等の表示手段に表示して、車両の全周方向を１つの画面で視認できるようにしたカメラシステムが知られている。このようなカメラシステムとしては、各カメラ画像を視点変換加工することにより、車両周辺画像を俯瞰画像として表示するものも知られている（例えば特許文献１）。

【0003】

また、表示手段に表示される車両周辺画像から物体認識処理により歩行や自転車等の物体を認識し、この認識物体にマーカーを付すようにした技術が知られている（例えば特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４７４２７３３号公報

【特許文献2】特開２０１２−１１３６０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来のカメラシステムでは、各カメラモジュールが撮像した複数のカメラ画像を車両側のディスプレイ（例えばナビゲーションシステム等）の制御装置に入力する構成とし、その制御装置により、各カメラ画像の合成、俯瞰処理、物体認識処理および認識物体へのマーカー付与処理を行うようにしている。そのため、このようなカメラシステムの構築には、車両側のディスプレイの制御装置に高度な処理能力が必要となり、システムが高価となる、あるいは汎用性の低いシステムとなる。

【0006】

そこで、各カメラモジュールに、撮像したカメラ画像を俯瞰処理する機能、そのカメラ画像から物体認識処理により認識物体を検出する機能および当該カメラ画像の認識物体にマーカーを付する機能を設けることにより、表示手段として画像の表示機能のみを有する安価なものを用いることを可能とする安価なカメラシステムが考えられる。

【0007】

かかる事情に鑑みてなされた本発明の目的は、高度な処理能力を有さないようなディスプレイにおいて画像表示する場合であっても、物体認識に伴う表示を行い易くするカメラシステムを安価に提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明のカメラシステムは、車両の周辺を撮像する複数のカメラモジュールを備え、複数の前記カメラモジュールが撮像した各カメラ画像を出力し、前記車両内の表示手段にて各画像を合成した車両周辺画像が表示されるカメラシステムであって、複数の前記カメラモジュールは、それぞれ自己の撮像したカメラ画像から物体認識処理を行う物体認識部と、前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、前記通信部は、それぞれ前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力し、前記複数のカメラモジュールの少なくとも一つは、前記車両ネットワークを介して他のカメラモジュールから前記認識物体の座標情報を取得することを特徴とする。

【0009】

本発明に係るカメラシステムにおいては、前記複数のカメラモジュールの少なくとも一つは、前記取得した座標情報を用いて前記車両周辺画像中の前記認識物体に対するマーカーを付すのが好ましい。

【0010】

本発明に係るカメラシステムにおいては、複数の前記カメラモジュールの少なくとも一つは、互いに隣接する一対のカメラ画像の双方に前記認識物体が位置する場合に、前記座標情報を用いて、一方のカメラ画像と他方のカメラ画像との双方に跨る滑らかなマーカーを生成するのが好ましい。

【0011】

本発明に係るカメラシステムにおいては、複数の前記カメラモジュールの少なくとも一つは、前記マーカーの位置、大きさおよび形状の少なくとも一つを変更するのが好ましい。

【0012】

本発明に係るカメラシステムにおいては、複数の前記カメラモジュールは、それぞれ制御部を有し、該制御部のいずれか一つが主制御部となって、前記座標情報を用いた前記車両周辺画像へのマーカー付加処理を行うのが好ましい。

【0013】

本発明に係るカメラシステムにおいては、前記主制御部は、複数の前記カメラモジュールのそれぞれに設けられた他の制御部を、前記車両ネットワークを介して統括制御するのが好ましい。

【0014】

本発明に係るカメラシステムにおいては、複数の前記カメラモジュールは、それぞれ前記車両ネットワークを介して接続される前記車両の処理ユニットにより識別情報が割り当てられ、該識別情報に応じて前記主制御部が決定されるのが好ましい。

【0015】

本発明に係るカメラシステムにおいては、前記識別情報の割り当ては、前記車両ネットワークの規格におけるネゴシエーションのプロトコルに準拠して行われるのが好ましい。

【0016】

本発明に係るカメラシステムにおいては、前記カメラ画像は、撮像部が撮像した画像を視点変換した俯瞰画像であるのが好ましい。

【0017】

また、上記課題を解決するため、本発明のカメラモジュールは、複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行うカメラシステムに用いられるカメラモジュールであって、前記車両の周辺を撮像する撮像部と、前記撮像部が撮像した画像から物体認識処理を行う物体認識部と、前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、前記通信部は、前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力し、前記車両ネットワークを介して他のカメラモジュールから該他のカメラモジュールが物体認識部で認識した認識物体の座標情報を取得する、ことを特徴とする。

【0018】

さらに、上記課題を解決するため、本発明のカメラ制御方法は、複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行う際のカメラ制御方法であって、前記カメラモジュールが、自己が撮像したカメラ画像から物体認識処理により認識物体を認識する認識工程と、前記カメラモジュールが、前記認識工程において認識した認識物体の座標情報を車両に設けられた車両ネットワークに出力する出力工程と、前記カメラモジュールが、前記車両ネットワークを介して他のカメラモジュールから該他のカメラモジュールが物体認識部で認識した認識物体の座標情報を取得する工程と、を有することを特徴とする。

【発明の効果】

【0019】

本発明のカメラシステム、カメラモジュールおよびカメラ制御方法によれば、高度な処理能力を有さないようなディスプレイにおいて画像表示する場合であっても、物体認識に伴う表示を行い易くするカメラシステムを安価に提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係るカメラシステムを備えた車両の概略構成を示す図である。

【図2】本発明の一実施形態に係るカメラシステムの構成例を示すブロック図である。

【図3】図２に示すフロントカメラモジュールおよびサイドカメラモジュールの構成例を示すブロック図である。

【図4】図２に示すリアカメラモジュールの構成例を示すブロック図である。

【図5】表示手段に表示される車両周辺画像の一例を示す図である。

【図6】表示手段に表示された車両周辺画像中の認識物体が互いに隣接するカメラ画像の境界に位置した状態の一例を示す図である。

【図7】主制御部と制御部との関係の一例を示す図である。

【図8】互いに隣接するカメラ画像における各カメラモジュールのマーカー付与の割り当て領域を示す図である。

【図9】本発明の一実施形態に係るカメラシステムにおけるマーカー表示制御のフローチャート図である。

【発明を実施するための形態】

【0021】

以下、本発明の一実施形態について、図面を参照して例示説明する。

【0022】

図１、図２に示すように、本発明の一実施形態に係るカメラシステム１は自動車等の車両２に設けられる。このカメラシステム１は、車両２の前後左右に取り付けられる４つのカメラモジュール３〜６と、車室内に設置される表示手段７とを備えている。

【0023】

車両２の前方端に取り付けられるフロントカメラモジュール３は、図３に示すように、レンズ部３ａ、撮像部３ｂ、視点変換画像生成部３ｃ、出力部３ｄ、電源部３ｅ、制御部３ｆ、通信部３ｇおよび記憶部３ｈを備えている。同様に、車両２の右側方に取り付けられるサイドカメラモジュール４および車両２の左側方に取り付けられるサイドカメラモジュール５は、それぞれレンズ部４ａ，５ａ、撮像部４ｂ，５ｂ、視点変換画像生成部４ｃ，５ｃ、出力部４ｄ，５ｄ、電源部４ｅ，５ｅ、制御部４ｆ，５ｆ、通信部４ｇ，５ｇおよび記憶部４ｈ，５ｈを備えている。フロントカメラモジュール３と両サイドカメラモジュール４、５は基本的に同一の構成となっているので、図３においては、カメラモジュール３〜５を構成する各部にそれぞれのカメラモジュール３〜５に対応した符号を付してある。

【0024】

一方、車両２の後方端に取り付けられるリアカメラモジュール６は、図４に示すように、レンズ部６ａ、撮像部６ｂ、視点変換画像生成部６ｃ、出力部６ｄ、電源部６ｅ、制御部６ｆ、通信部６ｇ、記憶部６ｈを備えるとともに画像合成部６ｉを備えている。ここで、画像合成部６ｉは制御部６ｆ上で動作するソフトウェア処理であり、物体認識部３ｊ〜６ｊのように制御部６ｆ内に記載すべきところであるが、説明の簡素化のために別ブロックとして説明する。

【0025】

ところで、図面では、画像合成部を、リアカメラモジュール６にのみ記載し、フロントカメラモジュール３と両サイドカメラモジュール４、５には記載していない。しかしながら、画像合成部６ｉは、いずれのカメラモジュール３〜６に等しく設けられていてもよい。すなわち、後述する処理によってリアカメラモジュール６として認識したカメラモジュール、あるいは主制御部となるべきと認識されたカメラモジュールのみが画像合成部のソフトウェアをアクティブ化し、その他のカメラモジュールは画像合成部のソフトウェアをインアクティブ化するように構成されていると、各カメラモジュールの構成を同じにすることができ、全体的なコストを下げることにもつながる。

【0026】

各カメラモジュール３〜６に設けられた電源部３ｅ〜６ｅは、それぞれ車載のバッテリに接続されて当該カメラモジュール３〜６の撮像部３ｂ〜６ｂや制御部３ｆ〜６ｆ等の各部に電力を供給する。また、各カメラモジュール３〜６に設けられた記憶部３ｈ〜６ｈは、それぞれ必要に応じて撮像部３ｂ〜６ｂ、視点変換画像生成部３ｃ〜６ｃ、制御部３ｆ〜６ｆ、通信部３ｇ〜６ｇなどの制御に必要なデータ等を格納することができる。

【0027】

各カメラモジュール３〜６は、それぞれレンズ部３ａ〜６ａと撮像部３ｂ〜６ｂとを用いて車両周辺を撮像する。例えば、フロントカメラモジュール３はレンズ部３ａと撮像部３ｂとを用いて車両２の前方側の周辺を所定の画角で撮像する。また、右側のサイドカメラモジュール４はレンズ部４ａと撮像部４ｂとを用いて車両２の右側方の周辺を所定の画角で撮像し、左側のサイドカメラモジュール５はレンズ部５ａと撮像部５ｂとを用いて車両２の左側方の周辺を所定の画角で撮像する。さらに、リアカメラモジュール６はレンズ部６ａと撮像部６ｂとを用いて車両２の後退方向の周辺を所定の画角で撮像する。

【0028】

これらの撮像部３ｂ〜６ｂとしては、例えばＣＭＯＳやＣＣＤ等のイメージセンサが用いられる。また、レンズ部３ａ〜６ａとしては例えば魚眼レンズなどの画角の広いレンズが用いられる。

【0029】

図３、図４に示すように、各カメラモジュール３〜６の撮像部３ｂ〜６ｂは、それぞれ視点変換画像生成部３ｃ〜６ｃに接続され、撮像部３ｂ〜６ｂが撮像した画像は視点変換画像生成部３ｃ〜６ｃに取り込まれる。視点変換画像生成部３ｃ〜６ｃは撮像部３ｂ〜６ｂから取り込んだ画像の歪みを調整し、当該画像の視点を変換した俯瞰画像を生成する。

【0030】

図２に示すように、フロントカメラモジュール３はリアカメラモジュール６に接続されている。フロントカメラモジュール３で生成された俯瞰画像は、当該カメラモジュール３が撮像したカメラ画像としてその出力部３ｄから出力され、リアカメラモジュール６に設けられた画像合成部６ｉに入力される。同様に、両サイドカメラモジュール４，５はリアカメラモジュール６に接続されている。両サイドカメラモジュール４，５で生成された俯瞰画像は、それぞれ当該カメラモジュール４，５が撮像したカメラ画像として出力部４ｄ，５ｄから出力され、リアカメラモジュール６に設けられた画像合成部６ｉに入力される。

【0031】

画像合成部６ｉは、リアカメラモジュール６の視点変換画像生成部６ｃが生成した俯瞰画像（カメラ画像）と、他のカメラモジュール３〜５から入力される３つの俯瞰画像（カメラ画像）とを、各カメラモジュール３〜６の車両２への取付け位置に応じた配置で合成し、車両周辺画像を生成する。

【0032】

図２に示すように、リアカメラモジュール６は表示手段７に接続されている。リアカメラモジュール６の出力部６ｄは、画像合成部６ｉが合成した車両周辺画像を表示手段７に適応したフォーマット（例えばＮＴＳＣ）に変換し、表示手段７に向けて出力する。

【0033】

図５に示すように、表示手段７はリアカメラモジュール６から入力された車両周辺画像をその画面７ａに表示する。つまり、表示手段７の画面７ａの中心には車両モデル８が表示され、この車両モデル８の周囲の画面上側の分割範囲７ａ１にフロントカメラモジュール３が撮像したカメラ画像（俯瞰画像）が表示される。また、表示手段７の画面右側の分割範囲７ａ２と画面左側の分割範囲７ａ３には、それぞれサイドカメラモジュール４，５が撮像したカメラ画像（俯瞰画像）が表示される。さらに、表示手段７の画面下側の分割範囲７ａ４にリアカメラモジュール６が撮像したカメラ画像（俯瞰画像）が表示される。

【0034】

表示手段７としては、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイ装置を用いることができる。

【0035】

図２に示すように、各カメラモジュール３〜６は車両２に設けられた車両ネットワーク（車載ＬＡＮ）９に接続されている。この車両ネットワーク９は、例えばＣＡＮ（Controller Area Network）、ＦｌｅｘＲａｙ、ＬＩＮ（Local Interconnect Network）等のプロトコルを用いた移動機械用バスラインとすることができる。

【0036】

各カメラモジュール３〜６は、それぞれ通信部３ｇ〜６ｇにより車両ネットワーク９を介した通信を行うことができる。つまり、各カメラモジュール３〜６は、それぞれ通信部３ｇ〜６ｇにより、車両ネットワーク９を介して他のカメラモジュール３〜６と互いに通信することができる。また、図１に示すように、車両ネットワーク９には、例えばエンジンコントロールユニット（ＥＣＵ）やシフトポジションセンサ等の車両２の処理ユニット１０が接続されており、各カメラモジュール３〜６は、それぞれ通信部３ｇ〜６ｇにより、車両ネットワーク９を介して処理ユニット１０と通信することができる。

【0037】

これらの通信部３ｇ〜６ｇとしては、例えば車両ネットワーク９がＣＡＮである場合にはＣＡＮトランシーバが用いられるなど、その車両ネットワーク９のプロトコルに準拠した通信デバイスが用いられる。

【0038】

各カメラモジュール３〜６に設けられる制御部３ｆ〜６ｆは、それぞれＣＰＵを備えたマイクロコンピュータ上で動作するソフトウェアの機構ブロックを抽象化したものであって、図３、図４に示すように、その機能の一つとして物体認識部３ｊ〜６ｊとしての機能を備えている。物体認識部３ｊ〜６ｊは、自己のカメラモジュール３〜６の撮像部３ｂ〜６ｂが撮像した画像から物体認識処理を行う。つまり、物体認識部３ｊ〜６ｊは、撮像部３ｂ〜６ｂが撮像した画像を物体認識処理することにより、当該画像中に存在する歩行者や自転車等の所定の物体を認識することができる。物体認識部３ｊ〜６ｊによる物体認識処理としては、例えばパターン認識等の物体認識技術を用いることができる。

【0039】

各カメラモジュール３〜６の制御部３ｆ〜６ｆは、それぞれ自己のカメラモジュール３〜６の撮像部３ｂ〜６ｂが撮像した画像中から歩行者や自転車等の所定の物体が認識された場合には、物体認識部３ｊ〜６ｊにより認識された認識物体の座標情報に基づいて、当該画像に認識物体に対するマーカーを表示する。制御部３ｆ〜６ｆによる画像へのマーカーの付与は、例えば撮像部３ｂ〜６ｂが撮像した画像にマーカー画像をオーバーレイ（重畳表示）する手法により行うことができる。このように、各カメラモジュール３〜６は、自己の撮像部３ｂ〜６ｂが撮像した画像中に所定の物体が存在する場合には、当該物体にマーカーを付したカメラ画像を出力部３ｄ〜６ｄから出力する。ところで、座標情報とは、所定の物体として認識された描画物の座標であって、魚眼レンズ（レンズ部３ａ〜６ａ）を介して撮影されるが故のディストーション成分を考慮して、各カメラモジュール３〜６において撮影した画像内における座標を各物体認識部３ｊ〜６ｊが算出する。

【0040】

したがって、図５に示すように、表示手段７の画面７ａに表示される車両周辺画像中に所定の物体１２が存在する場合には、車両周辺画像は各カメラモジュール３〜６のカメラ画像を合成して形成されるので、当該物体１２に対するマーカー１３が付された車両周辺画像が表示されることになる。車両周辺画像に当該物体１２に対するマーカー１３を付すことにより、車両周辺画像中に表示された所定の物体１２を運転者等に認識し易くすることができる。図示する場合では、マーカー１３は矩形の点線枠で表示されるが、物体１２の形状や大きさに合わせて、矩形形状や円形形状など種々の形状とサイズに設定することができ、また実線等により表すこともできる。

【0041】

図６に示すように、分割範囲７ａ１と分割範囲７ａ２とに表示される、互いに隣接する一対のカメラ画像の双方つまり一対のカメラ画像の境界Ａに所定の物体１２が位置する場合には、当該物体１２に対するマーカー１３はこれらのカメラ画像の双方に跨って表示されることになる。この場合、マーカー１３は、その一部が分割範囲７ａ１に表示される一方のカメラ画像に表示され、残りの一部が分割範囲７ａ２に表示される他方のカメラ画像に表示されることになる。そのため、各カメラ画像にマーカー１３を表示させる際に、各カメラ画像に表示されるマーカー１３を滑らかに繋いで１つのマーカー１３として正しく表示する必要がある。

【0042】

そのため、本発明のカメラシステム１では、各カメラモジュール３〜６は、その撮像部３ｂ〜６ｂが撮像した画像から認識した所定の物体１２の座標情報を、通信部３ｇ〜６ｇにより車両ネットワーク９に出力し、車両ネットワーク９を介して当該座標情報を各カメラモジュール３〜６の間で共有可能とする。そして、互いに隣接するカメラ画像のうちの一方のカメラ画像を出力するカメラモジュール３〜６が他方のカメラ画像を出力するカメラモジュール３〜６から車両ネットワーク９を介して認識物体の座標情報を取得し、この座標情報を利用して、他方のカメラ画像に表示されるマーカー１３に滑らかに繋がるようなマーカー１３を生成することができるようにしている。

【0043】

より具体的には、図６に示すように、分割範囲７ａ１に表示されるフロントカメラモジュール３のカメラ画像と分割範囲７ａ２に表示される右側のサイドカメラモジュール４のカメラ画像との境界Ａに所定の物体１２が位置する場合には、以下の手順でマーカー１３の表示が行われる。

【0044】

フロントカメラモジュール３が、その撮像部３ｂが撮像した画像中から物体認識部３ｊにより所定の物体１２を認識すると、その認識した物体１２つまり認識物体１２の当該画像中における座標情報が通信部３ｇにより車両ネットワーク９に出力される。同様に、右側のサイドカメラモジュール４が、その撮像部４ｂが撮像した画像中から物体認識部４ｊにより所定の物体１２を認識すると、その認識物体１２の当該画像中における座標情報が通信部４ｇにより車両ネットワーク９に出力される。これらの通信部３ｇ，４ｇが出力する認識物体１２の座標情報としては、例えば、認識物体１２の中心位置の座標情報にその大きさの情報を付加したものとするなど、その認識物体１２を囲うマーカー１３を生成できる情報を含んだものとすることができる。

【0045】

ここで、各カメラモジュール３〜６は、車両ネットワーク９に接続されたＥＣＵ等の処理ユニット１０により、車両ネットワーク９の規格におけるネゴシエーションのプロトコルに準拠して、アドレス等の識別情報が割り当てられている。そして、この識別情報に基づいて各カメラモジュール３〜６の間でマスターとスレーブとの関係が設定されている。例えば、本実施形態では、図６に示す境界Ａまたは境界Ｂに所定の物体１２が位置する場合には、図７に示すように、フロントカメラモジュール３がマスターに設定され、両サイドカメラモジュール４，５がそれぞれスレーブに設定される。一方、図６に示す境界Ｃまたは境界Ｄに所定の物体１２が位置する場合には、同様に図７に示すように、リアカメラモジュール６がマスターに設定され、両サイドカメラモジュール４，５がそれぞれスレーブに設定される。したがって、図６に示す境界Ａに物体１２が位置する場合には、フロントカメラモジュール３がマスターに設定され、右側のサイドカメラモジュール４がスレーブに設定される。フロントカメラモジュール３のカメラ画像とリアカメラモジュール６のカメラ画像とは境界を有していないので、これらのカメラモジュール３，６の間ではマスター、スレーブの関係は設定されない。

【0046】

所定の物体１２がフロントカメラモジュール３のカメラ画像と右側のサイドカメラモジュール４のカメラ画像との境界Ａに位置する場合、つまり図８に模式的に示すフロントカメラモジュール３のカメラ画像のｘ１領域とサイドカメラモジュール４のカメラ画像のｙ１領域とに跨って物体１２が位置する場合には、スレーブであるサイドカメラモジュール４は、車両ネットワーク９を介してフロントカメラモジュール３からフロントカメラモジュール３のカメラ画像における認識物体１２の座標情報を取得する。そして、サイドカメラモジュール４の制御部４ｆは、フロントカメラモジュール３から取得した認識物体１２の座標情報を利用して、つまり自己のカメラ画像における認識物体１２の座標情報とフロントカメラモジュール３のカメラ画像における認識物体１２の座標情報とに基づいて、自己が生成するマーカー１３の位置、形状および大きさの少なくともいずれか一つを変更して、当該マーカー１３がフロントカメラモジュール３により生成されるマーカー１３に滑らかに繋がるようにする。このように、サイドカメラモジュール４の制御部３ｆは、車両ネットワーク９を介して得られるフロントカメラモジュール３が生成するマーカー１３の位置、形状および大きさに合わせて自己が生成するマーカー１３の位置、形状および大きさを調整する。

【0047】

上記では、車両周辺画像の境界Ａに物体１２が位置する場合について説明したが、車両周辺画像の境界Ｂに物体１２が位置する場合においては、フロントカメラモジュール３がマスターとなり左側のサイドカメラモジュール５がスレーブとなって同様の制御が行われる。また、車両周辺画像の境界Ｃに物体１２が位置する場合においては、リアカメラモジュール６がマスターとなり右側のサイドカメラモジュール４がスレーブとなり、また、車両周辺画像の境界Ｄに物体１２が位置する場合においては、リアカメラモジュール６がマスターとなり左側のサイドカメラモジュール５がスレーブとなって同様の制御が行われることになる。

【0048】

このように、所定の物体１２が互いに隣接するカメラ画像の境界Ａ〜Ｄに位置する場合には、一方のカメラモジュール３〜６の制御部３ｆ〜６ｆが、車両ネットワーク９を介して他方のカメラモジュール３〜６から当該他のカメラモジュール３〜６の撮像部３ｂ〜６ｂが撮像した画像中から認識された認識物体１２の座標情報を取得し、これを利用して自己のカメラ画像にマーカー１３を付する。したがって、所定の物体１２が互いに隣接するカメラ画像の境界Ａ〜Ｄに位置する場合であっても、この認識物体１２に対して隣接するカメラ画像の双方に跨る滑らかなマーカー１３を正確に付すことができる。

【0049】

一方、図８に模式的に示すフロントカメラモジュール３のカメラ画像のｘ領域内に所定の物体１２が位置する場合には、フロントカメラモジュール３の制御部３ｆにより物体１２にマーカー１３が付される。同様に、所定の物体１２がサイドカメラモジュール４のカメラ画像のｙ領域内にある場合には、サイドカメラモジュール４の制御部４ｆにより物体１２にマーカー１３が付される。

【0050】

次に、上記カメラシステム１におけるマーカー表示制御（カメラ制御方法）の一例の手順を図９に基づいて説明する。

【0051】

まず、各カメラモジュール３〜６の制御部３ｆ〜６ｆは、車両ネットワーク９を介して車両２の処理ユニット１０と通信し、車両２のギアがリバースになっているか否かを判断する（ステップＳ１）。ステップＳ１において車両２のギアがリバースであると判断された場合には、制御部３ｆ〜６ｆは自己のカメラモジュール３〜６の撮像部３ｂ〜６ｂから撮像した画像を取得し（ステップＳ２）、また車両ネットワーク９を介して車両速度やハンドル操舵角等の車両情報を取得する（ステップＳ３）。この場合では、車両２が後退する際にのみ、車両周辺画像内に認識された物体１２にマーカー１３を付すようにしているが、車両２が前進または停止中にも車両周辺画像内に認識された物体１２にマーカー１３を付すようにしてもよい。

【0052】

次いで、制御部３ｆ〜６ｆは、取得した画像から物体認識処理により所定の物体１２が認識されたか否かを判断する（ステップＳ４、認識工程）。ステップＳ４において画像中に認識物体１２があると判断された場合には、各カメラモジュール３〜６が認識物体１２の座標情報を車両ネットワーク９に出力し（ステップＳ５、出力工程）、これらの情報を各カメラモジュール３〜６で共有可能とする。

【0053】

次いで、制御部３ｆ〜６ｆは、認識物体１２が隣り合う一対のカメラ画像の境界Ａ〜Ｄに位置したか否かを判断する（ステップＳ６）。ステップＳ６において、認識物体１２が隣り合うカメラ画像の境界Ａ〜Ｄに位置したと判断されると、これらのカメラ画像を撮像する一対のカメラモジュール３〜６の制御部３ｆ〜６ｆにより各カメラ画像にマーカー１３が付される。このとき、いずれか一方のカメラモジュール３〜６の制御部３ｆ〜６ｆが、車両ネットワーク９を介して他のカメラモジュール３〜６のカメラ画像における認識物体１２の座標情報を取得する。そして、当該制御部３ｆ〜６ｆが、この座標情報を利用して、隣接するカメラ画像に表示されるマーカー１３と滑らかに接続するマーカー１３を自己のカメラ画像に付す（ステップＳ７、付加工程）。

【0054】

このように、画像中の認識物体１２にマーカー１３が付されると、次いで、各カメラモジュール３〜６において当該画像が視点変換画像生成部３ｃ〜６ｃにより視点変換され、俯瞰画像つまりカメラ画像とされる（ステップＳ８）。そして、ステップＳ８で生成された各カメラモジュール３〜６の俯瞰画像がリアカメラモジュール６の画像合成部６ｉで合成されて車両周辺画像とされ（ステップＳ９）、リアカメラモジュール６の出力部６ｄから表示手段７に向けて当該画像が出力される（ステップＳ１０）。

【0055】

一方、ステップＳ４において、認識物体１２が無いと判断された場合には、画像にマーカー１３が付加されることなく、ステップＳ８〜ステップＳ１０の処理が行われる。

【0056】

また、ステップＳ６において、認識物体１２が隣り合うカメラ画像の境界に位置しないと判断された場合には、物体１２が位置するカメラ画像を撮像するカメラモジュール３〜６により、当該カメラ画像中の認識物体１２にマーカー１３が付され（ステップＳ１１）、以下ステップＳ８〜ステップＳ１０の処理が行われる。

【0057】

以上説明したように、上記カメラシステム１では、各カメラモジュール３〜６に撮像した画像から物体認識処理により認識物体１２を検出する物体認識部３ｊ〜６ｊと、撮像した画像に認識物体１２に対するマーカー１３を付す制御部３ｆ〜６ｆとを設けるようにしている。これにより、表示手段７として例えば画像の表示機能のみしか有さないような安価なものを用いた場合であっても、物体認識処理に伴う表示を可能とするカメラシステム１を実現することができ、システム全体としてのコストを低減することができる。また、各カメラモジュール３〜６に、そのカメラ画像を俯瞰画像に変換する視点変換画像生成部３ｃ〜６ｃを設けたことによっても、表示手段７として画像の表示機能のみを有する安価なものを用いることを可能として、このカメラシステム１のコストを低減することができる。

【0058】

さらに、上記カメラシステム１では、それぞれのカメラモジュール３〜６に、その撮像部３ｂ〜６ｂが撮像した画像から認識された認識物体１２の座標情報を車両ネットワーク９に出力する通信部３ｇ〜６ｇを設けるようにしたので、互いに隣接するカメラ画像の境界Ａ〜Ｄに認識物体１２が位置した場合に、これらのカメラ画像にマーカー１３を付する２つのカメラモジュール３〜６が、車両ネットワーク９を介して他のカメラモジュール３〜６の画像において認識された認識物体１２の座標情報を利用することを可能として、当該カメラモジュール３〜６の制御部３ｆ〜６ｆに認識物体１２に正確にマーカー１３を付させることができる。

【0059】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【0060】

前記実施形態では、スレーブとなるカメラモジュール３〜６が車両ネットワーク９を介してマスターのカメラモジュール３〜６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して画像中にマーカー１３を付すようにしているが、これに限らない。すなわち、少なくとも１つのカメラモジュール３〜６が車両ネットワーク９を介して他のカメラモジュール３〜６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して画像中にマーカー１３を付す構成であればよい。例えば、隣接するカメラ画像を出力する両方のカメラモジュール３〜６が、それぞれ車両ネットワーク９を介して他のカメラモジュール３〜６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して画像中にマーカー１３を付す構成とすることもできる。

【0061】

また、いずれか一つのカメラモジュール３〜６の制御部３ｆ〜６ｆを主制御部に設定し、この主制御部とされた制御部３ｆ〜６ｆが車両ネットワーク９を介して他の全てのカメラモジュール３〜６から認識物体１２の座標情報を取得し、その取得した座標情報を利用して全てのカメラ画像つまり車両周辺画像にマーカー１３を付す構成とすることもできる。この場合、車両ネットワーク９に接続されたＥＣＵ等の処理ユニット１０により、車両ネットワーク９の規格におけるネゴシエーションのプロトコルに準拠して、各カメラモジュール３〜６にアドレス等の識別情報が割り当てられ、この割り当てられた識別情報に応じて、いずれか１つのカメラモジュール３〜６の制御部３ｆ〜６ｆを主制御部に設定するように構成することができる。主制御部とされた制御部３ｆ〜６ｆは、車両ネットワーク９を介して他のカメラモジュール３〜６の制御部３ｆ〜６ｆから他のカメラ画像における認識物体１２の座標情報を取得する。そして、自己のカメラ画像における認識物体１２の座標情報と、他のカメラ画像における認識物体１２の座標情報とに基づいて全てのカメラ画像（車両周辺画像）へのマーカー付加処理を行う。このように主制御部とされた制御部３ｆ〜６ｆは車両ネットワーク９を介して他の制御部３ｆ〜６ｆを統合制御して、車両周辺画像にマーカー１３を付すことができる。

【0062】

この場合においては、主制御部に設定される制御部６ｆつまりリアカメラモジュール６の制御部６ｆのみが画像中にマーカー１３を付す機能のソフトウェアがアクティブ化され、他のカメラモジュール３〜５の制御部３ｆ〜５ｆは、画像中にマーカー１３を付す機能のソフトウェアがインアクティブ化するように構成される。また、他のカメラモジュールの制御部が主制御部に設定されたときには、その制御部のみが、画像中にマーカー１３を付す機能のソフトウェアがアクティブ化され、他のカメラモジュールの制御部の当該機能のソフトウェアはインアクティブ化される。したがって、主制御部に設定した制御部により、車両ネットワーク９を介して他の制御部を統合制御する構成とした場合であっても、各カメラモジュール３〜６として同じ構成のものを用いることを可能として、このカメラシステム１の全体的なコストを低減することができる。

【0063】

さらに、前記実施形態においては、車両２に４つのカメラモジュール３〜６を設けるようにしているが、これに限らず、車両２の周辺を撮像することができれば、カメラモジュール３〜６の数は任意に設定することができる。

【0064】

さらに、前記実施形態においては、撮像部３ｂ〜６ｂが撮像した画像にマーカー１３を付し、マーカー１３が付された画像を表示手段７に出力するようにしているが、これに限らず、カメラ画像とは別に生成したマーカー画像を、車両ネットワーク９を介して表示手段７に入力し、表示手段７においてカメラ画像にマーカー画像を重畳表示させるようにしてもよい。

【0065】

さらに、前記実施形態では、各カメラモジュール３〜６に視点変換画像生成部３ｃ〜６ｃを設け、撮像部３ｂ〜６ｂが撮像した画像を視点変換画像生成部３ｃ〜６ｃにより俯瞰画像に加工してから表示手段７に出力するようにしているが、これに限らず、撮像部３ｂ〜６ｂが撮像した画像をそのまま表示手段７に出力するようにしてもよい。また、視点変換画像生成部３ｃ〜６ｃをリアカメラモジュール６にのみ設けて画像合成部６ｉが合成した画像を一括して俯瞰画像に加工するようにしてもよい。また、視点変換画像生成部３ｃ〜６ｃを表示手段７に設けて表示手段７において各カメラ画像または車両周辺画像を俯瞰画像に加工するようにしてもよい。

【0066】

さらに、前記実施形態においては、フロントカメラモジュール３と両サイドカメラモジュール４，５とをリアカメラモジュール６に接続し、リアカメラモジュール６に設けた画像合成部６ｉおいて各カメラモジュール３〜６が撮像したカメラ画像を合成し、表示手段７に出力するようにしているが、これに限らず、全てのカメラモジュール３〜６を表示手段７に直接接続する構成としてもよい。この場合、リアカメラモジュール６を、図３に示す他のカメラモジュール３〜５と同様の構成として、このカメラモジュール３〜６の汎用性を高めることができる。

【0067】

さらに、前記実施の形態においては、各カメラモジュール３〜６は、通信部３ｇ〜６ｇにより、自己の撮像部３ｂ〜６ｂが撮像した画像から認識した認識物体１２の座標情報を車両ネットワーク９に出力するが、認識物体１２の座標情報に加えて、認識物体１２の移動ベクトル情報や各カメラモジュール３〜６の制御部３ｆ〜６ｆが生成したマーカー１３の座標情報の少なくともいずれか一つをさらに車両ネットワーク９に出力するようにしてもよい。この場合、スレーブのカメラモジュール３〜６は、車両ネットワーク９を介して取得したマスターのカメラモジュール３〜６からの認識物体１２の座標情報に加えて、認識物体１２の移動ベクトル情報や各カメラモジュール３〜６の制御部３ｆ〜６ｆが生成したマーカー１３の座標情報を利用して、自己のマーカー１３を生成することができる。これにより、制御部３ｆ〜６ｆにより、より正確にマーカー１３を表示することができる。マーカー１３の座標情報としては、例えばマーカー１３が矩形の場合には、カメラ画像中におけるマーカー１３の基準位置の座標情報および各辺の長さおよび方向等の情報、マーカー１３が円形の場合には、その中心位置の座標情報およびその半径寸法の情報とするなど、マーカー１３を生成することができる座標情報を含むようにすることができる。

【0068】

さらに、前記実施形態では、車両周辺画像において隣り合う一対のカメラ画像が境界Ａ〜Ｄを境に接している場合を示しているが、隣り合うカメラ画像の双方に物体１２が位置するように表示することができれば、隣り合うカメラ画像の間に隙間があってもよい。

【符号の説明】

【0069】

１ カメラシステム
２ 車両
３ フロントカメラモジュール
４，５ サイドカメラモジュール
６ リアカメラモジュール
３ａ〜６ａ レンズ部
３ｂ〜６ｂ 撮像部
３ｃ〜６ｃ 視点変換画像生成部
３ｄ〜６ｄ 出力部
３ｅ〜６ｅ 電源部
３ｆ〜６ｆ 制御部
３ｇ〜６ｇ 通信部
３ｈ〜６ｈ 記憶部
６ｉ 画像合成部
３ｊ〜６ｊ 物体認識部
７ 表示手段
７ａ 画面
７ａ１〜７ａ４ 分割範囲
８ 車両モデル
９ 車両ネットワーク
１０ 処理ユニット
１１ 物体認識部
１２ 物体
１３ マーカー
Ａ〜Ｄ 境界
ｘ，ｘ１ 領域
ｙ，ｙ１ 領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】