特許第6054738号(P6054738)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラ株式会社の特許一覧
特許6054738カメラモジュール、カメラシステムおよび画像表示方法
<>
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000002
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000003
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000004
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000005
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000006
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000007
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000008
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000009
  • 特許6054738-カメラモジュール、カメラシステムおよび画像表示方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6054738
(24)【登録日】2016年12月9日
(45)【発行日】2016年12月27日
(54)【発明の名称】カメラモジュール、カメラシステムおよび画像表示方法
(51)【国際特許分類】
   G06T 1/00 20060101AFI20161219BHJP
   B60R 21/00 20060101ALI20161219BHJP
   B60R 1/00 20060101ALI20161219BHJP
   H04N 5/225 20060101ALI20161219BHJP
   H04N 7/18 20060101ALI20161219BHJP
【FI】
   G06T1/00 330Z
   B60R21/00 621P
   B60R1/00 A
   H04N5/225 C
   H04N5/225 F
   H04N7/18 J
   B60R21/00 621C
   B60R21/00 622F
   B60R21/00 624C
【請求項の数】7
【全頁数】14
(21)【出願番号】特願2012-281242(P2012-281242)
(22)【出願日】2012年12月25日
(65)【公開番号】特開2014-126918(P2014-126918A)
(43)【公開日】2014年7月7日
【審査請求日】2015年5月15日
(73)【特許権者】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100153017
【弁理士】
【氏名又は名称】大倉 昭人
(74)【代理人】
【識別番号】100154003
【弁理士】
【氏名又は名称】片岡 憲一郎
(72)【発明者】
【氏名】森島 理洋
【審査官】 松田 直也
(56)【参考文献】
【文献】 特開2010−274813(JP,A)
【文献】 特開2008−042759(JP,A)
【文献】 米国特許出願公開第2011/006344(US,A1)
【文献】 米国特許出願公開第2011/0285848(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
H04N 7/18
H04N 5/225
B60R 21/00
(57)【特許請求の範囲】
【請求項1】
車両に取り付けられて該車両の周辺画像を表示手段に出力するカメラモジュールであって、
前記車両の周辺を撮像する撮像部と、
前記撮像部が撮像した第1画像を加工して第2画像を生成する画像生成部と、
前記車両が前進または停止しているときには前記第2画像を前記表示手段に出力し、前記車両が後退する際には、前記第1画像を前記表示手段に出力する制御部とを備え
前記第1画像は前記第2画像に比べて画角が広くなっていることを特徴とするカメラモジュール。
【請求項2】
前記第1画像は前記車両の後退方向の画像であり、前記第2画像は前記第1画像を視点変換した画像を少なくとも含む俯瞰画像である、請求項1に記載のカメラモジュール。
【請求項3】
前記制御部は、前記車両が後退する際に、前記表示手段に向けて、該表示手段を複数の画像に分割表示する状態から前記分割表示しない状態に切り替える切替え信号を出力する、請求項1または2に記載のカメラモジュール。
【請求項4】
前記制御部は、前記車両が前進または停止しているときには、前記第2画像と前記車両に取り付けられた他のカメラモジュールから入力される画像とを合成した画像を出力する、請求項1または2に記載のカメラモジュール。
【請求項5】
前記制御部は、前記撮像部が撮像した画像に基づいて前記車両が後退したことを検出する、請求項1から4のいずれか一項に記載のカメラモジュール。
【請求項6】
車両の前後左右をそれぞれ撮像する複数のカメラモジュールと、前記カメラモジュールの撮像画像を表示する表示手段とを備えたカメラシステムであって、
前記車両の後退方向を撮像するカメラモジュールは、
前記車両の後退方向を撮像する撮像部と、
該撮像部が撮像した第1画像を加工して第2画像を生成する画像生成部と、
前記車両が前進または停止しているときには前記第2画像と他の前記カメラモジュールが撮像した複数の画像とからなる車両周辺画像を前記表示手段に表示し、前記車両が後退する際には、前記撮像部が撮像した第1画像を前記表示手段に表示する制御を行う制御部とを有し、
前記第1画像は前記第2画像に比べて画角が広くなっていることを特徴とするカメラシステム。
【請求項7】
車両に取り付けられたカメラモジュールが撮像した該車両の周辺画像を表示手段に表示する画像表示方法であって、
前記車両が後退していることを検出する車両後退判定工程と、
前記車両後退判定工程において前記車両が後退していることが検出されないときには、前記カメラモジュールが撮像した第1画像を加工した第2画像を前記表示手段に表示し、前記車両後退判定工程において前記車両が後退していることが検出されたときには、前記第1画像を前記表示手段に表示する画像切替え工程とを有し、
前記第1画像は前記第2画像に比べて画角が広くなっていることを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラモジュール、カメラシステムおよび画像表示方法に関し、より詳細には、カメラモジュールが撮像した車両の周辺画像をディスプレイ等の表示手段に表示するものに関する。
【背景技術】
【0002】
従来、自動車の前後左右に取り付けた複数のカメラモジュールが撮像したカメラ画像を繋ぎ合わせて車両周辺画像を生成し、これを車室内に設置したディスプレイ等の表示手段に表示することにより、車両の全周方向を1つの画面で視認できるようにしたカメラシステムが知られている。また、各カメラ画像を視点変換加工することにより、車両周辺画像を俯瞰画像として表示するものも知られている。
【0003】
このようなカメラシステムにおいて、車両のステアリングホイールあるいはディスプレイのタッチパネル等に切替えスイッチを設け、この切替えスイッチを操作することにより、表示手段を、複数のカメラ画像を繋ぎ合わせた車両周辺画像を表示する状態から、所望の方向のカメラ画像を表示する状態に切り替え可能とした技術が知られている(例えば特許文献1、2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−141622号公報
【特許文献2】特開2012−6551号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1、2に記載されるカメラシステムでは、車両を後退させる際に、切替えスイッチを操作して表示手段に車両の後退方向の画像を表示させることにより、車両の後退方向の視認性を高めることができる。
【0006】
しかしながら、上記カメラシステムは、表示手段の画面表示を切り替えるために、車両のステアリングホイールあるいはディスプレイのタッチパネル等に切替えスイッチを設ける必要あるので、その構成が複雑で高価なものになるという問題があった。
【0007】
かかる事情に鑑みてなされた本発明の目的は、構成が簡潔で安価なカメラシステムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明に係るカメラモジュールは、車両に取り付けられて該車両の周辺画像を表示手段に出力するカメラモジュールであって、前記車両の周辺を撮像する撮像部と、前記撮像部が撮像した第1画像を加工して第2画像を生成する画像生成部と、前記車両が前進または停止しているときには前記第2画像を前記表示手段に出力し、前記車両が後退する際には、前記第1画像を前記表示手段に出力する制御部とを備え、前記第1画像は前記第2画像に比べて画角が広くなっていることを特徴とする。
【0009】
本発明に係るカメラモジュールにおいては、前記第1画像は前記車両の後退方向の画像であり、前記第2画像は前記第1画像を視点変換した画像を少なくとも含む俯瞰画像であるのが好ましい。
【0010】
本発明に係るカメラモジュールにおいては、前記制御部は、前記車両が後退する際に、前記表示手段に向けて、該表示手段を複数の画像に分割表示する状態から前記分割表示しない状態に切り替える切替え信号を出力するのが好ましい。
【0011】
本発明に係るカメラモジュールにおいては、前記制御部は、前記車両が前進または停止しているときには、前記第2画像と前記車両に取り付けられた他のカメラモジュールから入力される画像とを合成した画像を出力するのが好ましい。
【0012】
本発明に係るカメラモジュールにおいては、前記制御部は、前記撮像部が撮像した画像に基づいて前記車両が後退したことを検出するのが好ましい。
【0013】
また、上記課題を解決するため、本発明に係るカメラシステムは、車両の前後左右をそれぞれ撮像する複数のカメラモジュールと、前記カメラモジュールの撮像画像を表示する表示手段とを備えたカメラシステムであって、前記車両の後退方向を撮像するカメラモジュールは、前記車両の後退方向を撮像する撮像部と、該撮像部が撮像した第1画像を加工して第2画像を生成する画像生成部と、前記車両が前進または停止しているときには前記撮像部が撮像した画像と他の前記カメラモジュールが撮像した複数の画像とからなる車両周辺画像を前記表示手段に表示し、前記車両が後退する際には、前記撮像部が撮像した画像を前記表示手段に表示する制御を行う制御部とを有し、前記第1画像は前記第2画像に比べて画角が広くなっていることを特徴とする。
【0014】
さらに、上記課題を解決するため、本発明に係る画像表示方法は、車両に取り付けられたカメラモジュールが撮像した該車両の周辺画像を表示手段に表示する画像表示方法であって、前記車両が後退していることを検出する車両後退判定工程と、前記車両後退判定工程において前記車両が後退していることが検出されないときには、前記カメラモジュールが撮像した第1画像を加工した第2画像を前記表示手段に表示し、前記車両後退判定工程において前記車両が後退していることが検出されたときには、前記第1画像を前記表示手段に表示する画像切替え工程とを有し、前記第1画像は前記第2画像に比べて画角が広くなっていることを特徴とする。
【発明の効果】
【0015】
本発明のカメラモジュール、カメラシステムおよび画像表示方法によれば、構成が簡潔で安価なカメラシステムを提供することができる。
【図面の簡単な説明】
【0016】
図1】本発明の第1実施形態に係るカメラシステムを備えた車両の概略構成を示す図である。
図2】本発明の第1実施形態に係るカメラシステムの構成例を示すブロック図である。
図3】(a)から(c)は、それぞれ撮像部が撮像した画像に基づいて車両が後退したことを検出する手順を説明する図である。
図4】(a)、(b)は、それぞれ本発明の第1実施形態に係るカメラシステムの表示手段に表示される画像の一例を示す図である。
図5】本発明の第1実施形態に係るカメラシステムにおける、表示手段の画面切替え制御のフローチャート図である。
図6図2に示す第1実施形態に係るカメラシステムの変形例を示すブロック図である。
図7】本発明の第2実施形態に係るカメラシステムの構成例を示すブロック図である。
図8】本発明の第2実施形態に係るカメラシステムにおける、表示手段の画面切替え制御のフローチャート図である。
図9図7に示す第2実施形態に係るカメラシステムの変形例を示すブロック図である。
【発明を実施するための形態】
【0017】
以下、本発明の各実施形態について、図面を参照して例示説明する。
【0018】
(第1実施形態)
図1に示すように、本発明の第1実施形態に係るカメラシステム1は自動車等の車両2に設けられる。このカメラシステム1は、車両2の前後左右に取り付けられる4つのカメラモジュール3〜6と、車室内に設置されて各カメラモジュール3〜6が接続される表示手段7とを備える。
【0019】
図2に示すように、車両2の前方端に取り付けられるフロントカメラモジュール3は撮像部3aを備えている。この撮像部3aは車両2の前方に向けられており、車両2の前方側の周辺を所定の画角で撮像する。同様に、車両2の右側方に取り付けられるサイドカメラモジュール4は撮像部4aを備え、この撮像部4aは車両2の右側方の周辺を所定の画角で撮像する。また同様に、車両2の左側方に取り付けられるサイドカメラモジュール5は撮像部5aを備え、この撮像部5aは車両2の左側方の周辺を所定の画角で撮像する。
【0020】
各カメラモジュール3〜5には、それぞれ画像生成部3b,4b,5bが設けられている。画像生成部3b,4b,5bは、それぞれ撮像部3a,4a,5aが撮像した画像を取り込み、取り込んだ画像に歪みを調整することにより加工を施し、当該画像の視点を変換した俯瞰画像を生成する。画像生成部3b,4b,5bにより生成された俯瞰画像は、それぞれ表示手段7に適応したフォーマット(例えばNTSC)に変換され、各カメラモジュール3〜5から表示手段7に向けて出力される。
【0021】
車両2の後方端に取り付けられるリアカメラモジュール6は、撮像部6a、画像生成部6bおよび制御部6cを備えている。撮像部6aは車両2の後方に向けられており、車両2の後方の周辺を所定の画角で撮像する。画像生成部6bは撮像部6aが撮像した車両2の後方つまり後退方向の画像(第1画像)を取り込み、取り込んだ画像に歪みを調整することにより加工を施し、当該画像の視点を変換した俯瞰画像(第2画像)を生成する。制御部6cは撮像部6aと画像生成部6bとに接続され、撮像部6aから直接入力される未加工の画像(第1画像)と画像生成部6bから入力される俯瞰画像(第2画像)のいずれか一方を選択的に表示手段7に向けて出力することができる。この場合においても、制御部6cは、これらの画像を表示手段7に適応したフォーマットに変換してから表示手段7に出力する。
【0022】
各カメラモジュール3〜6に設けられる撮像部3a〜6aとしては、例えば魚眼レンズなどの画角の広いレンズとCMOSあるいはCCD等のイメージセンサとを備えたものを用いることができる。
【0023】
リアカメラモジュール6に設けられた制御部6cは、撮像部6aが撮像した画像に基づいて自車両2が前進、停止、後退のどの状態にあるかを検出する車両状態検出部6dを有している。つまり、制御部6cは、車両状態検出部6dにおいて、撮像部6aが撮像した画像から物体認識処理により対象物体を認識し、この対象物体が画像中で動いているか停止しているかを認識することができる。
【0024】
例えば、図3(a)に示すように、車両2が停止しているときには、撮像部6aが撮像した画像中で対象物体8の位置や大きさが変化しないので、車両状態検出部6dは画像中で対象物体8が停止していると認識し、これに基づき自車両2が停止していると判断する。図3(b)に示すように、車両2が後退する際には、車両状態検出部6dは、対象物体8が画像中で下方に移動しながら大きくなるのを認識し、これに基づき自車両2が後退していると判断する。反対に、図3(c)に示すように、車両2が前進する際には、車両状態検出部6dは、対象物体8が画像中を上方に移動しながら小さくなるのを認識し、これに基づき自車両2が前進していると判断する。
【0025】
車両状態検出部6dによる上記判断においては、画像中に認識した複数の対象物体8,9の組が同速度で移動している場合を自車両2の後退と判定するように構成することが好ましい。すなわち、停止している自車両2に対して対象物体の方が接近・離反する場合、対象物体8,9あるいはそれ以上の対象物体がともに同速度で接近してくることはまず生じ得ない。そのため、対象物体が自車両2に対して一通り同速度で接近してこない場合には自車両2の移動と検知せず、対象物体の方が移動してきていると判断する。すなわち、自車両2と対象物体8,9のいずれの側が移動しているのかという判断の精度を高めることができる。また、画面中の仮想水平線に対する対象物体8,9の接近・離反に基づいて自車両2の前進、停止、後退を判断するなど、撮像部6aが撮像した車両2の後退方向の画像に基づいて車両2の前進、停止または後退を検出することができる方法であれば、他の判定方法を用いることもできる。
【0026】
制御部6cは、車両状態検出部6dにより、車両2が前進または停止していることを検出したときには、画像生成部6bが生成した俯瞰画像(第2画像)を表示手段7に向けて出力する。また、制御部6cは、車両状態検出部6dにより、車両2が後退していることを検出したときには、撮像部6aが撮像した車両2の後退方向の画像(第1画像)と車両2が後退したことを示す後退動作信号(切替え信号)とを表示手段7に向けて出力する。
【0027】
車両状態検出部6dは、車両2の後退のみを検出する構成とすることもできる。この場合、制御部6cは、通常状態つまり車両2の後退が検出されない状態においては、画像生成部6bが生成した俯瞰画像(第2画像)を表示手段7に向けて出力し、車両状態検出部6dによって車両2の後退が検出されたときに、車両2の後退方向の画像(第1画像)と車両2の後退を示す後退動作信号(切替え信号)とを表示手段7に向けて出力する。
【0028】
一方、車両2の前方および左右に設置されたカメラモジュール3〜5は、車両2の前進、停止、後退の何れの状態においても表示手段7に向けて常に俯瞰画像を出力する。
【0029】
図2に示すように、表示手段7は表示部7aと切替え部7bとを備えている。この表示手段7としては、例えば液晶ディスプレイあるいは有機ELディスプレイ等のディスプレイ装置を用いることができる。
【0030】
表示部7aは各カメラモジュール3〜6からの画像が入力され、これらの画像を表示することができる。また表示部7aは、その画面中央に描画された車両モデル10の周囲に4つの画像を分割表示する状態つまり分割表示モードと、当該分割表示をしない状態、つまり画面に1つの画像のみを表示する一画面表示モードとに、表示モードを切り替えることができる。表示部7aの表示モードの切り替えは切替え部7bにより行われる。切替え部7bは、通常時つまり後退動作信号が入力されないときには表示部7aを分割表示モードに設定し、リアカメラモジュール6の制御部6cから後退動作信号が入力されたときに、表示部7aの表示モードを分割表示モードから一画面表示モードに自動的に切り替える。つまり、表示部7aは、車両2が前進または停止しているときには分割表示モードとなり、車両2が後退する際には、リアカメラモジュール6から後退動作信号が入力されて一画面表示モードに切り替えられる。
【0031】
図4(a)に示すように、分割表示モードにおいては、表示部7aの画面上側の分割範囲7a1には、フロントカメラモジュール3からの俯瞰画像が表示される。また、表示部7aの画面右側の分割範囲7a2と画面左側の分割範囲7a3には、それぞれサイドカメラモジュール4,5からの俯瞰画像が表示される。さらに、表示部7aの画面下側の分割範囲7a4にはリアカメラモジュール6からの俯瞰画像が表示される。このように、分割表示モードでは、各カメラモジュール3〜6から入力される俯瞰画像が、それぞれ表示部7a上の予め設定された所定の割当範囲に分割表示される。
【0032】
一方、図4(b)に示すように、一画面表示モードにおいては、表示部7aにはリアカメラモジュール6から入力される車両2の後退方向の画像が表示される。図4(a)、(b)から解るように、一画面表示モードにおいて表示部7aに表示される車両2の後退方向の画像は、分割表示モードにおいて画面下側の分割範囲7a4に記載される車両2の後退方向の画像を加工した俯瞰画像よりも大きくなっている。
【0033】
このように、表示手段7の表示部7aには、車両2が前進または停止しているときには、図4(a)に示すように、各カメラモジュール3〜6から入力された俯瞰画像からなる擬似的に車両上方の仮想点から車両周辺を見下ろした車両周辺画像が表示され、車両2が後退する際には、図4(b)に示すように、車両2の後退方向の画像がつまりバックビューが表示される。
【0034】
次に、第1実施形態のカメラシステム1における画面切替え制御(画像表示方法)について図5に基づいて説明する。
【0035】
車両2のイグニッションキーがオンされて各カメラモジュール3〜6と表示手段7に通電されると、リアカメラモジュール6の制御部6c(車両状態検出部6d)により、車両2が後退したか否かが判断される(ステップS1、車両後退判定工程)。本実施形態においては、上記のように、制御部6cによる車両2が後退したか否かの判断は、撮像部6aが撮像した車両2の後退方向の画像に基づいて行われる。
【0036】
制御部6cは、ステップS1において車両2が後退していないと判断すると、画像生成部6bにより生成された俯瞰画像を表示手段7に向けて出力する(ステップS2)。
【0037】
ステップS2において制御部6cが出力した俯瞰画像が表示手段7に入力されると、切替え部6bにより、制御部6cからの後退動作信号の入力の有無が判断される(ステップS3)。切替え部7bは、ステップS3において、制御部6cからの後退動作信号の入力が無いと判断すると、表示部7aを分割表示モードに設定する(ステップS4)。表示部7aが分割表示モードに設定されると、各カメラモジュール3〜6から入力される俯瞰画像が表示部7aに分割表示される(ステップS5)。
【0038】
一方、ステップS1において、車両2が後退していると判断した場合には、制御部6cは車両2の後退方向の画像と後退動作信号とを表示手段7に向けて出力する(ステップS6)。
【0039】
ステップS6において制御部6cが出力した車両2の後退方向の画像と後退動作信号とが表示手段7に入力されると、ステップS3において切替え部6bにより後退動作信号の入力が検出され、表示部7aが分割表示モードから一画面表示モードに切り替えられる(ステップS7、画像切替え工程)。表示部7aが分割表示モードから一画面表示モードに切り替えられると、リアカメラモジュール6から出力される車両2の後退方向の画像が表示部7aに表示される(ステップS8)。
【0040】
上記のステップS1、S2およびS6は制御部6cが設けられたリアカメラモジュール6で行われる処理であり、ステップS3、S4、S5、S7およびS8は表示手段7で行われる処理である。
【0041】
以上説明したように、上記カメラシステム1では、車両2が前進または停止しているときには、各カメラモジュール3〜6の俯瞰画像を分割表示した車両周辺画像が表示手段7に表示され、車両2が後退する際には、車両2の後退方向の画像が表示手段7に表示される。表示手段7の表示モードの切り替えは、切替えスイッチ等の操作を行うことなく、リアカメラモジュール6から入力される後退動作信号に基づいて自動的に行われる。したがって、表示手段7の表示モードを切り替えるための切替えスイッチを不要として、このカメラシステム1の構成を簡素で安価なものとすることができる。
【0042】
また、上記カメラシステム1では、撮像部6aが撮像した画像を俯瞰画像に加工する画像生成部6bを各カメラモジュール3〜6に設けるとともに、表示手段7の表示モードの切り替えを制御する制御部6cをリアカメラモジュール6に設けるようにしている。そのため、表示手段7として、タッチパネルあるいは切替えスイッチといった物理的構成を備えていない簡素で安価なものを用いることができる。あるいは、表示手段7の側に、リアカメラモジュール6を含めた各カメラモジュール3〜6との間での通信を行うような、より高機能なアプリケーションソフトウェアを用意せずに済むこととなる。したがって、簡素で安価な表示手段7であっても、前後左右のカメラモジュール3〜6を接続するだけの簡単な構成として、このカメラシステム1を簡潔で安価なものとすることができる。
【0043】
さらに、上記カメラシステム1では、制御部6cは、撮像部6aが撮像した画像に基づいて車両2が後退していることを検出する構成とされている。このため、制御部6cを車両2の中央制御部(ECU:エンジンコントロールユニット等)あるいはシフトポジションセンサ等の機器に接続せずとも実現可能である。あるいは、CAN(Controller Area Network)通信などの車載通信により中央制御部からシフトポジションに関する情報、具体的にはリバースポジションの情報を取得せずとも実現可能である。つまり、各カメラモジュール3〜6を表示手段7と電源とに接続しさえすればよく、車両側との簡素な連係によりカメラシステム1を構築することができる。したがって、このカメラシステム1をさらに簡素で安価なものとすることができる。
【0044】
ところで、米国では、2014年より発売される新車に車両後方監視システムの搭載を義務付けるKT法(Kids and Transportation Safety Act)が施行される予定である。このKT法においては、カメラシステムには、車両が後退する際に、車両からその後退方向に向けて一定距離だけ離れた所にある物体を表示手段に認識可能に表示させることが要求される。しかしながら、各カメラモジュールから入力された俯瞰画像を表示手段の表示部に分割表示するようにしたカメラシステムでは、表示手段の画面サイズの制約等から、車両の後退方向に一定距離だけ離れた物体を表示部に運転者が認識可能な程度に大きく表示させることは困難である。また、撮像部の撮像画像を加工した俯瞰画像は、その画像内で物体が変形して表示されるので、当該物体を運転者が認識可能に表示部に表示するのは困難である。
【0045】
これに対して、本発明のカメラシステム1では、車両2が後退する際には、表示部7aは分割表示モードから一画面表示モードに自動的に切り替えられるので、車両2が後退する際には、表示手段7に車両2の後退方向の画像が分割表示モードの場合に比べて大きく表示されることになる。また、当該画像は、俯瞰画像のような加工画像ではなく、撮像部6aが撮像した未加工で視認性の高い画像である。
【0046】
したがって、本発明のカメラシステム1では、車両2が前進または停止しているときに車両周辺の俯瞰画像を表示するようにしつつ、車両2が後退する際には、表示手段7に、車両2の後退方向にある物体を認識可能に表示させるようにして、KT法に対応し易くすることができる。
【0047】
図6図2に示す第1実施形態に係るカメラシステム1の変形例を示すブロック図である。
【0048】
図2に示すカメラシステム1では、撮像部6aが撮像した画像に基づいて車両2が後退したか否かを検出する車両状態検出部6dを制御部6cに設けて、リアカメラモジュール6により車両2が後退したことを検出するようにしている。
【0049】
これに対して、図6に示す変形例のカメラシステム11では、車両2に設けられた中央制御部12を制御部6cに接続し、この中央制御部12からリバース信号が入力されたときに、制御部6cが車両2の後退を検出するようにしている。制御部6cに接続される中央制御部12としては、例えば車両2の中央制御部(ECU:エンジンコントロールユニット等)あるいはシフトポジションセンサ等があるが、車両2のリバース信号を発信するものであれば、上記以外の他の機器を用いることもできる。
【0050】
この変形例のカメラシステム11では、車両2が後退すると、車両2の中央制御部12から制御部6cにリバース信号が入力される。中央制御部12からリバース信号が入力されると、制御部6cは車両2が後退していると判断する。この判断は、図5におけるステップS1の判断に相当する。制御部6cがリバース信号の入力により車両2が後退していると判断すると、制御部6cは撮像部6aが撮像した車両2の後退方向の画像とともに後退動作信号を表示手段7に向けて出力する。
【0051】
変形例の上記以外の構成は、基本的に図2に示すカメラシステム1と同一であるので、重複した説明は省略する。
【0052】
(第2実施形態)
次に、本発明の第2実施形態の構成を図7に基づいて例示説明する。図7においては、前述した部材に対応する部材には同一の符号を付し、重複した説明を省略する。
【0053】
第2実施形態のカメラシステム21では、車両2の前方側に設けたフロントカメラモジュール3と、車両2の左右に設けたサイドカメラモジュール4,5は、それぞれ車両2の後方側に設けたリアカメラモジュール6に接続される。各カメラモジュール3〜5は、第1実施形態のカメラシステム1の場合と同様に、それぞれ撮像部3a,4a,5aと画像生成部3b,4b,5bとを備える。リアカメラモジュール6は、撮像部6a、画像生成部6b、制御部6cに加えて、画像生成部6bと制御部6cとの間に画像合成部22を備えている。制御部6cは、第1実施形態の場合と同様の車両状態検出部6dにより、車両2の前進、停止、後退を検出することができるが、後退動作信号を出力する機能は有していない。
【0054】
フロントカメラモジュール3から出力された俯瞰画像と、各サイドカメラモジュール4,5から出力された俯瞰画像は、それぞれリアカメラモジュール6の画像合成部22に入力される。また、リアカメラモジュール6の画像生成部6bが生成した俯瞰画像(第2画像)も画像合成部22に入力される。画像合成部22は、各カメラモジュール3〜5から入力された俯瞰画像とリアカメラモジュール6の俯瞰画像とを合成して、図4(a)に示すような1つの車両周辺画像を生成する。制御部6cは、撮像部6aから直接入力される未加工の画像(第1画像)と画像合成部22から入力される車両周辺画像(第2画像)のいずれか一方を選択的に表示手段7に向けて出力することができる。この場合においても、制御部6cは、これらの画像を表示手段7に適応したフォーマットに変換してから表示手段7に出力する。
【0055】
制御部6cは、車両状態検出部6dにより、車両2が前進または停止していることを検出したときには、画像合成部22が合成した車両周辺画像(第2画像)を表示手段7に向けて出力する。また、制御部6cは、車両状態検出部6dにより、車両2が後退していることを検出したときには、撮像部6aが撮像した車両2の後退方向の画像(第1画像)を表示手段7に向けて出力する。
【0056】
次に、第2実施形態のカメラシステム21における画面切替え制御(画像表示方法)について図8に基づいて説明する。
【0057】
車両2のイグニッションキーがオンされて各カメラモジュール3〜6と表示手段7に通電されると、リアカメラモジュール6の制御部6c(車両状態検出部6d)により、車両2が後退したか否かが判断される(ステップS1、車両後退判定工程)。
【0058】
ステップS1において車両2が後退していないと判断されると、画像生成部6bが生成した俯瞰画像と他のカメラモジュール3〜5から入力された複数の俯瞰画像とが画像合成部22により合成されて車両周辺画像が生成され(ステップS2)、制御部6cから当該車両周辺画像が表示手段7に向けて出力される(ステップS3)。
【0059】
ステップS3で出力された車両周辺画像が表示手段7に入力されると、表示手段7の表示部7aにその車両周辺画像が表示される(ステップS4)。
【0060】
一方、ステップS1において、車両2が後退していると判断した場合には、制御部6cは車両2の後退方向の画像を表示手段7に向けて出力する(ステップS5)。
【0061】
ステップS5で出力された車両2の後退方向の画像が表示手段7に入力されると、表示手段7の表示部7aに車両2の後退方向の画像が表示される(ステップS4)。
【0062】
このように、第2実施形態のカメラシステム21では、表示手段7は車両2の前進、停止、後退によって表示モードが切り替えられることなく、リアカメラモジュール6の制御部6cから入力される画像を、そのまま表示するだけの構成である。したがって、第2実施形態のカメラシステム21では、表示手段7として表示部7aのみを備え、切替え部7bを備えていないより簡素で安価な構成のものを用いることができる。これにより、第2実施形態のカメラシステム21は、上記第1実施形態のカメラシステム1で得られる効果に加えて、カメラシステム21の構成をさらに簡素で安価なものとすることができるという効果を有する。
【0063】
図9図7に示す第2実施形態に係るカメラシステム21の変形例を示すブロック図である。
【0064】
図9に変形例として示すように、第2実施形態のカメラシステム31においても、図6に示す場合と同様に、車両2が後退したか否かを検出する手段として、車両状態検出部6dに替えて車両2に設けられた中央制御部12を制御部6cに接続することができる。
【0065】
この変形例のカメラシステム31では、車両2の中央制御部12から制御部6cにリバース信号が入力されると、制御部6cは車両2が後退していると判断し、撮像部6aが撮像した車両2の後退方向の画像を表示手段7に向けて出力する。一方、中央制御部12から制御部6cにリバース信号が入力されない場合は、制御部6cは車両2が前進または停止していると判断して、画像合成部22が合成した車両周辺画像を表示手段7に向けて出力する。
【0066】
変形例の上記以外の構成は、基本的に図7に示すカメラシステム21と同一であるので、重複した説明は省略する。
【0067】
本発明を諸図面と実施例とに基づき説明してきたが、当業者であれば本開示に基づき種々の変形あるいは修正を行うことが容易であることに注意されたい。したがって、これらの変形あるいは修正は本発明の範囲に含まれることに留意されたい。
【0068】
例えば、本実施形態では、車両2に4つのカメラモジュール3〜6を設けるようにしているが、これに限らず、車両2の前後左右を撮像することができれば、カメラモジュールの数は任意に設定することができる。この場合、表示手段7の分割表示モードにおける画像の分割範囲も、カメラモジュールの数に合わせて任意に設定することができる。
【0069】
また、表示手段7は、カメラモジュール3〜6から入力される画像を表示する表示部7aに加えて、またはこれと一体に、車両ナビゲーションシステムの画面あるいは車両情報等の他の情報を表示する副表示部を備えるものとすることもできる。
【0070】
さらに、上記実施形態では、第1画像はリアカメラモジュール6の撮像部6aが撮像した車両2の後退方向の画像そのものとされ、第2画像は第1画像を加工した俯瞰画像とされているが、例えば第2画像に比べて第1画像の画角が広くなっているなど、第2画像に比べて第1画像の方が、車両周辺の視認性が高い画像となっていれば、第1画像を加工して得られる第2画像は、俯瞰画像に限らず種々の画像とすることができる。
【符号の説明】
【0071】
1 カメラシステム(第1実施形態)
2 車両
3 フロントカメラモジュール
3a 撮像部
3b 画像生成部
4,5 サイドカメラモジュール
4a,5a 撮像部
4b,5b 画像生成部
6 リアカメラモジュール
6a 撮像部
6b 画像生成部
6c 制御部
6d 車両状態検出部
7 表示手段
7a 表示部
7a1 画面上側の分割範囲
7a2 画面右側の分割範囲
7a3 画面左側の分割範囲
7a4 画面下側の分割範囲
7b 切替え部
8,9 対象物体
10 車両モデル
11 カメラシステム
12 中央制御部
21 カメラシステム(第2実施形態)
22 画像合成部
31 カメラシステム
図1
図2
図3
図4
図5
図6
図7
図8
図9