(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5716944
(24)【登録日】2015年3月27日
(45)【発行日】2015年5月13日
(54)【発明の名称】車載カメラ装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20150423BHJP
H04N 5/225 20060101ALI20150423BHJP
B60R 1/00 20060101ALI20150423BHJP
【FI】
G08G1/16 C
H04N5/225 C
B60R1/00 A
【請求項の数】3
【全頁数】10
(21)【出願番号】特願2009-150463(P2009-150463)
(22)【出願日】2009年6月25日
(65)【公開番号】特開2011-8459(P2011-8459A)
(43)【公開日】2011年1月13日
【審査請求日】2012年5月17日
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】アイシン精機株式会社
(74)【代理人】
【識別番号】100107308
【弁理士】
【氏名又は名称】北村 修一郎
(74)【代理人】
【識別番号】100114959
【弁理士】
【氏名又は名称】山▲崎▼ 徹也
(72)【発明者】
【氏名】堂西 幸紀子
(72)【発明者】
【氏名】森田 貢規
(72)【発明者】
【氏名】内藤 剛
(72)【発明者】
【氏名】浅野 義
(72)【発明者】
【氏名】渡邊 一矢
(72)【発明者】
【氏名】長嶺 昇
【審査官】
白石 剛史
(56)【参考文献】
【文献】
特開2007−189595(JP,A)
【文献】
特開2007−019804(JP,A)
【文献】
特開2007−243464(JP,A)
【文献】
特開2006−222899(JP,A)
【文献】
特開平10−040355(JP,A)
【文献】
特開2007−163173(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
B60R 1/00
H04N 5/225
(57)【特許請求の範囲】
【請求項1】
車両に搭載された車載カメラと、前記車載カメラの撮影領域内に配置された基準色担体と、前記車載カメラの撮影画像から前記基準色担体の画像部分を参照画像として抽出する画像抽出部と、前記抽出された参照画像と予め登録されている基準画像とに基づいて前記参照画像の色かぶりを抑制するよう算定された目標色変換曲線に対応して調整された色変換曲線を用いて、前記撮影画像のうちモニタ表示される画像の全領域又は前記撮影画像の全領域の色補正を行う色補正部とを備える車載カメラ装置。
【請求項2】
前記画像抽出部は前記撮影画像から前記基準色担体の画像部分を排除した画像領域を前記車両に搭載されたモニタに表示用画像として出力する請求項1に記載の車載カメラ装置。
【請求項3】
前記基準色担体は所定の基準色を施したバンパーである請求項1または2に記載の車載カメラ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外部環境下に置かれたカメラによって取得された撮影画像から表示画像を生成してモニタに出力するカメラ装置、特に車両に搭載された車載カメラ装置に関する。
【背景技術】
【0002】
例えば、最近、自動車の後部に取り付けられたカメラによる撮影画像を処理して、死角の少ないバックミラー代わりとなる後方風景画像や自車を上方から見た俯瞰画像を表示画像として生成してモニタに出力する駐車支援装置が提案されている。
【0003】
後進駐車の場合頻繁にブレーキ操作が行われることによりブレーキランプが点いたり消えたりする。つまり、カメラの撮影条件のひとつである照明光特性が頻繁に変化し、これにより路面の色や隣接する自動車の塗装色が変化し、モニタでの表示再現性が低下し、見づらい画面となる。このような現象は、ブレーキランプだけでなく、ハザードランプ、ウィンカー、テールランプ、ヘッドランプ等、車両周辺を照明する光源の点滅による環境光の変化によっても同様に生じる。さらには、太陽の向きや突然の陰りなど気象条件によってもモニタでの表示再現性が低下する。このような問題を解決するため、車両周辺の外光状態に応じた輝度補正のためのテンプレートを予め複数用意しておき、車載カメラで取得された撮影画像をその撮影画像の撮影時の外光状態に対応するテンプレートを使って撮影画像を輝度補正した後、モニタ表示ための表示画像を生成する駐車支援装置が提案されている(例えば、特許文献1参照)。この装置では、外光の変化に応じた輝度値を画素単位でもつことになる撮影画像に対して、撮像時の外光状態の輝度補正のためのテンプレートを使って輝度補正を行うことでモニタでの表示再現性を高めている。そのためにはテンプレートの予めの作成が重要となるが、この特許文献によれば、例えば、180種類の色補正用テンプレートが予め実験で求められて作成され、その時々の外光条件(車両に装備されている各ランプの点灯) に基づいて選択され、ランプ点灯による反射光を除去する色補正(輝度補正)されている。
しかしながら、この特許文献1による技術では、多数の色補正用のテンプレートを予め作成する必要があるばかりか、そのテンプレートを瞬時に選択可能に格納しておき、そのようなテンプレートを選択しながらの色補正を行う必要がある。このような色補正処理をリアルタイムで行うためには、高価な高速の画像処理モジュールが要求される。
【0004】
上述したようなテンプレートを必要としない色補正方法として表示装置に表示した基準色画像を撮像し変換係数及び原色信号の夫々に対応するガンマ特性を求め、求めたガンマ特性に基づいてガンマ変換するガンマ変換手段と、入力された被処理画像を線形信号に変換した後、求めた変換係数に基づいてマトリクス変換するマトリクス変換手段とを用いて、全ての色再現範囲において正確な色変換を行うことの方法が知られている(例えば、特許文献2参照)。しかしながら、この色補正方法では、外部の表示装置(モニタ)に表示させた基準色画像と、この基準色画像を撮像して得られた撮像画像とを一致させて色補正を行うため、色補正を行う度にカメラを表示装置の前に移動させて撮影を行わなければならない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−243464号公報(段落番号0003−0020、0112、
図1)
【特許文献2】特開2009−17209号公報(段落番号0012−0013、
図1)
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記実状に鑑み、本発明の目的は、簡単な構成で、車載カメラによる撮影画像のモニタにおける色の表示再現性を良好にする技術を提供することである。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明に係る車載カメラ装置の特徴構成は、車両に搭載された車載カメラと、前記車載カメラの撮影領域内に配置された基準色担体と、前記車載カメラの撮影画像から前記基準色担体の画像部分を参照画像として抽出する画像抽出部と、前記抽出された参照画像と予め登録されている基準画像とに基づいて前記参照画像の色かぶりを抑制するよう
算定された目標色変換曲線に対応して調整された色変換曲線を用いて、前記撮影画像のうちモニタ表示される画像の全領域又は前記撮影画像の全領域の色補正を行う色補正部とを備えていることである。
【0008】
この特徴構成によれば、車載カメラで取得された撮影画像には基準色が付与されている物体としての基準色担体が撮影画像に映っている。よって、この画像部分を参照画像として、つまりこの参照画像の色が予め規定されている本来の色つまり基準色となるように、撮影画像を色補正することで、色の表示再現性に優れた画像をモニタに表示させることができる。本発明による車載カメラ装置では、日中の太陽光下、電球や蛍光灯などの人工光下、曇天時や早朝といった、色温度が大きく異なり、色に影響を及ぼす種々の撮影条件で取得された撮影画像であっても、基準色に対応した色を有する参照画像に基づいてその参照画像の色が本来の基準色となるように撮影画像が色補正されて、出力される。
【0009】
本発明の好適な実施形態の1つでは、前記画像抽出部は前記撮影画像から前記基準色担体の画像部分を排除した画像領域を前記車両に搭載されたモニタに表示用画像として出力する。当初の撮影画像に含まれている基準色担体の画像部分は色補正に利用されるものであり、運転支援等のために車載モニタに表示する必要はなく、むしろその画像部分は邪魔となる。従って、車載カメラが取得した撮影画像から基準色担体の画像部分を除外した領域から任意に選択された画像部分をモニタ表示画像としてトリミングし、そのトリミングされた画像部分をモニタ画面サイズ等に合わせる処理をすることで、運転支援等の目的に最適な画角で適正な色を有するモニタ表示画像が出力される。
【0010】
この車載カメラが乗用車に搭載される場合、運転支援等でバックカメラとして適用され、死角を可能な限り少なくするため超広角レンズが使用される。したがって、一般的には所定の塗装色が施されているバンパーをその撮影領域の下方端領域に入れることは容易である。従って、本発明の好適な実施形態の1つでは、前記基準色担体は所定の基準色を施したバンパーとされている。この実施形態では、車両の一部として装備され所定色で塗装されているとともに、車載カメラで容易に撮影視野に入れることができるバンパーを基準色担体として兼用することで、特別に基準色担体を用意しなくてもよい。バンパーの塗装色はユーザの好みに応じて任意に選択されるが、乗用車の工場出荷時にはその塗装色のデータは工場側で把握できているので、その塗装色が基準画像の基準色となるように車載カメラ装置を設定しておくことで、本発明における、撮影画像のモニタでの良好な色再現性の利益を受けることができる。
【図面の簡単な説明】
【0011】
【
図1】本発明による車載カメラ装置の基本的な原理を図解説明するための説明図である。
【
図2】本発明による車載カメラ装置を搭載した車両の一部を切り欠いて運転席を見た斜視図である。
【
図3】本発明による車載カメラ装置を構成するカメラ制御ユニット及びその他のユニットの機能を示す機能ブロック図である。
【
図5】別な実施形態でのカメラ制御ユニットの機能を示す機能ブロック図である。
【発明を実施するための形態】
【0012】
最初に、
図1に示された図解を用いて本発明の基本的な原理を説明する。
ここでは、車載カメラは、
図2で示されているように、車両の一例としての乗用車1の後部に装備されたバックカメラ8であり、基準色担体は、所定色度を有する基準色(例えば青色)で塗装された後部バンパー1aとする。車載カメラ装置が起動すると、バックカメラ8が撮影を開始し、撮影画像が生成される(#01)。この撮影画像には、通常の車両後方の風景だけでなく、その下端領域にバンパー1aが映し込まれるように、バックカメラ8の撮影レンズと画角とが設定されている。この撮影画像から、車両後方の風景である、特に運転支援に有効な画像領域とみなされる車両後方画像領域(以下単に車両後方画像)がトリミング抽出されるとともに(#02)、バンパー1aの他部品が取り付いていない箇所の画像領域である参照画像領域とがトリミング抽出される(#03)。トリミング抽出された参照画像領域(以下単に参照画像と称する)は、予め登録されている基準画像と色比較処理される(#04)。この色比較処理では、画像処理の分野でよく知られているように、参照画像の画像データ(RGBデータ、CMYデータ、HSVデータなど)と、基準画像の画像データを統計学的な処理を通じて対比して、最新の撮影画像から抽出された参照画像が基準画像に対してどの色相の傾向でどの程度の色かぶりを表しているかが評価される。次に、この色かぶり評価(色かぶりデータ)に基づいて、色補正処理で用いられる色変換曲線(実際的には色補正LUT:ルックアップテーブル)を調整するための調整係数を算出する(#05)。具体的には、青色に赤色がかぶっている場合にはマゼンタ成分が少なくなるような調整係数が算出される。ただし、直接色値を調整するよりまえに、明るさやコントラストを調整した方が自然な画像が得られることも考えられるので、本発明における色変換曲線の考え、つまり色補正処理には、明るさ補正やコントラス補正も色を補正することになるので、これらの補正のための補正曲線も色補正を目的としている限りにおいて、本発明の色変換曲線含まれている。
【0013】
調整係数が算出されると、この調整係数を用いて色変換曲線の形状姿勢が調整される(#06)。次に、ステップ#02でトリミング抽出された車両後方画像が、この調整された色変換曲線を用いて色補正処理が施される(#07)。この色補正処理が施されることにより、日中の太陽光下、電球や蛍光灯などの人工光下、曇天時や早朝といった色温度が大きく異なる環境下、といった色に影響を及ぼす種々の撮影条件で取得された撮影画像であっても、本来の色をできるだけ保持した色再現性の良い車両後方画像となり、モニタ10での表示目的のために送り出される。送り出された色補正済み車両後方画像は、モニタ表示制御処理を通じて運転支援のためのガイドラインや案内メッセージが合成され(#08)、最終的にモニタ10の画面に表示される(#09)。
【0014】
参照画像を用いた色変換曲線の調整は、演算処理の負担を考慮して、一般的には、所定の間隔で実行され、調整された色変換曲線は、次の参照画像に基づく調整係数の算出が行われるまで、そのまま維持される。色に影響を及ぼす撮影条件の変化を検出する機能が備えられている場合には、所定以上の条件変化が生じた時のみ、色変換曲線の調整を行うようにするとよい。
【0015】
図2に車両1の基本構成が示されており、運転席3の周辺には、回転操作力を前車輪2fに伝えて駆動操向を行うステアリング4、走行速度を制御するシフトレバー5やアクセルペダル6、前車輪2f及び後車輪2rに制動力を作用させるブレーキペダル7が配置されている。さらに、運転席3の近傍のコンソールの上部位置には表示面にタッチパネル10Tが形成されたモニタ10が備えられている。モニタ10の両側面にはスピーカ11が備えられている。尚、スピーカ11はドアの内側やその他の車両内装面に設けてもよい。本発明の車載カメラ装置の重要な構成要素の1つである車載カメラは、車両1の後部バンパー1aの上方に設けられた、車両周辺を撮影するバックカメラ8である。モニタ10は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやCRT型のものであっても良い。また、このモニタにはタッチパネルが取り付けられており、指等の接触位置をロケーションデータとして出力する。なお、モニタ10は運転支援システムの表示装置として用いられる。
【0016】
バックカメラ8はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵するとともに、撮影した情報をリアルタイムで動画情報として出力するデジタルカメラである。バックカメラ8には超広角レンズが装備されており、その撮影視野の下端領域にバンパー1aが入るようにその画角が設定されているとともに、車両1の後方約8m程度までの領域を車両後方画像領域としている。
【0017】
図中20は、車両1における各種電子制御を行うECU(electronic control unit)を内蔵している電子制御ボックスである。本発明に特に関係するいくつかのECUの機能を模式的に示す機能ブロック図が
図3に示されている。各ECUは、コンピュータを中核要素として構成されており、そのネットワーク機能を用いて相互のデータ伝送が可能となっている。
図3には、ECUとして、センサ信号処理ユニット30と、本発明による車載カメラ装置の制御ユニットであるカメラ制御ユニット40と、車両状態/車両周辺状態検出ユニット50と、駐車支援ユニット60と、モニタ表示制御ユニット70とが示されている。
【0018】
センサ信号処理ユニット30は、前述した各種センサ等からの信号を内部的に演算可能なデータに変換して、そのようなデータを要求している各ECUに送信する。このセンサ信号データを受け取った各ECUは、演算処理によって生成されたデータを演算結果データとしてさらにこれを要求する各ECUに送信する。
【0019】
車両状態/車両周辺状態検出ユニット50は、走行データ等の車両状態に関する情報、及び障害物検出データや障害物追従データや道路や駐車場などの走行路データ等の車両周辺状態に関する情報を生成する機能を有する。例えば、注意すべき走行障害物までの距離や車両1との相対位置関係は、衝突予知センサ9などのセンサ信号データに基づいて演算し、さらにはその衝突の可能性も推定することができる。ここで生成された障害物検知データは、駐車支援ユニット60に送られる。
【0020】
駐車支援ユニット60自体は公知であるので、ここでは詳しく説明しないが、この駐車支援ユニット60によって作り出される機能として、駐車支援画像生成機能と、駐車目標位置設定機能と、誘導機能と、移動状態検出機能などが挙げられる。駐車支援画像生成機能によって駐車支援に関するイメージ情報が生成され、モニタ10に表示される。駐車目標位置設定機能によって、運転者は、車両1を駐車させる目標位置を設定することができる。誘導機能は、現在位置から駐車目標位置へ車両1を誘導する経路を演算する。移動状態検出機能は、誘導経路に沿って移動する車両1の移動状態を検出し、この検出結果に基づいて車両1の移動中の位置誤差が演算される。
【0021】
カメラ制御ユニット40は、
図3に示すように、バックカメラ8からの画像信号を撮影画像として受け取る画像入力部31と、当該撮影画像から所定の領域の画像をトリミング抽出(切り出し)する画像抽出部32と、画像を色補正する色補正部90と、色補正された画像を他のユニットに送り出す画像出力部33を備えている。画像抽出部32は、画像入力部31を経てワーキングメモリに展開された撮影画像から、この撮影画像の所定座標領域に位置する基準色担体としてのバンパー1aの画像部分を参照画像として抽出する。さらに、この画像抽出部32は、撮影画像から運転支援等の目的でモニタ表示に用いられる領域の画像、ここでは車両1の後方の風景を映し出している領域の画像を車両後方画像として抽出する。色補正部90は、前記撮影画像の色補正を行うが、その色補正処理における入力画像値から出力画像値を導く色変換曲線の形状及び姿勢を前記抽出された参照画像に基づいて調整する機能も有する。
【0022】
色補正部90は、色変換部91と、色変換曲線の具体的な構築の一例である色変換LUT92と、参照画像評価部93と、調整係数算出部94と、調整実行部95と、この色補正部90における各制御を管理する色補正管理部96を備えている。
【0023】
色変換部91は、画像抽出部32によって撮影画像から抽出された画像(ここでは車両後方画像)を入力画像として、色変換LUT92を用いて色変換した出力画像(色変換済画像)を生成するものである。その際、色変換LUT92は、入力値として与えられた入力画像の各画素値から出力画像の画素値となる出力値を導出するための変換データ群がマトリックス状に格納されたものであるが、単に入力値から出力値を導く関数として構築することも可能である。この変換データ群または関数を修正して、同じ入力値から異なる出力値を導出するように色変換LUT92を調整する機能は、参照画像評価部93と調整係数算出部94と調整実行部95とによって構築されている。
【0024】
参照画像評価部93は、画像抽出部32によって撮影画像から抽出された、バンパー1aの他部品が取り付いていない箇所の画像領域である参照画像と、予め格納されている基準画像とを比較して、参照画像の色かぶりデータを算出する。ここでいう基準画像は、適正な撮影条件(照明状態など)で、同色のバンパー1aを撮影した場合に得られる基準撮影画像、正確には基準撮影画像の色成分毎の画素値である。色かぶりデータは、基準画像と比較して参照画像にどのような色成分毎にどのようなずれが生じているかを示すデータである。例えば、青色にどの程度マゼンタがのっているかということを定量的に示すデータである。調整係数算出部94は、参照画像評価部93によって算出された色かぶりデータに基づいて、この色かぶりを取り除くために適切な目標色変換曲線を算定し、現状の色変換LUT92に設定されている色変換曲線を目標色変換曲線とするための調整係数を算出する。調整実行部95は、調整係数算出部94によって算出された調整係数に基づいて色変換LUT92を調整する。色変換LUT92の調整は、一秒間に多数のフレーム数で取得される撮影画像毎に行う必要はないので、通常は予め定められたタイミングで調整作業が実行されるが、このタイミング制御は色補正管理部96が行う。
【0025】
上述したように構成されたカメラ制御ユニットにおける色補正処理の制御の流れを
図4のフローチャートを用いて説明する。
まず、画像入力部31を介してバックカメラ8から受け取った画像信号が撮影画像としてワーキングメモリに展開される(#10)。画像抽出部32が、ワーキングメモリに展開された撮影画像から、運転支援等の目的でモニタ表示に適した領域の画像を車両後方画像としてトリミング抽出する(#12)。
【0026】
次に、色変換LUT92の調整が実行されるかどうかが判定される(#14)。色変換LUT92の調整が実行される場合(#14Yes分岐)、画像抽出部32が、ワーキングメモリに展開された撮影画像から、バンパー1aを映している領域の画像である参照画像をトリミング抽出する(#16)。参照画像評価部93は、抽出された参照画像の画素値を読み込む(#18)とともに、予め登録されている基準画像の画素値を読み込む(#20)。参照画像の画素値と基準画像の画素値とから参照画像の色かぶり、つまりバンパー1aが周囲環境によってどの程度色かぶりをしているかを示す色かぶりデータが算出される(#22)。続いて、調整係数算出部94が、参照画像評価部93によって算出された色かぶりデータに基づいて色かぶりを抑制するための色変換曲線の調整、つまり色変換LUT92を調整するための調整係数を算出する(#24)。さらに、調整実行部95が、調整係数に基づいて色変換LUT92を調整する(#26)。
【0027】
以上のステップ#16からステップ#26までの色変換調整処理により、色変換LUT92が現時点の撮影画像に生じている色かぶりを取り除くかまたはある程度抑制することが可能なように設定されたことになる。そして、色変換部90が、この調整された色変換LUT92を用いて、ステップ#12でトリミング抽出された車両後方画像に対する色補正処理を行う(#28)。色補正処理を施された車両後方画像は、モニタ表示されるべく画像出力部33を経て、モニタ表示制御ユニット70に出力される(#30)。なお、ステップ#18での色変換LUT調整の実行判定において色変換LUT92に対する調整が指令されない場合(#14No分岐)、直接ステップ#28にジャンプし、これまでの設定のままの色変換LUT92を用いて、車両後方画像の色補正処理が行われる(#28)。以上のステップ#10からステップ#30まで処理は、撮影中止指令が入る(ステップ#32Yes分岐)まで繰り返される。
【0028】
〔別実施形態〕
(1)上述した実施形態では、色変換LUT92の調整は、色補正管理部96が管理している予め定められたタイミングで実行されていた。この調整タイミングの具体的かつ好適な形態として、リアルタイムに取得された撮影画像から直接色かぶり状態を判定し、所定のしきい値条件を超えた場合に、色変換LUT92の調整を行うようにすることが提案される。このような別実施形態では、
図5に示すように、新たに色かぶり判定部97を設けるだけでよい。この色かぶり判定部97は、参照画像評価部93が算出する色かぶりデータを入力して、この色かぶりデータを予め設定されているしきい値条件に適用し、色変換LUT調整をするかどうかを決定し、その判定結果を色補正管理部96に出力する。しきい値条件として、例えば、マゼンタかぶり度が10%以上、シアンかぶり度が20以上といったように色かぶりする特定色に応じてそのしきい値を変更してもよいし、種々のしきい値条件を設定することができる。このしきい値条件を運転者の好みに応じて設定できるようにしてもよい。
(2)モニタ表示のために利用される車両後方画像は、必ずしも撮影画像の部分画像である必要はなく、画像抽出部32をスルーすることで、車両後方画像が撮影画像と同一である形態も、本発明の車両後方画像には含まれている。
(3)上述した実施形態では、基準色担体としてバンパー1aが用いられていたが、バンパー1a以外の車両構成部材、あるいはナンバープレートなどを利用することも可能である。また、基準色担体として、専用の指標体のようなものを車載カメラの撮影視野に入るように装備することも可能である。そのような場合、指標体に付与される色としてはニュートラルグレーを採用することが好ましい。
【符号の説明】
【0029】
8 バックカメラ(車載カメラ)
10 モニタ
30 カメラ制御ユニット
31 画像入力部
32 画像抽出部
33 画像出力部
60 駐車支援ユニット
70 モニタ表示制御ユニット
90 色補正部
91 色変換部
92 色変換LUT(色変換曲線)
93 参照画像評価部
94 調整係数算出部
95 調整実行部
96 色補正管理部
97 色かぶり判定部