特許第5996970号(P5996970)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧

<>
  • 特許5996970-車載撮像装置 図000002
  • 特許5996970-車載撮像装置 図000003
  • 特許5996970-車載撮像装置 図000004
  • 特許5996970-車載撮像装置 図000005
  • 特許5996970-車載撮像装置 図000006
  • 特許5996970-車載撮像装置 図000007
  • 特許5996970-車載撮像装置 図000008
  • 特許5996970-車載撮像装置 図000009
  • 特許5996970-車載撮像装置 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5996970
(24)【登録日】2016年9月2日
(45)【発行日】2016年9月21日
(54)【発明の名称】車載撮像装置
(51)【国際特許分類】
   H04N 9/04 20060101AFI20160908BHJP
   H04N 7/18 20060101ALI20160908BHJP
   H04N 9/73 20060101ALI20160908BHJP
【FI】
   H04N9/04 B
   H04N7/18 J
   H04N9/73 A
【請求項の数】4
【全頁数】11
(21)【出願番号】特願2012-190872(P2012-190872)
(22)【出願日】2012年8月31日
(65)【公開番号】特開2014-49918(P2014-49918A)
(43)【公開日】2014年3月17日
【審査請求日】2015年4月17日
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】110000855
【氏名又は名称】特許業務法人浅村特許事務所
(74)【代理人】
【識別番号】100100310
【弁理士】
【氏名又は名称】井上 学
(74)【代理人】
【識別番号】100098660
【弁理士】
【氏名又は名称】戸田 裕二
(74)【代理人】
【識別番号】100091720
【弁理士】
【氏名又は名称】岩崎 重美
(72)【発明者】
【氏名】薄井 勉
(72)【発明者】
【氏名】高橋 輝樹
(72)【発明者】
【氏名】吉田 大輔
【審査官】 藤原 敬利
(56)【参考文献】
【文献】 特開2003−163944(JP,A)
【文献】 特開2011−254311(JP,A)
【文献】 特開2007−329380(JP,A)
【文献】 特開2004−229154(JP,A)
【文献】 国際公開第2012/004910(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
H04N 7/18
H04N 9/04 − 9/11
H04N 9/44 − 9/78
(57)【特許請求の範囲】
【請求項1】
車両に搭載する車載撮像装置であって、
被写体を撮影する少なくとも、赤色域(以下Rと記載)、緑色域(以下Gと記載)、青色域(以下Bと記載)、全可視光域と赤外域(以下Cirと記載)に感度を持つ撮像部と、
前記撮像部が撮影した映像から少なくとも複数の異なる帯域の映像信号に対し信号処理を実施する信号処理部と、
前記信号処理部により処理された前記映像信号の1つ以上の信号による画素信号分布情報を抽出する画素信号分布処理部と、
前記映像信号が所望の値となるように所定のゲインを用いて信号処理を行うホワイトバランス処理部と、
前記ホワイトバランス処理部の制御及び、前記画素信号分布処理部による画素信号分布情報抽出の為の判定領域情報の制御を行うシステム制御部と
を具備し、
前記システム制御部は、前記画素信号分布処理部で抽出される画素信号分布情報に応じて、ホワイトバランス処理部のゲインを所定の値に設定するように制御を行い、
前記画素信号分布処理部は、R信号、G信号、B信号のうち2つ以上の信号と、Cir信号を用いて、一つ以上の判定領域に対する画素信号分布情報を抽出することを特徴とする車載撮像装置。
【請求項2】
車両に搭載する車載撮像装置であって、
被写体を撮影する少なくとも、赤色域(以下Rと記載)、緑色域(以下Gと記載)、青色域(以下Bと記載)、全可視光域と赤外域(以下Cirと記載)に感度を持つ撮像部と、
前記撮像部が撮影した映像から少なくとも複数の異なる帯域の映像信号に対し信号処理を実施する信号処理部と、
前記信号処理部により処理された前記映像信号の1つ以上の信号による画素信号分布情報を抽出する画素信号分布処理部と、
前記映像信号が所望の値となるように所定のゲインを用いて信号処理を行うホワイトバランス処理部と、
前記ホワイトバランス処理部の制御及び、前記画素信号分布処理部による画素信号分布情報抽出の為の判定領域情報の制御を行うシステム制御部と
を具備し、
前記システム制御部は、前記画素信号分布処理部で抽出される画素信号分布情報に応じて、ホワイトバランス処理部のゲインを所定の値に設定するように制御を行い、
前記画素信号分布処理部は、R信号 とCir信号の差分信号、あるいはG信号とCir信号の差分信号、あるいはB信号とCir信号の差分信号のうちいずれか2つ以上の信号を用いて一つ以上の判定領域に対する画素信号分布情報を抽出することを特徴とする車載撮像装置。
【請求項3】
請求項又は記載の車載撮像装置であって、
前記画素信号分布情報の、一つ以上の所定の判定領域に、ある一定以上の画素が分布している場合、前記システム制御部は、特定の光源における被写体のカラーバランスを保持する特性のゲイン値を、前記ホワイトバランス処理部に設定することを特徴とする車載撮像装置。
【請求項4】
請求項又は記載の車載撮像装置であって、
前記画素信号分布情報の、一つ以上の所定の判定領域に、ある一定以上の画素が分布している場合、前記システム制御部は、判定領域に一定の画素が分布する以前の状態におけるゲイン値を、前記ホワイトバランス処理部に設定することを特徴とする車載撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載撮像装置に関する。
【背景技術】
【0002】
本技術分野の背景技術として、特許文献1がある。特許文献1には「車両周辺画像処理装置は、車載撮影ユニットから出力されたホワイトバランス調整信号から光源としての光源種を推定する光源推定部51と、撮影画像における特定色が光源種によって受ける影響を低減するような特性を持つように光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部52と、入力された撮影画像が前記光源種の光源下における撮影画像の場合、当該光源種に対応するカラープロファイルをカラープロファイル格納部52から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部54とを備えている。」 と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011-254311号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける一要素として車載監視用の撮像装置の研究開発が盛んに行われている。車載撮像装置の主な機能として、例えば、被写体として道路標示物である車線を認識する機能がある。車線の色の種別を正しく識別するためには、車線の色(例えば白色)を正しく再現することが必要である。車線以外で認識対象となる特定の被写体(例えば標識)の種別を正しく識別する場合にも、被写体の色を正しく再現することが必要である。そこで被写体の色を正しく再現するために、ホワイトバランス処理が施されるが、例えばナトリウム光源などのように、光源そのものが特定の色の波長しか放射しない為に、ホワイトバランス処理による被写体の色再現が正しく再現出来ない場合がある。それらの場合については、光源の種別を正確に認識できていることが望ましい。
【0005】
前記特許文献1では、「ホワイトバランス調整信号から光源種としてナトリウムランプ光源を推定」するということが記載されている。具体的には、入力データとして代表的なものは、対象となっている撮影画像の光源種を演算(推定)することが記載されているが、例えば、光源がナトリウムランプの場合、夕日でオレンジ掛かっている太陽光と輝度及び、R(赤)、G(緑)、B(青)平均が類似する事があり、ナトリウムランプ光源と夕日のようなオレンジ光源が識別できないので、改善の余地がある。
【0006】
本発明は、簡単な構成で、正確に光源を推定し、ホワイトバランス処理を実施できる車載撮像装置を提供するものである。
【課題を解決するための手段】
【0007】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
(1)車両に搭載する車載撮像装置であって、被写体を撮影する少なくとも、赤色域(以下 R と記載)、緑色域(以下 Gと記載)、青色域(以下 Bと記載)、全可視光域と赤外域(以下Cirと記載)に感度を持つ撮像部と、前記撮像部が撮影した映像から少なくとも複数の異なる帯域の映像信号に対し信号処理を実施する信号処理部と、前記信号処理部により処理された前記映像信号の1つ以上の信号による画素信号分布情報を抽出する画素信号分布処理部と、前記映像信号が所望の値となるように所定のゲインを用いて信号処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部の制御及び、前記画素信号分布処理部による画素信号分布情報抽出の為の判定領域情報の制御を行うシステム制御部とを具備し、前記システム制御部は、前記画素信号分布処理部で抽出される画素信号分布情報に応じて、ホワイトバランス処理部のゲインを所定の値に設定するように制御を行うこと、を特徴とする車載撮像装置である。
【発明の効果】
【0008】
本発明によれば、簡単な構成で特定の撮影環境下にあっても、より正確に撮影環境を推定し、それに適したホワイトバランス処理を実施できる車載撮像装置の提供が可能になる。
【図面の簡単な説明】
【0009】
図1】本発明に係る車載撮像装置の一実施形態を示すブロック図である。
図2】R−Cir信号、B−Cir信号分布平面と分布判定領域を示す図である。
図3】R−Y信号、B−Y信号分布平面を示す図である。
図4】車載撮像装置による光源の識別並びに適切なホワイトバランス処理の処理フローの一例を示す図である。
図5】本発明に係る車載撮像システムの第一の実施形態のブロック図である。
図6】本発明に係る車載撮像システムの第一の実施形態の表示部の表示例を示す図である。
図7】車載撮像装置による光源の識別並びに適切なホワイトバランス処理の処理フローの他の例を示す図である。
図8】本発明に係る車載撮像システムの第二の実施形態のブロック図である。
図9】本発明に係る車載撮像装置の他の実施形態を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態に係る撮像装置について図面を用いて説明する。
【実施例1】
【0011】
図1は第1の実施例の車載撮像装置のブロックを説明する図である。
本実施例に係る車載撮像装置は、少なくとも赤色域、緑色域、青色域、及び全可視光域と赤外域の4種類のフィルタを用いた撮像部101と、赤色域信号、緑色域信号、青色域信号、及び全可視光域と赤外域信号から赤外域、を含む信号から赤色域信号、緑色域信号、青色域信号(以下それぞれをR信号、G信号、B信号という) の各色信号を生成する信号処理部102と、R信号、B信号、および、全可視光域と赤外域信号(以下C−ir信号という)、から、後述のシステム制御部105からの信号分布判定領域情報に基づき、画素信号分布情報を求める画素信号分布処理部103と、後述のシステム制御部105からの制御情報に基づきR信号,G信号,B信号が所望の値となるように所定のゲインをかけることで信号処理を行うホワイトバランス処理部104と、画素信号分布処理部103からの画素信号分布情報に基づきホワイトバランス処理部104の制御と、画素信号分布処理部103が画素信号分布を判断する為の信号分布判定領域情報の制御を行うシステム制御部105と、信号処理部102からの信号を所定の映像信号に信号変換する出力部106とを適宜用いて構成される。後述の通り、本構成によれば、撮像部101で赤色域、緑色域、青色域に加え、赤外域の情報を得ることができ、これを用いることで、システム制御部105は、簡単な構成でより正確に画素信号分布処理部で抽出されるシーン、すなわち光源ごとに異なる画素信号分布情報を抽出し、ホワイトバランス処理部のゲインを所定の値に設定することが可能となり、シーンに応じた光源を正確に推定したホワイトバランス処理を実施することができる。
【0012】
ここで、R信号、B信号、および、C−ir信号を用いた光源の識別並びに適切なホワイトバランス処理の詳細について、図2乃至図4を用いて説明する。図2は車載撮像装置の画素信号分布処理部の処理として、R−Cir信号、B−Cir信号分布平面による画素信号分布処理を説明する図である。
このR−Cir信号、B−Cir信号分布平面は、Y軸をR−Cir信号軸とし、X軸をB−Cir信号軸とする。この平面上に対して撮影した信号を画素ごとにプロットすることで、撮影するシーンの光源毎の信号分布が表され、信号分布判定領域と比較することで光源の識別が可能となる。識別処理の詳細は図4を用いて後述する。なおプロットする画素は全画素であっても、撮影映像の一部の画素であってもよい。
【0013】
一例として、本平面に置けるナトリウムランプ光源と、太陽の夕日の信号分布判定領域の例を示す。例えば、ナトリウムランプ光源の画素信号分布がおおよそ分布する領域に対して、枠1の示す信号分布判定領域を設定し、またナトリウムランプの色相に近似している夕日の画素信号分布がおおよそ分布する領域に対して、枠2で示す信号分布判定領域を設定している。
【0014】
以上のように、本実施例ではナトリウム光源と、他の光源、特に太陽光の夕日といった色相と輝度が類似した光源であっても識別可能で、ナトリウム光源と判定した際にホワイトバランス処理を所定の値で処理することで、人の見た目と同様な色再現となるようにホワイトバランス処理を実施する事可能となる。
【0015】
なお、特許文献1で示した処理では、図3に上記ナトリウムランプ光源と太陽の夕日光源を、従来例の色相と彩度で信号分布を表す色差平面に示すと、これらの2つの光源の画素信号分布がおおよそ分布する領域は、枠1に示すように類似した信号分布判定領域となってしまうことからナトリウム光源と、他の光源、特に太陽光の夕日といった色相と輝度が類似した光源の識別が困難である為、本実施例で示したようにナトリウムランプ光源下のシーンを判定による、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、ナトリウム光源下での人の目で見た見た目と同等の色相にあわせるといった制御を実施することが困難となってしまう。
【0016】
また、ナトリムランプ光源下で、ホワイトバランス処理として例えば、R信号、G信号、B信号の各信号量が同等となるよう信号処理を行う場合には、R信号、G信号、B信号の信号量が偏っている為に、人の見た目と同様な色再現となるようにホワイトバランス処理を実施する事が出来ない。
【0017】
以上から特許文献1のように赤外域情報を用いない従来の色差平面上では、ナトリウム光源と夕日のような類似した平面上の領域に分布して判別できない光源であっても、本実施例の図2の信号平面では、R信号と,B信号と、赤外域情報を含むC−ir信号を用いて分布を表している為、赤外域波長を含まないナトリウム光源と、赤外波長を含む夕日といった光源の違いを2次元平面上における分布領域の違いで容易に判別しできるという利点がある。また光源判別の結果、人の目で見た見た目と同等の色相にあわせるといった制御を実施可能であるという利点がある。
【0018】
図4は車載撮像装置による光源の識別並びに適切なホワイトバランス処理の処理フローの一例を説明する図である。
まず、ステップ401は、R信号及び、B信号、と赤外を含む全可視光領域のCir信号を用いて、R−Cir信号、B−Cir信号を生成する。ステップ402ではR信号、B信号、Cir信号を用いて、所定の信号領域に含まれる画素信号を検出してカウントし、画素信号分布情報を抽出する。このようにして画素信号分布処理部103で抽出された領域毎の画素信号分布情報はシステム制御部105に出力される。ここで、画素信号分布情報は、信号分布判定領域毎に含まれる画素の数をいう。
【0019】
次に、ステップ403では、システム制御部105により所定の信号領域に含まれる画素が所定の値以上あるか判定をする。例えば、図2の場合、枠1の領域に含まれる画素数と枠2の領域に含まれる画素数それぞれについて所定の閾値以上か否かを判定し、枠1の領域に含まれる画素数だけが閾値以上である場合には、光源はナトリウムランプと識別され、ステップ404にてホワイトバランス処理は所定のゲイン設定値で制御する。また、その他の場合には、光源は夕日時の太陽又はその他ナトリウムランプ以外のものと判定され、ステップ405にてホワイトバランス処理は例えば、R信号、G信号、B信号の信号レベルが同等となるように制御する。
【0020】
以上のフローにより、所定の光源であるかの判定を信号の分布領域判定情報に基づく領域内の画素数を用いて実施することで、簡単な処理によって、ホワイトバランス処理部のゲインを所定の値に設定することと、ホワイトバランス処理は例えば、R信号、G信号、B信号の信号レベルが同等となるように制御する事の切り替えが可能となる事で、シーンに応じた光源を正確に推定したホワイトバランス処理を実施することができる。なお、ここでは、システム制御部105で閾値以上か否かを判定する例を示したが、画素信号分布処理部103にて領域毎の判定まで行い、判定結果をシステム制御部105に出力するようにしても構わない。
【0021】
なお撮像装置の電源がONの場合や、ホワイトバランス制御が動作している場合等には、フロー404あるいはフロー405の終了後、継続してフロー401から実施される。また、本フローは毎フレームの実施であっても、フレームを間引いて実施してもよい。
【0022】
また、本実施例ではナトリウム光源を例として述べているが、任意の判定領域に画素が分布する光源は、ナトリウムランプ光源に限らず、例えば、信号分布判定領域を水銀灯光源に対応する判定領域とすることで水銀灯光源のシーンを判定する事ができる。水銀灯光源下と判定した際、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、水銀灯光源下での人の目で見た見た目と同等の色相にあわせるといった制御を実施することが可能となる。
【0023】
また、ナトリウム光源下、あるいは水銀灯光源下でなくとも、特定光源にあわせて判定領域及び、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、ナトリウム光源時の処理と同等、赤外波長を含む夕日といった光源の違いを2次元平面上における分布領域の違いで容易に判別しできるという利点がある。
【0024】
また光源判別の結果、人の目で見た見た目と同等の色相にあわせるといった制御を実施可能であるという利点がある。
【0025】
また、本実施例では、R−Cir信号と、B−Cir信号により画素信号分布処理を実施しているが、Rあるいは、Bは、Gであってもよい。
【0026】
また、図1の変形例として、図9に示すように、撮像部からの出力をRir,Gir,Bir,Cirとし、信号処理部から画素信号分布処理部への信号をR-Cir、B-Cir信号としてもよい。また、出力IF部でR,G,B信号からY信号及び,U、V信号に変換して出力しているが、図9で示すようにR、G、B信号で出力してもよい。
【実施例2】
【0027】
図5は第1の実施例の車載撮像装置による画像を画像認識装置で認識処理する車載撮像システムの一例を説明する図であり、この車載撮像システムは、車載撮像装置501と、画像認識部502と、表示部503とを適宜用いて構成される。
【0028】
本実施例ではホワイトバランスが正しく処理できない光源に対し、人の目で見た見た目と同等の色相にあわせたとしても、被写体の正しい色相とは異なるため、例えば画像認識処理を行う場合には正しく認識が出来ない可能性が高いため、画素信号分布処理部で求めた光源による分布情報によりナトリウムランプ光源など特定の光源と判定した際、車載撮像装置から画像認識部502などに認識精度が低下する可能性のある色再現が正しくない画像であることを制御情報として通知する。このような制御情報を通知することで、画像認識部502が処理した認識結果について、認識結果の正確性を判断する情報として使用することが可能となり、たとえば、路面の白線や黄線の認識結果の正確性が低い場合、図6に示すように、太陽光源下の白線の色再現が正しく白線認識の正確性が高い画像例を示す表示部601の車線認識結果602と、ナトリウムランプ光源下のトンネル内の白線の色再現が悪く、白線認識の正確性が低い画像例を示す表示部603の車線認識結果604で示すように、車線認識結果を示す表示方式の一例として色や、線の形状を変えるなどして、認識の正確性を表示する事が可能となり、光源の違いを2次元平面上における分布領域の違いで容易に判別できるというのが利点とともに、画像認識処理結果の信頼性を高くする事ができるという利点がある。
【実施例3】
【0029】
次に、第1の実施例の車載撮像装置と同様の構成で、光源の識別並びに適切なホワイトバランス処理の処理フローが異なるものの一例について図7を用いて説明する。ステップ701から703と、705はステップ401から403、405と同様であり、ステップ701では、R信号及び、B信号、と赤外を含む全可視光領域のCir信号を用い、R−Cir信号、B−Cir信号を生成し、ステップ702では、R−Cir信号、B−Cir信号のうち、所定の信号領域に含まれる画素信号を抽出し、ステップ703では、所定の信号領域に含まれる画素が一定以上あるか判定をする。
【0030】
ステップ704では、所定の信号領域に含まれる画素が一定以上ある場合、ホワイトバランス処理を本判定以前のゲイン設定値で制御する。ステップ705では所定の信号領域に含まれる画素が一定以上ない場合、ホワイトバランス処理は例えば、R信号、G信号、B信号の信号レベルが同等となるように制御する。
【0031】
以上のフローのように処理することで、ナトリウム光源などを2次元平面上における分布領域の違いで容易に判別できるという利点があるとともに、ナトリウム光源判別の結果、ナトリウム光源判別するより以前のホワイトバランスのゲイン値設定を維持できることから、ナトリウム光源と判定される前後のシーンにおいてホワイトバランスのゲイン値設定がばらつかずに連続性を保つといった利点がある。
【0032】
なお撮像装置の電源がONの場合や、ホワイトバランス制御が動作している場合等には、ステップ704あるいはステップ705の終了後、継続してステップ701から実施される。また、本フローは毎フレームの実施であっても、フレームを間引いて実施してもよい。
【実施例4】
【0033】
図8は車載撮像装置を車載レコーダとモニタへ映す用途へ適用した車載撮像システムの一例を示す図である。同図において、802は車の走行中の車載撮像装置の画像を録画する記録部、803は車載撮像装置801の撮像した画像を映す表示部である。
【0034】
本車載撮像システムは、実施例1等で示したように、ナトリウム光源や、太陽光といった光源に応じてホワイトバランス処理を制御する事でナトリウム光源のトンネルシーンなどで撮影記録される画像や、表示部に表示される画像が最適な画像となるといった利点がある。
【0035】
なお、図5あるいは図8で示した車載撮像システムでは、認識処理部、記録部、表示部に対してY信号及び,U,V信号(輝度信号及びと色差信号信号)を出力しているが、R、G、B信号でもよい。
【0036】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0037】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0038】
101 撮像部
102 信号処理部
103 画素信号分布処理部
104 ホワイトバランス処理部
105 システム制御部
106 出力IF部
図1
図2
図3
図4
図5
図6
図7
図8
図9