(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-01
(45)【発行日】2022-08-09
(54)【発明の名称】撮像装置及び画像処理方法
(51)【国際特許分類】
H04N 9/07 20060101AFI20220802BHJP
H04N 5/225 20060101ALI20220802BHJP
【FI】
H04N9/07 A
H04N5/225 300
(21)【出願番号】P 2019060777
(22)【出願日】2019-03-27
【審査請求日】2021-03-19
(73)【特許権者】
【識別番号】509186579
【氏名又は名称】日立Astemo株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】特許業務法人平木国際特許事務所
(72)【発明者】
【氏名】飯塚 純也
【審査官】豊田 好一
(56)【参考文献】
【文献】特開2009-290795(JP,A)
【文献】特開2015-008391(JP,A)
【文献】特開2016-111647(JP,A)
【文献】特開平05-219511(JP,A)
【文献】特開2017-046051(JP,A)
【文献】特開2013-197670(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 9/07
H04N 5/225
(57)【特許請求の範囲】
【請求項1】
可視域の第1の波長範囲の光を検出する第1の画素と、前記第1の波長範囲の光に加えて前記第1の波長範囲とは異なる可視光の波長の光を検出する第2の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサと、
前記第1の画素の検出光量に基づき、前記第2の画素の位置を補間して得た第1の補間画像と、前記第2の画素の検出光量に基づき、前記第1の画素の位置を補間して得た第2の補間画像とを生成可能に構成された補間処理部と、
前記第1の補間画像と前記第2の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定する色情報生成処理部と
を備え
、
前記第1の補間画像及び前記第2の補間画像に基づきカラー画像を生成するカラー画像生成処理部を更に備え、
前記カラー画像生成処理部は、
前記第1の補間画像に基づき、前記第1の波長範囲の第1の波長成分を有する第1成分画像を生成し、
前記第1の補間画像と前記第2の補間画像の差である差画像を生成し、
前記差画像に第1の配分比を乗算し、前記第1の波長範囲とは異なる第2の波長範囲の成分を有する第2成分画像を生成し、
前記差画像に第2の配分比を乗算し、前記第1の波長範囲及び前記第2の波長範囲とは異なる第3の波長範囲の成分を有する第3成分画像を生成するよう構成されたことを特徴とする、撮像装置。
【請求項2】
前記色情報生成処理部は、前記第1の補間画像及び前記第2の補間画像の同一位置の画素の組の検出光量の比に基づいて、該位置における色相を判定する、請求項1に記載の撮像装置。
【請求項3】
前記第1の配分比又は前記第2の配分比は、前記第1の補間画像及び前記第2の補間画像の同一位置の画素の組の検出光量の比の変化に拘わらず、一定値とされる、請求項
1に記載の撮像装置。
【請求項4】
前記第1の配分比又は前記第2の配分比は、前記第1の補間画像及び前記第2の補間画像の同一位置の画素の組の検出光量の比の変化に従って変化する、請求項
1に記載の撮像装置。
【請求項5】
前記第1の画素は赤色光を検出可能な画素であり、前記第2の画素は赤色光、緑色光、及び青色光を検出可能な画素である、請求項
1又は2に記載の撮像装置。
【請求項6】
前記第1の画素は青色光及び緑色光を検出可能な画素であり、
前記第2の画素は赤色光、緑色光、及び青色光を検出可能な画素である、請求項
1又は2に記載の撮像装置。
【請求項7】
可視域の第1の波長範囲の光を検出する第1の画素と、前記第1の波長範囲の光に加えて前記第1の波長範囲とは異なる可視光の波長の光を検出する第2の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサから画像を取得するステップと、
前記第1の画素の検出光量に基づき、前記第2の画素の位置を補間して第1の補間画像を取得するステップと、
前記第2の画素の検出光量に基づき、前記第1の画素の位置を補間して第2の補間画像を取得するステップと、
前記第1の補間画像と前記第2の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定するステップと
を含み
、
前記第1の補間画像及び前記第2の補間画像に基づきカラー画像を生成するステップを更に備え、
前記カラー画像を生成するステップは、
前記第1の補間画像に基づき、前記第1の波長範囲の第1の波長成分を有する第1成分画像を生成し、
前記第1の補間画像と前記第2の補間画像の差である差画像を生成し、
前記差画像に第1の配分比を乗算し、前記第1の波長範囲とは異なる第2の波長範囲の成分を有する第2成分画像を生成し、
前記差画像に第2の配分比を乗算し、前記第1の波長範囲及び前記第2の波長範囲とは異なる第3の波長範囲の成分を有する第3成分画像を生成する、画像処理方法。
【請求項8】
前記色相を判定するステップは、前記第1の補間画像及び前記第2の補間画像の同一位置の画素の組の検出光量の比に基づいて該位置における色相を判定する、請求項
7に記載の画像処理方法。
【請求項9】
前記第1の配分比又は前記第2の配分比は、前記第1の補間画像及び前記第2の補間画像の同一位置の画素の組の検出光量の比の変化に拘わらず、一定値とされる、請求項
7に記載の画像処理方法。
【請求項10】
前記第1の配分比又は前記第2の配分比は、前記第1の補間画像及び前記第2の補間画像の同一位置の画素の組の検出光量の比の変化に従って変化する、請求項
7に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、及び画像処理方法に関し、特に撮像した画像の色相を判別する撮像装置、及び画像処理方法に関する。
【背景技術】
【0002】
運転支援や自動運転のために車両に搭載される車載カメラは、車両の横方向から飛び出す歩行者や自転車を検出する精度を向上するため、広画角化が求められる。その一方で、車載カメラは、ACC機能(Adaptive Cruise Control、定速走行、車間距離制御)などのために、より遠方の対象物までの距離を正確に検出する必要があり、高い空間解像度が求められる。しかし、広画角化は一般にカメラの対物レンズの焦点距離を小さくすることで実現されるが、これに伴い空間解像度が低下する。このため、対物レンズの改善のみでは広画角化と空間解像度向上とを両立させることは難しい。
【0003】
これに対して、異なる方式のイメージセンサの採用により空間解像度を向上させる技術も知られている。車載カメラでは、運転支援のために、交通信号機、標識、並びに路上の白色線及び橙色線等を認識するためにRGGB(Red-Green-Green-Blue)画素配列(又はベイヤー配列)のカラーイメージセンサを採用することが多い。近年、このRGGB配列のイメージセンサをRCCC(Red-Clear-Clear-Clear)画素配列などのカラーイメージセンサに置き換える技術が提案されている。これによれば、イメージセンサの空間解像度を改善され、広画角化と空間解像度向上を両立させることができる。
【0004】
RCCC画素配列は、例えば、赤色光を検出する画素(R画素)を1個と、青色光と緑色光と赤色光を共に検出するクリア画素(C画素)を3個、計4個の画素を2行2列(2×2)に並べて一単位(ユニットセル)とし、そのユニットセルを繰り返し配列することで構成される。C画素の間隔は1画素であり、この点、同色の画素の間隔が2画素であるRGGB配列等とは異なっている。このRCCC配列では、測距で参照するグレースケール画像に対して、画素全体の3/4をなすC画素の検出値をそのまま用いることができ、且つ空間解像度を低下させる周囲の画素からの補間処理の適用を画素全体の1/4の割合のR画素の位置のみに留めることができる。このため、RGGB画素配列と比較して高い空間解像度を得られると期待される。
【0005】
しかし、R(Red)とC(Clear)の2種類の画素からなるRCCC画素配列では、R赤(Red)、緑(Green)、青(Blue)の3原色を区分して光量を検出するRGGB画素配列と比較して、色彩に関する情報量は限定され、色彩に関する処理方法を改める必要がある。
RCCC画素配列のイメージセンサの車載カメラへの適用に関しては、特許文献1に記載されている。しかし、撮像した画像に対する処理についての具体的な記載は無い。
【0006】
また、特許文献2も、R及びCの2種類からなる画素配列のイメージセンサの車載カメラへの適用に関して開示している。特許文献2では、自動車の赤色のテールランプと、ヘッドライト、街灯などの灯火の弁別に、イメージセンサの画像と、イメージセンサの画素種別Red/Clearに従うチェッカーボードパターンとの相関の大小を用いる。この手法においては、統計量である相関を用いるため、ある程度のまとまった画素数を有する画像領域に対して色相を判別することになる。このため、この領域内に異なる色相を有する物体が共存する場合には正確な判別結果が得られない。また、色相を判別する領域内に異なる色相のパターンが混在しないように領域を設定することは、形状の想定が可能である程度の大きさを有するパターンでないと困難である。このように、従来技術では、RCCC画素配列による色相の正確な判別は困難である。RCCC画素配列以外でも、2種類の画素からなる画素配列を有するイメージセンサにおいては、同様の問題が生じ得る。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2017-046051号公報
【文献】米国特許出願公開第2007/0221822号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、2種類の画素を配列したイメージセンサを用いた場合において、所定の色相の弁別を正確に行うことができ、広画角化と空間解像度向上を両立させることが可能な撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第1の態様に係る撮像装置は、可視域の第1の波長範囲の光を検出する第1の画素と、前記第1の波長範囲の光に加えて前記第1の波長範囲とは異なる可視光の波長の光を検出する第2の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサと、前記第1の画素の検出光量に基づき、前記第2の画素の位置を補間して得た第1の補間画像と、前記第2の画素の検出光量に基づき、前記第1の画素の位置を補間して得た第2の補間画像とを生成可能に構成された補間処理部と、前記第1の補間画像と前記第2の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定する色情報生成処理部とを備えたことを特徴とする。
【0010】
本発明の第2の態様に係る撮像装置は、可視域の第1の波長範囲の光を検出する第1の画素と、前記第1の波長範囲の光に加えて前記第1の波長範囲とは異なる可視光の波長の光を検出する第2の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサと、前記第1の画素の検出光量に基づき、前記第2の画素の位置を補間して得た第1の補間画像と、前記第2の画素の検出光量に基づき、前記第1の画素の位置を補間して得た第2の補間画像とを生成可能に構成された補間処理部と、前記第1の補間画像及び前記第2の補間画像に基づきカラー画像を生成するカラー画像生成処理部とを備える。前記カラー画像生成処理部は、前記第1の補間画像に基づき、前記第1の波長範囲の第1の波長成分を有する第1成分画像を生成し、前記第1の補間画像と前記第2の補間画像の差である差画像を生成し、前記差画像に第1の配分比を乗算し、前記第1の波長範囲とは異なる第2の波長範囲の成分を有する第2成分画像を生成し、前記差画像に第2の配分比を乗算し、前記第1の波長範囲及び前記第2の波長範囲とは異なる第3の波長範囲の成分を有する第3成分画像を生成するよう構成される。
【0011】
本発明に係る画像処理方法は、可視域の第1の波長範囲の光を検出する第1の画素と、前記第1の波長範囲の光に加えて前記第1の波長範囲とは異なる可視光の波長の光を検出する第2の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサから画像を取得するステップと、前記第1の画素の検出光量に基づき、前記第2の画素の位置を補間して第1の補間画像を取得するステップと、前記第2の画素の検出光量に基づき、前記第1の画素の位置を補間して第2の補間画像を取得するステップと、前記第1の補間画像と前記第2の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定するステップとを備える。
【発明の効果】
【0012】
本発明によれば、2種類の画素を配列したイメージセンサを用いた場合において、所定の色相の弁別を正確に行うことができる撮像装置及び画像処理方法を提供することができ、広画角化と空間解像度向上を両立させることができる。
【図面の簡単な説明】
【0013】
【
図1】第1の実施の形態に係る撮像装置の基本構成の一例を説明する全体構成図である。
【
図2】RCCC画素配列のイメージセンサの画素配置を示した概略図である。
【
図3】RCCC画素配列のイメージセンサの、R画素、C画素の感度特性を示すグラフである。
【
図4】補間処理部102での演算処理の一例を示した概略図である。
【
図5】道路標識で用いられる色を撮影したRCCC画像のC画素値とR画素値の実測特性例を示すグラフである。
【
図6】交通信号機で用いられる色を撮影したRCCC画像のC画素値とR画素値の実測特性例を示すグラフである。
【
図7】イメージセンサ101で撮影した画像から色相情報を得るまでの手順を説明するフローチャートである。
【
図8】
図7のステップ704において、画素値の比(R/C比)に基づき色相を判別する手順の詳細を示したフローチャートである。
【
図9】第1の実施の形態において、イメージセンサ101で撮影したグレースケールの画像から、カラー画像生成処理部110においてカラー化した画像を生成する手順を示すフローチャートである。
【
図10】G成分画像とB成分画像との配分比αの第1の例を説明する図(グラフ)である。
【
図11】G成分画像とB成分画像との配分比αの第2の例を説明する図(グラフ)である。
【
図12】第2の実施の形態に係る撮像装置の基本構成の一例を説明する全体構成図である。
【
図13】
図12の色情報生成テーブル1202の構成例を説明する概略図である。
【
図14】第3の実施の形態に係る撮像装置の基本構成の一例を説明する全体構成図である。
【
図15】第3の実施の形態において、イメージセンサ101で撮影した画像から、カラー画像生成処理部110においてカラー化した画像を生成する手順を示すフローチャートである。
【
図16】第4の実施の形態のイメージセンサ101における画素配列(CyCCC配列)を説明する概略図である。
【
図17】CyCCC画素配列のイメージセンサの、Cy画素、C画素の感度特性を示すグラフである。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して本発明の実施の形態を説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
【0015】
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
【0016】
[第1の実施の形態]
図1の全体構成図を参照して、第1の実施の形態に係る撮像装置の基本構成の一例を説明する。この撮像装置1は、イメージセンサ101、補間処理部102、色情報生成処理部103、認識処理部104、カラー画像生成処理部110、及び画像記録部112を有する。
【0017】
イメージセンサ101は、光画像を取得するためのCMOSセンサやCCDセンサなどのイメージセンサである。これらのイメージセンサは、平面上にアレイ状に配置されたフォトダイオードを有し、これらのフォトダイオードにより提供される複数画素により、平面上の光量分布を検出するよう構成されている。図示しないレンズやミラーなどの集光部材により合焦した光をイメージセンサ101で検出することにより、撮像対象の画像を得ることができる。
【0018】
この第1の実施の形態の撮像装置1は、イメージセンサ101として、
図2に示すRCCC画素配列のイメージセンサを利用する。RCCC画素配列は、可視域の光のうち赤色光を透過するカラーフィルタの光を受光し赤色光を検出可能とされたR(Red)画素201と、透明なカラーフィルタの光を受光し可視光全体の光量を検出可能とされたC(Clear)画素202の二種類の画素を有する。ひとつのR画素201と3つのC画素202からなる2×2画素のフィルタユニット203が複数行複数列に亘り繰り返し配置される。
【0019】
図3のグラフに示すように、R画素201は赤色光の波長域の光を受光可能とされており、一方、C画素203は青色光、緑色光、赤色光を含む可視光の波長域の全域の光を受光可能とされている。イメージセンサ101が出力する画像は、R画素201が検出した赤色光の光量に基づく画素値と、C画素202が検出した可視光全体の光量に基づく画素値が混在するグレースケール画像である。
【0020】
補間処理部102では、イメージセンサ101が出力したグレースケール画像に基づき、C画素202の位置の赤色光成分光量を、周囲のR画素201の検出光量から補間して求める。加えて、補間処理部102は、イメージセンサ101が出力したグレースケール画像に基づき、R画素201の位置の可視光全体の光量を周囲のC画素202の検出光量から補間して求める。
【0021】
補間処理部102の処理は、例えば
図4に示す演算により実現することができる。
図4に示す演算処理では、補間対象とする画素を中心とした3×3画素を処理単位としている。
図2に示すRCCC画素配列を有するイメージセンサ101において補間処理を実行する場合、パターン1~パターン4の4通りの画素パターンに基づき補間処理を実行することができる。パターン1は、
図2の右下の9つの画素が処理単位とされる場合であり、パターン2は、
図2の左下の9つの画素が処理単位とされる場合であり、パターン3は、
図2の右上の9つの画素が処理単位とされる場合であり、パターン4は、
図2の左上の9つの画素が処理単位とされる場合を示している。
【0022】
パターン1~パターン4はいずれも、3×3画素の中心にある画素を補間処理の対象としている。例えば、パターン2~4では、中心にある画素がC画素202であるので、中心のC画素202におけるR成分の補間演算が行われる。一方、パターン1では、中心にある画素がR画素201であるので、中心のR画素201におけるC成分の補間演算が行われる。補間処理の対象の画素(3×3の中心)の補間演算は、その補間対象の画素の周囲にある画素の画素値に基づいて実行される。
【0023】
パターン1では、3×3画素の中心のR画素201(R22)を補間処理の対象とし、そのC成分(C22)が、上下左右4つのC画素202の画素値に基づいて演算される(C22=(C12+C32+C12+C32)/4)。
パターン2では、C画素202(C22)が3×3画素の中心にあるので、そのR成分(R22)が、その左右2つのR画素201の画素値に基づいて演算される(R22=(R212+R23)/2)。
パターン3では、C画素202(C22)が3×3画素の中心にあり、そのR成分(R22)が、その上下2つのR画素201の画素値に基づいて演算される(R22=(R12+R32)/2)。
パターン4では、C画素202(C22)が3×3画素の中心にあり、そのR成分(R22)が、その上下左右4つのR画素201の画素値に基づいて演算される(R22=(R11+R13+R31+R33)/4)。
【0024】
この演算は、
図2の画素配列の場合に適合するものであり、異なる画素配列に対しては、上記と同趣旨の異なる演算が採用可能であることは言うまでもない。また、上記の補間演算は、周囲の画素値の平均値として実行されたが、撮像装置の要求性能や環境の状態等に応じて、異なる演算手法(例えば、加重平均)が採用可能であることは言うまでもない。
【0025】
この処理を繰り返し行うことにより、赤色光の光量の空間分布を表す画像(R画像)と、これと同じ画素数を有する可視光全体の光量の空間分布を表す画像(C画像)を生成することができる。また、
図4に示した処理に続いて、画像の歪を補正するための補間処理をR画像とC画像にさらに施してもよい。
【0026】
色情報生成処理部103は、補間処理部102で生成されたC画像とR画像とに基づいて、撮像画像の明度情報及び色相情報を認識処理部104へ出力する。認識処理部104は、この明度成分と色相成分とを参照して、交通信号機、道路標識、前方車両の灯火、路上の白色線、橙色線などを認識する。交通信号機等は色相が規定されている。例えば交通信号機の灯火は青緑色(シアン)、橙色、赤色の3色であり、道路標識は赤色、青色、白色、橙色が使われる割合が特に多い。また、車両の灯火については、テールランプとブレーキランプは赤色であり、ウィンカは橙色である。このため、認識処理部104は、これらの色を互いに弁別可能に構成される。
【0027】
色情報生成処理部103は、撮像画像の明度情報を、例えば補間処理部102で生成されたC画像に基づいて演算することができる。
【0028】
色情報生成処理部103は、内部にR/C値比較処理部105を有している。R/C値比較処理部105は、補間処理部102からC画像とR画像を受信し、当該C画像とR画像の同一位置に配置された画素に関し、R成分の検出光量とC成分の検出光量との比(R/C比)を演算する。そして、R/C値比較処理部105は、このR/C比を弁別対象の色の基準値をそれぞれ比較して色相を判別し、その判別結果を色相情報として出力する。
【0029】
本実施の形態では、上記の交通信号機、道路標識、前方走行車、及び路面の線を認識することを想定し、赤色判定基準値記憶部106、橙色判定基準値記憶部107、無彩色判定基準値記憶部108、青・緑判定基準値記憶部109の4つが備えられている。これら記憶部に記憶されている4つの基準値が、前記のR/C比と比較される。なお、交通信号機の青緑色(シアン)と道路標識の青色の色相は異なるが、明るさや存在する位置で区別可能であり、これらの色相を一括して青・緑として扱う。
【0030】
カラー画像生成処理部110は、補間処理部102で生成したC画像とR画像を用いて画像をカラー化し、三原色に対応したR(Red)成分画像とG(Green)成分画像とB(Blue)成分画像とを生成して出力する。画像記録部112は、カラー画像生成処理部110で生成したR(Red)成分画像とG(Green)成分画像とB(Blue)成分画像とを蓄積する部位であり、フラッシュメモリやハードディスク、DRAMなどで構成される。この第1の実施の形態のカラー画像生成処理部110は、入力されたR画像をR成分画像として画像記録部112へ出力すると共に、内部にC-R画像生成処理部111を有する。G成分画像、B成分画像としては、C-R画像生成処理部111でC画像とR画像の各画素の差分値を求めて生成したC-R画像に基づく画像を出力する。
【0031】
図5は、道路標識で用いられる色を撮影したRCCC画像のC画素値とR画素値の実測特性例である。より具体的には、カラーチャート(X-Rite社 Colorchecker SG(登録商標))を、5通りの明るさの白色光下で、RCCC画素配列のイメージセンサを搭載したカメラで撮影した結果としての実測特性例である。C画像とR画像とは、前述の補間処理の結果として得られたものである。
図5のグラフは、道路標識で用いるJIS Z9103で規定された安全色の基準色に近い部位を、上記カラーチャート中から抜き出して(例えば、赤[行3列L]・橙[行6列L]・黄[行4列H]・白(無彩色)[行6列J]・青[行3列F])、C画素202の検出光量とR画素201の検出光量の関係をプロットしたものである。
【0032】
図5において、符号501及び502は、赤色の部位の画素に基づくプロットと、最小二乗法で求めた赤色光に対するC対R特性をそれぞれ表す。また、符号503及び504は、橙色の部位に基づくプロットと最小二乗法で求めた橙色光に対するC対R特性をそれぞれ表す。符号505及び506は、黄色の部位に基づくプロットと最小二乗法で求めた黄色光に対するC対R特性をそれぞれ表す。符号507及び508は、白色(無彩色)の部位に基づくプロットと最小二乗法で求めた無彩色光に対するC対R特性をそれぞれ表す。509と510は青色の部位に基づくプロットを表す。これらのデータから、各色に対するR画素の検出光量とC画素の検出光量の比(R/C)は明るさによらず一定であると共に、車載カメラでの運転支援のために道路標識などの認識対象で参照する赤・橙・黄・白(無彩色)・青の各色については異なる比となることから、R/Cに基づきこれらの色相を区分可能であることが理解される。
【0033】
図6は、交通信号機で用いられる色を撮影したRCCC画像のC画素値とR画素値の実測特性例である。この
図6も、上述のカラーチャートを5通りの明るさの白色光下でRCCC画素配列のイメージセンサを搭載したカメラで撮影した結果としての実測特性例である。
図6は、交通信号機で用いる色に近い部位(赤[行3列L]・橙[行6列L]・シアン[行8列B])を抜き出して、C画素の検出光量とR画素の検出光量の関係をプロットしたものである。符号501及び502、符号503及び504は、
図5と同様であるので重複する説明を省略する。
図6において、符号601と602はシアン色の部位に基づくプロットと最小二乗法で求めた黄色光に対するC対R特性をそれぞれ表す。これらのデータから、信号の色も、
図5と同様に色相の弁別が可能である。
【0034】
図7はイメージセンサ101で撮影した画像から色相情報を得るまでの手順を説明するフローチャートであり、
図1のイメージセンサ101、補間処理部102、及び色情報生成処理部103で実行される処理である。
【0035】
まずステップ701でイメージセンサ101により画像が撮像・取得される。この取得された画像は、
図2に示したRCCC画素配列のイメージセンサ101のR画素201が検出した赤色光の光量に基づく画素値と、C画素202が検出した可視光全体の光量に基づく画素値とが混在したグレースケール画像である。
【0036】
続くステップ702では、ステップ701で得たグレースケールの画像の各画素位置に対して前述の補間処理が実行され、R画像及びC画像が生成される。そして、ステップ703では、同一画素位置のR画像の画素値とC画像の画素値の比(R/C比)を求められ、ステップ704において、R/C比の値に基づき色相が判別される。
【0037】
図8は、ステップ704において、画素値の比(R/C比)に基づき色相を判別する手順の詳細を示したフローチャートである。
図8において、Trは、赤色と判別するためのR/C比の下限値、Toは橙色と判別するためのR/C比の下限値、Tyは黄色と判別するためのR/C比の下限値、Tgは無彩色(白色、灰色、黒色)と判別するためのR/C比の下限値をそれぞれ示す。
【0038】
ステップ801では、R/C比の値と下限値Trとが比較される。R/C>Trであれば(Yes)、当該画素の色相が赤色と判断される。R/C≦Trであれば(No)、ステップ802に進む。
【0039】
ステップ802では、R/C比の値と下限値Toとが比較される。R/C>Toであれば(Yes)、当該画素の色相が橙色と判断される。R/C≦Toであれば(No)、ステップ803に進む。
【0040】
ステップ803では、R/C比の値と下限値Tyとが比較される。R/C>Tyであれば(Yes)、当該画素の色相が黄色と判断される。R/C≦Tyであれば(No)、ステップ804に進む。
【0041】
ステップ804では、R/C比の値と下限値Tgが比較される。R/C>Tgであれば(Yes)、当該画素の色相が無彩色(白色、灰色、黒色)と判断される。
【0042】
ステップS801~804でいずれも「No」の判断がなされると、当該画素の色相は青又は緑色と判断される。以上により、ステップS704の判別手順が終了する。
【0043】
図9は、イメージセンサ101で撮影したグレースケールの画像から、カラー画像生成処理部110においてカラー化した画像を生成する手順を示すフローチャートである。
【0044】
図7と同様にして、ステップ701と702において、イメージセンサ101によりグレースケールの画像を撮像・取得した後、グレースケールの画像の各画素位置に対して前述の補間処理が実行され、R画像及びC画像が生成される。
【0045】
続くステップ901では、生成されたC画像の画素値とR画像の画素値の差画像(C-R画像)がC-R画像生成処理部111において生成される。また、ステップ902では、C-R画像の画素値に配分比α(0≦α≦1)を乗算して得られる画像(α(C-R))がC-R画像生成処理部111において生成され、G成分画像とされる。
【0046】
更に、ステップ903では、C-R画像の画素値を(1-α)倍した画像((1-α)(C-R))がC-R画像生成処理部111において生成され、B成分画像とされる。配分比αは、差画像(C-R)に含まれるG成分画像の割合を示す値である。以下において、αを「第1の配分比」、(1-α)を「第2の配分比」と称することがある。
【0047】
ステップ902でG成分画像に与える画素値α(C-R)と、ステップ903でB成分画像に与える画素値(1-α)(C-R)の和はC-Rである。換言すれば、第1の配分比αと、第2の配分比(1-α)の和は1である。
図3に示したR画素201とC画素202の波長-感度特性の関係において、C画素202が感度を有する波長域が、R画素201と比較してG成分とB成分の分だけ広く、C画素202とR画素201の検出光量がG成分とB成分の和だけ大きいと見積もられるため、上記のような関係が成立する。なお、得られたR成分画像、G成分画像、B成分画像に、さらに図示しない各成分の明るさを増減する処理を加算することも可能である。
【0048】
図10は、G成分画像とB成分画像との配分比αの第1の例を説明する図(グラフ)である。
図10のグラフにおいて、縦軸はR/C比の値(0以上1以下)を示し、横軸はG成分画像とB成分画像の和(G+B)に対するG成分画像の比、すなわち第1の配分比α(0以上1以下)を示している。このグラフは、縦軸と横軸で示される空間内における各色相の概略分布を点線で示している。
【0049】
図10に示すように、R/C比の値の大小のみをファクターとした場合、当該画素が赤色であるか、シアン又は灰色であるかを判別することはできる。しかし、R/C比のみでは、
図10のグラフ中で横方向に並ぶ色相は判別することはできない。例えば、青、シアン、緑を互いに判別することはできない。また、桃色と黄色(又は橙色)も、R/C比の大小のみでは判別することはできない。
【0050】
図10では、αの値を0.5に固定した場合の色相の判別を説明している。すなわち、
図10において、軌跡1001はR/C比の変化を示しており、R/C比によらずα=0.5に固定している。R/C比が0から1に向けて上昇するにつれて、当該画素の色相は、順にシアン、無彩色、桃色と橙色の中間色、赤色のように変化する。第1の実施の形態の撮像装置を車載カメラに適用した場合、特に晴天の空の色や青信号(シアン)、路面や白線の色(無彩色)、赤信号や車両のテールランプ(赤色)が特に良く再現される。従って、RCCC画素配列のイメージセンサ101に基づき、視感上の違和感の小さいカラー化した画像を得ることが可能である。
【0051】
図11は、G成分画像とB成分画像との配分比αの第2の例を説明する図(グラフ)である。
図10との相違は、少なくともR/C比が所定の範囲にある場合、R/C比の変化に従って、配分比αが変化するよう、配分比αを変動させる点である。撮像装置1が車載カメラとして使用された場合、その撮像画像において桃色よりも橙色が現れる頻度が高いことに鑑みたものである。
【0052】
図11の軌跡1101は、R/C比の変化を示している。この
図11では、R/C比が、例えば第1の値より小さい値のとき(例えばR/C<0.25)は、配分比αを一定値(例えばα=0.5)に固定する。一方R/C比が第1の値以上第2の値以下である場合には、R/C比が大きくなるほど配分比αも大きくされる。そして、R/C比が第2の値より大きい場合(例えばR/C>0.75)には、配分比αを一定値(例えばα=1)に固定する。この軌跡1101を示す関数は、カラー画像生成処理部110内の、図示しない記憶部に記憶させておくことができる。なお、この
図11の軌跡1101はあくまでも一例であって、軌跡1101の形状は、適宜変更可能であることは言うまでもない。
【0053】
この軌跡1101のように配分比αをR/C比の増加に応じて変化させた場合、R/C比が小さい段階(α=0.5)では、当該画素の色相は、シアン又は灰色と判定することができる。一方、R/C比が第1の値以上第2の値以下となった場合には、R/C比が増加するにつれて配分比αが増加する。これにより、上記R/C比の画素に対し割り当てられる色相はシアン~無彩~橙色~赤色と変化する。撮像装置1を車載カメラとして使用した場合、特に晴天の空の色や青信号(シアン)、路面や白線の色(無彩色)、赤信号やテールランプの(赤色)が特に良く再現される。加えて、
図10の例と比較して路面の橙色線、黄信号、ウィンカなどの色の再現度を改善することができる。
【0054】
なお、
図11の軌跡1101は、R/C比が0から1に変化する全体に亘って連続した曲線となるよう設定されるのが好適である。軌跡1101が不連続な曲線となると、不連続天付近において色相の変化が大きくなり、雑音が大きくなる問題が発生するためである。
【0055】
以上説明したように、第1の実施の形態に係る撮像装置1及び画像処理方法によれば、RCCC画素配列のような2種類の画素を有するイメージセンサを適用した場合であっても、所定の色相の弁別を正確に行うことが可能になる。RCCC画素配列の場合、RGGB画素配列に比べ、広画角化と空間解像度向上を両立することが可能になるが、色彩に関し得られる情報は通常、限定される。しかし、この第1の実施の形態では、RGGB配列のイメージセンサを適用した撮像装置と同様に、対象物の色彩を反映した画像を生成できる効果が得られる。
【0056】
なお、第1の実施の形態ではRCCC画素配列の例を示したが、赤色のカラーフィルタを有する画素と透明のカラーフィルタを有する画素の二種類からなる画素配列であれば、画素数の割合は1:3でなくともよい。また、車載カメラ用途として赤色の対象(交通信号機、テールランプ、標識)に対する認識精度に比重をおくため、赤色のカラーフィルタを有する画素と透明のカラーフィルタを有する画素の二種類とする実施の形態を示したが、用途に応じて赤色ではないカラーフィルタを有する画素と透明のカラーフィルタを有する画素との組にしてもよい。
【0057】
[第2の実施の形態]
次に、
図12及び
図13を参照して、第2の実施の形態に係る撮像装置及び画像処理方法を説明する。
図12は、第2の実施の形態の撮像装置の全体構成を示すブロック図である。
図12において、第1の実施の形態の装置と共通する構成部材については
図1と同一の参照符号を付しているので、以下では重複する説明は省略する。
【0058】
第2の実施の形態は、色情報生成処理部103の構成において第1の実施の形態と異なっている。この第2の実施の形態の色情報生成処理部103は、アドレス生成部1201と、色情報生成テーブル1202とを備えている。
【0059】
アドレス生成部1201はC画像、R画像を入力されて、対応するアドレス信号を出力するよう構成されている。具体的にアドレス生成部1201は、入力されたC画像及びR画像の同一画素位置の画素の値の組に対応するアドレス信号を生成し、色情報生成テーブル1202に出力する。
【0060】
色情報生成テーブル1202は、アドレス信号と、そのアドレス信号に対応する明度情報と色相情報とをテーブルとして記憶する。そして、色情報生成テーブル1202は、アドレス生成部1201から入力されたアドレス情報に基づき、対応する明度情報と色相情報を特定して出力する。
【0061】
色情報生成テーブル1202は、例えば
図13に示すデータ構造を適用する。
図13の例において、アドレス生成部1201から供給されるアドレス信号は、アドレスを{R、C}のようにR画素値とC画素値の値を上位側ビットと下位側ビットに連接することで生成したものを適用するように割当てると共に、対応するデータとして、そのアドレスに相当するR画素値、C画素値によるR/C比に対応した色相情報を格納する。このような構成によれば、複雑な演算を要することなく、簡便に色相情報を生成可能である。
【0062】
また、この第2の実施の形態では、R/C比による色相区分だけでなく、C画素値のレベルによる明度区分も加えた色彩情報を生成することも容易に行うことができる。さらに、C画素値のレベルに合わせて、R/C比の値の区分の閾値や、区分の数を変えるなど、複雑な色彩情報の判定を行うことが可能になる効果も得られる。
【0063】
[第3の実施の形態]
次に、
図14及び
図15を参照して、第3の実施の形態に係る撮像装置及び画像処理方法を説明する。
図14は、第3の実施の形態の撮像装置の全体構成を示すブロック図である。
図13おいて、第1の実施の形態の装置と共通する構成部材については
図1と同一の参照符号を付しているので、以下では重複する説明は省略する。
【0064】
この第3の実施の形態の撮像装置は、カラー画像生成処理部110の構成が第1の実施の形態とは異なっている。この第3の実施の形態のカラー画像生成処理部110は、画素の検出光量が上限値を超過した場合においても視覚上違和感の少ないカラー画像を得ることができるよう構成されている。前述の実施の形態の撮像装置での画像生成処理では、画素の検出光量が上限を超えず飽和していないケースにおいては適切なカラー画像が得られるが、飽和した箇所においては現実よりも赤みがかった色相となる。これは、飽和した箇所においてはC画素値とR画素値の差が現実よりも小さくなり、G成分とB成分に与える値が相対的に小さくなるためである。第3の実施の形態では、この現象を効果的に抑制することができる。
【0065】
図14に示すように、第3の実施の形態のカラー画像生成処理部110は、第1の実施の形態と同様のC-R画像生成処理部111に加え、明度飽和画素判定処理部1401、飽和画素置換処理部1402、R成分明度補正部1403、G成分明度補正部1404、及びB成分明度補正部1405を備える。R成分明度補正部1403、G成分明度補正部1404、及びB成分明度補正部1405は、全体として明度補正部を構成する。
【0066】
C-R画像生成処理部111の機能は第1の実施の形態(
図1)と同様である。明度飽和画素判定処理部1401は、C画像中の画素の検出光量が上限値を超過した場合、当該画素は明度が飽和画素であると判定する。なお、検出光量が上限値は超過していないが、上限値の近傍の明度を有する画素を、飽和画素であると判定するような構成とすることも可能である。
【0067】
飽和画素置換処理部1402は、明度飽和画素判定処理部1401での判定結果に基づき、明度が飽和したと判定された画素に対して、R成分、G成分、又はB成分の明度を、対応する上限値に切替えて出力する。つまり、飽和画素置換処理部1402は、飽和した画素が白色として扱われるように、各成分値を上限値に差し替える機能を有する。
【0068】
飽和画素置換処理部1402には、R画像の画素の明度が、R成分明度補正部1403により補正された後に入力される。同様に、飽和画素置換処理部1402には、G画像及びB画像の画素の明度が、G成分明度補正部1404及びB成分明度補正部1405によりそれぞれ補正された後に入力される。
【0069】
R成分とG成分とB成分の各々に、8Byte(255bit)が割り当てられている場合、明るさを表すRGBの合計値は、白色に対して255×3=765bitとなる。
一方、C-R画像生成処理部111に入力されるC画像にも同様に255bitが割り当てられていて、ビット数として3倍の違いがある。
【0070】
このため、C-R画像生成処理部111の出力をそのまま飽和画素置換処理部1402に入力すると、飽和していない画素の上限の明るさと、飽和して上限値に調整された画素の明るさで3倍程度の明るさの段差が生じ、視感上違和感が大きい画像となる。そこで、この第3の実施の形態のカラー画像生成処理部110は、R成分明度補正部1403、G成分明度補正部1404、及びB成分明度補正部1405を備え、各成分の明度を明度が大となる方向へ補正した上で、飽和画素置換処理部1402へ供給する。一例として、R成分明度補正部1403、G成分明度補正部1404、及びB成分明度補正部1405での補正量βは、1以上の値であり、好適にはβ≒3とすることができる。β倍に調整されたR成分画像、G成分画像、及びB成分画像の明度が各上限値を超えた場合は、当該上限値となるように飽和画素置換処理部1402において調整すればよい。
【0071】
図15はイメージセンサ101で撮影した画像から、カラー画像生成処理部110においてカラー化した画像を生成する手順を示すフローチャートである。ステップ701、702、703、901、902、903は、
図9と同様であるので、重複する説明は省略する。
【0072】
ステップ903の後のステップ1501では、明度飽和画素判定処理部1401において、C画像中の飽和画素(上限値以上、又はその近傍の明度を有する画素)の存在と、その位置が判別される。
【0073】
続くステップ1502は、R成分明度補正部1403、G成分明度補正部1404、及びB成分明度補正部1405において、R成分画像、G成分画像、B成分画像の画素値(明度)をβ倍(β≧1)する。これにより、飽和画素が白色に置き換えられた場合の明るさの段差が軽減される。
【0074】
そして、ステップ1503では、飽和画素の位置のR成分画像、G成分画像、B成分画像の画素値が、各上限値に置換される。このステップ1503により、画素値が飽和して擬似的に赤色成分が強く表示されてしまう箇所が、白色で置き換えられる。以上に示した装置構成ならびに処理方法によれば、第1の実施の形態で示した効果に加えて、さらに画素の検出光量が上限値を超過した場合においても視覚上違和感の少ないカラー画像を得る効果が得られる。
【0075】
[第4の実施の形態]
次に、
図16及び
図17を参照して、第4の実施の形態に係る撮像装置及び画像処理方法を説明する。
図16に示すように、この第4の実施の形態では、イメージセンサ101が、RCCC画素配列とは異なる画素配列を有している。このイメージセンサ101では、1つのフィルタユニット203は、赤色の補色であるシアン色を検出するCy画素1601と、C画素202の二種類の画素を有し、ひとつのCy画素1601と3つのC画素202からなる2×2画素のフィルタユニット203を複数行複数列に亘り繰り返す画素配置(CyCCC画素配置)である。
【0076】
図17に示すように、Cy画素1601は、青色光と緑色光に対して感度を有する。C画像とCy画像の差画像(C-Cy)はR画像となる。このようにして得られたC画像、及びR画像に対し、第1の実施の形態と同様の処理を実行することで、第1の実施の形態と同様の効果を得ることができる。Cy画素1601は青色光と緑色光に感度を有しているため、イメージセンサ101の緑色光及び青色光に対する感度がRCCC画素配列に比べ向上する。白色光がイメージセンサ101に入射した場合、R画素201と比較して大きい光量が検出されるので、さまざまな色相の被写体を含む画像全体の傾向として、Cy画素1601はR画素201よりも高いS/N比を与えることができ、結果として色相の判別の精度が第1の実施の形態に比べ改善することが期待できる。
【0077】
尚、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0078】
101…イメージセンサ、102…補間処理部、103…色情報生成処理部、104…認識処理部、110…カラー画像生成処理部、111…C-R画像生成処理部、112…画像記録部、201…R画素、202…C画素、203…フィルタユニット、1201…アドレス生成部、1202…色情報生成テーブル、1401…明度飽和画素判定処理部、1402…飽和画素置換処理部、1403…R成分明度補正部、1404…G成分明度補正部、1405…B成分明度補正部、1601…Cy画素。