【解決手段】画像表示装置1は、被写体を撮像して画像信号を出力する撮像部2と、所定の波長に関する設定波長データ370が格納された記憶部37と、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする位相オフセット部33と、位相オフセット部33から出力される信号に基づいて画像を表示する画像表示部3とを有する。
前記位相オフセット部は、前記画像信号に前記所定の波長未満の波長の前記信号が含まれるとき、前記信号の波長を所定値だけ長波長側にシフトすることを特徴とする請求項1に記載の画像表示装置。
前記位相オフセット部は、前記画像信号に前記所定の波長を超える波長の前記信号が含まれるとき、前記信号の波長を所定値だけ短波長側にシフトすることを特徴とする請求項1に記載の画像表示装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
年齢が高くなるにつれて、眼の比視感度は若年齢層の比視感度と異なってくる。特に、波長が短い青色系の比視感度が若年齢層の比視感度より落ちることが知られている。
【0005】
図4は、CIE(国際照明委員会)が規定した比視感度曲線を示す図である。
図4に示す比視感度曲線は、主に若年齢層のように色認識が優れた(劣っていない)者の比視感度曲線である。
【0006】
図5は、高齢者の比視感度曲線の一例を示す図である。
図5において高齢者の比視感度曲線は点線で示している。参考のため、
図4に示した比視感度曲線も実線で示している。
【0007】
図5に示すように、高齢者の比視感度曲線において、波長が短い青色系の比視感度が若年齢層の比視感度より落ちていることがわかる。また、波長が長い赤色系の比視感度も若年齢層の比視感度と異なっていることがわかる。従って、若年齢層の比視感度と比較して比視感度が異なる色を多く含む被写体をカメラにより撮像すると、高齢者がこの被写体を認識しづらい現象が生じうる。
【0008】
従って、比視感度が落ちる色を多く含む被写体を車載カメラにより撮像すると、高齢者がこの被写体を認識しづらい現象が生じうる。また、高齢者に限らず、特定の波長域に対する比視感度が落ちる人も同様な現象が生じうる。加えて、車載カメラシステムに限らず、このような現象はカメラを有する画像表示装置では生じうる。
【0009】
なお、車両用灯具(いわゆるヘッドライト)において、出射される白色レーザー光の色を運転者の年齢に応じて変化させるものが提案されているが(特許文献1参照)、かかる車両用灯具によっても上述した課題を解決するには至らない。
【0010】
そこで、本発明は、撮像部により撮像された被写体の認識度を向上させることが可能な画像表示装置及び画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【0011】
前記目的を達成するために、本発明の画像表示装置は、被写体を撮像して画像信号を出力する撮像部と、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする位相オフセット部と、位相オフセット部から出力される信号に基づいて画像を表示する画像表示部とを有することを特徴とする。
【発明の効果】
【0012】
このように構成された本発明の画像表示装置では、位相オフセット部が、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする。
【0013】
このようにすることで、撮像部により撮像された被写体の認識度を向上させることが可能となる。
【発明を実施するための形態】
【0015】
以下、この発明の実施の形態を図面に基づいて説明する。
図1は、本発明の実施の形態である画像表示装置の概略構成を示すブロック図である。
【0016】
本実施の形態は、画像表示装置を車載カメラシステムに適用した例である。画像表示装置1は、カメラ(撮像部)2、画像処理部3及び画像表示部4を有する。カメラ2は、画像表示装置1が搭載されている図略の車両の進行方向前方(
図1において左方)の被写体を撮像して画像信号を出力する。画像処理部3は、カメラ2から出力される画像信号に対して、後述する位相オフセット及び階調オフセット処理を含む各種信号処理を行う。画像表示部4は、画像処理部3の出力である画像信号に基づいて画像を表示する。
【0017】
本実施形態に係る画像処理部3は、CPU、FPGAなどのプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子、及び、ハードディスクドライブ等の大容量記憶媒体やROM、RAM等の半導体記憶媒体などの記憶媒体、さらには外部機器との間のインタフェース回路を有する。ここで、本実施の形態では、画像処理部3は一体の演算素子、記憶媒体及びインタフェース回路を有するものとして説明するが、これらが別体の演算素子等により構成されていてもよい。
【0018】
画像処理部3の記憶媒体である記憶部37には図略の制御用プログラムが格納されており、この制御用プログラムが画像表示装置1の起動時に演算素子により実行されて、画像表示装置1は
図1に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理部3は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばFPGAなどを有することが好ましい。
【0019】
カメラ2は、光学系20、光学フィルタ21及びセンサ22を有する。
【0020】
光学系20は、レンズやミラー等の光学素子から構成され、被写体から出射した光または被写体で反射した光を、後述するセンサ22の図略の撮像面に結像させる。光学系20は、カメラ2が車載用途に用いられる場合、一般に狭角、広角、魚眼等のパンフォーカスレンズが用いられる。さらに、ズーム機構やオートフォーカス機構を備えたレンズ系が用いられてもよいし、絞りやシャッターを備えたレンズ系が用いられてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系が用いられてもよい。
【0021】
センサ22は複数の画素から構成されており、光学系20によりその撮像面に結像された被写体の像に基づく入射光を、その輝度に応じた出力電圧信号に光電変換する。光電変換された出力電圧信号は、センサ22の内部に備えられたアンプ(図示省略)、更に同じくセンサ22の内部に備えたADコンバータ(図示省略)を通してデジタル化されて、画像信号が生成される。
【0022】
センサ22としては、少なくとも可視光に対して感度を有するCMOSイメージセンサやCCDイメージセンサ等の光電変換素子が用いられる。本実施の形態では、センサ22は所定のフレームレート(例えば1/30秒、1/60秒)で車両の進行方向前方の被写体を撮像し、画像信号を画像処理部3に送出する。
【0023】
なお、センサ22を構成する各画素の上には、一例として透過する波長帯域が異なる3種類のフィルタ(赤色フィルタR、緑色フィルタG、青色フィルタB)がそれぞれ規則的に配列され、これら3種類のフィルタにより光学フィルタ21が構成されている。
【0024】
画像処理部3は、領域分割部30、波長出力部31、波長比較部32、位相オフセット部33、階調比較部34、階調オフセット部35、合成画像出力部36及び記憶部37を有する。
【0025】
領域分割部30は、撮像部2から出力される画像信号により表示される画像を複数の領域に分割し、それぞれの領域にどの画素が属するかに関する情報を出力する。領域分割部30により設定される領域の画像に対する大きさ及び領域数は、後述する位相オフセット部33及び階調オフセット部35における各種画像処理に基づいて任意に設定可能である。一例として、領域分割部30は、画像をn×n(nは自然数)、例えば3×3画素からなる領域に分割する。
【0026】
波長出力部31は、カメラ2からの出力である画像信号を、この画像信号を構成する各色に対応する3つの色信号(R,G,B)に分離する。このとき、信号がない画素は出力を0(空白)とする。次いで、波長出力部31は、空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ3つの色信号(R,G,B)を生成する。さらに、波長出力部31は、既知のリニアマトリクス演算により色信号補正処理を行う。
【0027】
加えて、波長出力部31は、既知のリニアマトリクス演算により、領域分割部30により分割された領域単位の画像信号に含まれる波長を算出する。波長出力部31からの出力は、一例として、一定の波長域(例えば可視光の波長域)のそれぞれの波長における強度の値である。波長の値は離散的であってもよいが、できるだけ波長の増分または差分が細かいことが好ましい。なお、波長出力部31は画素単位の画像信号に含まれる波長を算出してもよい。
【0028】
波長比較部32は、波長出力部31から出力された領域単位等の画像信号に含まれる波長と、記憶部37に格納された設定波長データ370により設定された所定の波長とを比較判定し、その判定結果を出力する。
【0029】
位相オフセット部33は、波長比較部32の判定結果に基づき、領域単位の画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトする。ここにいう「位相オフセット」とは、波長を長波長または短波長いずれかの側にシフトすることで色の位相、つまり色相をオフセット(変化)させることである。
【0030】
より詳しくは、位相オフセット部33は、画像信号に所定の波長未満の波長の信号が含まれるとき、信号の波長を所定値だけ長波長側にシフトする。一方、位相オフセット部33は、画像信号に所定の波長を超える波長の信号が含まれるとき、信号の波長を所定値だけ短波長側にシフトする。
【0031】
階調比較部34は、位相オフセット部33から出力される画像信号において、特定の画素(第一の画素)の画像信号及びこの特定の画素に隣接する他の画素(第二の画素)の画像信号の色相及び彩度を比較判定し、その判定結果を出力する。
【0032】
階調オフセット部35は、階調比較部34の判定結果に基づき、第一の画素に対応する画像信号と第二の画素の画像信号とが同一の色相及び彩度を有するとき、第一の画素または第二の画素の信号の彩度を所定値だけシフトする。
【0033】
合成画像出力部36は、位相オフセット部33により波長がシフトされ、また、階調オフセット部35により彩度がシフトされた画像信号に基づいて、これら波長シフト及び彩度シフトされた結果の画像信号を合成出力する。合成画像出力部36から出力される画像信号は画像表示部4に出力される。
【0034】
記憶部37には、画像処理部3の全体制御を行うための図略の制御プログラム、画像処理部3による各種画像処理に必要なデータ、及び設定波長データ370が格納されている。
【0035】
設定波長データ370は、波長比較部32において判定基準となる波長に関するデータである。また、この設定波長データ370は、位相オフセット部33が波長をオフセットするかどうかの基準となるデータでもある。設定波長データ370は任意に設定可能であり、予め記憶部37に格納されている。なお、本実施の形態である画像表示装置1では、短波長側(青側)及び長波長側(赤側)のそれぞれに対して2種類の設定波長データ370が記憶部37に格納されている。
【0036】
画像表示部4は、例えば液晶ディスプレイ等の表示装置からなり、画像処理部3から出力された画像信号に基づいて画像を表示する。
【0037】
次に、本実施の形態である画像表示装置1の動作の詳細を
図2のフローチャート及び
図4〜
図6を参照して説明する。なお、画像表示装置1を構成する各部の動作のうち、既に詳細に説明している動作については適宜省略する。
【0038】
図3のフローチャートに示す動作は、画像表示装置1の起動時に開始する。まず、ステップS1では、撮像部2のセンサ22が車両前方を撮像し、画像信号を出力する。撮像部2から出力された画像信号は画像処理部3に入力される。
【0039】
ステップS2では、領域分割部30が、ステップS1で画像処理部3に入力された画像信号により表示される画像を複数の領域に分割し、それぞれの領域にどの画素が属するかに関する情報を出力する。一例として、領域分割部30は、画像を3×3画素からなる領域に分割する。
【0040】
ステップS3では、画像処理部3が、ステップS2で分割された複数の領域のうち、一つの(特定の)領域を抽出する。
【0041】
ステップS4では、ステップS3で抽出された領域に属する画素の画像信号に基づき、波長出力部31が抽出された領域単位の画像信号に含まれる波長を算出して出力する。
【0042】
ステップS5〜S8では、波長比較部32及び位相オフセット部33による位相オフセット動作が行われる。
【0043】
位相オフセット部33は、若年齢層の比視感度と比較して比視感度が異なる色について、この色の波長を、若年齢層の比視感度と比較して比視感度の異なり方が小さい波長にシフトすることで、被写体の認識度を向上させている。具体的には、位相オフセット部33は、青色系の色については長波長側に、赤色系の色については短波長側にシフトしている。
【0044】
上述した設定波長データ370は、好ましくは、若年齢層の比視感度と高齢者の比視感度との変化が大きい波長に関するデータとされる。より具体的には、短波長側の設定波長データ370の波長λbは、これより短い波長帯において若年齢層の比視感度と高齢者の比視感度との変化が大きい波長として設定される。同様に、長波長側の設定波長データ370の波長λrは、これより長い波長帯において若年齢層の比視感度と高齢者の比視感度との変化が大きい波長として設定される。
【0045】
設定波長データ370の波長λb、λrは、画像表示装置1が表示する画像を認識する者(運転者など)が固有の比視感度曲線を有することから、任意に設定可能である。また、運転者などがどのような環境下で画像表示装置1の画像を認識するか(例えば街灯が多い街中を主に走行するかなど)によっても設定波長データ370の波長λb、λrは異なりうる。従って、この観点からも、設定波長データ370の波長λb、λrは任意に設定可能である。
【0046】
フローチャートの説明に戻って、ステップS5では、波長比較部32が、ステップS4で波長出力部31が出力した特定領域の画像信号に含まれる波長λxと波長λbとの大小関係を判定する。そして、判定の結果、λx<λbであると判定されたら(ステップS5においてYES)、プログラムはステップS6に進む。一方、λx≧λbであると判定されたら(ステップS5においてNO)、プログラムはステップS7に進む。
【0047】
ステップS7では、同様に波長比較部32が波長λxと波長λrとの大小関係を判定する。そして、判定の結果、λ<λrであると判定されたら(ステップS7においてYES)、プログラムはステップS9に進む。一方、λx≧λrであると判定されたら(ステップS7においてNO)、プログラムはステップS8に進む。
【0048】
ステップS6では、位相オフセット部33が、波長λxを長波長側にシフトする処理を行う。
【0049】
具体的な処理を
図3を参照して説明する。
図3は、
図5においてλb付近の比視感度曲線を拡大して示した図である。位相オフセット部33は、入力波長である波長λxを、この波長λxから所定値だけ長波長側にシフトした波長λyに波長をシフトさせる。
【0050】
波長λyは、波長λxの比視感度をEx、波長λyの比視感度をEyとしたとき、Ey−Exが正の定数となるように定められる。被写体の認識度を向上させるという観点から、運転者などが認識可能な比視感度まで比視感度をオフセット(感度上昇)させることが好ましい。このため、比視感度のオフセット値を正の定数にすることで、被写体の認識度を確実に向上させることができる。また、λy>λbとなるように定める必要がある。
【0051】
同様に、ステップS8では、位相オフセット部33が、波長λxを短波長側にシフトする処理を行う。ステップS8における動作はステップS6とほぼ同様であるが、位相オフセット部33が波長λxを短波長側にシフトすることが異なる。また、λy<λrとなるように波長λyが定められる。
【0052】
次に、ステップS9では、画像処理部3が、ステップS3で抽出された特定領域中の画素のうち、一つの(特定の)画素、すなわち第一の画素を抽出する。
【0053】
ステップS10では、階調比較部34が、特定領域内における第一の画素の画像信号及びこの特定の画素に隣接する第二の画素の画像信号の色相及び彩度を比較判定する。そして、判定の結果、第一の画素の画像信号の色相及び彩度と第二の画素の画像信号の色相及び彩度が同一でないと判定されたら(ステップS10において階調差分あり)、プログラムはステップS12に進む。一方、第一の画素の画像信号の色相及び彩度と第二の画素の画像信号の色相及び彩度が同一であると判定されたら(ステップS10において階調差分なし)、プログラムはステップS11に進む。
【0054】
ステップS11では、階調オフセット部35が、第一の画素または第二の画素の画像信号の彩度を所定値だけシフトする。人間の眼は色相の差に比較して階調の差に敏感である。そこで、位相オフセット部33による波長シフトの結果、色相及び彩度が同一になった場合を含み、彩度をシフトすることで階調差を与える。
【0055】
階調オフセット部35による彩度シフト処理は、具体的には次のように行えばよい。すなわち、位相オフセット処理前の第一の画素の色相及び彩度と第二の画素の色相及び彩度の大小関係を判定する。さらに、第一の画素の色相及び彩度と第二の画素の色相及び彩度との差の正負を判定する。次いで、上述の差が拡大するように、第一の画素または第二の画素の彩度を所定値だけシフトする。
【0056】
ステップS12では、画像処理部3が、特定領域内の全ての画素を抽出したか否かを判定する。そして、全ての画素を抽出したと判定したら(ステップS12においてYES)、プログラムはステップS14に進む。一方、まだ抽出されていない画素があると判定したら(ステップS12においてNO)、画像処理部3がステップS13において次の画素を抽出する。その後、プログラムはステップS10に戻る。
【0057】
ステップS14では、画像処理部3が全ての領域を抽出したか否かを判定する。そして、全ての領域を抽出したと判定したら(ステップS14においてYES)、プログラムはステップS16に進む。一方、まだ抽出されていない領域があると判定したら(ステップS14においてNO)、画像処理部3がステップS15において次の領域を抽出する。その後、プログラムはステップS3に戻る。
【0058】
ステップS16では、合成画像出力部36が、波長シフト及び彩度シフトされた結果の画像信号を合成出力する。合成画像出力部36から出力される画像信号は画像表示部4に出力される。この後、プログラムは終了する。
【0059】
以上のように構成された本実施の形態である画像表示装置1では、位相オフセット部33が、画像信号に所定の波長の信号が含まれるとき、信号の波長を他の波長にシフトしている。
【0060】
これにより、例えば上述の実施の形態における波長λb、λrを適切に設定することで、一般的なの比視感度と比較して比視感度が劣る色について、この色の波長を、比視感度があまり劣らない色の波長にシフトすることができる。従って、本実施の形態である画像表示装置1によれば、撮像部2により撮像された被写体の認識度を向上させることが可能となる。
【0061】
これにより、例えば本実施の形態である画像表示装置1を車載カメラシステムに適用した場合、車両周辺の対象物(被写体)の認識度を向上させることができる。一例として、暗所の駐車場に車両を駐車する際に、隣の車両のボディーの色が認識しづらいときに、このボディーの色の色相をシフトすることができる。よって、隣の車両の認識度を向上させ、安全に駐車することができる。
【0062】
特に、本実施の形態である画像表示装置1では、波長λb、λrを比視感度曲線に基づいて設定しているので、色相と比視感度との関係をパラメータ化できる。従って、画像処理部3、特に波長比較部32、位相オフセット部33の画像処理動作を定式化、簡略化することができる。
【0063】
また、本実施の形態である画像表示装置1では、階調オフセット部35が、第一の画素に対応する信号と第一の画素に隣接する第二の画素の信号とが同一の色相及び彩度を有するとき、第一の画素または第二の画素の信号の彩度を所定値だけシフトしている。これにより、位相オフセット部33による波長シフトの結果、隣接する画素の色相及び彩度が同一になった場合でも、隣接する画素の階調差を設けることで、被写体の認識度をより向上させることが可能となる。
【0064】
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【0065】
一例として、上述の実施の形態では、画像表示装置1を車載カメラシステムに適用した例を説明したが、本発明の画像処理装置が適用される例は車載カメラシステムに限定されない。
【0066】
また、上述の実施の形態において、設定波長データ370を事前に入力する入力部を画像表示装置1に設けてもよい。また、上述したように、年齢によって比視感度曲線が変化するので、代表的な年齢毎の比視感度曲線または設定波長データ370を記憶部37に格納しておくことも好ましい。この場合、年齢を入力する入力部を画像表示装置1に設け、入力された年齢に応じて比視感度曲線または設定波長データ370を選択すればよい。さらには、運転者等の画像表示部4に表示される画像を視認する人の顔を撮像し、撮像された顔を画像認識することで年齢を判断してもよい。
【0067】
さらに、上述の実施の形態は、加齢に伴う比視感度曲線の変化に対応しうる画像表示装置1についてであったが、加齢以外の他の要因により比視感度曲線が変化した場合にも対応可能である。この場合、画像表示部4に表示される画像を視認する人の比視感度曲線を予め取得しておき、この比視感度曲線に基づいて設定波長データ370を設定すればよい。あるいは、この人の比視感度曲線に基づいた設定波長データ370を記憶部37に格納しておけばよい。