知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-12
(45)【発行日】2022-09-21
(54)【発明の名称】表示制御装置及び表示システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20220913BHJP
B60R 1/20 20220101ALI20220913BHJP
B60R 1/24 20220101ALI20220913BHJP
B60R 1/26 20220101ALI20220913BHJP
G06T 7/00 20170101ALI20220913BHJP
G06T 7/60 20170101ALI20220913BHJP
【ＦＩ】
H04N7/18 J
B60R1/20 100
B60R1/24
B60R1/26 200
G06T7/00 650A
G06T7/60 200J
【請求項の数】
6
(21)【出願番号】P 2018010217
(22)【出願日】2018-01-25
(65)【公開番号】P2019129417
(43)【公開日】2019-08-01
【審査請求日】2020-08-21
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】福田 大輔
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２０１０－０１２９０４（ＪＰ，Ａ）
【文献】特開２０１４－１２９０２１（ＪＰ，Ａ）
【文献】特開２００７－０２２４５４（ＪＰ，Ａ）
【文献】特開２０１５－１０１２８２（ＪＰ，Ａ）
【文献】特開２０１４－０１３４５５（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１０－００３２００５（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｂ６０Ｒ １／２０
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
走行車線を走行する車両の前方を撮像する前方カメラにより時系列順に撮像して得られた前方画像を取得する前方画像取得部と、前記前方画像に基づいて、前記走行車線と前記走行車線に隣接する隣接車線とを仕切る区画線の位置を算出する区画線位置算出部と、
前記車両の速度ベクトルに基づいて、前記車両の移動軌跡を算出する移動軌跡算出部と、
前記区画線位置算出部の算出結果と前記移動軌跡算出部の算出結果とに基づいて、区画線位置を保持したマップを生成するマップ生成部と、
前記マップ生成部により生成された前記マップに基づいて、前記区画線に対応した擬似区画線像を前記車両の後側方を撮像する後側方カメラにより撮像して得られた後側方画像に対応付けて重畳させた合成画像を表示部に表示する表示制御部と、を有することを特徴とする表示制御装置。
【請求項2】
請求項１に記載の表示制御装置において、前記車両が前記隣接車線に移動するか否かを判断する移動判断部を備え、
前記表示制御部は、前記移動判断部により前記車両が前記隣接車線に移動すると判断された場合、前記擬似区画線像を目立つ色で前記後側方画像に対応付けて重畳させた合成画像を前記表示部に表示することを特徴とする表示制御装置。
【請求項3】
請求項１又は請求項２に記載の表示制御装置において、前記車両のドライバが前記車両を旋回させようとする旋回意思を検出する旋回意思検出部を備え、
前記表示制御部は、前記旋回意思検出部により前記旋回意思が検出された場合、前記擬似区画線像を目立つ色で前記後側方画像に対応付けて重畳させた合成画像を前記表示部に表示することを特徴とする表示制御装置。
【請求項4】
請求項１乃至請求項３の何れか一項に記載の表示制御装置において、前記隣接車線を前記車両に後続して走行する後続車両が存在するか否かを判断する後続車両存在判断部を備え、
前記表示制御部は、前記後続車両存在判断部により前記後続車両が存在すると判断された場合、前記擬似区画線像を目立つ色で前記後側方画像に重畳させた合成画像を前記表示部に表示することを特徴とする表示制御装置。
【請求項5】
請求項１乃至請求項４の何れか一項に記載の表示制御装置において、前記表示制御部は、前記区画線位置算出部により算出された前記区画線の位置に基づいて、前記隣接車線と前記隣接車線に前記走行車線と反対側に隣接する隣々接車線とを仕切る区画線に対応した擬似区画線像を、前記走行車線と前記走行車線に隣接する隣接車線とを仕切る区画線に対応した擬似区画線像とは異なる色で前記表示部に表示することを特徴とする表示制御装置。
【請求項6】
請求項１乃至請求項５の何れか一項に記載の表示制御装置と、前記表示部と、
前記車両の車速を検出する車速センサと、
前記車両の操舵角を検出する操舵角センサと、を有することを特徴とする表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置及び表示システムに関する。
【背景技術】
【0002】
一般的な車線は、車両の走行方向に沿った例えば白線又は黄線の実線又は破線等の区画線で仕切られている。従来、走行車線を走行する車両の前方を撮像し、その撮像された画像に基づいてその走行車線と隣接する車線と仕切る区画線を検出し、当該車両が走行車線を逸脱すると判定されたときに警報信号を出力する車線逸脱警報装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－２２４７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、車両の後側方を視認するためのサイドミラー等があるが、このサイドミラーに代えて、カメラで車両の後側方を撮像し、その撮像により得られる後側方画像をモニタに表示するシステムがある。ところが、サイドミラーを後側方カメラに置き換えた場合、後側方カメラの撮像素子は人間の目と比べてダイナミックレンジが狭く、また、カメラの露光補正の影響で後側方画像をモニタに表示できないことがある。その結果、ドライバは車両の後側方を視認することができないことがある。
【0005】
例えば、夜間走行中に、車両とその後続車両との間の距離が短いときには、後続車両のヘッドライトの明るさによって、露光補正され、後側方画像に含まれる、相対的に暗い区画線が黒潰れしてモニタに表示されない。その結果、ドライバは区画線を視認することができない。さらに、昼間走行中も、逆光等の影響で太陽光が後側方カメラに射し込んでいるような場合には、後側方画像に含まれる区画線が太陽光の明るさによって白飛びしてモニタに表示されない。その結果、ドライバは区画線を視認することができない。
【0006】
本発明は、上記課題に鑑みてなされたもので、区画線が後側方画像に映り難い状況であっても、区画線をドライバに分かり易く表示することのできる表示制御装置及び表示システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る表示制御装置は、走行車線を走行する車両の前方を撮像する前方カメラにより時系列順に撮像して得られた前方画像を取得する前方画像取得部と、前記前方カメラにより前記前方画像が撮像された時点から前記車両が前記走行車線を移動した期間における前記車両の移動に基づいて、前記走行車線と前記走行車線に隣接する隣接車線とを仕切る区画線の位置を算出する区画線位置算出部と、前記車両の速度ベクトルに基づいて、前記車両の移動軌跡を算出する移動軌跡算出部と、前記区画線位置算出部の算出結果と前記移動軌跡算出部の算出結果とに基づいて、マップを生成するマップ生成部と、前記マップ生成部により生成された前記マップに基づいて、前記区画線に対応した擬似区画線像を前記車両の後側方を撮像する後側方カメラにより前記車両の前記移動後に撮像して得られた後側方画像に対応付けて重畳させた合成画像を表示部に表示する表示制御部と、を有することを特徴とする。
【0008】
本発明に係る表示システムは、本発明に係る表示制御装置と、前記表示部と、前記車両の車速を検出する車速センサと、前記車両の操舵角を検出する操舵角センサと、を有することを特徴とする。
【発明の効果】
【0009】
このように構成された本発明に係る表示制御装置及び表示システムによれば、区画線が後側方画像に映り難い状況であっても、区画線をドライバに分かり易く表示することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施例１に係る表示制御装置が適用される道路状態について説明する図である。
【図2A】実施例１に係る表示制御装置を適用した表示システムの具体的な機器構成を示すハードウェアブロック図である。
【図2B】機能ブロックとデータの流れを示す説明図である。
【図3】実施例１に係る表示制御装置で行われる一連の処理の流れを示すフローチャートである。
【図4】自車両に後続する後続車両が存在する道路状態を示す説明図である。
【図5】表示制御装置の適用場面として夜間走行中の自車両とその後続車両が存在する道路状態を示す説明図である。
【図6】自車両の移動軌跡の算出手順を示す説明図である。
【図7A】自車両の位置が中心となるように生成されたマップの一例を示す説明図である（その１）。
【図7B】自車両の位置が中心となるように生成されたマップの一例を示す説明図である（その２）。
【図7C】自車両の位置が中心となるように生成されたマップの一例を示す説明図である（その３）。
【図7D】自車両の位置が中心となるように生成されたマップの一例を示す説明図である（その４）。
【図7E】マップの更新処理の一例を示す説明図である（その１）。
【図7F】マップの更新処理の一例を示す説明図である（その２）。
【図7G】マップの更新処理の一例を示す説明図である（その３）。
【図7H】マップの更新処理の一例を示す説明図である（その４）。
【図8】擬似区画線像を後側方画像に対応付けて重畳させた合成画像の一例を示す説明図である。
【図9A】実施例２に係る表示制御装置を適用した表示システムの具体的な機器構成を示すハードウェアブロック図である。
【図9B】機能ブロックとデータの流れを示す説明図である。
【図10】実施例２に係る表示制御装置で行われる一連の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明に係る表示制御装置及び表示システムの具体的な実施形態について、図面を参照して説明する。
【実施例1】
【0012】
（表示制御装置の適用場面の説明）
まず、図１及び図２を用いて、表示制御装置１００（図３参照）の概要と、表示制御装置１００が適用される道路状態について説明する。表示制御装置１００は、例えば片側３車線の車線数を有する道路を自車両１０が走行中に動作する。
まず、図１及び図２を用いて、表示制御装置１００（図３参照）の概要と、表示制御装置１００が適用される道路状態について説明する。表示制御装置１００は、例えば片側３車線の車線数を有する道路を自車両１０が走行中に動作する。
【0013】
図１は、表示制御装置１００が適用される道路の一例を示す図である。道路は、左側領域ＬＺの車線数が３車線であり、右側領域ＲＺの車線数が３車線であり、全車線数が６車線からなる。左側領域ＬＺは、一番右側の追越車線２０（走行車線）と、追越車線２０の左側に隣接する走行車線２２（隣接車線）と、走行車線２２に追越車線２０と反対側に隣接する走行車線２４（隣々接車線）とからなる。
【0014】
右側領域ＲＺ及び左側領域ＬＺは、レーンマーカＬＭ１（区画線）で仕切られている。追越車線２０及び走行車線２２は、レーンマーカＬＭ２（区画線）で仕切られている。走行車線２２及び走行車線２４は、レーンマーカＬＭ３（区画線）で区画されている。図１では、レーンマーカＬＭ１、ＬＭ４を実線で示し、レーンマーカＬＭ２、ＬＭ３を破線で示している。自車両１０は、追越車線２０を図１の紙面上向き（矢印１０ｄの方向）に走行している。
【0015】
（表示制御装置を適用したシステム構成の説明）
図２Ａは、表示制御装置１００を適用した表示システム１を構成するハードウェア要素を示すハードウェアブロック図である。図２Ｂは、機能ブロックとデータの流れを示す説明図である。
図２Ａは、表示制御装置１００を適用した表示システム１を構成するハードウェア要素を示すハードウェアブロック図である。図２Ｂは、機能ブロックとデータの流れを示す説明図である。
【0016】
表示システム１は、自車両１０に設置されている。表示システム１は、前方カメラ２０Ｆ，左後側方カメラ２０Ｌ，右後側方カメラ２０Ｒと、表示装置３０（表示部）と、ジャイロセンサ４０と、ＧＰＳ（Global Positioning System）５０と、ナビゲーション装置６０と、車速センサ７０と、操舵角センサ８０と、レーザレーダ９０と、表示制御装置１００と、を有する。
【0017】
前方カメラ２０Ｆは、例えば自車両１０の車室内に自車両１０の前方を向いて取り付けられている。その結果、前方カメラ２０Ｆは、追越車線２０を走行する自車両１０の前方を撮像する。
【0018】
電子ミラー用の左後側方カメラ２０Ｌは、自車両１０の前部の左側面に後方を向いて取り付けられている。その結果、左後側方カメラ２０Ｌは、自車両１０の側面の一部を含む左側後方の画像を撮像する。電子ミラー用の右後側方カメラ２０Ｒは、自車両１０の前部の右側面に後方を向いて取り付けられている。その結果、右後側方カメラ２０Ｒは、自車両１０の右側面の一部を含む右側後方の画像を撮像する。なお、以下では、左後側方カメラ２０Ｌ及び右後側方カメラ２０Ｒを特に区別しないときは、単に後側方カメラ２０Ｂともいう。
【0019】
表示装置３０は、例えば矩形状のフラットパネルディスプレイ（液晶、有機ＥＬ、プラズマ等）であり、自車両１０のドライバが視認できる位置に配置される。表示装置３０は、例えば、ドライバの指等により押圧可能な透明のタッチパネルが貼り付けられている。その結果、ドライバの指が表示装置３０に接触した場合、その接触はタッチパネルにより検出され、指の位置座標を入力することができる。
【0020】
ジャイロセンサ４０は、自車両１０の地平線に対する姿勢（傾き）を検出する。ジャイロセンサ４０で検出された情報は、表示制御装置１００に出力され、表示制御装置１００における演算処理で利用される。
【0021】
ＧＰＳ５０は、人工衛星により発信される複数の電波を受信することによって、電波の受信位置における自車両１０の位置情報（緯度及び経度）を検出する。ＧＰＳ５０で検出された情報は、表示制御装置１００に出力され、表示制御装置１００における演算処理で利用される。
【0022】
ナビゲーション装置６０には、表示装置３０への地図表示に必要な地図情報、ドライバが所望する目的地を検索するための位置検索情報、経路を音声で案内するための情報等が予め記憶されている。地図データ中には、各地点の高度（海抜）情報が含まれる。ナビゲーション装置６０で記憶されている各種情報は、表示制御装置１００に出力され、表示制御装置１００における演算処理で利用される。
【0023】
車速センサ７０は、自車両１０の車速を検出する。操舵角センサ８０は、自車両１０の操舵角を検出する。
【0024】
レーザレーダ９０は、例えば、自車両１０の後方のバンパ位置に取り付けられる。レーザレーダ９０は、発振させたパルス状のレーザ光を自車両１０の後方領域に出射する。レーザレーダ９０は、出射したレーザ光が、例えば、自車両１０の後方の所定領域に存在する後続車両１６（図４）に当たって反射した反射レーザ光を受光することにより、自車両１０から後続車両１６までの方向や距離を測定する。
【0025】
（表示制御装置の構成の説明）
表示制御装置１００は、前方画像取得部１０１と、後側方画像取得部１０２と、区画線位置算出部１０３と、表示制御部１０４と、移動軌跡算出部１０５と、記憶部１０６と、マップ生成部１０７と、を有する。
表示制御装置１００は、前方画像取得部１０１と、後側方画像取得部１０２と、区画線位置算出部１０３と、表示制御部１０４と、移動軌跡算出部１０５と、記憶部１０６と、マップ生成部１０７と、を有する。
【0026】
表示制御装置１００の内部には、例えば、周辺デバイスを含めたマイクロプロセッサ及びプログラム、必要な処理を実行するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、画像処理や信号処理を行う専用ＡＳＩＣ（Application Specific Integrated Circuit）等のモジュールが実装されている。
【0027】
前方画像取得部１０１は、前方カメラ２０Ｆにより時系列順に撮像して得られた前方画像を取得し、その取得した前方画像をその取得した時刻に対応付けて記憶部１０６に記憶する。
【0028】
後側方画像取得部１０２は、後側方カメラ２０Ｂにより撮像して得られた後側方画像を取得し、その取得した前方画像をその取得した時刻に対応付けて記憶部１０６に記憶する。
【0029】
区画線位置算出部１０３は、前方カメラ２０Ｆにより前方画像が撮像された時点から自車両１０が追越車線２０を移動した期間における自車両１０の移動に基づいて、追越車線２０と走行車線２２とを仕切るレーンマーカＬＭ２（図１）の位置を算出する。
【0030】
表示制御部１０４は、自車両１０の移動前に区画線位置算出部１０３により算出されたレーンマーカＬＭ２，ＬＭ３，ＬＭ４（図１）の位置に基づいて、レーンマーカＬＭ２，ＬＭ３，ＬＭ４にそれぞれ対応した擬似区画線像Ｉ２，Ｉ３，Ｉ４（図８）を自車両１０の後側方を撮像する後側方カメラ２０Ｂにより自車両１０の移動後に撮像して得られた後側方画像に対応付けて重畳させた合成画像を表示装置３０に表示する。
【0031】
移動軌跡算出部１０５は、自車両１０の速度ベクトルに基づいて、自車両１０の移動軌跡を算出する。
【0032】
表示制御部１０４、移動軌跡算出部１０５及びマップ生成部１０７の詳細は後述する。
【0033】
（表示制御装置１００で行われる一連の処理の流れ）
次に、表示制御装置１００で行われる一連の処理の流れを、図３に示すフローチャートと、図５、図６、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄ及び図８に示す説明図とを用いて説明する。
次に、表示制御装置１００で行われる一連の処理の流れを、図３に示すフローチャートと、図５、図６、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄ及び図８に示す説明図とを用いて説明する。
【0034】
図４は、後側方画像の一例であって、自車両１０に後続する後続車両１６が存在する道路状態を示している。図５は、後側方画像の一例であって、表示制御装置１００の適用場面として夜間走行中の自車両１０とその後続車両１６が存在する道路状態を示している。
【0035】
この道路状態において、自車両１０と後続車両１６との間の距離が短いときには、後続車両１６のヘッドライトＨＬ（図５）の明るさによって、露光補正され、後側方画像に含まれる、相対的に暗いレーンマーカＬＭ２，ＬＭ３，ＬＭ４が黒潰れして表示装置３０に表示されない。その結果、自車両１０のドライバは表示装置３０を通じてレーンマーカＬＭ２，ＬＭ３，ＬＭ４を視認することができない。
【0036】
【0037】
（ステップＳ１）
まず、区画線位置算出部１０３は、記憶部１０６に記憶されている前方画像に基づき、区画線として例えばレーンマーカＬＭ２（図４）の位置を算出する。なお、区画線の位置を算出する技術は、例えば特開２０１４－１３４５５号公報等で提案されているなど既に周知であるため詳細な説明は省略するが、実施例１では、前方画像におけるエッジ（輝度値が急激に変わる点）の強度を算出して区画線の位置が算出される。
まず、区画線位置算出部１０３は、記憶部１０６に記憶されている前方画像に基づき、区画線として例えばレーンマーカＬＭ２（図４）の位置を算出する。なお、区画線の位置を算出する技術は、例えば特開２０１４－１３４５５号公報等で提案されているなど既に周知であるため詳細な説明は省略するが、実施例１では、前方画像におけるエッジ（輝度値が急激に変わる点）の強度を算出して区画線の位置が算出される。
【0038】
（ステップＳ２）
次に、移動軌跡算出部１０５は、下記式（１）に示すように、速度ベクトルＶ（ｔ）を時間積分することで自車両１０の移動軌跡Ｐ（ｔ）を算出する。なお、速度ベクトルＶ（ｔ）の算出に必要な情報は、車速センサ７０及び操舵角センサ８０から出力された情報が必要に応じて使用される。具体的に、速度ベクトルＶ（ｔ）は、操舵角センサ８０から出力された操舵角に基づく回転半径Ｒ（図６）と、車速センサ７０から出力された車速とに基づいて算出される。
・・・（１）
次に、移動軌跡算出部１０５は、下記式（１）に示すように、速度ベクトルＶ（ｔ）を時間積分することで自車両１０の移動軌跡Ｐ（ｔ）を算出する。なお、速度ベクトルＶ（ｔ）の算出に必要な情報は、車速センサ７０及び操舵角センサ８０から出力された情報が必要に応じて使用される。具体的に、速度ベクトルＶ（ｔ）は、操舵角センサ８０から出力された操舵角に基づく回転半径Ｒ（図６）と、車速センサ７０から出力された車速とに基づいて算出される。
【数1】
【0039】
（ステップＳ３）
次に、マップ生成部１０７は、区画線位置算出部１０３の算出結果と移動軌跡算出部１０５の算出結果とに基づいて、マップを生成する。図７Ａ，図７Ｂ，図７Ｃ，図７Ｄは、自車両１０の位置が中心となるように生成されたマップの一例である。各マップＭ中の三角形Ｔ１で示す領域は、前方カメラ２０Ｆで撮像可能な範囲である。各マップＭ中の三角形Ｔ２で示す領域は、左後側方カメラ２０Ｌで撮像可能な範囲である。各マップＭ中の三角形Ｔ３で示す領域は、右後側方カメラ２０Ｒで撮像可能な範囲である。
マップの座標系は、例えば自車両１０が起動（エンジンＯＮ等）した時点での基準位置が原点となる。基準位置の一例には、後輪車軸の中心等を挙げることができる。自車両１０が移動しても、原点の場所は変わらない（世界座標に固定）。座標軸は、例えば左右方向がＸ軸、前後方向がＹ軸等のように、起動時の自車両１０の方向に合わせて調整される。本実施形態の移動軌跡算出部１０５における算出結果は、すべてこの座標系での値が使用される。
マップの範囲については概念的に無限大の広さを有する。しかし、実装上無限大の領域は扱えないので、記録対象の範囲は制限される（例、縦３０メートル、横３０メートル等）。この際、自車両１０がマップの中心に位置するように、自車両１０の移動に合わせてマップの範囲が切り替えられる。ただし、マップの範囲の切り替えは、例えば平行移動のみで実現され、自車両１０に合わせた回転は不要とされる。その理由は、マップ画像の回転が情報劣化をもたらし得るからである。
マップ情報の保持方法については画像情報と同様に取り扱われる。例えば、１画素のサイズを縦１センチ、横１センチと定義した場合、縦３０メートル×横３０メートルのマップは縦３０００ピクセル×横３０００ピクセルとなる。
マップに保持する情報については、区画線位置算出部１０３の算出結果がマップに反映される。マップは画像ゆえ、例えば、初期値を黒、区画線を白と決めた場合、区画線が存在する領域を白で塗るイメージとなる。この場合、その他の情報はマップで保持されない。すなわち、マップに保持される情報は区画線位置のみである。
次に、マップ生成部１０７は、区画線位置算出部１０３の算出結果と移動軌跡算出部１０５の算出結果とに基づいて、マップを生成する。図７Ａ，図７Ｂ，図７Ｃ，図７Ｄは、自車両１０の位置が中心となるように生成されたマップの一例である。各マップＭ中の三角形Ｔ１で示す領域は、前方カメラ２０Ｆで撮像可能な範囲である。各マップＭ中の三角形Ｔ２で示す領域は、左後側方カメラ２０Ｌで撮像可能な範囲である。各マップＭ中の三角形Ｔ３で示す領域は、右後側方カメラ２０Ｒで撮像可能な範囲である。
マップの座標系は、例えば自車両１０が起動（エンジンＯＮ等）した時点での基準位置が原点となる。基準位置の一例には、後輪車軸の中心等を挙げることができる。自車両１０が移動しても、原点の場所は変わらない（世界座標に固定）。座標軸は、例えば左右方向がＸ軸、前後方向がＹ軸等のように、起動時の自車両１０の方向に合わせて調整される。本実施形態の移動軌跡算出部１０５における算出結果は、すべてこの座標系での値が使用される。
マップの範囲については概念的に無限大の広さを有する。しかし、実装上無限大の領域は扱えないので、記録対象の範囲は制限される（例、縦３０メートル、横３０メートル等）。この際、自車両１０がマップの中心に位置するように、自車両１０の移動に合わせてマップの範囲が切り替えられる。ただし、マップの範囲の切り替えは、例えば平行移動のみで実現され、自車両１０に合わせた回転は不要とされる。その理由は、マップ画像の回転が情報劣化をもたらし得るからである。
マップ情報の保持方法については画像情報と同様に取り扱われる。例えば、１画素のサイズを縦１センチ、横１センチと定義した場合、縦３０メートル×横３０メートルのマップは縦３０００ピクセル×横３０００ピクセルとなる。
マップに保持する情報については、区画線位置算出部１０３の算出結果がマップに反映される。マップは画像ゆえ、例えば、初期値を黒、区画線を白と決めた場合、区画線が存在する領域を白で塗るイメージとなる。この場合、その他の情報はマップで保持されない。すなわち、マップに保持される情報は区画線位置のみである。
【0040】
マップ生成部１０７は、先行時刻Ｔに前方カメラ２０Ｆが撮像して得られた画像をマッピングして、マップＭを生成する（図７Ｅ）。
後続時刻Ｔ＋１までに自車両１０が前進した場合、その前進に伴い、マップ生成部１０７はマップＭを更新する（図７Ｆ）。図７Ｆ中の点線枠は、時刻Ｔ＋１のマップ範囲を示す。このとき、マップ生成部１０７は新しいマップＭで範囲外になった部分を破棄する。
そして、マップ生成部１０７はマップＭを自車両１０の移動分だけ平行移動させる（図７Ｇ）。図７Ｇは、時刻Ｔ＋１のマップ情報であって、区画線の位置が反映される前のマップ情報を示している。マップ生成部１０７は、後続時刻Ｔ＋１までに自車両１０が前進した方向及び距離、自車両１０の姿勢の変化を補正するように、マップＭを写像変換する（図７Ｇ）。
マップ生成部１０７は新しいマップで拡張された部分に初期値である黒を塗る（図７Ｇ）。マップ生成部１０７は自車両１０の移動分に応じて位置合わせを行い、自車両１０が前進した方向及び距離、自車両１０の姿勢の変化を吸収しながらマップＭを更新していく（図７Ｈ）。図７Ｈは、時刻Ｔ＋１のマップ情報であって、区画線の位置が反映された後のマップ情報を示している。各時刻分のマップＭは、それぞれ、区画線位置算出部１０３の算出結果の瞬間値情報に相当する。したがって、マップ生成部１０７は各時刻分のマップＭを蓄積しなくてもよい。
後続時刻Ｔ＋１までに自車両１０が前進した場合、その前進に伴い、マップ生成部１０７はマップＭを更新する（図７Ｆ）。図７Ｆ中の点線枠は、時刻Ｔ＋１のマップ範囲を示す。このとき、マップ生成部１０７は新しいマップＭで範囲外になった部分を破棄する。
そして、マップ生成部１０７はマップＭを自車両１０の移動分だけ平行移動させる（図７Ｇ）。図７Ｇは、時刻Ｔ＋１のマップ情報であって、区画線の位置が反映される前のマップ情報を示している。マップ生成部１０７は、後続時刻Ｔ＋１までに自車両１０が前進した方向及び距離、自車両１０の姿勢の変化を補正するように、マップＭを写像変換する（図７Ｇ）。
マップ生成部１０７は新しいマップで拡張された部分に初期値である黒を塗る（図７Ｇ）。マップ生成部１０７は自車両１０の移動分に応じて位置合わせを行い、自車両１０が前進した方向及び距離、自車両１０の姿勢の変化を吸収しながらマップＭを更新していく（図７Ｈ）。図７Ｈは、時刻Ｔ＋１のマップ情報であって、区画線の位置が反映された後のマップ情報を示している。各時刻分のマップＭは、それぞれ、区画線位置算出部１０３の算出結果の瞬間値情報に相当する。したがって、マップ生成部１０７は各時刻分のマップＭを蓄積しなくてもよい。
【0041】
（ステップＳ４）
次に、区画線位置算出部１０３は、記憶部１０６に記憶されているマップＭに基づき、ステップＳ１と同様の処理を行い、例えばレーンマーカＬＭ１～ＬＭ４の各位置を算出する。
次に、区画線位置算出部１０３は、記憶部１０６に記憶されているマップＭに基づき、ステップＳ１と同様の処理を行い、例えばレーンマーカＬＭ１～ＬＭ４の各位置を算出する。
【0042】
（ステップＳ５）
次に、表示制御部１０４は、マップＭの二次元座標系をカメラ座標系の三次元座標に変換する。この変換方法は、例えば画像を拡大または縮小または回転するアフィン変換等により既に周知である。そのため、詳細な説明は省略する。
次に、表示制御部１０４は、マップＭの二次元座標系をカメラ座標系の三次元座標に変換する。この変換方法は、例えば画像を拡大または縮小または回転するアフィン変換等により既に周知である。そのため、詳細な説明は省略する。
【0043】
（ステップＳ６）
次に、表示制御部１０４は、マップ生成部１０７により生成されたマップＭ（レーンマーカＬＭ２，ＬＭ３，ＬＭ４の各位置）に基づいて、レーンマーカＬＭ２，ＬＭ３，ＬＭ４にそれぞれ対応した擬似区画線像Ｉ２，Ｉ３，Ｉ４を後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩ（図８）を表示装置３０に表示する。擬似区画線像Ｉ２，Ｉ３，Ｉ４は、それぞれ、レーンマーカＬＭ２，ＬＭ３，ＬＭ４をイラスト化した画像である。
次に、表示制御部１０４は、マップ生成部１０７により生成されたマップＭ（レーンマーカＬＭ２，ＬＭ３，ＬＭ４の各位置）に基づいて、レーンマーカＬＭ２，ＬＭ３，ＬＭ４にそれぞれ対応した擬似区画線像Ｉ２，Ｉ３，Ｉ４を後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩ（図８）を表示装置３０に表示する。擬似区画線像Ｉ２，Ｉ３，Ｉ４は、それぞれ、レーンマーカＬＭ２，ＬＭ３，ＬＭ４をイラスト化した画像である。
【0044】
すなわち、上記実施形態では、表示制御部１０４は、追越車線２０と走行車線２２とを仕切るレーンマーカＬＭ２（図１）が後側方画像に映り難い状況であっても、レーンマーカＬＭ２をドライバに分かり易く表示装置３０に表示することができる。もちろん、走行車線２２と走行車線２４とを仕切るレーンマーカＬＭ３（図１）や、右側領域ＲＺと左側領域ＬＺとを仕切るレーンマーカＬＭ１（図１）についても同様のことが言える。なお、レーンマーカＬＭ２が後側方画像に映り難い状況としては、自車両１０が夜間走行中の場合には、後続車両１６のヘッドライトの光が自車両１０の後側方カメラ２０Ｂに入り込んでくる状況が例示される。また、自車両１０が昼間走行中の場合には、通常より強い太陽光が自車両１０の後側方カメラ２０Ｂに入り込んでくる状況が例示される。
【実施例2】
【0045】
本発明に係る表示制御装置を適用した表示システムの別の具体的な実施形態について、図面を参照して説明する。
【0046】
（表示制御装置を適用したシステム構成の説明）
図９Ａは、実施例２に係る表示制御装置２００を適用した表示システム２を構成するハードウェア要素を示すハードウェアブロック図である。図９Ｂは、機能ブロックとデータの流れを示す説明図である。
図９Ａは、実施例２に係る表示制御装置２００を適用した表示システム２を構成するハードウェア要素を示すハードウェアブロック図である。図９Ｂは、機能ブロックとデータの流れを示す説明図である。
【0047】
実施例１で説明した要素と同一の要素については、同じ符号を付し、詳細な説明を省略する。表示制御装置２００は、旋回意思検出部１０８及び後続車両存在判断部１０９が新たに備え付けられていることを除き、実施例１の表示制御装置１００（図２Ａ及び図２Ｂ）と同じである。
【0048】
旋回意思検出部１０８は、自車両１０のドライバが自車両１０を旋回させようとする旋回意思を検出する。旋回意思検出部１０８は、例えば、ステアリングの方向及びその方向が変化する角度を検出し、その検出結果を基に旋回意思を検出する。ここで、「旋回」とは、ステアリングの操作全般をいい、特に、自車両１０がカーブを走行している状態のことをいう。
【0049】
後続車両存在判断部１０９は、走行車線２２を自車両１０に後続して走行する後続車両１６（図４）が存在するか否かを判断する。なお、後続車両１６が存在するか否かの判断に必要な情報は、レーザレーダ９０から出力された情報が必要に応じて使用される。
【0050】
【0051】
図７Ｃは、表示制御装置２００の適用場面の一例であって、自車両１０に後続する後続車両１６が存在する道路状態を示している。この道路状態では、自車両１０が走行車線２２をカーブ走行し、且つ、後続車両１６が走行車線２４において自車両１０の略真後ろとなる位置に存在している。
【0052】
このような道路状態では、自車両１０のドライバは、後続車両１６が走行車線２２を走行中なのか走行車線２４を走行中なのか表示装置３０を通じて視認し難い。したがって、擬似区画線像Ｉ２，Ｉ３，Ｉ４（図８）を目立つ色にして表示装置３０に表示して、後続車両１６が走行車線２２を走行中であることを明確にすることが好ましい。目立つ色としては、暗闇に映える暖色系の色、すなわち、赤、ピンク、蛍光色等が例示される。要するに、目立つ色は、一般的な車線の区画線で使用される白線又は黄線より目立つ色であり、自車両１０のドライバがレーンマーカを分かり易く視認可能となるような色合いである。
【0053】
図１０に示す一連の処理は、旋回意思検出部１０８において旋回意思が確認され、且つ、後続車両存在判断部１０９において後続車両１６（図４）が自車両１０の略真後ろとなる位置に存在することが検出されたときに開始される。
【0054】
なお、図１０に示すステップＵ１，Ｕ２，Ｕ３，Ｕ４，Ｕ５，Ｕ６は、それぞれ、図４に示すステップＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６と同様の処理であるので、詳細な説明を省略する。すなわち、図１０に示すステップＵ１～Ｕ５の処理が実行された後、処理はステップＵ６に進む。ステップＵ６において、表示制御部１０４は、擬似区画線像Ｉ２，Ｉ３，Ｉ４を目立つ色にして後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩ（図８）を表示装置３０に表示する。
【0055】
すなわち、実施例２の表示制御装置２００及び表示システム２によれば、実施例１での効果に加え、自車両１０のドライバにとって、後続車両１６が走行車線２２を走行中なのか走行車線２４を走行中なのか分かり難い道路状況で、表示制御部１０４は、擬似区画線像Ｉ２，Ｉ３，Ｉ４を目立つ色にして後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩを表示装置３０に表示する。これにより、自車両１０のドライバは、後続車両１６が走行車線２４を走行中であると見誤る虞が無くなり、表示システム２としてドライバの運転操作をより安全に支援することができる。
【0056】
以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎないものであるため、本発明は実施形態の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【0057】
上述した実施例１では、表示制御装置１００の適用場面として、自車両１０が夜間走行中の場面を示した。しかし、これに限られない。例えば、表示制御装置１００は、自車両１０が昼間走行中に適用されても良い。すなわち、逆光等の影響で太陽光が後側方カメラ２０Ｂに射し込んでいるような場合には、後側方画像ＢＩに含まれるレーンマーカＬＭ１～ＬＭ４が太陽光の明るさによって白飛びして表示装置３０に表示されない。
【0058】
その結果、ドライバはレーンマーカＬＭ１～ＬＭ４視認することができない。これに対し、実施例１では、表示制御部１０４は、追越車線２０と走行車線２２とを仕切るレーンマーカＬＭ２をその所在の如何に関わらず精度良く表示装置３０に表示することができる。もちろん、レーンマーカＬＭ１，ＬＭ３についても同様のことが言える。
【0059】
上述した実施例１では、前方カメラ２０Ｆは、車室内に取り付けられ、自車両１０の前方を撮像する例を示した。しかし、これに限られない。例えば、前方カメラ２０Ｆは、被写界深度と画角が俯瞰画像の生成に適用可能な範囲であれば、車室外に設置されて俯瞰画像の生成に使用されても良い。
【0060】
上述した実施例１では、前方カメラ２０Ｆが等間隔で時系列順に自車両１０の前方を撮像する例を示した。しかし、これに限られない。例えば、前方カメラ２０Ｆは不等間隔で時系列順に自車両１０の前方を撮像しても良い。
【0061】
上述した実施例１では、表示制御部１０４は、前方画像（フレーム）の数が少ない場合、間のフレームを線形補間で自車両１０の走行履歴を予測する例を示した。しかし、これに限られない。表示制御部１０４は、昨今、一般的に行われている何れの方法を用いて自車両１０の走行履歴を予測しても良い。
【0062】
上述した実施例１では、擬似区画線像Ｉ２，Ｉ３，Ｉ４を、レーンマーカをイラスト化した画像で構成する例を示した。しかし、これに限られない。擬似区画線像Ｉ２，Ｉ３，Ｉ４を、それぞれ、実写のレーンマーカＬＭ２，ＬＭ３，ＬＭ４に基づいて画像処理で求めても良い。この画像処理は、前方カメラ２０Ｆにより得られた前方画像に含まれるレーンマーカＬＭ２，ＬＭ３，ＬＭ４を、後側方カメラ２０Ｂにより得られた後側方画像と同じ見え方の画像に変形する処理や、前方カメラ２０Ｆにより得られた前方画像の明度をさらに見易い明度に変える処理が含まれる。また例えば、擬似区画線像を、レーンマーカで挟まれた走行面をイラスト化した画像で構成しても良い。
【0063】
上述した実施例１では、表示制御部１０４は、擬似区画線像Ｉ２，Ｉ３，Ｉ４を後側方画像ＢＩに対応付けて重畳させた合成画像を表示装置３０に表示する例を示した。しかし、これに限られない。例えば、自車両１０が走行車線２２に移動するか否かを判断する移動判断部を表示制御装置１００に新たに備え付けても良い。
【0064】
すなわち、表示制御部１０４は、当該移動判断部から出力された情報に応じて、擬似区画線像Ｉ２，Ｉ３，Ｉ４を後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩを表示装置３０に表示しても良い。具体的に、表示制御部１０４は、追越車線２０から走行車線２２に車線変更しようとするドライバの意思としてウィンカ操作がなされた場合に、擬似区画線像Ｉ２，Ｉ３，Ｉ４を例えばピンク、黄、赤等の目立つ色で後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩを表示装置３０に表示しても良い。
【0065】
上述した実施例１では、表示制御部１０４は、区画線位置算出部１０３により算出されたレーンマーカＬＭ１～ＬＭ４の各位置に基づいて、擬似区画線像Ｉ２，Ｉ３，Ｉ４を後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩを表示装置３０に表示する例を示した。しかし、これに限られない。例えば、表示制御部１０４は、区画線位置算出部１０３により算出されたレーンマーカＬＭ１～ＬＭ４の各位置に基づいて、レーンマーカＬＭ３に対応した擬似区画線像Ｉ３を、レーンマーカＬＭ２に対応した擬似区画線像Ｉ２とは異なる色で表示装置３０に表示しても良い。要するに、擬似区画線像Ｉ２の色と、擬似区画線像Ｉ３の色とが異なっていれば良い。
【0066】
上述した実施例２では、表示制御部１０４は、擬似区画線像Ｉ２，Ｉ３，Ｉ４を、赤、ピンク、黄等の暖色系の色にして後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩを表示装置３０に表示する例を示した。しかし、これに限られない。例えば、表示制御部１０４は、擬似区画線像Ｉ２，Ｉ３，Ｉ４を、青緑、青、青紫等の寒色系の色又は黄緑、緑、紫、無彩色等の中性色にして後側方画像ＢＩに対応付けて重畳させた合成画像ＳＩを表示装置３０に表示しても良い。要するに、擬似区画線像Ｉ２，Ｉ３，Ｉ４は目立つ色であれば良い。
【0067】
上述した実施例２では、自車両１０が走行車線２２をカーブ走行し、且つ、走行車線２４を走行中の後続車両１６が自車両１０の略真後ろとなる位置に存在している道路状態に表示制御装置２００を適用する例を示した。しかし、これに限られない。例えば、自車両１０が追越車線２０をカーブ走行し、且つ、走行車線２２を走行中の後続車両１６が自車両１０の略真後ろとなる位置に存在している道路状態に表示制御装置２００を適用しても良い。
【0068】
上述した実施例１，２では、左側領域ＬＺの車線数を３車線とする例を示した。しかし、これに限られない。左側領域ＬＺの車線数は２車線又は４車線以上であっても良い。右側領域ＲＺの車線数についても同様である。
【符号の説明】
【0069】
１、２・・・表示システム
１０・・・自車両（車両）
１６・・・後続車両
２０・・・追越車線（走行車線）
２０Ｂ・・・後側方カメラ
２０Ｆ・・・前方カメラ
２０Ｌ・・・左後側方カメラ
２０Ｒ・・・右後側方カメラ
２２・・・走行車線（隣接車線）
２４・・・走行車線（隣々接車線）
３０・・・表示装置
１００、２００・・・表示制御装置
１０１・・・前方画像取得部
１０３・・・区画線位置算出部
１０４・・・表示制御部
１０５・・・移動軌跡算出部
１０７・・・マップ生成部
１０８・・・旋回意思検出部
１０９・・・後続車両存在判断部
ＢＩ・・・後側方画像
Ｉ２、Ｉ３、Ｉ４・・・擬似区画線像
ＬＭ１、ＬＭ２、ＬＭ３、ＬＭ４・・・レーンマーカ（区画線）
１０・・・自車両（車両）
１６・・・後続車両
２０・・・追越車線（走行車線）
２０Ｂ・・・後側方カメラ
２０Ｆ・・・前方カメラ
２０Ｌ・・・左後側方カメラ
２０Ｒ・・・右後側方カメラ
２２・・・走行車線（隣接車線）
２４・・・走行車線（隣々接車線）
３０・・・表示装置
１００、２００・・・表示制御装置
１０１・・・前方画像取得部
１０３・・・区画線位置算出部
１０４・・・表示制御部
１０５・・・移動軌跡算出部
１０７・・・マップ生成部
１０８・・・旋回意思検出部
１０９・・・後続車両存在判断部
ＢＩ・・・後側方画像
Ｉ２、Ｉ３、Ｉ４・・・擬似区画線像
ＬＭ１、ＬＭ２、ＬＭ３、ＬＭ４・・・レーンマーカ（区画線）
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図7G】
【図7H】
【図8】
【図9A】
【図9B】
【図10】
