IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧

<>
  • 特開-表示制御装置 図1
  • 特開-表示制御装置 図2
  • 特開-表示制御装置 図3
  • 特開-表示制御装置 図4
  • 特開-表示制御装置 図5
  • 特開-表示制御装置 図6
  • 特開-表示制御装置 図7
  • 特開-表示制御装置 図8
  • 特開-表示制御装置 図9
  • 特開-表示制御装置 図10
  • 特開-表示制御装置 図11
  • 特開-表示制御装置 図12
  • 特開-表示制御装置 図13
  • 特開-表示制御装置 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004819
(43)【公開日】2024-01-17
(54)【発明の名称】表示制御装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240110BHJP
   B60R 11/04 20060101ALI20240110BHJP
   B60R 1/20 20220101ALI20240110BHJP
   B60R 1/29 20220101ALI20240110BHJP
   B60R 1/25 20220101ALI20240110BHJP
   G08G 1/16 20060101ALI20240110BHJP
   G09G 5/00 20060101ALI20240110BHJP
   G09G 5/36 20060101ALI20240110BHJP
【FI】
H04N7/18 J
B60R11/04
B60R1/20 100
B60R1/29
B60R1/25
G08G1/16 C
G09G5/00 510A
G09G5/00 550C
G09G5/36 520B
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022104669
(22)【出願日】2022-06-29
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】中村 淳哉
【テーマコード(参考)】
3D020
5C054
5C182
5H181
【Fターム(参考)】
3D020BA20
5C054CA04
5C054CA05
5C054CC02
5C054EA01
5C054EA05
5C054FC12
5C054FC15
5C054FD03
5C054FE05
5C054FE25
5C054FE26
5C054FE28
5C054FF03
5C054HA30
5C054HA31
5C182AA02
5C182AB25
5C182AB26
5C182AC03
5C182BA14
5C182BA29
5C182BA55
5C182BA56
5C182BB01
5C182BB11
5C182CB47
5C182CC21
5C182DA41
5H181AA01
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181LL01
5H181LL02
5H181LL08
(57)【要約】
【課題】表示制御装置において、遮蔽領域の状況を確認すべき必要がない場合、遮蔽領域の画像(透過ビュー)を表示しない。
【解決手段】表示制御装置100は、障害物Sが含まれる障害物領域R′を特定する障害物特定部10と、運転者の視界に関する運転者情報を取得する運転者情報取得部30と、運転者の視界を遮っている右側Aピラー152による遮蔽領域N′を特定する遮蔽領域特定部40と、障害物領域R′のうち遮蔽領域N′によって遮られた面積割合M1/M0を算出する遮蔽面積割合算出部50と、右側Aピラー152に設けられたディスプレイR142に表示する画像を制御する表示制御部60と、を備え、表示制御部60は、遮蔽面積割合M1/M0が所定の値未満であるとき、ディスプレイR142に、運転者視点画像P1から遮蔽領域N′内の画像である透過ビューP2を表示しない。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両の運転者の視界を妨げる車体の構造物に設けられた表示部を制御する表示制御装置において、
前記車両の周辺の画像を撮影する撮像部から取得した画像のうち、障害物が含まれる障害物領域を特定する障害物特定部と、
前記車両の運転者の視界に関する運転者情報を取得する運転者情報取得部と、
前記運転者情報に基づいて、前記構造物によって運転者の視界を遮っている遮蔽領域を特定する遮蔽領域特定部と、
前記障害物領域のうち前記遮蔽領域に重なった面積が前記障害物領域の全体の面積に占める割合である遮蔽面積割合を算出する遮蔽面積割合算出部と、
前記表示部に表示する画像を制御する表示制御部と、を備え、
前記表示制御部は、前記遮蔽面積割合が所定の値以上であるとき、前記表示部に、前記撮像部で撮像した画像を前記運転者情報に基づいて視点変換した運転者視点画像を表示し、
前記遮蔽面積割合が所定の値未満であるとき、前記表示部に前記運転者視点画像の表示をしない、表示制御装置。
【請求項2】
車両の状態と前記障害物特定部によって特定された障害物とに基づいて、前記車両と前記障害物との衝突の可能性を判定する衝突可能性判定部を備え、
前記表示制御部は、前記遮蔽面積割合と前記衝突可能性判定部の判定とに基づいて、衝突の可能性がある場合で、かつ前記遮蔽面積割合が所定の値以上であるとき、前記表示部に前記運転者視点画像を表示し、衝突の可能性がある場合で、かつ前記遮蔽面積割合が所定の値未満であるとき、及び衝突の可能性が無いときは、前記表示部に前記運転者視点画像を表示しない、請求項1に記載の表示制御装置。
【請求項3】
前記表示制御部は、前記表示部に前記運転者視点画像を表示しないとき、前記表示部に静止画を表示するか又は無表示とする、請求項1又は2に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記遮蔽面積が前記所定の値未満であるとき、前記表示部に警報表示を行う、請求項1に記載の表示制御装置。
【請求項5】
前記表示制御部は、前記遮蔽面積が前記所定の値未満であるとき、前記障害物が遮蔽された側に対応した前記表示部の縁部に前記警報表示を行う、請求項4に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置に関する。
【背景技術】
【0002】
車載のカメラやLiDAR(Light Detection And Ranging;光による検知と測距)などの外界認識センサを利用して、運転者から死角となる領域(遮蔽領域)の画像を表示部に表示する画像表示装置が知られている。
【0003】
この画像表示装置において、遮蔽領域の画像を表示する表示部を、遮蔽領域を作り出している、Aピラーなどの、進行方向の前方や側方の視界の一部を遮る車体障害物に設けて、この表示部に、車体障害物が無いと仮定した場合に運転者から視認されると想定される遮蔽領域の画像を表示する画像表示装置が提案されている(例えば、特許文献1,2参照)。
【0004】
このような画像表示装置は、車室外に設けられた外界認識センサによって取得された画像を、運転者の視点から見たときの画像に視点変換して、その視点変換された画像を、車体障害物に設けられた表示部に表示する。したがって、この画像表示装置は、運転者に、あたかも車体障害物を透過したように、遮蔽領域の画像を見せることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第2017/130439号
【特許文献2】特開2017-181586号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した画像表示装置が設けられた車両の運転者は、車体障害物以外の領域については、ウインドシールド(フロントガラス)を透過して運転者自身の肉眼によって視認し、視界が遮られた車体障害物の領域については、表示部に表示された画像を視認することになる。この場合、肉眼で視認される領域の像と表示部に表示された画像との間で、差異(位置ずれ、色彩ずれ、明るさずれ等)があると、運転者に、その差異による違和感を与える可能性がある。
【0007】
また、そのような違和感を運転者に与えない場合であっても、上述した表示部が頻繁に画像を表示することで、運転者が煩わしさを感じる可能性がある。
【0008】
本発明は上記事情に鑑みなされたものであり、運転者が遮蔽領域付近の物体を十分に確認できない場合、その遮蔽領域の画像を表示し、運転者が遮蔽領域付近の物体を十分に確認できる場合、その遮蔽領域の画像を表示しない表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、車両の運転者の視界を妨げる車体の構造物に設けられた表示部を制御する表示制御装置において、前記車両の周辺の画像を撮影する撮像部から取得した画像のうち、障害物が含まれる障害物領域を特定する障害物特定部と、前記車両の運転者の視界に関する運転者情報を取得する運転者情報取得部と、前記運転者情報に基づいて、前記構造物によって運転者の視界を遮っている遮蔽領域を特定する遮蔽領域特定部と、前記障害物領域のうち前記遮蔽領域に重なった面積が前記障害物領域の全体の面積に占める割合である遮蔽面積割合を算出する遮蔽面積割合算出部と、前記表示部に表示する画像を制御する表示制御部と、を備え、前記表示制御部は、前記遮蔽面積割合が所定の値以上であるとき、前記表示部に、前記撮像部で撮像した画像を、前記運転者情報に基づいて視点変換した運転者視点画像を表示し、前記遮蔽面積割合が所定の値未満であるとき、前記表示部に前記運転者視点画像の表示をしない、表示制御装置である。
【発明の効果】
【0010】
本発明に係る表示制御装置は、運転者が遮蔽領域付近の物体を十分に確認できない場合、その遮蔽領域の画像を表示し、運転者が遮蔽領域付近の物体を十分に確認できる場合、その遮蔽領域の画像を表示しない。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態である表示制御装置の構成を示すブロックである。
図2】カメラRによって撮像される画像P0の範囲の一例である。
図3】運転者撮影カメラの設置位置の例を示す模式図である。
図4】カメラRによって撮像された画像P0に対応した被写体を、運転者の目の位置において運転者の肉眼で視認されるであろうと想定される運転者視点画像の一例である。
図5】運転者の肉眼で実際に視認される像p1の一例を示す図である。
図6】運転者視点画像P1において、運転者の肉眼で視認される像p1における右側Aピラーによる遮蔽範囲Nに対応する遮蔽領域N′を示す図である。
図7】ディスプレイRにインテリアビューP5を表示した状態を示す模式図である。
図8】ディスプレイRを無表示P6とした状態を示す模式図である。である。
図9】ディスプレイRにインテリアビューP5と警報表示P7を表示した状態を示す模式図である。
図10】ディスプレイRに無表示P6とするとともに、警報表示P7を表示した状態を示す模式図である。
図11】ディスプレイRに運転者視点画像P1のうち遮蔽領域N′内の画像である透過ビューP2と警報表示P7を表示した状態を示す模式図である。
図12】表示制御装置の動作の流れを説明するフローチャートである。
図13】障害物Sが遮蔽された側に対応したディスプレイRの左縁部だけを警報表示P7として発光させた状態を示す模式図である。
図14】障害物Sが遮蔽された側に対応したディスプレイRの右縁部だけを警報表示P7として発光させた状態を示す模式図である。
【発明を実施するための形態】
【0012】
本発明に係る表示制御装置の例示的な実施形態は、以下の通り、図面を参照して詳細に説明される。図1は本発明の一実施形態である表示制御装置100の構成を示すブロック図、図2はカメラR112によって撮像される画像P0の範囲の一例を示す模式図、図3は運転者撮影カメラ130の設置位置の例を示す模式図である。
【0013】
<構成>
自車両200(以下、車両200という。)は、図1に示すように、車両200の周囲の状況を検出する外界認識センサ110(撮像部の一例)と、車両情報取得部120と、運転者撮影カメラ130と、ディスプレイ140(表示部の一例)と、表示制御装置100と、を備えている。外界認識センサ110としては、例えば、カメラL(左)111、カメラR(右)112、ソナー113、レーダー114、LiDAR115などであるが、これら以外のセンサであってもよい。
【0014】
カメラR112は、例えば図2に示すように、車両200の車室外の前右部に設けられて、車両200の前方及び右側方の範囲の被写体の画像P0を撮像する。カメラL111は、車両200の車室外の前左部に設けられて、車両200の前方及び左側方の範囲の被写体の画像を撮像する。
【0015】
カメラL111及びカメラR112の設置場所は、上述した場所に限定されず、車両200の運転席に座った運転者が、運転席から視認できる車両200の前方範囲及び側方範囲を撮像範囲とすることができる限り、車両200の任意の場所に設置されていてもよい。カメラとしては、カメラL111とカメラR112に代えて、カメラL111とカメラR112の機能を有する画角の広い単一のカメラを適用することもできる。
【0016】
また、カメラL111及びカメラR112の設置場所は、夜間等暗い状況においても周囲の被写体を撮影できるように、赤外線領域にも感度を有している。なお、カメラL111及びカメラR112は、周囲に向けて赤外線を照射する赤外線ライトを備えていてもよい。
【0017】
ソナー113は、車室外の全周に亘って分布して複数設けられて、車両200の周囲の比較的近い距離範囲に存在する障害物を検出する。レーダー114は、車両200の前部と後部にそれぞれ設けられて、車両200の前方の比較的遠い距離範囲までの障害物、車両の後方の比較的遠い距離範囲までの障害物を検出する。LiDAR115は、車両200の前部と後部にそれぞれ設けられて、車両200の前方及び後方の広い範囲について、ソナー113とレーダー114との中間程度の距離範囲までの障害物を検出する。
【0018】
車両情報取得部120は、車両200に設置された各種センサから検出された車両200の速度、舵角等の動作状態を取得する。
【0019】
運転者撮影カメラ130は、図3に示すように、例えば車室内の後写鏡180(車両200の後方を観察するための、いわゆるルームミラー)の近傍のルーフ部190に、運転席に座った運転者を向いて設けられている。運転者撮影カメラ130は、運転席に座った状態の運転者の顔を撮影する。なお、運転者撮影カメラ130は、運転者の座高の高低に拘わらず、運転者の顔を撮影できる程度の画角を有している。また、運転者撮影カメラ130は、夜間等暗い状況の車室内においても運転者の顔を撮影できるように、赤外線領域にも感度を有している。なお、運転者撮影カメラ130は、運転者に向けて赤外線を照射する赤外線ライトを備えていてもよい。
【0020】
ディスプレイ140は、ディスプレイL(左)141とディスプレイR(右)142とを有している。ディスプレイL141は左側Aピラー151の車室内に臨んだ面に設けられ、ディスプレイR142は右側Aピラー152の車室内に臨んだ面に設けられている。ディスプレイ140として例えば液晶ディスプレイが用いられることができ、この場合、ディスプレイ140は左側Aピラー151又は右側Aピラー152にそれぞれ取り付けられる。ディスプレイ140は、例えば有機EL等でフィルム状に形成されている場合、左側Aピラー151の面と右側Aピラー152の面に、それぞれ沿って配置される。
【0021】
Aピラーとは、車体のウインドシールド(フロントガラス)の左右の縁にそれぞれ設けられた、車体のループパネルを支える柱部材である。左側Aピラー151の車両200における位置及び右側Aピラー152の車両200における位置は、それぞれ、遮蔽領域特定部40に予め記憶されている。
【0022】
本実施形態の表示制御装置100は、車両200の運転者の視界を妨げる車体の構造物の一例である左側Aピラー151に設けられたディスプレイL141及び右側Aピラー152に設けられたディスプレイR142を制御する。表示制御装置100は、図1に示すように、障害物特定部10と、衝突可能性判定部20と、運転者情報取得部30と、遮蔽領域特定部40と、遮蔽面積割合算出部50と、表示制御部60と、を備えている。
【0023】
障害物特定部10は、障害物検出部11と障害物追跡部12とを有する。障害物検出部11は、周辺の画像を撮影するカメラL111及びカメラR112によってそれぞれ撮像されて取得した画像P0と、ソナー113、レーダー114及びLiDAR115によって検出された距離等の情報と、に基づいて、車両200の周囲で検出された障害物Sとその大きさを検出する。
【0024】
画像P0に基づいて得ることのできる障害物には、道路上に描かれた線、横断歩道、矢印などの平面物も含まれるが、ソナー113、レーダー114及びLiDAR115から取得される情報との組み合わせにより、障害物検出部11が検出する障害物Sは、車両200と衝突し得る立体物に絞られる。
【0025】
検出された障害物Sとしては、歩行者、自転車、車いす、スモールモビリティ(例えば、キックボードなど)、バイク、動物等の移動物や、信号機、ガードレール、電信柱、縁石、コーン(パイロン)、ポール等の静止物がある。
【0026】
障害物追跡部12は、車両情報取得部120によって取得された車両200の状態(動いているか又は停止しているか等の状態)に応じた車両200との相対的な位置関係に基づいて、障害物検出部11によって検出された各障害物Sが移動物であるか又は静止物であるかの区別を行う。さらに、障害物追跡部12は、障害物Sが移動物である場合はその移動物の移動方向や移動速度を求める。
【0027】
なお、障害物追跡部12は、時系列の障害物Sの移動方向や移動速度に基づいて、その後の障害物Sの移動状況(定速で移動し続けるか、加速するか、減速するか、又は停止するか等)の予測も行う。
【0028】
そして、障害物特定部10は、障害物追跡部12によって得られた各障害物Sを画像P0において特定する。例えば、障害物特定部10は、障害物Sに外接するよりもわずかに大きく設定された矩形枠Kによって障害物Sを囲んで、矩形枠Kで囲まれた領域である障害物領域Rとして障害物Sを特定する。また、障害物Sを囲む枠は、矩形ではなく、障害物Sの輪郭を縁取った形状の枠でもよい。
【0029】
運転者情報取得部30は、運転者撮影カメラ130によって撮影された運転者の顔に基づいて、運転席に座った運転者の視界に関する情報の一例として、運転者の目の位置を取得する。運転者情報取得部30が取得する情報は、運転者が見ている方向を算出することができる情報であればよく、例えば運転者の頭の位置に関する情報等もさらに取得することができる。
【0030】
遮蔽領域特定部40は、Aピラー151,152によって運転者の視界が遮られている範囲である遮蔽範囲Nを特定する。遮蔽領域特定部40は、より具体的には、例えば、運転者情報取得部30によって取得された運転者の目の位置と、予め記憶された、車両200において右側Aピラー152が設置されている位置との相対的な位置関係に基づいて、運転者の目の位置から見ることのできる車両200の前方及び右側方の視界範囲のうち、右側Aピラー152によって運転者の視界が遮られている範囲である遮蔽範囲N(図2参照)を特定する。
【0031】
さらに、遮蔽領域特定部40は、カメラR112によって撮像された画像P0を、運転者情報取得部30によって検出された運転者の目の位置を視点とした画像(運転者視点画像P1)に視点変換する。
【0032】
図4はカメラR112によって撮像された画像P0を、運転者の目の位置に基づいて運転者視点画像P1に変換した一例である。この運転者視点画像P1は、図4に示すように、カメラR112によって撮像された画像P0における被写体を含み、運転者の目の位置において運転者の肉眼で視認される視界を予想した画像である。
【0033】
図5は、運転者の肉眼で実際に視認された像p1の一例を示す図である。運転者の肉眼で実際に視認された像p1において、運転者は、右側Aピラー152によって遮られた遮蔽範囲Nの背後に存在する被写体を視認することはできない。
【0034】
これに対して、運転者視点画像P1は、右側Aピラー152等の車体の構造物の外側に設けられたカメラR112で撮像された画像P0を運転者の目の位置等の情報に基づいて視点変換した画像であるため、運転者視点画像P1には、遮蔽範囲Nの背後に存在する被写体も写った画像となっている。
【0035】
そして、遮蔽領域特定部40は、運転者視点画像P1において、運転者の肉眼で視認される像p1における右側Aピラー152による遮蔽範囲Nに対応する遮蔽領域N′を、図6に示すように特定する。
【0036】
ここで、障害物特定部10は、画像P0において特定された障害物Sを運転者視点画像P1における障害物領域R′として特定する。障害物特定部10は、例えば、視点変換前の画像P0において設定された矩形枠Kを、運転者視点画像P1に反映する。この場合、障害物特定部10は、障害物Sに外接するよりもわずかに大きく設定された矩形枠K′となるように矩形枠Kを変形して矩形枠K′とし、矩形枠K′で囲まれた領域を、障害物領域R′として特定してもよい。矩形枠K、矩形枠K′又は障害物Sの輪郭を縁取った形状の枠で囲まれた領域内が、運転者視点画像P1における障害物領域R′である。
【0037】
そして、遮蔽領域特定部40は、遮蔽領域N′に障害物領域R′が重なるか否かを判定する。運転者の目の位置による肉眼での像p1(図5)において、右側Aピラー152によって遮られる遮蔽範囲Nに障害物領域R′の一部が入って、その障害物領域R′の一部が運転者に見えない状態か、又は右側Aピラー152によって遮られる遮蔽範囲Nに障害物領域R′の全てが入って、その障害物領域R′の全体が運転者に見えない状態かのいずれかであるとき、遮蔽領域特定部40は、遮蔽領域N′に障害物領域R′が重なると判定する。
【0038】
一方、運転者の目の位置による肉眼での像p1において、右側Aピラー152によって遮られる遮蔽範囲Nに、障害物領域R′の一部さえも入っていないとき、遮蔽領域N′に障害物領域R′が重ならないと判定する。これは、右側Aピラー152によって遮られた障害物領域R′が存在せず、運転者が障害物領域R′の全体を十分に確認できることを意味する。
【0039】
遮蔽面積割合算出部50は、障害物領域R′のうち遮蔽領域N′に重なることで運転者の視界から遮られた面積M1が障害物領域R′の全体の面積M0に占める割合である遮蔽面積割合(=M1/M0)[%]を算出する。このとき、遮蔽面積割合算出部50は、遮蔽領域特定部40が遮蔽領域N′に障害物領域R′が重なると判定した領域について、遮蔽面積割合を計算する。
【0040】
例えば、運転者視点画像P1における障害物領域R′の全体の面積M0と、各障害物領域R′が遮蔽領域N′に重なる範囲の面積M1をそれぞれ算出する。そして、遮蔽領域N′に重なることで遮られた範囲の面積M1がその障害物領域R′の全体の面積M0に対する割合である遮蔽面積割合(=M1/M0)[%]を算出する。
【0041】
なお、運転者視点画像P1に障害物領域R′が複数存在する場合、遮蔽面積割合は障害物領域R′ごとに算出される。
【0042】
衝突可能性判定部20は、車両情報取得部120によって取得された車両200の状態(例えば、速度や舵角、方向指示器の動作状態)と、障害物特定部10によって特定された各障害物Sとに基づいて、車両200と障害物Sとの衝突の可能性を判定する。
【0043】
すなわち、所定時間経過後における、車両200の動作状態に基づいて予測される車両200の今後の位置と、障害物特定部10によって特定された各障害物領域Rの状態(移動方向や移動速度)に基づいて予測される各障害物領域Rの今後の位置とが、重なる場合は、衝突可能性判定部20は、所定時間経過後に、車両200と障害物Sとが衝突する可能性があると判定する。
【0044】
一方、所定時間経過後における、車両200の速度や舵角等の車両200の動作状態に基づいて予測される車両200の今後の位置と、障害物特定部10によって特定された障害物領域Rの状態に基づいて予測される障害物領域Rの今後の位置とが、重ならない場合は、衝突可能性判定部20は、所定時間経過後に、車両200と障害物Sとが衝突する可能性が無いと判定する。
【0045】
なお、衝突可能性判定部20は、車両情報取得部120が取得した車両200の状態に基づいて、その状態が継続した状態(例えば、一定速度、一定舵角で動作している場合は、所定時間経過後も一定速度、一定舵角を継続している状態、又は例えば、一定加速度、一定角加速度の舵角で動作している場合は、所定時間経過後も一定加速度、一定角加速度を継続している状態)であることを前提として、車両200の、所定時間経過後の位置を予測する。
【0046】
ここで、例えば、図2に示すように、車両200が交差点内の右折車線において、右折のための右方向の方向指示器を点滅させた状態で一時停止し、交差点の右側の横断歩道を障害物Sが移動している状況においては、衝突可能性判定部20が、車両200の車速0[km/h]を前提として予測した今後の位置は、現在の位置と同じになる。したがって、衝突可能性判定部20は、交差点の右側の横断歩道を移動している障害物Sと衝突する可能性は無いと判定することになる。
【0047】
しかし、交差点内の右折車線で停止している車両200は、対向する反対車線を走行する他の車両の通行が途切れた場合や、交差点の右側の横断歩道に障害物Sがいないと判断した場合は、停止状態(車速0[km/h])から発進して右折することが起こりうる。
【0048】
そこで、衝突可能性判定部20は、単に車両200の状態が継続することを前提として今後の位置を予測するだけでなく、方向指示器の動作状態(左右いずれかの方向指示灯の点滅状態または消灯状態)等の車両情報をも加味して、車両200の今後の位置を予測し、所定時間経過後に、車両200と障害物Sとが衝突する可能性の有無を判定する。
【0049】
なお、衝突可能性判定部20は、図示を省略したナビゲーション装置により取得された地図情報を車両情報に組み合わせて、衝突可能性の有無を判定することできる。
【0050】
図7はディスプレイR142にインテリアビューP5を表示した状態を示す模式図であり、図8はディスプレイR142を無表示P6とした状態を示す模式図である。表示制御部60は、衝突可能性判定部20による判定結果と、遮蔽面積割合算出部50による遮蔽面積割合と、に基づいて、右側Aピラー152に重ねて設けられたディスプレイR142に表示する画像等の表示内容を切り替える制御を行う。
【0051】
具体的には、衝突可能性判定部20による判定結果が、車両200と障害物Sとの衝突の可能性が無いとの判定結果の場合は、表示制御部60は、遮蔽面積割合算出部50による遮蔽面積割合に拘わらず、ディスプレイR142に、例えば図7に示すような、車室内の装飾となる模様で構成されたインテリアビューP5を表示し、又は図8に示すように無表示P6とするように制御する。なお、この場合、省エネルギの観点から、表示制御部60は、ディスプレイR142を無表示P6とする、つまり、何も表示しない状態に制御することが好ましい。
【0052】
なお、インテリアビューP5は、運転者が画面を注視するのを防ぐ観点から、静止画であることが好ましい。インテリアビューP5としては、複数種類の模様で構成された画像に限らず、単一の模様で構成された画像や、模様の無い、均一な単一色やグラデーションを有する単一色で構成された静止画でもよい。なお、インテリアビューP5として、動画を適用する場合は、運転者の注意を惹かないようなゆっくりした動きのものであることが好ましい。
【0053】
図9はディスプレイR142にインテリアビューP5と警報表示P7を表示した状態を示す模式図、図10はディスプレイR142を無表示P6とするとともに、警報表示P7を表示した状態を示す模式図である。
【0054】
衝突可能性判定部20による判定結果が、車両200と障害物Sとの衝突の可能性が有るとの判定結果であり、かつ、遮蔽面積割合算出部50による障害物領域R′の遮蔽面積割合が80[%]未満の場合は、表示制御部60は、ディスプレイR142に、透過ビューP2を表示しないように制御する。透過ビューP2は、運転者視点画像P1のうち遮蔽領域N′を切り出した画像である。
【0055】
さらに、表示制御部60は、ディスプレイR142に、右側Aピラー152によって遮られて一部を視認することのできない障害物Sが存在することを運転者に警告する警報表示P7を表示するように制御する。警報表示P7は、例えばディスプレイR142の外周縁部を赤色で発光させる表示である。
【0056】
表示制御部60は、ディスプレイR142に、例えば図9に示すように、インテリアビューP5を表示するとともに、警報表示P7を表示する。なお、表示制御部60は、ディスプレイR142を、図10に示すように、無表示P6とするとともに、警報表示P7を表示してもよい。
【0057】
図11はディスプレイR142に運転者視点画像P1のうち遮蔽領域N′内の画像である透過ビューP2と警報表示P7を表示した状態を示す模式図である。
【0058】
衝突可能性判定部20による判定結果が、車両200と障害物Sとの衝突の可能性が有るとの判定結果であり、かつ、遮蔽面積割合算出部50による障害物領域R′の遮蔽面積割合が80[%]以上の場合、表示制御部60は、運転者視点画像P1のうち遮蔽領域N′内の画像を切り出して、切り出した画像を透過ビューP2としてディスプレイR142に表示する。表示制御部60は、例えば図11に示すように、透過ビューP2を表示するとともに、警報表示P7を表示する。なお、表示制御部60は、ディスプレイR142に警報表示P7を表示しなくてもよい。
【0059】
<作用>
以上のように構成された表示制御装置100は、以下のように動作する。図12は、表示制御装置100の動作の流れを説明するフローチャートである。なお、以下の説明は、車両200の前右方の視界の被写体についてであるが、前左方の視界の被写体についても前右方の視界の被写体についてと同様である。
【0060】
車両200が走行可能状態に始動すると、表示制御装置100は電源がオンとなって動作を開始する。まず、表示制御装置100が障害物特定処理を行う(図2においてS1)が、表示制御装置100の電源が最初にオンになったときは、ディスプレイR142に、デフォルトで、後述するインテリアビューP5(図7参照)を表示させるか又は無表示P6(図8参照)に制御している。
【0061】
障害物特定処理は、具体的には、障害物特定部10が、カメラR112によって撮像された画像P0に基づいて障害物Sを検出し、自車両200の周辺に障害物Sが存在するか否かを判定する(S2)。
【0062】
自車両200の周辺に障害物Sが存在しないと判定したとき(S2においてNOの場合)は、表示制御部60は、ディスプレイR142に透過ビューP2を表示しない。表示制御部60は、ディスプレイR142に、図7に示したインテリアビューP5を表示するか、又は図8に示した無表示P6とする(S11)。
【0063】
自車両200の周辺に障害物Sが存在すると判定したとき(S2においてYESの場合)は、表示制御装置100は遮蔽領域特定処理を行う(S3)。遮蔽領域特定処理は、具体的には、遮蔽領域特定部40が、運転者視点画像P1における、運転者の目の位置から肉眼で見たときの右側Aピラー152による遮蔽範囲Nに相当する遮蔽領域N′を特定し、遮蔽領域N′に障害物Sが存在するか否かの判定を行う(S4)。この遮蔽領域N′に障害物Sが存在するか否かの判定処理は、運転者視点画像P1における遮蔽領域N′に障害物領域R′が重なるか否かの判定処理である。
【0064】
遮蔽領域N′に障害物領域R′が重なる場合は、運転者の目の位置から肉眼で見た障害物Sの一部又は全部が、右側Aピラー152による遮蔽範囲Nに重なって見えなくなっている状態であることを意味する。
【0065】
遮蔽領域特定部40が、遮蔽領域N′に障害物領域R′が重なっていないと判定したとき(S4においてNOの場合)、表示制御部60は、ディスプレイR142に、図7に示したインテリアビューP5を表示するか、又は図8に示した無表示P6とする(S11)。
【0066】
遮蔽領域特定部40が、遮蔽領域N′に障害物領域R′が重なっていると判定したとき(S4においてYESの場合)、表示制御装置100は、衝突可能性判定処理を行う(S5)。衝突可能性判定処理は、具体的には、衝突可能性判定部20が、車両200と障害物Sとの衝突の可能性の有無を判定する(S6)。
【0067】
そして、衝突の可能性が無いと判定したとき(S6においてNOの場合)は、表示制御部60は、ディスプレイR142に、図7に示したインテリアビューP5を表示するか、又は図8に示した無表示P6とする(S11)。
【0068】
衝突の可能性が有ると判定したとき(S6においてYESの場合)は、表示制御装置100は障害物遮蔽率算出処理を行う(S7)。障害物遮蔽率算出処理は、具体的には、遮蔽面積割合算出部50が、運転者視点画像P1における障害物領域R′の面積M0と、遮蔽領域特定部40によって特定された運転者視点画像P1における遮蔽領域N′に重なった障害物領域R′の面積M1とに基づいて遮蔽面積割合(=M1/M0)[%]を算出し、遮蔽面積割合が80[%]未満であるか否かを判定する(S8)。
【0069】
遮蔽面積割合算出部50によって算出された遮蔽面積割合が80[%]未満でないと判定したとき(S8においてNOの場合)、表示制御部60は、ディスプレイR142に、図11に示すように、運転者視点画像P1のうち遮蔽領域N′内の画像である透過ビューP2を表示する。表示制御部60は、ディスプレイR142に、透過ビューP2を表示するとともに、ディスプレイR142の外周縁部を赤色で発光させる警報表示P7を表示してもよい(S9)。
【0070】
このように、障害物領域R′の全体の面積のうち、遮蔽領域N′に重なって遮蔽された面積の割合が所定の値(例えば80[%])よりも大きいとき、表示制御部60は、ディスプレイR142に透過ビューP2を表示する。
【0071】
なお、遮蔽領域N′内に重なる障害物領域R′が複数ある場合、遮蔽面積割合が所定の値以上である障害物領域R′が一つでもあれば、表示制御部60は、ディスプレイR142に透過ビューP2を表示する。この場合、表示制御部60は、ディスプレイR142に、遮蔽面積割合が所定の値未満である障害物領域R′も含めて遮蔽領域N′内に重なる全ての障害物領域R′を透過ビューP2として表示する。
【0072】
遮蔽領域N′内に重なる複数の障害物領域R′の全ての遮蔽面積割合が所定の値を超えない場合、表示制御部60は、ディスプレイR142に、透過ビューP2を表示しない。
【0073】
一方、遮蔽面積割合が80[%]未満であると判定したとき(S8においてYESの場合)は、表示制御部60は、ディスプレイR142に、図9に示すように、インテリアビューP5を表示するとともに警報表示P7を表示するか、又は無表示P6としたうえで警報表示P7を表示する(S10)。
【0074】
このように、障害物領域R′の全体の面積のうち、遮蔽領域N′に重なって遮蔽された面積の割合が所定の値(例えば80[%])よりも小さいとき、表示制御部60は、ディスプレイR142に、透過ビューP2を表示しない。運転者が肉眼で障害物Sの大部分を確認できるときは透過ビューP2を表示しないことで、頻繁に透過ビューP2が表示されて感じる煩わしさや、表示された透過ビューP2に対して感じる違和感を軽減することができる。
【0075】
そして、S9、S10又はS11のいずれかの処理によって、ディスプレイR142に表示を行った後、車両200の主電源が切断されることで表示制御装置100の電源がオフにされるまで(S12)はS1に戻って(S12においてNOの場合)、S1からS12までの処理を繰り返し、車両200の主電源が切断されて、表示制御装置100の電源がオフにされるとき(S12においてYESの場合)、表示制御装置100の電源をオフとする。
【0076】
上記の表示制御装置100の説明は、主に、車両200の前右方の視界の被写体についてのものであるが、車両200の前左方の視界の被写体についても、前右方の視界の被写体と同様に処理を行う。すなわち、表示制御装置100は、カメラL111で撮像された前左方の画像P0に基づいて、前左方の範囲における障害物Sを検出して障害物領域Rを特定し、運転者視点画像P1に変換した後に、車両200と障害物Sとの衝突の可能性の有無と、衝突する可能性のある障害物Sに対応した障害物領域R′の、左側Aピラー151によって遮蔽される面積割合とに応じて、左側Aピラー151に設置されたディスプレイL141に、表示する画像を切り替える。
【0077】
<効果>
以上、詳細に説明したように、本実施形態の表示制御装置100は、車両200が車両200の周囲の障害物と衝突する可能性が有り、かつ、車両200の運転席に座った運転者の目の位置から肉眼で前右方の被写体を見たときに、右側Aピラー152によって障害物Sが一定(面積割合として、例えば80[%])以上隠されて、運転者がその障害物Sを視認しにくい状況のときは、右側Aピラー152に設けられたディスプレイR142に、その障害物Sの画像(透過ビューP2)を表示する(図11)。
【0078】
これにより、運転者は、右側Aピラー152によって隠されていない前右方の視界の被写体については、運転者自身の肉眼による像として視認することができ、また、運転者自身の肉眼では視認することができない右側Aピラー152による遮蔽範囲Nについては、右側Aピラー152に設けられたディスプレイR142に表示された、運転者視点画像P1における遮蔽領域N′内の画像を透過ビューP2として視認することができる。
【0079】
つまり、運転者は、右側Aピラー152に設けられたディスプレイR142に表示された遮蔽領域N′内の画像である透過ビューP2を、あたかも右側Aピラー152を透過して視認した画像のように錯覚し、前右方の視界の被写体を、肉眼により視認された像とディスプレイR142に表示された画像とが繋がった、疑似的に単一の像として視認することができる。
【0080】
したがって、運転者から視認しにくく、衝突の可能性が有る障害物Sの見落としを低減することができる。
【0081】
一方、警報表示P7を表示することで、右側Aピラー152に設けられたディスプレイR142に表示された画像は、運転者の肉眼で実際に見えている像でないことを、運転者に認識させることで、ディスプレイR142に表示された画像による過信に対して、注意を喚起することができる。
【0082】
また、本実施形態の表示制御装置100は、車両200が車両200の周囲の障害物と衝突する可能性が有る場合であっても、遮蔽領域N′に重なる障害物領域R′が一定(面積割合として、例えば80[%])未満しか隠されていないとき、右側Aピラー152に設けられたディスプレイR142に、その障害物領域R′の透過ビューP2を表示しないで、インテリアビューP5と警報表示P7を表示し(図9)、又は警報表示P7のみを表示する(図10)。
【0083】
遮蔽領域N′に重なる障害物領域R′が一定未満しか隠されていない状態は、車両200の運転席に座った運転者の目の位置から肉眼で前右方の被写体を見たときに、右側Aピラー152によって障害物Sが一定未満しか隠されていない状態に対応する。逆に言えば、この場合、障害物Sが遮蔽領域N′の外側に一定以上の割合で露出しているため、運転者は、肉眼で、その障害物Sを十分に視認することができる。
【0084】
したがって、運転者が、肉眼で、その障害物Sを十分に視認することができるときは、右側Aピラー152に設けられたディスプレイR142に、その障害物Sの画像(透過ビューP2)を表示する必要性が低い。
【0085】
本実施形態の表示制御装置100は、このように、ディスプレイR142に障害物Sを表示する必要性の低いときに、その障害物Sの画像(透過ビューP2)を表示しないことにより、肉眼による像とディスプレイR142に表示された画像との間で生じ得る、差異(位置ずれ、色彩ずれ、明るさずれ等)による違和感を、運転者に与える機会を減らすことができる。また、表示制御装置100は、頻繁に透過ビューP2が表示されることで、運転者が感じる煩わしさを軽減することができる。
【0086】
また、表示制御装置100が、ディスプレイR142に障害物Sを表示する必要性の低いときに、インテリアビューP5さえも表示しない無表示P6とすることで、ディスプレイR142の消費電力を低減することができ、省エネルギを図ることができる。ディスプレイR142の消費電力を低減することにより、ディスプレイR142の寿命を長くすることもできる。
【0087】
なお、このように、ディスプレイR142に障害物Sを表示する必要性の低い場合であっても、障害物Sの一部が右側Aピラー152に隠されている状態であるため、表示制御装置100がディスプレイR142に警報表示P7を表示することで、右側Aピラー152に障害物Sの一部が隠されていることの注意を、運転者に与えることができる。
【0088】
表示制御装置100が、ディスプレイR142に警報表示P7を表示する表示の形態としては、上述した枠状の表示に限定されるものではなく、種々の形状の表示を適用することができる。また、警報表示P7は、点灯し続ける態様に限定されず、点滅する態様や、明暗を繰り返す形態であってもよい。
【0089】
図13は障害物Sが遮蔽された側に対応したディスプレイR142の左縁部142Lだけを警報表示P7として発光させた状態を示す模式図、図14は障害物Sが遮蔽された側に対応したディスプレイR142の右縁部142Rだけを警報表示P7として発光させた状態を示す模式図である。
【0090】
また、警報表示P7は、ディスプレイR142の左右両縁部のうち、右側Aピラー152によって隠されている障害物Sの部分と露出している部分との境界に対応した側の縁部だけを、発光させる態様として適用することもできる。
【0091】
例えば、図13に示すように、右側Aピラー152に対して、障害物Sが左方から右方に移動して右側Aピラー152に隠れ始めたとき、表示制御装置100は、ディスプレイR142の左縁部142Lだけを警報表示P7として発光させ、他の縁部は発光させず、図14に示すように、障害物Sが右側Aピラー152に隠れた状態から右側に露出し始めたとき、表示制御装置100は、ディスプレイR142の右縁部142Rだけを警報表示P7として発光させ、他の縁部は発光させないようにする。
【0092】
表示制御装置100は、上述した以外に、ディスプレイR142の縁部のうち障害物Sが重なる領域だけを光らせてもよい。例えば、図13において、左縁部142Lの下半分に障害物Sが重なっているため、表示制御装置100は、ディスプレイR142の左縁部142Lの下半分を発光させて上半分を発光させない例も考えられる。
【0093】
これにより、表示制御装置100は、運転者に対して、障害物Sの隠れている部分や移動している向きの目安を与えることができる。
【0094】
また、本実施形態の表示制御装置100は、車両200が車両200の周囲の障害物と衝突する可能性が無い場合は、右側Aピラー152に設けられたディスプレイR142に、インテリアビューP5のみを表示し(図7)、又は無表示P6とする(図8)。
【0095】
車両200が障害物と衝突する可能性が無い場合は、運転者の目の位置から肉眼で前右方の被写体を見たときに、右側Aピラー152によって障害物Sが隠されているか否かに拘わらず、運転者が、障害物に対して特段の注意を払う必要が無い。この場合、右側Aピラー152に設けられたディスプレイR142に、その障害物領域R′の透過ビューP2を表示する必要性が無いか、又は必要性が極めて低い。
【0096】
本実施形態の表示制御装置100は、このように、ディスプレイR142に障害物Sを表示する必要性の低いときに、透過ビューP2を表示しないことにより、肉眼による像とディスプレイR142に表示された画像との間で生じ得る、差異(位置ずれ、色彩ずれ、明るさずれ等)による違和感を、運転者に与える機会を減らすことができる。また、表示制御装置100は、頻繁に透過ビューP2が表示されることで、運転者が感じる煩わしさを軽減することができる。
【0097】
また、表示制御装置100が、ディスプレイR142に透過ビューP2を表示する必要性の低いときに、インテリアビューP5さえも表示しない無表示P6とすることで、ディスプレイR142の消費電力を低減することができ、省エネルギを図ることができる。ディスプレイR142の消費電力を低減することにより、ディスプレイR142の寿命を長くすることもできる。
【0098】
本実施形態の表示制御装置100は、衝突可能性判定部20を備えていて、衝突可能性判定部20が、衝突可能性判定処理(S5)を行って、衝突の可能性が有ると判定した場合(図12のS6においてYESの場合)に、遮蔽率算出処理(S7)を行うが、本発明に係る表示制御装置は、衝突可能性判定部を備えなくてもよい。
【0099】
衝突可能性判定部を備えない本発明の表示制御装置は、遮蔽領域特定処理(S3)における障害物の有無の判定処理(S4)の後に、障害物遮蔽率算出処理(S7)を行って、遮蔽面積割合算出部50によって算出された遮蔽面積割合に応じて(S8)、表示制御部60による、ディスプレイR142に対する表示処理(S9又はS10)を切り替えるようにすればよい。
【0100】
本実施形態の表示制御装置100は、表示制御装置100の電源のオン、オフの切替えを、車両200の主電源のオン、オフに応じて、自動的にオン、オフとなるように設定されているが、本発明に係る表示制御装置は、運転者の意思に基づいて、運転者が手動でスイッチ操作を行うことで、電源のオン、オフを切り替えるようにしてもよい。
【0101】
また、本発明に係る表示制御装置は、車速が低速(例えば、30[km/h]以下)の場合にのみ作動するように、車両情報取得部120で取得された車両200の車速が低速の範囲で電源をオンとし、車両200の車速が低速を超えた高速になったときは、電源をオフに切り替えるようにしてもよい。
【0102】
また、本発明に係る表示制御装置は、画像を取得するカメラを複数有し、複数のカメラによる障害物の撮像範囲が重複する範囲については、その重複した範囲を撮像範囲とするカメラのいずれかが故障したり又はレンズが汚れたりした場合に、その故障の状態や汚れの状態に応じて、ディスプレイR142やディスプレイL141に表示する画像を、状態の良いカメラの画像に切り替えるようにしてもよい。
【0103】
本実施形態の表示制御装置100は、運転席に座った運転者の肉眼による被写体の視認を遮る車体の構造物として、右側Aピラー、左側Aピラーを適用したものであるが、本発明に係る表示制御装置は、運転席に座った運転者の肉眼による被写体の視認を遮る車体の構造物として、右側Aピラーや左側Aピラーに限定されず、車両200のボンネットや、インストゥルメントパネルや、ドアなどを適用することもできる。
【0104】
また、本発明に係る表示制御装置は、車両を後退させる場面での適用として、運転席に座った運転者の肉眼による後方視での被写体の視認を遮る車体の構造物として、左右のBピラーやCピラーなどを適用することもできる。
【0105】
また、実施形態の表示制御装置100は、衝突可能性判定部20の判定結果が、衝突可能性がある又は衝突可能性がない、の2通りである例を説明したが、本発明に係る表示制御装置は、衝突可能性の判定結果は、数値等の段階的なものであってもよい。例えば、衝突可能性判定部20は、車両200の状態と、特定された各障害物Sとに基づいて、車両200と障害物Sとの衝突の可能性を0~100[%]の値として算出してもよい、この場合、衝突可能性が所定の値以上のとき、衝突可能性があると見なして、表示制御部60が障害物遮蔽率算出処理を実行し、衝突可能性が所定の値よりも小さいとき、衝突可能性が無いと見なして、表示制御部60は透過ビューを表示しない。
【符号の説明】
【0106】
10 障害物特定部
30 運転者情報取得部
40 遮蔽領域特定部
50 遮蔽面積割合算出部
60 表示制御部
100 表示制御装置
112 カメラR
142 ディスプレイR
152 右側Aピラー
200 車両
M0 面積
M1 面積
N′ 遮蔽領域
P1 運転者視点画像
P2 透過ビュー
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14