特開 2024-85067 視界支援表示装置、視界支援表示システム、および視界支援表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024085067

(43)【公開日】2024-06-26

(54)【発明の名称】視界支援表示装置、視界支援表示システム、および視界支援表示方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240619BHJP

   G01S 17/89 20200101ALI20240619BHJP

【ＦＩ】

G08G1/16 D

G01S17/89

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022199394

(22)【出願日】2022-12-14

(71)【出願人】

【識別番号】000001133

【氏名又は名称】株式会社小糸製作所

(74)【代理人】

【識別番号】110001667

【氏名又は名称】弁理士法人プロウィン

(72)【発明者】

【氏名】堀部 剛治

【テーマコード（参考）】

5H181

5J084

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF13

5H181FF27

5H181FF33

5H181LL01

5H181LL04

5H181LL08

5H181LL15

5J084AA01

5J084AA04

5J084AA05

5J084AA10

5J084AB07

5J084AD01

5J084BA03

5J084BA48

5J084CA03

5J084CA31

5J084CA34

5J084EA22

(57)【要約】

【課題】自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供する。
【解決手段】対象物を検知するＬｉＤＡＲ（８１）と、ＬｉＤＡＲ（８１）では検知できない潜在対象物を周囲の実画像と重畳させてモニタ（８３）に表示させる制御部（１１）と、を備え、制御部（１１）は、潜在対象物の視認を遮っている対象物と関連付けて、潜在対象物を報知する画像を表示部（１１）に表示させることを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象物を検知する検知部と、
前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備え、
前記制御部は、前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする視界支援表示装置。

【請求項2】

請求項１に記載の視界支援表示装置であって、
前記制御部は、前記潜在対象物の前記表示部への表示に際し、前記潜在対象物の視認を遮っている対象物を透視して前記潜在対象物を示すマークを表示させることを特徴とする視界支援表示装置。

【請求項3】

請求項１に記載の視界支援表示装置であって、
前記制御部は、公共検知装置による公共検知情報に含まれ、前記検知部による対象物の検知情報には含まれない対象を前記潜在対象物とすることを特徴とする視界支援表示装置。

【請求項4】

請求項３に記載の視界支援表示装置であって、
前記潜在対象物を抽出する処理部と、
前記視界支援表示装置の周囲を撮像した前記実画像を取得する撮像部と、
前記視界支援表示装置の位置情報を取得する位置情報取得部と、
地図情報提供装置から前記位置情報による位置の周囲の地図情報を取得し、前記公共検知装置から前記公共検知情報を取得する通信部と、
前記表示部と、をさらに備え、
前記処理部は、前記位置情報、前記地図情報、前記検知情報、および前記公共検知情報を用いて前記潜在対象物を抽出することを特徴とする視界支援表示装置。

【請求項5】

請求項４に記載の視界支援表示装置であって、
前記検知部、および前記公共検知装置は、検知光によって対象物に複数の反射点を含む点群を形成するＬｉＤＡＲであって、
前記処理部は、前記地図情報と前記検知情報を合成した第１の点群データと、前記地図情報と前記公共検知情報を合成した第２の点群データとの差分データに基づいて前記潜在対象物を抽出することを特徴とする視界支援表示装置。

【請求項6】

請求項５に記載の視界支援表示装置であって、
前記差分データは、各々反射点の集合である複数の潜在対象物候補を含み、
前記処理部は、形状に基づいて前記潜在対象物候補を選別する第１の基準、および移動状態に基づいて前記潜在対象物候補を選別する第２の基準の少なくとも一方を適用して、前記潜在対象物候補から前記潜在対象物を抽出することを特徴とする視界支援表示装置。

【請求項7】

請求項５に記載の視界支援表示装置であって、
前記処理部は、前記第１の点群データに基づいて前記反射点が形成された対象物の背後に前記検知部が検知できない不検知領域を設定し、前記第２の点群データに含まれる点群のうち前記不検知領域に存在する点群を前記潜在対象物として抽出することを特徴とする視界支援表示装置。

【請求項8】

請求項１に記載の視界支援表示装置であって、
前記表示部が眼鏡型表示装置であることを特徴とする視界支援表示装置。

【請求項9】

請求項４から請求項７のいずれか１項に記載の視界支援表示装置と、
前記地図情報提供装置と、
前記公共検知装置と、を含むことを特徴とする視界支援表示システム。

【請求項10】

対象物を検知する検知部と、前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備えた視界支援表示装置を用いた視界支援表示方法であって、
前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする視界支援表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視界支援表示装置、視界支援表示システム、および視界支援表示方法に関する。

【背景技術】

【0002】

従来、車両の運転者の視界を支援する技術として、例えば車載カメラの実画像と、シンボル化した他車両、障害物等の車両周囲の環境情報を合成して、車載モニタに表示する技術が知られている。また、車両に搭載したＨＵＤ(Head Up Display)に、運転者が把握しやすいように加工された路面情報、あるいはナビゲーション情報等を重畳表示する技術が知られている。視界支援表示装置の一例として、特許文献１には、交差点の手前で、ポップアップノズルを車体前方に突き出し、カメラで交差点の左右両側方の領域を撮影し、カメラの映像を車室内のモニタに表示して、ドライバーに交差路上の他車両や歩行者の存在を早期に知らせる車両用視覚支援装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－０５６５０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の運転者にとって、人、他車両、障害物等（以下、「対象物」）の情報をいち早く知ることが重要であり、従来様々な検討がなされてきた。その主たる技術は、車両に対象物検知手段を設け、検知された周囲の対象物を、例えば車両に搭載された表示手段に表示させて、運転者に報知する構成である。しかしながら、人、車両等が多数存在し、通行、交通が錯綜した状況では、自車両の対象物検知手段で検知された対象物の情報だけでは不足する場面も想定される。すなわち、自車両の対象物検知手段では検知できないが、接近等が予測される対象物の存在を運転者が認識できれば、潜在的な危険をも回避することができると考えられる。

【0005】

そこで本発明は、上記従来の問題点に鑑みなされたものであり、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の視界支援表示装置は、対象物を検知する検知部と、前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備え、前記制御部は、前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする。

【0007】

このような本発明の視界支援表示装置では、制御部が、潜在対象物の視認を遮っている対象物と関連付けて、潜在対象物を報知する画像を表示部に表示させ、自装置では直接検知できない対象物の情報を取得し、報知することができる。このことにより、運転者が、接近等が予測される潜在対象物の存在を認識することができるので、潜在的な危険を回避することが可能となる。

【0008】

また、本発明の一態様では、前記制御部は、前記潜在対象物の前記表示部への表示に際し、前記潜在対象物の視認を遮っている対象物を透視して前記潜在対象物を示すマークを表示させることを特徴とする。

【0009】

また、本発明の一態様では、前記制御部は、公共検知装置による公共検知情報に含まれ、前記検知部による対象物の検知情報には含まれない対象を前記潜在対象物とすることを特徴とする。

【0010】

また、本発明の一態様では、前記潜在対象物を抽出する処理部と、前記視界支援表示装置の周囲を撮像した前記実画像を取得する撮像部と、前記視界支援表示装置の位置情報を取得する位置情報取得部と、地図情報提供装置から前記位置情報による位置の周囲の地図情報を取得し、前記公共検知装置から前記公共検知情報を取得する通信部と、前記表示部と、をさらに備え、前記処理部は、前記位置情報、前記地図情報、前記検知情報、および前記公共検知情報を用いて前記潜在対象物を抽出することを特徴とする。

【0011】

また、本発明の一態様では、前記検知部、および前記公共検知装置は、検知光によって対象物に複数の反射点を含む点群を形成するＬｉＤＡＲであって、前記処理部は、前記地図情報と前記検知情報を合成した第１の点群データと、前記地図情報と前記公共検知情報を合成した第２の点群データとの差分データに基づいて前記潜在対象物を抽出することを特徴とする。

【0012】

また、本発明の一態様では、前記差分データは、各々反射点の集合である複数の潜在対象物候補を含み、前記処理部は、形状に基づいて前記潜在対象物候補を選別する第１の基準、および移動状態に基づいて前記潜在対象物候補を選別する第２の基準の少なくとも一方を適用して、前記潜在対象物候補から前記潜在対象物を抽出することを特徴とする。

【0013】

また、本発明の一態様では、前記処理部は、前記第１の点群データに基づいて前記反射点が形成された対象物の背後に前記検知部が検知できない不検知領域を設定し、前記第２の点群データに含まれる点群のうち前記不検知領域に存在する点群を前記潜在対象物として抽出することを特徴とする。

【0014】

また、本発明の一態様では、前記表示部が眼鏡型表示装置であることを特徴とする。

【0015】

上記課題を解決するために、本発明の視界支援表示システムは、上記の視界支援表示装置と、前記地図情報提供装置と、前記公共検知装置と、を含むことを特徴とする。

【0016】

上記課題を解決するために、本発明の視界支援表示方法は、対象物を検知する検知部と、前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備えた視界支援表示装置を用いた視界支援表示方法であって、前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする。

【発明の効果】

【0017】

本発明では、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することができる。

【図面の簡単な説明】

【0018】

【図1】実施形態に係る、（ａ）は視界支援表示装置を搭載した車両の一例を示す上面図、（ｂ）は公共検知装置の一例を示す側面図である。

【図2】実施形態に係る視界支援表示装置の構成の一例を示すブロック図である。

【図3】実施形態に係る、（ａ）は地図情報の一例を示す上面図、（ｂ）は自車両に設置されたＬｉＤＡＲによる点群の一例を示す上面図である。

【図4】実施の形態に係る、（ａ）は信号柱５１ａに設置されたＬｉＤＡＲ５２ａによる点群の一例を示す上面図、（ｂ）は信号柱５１ｂに設置されたＬｉＤＡＲ５２ｂによる点群の一例を示す上面図である。

【図5】実施の形態に係る、（ａ）は合成された公共検知装置による点群を示す上面図、（ｂ）は潜在対象物候補の点群を示す上面図である。

【図6】実施の形態に係る、（ａ）は選別された潜在対象物候補の点群を示す上面図、（ｂ）は潜在対象物の点群を示す上面図である。

【図7】実施形態に係る視界支援表示装置の、（ａ）は人の点群の一例を示す模式図、（ｂ）はモニタの表示の一例を示す模式図である。

【図8】実施形態に係る視界支援表示装置の処理の流れの一例を示すフローチャートである。

【図9】実施の形態に係る、（ａ）、（ｂ）は不検知領域を説明する模式図、（ｃ）はスマートグラスによる表示画像の一例を示す模式図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について、図面を参照して詳細に説明する。各図面に示される同一または同等の構成要素、部材、処理には同一の符号を付すものとし、適宜重複した説明は省略する。以下の実施形態では、本実施形態に係る視界支援表示装置を、車両等の移動体に搭載する形態を例示して説明する。また、本実施形態では運転者が運転する通常の形態の車両を想定して説明するが、自動運転や先進運転支援システム（ADAS）を実装した車両に適用した形態としてもよい。

【0020】

本実施形態に係る視界支援表示装置は、自車両に搭載した検知手段では検知できない対象物（以下、「潜在対象物」）を表示する。潜在対象物としては人、他の車両や、標識、信号機等の地物等任意の対象物であってよい。本実施形態では潜在対象物の一例として人を例示して説明する。ただし、この場合の人には自転車に乗った人、あるいはキックボードを操作する人等を含む。また、本実施形態に係る視界支援表示装置は、公共検知装置からの検知情報を取得することができる。本実施形態に係る公共検知装置とは、信号柱、街路灯、電柱、標識、カーブミラー、公共建築物等の公共構造物に設けられた対象物の検知手段をいい、当該公共構造物の周囲の対象物を常時検知している。本実施形態では、公共検知装置の一例として、信号柱に設けられた検知手段を例示して説明する。

【0021】

図１から図９を参照して、本実施形態に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法について説明する。図１（ａ）は本実施形態に係る視界支援表示装置を搭載した車両の一例を示す上面図である。図１（ａ）に示すように、本実施形態に係る車両８０は、視界支援表示装置１０（不図示）の一部である、検知部としてのＬｉＤＡＲ(Light Detection And Ranging)８１、撮像部としてのカメラ８２（ステレオでも単眼でもよい）、表示部としてのモニタ８３を備えている。視界支援表示装置１０の構成の詳細は後述する。

【0022】

ＬｉＤＡＲ８１は、レーザ光を対象物に照射し、照射したレーザ光が対象物で反射して返ってくるまでの時間を計測し、対象物までの距離や方向を測定する測距装置である。ＬｉＤＡＲ８１によって、対象物の位置、大きさ等に関する情報を取得することができる。図１（ａ）に示すように、視界支援表示装置１０に係るＬｉＤＡＲ８１は、一例として車両８０の天井に配置されている。しかしながら、ＬｉＤＡＲ８１の配置位置は天井に限らず、走査範囲等を考慮して適切な位置に配置してよい。ここで、本実施形態では測距装置としてＬｉＤＡＲ８１を用いる形態を例示して説明するがこれに限らず、カメラ、超音波センサ、ミリ波レーダ等を用いてもよい。

【0023】

カメラ８２は車両８０の前方を撮像する撮像装置であり、図１（ａ）に示すように、一例として車両８０のフロントウィンドウの上部に配置されている。しかしながらこれに限らず、例えば車両８０の後方を撮像するために、カメラ８２を車両のリアウィンドウの上部に配置してもよい。モニタ８３は、カメラ８２が撮像した画像、潜在対象物を示す画像等を映し出すための、例えば液晶画面による表示装置である。モニタ８３は、図１（ａ）に示すように、例えば運転席近傍の、運転者により視認可能な位置に配置されている。

【0024】

図１（ｂ）は検知手段が設置された公共検知装置５０を示す側面図である。図１（ｂ）に示すように、公共検知装置５０は、信号機５５が設けられた信号柱５１に設置されたＬｉＤＡＲ５２、および通信装置５３を備えている。ＬｉＤＡＲ５２は、上記のＬｉＤＡＲ８１と同様の測距装置であり、同様にカメラ、超音波センサ、ミリ波レーダ等を用いてもよい。通信装置５３は、ＬｉＤＡＲ５２をＩＰ網等の通信ネットワークに接続する装置である。ＬｉＤＡＲ５２は、例えば路面Ｒ上の人６０や車両９０等を常時検知しており、検知した情報を常時、あるいは間欠的に通信装置５３を介して周囲に送信している。車両８０は、自車両の通信部（後述）を介して、ＬｉＤＡＲ５２の情報を取得することができる。ＬｉＤＡＲ５２の情報には後述の点群データが含まれ、必要な場合には対象物の位置（緯度、経度）、速度、進行方向等が含まれる場合もある。なお、公共検知装置５０自体の位置情報は、後述する地図情報提供装置が提供するＨＤマップに含まれている場合もある。ただしこれに限らず、通信装置５３に設けられたＲＯＭ等の記憶手段に位置情報を記憶させておき、車両８０との通信において当該位置情報も送るようにしてもよい。

【0025】

図２を参照して、視界支援表示装置１０の構成の一例について説明する。図２に示すように、視界支援表示装置１０は、制御部１１、ＬｉＤＡＲ８１、位置情報取得部としてのＧＮＳＳ(Global Navigation Satellite System)２０、運転情報取得部としてのＩＭＵ(Inertial Measurement Unit)２１、カメラ８２、およびモニタ８３を備えている。ＬｉＤＡＲ８１、ＧＮＳＳ２０、ＩＭＵ２１、カメラ８２、およびモニタ８３の各々は、制御部１１に接続されている。制御部１１は、処理部１２、制御信号生成部１３、および通信部１４を含む。

【0026】

制御部１１は、処理部１２、制御信号生成部１３、通信部１４、ＬｉＤＡＲ８１、ＧＮＳＳ２０、ＩＭＵ２１、カメラ８２、およびモニタ８３を制御する制御部である。制御部１１は、例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を含むマイクロコンピュータであってもよい。

【0027】

ＧＮＳＳ２０は全球測位衛星システムであり、航空機、船舶等の航法支援用として開発されたシステムである。本システムは、上空を周回するＧＰＳ衛星、当該ＧＰＳ衛星の追跡と管制を行う管制局、測位を行うための利用者の受信機で構成される。すなわち、本実施形態に係るＧＮＳＳ２０は、全球測位衛星システムからの情報を受信するための受信機である。車両８０の運転者は、ＧＮＳＳ２０によって、自車両の緯度、経度等を取得することができる。なお、ＧＮＳＳ２０は自車両の位置を取得することが目的であるので、位置を知ることができる手段であれば、他の手段を用いてもよい。

【0028】

ＩＭＵ２１は慣性計測装置であり、運動を司る３軸の角度（または角速度）と加速度を検出する装置である。車両８０の運転者は、ＩＭＵ２１によって、自車両の移動方向、速度等（以下、「運転情報」という場合がある）を取得することができる。なお、ＩＭＵ２１は自車両の運転情報を取得することが目的であるので、運転情報を検知することができる手段であれば、他の手段を用いてもよい。

【0029】

処理部１２は、ＬｉＤＡＲ８１、ＧＮＳＳ２０、ＩＭＵ２１、およびカメラ８２から取得した情報を処理する部位である。処理部１２は、ＧＮＳＳ２０から取得した位置情報、ＩＭＵ２１から取得した運転情報を、図示しないＨＤＤ等の記憶手段に記憶させる場合もある。

【0030】

処理部１２は、ＬｉＤＡＲ８１によるレーザ光（以下、「検知光」という場合がある）走査の結果、車両８０の周囲の対象物表面から反射した反射光のデータを点群データとして取得する。つまり本実施形態に係る「点群データ」とは、ＬｉＤＡＲ８１からの検知光によって形成された、対象物における反射点の集合をいう。また、処理部１２は、必要に応じＬｉＤＡＲ８１から対象物までの距離、および対象物の方位を示すデータを取得する。処理部１２は、点群データを所定の規則でグルーピングして、点群データを対象物ごとに分離する。処理部１２はさらに、分離された対象物ごとの点群データから、潜在対象物の種別を特定する。処理部１２は、特定された潜在対象物（例えば人）を、必要に応じマークに変換する。

【0031】

処理部１２は、特定された潜在対象物の存在を、所定の方法で運転者に報知する。報知形態の詳細については後述するが、一例として、車両８０の周囲をカメラ８２によって撮像した撮像画像（以下、「実画像」という場合がある）を取得し、上記のようにマークで示された潜在対象物を、当該実画像の潜在対象物が存在する位置に表示する。すなわち、実画像と潜在対象物の画像を合成する。制御信号生成部１３は、合成された実画像と潜在対象物の画像（以下、「合成環境画像」という場合がある）を、モニタ８３に表示させるための制御信号を生成し、モニタ８３に送る。車両８０の運転者は、合成環境画像を見ることによって、人等の潜在的な対象物を認識することができる。

【0032】

通信部１４は、ＩＰ網等の通信ネットワーク３０に接続され、公共検知装置５０、地図情報提供装置３１等からの情報を取得する。公共検知装置５０の通信装置５３は通信ネットワーク３０に接続されており、通信ネットワーク３０を介して、視界支援表示装置１０の通信部１４と接続することができる。地図情報提供装置３１はＨＤマップを提供する。地図情報提供装置３１はＨＤマップを格納した、例えばサーバである。ＨＤマップとは高精度３次元地図データのことであり、例えば自動運転システムや先進運転支援システム(ADAS)において、自己位置の正確な認識や、信号機などの地物情報を参照するためのマップである。上述したように、ＨＤマップには、公共検知装置５０の位置情報も含まれている場合もある。視界支援表示装置１０、公共検知装置５０、および地図情報提供装置３１が、本発明に係る視界支援表示システムを構成している。なお、本実施形態において、処理部１２、制御信号生成部１３、および通信部１４の各々はソフトウエアによって実現されているが、これに限らず、少なくとも一部についてＡＳＩＣ等のハードウエアによって実現してもよい。

【0033】

図３から図８を参照して、本実施形態に係る視界支援表示装置１０の動作について、より詳細に説明する。図３（ａ）は、地図情報提供装置３１のＨＤマップから取得した、自車両である車両８０の周囲の構造物等の配置を示している。図３（ａ）に示すように、本実施形態では、路面Ｒの周囲に配置された建築物５４ａ、５４ｂ、５４ｃ、５４ｄ、信号柱５１ａ、５１ｂが車両８０の周囲に存在している。図３（ｂ）は、検知情報としての車両８０のＬｉＤＡＲ８１による点群データを示している。当該点群データが、本発明に係る「第１の点群データ」の一例である。車両８０の周囲には、建築物５４ａ、５４ｂ、５４ｃ、５４ｄ、信号柱５１ａ、５１ｂの他に、他車両である車両９０、人６０ａ、６０ｂ、６０ｃ、６０ｄが存在している。本実施形態に係るＬｉＤＡＲ８１は、検知光束Ｌｃによって車両の前方を走査している。検知光束Ｌｃとは、ＬｉＤＡＲ８１の走査範囲における検知光の集合をいう。図３（ｂ）には不検知領域Ａも図示しているが、不検知領域Ａについては後述する。

【0034】

上述したように、ＬｉＤＡＲ８１からの検知光は、対象物の照射された部位において反射点ＲＰを形成する。図３（ｂ）ではこの反射点を黒丸で表わしている。点群は、同一の対象物に属すと考えられる反射点ＲＰの集合である。例えば、人６０ａには５点の反射点が存在し、この５点の反射点を点群という。なお、図３（ｂ）に示す点群は、説明上概念的に示されており、実際の点群内の反射点の数は図３（ｂ）より多い場合も少ない場合もある。また、本実施形態では、ＬｉＤＡＲ８１の走査範囲を前方に限定しているが、これに限らず、例えば後方に限定したり、全方向としたりしてもよい。図３（ｂ）に示すように、ＬｉＤＡＲ８１の走査によって、建築物５４ａ、５４ｂ、５４ｄ、信号柱５１ａ、車両９０、人６０ａ、６０ｂに点群が形成されている。

【0035】

図４（ａ）は、信号柱５１ａに設けられたＬｉＤＡＲ５２ａによる点群データを示している。ＬｉＤＡＲ５２ａは検知光束Ｌｐ１で走査している。その結果、建築物５４ｃ、５４ｄ、信号柱５１ｂ、車両９０、人６０ｄ、車両８０に点群が形成されている。なお、本実施形態では、ＬｉＤＡＲ５２ａの走査範囲を部分的に限定しているが、これに限らず、例えば全方向を走査範囲としてもよい。

【0036】

図４（ｂ）は、信号柱５１ｂに設けられたＬｉＤＡＲ５２ｂによる点群データを示している。ＬｉＤＡＲ５２ｂは検知光束Ｌｐ２で走査している。その結果、建築物５４ｂ、車両９０、人６０ｂ、６０ｃに点群が形成されている。なお、本実施形態では、ＬｉＤＡＲ５２ｂの走査範囲を部分的に限定しているが、これに限らず、例えば全方向を走査範囲としてもよい。

【0037】

図５（ａ）は、信号柱５１ａに設けられたＬｉＤＡＲ５２ａによる点群データ、すなわち図４（ａ）と、信号柱５１ｂに設けられたＬｉＤＡＲ５２ｂによる点群データ、すなわち図４（ｂ）とを合成した図である。つまり図５（ａ）は、ＬｉＤＡＲ５２ａ、５２ｂを含む公共検知装置による点群データである。当該点群データが、本発明に係る「第２の点群データ」の一例である。なお、公共検知装置による情報を、「公共検知情報」という。

【0038】

図５（ｂ）は、ＬｉＤＡＲ５２ａ、５２ｂを介した公共検知装置による公共検知情報には含まれるが、車両８０のＬｉＤＡＲ８１の検知情報には含まれない反射点ＲＰ、すなわち、図３（ｂ）と図５（ａ）との差分データを示している。図５（ｂ）の楕円で囲んだ反射点の集合が差分であり、本実施形態では、各々の楕円に含まれる反射点の集合を、「反射点グループ」という。つまり図５（ｂ）においては、９個の反射点グループが存在している。ここで、差分をとると点群の一部が欠ける場合があることを考慮し、以降「点群」の代わりに「反射点グループＲＧ」を用いる。各々の反射点グループＲＧは、潜在対象物の可能性があるという意味で、潜在対象物候補を構成する。

【0039】

図６（ａ）は、予め定められた第１の基準を満たす反射点グループＲＧを抽出した結果を示している。第１の基準とは、反射点グループＲＧをふるいにかけるための形状に基づく基準であり、本実施形態では人等を潜在対象物としているので、この基準を、反射点グループの長さが１ｍ以下であることとしている。図６（ａ）においては、当該第１の基準により、上記９個の反射点グループが４個の反射点グループＲＧ１、ＲＧ２、ＲＧ３、ＲＧ４までに絞られている。すなわち、潜在対象物候補が４個まで減じられている。

【0040】

図６（ｂ）は、最終的に抽出された反射点グループＲＧ１、およびＲＧ２を示している。本実施形態では、潜在対象物候補に対応する反射点グループから潜在対象物に対応する反射点グループを抽出する場合において、予め定められた第２の基準を適用している。第２の基準は、移動状態に基づく基準であり、反射点グループが移動するという基準である。移動するかしないかは、ＬｉＤＡＲの走査におけるあるフレームと、前後する他のフレームにおいて、反射点グループＲＧが移動するかしないかで判定する。ここで、フレームとはＬｉＤＡＲの１周期の走査によって取得された点群データをいう。すなわち、ＬｉＤＡＲによる走査は、フレームごとに更新される。例えば、図３（ｂ）に示すＬｉＤＡＲ８１が検知光束Ｌｃの１回の走査によって取得された点群データが１フレームである。図６（ａ）の状態に対して、第２基準を適用した結果が図６（ｂ）である。すなわち、最終的に反射点グループＲＧ１、ＲＧ２が抽出される。反射点グループＲＧ１、ＲＧ２は各々人６０ｄ、６０ｃに対応するので、最終的に、人６０ｄ、６０ｃが潜在対象物として抽出されたことになる。なお、図６（ａ）においては、反射点グループＲＧ３も移動する可能性があるが、車両９０は移動に伴って大きさが大きく変化するので、フレーム間の比較により上記第１の基準で除かれると考えられる。

【0041】

なお、本実施形態では、第１の基準を適用して、潜在対象物候補に対応する反射点グループＲＧを大きさで絞ったが、当該基準は適用せず、図５（ｂ）に示す反射点グループＲＧに対して、第２の基準を適用し、移動する反射点グループを潜在対象物に対応する反射点グループとしてもよい。さらに、反射点グループＲＧの形状的な特徴から人を判別し、潜在対象物としてもよい。

【0042】

図７（ａ）を参照して、潜在対象物が人の場合の潜在対象物に対応する反射点グループＲＧの特定方法について説明する。図７（ａ）は、図６（ｂ）に図示する人６０ｃの反射点グループＲＧ２を抜き出して示したものである。ただし、説明の都合上反射点ＲＰの個数はより多く図示している。図７（ａ）には、反射点グループＲＧ２の幅Ｗ、奥行Ｄ（以下、「特徴量」という場合がある）を併せて示している。本実施形態では、人６０で想定される特徴量を、ＨＤＤ（図示省略）等の記憶手段に記憶させておく。幅Ｗ、奥行Ｄの具体的な数値は、例えばＷが５０ｃｍから１００ｃｍ程度、Ｄが３０ｃｍから６０ｃｍ程度である。処理部１２は、特徴量が予め登録された範囲内である場合に、当該反射点グループＲＧが人６０の反射点グループＲＧであると判定する。特徴量は幅Ｗ、奥行Ｄに限らず検知光の照射態様等を勘案して適切に定めてよく、例えば幅Ｗだけであってもよい。潜在対象物が、自転車に乗った人、キックボードを操作する人等複数ある場合は、潜在対象物ごとに特徴量を規定し、記憶手段に記憶させておく。本特定方法によれば、人が静止していても潜在対象物として特定することができる。

【0043】

次に、潜在対象物の存在を運転者に報知する形態について説明する。本実施形態において、報知形態は特に限定されないが、以下のような形態が挙げられる。
・潜在対象物の視認を遮っている対象物（以下、「遮蔽対象物」という場合がある）を透視して、潜在対象物を示すマークを表示する。
・遮蔽対象物に注意を促すマーク（例えば感嘆符）を付与する。
・遮蔽対象物に引き出し線をつけて、その先に注意を促すマーク（例えば感嘆符）を付与する。
・遮蔽対象物を矢印で示す。
・遮蔽対象物そのものを点滅させる。
要するに、本実施形態では、遮蔽対象物と関連付けて、潜在対象物を報知する画像をモニタ８３に表示させればよい。

【0044】

図７（ｂ）を参照して、上記の報知形態の一例について説明する。図７（ｂ）は、上記の報知形態のうちの、遮蔽対象物を透視して潜在対象物を示す画像を表示する形態を示した図である。図７（ｂ）は、自車両である車両８０に備えられたモニタ８３における表示画像の一例を示している。図７（ｂ）は、図３（ｂ）の位置にある車両８０のカメラ８２が撮像した前方の実画像が基礎となっている。本実施形態に係る視界支援表示装置１０は、この実画像に、上記で抽出した反射点グループＲＧ１、ＲＧ２に対応する潜在対象物を重畳させて表示する。その際処理部１２は、反射点グループＲＧ１、ＲＧ２を、運転者にとって視認しやすいマークに変換する。この潜在対象物としての反射点グループＲＧ１、ＲＧ２が変換されたマークを仮想対象物という。図７(ｂ)では、反射点グループＲＧ１による仮想対象物を符号ＶＯ１で、反射点グループＲＧ２による仮想対象物を符号ＶＯ２で示している。上述したように、仮想対象物ＶＯ１は人６０ｄに、仮想対象物ＶＯ２は人６０ｃに、各々対応している。

【0045】

処理部１２は、仮想対象物ＶＯ１、ＶＯ２の表示に際し、必要に応じて仮想対象物ＶＯ１、ＶＯ２が歩行する路面Ｒ等、仮想対象物ＶＯ１、ＶＯ２の位置の把握に必要な程度の仮想的な空間の表示も行う。すなわち、カメラ８２の撮像画像には現れない部分を、透視した画像（つまり、遮蔽対象物を透視した画像）を併せて表示する。カメラ８２の撮像画像には現れない部分は、例えばＨＤマップと実画像とを対比させて作成する。以上の処理の結果得られる画像が、合成環境画像である。このような合成環境画像によれば、車両８０の運転者は、ＬｉＤＡＲ８１では直接検知できない人等の潜在対象物を、簡易かつ的確に認識することができる。さらにカメラ８２は高感度に設定可能なので、特に夜間において建物の陰で見えない人等を認識するのに威力を発揮する。なお、本実施形態では、カメラ８２による実画像に仮想対象物ＶＯ１、ＶＯ２を重畳して表示させる形態を例示して説明したが、これに限らず、例えば図３（ａ）に示す上面図に、仮想対象物ＶＯ１、ＶＯ２を重畳表示させる形態としてもよい。

【0046】

図８を参照して、本実施形態に係る視界支援表示装置１０が実行する表示処理について説明する。図８は、本表示処理を記述する表示プログラムの処理の流れを示すフローチャートである。表示プログラムは、一例として図示しないＲＯＭ等の記憶手段に記憶されており、ＣＰＵによって読み出され、ＲＡＭ等に展開されて実行される。

【0047】

以下の説明では、視界支援表示装置１０に対して、すでに本表示プログラムの実行開始の指示がなされているとする。実行開始の指示は、例えば制御部１１が車両８０のエンジンの始動を受信したタイミングとすることができる。制御部１１の処理部１２はＬｉＤＡＲ８１からの点群データ、カメラ８２からの撮像画像を連続的、または間欠的に取得している。制御部１１の通信部１４は、公共検知装置５０のＬｉＤＡＲ５２からの点群データを連続的、または間欠的に取得している。

【0048】

図８を参照して、ステップＳ１０で、制御部１１は、自車両である車両８０のＬｉＤＡＲ８１が検知した点群データを取得するように処理部１２を制御する。

【0049】

ステップＳ１１で、制御部１１は、自車両である車両８０の位置情報をＧＮＳＳ２０から取得するように処理部１２を制御する。本実施形態では、位置情報の一例として、車両８０の緯度、経度を取得する。

【0050】

ステップＳ１２で、制御部１１は、地図情報を取得するように通信部１４を制御する。通信部１４は通信ネットワーク３０を介して地図情報提供装置３１にアクセスし、ステップＳ１１で取得した緯度、経度に基づく所定の範囲の地図情報（ＨＤマップ）を取得する。その際、信号柱５１ａ、５１ｂの位置等の情報も併せて取得される。

【0051】

ステップＳ１３で、制御部１１は、自車両である車両８０の運転情報をＩＭＵ２１から取得するように処理部１２を制御する。本実施形態では、運転情報の一例として、車両８０の移動方向、速度等を取得する。当該移動方向、速度等の運転情報は、潜在対象物への接近の判断等、必要に応じて使用される。

【0052】

ステップＳ１４で、制御部１１は、公共検知装置５０から公共検知情報としての点群データを取得するように通信部１４を制御する。通信部１４は通信ネットワーク３０を介して信号柱５１ａの通信装置５３ａ、および信号柱５１ｂの通信装置５３ｂにアクセスし、ＬｉＤＡＲ５２ａ、および５２ｂからの点群データを取得する。本ステップで取得された点群データが、図５（ａ）に示す点群データである。

【0053】

ステップＳ１５で、制御部１１は、ステップＳ１０で取得した点群データと、ステップＳ１４で取得した点群データとの差分から、差分反射点グループのデータを生成するように処理部１２を制御する。本ステップで生成された差分反射点グループのデータの一例が、図５（ｂ）に示すデータである。

【0054】

ステップＳ１６で、制御部１１は、潜在対象物に対応する反射点グループを抽出するように処理部１２を制御する。上述したように、本実施形態では、ステップＳ１５で生成した図５（ｂ）に示すデータに、上述した第１の基準および第２の基準を適用して、図６（ｂ）に示す、潜在対象物に対応する反射点グループＲＧ１、およびＲＧ２を抽出する。

【0055】

ステップＳ１７で、制御部１１は、潜在対象物に対応する反射点グループを、仮想対象物として表示するためのデータを生成する。本ステップで生成されたデータの一例が、上述したマークとしての仮想対象物ＶＯ１、およびＶＯ２を表示するためのデータである。

【0056】

ステップＳ１８で、制御部１１は、カメラ８２から撮像画像、すなわち実画像を取得するように、処理部１２を制御する。

【0057】

ステップＳ１９で、制御部１１は、合成環境画像を生成するように、処理部１２を制御する。合成環境画像は、ステップＳ１８で取得した実画像に、ステップＳ１７で生成した仮想対象物ＶＯ１、ＶＯ２を重畳させて生成する。合成環境画像の一例が、図７（ｂ）に示す画像である。

【0058】

ステップＳ２０で、制御部１１は、ステップＳ１９で生成した合成環境画像を、モニタ８３に表示させるための制御信号を生成するように、制御信号生成部１３を制御する。

【0059】

ステップＳ２１で、制御部１１は、ステップＳ２０で生成された制御信号に基づいてモニタ８３に合成環境画像が表示されるように、モニタ８３を制御する。

【0060】

ステップＳ２２で、終了指示があったか判定する。当該判定が肯定判定の場合は本表示プログラムを終了し、否定判定の場合は、ステップＳ１０に戻り、点群データの取得を継続する。本表示プログラム終了の指示の判定は、例えば、運転者によって車両８０のエンジンが停止されたことを示す情報を、制御部１１が受け取ったタイミングとしてもよい。

【0061】

ここで、自車両としての車両８０の周囲の環境は、時々刻々変化するのが通常である。例えば図３（ｂ）に示す人６０ｄ、６０ｃは移動しているので、ある時点においては潜在対象物であっても時間の経過に伴って、ＬｉＤＡＲ８１で検知される通常の対象物になっている可能性もある。このような場合であっても、本表示処理では、開始後終了指示があるまでの間は常にステップＳ１０に戻ってループ処理しているので、潜在対象物を確実に追跡することができる。なお、図８に示すフローチャートは一例であって、処理の流れに矛盾を生じない限り、各ステップは前後してもよいし、入れ替えてもよい。

【0062】

以上詳述したように、本実施形態に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法によれば、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することができる。

【0063】

なお、本実施形態では、公共検知装置としてＬｉＤＡＲを用いた形態を例示したが、ＬｉＤＡＲによる点群データでは人、特に静止している人を潜在対象物として認識することが困難な場合も想定される。この場合、公共検知装置としてカメラを用いれば、当該カメラの撮像画像を画像認識することによって、比較的簡易に静止している人をその位置も含めて判別することができる。

【0064】

また、多数の人が歩道を歩いているような場合には、多数の潜在対象物が抽出されることになる。このような場合には仮想対象物が錯綜するので、例えば自車両である車両８０に近い順に限られた数（例えば２、３個）の仮想対象物を表示するようにしてもよい。このような場合でも、本実施形態に係る表示処理は図８に示すようにループしているので、潜在対象物の入れ替え等更新にも対応することができる。

【0065】

ここで、図９を参照し、本実施形態に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法の２つの変形例について説明する。第１の変形例は、潜在対象物の抽出に際し、自車両のＬｉＤＡＲによる点群データと、公共検知装置のＬｉＤＡＲによる点群データの差分データを用いるのではなく、自車両のＬｉＤＡＲの不検知領域を用いる形態である。本実施形態では、不検知領域に存在する点群を潜在対象物として抽出する。上記実施形態で説明した点群データの差分を用いる方法では、差分をとることにより点群の欠落が発生する可能性もある。その場合少ない点群により潜在対象物を抽出することになり、ノイズ等の影響を受ける場合も想定される。そのような場合に本変形例は有効である。

【0066】

図９（ａ）、（ｂ）を参照して、車両８０のＬｉＤＡＲ８１の不検知領域について説明する。本変形例では、ＬｉＤＡＲ８１は、水平方向だけでなく鉛直方向にも走査する。図９（ａ）は鉛直方向下方に走査する例であり、水平線ｈよりも鉛直方向下方に検知光Ｌ１が出射されている。ＬｉＤＡＲ８１の前方に対象物ＯＢ１が存在すると、対象物ＯＢ１に検知光Ｌ１による反射点ＲＰ１が形成され、対象物ＯＢのＬｉＤＡＲ８１と反対側の背後は検知することができない。検知光Ｌ１の延長線と路面Ｒとの交点を点Ｐ１とすると、対象物ＯＢ１から点Ｐ１までの範囲が不検知領域Ａ１と定義される。

【0067】

図９（ｂ）は鉛直方向上方に走査する例であり、水平線ｈよりも鉛直方向上方に検知光Ｌ２が出射されている。ＬｉＤＡＲ８１の前方に対象物ＯＢ２が存在すると、対象物ＯＢ２に検知光Ｌ２による反射点ＲＰ２が形成され、対象物ＯＢ２のＬｉＤＡＲ８１と反対側の背後は検知することができない。ＬｉＤＡＲ８１の検知可能な最大の距離に対応する点を点Ｐ２とすると、対象物ＯＢ２から点Ｐ２までの範囲が不検知領域Ａ２と定義される。不検知領域Ａ１、Ａ２は、ＬｉＤＡＲ８１の周囲に３次元的に形成される。

【0068】

以上のように特定された不検知領域Ａ１，Ａ２は、図示しないＨＤＤ等の記憶手段に記憶され、以下で説明する処理に利用される。ここで、上記のように特定された不検知領域は３次元データであり、特に不検知領域Ａ２では、ＬｉＤＡＲ８１の検知可能な最長の距離まで不検知領域とするので、データ量が大きくなることも想定される。その場合は、ＬｉＤＡＲ８１の鉛直方向の走査角度を固定し（すなわち、鉛直方向には走査しない）、ＬｉＤＡＲ８１から予め定められた距離（以下、「最大検知距離」）までの領域を不検知領域としてもよい。最大検知距離は、潜在対象物が、交通安全上自車両に影響を与えることが想定される最大距離として定めてもよい。このようにして不検知領域を特定すると、不検知領域のデータ量が少なくてすむ。

【0069】

図３（ｂ）、図５（ａ）を参照して、本変形例による潜在対象物の特定についてより詳細に説明する。例えば、図３（ｂ）において、建築物５４ｄの側壁には点群が形成されているので、建築物５４ｄが遮蔽対象物となっている。従って、当該点群の車両８０とは反対側に不検知領域Ａが形成される。不検知領域Ａに存在する人６０ｄには、当然ながら点群が形成されていない。一方図５（ａ）から不検知領域Ａに人６０ｄが存在することが分かる。従って、制御部１１は、人６０ｄが潜在対象物であると判定する。必要な場合にはさらに、上記第１の基準、あるいは第２の基準を適用してもよい。なお、図３（ｂ）に示す建築物５４ａ、５４ｂの背後にも不検知領域が形成される可能性もあるが、車両８０から離れているので、当該不検知領域において潜在対象物を検知することにあまり意味がない。そこで、上記の最大検知距離を適切に設定することにより、不検知領域に含めないようにすることもできる。本変形例によれば、より確実に潜在対象物を抽出することが可能となる。

【0070】

図９（ｃ）を参照して、第２の変形例について説明する。本変形例は、表示部としてモニタ８３の代わりに、スマートグラス（眼鏡型表示装置）を用いる形態である。スマートグラスとは、眼鏡のような形状を有し、眼鏡と同様に目の周辺に装着して使用するウェアラブルデバイスの1種である。実際に見ている光景に情報を付加し、重ねて表示することができるディスプレイで、その用途からＡＲ(Augmented Reality glass)グラスと呼ばれることもある。本実施形態では、スマートグラスを図２に示すモニタ８３の代わりに接続し、運転者はスマートグラスをかけて運転している。ＨＵＤを使用した場合には、視認に際し運転者の視線の移動を伴う。また、ＨＭＤ(Head Mounted Display)を使用した場合、ＨＭＤは目全体を覆うため、視界が遮られる可能性がある。スマートグラスによれば、以上のような欠点はないので、より安全を期することができる。

【0071】

図９（ｃ）は、スマートグラス８４における表示画像の一例を示している。スマートグラス内には実際の周囲の光景に、仮想対象物ＶＯ１、ＶＯ２が重畳して表示されている。運転者はスマートグラス８４内の実際の光景、仮想対象物ＶＯ１、ＶＯ２を視認することにより、どこに潜在対象物が存在しているかを認識することができる。さらに運転者は、スマートグラス８４から外れた周囲の光景も同時に視認することができるので、より安全性が高まる。

【0072】

以上詳述したように、本変形例に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法によっても、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することができる。特に第１の変形例によれば、潜在対象物をより確実に抽出することができる。また、第２の変形例によれば、潜在対象物の視認に際しての安全性をより高めることができる。

【符号の説明】

【0073】

１０…視界支援表示装置
１１…制御部
１２…処理部
１３…制御信号生成部
１４…通信部
２０…ＧＮＳＳ
２１…ＩＭＵ
３０…通信ネットワーク
３１…地図情報提供装置
５０…公共検知装置
５１、５１ａ、５１ｂ…信号柱
５２、５２ａ、５２ｂ…ＬｉＤＡＲ
５３、５３ａ、５３ｂ…通信装置
５４ａ、５４ｂ、５４ｃ、５４ｄ…建築物
５５…信号機
６０、６０ａ、６０ｂ、６０ｃ、６０ｄ…人
８０…車両
８１…ＬｉＤＡＲ
８２…カメラ
８３…モニタ
８４…スマートグラス
９０…車両
Ａ、Ａ１、Ａ２…不検知領域
ｈ…水平線
Ｌ１、Ｌ２…検知光
Ｌｃ、Ｌｐ１、Ｌｐ２…検知光束
ＯＢ１、ＯＢ２…対象物
Ｐ１、Ｐ２…点
Ｒ…路面
ＲＰ、ＲＰ１、ＲＰ２…反射点
ＲＧ、ＲＧ１、ＲＧ２、ＲＧ３、ＲＧ４…反射点グループ
ＶＯ１、ＶＯ２…仮想対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】