特開 2022-110448 運転支援システム、車両、撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022110448

(43)【公開日】2022-07-29

(54)【発明の名称】運転支援システム、車両、撮影装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220722BHJP

   B60R 1/00 20220101ALI20220722BHJP

   H04N 7/18 20060101ALI20220722BHJP

【ＦＩ】

G08G1/16 D

B60R1/00 A

H04N7/18 J

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021005862

(22)【出願日】2021-01-18

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(72)【発明者】

【氏名】福家 勇人

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CF08

5C054DA07

5C054DA09

5C054FC12

5C054FE05

5C054FE06

5C054FE07

5C054FE09

5C054FE12

5C054HA30

5H181AA01

5H181AA26

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF22

5H181FF32

5H181LL01

5H181LL02

5H181LL15

(57)【要約】

【課題】死角が発生する領域を推定し、操縦者に死角が発生する領域の情報を含んだ車両の周囲情報を提供することを目的とする。
【解決手段】運転支援システム１０は、車両１１０、コントローラ１２０、飛翔体１３０、表示装置１４０を備える。車両１１０は、車両１１０の周囲の情報を取得する。コントローラ１２０は、３次元地図データベース１２３を用いて、車両１１０の周囲に発生する死角を推定し、飛翔体１３０が撮影した映像から画像処理を行い、操縦者に提供する映像を作成する。飛翔体１３０は、コントローラ１２０で推定した死角が発生する領域を撮影する。表示装置１４０は、コントローラ１２０が作成した映像を操縦者に提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の周囲を撮影する第１の撮影部と、
前記車両の位置を示す位置情報に基づき前記車両の周囲の物体によって前記第１の撮影部の撮影領域内において死角となる領域を死角領域として取得する領域取得部を備える車両コントローラと、
前記死角領域に関する情報を取得する情報取得部と、前記車両の周囲を撮影する第２の撮影部と、を備える撮影装置と、
を有し、前記車両コントローラはさらに前記第２の撮影部で撮影した前記死角領域の画像を受信する受信部を備える運転支援システム。

【請求項2】

前記領域取得部は、前記車両の周囲の物体の位置を示す物体情報を含む地図情報と前記位置情報に基づき、前記死角領域を取得する、
請求項１に記載の運転支援システム。

【請求項3】

前記領域取得部は、測距部で測定した前記車両から物体までの距離と前記位置情報に基づき、前記死角領域を取得する、
請求項１又は２に記載の運転支援システム。

【請求項4】

前記第１の撮影部の撮影領域として、前記第１の撮影部から所定の距離範囲が規定されており、
前記撮影装置は、前記死角領域で前記車両から最も近い位置である第１位置と、前記第１位置から最も離れた位置である第２位置とを結ぶ線を直径とする円によって規定される領域を撮影する、
請求項１から３に記載の運転支援システム。

【請求項5】

前記撮影装置は、前記死角領域を撮影できる位置に移動する、
請求項４に記載の運転支援システム。

【請求項6】

前記撮影装置は飛翔体であり、
前記死角領域の大きさと前記第２の撮影部の画角と、に基づいて前記飛翔体は高度を変更する、
請求項５に記載の運転支援システム。

【請求項7】

周囲を撮影する第１の撮影部と、
現在の位置を示す位置情報に基づき、周囲の物体によって前記第１の撮影部の死角となる領域を死角領域として取得する領域取得部と、
前記死角領域に関する情報に基づき撮影した前記死角領域の映像を撮影装置から取得する受信部と、を備える、
車両。

【請求項8】

車両の位置を示す位置情報に基づき、前記車両の周囲の物体によって前記車両の周囲の撮影領域を撮影する第１の撮影部の死角となる領域を死角領域として取得する車両コントローラから、前記死角領域に関する情報を取得する情報取得部と、
前記車両の周囲を撮影する第２の撮影部と、
前記第２の撮影部で撮影した前記死角領域の画像を前記車両又は前記車両コントローラに送信する送信部と、
を備える撮影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援システム、車両、および撮影装置に関する。

【背景技術】

【0002】

従来、車両に搭載された撮影装置およびセンサを用いて、車両の周囲の障害物を検知する装置が知られている。

【0003】

例えば、特許文献１に記載の周辺監視装置には、複数の撮影装置により撮影した映像を合成した車両の周囲を示す俯瞰図に、複数のレーダで検知した障害物の位置を表示させる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開２０１２／１６９３６１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述のような従来技術では、車両に搭載されたレーダ装置で検知できる障害物がモニタに表示されていた。しかし、建物等の他の物体によって生じた死角に存在する障害物を検知したいという課題がある。

【0006】

上記のような従来技術の課題に鑑みてなされた本開示の目的は、死角が発生する領域を推定し、死角に存在する障害物の情報を含んだ車両の周囲情報を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一実施形態にかかる運転支援システムは、車両の周囲を撮影する第１の撮影部と、前記車両の位置を示す位置情報に基づき車両の周囲の物体によって第１の撮影部の撮影領域内において死角となる領域を死角領域として取得する領域取得部を備える車両コントローラと、死角領域に関する情報を取得する情報取得部と、車両の周囲を撮影する第２の撮影部と、を備える撮影装置と、を有し、車両コントローラはさらに第２の撮影部で撮影した死角領域の画像を受信する受信部を備える。

【0008】

また、本開示の一実施形態にかかる車両は、周囲を撮影する第１の撮影部と、現在の位置を示す位置情報に基づき、周囲の物体によって第１の撮影部の死角となる領域を死角領域として取得する領域取得部と、死角領域に関する情報に基づき撮影した死角領域の映像を撮影装置から取得する受信部と、を備える。

【0009】

また、本開示の一実施形態にかかる撮影装置は、車両の位置を示す位置情報に基づき、車両の周囲の物体によって車両の周囲の撮影領域を撮影する第１の撮影部の死角となる領域を死角領域として取得する車両コントローラから、死角領域に関する情報を取得する情報取得部と、車両の周囲を撮影する第２の撮影部と、第２の撮影部で撮影した死角領域の画像を車両又は車両コントローラに送信する送信部と、を備える。

【発明の効果】

【0010】

本開示の一実施形態によれば、死角に存在する障害物の情報を含んだ車両の周辺画像を生成することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態における、運転支援システムの概略構成例を示す図である。

【図2】第１の実施形態における、運転支援システムの運転支援の処理手順の例を示すフローチャートである。

【図3】第１の実施形態における、死角領域の推定方法の例、および飛翔体の飛行位置算出方法の例を説明するフローチャートである。

【図4】地図情報に登録されている物体により発生する死角領域の推定方法の例を説明する図である。

【図5】地図情報に登録されていない物体により発生する死角領域の推定方法の例を説明する図である。

【図6】死角領域に基づき飛行位置の算出方法の例を説明する図である。

【図7】第１の実施形態における、表示装置で表示する映像の作成方法の例を説明するフローチャートである。

【図8】車両カメラ１１２で撮影した映像にアイコンを重畳させた映像の例を説明する図である。

【図9】第２の実施形態における、運転支援システムの概略構成例を示す図である。

【図10】第２の実施形態における、死角領域の推定方法の例および路側機の選択方法の例のフローチャートである。

【図11】第３の実施形態における、運転支援システムの概略構成例を示す図である。

【図12】第３の実施形態における、死角領域の推定方法の例および路側機の選択方法の例を説明するフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明を適用した運転支援システムの実施形態について説明するが、本開示はこれらに限定されるものではない。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。

【0013】

本発明を備えた運転支援システムの第１の実施形態について、図１を参照して説明する。本実施形態の運転支援システム１０は、車両１１０、車両コントローラであるコントローラ１２０、飛翔体１３０、表示装置１４０等を含んで構成される。運転支援システム１０は、遠隔地にある運転支援センターのオペレータによる車両１１０の遠隔操作を支援するものである。コントローラ１２０は車両１１０に搭載されてよい。飛翔体１３０は車両１１０に搭載され、コントローラ１２０からの指示に応じて離発着可能に構成されてよい。表示装置１４０は運転支援センターに設置され、車両１１０を遠隔操作するオペレータに車両１１０の周辺の映像を提供する。飛翔体１３０、表示装置１４０は、それぞれ通信ケーブル、無線ネットワーク等を介してコントローラ１２０と接続されて情報を送受信する。本実施形態では、車両１１０と飛翔体１３０、表示装置１４０とは、無線で通信されるものとする。

【0014】

図１において、各機能ブロックを結ぶ線は、制御信号又は通信される情報の流れを示す。機能ブロック間の通信は有線通信であってもよく、無線通信であってもよい。

【0015】

車両１１０は、車両通信部１１１、第１の撮影部である車両カメラ１１２、測距部である測距センサ１１３、位置センサ１１４等を含んで構成される。

【0016】

車両１１０は例えば、自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業
向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。

【0017】

車両通信部１１１は、車両カメラ１１２で撮影した映像をコントローラ通信部１２１へ送信する。車両通信部１１１は、測距センサ１１３により測定された測距情報と位置センサ１１４により測定された位置情報、および車両１１０の進行方向をコントローラ通信部１２１へ送信する。

【0018】

車両カメラ１１２は、車両１１０の内部又は外部に設置され、車両１１０の周囲を撮像して映像を取得する。本実施形態において、車両カメラ１１２は、車両１１０の前方を撮影するように設置される。車両カメラ１１２が取得する映像は、車両１１０の運転席から視認できる風景と近似してよい。車両カメラ１１２は、車両１１０の後方又は側方を撮影するように設置されてもよい。

【0019】

測距センサ１１３は、車両１１０から周囲の物体までの距離を測定し、測距情報として出力する。測距センサ１１３は、例えば、レーザレーダ、ミリ波レーダおよび超音波センサ等を含んでよい。測定された測距情報は、車両通信部１１１によってコントローラ通信部１２１へ送信される。

【0020】

位置センサ１１４は、車両１１０の現在位置を測定する。位置センサ１１４は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、磁気方位計等を含んでよい。ＧＰＳは、車両１１０の地上座標系における絶対位置を緯度および経度により取得する。磁気方位計は、車両１１０の絶対方位角を測定し、車両１１０の進行方向を取得する。測定された車両１１０の現在位置と進行方向は、位置情報として車両通信部１１１によってコントローラ通信部１２１へ送信される。

【0021】

コントローラ１２０は、受信部であるコントローラ通信部１２１、演算部１２２、３次元地図データベース１２３等を含んで構成される。

【0022】

演算部１２２は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。種々の実施形態によれば、少なくとも１つのプロセッサは、単一の集積回路（ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として、又は複数の通信可能に接続された集積回路ＩＣ及び／又はディスクリート回路（ｄｉｓｃｒｅｔｅ ｃｉｒｃｕｉｔｓ）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。

【0023】

１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続又は処理を実行するように構成された１以上の回路又はユニットを含む。他の実施形態において、プロセッサは、1以上のデータ計
算手続き又は処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。種々の実施形態によれば、プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、又はこれらのデバイス若しくは構成の任意の組み合わせ、又は他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。

【0024】

演算部１２２は、コントローラ通信部１２１、演算部１２２、および３次元地図データベース１２３等を制御する。コントローラ１２０は車両１１０に配置されてもよいし、車両１１０以外の場所に配置されてもよい。第１の実施形態において、コントローラ１２０は車両に搭載される。

【0025】

コントローラ通信部１２１は、車両カメラ１１２が撮影した映像、測距センサ１１３で測定した測距情報および位置センサ１１４で測定した位置情報を、車両通信部１１１から受信する。コントローラ通信部１２１は、演算部１２２が推定した死角領域をもとに算出した飛行位置情報を飛翔体通信部１３１へ送信する。死角領域は、車両カメラ１１２が観察できる領域の中で、物体によって視界が遮られることで観察できない領域である。コントローラ通信部１２１は、飛翔体カメラ１３２が撮影した映像を、飛翔体通信部１３１から受信する。コントローラ通信部１２１は、映像情報を表示装置通信部１４１に送信する。

【0026】

演算部１２２は、ソフトウェアである死角推定部１２２ａ、飛行演算部１２２ｂ、画像処理部１２２ｃを含んで構成される。演算部１２２は死角推定部１２２ａとともに領域取得部として機能する。演算部１２２は、これらのソフトウェアによって死角領域の推定、飛翔体１３０の飛行位置の演算、および死角領域を撮影した映像に対する画像処理を行う。死角推定部１２２ａ、飛行演算部１２２ｂ、画像処理部１２２ｃは図示しない記憶装置に記憶されていてよい。

【0027】

死角推定部１２２ａは、位置センサ１１４で測定した車両１１０の位置情報と、３次元地図データベース１２３から取得した地図情報から、車両１１０からの視野の範囲内において死角が発生する領域を推定する。死角推定部１２２ａは、測距センサ１１３で測定した車両１１０の周囲の物体までの距離情報、車両１１０の位置情報、および３次元地図データベース１２３から取得した地図情報から、車両１１０にとっての死角が発生する領域を推定する。地図情報は、車両１１０の周囲の３次元地図情報であり、車両１１０の位置情報に基づいて３次元地図データベース１２３から取得される。死角領域の推定方法は後述する。

【0028】

飛行演算部１２２ｂは、飛翔体１３０の飛行位置を算出する。飛行位置は、死角推定部１２２ａで推定した死角領域を飛翔体カメラ１３２で撮影できる位置とする。飛翔体１３０の飛行位置は、飛行位置情報として出力する。飛行位置情報は、座標情報等を含んでよい。飛行位置の算出方法は後述する。

【0029】

画像処理部１２２ｃは、飛翔体カメラ１３２が撮影した映像に対する画像処理を行う。具体的には、例えば、画像処理部１２２ｃは、映像内の所定の物体を認識して物体の種類を分類する。所定の物体の種類には、例えば建物、車両、自転車、人を含んでよい。画像処理部１２２ｃは、物体の種類から車両１１０にとって危険な物体であるかを判断してよい。画像処理部１２２ｃは、物体の移動速度、方向と車両１１０の進行方向により、物体の危険度を判断してよい。画像処理部１２２ｃは、車両１１０に配置されている車両カメラ１１２で撮影した映像を、コントローラ通信部１２１から取得する。画像処理部１２２ｃは、分類した物体の種類、およびその物体の危険度に応じたアイコンを、車両カメラ１１２で撮影した映像に重畳する。アイコンを重畳する位置の求め方は後述する。アイコンが重畳された映像は、コントローラ通信部１２１によって、表示装置通信部１４１に送信される。

【0030】

３次元地図データベース１２３は、車両１１０の走行地域の３次元地図情報を記憶管理する記憶媒体で構成される。３次元地図情報は、道路の情報、および道路以外の物体の情
報である物体情報を含む。道路の情報とは、例えば道路、車線、白線、標識等の３次元座標、形状、大きさ、色、種別などを含んでよい。物体情報とは、建物、施設、トンネル等の３次元座標、形状、大きさ、色、種別などを含んでよい。形状や大きさは、例えば、物体の輪郭を形成する複数の端点の３次元座標で表される。３次元地図データベースとしてＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）のデータベースを用いてよい。

【0031】

撮影装置である飛翔体１３０は、情報取得部である飛翔体通信部１３１、第２の撮影部である飛翔体カメラ１３２、飛翔体制御部１３３等を含んで構成される。飛翔体１３０は、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）やドローンと呼ばれる無人飛行機を含んでよい。飛翔体１３０は、車両１１０に搭載され、例えば、運転支援センターから車両１１０の遠隔操作を行う場合に、車両１１０から離陸して飛行してよい。飛翔体１３０は、飛行中には、所定の位置においてホバリングが可能であってよく、高速での巡航が可能であってよい。

【0032】

飛翔体通信部１３１は、コントローラ通信部１２１から飛翔体１３０の飛行位置情報を受信する。飛翔体通信部１３１は、飛翔体カメラ１３２が撮影した映像をコントローラ通信部１２１へ送信する。

【0033】

飛翔体カメラ１３２は、飛翔体１３０に設置され、飛翔体１３０の周囲を撮像して映像を取得する。飛翔体カメラ１３２は、駆動装置によって撮影方向を変更可能に構成されてよい。飛翔体カメラ１３２は、飛翔体１３０の前方、下方、後方、側方を撮影するように設置されてもよい。第１の実施形態において、飛翔体カメラ１３２が死角領域を撮影する場合には、飛翔体１３０の下方を撮影するものとする。

【0034】

飛翔体制御部１３３は、図示しない飛行機構を制御して、飛翔体１３０を飛行位置情報が示す位置に移動させる。

【0035】

表示装置１４０は、表示装置通信部１４１、表示部１４２等を含んで構成される。表示装置１４０は、画像処理部１２２ｃで作成した映像を表示する装置である。表示装置１４０は運転支援センターに配置されてもよいし、それ以外の場所に配置されてもよい。

【0036】

表示装置通信部１４１は、コントローラ通信部１２１から画像処理部１２２ｃで作成した映像を受信する。

【0037】

表示部１４２は、表示装置通信部１４１が受信した映像を表示装置１４０に表示する。表示した映像は、運転支援センターのオペレータが車両１１０を遠隔操作する際に用いられる。

【0038】

第１の実施形態の運転支援システム１０における運転支援の処理手順について、図２を参照して説明する。

【0039】

まず、車両通信部１１１は、測距センサ１１３により測定された測距情報と、位置センサ１１４により測定された位置情報を、コントローラ通信部１２１へ送信する（ステップＳ１００）。

【0040】

コントローラ１２０は、測距情報と位置情報を取得すると、死角推定部１２２ａによって死角が発生する領域を推定する。飛行演算部１２２ｂは、飛翔体カメラ１３２が死角推定部１２２ａで推定した死角領域を撮影できる位置を飛行位置として算出する。死角領域とは、車両カメラ１１２が観察できる領域において、物体によって視界が遮られることで
観察できない道路上の領域である。コントローラ通信部１２１は、飛行演算部１２２ｂで算出した飛行位置の情報を飛翔体通信部１３１へ送信する（ステップＳ２００）。

【0041】

飛翔体１３０が飛行位置情報を取得すると、飛翔体制御部１３３は、図示しない飛行機構を制御し、飛翔体１３０を移動させる。飛翔体カメラ１３２は、飛行位置情報で示される上空の位置まで移動すると、死角推定部１２２ａで推定した死角領域を撮影する。撮影された映像は、コントローラ通信部１２１へ送信される（ステップＳ３００）。

【0042】

コントローラ１２０が飛翔体カメラ１３２で撮影した映像を取得すると、画像処理部１２２ｃは車両カメラ１１２で撮影した映像に対して画像処理を行う。具体的には、画像処理部１２２ｃは、車両通信部１１１から取得した、車両カメラ１１２で撮影した映像に、アイコンを重畳させる。アイコンは飛翔体カメラ１３２が撮影した映像に映る、画像処理部１２２ｃが分類した物体の種類に応じてよい。コントローラ通信部１２１は、アイコンが重畳された映像を、表示装置通信部１４１へ送信する（ステップＳ４００）。

【0043】

表示装置１４０は、取得した映像を表示部１４２に表示させる（ステップＳ５００）。映像は運転支援センターのオペレータが車両１１０を遠隔操作するために用いられる。映像にアイコンを重畳されていることで、遠隔地にある運転支援センターのオペレータは、死角領域に存在する物体を把握できる。アイコンの種類や表示形態は、画像処理部１２２ｃが認識した物体の危険度に応じてよい。オペレータは、アイコンの種類や表示形態から、物体が危険か否かを判断できる。

【0044】

本実施形態における、死角領域の推定方法、および飛翔体の飛行位置算出方法について、図３を参照して説明する。

【0045】

まず、コントローラ通信部１２１は、測距センサ１１３により測定された測距情報と位置センサ１１４により測定された位置情報を取得する（ステップＳ２１１）。測距情報は、車両１１０から周囲の物体までの距離の情報等を含んでよい。位置情報は、車両１１０の現在位置の情報等を含んでよい。

【0046】

演算部１２２は、ステップＳ２１１で取得した位置情報に基づいて、車両１１０の周囲の３次元地図情報である地図情報を、３次元地図データベース１２３から取得する（ステップＳ２１２）。

【0047】

演算部１２２は、測距情報と位置情報と地図情報から、車両１１０からの観察できる領域の中で、物体によって視界が遮られた死角が存在するか否かを判定する（ステップＳ２１３）。物体には、地図情報に登録されている物体と地図情報に登録されていない物体を含んでよい。地図情報に登録されている物体としては、例えば建物、標識、施設、トンネル、山等を含んでよい。地図情報に登録されていない物体は、例えば停止している大型車両、歩行者、地図情報に登録されていない新しく建造された建物、その他道路上に存在する障害物等を含んでよい。

【0048】

ステップＳ２１３で死角は存在しないと判断された場合、処理を終了する。ステップＳ２１３で死角が存在すると判断された場合、死角推定部１２２ａは、飛翔体１３０が撮影すべき死角領域を推定する（ステップＳ２１４）。死角領域を推定する方法は後述する。

【0049】

飛行演算部１２２ｂは、飛翔体１３０の飛行位置を算出する（ステップＳ２１５）。飛行位置は、ステップＳ２１４で推定した死角領域を飛翔体カメラ１３２で撮影できる位置とする。飛行位置を算出する方法は後述する。

【0050】

コントローラ通信部１２１は、ステップＳ２１５で算出した飛行位置を飛翔体通信部１３１へ送信し（ステップＳ２１６）処理を終了する。

【0051】

ステップＳ２１４で実行される、地図情報に登録されている物体により発生する死角領域の推定方法を、図４を参照して説明する。

【0052】

図４に示す例では、道路上に地図情報に登録されている物体６０ａ、６０ｂ、６０ｃ、６０ｄが存在する。物体６０ａ、６０ｂ、６０ｃ、６０ｄは、例えば、道路に面して建造されている建物であってよい。車両１１０は物体６０ｂと６０ｄが面している道路から、物体６０ａ、６０ｂ、６０ｃ、６０ｄによって形成されている交差点を観察している。

【0053】

死角推定部１２２ａは、位置情報と地図情報から、死角となる死角領域が存在するか判断する。具体的には、車両１１０からの視野の範囲（一例として、車両カメラ１１２からの視野の範囲であって、以下、撮影領域と称する）と、地図情報に登録されている物体の位置を重ね合わせたときに、物体が存在することによって車両１１０から先が見通せない領域（すなわち視野が遮られる領域）を死角領域と判断する。

【0054】

撮影領域は、半径Ｒ（車両カメラ１１２の視程距離）、中心角θ（車両カメラ１１２の画角)の扇形で定義される。

【0055】

撮影領域に物体が存在する場合、車両カメラの視野が物体で遮られることによって、死角領域が形成される。

【0056】

所定の距離範囲に死角を形成する物体が存在しない場合、撮影領域は所定の距離範囲と一致する。図４において、死角領域は破線と物体の輪郭の一部、および車載カメラ１１２からの視線方向で示されている。

【0057】

図４に示す例では、物体６０ｂと物体６０ｄによって、撮影領域内で死角領域が２つ存在すると判断する。

【0058】

死角推定部１２２ａは、撮影領域と地図情報から死角が発生する道路上の領域のうち、最も車両１１０に近い地点である地点A（第１位置）を求める。地点Aは死角領域と隣接する物体の輪郭のうち、最も車両１１０と近い地点である。

【0059】

死角推定部１２２ａは、地点Aが属する死角領域内の、最も地点Aから離れた地点である地点B（第２位置）を求める。

【0060】

同一の死角領域内の地点Aと地点Bを直径とする円の範囲に死角領域が含まれる。

【0061】

ステップＳ２１４で実行される、地図情報に登録されていない物体により発生する死角領域の推定方法を、図５を用いて説明する。

【0062】

図５に示す例では、地図情報に登録されていない物体６０ｅが道路上に存在する。死角推定部１２２ａは、測距情報と位置情報と地図情報から、死角となる死角領域が存在するか判断する。

【0063】

例えば、車両１１０から地図情報に登録されている物体の距離と、測距センサが測定した物体との距離を比較したときに、距離が一致しない物体が存在する場合、地図情報に登録されていない物体が存在すると判断する。

【0064】

死角推定部１２２ａは、地図情報に登録されていない物体によって車両１１０からの視野が遮られる領域を死角領域と判断する。

【0065】

図５に示す例では、物体６０ｅによって、撮影領域内に死角領域が存在する。撮影領域である所定の距離範囲は、前述した通り半径Ｒ（車両カメラ１１２の視程距離）、中心角θ（車両カメラ１１２の画角)の扇形で定義される。図５において、死角領域は破線と物
体の輪郭の一部、および車載カメラ１１２からの視線方向で示されている。

【0066】

死角推定部１２２ａは、撮影領域と測距情報から死角が発生する領域のうち、最も車両１１０に近い地点である地点Aを求める。地図情報に登録されていない物体は、その大き
さ、形状が不明なので、物体が存在する領域のうち最も車両１１０に近い地点が地点Aと
なる。

【0067】

車両１１０から物体６０ｅまでの距離ｒは、測距センサ１１３によって測定される。

【0068】

死角推定部１２２ａは、地点Aが属する死角領域内で、最も地点Aから離れた地点である地点Bを求める。同一の死角となる領域内の地点Aと地点Bとを結ぶ直線を直径とする円の
範囲に、死角領域が含まれる。

【0069】

ステップＳ２１５で死角推定部１２２ａが推定した死角領域に基づき、飛行位置の算出方法を、図６を用いて説明する。

【0070】

図６に示す例では、図４および図５で説明したように、地点Aと地点Bとを結ぶ直線を直径とする円の中に死角領域が存在する。したがって、飛行位置は、飛翔体１３０は搭載する飛翔体カメラ１３０からこの円を撮影できる位置となる。

【0071】

本実施例においては、死角領域を撮影する際に、飛翔体カメラ１３２は飛翔体１３０の真下を向くものとする。したがって、飛行位置は、飛翔体１３０に搭載する飛翔体カメラ１３２の画角φと地点Ａから地点Ｂの距離に基づき、算出することができる。

【0072】

具体的には、飛翔体カメラ１３０の視野範囲は、飛翔体カメラ１３２の画角φを頂角とする円錐で定義できる。したがって飛行位置は、直径を地点Ａから地点Ｂとする円を底面とし、画角φを頂角とする円錐の頂点の位置とすることができる。すなわち、飛行位置の高度は円錐の高さに対応する。なお、飛翔体１３０の飛行位置は、飛翔体カメラ１３２が地点Aと地点Bとを結ぶ直線を直径とする円の領域を撮影できる位置であればよく、本実施形態の例に限定されるものではない。

【0073】

第１の実施形態の運転支援システム１０の表示装置で表示する映像の作成方法について、図７を用いて説明する。

【0074】

まず、コントローラ通信部１２１は、飛翔体カメラ１３２で撮影された映像を取得する（ステップＳ４０１）。

【0075】

画像処理部１２２ｃは、ステップＳ４０１で取得した映像内の物体を認識して物体の種類を分類する（ステップＳ４０２）。物体の種類には、例えば建物、車両、自転車、人等を含んでよい。

【0076】

画像処理部１２２ｃは、ステップＳ４０２で分類した物体の位置から、車両１１０にとって危険な物体か否かを判定する（ステップＳ４０３）。危険な物体とは、例えば、車両１１０と衝突の可能性がある物体であり、例えば車両、自転車、人等としてよい。

【0077】

認識された物体が、ステップＳ４０３で車両１１０にとって危険な物体ではないと判定された場合、処理を終了する。ステップＳ４０３で車両１１０にとって危険な物体であると判定された場合、画像処理部１２２ｃは、物体の移動速度・方向と車両１１０の進行方向により物体の危険度を推定する（ステップＳ４０４）。危険度は複数段階にレベル分けされてもよい。

【0078】

コントローラ通信部１２１は、車両カメラ１１２で撮影された映像を取得する（ステップＳ４０５）。

【0079】

画像処理部１２２ｃは、ステップＳ４０４で危険度を求めた物体の位置が、車両カメラ１１２で撮影された映像上のどの位置に対応するか算出する。画像処理部１２２ｃは、ステップＳ４０５で取得した映像上の、車両１１０にとって危険な物体が存在する位置に、ステップＳ４０２で分類した種類に応じたアイコンを重畳させる（ステップＳ４０６）。アイコンは、物体の危険度に応じて表示形態を変化させてよい。表示形態の変化は、例えば、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化としてよい。

【0080】

コントローラ通信部１２１は、ステップＳ４０６で作成したアイコンを重畳させた映像を表示装置通信部１４１へ送信する（ステップＳ４０７）。

【0081】

図８は、車両カメラ１１２で撮影した映像にアイコンを重畳させた映像を示す図である。

【0082】

画像処理部１２２ｃは、例えば、図８に示すように、車両カメラ１１２で撮影した映像に画像処理部１２２ｃが認識した物体の種類に対応したアイコン７０ａ、７０ｂ、７０ｃを重畳させて映像を生成する。

【0083】

図８において、物体６０ａ、６０ｂ、６０ｃ、６０ｄは、３次元地図データベース１２３から取得した地図情報に登録されている建物である。アイコン７０ａ、７０ｂは、建物である物体６０ｂ、６０ｄによって視界が遮られた道路上の位置に存在している物体のうち、危険であると判断された物体に対応する。アイコン７０ａ、７０ｂの表示位置は、飛翔体カメラ１３２によって撮影された映像中における物体の位置に対応する。

【0084】

画像処理部１２２ｃは、アイコン７０ａ、７０ｂ、７０ｃの表示形態を、危険度に応じて変化させてよい。表示形態の変化は、例えば、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化としてよい。画像処理部１２２ｃは、アイコン７０ａ、７０ｂ、７０ｃを、危険度に応じて異なる色で表示させてよい。

【0085】

図８において、例えば、車両１１０との距離が近く、車両１１０に近づく危険度の高いアイコン７０ａは赤色で表示してよい。アイコン７０ａより車両１１０から離れているが、車両１１０に近づく危険度の高いアイコン７０ｃは黄色で表示してよい。車両１１０との距離は近いが、車両１１０に近づく危険度の低いアイコン７０ｂは青色で表示してよい。

【0086】

本発明の第２の実施形態について、図９を参照して説明する。

【0087】

本実施形態の運転支援システム２０は、車両２１０、コントローラ２２０、路側機２３０、表示装置２４０等を含んで構成される。運転支援システム２０は、路側機データベース２２４と撮影装置である路側機２３０を備える点で第１の実施形態に係る運転支援シス
テム１０と異なる。

【0088】

第2の実施形態においては、車両２１０および表示装置２４０の構成、作用は第１の実
施形態に係る車両１１０および表示装置１４０と同様なので説明を省略する。

【0089】

以下、特別に明記したものを除き、第１の実施形態にかかる構成と同一名称を付した構成は、同一の構成、機能を有するものとして説明を省略する。

【0090】

路側機２３０は、通信ケーブル、無線ネットワーク等を介してコントローラ２２０と接続されて情報を送受信する。コントローラ２２０は、コントローラ通信部２２１、演算部２２２、３次元地図データベース２２３、路側機データベース２２４等を含んで構成される。

【0091】

コントローラ２２０はコントローラ通信部２２１、演算部２２２、３次元地図データベース２２３、路側機データベース２２４等を制御する。

【0092】

コントローラ通信部２２１は、死角領域を撮影可能な路側機２３０に撮影指示を送信する。コントローラ通信部２２１は、路側機通信部２３１から路側機カメラ２３２が撮影した映像を受信する。

【0093】

演算部２２２は、ソフトウェアである死角推定部２２２ａ、路側機選択部２２２ｄ、画像処理部２２２ｃ等を含んで構成される。

【0094】

路側機選択部２２２ｄは、死角領域を撮影する路側機２３０の選択を行う。路側機選択部２２２ｄは図示しない記憶装置に記憶されていてよい。

【0095】

路側機選択部２２２ｄは、死角領域を撮影することができる路側機２３０の情報を路側機データベース２２４から取得する。

【0096】

画像処理部２２２ｃは、路側機カメラ２３２が撮影した映像の画像処理を行う。画像処理部２２２ｃの構成、作用は第１の実施形態に係る画像処理部１２２ｃと同様なので説明を省略する。

【0097】

路側機データベース２２４は、車両２１０の走行地域に設置されている路側機に関する情報である路側機情報を記憶管理する記憶媒体で構成される。路側機情報は、路側機が設置されている位置の座標情報および路側機が撮影可能な領域の情報等を含んでよい。

【0098】

路側機２３０は、情報取得部である路側機通信部２３１、第２の撮影部である路側機カメラ２３２等を含んで構成される。

【0099】

路側機２３０は、Ｖ２Ｉ（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ)に
位置づけられ、交差点の信号情報や周囲情報の収集および配信等を通じて人と車両の協調制御を行う装置である。

【0100】

路側機２３０は、路側機２３０と通信可能なシステムが搭載された車両と通信ネットワーク等を介して情報の送受信を行ってよい。信号情報は、交差点に設置されている信号機の位置の座標情報および信号機で表示されている色の情報等を含んでよい。周囲情報は、路側機の周囲に関する情報を含んでよい。

【0101】

路側機通信部２３１は、コントローラ通信部２２１から撮影指示を受信する。路側機通
信部２３１は、路側機カメラ２３２で撮影した映像をコントローラ通信部２２１へ送信する。

【0102】

路側機カメラ２３２は、路側機２３０に設置され、路側機２３０の周囲を撮像して映像を取得する。第2の実施形態において、路側機カメラ２３２は、道路上の所定の領域を撮
影するように設置される。

【0103】

第２の実施形態においては、路側機カメラ２３２が死角領域を撮影するという点で第１の実施形態に係る運転支援システム１０と異なる。運転支援システム２０の運転支援の処理手順のうち、第１の実施形態に係る運転支援システム１０の運転支援の処理手順と異なる部分のみ説明する。

【0104】

第２の実施形態の運転支援システム２０の死角領域の算出方法および路側機の選択方法について、図１０を参照して説明する。

【0105】

第２の実施形態においては、ステップＳ２２１～Ｓ２２３の処理は、ステップＳ２１１～Ｓ２１３の処理と同じであるため説明を省略する。

【0106】

ステップＳ２２３で死角が存在すると判断された場合、死角推定部２２２ａは、路側機２３０が撮影すべき死角領域を推定する（ステップＳ２２４）。

【0107】

路側機選択部２２２ｄは、ステップＳ２２４で推定した死角領域を撮影可能な路側機２３０を路側機データベース２２４から選択する（ステップＳ２２５）。路側機データベース２２４は、路側機が設置されている位置の座標情報および路側機が撮影可能な領域の情報等を含む路側機情報を記憶している。路側機選択部２２２ｄは、ステップＳ２２４で推定した死角領域と路側機情報とから、死角領域を撮影可能な路側機２３０を選択し、処理を終了する。

【0108】

第２の実施形態においては、路側機カメラ２３２で映像を取得するという点で第１の実施形態に係る運転支援システム１０と異なるが、路側機カメラ２３２が撮影した映像への画像処理部２２２ｃによる画像処理、および表示装置２４０で表示する映像の作成方法は、第１の実施形態に係る運転支援システム１０と同様なので説明を省略する。

【0109】

本発明の第３の実施形態について、図１１を参照して説明する。本実施形態の運転支援システム３０は、車両３１０、コントローラ３２０、路側機３３０、表示装置３４０、撮影装置である選択車両３５０等を含んで構成される。路側機３３０、選択車両３５０は、通信ケーブル、無線ネットワーク等を介してコントローラ３２０と接続され、情報を送受信する。運転支援システム３０は、路側機データベース３２４と路側機３３０、選択車両３５０を備える点で第１の実施形態に係る運転支援システム１０と異なる。

【0110】

第３の実施形態においては、車両３１０の構成、作用は第１の実施形態に係る車両１１０と同様なので説明を省略する。表示装置３４０および表示装置３４０の構成、作用は第１の実施形態に係る表示装置１４０および表示装置１４０と同様なので説明を省略する。

【0111】

以下、特別に明記したものを除き、第１の実施形態にかかる構成と同一名称を付した構成は、同一の構成、機能を有するものとして説明を省略する。

【0112】

コントローラ３２０は、コントローラ通信部３２１、演算部３２２、３次元地図データベース３２３、路側機データベース３２４等を含んで構成される。

【0113】

コントローラ３２０は、コントローラ通信部３２１、演算部３２２、３次元地図データベース３２３、路側機データベース３２４等を制御する。

【0114】

コントローラ通信部３２１は、死角領域周囲に位置する路側機３３０を選択する。コントローラ通信部３２１は、選択した路側機３３０に、死角領域を撮影することが可能な選択車両３５０を選択させる指示を送信する。コントローラ通信部３２１は、選択車両カメラ３５２で車両周囲を撮影させる指示を、路側機３３０に送信する。コントローラ通信部３２１は、選択車両カメラ３５２が撮影した映像を、路側機通信部３３１を介して選択車両通信部３５１から受信する。

【0115】

演算部３２２は、ソフトウェアである死角推定部３２２ａ、路側機選択部３２２ｄ、画像処理部３２２ｃ等を含んで構成される。路側機選択部３２２ｄは、死角領域周囲の路側機３３０の選択を行う。

【0116】

路側機選択部３２２ｄは、死角領域周囲の路側機３３０を路側機データベース３２４から取得する。

【0117】

画像処理部３２２ｃは、選択車両カメラ３５２が撮影した映像に対する画像処理を行う。画像処理部３２２ｃの構成、作用は第１の実施形態に係る画像処理部１２２ｃと同様なので説明を省略する。

【0118】

路側機データベース３２４は、車両３１０の走行地域に設置されている路側機に関する情報である路側機情報を記憶管理する記憶媒体で構成される。路側機情報は、路側機が設置されている位置の座標情報等を含んでよい。

【0119】

路側機３３０は、路側機通信部３３１、車両選択部３３４等を含んで構成される。

【0120】

路側機通信部３３１は、コントローラ通信部３２１から選択車両３５０を選択する指示を受信する。路側機通信部３３１は、選択車両通信部３５１に撮影指示を送信する。路側機通信部３３１は、選択車両通信部３５１から選択車両カメラ３５２が撮影した映像を受信する。路側機通信部３３１は、選択車両カメラ３５２が撮影した映像をコントローラ通信部３２１へ送信する。

【0121】

車両選択部３３４は、死角領域を撮影することが可能な選択車両３５０を選択する。路側機３３０は、路側機３３０と通信可能な地点に位置する車両と通信を行い、死角領域を撮影することが可能なカメラが搭載された選択車両３５０を選択する。

【0122】

選択車両３５０は、情報取得部である選択車両通信部３５１、第２の撮影部である選択車両カメラ３５２等を含んで構成される。選択車両３５０には、本実施形態における車両３１０と同じ構成の車両を含んでよい。

【0123】

選択車両通信部３５１は、路側機通信部３３１から撮影指示を受信する。選択車両通信部３５１は、選択車両カメラ３５２で撮影した映像を路側機通信部３３１へ送信する。

【0124】

選択車両カメラ３５２は、選択車両３５０の内部又は外部に設置され、選択車両３５０の周囲を撮像して映像を取得する。本実施形態において、選択車両カメラ３５２は、選択車両３５０の前方を撮影するように設置される。選択車両カメラ３５２は、選択車両３５０の後方又は側方を撮影するように設置されてもよい。

【0125】

第３の実施形態においては、選択車両カメラ３５２が死角領域を撮影するという点で第
１の実施形態に係る運転支援システム１０と異なる。運転支援システム３０の運転支援の処理手順のうち、第１の実施形態に係る運転支援システム１０の運転支援の処理手順と異なる部分のみ説明する。

【0126】

第３の実施形態の運転支援システム３０の死角領域の算出方法および選択車両の選択方法について、図１２を参照して説明する。

【0127】

第３の実施形態においては、ステップＳ２３１～Ｓ２３３の処理は、ステップＳ２１１～Ｓ２１３の処理と同じであるため説明を省略する。

【0128】

ステップＳ２３３で死角は存在しないと判断された場合、処理を終了する。ステップＳ２３３で死角が存在すると判断された場合、死角推定部３２２ａは、撮影すべき死角領域を推定する（ステップＳ２３４）。

【0129】

路側機選択部３２２ｄは、ステップＳ２３４で推定した死角領域周囲の路側機３３０を路側機データベース３２４から選択して処理を終了する（ステップＳ２３５）。路側機選択部３２２ｄは、ステップＳ２３４で推定した死角領域に基づき、路側機データベース３２４から死角領域周囲に設置されている路側機３３０を選択する。

【0130】

選択された路側機３３０の動作について説明する。路側機通信部３３１は、路側機３３０と通信可能な車両と通信を行う。車両選択部３３４は、路側機３３０と通信可能な車両へ、死角領域に関する情報を送信する。

【0131】

死角領域に関する情報を受信した車両は、登載されたカメラによる死角領域の撮影の可否に関する情報を、路側機３３０に送信する。

【0132】

路側機３３０は、搭載されるカメラで死角領域を撮影することが可能な車両を選択車両３５０として選択する。

【0133】

路側機通信部３３１は、選択車両通信部３５１に撮影指示を送信する。

【0134】

選択車両３５０の動作について説明する。選択車両通信部３５１は、路側機３３０からの撮影指示を受け、選択車両カメラ３５２で死角領域を撮影する。撮影された映像は、路側機３３０を経由して、コントローラ通信部３２１へ送信される。

【0135】

第３の実施形態においては、選択車両カメラ３５２で映像を取得するという点で第１の実施形態に係る運転支援システム１０と異なる。

【0136】

選択車両カメラ３５２が撮影した映像の画像処理部３２２ｃの画像処理方法、および表示装置３４０で表示する映像の作成方法は、第１の実施形態に係る運転支援システム１０と同様なので説明を省略する。

【0137】

以上のように、本開示にかかる運転支援システムは、上記の構成によって、死角が発生する領域を推定し、死角が発生する領域の情報を含んだ車両の周囲情報を車両の操縦者に提供することができる。

【0138】

本開示を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本開示の範囲に含まれることに留意されたい。

【0139】

表示装置１４０は、例えば、遠隔地にある運転支援センターに設置されるに限られない。車両１１０は遠隔操作されるものではなくてよく、表示装置１４０は車両１１０に搭載され、ドライバーの運転を支援するものであってもよい。

【符号の説明】

【0140】

１０，２０，３０ 運転支援システム
６０ａ，６０ｂ，６０ｃ，６０ｄ，６０ｅ 物体
７０ａ，７０ｂ，７０ｃ アイコン
１１０，２１０，３１０ 車両
１１１，２１１，３１１ 車両通信部
１１２，２１２，３１２ 車両カメラ
１１３，２１３，３１３ 測距センサ
１１４，２１４，３１４ 位置センサ
１２０，２２０，３２０ コントローラ
１２１，２２１，３２１ コントローラ通信部
１２２，２２２，３２２ 演算部
１２２ａ，２２２ａ，３２２ａ 死角推定部
１２２ｂ 飛行演算部
１２２ｃ，２２２ｃ，３２２ｃ 画像処理部
１２３，２２３，３２３ ３次元地図データベース
１３０ 飛翔体
１３１ 飛翔体通信部
１３２ 飛翔体カメラ
１３３ 飛翔体制御部
１４０，２４０，３４０ 表示装置
１４１，２４１，３４１ 表示装置通信部
１４２，２４２，３４２ 表示部
２２２ｄ，３２２ｄ 路側機選択部
２２４，３２４ 路側機データベース
２３０，３３０ 路側機
２３１，３３１ 路側機通信部
２３２ 路側機カメラ
３３４ 車両選択部
３５０ 選択車両
３５１ 選択車両通信部
３５２ 選択車両カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】