(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-23
(45)【発行日】2022-05-31
(54)【発明の名称】車両システム、空間領域推測方法及び空間領域推測装置
(51)【国際特許分類】
G01C 21/26 20060101AFI20220524BHJP
G08G 1/16 20060101ALI20220524BHJP
G08G 1/09 20060101ALI20220524BHJP
G06T 7/00 20170101ALI20220524BHJP
H04N 7/18 20060101ALI20220524BHJP
B60R 1/22 20220101ALI20220524BHJP
B60R 21/00 20060101ALI20220524BHJP
【FI】
G01C21/26 A
G08G1/16 C
G08G1/09 H
G06T7/00 650B
H04N7/18 J
H04N7/18 K
B60R1/22
B60R21/00 991
(21)【出願番号】P 2018070850
(22)【出願日】2018-04-02
【審査請求日】2020-11-24
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(73)【特許権者】
【識別番号】502324066
【氏名又は名称】株式会社デンソーアイティーラボラトリ
(74)【代理人】
【識別番号】100106149
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】千葉 晋彦
(72)【発明者】
【氏名】手嶋 健太郎
(72)【発明者】
【氏名】関川 雄介
(72)【発明者】
【氏名】鈴木 幸一郎
【審査官】藤村 泰智
(56)【参考文献】
【文献】特開2014-035560(JP,A)
【文献】特開2011-248870(JP,A)
【文献】特開2009-070243(JP,A)
【文献】特開2013-109705(JP,A)
【文献】特開2005-269010(JP,A)
【文献】国際公開第2009/119110(WO,A1)
【文献】特開2016-170610(JP,A)
【文献】国際公開第2017/056821(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/26 ~ 21/36
G08G 1/00 ~ 1/16
G06T 7/00
H04N 7/18
B60R 1/20 ~ 1/28
B60R 21/00
B60K 35/00 ~ 37/02
(57)【特許請求の範囲】
【請求項1】
車両(1)に用いられる車両システムであって、
前記車両の外界を撮影して画像を生成する撮像部(10)と、
前記画像において、死角の原因となっている物体を認識し、
認識した前記物体の種類に基づき前記物体の奥行きを推測し、推測された前記奥行きの情報を用いて前記物体が形成する死角領域(BS)の内部を推測する死角領域推測部(43)と、を備える車両システム。
【請求項2】
前記死角領域推測部は、前記奥行きの情報を用いて、前記死角領域に対して、
認識した前記物体
が存在
している可能性
の高い領域(BS1)と、前記物体の裏の領域(BS2)とを、区別した領域データを生成する請求項1に記載の車両システム。
【請求項3】
前記領域データを可視化した視覚的情報を提示する情報提示部(21)をさらに備える請求項2に記載の車両システム。
【請求項4】
前記情報提示部は、前記視覚的情報として、前記車両の外界を鳥瞰した鳥瞰ビューを提示する請求項3に記載の車両システム。
【請求項5】
前記死角領域推測部は、前記画像を、前記外界を鳥瞰したように表したデータに鳥瞰変換した上で、前記死角領域を推測する請求項1から4のいずれか1項に記載の車両システム。
【請求項6】
前記死角領域推測部が推測した情報を用いて、前記死角領域について、前記車両の乗員へ向けた警報を行なう警報部(22)をさらに備える請求項1から5のいずれか1項に記載の車両システム。
【請求項7】
前記死角領域の内部のうち、歩行者の存在可能性が否定推測された領域に対する前記歩行者についての前記警報部による前記警報は、規制される請求項6に記載の車両システム。
【請求項8】
前記死角領域推測部が推測した情報を用いて、前記車両の走行の制御を行なう車両走行制御部(30)をさらに備える請求項1から7のいずれか1項に記載の車両システム。
【請求項9】
前記車両走行制御部は、前記物体の裏の領域へ向けて前記車両を走行させるか否かを判定する請求項8に記載の車両システム。
【請求項10】
前記撮像部は、前記画像を逐次撮影し、
前記死角領域推測部は、最新の前記画像と、過去の前記画像とを両方用いて、前記死角領域の内部を推測する請求項1から9のいずれか1項に記載の車両システム。
【請求項11】
他車両からの情報を取得する他車両情報理解部(42)をさらに備え、
前記死角領域推測部は、前記画像と、前記他車両からの情報とを両方用いて、前記死角領域の内部を推測する請求項1から10のいずれか1項に記載の車両システム。
【請求項12】
前記外界についての検出を行なう自律センサ(15)をさらに備え、
前記死角領域推測部は、前記画像と、前記自律センサからの情報とを両方用いて、前記死角領域の内部を推測する請求項1から11のいずれか1項に記載の車両システム。
【請求項13】
車両(1)の外界の空間領域を推測する空間領域推測方法であって、
前記外界が撮影された画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得した画像において、死角の原因となっている物体を認識する認識ステップと、
前記認識ステップにて認識した
前記物体の種類に基づき前記物体の奥行きを推測する奥行推測ステップと、
前記奥行推測ステップにて推測された前記物体の奥行きの情報を用いて前記物体が形成する死角領域
(BS)の内部を推測する死角領域推測ステップと、を備える空間領域推測方法。
【請求項14】
車両に搭載された撮像部(10)と通信可能に接続された空間領域推測装置であって、
前記撮像部から前記車両の外界の画像を取得する画像取得部(40a)と、
前記画像取得部と接続されて、前記画像取得部が取得した画像を処理する演算回路(40b)と、
前記演算回路と接続され、前記演算回路が前記画像を処理するために用いる情報(50,51)を記憶しているメモリ装置(40c)と、を備え、
前記演算回路が前記メモリ装置から読み込んだ情報に基づいて、前記画像において、死角の原因となっている物体を認識し、認識した
前記物体の種類に基づき前記物体の奥行きを推測し、
推測された前記物体の奥行きの情報を用いて前記物体が形成する死角領域(BS)の内部を推測した領域データを生成するように構成されている空間領域推測装置。
【請求項15】
車両に搭載された撮像部(10)と通信可能に接続された空間領域推測装置であって、
前記撮像部から前記車両の外界の画像を取得する画像取得部(40a)と、
前記画像取得部と接続されて、前記画像取得部が取得した画像を処理する演算回路(40b)と、
前記演算回路と接続され、前記演算回路が前記画像を処理するために用いる情報を記憶しているメモリ装置(40c)と、を備え、
前記メモリ装置は、前記画像を処理するために用いる情報として、
前記画像において、死角の原因となっている物体にラベルを付加するためのラベルデータベース(50)と、
前記ラベルが付加された前記物体の奥行きを推測するための奥行情報データベース(51)と、を記憶しており、
前記演算回路は、前記ラベルデータベース及び前記奥行情報データベースによって推測した前記物体の奥行きの情報を用いて前記物体が形成する死角領域(BS)の内部を推測した領域データを生成するように構成されている空間領域推測装置。
【請求項16】
前記車両に関する情報を取得して整理する自車両情報理解部(41)を、さらに備える請求項14又は15に記載の空間領域推測装置。
【請求項17】
他車両に関する情報を取得して整理する他車両情報理解部(42)を、さらに備える請求項14から16のいずれか1項に記載の空間領域推測装置。
【請求項18】
最新の前記画像と、過去の前記画像とを両方用いて、将来の予測を行なう将来情報推測部(49)を、さらに備える請求項14から17のいずれか1項に記載の空間領域推測装置。
【請求項19】
他車両又はクラウドと通信可能に接続され、
前記他車両又は前記クラウドへ前記死角領域の内部を推測した前記領域データを送信する請求項14から18のいずれか1項に記載の空間領域推測装置。
【発明の詳細な説明】
【技術分野】
【0001】
この明細書による開示は、車両システム、空間領域推測方法及び空間領域推測装置に関する。
【背景技術】
【0002】
従来、車両に用いられる車両システムが開示されている。特許文献1に開示のシステムは、車両の外界を撮影して画像を生成する撮像部を有している。撮像部は、サイドミラーの死角領域を撮影するようになっている。撮像部が生成した画像は、拡大又は縮小処理され、表示装置により略そのまま表示される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
この特許文献1では、サイドミラーに対しての死角領域を撮影するものの、撮影した画角内に物体が存在する場合には、その物体が形成する死角領域の内部まで十分に把握することができない。
【0005】
開示されるひとつの目的は、死角領域の内部をより適切に把握可能な車両システム、空間領域推測方法及び空間領域推測装置を提供することにある。
【課題を解決するための手段】
【0006】
ここに開示された態様のひとつは、車両(1)に用いられる車両システムであって、
車両の外界を撮影して画像を生成する撮像部(10)と、
画像において、死角の原因となっている物体を認識し、認識した物体の種類に基づき物体の奥行きを推測し、推測された奥行きの情報を用いて物体が形成する死角領域(BS)の内部を推測する死角領域推測部(43)と、を備える。
【0007】
また、開示された態様の他のひとつは、車両(1)の外界の空間領域を推測する空間領域推測方法であって、
外界が撮影された画像を取得する画像取得ステップと、
画像取得ステップにおいて取得した画像において、死角の原因となっている物体を認識する認識ステップと、
認識ステップにて認識した物体の種類に基づき物体の奥行きを推測する奥行推測ステップと、
奥行推測ステップにて推測された物体の奥行きの情報を用いて物体が形成する死角領域(BS)の内部を推測する死角領域推測ステップと、を備える。
【0008】
また、開示された態様の他のひとつは、車両に搭載された撮像部(10)と通信可能に接続された空間領域推測装置であって、
撮像部から車両の外界の画像を取得する画像取得部(40a)と、
画像取得部と接続されて、画像取得部が取得した画像を処理する演算回路(40b)と、
演算回路と接続され、演算回路が画像を処理するために用いる情報(50,51)を記憶しているメモリ装置(40c)と、を備え、
演算回路がメモリ装置から読み込んだ情報に基づいて、画像において、死角の原因となっている物体を認識し、認識した物体の種類に基づき物体の奥行きを推測し、
推測された物体の奥行きの情報を用いて物体が形成する死角領域(BS)の内部を推測した領域データを生成するように構成されている。
【0009】
また、開示された態様の他のひとつは、車両に搭載された撮像部(10)と通信可能に接続された空間領域推測装置であって、
撮像部から車両の外界の画像を取得する画像取得部(40a)と、
画像取得部と接続されて、画像取得部が取得した画像を処理する演算回路(40b)と、
演算回路と接続され、演算回路が画像を処理するために用いる情報を記憶しているメモリ装置(40c)と、を備え、
メモリ装置は、画像を処理するために用いる情報として、
画像において、死角の原因となっている物体にラベルを付加するためのラベルデータベース(50)と、
ラベルが付加された物体の奥行きを推測するための奥行情報データベース(51)と、を記憶しており、
演算回路は、ラベルデータベース及び奥行情報データベースによって推測した物体の奥行きの情報を用いて物体が形成する死角領域(BS)の内部を推測した領域データを生成するように構成されている。
【0010】
これらの態様によると、車両の外界を撮影して得られた画像において、死角の原因となっている物体が認識され、当該物体が形成する死角領域の内部が推測される。この死角領域の内部の推測においては、物体の奥行きが推測され、推測された奥行きの情報が用いられる。すなわち、死角領域において、撮像部に対して表側から奥行き分の領域は、当該物体の存在可能性を推測することができる。そして、奥行き分よりもさらに裏側の領域は、当該物体以外の存在可能性を推測することができる。このようにして、死角領域の内部をより適切に把握可能となるのである。
【0011】
なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
【図面の簡単な説明】
【0012】
【
図1】第1実施形態の車両システムのシステム構成を示すブロック図である。
【
図2】
図1のECUの回路構成を概略的に示すブロック図である。
【
図3】第1実施形態の撮像部が撮影した画像の一例である。
【
図4】第1実施形態における鳥瞰変換された領域データを示す図である。
【
図5】
図4に対して、ラベルが付加され、死角領域が区別された領域データを示す図である。
【
図6】第1実施形態における統合認識の一例を説明するための図である。
【
図7】
図5に対して、歩行者の位置の推測結果が付加された領域データを示す図である。
【
図8】第1実施形態における歩行者の位置の推測を説明するための図である。
【
図9】第1実施形態の車両システムによる領域データの生成処理を示すフローチャートである。
【
図10】第1実施形態の車両システムによる統合認識処理を示すフローチャートである。
【
図11】第1実施形態の車両システムによる情報提示処理を示すフローチャートである。
【
図12】第1実施形態の車両システムによる警報処理を示すフローチャートである。
【
図13】第1実施形態の車両システムによる車両走行制御処理を示すフローチャートである。
【発明を実施するための形態】
【0013】
一実施形態を図面に基づいて説明する。
【0014】
(第1実施形態)
本開示の第1実施形態による車両システム9は、
図1に示すように、車両1に用いられるシステムであって、当該車両1に搭載されている。ここでいう車両1とは、他車両4と区別する上では、厳密には自車両を意味しているが、以下の説明において、自車両を単に「車両」と記載し、他車両を「他車両」と記載することとする。車両システム9は、撮像部10、自律センサ部15、HMI機器部20、車両走行制御部30、及びECU(Electronic Control Unit)40等により構成されている。
【0015】
撮像部10は、複数のカメラ11を有している。各カメラ11は、撮像素子、レンズ、及び制御部としての回路ユニット12を有している。撮像素子は、光電変換により光を電気信号に変換する素子であり、例えばCCDイメージセンサないしはCMOSイメージセンサを採用することができる。レンズは、撮影対象を撮像素子上に結像させるために、撮像対象と撮像素子との間に配置されている。
【0016】
回路ユニット12は、少なくとも1つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路であり、プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラムを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット12は、撮像素子と電気的に接続されていることにより、撮像素子を制御すると共に、画像をデータとして生成し、ECU40へ向けて当該データを電気信号として出力する。
【0017】
このようにして、撮像部10の各カメラ11は、車両1の外界を、逐次撮影して画像のデータを生成する。本実施形態では、複数のカメラ11は、車両1の外界のうち互いに異なる方向を撮影するようになっている。複数のカメラ11には、車両1の外界のうち当該車両1に対する前方を撮影するカメラ11が含まれている。
【0018】
自律センサ部15は、撮像部10を補助するように、車両1の外界における歩行者、他車両4等の移動物体、路上の落下物、交通信号、ガードレール、縁石、道路標識、道路標示、及び区画線等の静止物体を検出する。自律センサ部15は、例えばライダユニット、ミリ波レーダ、ソナー等のうち少なくとも1つの自律センサを有している。自律センサ部15は、ECU40と通信可能となっていることにより、各自律センサ部15の検出結果データを、ECU40へ向けて電気信号として出力する。
【0019】
HMI機器部20は、HMI(Human Machine Interface)を実現するための機器群を主体として構成されている。具体的にHMI機器部20は、情報提示部21、警報部22及び振動部23を有している。
【0020】
情報提示部21は、主に視覚的情報を車両1の乗員へ向けて提示する。情報提示部21は、例えば画像を表示する表示器を備えたコンビネーションメータ、画像を車両1のウインドシールド等に投影して虚像表示するヘッドアップディスプレイ、ナビゲーション画像を表示可能に構成されたナビゲーション用ディスプレイ等のうち、少なくとも1つのディスプレイを有している。情報提示部21は、ECU40と通信可能となっていることにより、ECU40からの電気信号の入力に応じた視覚的情報の提供を行なう。
【0021】
警報部22は、車両1の乗員へ向けた警報を行なう。警報部22は、例えばスピーカ、ブザー等のうち、少なくとも1つの音発振装置を有している。警報部22は、ECU40と通信可能となっていることにより、ECU40からの電気信号の入力に応じた警報を行なう。
【0022】
振動部23は、車両1の乗員へ向けて振動による情報提供又は警報を行なう。振動部23は、例えば車両1の操舵ハンドルを振動させるアクチュエータ、乗員が着座する座席を振動させるアクチュエータ等のうち、少なくとも1つのアクチュエータを有している。振動部23は、ECU40と通信可能となっていることにより、ECU40からの電気信号の入力に応じた振動を行なう。
【0023】
また、上記HMI機器部20には、情報提示部21、警報部22及び振動部23を制御する制御部としての回路ユニット20aを設けることができる。回路ユニット20aは、少なくとも1つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路であり、プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラムを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット20aは、ECU40からの電気信号を、情報提示部21、警報部22及び振動部23に応じた信号に変換することができ、後に詳述する情報提示処理及び警報処理の一部を分担することができる。
【0024】
車両走行制御部30は、少なくとも1つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路を主体として構成されている。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラムを非一時的に格納するための非遷移的実体的記憶媒体である。車両走行制御部30は、ECU40、車両1の駆動装置、制動装置及び操舵装置と通信可能となっていることにより、ECU40からの電気信号が入力されるようになっていると共に、車両1の駆動装置、制動装置及び操舵装置へ向けて電気信号を出力するようになっている。
【0025】
車両走行制御部30は、コンピュータプログラムの実行により発現される機能ブロックとして、自動運転制御部31、駆動制御部32、制動制御部33及び操舵制御部34を有している。
【0026】
自動運転制御部31は、車両1の運転操作のうち少なくとも一部範囲を乗員としての運転者から代行可能な自動運転機能を備えている。自動運転制御部31は、自動運転機能が作動している場合に、ECU40の統合メモリ52(詳細は後述)から自動運転に有用な情報を取得し、当該情報を利用して、車両1の自動運転制御を実施する。具体的に、自動運転制御部31は、駆動制御部32を介して車両1の駆動装置を制御し、制動制御部33を介して車両1の制動装置を制御し、操舵制御部34を介して車両1の操舵装置を制御する。自動運転制御部31は、駆動装置、制動装置及び操舵装置を互いに連携させて、車両1の走行を制御し、車両1の外界の状況によっては、当該車両1に来襲し得る危険を回避する。
【0027】
ECU40は、車両1の外界の空間領域を推測する空間領域推測装置として機能している。ECU40は、
図2に示すように、少なくとも1つのプロセッサ40b、メモリ装置40c、入出力インターフェース(例えば画像取得部40a)を含む電子回路を主体として構成されている。プロセッサ40bは、メモリ装置40cに記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置40cは、例えば半導体メモリ等によって提供され、プロセッサ40bによって読み取り可能なコンピュータプログラム及びデータベースを非一時的に格納するための非遷移的実体的記憶媒体である。コンピュータプログラムのうち少なくとも一部は、ニューラルネットワークを用いた人工知能アルゴリズムに置き換えることができ、本実施形態においても、一部の機能がニューラルネットワークによって実現されている。
【0028】
図1に示すようにECU40は、上述のように、撮像部10、自律センサ部15、HMI機器部20及び車両走行制御部30と通信可能になっている。加えて、ECU40は、通信を用いた電気信号の入力によって、車両1の走行情報、車両1の制御情報、車両1の自己位置情報、クラウド3からの情報及び他車両4からの情報を取得可能に構成され、さらにはクラウド3及び他車両4へ情報を提示することが可能となっている。ここでクラウド3とは、クラウドコンピューティングにより実現されたネットワーク及びネットワークにより接続されたコンピュータの一方又は両方を意味し、データを共有したり、車両1に対する各種サービスを受けることができる。
【0029】
なお、本実施形態においてECU40と各要素との間の通信は、例えばCAN(登録商標)等の車内ネットワーク、及び例えば携帯電話網、インターネット等の公衆通信ネットワークにより提供されるが、有線通信、無線通信を問わず各種の好適な通信方式が採用され得る。
【0030】
またなお、
図1において、クラウド3は、便宜上、2か所に記載されているが、これらは互いに同一のクラウドであってもよいし、互いに別のクラウドであってもよい。他車両4についても同様である。本実施形態では、これらは同一であるとして、同じ符号を付して説明を続ける。なお、車両1と通信を行なう他車両4とは別の他車両には、別の符号を付すか、符号を付さないで区別する。
【0031】
ECU40は、機能ブロックとして、自車両情報理解部41、他車両情報理解部42及び死角領域推測部43を有している。またECU40は、画像取得部40aを有している。またECU40は、例えばメモリ装置40cに記憶されたデータベースとして、ラベルデータベース50及び奥行情報データベース51を有している。またECU40は、上述のメモリ装置40cの一部の領域を占有するメモリ領域により規定された統合メモリ52を有している。
【0032】
自車両情報理解部41は、自律センサ部15からの情報、自車両の走行情報、自車両の制御情報及び自己位置情報、すなわち自車両に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。
【0033】
他車両情報理解部42は、クラウド3からの情報及び他車両4からの情報、すなわち他車両に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。
【0034】
画像取得部40aは、撮像部10からの画像データを取得する入出力インターフェース及び信号変換回路である。
【0035】
死角領域推測部43は、撮像部10から取得された画像データを主体とし、これに自車両情報理解部41が理解した情報及び他車両情報理解部42が理解した情報を連携させて、車両1の外界の各領域の推測を行なう。
【0036】
死角領域推測部43は、サブ機能ブロックとして、デプス認識部44、鳥瞰変換部45、ラベル付加部46、奥行情報付加部47、統合認識部48及び将来情報推測部49を有している。
【0037】
デプス認識部44は、撮像部10から取得した画像に映り込んだ各物体を認識する。画像には、
図3に示すように、物体が透光性を有していない限り、当該物体の裏側が映り込まない。このため、各物体は画像における死角の原因となる。そして、デプス認識部44は、こうした各物体のデプス、すなわちカメラ11から各物体までの距離を推測(より詳細には推定)する。
【0038】
鳥瞰変換部45は、デプス認識部44が推測した各物体のデプスに基づいて、撮像部10から取得した画像を、
図4に示すように、車両1の外界を鳥瞰したように表したデータに鳥瞰変換する。このデータは、重力方向に対応した高さ方向の座標情報が除外された2次元的な座標情報を有する領域データである。こうした鳥瞰変換と共に、領域データにおいて各物体が死角を形成する領域として、死角領域BSが規定される。
【0039】
鳥瞰変換によって3次元情報が2次元情報に圧縮されるので、ECU40が処理するデータ量を低減することができ、ECU40の処理への付加を低減し、処理速度を向上させることができる。延いては、より多方向の外界の情報を取り扱う処理の余地が生ずる。
【0040】
図5に示すように、ラベル付加部46は、デプス認識部44が認識した各物体に、ラベルを付加する。ここでいうラベルとは、物体の種類に準じた記号、例えば歩行者(pedestrian)、他車両(car)、車道(road)、歩道(sidewalk)、電柱(pole)等である。物体に対するラベルの付加は、ラベルデータベース50を参照して実施される。ラベルデータベース50は、例えば事前の機械学習により画像と物体の種類とが紐付けられて構成することができ、また、人間が事前にデータ入力することによっても構成することができる。なお、ラベルデータベース50に代えて、ライブラリ形式のラベルライブラリが採用されていてもよい。
【0041】
奥行情報付加部47は、各物体について、ラベル付加部46により付加されたラベルに基づいて奥行きの情報を付加する。具体的に奥行情報付加部47は、奥行情報データベース51を参照し、物体に負荷されたラベルに対応した奥行きの情報を取得することによって、物体の奥行きを推測することができる。奥行情報データベース51は、例えば事前の機械学習において、物体の種類と奥行きが紐付けられて構成することができ、また、人間が事前にデータ入力することによっても構成することができる。なお、奥行情報データベース51に代えて、ライブラリ形式の奥行情報ライブラリが採用されていてもよい。
【0042】
こうして
図5に示すように、上述の領域データにラベル及び奥行きの情報が付加されることによって、当該領域データでは、死角領域BSの内部に対して、物体の存在可能性が高い領域BS1と、当該物体の裏の領域BS2とを、区別することが可能となる。
【0043】
統合認識部48は、デプス認識部44、鳥瞰変換部45、ラベル付加部46及び奥行情報付加部47によって得られた領域データに加えて、自車両情報理解部41が理解した情報及び他車両情報理解部42が理解した情報、さらには撮像部10が過去に撮影した画像から得られた領域データを統合して認識することにより、死角領域BSの内部の推測精度を高める。
【0044】
具体的に、統合認識部48は、自車両情報理解部41が理解した情報を加味する。たとえば、自律センサ部15が、撮像部10による死角領域BSの内部の一部を検出している場合、その検出された領域を推測できるので、当該死角領域BSを実質的に狭めることができる。そして、統合認識部48は、上述の情報が加味された結果を領域データに反映させることができる。
【0045】
また、統合認識部48は、他車両情報理解部42が理解した情報を加味する。例えば、他車両4に搭載された撮像部10が、車両1による死角領域BSの内部の一部を認識している場合、その認識された領域を推測できるので、当該死角領域BSを実質的に狭めることができる。そして、統合認識部48は、上述の情報が加味された結果を領域データに反映させることができる。
【0046】
例えば
図6に示すように、車両1の撮像部10が当該車両1の前方を撮影した画像から得られた領域データと、当該車両1よりも前方に位置する他車両4の撮像部10が当該他車両4の後方を撮影した画像から得られた領域データとが、統合される。これにより、車両1と他車両4の間にさらに別の他車両4X及び電柱等の物体が存在していたとしても、死角領域BSが狭められて、精度の高い推測結果を得ることができる。
【0047】
また、統合認識部48は、撮像部10が過去に撮影した画像から得られた領域データを加味する。例えば、過去の領域データにて認識され、徐々に死角領域BSの方向へ移動している歩行者が、現在の領域データにて認識されていない場合、統合認識部48は、歩行者の過去の移動速度から、死角領域BSの内部にて歩行者の存在可能性が高い位置PPを割り出す。そして、統合認識部48は、
図7に示すように、領域データに、歩行者の存在可能性が高い位置PPの情報を付加することができる。
【0048】
将来情報推測部49は、統合認識部48と連携して、将来の予測を行なう。例えば、将来情報推測部49は、現在の領域データにおける死角領域BSの内部での歩行者の存在可能性が高い位置PPと、上述の歩行者の過去の移動速度及び移動方向から、当該歩行者が何時ごろ死角領域BSの内部から死角領域BSの外部へ現出するかを推測することができる。
【0049】
具体的に
図8に示すように、車両1に対する前方の他車両4Yが、例えば赤信号等により停止しており、当該他車両4Yが死角領域BSを形成している場合を考える。過去である時刻t-nの領域データと、過去である時刻t-1の領域データにおいて、死角領域BSの外部に認識されている歩行者の位置PPから、歩行者の移動速度及び移動方向が割り出される。そして、現在である時刻tの画像において歩行者が認識されなかったとしても、割り出された移動速度及び移動方向に基づいて、死角領域BSの内部に歩行者の存在可能性が高い位置PPが推測される。さらには、将来である時刻t+nに、歩行者が再び死角領域BSの外部に現出することが推測される。
【0050】
こうして推測結果が付加された領域データは、
図1に示すように、統合メモリ52に記憶され、蓄積される。
【0051】
また統合認識部48は、歩行者等の存在可能性に基づいてHMI機器部20の警報部22による警報及び振動部23による振動が必要であるか否かを判定する。
【0052】
以上のように、死角領域推測部43は、画像において死角の原因となっている物体を認識し、物体の奥行を推測し、推測された奥行きの情報を用いて、当該物体が形成する死角領域BSの内部を推測する。なお、死角領域推測部43の少なくとも一部がニューラルネットワークを用いて提供される場合には、死角領域推測部43に各サブ機能ブロックのうち少なくとも一部が個別に定義されていなくてもよい。例えば、死角領域推測部43がニューラルネットワークにより各サブ機能ブロックに相当する機能を複合的又は包括的に構成していてもよい。なお、
図4~8において、死角領域BSに該当する部分は、ドットのハッチングを付して図示されている。
【0053】
統合メモリ52に記憶された領域データは、HMI機器部20、車両走行制御部30、クラウド3及び他車両4へ向けて、通信を用いた電気信号として出力可能となっている。
【0054】
領域データの出力先であるHMI機器部20の情報提示部21は、ECU40の統合メモリ52から、情報の提示に必要なデータ、例えば最新の領域データ等を取得する。情報提示部21は、取得した領域データを可視化した視覚的情報として、車両1の乗員へ向けて提示する。具体的に、
図7に示されるような領域データが2次元の地図形態による視覚的情報としての鳥瞰ビューとなった上で、コンビネーションメータの表示器、ヘッドアップディスプレイ及びナビゲーション用ディスプレイのうち例えば1つにより、画像として表示される。
【0055】
HMI機器部20の警報部22は、警報が必要であると判定された場合に、ECU40の統合メモリ52を介して、警報の内容を取得する。そして、警報部22は、車両1の乗員に向けた警報を行なう。具体的に、スピーカが発する音声による警報、又はブザーが発する警報音による警報が実施される。
【0056】
HMI機器部20の振動部23は、振動が必要であると判定された場合に、ECU40の統合メモリ52を介して、振動の内容を取得する。そして、振動部23は、車両1の乗員が感知できるような形態で、振動を発生させる。振動部23は、警報部22による警報と連動していることが好ましい。
【0057】
警報及び振動が必要であるか否かは、死角領域推測部43が推測した情報、より詳細には領域データを用いて、判断される。この判断には死角領域BSの内部の推測情報が含まれる。
【0058】
これについて、例えば、死角領域推測部43により、死角領域BSを形成する物体が静止状態の他車両である場合に、当該他車両の奥行きの情報に基づいて、死角領域BSのうち、当該他車両の存在可能性が高い領域BS1が区別される。そうすると、他車両4Yの存在可能性が高い領域BS1は、歩行者の存在可能性が低い領域であると推測される。
【0059】
警報及び振動は、車両1から例えば所定距離の領域に設定された警報範囲に歩行者の存在可能性が高い領域又は歩行者の存在可能性を十分に否定できない領域が存在すると、必要であると判断される。したがって、仮に、死角領域BSのうち、物体の存在可能性が高い領域BS1と、当該物体の裏の領域BS2とが区別されない場合では、当該死角領域BSが上述の警報範囲に含まれた時点で警報及び振動が必要であると判断される。
【0060】
しかしながら、死角領域BSのうち、当該他車両の存在可能性が高い領域BS1が区別され、この領域が歩行者の存在可能性が低い領域であると推測された状況では、当該領域BS1が警報範囲に含まれていたとしても、領域BS1に関する歩行者についての警報は必要でないと判断される。このようにして警報部22による警報の実施が規制され、不必要な警報への煩わしさが抑制される。
【0061】
領域データの出力先である車両走行制御部30の自動運転制御部31は、ECU40の統合メモリ52から、自動運転に必要なデータ、例えば最新の領域データ等を取得する。自動運転制御部31は、取得したデータを用いて、車両1の走行の制御を行なう。
【0062】
例えば、死角領域BSを形成する物体として、車両1の前方を車両1よりも速度が遅い他車両が認識されている場合に、自動運転制御部31は、自動運転制御による当該他車両に対する追い越し走行を実施するか否かを判断する。このとき、死角領域推測部43が当該他車両の奥行きの情報に基づいて、死角領域BSのうち、当該他車両の存在可能性が高い領域BS1を推測しているので、死角となっている当該他車両の前端部分の位置も推測されている。
【0063】
そして、自動運転制御部31は、車両1が他車両を追い越して、当該他車両の前端部分より前方の領域に入り込めるか否かを判定する。肯定判定が下された場合には、他車両に対する追い越し走行が自動運転により実行される。否定判定が下された場合には、他車両に対する追い越し走行の実行が中止される。
【0064】
この自動運転制御部31による判定において、将来情報推測部49の推測結果も加味されると、より判定の妥当性を高めることができる。
【0065】
以下、第1実施形態の車両システム9による処理を、
図9~13のフローチャートを用いて説明する。各フローチャートによる処理は、例えば所定の周期毎に、逐次実施される。各フローチャートによる領域データの生成処理、統合認識処理、情報提示処理、警報処理、及び車両走行制御処理は、他の処理の完了を待って、順次実施されるようにしてもよく、可能であれば互いに同時並行で実施されるようにしてもよい。最初に、
図9のフローチャートを用いて、領域データの生成処理について説明する。
【0066】
ステップS11では、撮像部10が車両1の外界を撮影し、画像を生成する。S11の処理後、S12へ移る。
【0067】
ステップS12では、デプス認識部44は、S11にて撮像部10が撮影した画像について、各物体のデプス推定を行なう。S12の処理後、S13へ移る。
【0068】
ステップS13では、鳥瞰変換部45は、デプス推定結果に基づいて、撮像部10から取得した画像を、車両1の外界を鳥瞰したように表したデータに鳥瞰変換する。S13の処理後、S14へ移る。
【0069】
ステップS14では、ラベル付加部46は、デプス認識部44が認識した各物体に、ラベルを付加する。S14の処理後、S15へ移る。
【0070】
ステップS15では、奥行情報付加部47は、各物体について、ラベル付加部46により付加されたラベルに基づいて奥行きの情報を付加する。S15の処理後、S16へ移る。
【0071】
ステップS16では、死角領域BSの内部が推測された領域データが生成され、当該領域データが統合メモリ52へ反映される。S16を以って、領域データの生成処理を終了する。
【0072】
次に、
図10のフローチャートを用いて、統合認識処理について説明する。なお、ステップS21~24の処理の順番は、適宜入れ替えることができ、可能であれば同時に実施してもよい。
【0073】
ステップS21では、統合認識部48は、自車両情報理解部41を介して自律センサ部15からの情報を取得する。S21の処理後、S22へ移る。
【0074】
ステップS22では、統合認識部48は、統合メモリ52から他車両4へ車車間通信により送信する情報を選定し、選定された情報をデータとして当該他車両4へ送信する。これと共に、統合認識部48は、他車両情報理解部42を介して他車両4へ車車間通信により受信する情報を選定し、選定された情報をデータとして当該他車両4から受信して取得する。S22の処理後、S23へ移る。
【0075】
ステップS23では、統合認識部48は、統合メモリ52からクラウド3にアップロードする情報を選定し、選定された情報を当該クラウド3へアップロードする。これと共に、統合認識部48は、他車両情報理解部42を介してクラウド3からダウンロードする情報を選定し、選定された情報をダウンロードする。S23の処理後、S24へ移る。
【0076】
ステップS24では、統合認識部48は、統合メモリ52から最新の情報(換言すると現在の情報)、より詳細には最新の領域データ等を取得し、また、必要に応じて、統合メモリ52から過去の情報(換言すると現在の情報)、より詳細には過去の領域データ等を取得する。S24の処理後、S25へ移る。
【0077】
ステップS25では、統合認識部48は、S21~24にて取得したデータを統合して認識することにより、死角領域BSの内部の推測精度を高める。S25の処理後、S26へ移る。
【0078】
ステップS26では、S25の結果が統合メモリ52へ反映される。S26を以って、統合認識処理を終了する。
【0079】
なお、例えば死角領域推測部43の少なくとも一部がニューラルネットワークを用いて提供される場合には、上述のステップS11~16及びステップS21~26の処理のうち少なくとも一部が複合的又は包括的に処理されるようにしてもよい。
【0080】
次に、
図11のフローチャートを用いて、情報提示処理について説明する。
【0081】
ステップS31では、情報提示部21は、ECU40の統合メモリ52から、情報の提示に必要なデータ、例えば最新の領域データ等を取得する。S31の処理後、S32へ移る。
【0082】
ステップS32では、情報提示処理として、情報提示部21は、最新の領域データを可視化し、視覚的情報として乗員へ向けて提示する。S32を以って一連の処理を終了する。
【0083】
次に、
図12のフローチャートを用いて、警報処理について説明する。
【0084】
ステップS41では、警報部22は、ECU40の統合メモリ52から、警報が必要であると判定された場合に、ECU40の統合メモリ52を介して、警報の内容を取得する。S41の処理後、S42へ移る。
【0085】
ステップS42では、警報処理として、警報部22は、S41にて取得した内容に基づいて、音声又は警報音を乗員へ向けて発し、警報を行なう。S32を以って一連の処理を終了する。
【0086】
次に、
図13のフローチャートを用いて、車両走行制御処理について説明する。
【0087】
ステップS51では、自動運転制御部31は、ECU40の統合メモリ52から、自動運転に必要なデータ、例えば最新の領域データ等を取得する。S51の処理後、S52へ移る。
【0088】
ステップS52では、自動運転制御部31は、車両走行制御処理を行なう。より詳細に、自動運転制御部31は、領域データを用いて、車両1の走行の制御を行なう。S52を以って一連の処理を終了する。
【0089】
(作用効果)
以上説明した第1実施形態の作用効果を以下に改めて説明する。
【0090】
第1実施形態によると、撮像部10により車両1の外界を撮影して得られた画像において、死角の原因となっている物体が認識され、当該物体が形成する死角領域BSの内部が推測される。この死角領域BSの内部の推測においては、物体の奥行きが推測され、推測された奥行きの情報が用いられる。すなわち、死角領域BSにおいて、撮像部10に対して表側から奥行き分の領域BS1は、当該物体の存在可能性を推測することができる。そして、奥行き分よりもさらに裏側の領域BS2は、当該物体以外の存在可能性を推測することができる。このようにして、死角領域BSの内部をより適切に把握可能となるのである。
【0091】
また、第1実施形態によると、奥行きの情報を用いて、死角領域BSに対して、物体の存在可能性が高い領域BS1と、物体の裏の領域BS2とを、区別した領域データが生成される。死角領域BSの内部において区別された各領域BS1,BS2がデータとして利用可能となるので、推測結果の価値を高めることができる。
【0092】
また、第1実施形態によると、情報提示部21が領域データを可視化した視覚的情報を提示する。視覚的情報では空間領域をすぐに理解することができるので、車両1の乗員は推測された死角領域BSの内部を、容易に把握することができる。
【0093】
また、第1実施形態によると、情報提示部21は、視覚的情報として、車両1の外界を鳥瞰した鳥瞰ビューを提示する。鳥瞰ビューは2次元情報として距離関係を理解し易いので、車両1の乗員は推測された死角領域BSの内部を、より容易に把握することができる。
【0094】
また、第1実施形態によると、死角領域BSの内部を推測した情報を用いて、当該死角領域BSについて、車両1の乗員へ向けた警報が実施される。こうした警報により、乗員が死角領域BSの内部に対して注意を払うことができるようになる。
【0095】
また、第1実施形態によると、死角領域BSの内部のうち、歩行者の存在可能性が否定推測された領域BS1に対する歩行者について警報は、規制される。この態様では、車両1の乗員が歩行者の存在可能性が否定推測された領域BS1に対して過剰な注意を払うことが抑制され、警報の煩わしさを低減することができる。
【0096】
また、第1実施形態によると、死角領域BSの内部を推測した情報を用いて、車両1の走行の制御が行なわれる。この態様では、死角領域BSの内部が不明なのに物体が存在しないとみなして無責任な走行の制御が行なわれる事態や、逆に当該死角領域BSの全体に物体が存在するとみなしてより適切な走行の制御が行なわれる事態を、抑制することができる。故に、自動運転制御の妥当性を向上させることができる。
【0097】
また、第1実施形態によると、車両走行制御部30は、物体の裏の領域BS2へ向けて車両1を走行させるか否かを判定する。こうした判定を元に、より適切な車両1の走行の制御を行なうことができる。
【0098】
また、第1実施形態によると、最新の画像と、過去の画像とを両方用いて、死角領域BSの内部が推測される。すなわち、過去の画像に映り込んでいた物体により、最新の画像の死角領域BSの内部を推測することができるので、推測精度を高めることができる。
【0099】
また、第1実施形態によると、車両1の画像と、他車両4からの情報とを両方用いて、死角領域BSの内部が推測される。すなわち、車両1の撮像部10から死角になっている領域であっても、他車両4にとっては死角になっていない場合もあるので、死角領域BSを実質的に狭めることができ、その結果、死角領域BSの内部の推測精度を高め、車両1の外界をより正確に把握することができる。
【0100】
また、第1実施形態によると、画像と、自律センサ部15からの情報とを両方用いて、すなわちセンサフュージョンにより、死角領域BSの内部が推測される。故に死角領域BSについての自律センサ部15からの検出情報を加味して、死角領域BSの推測精度の内部を高めることができる。
【0101】
また、第1実施形態によると、ECU40は、他車両4又はクラウド3と通信可能に接続され、他車両4又はクラウド3へ死角領域BSの内部を推測した領域データを送信する。したがって、車両1を主体として推測された情報を、他の主体と共有することができ、推測結果の価値を高めることができる。
【0102】
また、第1実施形態において実現されている空間領域推測方法によると、車両1の外界が撮影された画像を取得する画像取得ステップと、画像取得ステップにおいて取得した画像において、死角の原因となっている物体を認識する認識ステップと、認識ステップにて認識した物体の奥行きを推測する奥行推測ステップと、奥行推測ステップにて推測された物体の奥行きの情報を用いて当該物体が形成する死角領域BSの内部を推測する死角領域推測ステップと、を備えている。すなわち、死角領域BSにおいて、画像の撮影側から奥行き分の領域BS1は、当該物体の存在可能性を推測することができる。そして、奥行き分よりもさらに裏側の領域BS2は、当該物体以外の存在可能性を推測することができる。このようにして、死角領域BSの内部をより適切に把握可能となるのである。
【0103】
(他の実施形態)
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
【0104】
具体的に変形例1としては、ECU40及び車両走行制御部30等がハードウエアである電子回路によって提供される場合、それは多数の論理回路を含むデジタル回路、又はアナログ回路によって提供することができる。
【0105】
変形例2としては、車両走行制御部30又はHMI機器部20が有する少なくとも一部の機能は、ECU40により実現されていてもよい。この例として、ECU40と車両走行制御部30が1つの装置に統合されていてもよい。逆に、ECU40が有する一部の機能が、車両走行制御部30又はHMI機器部20により実現されていてもよい。
【0106】
変形例3としては、車両システム9に、HMI機器部20が含まれていなくてもよい。この例として、死角領域推測部43が推測した結果を、専ら自動運転制御部31による車両1の走行の制御に利用するようにしてもよい。
【0107】
変形例4としては、車両システム9に、車両走行制御部30が含まれていなくてもよい。この例として、死角領域推測部43が推測した結果を、専らHMI機器部20による視覚的情報の提供、警報及び振動のうち少なくとも1つに利用するようにしてもよい。
【0108】
変形例5としては、ECU40は、クラウド3及び他車両4のうち少なくとも1つと情報のやりとりをしないものであってもよい。
【0109】
変形例6としては、領域データは、3次元的な座標情報を扱うものであってもよい。すなわち、鳥瞰変換部45が撮像部10から取得した画像を鳥瞰変換する代わりに、撮像部10から取得した画像から3次元空間が認識されるようにしてもよい。この場合に、例えばステレオカメラによってこの3次元空間の認識精度を高めるようにしてもよい。
【0110】
変形例7としては、警報部22により実現される警報及び警報の規制の対象は、歩行者に限られず、各種障害物に対象を拡大して実施することができる。
【符号の説明】
【0111】
1 車両(自車両)、9 車両システム、10 撮像部、40 ECU(空間領域推測装置)、40a 画像取得部、40b プロセッサ(演算回路)、40c メモリ装置、43 死角領域推測部、BS 死角領域