知財求人 - 知財ポータルサイト「IP Force」
特許7511673車両走行可能領域検出方法、システム、及びそのシステムを使用する自律車両
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-27
(45)【発行日】2024-07-05
(54)【発明の名称】車両走行可能領域検出方法、システム、及びそのシステムを使用する自律車両
(51)【国際特許分類】
G06V 10/82 20220101AFI20240628BHJP
G05D 1/43 20240101ALI20240628BHJP
G06T 7/00 20170101ALI20240628BHJP
G06V 20/58 20220101ALI20240628BHJP
G08G 1/04 20060101ALI20240628BHJP
【ＦＩ】
G06V10/82
G05D1/43
G06T7/00 350C
G06V20/58
G08G1/04
【請求項の数】
28
(21)【出願番号】P 2022568625
(86)(22)【出願日】2020-05-11
(65)【公表番号】
(43)【公表日】2023-06-14
(86)【国際出願番号】 CN2020089528
(87)【国際公開番号】W WO2021226776
(87)【国際公開日】2021-11-18
【審査請求日】2022-12-21
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シア，ラーン
(72)【発明者】
【氏名】チェン，イーチアーン
(72)【発明者】
【氏名】シェン，ユイジエ
【審査官】淀川 滉也
(56)【参考文献】
【文献】特開２０１９－２１１９００（ＪＰ，Ａ）
【文献】国際公開第２０１６／１０３４６４（ＷＯ，Ａ１）
【文献】特開２０１８－０７７８２９（ＪＰ，Ａ）
【文献】特開２０１９－００８７９６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１０３５２３（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０９５４４９９０（ＣＮ，Ａ）
【文献】特開２０１７－２１５９３９（ＪＰ，Ａ）
【文献】特表２０２１－５１３４８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／８２
Ｇ０５Ｄ １／４３
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ２０／５８
Ｇ０８Ｇ １／０４
(57)【特許請求の範囲】
【請求項1】
車両走行可能領域検出方法であって、ニューラル・ネットワークを使用して、カメラ装置によって取得された画像データを処理して、障害物の第１の確率分布を取得することと、
レーダ・エコー信号のエコー幅及び飛行時間に基づいて前記障害物の第２の確率分布を取得することであって、前記エコー幅は、前記レーダ・エコー信号の第１の飛行時間と前記レーダ・エコー信号の第２の飛行時間との間の差であり、前記第２の飛行時間は、レーダと前記障害物との間の最長エコー距離に対応し、前記第１の飛行時間は、前記レーダと前記障害物との間の最短エコー距離に対応する、取得することと、
前記障害物の前記第１の確率分布及び前記障害物の前記第２の確率分布に基づいて、確率によって表される車両の走行可能領域を取得することであって、前記確率は、前記車両が領域を通って走行できない確率である、取得することと、を含む、方法。
【請求項2】
前記カメラ装置は、魚眼カメラ、広角カメラ、又は広視野カメラのうちの少なくとも１つを含み、前記レーダ・エコー信号は、超音波レーダ、レーザ・レーダ、及びミリ波レーダのうちの少なくとも１つのレーダのエコー信号を含む、請求項１に記載の方法。
【請求項3】
前記カメラ装置は、前記車両、道路、又は道路の周囲の装置の少なくとも１つの場所に配設され、前記レーダは、前記車両、道路、又は道路の周囲の装置の少なくとも１つの位置に配設される、請求項１又は２に記載の方法。
【請求項4】
前記車両の前記走行可能領域は、確率グリッド・マップの形態で表され、前記車両が前記領域を通って走行できない前記確率は、確率グリッド・マップの形態で表される、請求項１～３のいずれか一項に記載の方法。
【請求項5】
ニューラル・ネットワークは、エンコーダ及びデコーダを含み、前記エンコーダは、プーリング層を使用してデータに対する次元削減を実行するように構成されており、前記デコーダは、逆畳み込み層を使用してデータに対して次元増加を実行するように構成されている、請求項１～４のいずれか一項に記載の方法。
【請求項6】
ニューラル・ネットワークを使用して、カメラ装置によって取得された画像データを処理して、障害物の第１の確率分布を取得することは、前記ニューラル・ネットワークを使用して、前記カメラ装置によって取得された画像データに対してセマンティック・セグメンテーション処理を実行して、前記障害物のタイプを取得し、前記障害物の前記タイプに基づいて前記障害物の前記第１の確率分布を決定することを含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記ニューラル・ネットワークの入力は、時間の観点から隣接又は間隔を置いた複数の画像フレームを含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記ニューラル・ネットワークの訓練プロセスでは、障害物マッピング方法を使用してデータ強化が実装される、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記ニューラル・ネットワークの損失関数において小さな障害物に高い重みが与えられる、請求項１～８のいずれか一項に記載の方法。
【請求項10】
レーダによって取得されるエコー幅及び飛行時間に基づいて前記障害物の第２の確率分布を取得することは、複数のレーダを使用して前記車両の周囲の障害物の飛行時間を取得し、前記飛行時間と前記レーダの波速度に基づいて車両基準座標系における前記障害物の中心の座標を決定することを含む、請求項１～９のいずれか一項に記載の方法。
【請求項11】
レーダによって取得されるエコー幅及び飛行時間に基づいて前記障害物の第２の確率分布を取得することは、単一のレーダを使用して前記障害物の前記エコー幅及び前記飛行時間を取得し、前記エコー幅及び前記飛行時間に基づいて前記障害物の幾何学的サイズを決定することを含む、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
前記障害物は、半径ｒを有する円として定義され、前記円の中心は、中心として使用され、前記円の円周は縁として使用され、確率は、前記円の前記中心から前記円周まで線形的減少方式で分布し、前記円の前記中心の座標は、前記車両基準座標系における前記障害物の前記中心の座標として定義される、請求項１０に記載の方法。
【請求項13】
前記車両が前記領域を通って走行できる確率又は前記車両が前記領域を通って走行できない前記確率は、融合重み関数を使用することによって、前記障害物の前記第１の確率分布及び前記障害物の第２の確率分布に基づいて取得される、請求項１～１１のいずれか一項に記載の方法。
【請求項14】
自律走行支援システムであって、画像データを取得することが可能であるように構成されているカメラ装置と、
レーダ・エコー信号を取得することが可能であるように構成されている少なくとも１つのレーダと、
プロセッサと、を含み、前記プロセッサは、ニューラル・ネットワークを使用して、前記カメラ装置によって取得された画像データを処理して、障害物の第１の確率分布を取得することと、レーダ・エコー信号のエコー幅及び飛行時間に基づいて前記障害物の第２の確率分布を取得することであって、前記エコー幅は、前記レーダ・エコー信号の第１の飛行時間と前記レーダ・エコー信号の第２の飛行時間との間の差であり、前記第２の飛行時間は、レーダと前記障害物との間の最長エコー距離に対応し、前記第１の飛行時間は、前記レーダと前記障害物との間の最短エコー距離に対応する、取得することと、前記障害物の前記第１の確率分布及び前記障害物の前記第２の確率分布に基づいて、確率によって表される車両の走行可能領域を取得することであって、前記確率は、前記車両が領域を通って走行できない確率である、取得することと、を行うように構成されている、システム。
【請求項15】
前記カメラ装置は、魚眼カメラ、広角カメラ、又は広視野カメラのうちの少なくとも１つを含み、前記レーダ・エコー信号は、超音波レーダ、レーザ・レーダ、及びミリ波レーダのうちの少なくとも１つのレーダのエコー信号を含む、請求項１４に記載のシステム。
【請求項16】
前記車両の前記走行可能領域は、確率グリッド・マップの形態で表され、前記車両が前記領域を通って走行できない前記確率は、確率グリッド・マップの形態で表される、請求項１４又は１５に記載のシステム。
【請求項17】
前記確率グリッド・マップを表示するように構成されているディスプレイ装置をさらに含む、請求項１６に記載のシステム。
【請求項18】
ニューラル・ネットワークは、エンコーダ及びデコーダを含み、前記エンコーダは、プーリング層を使用してデータに対する次元削減を実行するように構成されており、前記デコーダは、逆畳み込み層を使用してデータに対して次元増加を実行するように構成されている、請求項１４～１７のいずれか一項に記載のシステム。
【請求項19】
ニューラル・ネットワークを使用して、カメラ装置によって取得された画像データを処理して、障害物の第１の確率分布を取得することは、前記ニューラル・ネットワークを使用して、前記カメラ装置によって取得された画像データに対してセマンティック・セグメンテーション処理を実行して、前記障害物のタイプを取得し、前記障害物の前記タイプに基づいて前記障害物の前記第１の確率分布を決定することを含む、請求項１４～１８のいずれか一項に記載のシステム。
【請求項20】
前記ニューラル・ネットワークの入力は、時間の観点から隣接又は間隔を置いた複数の画像フレームを含み、前記ニューラル・ネットワークの出力は、前記障害物の前記タイプ及び前記障害物の前記第１の確率分布を含む、請求項１９に記載のシステム。
【請求項21】
前記ニューラル・ネットワークの訓練プロセスでは、障害物マッピング方法を使用してデータ強化が実装される、請求項１４～２０のいずれか一項に記載のシステム。
【請求項22】
前記ニューラル・ネットワークの損失関数において小さな障害物に高い重みが与えられる、請求項１４～２１のいずれか一項に記載のシステム。
【請求項23】
レーダによって取得されるエコー幅及び飛行時間に基づいて前記障害物の第２の確率分布を取得することは、複数のレーダを使用して前記車両の周囲の前記障害物の飛行時間を取得し、前記飛行時間と前記レーダの波速度に基づいて車両基準座標系における前記障害物の中心の座標を決定することを含む、請求項１４～２２のいずれか一項に記載のシステム。
【請求項24】
レーダによって取得されるエコー幅及び飛行時間に基づいて前記障害物の第２の確率分布を取得することは、単一のレーダを使用して前記障害物のエコー幅及び飛行時間を取得し、前記エコー幅及び前記飛行時間に基づいて前記障害物の幾何学的サイズを決定することを含む、請求項１４～２３のいずれか一項に記載のシステム。
【請求項25】
前記障害物は、半径ｒを有する円として定義され、前記円の中心は、中心として使用され、前記円の円周は縁として使用され、確率は、前記円の前記中心から前記円周まで線形的減少方式で分布し、前記円の前記中心の座標は、前記車両基準座標系における前記障害物の前記中心の座標として定義される、請求項２３に記載のシステム。
【請求項26】
前記車両が前記領域を通って走行できる確率又は前記車両が前記領域を通って走行できない前記確率は、融合重み関数を使用することによって、前記障害物の前記第１の確率分布及び前記障害物の第２の確率分布に基づいて取得あれる、請求項１４～２５のいずれか一項に記載のシステム。
【請求項27】
請求項１４～２６のいずれか一項に記載の前記システムを含む自律走行車両。
【請求項28】
命令セットを含むコンピュータ可読記憶媒体であって、前記命令セットが、プロセッサによって実行されるときに、前記命令セットは、前記プロセッサに請求項１～１３のいずれか一項に記載の方法を実装させる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、自律走行分野に関係、特に、車両走行領域検出方法、システム、及びそのシステムを使用する自律走行車両に関係する。
【背景技術】
【0002】
５Ｇ通信及び車両のインターネントの急速な発展に伴い、自律走行技術が注目の研究テーマとなっている。自律走行分野におけるコア技術は、知的環境知覚、自律ナビゲーションと位置決め、走行行動の意思決定、知的経路計画と制御などを含む。自律走行技術では、車両走行可能領域検出が自律走行を実装するための基本要件である。車両は、ルート計画の前に、走行可能領域及び非走行可能領域を認識する必要がある。いくつかの特定の自律運転支援機能（例えば、駐車）では、走行可能領域認識が特に重要である。自律駐車を例として使用すると、（１）車両が、様々な障害物を含む環境において、現在の位置から目標の駐車スポットまでの実現可能なルートを発見すること、（２）車両が、走行中に移動障害物や静止障害物と衝突しないこと、という条件を満たす必要がある。したがって、車載センサ・システムに対する要件は高い。センサは、環境における車両の走行可能領域を認識するために、現在の環境における車両に対する障害物の座標情報を可能な限り正確に提供するべきである。
【0003】
従来技術では、センサは、通常、車両の周囲の走行可能環境を取得するために、車両の周辺環境情報を取得及び分析するように構成されている。しかし、従来の技術では、通常、走行可能領域認識は十分に正確ではない。したがって、車両の周囲の走行環境及び走行可能領域がより正確に認識されるように、新たな車両走行領域検出方法が必要である。
【発明の概要】
【0004】
この出願の第１の態様によれば、ニューラル・ネットワークを使用して、カメラ装置によって取得された画像データを処理して、障害物の第１の確率分布を取得することと、レーダ・エコー信号のエコー幅及び飛行時間に基づいて障害物の第２の確率分布を取得することと、障害物の第１の確率分布及び障害物の第２の確率分布に基づいて、確率によって表される車両の走行可能領域を取得することであって、確率は、車両が領域を通って走行できない確率を示す、取得することと、を含む、車両走行可能領域検出方法が提供される。この出願における方法では、２つセンサ、すなわち、カメラ装置及びレーダが統合されており、２つのセンサによって取得された障害物に関する分布情報が融合され、融合後に取得された車両の走行可能領域が確率の形態で表される。したがって、車両の周囲の障害物に関する情報を包括的に取得することができ、カメラ装置の盲点やレーダの検出範囲により生じる検出盲点を回避する。追加的に、車両の走行可能面積が確率の形態で表され、車両が、車両の周囲の走行可能領域をより包括的に理解するようにする。すなわち、車両の周囲の領域は、走行可能であるか、又は走行不可能であるかのいずれかであり、領域によっては、特定の条件下で走行可能であってもよい。このように、車両のナビゲーション計画はより柔軟である。
【0005】
第１の態様の可能な実装を参照すると、カメラ装置は、魚眼カメラ、広角カメラ、又は広視野カメラのうちの少なくとも１つを含む。レーダ・エコー信号は、超音波レーダ、レーザ・レーダ、及びミリ波レーダのうちの少なくとも１つのレーダのエコー信号を含む。代替的には、この出願の技術的解決策において、任意の他の好適な装置又はレーダが使用されてもよい。
【0006】
第１の態様の可能な実装を参照すると、レーダは、車両に配設されてもよいし、道路の両側の装置に配設されてもよいし、カメラは、車両に配設されてもよいし、道路の両側の装置に配設されてもよい。道路の両側の装置は、路側ランプ・ポスト、速度測定ロッド、通信基地局塔などを含んでもよいが、これらに限定されない。車両は、車両に配設されたカメラ装置及びレーダを使用して車両の周囲の障害物に関する情報を完全に取得してもよいし、又は車両に配設されたいくつかのセンサ（例えば、カメラ装置のみが配設されている）及び道路の両側の装置に配置された他のセンサを使用して車両の周囲の障害物に関する情報を共同で取得してもよい。
【0007】
第１の態様の別の可能な実装を参照すると、車両の走行可能領域、又は車両が領域を通って走行できない確率は、確率グリッド・マップを使用して表されてもよい。確率グリッド・マップでは、各グリッドは確率値を含み、確率値は車両がグリッド内で走行できる確率を示す。車両の周囲の走行可能領域の確率分布は、確率グリッド・マップを通して明確に表現され得る。これは、その後のルート計画のための正確な基礎を提供する。確率グリッド・マップは、車両のディスプレイ装置（例えば、コックピット内の中央制御スクリーンであるが、これに限定されるものではない）上に表示されて、ドライバーのための基準表示を直感的に提供してもよい。確率グリッド・マップはまた、車両の自律走行支援システムに送信されてもよく、自動運転支援システムが車両の周囲の障害物に関する情報を取得するようにする。
【0008】
第１の態様の別の可能な実装を参照すると、セマンティック・セグメンテーション処理は、ニューラル・ネットワークを使用して、魚眼カメラを使用して取得された画像データに対して実行されてもよい。具体的には、画像は、最初に上面図に変換されてもよいし、次いで、セマンティック・セグメンテーション処理が、変換された画像に対して実行される。画像が上面図に変換された後、車両の周囲の環境を包括的に示すことができる。セマンティック・セグメンテーション処理は、ニューラル・ネットワークを使用して、変換された画像に対して実行されてもよい。すなわち、画像内の異なる物体／人物の分類は、ニューラル・ネットワークの認識に基づいて決定される。例えば、ニューラル・ネットワークは、画像内の建物である部分と、画像内の車両である別の部分とを決定するために使用されてもよい。より具体的には、エンコーダ・デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）構造を含むニューラル・ネットワークを使用して、画像に対して前述のセマンティック・セグメンテーション処理を実行してもよい。エンコーダは、プーリング層を使用してデータの次元削減を実行し、デコーダは、逆畳み込み層を使用してデータに対して事前増加を実行する。次元削減－次元増加プロセスを通して、セマンティック・セグメンテーションを画像に対して実行することができ、画像の詳細を可能な限り保持することができる。ニューラル・ネットワークを使用して画像の前述のセマンティック・セグメンテーション処理を通して、車両の周囲の環境における物体／人を認識することができ、車両の周囲の障害物の分布をより良く決定することができるようにする。
【0009】
第１の態様の別の可能な実装を参照すると、時間の観点から隣接又は間隔を置いた複数の画像フレームが、認識のためにニューラル・ネットワークに入力されてもよい。時間の観点から隣接又は間隔を置いた複数の画像フレームを使用して、異なる画像フレーム内の同じ物体の視差情報がニューラル・ネットワークの認識特徴として使用され、ニューラル・ネットワークが画像内の物体をより良く認識することができる。ニューラル・ネットワークの出力は、障害物のタイプを含み、障害物の第１の確率分布は、障害物のタイプに基づいて決定され得る。
【0010】
第１の態様の別の可能な実装を参照すると、ニューラル・ネットワークを訓練するプロセスでは、障害物マッピング方法が使用されてもよい。障害物マッピング方法は、車両に近い障害物がニューラル・ネットワークの訓練画像内に手動で「マッピング」されることを意味する。この方法では、ニューラル・ネットワークの訓練プロセスにおいて、車両に近い障害物に関する大量の認識情報を取得することができ、その後車両の周囲に実際の障害物がある場合、訓練セットがそのようなデータ（車両に近い障害物）を含まないために障害物を認識できないか、又は障害物を誤って認識するという問題が回避される。
【0011】
第１の態様の別の可能な実施形態を参照すると、ニューラル・ネットワークの損失関数において、小さな障害物の損失関数に高い重みが与えられる。この設定では、実際には、ほとんどの車両衝突は大きな障害物（例えば、別の車両）によって生じるのではなく、小さな障害物（例えば、路側駐車ロック）によって生じるので、小さな障害物の認識に対してニューラル・ネットワークはより「敏感」になってもよい。
【0012】
第１の態様の別の可能な実施形態を参照すると、車両の周囲に分散した複数のレーダが使用されて、車両の周囲の障害物のエコー信号及び飛行時間を取得する。レーダが超音波レーダであり、車両の周囲に超音波レーダが設定されている場合、車両の右側に障害物があるときに、車両の右側の超音波レーダが使用され、車両の左側に障害物があるときに、車両の左側の超音波レーダが使用される。レーダがレーザ・レーダであり、車両上部に設定されている場合、車両上部のレーザ・レーダを使用して、車両の周囲３６０°以内の障害物に関する情報を取得することができる。レーダの数は、特定の要件に従って設定されてもよい。通常、６～１６の超音波レーダ及び／又は１～４のレーザ・レーダ及び／又は１～４のミリ波レーダが１つの車両に配設されてもよい。取得されたエコー信号と飛行時間に基づいて、幾何学的方法を使用してレーダ波速度に基づいて車両基準座標系における障害物の中心の座標値が決定され得る。
【0013】
第１の態様の別の可能な実装を参照すると、障害物は、幾何学的な意味では「点」であることができず、障害物は特定の幾何学的なサイズを有するので、単一のレーダのエコー幅及び飛行時間に基づいて障害物の幾何学的なサイズが決定され得る。しかし、同じレーダから放出された音波／電磁波は、異なる時間に障害物の異なる場所で反射されてもよい。障害物のサイズは、一般に、エコー幅及び異なる飛行時間に基づいて決定されてもよい。障害物のサイズが一般に決定された後、障害物は、半径ｒを有する円に抽象化／単純化されてもよい。円の中心が車両基準座標系における障害物の中心の座標値に対応する。円の中心を中心として使用し、円周を縁として使用して、円の中心から円周まで線形減少方式で確率が分布する。円の中心の座標は、車両基準座標系における障害物の中心の座標値に対応する。円の中心での確率が最も高く、円周での確率が最も低い。
【0014】
第１の態様の別の可能な実施形態を参照すると、融合重み関数を、カメラ及びレーダを使用して生成された障害物の確率分布と組み合わせて使用して、確率グリッド・マップを取得する。具体的には、以下の融合重み関数が選択されてもよい。
【数1】
【0015】
ここで、ｄｍａｘは、レーダを使用して検出できる境界距離を表す。
【0016】
融合ターゲット・グリッド点の確率値は、以下のようである。
【数2】
【0017】
ＰＩＰＭは、カメラを使用して障害物の確率分布を表し、ＰＵＳＳは、レーダを使用して取得された障害物の確率分布を表す。カメラは、魚眼カメラを含んでもよく、レーダは、超音波レーダ、レーザ・レーダ、及びミリ波レーダのうちの少なくとも１つを含んでもよい。
【0018】
第２の態様によれば、この出願の実施形態は、さらに、自律走行支援システムを提供する。本システムは、画像データを取得するように構成されているカメラ装置と、レーダ・エコー信号を取得するように構成されている少なくとも１つのレーダと、プロセッサと、を含み、プロセッサは、ニューラル・ネットワークを使用して、カメラ装置によって取得された画像データを処理して、障害物の第１の確率分布を取得することと、レーダ・エコー信号のエコー幅及び飛行時間に基づいて障害物の第２の確率分布を取得することと、障害物の第１の確率分布及び障害物の第２の確率分布に基づいて、確率によって表される車両の走行可能領域を取得することであって、確率は、車両が領域を通って走行できない確率である、取得することと、を行うように構成されている。
【0019】
第２の態様において提供されるシステムは、第１の態様において提供される方法に対応することが理解されよう。したがって、第２の態様の実装及び第２の態様の実装及び技術的効果については、第１の態様の実装の関係する説明を参照のこと。
【0020】
第２の態様の別の可能な実装を参照すると、システムは、ディスプレイ装置をさらに含み、ディスプレイ装置は、確率グリッド・マップを表示するように構成されている。
【0021】
第３の態様によれば、第２の態様における自律走行支援システムを含む自律走行車両が提供される。
【0022】
第４の態様によれば、この出願の実施形態は、命令セットを含むコンピュータ可読記憶媒体を提供する。命令セットは、プロセッサによって実行されて、第１の態様の任意の実装による方法を実装してもよい。
【0023】
この出願の様々な実施形態は、車両走行可能領域検出方法、自律走行支援システム、及びそのシステムを含む自律走行車両を提供する。この出願の実施形態では、複数のセンサを使用して、車両の周囲の環境及び障害物に関する情報を取得し、取得された情報を、異なるセンサの異なる特徴に基づいて融合し、情報を確率グリッド・マップの形態で提示し、車両の周囲の走行可能な領域をより正確に認識することができる。別の態様では、この出願では、障害物視差情報及び障害物マッピングなどの方式が使用され、この出願の技術的解決策が高度に一般化され得、複数のシナリオに広く適用可能であり、訓練データに依存しないようにする。したがって、この出願における技術的解決策は堅牢であり、様々なレベルでの自律走行ソリューション、システム、及び車両に広く適用可能とすることができる。さらに別の態様では、この出願の技術的解決策は、車両の周囲に多量の障害物が存在する自律走行シナリオ、例えば自律駐車シナリオに特に適用可能である。
【図面の簡単な説明】
【0024】
【図1】本出願の一実施形態による、自律走行車両の構造の概略図である。
【0025】
【図2】本出願の一実施形態による、画像データに基づく障害物認識の概略図である。
【0026】
【図3】本出願の一実施形態による、障害物マッピングの概略図である。
【0027】
【図4】本出願の一実施形態による、レーダ・データに基づいて障害物座標を決定する概略図である。
【0028】
【図5】本出願の一実施形態による、レーダ・データに基づいて障害物のサイズ及び確立部分を決定する概略図である。
【0029】
【図6】本出願の一実施形態による、画像データ及びレーダ・データに基づいて走行可能領域融合を実行する概略図である。
【0030】
【図7】本出願の一実施形態による、コンピュータ可読記憶媒体及びプロセッサの概略図である。
【0031】
【図8】本出願の一実施形態による、自律運転支援システムの構造の概略図である。
【発明を実施するための形態】
【0032】
本出願の実施形態は、車両走行可能領域検出方法、システム、及びシステムを使用する駐車装置を提供する。車両上の複数のセンサを使用して情報が取得され、所与の方法を使用してその情報が融合され、車両の周囲の走行可能範囲が正確に認識され得、車両走行可能領域検出方法のための新たな解決策が提供され、自律走行信頼性の向上とユーザの走行体験の最適化のためのサポートが提供される。
【0033】
図１を参照する。いくつかの実施形態では、自律走行機能を有する車両１００が提供される。車両１００は、センサ・システム１０１、制御システム１０２、走行システム１０３などを含んでもよい。センサ・システム１０１は、例えば、全地球測位システム、慣性航法デバイス、レーザ・レーダ、ミリ波レーダ、及びカメラを含んでもよいが、これらに限定されない。制御システム１０２は、例えば、システム／装置、例えば、自律走行車両コンピューティング・プラットフォームを含んでもよいが、これらに限定されない。走行システム１０３は、例えば、エンジン、トランスミッション装置、電気エネルギー源、及び有線制御システムを含んでもよいが、これらに限定されない。車両１００は、さらに、自律走行支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ、略してＡＤＡＳ）を含んでもよいが、これに限定されない。センサ・システム１０１、制御システム１０２、及び走行システム１０３は、通信可能に接続されてもよい。
【0034】
【0035】
図２は、本出願の一実施形態による、画像データに基づく障害物認識の概略図である。図２の左側は、時間の観点から隣接するフレームＴ及びＴ＋１の上面図を示し、図２の中央部分は、障害物認識のために使用されるニューラル・ネットワーク２６を示し、図２の右側は、最終的な認識結果を示す。以下、障害物認識プロセスを詳細に説明する。
【0036】
図２に示すシナリオでは、車両２１はレーン２０上を移動し、車両２１の左側の障害物は柱２４及び静止車両２５を含み、車両２１の右側には２つの駐車スポット２２があり、各駐車スポット２２の領域はさらに駐車ブロック２３を含む。
【0037】
１つ以上のカメラ装置が車両２１の周囲に配設されてもよく、車両２１の周囲の画像データがカメラ装置によって取得されてもよい。いくつかの実施形態では、画像データを取得するように構成されているカメラ装置は、魚眼カメラであってもよい。魚眼カメラは、小さな盲点の特徴を有し、車両の周囲の情報が可能な限り取得され得るようにする。別のタイプの適切なカメラ、例えば、これらに限定するものではないが、一般的なカメラ、広角カメラ、又は広視野カメラが、この出願の精神に反することなく、代替的に使用されてもよいと理解されたい。
【0038】
いくつかの実施態様では、複数の魚眼カメラを使用して、車両の周囲の複数の画像が取得され、複数の画像が、時間アライメントを通して上面図に処理される。車両の自律走行のために、上面図は、車両の周囲の全体的な環境に関する情報を包括的に反映してもよい。
【0039】
いくつかの実施形態では、上面図を生成するための手順は、（１）カメラの歪みパラメータに基づく歪み除去処理を実行することと、（２）カメラの座標系から画像座標系に切り替えるための透視変換を実行することと、（３）画像のステッチング及び輝度バランスの融合を実行することと、を含む。以下、３つのプロセスについて説明する。
【0040】
（１）カメラの歪みは、レンズの特殊な形状によって生じる半径方向の歪みである。実際には、ｒ＝０である場合、Ｔａｙｌｏｒ級数の最初のいくつかの展開項が、通常、半径方向歪みを近似的に説明するために使用される。半径方向の歪みが補正される前後の座標は以下のように表される。
【数3】
【0041】
（２）上面図を生成することは、上面図内の各ピクセルを、ピクセルに対する物理的サイズの比に基づいて、地上の対応するワールド座標系の点の座標に変換することを含む。ワールド座標系における座標に対して、上面図の生成時に、まずカメラの使用予定の画像が決定され、空間座標系変換式を使用してカメラ座標系における点の座標が取得され、次いで、カメラの固有及び外部パラメータモデルを定式化して、画像座標系及びピクセル座標系における点の座標が取得される。
【0042】
（３）複数の画角の画像をつなぎ合わせると、つなぎ合わせを通して取得される画像の異なる部分が輝度や色の違いを有しやすく、また、画像のつなぎ合わせ部分が（同じ領域内の異なるカメラの画像化の色の違いによる）明瞭なつなぎ合わせを有しやすい。この問題を解決するために、ステッチ部分の両側にあり、カメラによって取得された画像の重複領域のピクセル値が使用される。トップビューの生成中、ガンマ補正を通して、画像の輝度の違いを有する部分に対する輝度バランス処理が実行され、画像がＹＵＶ形式に変換され、画像の重複領域内の部分の輝度が計算され、輝度が全体の上面図のＹチャンネルに適合される。画像のつなぎ合わせを有する部分は、画像のアルファ・ブレンディング（Ａｌｐｈａ Ｂｌｅｎｄｉｎｇ）を通して処理されてもよい。一実装では、任意の２つの画像が１つの画像に結合されてもよく、結合された画像のピクセル値が、以下の式（１）に従って取得される。
【数4】
【0043】
本明細書では、ａは、ブレンディング透明度を示し、ａの値は［０，１］の間である。重複領域では、ａの値は、１つの画像から別の画像へと０から１まで徐々に変化する。画像のつなぎ合わせにおいて、ａの値は、例えば、ａの値は０．５であってもよい。
【0044】
ステップ（１）、（２）、（３）の後、図２の左に示すように、車両の周囲の環境の上面図が、車両の周囲のカメラ装置を使用して取得されてもよい。
【0045】
前述の上面図生成プロセスでは、すべてのピクセル（障害物のピクセルを含む）が、同じ高さを有する、例えば、すべてのピクセルが地面に由来すると仮定されている。しかし、障害物の点が異なる高さを有することがある。高さの異なる物体を三次元から二次元に変換するプロセスでは、明瞭な変形発生し、その変形は、異なる観察角度（すなわち、魚眼カメラの異なる位置）及び障害物の高さに基づいて変動する。より高い障害物は大きな変形に対応するため、異なる画像フレームの視差がより明瞭になる。図２の柱２４を参照する。柱２４は高い高さを有するので、柱２４は上面図において大きく変形する。しかしながら、図２の駐車ブロック２３は低い高さ（通常、駐車ブロック２３の高さは約１０～２０ｃｍである）を有するので、駐車ブロック２３は基本的に上面図において変形しない。この出願の技術的解決策では、視差情報をニューラル・ネットワーク２６の入力の一部として使用し、ニューラル・ネットワークが、障害物をより良く認識することができるようにする。
【0046】
ニューラル・ネットワーク２６は、エンコーダ・デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）アーキテクチャ、例えば、エンコーダ及びデコーダを使用してもよい。エンコーダは、プーリング層を使用してデータに対する次元削減を実行するように構成されている。デコーダは、逆畳み込み層を使用してデータに対する次元増加を実行するように構成されている。エンコーダは、障害物のテクスチャ特徴を認識するように構成されており、デコーダは、障害物の詳細をより良好に復元するように構成されている。いくつかの実施態様では、エンコーダ・デコーダ・アーキテクチャが使用されるが、本出願の解決策におけるニューラル・ネットワークは、そのアーキテクチャに限定されない。任意の他の好適なニューラル・ネットワーク（例えば、畳み込み－プーリング－全結合アーキテクチャの使用を含むが、これに限定されない）は、本出願の精神に反することなく、実際の状況に基づいて選択されてもよい。
【0047】
ニューラル・ネットワークを使用して画像を認識する従来のプロセスでは、画像フレーム内の物体のテクスチャ特徴は、通常、物体認識（セマンティック・セグメンテーション）に使用される。しかしながら、上述のように、上面図の異なるフレームにおける物体視差情報を上面図の特徴付け特徴として使用してもよい。この出願では、ニューラル・ネットワークの入力は、単一フレーム画像に限定されず、さらに、時間の観点から複数の関連画像フレーム、例えば、図２に示す画像のＴフレーム及びＴ＋１フレームを含む。画像の２つのフレームは、時間の観点から隣接している。ニューラル・ネットワークは、従来のテクスチャベースの障害物認識方法と組み合わせて、時間の観点から隣接する画像における障害物の視差情報を使用して障害物に関する情報を認識する。視差情報を導入することによりもたらされる利点は、訓練されたモデルをモデル訓練セットに存在しないシナリオにより良く一般化できることである。訓練データセットがすべての可能な障害物の形状を含むことは困難であるので、テクスチャ特徴に基づくニューラル・ネットワーク学習は、一般化が困難な問題を有する。視差による変形は物理学の一般的な法則である。障害物を決定するための視差情報を学習することを通して、ニューラル・ネットワーク・モデルはより良い一般化能力を有することが可能となり、すなわち、ニューラル・ネットワーク・モデルは、少量の訓練データに基づく複数の異なるシナリオに適用され得る。前述の実施形態では、時間の観点から隣接する一対の画像を使用して障害物認識を説明したが、他の実装では、代替的には、時間の観点から特定のフレーム間隔を有する一対の画像を使用して実際の状況に基づいて障害物認識が実行されてもよいと理解されたい。例えば、瞬間Ｔと瞬間Ｔ＋２の一対の画像（１フレームの間隔を有する）又は瞬間Ｔと瞬間Ｔ＋３の一対の画像（２フレームの間隔を有する）が障害物認識のために使用されてもよい。車両の速度が大きいときに、入力のために時間フレーム上の最も近い隣接画像が選択されてもよい。これは、車両の速度が高いときには、短時間間隔における物体の視差が明瞭であり得るためである。追加的に、車両の速度が小さいときには、時間フレーム上の２つのフレーム、３つのフレーム、又はそれより多いフレームの間隔の画像が入力のために選択されてもよい。
【0048】
いくつかの実施形態では、セマンティック・セグメンテーションが、ニューラル・ネットワーク２６を使用して画像フレームに対して実行される。すなわち、画像フレーム内の障害物が認識及び分類される。例えば、画像領域が、３つのタイプに分類されてもよい。
【0049】
（１）自由空間（Ｆｒｅｅｓｐａｃｅ）は、車両が自由に移動し得る領域である。例えば、レーン２０は自由空間に属する。
【0050】
（２）高障害物（Ｈｉｇｈ Ｏｂｓｔａｃｌｅ）領域は、車両が移動できない領域である。例えば、柱２４は高障害物領域に属する。
【0051】
（３）低障害物（Ｌｏｗ Ｏｂｓｔａｃｌｅ）領域は、車両がほとんどの場合に移動しない領域であるが、特別な場合に移動し得る領域である。例えば、駐車ブロック２３は、低障害物領域に属し、車両は、駐車ブロック２３を通過（ｒｏｌｌ ｏｖｅｒ）してもよい。
【0052】
前述のセマンティック・セグメンテーションの分類は、実施形態の例に基づいており、当業者は、本出願の精神に反することなく、実際の要件に基づいて適切なセグメンテーション・タイプを使用してもよいと理解されたい。
【0053】
いくつかの実施形態において、障害物の確率分布図が、車両の非走行可能領域及び車両の走行可能領域を表すために、ニューラル・ネットワークによって出力された障害物のセマンティック・セグメンテーション・タイプに基づいて取得されてもよい。いくつかの他の実施形態では、確率グリッド・マップが使用されて、車両の非走行可能領域又は車両の走行可能領域を表してもよい。図２を一例として使用する。図２の右側は、この実施形態における確率グリッド・マップを示す。確率グリッド・マップにおける各グリッド点は、それ自身の確率値を有し、各グリッドポイントの確率値は、グリッドポイントが障害物（すなわち、車両が領域を通って走行できない）である確率を表す。例えば、図２の破線で示す領域２８と領域２９は、ニューラル・ネットワークによって認識された高障害物領域（車両と柱）を表し、それらの領域は車両２１にとっては非走行可能である。図２の領域２８及び領域２９内のグリッド点の確率値は、１に設定されてもよい。図２の領域２７は、ニューラル・ネットワークによって認識された低障害物領域（駐車ブロック）を表し、その領域は、車両２１にとっては走行可能である。したがって、領域２７内のグリッド点の確率値は、要件に従って０～１の間の数に設定されてもよい。しかし、図２の道路領域２１は、自由空間として認識され、道路領域内のグリッド点の確率値は、０に設定されてもよい。いくつかの他の実施形態において、確率値は、前述の実施形態における確率値とは逆に設定されてもよい。すなわち、確率値は、車両が領域を通って走行できる確立を表す。
【0054】
いくつかの実施形態では、確率値が、車両がその領域を通って走行できないことを表すときに、高いセキュリティを確保する必要がある場合、確率が０ではないすべてのグリッド点が、車両の非走行可能領域として設定されてもよい。この場合、確率グリッド・マップにおいて、走行可能領域と非走行可能領域の２つのタイプの領域がある。
【0055】
道路又は走行領域では、小さな障害物（例えば、トラフィック・コーン又はタイヤ）が小さい領域／体積を占有するので、ニューラル・ネットワーク訓練プロセスでは、決定エラーが発生した場合でも、損失関数のコスト値は小さい。その結果、ニューラル・ネットワークは小さな障害物を認識する感度が低く、小さな障害物を認識することが困難であることがある。大きな障害物と比較して、車両ドライバーや自律走行支援システムが小さな障害物を知覚／認識することは困難である。したがって、小さな障害物は車両と衝突する可能性が高い。この問題を解決するために、いくつかの実施形態では、ニューラル・ネットワーク２６の訓練プロセスにおいて、大きな障害物と比較して、損失関数において小さな障害物に高い重みが与えられる。いくつかの実施形態において、損失関数は、式（２）を使用することによって調整されてもよい。
【数5】
【0056】
Ａは調整パラメータである。いくつかの実施形態では、Ａは８～１２の選択された値であってもよいし、Ａは整数、例えば１０であってもよいし、小数の数、例えば９．５であってもよい。
【0057】
ここで、ｌｏｓｓｓｅｇｍｅｎｔａｔｉｏｎ及びｌｏｓｓｓｍａｌｌ＿ｏｂｓｔａｃｌｅは、機械学習分野において学習される関数、例えば、シグモイド、Ｌ１損失、及びＬ２損失（であるが、これらに限定されない）であり、ｌｏｓｓｓｅｇｍｅｎｔａｔｉｏｎは、画像に対してセマンティック・セグメンテーションが実行された後、異なるセグメンテーション領域（例えば、自由空間、高障害物領域、又は低障害物領域）におけるピクセルを計算するために使用される損失関数であり、ｌｏｓｓｓｍａｌｌ＿ｏｂｓｔａｃｌｅは、画像中の小さな障害物の画素を計算するために使用される損失関数である。小さな障害物があるときに、ｌｏｓｓｓｅｇｍｅｎｔａｔｉｏｎとｌｏｓｓｓｍａｌｌ＿ｏｂｓｔａｃｌｅを組み合わせることにより、全体損失関数Ｌｏｓｓが大きくなることがある（小さな障害物が発生しないときの損失関数よりも大きい）。したがって、この出願のこの実施形態では、ニューラル・ネットワークは、小さな障害物を認識する確率が高い。
【0058】
いくつかの実施形態では、小さな障害物は、道路上の一般的な物体、例えば、円錐管、ホイール・ストップ、又は駐車ロックを含むが、これらに限定されない。画像の観点から、上面図内の物体のピクセル数が３００ピクセル未満である場合、物体はまた、小さな障害物としてみなされてもよい。
【0059】
前述の調整を通して、この出願において訓練されたニューラル・ネットワーク２６は、小さな障害物に対するより良好な認識能力を有することができる。
【0060】
データ収集中は、近距離障害物や障害物と車両との直接衝突はほとんどない。したがって、現在の画像訓練サンプルでは、車両の近距離範囲にほとんど障害物が現れない。その結果、車両の周囲の近距離に障害物（画像）訓練サンプルがない。このないことにより、ニューラル・ネットワークをオーバーフィットさせ、車両の周囲領域内に障害物がある場合でも、車両の周囲領域が走行可能領域であるとの認識する結果を出力する。
【0061】
不平衡データ分布により生じる訓練問題（すなわち、車両の近距離周囲領域における障害物訓練サンプルがない）を解決するために、いくつかの実施形態では、障害物に近い障害物の検出率を改善するために、データ補強のための障害物マッピング方法が導入される。
【0062】
図３は、障害物マッピング方法の概略図である。車両３１の周囲環境は、破線範囲３２によって示される実際の障害物を含む。障害物３３は、画像が学習のためにニューラル・ネットワークに送信される前に画像に「マッピング」されてもよい。障害物３３は、実際のシナリオに存在する障害物ではなく、画像に仮想的に「マッピング」される。マッピングを通して取得された画像は、ニューラル・ネットワークの訓練のためにニューラル・ネットワークに送信される。このように、実際のシナリオで近距離障害物がないときに、ニューラル・ネットワークを十分に訓練することができるため、ニューラル・ネットワークにおいてオーバーフィッティング現象が発生しない。
【0063】
いくつかの実施形態では、障害物が、車両の周囲の領域範囲にランダムにマッピングされ、障害物の回転角度は、非現実的な画像を回避するために、障害物がキャプチャされるカメラの角度範囲に基づいて変化する。いくつかの実施形態では、障害物のタイプは、ランダムに選択されてもよく、例えば、道路ブロック、カート、動物、又は歩行者であるが、これらに限定されない。
【0064】
図４及び図５は、実施形態による、レーダを使用して障害物を認識する概略図である。いくつかの実施形態では、超音波レーダが使用されてもよい。通常、車両２１の周囲に配設された６～１２個の超音波レーダがあってもよく、長距離レーダ及び短距離レーダを含んでもよい。
【0065】
図４は、超音波レーダを使用して障害物を認識する概略図である。超音波レーダＳ２を駆動して信号を伝送し、その超音波信号は、障害物４１で反射した後、Ｓ１、Ｓ２によって受信される。障害物４１と超音波レーダＳ１及びＳ２の相対位置は、異なる飛行時間ＴＯＦ（Ｔｉｍｅｓ ｏｆ Ｆｌｉｇｈｔ）に基づいて位置決めされてもよい。さらに、車両基準座標系に対する障害物の中心の座標は、三角測量位置方法を使用して取得されてもよい。具体的な計算プロセスについては、以下の説明を参照のこと。
【0066】
Ｓ２が波を放出し、Ｓ１及びＳ２が有効なエコーを受信した場合、障害物４１とＳ２との間の距離及び障害物４１とＳ１との間の距離は、以下の式（３）で与えられる。
【数6】
【0067】
ＴＯＦ１とＴＯＦ２はそれぞれ超音波レーダＳ１とＳ２によって取得される飛行時間を表し、ｖｕｓｓは常温での音波の伝搬速度を表す。
【0068】
したがって、車両基準座標系における障害物４１の中心の特定の座標値（ｘｏｂｊ，ｙｏｂｊ）は、以下の式（４）にしたがって計算されてもよい。
【数7】
【0069】
ここで、（ｘ１，ｙ１）及び（ｘ２，ｙ２）は、それぞれ、車両基準座標系に対する超音波レーダＳ１及びＳ２の座標値である。
【0070】
いくつかの実施形態では、図５に示すように、単一の超音波レーダを使用して、超音波を送信し、エコー信号を受信して、エコー信号のエコー幅及び飛行時間を取得してもよい。エコー幅と飛行時間に基づいて、障害物の幾何学的形状が取得されてもよい。いくつかの実施形態では、便宜上、障害物は、２次元平面上の半径ｒを有する円として抽象的に定義されてもよく、円の中心の座標は、２つの超音波レーダによって認識される障害物の中心に対応し、円の半径ｒは、以下の式（５）を使用して決定されてもよい。
【数8】
【0071】
ここで、ＥＣＨＯ１はエコー幅を表し、ｄ１は最短エコー距離を表し、ｄ２は最長エコー距離を表す。障害物は、特定の幾何学的サイズを有するため、超音波は、障害物の異なる部分によって反射し、超音波が、最短エコー距離ｄ１及び最長エコー距離ｄ２を有するようにする。
【0072】
この実施形態では、便宜上、障害物は抽象的にｒの半径を有する円として定義され、当業者はまた、障害物を別の適切な幾何学的形状、例えば、長方形又は多角形として抽象的に定義してもよいと理解されたい。
【0073】
いくつかの実施形態では、線形確率分布は、認識された障害物の幾何学的円に対して実行される。具体的には、円の中心が車両基準座標系における障害物の中心の座標値に対応すると決定される。円の中心において、障害物の確率は１００％であり、その確率は、半径方向外向きに中心から円周に向かって直線的に減少する。すなわち、円の半径ｒ／２の円周における障害物の確率は５０％であり、円の円周ｒにおける障害物の確率は０である。確率の線形分布は、いくつかの実施形態に基づく任意選択の方式であり、当業者は、本出願の精神に反することなく、実際の状況に基づいて、別の適切な確率減衰関数（例えば、指数関数的減衰）を選択してもよいと理解されたい。
【0074】
いくつかの実施態様では、前述の障害物の確率分布は、グリッド・マップを使用して実装される。図５の右側は、例示的な図を示す。障害物５１は、超音波レーダによって認識された後の確率分布図５２として提示される。円の中心において、確率が最も高く、色が最も濃く、円周において、確率が最も低く、色が最も明るい。
【0075】
いくつかの実施形態では、前述のプロセスは、前述の計算プロセスの音速が光速で置き換えられるならば、例えば、レーザ・レーダ又はミリ波レーダを使用してさらに実装されてもよい。
【0076】
いくつかの実施形態では、確率グリッド・マップを取得するために、魚眼カメラ及び超音波レーダを使用することによって取得される障害物の確率分布を、融合重み関数Ｗを使用して融合させてもよい。例えば、融合処理は、以下の式（６）における融合重み関数を参照して実行されてもよい。式（６）では、融合重み関数Ｗは、距離ｄの関数であってもよく、ｄは、ターゲット・グリッド点（障害物）と車両との間の距離を表す。
【数9】
【0077】
ここで、ｄｍａｘは、超音波を通して検出できる境界距離を表す。
【0078】
融合ターゲット・グリッド点の確率値は、以下の式（７）で与えられる。
【数10】
【0079】
ＰＩＰＭは、魚眼カメラを使用して取得された目標グリッド点の障害物確率分布を表し、ＰＵＳＳは、超音波レーダを使用して取得された目標グリッド点の障害物確率分布を表す。
【0080】
前述の式（６）に基づき、障害物と車両との間の距離ｄが、超音波レーダによって検出できる距離境界を超えると、Ｗ＝１となることが分かる。Ｗ＝１であるときに、前述の式（７）において（１－Ｗ）＊ＰＵＳＳが０であり、これは、超音波レーダが、この場合、障害物を有効に検出できないことを示し、車両は、魚眼カメラを使用して障害物の確率分布を取得する。
【0081】
前述の式（６）に基づき、ｄ及びｄｍａｘが小さい（例えば、０．２未満）ときに、式（７）における超音波レーダの重みが大きいことがさらに分かる。これ、障害物が車両に近いときに、魚眼カメラの視覚盲点により視覚認識効果が悪いという問題を解決することができる。
【0082】
前述の融合重み関数及び融合式は、実施形態に基づく単なる例であり、当業者は、本出願の精神に反することなく、実際の状況に基づいて、融合重み関数の任意の別の適切な形式及び別の融合式を選択してもよいと理解されたい。
【0083】
魚眼カメラ及び超音波レーダに加えて、当業者は、本願の精神に反することなく、前述の技術プロセスを実装するために、状況に基づいて、別の装置、例えば、高精度カメラ、広角カメラ、レーザ・レーダ、ミリ波レーダなどを適切に選択してもよいと理解されたい。
【0084】
前述の融合後に取得された二次元グリッド点は、確率によって表される確率グリッド・マップを形成する。障害物がグリッド点において存在する確率は、０％～１００％まで分布する。グリッド点における異なる確率に基づき、車両は、車両が自由に走行できる領域、車両が走行できない領域、及び車両が特定の場合に走行できる領域を決定してもよい。いくつかの実施形態では、生成された確率グリッド・マップは、ドライバーによる参照のために車両のコックピット・ディスプレイに表示されてもよい。
【0085】
前述の説明から、この出願の実施形態において提供される技術的解決策では、カメラ装置及びレーダなどのセンサを使用して取得される障害物確率分布を組み合わされ、この出願の技術的解決策を使用する自律走行車両が、車両の周囲の障害物に関する情報を包括的に取得し、単一センサの盲点や測定限界により生じる情報損失を回避することができるようにする。追加的に、この出願の実施形態において提供される技術的解決策では、ニューラル・ネットワークの訓練プロセス及び画像情報の処理プロセスでは、障害物マッピング方法、小さな障害物損失関数の重み強化、及び連続する画像フレーム間の視差情報の導入などの技術的手段が使用され、この出願の技術的解決策におけるニューラル・ネットワークが、画像情報に基づいて、車両の周辺の障害物に関する情報をより正確に認識することができるようにする。
【0086】
図６は、いくつかの実施形態において、魚眼カメラと超音波レーダの組み合わせに基づいて障害物を認識するプロセスを示しており、これは、図２のシナリオと同様である（複数の画像フレームのプロセスは、図６において省略される）。ここで、６４は柱を表し、６５は静止車両を表し、車両６１は道路６０を走行し、車両６１の右側に２つの駐車スポット６２があり、各駐車スポット６２はさらに駐車ブロック６３を含む。図６の右側の確率グリッド・マップでは、６８と６９は高障害物領域（それぞれ図６の左側の柱６４と静止車両６５に対応する）を示し、６７は低障害物領域（図６の左側の駐車ブロック２３に対応する）を示す。図２のシナリオとは異なり、道路６０上には、車両の近くに低障害物Ａ（例えば、ロボット式掃除機であるが、これに限定されない）が存在する。カメラには盲点があり、ロボット式掃除機の高さは非常に低いことがある。したがって、魚眼カメラのみで車両の周囲環境が認識される場合、障害物Ａが見落とされることがあるか、又は認識できないことがある。この実施形態では、超音波レーダは組み合わされる。超音波レーダは、前述の実施形態において、位置決め及びサイズ認識を通して障害物Ａの位置及び幾何学的形状を取得し、その位置及び幾何学的形状を、半径ｒを有する円形障害物確率分布として定義してもよい。図６の右側に示す確率グリッド・マップは、超音波レーダによって認識された障害物確率分布情報と、魚眼カメラによって認識された障害物確率分布情報とを組み合わせることによって取得されてもよく、障害物Ａの確率分布を示す。いくつかの実施形態では、確率グリッド・マップは、車両の自律走行支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）にさらに伝送されてもよい。したがって、ＡＤＡＳシステムは、取得された確率グリッド・マップに基づいて、前方右側道路領域に障害物があることを「学習」することができる。したがって、ＡＤＡＳシステムは、ルート計画中に障害物を適切に回避することができる。いくつかの他の実施形態では、人のドライバーが車両を走行させている場合、確率グリッド・マップは、代替的には、車両のコックピットのディスプレイ上に表示されて、ドライバーに、前方右側の道路領域に障害物があり、ドライバーが適切な回避を実行すべきことを促してもよい。
【0087】
前述の実施形態では、カメラ装置とレーダの両方が同じ車両に配設されている。いくつかの他の実施形態では、カメラ装置とレーダが、異なる車両に別個に配設されてもよい。例えば、車両Ａにはカメラ装置が配設され、車両Ｂにはレーダが配設され、車両Ａと車両Ｂは、互いに通信し、通信ネットワークを通してそれぞれの情報又は取得した情報を転送／交換する。このように、車両Ａ又は車両Ｂに１つのタイプのセンサのみが配設されていても、車両Ａ又は車両Ｂは、特定の条件下で、２つのタイプのセンサに関する情報を取得し、さらに、この出願の実施形態において開示される技術的解決策により、車両の周囲の障害物に関する情報を取得してもよい。
【0088】
いくつかの他の実施形態では、車両道路共同作業シナリオにおいて、カメラ装置及び／又はレーダは、代替的には、道路又は道路の周囲の装置に配設されてもよい。例えば、カメラ装置は、電柱又は道路の周囲の監視装置に配設されてもよい。別の例として、カメラ装置及び／又はカメラ装置は、例えば、ランプ・ポスト、速度測定ポール、又は道路側の通信基地局タワーなどの装置に配設されてもよい。カメラ装置及び／又はレーダは、例えば、Ｖ２Ｘ （Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）を通して車両と通信し、取得された情報を車両に伝送してもよい。車両道路協力に基づいて、車両には、１つのタイプのセンサのみが設けられてもよく（例えば、カメラ装置のみを備える）、又は車両は、特定の条件下で２つのタイプのセンサに関する情報を取得し、さらに、この出願の実施形態に開示される技術的解決策により、車両の周囲の障害物に関する情報を取得してもよい。
【0089】
図７は、いくつかの実施形態に基づくコンピュータ可読記憶媒体７１を示す。コンピュータ可読記憶媒体７１は、命令セット７３を記憶する。命令セット７３は、前述の実施形態において説明されたニューラル・ネットワークと、レーダ・データを使用して実行される障害物位置と確率計算と、カメラ装置を使用して取得される障害物確率分布及びレーダを使用して取得される障害物確率分布を融合するための論理と、を含んでもよい。コンピュータ可読記憶媒体７１は、プロセッサ７２に通信可能に接続されるように構成されている。プロセッサ７２は、カメラ装置７４及びレーダ７５（図７の破線で示される）に通信可能に接続されてもよい。カメラ装置７４及びレーダ７５のデータを取得した後、プロセッサ７２は、コンピュータ可読記憶媒体７１に記憶された命令セットに基づいてデータを処理して、前述の実施形態における技術的解決策を実装してもよい。プロセッサ７２は、例えば、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓ Ｕｎｉｔ）、グラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓ Ｕｎｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、システム・オン・チップ（ＳｏＣ：Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、特定用途向け集積チップ（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、又はそれらの組み合わせを含んでもよいが、これらに限定されない。
【0090】
図８は、いくつかの実施形態に基づく自律走行支援システム８００を示す。システム８００は、カメラ装置８１、レーダ８２、及びプロセッサ８３を含む。カメラ装置８１は、前述の実施形態において記録された、例えば、魚眼カメラ、広角カメラ又は広視野カメラであってもよいが、これらに限定されない。レーダ８２は、前述の実施形態において記録された、例えば、超音波レーダ、レーザ・レーダ、又はミリ波レーダであってもよいが、これらに限定されない。プロセッサ８３又はプロセッサ７２は、例えば、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓ Ｕｎｉｔ）、グラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、システム・オン・チップ（ＳｏＣ：Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、特定用途向け集積チップ（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、又はそれらの組み合わせを含んでもよいが、これらに限定されない。プロセッサ８３は、前述の実施形態において、車両走行可能領域検出方法を実装するように構成されている。例えば、セマンティック・セグメンテーション処理は、障害物のタイプと障害物の第１の確率分布を取得するために、ニューラル・ネットワークを使用して画像データに対して実行される。障害物の中心の座標値と障害物の第２の確率分布は、飛行時間とエコー幅に基づいて決定される。障害物の第１の確率分布と障害物の第２の確率分布が融合されて、確率によって表される車両の走行可能領域を取得し、ここで、確率は、車両が領域を通って走行できない確率を示す。車両の走行可能領域、又は車両が領域を通って走行できない確率は、確率グリッド・マップの形態で表されてもよい。自律走行支援システム８００は、例えば、図７に示すコンピュータ可読記憶媒体８４をさらに含んでもよいが、これに限定されない。コンピュータ可読記憶媒体８４は、命令セットを記憶し、命令セットは、前述の実施形態において説明されたニューラル・ネットワークと、レーダ・データを使用して障害物の位置と確率を計算することと、カメラ装置によって取得された障害物の確率分布に基づいて実行される融合又はレーダによって取得された障害物の確率分布に基づいて実行される融合とのうちの１つ以上の機能を実装するために必要な命令を含む。カメラ装置８１、レーダ８２、及びプロセッサ８３は、記憶媒体８４に通信可能に接続されてもよい。前述のセッティングを介して、自律走行支援システム８００は、前述の実施形態に説明された技術的解決策を実装してもよい。いくつかの実施形態では、自律走行支援システム８００は、（図８の破線によって示されるように）１つ以上の他の機能モジュール／装置８５をさらに含んでもよいと理解されたい。例えば、機能モジュール８５はディスプレイ装置であってもよく、ディスプレイ装置は確率グリッド・マップを表示してもよい。いくつかの実施形態では、自律運転支援システム８００は、例えば、図１に示す自律走行機能を有する車両１００に配設されてもよい。
【0091】
いくつかの他の実施形態では、ロボットがさらに提供される。ロボットは、この出願の実施形態において提供される自律走行支援システムを含んでもよい。具体的には、カメラ装置及びレーダがロボットに配設されてもよく、周囲の障害物情報が、この出願の実施形態において説明される技術的解決策に基づいて、取得されてもよく、ロボットのルートが取得された障害物情報に基づいて適切に計画される。
【0092】
この出願の実施形態は、車両走行可能領域検出方法、システム、及びそのシステムを使用する自律走行車両を提供する。この出願の技術的解決策では、複数のセンサが使用され、複数のセンサに基づいて取得された障害物確率情報が融合されて確率グリッド・マップを取得し、車両の周囲の走行可能領域がより正確に認識され得るようにする。追加的に、この出願では、障害物視差情報、障害物マッピング方法及び他の方式が使用され、この出願の技術的解決策が高度に一般化され得、訓練データに依存することなく複数のシナリオに広く適用可能であるようにする。したがって、この出願の技術的解決策は堅牢である。要約すると、この出願の技術的解決策は、様々なレベルでの自律走行ソリューション、システム、及び車両に広く適用可能である。
【0093】
この出願の明細書、特許請求の範囲及び添付の図面では、「第１」、「第２」、「第３」、「第４」など（存在する場合）の用語は、類似の対象を区別することを意図しており、必ずしも特定の順序又はシーケンスを示すものではない。このような用語のデータは、適切な状況において互換性があると理解すべきであり、本明細書で説明された本発明の実施形態が、本明細書において例示又は説明された順序以外の順序で実装され得るようにする。追加的に、「含む」、「有する」、又は任意の他の変形の用語は、非排他的包含をカバーすることを意図している。例えば、ステップ又はユニットのリストを含むプロセス、方法、システム、製品、又はデバイスは、それらの明示的にリストにされたステップ又はユニットに必ずしも限定されず、そのようなプロセス、方法、製品、又はデバイスに明示的にリストにされていないか、又は固有ではない他のステップ又はユニットを含んでもよい。
【0094】
便利で簡単な説明のために、前述のシステム、装置、及びユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照し、詳細は、ここでは再度説明されないことが当業者によって明らかに理解されよう。
【0095】
この出願において提供される実施形態では、開示されたシステム、装置、及び方法が、他の方式で実装されてもよいと理解されたい。例えば、説明された装置の実施形態は、例にすぎない。例えば、ユニットへの分割は、論理機能分割にすぎない。実際の実装中、別の分割方式があってもよい。例えば、複数のユニット又はコンポーネントを別のシステムに組み合わせたり、統合したりしてもよいし、いくつかの特徴を無視したり、実行しなかったりしてもよい。追加的に、表示又は議論された相互結合、直接結合、又は通信接続は、いくつかのインターフェースを介して実装され得る。装置又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形態で実装されてもよい。
【0096】
別個の部分として説明されるユニットは、物理に分離されていても、されていなくてもよく、ユニットとして表示される部分は、物理ユニットであっても、なくてもよく、換言すれば、１つの場所に位置していてもよいし、複数のネットワークユニットに分散されていてもよい。ユニットの一部又は全部は、実施形態の解決策の目的を達成するために、実際の要件に基づいて選択されてもよい。
【0097】
追加的に、この出願の実施形態における機能ユニットが、１つの処理ユニットに統合されてもよいし、各ユニットが、物理的に単独で存在してもよいし、２つ以上のユニットが、１つのユニットに統合されてもよい。統合されたユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア・サービス・ユニットの形態で実装されてもよい。
【0098】
統合されたユニットがソフトウェア・サービス・ユニットの形態で実装され、独立した製品として販売又は使用されるときに、統合されたユニットは、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、この出願の技術的解決策が、本質的にソフトウェア製品の形態で実装されてもよいし、従来技術に寄与する部分が、ソフトウェア製品の形態で実装されてもよいし、技術的解決策の全部又は一部が、ソフトウェア製品の形態で実装されてもよい。コンピュータ・ソフトウェア製品は、記憶媒体に記憶され、コンピュータ・デバイス（パーソナル・コンピュータ、サーバ、又はネットワーク・デバイスなどであってもよい）に、この出願の実施形態において説明された方法のステップの全部又は一部を実行させるように指示するための複数の命令を含む。前述の記憶媒体は、ＵＳＢフラッシュ・ドライブ、ハード・ディスク、リムーバブル・ハード・ディスク、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、キャッシュ、電気的プログラマブルＲＯＭ （ＥＰＲＯＭ）メモリ、電気的消去可能なプログラマブルＲＯＭ （ＥＥＰＲＯＭ）メモリ、レジスタ、フラッシュメモリ、磁気ディスク、又は光ディスクなどのプログラムコードを記憶することができる任意の媒体を含む。
【0099】
当業者は、前述の１つ以上の例において、本出願において説明されたサービスが、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせを使用することによって実装されてもよいと認識すべきである。サービスがソフトウェアによって実装されるときに、サービスは、コンピュータ可読媒体に記憶されるか、又はコンピュータ可読媒体内の１つ以上の命令又はコードとして伝送される。コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含み、通信媒体は、１つの場所から別の場所へコンピュータ・プログラムを伝送することを可能にする任意の媒体を含む。記憶媒体は、汎用又は専用コンピュータにアクセス可能な任意の利用可能な媒体であってもよい。
【0100】
前述の特定の実装では、この出願の目的、技術的解決策、及び利点が、さらに詳細に説明されている。前述の説明は、この出願の特定の実装にすぎないと理解されたい。
【0101】
前述の実施形態は、この出願を限定するのではなく、この出願の技術的解決策を説明することを意図したに過ぎない。この出願は、前述の実施形態を参照して詳細に説明されているが、当業者は、この出願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態に説明された技術的解決策に修正するか、またはその技術的特徴のいくつかを同等のものに置換することを依然として行ってもよいと理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】