▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
特開2024-22481畳み込みニューラルネットワークを用いて駐車スペースを記述する周辺環境情報を検出する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022481
(43)【公開日】2024-02-16
(54)【発明の名称】畳み込みニューラルネットワークを用いて駐車スペースを記述する周辺環境情報を検出する方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240208BHJP
G06V 10/82 20220101ALI20240208BHJP
G06V 20/56 20220101ALI20240208BHJP
G08G 1/14 20060101ALI20240208BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 650Z
G06V10/82
G06V20/56
G08G1/14 A
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023096994
(22)【出願日】2023-06-13
(31)【優先権主張番号】10 2022 208 059.9
(32)【優先日】2022-08-03
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(72)【発明者】
【氏名】モハナド・ユーセフ
(72)【発明者】
【氏名】ヨーナス・シェーニヒェン
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181AA05
5H181AA07
5H181AA27
5H181BB04
5H181BB13
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181CC24
5H181FF27
5H181FF33
5H181KK01
5H181KK03
5H181KK04
5H181KK08
5H181LL09
5L096AA06
5L096BA04
5L096BA05
5L096CA04
5L096CA21
5L096DA01
5L096FA06
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096FA77
5L096GA30
5L096HA11
5L096KA04
5L096MA07
(57)【要約】 （修正有）
【課題】畳み込みニューラルネットワークを用いて駐車スペースを記述する周辺環境情報を検出する方法、センサ装置、車両、コンピュータプログラム製品およびコンピュータ可読記憶媒体を提供する。
【解決手段】方法は、車両１の周辺環境センサを用いて、測定データを、周辺環境における１つまたは複数の物体に割り当て、測定データに基づいて、周辺環境を記述する周辺環境マップを作成し、測定データを、周辺環境マップにおいて空間的に車両に関して特定し、周辺環境マップを畳み込みニューラルネットワークに供給し、ニューラルネットワークが、周辺環境マップに基づいて、車両の駐車スペース９を分類および位置推定し、各々の駐車スペースを画定する構造記述１５ａ～１８ｃを検出し、分類および位置推定された駐車スペースに基づく、構造記述の周辺環境情報を生成する。
【選択図】図４
【解決手段】方法は、車両１の周辺環境センサを用いて、測定データを、周辺環境における１つまたは複数の物体に割り当て、測定データに基づいて、周辺環境を記述する周辺環境マップを作成し、測定データを、周辺環境マップにおいて空間的に車両に関して特定し、周辺環境マップを畳み込みニューラルネットワークに供給し、ニューラルネットワークが、周辺環境マップに基づいて、車両の駐車スペース９を分類および位置推定し、各々の駐車スペースを画定する構造記述１５ａ～１８ｃを検出し、分類および位置推定された駐車スペースに基づく、構造記述の周辺環境情報を生成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
車両（１）のセンサ装置（２）を用いて少なくとも１つの駐車スペース（９）を記述する周辺環境情報を検出する方法であって、前記センサ装置（２）が少なくとも１つの周辺環境センサ（３）と計算装置（４）とを備える方法において、
－前記車両（１）の周辺環境を記述する測定データを、前記少なくとも１つの周辺環境センサ（１）を用いて記録するステップであって、前記測定データが、前記車両（１）の前記周辺環境における１つまたは複数の物体に割り当てられるステップと、
－前記測定データに基づいて、少なくとも１つの、前記車両（１）の前記周辺環境を記述する周辺環境マップ（５）を作成するステップであって、前記測定データが、前記周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記計算装置（４）により前記少なくとも１つの周辺環境マップ（５）を評価するステップであって、前記周辺環境マップ（５）が畳み込みニューラルネットワークに供給され、前記ニューラルネットワークが、前記周辺環境マップ（５）に基づいて、前記車両（１）の前記周辺環境に存在する駐車スペース（９）を分類および位置推定し、前記ニューラルネットワークが、前記周辺環境マップに基づいて、前記駐車スペース（９）の各々について、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を検出するステップと、
－前記分類および位置推定された駐車スペース（９）に基づく前記周辺環境情報であって、前記少なくとも１つの構造記述（１５～１８）の前記周辺環境情報を生成するステップとを備える方法。
－前記車両（１）の周辺環境を記述する測定データを、前記少なくとも１つの周辺環境センサ（１）を用いて記録するステップであって、前記測定データが、前記車両（１）の前記周辺環境における１つまたは複数の物体に割り当てられるステップと、
－前記測定データに基づいて、少なくとも１つの、前記車両（１）の前記周辺環境を記述する周辺環境マップ（５）を作成するステップであって、前記測定データが、前記周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記計算装置（４）により前記少なくとも１つの周辺環境マップ（５）を評価するステップであって、前記周辺環境マップ（５）が畳み込みニューラルネットワークに供給され、前記ニューラルネットワークが、前記周辺環境マップ（５）に基づいて、前記車両（１）の前記周辺環境に存在する駐車スペース（９）を分類および位置推定し、前記ニューラルネットワークが、前記周辺環境マップに基づいて、前記駐車スペース（９）の各々について、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を検出するステップと、
－前記分類および位置推定された駐車スペース（９）に基づく前記周辺環境情報であって、前記少なくとも１つの構造記述（１５～１８）の前記周辺環境情報を生成するステップとを備える方法。
【請求項2】
前記周辺環境マップ（５）がマップグリッド（７）を含み、前記測定データが前記マップグリッド（７）のセル（８）に割り当てられ、各セル（８）について、セル（８）に割り当てられた前記測定データの測定点（６）の数、セル（８）に割り当てられた前記測定データに基づいて記述される物体の高さ、セル（８）に割り当てられた前記測定データに基づいて記述される物体のタイプおよび／またはセル（８）に割り当てられた前記測定データの少なくとも１つの信号特性が特定されることを特徴とする、請求項１に記載の方法。
【請求項3】
前記ニューラルネットワークが、前記周辺環境マップ（５）に、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるように構成され、前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記周辺環境情報において、前記フレーム（１２，１３，１４）の各々について、駐車スペースとしての分類、前記測定データに基づいて記述され、前記フレーム（１２，１３，１４）に割り当てられた駐車スペースの、前記フレーム（１２，１３，１４）に対するオリエンテーションおよび／または前記駐車スペース（９）を画定する構造の少なくとも１つの構造記述（１５～１８）が特定されることを特徴とする、請求項１または２に記載の方法。
【請求項4】
構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されることを特徴とする、請求項１～３の何れか１項に記載の方法。
【請求項5】
前記構造記述（１５～１８）は、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記車両（１）に対向するエッジ、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記駐車スペース（９）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（９）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口（２３）に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、請求項１～４の何れか１項に記載の方法。
【請求項6】
前記周辺環境情報は、前記分類された駐車スペース（９）の少なくとも一部に関して、前記駐車スペースにおいて利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含む、請求項１～５の何れか１項に記載の方法。
【請求項7】
少なくとも１つの周辺環境センサ（３）として、複数の超音波センサを備える超音波センサ装置、少なくとも１つのライダセンサ、少なくとも１つのレーダセンサおよび／または少なくとも１つの周辺環境カメラを備えるセンサ装置（２）が使用されることを特徴とする、請求項１～６の何れか１項に記載の方法。
【請求項8】
特に、請求項１～７の何れか１項に記載の方法において使用するための、畳み込みニューラルネットワークを訓練する方法において、
－訓練測定データに基づく複数の、各々、車両（１）の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、前記訓練測定データが前記訓練周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記車両（１）の周辺環境における少なくとも１つの駐車スペース（２６）を記述するグラウンドトゥルースを、前記訓練周辺環境マップの少なくとも一部に割り当てるステップであって、前記グラウンドトゥルースは、前記訓練周辺環境マップの少なくとも１つのセクションを駐車スペース（２６）として分類および位置推定し、前記駐車スペース（２６）の前記グラウンドトゥルースは、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を特定するステップと、
－前記訓練周辺環境マップに、各々、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるステップであって、前記評価グリッド（１１）の前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記各フレームには少なくとも１つの構造記述（１５～１８）が割り当てられるステップと、
－前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）に関して、最大オーバーラップを有する前記各フレーム（１２，１３，１４）を検出するステップと、
－最大オーバーラップを有する前記フレーム（１２，１３，１４）の前記少なくとも１つの構造記述（１５～１８）と、前記グラウンドトゥルースにより記述される構造記述（１５～１８）との間の一致に関して前記ニューラルネットワークを最適化するステップとを備える方法。
－訓練測定データに基づく複数の、各々、車両（１）の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、前記訓練測定データが前記訓練周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記車両（１）の周辺環境における少なくとも１つの駐車スペース（２６）を記述するグラウンドトゥルースを、前記訓練周辺環境マップの少なくとも一部に割り当てるステップであって、前記グラウンドトゥルースは、前記訓練周辺環境マップの少なくとも１つのセクションを駐車スペース（２６）として分類および位置推定し、前記駐車スペース（２６）の前記グラウンドトゥルースは、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を特定するステップと、
－前記訓練周辺環境マップに、各々、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるステップであって、前記評価グリッド（１１）の前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記各フレームには少なくとも１つの構造記述（１５～１８）が割り当てられるステップと、
－前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）に関して、最大オーバーラップを有する前記各フレーム（１２，１３，１４）を検出するステップと、
－最大オーバーラップを有する前記フレーム（１２，１３，１４）の前記少なくとも１つの構造記述（１５～１８）と、前記グラウンドトゥルースにより記述される構造記述（１５～１８）との間の一致に関して前記ニューラルネットワークを最適化するステップとを備える方法。
【請求項9】
前記各セル（１０）には複数の相異なって位置決めされかつ／または相異なってオリエンテーションされたフレーム（１２，１３，１４）が割り当てられること、および／またはオーバーラップを検出するためにどの前記セル（１０）において、各々、前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）の中心点（１５）が位置するかを決定することであって、前記グラウンドトゥルースにより記述される駐車スペース（２６）との重なりが最大であるセル（１０）のフレーム（１２，１３，１４）を、最大オーバーラップを有するフレーム（１２，１３，１４）として選択することを特徴とする、請求項８に記載の方法。
【請求項10】
前記グラウンドトゥルースの構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されること、および／または前記グラウンドトゥルースの前記構造記述（１５～１８）は、前記駐車スペース（２６）を画定する物体の、少なくとも１つの、前記車両に対向するエッジ、前記駐車スペースを画定する物体の、少なくとも１つの、前記駐車スペース（２６）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（２６）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、請求項８または９に記載の方法。
【請求項11】
前記グラウンドトゥルースは、前記分類された駐車スペース（２６）の少なくとも一部に関して、前記駐車スペース（２６）において利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含み、前記ニューラルネットワークの最適化が、前記駐車領域情報（２５）および／または前記駐車スペース分類に関しても行われることを特徴とする、請求項８～１０の何れか１項に記載の方法。
【請求項12】
少なくとも１つの周辺環境センサ（３）および計算装置（４）を備えるセンサ装置であって、前記計算装置（４）が請求項１～７の何れか１項に記載の方法を実行するように構成される、センサ装置。
【請求項13】
請求項１２に記載の少なくとも１つのセンサ装置（２）を備える車両。
【請求項14】
計算装置（４）に対して請求項１～７の何れか１項に記載の方法を実行させる命令を備えるコンピュータプログラム製品。
【請求項15】
請求項１４に記載のコンピュータプログラム製品を備えるコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両のセンサ装置を用いて少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法であって、センサ装置は少なくとも１つの周辺環境センサおよび計算装置を備える方法に関する。また、本発明は、畳み込みニューラルネットワークを訓練する方法、センサ装置、車両、コンピュータプログラム製品およびコンピュータ可読記憶媒体に関する。
【背景技術】
【0002】
最近の車両は、周辺環境センサを用いて、車両の周辺環境における様々な物体に関する情報を取得できる。これら物体は、例えば、他の交通参加者、例えば、移動中もしくは停止中の他車または移動しない構造、例えば、縁石、壁、マーク等である場合がある。このようにして取得した情報は、様々な運転支援機能を提供するために用いることができる。
【0003】
例えば、そのような物体情報に基づく周辺環境記述から、車両の周辺環境において利用可能な駐車スペースに関するさらなる情報を導出することができる。また、一般に、周辺環境において検出された物体および／またはその配置から、設定されている規則および従属性に応じて、空駐車スペースを検出するアルゴリズムが用いられる。この場合、規則は、例えば、ルックアップテーブルを用いておよび／または個々のケースのクエリつまりｉｆ条件により設定される。
【0004】
このプロセスは、これら比較的複雑で広範囲な規則を作成しチェックする時間コストがかかり、一般に、駐車スペース識別が規則により問い合わせられるシナリオに限定されるという、不利な点を有する。また、規則の展開、そして様々な車両および／または駐車スペース検出の様々な要件へのその適応を実装するには大きなコストを免れない。他の技術領域からは、画像データの機械評価またはコンピュータベースのビジョンに関して、画像データの評価を人工知能領域の方法を用いて提供する、いわゆる深層学習方法が知られている。
【0005】
そのような方法の例は、非特許文献１の論文に記載の「Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ Ｍｅｔｈｏｄ」（ＹＯＬＯ法とも称される）であり、ＹＯＬＯ法は、個別のニューラルネットワークにおいてグリッドを使用することにより、画像中の物体の分類および位置推定を同時に行うことを可能にする。ここで、ニューラルネットワークは、物体に割り当てられたクラス確率と、画像中の物体を取り囲み、物体を位置推定するフレームとを検出する。その際、フレームは、各々、個別の分類された物体を取り囲み、フレームのエッジは、各々、矩形の評価された画像のエッジに対して平行に延在する。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】Ｒｅｄｍｏｎ， Ｊｏｓｅｐｈ， ｅｔ ａｌ． “Ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ： Ｕｎｉｆｉｅｄ， ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ（２０１６）
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の課題は、特に、様々な要件に対する駐車スペース識別の適応可能性の改善および様々なシナリオの記述の改善を可能にする、改善された、駐車スペースを記述する周辺環境情報を検出する方法を示すことである。
【課題を解決するための手段】
【0008】
本発明によると、本課題は、冒頭部に記載の方法により解決され、本方法は、
－車両の周辺環境を記述する測定データを、少なくとも１つの周辺環境センサを用いて記録するステップであって、測定データが、車両の周辺環境における１つまたは複数の物体に割り当てられるステップと、
－測定データに基づいて、少なくとも１つの、車両の周辺環境を記述する周辺環境マップを作成するステップであって、測定データが、周辺環境マップにおいて空間的に車両に関して特定されるステップと、
－計算装置により少なくとも１つの周辺環境マップを評価するステップであって、周辺環境マップが畳み込みニューラルネットワークに供給され、ニューラルネットワークが、周辺環境マップに基づいて、車両の周辺環境に存在する駐車スペースを分類および位置推定し、ニューラルネットワークが、周辺環境マップに基づいて、駐車スペースの各々について、駐車スペースを画定する構造の少なくとも一部の少なくとも１つの構造記述を検出するステップと、
－分類および位置推定された駐車スペースに基づく周辺環境情報であって、少なくとも１つの構造記述の周辺環境情報を生成するステップとを備える。
－車両の周辺環境を記述する測定データを、少なくとも１つの周辺環境センサを用いて記録するステップであって、測定データが、車両の周辺環境における１つまたは複数の物体に割り当てられるステップと、
－測定データに基づいて、少なくとも１つの、車両の周辺環境を記述する周辺環境マップを作成するステップであって、測定データが、周辺環境マップにおいて空間的に車両に関して特定されるステップと、
－計算装置により少なくとも１つの周辺環境マップを評価するステップであって、周辺環境マップが畳み込みニューラルネットワークに供給され、ニューラルネットワークが、周辺環境マップに基づいて、車両の周辺環境に存在する駐車スペースを分類および位置推定し、ニューラルネットワークが、周辺環境マップに基づいて、駐車スペースの各々について、駐車スペースを画定する構造の少なくとも一部の少なくとも１つの構造記述を検出するステップと、
－分類および位置推定された駐車スペースに基づく周辺環境情報であって、少なくとも１つの構造記述の周辺環境情報を生成するステップとを備える。
【0009】
本発明に係る方法は、車両の１つまたは複数の周辺環境センサを用いて検出される測定データに基づく。ここで、測定データは車両の周辺環境における物体を記述する。物体とは、特に、他車、インフラ物体、建物または大建造物であってよく、車線区分線および／または駐車箇所マークであってよい。特に、測定データは、一般に、駐車スペースを画定することができる物体または物体の一部を記述する。測定データは、１つまたは複数の相異なるタイプの周辺環境センサを用いて記録されてよい。
【0010】
測定データ、例えば、車両との距離が割り当てられる測定点は、周辺環境センサのタイプに依存してよい。そのような測定点は、例えば、超音波センサ、レーダセンサまたはライダセンサを用いて生成されてよい。この場合、測定点は、例えば、物体表面の点との距離を特定するものであってよい。追加的に、測定点には方向も割り当てられてよく、これにより、検出場所の、つまり、物体表面の、車両に対する相対的位置が測定点から得られる。カメラとして構成されるセンサの場合、測定データは、物体として、例えば、車線区分線または駐車箇所マークおよび車両に対するそれらの距離または配置を記述してよい。
【0011】
特に、車両の現在の周辺環境を記述する、記録された測定データに基づいて、その次に、周辺環境マップが作成される。また、測定データは空間的に車両に関して、特に、車両が中心に位置する矩形のマップにおいて、特定される。その際、測定データは、例えば、車両の長さ方向および車両の幅方向に沿って延在する平面を構成する２次元マップに記入されてよい。周辺環境マップは、例えば、占有マップ（英語ではｏｃｃｕｐａｎｃｙ ｍａｐ）として生成されてよい。また、車両に対する相対的な測定点の配置を複製する他のマップタイプおよび／または表現タイプを使用することも可能である。周辺環境マップは、好ましくは、測定データが記入されるか、測定点が割り当てられる、空間グリッドを備える。このようにして、測定点により記述される車両の周辺環境を周辺環境マップに示すことができる。
【0012】
本発明は、そのような周辺環境マップは画像として理解されてよく、画像評価のために用いられる深層学習方法をそのような周辺環境マップにも適用可能であってよいという認識に基づいている。従って、本発明によると、周辺環境マップを評価するために畳み込みニューラルネットワーク（ＣＮＮ）が用いられる。畳み込みニューラルネットワークは、例えば、センサ装置の計算装置に格納され、このようにして、畳み込みニューラルネットワークに周辺環境マップを入力データとして供給することができる。代替的に、畳み込みニューラルネットワークは、センサ装置と通信するさらなる計算装置、例えば、中央制御装置に格納されてよく、このさらなる計算装置は、特に、センサ装置、つまり、センサ装置の計算装置とは別体で実装される。
【0013】
ニューラルネットワークを用いて、車両の周辺環境に存在する駐車スペース、つまり、車両の周辺環境に存在する空駐車スペースに関して、そして、駐車スペースを少なくとも部分的に画定する１つまたは複数の構造に関して、周辺環境マップの評価が行われる。また、ニューラルネットワークは、周辺環境マップに基づいて、車両の周辺環境における駐車スペースを分類および位置推定し、その際。駐車スペースの各々について、駐車スペースを画定する構造の少なくとも一部の少なくとも１つの構造記述を検出する。
【0014】
特に、評価のためには、駐車スペースの分類と共にその位置推定と、各駐車スペースについて少なくとも１つの構造記述の検出とを行う個別の畳み込みニューラルネットワークを１つのみ用いる。言い換えれば、ニューラルネットワークを用いて、ＹＯＬＯ法に依拠した画像評価方法を、周辺環境マップに対して実行する。畳み込みニューラルネットワークにより検出された出力データを評価するさらなるニューラルネットワークを畳み込みニューラルネットワークの下流に設けることも可能である。
【0015】
駐車スペースの分類は、特に、分類確率を周辺環境マップの相異なる部分に割り当てることにより行われてよい。言い換えれば、分類は、分類確率を、各々、周辺環境マップの相異なる部分領域に示すことにより行われてよく、分類確率は、どの確率でその部分が駐車スペースに関するものであるかを示す。
【0016】
冒頭部に記載の従来のＹＯＬＯ法と比較して、識別された駐車スペースの位置推定は、駐車スペースを取り囲む、常に画像エッジに沿って方向付けられた矩形のフレームを挿入することにより行われるのではなく、その代わりに、駐車スペースを各々少なくとも部分的に画定する１つまたは複数の構造が精確に検出される。ここで、構造は、各々、少なくとも１つの構造記述により数学的に記述される。
【0017】
構造記述は、特に、周辺環境情報が、有利には、駐車スペースを画定する構造、例えば、物体、マーク等の存在および相対的配置の特定を含むように、構造または構造の一部の延在線を車両に関して記述してよい。この場合、有利には、周辺環境マップに基づいて相異なるシナリオが識別され、周辺環境情報として使用可能にされてよい。
【0018】
ニューラルネットワークは、有利には、周辺環境マップに基づいて、相異なるタイプの構造を検出するように構成されてよく、これにより、駐車スペース情報として、ニューラルネットワークを用いて分類された駐車スペースの周囲の精確な記述を取得することができる。ニューラルネットワークにより分類された駐車スペースとその相対的配置に基づいて、その次に、周辺環境情報が形成される。その際、例えば、周辺環境情報は、分類確率が所定の閾値を超過する駐車スペースを少なくとも含み、これら駐車スペースに対して、各々、検出された少なくとも１つの構造記述も特定される。
【0019】
有利には、このようにして、相異なるタイプのセンサの測定データを考慮し評価することができる周辺環境情報が生成される。これにより、本方法を、フレキシブルに、相異なるタイプの車両においておよび／または、特に、そのセンサに関して相異なって構成される車両において用いることが可能になる。さらに、本方法を、特に、使用されるニューラルネットワークをこれに対応して訓練することにより、相異なるシナリオに適応させることが可能になるため、複数の相異なる環境においても、車両の周囲について高精度の記述を提供する周辺環境情報を生成することができる。有利には、新しいシナリオを訓練のためにニューラルネットワークに供給することにより、本方法を簡単に新しいシナリオに拡張することができる。
【0020】
各分類された駐車スペースについて検出される構造記述に基づいて、周辺環境情報を、フレキシブルに、多くのさらなる応用、例えば、運転支援システムに用いることができる。特に、周辺環境情報により全ての一般的な入庫駐車シナリオをカバーすることができるため、周辺環境情報に基づいて、入庫駐車プロセスのさらなる計画および／または実行を簡単に行うことができる。
【0021】
周辺環境情報は、特に、車両のアクチュエータおよび／または車両の表示装置を制御するために用いることができる。車両のアクチュエータとは、例えば、車両の幅方向および／または車両の長さ方向の操縦用に構成されるアクチュエータであってよい。少なくとも１つのアクチュエータは、例えば、車両の駆動モータおよび／または車両の操舵駆動であってよい。ここで、アクチュエータの制御は、例えば、周辺環境情報から生成された、車両の運転操作を記述する軌道情報に応じて行われてよい。
【0022】
周辺環境情報に応じて、例えば、車両の入庫駐車プロセスの自動制御または部分自動制御を、特に、車両の少なくとも１つのアクチュエータを制御することにより、行うことができる。入庫駐車プロセスの際、車両は、前方向および／または後方向に移動することができ、この移動と移動の間および／またはこの移動の最中に、設定されている舵角について舵角の変更を行うことができ、特に、相異なる方向に複数の移動または複数の部分動作も行うことができる。この場合、入庫駐車プロセスは、特に、車両が、少なくとも１つの、周辺環境情報により記述される駐車スペースに位置決めされるように行うことができる。
【0023】
アクチュエータに対して追加的または代替的に、車両の少なくとも１つの表示装置も制御することができ、これにより、例えば、車両の運転者に対して、車両の周辺環境において検出された駐車スペースを、例えば、これに対応する画像表現を用いて、認識させることができる。ここで、表示装置は、例えば、車両の内部空間に配置されるディスプレイ、ヘッドアップディスプレイ、仮想サイドミラー等であってよい。表示装置上の表現は、例えば、運転者が、複数の検出された駐車スペースのうちの１つを入庫駐車プロセスの目的地として選択することを可能にするように用いられてよい。追加的にまたは代替的に、車両を検出および／または選択された駐車スペースに移動させるための支援手段であって、運転者が車両をこの駐車スペースに移動させるように制御することを可能にする支援手段、例えば、仮想の線およびマークを、表示装置上に表示することができる。無人運転移動用に構成される車両の場合、表示装置は車両の外部に位置してもよく、例えば、携帯装置としておよび／または固定計算装置の一部として実装されてよい。
【0024】
車両とは、例えば、モータビークル、例えば、乗用車またはトラックであってよい。また、車両は、例えば、牽引車と１つまたは複数のトレーラとを備える連結車両であってもよい。代替的に、本方法は、さらなるタイプの車両においても用いられてよい。車両は、特に、少なくとも局所的に自由に、特に、自律的に移動可能な移動可能ロボットであってもよい。
【0025】
駐車スペースは、例えば、車両用駐車箇所であってよい。駐車スペースは、車両用充電ステーションでありかつ／または車両の一部、例えば、トレーラを切り離すのに好適であることも考えられる。また、駐車スペースは、車両と共に運ばれた積載物および／または車両により輸送された物体の積み卸しに用いられることも考えられる。この文脈において、周辺環境情報は、例えば、積載物または輸送物体の高精度の積み卸しを可能にする、車両の周辺環境におけるロジスティクス施設の構造を記述してよい。
【0026】
車両のセンサ装置は、１つまたは複数の周辺環境センサを備えてよい。ここで、周辺環境センサは、車両の直近傍の周囲を記録できるように車両に配置される。センサ装置は、車両の一部であってよい計算装置をさらに備える。代替的に、計算装置は、例えば、少なくとも１つの周辺環境センサと、特に、無線の通信リンクを介して通信する車両外部の計算装置であることも考えられる。車両外部の計算装置により検出された周辺環境情報は、通信リンクを介して車両に再び伝送されてもよく、これにより、上述の車両のアクチュエータおよび／または表示装置の制御を周辺環境情報に応じて行うことができる。
【0027】
少なくとも１つの周辺環境センサの測定データに基づく周辺環境マップの作成は、同様に、計算装置により行われてよい。代替的に、このステップは、車両のさらなる計算装置および／またはさらなる車両外部の計算装置によって行われてもよく、さらなる計算装置は周辺環境マップを計算装置に伝送する。
【0028】
周辺環境マップを評価するために用いられるニューラルネットワークは、計算装置または計算装置の記憶装置に格納される畳み込みニューラルネットワーク（ＣＮＮ）である。周辺環境の評価は、つまり、人工知能を用いてまたは深層学習方法を用いて行われる。畳み込みニューラルネットワークは、特に、周辺環境マップに基づいて車両の周辺環境において利用可能な駐車スペースを分類および位置推定し、例えば、回帰を用いて、各々、車両に対する駐車スペースの相対的配置を検出するように構成または訓練される。また、ニューラルネットワークは、周辺環境マップに基づいて、駐車スペースの各々について、駐車スペースを画定する構造の少なくとも一部の少なくとも１つの構造記述を検出するように構成または訓練される。このようにして、駐車スペース検出は、周辺環境マップに基づいて、機械学習により適応可能で改善可能なプロセスを用いて行われる。これにより、ニューラルネットワークをこれに対応して訓練することにより、駐車スペース検出をフレキシブルに相異なるシナリオに適応させることが可能になる。有利には、駐車スペース検出をこのように簡単に実施可能に適応できることが達成される。
【0029】
本発明の意味において、「機械学習」（ＭＬ）という概念は、訓練データの分析、この訓練データに基づく学習および評価対象の入力データの最初は未知である特徴量のその後の決定または予想のために、アルゴリズムを使用することを示す。この文脈において、管理された学習と管理されていない学習の両方を用いることができる。特に、ラベリング戦略または訓練データのラベリングがその分析には決定的に重要であることがある。
【0030】
本発明の意味において、「ディープラーニング」（ＤＬ）という概念は、特徴量を抽出および変換するために（またはパラメータを抽出および変換するために）、非線形の処理ユニット（多くの場合、人工ニューラルネットワーク）の複数の層からなるカスケードを備える。「人工ニューラルネットワーク」（ＡＮＮ）または「畳み込みニューラルネットワーク」（ＣＮＮ）という概念は、抽象的に生命体の神経系のように情報処理に関して互いに結合している人工ニューロンのネットワークを備える。ニューロンはノードとして、その結合はエッジとして図示される。ネットワークの最後の（ノード）層は出力層と称され、その前に位置する「見えない」（ノード）層は隠れ層と称される。
【0031】
そのような人工ニューラルネットワークは、１層（出力層）構造、２層（出力層および抽象化を改善するための隠れ層）構造または複数層（少なくとも１つの出力層および抽象化を改善するための複数の隠れ層）構造であってよい。また、人工ニューラルネットワークは、そのデータ伝送に関して、前方向（フィードフォワード）および／または後方向エッジ（再帰結合）を有するように構成されてよい（フィードバック；フィードバックネットワーク）。
【0032】
本発明の意味において、「コンピュータ実装方法」という概念は、データプロセッサに基づいて実装および実行することができるスケジュールを示す。データプロセッサ、例えば、コンピュータ、コンピュータネットワークまたは他のプログラマブル装置は、データをプログラマブル演算規則を用いて処理することができる。方法に関しては、例えば、１つの新規プログラム、複数の新規プログラム、アルゴリズム等により、本質的なプロパティを実装することができる。
【0033】
本発明によると、周辺環境マップがマップグリッドを含み、測定データがマップグリッドのセルに割り当てられ、各セルについて、セルに割り当てられた測定データの測定点の数、セルに割り当てられた測定データに基づいて記述される物体の高さ、セルに割り当てられた測定データに基づいて記述される物体のタイプおよび／またはセルに割り当てられた測定データの少なくとも１つの信号特性が特定されるように構成されてよい。
【0034】
例えば、送信された信号の反射エコーを評価するセンサタイプに由来する測定データの場合、信号特性として、各々、物体によりセルから反射されたエコーの数を保存してよい。このタイプのセンサは、例えば、超音波センサ、レーダセンサまたはライダセンサであってよい。ここで、エコーは、特に、各々、測定点を示してよい。また、エコーまたはそのようなセンサによる測定点に基づいて、エコーが反射された物体の高さに関する情報も決定することができることが考えられる。物体のこの高さを記述する高さ情報も、各測定点についてまたは複数の測定点を平均して、同様に、周辺環境マップのマップグリッドの個々のセルに割り当てられてよい。
【0035】
信号特定として、例えば、セルに割り当てられたエコーまたは測定点の強度を周辺環境マップに格納してよい。ここで、強度は、測定点の個々または平均について特定されてよい。センサタイプに応じて、測定データのさらなる特性、特に、物体タイプおよび／または検出品質についての推論を可能にする特性も周辺環境マップに記入してよい。
【0036】
また、各セルに関する測定データに基づいて記述される物体のタイプも、周辺環境マップに特定されてよく、個々のセルに割り当てられてもよい。物体のタイプは、測定データに基づいて、例えば、周辺環境カメラを介して得られた測定データに基づいて検出されてよい。このようにして、超音波センサ、レーダセンサまたはライダセンサを介しては記録できないか良好には記録できない物体、例えば、車線区分線または駐車箇所マークも周辺環境マップに記入することができる。
【0037】
この場合、これらの情報は、特に、位置がセンサ装置を介して検出された物体位置に対応するそのセルに割り当てられる。特に、車両の周辺環境における、物体によりブロックされていない空間の部分に対応する、周辺環境のセルには測定データを割り当てないようにすることができるため、これらは空きのままである。
【0038】
本発明によると、ニューラルネットワークが、周辺環境マップに、複数のセルを含む評価グリッドを重ね合わせるように構成され、各セルには少なくとも１つのフレームが割り当てられ、周辺環境情報において、フレームの各々について、駐車スペースとしての分類、測定データに基づいて記述され、フレームに割り当てられた駐車スペースの、フレームに対するオリエンテーションおよび／または駐車スペースを画定する構造の少なくとも１つの構造記述が特定されるように構成されてよい。
【0039】
ここで、ボックスとしても称されてよいフレームは、特に、矩形状を有する。評価グリッドの複数のセルのフレームは、各々、セルに関して同じように位置決めおよび／または方向付けされることが可能である。フレームは、各々、駐車スペースの可能性があるものについての最初の推定を示し、これら駐車スペースの可能性があるものには、ニューラルネットワークにより、各々、駐車スペースとしての分類に関する分類情報、例えば、分類確率が割り当てられてよい。これにより、同様に、周辺環境マップにおいて、駐車スペースの可能性があるものについての少なくとも基本的な位置推定が可能になる。駐車スペースとして分類されたフレームの各々について、１つまたは複数の構造記述を検出し、周辺環境情報においてフレームに割り当てることができる。特に、駐車スペースとして分類されたフレームの各々について、このようにして、各々駐車スペースに関連する構造を設定することができる。
【0040】
追加的に、少なくとも、駐車スペースとして分類されたフレームについて、さらに、駐車スペースの精確な位置決めおよび／またはオリエンテーションならびに／またはそれら各々の幅および長さを記述するさらなる特性を回帰を用いてニューラルネットワークにより検出し、同様に、周辺環境情報の一部として格納またはさらに処理することができる。さらに、例えば、実際の駐車スペースと一致させるために各々のフレームを回転する必要がある回転角度を設定してよい。追加的または代替的に、さらなる、幾何学的関係を記述するパラメータ、例えば、フレームと駐車スペースとの間のスケール因子等も設定してよい。
【0041】
本発明の好ましい実施形態において、各セルに複数の相異なって位置決めされかつ／または相異なってオリエンテーションされたフレームが割り当てられるように評価グリッドが用いられるように構成されてよい。その際、フレームは、例えば、２つの互いに対して９０°回転配置された、矩形のフレームであってよい。これにより、車両に対する駐車スペースの相対的方向の検出が容易になるのは、周辺環境マップにより記述される駐車スペースとの大きな一致または高い分類確率を既に有するフレームに最初から基づくことができるからである。
【0042】
評価グリッドの各セルが３つ以上のフレームを含むことおよび／または各セルが別様に互いに対してオリエンテーションされることも可能である。特に、評価グリッドは、長手エッジが車両の長さ方向に延在する第１矩形フレームおよび２つの第２フレームを有してよく、第２フレームの長手エッジは、各々、車両の幅方向に延在する。その際、２つのフレームは、各々、車両の長さ方向に偏位してセルに配置されてよい。この場合、有利には、車両の長さ方向と平行に延在するエッジおよび車両の幅方向と平行に延在するエッジをセルが有するようなグリッドが用いられてよい。
【0043】
評価グリッドが含むフレームの数が多いほど、構造記述により記述される構造を用いて配置および／または延在線を、より精確に検出またはより精確に周辺環境情報に複製することができる。さらに、車両に対する駐車スペースの相対的配置の位置推定および検出の精確度も改善することができる。
【0044】
本発明の好ましい実施形態において、構造記述として少なくとも１つの輪郭線が用いられ、輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されるように構成されてよい。
【0045】
構造または構造の一部を記述する輪郭線を使用することにより、構造の、駐車スペースを画定する側面を高い精確度で示すことが可能になり、これにより、例えば、運転操作または軌道計画を周辺環境情報に基づいて効率的かつ高精度で実行することができる。ここで、複数の線分および／または２つまたは３つ以上の点からなるポリラインとしての輪郭線の記述は、構造記述をコンパクトに複製することを可能にし、このようにして同様にコンパクトな周辺環境情報が可能になることにより、有利には、周辺環境情報の処理のためのメモリ要件および／または演算要件に好影響を及ぼす。
【0046】
本発明によると、構造記述は、駐車スペースを画定する物体の、少なくとも１つの、車両に対向するエッジ、駐車スペースを画定する物体の、少なくとも１つの、駐車スペースを長さ方向および／または幅方向において画定するエッジ、駐車スペースの進入口を画定する物体の少なくとも１つのエッジ、進入口に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述するように構成されてよい。
【0047】
車両に対向するエッジを含み駐車スペースを画定する物体は、例えば、駐車場の隣に位置するさらなる車両であってよい。さらに、物体は、建造物、インフラの構成要素等であってもよい。そのような物体は、駐車スペースを長さ方向および／または幅方向において画定する少なくとも１つのさらなるエッジを有してもよい。駐車スペースの進入口を画定する物体は、例えば、駐車スペース内への入庫の際に回避して運転する必要がある柱、大きい石等であってもよい。
【0048】
構造記述により記述される構造は、駐車スペースの進入口に対向して位置する物体であってもよい。そのような物体とは、例えば、縁石、壁またはさらなる車両であってよい。さらに、構造記述により、駐車箇所の個々のエッジおよび／または駐車箇所の輪郭を示す駐車箇所マークも記述されてよい。
【0049】
構造記述により記述される構造は、各々、物理的に駐車スペースを画定するか、例えば、マーク、設けられている駐車箇所を確定するかの何れかである。周辺環境情報の一部としてこの構造を記述することにより、上記構造の任意の組み合わせから得られる相異なるシナリオについて、各々、例えば、構造間の駐車スペース内への車両の移動を可能にする適切な軌道を検出ことが可能になる。
【0050】
高さ情報が、例えば、測定データの一部として存在する場合および／または高さ情報がニューラルネットワークにより周辺環境マップから検出可能である場合、物体についての構造記述は高さ情報も含むことが可能である。例えば、駐車スペースの進入口に対向して位置する構造について、例えば、駐車スペースが、まず、１つまたは複数の縁石により画定され、縁石に続いて、進入口から大きく離間して壁が位置する場合には、複数の縁石および／または複数の壁も、各々、構造記述により記述されてよい。そのような場合、例えば、車両は、壁に衝突せずに車両が部分的に縁石を越える（いわゆるブートオーバーシナリオ）ように入庫駐車されてよい。追加的または代替的に、車両により縁石を乗り越えることが可能な高さを縁石が有している場合には、部分的に縁石上に駐車してよい。
【0051】
進入口を画定する構造を考慮に入れることにより、例えば、利用可能な駐車箇所が横方向において柱等により画定される、地下駐車場等のシナリオを記述することができる。有利には、周辺環境情報により、このようにして、相異なる駐車シナリオを検出し、周辺環境情報の一部として示すことができる。この文脈において、有利には、ニューラルネットワークを使用することにより、多数の相異なるシナリオを効率的かつ正確に取り扱うことが可能になる。
【0052】
本発明によると、周辺環境情報は、分類された駐車スペースの少なくとも一部に関して、駐車スペースにおいて利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含むように構成されてよい。
【0053】
ここで、駐車領域情報は、識別された駐車スペース内においてどの駐車領域が利用可能であるか特定してよい。駐車領域情報は、例えば、構造の一部により車両用の駐車スペース内の駐車領域が縮小される可能性があることを考慮に入れてよい。さらに、例えば、上述のような縁石の乗り越えにより、または車両の一部が縁石上にあるような駐車により、駐車スペースを画定する構造間のスペースよりも大きい駐車領域が生じてもよい。その際、駐車領域情報は、例えば、駐車スペースの位置推定として、回帰を用いてニューラルネットワークにより検出されてよい。
【0054】
駐車スペースタイプ分類は、分類された駐車スペースに関して、例えば、並列駐車スペースまたは縦列駐車スペースであるかを特定してよい。また、例えば、各分類された駐車スペースについて、周辺環境情報には並列駐車スペースとしての分類および縦列駐車スペースとしての分類が含まれてよく、各々の分類は、例えば、分類確率として特定されてよい。この場合、縦列駐車スペースは、車両が位置する道路の走行方向に沿って駐車可能な駐車スペースである。また、並列駐車スペースは、車両が位置する道路の走行方向を横切って駐車可能な駐車スペースである。並列駐車スペースと縦列駐車スペースとの間の区別は、例えば、評価グリッドにおいて２つの矩形で互いに対して９０°回転配置されたフレームを供給することにより特に簡単に行われてよい。
【0055】
追加的に、相異なるタイプの並列駐車スペースは相異なって分類されてもよい。例えば、車両により前方向に運転可能な並列駐車スペースおよび車両により後方向に運転可能な並列駐車スペースは、各々、独立した分類を有してよい。どの方向に並列駐車スペースは車両により運転可能であるかは、同様にニューラルネットワークにより検出可能な、車両に対する駐車スペースのオリエンテーションを介しても導出することができる。このようにして、周辺環境情報において分類を特定することができ、この分類により、駐車移動の実行またはそのような移動用の軌道を検出するための周辺環境情報のその後の使用が大幅に軽減される。
【0056】
畳み込みニューラルネットワークにより検出された周辺環境情報は、下流のステップにおいて、位置情報を補充されてよい。位置情報により、駐車スペースおよび／または駐車スペースにおいて基本的に利用可能な駐車領域は、一般に、車両が入庫駐車後に占める領域よりも大きいことを考慮に入れることができる。従って、目標位置は、特に、駐車スペースの完全に内側および／または駐車領域の内側に位置してよく、この場合、例えば、駐車スペースの縁またはエッジに対して所定の安全距離を維持してよい。目標位置は、例えば、同様に、矩形により記述されてよく、この矩形は、駐車スペースまたは駐車領域よりも小さいエッジ長さを有しおよび／または駐車スペースもしくは駐車領域に対してある角度分だけ回転されている。
【0057】
本発明の好ましい実施形態において、少なくとも１つの周辺環境センサとして、複数の超音波センサを備える超音波センサ装置、少なくとも１つのライダセンサ、少なくとも１つのレーダセンサおよび／または少なくとも１つの周辺環境カメラを備えるセンサ装置が使用されるように構成されてよい。センサ装置は、特に、上記センサタイプのうちの複数および／または上記センサタイプの組み合わせを備えてよい。様々なセンサによる各々の測定データは、特に、同じ周辺環境マップに記入または統合されてよい。
【0058】
さらに、本発明は、畳み込みニューラルネットワークを訓練する方法において、
－訓練測定データに基づく複数の、各々、車両の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、訓練測定データが訓練周辺環境マップにおいて空間的に車両に関して特定されるステップと、
－車両の周辺環境における少なくとも１つの駐車スペースを記述するグラウンドトゥルースを、訓練周辺環境マップの少なくとも一部に割り当てるステップであって、グラウンドトゥルースは、訓練周辺環境マップの少なくとも１つのセクションを駐車スペースとして分類および位置推定し、駐車スペースのグラウンドトゥルースは、駐車スペースを画定する構造の少なくとも一部の少なくとも１つの構造記述を特定するステップと、
－訓練周辺環境マップに、各々、複数のセルを含む評価グリッドを重ね合わせるステップであって、評価グリッドの各セルには少なくとも１つのフレームが割り当てられ、各フレームには少なくとも１つの構造記述が割り当てられるステップと、
－少なくとも１つの、グラウンドトゥルースにより記述される駐車スペースに関して、最大オーバーラップを有する各フレームを検出するステップと、
－最大オーバーラップを有するフレームの少なくとも１つの構造記述と、グラウンドトゥルースにより記述される構造記述との間の一致に関してニューラルネットワークを最適化するステップとを備える方法に関する。
－訓練測定データに基づく複数の、各々、車両の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、訓練測定データが訓練周辺環境マップにおいて空間的に車両に関して特定されるステップと、
－車両の周辺環境における少なくとも１つの駐車スペースを記述するグラウンドトゥルースを、訓練周辺環境マップの少なくとも一部に割り当てるステップであって、グラウンドトゥルースは、訓練周辺環境マップの少なくとも１つのセクションを駐車スペースとして分類および位置推定し、駐車スペースのグラウンドトゥルースは、駐車スペースを画定する構造の少なくとも一部の少なくとも１つの構造記述を特定するステップと、
－訓練周辺環境マップに、各々、複数のセルを含む評価グリッドを重ね合わせるステップであって、評価グリッドの各セルには少なくとも１つのフレームが割り当てられ、各フレームには少なくとも１つの構造記述が割り当てられるステップと、
－少なくとも１つの、グラウンドトゥルースにより記述される駐車スペースに関して、最大オーバーラップを有する各フレームを検出するステップと、
－最大オーバーラップを有するフレームの少なくとも１つの構造記述と、グラウンドトゥルースにより記述される構造記述との間の一致に関してニューラルネットワークを最適化するステップとを備える方法に関する。
【0059】
本発明に係る畳み込みニューラルネットワークを訓練する方法は、特に、本発明に係る少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法において使用されるニューラルネットワークを訓練するために用いることができる。訓練により、ニューラルネットワークの内部パラメータを調整することができ、その結果、ニューラルネットワークを、本発明に係る少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法により測定データに基づいて作成された周辺環境マップを評価するように構成または訓練することができる。
【0060】
訓練測定データに基づく訓練周辺環境マップの作成は、特に、上述した測定データに基づく周辺環境マップの作成と同様に行われる。訓練測定データは、訓練周辺環境マップにおいて、各々、車両の位置に関して特定される。訓練測定データは、例えば、車両の、少なくとも１つの周辺環境センサを備えるセンサ装置を用いて、早期の時点において検出されているものであってよく、その後、訓練のために使用されてよい。代替的に、別様に作成および／または算出された訓練測定データも用いられてよい。
【0061】
訓練周辺環境マップには、その後、各々、グラウンドトゥルースが割り当てられる。その際、訓練周辺環境マップの少なくとも一部について、グラウンドトゥルースは周辺環境マップにおける１つまたは複数の駐車スペースを記述する。追加的に、この場合、グラウンドトゥルースは、駐車スペースについて、各々、少なくとも１つの構造記述も特定し、この構造記述は、グラウンドトゥルースにより記述される駐車スペースを少なくとも部分的に画定する構造を記述するものである。上記訓練周辺環境マップの少なくとも一部に含まれていないさらなる訓練周辺環境マップについては、駐車スペースを記述しないグラウンドトゥルースを用いることが可能である。これにより、例えば、駐車スペース識別の偽陽性率を改善することが可能になる。
【0062】
少なくとも１つの駐車スペースを記述するグラウンドトゥルースは、駐車スペースのさらなる、ニューラルネットワークにより検出されるべきパラメータも含んでよく、例えば、駐車スペースの位置推定の場所および／または訓練周辺環境マップにおいて記述される車両に対する、駐車スペースの相対的オリエンテーションを含んでよい。この場合、グラウンドトゥルースは結果を示し、この結果に基づいてニューラルネットワークの評価は訓練の際に最適化される。
【0063】
その次に、訓練周辺環境マップは、訓練中に、各々、複数のセルを含む評価グリッドと重ね合わせられ、この評価グリッドは、ニューラルネットワークの訓練に関して訓練評価グリッドとも称されてよい。その際、評価グリッドのセルには、各々、少なくとも１つのフレームまたは少なくとも１つのボックスが割り当てられる。フレームは、駐車スペースの可能性があるものについての最初の推定を示す。
【0064】
その後、評価グリッド内の複数のフレームから、各々、グラウンドトゥルースにより記述される駐車スペースとの最大オーバーラップを有するフレームが選択される。その際、特に、グラウンドトゥルースにおいて記述される各駐車スペースについて、各々、最大オーバーラップを有するフレームが決定される。オーバーラップは、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）とも称されてよく、どの程度評価グリッド内の各フレームがグラウンドトゥルースにより記述される駐車スペースのうちの１つとオーバーラップしているかを特定するものである。
【0065】
グラウンドトゥルースにより記述される駐車スペースのうちの１つまたは複数との最大オーバーラップを有する各フレームを検出した後、最大オーバーラップを有するフレームの少なくとも１つの構造記述およびグラウンドトゥルースにより記述される構造記述に関して、ニューラルネットワークの最適化が行われる。最大オーバーラップを有していないフレームの構造記述は、各々、破棄されるか空のままであってよいのは、フレームには、各々、駐車スペースが割り当てられておらず、従って、構造記述はグラウンドトゥルースにも存在しないからである。
【0066】
また、ここで、ニューラルネットワークの最適化を、最大オーバーラップを有する各フレームと、グラウンドトゥルースにより記述され、フレームに割り当てられた駐車スペースとの間の相対的配置における一致に関して行なってよい。また、例えば、グラウンドトゥルースは、グラウンドトゥルースにより特定された駐車スペースのオリエンテーションも含んでよく、これにより、従って、フレームのうちの１つの、ニューラルネットワークにより検出されたオリエンテーションの最適化も行うことができる。このようにして、特に、本発明に係る少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法において使用するために、ニューラルネットワークを効率的に、駐車スペースおよび周辺環境マップにおける駐車スペースを各々画定する周囲の識別について、訓練することができる。
【0067】
本発明によると、各セルには複数の相異なって位置決めされかつ／または相異なってオリエンテーションされたフレームが割り当てられること、および／またはオーバーラップを検出するためにどのセルにおいて、各々、少なくとも１つの、グラウンドトゥルースにより記述される駐車スペースの中心点が位置するかを決定することであって、グラウンドトゥルースにより記述される駐車スペースとの重なりが最大であるセルのフレームを、最大オーバーラップを有するフレームとして選択するように構成されてよい。まず、評価グリッドのどのセルにグラウンドトゥルースにより記述される駐車スペースの中心点が位置するかが検出されると、各々オーバーラップが検出されるフレーム数を減らすことができるため、これにより、必要とされる演算ステップが少なくなり、このようにして、効率的な訓練が可能である。
【0068】
本発明の好ましい実施形態において、各セルに複数の相異なって位置決めされかつ／または相異なってオリエンテーションされたフレームが割り当てられるように評価グリッドが用いられるようにおよび／または駐車スペースの分類が並列駐車スペースとしての分類と縦列駐車スペースとしての分類を含むように構成されてよい。
【0069】
少なくとも１つの駐車スペースを記述する周辺環境情報の検出と同様に、訓練の際にも、評価グリッドの１つのセル当たりに複数のフレームを用いることができる。これらフレームは、各々、特に、矩形であってよく、相異なる位置および／または評価グリッドの矩形のセルのエッジに対して相異なるオリエンテーションで配置されてよい。これらフレームは、例えば、並列駐車スペースと縦列駐車スペースとの間の区別を行い、このようにしてニューラルネットワークを、これに対応する分類または区別に関しても訓練するために用いることができる。
【0070】
本発明によると、グラウンドトゥルースの構造記述として少なくとも１つの輪郭線が用いられ、輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されること、および／またはグラウンドトゥルースの構造記述は、駐車スペースを画定する物体の、少なくとも１つの、車両に対向するエッジ、駐車スペースを画定する物体の、少なくとも１つの、駐車スペースを長さ方向および／または幅方向において画定するエッジ、駐車スペースの進入口を画定する物体の少なくとも１つのエッジ、進入口に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述するように構成されてよい。このようにして、輪郭線の形態を有する好ましい構造記述に関してもニューラルネットワークの訓練を行うことができ、周辺環境情報のその後の使用、特に、駐車プロセスのために、周辺環境情報において関連する構造記述を正確に示すことを達成することができる。
【0071】
本発明の好ましい実施形態において、グラウンドトゥルースは、分類された駐車スペースの少なくとも一部に関して、駐車スペースにおいて利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含み、ニューラルネットワークの最適化が、駐車領域情報および／または駐車スペース分類に関しても行われるように構成されてよい。このようにして、有利には、周辺環境マップに基づいて駐車領域情報および／または駐車スペース分類を周辺環境情報の一部として検出するようにニューラルネットワークを構成することができる。
【0072】
また、本発明は、少なくとも１つの周辺環境センサおよび計算装置を備えるセンサ装置であって、計算装置が、本発明に係る少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法を実行するように構成されるセンサ装置に関する。
【0073】
さらに、本発明は、少なくとも１つの本発明に係るセンサ装置を備える車両に関する。
【0074】
また、本発明は、計算装置に対して本発明に係る少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法を実行させる命令を備えるコンピュータプログラム製品に関する。
【0075】
さらに、本発明は、本発明に係るコンピュータプログラム製品を備えるコンピュータ可読記憶媒体に関する。コンピュータ可読記憶媒体とは、例えば、非一時的な記録媒体、例えば、ＣＤ、ＤＶＤ、フロッピーディスク、フラッシュメモリ等であってよい。
【0076】
本発明に係る少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法について上記した有利な点および構成の全ては、本発明に係る畳み込みニューラルネットワークを訓練する方法にも有効であり、その逆も然りである。
【0077】
また、本発明に係る方法のうちの１つに関して記載された有利な点および構成の全ては、本発明に係るセンサ装置、本発明に係る車両、本発明に係るコンピュータプログラム製品および本発明に係るコンピュータ可読記憶媒体にも有効であり、その逆も然りである。
【0078】
本発明のさらなる有利な点および詳細については、以下に説明する実施形態例と図面から明らかになる。これらは概略図であり、以下の通りである。
【図面の簡単な説明】
【0079】
【発明を実施するための形態】
【0080】
図１には、本発明に係る車両１の実施形態例が示されている。車両１とは、例えば、モータビークル、例えば、乗用車またはトラックであってよい。また、車両１は、例えば、牽引車と１つまたは複数のトレーラとを備える連結車両であってもよい。代替的に、本方法は、さらなるタイプの車両においても用いられてよい。
【0081】
車両１はセンサ装置２を備え、このセンサ装置２は複数の周辺環境センサ３および計算装置４を含む。センサ装置２の周辺環境センサ３は、例えば、超音波センサとして構成される。追加的または代替的に、周辺環境センサ３の少なくとも一部は、周辺環境カメラとして、レーダセンサとしておよび／またはライダセンサとしても構成されてよい。
【0082】
本実施形態例において、センサ装置２の計算装置４は車両１の一部として示されている。計算装置４は周辺環境センサ３のうちの１つに統合されてよく、または車両外部の計算装置であってよい。この場合、車両外部の計算装置は、特に、無線の通信リンクを介して、周辺環境センサ３および／または車両１のさらなる装置と通信できる。
【0083】
周辺環境センサ３を用いて、車両１の周辺環境に基づく測定データを検出できる。測定データは、車両１の周辺環境に存在する物体を記述する。物体は、例えば、他の交通参加者、例えば、車両等であってよい。また、物体として、移動しない物体、例えば、インフラ物体、建物の一部等が検出されてもよい。
【0084】
センサ装置２の計算装置４は、車両１の周辺環境における少なくとも１つの駐車スペースを記述する周辺環境情報を検出する方法を実行するように構成される。周辺環境に応じて、例えば、車両１の自動制御または部分自動制御を、特に、車両１の少なくとも１つのアクチュエータ（不図示）を制御することにより、行うことができる。入庫駐車プロセスの際、車両１は、前方向および／または後方向に移動することができ、操舵動作を行うことができ、特に、複数の部分動作または複数の移動も行うことができる。この場合、入庫駐車プロセスは、特に、車両が、少なくとも１つの、周辺環境情報により記述される駐車スペースに位置決めされるように行うことができる。
【0085】
アクチュエータに対して追加的または代替的に、車両１の表示装置（不図示）を動作させることができ、これにより、例えば、車両１の運転者に対して、車両の周辺環境において検出された駐車スペースを、例えば、これに対応する画像表現を用いて、認識させることができる。ここで、表示装置は、例えば、車両１の内部空間に配置されるディスプレイ、ヘッドアップディスプレイ、仮想サイドミラー等であってよい。
【0086】
表示装置上の表現は、例えば、運転者が、複数の検出された駐車スペースのうちの１つを入庫駐車プロセスの目的地として選択することを可能にするように用いられてよい。追加的にまたは代替的に、車両１を検出および／または選択された駐車スペースに移動させるための支援手段であって、運転者が車両１をこの駐車スペースに移動させることを可能にする支援手段を表示装置上に表示することができる。
【0087】
計算装置４を用いて周辺環境情報を検出する場合またはコンピュータ実装方法において周辺環境情報を検出する場合、まず、車両１の周辺環境または周囲を記述する測定データを、１つまたは複数の周辺環境センサ３を用いて検出し、この測定データは、車両１の周辺環境における１つまたは複数の物体に割り当てられる。その次に、測定データに基づいて、車両１の周辺環境を記述する少なくとも１つの周辺環境マップ５を作成し、測定データは、周辺環境マップ５において空間的に車両１に関して特定される。
【0088】
図２には、そのような周辺環境マップ５の実施形態例が示されている。周辺環境マップ５は矩形のマップであり、このマップにおいて車両１は中央に配置される。周辺環境マップ５において測定データは、空間的に車両１に関して特定される。測定データは測定点６として存在しているように示され、測定点６は、例えば、超音波センサとして構成される周辺環境センサ３を用いて検出されてよい。ここで、測定データの測定点６は、各々、車両１の周辺環境における物体により反射された信号エコーを記述する。
【0089】
個々の測定点６は、各々、車両１に関する距離測定を含み、距離測定は、例えば、伝搬時間測定に基づいて行ってよい。追加的に、各測定点６について方向も検出してよく、これにより、測定点６に割り当てられた反射位置、つまり、物体を、空間的に車両１に関して設定することができる。
【0090】
周辺環境マップ５はマップグリッド７をさらに備え、測定データはマップグリッド７の個々のセル８に割り当てられる。セル８の数が大きいほど、周辺環境情報の空間分解能は良好である。その一方、セル８の数が増大すると、周辺環境マップ５を処理するために大きなメモリも必要になる。
【0091】
セル８の各々について、例えば、そのセル８に割り当てられた測定データの測定点６の数を検出し、周辺環境マップ５に保存してよい。また、個々のセル８に対して、各々、セル８に割り当てられた測定データに基づいて記述される物体の高さ、そのような物体のタイプおよび／またはセルに割り当てられた測定データの少なくとも１つのさらなる信号特性も特定してよい。
【0092】
信号特性とは、例えば、個々の測定点６の強度に関するものであってよい。この場合、例えば、信号特性、例えば、１つのセル８の全ての測定点について検出された、強度を特定することができる。これに対応して、このことは、物体の高さおよび／または物体のタイプに関する情報についても行われてよい。
【0093】
超音波センサとして構成される周辺環境センサ２による測定点６に加えて、レーダセンサとしておよび／またはライダセンサとして構成される周辺環境センサ３による測定点６も、これに対応して、周辺環境マップ５に入力されてよい。また、他のタイプのセンサを介して、例えば、周辺環境カメラとして構成される周辺環境センサ３を介して検出された物体を周辺環境マップ５に入力してもよい。このようにして、物体、例えば、車線区分線、駐車箇所マーク等を周辺環境マップ５に入力してもよい。
【0094】
その次に、計算装置４により少なくとも１つの周辺環境マップ５を評価し、周辺環境マップ５が、計算装置４により実装される畳み込みニューラルネットワークに供給され、ニューラルネットワークが、周辺環境マップ５に基づいて、車両１の周辺環境に存在する駐車スペース９を分類および位置推定し、ニューラルネットワークが、周辺環境マップ５に基づいて、駐車スペース９の各々について、駐車スペース９を画定する構造の少なくとも一部の少なくとも１つの構造記述を検出する。分類された駐車スペース９および少なくとも１つの構造記述に基づいて、計算装置４またはさらなる計算装置（不図示）は、その次に、車両１の周辺環境における少なくとも１つの駐車スペース９を記述する周辺環境情報を生成する。その際、有利には、周辺環境マップ５、例えば、２次元画像データをニューラルネットワークを用いて処理することができる。
【0095】
ニューラルネットワークが、周辺環境マップ５に、複数のセル１０を含む評価グリッド１１を重ね合わせるように構成され、各セル１０には少なくとも１つのフレーム１２が割り当てられる。評価グリッド１１を重ね合わせた周辺環境マップ５を図３に示す。ここでは、周辺環境マップ５のマップグリッド７は、明瞭性に鑑みて図示されていない。
【0096】
本例において、各セル１０は３つの各々矩形のフレーム１２，１３，１４を含む。フレーム１２，１３はフレーム１４に対して９０°回転配置されているため、フレーム１２，１３は、セル１０に関しても、フレーム１４とは異なってオリエンテーションされている。本例において、フレーム１４は車両１用の縦列駐車スペースを検出することを可能にする一方、フレーム１２，１３は、各々、並列駐車スペースの検出を可能にする。ここで、３つのフレーム１２，１３，１４を用いる際、一般に、縦列駐車スペースの長さに２つの並列駐車スペースが位置を占めることが可能であることが考慮される。
【0097】
セル１０に、各々、さらなるフレーム（不図示）を割り当てることもでき、さらなるフレームは、例えば、フレーム１２，１３，１４のうちの１つと同じオリエンテーションを有する一方、セル１０の辺のうちの１つに沿ってｘ方向および／またはｙ方向に偏位して配置される。
【0098】
周辺環境情報において、評価グリッド１１の全てのセル１０のフレーム１２，１３，１４の各々について、駐車スペースとしての分類が特定される。特に、駐車スペース９として分類されたフレーム１２，１３，１４についてのみ、追加的に、駐車スペース９を画定する構造の少なくとも一部の少なくとも１つの特徴記述も特定される。追加的に、駐車スペースとして分類された各フレーム１２，１３，１４について、測定データに基づいて記述され、フレーム１２，１３，１４に割り当てられた駐車スペースの、フレーム１２，１３，１４に対するオリエンテーションが特定されてよい。このオリエンテーションは、ニューラルネットワークにより、例えば、回帰を用いて検出することができる。
【0099】
図４において、駐車スペース９が、駐車スペース９に割り当てられた複数の構造記述１５～１８と共に図示されている。構造記述１５～１８は、各々、相異なる、駐車スペース９を部分的に画定する構造を記述するものであり、構造とは、物体およびマークに関するものである。ニューラルネットワークは、周辺環境マップ５に基づいて構造記述１５～１８を検出する。
【0100】
車両１がその周辺環境センサ３を用いて測定データを記録する走査方向１９から出発して、例えば、各々、測定データ蓄積が第１領域２０および第２領域２１に生じる。この場合、この測定データは、各々、駐車スペース９を横方向において画定する物体に起因して生じている。さらに、第３領域２２においても測定データが存在してよく、この測定データは、駐車スペース９を進入口２３との対向側２４において画定する１つまたは複数の物体に起因する。
【0101】
構造記述１５～１８として輪郭線が用いられ、輪郭線は、各々、１つまたは複数の線分を含みおよび／または２つまたは３つ以上の点により形成される。ここで、構造記述１５ａ，１５ｂは、各々、例えば、駐車スペースを画定する物体の、車両１に対向するエッジ、物体の、駐車スペースを幅方向において画定するエッジ、物体の、駐車スペース９の進入口２３を画定するエッジを記述する。この場合、物体のこれらエッジの各々は、線分により記述される。従って、輪郭線はポリラインであり、ポリラインは、複数の互いに接続する線分を含んでよい。
【0102】
少なくとも部分的に構造記述１５ａ，１５ｂにより記述される物体とは、各々、例えば、他車であってよい。構造記述１５ａ，１５ｂの一部として検出される相異なる線分を用いて、周辺環境情報に基づいて、駐車スペース９内へと高精度で入庫することができるのは、軌道計画に関して、物体の外側エッジの延在線が、特に、進入口２３の領域において、精確に記述されているからである。
【0103】
構造記述１６ａ，１６ｂは、各々、設けられている駐車箇所を示す、駐車箇所マークを記述する。構造記述１６ａ，１６ｂは、例えば、ニューラルネットワークを用いて、カメラとして構成される、車両１の周辺環境センサ３を用いて記録された測定データに基づいて検出されてよい。
【0104】
構造記述１７ａ，１７ｂにより、駐車スペース９の進入口２３を横方向において画定する構造について各々記述される。さらに、構造記述１７ａ，１７ｂは、車両１に対向する、構造のエッジ、および駐車スペース９の長さ方向に延在する、構造のさらなるエッジの記述を各々含む。構造記述１７ａ，１７ｂにより記述される構造とは、例えば、柱、支柱または大きい石であってよい。
【0105】
これに対応する構造記述１７ｃ，１７ｄを、駐車スペース９の進入口との対向側２４に設けられている構造に関しても検出することができる。
【0106】
進入口２３との対向側２４において、構造記述１８ａ，１８ｂ，１８ｃにより、進入口２３に対向して駐車スペース９を画定する構造について各々記述される。そのような構造は、例えば、縁石、外壁、内壁等であってよい。ここで、構造記述１８ａ，１８ｂ，１８ｃには周辺環境情報において、各々、高さ情報も割り当ててよく、これにより、複数の連続して位置する物体を高さの違いを用いて区別することができる。これにより、周辺環境情報に基づいて、例えば、車両フロントにより、そのような物体を部分的に越えることおよび／またはそのような物体を少なくとも部分的に乗り越えることを計画に入れることが可能になる。
【0107】
上記構造記述１５～１８により、ニューラルネットワークを用いて、分類された駐車スペース９毎に、一部分のみを検出することもできる。また、さらなる構造記述を補完することもできる。構造記述は、有利には、複数の相異なるシナリオについて、駐車スペース９の周辺環境における、駐車動作の計画に関連する構造、つまり、駐車スペース９内への車両１の移動に関連する構造をカバーする。
【0108】
ここで、各分類された駐車スペース９について各構造記述が利用可能である必要はない。検出されたシナリオに応じて、少数の物体および／またはマークが利用可能であってよい。例えば、全てのまたは少なくとも一部の上記構造の利用可能性がニューラルネットワークによりチェックされてよく、これに対応する構造の存在と、従って、構造を記述する構造記述の妥当性を、検出確率および／または検出確率から導出された値に基づいて各々特定する。
【0109】
また、ニューラルネットワークは、本実施形態例においては概略的にのみ示されている、車両１の駐車用に利用可能な領域を特定する駐車領域情報２５を含んでよい。この駐車領域情報２５は、ニューラルネットワークにより生成され、各フレーム１２，１３，１４に割り当てられたオリエンテーションおよび／またはニューラルネットワークにより生成され、各フレーム１２，１３，１４に割り当てられたスケーリングに基づいて検出されてよい。図４に例示されている領域は、例えば、構造記述１７ａ～１７ｄにより記述される物体が利用可能ではない場合に用いることができる。
【0110】
構造記述１５～１８は、例えば、表１に示されるデータ構造に基づいて周辺環境情報において複製されてよい。
【0111】
【表1】
【0112】
ここで、行「ＰａｒｋｉｎｇＢｏｘ（ＰＢ）」は、駐車領域情報２５の頂点（ｘ１，ｙ１）；（ｘ２，ｙ２）等を示す。従って、構造記述について、行「ＦｉｒｓｔＯｂｊｅｃｔ（ＦＯ）」および行「ＳｅｃｏｎｄＯｂｊｅｃｔ（ＳＯ）」は、各々、輪郭線として構成される構造記述１５ａ，１５ｂの定義された点を複製する。行「ＦｉｒｓｔＰａｒｋＭａｒｋｅｒ（ＦＰＭ）」および行「ＳｅｃｏｎｄＰａｒｋＭａｒｋｅｒ（ＳＰＭ）」は、従って、構造記述１６ａ，１６ｂの駐車箇所マークの端点の座標を含む。
【0113】
例えば、行「ＣｕｒｂＯｂｊｅｃｔ１（ＣＯ１）」および行「ＣｕｒｂＯｂｊｅｃｔ２（ＣＯ２）」に各々示されているのは、構造記述１８ａ，１８ｂ，１８ｃのうちの２つの頂点である。行「ＦｉｒｓｔＯｂｊｅｃｔＢｏｕｌｄｅｒｓ（ＦＯＢ）」および行「ＳｅｃｏｎｄＯｂｊｅｃｔＢｏｕｌｄｅｒｓ（ＳＯＢ）」には、例えば、構造記述１７ａ～１７ｄのうちの２つが示されている。さらなる構造記述１７ａ～１７ｄも周辺環境情報において示されてよく、または構造記述１７ａ～１７ｄのうちの２つのみが用いられてもよいが、それは、駐車スペースは、一般に、２つの柱等によってのみ画定され、行「ＦｉｒｓｔＯｂｊｅｃｔＢｏｕｌｄｅｒｓ（ＦＯＢ）」および行「ＳｅｃｏｎｄＯｂｊｅｃｔＢｏｕｌｄｅｒｓ（ＳＯＢ）」には、シナリオに応じて、例えば、構造記述１７ａおよび１７ｂまたは１７ｃおよび１７ｄが複製されるからである。
【0114】
ここで、上記構造記述１５～１８の値は、各々、値が０～１の間に含まれるように、評価グリッド１１のセル１０に関して百分率で設定されてよい。この場合、値は、各々、基準位置に関して、例えば、駐車領域情報２５の中心点、特に、矩形ボックスを記述する駐車領域情報２５の頂点および／または他の基準点に関して設定されてよい。構造記述１５～１８の各座標をそのように設定することにより、０～１の間の小さい値を設定することが可能になり、特に、ニューラルネットワークの訓練をこれに対応する訓練データを用いて行うことが容易になる。その際には、訓練中の上昇が急激過ぎる勾配の発生および／またはネットワークにおける訓練されていないノードの発生を回避することができる。
【0115】
構造記述１５～１８の各々および駐車領域情報２５には、周辺環境情報において、確率Ｐが割り当てられ、この確率Ｐは、各々の構造の利用可能性の確率を示す。代替的に、値Ｐとして、例えば、算出された確率が所定の閾値を超過するか未満である場合、各々、１または０も設定されてよい。
【0116】
駐車スペースとして分類された各フレーム１２，１３，１４について、周辺環境情報は、駐車領域情報２５に関して追加的にまたは代替的に、オリエンテーションも特定してよく、オリエンテーションは、各々のフレーム１２，１３，１４と実際の、測定データに基づいて周辺環境マップに記述される、駐車スペース９内の駐車領域との間の角度を特定する。このようにして、垂直方向および水平方向における駐車スペース９の配置に加えて、全てのさらなるオリエンテーションも考慮に入れて示すことができる。その際、追加的に、フレーム１２，１３，１４を実際の駐車スペースに示すスケール因子を設定することもできる。
【0117】
駐車スペース９として分類された各フレーム１２，１３，１４について、周辺環境情報は、１つまたは複数の駐車スペースタイプ分類をさらに含んでよく、駐車スペースタイプ分類は、例えば、並列駐車スペースまたは縦列駐車スペースに関するものであるか否かまたはどの程度の可能性で並列駐車スペースまたは縦列駐車スペースに関するものであるかを示す。駐車スペース９は、ニューラルネットワークにより算出された分類確率が所定の閾値を超過する場合に、そのように分類されてよい。従って、駐車スペースを、これに対応する、フレーム１２，１３，１４のうちの１つに割り当てられた分類確率が所定の閾値を超過する場合に、縦列駐車スペースとしてまたは並列駐車スペースとして分類してよい。駐車スペースタイプ分類は、例えば、前方向または後方向に運転すべき並列駐車スペースに関するものであるか否かをさらに示してよい。
【0118】
生成された周辺環境情報は、例えば、各フレーム１２，１３，１４について、駐車スペース９に関するものであるか否かまたは並列駐車スペースもしくは縦列駐車スペースであるか否かを示すテンソルであってよい。駐車スペース９として分類された各フレーム１２，１３について、さらなる情報が設定されてよい。その際、評価グリッド１１の各セル１０について、周辺環境情報は、例えば、ベクトルｙｃｅｌｌを含んでよく、ベクトルｙｃｅｌｌは、
ｙｃｅｌｌ＝［Ｐ１＜ＰａｒｋｉｎｇＳｌｏｔｐａｒａｍｅｔｅｒｓ＞Ｃｐａｒ１ Ｃｐｅｒ＿ｆｗ１ Ｃｐｅｒ＿ｂｗ１ Ｃｖｏｉｄ Ｐ２・・・Ｐ３・・・］Ｔ
として表すことができる。ここで、フレーム１２に割り当てられた値は、例えば、添字「１」、フレーム１３に割り当てられた、大部分が明瞭性に鑑みて不図示である値は、添字「２」、フレーム１４に割り当てられた、大部分が明瞭性に鑑みて不図示である値は、添字「３」を用いて示されている。個々の値つまりベクトルの成分については以下のように記載される：
Ｐｉ：対応するフレーム１２，１３，１４が駐車スペース９に関するものであるか否かに関するインジケータ（例えば、０または１）
＜Ｐａｒｋｉｎｇ Ｓｌｏｔ Ｐａｒａｍｅｔｅｒｓ＞：各フレームに割り当てられた駐車スペースに属する、例えば、表１に示される構造記述１５～１８および駐車領域情報２５
Ｃｐａｒ：縦列駐車スペースが存在するクラス確率
Ｃｐｅｒ＿ｆｗ：前方向に運転すべき並列駐車スペースが存在するクラス確率
Ｃｐｅｒ＿ｂｗ：後方向に運転すべき並列駐車スペースが存在するクラス確率
Ｃｖｏｉｄ：駐車スペースが存在しないクラス確率。
ｙｃｅｌｌ＝［Ｐ１＜ＰａｒｋｉｎｇＳｌｏｔｐａｒａｍｅｔｅｒｓ＞Ｃｐａｒ１ Ｃｐｅｒ＿ｆｗ１ Ｃｐｅｒ＿ｂｗ１ Ｃｖｏｉｄ Ｐ２・・・Ｐ３・・・］Ｔ
として表すことができる。ここで、フレーム１２に割り当てられた値は、例えば、添字「１」、フレーム１３に割り当てられた、大部分が明瞭性に鑑みて不図示である値は、添字「２」、フレーム１４に割り当てられた、大部分が明瞭性に鑑みて不図示である値は、添字「３」を用いて示されている。個々の値つまりベクトルの成分については以下のように記載される：
Ｐｉ：対応するフレーム１２，１３，１４が駐車スペース９に関するものであるか否かに関するインジケータ（例えば、０または１）
＜Ｐａｒｋｉｎｇ Ｓｌｏｔ Ｐａｒａｍｅｔｅｒｓ＞：各フレームに割り当てられた駐車スペースに属する、例えば、表１に示される構造記述１５～１８および駐車領域情報２５
Ｃｐａｒ：縦列駐車スペースが存在するクラス確率
Ｃｐｅｒ＿ｆｗ：前方向に運転すべき並列駐車スペースが存在するクラス確率
Ｃｐｅｒ＿ｂｗ：後方向に運転すべき並列駐車スペースが存在するクラス確率
Ｃｖｏｉｄ：駐車スペースが存在しないクラス確率。
【0119】
例えば、インジケータＰは、確率Ｃｐａｒ，Ｃｐｅｒ＿ｆｗまたはＣｐｅｒ＿ｂｗのうちの１つが所定の閾値を超過する場合には１に設定されてよく、確率Ｃｖｏｉｄが所定の閾値を超過する場合には０に設定されてよい。
【0120】
例えば、テンソル形式で出力される周辺環境情報は、この場合、Ａ×Ｂ×（ｙｃｅｌｌ）またはＡ×Ｂ×（ｎ＊ｉ）の次元を有し、ＡおよびＢは、評価グリッドの行数および列数を示し、従って、それらの積は評価グリッドのセル数を示し、ｙｃｅｌｌは各々セルに割り当てられたベクトルであり、ｙｃｅｌｌは、一般に、ｎ＊ｉ成分を有し、ｎはセル当たりのフレーム数、ｉはフレーム当たりのセルにおいて検出された情報数を示す。上記実施形態例におけるｙｃｅｌｌについて、例えば、ｎ＝３およびｉ＝６５である。
【0121】
畳み込みニューラルネットワークを訓練する方法の実施形態例において、まず、訓練測定データに基づく複数の、各々、車両１の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給する。その際、測定データが訓練周辺環境マップにおいて空間的に車両１に関して特定される。本訓練方法は、特に、上記実施形態例を実行する、計算装置４において実装される畳み込みニューラルネットワークを訓練するのに役に立つ。
【0122】
訓練周辺環境マップの各々に、車両１の周辺環境における少なくとも１つの駐車スペース２６を記述するグラウンドトゥルースを割り当て、グラウンドトゥルースは、訓練周辺環境マップの少なくとも１つのセクションを駐車スペース２６として分類および位置推定する。また、グラウンドトゥルースは、駐車スペース２６の直近周囲に関連する構造記述１５～１８を特定する。また、訓練周辺環境マップの一部のみに、少なくとも１つの駐車スペース２６を記述するグラウンドトゥルースを割り当てる一方、訓練周辺環境マップのそれ以外の部分には、例えば、駐車スペース２６を記述しないグラウンドトゥルースを各々割り当てることも考えられる。このようにして、駐車スペース識別の偽陽性率を改善または低下させることができる。
【0123】
図３には、グラウンドトゥルースにより設定された駐車スペース２６が示されている。訓練周辺環境マップは、基本的には、上記周辺環境マップ５に対応する。畳み込みニューラルネットワークは、例えば、訓練周辺環境マップとして、レーダデータに基づいて作成されたデンプスターシェーファーグリッドマップ（Ｄｅｍｐｓｔｅｒ－Ｓｈａｆｅｒ ｇｒｉｄ ｍａｐ）を用いて訓練されてよく、これにより、上記方法を用いて、レーダデータに基づいて駐車スペースを検出することができる。追加的または代替的に、超音波センサ、ライダセンサ、周辺環境カメラまたはこれらセンサタイプの任意の各組み合わせによる測定データに基づいて作成された訓練周辺環境マップも用いられてよい。その際、基本的に、占有領域および空領域を含む各タイプの訓練周辺環境マップを用いることができる。
【0124】
また、訓練の際、上記の図３に示されている訓練周辺環境マップに、各々、複数のセル１０を含む評価グリッド１１を重ね合わせ、評価グリッド１１の各セル１０には、これに対応して、少なくとも１つのフレーム１２，１３，１４が割り当てられる。その次に、少なくとも１つの、グラウンドトゥルースにより記述される駐車スペース２６に関して、最大オーバーラップを有する各フレーム１２，１３，１４を検出する。その後、最大オーバーラップを有するフレーム１２，１３，１４の少なくとも１つの構造記述と、グラウンドトゥルースにより記述される構造記述との間の一致に関してニューラルネットワークを最適化する。
【0125】
オーバーラップを検出するために、評価グリッド１１のどのセル１０において、各々、少なくとも１つの、グラウンドトゥルースにより記述される駐車スペース２６の中心点２７が位置するかを決定する。これは、図３に示される例においては、第２行第２列に位置するセル１０である。
【0126】
その次に、グラウンドトゥルースにより記述される駐車スペース２６との重なりが最大であるセルのフレーム１２，１３，１４を、最大オーバーラップを有するフレームとして選択する。各々のオーバーラップを検出するために、中心点２７が位置するセル１０の各フレーム１２，１３，１４について、各々、その領域に関するオーバーラップまたはそのＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）の値を算出する。
【0127】
図３に示される例において、右側の垂直方向に向くフレーム１３とのオーバーラップが最大であるため、これをニューラルネットワークの最適化の目標として選択する。従って、フレーム１２，１３，１４の選択および周辺環境マップ５における車両１の配置に基づいて、縦列駐車スペースまたは上記のような並列駐車スペースの何れに関するものであるか検出または訓練することができる。さらに、駐車スペース２６と車両１との間の配置は、並列駐車スペースとして分類された場合に、入庫駐車方向、つまり、車両１が駐車スペース２６内へと前方向または後方向の何れに運転するべきかを検出または訓練することもできる。
【0128】
ここで、グラウンドトゥルースの構造記述として少なくとも１つの輪郭線が用いられてよく、上記のように、輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成される。グラウンドトゥルースの構造記述は、駐車スペース２６を画定する物体の、少なくとも１つの、車両１に対向するエッジ、駐車スペース２６を画定する物体の、少なくとも１つの、駐車スペース２６を長さ方向および／または幅方向において画定するエッジ、駐車スペース２６の進入口２３を画定する物体の少なくとも１つのエッジ、進入口２３に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述してよい。
【0129】
各セル１０に３つ以上のフレーム１２，１３，１４が割り当てられるように評価グリッド１１が用いられることが可能である。この場合、複数のフレーム１２，１３，１４は、相異なって位置決めされかつ／または相異なってオリエンテーションされてよい。その際、セル１０に関して相異なる測定、例えば、相異なる幅、相異なる長さ、フレーム１２および駐車スペース２６の中心点の相異なる位置、ニューラルネットワークにより回帰を用いて同様に検出される、フレーム１２と駐車スペース２６との間の関連するオリエンテーション等も、同様に訓練することができる。
【0130】
フレーム１２，１３，１４を用いて駐車スペース２６のオリエンテーションも近似することができ、セル１０当たり２つまたは３つ以上のフレーム１２，１３，１４を用いて相異なって位置決めされかつ／または相異なってオリエンテーションされた位置推定パラメータおよび／またはオリエンテーションパラメータを初期設定することができる。その際、用いられるフレーム１２，１３，１４の数が多いほど、車両に対する駐車スペース２６の相対的配置の位置推定および検出、駐車スペースにおける空駐車領域を記述する駐車領域情報２５の検出、駐車スペース２６を少なくとも部分的に画定する構造を記述する構造記述の検出を、ニューラルネットワークを用いて、より精確に行うことができる。
【0131】
ニューラルネットワークの最適化は損失関数を用いて行うことができる。その際、損失関数は、フレーム１２，１３，１４に関して検出可能である、ベクトルｙｃｅｌｌの全ての変数または全ての変数ｉについて、誤差の二乗を最小化することができる。追加的または代替的に、ソフトマックス関数も用いることができ、クラス確率Ｃｐａｒ、Ｃｐｅｒｐｆｗ、Ｃｐｅｒｐ＿ｂｗ、Ｃｖｏｉｄおよび／または分類確率Ｐｎの誤差のみを最小化することができる。
【0132】
損失関数
【0133】
【数1】
【0134】
ｙ１＝１の場合、添字「１」が割り当てられたフレーム１２が駐車スペースとして分類されたことを意味する。この場合、二乗誤差の損失関数を用いて、各変数ｉ、つまり、ベクトルｙｃｅｌｌの各成分ｙｎを計算する。ｙ１＝０の場合、添字「１」が割り当てられたフレーム１２が「非駐車スペース」として分類されたことを意味し、この場合、インジケータまたは分類確率Ｐｎつまりベクトルｙｃｅｌｌの成分ｙ１の二乗誤差のみを最小化する。このようにして、さらなるフレーム１３，１４についても実行される。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2023-08-03
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【0134】
ｙ１＝１の場合、添字「１」が割り当てられたフレーム１２が駐車スペースとして分類されたことを意味する。この場合、二乗誤差の損失関数を用いて、各変数ｉ、つまり、ベクトルｙｃｅｌｌの各成分ｙｎを計算する。ｙ１＝０の場合、添字「１」が割り当てられたフレーム１２が「非駐車スペース」として分類されたことを意味し、この場合、インジケータまたは分類確率Ｐｎつまりベクトルｙｃｅｌｌの成分ｙ１の二乗誤差のみを最小化する。このようにして、さらなるフレーム１３，１４についても実行される。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
車両（１）のセンサ装置（２）を用いて少なくとも１つの駐車スペース（９）を記述する周辺環境情報を検出する方法であって、前記センサ装置（２）が少なくとも１つの周辺環境センサ（３）と計算装置（４）とを備える方法において、
－前記車両（１）の周辺環境を記述する測定データを、前記少なくとも１つの周辺環境センサ（１）を用いて記録するステップであって、前記測定データが、前記車両（１）の前記周辺環境における１つまたは複数の物体に割り当てられるステップと、
－前記測定データに基づいて、少なくとも１つの、前記車両（１）の前記周辺環境を記述する周辺環境マップ（５）を作成するステップであって、前記測定データが、前記周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記計算装置（４）により前記少なくとも１つの周辺環境マップ（５）を評価するステップであって、前記周辺環境マップ（５）が畳み込みニューラルネットワークに供給され、前記ニューラルネットワークが、前記周辺環境マップ（５）に基づいて、前記車両（１）の前記周辺環境に存在する駐車スペース（９）を分類および位置推定し、前記ニューラルネットワークが、前記周辺環境マップに基づいて、前記駐車スペース（９）の各々について、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を検出するステップと、
－前記分類および位置推定された駐車スペース（９）に基づく前記周辺環境情報であって、前記少なくとも１つの構造記述（１５～１８）の前記周辺環境情報を生成するステップとを備える方法。
２．
前記周辺環境マップ（５）がマップグリッド（７）を含み、前記測定データが前記マップグリッド（７）のセル（８）に割り当てられ、各セル（８）について、セル（８）に割り当てられた前記測定データの測定点（６）の数、セル（８）に割り当てられた前記測定データに基づいて記述される物体の高さ、セル（８）に割り当てられた前記測定データに基づいて記述される物体のタイプおよび／またはセル（８）に割り当てられた前記測定データの少なくとも１つの信号特性が特定されることを特徴とする、上記１に記載の方法。
３．
前記ニューラルネットワークが、前記周辺環境マップ（５）に、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるように構成され、前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記周辺環境情報において、前記フレーム（１２，１３，１４）の各々について、駐車スペースとしての分類、前記測定データに基づいて記述され、前記フレーム（１２，１３，１４）に割り当てられた駐車スペースの、前記フレーム（１２，１３，１４）に対するオリエンテーションおよび／または前記駐車スペース（９）を画定する構造の少なくとも１つの構造記述（１５～１８）が特定されることを特徴とする、上記１または２に記載の方法。
４．
構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されることを特徴とする、上記１～３の何れか１つに記載の方法。
５．
前記構造記述（１５～１８）は、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記車両（１）に対向するエッジ、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記駐車スペース（９）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（９）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口（２３）に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、上記１～４の何れか１つに記載の方法。
６．
前記周辺環境情報は、前記分類された駐車スペース（９）の少なくとも一部に関して、前記駐車スペースにおいて利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含む、上記１～５の何れか１つに記載の方法。
７．
少なくとも１つの周辺環境センサ（３）として、複数の超音波センサを備える超音波センサ装置、少なくとも１つのライダセンサ、少なくとも１つのレーダセンサおよび／または少なくとも１つの周辺環境カメラを備えるセンサ装置（２）が使用されることを特徴とする、上記１～６の何れか１つに記載の方法。
８．
特に、上記１～７の何れか１つに記載の方法において使用するための、畳み込みニューラルネットワークを訓練する方法において、
－訓練測定データに基づく複数の、各々、車両（１）の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、前記訓練測定データが前記訓練周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記車両（１）の周辺環境における少なくとも１つの駐車スペース（２６）を記述するグラウンドトゥルースを、前記訓練周辺環境マップの少なくとも一部に割り当てるステップであって、前記グラウンドトゥルースは、前記訓練周辺環境マップの少なくとも１つのセクションを駐車スペース（２６）として分類および位置推定し、前記駐車スペース（２６）の前記グラウンドトゥルースは、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を特定するステップと、
－前記訓練周辺環境マップに、各々、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるステップであって、前記評価グリッド（１１）の前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記各フレームには少なくとも１つの構造記述（１５～１８）が割り当てられるステップと、
－前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）に関して、最大オーバーラップを有する前記各フレーム（１２，１３，１４）を検出するステップと、
－最大オーバーラップを有する前記フレーム（１２，１３，１４）の前記少なくとも１つの構造記述（１５～１８）と、前記グラウンドトゥルースにより記述される構造記述（１５～１８）との間の一致に関して前記ニューラルネットワークを最適化するステップとを備える方法。
９．
前記各セル（１０）には複数の相異なって位置決めされかつ／または相異なってオリエンテーションされたフレーム（１２，１３，１４）が割り当てられること、および／またはオーバーラップを検出するためにどの前記セル（１０）において、各々、前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）の中心点（１５）が位置するかを決定することであって、前記グラウンドトゥルースにより記述される駐車スペース（２６）との重なりが最大であるセル（１０）のフレーム（１２，１３，１４）を、最大オーバーラップを有するフレーム（１２，１３，１４）として選択することを特徴とする、上記８に記載の方法。
１０．
前記グラウンドトゥルースの構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されること、および／または前記グラウンドトゥルースの前記構造記述（１５～１８）は、前記駐車スペース（２６）を画定する物体の、少なくとも１つの、前記車両に対向するエッジ、前記駐車スペースを画定する物体の、少なくとも１つの、前記駐車スペース（２６）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（２６）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、上記８または９に記載の方法。
１１．
前記グラウンドトゥルースは、前記分類された駐車スペース（２６）の少なくとも一部に関して、前記駐車スペース（２６）において利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含み、前記ニューラルネットワークの最適化が、前記駐車領域情報（２５）および／または前記駐車スペース分類に関しても行われることを特徴とする、上記８～１０の何れか１つに記載の方法。
１２．
少なくとも１つの周辺環境センサ（３）および計算装置（４）を備えるセンサ装置であって、前記計算装置（４）が上記１～７の何れか１つに記載の方法を実行するように構成される、センサ装置。
１３．
上記１２に記載の少なくとも１つのセンサ装置（２）を備える車両。
１４．
計算装置（４）に対して上記１～７の何れか１つに記載の方法を実行させる命令を備えるコンピュータプログラム製品。
１５．
上記１４に記載のコンピュータプログラム製品を備えるコンピュータ可読記憶媒体。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
車両（１）のセンサ装置（２）を用いて少なくとも１つの駐車スペース（９）を記述する周辺環境情報を検出する方法であって、前記センサ装置（２）が少なくとも１つの周辺環境センサ（３）と計算装置（４）とを備える方法において、
－前記車両（１）の周辺環境を記述する測定データを、前記少なくとも１つの周辺環境センサ（１）を用いて記録するステップであって、前記測定データが、前記車両（１）の前記周辺環境における１つまたは複数の物体に割り当てられるステップと、
－前記測定データに基づいて、少なくとも１つの、前記車両（１）の前記周辺環境を記述する周辺環境マップ（５）を作成するステップであって、前記測定データが、前記周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記計算装置（４）により前記少なくとも１つの周辺環境マップ（５）を評価するステップであって、前記周辺環境マップ（５）が畳み込みニューラルネットワークに供給され、前記ニューラルネットワークが、前記周辺環境マップ（５）に基づいて、前記車両（１）の前記周辺環境に存在する駐車スペース（９）を分類および位置推定し、前記ニューラルネットワークが、前記周辺環境マップに基づいて、前記駐車スペース（９）の各々について、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を検出するステップと、
－前記分類および位置推定された駐車スペース（９）に基づく前記周辺環境情報であって、前記少なくとも１つの構造記述（１５～１８）の前記周辺環境情報を生成するステップとを備える方法。
２．
前記周辺環境マップ（５）がマップグリッド（７）を含み、前記測定データが前記マップグリッド（７）のセル（８）に割り当てられ、各セル（８）について、セル（８）に割り当てられた前記測定データの測定点（６）の数、セル（８）に割り当てられた前記測定データに基づいて記述される物体の高さ、セル（８）に割り当てられた前記測定データに基づいて記述される物体のタイプおよび／またはセル（８）に割り当てられた前記測定データの少なくとも１つの信号特性が特定されることを特徴とする、上記１に記載の方法。
３．
前記ニューラルネットワークが、前記周辺環境マップ（５）に、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるように構成され、前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記周辺環境情報において、前記フレーム（１２，１３，１４）の各々について、駐車スペースとしての分類、前記測定データに基づいて記述され、前記フレーム（１２，１３，１４）に割り当てられた駐車スペースの、前記フレーム（１２，１３，１４）に対するオリエンテーションおよび／または前記駐車スペース（９）を画定する構造の少なくとも１つの構造記述（１５～１８）が特定されることを特徴とする、上記１または２に記載の方法。
４．
構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されることを特徴とする、上記１～３の何れか１つに記載の方法。
５．
前記構造記述（１５～１８）は、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記車両（１）に対向するエッジ、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記駐車スペース（９）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（９）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口（２３）に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、上記１～４の何れか１つに記載の方法。
６．
前記周辺環境情報は、前記分類された駐車スペース（９）の少なくとも一部に関して、前記駐車スペースにおいて利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含む、上記１～５の何れか１つに記載の方法。
７．
少なくとも１つの周辺環境センサ（３）として、複数の超音波センサを備える超音波センサ装置、少なくとも１つのライダセンサ、少なくとも１つのレーダセンサおよび／または少なくとも１つの周辺環境カメラを備えるセンサ装置（２）が使用されることを特徴とする、上記１～６の何れか１つに記載の方法。
８．
特に、上記１～７の何れか１つに記載の方法において使用するための、畳み込みニューラルネットワークを訓練する方法において、
－訓練測定データに基づく複数の、各々、車両（１）の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、前記訓練測定データが前記訓練周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記車両（１）の周辺環境における少なくとも１つの駐車スペース（２６）を記述するグラウンドトゥルースを、前記訓練周辺環境マップの少なくとも一部に割り当てるステップであって、前記グラウンドトゥルースは、前記訓練周辺環境マップの少なくとも１つのセクションを駐車スペース（２６）として分類および位置推定し、前記駐車スペース（２６）の前記グラウンドトゥルースは、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を特定するステップと、
－前記訓練周辺環境マップに、各々、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるステップであって、前記評価グリッド（１１）の前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記各フレームには少なくとも１つの構造記述（１５～１８）が割り当てられるステップと、
－前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）に関して、最大オーバーラップを有する前記各フレーム（１２，１３，１４）を検出するステップと、
－最大オーバーラップを有する前記フレーム（１２，１３，１４）の前記少なくとも１つの構造記述（１５～１８）と、前記グラウンドトゥルースにより記述される構造記述（１５～１８）との間の一致に関して前記ニューラルネットワークを最適化するステップとを備える方法。
９．
前記各セル（１０）には複数の相異なって位置決めされかつ／または相異なってオリエンテーションされたフレーム（１２，１３，１４）が割り当てられること、および／またはオーバーラップを検出するためにどの前記セル（１０）において、各々、前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）の中心点（１５）が位置するかを決定することであって、前記グラウンドトゥルースにより記述される駐車スペース（２６）との重なりが最大であるセル（１０）のフレーム（１２，１３，１４）を、最大オーバーラップを有するフレーム（１２，１３，１４）として選択することを特徴とする、上記８に記載の方法。
１０．
前記グラウンドトゥルースの構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されること、および／または前記グラウンドトゥルースの前記構造記述（１５～１８）は、前記駐車スペース（２６）を画定する物体の、少なくとも１つの、前記車両に対向するエッジ、前記駐車スペースを画定する物体の、少なくとも１つの、前記駐車スペース（２６）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（２６）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、上記８または９に記載の方法。
１１．
前記グラウンドトゥルースは、前記分類された駐車スペース（２６）の少なくとも一部に関して、前記駐車スペース（２６）において利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含み、前記ニューラルネットワークの最適化が、前記駐車領域情報（２５）および／または前記駐車スペース分類に関しても行われることを特徴とする、上記８～１０の何れか１つに記載の方法。
１２．
少なくとも１つの周辺環境センサ（３）および計算装置（４）を備えるセンサ装置であって、前記計算装置（４）が上記１～７の何れか１つに記載の方法を実行するように構成される、センサ装置。
１３．
上記１２に記載の少なくとも１つのセンサ装置（２）を備える車両。
１４．
計算装置（４）に対して上記１～７の何れか１つに記載の方法を実行させる命令を備えるコンピュータプログラム製品。
１５．
上記１４に記載のコンピュータプログラム製品を備えるコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両（１）のセンサ装置（２）を用いて少なくとも１つの駐車スペース（９）を記述する周辺環境情報を検出する方法であって、前記センサ装置（２）が少なくとも１つの周辺環境センサ（３）と計算装置（４）とを備える方法において、
－前記車両（１）の周辺環境を記述する測定データを、前記少なくとも１つの周辺環境センサ（１）を用いて記録するステップであって、前記測定データが、前記車両（１）の前記周辺環境における１つまたは複数の物体に割り当てられるステップと、
－前記測定データに基づいて、少なくとも１つの、前記車両（１）の前記周辺環境を記述する周辺環境マップ（５）を作成するステップであって、前記測定データが、前記周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記計算装置（４）により前記少なくとも１つの周辺環境マップ（５）を評価するステップであって、前記周辺環境マップ（５）が畳み込みニューラルネットワークに供給され、前記ニューラルネットワークが、前記周辺環境マップ（５）に基づいて、前記車両（１）の前記周辺環境に存在する駐車スペース（９）を分類および位置推定し、前記ニューラルネットワークが、前記周辺環境マップに基づいて、前記駐車スペース（９）の各々について、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を検出するステップと、
－前記分類および位置推定された駐車スペース（９）に基づく前記周辺環境情報であって、前記少なくとも１つの構造記述（１５～１８）の前記周辺環境情報を生成するステップとを備える方法。
－前記車両（１）の周辺環境を記述する測定データを、前記少なくとも１つの周辺環境センサ（１）を用いて記録するステップであって、前記測定データが、前記車両（１）の前記周辺環境における１つまたは複数の物体に割り当てられるステップと、
－前記測定データに基づいて、少なくとも１つの、前記車両（１）の前記周辺環境を記述する周辺環境マップ（５）を作成するステップであって、前記測定データが、前記周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記計算装置（４）により前記少なくとも１つの周辺環境マップ（５）を評価するステップであって、前記周辺環境マップ（５）が畳み込みニューラルネットワークに供給され、前記ニューラルネットワークが、前記周辺環境マップ（５）に基づいて、前記車両（１）の前記周辺環境に存在する駐車スペース（９）を分類および位置推定し、前記ニューラルネットワークが、前記周辺環境マップに基づいて、前記駐車スペース（９）の各々について、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を検出するステップと、
－前記分類および位置推定された駐車スペース（９）に基づく前記周辺環境情報であって、前記少なくとも１つの構造記述（１５～１８）の前記周辺環境情報を生成するステップとを備える方法。
【請求項2】
前記周辺環境マップ（５）がマップグリッド（７）を含み、前記測定データが前記マップグリッド（７）のセル（８）に割り当てられ、各セル（８）について、セル（８）に割り当てられた前記測定データの測定点（６）の数、セル（８）に割り当てられた前記測定データに基づいて記述される物体の高さ、セル（８）に割り当てられた前記測定データに基づいて記述される物体のタイプおよび／またはセル（８）に割り当てられた前記測定データの少なくとも１つの信号特性が特定されることを特徴とする、請求項１に記載の方法。
【請求項3】
前記ニューラルネットワークが、前記周辺環境マップ（５）に、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるように構成され、前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記周辺環境情報において、前記フレーム（１２，１３，１４）の各々について、駐車スペースとしての分類、前記測定データに基づいて記述され、前記フレーム（１２，１３，１４）に割り当てられた駐車スペースの、前記フレーム（１２，１３，１４）に対するオリエンテーションおよび／または前記駐車スペース（９）を画定する構造の少なくとも１つの構造記述（１５～１８）が特定されることを特徴とする、請求項１に記載の方法。
【請求項4】
構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されることを特徴とする、請求項１に記載の方法。
【請求項5】
前記構造記述（１５～１８）は、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記車両（１）に対向するエッジ、前記駐車スペース（９）を画定する物体の、少なくとも１つの、前記駐車スペース（９）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（９）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口（２３）に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、請求項１に記載の方法。
【請求項6】
前記周辺環境情報は、前記分類された駐車スペース（９）の少なくとも一部に関して、前記駐車スペースにおいて利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含む、請求項１に記載の方法。
【請求項7】
少なくとも１つの周辺環境センサ（３）として、複数の超音波センサを備える超音波センサ装置、少なくとも１つのライダセンサ、少なくとも１つのレーダセンサおよび／または少なくとも１つの周辺環境カメラを備えるセンサ装置（２）が使用されることを特徴とする、請求項１に記載の方法。
【請求項8】
特に、請求項１～７の何れか１項に記載の方法において使用するための、畳み込みニューラルネットワークを訓練する方法において、
－訓練測定データに基づく複数の、各々、車両（１）の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、前記訓練測定データが前記訓練周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記車両（１）の周辺環境における少なくとも１つの駐車スペース（２６）を記述するグラウンドトゥルースを、前記訓練周辺環境マップの少なくとも一部に割り当てるステップであって、前記グラウンドトゥルースは、前記訓練周辺環境マップの少なくとも１つのセクションを駐車スペース（２６）として分類および位置推定し、前記駐車スペース（２６）の前記グラウンドトゥルースは、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を特定するステップと、
－前記訓練周辺環境マップに、各々、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるステップであって、前記評価グリッド（１１）の前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記各フレームには少なくとも１つの構造記述（１５～１８）が割り当てられるステップと、
－前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）に関して、最大オーバーラップを有する前記各フレーム（１２，１３，１４）を検出するステップと、
－最大オーバーラップを有する前記フレーム（１２，１３，１４）の前記少なくとも１つの構造記述（１５～１８）と、前記グラウンドトゥルースにより記述される構造記述（１５～１８）との間の一致に関して前記ニューラルネットワークを最適化するステップとを備える方法。
－訓練測定データに基づく複数の、各々、車両（１）の周辺環境を記述する訓練周辺環境マップを含む少なくとも１つの訓練データセットを供給するステップであって、前記訓練測定データが前記訓練周辺環境マップにおいて空間的に前記車両（１）に関して特定されるステップと、
－前記車両（１）の周辺環境における少なくとも１つの駐車スペース（２６）を記述するグラウンドトゥルースを、前記訓練周辺環境マップの少なくとも一部に割り当てるステップであって、前記グラウンドトゥルースは、前記訓練周辺環境マップの少なくとも１つのセクションを駐車スペース（２６）として分類および位置推定し、前記駐車スペース（２６）の前記グラウンドトゥルースは、前記駐車スペース（９）を画定する構造の少なくとも一部の少なくとも１つの構造記述（１５～１８）を特定するステップと、
－前記訓練周辺環境マップに、各々、複数のセル（１０）を含む評価グリッド（１１）を重ね合わせるステップであって、前記評価グリッド（１１）の前記各セル（１０）には少なくとも１つのフレーム（１２，１３，１４）が割り当てられ、前記各フレームには少なくとも１つの構造記述（１５～１８）が割り当てられるステップと、
－前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）に関して、最大オーバーラップを有する前記各フレーム（１２，１３，１４）を検出するステップと、
－最大オーバーラップを有する前記フレーム（１２，１３，１４）の前記少なくとも１つの構造記述（１５～１８）と、前記グラウンドトゥルースにより記述される構造記述（１５～１８）との間の一致に関して前記ニューラルネットワークを最適化するステップとを備える方法。
【請求項9】
前記各セル（１０）には複数の相異なって位置決めされかつ／または相異なってオリエンテーションされたフレーム（１２，１３，１４）が割り当てられること、および／またはオーバーラップを検出するためにどの前記セル（１０）において、各々、前記少なくとも１つの、前記グラウンドトゥルースにより記述される駐車スペース（２６）の中心点（１５）が位置するかを決定することであって、前記グラウンドトゥルースにより記述される駐車スペース（２６）との重なりが最大であるセル（１０）のフレーム（１２，１３，１４）を、最大オーバーラップを有するフレーム（１２，１３，１４）として選択することを特徴とする、請求項８に記載の方法。
【請求項10】
前記グラウンドトゥルースの構造記述（１５～１８）として少なくとも１つの輪郭線が用いられ、前記輪郭線が、１つまたは複数の線分および／または２つまたは３つ以上の点により形成されること、および／または前記グラウンドトゥルースの前記構造記述（１５～１８）は、前記駐車スペース（２６）を画定する物体の、少なくとも１つの、前記車両に対向するエッジ、前記駐車スペースを画定する物体の、少なくとも１つの、前記駐車スペース（２６）を長さ方向および／または幅方向において画定するエッジ、前記駐車スペース（２６）の進入口（２３）を画定する物体の少なくとも１つのエッジ、前記進入口に対向する物体の少なくとも１つのエッジおよび／または少なくとも１つの駐車箇所マークを記述することを特徴とする、請求項８に記載の方法。
【請求項11】
前記グラウンドトゥルースは、前記分類された駐車スペース（２６）の少なくとも一部に関して、前記駐車スペース（２６）において利用可能な駐車領域の配置および／またはオリエンテーションを記述する駐車領域情報（２５）および／または少なくとも１つの駐車スペースタイプの分類を特定する少なくとも１つの駐車スペースタイプ分類を含み、前記ニューラルネットワークの最適化が、前記駐車領域情報（２５）および／または前記駐車スペース分類に関しても行われることを特徴とする、請求項８に記載の方法。
【請求項12】
少なくとも１つの周辺環境センサ（３）および計算装置（４）を備えるセンサ装置であって、前記計算装置（４）が請求項１～７の何れか１項に記載の方法を実行するように構成される、センサ装置。
【請求項13】
請求項１２に記載の少なくとも１つのセンサ装置（２）を備える車両。
【請求項14】
計算装置（４）に対して請求項１～７の何れか１項に記載の方法を実行させる命令を備えるコンピュータプログラム製品。
【請求項15】
請求項１４に記載のコンピュータプログラム製品を備えるコンピュータ可読記憶媒体。
【外国語明細書】