特表 2024-517614 移動手段のカメラシステムの画像からの個別のフリーなマーキングされたターゲット領域の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-23

(54)【発明の名称】移動手段のカメラシステムの画像からの個別のフリーなマーキングされたターゲット領域の検出

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240416BHJP

   G06T 7/10 20170101ALI20240416BHJP

   H04N 7/18 20060101ALI20240416BHJP

   H04N 23/60 20230101ALI20240416BHJP

   H04N 23/45 20230101ALI20240416BHJP

   B60W 30/06 20060101ALI20240416BHJP

   B60W 40/02 20060101ALI20240416BHJP

   G06N 20/00 20190101ALI20240416BHJP

   G08G 1/16 20060101ALN20240416BHJP

【ＦＩ】

G06T7/00 350B

G06T7/10

H04N7/18 J

H04N7/18 E

H04N23/60 500

H04N23/45

B60W30/06

B60W40/02

G06N20/00

G06T7/00 650A

G08G1/16 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023563006

(86)(22)【出願日】2022-04-19

(85)【翻訳文提出日】2023-10-13

(86)【国際出願番号】 DE2022200073

(87)【国際公開番号】W WO2022223087

(87)【国際公開日】2022-10-27

(31)【優先権主張番号】102021204030.6

(32)【優先日】2021-04-22

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100191938

【弁理士】

【氏名又は名称】高原 昭典

(72)【発明者】

【氏名】ヴィンクラー・トーマス

(72)【発明者】

【氏名】カイザー・フェルディナント

(72)【発明者】

【氏名】ブラント・クリストフ

【テーマコード（参考）】

3D241

5C054

5C122

5H181

5L096

【Ｆターム（参考）】

3D241BA21

3D241BB03

3D241CE05

3D241DC25Z

3D241DC34Z

3D241DC41Z

5C054CC02

5C054CG02

5C054EA01

5C054EA05

5C054FC12

5C054FC14

5C054FC15

5C054FF02

5C054HA30

5C122DA14

5C122EA42

5C122EA67

5C122FA18

5C122FB06

5C122FH11

5C122FK37

5C122FK41

5C122HA48

5H181AA01

5H181AA26

5H181BB20

5H181CC04

5H181CC24

5H181LL09

5H181LL17

5L096BA04

5L096CA05

5L096GA34

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

本発明は、機械学習システムによって、移動手段（１０）のカメラシステム（２－ｉ）の画像（Ｒ－４）から、個別のフリーなマーキングされた、例えば、駐車場、着陸地点、ドッキング個所などターゲット領域（４６）を検出する方法及び装置、並びに、機械学習装置をトレーニングする方法に関する。
該個々のフリーなマーキングされたターゲット領域（４６）をセグメント化し識別するための方法は、以下のステップを包含している：
－カメラシステム（２－ｉ）によって少なくとも一枚の移動手段（１０）の周辺の画像（Ｒ－４）を捕捉するステップ；
－個々のフリーなマーキングされたターゲット領域（４６）を、少なくとも一枚の画像（Ｒ－４）から、先行請求項のうち何れか一項に記載のトレーニングされた機械学習システムによってセグメント化（Ｓ－４）するステップ；並びに、
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）と、移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメント（３０；３２）を、制御ユニット（５）へ出力するステップ。

【特許請求の範囲】

【請求項1】

移動手段（１０）の周辺を捕捉するためのカメラシステム（２－ｉ）の画像から、個々のフリーなマーキングされたターゲット領域（４６）のセグメント化及び識別を実施するための機械学習システムを画像の意味論的セグメント化の範疇においてトレーニングするための方法であって、学習用入力画像（Ｒ－４）と対応する学習用目標セグメント化（Ｓ－４）を包含する学習用データが提供され、該学習用データ（Ｒ－４，Ｓ－４）を用いて、機械学習システムのパラメータが、機械学習システムが、学習用入力画像（Ｒ－４）を入力した際に、学習用目標セグメント化（Ｓ－４）に類似する出力データを作成する様に調整され、且つ、該学習用目標セグメント化（Ｓ－４）が、以下を包含していることを特徴とする方法：
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）、並びに、
－移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの少なくとも一つの第二セグメント（３０；３２）。

【請求項2】

学習用目標セグメント化（Ｓ－４）が、付加的に、第一セグメント（３５）のタイプも示すことを特徴とする請求項１に記載の方法。

【請求項3】

第二セグメント（３０；３２）が、オブジェクト（５０；５２）、並びに、該オブジェクトの少なくとも一つのクラス情報を包含していることを特徴とする請求項１或いは２に記載の方法。

【請求項4】

該カメラシステム（２－ｉ）が、一台のフィッシュアイレンズを備えたカメラ（２－１；２－２；２－３；２－４）を包含し、且つ、学習用入力画像（Ｒ－４）が、フィッシュアイレンズ・カメラの画像であることを特徴とする先行請求項のうち何れか一項に記載の方法。

【請求項5】

以下のステップを包含するセグメント化を実施し移動手段（１０）のカメラシステム（２－ｉ）の画像（Ｒ－４）から個々のフリーなマーキングされたターゲット領域（４６）を識別するための方法：
－カメラシステム（２－ｉ）によって少なくとも一枚の移動手段（１０）の周辺の画像（Ｒ－４）を捕捉するステップ；
－個々のフリーなマーキングされたターゲット領域（４６）を、少なくとも一枚の画像（Ｒ－４）から、先行請求項のうち何れか一項に記載のトレーニングされた機械学習システムによってセグメント化（Ｓ－４）するステップ；
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）と、移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメント（３０；３２）を、制御ユニット（５）へ出力するステップ。

【請求項6】

該カメラシステム（２－ｉ）が、少なくとも一台のフィッシュアイレンズを備えたカメラ（２－１；２－２；２－３；２－４）を包含していることを特徴とする先行請求項のうち何れか一項に記載の方法。

【請求項7】

セグメント化（Ｓ－４）が、フィッシュアイレンズ・カメラの画像（Ｒ－４）上において実施されることを特徴とする請求項６に記載の方法。

【請求項8】

該カメラシステム（２－ｉ）が、移動手段（１０）の周辺の３６０°捕捉を実施できる様に配置され、コンフィグレーションされている複数のカメラ（２－１；２－２；２－３；２－４）を包含していることを特徴とする請求項６或いは７に記載の方法。

【請求項9】

該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への移動のサポートを、視覚的表示によって実施することを特徴とする請求項５から８のうち何れか一項に記載の方法。

【請求項10】

該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への移動のサポートを、聴覚的、触覚的に実施する、或いは、移動手段の移動を、部分的には制御的対策によって実施することを特徴とする請求項５から９のうち何れか一項に記載の方法。

【請求項11】

該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への全自動的移動を実施することを特徴とする請求項５から８のうち何れか一項に記載の方法。

【請求項12】

該制御ユニット（５）によって、出力され、個々のフリーなマーキングされたターゲット領域に相当するセグメント（３５）を基に、フリーなマーキングされたターゲット領域の位置を確認するための情報が、移動手段外にある、インフラストラクチャ施設に伝達されることを特徴とする請求項５から１１のうち何れか一項に記載の方法。

【請求項13】

該移動手段が、車両であり、フリーなマーキングされたターゲット領域が、駐車スペース、或いは、電気自動車を誘導充電するためのエリアであることを特徴とする請求項５から１２のうち何れか一項に記載の方法。

【請求項14】

以下を包含しているセグメント化を実施し、移動手段（１０）のカメラシステム（２－ｉ）の画像（Ｒ－４）から個々のフリーなマーキングされたターゲット領域（４６）を識別するための装置、乃至、システム：
－少なくとも一枚の画像（Ｒ－４）を受信できる様に構成された入力ユニット；
－請求項５から１３のうち何れか一項に記載の方法を実施するために構成されているデータ処理ユニット（３）；並びに、
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）と、移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメント（３０；３２）を、制御ユニット（５）へ出力する様に構成された出力ユニット。

【請求項15】

カメラシステム（２－ｉ）、制御ユニット（５）、並びに、請求項１４に記載の装置を包含する移動手段（１０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習システムによって、移動手段のカメラシステムの画像から、個別のフリーなマーキングされた、例えば、駐車場、着陸地点、ドッキング個所などターゲット領域を検出する方法及び装置、並びに、機械学習装置をトレーニングする方法に関する。

【背景技術】

【0002】

ＥＰ２４８６５１３Ｂ１は、路面標示を認識するためのカメラを備えた動力車両用のドライバーアシストシステムを開示している：該発明においては、車両の駐車・停車モードを認識するための装置が設けられており、且つ、制御装置は、車両の駐車・停車モードにおいて、車両周辺部の画像データをカメラから受信し、駐車・停車禁止に関して表示している路面標示を評価するが、該制御装置は、シグナル通達手段を、停車しようとしている乃至駐車しようとしている車両の周辺に、駐車禁止、或いは、停車禁止を示す路面標示を検出した際に、該シグナル通達手段が、警告を発するように制御する。一台のカメラの代わりに、複数の（例えば、車両の側方などの）視線方向、並びに、（例えば、外部ミラー内などの）取付位置を有する複数のカメラ、或いは、画像取得ユニットを用いることも可能である。

【0003】

ＤＥ１０２０１８２１４９１５Ａ１は、走行方向における駐車スペースを認識するための車両用のシステム並びに方法を開示している。該スペースは、車両の長さ、並びに、幅に相当する少なくとも予め定義された長さ、及び／或いは、少なくとも予め定義された幅を有していなければならない。センサは、境界の外輪郭を割出すことができる様に構成されている。その際、該センサは、例えば、カメラなどの個別のセンサ、或いは、複数のカメラなど複数のセンサ、或いは、例えば、カメラとレーダセンサなど複数の種類のセンサ類であることができる。

【0004】

マップは、境界の外輪郭を、マップ内の位置に割り当てることができるように設定されている。配置モジュールは、境界の間のスペース内に、予め定義された長さと予め定義された幅を有する長方形を配置する様に構成されており、該長方形が、スペースに配置可能な場合、該識別されたスペースは、車両を収容するのに適していると見なすことができる。該境界には、路面標示も包含されることができる。

【0005】

これらの路面標示は、例えば、制限区域、横断歩道、駐車スペースの境界などである。その際、これら路面標示は、幾つかの実施形態では、外輪郭とは異なる方法で考慮されることができる。例えば、外輪郭からは十分に大きいが、駐車スペースの境界を考慮すると十分には大きくないスペースは、車両のドライバーに、「駐車スペースの境界を無視する」と言う判断を要求する。

【0006】

ＥＰ３７３１１３８Ａ１は、エッジ認識によって、駐車スペースを示す線の端にあるエッジマークを認識する画像処理装置と車載カメラシステムを開示している。該認識されたエッジマークを基に、暫定的な駐車スペース枠が、セットされ、検証される。この様にしてフリーな駐車スペースを、特定することができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】ＥＰ２４８６５１３Ｂ１

【特許文献2】ＤＥ１０２０１８２１４９１５Ａ１

【特許文献3】ＥＰ３７３１１３８Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の課題は、カメラシステムの画像内にフリーなターゲット領域を特定するための改善された解決策を提供することである。

【課題を解決するための手段】

【0009】

該解決策は、独立請求項の対象である。有利な発展形態は、従属特許請求項の対象である。

【0010】

解決策開発の起点は、駐車の自動化の分野において考え得るコンセプトで目につく問題点であった。

【0011】

ある可能性の基になっているのは、駐車ラインとフリーな空間の独立した検出を基にした駐車スペースを検出するためのアルゴリズムを用いることである。第一ステップにおいては、静的なカメラ較正と平面世界仮定を用いて、湾曲したライン（フィッシュアイ・ドメイン）を、直線（バーチャル・ピンホールカメラ）に変換するために上視図を作成する。この画像上において、従来の画像処理（例えば、ハフ変換）を実施し、モデルに基づいた駐車スペース候補を検出するための駐車ラインを認識する。付加的に、第二アルゴリズム（例えば、オキュパシー・グリッド）によって、フリー空間認識を抽出する。この第二情報を用いて、フリーな駐車スペースを認識できる。

【0012】

この考え得るコンセプトの柱となる前提条件は、カメラの正確な較正と平坦の周辺部である。例えば、車両の積載の偏りなどによりカメラの較正が正しくない場合、或いは、周辺部が平坦でない（斜面に駐車する）場合、上視図の質が低下し、それに伴って駐車スペース認識の質も低下する。加えて、フリー空間認識には、通常、例えば舗装面など均一な表面に対しては非常に少ない情報しか与えず、その機能が、自由度のない仮定を用いることによってのみ可能となる低密度なオブジェクトに基づく点群情報が、用いられている。

【0013】

よって、本発明の範囲では、新規の解決策コンセプトが、追求される。

【0014】

移動手段（１０）の周辺を捕捉するためのカメラシステムの画像から、個々のフリーなマーキングされた、例えば、車両用の駐車場、飛行機やドローン用の着陸地点、宇宙船やロボット用のドッキング個所などターゲット領域のセグメント化及び識別を実施するための機械学習システムをトレーニングするための本発明に係る方法は、画像の意味論的セグメント化の範疇において、以下を想定している。学習用入力画像と対応する学習用目標セグメント化を包含する学習用データが提供される。学習用入力画像の入力時に、該機械学習システムが、学習用目標セグメント化に類似する出力データを作成する様に、該学習用データを用いて機械学習システムのパラメータが調整される。これは、作成された出力データと学習用目標セグメント化との間の差が小さくなることと同様の意味を有している。この調整は、該差を数学的に記述する関数を最も小さくすることによって実施できる。該学習用目標セグメント化は、個々のフリーなマーキングされたターゲット領域に相当する第一セグメント（例えば、セグメントの位置と広がり、乃至、大きさ）を包含している。この際、該第一セグメントは、それぞれ単一のフリーなマークされたターゲット領域（要するに、そのインスタンス）に正確に対応していなければならない。マーキングされたとは、例えば、ターゲット領域が、境界線によって示されている、或いは、他の方法により、ターゲット領域が、視覚的に認識できることを意味している。該学習用目標セグメント化は、移動手段の捕捉された周辺の少なくとも一つの更なるクラスに対応する少なくとも一つの第二セグメントを包含している。多くのケースにおいて、様々なクラスに対応する複数の第二セグメントが存在している。該機械学習システムは、例えば、学習用データによってそのパラメータ（例えば、加重）が調整される人工ニューラルネットワークを包含している。

【0015】

ある実施形態では、学習用目標セグメント化は、第一セグメントのタイプを示す。ターゲット領域が、駐車スペースに相当する場合、駐車スペースのタイプとして、例えば、身体障害者用駐車スペース、女性専用駐車スペース、電気自動車駐車スペース、お子様連れ用駐車スペースなどを示すことができる。

【0016】

ある実施バリエーションでは、第二セグメントは、移動手段の周辺にあるオブジェクトを包含し、且つ、各オブジェクトの少なくとも一つのクラス情報を示す。第二（意味論的）セグメントのクラス情報の例：
建造物、標識、植物、車両、二輪車、被牽引車両、コンテナ、人、動物など。路面標示もオブジェクトでありうる：例えば、車線境界線、駐車場境界線５２、路面の矢印、路面の交通記号、停止線など。

【0017】

ある実施形態では、カメラシステムは、フィッシュアイレンズを備えたカメラを包含している。フィッシュアイレンズ・カメラは、１８０°を超える、例えば、１９５°の捕捉角度を有している。この場合、学習用入力画像は、フィッシュアイレンズ・カメラの画像である。これらは、ひずみ修正（「ｒｅｃｔｉｆｉｃａｔｉｏｎ」＝フィッシュアイレンズの光学的結像特性の修正）を実施することなく使用可能である。この場合、フィッシュアイ写像の学習用目標セグメント化も同様である。この実施形態は、フィッシュアイレンズ画像を基にしたセグメント化が、カメラシステムを回転させるよりも堅牢であると言う長所を提供する。

【0018】

本発明に係る（コンピュータに実装された）セグメント化を実施し、移動手段のカメラシステムの画像から個々のフリーなマーキングされたターゲット領域を識別するための方法は、以下のステップを包含している：
－カメラシステムによって少なくとも一枚の移動手段の周辺の画像を捕捉するステップ；
－個々のフリーなマーキングされたターゲット領域を、少なくとも一枚の画像から、先行請求項のうち何れか一項に記載のトレーニングされた機械学習システムによってセグメント化するステップ；
－（識別された）個々のフリーなマーキングされたターゲット領域に相当する第一セグメントと、移動手段の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメントを、制御ユニットへ出力するステップ。該制御ユニットは、受信したセグメントを基に、フリーなターゲット領域への該移動手段の移動をサポートする、或いは、自律的に、即ち、全自動的に実施する。そのために、セグメントは、現実の周辺のジオメトリに関する情報に、例えば、正確に較正されたカメラシステムを介して、翻訳されることができる。また、該移動手段が存在している周辺表面が、本質的には平面であると仮定することもできる。少なからぬカメラシステムは、捕捉された周辺を３次元状況再現する特別なオプション、例えば、視野領域が重なっている二台の個別カメラを用いた三角測量によるステレオ法などを提供している。

【0019】

ある実施形態では、該カメラシステムは、移動手段の周辺を３６０°捕捉できる様に配置され、コンフィグレーションされた複数の（フィッシュアイ）カメラを包含している。

【0020】

ある実施バリエーションによれば、該制御ユニットは、出力されたセグメントを基に、移動手段のフリーなターゲット領域への移動のサポートを、視覚的表示によって実施することができる。例えば、移動手段の周辺は、可視化でき、その際、フリーなターゲット領域は、視覚的に強調されることができる。該可視化は、移動手段のディスプレイ上に表示されることができる。

【0021】

ある実施形態では、制御ユニットによって、出力されたセグメントを基にした移動手段のフリーなターゲット領域への移動のサポートが、聴覚的、触覚的に実施される、或いは、移動手段の移動が、部分的には制御的対策（例えば、駐車プロセスにおける操舵サポート乃至制動サポート）が、実施される。

【0022】

ある実施バリエーションによれば、該制御ユニットによって、出力されたセグメントを基に、移動手段のフリーなターゲット領域への全自動的な移動、例えば、自律駐車、乃至、全自動駐車が実施される。

【0023】

ある実施形態では、該制御ユニットによって、出力され、個々のフリーなマーキングされたターゲット領域に相当するセグメントを基に、フリーなマーキングされたターゲット領域の位置を確認するための情報が、移動手段外にある、インフラストラクチャ施設に（無線）伝達される。該インフラストラクチャ施設は、例えば、屋内駐車場の制御センタである、或いは、テレマティーク・サプライヤのバックボーン（クラウド）であることができる。これにより、現時点においてフリーな駐車スペースを、地図上でマーキングできる、並びに、他の交通参加者にＶ２Ｘを介して提供できる。

【0024】

ある実施バリエーションでは、該移動手段は、車両であり、フリーなマーキングされたターゲット領域は、駐車スペース、或いは、（このケースでは）電気自動車を誘導充電するためのエリアである。これにより、電気自動車は、正確に誘導充電エリア（ｉｎｄｕｃｔｉｖｅ Ｃｈａｒｇｉｎｇ Ｐａｄ）にポジショニングされることができる。

【0025】

本発明の更なる対象は、個々のフリーなマーキングされたターゲット領域を移動手段のカメラシステムの画像からセグメント化し識別するための装置、乃至、システムに関する。

【0026】

該装置は、以下を包含している：
－カメラシステムの少なくとも一枚の画像を受信できる様に構成された入力ユニット；
－本発明に係る方法を実施できる様に構成されたデータ処理ユニット；並びに
－個々のフリーなマーキングされたターゲット領域に相当する第一セグメントと、移動手段の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメントを、制御ユニットへ出力できる様に構成されている出力ユニット。

【0027】

概装置乃至該データ処理ユニットは、特に好ましくは、マイクロコントローラ乃至プロセッサ、中央処理装置（ＣＰＵ）、画像処理ユニット（ＧＰＵ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ／特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ／フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、関連する方法ステップを実施するためのソフトウェアを包含している。

【0028】

本発明は更に、該カメラシステム、該制御ユニット、並びに、本発明に係る装置を包含している移動手段にも関する。

【0029】

本発明は更に、それによってデータ処理ユニットをプログラミングした場合、該データ処理ユニットに、個々のフリーなマーキングされたターゲット領域を、移動手段のカメラシステムの画像からセグメント化し、識別するための方法を実施する様に命令するコンピュータプログラムエレメントにも関する。

【0030】

更に本発明は、コンピュータによって読み取り自在な、それ内に該当するプログラム・エレメントが保存されている記憶媒体も包含している。

【0031】

よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。

【0032】

言い換えれば、本発明は、自動駐車プロセスのより効率的な自動化を実現するために、ニューラルネットワークを用いたインスタンス化されたフリーの駐車スペースの直接的且つ高精度の検出とベクトル化を可能にしている。付加的に（トップ・ヴュー）ひずみ修正を実施しない直接的なフィッシュアイ（１９５°）画像上におけるラベリング及び検出の双方が、フリーなマーキングされたターゲット領域の形状の精度を改善している。

【0033】

あるアスペクトは、フィッシュアイ・ドメインにおける意味論的セグメント化によるフリーなターゲット領域の直接的検出に関する。このためには、既存の検出可能なクラス（縁石、道路、人、車、車線境界線）のリストを拡張しクラス「駐車スペース」を加え、ラベルデータを作成し、対応するトレーニングデータを基にニューラルネットワークをトレーニングすることができる。その際、駐車ライン間の領域が検出され、直接的にアルゴリズムから出力される。境界となっている駐車ラインの独立した検出は、クラス「路面標示」の範疇で実施できる。最後のステップでは、下記の環境モデルに、ポリゴン形式で幾何学的記述を提供し、軌道計画を可能にするために、点群が、クラスターに融合される。

【0034】

更に、軌道計画／駐車アシスト機能をサポートするために、静的及び動的オブジェクトの分級から間接的に割り出された高さ情報も、出力されることができる。

【0035】

本発明の著しい長所としては、既知の方法では、駐車スペースが、先ず、（白線、赤いブロックを用いたラインなど）世界各国における線マーキングの多様性に対して手動で適合させなければならないなど煩雑且つエラーを伴う、既存の駐車マーカーを使用して形成されなければならないのに対し、直接的な駐車スペース検出により、従来の方法を単純化できるという点を挙げることができる。

【0036】

即ち、直接的な駐車スペース検出では、使用されているニューラルネットワークによって、直接的にそのまま駐車スペースとして検出され、トレーニングにより、世界各国の全てのバリエーションを、扱い得る労力（レコーディング、ラベリング、トラッキング）の範囲内で、学習し、適応させることが可能である。

【0037】

このアプローチは、駐車を不可能にするシチュエーション（駐車スペース上の人や物体）も直接的に取り扱う。それは、トレーニングにおいて、本当にフリーな領域のみが、フリーな駐車スペースとして使用されるからである。

【0038】

発明の用途は、正確に到達されなければならないマーキングされたターゲット領域全般である。例としては、自動化された誘導充電エリア、ヘリコプタ着陸スペース、自動化された小包配達用のドロップゾーンなどが挙げられる。

【0039】

以下、実施例と図を詳しく説明する。

【図面の簡単な説明】

【0040】

【図1】ある実施形態における本発明に係る装置の第一模式描写を示す。

【図2】ある実施形態における本発明に係る車載された装置の第二模式描写を示す。

【図3】個々のフリーなマーキングされたターゲット領域を検出するためのニューラルネットワークを備えたシステムを示す。

【図4】個々のフリーなマーキングされた駐車スペースが検出された周辺シナリオを示す。

【発明を実施するための形態】

【0041】

図１からも明らかなように、サラウンドビューシステムの複数のカメラの画像データから、個々のフリーなマーキングされたターゲット領域を検出するための本発明に係る装置１は、複数のユニット乃至回路構成部品を有していることができる。図１に示されている実施例では、該装置１は、それぞれカメラ画像乃至ビデオデータを作成する複数の（シングル）カメラ２－ｉを有している。図１に示されている実施例では、該装置１は、カメラ画像を作成するための四台のカメラ２－ｉを有している。該カメラ２－ｉの台数は、それぞれ異なるアプリケーション毎に異なり得る。本発明に係る装置１は、少なくとも二台のカメラ画像を作成するためのカメラを有している。

【0042】

該装置１は、カメラ２－ｉが作成した画像を処理するデータ処理ユニット３を包含している。例えば、カメラ画像は、一枚の全容画像に合成することができる。図１に示されている如く、該データ処理ユニット３は、人工ニューラルネットワーク４を有している。該人工ニューラルネットワーク４は、マシーンラーニング法によって、カメラ（２－ｉ）の入力画像データ（Ｉｎｉ）を意味論的にセグメント化し、その際に、フリーなマーキングされたターゲット領域、例えば、境界表示を有する駐車スペースをインスタンス化するようにトレーニングされる。意味論的セグメント化の結果は、画像処理ユニット３から制御ユニット５へと出力される。該制御ユニットは、移動手段の検出されたフリーなターゲット領域への移動をサポートする、或いは、移動手段のターゲット領域への自律的な移動を制御する。

【0043】

図２は、本発明に係る装置１のある一つの形態における更なる模式的な描写を示している。図２に示されている装置１は、車両１０、特に、乗用自動車、乃至、貨物用動力車両のサラウンドビューシステムにおいて採用される。ここでは、それぞれのカメラ２－１，２－２，２－３，２－４が、車両１０の異なる側に配置され、それに応じた視野領域（破線）、即ち、車両１０の前方＝Ｖ、後方＝Ｈ、左方＝Ｌ、及び、右方＝Ｒを有している。例えば、第一車載カメラ２－１は、車両１０の前方、第二車載カメラ２－２は、車両１０の後方、第三車載カメラ２－３は、車両１０の左側、そして、第四車載カメラ２－４は、車両１０の右側に配置されている。これら車載カメラ２－ｉは、ある可能な実施形態においては、少なくとも１９５°の視角を有する所謂フィッシュアイ・カメラであることができる。これら車載カメラ２－ｉは、カメラ画像、乃至、カメラ画像フレーム、乃至、ビデオデータを、ある可能な実施形態においては、イーサネット接続を介してデータ処理ユニット３に伝達できる。該データ処理ユニット３は、車載カメラ２－ｉのカメラ画像から、制御ユニット５及びディスプレイを介して運転手及び／或いは搭乗者に対して表示されることができる合成されたサラウンドビュー画像を作成することができる。表示においては、フリーな各駐車スペースを強調することができる。表示は、ドライバーが、マーキングされた駐車スペースへ操縦する際のサポート方法の一つである。（半）自動化車両の場合、車両が、（半）自律的に、フリーな駐車スペースへ走行できるように、制御ユニット５が、車両の制御（加速、制動、走行方向・前進／後進切り替え、操舵）を、（一部）担当する。この実施形態は、サラウンドビューをベースにしたインスタンス化された駐車スペースの抽出を可能にする「Ｅｎｖｉｒｏｎｍｅｎｔ Ｐｅｒｃｅｐｔｉｏｎ（環境認識）」に対応している。

【0044】

図３は、カメラ画像から個々のフリーなマーキングされたターゲット領域の意味論的セグメント化と識別を実施するための人工ニューラルネットワーク４を備えたシステムを示している。上部には、例えば、マーキングラインがひかれた駐車場、車両、路面、並びに、背景には、街灯、樹木、茂み、及び、建物が認識できるフィッシュアイレンズ・カメラの画像（Ｒ－４）が、非常に簡略的に示されている。人工ニューラルネットワーク４は、トレーニングの範囲において、図３の下部に部分的に示されている如く、この画像にセグメント化（Ｓ－４）を割り当てることを学習する。ここでは、意味論的セグメント化により、各ピクセルにクラスが割り当てられる。特に、例えば、左側に駐車している車両３０などのオブジェクトクラスは、重要である。駐車区画を示す白線３２も、意味論的セグメント化の範疇において帰属されることができる。一方、駐車スペースの表面は、車線表面である必要はない。しかし、人工ニューラルネットワーク４は、個々のフリーなマーキングされた駐車スペース３５（のインスタンス）は、セグメント化の範疇において識別されるようにトレーニングされる。ここでは、複数の個々のフリーな駐車スペース３５が、最も右側に駐車している車両３０の右側に存在し、且つ、車両３０の左側には、一つだけフリーな駐車スペース３５が存在している。トレーニング後、人工ニューラルネットワークは、今まで知らなかったフィッシュアイ・カメラ画像に、対応する認識された駐車スペースインスタンスを有するセグメントを帰属させる。

【0045】

図４は、鳥瞰的視野から、例えば、スーパーマーケットや、屋内駐車場の一つの階で有り得る駐車場４４を模式的に示している。駐車場４４は、（個別の）駐車スペース４６を定義するマーキングライン５２を有している。自車両２０は、駐車場４４に到着し、フリーな駐車スペース４６を必要としている。他の車両５０は、個々のマーキングされた駐車スペースに既に駐められている。理想的には、他の車両５０は、各々が駐められている駐車スペースのライン５２内に収まっている。自車両２０は、移動中、少なくとも一台の（フィッシュアイレンズ）（２－１；２－２；２－３；２－４）を用いて画像（Ｒ－４）を撮影し、それにより、駐車場４４、マーキングライン５２、並びに、他の車両５０を捕捉する。車載カメラ（２－１；２－２；２－３；２－４）の画像（Ｒ－４）は、データ処理ユニット３によって処理される。データ処理ユニット３のトレーニング済み人工ニューラルネットワーク４は、画像から意味論的クラスに割り当てられたセグメントを割り出す。意味論的セグメントのクラスの例としては以下が挙げられる：
例えば、建築物、標識、植物、車両５０、二輪車、被牽引車両、コンテナ、人、動物など、更には、例えば、車線境界線、駐車場境界線５２、路面の矢印、路面の交通記号、停止線などの路面標示と言ったオブジェクト。

【0046】

図３を用いて説明したトレーニングに基づき、人工ニューラルネットワークは、マーキング５２内部に個別のフリーな駐車スペース４６を意味論的セグメント化の範疇において認識する能力を有している。これにより、自車両２０は、自動的に、フリーな駐車スペース４６に駐車されることができる。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2023-10-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

移動手段（１０）の周辺を捕捉するためのカメラシステム（２－ｉ）の画像から、個々のフリーなマーキングされたターゲット領域（４６）のセグメント化及び識別を実施するための機械学習システムを画像の意味論的セグメント化の範疇においてトレーニングするための方法であって、学習用入力画像（Ｒ－４）と対応する学習用目標セグメント化（Ｓ－４）を包含する学習用データが提供され、該学習用データ（Ｒ－４，Ｓ－４）を用いて、機械学習システムのパラメータが、機械学習システムが、学習用入力画像（Ｒ－４）を入力した際に、学習用目標セグメント化（Ｓ－４）に類似する出力データを作成する様に調整され、且つ、該学習用目標セグメント化（Ｓ－４）が、以下を包含していることを特徴とする方法：
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）、並びに、
－移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの少なくとも一つの第二セグメント（３０；３２）。

【請求項2】

学習用目標セグメント化（Ｓ－４）が、付加的に、第一セグメント（３５）のタイプも示すことを特徴とする請求項１に記載の方法。

【請求項3】

第二セグメント（３０；３２）が、オブジェクト（５０；５２）、並びに、該オブジェクトの少なくとも一つのクラス情報を包含していることを特徴とする請求項１或いは２に記載の方法。

【請求項4】

該カメラシステム（２－ｉ）が、一台のフィッシュアイレンズを備えたカメラ（２－１；２－２；２－３；２－４）を包含し、且つ、学習用入力画像（Ｒ－４）が、フィッシュアイレンズ・カメラの画像であることを特徴とする請求項１又は２に記載の方法。

【請求項5】

以下のステップを包含するセグメント化を実施し移動手段（１０）のカメラシステム（２－ｉ）の画像（Ｒ－４）から個々のフリーなマーキングされたターゲット領域（４６）を識別するための方法：
－カメラシステム（２－ｉ）によって少なくとも一枚の移動手段（１０）の周辺の画像（Ｒ－４）を捕捉するステップ；
－個々のフリーなマーキングされたターゲット領域（４６）を、少なくとも一枚の画像（Ｒ－４）から、請求項１に記載のトレーニングされた機械学習システムによってセグメント化（Ｓ－４）するステップ；
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）と、移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメント（３０；３２）を、制御ユニット（５）へ出力するステップ。

【請求項6】

該カメラシステム（２－ｉ）が、少なくとも一台のフィッシュアイレンズを備えたカメラ（２－１；２－２；２－３；２－４）を包含していることを特徴とする請求項５に記載の方法。

【請求項7】

セグメント化（Ｓ－４）が、フィッシュアイレンズ・カメラの画像（Ｒ－４）上において実施されることを特徴とする請求項６に記載の方法。

【請求項8】

該カメラシステム（２－ｉ）が、移動手段（１０）の周辺の３６０°捕捉を実施できる様に配置され、コンフィグレーションされている複数のカメラ（２－１；２－２；２－３；２－４）を包含していることを特徴とする請求項６或いは７に記載の方法。

【請求項9】

該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への移動のサポートを、視覚的表示によって実施することを特徴とする請求項５又は６に記載の方法。

【請求項10】

該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への移動のサポートを、聴覚的、触覚的に実施する、或いは、移動手段の移動を、部分的には制御的対策によって実施することを特徴とする請求項５又は６に記載の方法。

【請求項11】

該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への全自動的移動を実施することを特徴とする請求項５又は６に記載の方法。

【請求項12】

該制御ユニット（５）によって、出力され、個々のフリーなマーキングされたターゲット領域に相当するセグメント（３５）を基に、フリーなマーキングされたターゲット領域の位置を確認するための情報が、移動手段外にある、インフラストラクチャ施設に伝達されることを特徴とする請求項５又は６に記載の方法。

【請求項13】

該移動手段が、車両であり、フリーなマーキングされたターゲット領域が、駐車スペース、或いは、電気自動車を誘導充電するためのエリアであることを特徴とする請求項５又は６に記載の方法。

【請求項14】

以下を包含しているセグメント化を実施し、移動手段（１０）のカメラシステム（２－ｉ）の画像（Ｒ－４）から個々のフリーなマーキングされたターゲット領域（４６）を識別するための装置、乃至、システム：
－少なくとも一枚の画像（Ｒ－４）を受信できる様に構成された入力ユニット；
－請求項５又は６に記載の方法を実施するために構成されているデータ処理ユニット（３）；並びに、
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）と、移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメント（３０；３２）を、制御ユニット（５）へ出力する様に構成された出力ユニット。

【請求項15】

カメラシステム（２－ｉ）、制御ユニット（５）、並びに、請求項１４に記載の装置を包含する移動手段（１０）。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００４６

【補正方法】変更

【補正の内容】

【0046】

図３を用いて説明したトレーニングに基づき、人工ニューラルネットワークは、マーキング５２内部に個別のフリーな駐車スペース４６を意味論的セグメント化の範疇において認識する能力を有している。これにより、自車両２０は、自動的に、フリーな駐車スペース４６に駐車されることができる。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
１．
移動手段（１０）の周辺を捕捉するためのカメラシステム（２－ｉ）の画像から、個々のフリーなマーキングされたターゲット領域（４６）のセグメント化及び識別を実施するための機械学習システムを画像の意味論的セグメント化の範疇においてトレーニングするための方法であって、学習用入力画像（Ｒ－４）と対応する学習用目標セグメント化（Ｓ－４）を包含する学習用データが提供され、該学習用データ（Ｒ－４，Ｓ－４）を用いて、機械学習システムのパラメータが、機械学習システムが、学習用入力画像（Ｒ－４）を入力した際に、学習用目標セグメント化（Ｓ－４）に類似する出力データを作成する様に調整され、且つ、該学習用目標セグメント化（Ｓ－４）が、以下を包含していることを特徴とする方法：
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）、並びに、
－移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの少なくとも一つの第二セグメント（３０；３２）。
２．
学習用目標セグメント化（Ｓ－４）が、付加的に、第一セグメント（３５）のタイプも示すことを特徴とする上記１の方法。
３．
第二セグメント（３０；３２）が、オブジェクト（５０；５２）、並びに、該オブジェクトの少なくとも一つのクラス情報を包含していることを特徴とする上記１或いは２の方法。
４．
該カメラシステム（２－ｉ）が、一台のフィッシュアイレンズを備えたカメラ（２－１；２－２；２－３；２－４）を包含し、且つ、学習用入力画像（Ｒ－４）が、フィッシュアイレンズ・カメラの画像であることを特徴とする上記のうち何れか一つの方法。
５．
以下のステップを包含するセグメント化を実施し移動手段（１０）のカメラシステム（２－ｉ）の画像（Ｒ－４）から個々のフリーなマーキングされたターゲット領域（４６）を識別するための方法：
－カメラシステム（２－ｉ）によって少なくとも一枚の移動手段（１０）の周辺の画像（Ｒ－４）を捕捉するステップ；
－個々のフリーなマーキングされたターゲット領域（４６）を、少なくとも一枚の画像（Ｒ－４）から、上記のうち何れか一つのトレーニングされた機械学習システムによってセグメント化（Ｓ－４）するステップ；
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）と、移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメント（３０；３２）を、制御ユニット（５）へ出力するステップ。
６．
該カメラシステム（２－ｉ）が、少なくとも一台のフィッシュアイレンズを備えたカメラ（２－１；２－２；２－３；２－４）を包含していることを特徴とする上記のうち何れか一つの方法。
７．
セグメント化（Ｓ－４）が、フィッシュアイレンズ・カメラの画像（Ｒ－４）上において実施されることを特徴とする上記６の方法。
８．
該カメラシステム（２－ｉ）が、移動手段（１０）の周辺の３６０°捕捉を実施できる様に配置され、コンフィグレーションされている複数のカメラ（２－１；２－２；２－３；２－４）を包含していることを特徴とする上記６或いは７の方法。
９．
該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への移動のサポートを、視覚的表示によって実施することを特徴とする上記５から８のうち何れか一つの方法。
１０．
該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への移動のサポートを、聴覚的、触覚的に実施する、或いは、移動手段の移動を、部分的には制御的対策によって実施することを特徴とする上記５から９のうち何れか一つの方法。
１１．
該制御ユニット（５）が、出力されたセグメント（３０；３２；３５）を基に、移動手段（１０）のフリーなターゲット領域（４６）への全自動的移動を実施することを特徴とする上記５から８のうち何れか一つの方法。
１２．
該制御ユニット（５）によって、出力され、個々のフリーなマーキングされたターゲット領域に相当するセグメント（３５）を基に、フリーなマーキングされたターゲット領域の位置を確認するための情報が、移動手段外にある、インフラストラクチャ施設に伝達されることを特徴とする上記５から１１のうち何れか一つの方法。
１３．
該移動手段が、車両であり、フリーなマーキングされたターゲット領域が、駐車スペース、或いは、電気自動車を誘導充電するためのエリアであることを特徴とする上記５から１２のうち何れか一つの方法。
１４．
以下を包含しているセグメント化を実施し、移動手段（１０）のカメラシステム（２－ｉ）の画像（Ｒ－４）から個々のフリーなマーキングされたターゲット領域（４６）を識別するための装置、乃至、システム：
－少なくとも一枚の画像（Ｒ－４）を受信できる様に構成された入力ユニット；
－上記５から１３のうち何れか一つの方法を実施するために構成されているデータ処理ユニット（３）；並びに、
－個々のフリーなマーキングされたターゲット領域（４６）に相当する第一セグメント（３５）と、移動手段（１０）の捕捉された周辺の少なくとも一つの更なるクラスの第二セグメント（３０；３２）を、制御ユニット（５）へ出力する様に構成された出力ユニット。
１５．
カメラシステム（２－ｉ）、制御ユニット（５）、並びに、上記１４の装置を包含する移動手段（１０）。

【国際調査報告】