特許 7309817 自動車の車体の運動を検出するための方法、システム及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-07

(45)【発行日】2023-07-18

(54)【発明の名称】自動車の車体の運動を検出するための方法、システム及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230710BHJP

   B60W 40/02 20060101ALI20230710BHJP

   B60W 50/14 20200101ALI20230710BHJP

   G06N 3/04 20230101ALI20230710BHJP

   G06N 3/08 20230101ALI20230710BHJP

【ＦＩ】

G06T7/00 650B

B60W40/02

B60W50/14

G06T7/00 350C

G06N3/04

G06N3/08

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2021186643

(22)【出願日】2021-11-16

(65)【公開番号】P2022082510

(43)【公開日】2022-06-02

【審査請求日】2021-11-17

(31)【優先権主張番号】10 2020 130 886.8

(32)【優先日】2020-11-23

(33)【優先権主張国・地域又は機関】DE

【前置審査】

(73)【特許権者】

【識別番号】510238096

【氏名又は名称】ドクター エンジニール ハー ツェー エフ ポルシェ アクチエンゲゼルシャフト

【氏名又は名称原語表記】Ｄｒ． Ｉｎｇ． ｈ．ｃ． Ｆ． Ｐｏｒｓｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ

【住所又は居所原語表記】Ｐｏｒｓｃｈｅｐｌａｔｚ １， Ｄ－７０４３５ Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】110003421

【氏名又は名称】弁理士法人フィールズ国際特許事務所

(72)【発明者】

【氏名】ヤニク ペーテルス

(72)【発明者】

【氏名】マティアス シュターデルマイヤー

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２００３－２２８８００（ＪＰ，Ａ）

【文献】特開２０１９－００８７０９（ＪＰ，Ａ）

【文献】特開２０１８－２０５９４０（ＪＰ，Ａ）

【文献】特開２００８－１１７０８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｂ６０Ｗ ４０／０２

Ｂ６０Ｗ ５０／１４

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

データ解析装置（４０）を用いて第１の自動車（１０）の車体（１２）の運動であって、前記車体（１２）の水平運動又は上下運動の変動を検出するための方法であって、前記方法は、
第２の自動車（２０）のカメラ・センサ装置（３０）を用いて画像・センサデータ（３２）を記録する工程（Ｓ１０）であって、前記画像・センサデータ（３２）は少なくとも前記第１の自動車（１０）を含む前記第２の自動車（２０）の周辺状況を表し、前記カメラ・センサ装置（３０）が少なくとも３，８４０×２，１６０ピクセル（４ｋ）のウルトラＨＤ解像度を有する少なくとも１つのアクションカメラ（３５）を備える、工程；
前記画像・センサデータ（３２）を前記データ解析装置（４０）へ転送する工程（Ｓ２０）であって、前記データ解析装置（４０）は、前記第１の自動車（１０）の前記車体（１２）の運動を検出するための検出システム（４００）であって人工知能（ＡＩ）及び機械画像解析の分野からのアルゴリズムを使用する検出システムを含み、前記データ解析装置（４０）は、クラウド計算インフラストラクチャにおけるクラウドベースソリューションとして設計され、移動無線接続を介して前記第２の自動車（２０）に接続され、前記検出システム（４００）は解析モジュール（４１０）及び分類モジュール（４３０）を含み、前記分類モジュール（４３０）は、前記分類モジュール（４３０）のトレーニング段階において判断された又は予め定められた前記第１の自動車（１０）の前記車体（１２）の運動の特徴（Ｍ _１ ，Ｍ _２ ，．．．，Ｍ _ｎ ）を含み、前記特徴（Ｍ _１ 、Ｍ _２ 、…、Ｍ _ｎ ）は前記第１の自動車（１０）の周辺状況についての一組の定義された状態（Ｓ _１ 、Ｓ _２ 、…、Ｓ _ｎ ）に割り当てられる、工程；
前記車体（１２）のあり得る運動を分類するために前記検出システム（４００）を用いて前記データ解析装置（４０）内で前記画像・センサデータ（３２）を処理する工程（Ｓ３０）；
前記車体（１２）の前記分類された運動を前記第１の自動車（１０）の周辺状況についての前記一組の定義された状態（Ｓ_１，Ｓ_２，．．．，Ｓ_ｎ）から少なくとも１つ選択された状態（Ｓ_ｊ）へ割り当てる工程（Ｓ４０）；
出力データ（４５０）を、自動運転機能におけるさらなる使用のために及び／又はユーザインターフェースのために、前記選択された状態（Ｓ_ｊ）から生成する工程（Ｓ５０）を含む、方法であって、
前記画像・センサデータ（３２）は処理され、前記出力データ（４５０）はリアルタイムで生成され、前記画像・センサデータ（３２）は、５Ｇ無線モジュールが使用される移動無線接続を用いて前記データ解析装置（４０）へ送信され、前記画像・センサデータ（３２）の解析と計算は、前記クラウド計算インフラストラクチャで実行され、当該解析と計算の結果はリアルタイムで第２の自動車（２０）に送り返され、前記自動運転機能に取り込まれ、第２の自動車（２０）の前車軸及び／又は後車軸の制動ユニットは、自動的によりソフトな制動へ設定される、方法。

【請求項2】

前記検出システム（４００）はニューラルネットワークによる深層学習を使用する、請求項１に記載の方法。

【請求項3】

前記ニューラルネットワークは畳み込みニューラルネットワークの形式である、請求項２に記載の方法。

【請求項4】

前記カメラ・センサ装置（３０）は、音響センサ（３７）及び／又はＬｉＤＡＲシステム及び／又は超音波システム及び／又はレーダシステム（３９）を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

第１の自動車（１０）の車体（１２）の運動であって、前記車体（１２）の水平運動又は上下運動の変動を検出するためのシステム（１００）であって、前記システムは、
第２の自動車（２０）のカメラ・センサ装置（３０）であって、画像・センサデータ（３２）が少なくとも前記第１の自動車（１０）を含む前記第２の自動車（２０）の周辺状況を表し、前記カメラ・センサ装置（３０）が少なくとも３，８４０×２，１６０ピクセル（４ｋ）のウルトラＨＤ解像度を有する少なくとも１つのアクションカメラ（３５）を備える、カメラ・センサ装置（３０）；及び、
データ解析装置（４０）を含み、
前記データ解析装置（４０）は、前記第１の自動車（１０）の前記車体（１２）の運動を検出するための検出システム（４００）であって人工知能（ＡＩ）及び機械画像解析の分野からのアルゴリズムを使用する検出システム（４００）を含み、前記データ解析装置（４０）は、クラウド計算インフラストラクチャにおけるクラウドベースソリューションとして設計され、移動無線接続を介して前記第２の自動車（２０）に接続され、、前記検出システム（４００）は解析モジュール（４１０）及び分類モジュール（４３０）を含み、前記分類モジュール（４３０）は、前記分類モジュール（４３０）のトレーニング段階において判断された又は予め定められた前記第１の自動車（１０）の前記車体（１２）の運動の特徴（Ｍ _１ ，Ｍ _２ ，．．．，Ｍ _ｎ ）を含み、前記特徴（Ｍ _１ 、Ｍ _２ 、…、Ｍ _ｎ ）は前記第１の自動車（１０）の周辺状況についての一組の定義された状態（Ｓ _１ 、Ｓ _２ 、…、Ｓ _ｎ ）に割り当てられ、前記データ解析装置（４０）は、前記検出システム（４００）を用いて画像・センサデータ（３２）を処理し、前記車体（１２）のあり得る運動を分類し、前記第１の自動車（１０）の周辺状況の前記一組の定義された状態（Ｓ_１，Ｓ_２，．．．，Ｓ_ｎ）から少なくとも１つ選択された状態（Ｓ_ｊ）を前記車体（１２）の分類された運動へ割り当て、そして出力データ（４５０）を、自動運転機能におけるさらなる使用のために及び／又はユーザインターフェース（７０）のために、前記選択された状態（Ｓ_ｊ）から生成するように設計され、前記画像・センサデータ（３２）は処理され、前記出力データ（４５０）はリアルタイムで生成され、前記画像・センサデータ（３２）は、５Ｇ無線モジュールが使用される移動無線接続を用いて前記データ解析装置（４０）へ送信され、前記画像・センサデータ（３２）の解析と計算は、前記クラウド計算インフラストラクチャで実行され、当該解析と計算の結果はリアルタイムで第２の自動車（２０）に送り返され、前記自動運転機能に取り込まれ、第２の自動車（２０）の前車軸及び／又は後車軸の制動ユニットは、自動的によりソフトな制動へ設定される、システム。

【請求項6】

前記検出システム（４００）は畳み込みニューラルネットワークの形式のニューラルネットワークによる深層学習を使用する、請求項５に記載のシステム（１００）。

【請求項7】

前記カメラ・センサ装置（３０）は、音響センサ（３７）及び／又はＬｉＤＡＲシステム及び／又は超音波システム及び／又はレーダシステム（３９）を含む、請求項５又は６に記載のシステム（１００）。

【請求項8】

実行中に請求項１～４のいずれか一項に記載の方法を行うように構成された実行可能プログラムコード（５５０）を含むコンピュータプログラム（５００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車の車体の運動を検出するための方法、システム及びコンピュータプログラムに関する。

【背景技術】

【0002】

自動車が人間により制御されれば、自動車の運転手はルート上に何らかの起こり得る危険の源があるかどうかを非常に厳密且つ直観的に観測する。特に、前を走る車両は、様々な情報（例えば、前を走る車両の速度、又は追い越し策略が計画されるかどうか）を取得するために厳密に観測される。この場合、車両の車体がまっすぐに動いているかどうか又は水平運動又は上下運動の変動（道路上のバンプ又は障害を指示し得る）が発生するかどうかもまた観測される。人間運転手は、運転中にこれらの観察を直観的に行い、そしてどのように情報を処理するかについてしばしば完全に承知しており、これをあり得る危険な状況へ割り当て、そしてこれに従って車両を制御する。

【0003】

自律的やり方で及び部分的に自律的やり方で運転する車両の場合、カメラシステム及びセンサが、車両の周辺状況（環境）に関係する情報を取得するために使用される。したがって、高度に自動化された運転の開発は、好適なセンサデータ（特に画像データなど）を記録するための車両センサシステムに課せられる必要要件の増加を伴う。加えて、記録されたセンサデータは、あり得る危険な状況に関して正しい結論をそれから取得するために注意深く解釈されなければならない。

【0004】

（特許文献１）は、誘導ルート仕様ユニット、運転環境情報判断ユニット、目標ルート仕様ユニット、車両距離を維持するための制御ユニット、水平運動度計算ユニット、障害回避処理検出ユニット、及び前を走る車両に追随するための追随コントローラを有する運転支援装置について説明する。水平運動度計算ユニットは前を走る車両の水平運動の程度を計算する。障害回避処理検出ユニットは前を走る車両の障害回避過程を検出する。

【先行技術文献】

【特許文献】

【0005】

【文献】独国特許出願公開第１０２０１８１０４０１１Ａ１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、本発明の目的は、自動車の車体の運動（この運動は、計算能力の高度信頼性及び効率的利用により区別される）を検出するための方法、システム及びコンピュータプログラムを提供することである。

【課題を解決するための手段】

【0007】

この目的は、本発明に従って達成され、方法に関しては特許請求項１の特徴を用いて、システムに関しては特許請求項９の特徴を用いて、コンピュータプログラムに関しては特許請求項１５の特徴を用いて達成される。別の請求項は本発明の好ましい構成に関する。

【0008】

第１の態様によると、本発明は、データ解析装置を用いて第１の自動車の車体の運動を検出する方法に関する。本方法は、以下の方法工程を含む：
第２の自動車のカメラ・センサ装置を用いて、少なくとも第１の自動車を含む第２の自動車の周辺状況（環境）を表す画像・センサデータを記録する工程；
画像・センサデータをデータ解析装置へ転送する工程であって、データ解析装置は、第１の自動車の車体の運動を検出するための検出システムであって人工知能（ＡＩ）及び機械画像解析の分野からのアルゴリズムを使用する検出システムを含む、工程；
車体のあり得る運動を分類するために検出システムを用いてデータ解析装置内で画像・センサデータを処理する工程；
車体の分類された運動を一組の定義された状態Ｓ_１，Ｓ_２，．．．，Ｓ_ｎから少なくとも１つ選択された状態Ｓ_ｊへ割り当てる工程；及び
出力データを、自動運転機能におけるさらなる使用のために及び／又はユーザインターフェースのために、該選択された状態Ｓ_ｊから生成する工程。

【0009】

本発明のさらなる展開は、リアルタイムで画像・センサデータが処理されそして出力データが生成されることを可能にする。

【0010】

一つの実施形態では、検出システムは解析モジュール及び分類モジュールを含む。

【0011】

検出システムは有利には、ニューラルネットワークによる深層学習を使用する。

【0012】

特に、ニューラルネットワークは畳み込みニューラルネットワークの形式である。

【0013】

さらなる展開は、分類モジュールが、車両の分類モジュールのトレーニング段階において判断された又は予め定められた車体の運動の特徴Ｍ_１，Ｍ_２，．．．，Ｍ_ｎを含むことを可能にする。

【0014】

画像・センサデータは有利には、移動無線接続を用いて（特に５Ｇ無線モジュールが使用される）データ解析装置へ送信される。

【0015】

一つの実施形態は、画像・センサ装置がアクションカメラ及び／又は音響センサ及び／又はＬｉＤＡＲシステム及び／又は超音波システム及び／又はレーダシステムを含むことを可能にする。

【0016】

第２の態様によると、本発明は第１の自動車の車体の運動を検出するためのシステムに関する。本システムは、画像・センサデータを記録するための第２の自動車の画像・センサ装置及びデータ解析装置を含む。画像・センサデータは、少なくとも第１の自動車を含む第２の自動車の周辺状況を表す。データ解析装置は、第１の自動車の車体の運動を検出するための検出システムを含む。検出システムは、人工知能（ＡＩ）及び機械画像解析の分野からのアルゴリズムを使用する。データ解析装置は、検出システムを用いて画像・センサデータを処理し、車体のあり得る運動を分類し、一組の定義された状態Ｓ_１，Ｓ_２，．．．，Ｓ_ｎから少なくとも１つ選択された状態Ｓ_ｊを車体の分類された運動へ割り当て、そして出力データを、自動運転機能におけるさらなる使用のために及び／又はユーザインターフェースのために、該選択された状態Ｓ_ｊから生成するように設計される。

【0017】

本発明のさらなる展開は、リアルタイムで画像・センサデータが処理されそして出力データが生成されることを可能にする。

【0018】

一つの実施形態では、検出システムは解析モジュール及び分類モジュールを含む。

【0019】

検出システムは有利には、ニューラルネットワーク（特には、畳み込みニューラルネットワークの形式である）による深層学習を使用する。

【0020】

特に、分類モジュールは、分類モジュールのトレーニング段階において判断された又は予め定められた第１の自動車の車体の運動の特徴Ｍ_１，Ｍ_２，．．．，Ｍ_ｎを含む。

【0021】

さらなる展開では、画像・センサデータは、移動無線接続を用いて（特に５Ｇ無線モジュールが使用される）データ解析装置へ送信される。

【0022】

特に、画像・センサ装置はアクションカメラ及び／又は音響センサ及び／又はＬｉＤＡＲシステム及び／又は超音波システム及び／又はレーダシステムを含む。

【0023】

第３の態様によると、本発明は、その実行中に第１の態様に従って本方法を行うように構成された実行可能プログラムコードを含むコンピュータプログラムに関する。

【0024】

本発明は、添付図面に示される例示的実施形態に基づき以下にさらに詳細に説明される。

【図面の簡単な説明】

【0025】

【図1】第１の自動車の車体の運動を検出するための本発明によるシステムの概略図を示す。

【図2】本発明による検出システムの例示的実施形態を示す。

【図3】本発明による方法の個々の方法工程を説明するための流れ図を示す。

【図4】本発明の第３の態様の一実施形態によるコンピュータプログラムを示す。

【発明を実施するための形態】

【0026】

本発明の追加特徴、態様及び利点又はその例示的実施形態は特許請求の範囲と併せて詳細説明を通して明確になる。

【0027】

図１は本発明によるシステム１００を示す。前を走る第１の自動車１０は、車体１２を有し、そして追随する第２の自動車２０により観測される。第２の自動車２０は、画像・センサデータ３２を記録エリア内に記録するためのカメラ・センサ装置３０を有する。カメラ・センサ装置３０は、第２の自動車２０の周辺状況（特に第２の自動車２０の前に在りそして第１の自動車１０が居る道路２２に向いた）を記録エリア内に記録する。第１の自動車１０の車体１２はこの場合はまっすぐに移動し得る、又は水平運動又は上下運動の変動（道路上のバンプ又は障害を指示し得る）が発生する。さらに、制動及び加速過程が発生し得、その結果、車体１２は変更された速度で移動することとなる。カメラ・センサ装置３０は、記録された画像・センサデータ３２をさらなる処理のためにデータ解析装置４０へ転送する。

【0028】

カメラ・センサ装置３０は特に、青、緑及び赤の原色を含む可視範囲内のＲＧＢカメラ３５を含む。しかし、紫外線範囲内のＵＶカメラ及び／又は赤外線領域内のＩＲカメラもまた追加的に設けられ得る。したがって、それらの記録スペクトルの観点で異なるカメラが様々な光条件を記録エリア内に撮像し得る。

【0029】

カメラ・センサ装置３０のカメラの記録周波数は、前を走る第１の自動車１０の高速度用に設計されており、そして画像・センサデータ３２を高い画像記録周波数で記録し得る。さらに、カメラ・センサ装置３０は、音響信号を捕捉するための音響センサ３７（マイクロホンなど）を備え得る。これはタイヤの横揺れ雑音又はエンジン雑音を記録することを可能にする。さらに、画像・センサ装置３０は、例えば前を走る第１の自動車１０とそれに続く第２の自動車２０との間の距離、又は前を走る第１の自動車１０の速度を測定するためにＬｉＤＡＲシステム、超音波システム及び／又はレーダシステム３９を有し得る。特に、これは三次元空間の情報を捕捉することを可能にする。

【0030】

カメラ・センサ装置３０の記録エリア内のサイズの著しい変化があると（例えば第１の自動車１０がカメラ・センサ装置３０の記録エリア内に出現すれば）カメラ・センサ装置３０が画像記録過程を自動的に開始するための手立てもなされ得る。これは選択的データ収集過程を可能にし、そして関連する画像・センサデータ３２だけがデータ解析装置４０により処理される。これは、計算能力をより効率的に使用することを可能にする。

【0031】

加えて、ＧＰＳ接続（全地球測位システム）が有利には、地理的場所を判断しそして地理的場所を、記録された画像・センサデータ３２へ割り当てるために設けられる。

【0032】

特に、第２の自動車２０の外側領域内に配置され得る耐候性アクションカメラがカメラ３５として使用されるための手立てがなされる。アクションカメラは広角魚眼レンズを有し、したがってほぼ１８０°の可視半径を実現することを可能にする。アクションカメラは通常、フルＨＤ（１９２０×１０８０画素）の映像を記録し得るが、ウルトラＨＤ又は４Ｋ（少なくとも３８４０×２１６０画素）のアクションカメラを使用することも可能であり、したがって画質が著しく向上する。画像記録周波数は通常、４Ｋでは６０画像・秒、そしてフルＨＤでは最大２４０画像／秒である。加えて、一体型画像振れ補正装置もまた設けられ得る。アクションカメラはまた、一体型マイクロホンをしばしば備える。背景雑音を特別なやり方で隠すために、差動信号処理方法も使用され得る。

【0033】

カメラ・センサ装置３０により記録される画像・センサデータ３２は好適には、ワイヤレス移動無線接続を介しデータ解析装置４０へ転送される。

【0034】

データ解析装置４０は好適には、検出システム４００を用いて画像・センサデータ３２を処理するプロセッサ４１を有する。プロセッサ４１又は別のプロセッサはまた、カメラ・センサ装置３０を制御するために設計される。しかし、画像・センサデータ３２がまず第一にメモリユニット５０又はソフトウェアモジュール５５内に格納され、そしてしばらく経ってだけデータ解析装置４０により処理されることも考えられる。データ解析装置４０及びプロセッサ４１は、第２の自動車２０へ組み込まれ得てもよいし、移動無線接続を介し第２の自動車２０へ接続されるクラウド計算インフラストラクチャを備えるクラウドベースソリューションの形式であってもよい。

【0035】

加えて、データ解析装置４０は１つ又は複数の別のデータベース６０にアクセスし得る。データベース６０は、例えば記録された画像・センサデータ３２又は別の画像及び／又は特徴変数を解析するための分類パラメータを格納し得る。さらに、安全基準を定義する目標変数及び目標値がデータベース６０内に格納され得る。別のデータを入力するためのそしてデータ解析装置４０により生成された計算結果を表示するためのユーザインターフェース７０もまた設けられ得る。特に、ユーザインターフェース７０はタッチスクリーンを有するディスプレイの形式である。

【0036】

本発明に関連して、「プロセッサ」は、例えばマシン、又は電子回路、又は強力コンピュータを意味するものと理解され得る。プロセッサは、特にメインプロセッサ（中央処理ユニット、ＣＰＵ）、マイクロプロセッサ又はマイクロコントローラであり得、例えば可能性としてプログラム命令などを格納するためのメモリユニットと組み合わせた特定用途向け集積回路又はデジタルシグナルプロセッサであり得る。プロセッサはまた、仮想プロセッサ、仮想マシン又はソフトＣＰＵを意味するものとして理解され得る。プロセッサはまた、例えば本発明の部品の、モジュールの、又は他の態様及び／又は部分的態様の、特徴を本方法の発明に従って実施するようなやり方で本発明に従って前記方法を行うための構成工程を備えた又は同構成工程により構成されるプログラム可能プロセッサであり得る。高度に並列な計算ユニット及び強力グラフィックスモジュールも設けられ得る。

【0037】

本発明に関連して、「メモリユニット」又は「メモリモジュール」などは、例えばランダムアクセスメモリ（ＲＡＭ）の形式の揮発性メモリ、又はハードディスク若しくはデータストレージ媒体などの永続メモリ、又は例えば交換可能メモリモジュールを意味するものと理解され得る。しかし、メモリモジュールはまたクラウドベースのメモリソリューションであり得る。

【0038】

本発明に関連して、「モジュール」は、例えばプロセッサ、及び／又はプログラム命令を格納するためのメモリユニットを意味するものと理解され得る。例えば、プロセッサは特に、プロセッサが本発明による方法又は本発明に従って本方法の工程を実施又は実行するために機能を行うようにプログラム命令を実行するように構成される。

【0039】

本発明に関連して、記録された画像・センサデータ３２は、画像・センサ装置３０の記録結果からの生データと既に前処理されたデータとの両方を意味するものと理解されるべきである。

【0040】

特に、画像・センサ装置３０は５Ｇ標準規格の移動無線モジュールを有し得る。５Ｇは、第５世代移動無線標準規格であり、そして４Ｇ移動無線標準規格と比較して、最大１０ギガビット／秒のより高いデータ速度、より高い周波数（例えば２１００、２６００又は３６００メガヘルツ）範囲の使用、増加された周波数能力、そして、したがって最大１００万装置／平方キロメートルが同時に対処され得るので増加されたデータスループット及びリアルタイムデータ送信により区別される。待ち時間は数ミリ秒～１ミリ秒未満であり、その結果、データ及び計算結果のリアルタイム送信が可能である。画像・センサ装置３０により記録された画像・センサデータ３２は、対応する解析及び計算が行われるクラウド計算プラットホームへリアルタイムで送信される。解析及び計算結果は、第２の自動車２０へリアルタイムで送信され、そして、したがって運転手の命令を処理する際に又は自動運転機能内に迅速に取り込まれ得る。データを送信する際のこの速度は、クラウドベースソリューションが画像・センサデータ３２を処理するために使用されるように意図されていれば必要である。クラウドベースソリューションは、高いそしてしたがって速い計算能力の利点を提供する。

【0041】

データ解析装置４０が車両へ組み込まれれば、Ｃｏｒａｌ Ｄｅｖ ＢｏａｒｄなどのＡＩハードウェアアクセラレーションが、実時間処理を可能にするためにプロセッサ４１のために有利に使用される。これはテンソル処理ユニット（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を有するマイクロコンピュータであり、その結果、予めトレーニングされたソフトウェアアプリケーションが最大７０画像／秒を評価し得る。

【0042】

図２は、第１の自動車１０の車体１２の運動の変化を検出するために、捕捉及び／又は格納された画像・センサデータ３２を解析及び処理するためのソフトウェアアプリケーションの形式である本発明による検出システム４００を示す。特に、検出システム４００は、捕捉された画像・センサデータ３２を、選択及び分類するために人工知能及びマシン画像解析アルゴリズムを用いて処理する。検出システム４００は有利には、例えば捕捉された画像・センサデータ３２を解析するための機械学習（好適には畳み込みニューラルネットワークによる深層学習）の分野からのアルゴリズムを使用する。加えて、光学、音響及び距離測定などの様々なセンサ源からの画像・センサデータ３２が、運転状況の包括的ピクチャを取得するために互いに組み合わせられ得る。

【0043】

ニューラルネットワークは、複数の層内に配置されそして異なるやり方で互いに接続されるニューロンを含む。ニューロンは、特別なやり方で評価するために、そしてニューロン出力において、変更された形式で別のニューロンへ転送するために、又は最終結果としてそれを出力するために、情報を外部から又はその入力における別のニューロンから受信することができる。隠れニューロンが入力ニューロン及び出力ニューロンとの間に配置される。ネットワークタイプに依存して、隠れニューロンの複数の層が存在し得る。これらは、情報が転送され処理されることを保証する。出力ニューロンは、結果及び出力を外界へ最終的に提供する。ニューロンを配置及びリンクすることは、フィードフォワードネットワーク、リカレントネットワーク、又は畳み込みニューラルネットワークなどの様々なタイプのニューラルネットワークを生成する。ネットワークは教師無し学習又は監視付き学習を用いてトレーニングされ得る。

【0044】

特に、検出システム４００は、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の形式である解析モジュール４１０を有する。カメラ・センサ装置３０からの画像・センサデータ３２は解析モジュール４１０の入力データとして使用される。加えて、データベース６０からのデータも使用され得る。入力データのデータフォーマットは好適にはテンソルの形式である。加えて、様々な画像形式が有利に使用され得る。

【0045】

畳み込みニューラルネットワークは人工ニューラルネットワークの特殊形式である。畳み込みニューラルネットワークは、複数の畳み込み層を有し、そして、画像及び音声認識の分野における人工知能（ＡＩ）による機械学習及びアプリケーションに非常に適する。畳み込みニューラルネットワークの操作方法は、生物過程をある程度モデルにしており、そしてその構造は脳の視覚野に匹敵する。畳み込みニューラルネットワークは通常、監視されたやり方でトレーニングされる。従来のニューラルネットワークは、複数のレベルにおいて十分にメッシュ化された又は部分的にメッシュ化されたニューロンを含む。しかし、これらの構造は、画素の数に対応する入力の数が利用可能である必要があると思われるので画像を処理する際にその限界に達する。畳み込みニューラルネットワークは、様々な層で構成され、そして、基本原理の観点では、部分的且つ局所的にメッシュ化された神経フィードフォワードネットワークである。ＣＮＮの個々の層は、畳み込み層、プーリング層、及び十分にメッシュ化された層である。プーリング層は、畳み込み層に続いており、そして、この組み合わせで連続して複数回存在し得る。プーリング層及び畳み込み層は局所的にメッシュ化されたサブネットワークであるので、これらの層内の接続の数は、大きな入力データ容量の場合ですら制限されたままであり、そして、管理可能フレームワーク内で制限されたままである。十分にメッシュ化された層は終端を形成する。畳み込み層は、実際の畳み込みレベルであり、そして、入力データ内の個々の特徴を検出及び抽出することができる。画像処理中、これらは線、縁、又は特定形状などの特徴であり得る。入力データは、マトリクス又はベクトルなどのテンソルの形式で処理される。サブサンプリング層とも呼ばれるプーリング層は、適切なフィルタ機能を用いて、検出された特徴の解像度を圧縮し低減する。特に、最大プール機能が、この目的に使用され、そしてデータの（通常は）非重畳部分の最大値を計算する。しかし、平均値プーリングがまた、最大プーリングに加えて使用され得る。プーリングは余計な情報を排除し、データ容量を低減する。機械学習中の性能は結果として低下されない。計算速度は低減されたデータ容量の結果として増加される。

【0046】

十分にリンクされた層が畳み込みニューラルネットワークの終端を形成する。これは、畳み込み層及びプーリング層の系列の反復の結果である。上流層のすべての特徴及び要素は各出力特徴へリンクされる。十分に接続されたニューロンが複数のレベル内に配置され得る。ニューロンの数は、畳み込みニューラルネットワークにより処理されるように意図された入力データに依存する。

【0047】

したがって、従来の非畳み込みニューラルネットワークと比較して、畳み込みニューラルネットワーク（ＣＮＮ）は数々の利点を提供する。畳み込みニューラルネットワーク（ＣＮＮ）は、大量の入力データを有する機械学習及び人工知能アプリケーション（画像認識など）に好適である。ネットワークは、確実に動作し、そして歪み又は他の光学的変化に対し不感である。ＣＮＮは、様々な光条件でそして様々な観点から記録された画像を処理し得る。それにもかかわらず、ＣＮＮは画像の典型的特徴を検出する。ＣＮＮは、複数の局所的、部分的にメッシュ化された層に分割されるので、十分にメッシュ化されたニューラルネットワークより著しく低いメモリ空間必要要件を有する。畳み込み層はメモリ要件を劇的に低減する。同様に、畳み込み層は、畳み込みニューラルネットワークのトレーニング時間を大いに短縮する。ＣＮＮは、最近のグラフィックプロセッサを非常に効率的に使用することによりトレーニングされ得る。ＣＮＮは、フィルタの助けを借りて入力画像の特徴を検出及び抽出する。ＣＮＮはまず第一に、第１の層内の線、色特徴、又は縁などの単純構造を検出する。別の層では、畳み込みニューラルネットワークは、これらの構造（単純な形状又は曲線など）の組み合せを学習する。より複雑な構造は各レベルにより識別され得る。データはレベル内で再三再サンプリングされ、濾過される。

【0048】

したがって、画像・センサデータ３２は好適には、解析モジュール４１０内の畳み込みニューラルネットワークを用いて処理される。車両の車体１２の運動の特徴Ｍ_１，Ｍ_２，．．．，Ｍ_ｎを含む分類モジュール４３０も設けられる。加えて、第１の自動車１０の周辺状況のいくつかの状態Ｓ_１，Ｓ_２，．．．，Ｓ_ｎがこれらの特徴Ｍ_１，Ｍ_２，．．．，Ｍ_ｎへ割り当てられ得る。したがって、車体１２のいくつかの高速上下運動は、道路２２の表面のあり得るバンプ及び／又は凹凸並びに損傷を指示し得る。車体１２の水平運動は、道路２２上に在りそして前を走る第１の自動車１０により回避される障害の指標であり得る。前を走る第１の自動車１０までの過度に短い距離が、検出され得、そして危急な運転状況を指示し得る。安全性レベル（低い安全性レベル～高い安全性レベル）が状態Ｓ_１，Ｓ_２，．．．，Ｓ_ｎへ割り当てられる。第１の自動車１０の周辺状況のこれらの特徴Ｍ_１，Ｍ_２，．．．，Ｍ_ｎ及び／又は状態Ｓ_１，Ｓ_２，．．．，Ｓ_ｎは好適には、ＣＮＮによりトレーニング段階中に判断される又は予め定義されそして分類モジュール４３０へ送信される。

【0049】

このようなやり方で処理された画像・センサデータ３２は、自動運転機能において出力データ４５０として一体化される、及び／又はユーザインターフェース７０へ送信される。これらは、第２の自動車２０の運転手への推奨行為又は警告としてそこで出力され得る。例えば、変更された運転振る舞いを運転手に採用するように促すように意図された警告トーン又は光指標が、ユーザインターフェース７０を介し出力され得る。自動運転機能の場合、運転速度は例えば自動的に低下され得る。さらに、第２の自動車２０の前車軸及び／又は後車軸の制動ユニットが自動的に適応化されるための手立てがなされ得、その結果、制動は例えばよりソフトな制動へ設定され、第２の自動車２０はより安全に且つ乗員にとってより快適なやり方でバンプ又は道路破損を乗り越え得る。

【0050】

したがって、本発明による前を走る第１の自動車の車体の運動を検出するための方法は、以下の工程を含む：
工程Ｓ１０では、画像・センサデータ３２は第２の自動車２０のカメラ・センサ装置３０により記録され、画像・センサデータ３２は、少なくとも第１の自動車１０を含む自動車２０の周辺状況を表す。

【0051】

工程Ｓ２０では、画像・センサデータ３２はデータ解析装置４０へ転送され、データ解析装置４０は、第１の自動車１０の車体１２の運動を検出するための検出システム４００であって人工知能（ＡＩ）及び機械画像解析の分野からのアルゴリズムを使用する検出システムを含む。

【0052】

工程Ｓ３０では、画像・センサデータ３２は、車体１２のあり得る運動を分類するために検出システム４００を用いてデータ解析装置４０内で処理される。

【0053】

工程Ｓ４０では、一組の定義された状態Ｓ_１，Ｓ_２，．．．，Ｓ_ｎから少なくとも１つ選択された状態Ｓ_ｊが、分類された運動へ割り当てられる。

【0054】

工程Ｓ５０では、出力データ４５０が、自動運転機能におけるさらなる使用のために及び／又はユーザインターフェース７０のために、該選択された状態Ｓ_ｊから生成される。

【0055】

したがって、第２の自動車２０の周辺状況からの画像は、前を走る第１の自動車１０の車体１２の運動に関して、人工知能（ＡＩ）及びマシン画像解析の分野からのアルゴリズムを使用する検出システム４００を用いてリアルタイムで解析され得る。本発明は、第１の自動車１０の車体１２の運動を自動的に捕捉することを可能にする。バンプ又は道路面に対する破損の発生などの道路状況は、分類された運動から導出され得る。解析の結果は、例えば、前を走る第１の自動車１０の車体１２の運動が第２の自動車２０の危急な運転状況を指示すれば、第２の自動車２０のユーザインターフェース７０上に例えば光学的及び／又は音響的警報信号として出力される。

【0056】

加えて、運転振る舞い又は車両部品の設定に対する適合化（前車軸及び／又は後車軸の制動の程度など）は自動又は半自動運転機能によりなされ得る。前を走る第１の自動車１０までの過度に短い距離が検出されれば、第２の自動車２０の運転速度は自動的に低下され得る又は制動過程が開始され得る。データはリアルタイムで送信され評価されるので、ミリ秒の領域内の高速応答が可能である。これは、特に第２の自動車２０の高い運転速度の場合、このやり方だけで自動運転機能は現在の運転状況に適切に反応し得るということを保証することが可能であるので非常に重要である。したがって、本発明は運転中の安全性をさらに増加することを可能にする。

【符号の説明】

【0057】

１０ 第１の自動車
１２ 車体
２０ 第２の自動車
２２ 道路
３０ カメラ・センサ装置
３２ 画像・センサデータ
３５ ＲＧＢカメラ
３７ 音響センサ
３９ ＬｉＤＡＲシステム、超音波システム、レーダシステム
４０ データ解析装置
４１ プロセッサ
５０ メモリユニット
５５ ソフトウェアモジュール
６０ データベース
７０ ユーザインターフェース
１００ システム
４００ 検出システム
４１０ 解析モジュール
４３０ 分類モジュール
４５０ 出力データ
５００ コンピュータプログラム
５５０ プログラムコード

【図1】

【図2】

【図3】

【図4】