特許 6835915 自動運転支援方法、運転機器、支援機器及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6835915

(24)【登録日】2021年2月8日

(45)【発行日】2021年2月24日

(54)【発明の名称】自動運転支援方法、運転機器、支援機器及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G08G 1/00 20060101AFI20210215BHJP

   G06N 3/08 20060101ALI20210215BHJP

   G05D 1/02 20200101ALI20210215BHJP

   B60W 50/04 20060101ALN20210215BHJP

【ＦＩ】

   G08G1/00 D

   G06N3/08

   G08G1/00 A

   G05D1/02 H

   !B60W50/04

【請求項の数】16

【全頁数】15

(21)【出願番号】特願2019-131410(P2019-131410)

(22)【出願日】2019年7月16日

(65)【公開番号】特開2020-42787(P2020-42787A)

(43)【公開日】2020年3月19日

【審査請求日】2019年7月16日

(31)【優先権主張番号】201811039166.9

(32)【優先日】2018年9月6日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】515329827

【氏名又は名称】百度在線網絡技術（北京）有限公司

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】陳 幽涵

【審査官】 増子 真

(56)【参考文献】

【文献】 特開２０１８−０８１６７３（ＪＰ，Ａ）

【文献】 特開平０７−１０８８４９（ＪＰ，Ａ）

【文献】 特開２０１７−１９７０６６（ＪＰ，Ａ）

【文献】 再公表特許第２０１６／１５８１９７（ＪＰ，Ａ１）

【文献】 米国特許出願公開第２０１８／００７４４９３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１７／０１３５６２１（ＵＳ，Ａ１）

【文献】 韓国公開特許第１０−２０１７−０１３３１４９（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｗ １０／００ − １０／３０

Ｂ６０Ｗ ３０／００ − ６０／００

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０１Ｃ ２３／００ − ２５／００

Ｇ０９Ｂ ２３／００ − ２９／１４

Ｇ０５Ｄ １／００ − １／１２

Ｇ０６Ｎ ３／００ − ３／１２

Ｂ６２Ｄ ６／００ − ６／１０

Ｂ６０Ｔ ７／１２ − ８／１７６９

Ｂ６０Ｔ ８／３２ − ８／９６

(57)【特許請求の範囲】

【請求項1】

自動運転支援方法であって、
現在の自動運転モデルによって収集された現在シーンでの現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送することと、
前記支援機器がフィードバックした運転命令を受信して実行し、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられることと、を含み、
前記現在シーン情報は前記自動運転支援方法を実行する運転機器が設置された移動体の前記現在シーンでのシーン情報であり、前記処理結果は前記現在シーンでの各運転命令のマッチング度、及び前記現在シーンに最もマッチする運転命令を含み、
前記現在の自動運転モデルによって収集された現在シーンでの現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送することは、
前記現在の自動運転モデルによって収集された現在シーンでの現在シーン情報を処理し、処理結果を取得すること、
前記処理結果の信頼度を確定すること、及び
前記信頼度が予め設定された閾値より小さい場合、支援機器へ運転支援要求を発送することを含むことを特徴とする自動運転支援方法。

【請求項2】

前記自動運転モデルは深層学習アルゴリズムモデルを含み、
前記運転命令は、現在シーン情報を組み合わせて、トレーニングサンプルを生成することに用いられ、前記トレーニングサンプルによって前記深層学習アルゴリズムモデルをトレーニングして、トレーニングされた深層学習アルゴリズムモデルを取得し、前記トレーニングされた深層学習アルゴリズムモデルは前記最適化された自動運転モデルであることを特徴とする請求項１に記載の自動運転支援方法。

【請求項3】

前記信頼度が予め設定された閾値より大きいか又は等しい場合、前記処理結果に応じて自動運転タスクを実行することを特徴とする請求項１に記載の自動運転支援方法。

【請求項4】

運転機器が発送した運転支援要求を受信し、前記運転支援要求は前記運転機器が現在の自動運転モデルによって収集された現在シーンでの現在シーン情報を処理し、且つ処理結果に応じて前記処理結果の信頼度を確定し、及び前記信頼度が予め設定された閾値より小さい場合、支援機器へ発送したものであり、前記現在シーン情報は前記運転機器が設置された移動体の前記現在シーンでのシーン情報であり、前記処理結果は前記現在シーンでの各運転命令のマッチング度、及び前記現在シーンに最もマッチする運転命令を含むことと、
ユーザーがトリガーした前記現在シーンに最もマッチする運転命令を受信し、且つ前記運転機器へ前記運転命令を送信して、前記運転機器が運転命令を実行するようにし、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられることと、を含むことを特徴とする自動運転支援方法。

【請求項5】

前記運転支援要求及び前記運転命令は無線モバイルネットワークによって前記運転機器に送信されることを特徴とする請求項４に記載の自動運転支援方法。

【請求項6】

前記運転支援要求及び前記運転命令は近距離無線通信技術によって前記運転機器に送信されることを特徴とする請求項４に記載の自動運転支援方法。

【請求項7】

現在の自動運転モデルによって収集された現在シーンでの現在シーン情報を処理し、処理結果を取得するための第１処理ユニットと、
処理結果に応じて支援機器へ運転支援要求を発送することに用いられ、更に前記支援機器がフィードバックした運転命令を受信して、前記運転命令を実行するようにすることに用いられ、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる第１通信ユニットと、を備え、
前記現在シーン情報は前記運転機器が設置された移動体の前記現在シーンでのシーン情報であり、前記処理結果は前記現在シーンでの各運転命令のマッチング度、及び前記現在シーンに最もマッチする運転命令を含み、
前記第１処理ユニットは更に、前記処理結果の信頼度を確定し、前記信頼度が予め設定された閾値より小さい場合、前記通信ユニットによって支援機器へ運転支援要求を発送することに用いられることを特徴とする運転機器。

【請求項8】

前記自動運転モデルは深層学習アルゴリズムモデルを含み、
前記運転命令は、現在シーン情報を組み合わせて、トレーニングサンプルを生成することに用いられ、前記トレーニングサンプルによって前記深層学習アルゴリズムモデルをトレーニングして、トレーニングされた深層学習アルゴリズムモデルを取得し、前記トレーニングされた深層学習アルゴリズムモデルは前記最適化された自動運転モデルであることを特徴とする請求項７に記載の運転機器。

【請求項9】

前記信頼度が予め設定された閾値より大きいか又は等しい場合、前記処理結果に応じて自動運転タスクを実行することを特徴とする請求項７に記載の運転機器。

【請求項10】

運転機器が発送した運転支援要求を受信することに用いられ、前記運転支援要求は前記運転機器が現在の自動運転モデルによって収集された現在シーンでの現在シーン情報を処理し、且つ処理結果に応じて前記処理結果の信頼度を確定し、及び前記信頼度が予め設定された閾値より小さい場合、支援機器へ発送したものであり、前記現在シーン情報は前記運転機器が設置された移動体の前記現在シーンでのシーン情報であり、前記処理結果は前記現在シーンでの各運転命令のマッチング度、及び前記現在シーンに最もマッチする運転命令を含む、第２通信ユニットと、
ユーザーがトリガーした前記現在シーンに最もマッチする運転命令を受信するためのインタラクティブユニットと、を備え、
前記第２通信ユニットは更に、前記運転機器へ前記運転命令を送信して、前記運転機器が運転命令を実行するようにすることに用いられ、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられることを特徴とする支援機器。

【請求項11】

前記運転支援要求及び前記運転命令は前記第２通信ユニットから無線モバイルネットワークによって前記運転機器に送信されることを特徴とする請求項１０に記載の支援機器。

【請求項12】

前記運転支援要求及び前記運転命令は前記第２通信ユニットから近距離無線通信技術によって前記運転機器に送信されることを特徴とする請求項１０に記載の支援機器。

【請求項13】

運転機器であって、メモリ、前記メモリに接続されたプロセッサ、及び前記メモリに記憶されて且つ前記プロセッサ上で実行可能なコンピュータプログラムを備え、
前記プロセッサは前記コンピュータプログラムを実行する際に請求項１〜３のいずれか１項に記載の方法を実行することを特徴とする運転機器。

【請求項14】

支援機器であって、メモリ、前記メモリに接続されたプロセッサ、及び前記メモリに記憶されて且つ前記プロセッサ上で実行可能なコンピュータプログラムを備え、
前記プロセッサは前記コンピュータプログラムを実行する際に請求項４〜６のいずれか１項に記載の方法を実行することを特徴とする支援機器。

【請求項15】

コンピュータ読み取り可能な記憶媒体であって、プログラムを含み、前記プログラムが端末上で実行される際に、端末に請求項１〜３のいずれか１項に記載の方法を実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項16】

コンピュータ読み取り可能な記憶媒体であって、プログラムを含み、前記プログラムが端末上で実行される際に、端末に請求項４〜６のいずれか１項に記載の方法を実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は自動運転技術に関し、特に自動運転支援方法、運転機器、支援機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

科学技術の発展と社会の進歩に伴って、自動運転技術は交通分野のトレンドとなっている。

【0003】

従来の技術において、運転機器は、予め設定された自動運転モデルを通じて自動運転タスクを遂行する。運転機器は現在のシーン情報をリアルタイムで収集して、且つ自動運転モデルによってシーン情報を処理し、運転機器へ対応した運転命令を出力するようにする。

【0004】

しかしながら、自動運転モデルは運転機器内に予め設定されているため、ひとたび運転機器が複雑な地形や複雑な道路状況に遭遇した場合、自動運転モデルでシーン情報を処理して、運転機器が自動運転タスクを実行し続けることができないという問題が発生しやすい。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記に言及した従来の運転機器が自動運転タスクを実行する際に、予め設定された自動運転モデルがシーン情報を処理することができない場合、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまうという問題に対して、本発明はそのような問題を解決する自動運転支援方法、運転機器、支援機器及びコンピュータ読み取り可能な記憶媒体を提供する。

【課題を解決するための手段】

【0006】

一態様によれば、本発明の自動運転支援方法は、現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送することと、前記支援機器がフィードバックした運転命令を受信して実行し、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられることと、を含む。

【0007】

その中の１つの選択可能な実施形態において、前記自動運転モデルは深層学習アルゴリズムモデルを含み、前記運転命令は、現在シーン情報を組み合わせて、トレーニングサンプルを生成することに用いられ、前記トレーニングサンプルによって前記深層学習アルゴリズムモデルをトレーニングして、トレーニングされた深層学習アルゴリズムモデルを取得し、前記トレーニングされた深層学習アルゴリズムモデルは前記最適化された自動運転モデルである自動運転モデルは深層学習アルゴリズムモデルを含む。

【0008】

その中の１つの選択可能な実施形態において、前記現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送することは、前記現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果を取得すること、前記処理結果の信頼度を確定すること、及び前記信頼度が予め設定された閾値より小さい場合、支援機器へ運転支援要求を発送することを含む。

【0009】

その中の１つの選択可能な実施形態において、前記信頼度が予め設定された閾値より大きいか又は等しい場合、前記処理結果に応じて自動運転タスクを実行する。

【0010】

他の態様によれば、本発明の自動運転支援方法は、運転機器が発送した運転支援要求を受信し、前記運転支援要求は前記運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、且つ処理結果に応じて発送したものであることと、ユーザーがトリガーした運転命令を受信し、且つ前記運転機器へ前記運転命令を送信して、前記運転機器が運転命令を実行するようにし、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられることと、を含む。

【0011】

その中の１つの選択可能な実施形態において、前記運転要求及び前記運転命令は無線モバイルネットワークによって前記運転機器に送信される。

【0012】

その中の１つの選択可能な実施形態において、前記運転要求及び前記運転命令は近距離無線通信技術によって前記運転機器に送信される。

【0013】

別の態様によれば、本発明の運転機器は、現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果を取得するための第１処理ユニットと、処理結果に応じて支援機器へ運転支援要求を発送することに用いられ、更に前記支援機器がフィードバックした運転命令を受信して、前記運転命令を実行するようにすることに用いられ、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる第１通信ユニットと、を備える。

【0014】

その中の１つの選択可能な実施形態において、前記自動運転モデルは深層学習アルゴリズムモデルを含み、前記運転命令は、現在シーン情報を組み合わせて、トレーニングサンプルを生成することに用いられ、前記トレーニングサンプルによって前記深層学習アルゴリズムモデルをトレーニングして、トレーニングされた深層学習アルゴリズムモデルを取得し、前記トレーニングされた深層学習アルゴリズムモデルは前記最適化された自動運転モデルである。

【0015】

その中の１つの選択可能な実施形態において、前記第１処理ユニットは更に、前記処理結果の信頼度を確定し、前記信頼度が予め設定された閾値より小さい場合、前記通信ユニットによって支援機器へ運転支援要求を発送することに用いられる。

【0016】

その中の１つの選択可能な実施形態において、前記信頼度が予め設定された閾値より大きいか又は等しい場合、前記処理結果に応じて自動運転タスクを実行する。

【0017】

別の態様によれば、本発明の支援機器は、運転機器が発送した運転支援要求を受信することに用いられ、前記運転支援要求は前記運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、且つ処理結果に応じて発送したものである第２通信ユニットと、ユーザーがトリガーした運転命令を受信するためのインタラクティブユニットと、を備え、前記第２通信ユニットは更に、前記運転機器へ前記運転命令を送信して、前記運転機器が運転命令を実行するようにすることに用いられ、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。

【0018】

その中の１つの選択可能な実施形態において、前記運転命令は前記第２通信ユニットから無線モバイルネットワークによって前記運転機器に送信される。

【0019】

その中の１つの選択可能な実施形態において、前記運転命令は前記第２通信ユニットから近距離無線通信技術によって前記運転機器に送信される。

【0020】

別の態様によれば、本発明の運転機器は、メモリ、前記メモリに接続されたプロセッサ、及び前記メモリに記憶されて且つ前記プロセッサ上で実行可能なコンピュータプログラムを備え、前記プロセッサは前記コンピュータプログラムを実行する際に上記の自動運転支援方法のいずれかを実行する。

【0021】

別の態様によれば、本発明の支援機器は、メモリ、前記メモリに接続されたプロセッサ、及び前記メモリに記憶されて且つ前記プロセッサ上で実行可能なコンピュータプログラムを備え、前記プロセッサは前記コンピュータプログラムを実行する際に上記の自動運転支援方法のいずれかを実行する。

【0022】

別の態様によれば、本発明のコンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な記憶媒体であって、プログラムを含み、前記プログラムが端末上で実行される際に、端末に上記の自動運転支援方法のいずれかに記載の方法を実行させる。

【0023】

本発明による自動運転支援方法、運転機器、支援機器及びコンピュータ読み取り可能な記憶媒体は、運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送し、支援機器がフィードバックした運転命令を受信して実行し、前記運転命令は前記現在シーン情報を組み合わせて前記現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。これによって、運転機器が自動運転タスクを実行する際に、一旦予め設定された自動運転モデルがシーン情報を処理することができない場合に、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまう問題を解決し、自動運転モデルのインテリジェンスと適用性を向上させる。

【図面の簡単な説明】

【0024】

以下の図面を通じて、本発明の明確な実施例を示し、より詳細な説明は後述する。これらの図面及び文字説明は任意の形態によって本開示の構想の範囲を限定することを意味せず、特定の実施例を参照することにより当業者のために本開示の概念を説明する。これらの図面は明細書に併せられて本明細書の一部となり、本開示内容に沿った実施例を示すものであり、且つ明細書とともに本開示の原理を解釈することに用いられる。

【図1】本発明によるネットワークアーキテクチャ模式図である。

【図2】本発明の実施例１による自動運転支援方法のフローチャートである。

【図3】本発明の実施例２による自動運転支援方法のフローチャートである。

【図4】本発明の実施例３による自動運転支援方法のフローチャートである。

【図5】本発明の実施例４による自動運転支援方法のフローチャートである。

【図6】本発明の実施例５による運転機器の構造模式図である。

【図7】本発明の実施例６による支援機器の構造模式図である。

【図8】本発明の実施例７による運転機器のハードウェア構造模式図である。

【図9】本発明の実施例８による支援機器のハードウェア構造模式図である。

【発明を実施するための形態】

【0025】

本発明の実施例の目的、技術的解決手段及び利点をより明らかにするために、以下、本発明の実施例における図面を組み合わせて、本発明の実施例における技術的解決手段を説明する。

【0026】

科学技術の発展と社会の進歩に伴って、自動運転技術は交通分野のトレンドとなっている。従来の技術において、運転機器は、予め設定された自動運転モデルを通じて自動運転タスクを遂行する。運転機器は現在のシーン情報をリアルタイムで収集して、且つ自動運転モデルによってシーン情報を処理し、運転機器へ対応した運転命令を出力するようにする。

【0027】

しかしながら、自動運転モデルは運転機器内に予め設定されているため、ひとたび運転機器が複雑な地形や複雑な道路状況に遭遇した場合、自動運転モデルにはシーン情報を処理して、運転機器が自動運転タスクを実行し続けることができないという問題が発生しやすい。

【0028】

上記に言及した従来の運転機器が自動運転タスクを実行する際、予め設定された自動運転モデルがシーン情報を処理することができない場合、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまうという問題に対して、本発明はそのような問題を解決する自動運転支援方法、運転機器、支援機器及びコンピュータ読み取り可能な記憶媒体を提供する。なお、本願による自動運転支援方法、運転機器、支援機器及びコンピュータ読み取り可能な記憶媒体は、自動運転を使用するシナリオに利用可能で、これらのシナリオは、有人状態で無人運転させるシーン、非有人状態で無人機器がパスファインディングを含むエンジニアリングタスクを自動実行するシーン等を含むが、これらに制限されるものではない。

【0029】

図１は本発明によるネットワークアーキテクチャ模式図であり、図１に示すように、本発明によるネットワークアーキテクチャは、運転機器１及び支援機器２を少なくとも備える。ただし、運転機器１とは無人車両、無人機、無人ロボット等の移動体内に設置された機器又はモジュールを指す。支援機器２とは運転機器１と通信接続してデータインタラクティブを行うことができるヒューマンコンピュータインタラクション端末を指す。

【0030】

図２は本発明の実施例１による自動運転支援方法のフローチャートである。

【0031】

図２に示すように、自動運転支援方法は、以下のステップを含む。

【0032】

ステップ１０１は、現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送する。

【0033】

ステップ１０２は、支援機器がフィードバックした運転命令を受信して実行し、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。

【0034】

なお、本発明による自動運転支援方法の実行本体は、具体的に、図１に示すような運転機器であってよい。具体的に、本発明の自動運転支援方法は、まず、自動運転タスクを実行する過程において、運転機器が移動体における収集モジュールが収集した現在シーン情報を連続的に受信する必要があり、収集モジュールは移動体に設置される画像収集装置を含み、移動体内に設置された移動体の運転状態及び運転パラメータを感知又はテストするためのセンサーユニットを含んでもよい。運転機器は現在シーン情報を受信した後に、現在シーン情報を現在の自動運転モデルに入力し、これらの情報が自動運転モデルによって分析処理され、且つ処理結果を出力する。自動運転モデルには従来のモデルアーキテクチャを使用することができ、選択可能に、その出力された処理結果は現在シーンでの各運転命令のマッチング度、及び現在シーンに最もマッチする自動運転命令を含む。

【0035】

運転機器はその処理結果に応じて支援機器へ運転支援要求を発送して、支援機器に運転機器が発送した運転支援要求を受信した後に、ユーザーが運転命令をトリガーする方法によって、運転機器へ対応した運転命令をリターンするようにすることができる。運転機器は運転命令を受信した後に、運転命令を実行することができる。

【0036】

従来技術と異なるのは、本実施形態において、運転機器のインテリジェンスを高め、より多くの複雑な地形を認識させるために、運転機器は支援機器へ運転支援要求を発送する必要がある場合に、受信された支援機器でフィードバックした運転命令及び自分が収集して得られた現在シーン情報によって現在の自動運転モデルを最適化することができる。つまり、支援機器がフィードバックした運転命令及び収集して得られた現在シーン情報によって、現在の自動運転モデルを最適化して得られた最適化後の自動運転モデルはシーン情報を処理する能力を備える。最適化後の自動運転モデルは運転機器が次の自動運転タスクを実行する際に使用される自動運転モデルとして使用することができる。なお、最適化過程は本願による運転機器により実行してもよいし、クラウドサーバーにより実行してもよいし、支援機器側により実行してもよく、本実施例は単に実行本体が運転機器であることを例として説明する。

【0037】

このような、絶えず最適化する自動運転支援方法を使用することによって、自動運転モデルはより多くの複雑なシーン情報の処理方法を絶えず学習することができ、様々な複雑な地形への制御能力及び出力能力を向上させる。

【0038】

本発明による自動運転支援方法は、運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、且つ処理結果に応じて支援機器へ運転支援要求を発送し、支援機器がフィードバックした運転命令を受信して実行し、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。これによって、運転機器が自動運転タスクを実行する際に、一旦予め設定された自動運転モデルがシーン情報を処理することができない場合に、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまう問題を解決し、自動運転モデルのインテリジェンスと適用性を向上させる。

【0039】

実施例１を前提として、図３は本発明の実施例２による自動運転支援方法のフローチャートである。なお、本実施例２による自動運転支援方法は運転機器を深層学習アルゴリズムモデルの最適化する実行本体とする例であり、その他の選択可能な手段において、深層学習アルゴリズムモデルの最適化する実行本体は支援機器、クラウドサーバー等であってもよい。

【0040】

図３に示すように、自動運転支援方法は、以下のステップを含む。

【0041】

ステップ２０１では、深層学習アルゴリズムモデルによって収集して得られた現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送する。

【0042】

ステップ２０２では、支援機器がフィードバックした運転命令を受信して実行する。

【0043】

ステップ２０３では、現在シーン情報及び運転命令に応じて、トレーニングサンプルを生成する。

【0044】

ステップ２０４では、トレーニングサンプルによって深層学習アルゴリズムモデルをトレーニングして、トレーニングされた深層学習アルゴリズムモデルを取得し、トレーニングされた深層学習アルゴリズムモデルによって次の自動運転タスクを実行するようにする。

【0045】

実施例１と異なるのは、本実施例２においては、自動運転モデルは深層学習アルゴリズムモデルを含み、深層学習アルゴリズムモデルは具体的に神経信念ネットワークモデル、畳み込みニューラルネットワークモデル、リカレントニューラルネットワークモデルを含むが、これらに制限されない。本実施例２において、まず、自動運転タスクを実行する過程において、運転機器は移動体における収集モジュールが収集した現在シーン情報を連続的に受信する必要があり、収集モジュールは移動体に設置される画像収集装置を含み、移動体内に設置された移動体の運転状態及び運転パラメータを感知又はテストするためのセンサーユニットを含んでもよい。運転機器は現在シーン情報を受信した後に、現在シーン情報を深層学習アルゴリズムモデルに入力し、これらの情報は深層学習アルゴリズムモデルによって分析処理され、処理結果を出力する。深層学習アルゴリズムモデルが出力した処理結果は現在シーンでの各運転命令のマッチング度、及び現在シーンに最もマッチする自動運転命令を含む。

【0046】

運転機器はその処理結果に応じて支援機器へ運転支援要求を発送して、支援機器に運転機器が発送した運転支援要求を受信した後に、ユーザーが運転命令をトリガーする方法によって、運転機器へ対応した運転命令をリターンするようにすることができる。運転機器は運転命令を受信した後に、運転命令を実行することができる。

【0047】

本実施形態において、運転機器は支援機器へ運転支援要求を発送する必要がある場合に、受信した支援機器によりフィードバックした運転命令及び自分が収集して得られた現在シーン情報によって現在の深層学習アルゴリズムモデルを再度トレーニングすることができる。つまり、運転命令を受信した後に、運転機器は運転命令及び現在シーン情報によって深層学習アルゴリズムモデルをトレーニングするためのトレーニングサンプルを生成することができる。続いて、トレーニングサンプルによって深層学習アルゴリズムモデルをトレーニングして、トレーニングされた深層学習アルゴリズムモデルを取得し、トレーニングされた深層学習アルゴリズムモデルによって次の自動運転タスクを実行するようにする。このような深層学習アルゴリズムモデルにトレーニングサンプルを連続的に学習させる方法によって、深層学習アルゴリズムモデルがより完備にされ、様々な複雑な地形への制御能力及び出力能力も向上される。

【0048】

本発明による自動運転支援方法は、運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送し、支援機器がフィードバックした運転命令を受信して実行し、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。これによって、運転機器が自動運転タスクを実行する際に、一旦予め設定された自動運転モデルがシーン情報を処理することができない場合に、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまう問題を解決し、自動運転モデルのインテリジェンスと適用性を向上させる。

【0049】

実施例１又は実施例２を前提として、図４は本発明の実施例３による自動運転支援方法のフローチャートである。なお、本実施例３による自動運転支援方法は運転機器を深層学習アルゴリズムモデルの最適化する実行本体とする例であり、その他の選択可能な手段において、深層学習アルゴリズムモデルの最適化する実行本体は支援機器、クラウドサーバー等であってもよい。

【0050】

図４に示すように、自動運転支援方法は以下のステップを含む。

【0051】

ステップ３０１では、現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果を取得する。

【0052】

ステップ３０２では、処理結果の信頼度を確定し、信頼度が予め設定された閾値より小さいか否かを判断する。

【0053】

そうであると、ステップ３０４を実行し、そうでないと、ステップ３０３を実行する。

【0054】

ステップ３０３では、処理結果に応じて自動運転タスクを実行する。

【0055】

ステップ３０４では、支援機器へ運転支援要求を発送する。

【0056】

ステップ３０５では、支援機器がフィードバックした運転命令を受信して実行する。

【0057】

ステップ３０６では、運転命令及び現在シーン情報に応じて現在の自動運転モデルを最適化し、最適化された自動運転モデルが次の自動運転タスクを実行するようにする。

【0058】

実施例１と異なるのは、本実施例３の自動運転支援方法は、まず、自動運転タスクを実行する過程において、運転機器は移動体における収集モジュールが収集した現在シーン情報を連続的に受信する必要があり、収集モジュールは移動体に設置される画像収集装置を含み、移動体内に設置された移動体の運転状態及び運転パラメータを感知又はテストするためのセンサーユニットを含んでもよい。運転機器は現在シーン情報を受信した後に、運転機器は現在シーン情報を現在の自動運転モデルに入力し、これらの情報は自動運転モデルによって分析処理され、処理結果を出力する。

【0059】

その後、運転機器は処理結果の信頼度を確定し、信頼度が予め設定された閾値より大きいか又は等しい際に、運転機器は直ちに処理結果に応じて自動運転タスクを実行し、そうでないと、支援機器へ運転支援要求を発送する。その中の信頼度の予め設定された閾値は例えば５０パーセントであってよい。

【0060】

他の実施形態と同様に、運転機器はその処理結果に応じて支援機器へ運転支援要求を発送して、支援機器に運転機器が発送した運転支援要求を受信した後に、ユーザーが運転命令をトリガーする方法によって、運転機器へ対応した運転命令をリターンするようにすることができる。運転機器は運転命令を受信した後に、運転命令を実行することができる。

【0061】

運転機器のインテリジェンスを高め、より多くの複雑な地形を認識させるために、運転機器は支援機器へ運転支援要求を発送する必要がある場合に、受信された支援機器によりフィードバックした運転命令及び自分が収集して得られた現在シーン情報によって現在の自動運転モデルを最適化することができる。つまり、支援機器がフィードバックした運転命令及び収集して得られた現在シーン情報によって、現在の自動運転モデルを最適化して得られた最適化後の自動運転モデルはシーン情報を処理する能力を備える。最適化後の自動運転モデルは運転機器が次の自動運転タスクを実行する際に使用される自動運転モデルとして使用することができる。このような連続的に最適化する自動運転支援方法を使用することによって、自動運転モデルはより多くの複雑なシーン情報の処理方法を連続的に学習することができ、様々な複雑な地形への制御能力及び出力能力を向上させる。

【0062】

本発明による自動運転支援方法は、運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送し、支援機器がフィードバックした運転命令を受信して実行し、運転命令及び現在シーン情報に応じて現在の自動運転モデルを最適化し、最適化後の自動運転モデルによって次の自動運転タスクを実行するようにすることによって、運転機器が自動運転タスクを実行する際に、一旦予め設定された自動運転モデルがシーン情報を処理することができない場合に、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまう問題を解決し、自動運転モデルのインテリジェンスと適用性を向上させる。

【0063】

図５は本発明の実施例４による自動運転支援方法のフローチャートである。

【0064】

図５に示すように、自動運転支援方法は、以下のステップを含む。

【0065】

ステップ４０１では、運転機器が発送した運転支援要求を受信する。運転支援要求は運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、且つ処理結果に応じて発送したものである。

【0066】

ステップ４０２では、ユーザーがトリガーした運転命令を受信し、且つ運転機器へ運転命令を送信して、運転機器が運転命令を実行するようにする。運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。

【0067】

なお、本発明による自動運転支援方法の実行本体は具体的に図１に示すような支援機器であってよい。具体的に、運転支援機器は遠端に架設された運転機器とリモート通信できるインタラクティブ端末であってもよいし、移動体内に架設された運転機器と近距離無線通信できるインタラクティブ機器であってもよい。自動運転タスクを実行する過程において、運転機器はシーン情報を連続的に収集し、且つ自動運転モデルによって現在シーン情報を処理して、自動運転タスクを実行するようにする。自動運転モデルが出力した結果が自動運転支援機能をトリガーする際に、運転機器は支援機器へ運転支援要求を発送する。その後、支援機器はユーザーとインタラクティブでき、且つユーザーがトリガーした運転命令を運転機器に送信し、運転機器が実行するようにし、且つその内に配置された自動運転モデルを最適化する。インタラクティブ方法はユーザーに現在シーン情報を示す方法及びユーザーがハードウェア機器によって入力した運転命令を受け取る方法を含み、ハードウェア機器はキーボード、マウス、タッチスクリーンを含むが、これらに制限されない。選択可能に、運転要求及び運転命令は無線モバイルネットワークによって運転機器に送信される。選択可能に、運転要求及び運転命令は近距離無線通信技術によって運転機器に送信される。

【0068】

本発明による自動運転支援方法は、運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送し、支援機器がフィードバックした運転命令を受信して実行し、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。これによって、運転機器が自動運転タスクを実行する際に、一旦予め設定された自動運転モデルがシーン情報を処理することができない場合に、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまう問題を解決し、自動運転モデルのインテリジェンスと適用性を向上させる。

【0069】

図６は本発明の実施例５による運転機器の構造模式図であり、図６に示すように、運転機器は、現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果を取得するための第１処理ユニット１０と、処理結果に応じて支援機器へ運転支援要求を発送することに用いられ、更に、支援機器がフィードバックした運転命令を受信して、運転機器が運転命令を実行するようにすることに用いられ、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる第１通信ユニット１１と、を備える。

【0070】

その中の１つの選択可能な実施形態において、自動運転モデルは深層学習アルゴリズムモデルを含み、運転命令は具体的に、現在シーン情報を組み合わせて、トレーニングサンプルを生成することに用いられ、トレーニングサンプルによって深層学習アルゴリズムモデルをトレーニングして、トレーニングされた深層学習アルゴリズムモデルを取得し、トレーニングされた深層学習アルゴリズムモデルは最適化された自動運転モデルである。

【0071】

第１処理ユニット１０は更に処理結果の信頼度を確定し、信頼度が予め設定された閾値より小さいと、通信ユニットによって支援機器へ運転支援要求を発送することに用いられる。

【0072】

信頼度が予め設定された閾値より大きいか又は等しい際に、運転機器は処理結果に応じて自動運転タスクを実行する。

【0073】

当業者は、以上で説明したシステムの具体的な動作過程及び対応した有益な効果が、すでに説明した自動運転支援方法の実施例における対応した過程を参照することによって理解でき、説明の便利及び簡潔のため、ここでは詳しく説明しないものとする。

【0074】

本発明による運転機器において、運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送し、支援機器がフィードバックした運転命令を受信して実行し、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。これによって、運転機器が自動運転タスクを実行する際に、一旦予め設定された自動運転モデルがシーン情報を処理することができない場合に、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまう問題を解決し、自動運転モデルのインテリジェンスと適用性を向上させる。

【0075】

図７は本発明の実施例６による支援機器の構造模式図であり、図７に示すように、支援機器は、運転機器が発送した運転支援要求を受信することに用いられ、運転支援要求は運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、且つ処理結果に応じて発送したものである第２通信ユニット２０と、ユーザーがトリガーした運転命令を受信するためのインタラクティブユニット２１と、を備え、第２通信ユニット２０は更に、運転機器へ運転命令を送信して、運転機器が運転命令を実行するようにすることに用いられ、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。

【0076】

運転命令は第２通信ユニット２０から無線モバイルネットワークによって運転機器に送信される。

【0077】

運転命令は第２通信ユニット２０から近距離無線通信技術によって運転機器に送信される。

【0078】

当業者は、以上で説明したシステムの具体的な動作過程及び対応した有益な効果が、すでに説明した自動運転支援方法の実施例における対応した過程を参照することによって理解でき、説明の便利及び簡潔のため、ここでは詳しく説明しないものとする。

【0079】

本発明による運転機器において、運転機器が現在の自動運転モデルによって収集された現在シーン情報を処理し、処理結果に応じて支援機器へ運転支援要求を発送し、支援機器がフィードバックした運転命令を受信して実行し、運転命令は現在シーン情報を組み合わせて現在の自動運転モデルを最適化し、最適化された自動運転モデルによって次の自動運転タスクを実行させることに用いられる。これによって、運転機器が自動運転タスクを実行する際に、一旦予め設定された自動運転モデルがシーン情報を処理することができない場合に、直ちに運転機器が自動運転タスクを実行し続けることができなくなってしまう問題を解決し、自動運転モデルのインテリジェンスと適用性を向上させる。

【0080】

図８は本発明の実施例７による運転機器のハードウェア構造模式図であり、図８に示すように、運転機器はプロセッサ４２及びメモリ４１に記憶されてプロセッサ４２上で実行可能なコンピュータプログラムを含み、プロセッサ４２はコンピュータプログラムを実行する際に上記の実施例１〜３に記載の方法を実行する。

【0081】

図９は本発明の実施例８による支援機器のハードウェア構造模式図であり、図９に示すように、支援機器は、プロセッサ５２及びメモリ５１に記憶されて且つプロセッサ５２上で実行可能なコンピュータプログラムを含み、プロセッサ５２はコンピュータプログラムを実行する際に上記の実施例４に記載の方法を実行する。

【0082】

本発明は読み取り可能な記憶媒体を提供し、プログラムを含み、端末上で実行される際に、端末に上記の実施例１〜３に記載の方法を実行させる。

【0083】

本発明は読み取り可能な記憶媒体を提供し、プログラムを含み、端末上で実行される際に、端末に上記の実施例４に記載の方法を実行させる。

【0084】

当業者は、上記の各方法の実施例の全部又は一部のステップの実現がプログラム命令に関連するハードウェアによって完成されることができることを理解することができる。上記のプログラムはコンピュータ可読記憶媒体に記憶されることができる。プログラムが実行される際に、上記の各方法の実施例を含むステップを実行し、上記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク或いは光ディスク等の様々なプログラムコードを記憶できる媒体を含む。

【0085】

最終的に説明すべきなのは、以上の各実施例は制限ではなく、本発明の技術的解決手段を説明するためのものだけであり、上記の各実施例を参照して本発明を詳しく説明したが、当業者は、依然として上記の各実施例に記載の技術的解決手段を修正し、或いはその中の一部又は全部の技術的特徴を等価置換することができ、これらの修正又は置換は、対応した技術的解決手段の本質を本発明の各実施例の技術的解決手段の範囲から逸脱させないのを理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】