特開 2023-85229 画像処理方法、装置、電子デバイス、記憶媒体、車両、サーバ、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023085229

(43)【公開日】2023-06-20

(54)【発明の名称】画像処理方法、装置、電子デバイス、記憶媒体、車両、サーバ、及びプログラム

(51)【国際特許分類】

   G08G 1/14 20060101AFI20230613BHJP

   G16Y 10/40 20200101ALI20230613BHJP

   G16Y 20/20 20200101ALI20230613BHJP

   G16Y 40/60 20200101ALI20230613BHJP

【ＦＩ】

G08G1/14

G16Y10/40

G16Y20/20

G16Y40/60

【審査請求】有

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2022193907

(22)【出願日】2022-12-05

(31)【優先権主張番号】202111512249.7

(32)【優先日】2021-12-08

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100166729

【弁理士】

【氏名又は名称】武田 幸子

(72)【発明者】

【氏名】フー ビン

(72)【発明者】

【氏名】ビー グイグアン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181BB20

5H181CC04

5H181EE02

5H181FF13

5H181FF22

5H181FF27

5H181FF32

5H181FF33

5H181KK01

5H181KK03

5H181KK04

5H181LL09

5H181MC18

5H181MC19

(57)【要約】      （修正有）

【課題】人工知能技術分野に関し、特に自動運転、スマート交通などの分野に関し、地図構築の効率を確保することができ、ひいては全体の処理効率を向上させることができる画像処理方法、装置、電子デバイス、車両、サーバ、記憶媒体、及びプログラムを開示する。
【解決手段】目標エリア内において車両が走行中に収集した少なくとも１つの画像情報をサーバに送信することと、前記サーバによって生成された、前記目標エリア内の第１環境特徴情報を含む第１地図構築結果を取得することと、前記第１地図構築結果を前記目標エリアの地図情報として保存することと、を含み、ここで、前記目標エリアの前記地図情報が、前記目標エリア内における前記車両の自動運転を駆動することに用いられる。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つの画像情報をサーバに送信することと、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、
前記サーバによって生成された第１地図構築結果を取得することと、ここで、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を、前記目標エリアの地図情報として保存することと、を含み、ここで、前記目標エリアの前記地図情報が、前記目標エリア内における前記車両の自動運転を駆動することに用いられる、
画像処理方法。

【請求項2】

前記画像処理方法は、
前記少なくとも１つの画像情報を処理して第２地図構築結果を得ることと、ここで、前記第２地図構築結果が前記目標エリア内の第２環境特徴を含み、
前記第２地図構築結果に基づき、前記第１地図構築結果を置き換えて、前記目標エリアの地図情報として保存することと、をさらに含む、
請求項１に記載の画像処理方法。

【請求項3】

前記少なくとも１つの画像情報を処理して第２地図構築結果を得ることは、
前記少なくとも１つの画像情報のそれぞれを第１モデルに入力して、前記第１モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第１サブ地図構築結果を得ることと、
前記車両が画像情報の収集を完了したと判定された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２地図構築結果を得ることと、を含む、
請求項２に記載の画像処理方法。

【請求項4】

前記サーバによって生成された第１地図構築結果を取得することは、
画像情報の収集を完了した旨の通知情報を前記サーバに送信し、前記サーバによって送信された前記第１地図構築結果を受信することを含む、
請求項１から３のいずれか１項に記載の画像処理方法。

【請求項5】

前記サーバによって生成された第１地図構築結果を取得することは、
画像情報の収集を完了した旨の通知情報を前記サーバに送信し、前記サーバに地図構築結果のクエリリクエストを送信して前記サーバから送信された地図構築完了の応答情報を受信した場合に、前記サーバから前記第１地図構築結果を取得することを含む、
請求項１から３のいずれか１項に記載の画像処理方法。

【請求項6】

受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得ることと、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を送信することと、を含む、
画像処理方法。

【請求項7】

前記受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得ることは、
受信した前記少なくとも１つの画像情報を保存することと、
画像情報の収集を完了した旨の通知情報を受信した場合に、前記少なくとも１つの画像情報を第２モデルに入力して、前記第２モデルによって出力された前記第１地図構築結果を得ることと、を含む、
請求項６に記載の画像処理方法。

【請求項8】

前記受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得ることは、
受信した前記少なくとも１つの画像情報のそれぞれを第２モデルに入力して、前記第２モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第２サブ地図構築結果を得ることと、
画像情報の収集を完了した旨の通知情報を受信した場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第２サブ地図構築結果をマージして前記第１地図構築結果を得ることと、を含む、
請求項６項に記載の画像処理方法。

【請求項9】

前記第１地図構築結果を送信することは、
地図構築結果のクエリリクエストを受信して地図構築完了の応答情報を送信した場合に、前記第１地図構築結果を送信すること、を含む、
請求項６から請求項８までのいずれか１項に記載の画像処理方法。

【請求項10】

少なくとも１つの画像情報をサーバに送信するための第１送信モジュールと、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、
前記サーバによって生成された第１地図構築結果を取得するための第１受信モジュールと、ここで、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を、前記目標エリアの地図情報として保存するための第１処理モジュールと、を備え、ここで、前記目標エリアの前記地図情報が、前記目標エリア内における前記車両の自動運転を駆動することに用いられる、
画像処理装置。

【請求項11】

前記第１処理モジュールは、
前記少なくとも１つの画像情報を処理して第２地図構築結果を得、前記第２地図構築結果に基づき、前記第１地図構築結果を置き換えて、前記目標エリアの地図情報として保存することとに用いられ、ここで、前記第２地図構築結果が前記目標エリア内の第２環境特徴を含む、
請求項１０に記載の画像処理装置。

【請求項12】

前記第１処理モジュールは、
前記少なくとも１つの画像情報のそれぞれを第１モデルに入力して、前記第１モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第１サブ地図構築結果を得、前記車両が画像情報の収集を完了したと判定された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２地図構築結果を得ることとに用いられる、
請求項１１に記載の画像処理装置。

【請求項13】

前記第１送信モジュールは、画像情報の収集を完了した旨の通知情報を前記サーバに送信することに用いられ、
前記第１受信モジュールは、前記サーバによって送信された前記第１地図構築結果を受信することに用いられる、
請求項１０から１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記第１送信モジュールは、画像情報の収集を完了した旨の通知情報を前記サーバに送信すること、及び、地図構築結果のクエリリクエストを前記サーバに送信することに用いられ、
前記第１受信モジュールは、前記サーバから送信された地図構築完了の応答情報を受信した場合に、前記サーバから前記第１地図構築結果を取得することに用いられる、
請求項１０から１２のいずれか１項に記載の画像処理装置。

【請求項15】

受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得るための第２処理モジュールと、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を送信するための第２送信モジュールと、を備える、
画像処理装置。

【請求項16】

前記画像処理装置は、
前記少なくとも１つの画像情報を受信することと、画像情報の収集を完了した旨の通知情報を受信することと、に用いられる第２受信モジュールと、
前記第２受信モジュールによって受信された前記少なくとも１つの画像情報を保存するための保存モジュールと、をさらに備え、
前記第２処理モジュールは、前記画像情報の収集を完了した旨の通知情報を前記第２受信モジュールにより受信した場合に、前記少なくとも１つの画像情報を第２モデルに入力して、前記第２モデルによって出力された前記第１地図構築結果を得ることに用いられる、
請求項１５に記載の画像処理装置。

【請求項17】

前記画像処理装置は、
前記少なくとも１つの画像情報を受信することと、画像情報の収集を完了した旨の通知情報を受信することと、に用いられる第２受信モジュールをさらに備え、
前記第２処理モジュールは、前記第２受信モジュールによって受信された前記少なくとも１つの画像情報のそれぞれを第２モデルに入力して、前記第２モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第２サブ地図構築結果を得、前記画像情報の収集を完了した旨の通知情報が前記第２受信モジュールによって受信された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第２サブ地図構築結果をマージして前記第１地図構築結果を得ることに用いられる、
請求項１５に記載の画像処理装置。

【請求項18】

前記画像処理装置は、
地図構築結果のクエリリクエストを受信するための第２受信モジュールをさらに備え、
前記第２送信モジュールは、地図構築完了の応答情報を送信する場合に、前記第１地図構築結果を送信することに用いられる、
請求項１５から１７のいずれか１項に記載の画像処理装置。

【請求項19】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項３のいずれか１項に記載の画像処理方法を実行させる、
電子デバイス。

【請求項20】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項６から請求項８のいずれか１項に記載の画像処理方法を実行させる、
電子デバイス。

【請求項21】

コンピュータに請求項１または６に記載の画像処理方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。

【請求項22】

コンピュータにおいて、プロセッサにより実行されると、請求項１または６に記載の画像処理方法を実現するためのプログラム。

【請求項23】

請求項１９に記載の電子デバイスを備える、
車両。

【請求項24】

請求項２０に記載の電子デバイスを備える、
サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はコンピュータ技術分野に関し、特に自動運転、スマート交通などの人工知能技術分野に関する。

【背景技術】

【0002】

コンピュータ技術の発展に伴い、人工知能分野も急速に発展し、特にスマート交通、自動運転などの技術がますます広く応用されている。ここで、上記の自動運転はますます多くの車両に備わっている機能であり、このような自動運転機能を備えた車両ではローカルに保存された地図情報に基づいてその自動運転を駆動する必要がある。しかし、いかに車両の自動運転を駆動するための地図情報を効率的に得るかが課題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、画像処理方法、装置、電子デバイス、車両、サーバ、及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本開示の第１の態様では、画像処理方法を提供し、該方法は、
少なくとも１つの画像情報をサーバに送信することと、ここで、該少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、
該サーバによって生成された第１地図構築結果を取得することと、ここで、該第１地図構築結果が該目標エリア内の第１環境特徴情報を含み、
該第１地図構築結果を、該目標エリアの地図情報として保存することと、を含み、ここで、該目標エリアの該地図情報が、該目標エリア内における該車両の自動運転を駆動することに用いられる。

【0005】

本開示の第２の態様では、画像処理方法を提供し、該方法は、
受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得ることと、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を送信することと、を含む。

【0006】

本開示の第３の様態では、画像処理装置を提供し、該装置は、
少なくとも１つの画像情報をサーバに送信するための第１送信モジュールと、ここで、該少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、
該サーバによって生成された第１地図構築結果を取得するための第１受信モジュールと、ここで、該第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
該第１地図構築結果を、該目標エリアの地図情報として保存するための第１処理モジュールと、を備え、ここで、該目標エリアの該地図情報が、該目標エリア内における該車両の自動運転を駆動することに用いられる。

【0007】

本開示の第４の態様では、画像処理装置を提供し、該装置は、
受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得るための第２処理モジュールと、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を送信するための第２送信モジュールと、を備える。

【0008】

本開示の第５の様態では、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
該メモリには、該少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
該命令は、該少なくとも１つのプロセッサにより実行されると、該少なくとも１つのプロセッサに前述の第１の態様の画像処理方法を実行させる。

【0009】

本開示の第６の様態では、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
該メモリには、該少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
該命令は、該少なくとも１つのプロセッサにより実行されると、該少なくとも１つのプロセッサに前述の第２の態様の画像処理方法を実行させる。

【0010】

本開示の第７の様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令は前述の方法を該コンピュータに実行させることに用いられる。

【0011】

本開示の第８の様態では、プログラムを提供し、該プログラムは、ロセッサにより実行されると、前述の方法を実現する。

【0012】

本開示の第９の態様では、車両を提供し、該車両は上述の一態様の実施例の電子デバイスを含む。

【0013】

本開示の第１０の態様では、サーバを提供し、該サーバは上述の一態様の実施例の電子デバイスを含む。

【0014】

なお、ここに記載された内容は、本開示の実施例のキーポイントまたは重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられない。本開示の他の特徴については、下記の明細書を通して理解を促すことが可能になる。

【0015】

本実施形態により提供される方案は、画像情報をサーバにアップロードして、前記サーバが前記画像情報を処理して第１地図構築結果を得、前記サーバから前記第１地図構築結果を取得した後、前記第１地図構築結果を前記目標エリアの地図情報として保存して、後続の前記車両の自動運転の駆動に用いられることができる。前記サーバがより高い演算能力を有するため、前記サーバを用いて前記第１地図構築結果を生成することで、地図構築の効率を確保することができ、最終的な目標エリアの地図情報をタイムリー且つ効率的に得ることができ、全体の処理効率を向上させることができる。

【図面の簡単な説明】

【0016】

添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。

【図1】本開示の一実施例による画像処理方法の流れを示す模式図である。

【図2】本開示の一実施例による自動運転の地図構築タスクのシーンの概略図である。

【図3】本開示の一実施例による第２地図構築結果を生成して第１地図構築結果を代替する方法の流れを示す模式図である

【図4】本開示の一実施例による、少なくとも１つの画像情報に基づいて第２地図構築結果を生成する方法の流れを示す模式図である。

【図5】本開示のもう１つの実施例による画像処理方法の流れを示す模式図である。

【図6】本開示のもう１つの実施例による第１地図構築結果を生成する方法の１つの流れを示す模式図である。

【図7】本開示のもう１つの実施例による第１地図構築結果を生成する方法の他の流れを示す模式図である。

【図8】本開示のもう１つの実施例による画像処理方法の流れを示す模式図である。

【図9】本開示の一実施例による画像処理装置の構成を示す概略図である。

【図10】本開示のもう１つの実施例による画像処理装置の構成を示す概略図である。

【図11】本開示のもう１つの実施例による画像処理装置の他の構成を示す概略図である。

【図12】本開示の実施例による画像処理方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0017】

以下では、本開示の例示的な実施例を、理解を容易にするために本開示の実施例の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施例に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

【0018】

本開示の第１態様は、画像処理方法を提供し、図１に示すように、該画像処理方法は、以下のステップを含む。

【0019】

Ｓ１０１において、少なくとも１つの画像情報をサーバに送信し、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものである。

【0020】

Ｓ１０２において、前記サーバによって生成された第１地図構築結果を取得し、ここで、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含む。

【0021】

Ｓ１０３において、前記第１地図構築結果を、前記目標エリアの地図情報として保存し、ここで、前記目標エリアの前記地図情報が、前記目標エリア内における前記車両の自動運転を駆動することに用いられる。

【0022】

本実施例により提供される方案は、画像処理装置によって実行されてもよく、該画像処理装置は車両に設置されてもよい。なお、前記車両は、自動運転機能を備えた車両であってもよい。

【0023】

Ｓ１０１を実行する前に、自動運転の地図構築タスクをオンにすることをさらに含んでもよい。ここで、前記自動運転の地図構築タスクには、前記目標エリアが含まれてもよい。前記目標エリアは、選択された任意のエリアであってもよく、例えば駐車スペースが位置するエリアであってもよく、又は道路の区間などであってもよく、これに対し列挙しない。

【0024】

さらに、前記自動運転の地図構築タスクには、前記目標エリア内の走行経路が含まれてもよく、前記目標エリア内の走行経路には、始点及び終点が含まれてもよい。図２の例では、自動運転の地図構築タスクは、駐車スペースにとまる自動運転の地図構築タスクであってもよく、該駐車スペースにとまる自動運転の地図構築タスクには、住宅の近くの駐車スペース１が位置するエリア２００内の走行ルート２０１が含まれてもよく、この走行ルート２０１は、設置された始点２０１１と終点２０１２とを有することができる。

【0025】

前記自動運転の地図構築タスクは、ユーザーの制御によりオンにすることができ、または、前記自動運転の地図構築タスクは、自動的にオンになることができる。

【0026】

前記ユーザーの制御により自動運転の地図構築タスクをオンにする処理は、前記ユーザーが前記車両のインタラクションインタフェースにおいて、前記自動運転の地図構築タスクをオンにすることを選択するようにしてもよく、または、前記ユーザーが端末装置における、車両を制御するための対象アプリケーションの設定インタフェースにおいて、前記自動運転の地図構築タスクを設定し、前記自動運転の地図構築タスクの設定が完了した場合に、該端末装置は前記自動運転の地図構築タスクを前記画像処理装置に送信することようにしてもよく、ここで、前記端末装置は、ユーザーが使用するスマートフォン、タブレット、デスクトップなどのいずれのデバイスであってもよい。

【0027】

前記自動運転の地図構築タスクが自動的にオンになる処理は、該目標エリアの履歴地図情報が既に保存されている場合に、前記車両が該目標エリア内の任意の位置に現在到達していることを検出すると、新たな前記自動運転の地図構築タスクを自動的にオンにして、該目標エリアの履歴地図情報を更新するようにしてもよい。

【0028】

前記自動運転の地図構築タスクをオンにした後、目標エリア内において走行中に前記少なくとも１つの画像情報をリアルタイムで収集するように前記車両を制御し、さらに、前記Ｓ１０１における前記少なくとも１つの画像情報をサーバに送信する処理を実行する。

【0029】

前記少なくとも１つの画像情報をリアルタイムで収集することは、具体的に、予め設定された収集間隔に基づいて、前記少なくとも１つの画像情報を得るためにリアルタイムで収集するように前記車両の画像収集ユニットを制御する。

【0030】

ここで、前記画像収集装置は、前記車両に搭載された撮像ユニットやカメラ等であってもよい。前記予め設定された収集間隔は、予め設定された時間的な収集間隔であってもよいし、予め設定された距離的な収集間隔であってもよい。各々に説明すると、前記予め設定された時間的な収集間隔とは、Ｌ個の時間単位毎に１回収集することであってもよく、Ｌは正の整数であり、実際の状況に応じて設置してもよく、前記時間単位は、秒、ミリ秒等であってもよいが、ここでは列挙しない。前記予め設定された距離的な収集間隔とは、Ｔ個の距離単位毎に１回収集することであってもよく、Ｔは正の整数であり、実際の状況に応じて設置してもよく、前記距離単位は０．５ｍ、１ｍ、１００ｃｍ等であってもよいが、ここでは列挙しない。

【0031】

前記第１地図構築結果は、前記目標エリア内の第１環境特性情報を含むことができる。前記第１構築結果に含まれる前記第１環境特性情報の数は、１つであってもよく、複数であってもよい。前記第１地図構築結果は、具体的に点群図であってもよく、相応的に、前記第１環境特徴情報は、具体的に、前記目標エリア内の道路標識点の点群エリア情報を指してもよい。１つの道路標識点が路面標示線であることを例にすると、前記第１地図構築結果には、前記目標エリア内の該路面標示線の点群エリア情報が含まれてもよい。

【0032】

前記第１地図構築結果を前記目標エリアの地図情報として保存することは、具体的に、前記目標エリアの履歴地図情報が保存されていない場合に、前記第１地図構築結果を前記目標エリアの地図情報として直接保存すること、あるいは、前記目標エリアの履歴地図情報が既に保存されている場合に、前記第１地図構築結果を用いて前記目標エリアの履歴地図情報を置き換えて、前記目標エリアの新たな地図情報として保存する。

【0033】

本実施例により提供される方案は、画像情報を前記サーバにアップロードして、前記サーバが前記画像情報を処理して前記第１地図構築結果を得、前記サーバから前記第１地図構築結果を取得した後、前記第１地図構築結果を前記目標エリアの地図情報として保存して、後続の車両の自動運転の駆動に用いられることができる。前記サーバがより高い演算能力を有するため、前記サーバを用いて前記第１地図構築結果を生成することにより、地図構築の効率を確保することができるとともに、前記目標エリアの地図情報をタイムリー且つ効率的に得ることができ、全体の処理効率を向上させることができる。

【0034】

一実施形態では、図３に示すように、以下の処理を実行することもできる。

【0035】

Ｓ３０１において、前記少なくとも１つの画像情報を処理して第２地図構築結果を得、ここで、前記第２地図構築結果が前記目標エリア内の第２環境特徴を含む。

【0036】

Ｓ３０２において、前記第２地図構築結果に基づき、前記第１地図構築結果を置き換えて、前記目標エリアの地図情報として保存する。

【0037】

上記Ｓ３０１における前記少なくとも１つの画像情報を処理して第２地図構築結果を得る処理は、Ｓ１０１における少なくとも１つの画像情報をサーバに送信するのと同時に実行されてもよい。

【0038】

前記少なくとも１つの画像情報を処理して第２地図構築結果を得ることは、具体的に、前記少なくとも１つの画像情報のうちの各画像情報をそれぞれ処理して、前記各画像情報のそれぞれに対応する第１サブ地図構築結果を得、前記各画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２サブ地図構築結果を得ることであってもよい。

【0039】

ここで、前記第２地図構築結果は、前記目標エリア内の第２環境特性情報を含むことができる。前記第２地図構築結果に含まれる前記第２環境特性情報の数は、１つであってもよく、複数であってもよい。前記第２地図構築結果は、具体的に、点群図であってもよく、相応的に、前記第２環境特徴情報は、具体的に、前記目標エリア内の道路標識点の点群エリア情報であってもよい。道路標識点が街灯であることを例にすると、前記第２地図構築結果には、前記目標エリア内の街灯の点群エリア情報が含まれていてもよい。

【0040】

上記Ｓ３０２を実行する前に、前記第１地図構築結果を前記目標エリアの地図情報として保存する処理をさらに実行してもよく、具体的に、前記サーバから前記第１地図構築結果を取得するが、前記第２地図構築結果が得られなかった場合に、前記第１地図構築結果を前記目標エリアの地図情報として保存することを含むことができる。

【0041】

前述したように、本実施例により提供される方案は、前記車両に備えられた前記画像処理装置によって実行されることができる。前記画像処理装置の演算能力に限界があるため、前記画像処理装置は、前記サーバから前記第１地図構築結果を既に取得した時点で、前記画像処理装置が前記第２地図構築結果をまだ得ていない場合がある。この場合に、前記画像処理装置は、前記目標エリア内の車両の自動運転を駆動するために、前記サーバから取得した前記第１地図構築結果を前記目標エリアの地図情報として保存してもよい。

【0042】

また、前記第２地図構築結果が得られるが、前記サーバによって生成された前記第１地図構築結果が取得されていない場合に、前記第２地図構築結果を前記目標エリアの地図情報として保存することをさらに含んでもよい。即ち、ネットワーク接続等の原因により、前記サーバによって生成された前記第１地図構築結果が一時的に取得できていない可能性があり、この場合、前記画像処理装置が前記第２地図構築結果を既に取得しているのであれば、前記画像処理装置は、前記第２地図構築結果を前記目標エリアの前記地図情報として保存してもよい。この場合、前記画像処理装置は、前記サーバから送信された前記第１地図構築結果を受信すると、前記第１地図構築結果をそのまま破棄してもよい。

【0043】

上記Ｓ３０２における、前記第２地図構築結果に基づき、前記第１地図構築結果を置き換えて、前記目標エリアの地図情報として保存することは、前記車両が画像情報の収集を完了したと判定された場合に、前記第２地図構築結果が得られたか否かを継続して検出することと、前記第２地図構築結果が得られたと判定された場合に、前記第２地図構築結果に基づき、前記第１地図構築結果を置き換えて、前記目標エリアの地図情報として保存することと、を含むことができる。

【0044】

このように、上記の方案を採用することで、前記少なくとも１つの画像情報を前記サーバにアップロードすると共に、前記少なくとも１つの画像情報を自身で処理して前記第２地図構築結果を得、さらに前記第２地図構築結果を用いて前記第１地図構築結果を置き換えて、前記目標エリアの地図情報として保存することができる。前記第２地図構築結果が生成された動作環境と、該第２地図構築結果を前記目標エリアの地図情報として使用する動作環境とは同一であるため、前記第１地図構築結果に代えて、前記第２地図構築結果を前記目標エリアの前記地図情報として使用することで、システムの運用信頼性を確保することができる。

【0045】

前記少なくとも１つの画像情報を処理して第２地図構築結果を得ることは、以下の２つの方法で実現することができる。

【0046】

第１方法としては、前記車両がリアルタイムで収集された前記少なくとも１つの画像情報のそれぞれに対応する深度情報を取得し、前記少なくとも１つの画像情報のうちの各画像情報及びそれに対応する深度情報に基づいて処理を行って前記各画像情報に対応するサブ点群図を得、前記各画像情報に対応するサブ点群図をマージして前記第２地図構築結果を得る。

【0047】

第２方法としては、予め保存された前記第１モデルを用いて実現され、図４に示すように、以下のステップを含むことができる。

【0048】

Ｓ４０１において、前記少なくとも１つの画像情報のそれぞれを第１モデルに入力して、前記第１モデルによって出力された前記少なくとも１つの画像情報のそれぞれに対応する第１サブ地図構築結果を得る。

【0049】

Ｓ４０２において、前記車両が画像情報の収集を完了したと判定された場合、前記少なくとも１つの画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２地図構築結果を得る。

【0050】

上記Ｓ４０１の処理は、上記Ｓ１０１の処理と同時に実行されてもよい。例えば、ｉ番目の画像情報を前記サーバに送信し、同時に前記ｉ番目の画像情報を前記第１モデルに入力し、前記第１モデルによって出力された前記ｉ番目の画像情報に対応する第１サブ地図構築結果を得、ｉは１以上の整数である。ここで、前記ｉ番目の画像情報は、前記画像処理装置によって取得された、前記車両がリアルタイムに収集した画像情報のうちの任意の１つである。

【0051】

また、前記Ｓ４０１における前記少なくとも１つの画像情報のそれぞれを第１モデルに入力して、前記第１モデルによって出力された前記少なくとも１つの画像情報のそれぞれに対応する第１サブ地図構築結果を得る処理を実行する際に、現在前記車両が画像情報の収集を完了したか否かを判断することをさらに含んでいてもよい。

【0052】

ここで、現在前記車両が画像情報の収集を完了しているか否かの判断は、前記車両が現在位置している位置が前記自動運転の地図構築タスクにおける前記走行ルートの前記終点であるか否かを判断し、そうである場合に、前記車両が画像情報の収集を完了したと判定する一方、そうでない場合に、前記車両が画像情報の収集を完了していないと判定することであってもよい。

【0053】

或いは、現在前記車両が画像情報の収集を完了しているか否かの判断は、画像情報の収集を停止する指示を受けたか否かを判断し、そうである場合に、前記車両が画像情報の収集処理を完了したと判定する一方、そうでない場合に、前記車両が画像情報の収集を完了していないと判定することであってもよい。

【0054】

ここで、前記画像情報の収集を停止する指示は、ユーザーによって行われてもよく、例えば、現在前記車両が前記自動運転の地図構築タスクにおける前記走行ルートの前記終点に到達していないが、ユーザーが他の原因で画像情報の収集の処理を停止する必要があり、この場合、車両内のある予め設定されたキー（例えば、物理キーや仮想キー）をクリックすることにより、前記画像情報の収集停止の指示をトリガして前記画像処理装置に送信することができる。

【0055】

前記少なくとも１つの画像情報のうちの任意の１つの画像情報に対応する第１サブ地図構築結果は、該任意の１つの画像情報に対応するサブエリアの位置情報及びサブ環境特徴情報を含むことができる。前記サブ環境特徴情報の数は１つであってもよく、複数であってもよく、任意の１つのサブ環境特徴情報は、前記サブエリア内の１つの道路標識点の点群エリア情報であってもよい。なお、前記少なくとも１つの画像情報のうちの異なる画像情報は、異なるサブエリアに対応することができ、且つ、前記少なくとも１つの画像情報のうちの任意の２つの画像情報に対応するサブエリアは、部分的に重複することがあることができる。

【0056】

上記のＳ４０１における、前記少なくとも１つの画像情報のそれぞれを第１モデルに入力して、前記第１モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第１サブ地図構築結果を得る処理を例示的に説明すると、前記車両が画像情報の収集を完了したと判定されるまで、前記ｉ番目の画像情報を前記第１モデルに入力して、前記第１モデルによって出力された、前記ｉ番目の画像情報に対応する前記第１サブ地図構築結果を得ることと、前記車両が画像情報の収集処理を完了したか否かを判定することと、前記車両が画像情報の収集を完了していないと判定された場合に、ｉ＋１番目の画像情報を前記第１モデルに入力して、前記第１モデルによって出力されたｉ＋１番目の画像情報に対応する第１サブ地図構築結果を得ることと、を含む処理を繰り返すことを含んでもよい。

【0057】

上記のＳ４０２における、前記車両が画像情報の収集を完了したと判定された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２地図構築結果を得ることは、具体的に、前記車両が画像情報の収集を完了したと判定された場合に、最後の画像情報に対応する前記第１サブ地図構築結果が得られたか否かを検出することと、前記最後の画像情報に対応する前記第１サブ地図構築結果が得られたと判定された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２地図構築結果を得ることと、を含んでもよい。ここで、前記最後の画像情報は、前記車両が画像情報の収集を完了したと判定された時点までに最後に得られた画像情報であってもよい。

【0058】

また、前記最後の画像情報に対応する第１サブ地図構築結果が得られなかった場合に、前記最後の画像情報に対応する第１サブ地図構築結果が得られたか否かの検出を継続することをさらに含むことができる。

【0059】

前記少なくとも１つの画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２地図構築結果を得ることは、具体的に、前記少なくとも１つの画像情報のうちの前記各画像情報のそれぞれに対応する前記第１サブ地図構築結果における、前記サブエリアの位置情報に基づいて、前記各画像情報のそれぞれに対応する前記第１サブ地図構築結果における前記サブ環境特徴情報をマージして前記第２サブ地図構築結果を得ることであってもよい。

【0060】

ここで、前記第１モデルは、予め訓練済みのモデルであって、前記車両内に保存されているモデルであってもよい。前記第１モデルの生成方法は、サンプルデータに基づいて予め設定されたモデルを訓練し、訓練された前記予め設定されたモデルを前記第１モデルとすることを含むことができる。前記第１モデルは、ディープニューラルネットワークモデルまたはニューラルネットワークモデルであってもよい。

【0061】

なお、サーバ側では第２モデルを用いて前記第１地図構築結果を生成するようにしてもよい。前記第２モデルは、前記第１モデルと同じであってもよく、本開示において第１モデルと第２モデルとを別々に記述するのは、前記第１モデルと前記第２モデルとが異なる本体に保存され、動作環境が異なる場合があるからである。

【0062】

例えば、前記第１モデルは、前記車両の前記画像処理装置に保存されたものであってもよく、前記第２モデルは、前記サーバに保存されたものであってもよい。前記車両の前記画像処理装置における前記第１モデルの動作環境は、アーム（ＡＲＭ、Ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅ）アーキテクチャまたはグラフィックスプロセッサ（ＧＰＵ、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよいが、前記サーバにおける第２モデルの動作環境はＸ８６であってもよい。

【0063】

このように、上記の方案を採用することで、前記少なくとも１つの画像情報を前記サーバにアップロードすると同時に、自身で前記少なくとも１つの画像情報を処理して前記第２地図構築結果を得、さらに前記第２地図構築結果を用いて前記第１地図構築結果を置き換えて前記目標エリアの地図情報として保存するようにすることができる。前記第２地図構築結果がローカルの前記第１モデルによって生成されるので、ローカル処理によって得られた前記第２地図構築結果の正確性及び処理効率が確保でき、また、前記第１モデルを用いて前記第２地図構築結果を生成する際の動作環境と、該第２地図構築結果を前記目標エリアの地図情報として使用する動作環境とは同じであるため、前記第１地図構築結果を前記第２地図構築結果で置き換えて、前記目標エリアの前記地図情報として使用することで、システムの運用信頼性を確保することができる。

【0064】

一実施形態では、前記サーバによって生成された第１地図構築結果を取得することは、以下の２つの処理方法を含むことができる。

【0065】

第１処理方法としては、画像情報の収集を完了した旨の通知情報を前記サーバに送信し、前記サーバによって送信された前記第１地図構築結果を受信する。

【0066】

このような処理方法では、前記画像情報の収集を完了した旨の通知情報を送信した後、前記サーバから送信された前記第１地図構築結果を待つだけでよい。

【0067】

ここで、前記画像情報の収集を完了した旨の通知情報は、前記車両が画像情報の収集を既に完了したことを前記サーバに通知するためのものであってもよい。相応的に、前記サーバは、前記画像情報の収集を完了した旨の通知情報を受信した場合に、受信した前記少なくとも１つの画像情報を自身の第２モデルで処理して、前記第１地図構築結果を得た後、前記第１地図構築結果を直接送信するようにしてもよく、または、サーバは、前記画像情報の収集を完了した旨の通知情報を受信した場合に、自身が既に取得している少なくとも１つの第２サブ地図構築結果をマージして前記第１地図構築結果を得た後、前記第１地図構築結果を直接送信するようにしてもよい。

【0068】

これにより、前記画像情報の収集を完了した旨の通知情報を１回だけ送信することで、前記サーバによって送信された前記第１地図構築結果を受信することができ、即ち、前記サーバとの間で少量の情報だけをインタラクションすることにより、前記サーバによって生成された前記第１地図構築結果を取得することができ、前記サーバとの間の通信リソースの占有を最小限に抑えることができる。

【0069】

第２処理方法としては、画像情報の収集を完了した旨の通知情報を前記サーバに送信し、前記サーバに地図構築結果のクエリリクエストを送信して前記サーバから送信された地図構築完了の応答情報を受信した場合に、前記サーバから前記第１地図構築結果を取得する。

【0070】

画像情報の収集を完了した旨の通知情報を前記サーバに送信し、前記サーバに地図構築結果のクエリリクエストを送信して前記サーバから送信された地図構築完了の応答情報を受信した場合に、前記サーバから前記第１地図構築結果を取得するとは、
画像情報の収集を完了した旨の通知情報をサーバに送信することと、
地図構築結果のクエリリクエストを前記サーバに周期的に送信して前記サーバから送信された前記地図構築完了の応答情報を受信したか否かを検出することと、
前記地図構築結果のクエリリクエストを任意の１回で送信して前記サーバから送信された前記地図構築完了の応答情報を受信した場合に、前記サーバから前記第１地図構築結果を取得することと、を指す。

【0071】

ここで、前記地図構築結果のクエリリクエストを前記サーバに周期的に送信することにおける周期の長さは、実際の状況に応じて設定することができ、１秒でもよく２秒でもよいが、本実施形態ではこれに対し列挙しない。

【0072】

前記サーバから前記第１地図構築結果を取得することは、具体的に、前記車両が前記サーバから前記第１地図構築結果をダウンロードすることであってもよい。

【0073】

この処理方法を採用することにより、画像情報の収集を完了した旨の通知を前記サーバに送信した後に、地図構築結果のクエリリクエストをサーバに周期的に送信することができ、一旦前記サーバから送信された地図構築完了の応答情報を受信すると、前記第１地図構築結果を前記サーバから取得することができる。これにより、前記第１地図構築結果を取得するタイムリー性を確保することができ、前記第１地図構築結果を前記目標エリアの地図情報として後続の車両の自動運転を駆動する処理効率を確保することができる。

【0074】

本開示の第２の態様の実施例は、画像処理方法をさらに提供し、図５に示すように、該方法は以下のステップを含む。

【0075】

Ｓ５０１において、受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含む。

【0076】

Ｓ５０２において、前記第１地図構築結果を送信する。

【0077】

本実施例では、前記サーバは、クラウド上のサーバであってもよい。

【0078】

前記少なくとも１つの画像情報は、前記車両の画像処理装置がリアルタイムで前記サーバにアップロードするものであってもよい。前記車両の前記画像処理装置は、前記車両に設置された前記画像処理装置または前記車両に搭載された前記画像処理装置であってもよい。

【0079】

前記第１地図構築結果は、前記目標エリア内の第１環境特性情報を含むことができ、前記第１構築結果に含まれる前記第１環境特性情報の数は、１つであってもよく、複数であってもよい。前記第１地図構築結果は、具体的に、点群図であってもよく、相応的に、前記第１環境特徴情報は、具体的に、前記目標エリア内の道路標識点の点群エリア情報であってもよい。１つの道路標示点が路面標示線であることを例にすると、前記第１地図構築結果には、前記目標エリア内の該路面標示線の点群エリア情報が含まれてもよい。

【0080】

前記第１地図構築結果を送信することは、具体的に、前記サーバが前記第１地図構築結果を前記車両の前記画像処理装置に送信することを指すことができる。

【0081】

本実施例により提供される方案は、少なくとも１つの画像情報を処理して前記第１地図構築結果を得、前記第１地図構築結果を送信することができる。より高い演算能力を有するため、地図構築効率を確保することができ、ひいては、最終的な目標エリアの地図情報を前記車両がタイムリー且つ効率的に得ることができ、全体的な処理効率を向上させることができる。

【0082】

前記受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得ることは、以下の２つの実施形態を含むことができ、以下においてそれぞれ説明する。

【0083】

一実施形態では、図６に示すように、以下のステップを含むことができる。

【0084】

Ｓ６０１において、受信した前記少なくとも１つの画像情報を保存する。

【0085】

Ｓ６０２において、画像情報の収集を完了した旨の通知情報を受信した場合に、前記少なくとも１つの画像情報を第２モデルに入力して、前記第２モデルによって出力された前記第１地図構築結果を得る。

【0086】

前記受信した前記少なくとも１つの画像情報を保存するのは、前記車両の前記画像処理装置から送信された任意の１つの画像情報を受信した場合に、該任意の１つの画像情報のみを保存することを指すことができる。例えば、前記車両から送信されたｊ番目の画像情報を受信した場合に、該ｊ番目の画像情報のみを保存し、ここで、ｊは１以上の整数である。

【0087】

上記画像情報の収集を完了した旨の通知情報は、前記車両が画像情報の収集を既に完了したことを示すためのものであってもよい。

【0088】

前記少なくとも１つの画像情報を第２モデルに入力して、前記第２モデルによって出力された前記第１地図構築結果を得ることは、具体的に、保存されている前記少なくとも１つの画像情報の全てを前記第２モデルに入力して、前記第２モデルによって出力された前記第１地図構築結果を得ることを指すことができる。

【0089】

即ち、上記処理では、前記車両に対して既にアップロードされた全ての画像情報を一度に処理して、該第１図面作成結果を直接得ることができる。

【0090】

ここで、前記第２モデルは、予め訓練済みのモデルであって、前記サーバに保持されているモデルであってもよい。前記第２モデルの生成方法は、サンプルデータに基づいて予め設定されたモデルを訓練し、訓練された前記予め設定されたモデルを前記第２モデルとすることを含むことができる。前記第２モデルは、ディープニューラルネットワークモデルまたはニューラルネットワークモデルであってもよい。前記第２モデルと第１態様の実施例における前記第１モデルとの同一及び相違に関しては、前記第１態様の実施例の説明と一致するため、ここでは繰り返し説明しない。

【0091】

このように、上記の方案を採用することで、前記第２モデルを用いて前記少なくとも１つの画像情報を一度に処理して前記第１地図構築結果を得ることができ、第２モデルによる地図構築の回数を減らすことができ、処理資源を占有する回数を減らすことができ、処理効率も確保することができる。

【0092】

別の実施形態では、前記受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得ることは、図７に示すように、以下のステップを含むことができる。

【0093】

Ｓ７０１において、受信した前記少なくとも１つの画像情報のそれぞれを第２モデルに入力して、前記第２モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第２サブ地図構築結果を得る。

【0094】

Ｓ７０２において、画像情報の収集を完了した旨の通知情報を受信した場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第２サブ地図構築結果をマージして前記第１地図構築結果を得る。

【0095】

上記受信した前記少なくとも１つの画像情報のそれぞれを第２モデルに入力して、前記第２モデルによって出力された前記少なくとも１つの画像情報のそれぞれに対応する第２サブ地図構築結果を得ることは、現在ｊ番目の画像情報を受信している場合に、該ｊ番目の画像情報を前記第２モデルに入力して、前記第２モデルによって出力された、該ｊ番目の画像情報に対応する前記第２サブ地図構築結果を得ることを指すことができ、ここで、ｊは１以上の整数である。なお、前記ｊ番目の画像は、現在受信している任意の１つの画像情報である。

【0096】

前記第２サブ地図構築結果は、現在受信している画像情報に対応するサブエリアの位置情報及びサブ環境特徴情報を含むことができる。なお、前記少なくとも１つの画像情報のうちの異なる画像情報は、異なるサブエリアに対応することができ、前記少なくとも１つの画像情報のうちの任意の２つの画像情報に対応するサブエリアは、部分的に重複することがあることができる。前記少なくとも１つの画像情報のうちの任意の１つの画像情報のサブエリア内の前記サブ環境特徴情報は、前記サブエリア内の１つ又は複数の前記サブ環境特徴情報を指すことができ、ここで、任意の１つのサブ環境特性情報は、任意の１つの道路標識点の点群エリア情報を指すことができる。

【0097】

上述したＳ７０２において画像情報の収集を完了した旨の通知情報を受信した場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第２サブ地図構築結果をマージして前記第１地図構築結果を得ることは、具体的に、前記画像情報の収集を完了した旨の通知情報を受信した場合に、最後の画像情報に対応する第２サブ地図構築結果が得られたか否かを検出することと、前記最後の画像情報に対応する第２サブ地図構築結果が得られたと判定された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第２サブ地図構築結果をマージして前記第１地図構築結果を得ることと、を含むことができる。ここで、前記画像情報の収集を完了した旨の通知情報は、前記車両の前記画像処理装置から前記サーバに送信する情報であってもよい。

【0098】

また、前記画像情報の収集を完了した旨の通知情報を受信するが、前記最後の画像情報に対応する第２サブ地図構築結果が得られなかった場合に、前記最後の画像情報に対応する第２サブ地図構築結果が得られたか否かの検出を継続することを含むこともできる。

【0099】

前記少なくとも１つの画像情報のそれぞれに対応する前記第２サブ地図構築結果をマージして、前記第１地図構築結果を得ることは、具体的に、前記少なくとも１つの画像情報における前記各画像情報のそれぞれに対応する前記第２サブ地図構築結果におけるサブエリアの位置情報に基づいて、前記各画像情報のそれぞれに対応する前記第２サブ地図構築結果におけるサブ環境特徴情報をマージして、前記第１地図構築結果を得ることを指すことができる。

【0100】

ここで、前記第２モデルは、予め訓練済みのモデルであって、前記サーバに保持されているモデルであってもよい。前記第２モデルの生成方法は、サンプルデータに基づいて予め設定されたモデルを訓練し、訓練された前記予め設定されたモデルを前記第２モデルとすることを含むことができる。前記第２モデルは、ディープニューラルネットワークモデルまたはニューラルネットワークモデルであってもよい。

【0101】

このように、上記の処理方法を採用することで、任意の１つの画像情報を受信すると同時に、前記第２モデルを用いて、対応する第２サブ地図構築結果を得るために、該画像に対する処理が開始され、前記車両が画像情報の収集を完了したと判定された場合に、全ての第２サブ地図構築結果をマージするだけで前記第１地図構築結果を得ることができるので、前記第１地図構築結果を得る際の効率を向上させることができる。

【0102】

一実施形態では、前記第１地図構築結果を送信することは、以下の２つの処理方法を含むことができ、それぞれに説明する。

【0103】

第１処理方法としては、前記第１地図構築結果が得られたと判定された場合に、前記第１地図構築結果を前記車両の前記画像処理装置に直接送信する。

【0104】

この処理方法では、前記画像情報の収集を完了した旨の通知情報を既に予め受信しているので、前記車両の前記画像処理装置とより多くの情報をインタラクションする必要はなく、自身が前記第１地図構築結果を既に得たと判定するのであれば、該第１地図構築結果を前記車両の前記画像処理装置に直接送信することができる。これにより、前記車両の前記画像処理装置との間で少量の情報だけをインタラクションすることにより、前記第１地図構築結果を送信することができ、前記車両との間の通信リソースの占有をできるだけ最小限に抑えることができる。

【0105】

第２処理方法としては、地図構築結果のクエリリクエストを受信し且つ地図構築完了の応答情報を送信した場合に、前記第１地図構築結果を送信する。

【0106】

具体的に、
前記車両の前記画像処理装置によって送信されたｋ番目の前記地図構築結果のクエリリクエストを受信し、前記第１地図構築結果が得られたか否かを検出することと、ここで、ｋは１以上の整数であり、
前記第１地図構築結果が得られたと判定された場合に、前記地図構築完了の応答情報を前記車両の前記画像処理装置に送信し、前記第１地図構築結果を前記車両の前記画像処理装置に送信することと、
前記第１地図構築結果が得られなかった場合に、前記第１地図構築結果が得られたと判定されるまで、地図構築を完了していない旨の応答情報を前記車両の前記画像処理装置に送信した後、前記車両の前記画像処理装置から送信されたｋ＋１番目の前記地図構築結果のクエリリクエストを待ち続ける処理を繰り返す。

【0107】

この方法を採用することにより、一旦前記車両の前記画像処理装置から送信された地図構築結果のクエリリクエストを受信し且つ自身が前記第１地図構築結果を既に得たと判定する時点で、前記車両の前記画像処理装置に前記第１地図構築結果を提供することができる。これにより、前記車両の前記画像処理装置が前記第１地図構築結果を取得するリアルタイム性を確保することができ、車両が後続的に前記目標エリアの地図情報を前記第１地図構築結果に置き換えて保存し、後続の車両の自動運転を駆動する効率を確保することができる。

【0108】

最後に、上述した第１態様の実施例及び第２態様の実施例を参照し、前記第１態様の実施例の実行主体が前記車両に設置された前記画像処理装置または搭載された前記画像処理装置であり、前記第２態様の実施例の実行主体がサーバである場合を例として、例示的に説明し、図８に示すように、以下のステップを含むことができる。

【0109】

Ｓ８０１において、前記画像処理装置は、自動運転の地図構築タスクをオンにする。

【0110】

前記自動運転の地図構築タスクには、少なくとも前記目標エリアが含まれてもよく、さらに、前記目標エリア内の走行経路が含まれてもよい。

【0111】

前記自動運転の地図構築タスクは、ユーザーの制御によってオンにすることができ、または、前記車両によって自動的にオンになることができる。

【0112】

Ｓ８０１が完了した後に、前記車両が走行を開始するように制御してもよく、例えば、前記目標エリアを含む走行経路を走行し始めるように制御してもよい。

【0113】

Ｓ８０２において、前記画像処理装置は、前記車両のカメラがリアルタイムで収集した各画像情報を取得し、リアルタイムで収集された前記各画像情報をサーバに送信する。

【0114】

相応的に、前記サーバは、前記各画像情報を受信する。

【0115】

本ステップにおいて、前記サーバが前記各画像情報を受信した後、前記サーバの処理は、前記サーバが前記各画像情報を受信した後、処理をせずに前記各画像情報のみを保存することを含むことができる。

【0116】

あるいは、前記サーバは、前記各画像情報を受信すると同時に、前記各画像情報のそれぞれを前記第２モデルに入力して、前記第２モデルによって出力された、前記各画像情報のそれぞれに対応する第２サブ地図構築結果を得る。

【0117】

Ｓ８０３において、前記画像処理装置は、前記各画像情報のそれぞれを前記第１モデルに入力して、前記第１モデルによって出力された、前記各画像情報のそれぞれに対応する第１サブ地図構築結果を得る。

【0118】

上述したＳ８０２及びＳ８０３は、同時に実行されるものであってもよい。

【0119】

Ｓ８０４において、前記画像処理装置は、前記車両が画像情報の収集を完了したと判定された場合に、画像情報の収集を完了した旨の通知情報を前記サーバに送信する。

【0120】

また、前記画像処理装置が、前記車両が画像情報の収集を完了したと判定された場合に、
前記画像処理装置が、最後の画像情報に対応する第１サブ地図構築結果が得られたか否かを継続的に判断し、前記最後の画像情報に対応する第１サブ地図構築結果が得られたと判定された場合に、前記各画像情報のそれぞれに対応するサブ地図構築結果をマージして前記第２地図構築結果を得ることを含んでもよい。

【0121】

なお、前記画像処理装置の演算能力に限界があるため、前記第２地図構築結果が得られるタイミングは、後述のＳ８０６よりも後である場合がある。

【0122】

Ｓ８０５において、前記サーバは、前記第１地図構築結果を前記画像処理装置に送信する。

【0123】

具体的に、前記サーバは、前記各画像情報を受信した後、処理せずに前記各画像情報を保存するだけであれば、前記画像処理装置から送信された、前記画像情報の収集を完了した旨の通知情報を受信した場合に、前記各画像情報を第２モデルに入力して、前記第２モデルによって出力された前記第１地図構築結果を得て、前記第１地図構築結果を前記画像処理装置に送信する。

【0124】

前記サーバが前記各画像情報を受信すると同時に、前記各画像情報のそれぞれを前記第２モデルに入力して、前記第２モデルによって出力された、前記各画像情報のそれぞれに対応する第２サブ地図構築結果を得るのであれば、前記サーバが画像情報の収集を完了した旨の通知情報を受信し且つ最後の画像情報に対応する第２サブ地図構築結果が得られたと判定された場合に、前記サーバは、前記各画像情報のそれぞれに対応する第２サブ地図構築結果をマージして前記第１地図構築結果を得、前記第１地図構築結果を前記画像処理装置に送信する。

【0125】

Ｓ８０６において、前記画像処理装置は、前記第１地図構築結果を前記目標エリアの地図情報として保存し、ここで、前記目標エリアの前記地図情報は、前記目標エリア内における前記車両の自動運転を駆動するために用いられる。

【0126】

なお、上述のＳ８０４において、前記画像処理装置が、最後の画像情報に対応する第１サブ地図構築結果が得られたか否かを継続して判断し、最後の画像情報に対応する第１サブ地図構築結果が得られたと判定された場合に、前記各画像情報のそれぞれに対応するサブ地図構築結果をマージして前記第２地図構築結果を得ると説明した。前記画像処理装置の演算能力に限界があるため、前記第２地図構築結果が得られるタイミングはＳ８０６よりも後である場合がある。

【0127】

したがって、Ｓ８０６が完了した後に、前記画像処理装置が前記第２構築結果を得た場合に、前記第２構築結果に基づき、前記第１構築結果を置き換えて、前記目標エリアの地図情報として保存するＳ８０７をさらに含んでもよい。

【0128】

本実施例により提供される方案は、画像情報を前記サーバにアップロードして、前記サーバが前記画像情報を処理して前記第１地図構築結果を得、前記サーバから前記第１地図構築結果を取得すると、後続の車両の自動運転のために、前記第１地図構築結果を前記目標エリアの地図情報として保存することができる。前記サーバの方がより高い演算能力を有するため、前記サーバを用いて前記第１地図構築結果を生成することにより、第１地図構築結果を得る効率を向上させることができ、最終的な目的地域の地図情報をタイムリー且つ効率的に得ることができる。

【0129】

また、本開示の第３の態様の実施例は、画像処理装置を提供し、図９に示すように、
少なくとも１つの画像情報をサーバに送信するための第１送信モジュール９０１と、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、
前記サーバによって生成された第１地図構築結果を取得するための第１受信モジュール９０２と、ここで、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を、前記目標エリアの地図情報として保存するための第１処理モジュール９０３と、を備え、ここで、前記目標エリアの前記地図情報が、前記目標エリア内における前記車両の自動運転を駆動することに用いられる。

【0130】

前記第１処理モジュール９０３は、前記少なくとも１つの画像情報を処理して第２地図構築結果を得、前記第２地図構築結果に基づき、前記第１地図構築結果を置き換えて、前記目標エリアの地図情報として保存することに用いられ、ここで、前記第２地図構築結果が前記目標エリア内の第２環境特徴を含む。

【0131】

前記第１処理モジュール９０３は、前記少なくとも１つの画像情報のそれぞれを第１モデルに入力して、前記第１モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第１サブ地図構築結果を得、前記車両が画像情報の収集を完了したと判定された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第１サブ地図構築結果をマージして前記第２地図構築結果を得ることに用いられる。

【0132】

前記第１送信モジュール９０１は、画像情報の収集を完了した旨の通知情報を前記サーバに送信することに用いられ、前記第１受信モジュール９０２は、前記サーバによって送信された前記第１地図構築結果を受信することに用いられる。

【0133】

前記第１送信モジュール９０１は、画像情報の収集を完了した旨の通知情報を前記サーバに送信すること、及び、地図構築結果のクエリリクエストを前記サーバに送信することに用いられ、
前記第１受信モジュール９０２は、前記サーバから送信された地図構築完了の応答情報を受信した場合に、前記サーバから前記第１地図構築結果を取得することに用いられる。

【0134】

本実施例により提供される前記画像処理装置は、前記車両に設置されてもよい。本実施例に係る前記画像処理装置における各モジュールの具体的な処理は、上述した第１態様の実施例に係る画像処理方法と同様であり、ここでは説明を省略する。

【0135】

本開示の第４の態様は、画像処理装置を提供し、図１０に示すように、
受信した少なくとも１つの画像情報に基づいて処理を行い、第１地図構築結果を得るための第２処理モジュール１００１と、ここで、前記少なくとも１つの画像情報が、目標エリア内において車両が走行中に収集したものであり、前記第１地図構築結果が前記目標エリア内の第１環境特徴情報を含み、
前記第１地図構築結果を送信するための第２送信モジュール１００２と、を備える。

【0136】

図１０に示す画像処理装置に加えて、一実施形態では、図１１に示すように、前記装置は、
前記少なくとも１つの画像情報を受信することと、画像情報の収集を完了した旨の通知情報を受信することと、に用いられる第２受信モジュール１００４と、
前記第２受信モジュールによって受信された前記少なくとも１つの画像情報を保存するための保存モジュール１００３と、をさらに備え、
前記第２処理モジュール１００１は、前記画像情報の収集を完了した旨の通知情報を前記第２受信モジュールにより受信した場合に、前記少なくとも１つの画像情報を第２モデルに入力して、前記第２モデルによって出力された前記第１地図構築結果を得るために用いられる。

【0137】

前記第２受信モジュール１００４は、前記少なくとも１つの画像情報を受信することと、画像情報の収集を完了した旨の通知情報を受信することと、に用いられ、
前記第２処理モジュール１００１は、前記第２受信モジュールによって受信された前記少なくとも１つの画像情報のそれぞれを第２モデルに入力して、前記第２モデルによって出力された、前記少なくとも１つの画像情報のそれぞれに対応する第２サブ地図構築結果を得ることと、前記画像情報の収集を完了した旨の通知情報が前記第２受信モジュールによって受信された場合に、前記少なくとも１つの画像情報のそれぞれに対応する前記第２サブ地図構築結果をマージして前記第１地図構築結果を得ることと、に用いられる。

【0138】

前記第２受信モジュール１００４は、地図構築結果のクエリリクエストを受信することに用いられ、
前記第２送信モジュール１００２は、地図構築完了の応答情報を送信する場合に、前記第１地図構築結果を送信することに用いられる。

【0139】

本実施例により提供される前記画像処理装置は、サーバに設置されてもよい。本実施例に係る前記画像処理装置における各モジュールの具体的な処理は、上述した第２の態様の画像処理方法と同様であり、ここでは説明を省略する。

【0140】

本開示の技術方案において、関連するユーザーの個人情報の取得、保存および応用等は、いずれも関連法律法規の規定に合致しており、公序良俗に反するものではない。

【0141】

本開示の実施形態によれば、本開示は、電子デバイス、読取可能記憶媒体及びコンピュータプログラム製品をさらに提供する。

【0142】

図１２は、本開示の実施形態を実現するための例示的電子デバイス１２００のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。

【0143】

図１２に示すように、電子デバイス１２００は、リードオンリーメモリ（ＲＯＭ）１２０２に記憶されたコンピュータプログラム命令、又は記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できる計算ユニット１２０１を含む。ＲＡＭ１２０３には、デバイス１２００の動作に必要な各種のプログラム及びデータをさらに記憶することができる。計算ユニット１２０１と、ＲＯＭ１２０２と、ＲＡＭ１２０３とは、バス１２０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース１２０５もバス１２０４に接続されている。

【0144】

電子デバイス１２００における複数のコンポーネントは、Ｉ／Ｏインタフェース１２０５に接続されており、その複数のコンポーネントは、キーボードやマウスなどの入力ユニット１２０６と、種々なディスプレイやスピーカなどの出力ユニット１２０７と、磁気ディスクや光学ディスクなどの記憶ユニット１２０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット１２０９と、を備える。通信ユニット１２０９は、デバイス１２００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介して他の機器と情報／データを交換することを許可する。

【0145】

計算ユニット１２０１は、処理及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット１２０１のいくつかの例としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを備えるが、これらに限定されない。計算ユニット１２０１は、上述で説明された各方法及び処理を実行する。例えば、いくつかの実施形態では、上述で説明された各方法を、記憶ユニット１２０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施形態では、コンピュータプログラムの一部又は全ては、ＲＯＭ１２０２及び／又は通信ユニット１２０９を介して、電子デバイス１２００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ１２０３にロードされて計算ユニット１２０１によって実行される場合に、上述で説明された各方法の一つ又は複数のステップを実行することができる。追加可能に、他の実施例では、計算ユニット１２０１は、他の任意の適当な方式（例えば、ファームウェア）により上述で説明された各方法を実行するように構成することができる。

【0146】

ここで記載されているシステム又は技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び／又は解釈される１つ又は複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも１つの入力デバイス、及び該少なくとも１つの出力デバイスに転送することができる専用又は汎用のプログラマブルプロセッサであってもよい。

【0147】

本開示の方法を実行するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図に規定された機能／動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバで実行されてもよい。

【0148】

本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて使用されるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＭＯ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＭＯ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＭＯ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。

【0149】

ユーザーとのインタラクションを提供するために、コンピュータでここで記載されているシステム及び技術を実施することができ、該コンピュータは、ユーザーに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニターなど）、ユーザーが入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボールなど）を備えるができる。ユーザーとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザーに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックなど）であってもよく、また、いかなる形式（例えば、音響入力、音声入力、触覚入力など）によって、ユーザーからの入力を受付取るができる。

【0150】

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザーがＧＵＩ又は該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

【0151】

コンピュータシステムは、クライアント端末とサーバを含み得る。通常、クライアント端末とサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント端末－サーバの関係を有するコンピュータプログラムによってクライアント端末とサーバの関係を生み出す。

【0152】

上記の様々な態様のフローを用いて、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。

【0153】

上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原理原則内における変更、均等な置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】