特開 2022-20066 遠隔制御における画像処理方法、装置、機器及びプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022020066

(43)【公開日】2022-01-31

(54)【発明の名称】遠隔制御における画像処理方法、装置、機器及びプログラム製品

(51)【国際特許分類】

   G06T 3/00 20060101AFI20220124BHJP

   G06T 1/00 20060101ALI20220124BHJP

   G08G 1/09 20060101ALI20220124BHJP

   H04N 21/2343 20110101ALI20220124BHJP

【ＦＩ】

G06T3/00 750

G06T1/00 330

G08G1/09 V

H04N21/2343

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2021180515

(22)【出願日】2021-11-04

(31)【優先権主張番号】202011525076.8

(32)【優先日】2020-12-22

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】516262169

【氏名又は名称】北京百度網訊科技有限公司

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】孫 慶瑞

(72)【発明者】

【氏名】馮 靖超

(72)【発明者】

【氏名】夏 黎明

(72)【発明者】

【氏名】陳 卓

【テーマコード（参考）】

5B057

5C164

5H181

【Ｆターム（参考）】

5B057AA16

5B057CA12

5B057CB12

5B057CE08

5B057CE10

5B057DA07

5B057DB02

5B057DC05

5C164FA07

5C164PA31

5C164SA26S

5C164SB02P

5C164SB21S

5H181AA01

5H181CC04

5H181FF13

5H181FF27

5H181FF33

5H181LL09

(57)【要約】      （修正有）

【課題】遠隔運転効果を向上させることができる複数画像の繋ぎ合わせ処理方法及び装置を提供する。
【解決手段】遠隔制御における画像処理方法は、クラウド機器によって実行され、車両から送信された画像情報を受信し、画像情報には車両によって収集された複数パスの画像データが含まれ、複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得て、車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

クラウド機器によって実行される、遠隔制御における画像処理方法であって、
車両から送信された画像情報を受信することと、
前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることと、
前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することと、
を含み、
前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる、遠隔制御における画像処理方法。

【請求項2】

前記車両から送信された画像情報を受信することが、
前記車両からリアルタイム通信ＲＴＣ（ｒｅａｌ－ｔｉｍｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を通して送信された第一画像圧縮情報を受信することを含み、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、
前記の前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることが、
前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることを含む請求項１に記載の方法。

【請求項3】

前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、
前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることが、
前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出することと、
前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得ることと、
前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得ることと、
前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出することと、
前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得ることと、
前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得ることと、
前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得ることと、
を含む請求項１に記載の方法。

【請求項4】

前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することが、
前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信することを含む請求項１に記載の方法。

【請求項5】

クラウド機器に適用される、遠隔制御における画像処理装置であって、
車両から送信された画像情報を受信するための受信モジュールであって、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる受信モジュールと、
前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るための繋ぎ合わせモジュールと、
前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信するための送信モジュールと、
を備える、遠隔制御における画像処理装置。

【請求項6】

前記受信モジュールが、前記車両からリアルタイム通信ＲＴＣを通して送信された第一画像圧縮情報を受信するために用いられ、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、
前記繋ぎ合わせモジュールが、前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るために用いられる請求項５に記載の装置。

【請求項7】

前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、
前記繋ぎ合わせモジュールが、
前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出するための第一抽出ユニットと、
前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得るための第一作成ユニットと、
前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得るための第一融合ユニットと、
前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出するための第二抽出ユニットと、
前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得るための第二作成ユニットと、
前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得るための第二融合ユニットと、
前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得るための繋ぎ合わせユニットと、
を備える請求項５に記載の装置。

【請求項8】

前記送信モジュールが、前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信するために用いられる請求項５に記載の装置。

【請求項9】

少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信接続されたメモリと、
を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが請求項１から４のいずれか一項に記載の方法を実行可能となる電子機器。

【請求項10】

コンピュータ命令を記憶した非一時的なコンピュータ読取可能な記憶媒体であって、前記コンピュータ命令が、請求項１から４のいずれか一項に記載の方法をコンピュータに実行させるためのものである非一時的なコンピュータ読取可能な記憶媒体。

【請求項11】

コンピュータプログラム製品であって、前記コンピュータプログラム製品が電子機器上で動作すると、請求項１から４のいずれか一項に記載の方法が前記電子機器によって実行されるコンピュータプログラム製品。

【請求項12】

請求項９に記載の電子機器を備えるクラウド機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術に関し、特に自動運転技術に関する。

【背景技術】

【0002】

自動運転技術の発達に伴い、現在、ますます多くの車両が知能運転をサポートするようになっている。例えば、自家用車、バスや貨車等の車両は、何れも知能運転をサポート可能であり、且つそれらの知能運転は、遠隔制御又は車両の自動運転によるものとされることが可能である。現在の車両知能運転は、主に車両によって収集された画像を元に車両運転を実現しており、遠隔制御運転技術では、主に、車両が画像をリモートコックピット機器にそれぞれ送信し、リモートコックピット機器がこれらの画像に基づいて遠隔運転制御を行うようになっている。

【発明の概要】

【0003】

本開示は、遠隔制御における画像処理方法、装置、機器及びプログラム製品を提供する。

【0004】

本開示の一局面によれば、クラウド機器によって実行される、遠隔制御における画像処理方法であって、車両から送信された画像情報を受信することと、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることと、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することとを含み、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる、遠隔制御における画像処理方法を提供している。

【0005】

本開示の別の局面によれば、クラウド機器に適用される、遠隔制御における画像処理装置であって、車両から送信された画像情報を受信するための受信モジュールであって、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる受信モジュールと、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るための繋ぎ合わせモジュールと、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信するための送信モジュールと、を備える、遠隔制御における画像処理装置を提供している。

【0006】

本開示の別の局面によれば、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信接続されたメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが本開示による遠隔制御における画像処理方法を実行可能となる電子機器を提供している。

【0007】

本開示の別の局面によれば、コンピュータ命令を記憶した非一時的なコンピュータ読取可能な記憶媒体であって、前記コンピュータ命令は、本開示による遠隔制御における画像処理方法をコンピュータに実行させるためのものである、非一時的なコンピュータ読取可能な記憶媒体を提供している。

【0008】

本開示の別の局面によれば、コンピュータプログラム製品であって、前記コンピュータプログラム製品が電子機器上で動作すると、本開示による遠隔制御における画像処理方法が前記電子機器によって実行されるコンピュータプログラム製品を提供している。

【0009】

本開示の別の局面によれば、本開示による電子機器を備えるクラウド機器を提供している。

【発明の効果】

【0010】

本開示の技術案によれば、クラウド機器が、車両から送信された複数パスの画像データを繋ぎ合わせて、繋ぎ合わせ画像をリモートコックピット機器に送信しているため、リモートコックピット機器の遠隔運転効果を向上させることができる。

【0011】

理解されたいのは、この部分で説明された内容は、本開示の実施例における肝心又は重要な特徴を特定することを意図せず、本開示の範囲を制限するためのものでもない。本開示の他の特徴は、以下の説明により理解され易くなるであろう。

【0012】

図面は、本技術案をより好く理解するためのものであり、本開示に対する制限を構成するものではない。

【図面の簡単な説明】

【0013】

【図1】本開示による遠隔制御における画像処理方法のフローチャートである。

【図2】本開示による複数パスの画像データの模式図である。

【図3】本開示による画像繋ぎ合わせの模式図である。

【図4】本開示による画像処理の模式図である。

【図5】本開示による遠隔制御における画像処理装置の構造図である。

【図6】本開示による別の遠隔制御における画像処理装置の構造図である。

【図7】本開示の実施例に係る遠隔制御における画像処理方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本願の例示的な実施例を説明する。理解を助けるために、その中には、本願の実施例の様々な詳細を含むが、これらの詳細は、単に例示的なものであると理解されたい。したがって、当業者であれば、本願の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を加えることができると認識すべきである。同様に、説明の明確化及び簡素化のために、以下の説明では、周知の機能及び構造についての記載が省略される。

【0015】

以下、図面を参照して本願の例示的な実施例を説明する。理解を助けるために、その中には、本願の実施例の様々な詳細を含むが、これらの詳細は、単に例示的なものであると理解されたい。したがって、当業者であれば、本願の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を加えることができると認識すべきである。同様に、説明の明確化及び簡素化のために、以下の説明では、周知の機能及び構造についての記載が省略される。

【0016】

図１を参照して、図１は、本開示による画像処理方法のフローチャートである。当該方法は、クラウド機器によって実行されるものであり、図１に示すように、以下のステップＳ１０１～Ｓ１０３を含む。

【0017】

ステップＳ１０１、車両から送信された画像情報を受信し、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる。

【0018】

上記画像情報は、車両からリアルタイムに送信された画像情報、例えば車両から５Ｇ、６Ｇネットワークを通して送信された画像情報であってもよい。

【0019】

上記複数パスの画像データは、車両の複数のカメラによって収集された画像データであってもよく、各パスの画像データには、カメラが１つずつ対応付けられている。例えば、車両の前方、左側及び右側のカメラによって収集された３パスの画像データである。そして、上記画像データは、ビデオ画像データ、例えば３パスのビデオ画像データであってもよい。更に、前方画像データは、広視界画像データであってもよい。

【0020】

本開示における車両は、例えば無人乗用車、無人バスや無人貨車等の無人車両であってもよく、これらの無人車両は、リモートにあるリモートコックピット機器によって遠隔制御されることが可能である。ここで、遠隔制御については、全行程で車両を遠隔運転してもよいし、車両の自動運転中に運転の一部を遠隔的にテイクオーバーしてもよい。即ち、車両は、自動運転及び遠隔制御運転をサポート可能である。

【0021】

ステップＳ１０２、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得る。

【0022】

クラウド機器は、上記複数パスの画像データを取得した後、当該複数パスの画像データを１つの画像に繋ぎ合わせる。例えば、複数パスの画像データにおける重畳画像データを融合して繋ぎ合わせることで、上記繋ぎ合わせ画像を得る。

【0023】

また、上記繋ぎ合わせは、フレーム単位の繋ぎ合わせであってもよく、例えば、車両から送信された複数パスの画像データにおける同じ時点での画像フレームを繋ぎ合わせて、繋ぎ合わせ後の１フレームの画像を得てもよい。

【0024】

ステップＳ１０３、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信する。

【0025】

前記車両を制御する上記リモートコックピット機器は、上記車両を遠隔運転するための機器であって、上記繋ぎ合わせ画像を提示するための表示装置を備える機器とされてもよい。こうした場合、リモートコックピット機器のユーザは、提示された繋ぎ合わせ画像に基づいて、車両の現在の環境を把握し、遠隔的に車両を制御することができる。

【0026】

クラウド機器は、上記繋ぎ合わせ画像を得た後、リアルタイムにリモートコックピット機器に伝送してもよく、例えば、５Ｇ又は６Ｇネットワークを通して、リモートコックピット機器に上記繋ぎ合わせ画像を送信してもよい。

【0027】

クラウド機器からリモートコックピット機器に送信されるのが、複数パスの画像を繋ぎ合わせて得られた繋ぎ合わせ画像となるため、リモートコックピット機器は、当該画像を提示するだけでよく、リモートコックピット機器のユーザは、当該画像を閲覧するだけで、車両の複数パスの画像データを把握することができ、その結果、リモートコックピット機器の遠隔運転効果が向上される。そして、クラウド機器によって繋ぎ合わせを行っているため、クラウド機器の高い演算性能が利用されることになっており、その結果、車両によって収集された画像がリモートコックピット機器に伝送されるまでの時間遅延を低減することができる。

【0028】

本開示におけるクラウド機器は、サーバや計算機等のクラウド電子機器であってもよい。

【0029】

選択的な実施形態の１つとして、前記の車両から送信された画像情報を受信することは、
前記車両からリアルタイム通信ＲＴＣ（Ｒｅａｌ－ｔｉｍｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を通して送信された第一画像圧縮情報を受信するを含み、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、前記の前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることは、前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることを含む。

【0030】

上述の前記車両からＲＴＣを通して送信された第一画像圧縮情報を受信することは、車両からＲＴＣサービスを用いて送信された第一画像圧縮情報を、クラウド機器がＲＴＣサービスを通して受信することであってもよい。上記第一画像圧縮情報は、車両が上記複数パスの画像データを収集した後に圧縮することで得られた画像圧縮情報であってもよく、例えば、ｈ２６４圧縮技術を用いて圧縮された画像であってもよい。本開示は、圧縮技術について特に限定せず、例えば、ｈ２６３圧縮技術を用いて圧縮してもよい。

【0031】

本実施形態では、ＲＴＣを通して圧縮画像情報が伝送されるため、車両とクラウド機器との間の伝送時間遅延を低減し、リモートコックピット機器による車両の遠隔運転の安全性を向上させることができる。

【0032】

説明すべきなのは、本開示において、クラウド機器は、前記車両からＲＴＣを通して送信された第一画像圧縮情報を受信することに限定されない。例えば、クラウド機器は、車両から他の通信技術方式を通して送信された第一画像圧縮情報を受信してもよく、又は、車両からＲＴＣを通して送信された未圧縮の複数パスの画像データを受信してもよい。

【0033】

選択的な実施形態の１つとして、前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得ることは、前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出することと、前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得ることと、前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得ることと、前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出することと、前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得ることと、前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得ることと、前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得ることとを含む。

【0034】

ここで、上記第１パスの画像データは、車両のカメラのうち、左側又は右側の画像を収集するためのカメラによって収集された画像データであってもよい。上記第２パスの画像データは、車両のカメラのうち、車両の前方の画像を収集するためのカメラによって収集された画像データであってもよく、そして、当該カメラは、広視界カメラであってもよい。上記第３パスの画像データは、車両のカメラのうち、右側又は左側の画像を収集するためのカメラによって収集された画像データであってもよい。

【0035】

上述の前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出することは、第１パスの画像データと第２パスの画像データとで同じになっている複数の画素点を抽出することであってもよい。実際では、各画像には、その独自の画素点があり、これらの画素点は、当該画像の特徴点として理解できる。一方で、本開示では、第１パスの画像データと第２パスの画像データとには、例えば図２に示す領域２０１のような重複領域がある。そのため、第１パスの画像データと第二路データ画像とから当該重複領域の画素点を抽出すると、上記第一共通画素点が得られて、これらの画素点は、第１パスの画像データと第２パスの画像データとの両方に存在する画素点となる。

【0036】

説明すべきなのは、本開示における図２は、簡単な例示模式図に過ぎず、本開示による技術案を何らか限定するものではない。

【0037】

一実施形態では、高速化ロバスト特徴ＳＵＲＦ（Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）特徴抽出及び特徴マッチングアルゴリズムによって、第１パスの画像データと第２パスの画像データとの第一共通画素点を抽出してもよい。そして、抽出の際、閾値を設定して第１パスの画像データと第２パスの画像データとの最適な共通画素点を抽出することで、画像の繋ぎ合わせ効果を向上させてもよく、当該閾値は、ユークリッド距離閾値であってもよい。こうした場合、第１パスの画像データと第２パスの画像データの画素点との間のユークリッド距離が当該閾値以下であるかどうかを判断し、当該閾値以下の場合、当該画素点を第１パスの画像データと第２パスの画像データとの共通画素点として確定してもよい。

【0038】

説明すべきなのは、本開示において、ＳＵＲＦ特徴抽出及び特徴マッチングアルゴリズムによって共通画素点を抽出することに限定されず、例えば、スケール不変特徴変換ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）アルゴリズムによって、第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出してもよい。

【0039】

上述の前記第一共通画素点を元に第一座標系を作成することは、第一共通画素点を参照として新しい座標系を作成してもよい。こうした場合、第１パスの画像データにおける各画素点が、第一共通画素点を基準として当該座標系にマッピングされ、第２パスの画像データにおける各画素点も、第一共通画素点を基準として当該座標系にマッピングされるため、この座標系で２パスの画像データにおける全ての画素点の再キャリブレーションが実現される。

【0040】

上述の前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーすることは、空白画像を作成してから、第一画像マッピングデータ及び前記第二画像マッピングデータを当該空白画像内にそれぞれコピーすることであってもよい。第一画像マッピングデータと第二画像マッピングデータとが、同一座標系における画像データであるため、このように第一画像マッピングデータ及び第二画像マッピングデータを第一空白画像内にそれぞれコピーすることで、同一座標系における２つの画像データの繋ぎ合わせを実現できる。

【0041】

上述の前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合することは、第一画像マッピングデータと第二画像マッピングデータとの第一空白画像内で重畳する画素点の画像データを重み付け融合することであってもよい。ここで、第一画像マッピングデータ及び第二画像マッピングデータの重みは、予め設定されたもので、実際の必要に応じて具体的に設定可能である。

【0042】

重畳画像データが重み付け融合されることによって、繋ぎ合わせ画像の境界箇所では、光線や色合いの原因で境界箇所の遷移が悪くて不自然になるという事態を回避され、重畳部分が一方の画像データから他方の画像データへ徐々に遷移することを実現され、画像繋ぎ合わせの際、その繋ぎ合わせ効果が向上される。

【0043】

上記第２パスの画像データと第３パスの画像データとの繋ぎ合わせについては、第１パスの画像データと第２パスの画像データとの繋ぎ合わせを参照可能であり、例えば、図２に示すように、第３パスの画像データと第２パスの画像データとの第二共通画素点は、図２に示す領域２０２内の画素点とされてもよい。

【0044】

上述の前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得ることは、上記の第一繋ぎ合わせサブ画像及び第二繋ぎ合わせサブ画像のような方式で繋ぎ合わせてもよい。又は、第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とをそのまま繋ぎ合わせてもよく、なぜならば、第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像との重複領域が、完全に同じ領域、例えば第２パスの画像データの中間領域となり得るからである。

【0045】

上記実施形態において、画像繋ぎ合わせ過程には、共通画素点抽出、座標系への画像データマッピング、マッピングデータコピー、及び重み付け融合が包含されているため、画像繋ぎ合わせ効果を向上させることができる。具体的に、図３に示すように、共通画素点抽出、座標系への画像データマッピング、マッピングデータコピー、及び重み付け融合を通じて、繋ぎ合わせ画像を得ることが可能である。

【0046】

説明すべきなのは、本開示において、上記の繋ぎ合わせ方式によって繋ぎ合わせ画像を得ることに限定されず、例えば、スケール不変特徴変換ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）マッチングアルゴリズムに基づく画像繋ぎ合わせアルゴリズムによって、繋ぎ合わせ画像を得てもよい。

【0047】

選択的な実施形態の１つとして、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信することは、前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信することを含む。

【0048】

そのうち、上記圧縮は、Ｈ２６４圧縮技術によって繋ぎ合わせ画像を圧縮してもよいし、他の圧縮技術を用いてもよく、これについて限定しない。

【0049】

また、上述のＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信することは、クラウド機器がＲＴＣサービスを通してリモートコックピット機器に前記第二画像圧縮情報を送信することであってもよい。

【0050】

本実施形態では、ＲＴＣを通してリモートコックピット機器に第二画像圧縮情報が送信されるため、クラウド機器からリモートコックピット機器までの伝送時間遅延を低減し、リモートコックピット機器による車両の遠隔運転の安全性を向上させることができる。

【0051】

以下、図４を参照して、左側カメラによって収集された左側画像データと、前方カメラによって収集された前方画像データと、右側カメラによって収集された右側画像データとが複数パスの画像データに含まれる場合について、例を挙げて説明する。図４に示すように、車両は、左側画像データ、前方画像データ及び右側画像データを収集しており、これらの画像データがＨ２４６圧縮技術によって圧縮され、圧縮画像について、５Ｇネットワークを用いて、ＲＴＣサービスを通してクラウド機器に圧縮画像情報が送信され、クラウド機器は、圧縮画像情報を受信した後にＨ２６４を用いて解凍し、解凍された画像データを繋ぎ合わせ、更にＨ２６４によって繋ぎ合わせ画像を圧縮して、ＲＴＣサービスを通してリモートコックピット機器にアップロードする。リモートコックピット機器は、圧縮された繋ぎ合わせ画像を受信した後に解凍して提示することで、ユーザは、リモートコックピット機器によって提示された繋ぎ合わせ画像に基づいて、車両を遠隔運転操作するようになる。

【0052】

本開示の技術案によれば、クラウド機器が、車両から送信された複数パスの画像データを繋ぎ合わせて、繋ぎ合わせ画像をリモートコックピット機器に送信しているため、リモートコックピット機器の遠隔運転効果を向上させることができる。

【0053】

図５を参照して、図５は、本開示による画像処理装置である。当該装置は、クラウド機器に適用されるものであり、図５に示すように、画像処理装置５００は、車両から送信された画像情報を受信するための受信モジュールであって、前記画像情報には、前記車両によって収集された複数パスの画像データが含まれる受信モジュール５０１と、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るための繋ぎ合わせモジュール５０２と、前記車両を制御するためのリモートコックピット機器に前記繋ぎ合わせ画像を送信するための送信モジュール５０３とを備える。

【0054】

選択的に、前記受信モジュール５０１は、前記車両からリアルタイム通信ＲＴＣを通して送信された第一画像圧縮情報を受信するために用いられ、前記第一画像圧縮情報には、前記車両によって収集された複数パスの画像データが含まれ、前記繋ぎ合わせモジュール５０２は、前記第一画像圧縮情報に対して解凍処理を行って、前記複数パスの画像データを得て、前記複数パスの画像データに対して繋ぎ合わせ処理を行って、繋ぎ合わせ画像を得るために用いられる。

【0055】

選択的に、前記複数パスの画像データには、第１パスの画像データ、第２パスの画像データ及び第３パスの画像データが含まれ、図６に示すように、前記繋ぎ合わせモジュール５０２は、前記第１パスの画像データと前記第２パスの画像データとの第一共通画素点を抽出するための第一抽出ユニット５０２１と、前記第一共通画素点を元に第一座標系を作成し、前記第１パスの画像データを前記第一座標系にマッピングして、第一画像マッピングデータを得るとともに、前記第２パスの画像データを前記第一座標系にマッピングして、第二画像マッピングデータを得るための第一作成ユニット５０２２と、前記第一画像マッピングデータ及び前記第二画像マッピングデータを第一空白画像内にそれぞれコピーし、前記第一画像マッピングデータと前記第二画像マッピングデータとの前記第一空白画像内での重畳画像データを重み付け融合して、第一繋ぎ合わせサブ画像を得るための第一融合ユニット５０２３と、前記第３パスの画像データと前記第２パスの画像データとの第二共通画素点を抽出するための第二抽出ユニット５０２４と、前記第二共通画素点を元に第二座標系を作成し、前記第３パスの画像データを前記第二座標系にマッピングして、第三画像マッピングデータを得るとともに、前記第２パスの画像データを前記第二座標系にマッピングして、第四画像マッピングデータを得るための第二作成ユニット５０２５と、前記第三画像マッピングデータ及び前記第四画像マッピングデータを第二空白画像内にそれぞれコピーし、前記第三画像マッピングデータと前記第四画像マッピングデータとの前記第二空白画像内での重畳画像データを重み付け融合して、第二繋ぎ合わせサブ画像を得るための第二融合ユニット５０２６と、前記第一繋ぎ合わせサブ画像と前記第二繋ぎ合わせサブ画像とを繋ぎ合わせて、前記繋ぎ合わせ画像を得るための繋ぎ合わせユニット５０２７とを備える。

【0056】

選択的に、前記送信モジュール５０３は、前記繋ぎ合わせ画像を圧縮して第二画像圧縮情報を得て、ＲＴＣを通して、前記車両を制御するためのリモートコックピット機器に前記第二画像圧縮情報を送信するために用いられる。

【0057】

本実施例による装置は、図１に示す方法実施例で実現された各手順を実現できるとともに、同じ有益な効果を奏することができるが、重複を避けるため、ここで繰り返して説明しない。

【0058】

本開示の実施例によれば、本開示には、電子機器と、コンピュータ命令を記憶した非一時的なコンピュータ読取可能な記憶媒体と、コンピュータプログラム製品とが更に提供されている。

【0059】

図７に、本開示の実施例に係る遠隔制御における画像処理方法による電子機器のブロック図を示す。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナルデジタルアシスタント、及びその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナルデジタル処理、セルラフォン、スマートフォン、ウェアラブルデバイス、及びその他の同様のコンピューティング装置等、様々な形態のモバイル装置を表すこともできる。本明細書で示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は単なる例であり、本明細書で説明及び／又は要求される本開示の実現を制限することを意図するものではない。

【0060】

図７に示すように、当該電子機器には、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インターフェース及び低速インターフェースを備える、様々なコンポーネントを接続するためのインターフェースとが備えられる。各コンポーネントは、異なるバスを使用して相互に接続され、且つ共通のマザーボードに取り付けられるか、或いは、必要に応じて他の方式で取り付けられてもよい。プロセッサは、外部入力／出力装置（例えば、インターフェースに結合された表示機器）にＧＵＩのグラフィカル情報を表示するためにメモリに格納された命令を含めて、電子機器内で実行される命令を処理することが可能である。他の実施例では、必要であれば、複数のプロセッサ及び／又は複数本のバスを複数のメモリとともに使用してもよい。同様に、複数の電子機器を接続して、それぞれの機器が（例えば、サーバアレイ、１セットのブレードサーバ、又はマルチプロセッサシステムとして）、必要な操作の一部を提供するようにしてもよい。図７では、１つのプロセッサ７０１を例に挙げている。

【0061】

メモリ７０２は、本開示による非一時的なコンピュータ読取可能な記憶媒体となる。前記メモリには、本開示による画像処理方法を少なくとも１つのプロセッサに実行させるための、前記なくとも１つのプロセッサによって実行可能な命令が記憶されている。本開示の非一時的なコンピュータ読取可能な記憶媒体は、本開示による画像処理方法をコンピュータに実行させるためのコンピュータ命令を記憶するものである。

【0062】

メモリ７０２は、非一時的なコンピュータ読取可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、例えば本開示の実施例における画像処理方法に対応するプログラム命令／モジュール（例として、図５に示す受信モジュール５０１、繋ぎ合わせモジュール５０２及び送信モジュール５０３）を記憶することに用いられ得る。プロセッサ７０１は、メモリ７０２に記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することで、サーバの様々な機能的アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例における画像処理方法を実現する。

【0063】

メモリ７０２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、画像処理方法の電子機器の使用に応じて作成されたデータ等を記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを備えてもよいし、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステート記憶デバイス等の非一時的なメモリを備えてもよい。いくつかの実施例において、メモリ７０２は、プロセッサ７０１に対して遠隔に配置されたメモリを選択的に備えてもよく、これらの遠隔メモリは、ネットワークを介して画像処理方法の電子機器に接続されることが可能である。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。

【0064】

画像処理方法の電子機器は、入力装置７０３及び出力装置７０４を更に備えてもよい。プロセッサ７０１と、メモリ７０２と、入力装置７０３と、出力装置７０４とは、バス又は他の方式で接続可能であり、図７では、バスを介した接続が例示されている。

【0065】

入力装置７０３は、入力された数字又は文字情報を受信し、画像処理方法の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、小型キーパッド、マウス、トラックパネル、タッチパネル、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置である。出力装置７０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバック装置（例えば、振動モータ）等を備えてもよい。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを備えてもよいが、これらに限定されない。いくつかの実施例では、表示装置は、タッチスクリーンであってもよい。

【0066】

本明細書に記載のシステム及び技術の様々な実装形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路（ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現可能である。これらの様々な実施例は、少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステム上で実行及び／又は解釈可能な１つ又は複数のコンピュータプログラムで実施されてもよく、当該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に送信可能な専用又は汎用のプログラマブルプロセッサであってもよい。

【0067】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含んでもよく、そして、これらのコンピューティングプログラムは、高レベル過程及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械語で実施され得る。本明細書で使用される用語「機械読取可能な媒体」及び「コンピュータ読取可能な媒体」とは、プログラマブルプロセッサに機械命令及び／又はデータを提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理装置（ＰＬＤ））を意味し、機械読取可能な信号としての機械命令を受信する機械読取可能な媒体を含む。「機械読取可能な信号」という用語とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を意味する。

【0068】

ユーザとのインタラクションを提供するために、本明細書に記載のシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティング装置（例えば、マウス又はトラックボール）とを有するコンピュータで実施されてもよく、ユーザは、当該キーボード及び当該ポインティング装置を介してコンピュータに入力を提供可能である。他の種類の装置を使用してユーザとのインタラクションを提供してもよい。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、また、任意の形式（音響入力、音声入力、又は触覚入力を含む）を用いてユーザからの入力を受信してもよい。

【0069】

本明細書に記載のシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとして）、又はミドルコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はＷｅｂブラウザを備えたユーザコンピュータ。ユーザは、当該グラフィカルユーザインターフェース又は当該Ｗｅｂブラウザを介して、ここで説明されるシステム及び技術の実施形態とインタラクションできる）、又はこのようなバックエンドコンポーネント、ミドルコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステム内で実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットが含まれる。

【0070】

コンピュータシステムは、クライアントとサーバとを備えることが可能である。一般的に、クライアントとサーバとは互いに離れており、通常は通信ネットワークを介してインタラクションする。それぞれのコンピュータで実行され且つ互いにクライアント－サーバの関係を持つコンピュータプログラムによってクライアントとサーバとの関係を生成する。

【0071】

本開示は、コンピュータプログラム製品を提供しており、前記コンピュータプログラム製品が電子機器上で動作すると、本開示による画像処理方法が前記電子機器によって実行される。

【0072】

本開示は、本開示による電子機器を備えるクラウド機器を提供している。

【0073】

なお、上記に示す様々な形態のフローを使用して、ステップを並べ替え、追加又は削除可能であることを理解されたい。例えば、本開示で説明された各ステップは、並列、順次、又は異なる順序で実行可能である。本開示で掲載された技術案の望ましい結果を達成できればよく、本明細書は、これについて限定しない。

【0074】

上記の具体的な実施形態は、本開示の保護範囲に対する制限を構成するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置き換えを行えることを理解するべきである。本開示の精神及び原則内で行われた修正、同等の置き換え、及び改善は、何れも本開示の保護範囲に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】