▶ アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッドの特許一覧
特開2023-36795画像処理方法、モデル訓練方法、装置、電子機器、記憶媒体、コンピュータプログラム及び自動運転車両
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023036795
(43)【公開日】2023-03-14
(54)【発明の名称】画像処理方法、モデル訓練方法、装置、電子機器、記憶媒体、コンピュータプログラム及び自動運転車両
(51)【国際特許分類】
G06T 7/00 20170101AFI20230307BHJP
G06V 10/75 20220101ALI20230307BHJP
G06V 10/82 20220101ALI20230307BHJP
G06V 20/56 20220101ALI20230307BHJP
B60W 60/00 20200101ALI20230307BHJP
B60W 50/00 20060101ALI20230307BHJP
【ＦＩ】
G06T7/00 300E
G06V10/75
G06V10/82
G06T7/00 350C
G06T7/00 650Z
G06V20/56
B60W60/00
B60W50/00
【審査請求】有
【請求項の数】36
【出願形態】ＯＬ
【公開請求】
(21)【出願番号】P 2022205077
(22)【出願日】2022-12-22
(31)【優先権主張番号】202111635804.5
(32)【優先日】2021-12-29
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】321009845
【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(72)【発明者】
【氏名】何 宇▲ちゅあ▼
(72)【発明者】
【氏名】周 ▲尭▼
(72)【発明者】
【氏名】侯 深化
(72)【発明者】
【氏名】彭 ▲亮▼
(72)【発明者】
【氏名】万 国▲偉▼
(57)【要約】 （修正有）
【課題】画像処理方法、マルチタスク処理モデルの訓練方法、装置、電子機器、記憶媒体、プログラム及び自動運転車両を提供する。
【解決手段】画像処理方法は、処理すべき画像を処理し、処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、特徴点及び特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定すること及びデンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング画素ペアを特定することを含む。
【選択図】図２
【解決手段】画像処理方法は、処理すべき画像を処理し、処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、特徴点及び特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定すること及びデンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング画素ペアを特定することを含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することと、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することと、を含む画像処理方法。
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することと、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することと、を含む画像処理方法。
【請求項2】
請求項１に記載する方法であって
前記処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するすることは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、を含む方法。
前記処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するすることは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、を含む方法。
【請求項3】
請求項２に記載する方法であって、
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得することは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するすることと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得することと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得することと、を含む方法。
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得することは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するすることと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得することと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得することと、を含む方法。
【請求項4】
請求項２または３に記載する方法であって、
前記マルチタスク処理モデルは、さらに特徴点分類分岐を含み、
前記方法は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することにより、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定すること、をさらに含む方法。
前記マルチタスク処理モデルは、さらに特徴点分類分岐を含み、
前記方法は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することにより、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定すること、をさらに含む方法。
【請求項5】
請求項４に記載する方法であって、
前記特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定することと、
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することとを、含む方法。
前記特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定することと、
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することとを、含む方法。
【請求項6】
請求項４に記載する方法であって、
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出することと、
前記目標特徴点と前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することと、を含む方法。
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出することと、
前記目標特徴点と前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することと、を含む方法。
【請求項7】
請求項３に記載する方法であって、
前記特徴点抽出分岐は複数の特徴点抽出サブ分岐を含み、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得することは、
前記処理すべき画像をそれぞれ前記複数特徴点抽出サブ分岐に入力して、複数の特徴点評点図が前記複数特徴点抽出サブ分岐と一対一で対応する前記複数の特徴点評点図を取得することと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を得ることと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得することと、を含む方法。
前記特徴点抽出分岐は複数の特徴点抽出サブ分岐を含み、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得することは、
前記処理すべき画像をそれぞれ前記複数特徴点抽出サブ分岐に入力して、複数の特徴点評点図が前記複数特徴点抽出サブ分岐と一対一で対応する前記複数の特徴点評点図を取得することと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を得ることと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得することと、を含む方法。
【請求項8】
請求項３に記載する方法であって、
前記デンス記述子マップは高解像度デンス記述子マップ及び低解像度デンス記述子マップを含み、
前記デンス記述子マップの計算分岐は、高解像度デンス記述子マップ計算サブ分岐及び低解像度デンス記述子マップ計算サブ分岐を含み、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することは、
前記低解像度デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定し、ここで、前記低解像度デンス記述子マップは前記低解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、
前記高解像度デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定し、ここで、前記高解像度デンス記述子マップは前記高解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、を含む方法。
前記デンス記述子マップは高解像度デンス記述子マップ及び低解像度デンス記述子マップを含み、
前記デンス記述子マップの計算分岐は、高解像度デンス記述子マップ計算サブ分岐及び低解像度デンス記述子マップ計算サブ分岐を含み、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することは、
前記低解像度デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定し、ここで、前記低解像度デンス記述子マップは前記低解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、
前記高解像度デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定し、ここで、前記高解像度デンス記述子マップは前記高解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、を含む方法。
【請求項9】
請求項３に記載する方法であって、
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、及び分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点類別特徴マップを取得し、ただし、前記複数の特徴点類別特徴マップは、複数の特徴点分類抽出モジュールと一対一で対応することと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数の符号化後サブ特徴点類別特徴マップを取得し、ただし、前記複数の符号化後サブ特徴点類別特徴マップは複数のエンコーダと一対一で対応することと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップ取得することと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得することと、を含む方法。
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、及び分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点類別特徴マップを取得し、ただし、前記複数の特徴点類別特徴マップは、複数の特徴点分類抽出モジュールと一対一で対応することと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数の符号化後サブ特徴点類別特徴マップを取得し、ただし、前記複数の符号化後サブ特徴点類別特徴マップは複数のエンコーダと一対一で対応することと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップ取得することと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得することと、を含む方法。
【請求項10】
請求項８に記載する方法であって、
前記高解像力デンス記述子マップ計算サブ分岐又は低解像力デンス記述子マップ計算サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び全畳み込みモジュールを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、または、カスケードで接続された畳み込みレイヤー及びプーリング層を含み、
ただし、前記全畳み込みモジュールは、カスケードで接続された複数の全畳み込みレイヤーを含む方法。
前記高解像力デンス記述子マップ計算サブ分岐又は低解像力デンス記述子マップ計算サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び全畳み込みモジュールを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、または、カスケードで接続された畳み込みレイヤー及びプーリング層を含み、
ただし、前記全畳み込みモジュールは、カスケードで接続された複数の全畳み込みレイヤーを含む方法。
【請求項11】
請求項７に記載する方法であって、
前記複数の特徴点抽出サブ分岐における少なくとも１つの特徴点抽出サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
前記複数の特徴点抽出サブ分岐における少なくとも１つの特徴点抽出サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
【請求項12】
請求項６に記載する方法であって、
前記特徴点記述子マップ計算分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
前記特徴点記述子マップ計算分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
【請求項13】
請求項１～１２のいずれかに記載する方法であって、
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定する方法。
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定する方法。
【請求項14】
請求項５に記載する方法であって、
前記特徴点マッチング方法は、
最近隣マッチング方法、交差マッチング方法、マップネットワークに基づくマッチング方法の少なくとも１つを含む方法。
前記特徴点マッチング方法は、
最近隣マッチング方法、交差マッチング方法、マップネットワークに基づくマッチング方法の少なくとも１つを含む方法。
【請求項15】
マルチタスク処理モデルの訓練方法であって、
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、
ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは、前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである方法。
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、
ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは、前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである方法。
【請求項16】
請求項１５に記載する方法であって、
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、及び初期特徴点記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得することを、含む方法。
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、及び初期特徴点記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得することを、含む方法。
【請求項17】
請求項１５または１６に記載する方法であって、
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得すること、を含む方法。
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得すること、を含む方法。
【請求項18】
請求項１５～１７のいずれかに記載する方法であって、
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して、前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得し、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである方法。
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して、前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得し、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである方法。
【請求項19】
処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するための処理モジュールと、
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定するための第一の特定モジュールと、
前記デンス記述子マップに基づき、前記処理すべき画像及び前記基準画像とのマッチング画素ペアを特定するための第二の特定モジュールと、を含む画像処理装置。
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定するための第一の特定モジュールと、
前記デンス記述子マップに基づき、前記処理すべき画像及び前記基準画像とのマッチング画素ペアを特定するための第二の特定モジュールと、を含む画像処理装置。
【請求項20】
請求項１９に記載する装置であって、
前記処理モジュールは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するための処理サブモジュールを含む装置。
前記処理モジュールは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するための処理サブモジュールを含む装置。
【請求項21】
請求項２０に記載する装置であって、
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理サブモジュールは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するための第一の処理ユニットと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得するための第二の処理ユニットと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得するための第三の処理ユニットと、を含む装置。
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理サブモジュールは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するための第一の処理ユニットと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得するための第二の処理ユニットと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得するための第三の処理ユニットと、を含む装置。
【請求項22】
請求項２０または２１に記載する装置であって、
前記マルチタスク処理モデルは、特徴点分類分岐をさらに含み、
前記画像処理装置は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することで、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第四の処理ユニットをさらに含む装置。
前記マルチタスク処理モデルは、特徴点分類分岐をさらに含み、
前記画像処理装置は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することで、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第四の処理ユニットをさらに含む装置。
【請求項23】
請求項２２に記載する装置であって、
前記第一の特定モジュールは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定するための選別ユニットと、
前記目標特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための特定ユニットと、を含む装置。
前記第一の特定モジュールは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定するための選別ユニットと、
前記目標特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための特定ユニットと、を含む装置。
【請求項24】
請求項２３に記載する装置であって、
前記特定ユニットは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出するための抽出サブユニットと、
前記目標特徴点及び前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第一のマッチングサブユニットと、を含む装置。
前記特定ユニットは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出するための抽出サブユニットと、
前記目標特徴点及び前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第一のマッチングサブユニットと、を含む装置。
【請求項25】
請求項２１に記載する装置であって、
前記特徴点抽出分岐は、複数の特徴点抽出サブ分岐を含み、
前記第一の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点抽出サブ分岐に入力して、前記複数の特徴点抽出サブ分岐と一対一で対応する複数の特徴点評点図を取得するための第一の入力サブユニットと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を取得するための重み付けサブユニットと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得する補間サブユニットと、を備える装置。
前記特徴点抽出分岐は、複数の特徴点抽出サブ分岐を含み、
前記第一の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点抽出サブ分岐に入力して、前記複数の特徴点抽出サブ分岐と一対一で対応する複数の特徴点評点図を取得するための第一の入力サブユニットと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を取得するための重み付けサブユニットと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得する補間サブユニットと、を備える装置。
【請求項26】
請求項２１に記載する装置であって、
前記デンス記述子マップは、高解像力デンス記述子マップ及び低解像力デンス記述子マップを含み、
前記デンス記述子マップ計算分岐は、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐を含み、
前記第三の処理ユニットは、
前記低解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記低解像力デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定するための第二のマッチングサブユニットと、
前記高解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記高解像力デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための第三のマッチングサブユニットと、を含む装置。
前記デンス記述子マップは、高解像力デンス記述子マップ及び低解像力デンス記述子マップを含み、
前記デンス記述子マップ計算分岐は、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐を含み、
前記第三の処理ユニットは、
前記低解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記低解像力デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定するための第二のマッチングサブユニットと、
前記高解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記高解像力デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための第三のマッチングサブユニットと、を含む装置。
【請求項27】
請求項２１に記載する装置であって、
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記第四の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点分類抽出モジュールと一対一で対応する複数の特徴点類別特徴マップを取得するための第二の入力サブユニットと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数のエンコーダと一対一で対応する複数の符号化後サブ特徴点類別特徴マップを取得するための符号化サブユニットと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップを取得するための融合サブユニットと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得するための分類サブユニットと、を含む装置。
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記第四の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点分類抽出モジュールと一対一で対応する複数の特徴点類別特徴マップを取得するための第二の入力サブユニットと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数のエンコーダと一対一で対応する複数の符号化後サブ特徴点類別特徴マップを取得するための符号化サブユニットと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップを取得するための融合サブユニットと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得するための分類サブユニットと、を含む装置。
【請求項28】
請求項１９～２７のいずれかに記載する装置であって、
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための入力モジュール、をさらに含む装置。
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための入力モジュール、をさらに含む装置。
【請求項29】
マルチタスク処理モデルの訓練装置であって、
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得するための訓練モジュールを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである装置。
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得するための訓練モジュールを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである装置。
【請求項30】
請求項２９に記載する装置であって、
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得するための第一の訓練ユニットを含む装置。
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得するための第一の訓練ユニットを含む装置。
【請求項31】
請求項２９または３０に記載する装置であって、
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得するための第二の訓練ユニットを含む装置。
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得するための第二の訓練ユニットを含む装置。
【請求項32】
請求項２９～３１のいずれかに記載する装置であって、
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練モジュールは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得するための第三の訓練ユニットを含み、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは、前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである装置。
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練モジュールは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得するための第三の訓練ユニットを含み、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは、前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである装置。
【請求項33】
少なくとも１つのプロセッサ、及び
前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも１つのプロセッサが請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施可能となるよう、前記少なくとも１つのプロセッサにより実行される電子機器。
前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも１つのプロセッサが請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施可能となるよう、前記少なくとも１つのプロセッサにより実行される電子機器。
【請求項34】
コンピュータ指令を格納する非一時性コンピュータが読み取り可能な記憶媒体であって、
前記コンピュータ指令は、前記コンピュータに請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施させるためのものである記憶媒体。
前記コンピュータ指令は、前記コンピュータに請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施させるためのものである記憶媒体。
【請求項35】
プロセッサにより実行される場合、請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施するコンピュータプログラム。
【請求項36】
請求項３３に記載する電子機器を含む自動運転車両。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動運転の技術分野を関し、特に高精度地図の技術分野に関し、具体的には、画像処理方法、マルチタスク処理モデルの訓練方法、装置、電子機器、記憶媒体、コンピュータプログラム及び自動運転車両に関する。
【背景技術】
【0002】
高精度測位ナビゲーション技術は自動運転車両の安全走行に不可欠な地位を占める。自動運転車両の横方向及び縦方向の正確な位置決め、障害物検出及び衝突回避、スマート車速制御、経路計画及び行為決定等のいずれかにも重要な役割を果たす。高精度地図は高解像度地図とも呼ばれ、自動車を自動運転するために用いられる。高精度地図は、正確な車両位置情報と豊富な道路要素データ情報を有し、路面の複雑な情報、例えば勾配、曲率、針路等を予知することが自動車に協力することができ、潜在的なリスクをよりよく回避する。
【発明の概要】
【0003】
本開示は、画像処理方法、マルチタスク処理モデルの訓練方法、装置、電子機器、記憶媒体、プログラム及び自動運転車両を提供する。
【0004】
本開示の一側面によると、処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子（descriptor）マップ及びデンス記述子マップを取得すること、前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定すること、及び、前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定すること、を含む画像処理方法を提供する。
【0005】
本開示の他の側面によると、マルチタスク処理モデルの訓練方法であって、訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することを含み、ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは、前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである方法を提供する。
【0006】
本開示の他の側面によると、処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するための処理モジュールと、前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定するための第一の特定モジュールと、前記デンス記述子マップに基づき、前記処理すべき画像及び前記基準画像とのマッチング画素ペアを特定するための第二の特定モジュールと、を含む画像処理装置を提供する。
【0007】
本開示の他の側面によると、マルチタスク処理モデルの訓練装置であって、訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得するための訓練モジュールを含み、ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである装置を提供する。
【0008】
本開示の他の側面によると、少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも１つのプロセッサが本開示の方法を実施可能となるように、前記少なくとも１つのプロセッサにより実行される電子機器を提供する。
【0009】
本開示の他の側面によると、コンピュータ指令を格納する非一時性コンピュータが読み取り可能な記憶媒体であって、前記コンピュータ指令は前記コンピュータに本開示の方法を実施させる記憶媒体を提供する。
【0010】
本開示の他の側面によると、プロセッサにより実行される場合、本開示の方法を実現するコンピュータプログラムを含むコンピュータプログラムを提供する。
【0011】
本開示の他の側面によると、本開示の電子機器を含む自動運転車両を提供する。
【0012】
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
【図面の簡単な説明】
【0013】
ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。
【発明を実施するための形態】
【0014】
以下に図面を参照して本開示の例示的な実施例を説明し、ここで、理解しやすくするように、本開示の実施例の様々な詳細を含み、それらを例示的なものと考えるべきである。したがって、当業者として理解できるように、ここで説明した実施例に対して様々な変更及び修正を行うことができ、本開示の範囲及び精神から逸脱することはない。同様に、明確かつ簡単に説明するために、以下の説明において公知の機能及び構造に対する説明を省略する。
【0015】
本開示は画像処理方法、マルチタスク処理モデルの訓練方法、装置、電子機器、記憶媒体及びプログラムを提供する。
【0016】
本開示の実施例によると、処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定すること、及び、前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定すること、を含む画像処理方法を提供する。
【0017】
本開示の技術案において、係るユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び開示等の処理は、いずれも相関法規則の規定に適合し、かつ公序良俗に反するものではない。
【0018】
図１は、本開示実施例による適用可能な画像処理方法及び装置の例示的システム構造を模式的に示す。
【0019】
なお、図１に示されるのは、本開示の実施例のシステム構造が適用可能なシステム構造の一例にすぎず、当業者に本開示の技術内容を理解させるためであり、本開示の実施例が他の機器、システム、環境やシーンに適用できないことに意味するわけではない。
【0020】
図１に示されるよう、当該実施例によるシステム構造１００は、自動運転車両１０１、ネットワーク１０２及びサーバ１０３を含んでもよい。ネットワーク１０２は、自動運転車両１０１とサーバ１０３との間に通信リンクを提供するための媒体である。ネットワーク１０２は、例えば、無線通信リンクなどの各種類の接続タイプを含んでもよい。
【0021】
ユーザは、自動運転車両１０１を利用してネットワーク１０２を介してサーバ１０３と対話することで、ビデオストリームデータ、位置情報等を送受信してもよい。
【0022】
サーバ１０３は、各種類のサービスを提供するサーバであってもよく、例えば、ユーザが自動運転車両１０１を利用して処理した処理すべき画像、選択した目標位置に対するナビーに対してサポートを提供するバックグラウンド管理サーバ（一例だけ）。バックグラウンド管理サーバは、受信したユーザ要求等のデータに対して分析等の処理を行い、処理結果（例えば、ユーザ要求に応じて取得または作成したウェブページ、情報、またはデータ等）を自動運転車両１０１にフィードバックしてもよい。
【0023】
自動運転車両１０１には、画像を収集する情報収集装置、例えば、魚眼カメラ、及び／またはガンカメラ等が実装されてもよい。自動運転車両１０１は、情報収集装置を利用して処理すべき画像を収集してもよい。
【0024】
説明すべきは、本開示実施例が提供する画像処理方法は、通常、自動運転車両１０１により実施してもよい。これに応じて、本開示実施例が提供する画像処理装置は、自動運転車両１０１に設置されてもよい。
【0025】
または、本開示実施例が提供する画像処理方法は、通常、サーバ１０３により実施されてもよい。これに応じて、本開示実施例が提供する画像処理装置は、通常、サーバ１０３に設置されてもよい。本開示実施例が提供する画像処理方法は、サーバ１０３と異なるものであって自動運転車両１０１及び／またはサーバ１０３と通信可能なサーバまたはサーバクラスターにより実施されてもよい。これに応じて、本開示実施例が提供する画像処理装置は、サーバ１０３と異なるものであって自動運転車両１０１及び／またはサーバ１０３と通信可能なサーバまたはサーバクラスターに設置されてもよい。
【0026】
図１における自動運転車両、ネットワーク及び画像収集機器の数は模式的なものにすぎないことが理解される。実現の需要に応じて、任意の数の端末装置、ネットワーク及びサーバの数を備えてもよい。
【0027】
以下の方法における各動作の番号は、記述の便宜のために当該動作に対する表示にすぎず、各動作の実行順序として理解すべきではない。明言の場合以外、当該方法は示される順序で実行される必要はない。
【0028】
図２は、本開示実施例による画像処理方法のフローチャートを模式的に示す。
【0029】
図２に示されるよう、当該方法は、動作Ｓ２１０～Ｓ２３０を含む。
【0030】
動作Ｓ２１０において、処理すべき画像を処理して、処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得する。
【0031】
動作Ｓ２２０において、特徴点及び特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定する。
【0032】
動作Ｓ２３０において、デンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング画素ペアを特定する。
【0033】
本開示の実施例によれば、特徴点は、特徴点の集合に意味してもよく、画像において認識性、代表性のあるポイント又はポイントの集合であってもよく、例えば、アングルポイント、エッジ、ブロック等である。特徴点は、カメラの視点がわずか変化された場合でも、そのまま維持される。
【0034】
本開示の実施例によると、特徴点は位置情報を含んでもよく、これに限れることはなく、向き、サイズ等の情報を含んでもよい。特徴点を利用して少なくとも２つの画像のそれぞれの目標対象とのマッチング、関連付けを行ってもよい。
【0035】
本開示の実施例によると、特徴点記述子マップはベクトルであってもよく、特徴点記述子は、特徴点と関連づけられた、例えば特徴点の周囲画素の情報を記述する。２つの画像、例えば処理すべき画像と基準画像との間の特徴点記述子は、ベクトル空間上の距離が近接またはマッチングとなると、２つの特徴点記述子と一対一で対応する２つの特徴点同士がマッチングとなり、互いにマッチング特徴点ペアとなる。
【0036】
本開示の実施例によると、処理すべき画像は、現在時点のビデオフレーム画像であってもよく、基準画像は、従前時点のビデオフレーム画像であってもよく、例えば、基準画像は現在時点のビデオフレーム画像の前のフレームのビデオフレーム画像である。ただし、これに限れることはない。基準画像は、現在時点のビデオフレーム画像と所定のビデオフレームの数で離間される従前ビデオフレーム画像であってもよい。
【0037】
本開示の実施例によると、処理すべき画像の特徴点と特徴点記述子マップ及び基準画像の基準特徴点と基準特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定する。
【0038】
本開示の実施例によると、マッチング特徴点ペアに基づき視覚里程メータまたは視覚慣性里程メータ等の動作を実行してもよいが、これに限れることがなく、マッチング特徴点ペアに基づきスパース再構成またはクラウド図構成等の動作を実行してもよい。
【0039】
本開示の実施例によると、特徴点記述子マップ、例えば、スパース、キーの特徴点集合の記述子マップに対して、デンス記述子マップは、デンス、離散の画素ポイント集合と対応するの記述子マップであってもよい。
【0040】
本開示の実施例によると、処理すべき画像のデンス記述子マップと基準画像の基準デンス記述子マップとに基づき、特定処理すべき画像と基準画像とのマッチング画素ペアを特定してもよい。
【0041】
本開示の実施例によると、マッチング画素ペアに基づき、シーン目標集合三次元再構成等の動作を実行してもよい。
【0042】
本開示実施例が提供する画像処理方法によると、処理すべき画像を直接に処理して、処理すべき画像の特徴点、特徴点記述子マップとデンス記述子マップを取得して、シーン目標集合三次元再構成動作を実行するためのデンス記述子マップを取得する、及び視覚里程メータ、視覚慣性里程メータ、スパース再構成またはクラウド図構成等の動作を実行するためのマッチング特徴点を取得することで、複数のタスクを同時に処理可能であり、複数のタスクに対する処理の持効性を向上させる。
【0043】
本開示の実施例によると、動作Ｓ２１０に対して、マルチタスク処理モデルを設計して処理すべき画像を処理してもよく、例えば、処理すべき画像をマルチタスク処理モデルに入力して、処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得する。
【0044】
本開示の実施例によると、基準画像をマルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、特徴点、特徴点記述子マップ、基準特徴点及び基準特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴ペアを特定する。デンス記述子マップ及び基準デンス記述子マップに基づいて処理すべき画像と基準画像とのマッチング画素ペアを特定する。
【0045】
図３は、本開示実施例によるマルチタスク処理モデルのネットワーク構造図を模式的に示す。
【0046】
図３に示されるよう、マルチタスク処理モデル３００は、特徴点抽出分岐３１０、特徴点記述子マップ計算分岐３２０、デンス記述子マップ計算分岐３３０及び特徴点分類分岐３４０を含む。
【0047】
処理すべき画像３５０を特徴点抽出分岐３１０に入力して、特徴点３６１を取得してもよい。処理すべき画像３５０を特徴点記述子マップ計算分岐３２０に入力して、特徴点記述子マップ３６２を取得する。処理すべき画像３５０をデンス記述子マップ計算分岐３３０に入力して、デンス記述子マップ３６３を取得する。処理すべき画像３５０を特徴点分類分岐３４０に入力して、特徴点類別結果３６４を取得する。
【0048】
本開示の実施例によると、特徴点抽出分岐、特徴点記述子マップ計算分岐、デンス記述子マップ計算分岐及び特徴点分類分岐が含まれるようにマルチタスク処理モデルを設計してもよい。ただし、これに限れることはない。特徴点抽出分岐、特徴点記述子マップ計算分岐、デンス記述子マップ計算分岐が含まれるようにマルチタスク処理モデルを設計してもよい。
【0049】
本開示実施例が提供する画像処理方法によると、マルチタスク処理モデルを利用して処理すべき画像を処理することで、複数のタスクを実行するための複数の処理結果を取得してもよく、複数タスクの実行のリアルタイム性を向上させる。また、マルチタスク処理モデルにおける特徴点分類分岐を利用することで、特徴点類別結果を利用して、前景特徴点及び背景特徴点を有効に認識可能であり、視覚的測位及びスパース再構成タスクに適用する背景特徴点を有効に選別することで、処理すべき画像と基準画像とのマッチング特徴点ペアがより有効になる。
【0050】
本開示の実施例によると、特徴点抽出分岐は、複数の特徴点抽出サブ分岐を含んでもよく、各特徴点抽出サブ分岐のそれぞれは、カスケードで接続された少なくとも１つの特徴抽出モジュール、畳み込みレイヤーを含んでもよい。
【0051】
本開示の実施例によると、特徴点記述子マップ計算分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール及び畳み込みレイヤーを含んでもよい。
【0052】
本開示の実施例によると、高解像力デンス記述子マップ計算サブ分岐または低解像力デンス記述子マップ計算サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、全畳み込みモジュールを含んでもよい。
【0053】
本開示の実施例によると、特徴点抽出サブ分岐、特徴点記述子マップ計算分岐、高解像力デンス記述子マップ計算サブ分岐または低解像力デンス記述子マップ計算サブ分岐における特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含んでもよい。
【0054】
本開示の実施例によると、高解像力デンス記述子マップ計算サブ分岐または低解像力デンス記述子マップ計算サブ分岐における全畳み込みモジュールは、積み重なる複数の全畳み込みレイヤーを含む。
【0055】
本開示の実施例によると、特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、分類素子を含み、複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含んでもよい。
【0056】
本開示の実施例によると、処理すべき画像を特徴点分類分岐に入力して、特徴点類別結果を取得することは、下記の動作を含んでもよい。
【0057】
例えば、処理すべき画像をそれぞれ複数の特徴点分類抽出モジュールに入力して、複数の特徴点類別特徴マップを取得し、ただし、複数の特徴点類別特徴マップと複数の特徴点分類抽出モジュールとが一対一で対応し、複数の特徴点類別特徴マップにおける特徴点類別特徴マップのそれぞれに対して、特徴点類別特徴マップをエンコーダに入力して、複数の符号化後サブ特徴点類別特徴マップを取得し、ただし、複数の符号化後サブ特徴点類別特徴マップと複数のエンコーダとが一対一で対応し、融合モジュールを利用して複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップを取得し、及び、分類素子を利用して融合後特徴点類別マップを処理して、特徴類別結果を取得する。
【0058】
図４Ａは、本開示の他の実施例によるマルチタスク処理モデルのネットワーク構成図を模式的に示す。
【0059】
図４Ａに示されるよう、特徴点抽出分岐は、第一の特徴点抽出サブ分岐、第二の特徴点抽出サブ分岐及び第三の特徴点抽出サブ分岐を含んでもよい。第一の特徴点抽出サブ分岐は、カスケードで接続された第一の特徴抽出モジュール及び第一の特徴点抽出ヘッド４２１（Ｓｃｏｒｅ Ｍａｐ Ｈｅａｄ １）を含んでもよい。第一の特徴抽出モジュールは、第一の畳み込みレイヤー４１１を含み、第一の特徴点抽出ヘッド４２１は畳み込みレイヤーを含む。第二の特徴点抽出サブ分岐は、カスケードで接続された第一の特徴抽出モジュール、第二の特徴抽出モジュール及び第二の特徴点抽出ヘッド４２２（Ｓｃｏｒｅ Ｍａｐ Ｈｅａｄ ２）を含んでもよい。第二の特徴抽出モジュールは、カスケードで接続された第一のプーリング層４１２、第二の畳み込みレイヤー４１３を含んでもよく、第二の特徴点抽出ヘッド４２２は畳み込みレイヤーを含んでもよい。第三の特徴点抽出サブ分岐は、カスケードで接続された第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール及び第三の特徴点抽出ヘッド４２３（Ｄｅｓｃｒｉｐｔｏｒｓ Ｈｅａｄ）を含んでもよい。第三の特徴抽出モジュールは、カスケードで接続された第二のプーリング層４１４、第三の畳み込みレイヤー４１５を含んでもよい。第三の特徴点抽出ヘッドは、カスケードで接続されたチャネル数が１２８の全畳み込みレイヤーを５つ含んでもよい。
【0060】
第一の特徴点抽出サブ分岐、第二の特徴点抽出サブ分岐及び第三の特徴点抽出サブ分岐の入力は、いずれも処理すべき画像であり、第一の特徴点抽出サブ分岐、第二の特徴点抽出サブ分岐及び第三の特徴点抽出サブ分岐の出力は、それぞれ、特徴点評点図、例えば、第一の特徴点評点図４３１、第二の特徴点評点図４３２及び第三の特徴点評点図４３３である。第一の特徴点評点図４３１、第二の特徴点評点図４３２及び第三の特徴点評点図４３３は、互いの特徴のサイズが相違である。
【0061】
図４Ａに示されるよう、特徴点記述子マップ計算分岐は、第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール及び第三の特徴点抽出ヘッド４２３（Ｄｅｓｃｒｉｐｔｏｒｓ Ｈｅａｄ）を含んでもよい。特徴点記述子マップ計算分岐の入力は、処理すべき画像であってもよく、特徴点記述子マップ計算分岐の出力は、１２８次元デンスの特徴点記述子マップ４４１であってもよい。
【0062】
図４Ａに示されるよう、高解像力デンス記述子マップ計算サブ分岐は、第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール及び部分的デンスネットワークヘッド４５１（Ｓｐａｒｓｅ Ｔｏ Ｄｅｎｓｅ Ｆｉｎｅ Ｄｅｓｃｒｉｐｔｏｒｓ Ｈｅａｄ）を含んでもよい。部分的デンスネットワークヘッド４５１は、カスケードで接続された複数の畳み込みレイヤーを含む。低解像力デンス記述子マップ計算サブ分岐は、第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール、第四の特徴抽出モジュール、第五の特徴抽出モジュール及び語義デンスネットワークヘッド４５２（Ｓｐａｒｓｅ Ｔｏ Ｄｅｎｓｅ Ｃｏａｒｓｅ Ｄｅｓｃｒｉｐｔｏｒｓ Ｈｅａｄ）を含んでもよい。第四の特徴抽出モジュールは、カスケードで接続された第三のプーリング層４１６、第四の畳み込みレイヤー４１７を含んでもよい。第五の特徴抽出モジュールは、カスケードで接続された第四のプーリング層４１８及び第五の畳み込みレイヤー４１９を含んでもよい。語義デンスネットワークヘッド４５２は、カスケードで接続された複数の畳み込みレイヤーを含んでもよい。
【0063】
高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐の入力は、それぞれ処理すべき画像であってもよく、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐の出力は、それぞれ、高解像力デンス記述子マップ及び低解像力デンス記述子マップであってもよい。ただし、高解像力デンス記述子マップの解像力は、低解像力デンス記述子マップの解像力よりも高くなる。
【0064】
図４Ａに示されるよう、特徴点分類分岐は、第一の特徴点分類サブ分岐、第二の特徴点分類サブ分岐、第三の特徴点分類サブ分岐及び第四の特徴点分類サブ分岐、融合モジュール及び分類素子を含んでもよい。第一の特徴点分類サブ分岐、第二の特徴点分類サブ分岐、第三の特徴点分類サブ分岐及び第四の特徴点分類サブ分岐は並列接続される。第一の特徴点分類サブ分岐は、カスケードで接続された第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール及びエンコーダ４６１（Ｅｎｃｏｄｅｒ １）を含んでもよい。第二の特徴点分類サブ分岐は、カスケードで接続された第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール、第四の特徴抽出モジュール及びエンコーダ４６２（Ｅｎｃｏｄｅｒ ２）を含んでもよい。第三の特徴点分類サブ分岐は、カスケードで接続された第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール、第四の特徴抽出モジュール、第五の特徴抽出モジュール及びエンコーダ４６３（Ｅｎｃｏｄｅｒ ３）を含んでもよい。第四の特徴点分類サブ分岐は、カスケードで接続された第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール、第四の特徴抽出モジュール、第五の特徴抽出モジュール、第六の特徴抽出モジュール及びエンコーダ４６４（Ｅｎｃｏｄｅｒ ４）を含んでもよい。第六の特徴抽出モジュールは、第五のプーリング層４１００を含んでもよい。
【0065】
図４Ａに示されるよう、第一の特徴点分類サブ分岐、第二の特徴点分類サブ分岐、第三の特徴点分類サブ分岐及び第四の特徴点分類サブ分岐の入力は、それぞれ処理すべき画像であってもよく、第一の特徴点分類サブ分岐、第二の特徴点分類サブ分岐、第三の特徴点分類サブ分岐及び第四の特徴点分類サブ分岐の出力は、それぞれ、第一の符号化後サブ特徴点類別特徴マップ、第二の符号化後サブ特徴点類別特徴マップ、第三の符号化後サブ特徴点類別特徴マップ、第四の符号化後サブ特徴点類別特徴マップであってもよい。
【0066】
第一の自己アテンションモジュール４６５（Ｆｅａｔｕｒｅ Ａｔｔｅｎｔｉｏｎ）を設計して第三の符号化後サブ特徴点類別特徴マップを処理して、重み付け調整後の第一の高層特徴マップを取得し、第二の自己アテンションモジュール４６６（ＦＡＡＰ、Ｆｅａｔｕｒｅ Ａｔｔｅｎｔｉｏｎ ａｎｄ Ｐｒｏｊｅｃｉｔｏｎ）を利用して第四の符号化後サブ特徴点類別特徴マップを処理して、重み付け調整後の第二の高層特徴マップを取得してもよい。Ａｄｄ融合モジュール４６７１（加算融合モジュール）を利用して、第一の高層特徴マップ及び第二の高層特徴マップを融合して、第一の融合後特徴点類別マップを取得する。第一の融合モジュール４６７２（Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ）を利用して、第一の融合後特徴点類別特徴マップと第二の符号化後サブ特徴点類別特徴マップとを融合して、第二の融合後特徴点類別特徴マップを取得してもよい。第二の融合モジュール４６７３を利用すると、第二の融合後特徴点類別特徴マップと第一の符号化後サブ特徴点類別特徴マップとを融合することができ、融合後特徴点類別特徴マップを取得する。分類素子４６８を利用して融合後特徴点類別マップを処理すると、特徴類別結果４６９を取得することができる。特徴類別結果に基づき当該特徴点が前景特徴点や背景特徴点のいずれかに属するかを特定することができる。
【0067】
本開示の実施例によると、第一の特徴抽出モジュール、第二の特徴抽出モジュール、第三の特徴抽出モジュール、第四の特徴抽出モジュール、第五の特徴抽出モジュール及び第六の特徴抽出モジュールはカスケードで接続することで、基幹ネットワークモジュールとなり得る。基幹ネットワークモジュールは、ＶＧＧネットワーク構造を採用可能である。基幹ネットワークモジュールを利用してサイズの異なる特徴マップを６種類で抽出可能である。特徴点抽出分岐、特徴点記述子マップ計算分岐、デンス記述子マップ計算分岐及び特徴点分類分岐のマルチプレックスを便宜にさせる。特徴点抽出分岐、特徴点記述子マップ計算分岐、デンス記述子マップ計算分岐及び特徴点分類分岐は基幹ネットワークモジュールをマルチプレックスすることで、マルチタスク処理モデルの実行効率が高められる。
【0068】
図４Ｂは、本開示の他の実施例の第一の自己アテンションモジュールのネットワーク構成図を模式的に示す。
【0069】
図４Ｂに示されるよう、第一の自己アテンションモジュール４６５は、カスケードで接続された分類プーリング層４６５１、第一の分類畳み込みレイヤー４６５２、第二の分類畳み込みレイヤー４６５３、アクティブレイヤー４６５４及び第一の分類融合レイヤー４６５５を含んでもよい。第三の符号化後サブ特徴点類別特徴マップを第一のサブアテンションモジュール４６５に入力して、分類プーリング層４６５１、第一の分類畳み込みレイヤー４６５２、第二の分類畳み込みレイヤー４６５３、アクティブレイヤー４６５４により順番で処理して、アクティブ特徴マップを取得し、そして、第一の分類融合レイヤー４６５５を利用してアクティブ特徴マップ及び第三の符号化後サブ特徴点類別特徴マップに対して融合処理を行い、第一の高層特徴マップを取得する。
【0070】
図４Ｃは、本開示の他の実施例の融合モジュールのネットワーク構成図を模式的に示す。
【0071】
図４Ｃに示されるよう、第一の融合モジュール４６７２または第二の融合モジュール４６７３は、カスケードで接続された関連レイヤー４６７４（Ｃｏｎｃａｔｅｎａｔｅ）、第三の分類畳み込みレイヤー４６７５及び第二の分類融合レイヤー４６７６を含んでもよく、第一の融合モジュール４６７２または第二の融合モジュール４６７３は、第三の自己アテンションモジュール４６７７を含んでもよい。関連レイヤー４６７４は、２つの入力を融合して、第三の分類畳み込みレイヤー４６７５により処理して、分類特徴抽出結果を取得し、分類特徴抽出結果を第三の自己アテンションモジュール４６７７に入力して、出力結果を取得する。第二の分類融合レイヤー４６７４により出力結果と分類特徴抽出結果とを融合して、例えば、融合後特徴点類別特徴マップを取得する。
【0072】
図４Ｄは、本開示の他の実施例の第二の自己アテンションモジュールのネットワーク構成図を模式的に示す。
【0073】
図４Ｄに示されるよう、第二の自己アテンションモジュール４６６は、カスケードで接続された第四の自己アテンションモジュール４６６１及び第四の分類畳み込みレイヤー４６６２を含んでもよい。第二の自己アテンションモジュール４６６の入力は第四の符号化後サブ特徴点類別特徴マップであってもよく、第二の自己アテンションモジュール４６６の出力は第二の高層特徴マップであってもよい。
【0074】
本開示の実施例によると、処理すべき画像を特徴点抽出分岐に入力して、特徴点を取得することは、下記の動作を含んでもよい。
【0075】
【数1】
【0076】
複数の特徴点評点図を重み付けで加算して、例えば、式（１）に示されるよう、目標特徴点評点図Ｓを取得する。
【0077】
【数2】
【0078】
目標特徴点評点図に対して補間処理行い、特徴点を取得してもよい。例えば、非極大値抑制方法を利用して抽出した特徴点の集まりを防止して、目標特徴点評点図からスパースの特徴点を抽出して取得する。
【0079】
例えば、式（２）、（３）に示される差分方法を利用して目標特徴点評点図を処理して、サブピクセル精度の特徴点の位置情報を取得してもよい。
【0080】
【数3】
【0081】
上記の式（２）に対して導関数を求め、サブピクセル精度の特徴点の位置情報を取得する。
【0082】
【数4】
【0083】
ただし、（ｘ，ｙ）はサブピクセル精度の特徴点の位置情報であり、（ｘ０，ｙ０）は整数精度の特徴点の位置情報である。
【0084】
本開示の実施例によると、特徴点評点図における各特徴点の評点結果に基づき評点の大きい順でランキングして、目標数に応じて、トップに位置される少なくとも１つのキー画素ポイントを特徴点として取得する。ただし、これに限れることはない。閾値を予め設定して、評点結果が閾値より大きい少なくとも１つのキー画素ポイントを特徴点としてもよい。
【0085】
本開示の実施例によると、動作Ｓ２２０に対して、特徴点及び特徴点記述子マップに基づき処理すべき画像と基準画像とのマッチング特徴点ペアを特定してもよい。ただし、これに限れることはない。目標特徴点及び特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定してもよい。
【0086】
本開示の他の実施例によると、特徴点類別結果に基づき、特徴点を選別して、目標特徴点を特定する；及び、目標特徴点及び特徴点記述子マップに基づき、特定処理すべき画像と基準画像とのマッチング特徴点ペアを特定する。
【0087】
本開示の実施例によると、目標特徴点は静止状態の目標対象の特徴点、例えば、背景目標対象の背景特徴点であってもよい。特徴点類別結果を利用して動態のもの、例えば、前景目標対象の前景特徴点を除外して目標特徴点を保留することで、抽出した前景目標対象の前景特徴点による視覚的測位及びスパース再構成等のタスクに対する精度及びロバスト性の悪化の不具合を解消する。
【0088】
本開示の他の実施例によると、特徴点類別結果を利用して、目標特徴点評点図を選別して、第二の目標特徴点評点図を特定してもよい。第二の目標特徴マップに対して差分処理を行い、目標特徴点を取得する。これにより、目標特徴点及び特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定する。
【0089】
本開示の実施例によると、目標特徴点に基づき、特徴点記述子マップから目標特徴点とマッチングする特徴点記述子を抽出する；及び目標特徴点及び目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法特定を利用して処理すべき画像と基準画像とのマッチング特徴点ペアを特定してもよい。
【0090】
本開示の実施例によると、目標特徴点の位置情報に基づき、バイリニア補間方法を利用して特徴点記述子マップから目標特徴点の特徴ベクトルを抽出して、特徴点記述子を取得する。ただし、これに限れることはない。抽出して取得した特徴ベクトルに対して正規化処理を行い、正規化した結果を特徴点記述子としてもよい。
【0091】
本開示の実施例によると、特徴点マッチング方法を利用して処理すべき画像と基準画像とのマッチング特徴点ペアを特定してもよい。特徴点マッチング方法は、最近隣マッチング方法、交差マッチング方法、マップネットワークに基づくマッチング方法の少なくとも１つを含んでもよい。
【0092】
本開示の実施例によると、処理すべき画像及び基準画像との間の視点変化が大きくない場合、最近隣マッチング方法（ＫＮＮ、Ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）を利用してもよく、マッチング特徴点ペアのマッチングの効果がよくなり、マッチング速度が速くなり、さらに、視覚里程メータまたは視覚慣性里程メータのタスクの実行への適用がより好適になる。
【0093】
本開示の実施例によると、複雑シーンにおいて、例えば、動態の前景対象が多く存在する場合、マップネットワークに基づくマッチング方法により、マッチング特徴点ペアのマッチングの正確率が高くなり、さらに、スパース再構成及びクラウド図構成タスクの実行への適用がより好適になる。
【0094】
図５は、本開示実施例による図ネットワークのネットワーク構成図を模式的に示す。
【0095】
図５に示されるよう、図ネットワークはコーデック（Ｔｒａｎｓｆｏｒｍ）の構造を含んでもよい。処理すべき画像の特徴点記述子５１１及び処理すべき画像の目標特徴点５１２、基準画像の基準特徴点記述子５２１及び基準画像の基準特徴点５２２を図ネットワークに入力してもよく、図ネットワークにおける位置エンコーダは、目標特徴点の位置情報及び目標特徴点の評点結果を１２８次元の符号化特徴ベクトルに符号化して、マッチング融合モジュール５１３（Ａｄｄ融合モジュール）を利用して特徴点記述子と符号化特徴ベクトルとを融合して、融合後特徴ベクトル５１４を取得する。同じように、図ネットワークにおける位置エンコーダと並列接続された基準位置エンコーダを利用して基準特徴点の位置情報及び基準特徴点の評点結果を１２８次元の基準符号化特徴ベクトルに符号化して、基準融合モジュール５２３（Ａｄｄ融合モジュール）を利用して基準特徴点記述子と基準符号化特徴ベクトルとを融合して、融合後基準特徴ベクトル５２４を取得する。融合後基準特徴ベクトル５２４及び融合後特徴ベクトル５１４を自己アテンションモジュール５３０及び交差アテンションモジュール５４０に入力して、処理すべき画像及び基準画像を融合した目標特徴ベクトルを出力し、最後、Ｓｉｎｋｈｏｒｎ Ａｌｇｏｒｉｔｈｍ（最適輸送）アルゴリズム５５０により反復で解を求めて、処理すべき画像の特徴点と基準画像の特徴点とのマッチング評点（Ｍａｔｃｈ Ｓｃｏｒｅ）５６０を取得し、処理すべき画像における各特徴点に対して基準画像からマッチング評点の一番大きい特徴点をマッチングポイントとして選出して、マッチング特徴点ペアを形成する。
【0096】
本開示の実施例によると、動作Ｓ２３０に対して、デンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング画素ペアを特定することは、下記の動作を含んでもよい。
【0097】
例えば、低解像力デンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング候補画素ペアを特定する；及び、高解像力デンス記述子マップに基づき、候補画素ペアから処理すべき画像と基準画像とのマッチング画素ペアを特定する。
【0098】
本開示の実施例によると、デンス記述子マップ計算分岐は、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐を含んでもよい。デンス記述子マップは、高解像力デンス記述子マップ及び低解像力デンス記述子マップを含んでもよい。低解像力デンス記述子マップを利用してサブ分岐を計算して処理すべき画像を処理することで、低解像力デンス記述子マップを取得する。高解像力デンス記述子マップ計算サブ分岐を利用して処理すべき画像を処理して高解像力デンス記述子マップを取得する。
【0099】
本開示の実施例によると、低解像力デンス記述子マップは、ｃｏａｒｓｅ ｆｅａｔｕｒｅ ｍａｐを称してもよく、低解像力記述子マップであってもよく、例えば、処理すべき画像解像力の１／１６である。高解像力デンス記述子マップは、ｆｉｎｅ ｆｅａｔｕｒｅ ｍａｐを称してもよく、高解像力記述子マップであってもよく、例えば、処理すべき画像解像力の１／４である。処理すべき画像の低解像力デンス記述子マップ及び基準画像の基準低解像力デンス記述子マップを利用して、画素ポイントに対して荒い粒度の関連付けを行い、処理すべき画像と基準画像とのマッチング候補画素ペアを取得する。そして、処理すべき画像の高解像力デンス記述子マップ及び基準画像の基準高解像力デンス記述子マップを利用して、マッチング候補画素ペアから精細粒度の関連づけを行い、処理すべき画像と基準画像とのマッチング画素ペアを取得して、マッチング画素ペアの正確位置情報を得る。
【0100】
本開示実施例が提供するマッチング画素ペアの特定方法によると、低解像力デンス記述子マップを利用して捜索範囲を拡大して、全量のマッチングを確保しながら、高解像力デンス記述子マップを利用して正確な測位を行い、マッチングの精度を確保する。さらに、低解像力デンス記述子マップと高解像力デンス記述子マップとを組み合わせることで得られるマッチング画素ペアが続きのシーン目標集合三次元再構成タスクに適用され、効果が良好である。
【0101】
図６は、本開示実施例によるマッチング画素ペアを特定するフローチャートを模式的に示す。
【0102】
図６に示されるよう、関連づけモジュールを利用して処理すべき画像及び基準画像との間の候補マッチング画素ペアを特定してもよい。処理すべき画像の低解像力デンス記述子マップ６１１及び基準画像の基準低解像力デンス記述子マップ６２１を関連づけモジュール６３０に入力してもよい。関連づけモジュール６３０を利用して、例えば、式（４）、（５）の計算を行い、さらに、候補マッチング画素ペア６４０を特定する。
【0103】
【数5】
【0104】
図７は、本開示の他の実施例によるマルチタスク処理モデルの訓練方法のフローチャートを模式的に示す。
【0105】
図７に示されるよう、当該方法は動作Ｓ７１０～Ｓ７２０を含む。
【0106】
動作Ｓ７１０において、訓練サンプルを取得する。
【0107】
動作Ｓ７２０において、訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得し、ただし、訓練サンプルは、第一のサンプル画像、第二のサンプル画像、第一のサンプル画像と第二のサンプル画像とのマッチング特徴点ペアラベル、第一のサンプル画像と第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、マッチング特徴点ペアラベルは、第一のサンプル画像の特徴点と第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、マッチング画素ペアラベルは、第一のサンプル画像の画素ポイントと第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである。
【0108】
本開示の実施例によると、マルチタスク処理モデルの訓練方法は、動作Ｓ７１０及び動作Ｓ７２０を含んでもよいが、これに限れることはない。さらに、動作Ｓ７２０のみを含んでもよい。
【0109】
本開示の実施例によると、初期マルチタスク処理モデルは、初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を含む。
【0110】
本開示の実施例によると、動作Ｓ７２０に対して、訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、下記の動作を含んでもよい。
【0111】
例えば、第一のサンプル画像、第二のサンプル画像、第一のサンプル画像と第二のサンプル画像とのマッチング特徴点ペアラベルを利用して初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を訓練し、マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得する。
【0112】
本開示の実施例によると、画像再構成しておいた３Ｄモデルの訓練サンプル集合における訓練サンプルを利用して初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐をともに訓練してもよい。式（６）に示す損失関数ｌｏｓｓ（Ｉ１，Ｉ２）を利用して訓練してもよい。
【0113】
【数6】
【0114】
本開示の実施例によると、初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含んでもよい。
【0115】
本開示の実施例によると、動作Ｓ７２０に対して、訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、下記の動作を含んでもよい。
【0116】
例えば、第一のサンプル画像、第二のサンプル画像、第一のサンプル画像と第二のサンプル画像とのマッチング画素ペアラベルを利用して初期デンス記述子マップ計算分岐を訓練して、マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得してもよい。
【0117】
本開示の実施例によると、画像再構築しておいた３Ｄモデルの訓練サンプル集合における訓練サンプルを利用して初期デンス記述子マップ計算分岐を訓練してもよい。式（７）に示される損失関数ｌｏｓｓを利用して訓練してもよい。
【0118】
【数7】
【0119】
ただし、（ｘ，ｙ）は、第二のサンプル画像における第一のサンプル画像のある目標画素ポイントとマッチング画素ペアとなっている画素ポイントの予測位置情報であり、（ｘ０，ｙ０）は、第二のサンプル画像における目標画素ポイントとマッチング画素ペアとなっている画素ポイントの真実位置情報である。
【0120】
本開示の実施例によると、初期マルチタスク処理モデルは、初期特徴点分類分岐を含んでもよい。
【0121】
本開示の実施例によると、動作Ｓ７２０に対して、訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、下記の動作を含んでもよい。
【0122】
例えば、目標サンプル画像、目標サンプル画像の特徴点ラベル、目標サンプル画像の類別ラベル訓練初期特徴点分類分岐を利用して、マルチタスク処理モデルの特徴点分類分岐を取得し、ただし、目標サンプル画像は、第一のサンプル画像、第二のサンプル画像の少なくとも１つを含む；目標サンプル画像の特徴点ラベルは、目標サンプル画像の画素ポイントは特徴点の確率値を表すためのものである；目標サンプル画像の類別ラベルは画素ポイントの類別を表すためのものである。
【0123】
本開示の実施例によると、類別ラベルが注記しておいた訓練サンプル集合における訓練サンプルを利用して初期特徴点分類分岐を訓練してもよい。損失関数ｌｏｓｓ（Ｉ）は、例えば、式（８）に示す交差エントロピー損失関数を採用してもよい。
【0124】
【数8】
【0125】
本開示の実施例によると、マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子計算分岐、デンス記述子マップ計算分岐及び特徴点分類分岐を含んでもよい。ただし、これに限れることはない。マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子計算分岐及びデンス記述子マップ計算分岐のみを含んでもよい。
【0126】
本開示の実施例によると、特徴点抽出分岐は、複数の特徴点抽出サブ分岐を含んでもよく、各特徴点抽出サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、畳み込みレイヤーを含んでもよい。
【0127】
本開示の実施例によると、特徴点記述子マップ計算分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール及び畳み込みレイヤーを含んでもよい。
【0128】
本開示の実施例によると、デンス記述子マップ計算分岐は、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐を含んでもよい。高解像力デンス記述子マップ計算サブ分岐または低解像力デンス記述子マップ計算サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、全畳み込みモジュールを含んでもよい。
【0129】
本開示の実施例によると、特徴点抽出サブ分岐、特徴点記述子マップ計算分岐、高解像力デンス記述子マップ計算サブ分岐または低解像力デンス記述子マップ計算サブ分岐における特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含んでもよい。
【0130】
本開示の実施例によると、高解像力デンス記述子マップ計算サブ分岐または低解像力デンス記述子マップ計算サブ分岐における全畳み込みモジュールは、カスケードで接続された複数の全畳み込みレイヤーを含む。
【0131】
本開示の実施例によると、特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、分類素子を含み、複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含んでもよい。
【0132】
本開示の実施例によると、特徴点抽出分岐、特徴点記述子マップ計算分岐、デンス記述子マップ計算分岐及び特徴点分類分岐は、基幹ネットワークモジュールをマルチプレックスしてもよい。基幹ネットワークモジュールは、ＶＧＧネットワーク構造を採用してもよい。基幹ネットワークモジュールは、使用の前に、ＩｍａｇｅＮｅｔ訓練集合を利用して予め訓練してもよい。初期マルチタスク処理モデルの訓練を実行する場合、基幹ネットワークモジュールのパラメータを一定にしながら、訓練初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐、初期デンス記述子マップ計算分岐及び初期特徴点分類分岐のパラメータを１つずつ訓練してもよい。
【0133】
図８は、本開示実施例による画像処理装置のブロック図を模式的に示す。
【0134】
図８に示されるよう、画像処理装置８００は、処理モジュール８１０、第一の特定モジュール８２０、第二の特定モジュール８３０を含んでもよい。
【0135】
処理モジュール８１０は、処理すべき画像を処理して、処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得する。
【0136】
第一の特定モジュール８２０は、特徴点及び特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定するために使われる。
【0137】
第二の特定モジュール８３０は、デンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング画素ペアを特定するために使われる。
【0138】
本開示の実施例によると、処理モジュールは、処理サブモジュールを含んでもよい。
【0139】
処理サブモジュールは、処理すべき画像をマルチタスク処理モデルに入力して、処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するために使われる。
【0140】
本開示の実施例によると、マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含む。
【0141】
本開示の実施例によると、処理サブモジュールは、第一の処理ユニット、第二の処理ユニット、第三の処理ユニットを含んでもよい。
【0142】
第一の処理ユニットは、処理すべき画像を特徴点抽出分岐に入力して、特徴点を取得するために使われる。
【0143】
第二の処理ユニットは、処理すべき画像を特徴点記述子マップ計算分岐に入力して、特徴点記述子マップを取得するために使われる。
【0144】
第三の処理ユニットは、処理すべき画像をデンス記述子マップ計算分岐に入力して、デンス記述子を取得するために使われる。
【0145】
本開示の実施例によると、マルチタスク処理モデルは、特徴点分類分岐をさらに含む。
【0146】
本開示の実施例によると、画像処理装置は、第四の処理ユニットをさらに含んでもよい。
【0147】
第四の処理ユニットは、処理すべき画像を特徴点分類分岐に入力して、特徴点類別結果を取得することで、特徴点、特徴点記述子マップ及び特徴点類別結果に基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定するために使われる。
【0148】
本開示の実施例によると、第一の特定モジュールは、選別ユニット、特定ユニットを含んでもよい。
【0149】
選別ユニットは、特徴点類別結果に基づき、特徴点を選別して、目標特徴点を特定するために使われる。
【0150】
特定ユニットは、目標特徴点及び特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴点ペアを特定するために使われる。
【0151】
本開示の実施例によると、特定ユニットは、抽出サブユニット、第一のマッチングサブユニットを含んでもよい。
【0152】
抽出サブユニットは、目標特徴点に基づき、特徴点記述子マップから目標特徴点とマッチングする特徴点記述子を抽出するために使われる。
【0153】
第一のマッチングサブユニットは、目標特徴点及び目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して処理すべき画像と基準画像とのマッチング特徴点ペアを特定するために使われる。
【0154】
本開示の実施例によると、特徴点抽出分岐は、複数の特徴点抽出サブ分岐を含む。
【0155】
本開示の実施例によると、第一の処理ユニットは、第一の入力サブユニット、重み付けサブユニット、補間サブユニットを含んでもよい。
【0156】
第一の入力サブユニットは、処理すべき画像を複数の特徴点抽出サブ分岐のそれぞれに入力して、複数の特徴点評点図を取得するために使われ、ただし、複数の特徴点評点図と複数の特徴点抽出サブ分岐とが一対一で対応する。
【0157】
重み付けサブユニットは、複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を取得するために使われる。
【0158】
補間サブユニットは、目標特徴点評点図に対して補間処理を行い、特徴点を取得する。
【0159】
本開示の実施例によると、デンス記述子マップは、高解像力デンス記述子マップ及び低解像力デンス記述子マップを含む。
【0160】
本開示の実施例によると、デンス記述子マップ計算分岐は、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐を含む。
【0161】
本開示の実施例によると、第三の処理ユニットは、第二のマッチングサブユニット、第三のマッチングサブユニットを含んでもよい。
【0162】
第二のマッチングサブユニットは、低解像力デンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング候補画素ペアを特定するために使われ、ただし、低解像力デンス記述子マップは、低解像力デンス記述子マップ計算サブ分岐を利用して処理すべき画像を処理して得られるものである。
【0163】
第三のマッチングサブユニットは、高解像力デンス記述子マップに基づき、候補画素ペアから処理すべき画像と基準画像とのマッチング画素ペアを特定するために使われ、ただし、高解像力デンス記述子マップは、高解像力デンス記述子マップ計算サブ分岐を利用して処理すべき画像を処理して得られるものである。
【0164】
本開示の実施例によると、特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、分類素子を含み、複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含む。
【0165】
本開示の実施例によると、第四の処理ユニットは、第二の入力サブユニット、符号化サブユニット、融合サブユニット、分類サブユニットを含んでもよい。
【0166】
第二の入力サブユニットは、処理すべき画像を複数の特徴点分類抽出モジュールのそれぞれに入力して、複数の特徴点類別特徴マップを取得するために使われ、ただし、複数の特徴点類別特徴マップと複数の特徴点分類抽出モジュールとが一対一で対応する。
【0167】
符号化サブユニットは、複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、特徴点類別特徴マップをエンコーダに入力して、複数の符号化後サブ特徴点類別特徴マップを取得するために使われ、ただし、複数の符号化後サブ特徴点類別特徴マップと複数のエンコーダとが一対一で対応する。
【0168】
融合サブユニットは、融合モジュールを利用して複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップを取得するために使われる。
【0169】
分類サブユニットは、分類素子を利用して融合後特徴点類別マップを処理して、特徴類別結果を取得するために使われる。
【0170】
本開示の実施例によると、画像処理装置は、入力モジュールをさらに含んでもよい。
【0171】
入力モジュールは、基準画像をマルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、特徴点、特徴点記述子マップ、基準特徴点及び基準特徴点記述子マップに基づき、処理すべき画像と基準画像とのマッチング特徴ペアを特定し、デンス記述子マップ及び基準デンス記述子マップに基づき、処理すべき画像と基準画像とのマッチング画素ペアを特定するために使われる。
【0172】
本開示の実施例によると、高解像力デンス記述子マップ計算サブ分岐または低解像力デンス記述子マップ計算サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、全畳み込みモジュールを含む。
【0173】
特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む。全畳み込みモジュールは、積み重なる複数の全畳み込みレイヤーを含む。
【0174】
本開示の実施例によると、複数の特徴点抽出サブ分岐における少なくとも１つの特徴点抽出サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、畳み込みレイヤーを含む。特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む。
【0175】
本開示の実施例によると、特徴点記述子マップ計算分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール及び畳み込みレイヤーを含む。特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む。
【0176】
本開示の実施例によると、特徴点マッチング方法は、最近隣マッチング方法、交差マッチング方法、マップネットワークに基づくマッチング方法の少なくとも１つを含む。
【0177】
図９は、本開示実施例によるマルチタスク処理モデルの訓練装置のブロック図を模式的に示す。
【0178】
図９に示されるよう、マルチタスク処理モデルの訓練装置９００は、取得モジュール９１０及び訓練モジュール９２０を含んでもよい。
【0179】
取得モジュール９１０は、訓練サンプルを取得するために使われる。
【0180】
訓練モジュール９２０は、訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得するために使われる。
【0181】
本開示の実施例によると、訓練サンプルは、第一のサンプル画像、第二のサンプル画像、第一のサンプル画像と第二のサンプル画像とのマッチング特徴点ペアラベル、第一のサンプル画像と第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、マッチング特徴点ペアラベルは第一のサンプル画像の特徴点と第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、マッチング画素ペアラベルは、第一のサンプル画像の画素ポイントと第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである。
【0182】
本開示の実施例によると、マルチタスク処理モデルの訓練装置９００は、取得モジュール９１０及び訓練モジュール９２０を含んでもよいが、これに限れることはなく、訓練モジュール９２０のみを含んでもよい。
【0183】
本開示の実施例によると、初期マルチタスク処理モデルは、初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を含んでもよい。
【0184】
本開示の実施例によると、訓練モジュールは、第一の訓練ユニットを含んでもよい。
【0185】
第一の訓練ユニットは、第一のサンプル画像、第二のサンプル画像、第一のサンプル画像と第二のサンプル画像とのマッチング特徴点ペアラベルを利用して初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を訓練し、マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得するために使われる。
【0186】
本開示の実施例によると、初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含む。
【0187】
本開示の実施例によると、訓練モジュールは、第二の訓練ユニットを含んでもよい。
【0188】
第二の訓練ユニットは、第一のサンプル画像、第二のサンプル画像、第一のサンプル画像と第二のサンプル画像とのマッチング画素ペアラベルを利用して初期デンス記述子マップ計算分岐を訓練し、マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得するために使われる。
【0189】
本開示の実施例によると、初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含む。
【0190】
本開示の実施例によると、訓練モジュールは、第三の訓練ユニットを含んでもよい。
【0191】
第三の訓練ユニットは、目標サンプル画像、目標サンプル画像の特徴点ラベル、目標サンプル画像の類別ラベルを利用して初期特徴点分類分岐を訓練し、マルチタスク処理モデルの特徴点分類分岐を取得するために使われ、ただし、目標サンプル画像は、第一のサンプル画像、第二のサンプル画像の少なくとも１つを含む；目標サンプル画像の特徴点ラベルは、目標サンプル画像の画素ポイントが特徴点である確率値を表すためのものである；目標サンプル画像の類別ラベルは画素ポイントの類別を表すためのものである。
【0192】
本開示の実施例によると、本開示は、電子機器、読み取り可能な記憶媒体、自動運転車両及びコンピュータプログラムをさらに提供する。
【0193】
本開示の実施例によると、少なくとも１つのプロセッサ、及び前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、少なくとも１つのプロセッサが本開示の方法を実施可能となるよう、少なくとも１つのプロセッサにより実行される電子機器である。
【0194】
本開示の実施例によると、コンピュータ指令を格納する非一時性コンピュータが読み取り可能な記憶媒体であって、コンピュータ指令は、コンピュータが本開示の方法を実施させるためのものである記憶媒体である。
【0195】
本開示の実施例によると、プロセッサにより実行される場合、本開示の実施例の方法を実現するコンピュータプログラムを含むコンピュータプログラムである。
【0196】
図１０は、本開示の実施例を実施するための一例としての電子機器１０００の模式的ブロック図を示す。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。
【0197】
図１０に示すように、機器１０００は、計算ユニット１００１を含み、計算ユニット１００１は、リードオンリーメモリ（ＲＯＭ）１００２に記憶されたコンピュータプログラム又は記憶ユニット１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたコンピュータプログラムに基づいて、様々な適切な操作及び処理を実行してもよい。ＲＡＭ１００３には、さらに機器１０００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算ユニット１００１、ＲＯＭ１００２、及びＲＡＭ１００３は、バス１００４を介して相互に接続される。入出力（Ｉ／Ｏ）インターフェース１００５も、バス１００４に接続される。
【0198】
機器１０００における複数の部品は、Ｉ／Ｏインターフェース１００５に接続され、例えばキーボード、マウス等の入力ユニット１００６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット１０１０と、例えば磁気ディスク、光ディスク等の記憶ユニット１００８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット１００９とを含む。通信ユニット１００９は、機器１０００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。
【0199】
計算ユニット１００１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。計算ユニット１００１の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算ユニット１００１は、上記で記載された各方法及び処理、例えば、画像処理方法またはマルチタスク処理モデルの訓練方法を実行する。例えば、幾つかの実施例において、画像処理方法またはマルチタスク処理モデルの訓練方法は、例えば記憶ユニット１００８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ １００２及び／又は通信ユニット１００９を介して機器１０００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ１００３にロードされて計算ユニット１００１により実行される場合、上記に記載の画像処理方法またはマルチタスク処理モデルの訓練方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算ユニット１００１は、他の任意の適切な方式（例えば、ファームウェアを介する）により画像処理方法またはマルチタスク処理モデルの訓練方法を実行するように構成されてもよい。
【0200】
本開示の実施例によると、本開示は、自動運転車両を提供しており、電子機器、通信機器、画像収集機器等を含んでもよい。
【0201】
本開示の実施例によると、電子機器は、通信部、情報収集機器と一体に集積されてもよく、通信部、情報収集機器と別体で構成されてもよい。
【0202】
本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。
【0203】
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
【0204】
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
【0205】
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。
【0206】
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。
【0207】
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバはクラウドサーバであってもよく、分布式システムのサーバであってもよく、あるいは、ブロックチェーンと組み合わせたサーバであってもよい。
【0208】
理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
【0209】
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2022-12-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することと、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することと、を含む画像処理方法。
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することと、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することと、を含む画像処理方法。
【請求項2】
請求項１に記載する方法であって
前記処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するすることは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、を含む方法。
前記処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するすることは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得すること、を含む方法。
【請求項3】
請求項２に記載する方法であって、
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得することは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するすることと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得することと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得することと、を含む方法。
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得することは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するすることと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得することと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得することと、を含む方法。
【請求項4】
請求項２に記載する方法であって、
前記マルチタスク処理モデルは、さらに特徴点分類分岐を含み、
前記方法は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することにより、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定すること、をさらに含む方法。
前記マルチタスク処理モデルは、さらに特徴点分類分岐を含み、
前記方法は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することにより、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定すること、をさらに含む方法。
【請求項5】
請求項４に記載する方法であって、
前記特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定することと、
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することとを、含む方法。
前記特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定することは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定することと、
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することとを、含む方法。
【請求項6】
請求項４に記載する方法であって、
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出することと、
前記目標特徴点と前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することと、を含む方法。
前記目標特徴点と前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出することと、
前記目標特徴点と前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定することと、を含む方法。
【請求項7】
請求項３に記載する方法であって、
前記特徴点抽出分岐は複数の特徴点抽出サブ分岐を含み、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得することは、
前記処理すべき画像をそれぞれ前記複数特徴点抽出サブ分岐に入力して、複数の特徴点評点図が前記複数特徴点抽出サブ分岐と一対一で対応する前記複数の特徴点評点図を取得することと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を得ることと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得することと、を含む方法。
前記特徴点抽出分岐は複数の特徴点抽出サブ分岐を含み、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得することは、
前記処理すべき画像をそれぞれ前記複数特徴点抽出サブ分岐に入力して、複数の特徴点評点図が前記複数特徴点抽出サブ分岐と一対一で対応する前記複数の特徴点評点図を取得することと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を得ることと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得することと、を含む方法。
【請求項8】
請求項３に記載する方法であって、
前記デンス記述子マップは高解像度デンス記述子マップ及び低解像度デンス記述子マップを含み、
前記デンス記述子マップの計算分岐は、高解像度デンス記述子マップ計算サブ分岐及び低解像度デンス記述子マップ計算サブ分岐を含み、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することは、
前記低解像度デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定し、ここで、前記低解像度デンス記述子マップは前記低解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、
前記高解像度デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定し、ここで、前記高解像度デンス記述子マップは前記高解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、を含む方法。
前記デンス記述子マップは高解像度デンス記述子マップ及び低解像度デンス記述子マップを含み、
前記デンス記述子マップの計算分岐は、高解像度デンス記述子マップ計算サブ分岐及び低解像度デンス記述子マップ計算サブ分岐を含み、
前記デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定することは、
前記低解像度デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定し、ここで、前記低解像度デンス記述子マップは前記低解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、
前記高解像度デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定し、ここで、前記高解像度デンス記述子マップは前記高解像度デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなるものであることと、を含む方法。
【請求項9】
請求項３に記載する方法であって、
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、及び分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点類別特徴マップを取得し、ただし、前記複数の特徴点類別特徴マップは、複数の特徴点分類抽出モジュールと一対一で対応することと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数の符号化後サブ特徴点類別特徴マップを取得し、ただし、前記複数の符号化後サブ特徴点類別特徴マップは複数のエンコーダと一対一で対応することと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップ取得することと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得することと、を含む方法。
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、及び分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点類別特徴マップを取得し、ただし、前記複数の特徴点類別特徴マップは、複数の特徴点分類抽出モジュールと一対一で対応することと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数の符号化後サブ特徴点類別特徴マップを取得し、ただし、前記複数の符号化後サブ特徴点類別特徴マップは複数のエンコーダと一対一で対応することと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップ取得することと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得することと、を含む方法。
【請求項10】
請求項８に記載する方法であって、
前記高解像力デンス記述子マップ計算サブ分岐又は低解像力デンス記述子マップ計算サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び全畳み込みモジュールを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、または、カスケードで接続された畳み込みレイヤー及びプーリング層を含み、
ただし、前記全畳み込みモジュールは、カスケードで接続された複数の全畳み込みレイヤーを含む方法。
前記高解像力デンス記述子マップ計算サブ分岐又は低解像力デンス記述子マップ計算サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び全畳み込みモジュールを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、または、カスケードで接続された畳み込みレイヤー及びプーリング層を含み、
ただし、前記全畳み込みモジュールは、カスケードで接続された複数の全畳み込みレイヤーを含む方法。
【請求項11】
請求項７に記載する方法であって、
前記複数の特徴点抽出サブ分岐における少なくとも１つの特徴点抽出サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
前記複数の特徴点抽出サブ分岐における少なくとも１つの特徴点抽出サブ分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール、及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
【請求項12】
請求項６に記載する方法であって、
前記特徴点記述子マップ計算分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
前記特徴点記述子マップ計算分岐は、カスケードで接続された少なくとも１つの特徴抽出モジュール及び畳み込みレイヤーを含み、
ただし、前記特徴抽出モジュールは、畳み込みレイヤー、プーリング層、またはカスケードで接続された畳み込みレイヤー及びプーリング層を含む方法。
【請求項13】
請求項１に記載する方法であって、
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定する方法。
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定する方法。
【請求項14】
請求項５に記載する方法であって、
前記特徴点マッチング方法は、
最近隣マッチング方法、交差マッチング方法、マップネットワークに基づくマッチング方法の少なくとも１つを含む方法。
前記特徴点マッチング方法は、
最近隣マッチング方法、交差マッチング方法、マップネットワークに基づくマッチング方法の少なくとも１つを含む方法。
【請求項15】
マルチタスク処理モデルの訓練方法であって、
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、
ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは、前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである方法。
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、
ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは、前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである方法。
【請求項16】
請求項１５に記載する方法であって、
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、及び初期特徴点記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得することを、含む方法。
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、及び初期特徴点記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得することを、含む方法。
【請求項17】
請求項１５に記載する方法であって、
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得すること、を含む方法。
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得すること、を含む方法。
【請求項18】
請求項１５に記載する方法であって、
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して、前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得し、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである方法。
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得することは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して、前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得し、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである方法。
【請求項19】
処理すべき画像を処理して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するための処理モジュールと、
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定するための第一の特定モジュールと、
前記デンス記述子マップに基づき、前記処理すべき画像及び前記基準画像とのマッチング画素ペアを特定するための第二の特定モジュールと、を含む画像処理装置。
前記特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と基準画像とのマッチング特徴点ペアを特定するための第一の特定モジュールと、
前記デンス記述子マップに基づき、前記処理すべき画像及び前記基準画像とのマッチング画素ペアを特定するための第二の特定モジュールと、を含む画像処理装置。
【請求項20】
請求項１９に記載する装置であって、
前記処理モジュールは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するための処理サブモジュールを含む装置。
前記処理モジュールは、
前記処理すべき画像をマルチタスク処理モデルに入力して、前記処理すべき画像の特徴点、特徴点記述子マップ及びデンス記述子マップを取得するための処理サブモジュールを含む装置。
【請求項21】
請求項２０に記載する装置であって、
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理サブモジュールは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するための第一の処理ユニットと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得するための第二の処理ユニットと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得するための第三の処理ユニットと、を含む装置。
前記マルチタスク処理モデルは、特徴点抽出分岐、特徴点記述子マップ計算分岐及びデンス記述子マップ計算分岐を含み、
前記処理サブモジュールは、
前記処理すべき画像を前記特徴点抽出分岐に入力して、前記特徴点を取得するための第一の処理ユニットと、
前記処理すべき画像を前記特徴点記述子マップ計算分岐に入力して、前記特徴点記述子マップを取得するための第二の処理ユニットと、
前記処理すべき画像を前記デンス記述子マップ計算分岐に入力して、前記デンス記述子を取得するための第三の処理ユニットと、を含む装置。
【請求項22】
請求項２０または２１に記載する装置であって、
前記マルチタスク処理モデルは、特徴点分類分岐をさらに含み、
前記画像処理装置は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することで、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第四の処理ユニットをさらに含む装置。
前記マルチタスク処理モデルは、特徴点分類分岐をさらに含み、
前記画像処理装置は、
前記処理すべき画像を前記特徴点分類分岐に入力して、特徴点類別結果を取得することで、前記特徴点、前記特徴点記述子マップ及び前記特徴点類別結果に基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第四の処理ユニットをさらに含む装置。
【請求項23】
請求項２２に記載する装置であって、
前記第一の特定モジュールは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定するための選別ユニットと、
前記目標特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための特定ユニットと、を含む装置。
前記第一の特定モジュールは、
前記特徴点類別結果に基づき、前記特徴点を選別して、目標特徴点を特定するための選別ユニットと、
前記目標特徴点及び前記特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための特定ユニットと、を含む装置。
【請求項24】
請求項２３に記載する装置であって、
前記特定ユニットは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出するための抽出サブユニットと、
前記目標特徴点及び前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第一のマッチングサブユニットと、を含む装置。
前記特定ユニットは、
前記目標特徴点に基づき、前記特徴点記述子マップから前記目標特徴点とマッチングする特徴点記述子を抽出するための抽出サブユニットと、
前記目標特徴点及び前記目標特徴点とマッチングする特徴点記述子に基づき、特徴点マッチング方法を利用して前記処理すべき画像と前記基準画像とのマッチング特徴点ペアを特定するための第一のマッチングサブユニットと、を含む装置。
【請求項25】
請求項２１に記載する装置であって、
前記特徴点抽出分岐は、複数の特徴点抽出サブ分岐を含み、
前記第一の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点抽出サブ分岐に入力して、前記複数の特徴点抽出サブ分岐と一対一で対応する複数の特徴点評点図を取得するための第一の入力サブユニットと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を取得するための重み付けサブユニットと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得する補間サブユニットと、を備える装置。
前記特徴点抽出分岐は、複数の特徴点抽出サブ分岐を含み、
前記第一の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点抽出サブ分岐に入力して、前記複数の特徴点抽出サブ分岐と一対一で対応する複数の特徴点評点図を取得するための第一の入力サブユニットと、
前記複数の特徴点評点図を重み付けで加算して、目標特徴点評点図を取得するための重み付けサブユニットと、
前記目標特徴点評点図を補間処理して、前記特徴点を取得する補間サブユニットと、を備える装置。
【請求項26】
請求項２１に記載する装置であって、
前記デンス記述子マップは、高解像力デンス記述子マップ及び低解像力デンス記述子マップを含み、
前記デンス記述子マップ計算分岐は、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐を含み、
前記第三の処理ユニットは、
前記低解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記低解像力デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定するための第二のマッチングサブユニットと、
前記高解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記高解像力デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための第三のマッチングサブユニットと、を含む装置。
前記デンス記述子マップは、高解像力デンス記述子マップ及び低解像力デンス記述子マップを含み、
前記デンス記述子マップ計算分岐は、高解像力デンス記述子マップ計算サブ分岐及び低解像力デンス記述子マップ計算サブ分岐を含み、
前記第三の処理ユニットは、
前記低解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記低解像力デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング候補画素ペアを特定するための第二のマッチングサブユニットと、
前記高解像力デンス記述子マップ計算サブ分岐を利用して前記処理すべき画像を処理してなる前記高解像力デンス記述子マップに基づき、前記候補画素ペアから前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための第三のマッチングサブユニットと、を含む装置。
【請求項27】
請求項２１に記載する装置であって、
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記第四の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点分類抽出モジュールと一対一で対応する複数の特徴点類別特徴マップを取得するための第二の入力サブユニットと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数のエンコーダと一対一で対応する複数の符号化後サブ特徴点類別特徴マップを取得するための符号化サブユニットと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップを取得するための融合サブユニットと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得するための分類サブユニットと、を含む装置。
前記特徴点分類分岐は、複数の特徴点分類サブ分岐、融合モジュール、分類素子を含み、前記複数の特徴点分類サブ分岐のそれぞれは、特徴点分類抽出モジュール、エンコーダ及び融合モジュールを含み、
前記第四の処理ユニットは、
前記処理すべき画像のそれぞれを前記複数の特徴点分類抽出モジュールに入力して、複数の特徴点分類抽出モジュールと一対一で対応する複数の特徴点類別特徴マップを取得するための第二の入力サブユニットと、
前記複数の特徴点類別特徴マップにおける各特徴点類別特徴マップのそれぞれに対して、前記特徴点類別特徴マップを前記エンコーダに入力して、複数のエンコーダと一対一で対応する複数の符号化後サブ特徴点類別特徴マップを取得するための符号化サブユニットと、
前記融合モジュールを利用して前記複数の符号化後サブ特徴点類別特徴マップを処理して、融合後特徴点類別マップを取得するための融合サブユニットと、
前記分類素子を利用して前記融合後特徴点類別マップを処理して、前記特徴類別結果を取得するための分類サブユニットと、を含む装置。
【請求項28】
請求項１９～２１のいずれかに記載する装置であって、
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための入力モジュール、をさらに含む装置。
前記基準画像を前記マルチタスク処理モデルに入力して、基準特徴点、基準特徴点記述子マップ及び基準デンス記述子マップを取得することで、前記特徴点、前記特徴点記述子マップ、前記基準特徴点及び前記基準特徴点記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング特徴ペアを特定し、前記デンス記述子マップ及び前記基準デンス記述子マップに基づき、前記処理すべき画像と前記基準画像とのマッチング画素ペアを特定するための入力モジュール、をさらに含む装置。
【請求項29】
マルチタスク処理モデルの訓練装置であって、
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得するための訓練モジュールを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである装置。
訓練サンプルを利用して初期マルチタスク処理モデルを訓練して、マルチタスク処理モデルを取得するための訓練モジュールを含み、
ただし、前記訓練サンプルは、第一のサンプル画像、第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベル、及び前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを含み、ただし、前記マッチング特徴点ペアラベルは、前記第一のサンプル画像の特徴点と前記第二のサンプル画像の特徴点とのマッチング関係を表すためのものであり、前記マッチング画素ペアラベルは前記第一のサンプル画像の画素ポイントと前記第二のサンプル画像の画素ポイントとのマッチング関係を表すためのものである装置。
【請求項30】
請求項２９に記載する装置であって、
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得するための第一の訓練ユニットを含む装置。
前記初期マルチタスク処理モデルは、初期特徴点抽出分岐、初期特徴点記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング特徴点ペアラベルを利用して前記初期特徴点抽出分岐、前記初期特徴点記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおける初期特徴点抽出分岐及び特徴点記述子マップ計算分岐を取得するための第一の訓練ユニットを含む装置。
【請求項31】
請求項２９または３０に記載する装置であって、
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得するための第二の訓練ユニットを含む装置。
前記初期マルチタスク処理モデルは、初期デンス記述子マップ計算分岐を含み、
前記訓練モジュールは、
前記第一のサンプル画像、前記第二のサンプル画像、前記第一のサンプル画像と前記第二のサンプル画像とのマッチング画素ペアラベルを利用して前記初期デンス記述子マップ計算分岐を訓練して、前記マルチタスク処理モデルにおけるデンス記述子マップ計算分岐を取得するための第二の訓練ユニットを含む装置。
【請求項32】
請求項２９または３０に記載する装置であって、
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練モジュールは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得するための第三の訓練ユニットを含み、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは、前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである装置。
前記初期マルチタスク処理モデルは、初期特徴点分類分岐をさらに含み、
前記訓練モジュールは、
目標サンプル画像、前記目標サンプル画像の特徴点ラベル、前記目標サンプル画像の類別ラベルを利用して前記初期特徴点分類分岐を訓練して、前記マルチタスク処理モデルの特徴点分類分岐を取得するための第三の訓練ユニットを含み、ただし、前記目標サンプル画像は、前記第一のサンプル画像、前記第二のサンプル画像の少なくとも１つを含み、前記目標サンプル画像の前記特徴点ラベルは、前記目標サンプル画像の画素ポイントが特徴点であるとの確率値を表すためのものであり、前記目標サンプル画像の前記類別ラベルが前記画素ポイントの類別を表すためのものである装置。
【請求項33】
少なくとも１つのプロセッサ、及び
前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも１つのプロセッサが請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施可能となるよう、前記少なくとも１つのプロセッサにより実行される電子機器。
前記少なくとも１つのプロセッサと通信可能に接続されたメモリを含み、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な指令を格納し、前記指令は、前記少なくとも１つのプロセッサが請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施可能となるよう、前記少なくとも１つのプロセッサにより実行される電子機器。
【請求項34】
コンピュータ指令を格納する非一時性コンピュータが読み取り可能な記憶媒体であって、
前記コンピュータ指令は、前記コンピュータに請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施させるためのものである記憶媒体。
前記コンピュータ指令は、前記コンピュータに請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施させるためのものである記憶媒体。
【請求項35】
プロセッサにより実行される場合、請求項１～１４のいずれかに記載する画像処理方法または請求項１５～１８のいずれかに記載するマルチタスク処理モデルの訓練方法を実施するコンピュータプログラム。
【請求項36】
請求項３３に記載する電子機器を含む自動運転車両。