特表 2023-501028 車両識別方法及び装置、電子デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-18

(54)【発明の名称】車両識別方法及び装置、電子デバイス及び記憶媒体

(51)【国際特許分類】

   G06V 10/40 20220101AFI20230111BHJP

   G06T 7/00 20170101ALI20230111BHJP

   G06V 10/82 20220101ALI20230111BHJP

   G06V 20/54 20220101ALI20230111BHJP

【ＦＩ】

G06V10/40

G06T7/00 300F

G06T7/00 650B

G06T7/00 350C

G06V10/82

G06V20/54

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021575043

(86)(22)【出願日】2020-12-28

(85)【翻訳文提出日】2021-12-16

(86)【国際出願番号】 CN2020140315

(87)【国際公開番号】W WO2022052375

(87)【国際公開日】2022-03-17

(31)【優先権主張番号】202010947349.1

(32)【優先日】2020-09-10

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ホー ジーチュン

(72)【発明者】

【氏名】ウー ウェイ

(72)【発明者】

【氏名】ジュー チョンカイ

(72)【発明者】

【氏名】イエン ジュンジエ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096BA18

5L096DA02

5L096EA11

5L096EA39

5L096EA43

5L096FA32

5L096GA30

5L096GA51

5L096HA11

5L096JA03

5L096JA11

5L096JA22

5L096KA04

(57)【要約】

本発明は、車両識別方法及び装置、電子デバイス及び記憶媒体を開示する。当該方法は、第１の識別対象車両を含む処理対象画像を取得することと、前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得することと、前記処理対象画像に対して第２の特徴抽出処理を行うことで、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得することと、前記第１の特徴データと前記第２の特徴データに対して融合処理を行うことで、前記第１の識別対象車両の第３の特徴データを取得することであって、前記第３の特徴データは前記第１の識別対象車両の識別結果を取得するために使用されることと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両識別方法であって、
第１の識別対象車両を含む処理対象画像を取得することと、
前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得することと、
前記処理対象画像に対して第２の特徴抽出処理を行うことで、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得することと、
前記第１の特徴データと前記第２の特徴データに対して融合処理を行うことで、前記第１の識別対象車両の第３の特徴データを取得することであって、前記第３の特徴データは、前記第１の識別対象車両の識別結果を取得するために使用されることと、を含む、
車両識別方法。

【請求項2】

前記ローカル特徴情報は、キーポイントの特徴情報を含み、前記第１の特徴データは、前記識別対象車両の少なくとも１つのキーポイントの特徴情報を含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記ローカル特徴情報は、ローカル画素点領域の特徴情報をさらに含み、前記第１の特徴データは、前記識別対象車両の少なくとも１つのローカル画素点領域の特徴情報をさらに含むことを特徴とする
請求項２に記載の方法。

【請求項4】

前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得することは、
前記処理対象画像に対して第３の特徴抽出処理を行うことで、第４の特徴データを取得することであって、前記第４の特徴データは前記第１の識別対象車両の少なくとも１つのキーポイントの特徴情報を含むことと、
前記処理対象画像に対して第４の特徴抽出処理を行うことで、第５の特徴データを取得することであって、前記第５の特徴データは前記第１の識別対象車両の少なくとも１つのローカル画素点領域の特徴情報を含み、前記ローカル画素点領域は前記第１の識別対象車両によって覆われた画素点領域に属し、前記ローカル画素点領域の面積が前記第１の識別対象車両によって覆われた画素点領域の面積よりも小さいことと、
前記第４の特徴データと第５の特徴データに対して融合処理を行うことで、前記第１の特徴データを取得することと、を含むことを特徴とする
請求項３に記載の方法。

【請求項5】

前記処理対象画像に対して第３の特徴抽出処理を行うことで、第４の特徴データを取得することは、
前記処理対象画像に対して第５の特徴抽出処理を行うことで、少なくとも１つの第６の特徴データを取得することであって、前記第６の特徴データは前記キーポイントの特徴情報を含み、任意の２つの前記第６の特徴データに含まれる特徴情報が異なるキーポイントに属することと、
前記少なくとも１つの第６の特徴データから含まれる情報量の最も多いｋ個の特徴データを選択することで、ｋ個の第７の特徴データを取得することであって、前記ｋは１以上の整数であることと、
前記ｋ個の第７の特徴データに基づいて、前記第４の特徴データを取得することと、を含むことを特徴とする
請求項４に記載の方法。

【請求項6】

前記処理対象画像に対して第５の特徴抽出処理を行うことで、少なくとも１つの第６の特徴データを取得することは、
前記処理対象画像に対して第６の特徴抽出処理を行うことで、少なくとも１つのヒートマップを取得することであって、前記第１のヒートマップは前記処理対象画像における前記キーポイントの位置情報を含み、任意の２つの前記第１のヒートマップに含まれる情報が異なるキーポイントに属することと、
前記処理対象画像に対して第７の特徴抽出処理を行うことで、前記処理対象画像の第１の特徴画像を取得することであって、前記第１の特徴画像は前記処理対象画像におけるキーポイントの特徴情報を含むことと、
各前記第１のヒートマップと前記第１の特徴画像との間のドット積をそれぞれ確定することで、前記少なくとも１つの第６の特徴データを取得することと、を含むことを特徴とする
請求項５に記載の方法。

【請求項7】

前記少なくとも１つの第６の特徴データから含まれる情報量の最も多いｋ個の特徴データを選択することで、ｋ個の第７の特徴データを取得することは、
前記少なくとも１つの第６の特徴データにおける特徴データに対してプール化処理をそれぞれ行うことで、少なくとも１つの第８の特徴データを取得することと、
前記少なくとも１つの第８の特徴データに含まれる情報量に基づいて、少なくとも１つの第１の確率を取得することであって、前記第１の確率は前記第６の特徴データに含まれる情報量を特徴付けるために使用され、前記第１の確率は前記第６の特徴データと１対１で対応していることと、
前記第１の確率が前記第６の特徴データに含まれる情報量と正の相関にある場合、最大のｋ個の前記第１の確率に対応する前記第６の特徴データを前記ｋ個の第７の特徴データとして選択すること、又は、
前記第１の確率が前記第６の特徴データに含まれる情報量と負の相関にある場合、最小のｋ個の前記第１の確率に対応する前記第６の特徴データを前記ｋ個の第７の特徴データとして選択することと、を含むことを特徴とする
請求項５又は６に記載の方法。

【請求項8】

前記処理対象画像に対して第４の特徴抽出処理を行うことで、第５の特徴データを取得することは、
前記処理対象画像に対して第１０の特徴抽出処理を行うことで、少なくとも１つの第９の特徴データを取得することであって、前記第９の特徴データは前記キーポイントの特徴情報を含み、任意の２つの前記第９の特徴データに含まれる特徴情報が異なるローカル画素点領域に属することと、
前記少なくとも２つの第９の特徴データから含まれる情報量の最も多いｍ個の特徴データを選択することで、ｍ個の第１０の特徴データを取得することであって、前記ｍは１以上の整数であることと、
前記ｍ個の第１０の特徴データに基づいて、前記第５の特徴データを取得することと、を含むことを特徴とする
請求項３～７のいずれか一項に記載の方法。

【請求項9】

前記処理対象画像に対して第１０の特徴抽出処理を行うことで、少なくとも１つの第９の特徴データを取得することは、
前記処理対象画像に対して第１１の特徴抽出処理を行うことで、前記少なくとも１つの第２のヒートマップを取得することであって、前記第２のヒートマップは前記処理対象画像における前記ローカル画素点領域の位置情報を含み、任意の２つの前記第２のヒートマップに含まれる情報が異なるローカル画素点領域に属することと、
前記処理対象画像に対して第１２の特徴抽出処理を行うことで、前記処理対象画像の第２の特徴画像を取得することであって、前記第２の特徴画像は前記処理対象画像におけるローカル画素点領域の特徴情報を含むことと、
各前記第２のヒートマップと前記第２の特徴画像との間のドット積をそれぞれ確定することで、前記少なくとも１つの第９の特徴データを取得することと、を含むことを特徴とする
請求項８に記載の方法。

【請求項10】

前記少なくとも２つの第９の特徴データから含まれる情報の最も多いｍ個の特徴データを選択することで、ｍ個の第１０の特徴データを取得することは、
前記第９の特徴データにおける特徴データに対してプール化処理をそれぞれ行うことで、少なくとも１つの第１１の特徴データを取得することと、
前記少なくとも１つの第１１の特徴データに含まれる情報量に基づいて、少なくとも１つの第２の確率を取得することであって、前記第２の確率は前記第９の特徴データに含まれる情報量を特徴付けるために使用され、前記第２の確率が前記第９の特徴データと１対１で対応していることと、
前記第２の確率が前記第９の特徴データに含まれる情報量と正の相関にある場合、最大のｍ個の前記第２の確率に対応する前記第９の特徴データを前記ｍ個の第１０の特徴データとして選択すること、又は、
前記第２の確率が前記第９の特徴データに含まれる情報量と負の相関にある場合、最小のｍ個の前記第２の確率に対応する前記第９の特徴データを前記ｍ個の第１０の特徴データとして選択することとを含むことを特徴とする
請求項８又は９に記載の方法。

【請求項11】

前記少なくとも１のローカル画素点領域は、第１の画素点領域と第２の画素点領域を含み、前記第９の特徴データの数及び前記ｍの両方はいずれも１よりも大きく、前記ｍ個の第１０の特徴データは、第１２の特徴データと第１３の特徴データを含み、前記第１２の特徴データは、前記第１の画素点領域の特徴情報を含み、前記第１３の特徴データは、前記第２の画素点領域の特徴情報を含み、
前記ｍ個の第１０の特徴データに基づいて前記第５の特徴データを取得することは、
前記第１２の特徴データに含まれる情報量に基づいて第１の重みを取得し、前記第１３の特徴データに含まれる情報量に基づいて第２の重みを取得ことであって、前記第１の重みが前記第１２の特徴データに含まれる情報量と正の相関にあり、前記第２の重みが前記第１３の特徴データに含まれる情報量と正の相関にあることと、
前記第１の重み及び前記第２の重みに基づいて、前記第１２の特徴データ及び前記第１３の特徴データを加重融合することで、前記第５の特徴データを取得することと、を含むことを特徴とする
請求項８～１０のいずれか一項に記載の方法。

【請求項12】

前記車両識別方法は、車両識別ネットワークに応用され、
前記車両識別ネットワークのトレーニング方法は、
第２の識別対象車両を含むトレーニング画像及びトレーニング対象ネットワークを取得することと、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、前記第２の識別対象車両のグローバル特徴情報を含む第１４の特徴データと、前記第２の識別対象車両のキーポイントの特徴情報を含む第１５の特徴データとを取得することと、
前記第１４の特徴データ及び前記トレーニング画像のラベルに基づいて、第１のグローバルロスを取得することと、
前記第１５の特徴データ及び前記ラベルに基づいて、第１のキーポイントロスを取得することと、
前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得することと、
前記総ロスに基づいて前記トレーニング対象ネットワークのパラメータを調整することで、前記車両識別ネットワークを取得することと、を含むことを特徴とする
請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得することの前に、前記方法は、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、前記第２の識別対象車両のローカル画素点領域の特徴情報を含む第１６の特徴データを取得することと、
前記第１６の特徴データ及び前記ラベルに基づいて、第１のローカル画素点領域ロスを取得することと、をさらに含み、
前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得することを含むことを特徴とする
請求項１２に記載の方法。

【請求項14】

前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、前記第２の識別対象車両のキーポイントの特徴情報を含む第１５の特徴データを取得することは、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、少なくとも１つの第１７の特徴データを取得することであって、前記第１７の特徴データは前記第２の識別対象車両のキーポイントの特徴情報を含み、任意の２つの前記第１７の特徴データに含まれる特徴情報が異なるキーポイントに属することと、
前記少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択することで、ｓ個の第１８の特徴データを取得することであって、前記ｓは１以上の整数であることと、
前記ｓ個の第１８の特徴データに対して融合処理を行うことで、前記第１５の特徴データを取得することと、を含むことを特徴とする
請求項１３に記載の方法。

【請求項15】

前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得することの前に、前記方法は、
前記ｓ個の第１８の特徴データに基づいて、前記第２の識別対象車両のｓ個の第１の識別結果を取得することと、
前記ｓ個の第１の識別結果のそれぞれと前記ラベルとの違いに基づいて、キーポイントカテゴリロスを取得することと、をさらに含み、
前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得することを含むことを特徴とする
請求項１４に記載の方法。

【請求項16】

前記少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択することで、ｓ個の第１８の特徴データを取得することは、
含まれる情報量に基づいて前記少なくとも１つの第１７の特徴データをソートすることで、第１の順序を取得することであって、前記第１の順序が含まれる情報量の降順であり、又は、前記第１の順序が含まれる情報量の昇順であることと、
前記第１の順序に基づいて前記の少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択することで、前記ｓ個の第１８の特徴データを取得することと、を含み、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得することの前に、前記方法は、
対応する前記キーポイントカテゴリロスに基づいて前記ｓ個の第１の識別結果をソートすることで、第２の順序を取得することであって、前記第２の順序が前記キーポイントカテゴリロスの降順であり、又は、前記第２の順序が前記キーポイントカテゴリロスの昇順であることと、
前記第１の順序と前記第２の順序との違いに基づいて、キーポイントソートロスを取得することと、をさらに含み、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス及び前記キーポイントソートロスに基づいて、前記総ロスを取得することを含むことを特徴とする
請求項１４又は１５に記載の方法。

【請求項17】

前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、前記第２の識別対象車両のローカル画素点領域の特徴情報を含む第１６の特徴データを取得することは、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、少なくとも１つの第１９の特徴データを取得することであって、前記第１９の特徴データは前記ローカル画素点領域の特徴情報を含み、任意の２つの前記第１９の特徴データに含まれる特徴情報が異なるローカル画素点領域に属することと、
前記少なくとも１つの第１９の特徴データから含まれる情報量の最も多いｐ個の特徴データを選択し、ｐ個の第２０の特徴データを取得することであって、前記ｐは１以上の整数であることと、
前記ｐ個の第２０の特徴データに対して融合処理を行い、前記第１６の特徴データを取得することと、を含むことを特徴とする
請求項１６に記載の方法。

【請求項18】

前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス及び前記キーポイントソートロスに基づいて、前記総ロスを取得することの前に、前記方法は、
前記ｐ個の第２０の特徴データに基づいて、前記第２の識別対象車両のｐ個の第２の識別結果を取得することと、
前記ｐ個の第２の識別結果のそれぞれと前記ラベルの違いに基づいて、ローカル画素点領域カテゴリロスを取得することと、をさらに含み、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス及び前記キーポイントソートロスに基づいて、前記総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス、前記キーポイントソートロス及び前記ローカル画素点領域カテゴリロスに基づいて、前記総ロスを取得することを含むことを特徴とする
請求項１７に記載の方法。

【請求項19】

前記少なくとも１つの第１９の特徴データから含まれる情報量の最も多いｐ個の特徴データを選択することで、ｐ個の第２０の特徴データを取得することは、
含まれる情報量に基づいて前記少なくとも１つの第１９の特徴データをソートすることで、第３の順序を取得することであって、前記第３の順序が含まれる情報量の降順であり、又は、前記第３の順序が含まれる情報量の昇順であることと、
前記第３の順序に基づいて前記少なくとも１つの第１９の特徴データから含まれる情報量の最も多いｐ個の特徴データを選択することで、前記ｐ個の第２０の特徴データを取得することと、を含み、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス、前記キーポイントソートロス及び前記ローカル画素点領域カテゴリロスに基づいて、前記総ロスを取得することの前に、前記方法は、
対応する前記ローカル画素点領域カテゴリロスに基づいて前記ｐ個の第２の識別結果をソートすることで、第４の順序を取得することであって、前記第４の順序が前記ローカル画素点領域カテゴリロスの降順であり、又は、前記第４の順序が前記ローカル画素点領域カテゴリロスの昇順であることと、
前記第３の順序と前記第４の順序との違いに基づき、ローカル画素点領域ソートロスを取得することと、をさらに含み、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス、前記キーポイントソートロス及び前記ローカル画素点領域カテゴリロスに基づいて、前記総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス、前記キーポイントソートロス、前記ローカル画素点領域カテゴリロス及び前記ローカル画素点領域ソートロスに基づいて、前記総ロスを取得することと、を含むことを特徴とする
請求項１７又は１８に記載の方法。

【請求項20】

前記第１のグローバルロスは、グローバルフォーカスロスを含み、
前記第１４の特徴データ及び前記トレーニング画像のラベルに基づいて、第１のグローバルロスを取得することは、
前記第１４の特徴データに基づいて、前記第２の識別対象車両の第３の識別結果を取得することと、
前記第３の識別結果及び前記ラベルに基づいて、前記第３の識別結果のフォーカスロスを前記グローバルフォーカスロスとして取得することと、を含むことを特徴とする
請求項１２～１９のいずれか一項に記載の方法。

【請求項21】

前記トレーニング画像は、トレーニング画像セットに属し、前記トレーニング画像セットは、前記トレーニング画像の第１の正サンプル画像及び前記トレーニング画像の第１の負サンプル画像をさらに含み、前記第１のグローバルロスは、グローバルトリプレットロスをさらに含み、
前記方法は、
前記トレーニング対象ネットワークを使用して前記第１の正サンプル画像に対して特徴抽出処理を行うことで、前記第１の正サンプル画像の特徴データを取得することと、
前記トレーニング対象ネットワークを使用して前記第１の負サンプル画像に対して特徴抽出処理を行うことで、前記第１の負サンプル画像の特徴データを取得することと、
前記第１２の特徴データ、前記第１の正サンプル画像の特徴データ及び前記第１の負サンプル画像の特徴データに基づいて、前記グローバルトリプレットロスを取得することと、を含むことを特徴とする
請求項２０に記載の方法。

【請求項22】

車両識別装置であって、
第１の識別対象車両を含む処理対象画像を取得するように構成される取得ユニットと、
前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得するように構成される第１の処理ユニットと、
前記処理対象画像に対して第２の特徴抽出処理を行うことで、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得するように構成される第２の処理ユニットと、
前記第１の特徴データと前記第２の特徴データに対して融合処理を行うことで、前記第１の識別対象車両の第３の特徴データを取得するように構成され、前記第３の特徴データは前記第１の識別対象車両の識別結果を取得するために使用される融合処理ユニットと、を備える、
車両識別装置。

【請求項23】

電子デバイスであって、
プロセッサとメモリとを備え、
前記メモリは、コンピュータプログラムコードを記憶するように構成され、
前記コンピュータプログラムコードは、コンピュータ命令を含み、
前記電子デバイスは、前記プロセッサが前記コンピュータ命令を実行する場合、請求項１～２１のいずれか一項に記載の方法を実行する、
電子デバイス。

【請求項24】

コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、
前記コンピュータプログラムはプログラム命令を含み、
前記プログラム命令がプロセッサによって実行される場合、前記プロセッサに請求項１～２１のいずれか一項に記載の方法を実行させる、
コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本発明は、出願番号が２０２０１０９４７３４９．１であり、出願日が２０２０年９月１０日である中国特許出願に基づいて提案され、当該中国特許出願に基づく優先権を主張し、当該中国特許の全ての内容がここで参照によって本発明に組み込まれる。

【0002】

本発明は、コンピュータビジョン技術の分野に関し、特に車両識別方法及び装置、電子デバイス及び記憶媒体に関する。

【背景技術】

【0003】

現代社会における車両の数が益々多くなるにつれて、様々な交通問題が次々と続いている。関連技術において、車両識別方法は、２つの画像から車両の特徴をそれぞれ抽出して、２つの車両特徴データを取得し、２つの車両特徴データを比較して、２つの画像における車両が同じ車であるか否かを確定する。しかし、このように抽出された車両特徴データに含まれる情報の精度は高くない。

【発明の概要】

【課題を解決するための手段】

【0004】

本発明は、車両識別方法及び装置、電子デバイス及び記憶媒体を提供する。

【0005】

第１の態様は、車両識別方法であって、
第１の識別対象車両を含む処理対象画像を取得することと、
前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得することと、
前記処理対象画像に対して第２の特徴抽出処理を行うことで、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得することと、
前記第１の特徴データ及び前記第２の特徴データに対して融合処理を行うことで、前記第１の識別対象車両の第３の特徴データを取得することであって、前記第３の特徴データは、前記第１の識別対象車両の識別結果を取得するために使用されることと、を含む前記車両識別方法を提供する。

【0006】

第２の態様は、車両識別装置であって、
第１の識別対象車両を含む処理対象画像を取得するように構成される取得ユニットと、
前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得するように構成される第１の処理ユニットと、
前記処理対象画像に対して第２の特徴抽出処理を行うことで、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得するように構成される第２の処理ユニットと、
前記第１の特徴データ及び前記第２の特徴データに対して融合処理を行うことで、前記第１の識別対象車両の第３の特徴データを取得するように構成され、前記第３の特徴データは前記第１の識別対象車両の識別結果を取得するために使用される融合処理ユニットと、を備える前記車両識別装置を提供する。

【0007】

第３の態様は、電子デバイスであって、プロセッサとメモリとを備え、前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記電子デバイスは、前記プロセッサが前記コンピュータ命令を実行する場合、上記第１の態様及びそのいずれか１つの可能な実施形態の方法を実行する前記電子デバイスを提供する。

【0008】

第４の態様は、電子デバイスであって、プロセッサ、送信装置、入力装置、出力装置及びメモリを備え、前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記電子デバイスは、前記プロセッサが前記コンピュータ命令を実行する場合、上記第１の態様及びそのいずれか１つの可能な実施形態の方法を実行する前記電子デバイスを提供する。

【0009】

第５の態様は、コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムはプログラム命令を含み、前記プログラム命令がプロセッサによって実行される場合、前記プロセッサに上記の第１態様及びそのいずれか１つの可能な実施形態の方法を実行させる前記コンピュータ読み取り可能な記憶媒体を提供する。

【0010】

第６態様は、コンピュータプログラム製品であって、コンピュータプログラム又は命令を含み、前記コンピュータプログラム又は命令がコンピュータで実行される場合、前記コンピュータに上記第１の態様及びそのいずれか１つの可能な実施形態の方法を実行させる。

【発明の効果】

【0011】

本発明の実施例は、取得された、第１の識別対象車両を含む処理対象画像に対して、第１の識別対象車両のローカル特徴情報の第１の特徴データ、及び第１の識別対象車両のグローバル特徴情報の第二特徴データを抽出し、第１の特徴データと第２の特徴データを融合することにより、第１の識別対象車両の詳細特徴情報を豊かにすることができ、さらにこの豊かな詳細特徴情報に基づいて第１の識別対象車両の識別結果を確定し、識別結果の精度を向上させることができる。

【0012】

以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本発明を制限するものではないことを理解すべきである。

【図面の簡単な説明】

【0013】

本発明の実施例又は背景技術における技術的解決策をより明確に説明するために、以下に本発明の実施例又は背景技術で使用される必要がある図面を説明する。

【0014】

ここでの添付図面は、本明細書に組み込まれて本明細書の一部を構成し、これらの図面は、本発明に合致する実施例を示しており、明細書と共に本発明の技術的解決策を解釈するために使用される。

【図1】本発明の実施例による車両識別方法のフローチャートである。

【図2】本発明の実施例によるキーポイントの概略図である。

【図3】本発明の実施例によるローカル画素点領域の概略図である。

【図4】本発明の実施例による車両識別ネットワークの構造概略図である。

【図5】本発明の実施例による特徴抽出モジュールの構造概略図である。

【図6】本発明の実施例によるキーポイント及びローカル画素点領域生成モジュールの構造概略図である。

【図7】本発明の実施例によるジョイントトレーニングモジュールの構造概略図である。

【図8】本発明の実施例による第１の俳優－評論家の構造概略図である。

【図9】本発明の実施例による第１のスコアリングサブモジュールの構造概略図である。

【図10】本発明の実施例による第２の俳優－評論家モジュールの構造概略図である。

【図11】本発明の実施例による第２のスコアリングサブモジュールの構造概略図である。

【図12】本発明の実施例による車両識別装置の構造概略図である。

【図13】本発明の実施例による車両識別装置のハードウェア構造概略図である。

【発明を実施するための形態】

【0015】

当業者が本発明の解決策をより良く理解するために、以下に本発明の実施例の図面を組み合わせながら、本発明の実施例における技術的解決策を明確且つ完全に説明し、明らかに、説明した実施例は、本発明の実施例の一部だけであり、全ての実施例ではない。本発明の実施例に基づき、当業者が創造的な労働をせずに得る全ての他の実施例は、本発明の保護範囲に属する。

【0016】

本発明の明細書と特許請求の範囲及び上記図面における用語「第１」、「第２」などは、異なるオブジェクトを区別するために使用されるものであり、特定の順序を説明するためのものではない。また、用語「含む」と「有する」及びそれらのいかなる変形は、非排他的な包含をカバーすることを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又はデバイスは、示されたステップ又はユニットに限定されず、選択可能に、示されていないステップ又はユニットをさらに含み、又は、選択可能に、これらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットをさらに含む。

【0017】

本明細書に言及される「実施例」は、実施例と組み合わせて説明される特定の特徴、構造又は特性が本発明の少なくとも１つの実施例に含まれてもよいことを意味する。本明細書の様々な箇所に当該フレーズが現れることは、必ずしも同じ実施例ではなく、他の実施例と相互に排他的に独立した実施例又は代替実施例ではないことを意味する。当業者は、本明細書で説明される実施例が他の実施例と組合わせられてもよいことを明示的及び暗黙的に理解できる。

【0018】

仕事、生活又は社会環境の安全性を高めるため、各地域の場所内にいずれも監視デバイスが取り付けられている。人々の生活レベルの向上に伴い、道路上の車両が益々多くなり、交通事故も益々多くなり、どのように監視デバイスで収集されたビデオストリームによって車両（以下はターゲット車両と呼ばれる）のトレースを効果的に確定することは、非常に重要な意味がある。例えば、ひき逃げ車両を追跡する場合、車両識別方法を使用して、異なるカメラによって収集された画像を処理することにより、ひき逃げ車両のトレースを確定することができる。

【0019】

関連技術において、車両識別方法は、画像における確認対象車両の全体的な外観特徴情報を抽出することにより、確認対象車両の特徴を取得し、確認対象車両の車両特徴をターゲット車両の全体的な外観特徴情報を含むターゲット車両特徴と比較して、ターゲット車両と確認対象車両との間の類似度を取得し、全体的な外観特徴が車種、色を含む。類似度が類似度閾値を超える場合、確認対象車両とターゲット車両が同一の車両であることを確定する。

【0020】

全体的な外観特徴情報だけで２台の車両が同一の車両であるか否かを判断することは大きな誤差をもたらし、現在の車両識別方法によって画像から抽出された車両特徴は全体的な外観特徴情報のみを含むため、現在の車両識別方法の識別精度は低い。これに基づき、本発明の実施例は、車両特徴に含まれる情報を豊かにすることができる車両識別方法を提供する。以下、本発明の実施例における図面と組み合わせて本発明の実施例を説明する。

【0021】

本発明の実施例の実行主体は、車両識別装置である。選択可能な車両識別装置は、携帯電話、サーバ、コンピュータ、タブレットコンピュータ、ウェアラブルデバイスのいずれか１つであってもよい。図１を参照して、図１は本発明の実施例による車両識別方法のフローチャートである。

【0022】

ステップ１０１において、第１の識別対象車両を含む処理対象画像を取得する。

【0023】

本発明の実施例では、処理対象画像には、第１の識別対象車両が含まれる。処理対象画像を取得するための実現方式の一つでは、車両識別装置は、ユーザが入力部品によって入力した処理対象画像を受信する。上記入力部品は、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。

【0024】

処理対象画像を取得するための別の実現方式では、車両識別装置は、データ端末から送信された処理対象画像を受信する。上記データ端末は、携帯電話、コンピュータ、タブレット、サーバのいずれか１つであってもよい。

【0025】

処理対象画像を取得するためのさらなる別の実現方式では、車両識別装置は、監視カメラから送信された処理対象画像を受信する。例えば、当該監視カメラは、道路（高速道路、快速道路、都市道路を含む）に配置されている。

【0026】

ステップ１０２において、上記処理対象画像に対して第１の特徴抽出処理を行い、上記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得する。

【0027】

本発明の実施例では、ローカル特徴情報は、車両の詳細特徴情報、例えば、車両ライトの特徴情報、車両ロゴの特徴情報、車両窓の特徴情報などを含む。

【0028】

車両識別装置は、処理対象画像に対して第１の特徴抽出処理を行うことにより、処理対象画像から第１の識別対象車両のローカル特徴情報を抽出し、第１の特徴データを取得することができる。

【0029】

１つの可能な実施形態では、第１の特徴抽出処理は、第１の畳み込みニューラルネットワークによって実現されてもよい。注釈情報が付された画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングによって得られた第１の畳み込みニューラルネットワークは、処理対象画像に対する第１の特徴抽出処理を完了することができる。トレーニングデータの注釈情報は、画像における車両の詳細特徴情報（例えば、車両ライトのタイプ、車両ロゴのカテゴリ、車両窓のカテゴリなど）であってもよい。トレーニングデータを使用して畳み込みニューラルネットワークをトレーニングする過程において、畳み込みニューラルネットワークは、トレーニングデータから車両の詳細特徴情報を含む特徴データを抽出し、抽出された特徴データに基づいて車両の詳細情報をトレーニング結果として取得する。トレーニングデータのラベルを使用してトレーニング結果を監視することにより、畳み込みニューラルネットワークのトレーニングを完了し、第１の畳み込みニューラルネットワークを取得することができる。このようにして、車両識別装置は、第１の畳み込みニューラルネットワークを使用して処理対象画像を処理し、第１の識別対象車両の詳細特徴情報を取得及び抽出し、第１の特徴データを取得することができる。

【0030】

別の可能な実施形態では、車両識別装置は、第１の畳み込みカーネルを使用して処理対象画像に対して畳み込み処理を行い、処理対象画像における車両の詳細特徴情報を含むセマンティック情報を抽出し、第１の特徴データを取得する。

【0031】

ステップ１０３において、上記処理対象画像に対して第２の特徴抽出処理を行い、上記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得する。

【0032】

本発明の実施例では、車両のグローバル特徴情報は、車両の全体的な外観特徴情報を含む。車両識別装置は、処理対象画像に対して第２の特徴抽出処理を行うことにより、処理対象画像から第１の識別対象車両のグローバル特徴情報を抽出し、第２の特徴データを取得することができる。

【0033】

１つの可能な実施形態では、第２の特徴抽出処理は、第２の畳み込みニューラルネットワークによって実現されてもよい。注釈情報が付された画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングによって得られた第２の畳み込みニューラルネットワークは、処理対象画像に対する第２の特徴抽出処理を完了することができる。トレーニングデータの注釈情報は、画像における車両の全体的な外観特徴情報（車種、車体の色など）であってもよい。トレーニングデータを使用して畳み込みニューラルネットワークをトレーニングする過程において、畳み込みニューラルネットワークは、トレーニングデータから車両の全体的な外観特徴情報を含む特徴データを抽出し、抽出された特徴データに基づいて車両の全体的な外観特徴情報をトレーニング結果として取得する。トレーニングデータのラベルを使用してトレーニング結果を監視することにより、畳み込みニューラルネットワークのトレーニングを完了し、第２の畳み込みニューラルネットワークを取得することができる。このようにして、車両識別装置は、第２の畳み込みニューラルネットワークを使用して処理対象画像を処理し、第１の識別対象車両の全体的な外観特徴情報を取得及び抽出し、第２の特徴データを取得することができる。

【0034】

別の可能な実施形態では、車両識別装置は、第２の畳み込みカーネルを使用し、処理対象画像に対して畳み込み処理を行い、処理対象画像における車両の全体的な外観特徴情報を含むセマンティック情報を抽出し、第２の特徴データを取得する。ここで、第１の畳み込みカーネルのパラメータは、第２の畳み込みカーネルのパラメータと異なる。

【0035】

ステップ１０４において、上記第１の特徴データ及び上記第２の特徴データに対して融合処理を行い、上記第１の識別対象車両の第３の特徴データを取得する。

【0036】

本発明の実施例では、第３の特徴データは、第１の識別対象車両の識別結果を取得するために使用され、ここで、識別結果には第１の識別対象車両の身元が含まれる。例えば、車両識別装置は、さらに第３の特徴データに基づいて、識別対象車両が車両ａであることを確定することができる。また、例えば、車両識別装置は、第３の特徴データを車両特徴データベースにおける特徴データと比較して、車両特徴データベースにおけるターゲット車両特徴データと第３の特徴データとの間の類似度が類似度閾値を超えていることを確定する。さらに、ターゲット車両特徴データに対応する車両が車両ｂであることに基づき、車両識別装置は、第３の特徴データに対応する車両が車両ｂであること即ち、第３の特徴データに基づいて確定された第１の識別対象車両の識別結果は車両ｂであることを確定することができる。

【0037】

車両識別装置は、第１の特徴データ及び第２の特徴データに対して融合処理を行うことにより、第１の識別対象車両のグローバル特徴情報だけでなく、第１の識別対象車両のローカル特徴情報も含む第３の特徴データを取得することができる。第３の特徴データを第１の識別対象車両の特徴データとして使用することにより、第１の識別対象車両の特徴データに含まれる情報を豊かにすることができる。

【0038】

１つの選択可能な実施形態として、上記ローカル特徴情報は、キーポイントの特徴情報を含む。キーポイントの特徴情報は、処理対象画像におけるキーポイントの位置、キーポイントのセマンティック情報を含む。例えば、図２に示すキーポイント６は、左フロントタイヤのキーポイントであり、キーポイント６のセマンティック情報は、左フロントタイヤの情報（例えば、タイヤの仕様、ホイールハブのサイズ、タイヤのブランド）を含む。図２に示すキーポイント２３は、後部ナンバープレートのキーポイントであり、キーポイント２３のセマンティック情報は、後部ナンバープレートの情報（例えば、ナンバープレート番号）を含む。

【0039】

本発明の実施例では、車両のキーポイントの注釈方式は図２に示すとおりである。図２に示す車種は例に過ぎず、実際の応用において、図２に示すキーポイント注釈方式に従って任意の車種（例えば、ダンプトラック、バス又はトラック）の車両を注釈することができることを理解すべきである。

【0040】

１つの可能な実施形態では、車両識別装置は、処理対象画像に対して第１の特徴抽出処理を行うことにより、第１の識別対象車両のキーポイントの特徴情報を含む第１の特徴データを取得する。図２に示すキーポイントを例として、第１の特徴データは、識別対象車両の左フロントタイヤのキーポイントの特徴情報と、後部ナンバープレートのキーポイントの特徴情報とを含むことができる。

【0041】

１つの実現可能な実施形態として、ローカル特徴情報は、キーポイントの特徴情報だけでなく、ローカル画素点領域の特徴情報も含む。本発明の実施例では、ローカル画素点領域は、第１の識別対象車両によって覆われた画素点領域に属し、ローカル画素点領域の面積は、第１の識別対象車両によって覆われた画素点領域の面積よりも小さい。例えば、図３では、右側ローカル画素点領域３０１は、第１の識別対象車両３００の右側領域を含み、車両ヘッド画素点領域３０２は、第１の識別対象車両の車両ヘッド領域を含む。

【0042】

ローカル画素点領域の特徴情報は、ローカル画素点領域のセマンティック情報を含む。例えば、ローカル画素点領域がフロント車両ライトによって覆われた画素点領域を含む場合、ローカル画素点領域のセマンティック情報は、フロント車両ライトの型番を含み、ローカル画素点領域が車両窓によって覆われた画素点領域を含む場合、ローカル画素点領域のセマンティック情報は、車両窓のカテゴリ、車両窓を通して観察できる車内の物件を含み、ローカル画素点領域がフロントウインドシールドガラスによって覆われた画素点領域を含む場合、ローカル画素点領域のセマンティック情報は、フロントウインドシールドガラスのカテゴリ、フロントウインドシールドガラスを通して観察できる車内の物件、フロントウインドシールドガラスにおける年次検査マーク、フロントウインドシールドガラスにおける年次検査マークの位置を含む。

【0043】

ローカル特徴情報について、車両識別装置は、ステップ１０２を実行する過程において以下のステップを実行する。

【0044】

ステップ１では、上記処理対象画像に対して第３の特徴抽出処理を行い、第４の特徴データを取得する。

【0045】

本発明の実施例では、第４の特徴データは、第１の識別対象車両の少なくとも１つのキーポイントの特徴情報を含む。車両識別装置は、処理対象画像に対して第３の特徴抽出処理を行うことにより、処理対象画像から第１の識別対象車両の少なくとも１つのキーポイントの特徴情報を抽出し、第４の特徴データを取得することができる。

【0046】

１つの可能な実施形態では、第３の特徴抽出処理は、第３の畳み込みニューラルネットワークによって実現されてもよい。注釈情報が付された画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングによって得られた第３の畳み込みニューラルネットワークは、処理対象画像に対する第３の特徴抽出処理を完了することができる。トレーニングデータの注釈情報は、画像における車両のキーポイントの特徴情報（例えば、キーポイントの位置、キーポイントのセマンティック情報）であってもよい。トレーニングデータを使用して畳み込みニューラルネットワークをトレーニングする過程において、畳み込みニューラルネットワークは、トレーニングデータから車両のキーポイントの特徴情報を含む特徴データを抽出し、抽出された特徴データに基づいてキーポイントの特徴情報をトレーニング結果として取得する。トレーニングデータのラベルを使用してトレーニング結果を監視することにより、畳み込みニューラルネットワークのトレーニングを完了し、第３の畳み込みニューラルネットワークを取得することができる。このようにして、車両識別装置は、第３の畳み込みニューラルネットワークを使用して処理対象画像を処理し、第１の識別対象車両のキーポイントの特徴情報を取得及び抽出し、第４の特徴データを取得することができる。

【0047】

別の可能な実施形態では、車両識別装置は、第３の畳み込みカーネルを使用し、処理対象画像に対して畳み込み処理を行い、処理対象画像の車両の全体的な外観特徴情報を含むセマンティック情報を抽出し、第４の特徴データを取得する。ここで、第３の畳み込みカーネルのパラメータは、第１の畳み込みカーネルのパラメータと異なり、第３の畳み込みカーネルのパラメータは第２の畳み込みカーネルのパラメータとも異なる。

【0048】

ステップ２では、上記処理対象画像に対して第４の特徴抽出処理を行い、第５の特徴データを取得する。

【0049】

本発明の実施例では、第５の特徴データは、第１の識別対象車両の少なくとも１つのローカル画素点領域の特徴情報を含む。

【0050】

１つの可能な実施形態では、第４の特徴抽出処理は、第４の畳み込みニューラルネットワークによって実現されてもよい。注釈情報が付された画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングによって得られた第４の畳み込みニューラルネットワークは、処理対象画像に対する第４の特徴抽出処理を完了することができる。トレーニングデータの注釈情報は、画像における車両のローカル画素点領域の特徴情報であってもよい。トレーニングデータを使用して畳み込みニューラルネットワークをトレーニングする過程において、畳み込みニューラルネットワークは、トレーニングデータから車両のローカル画素点領域の特徴情報を含む特徴データを抽出し、抽出された特徴データに基づいてローカル画素点領域の特徴情報をトレーニング結果として取得する。トレーニングデータのラベルを使用してトレーニング結果を監視することにより、畳み込みニューラルネットワークのトレーニングを完了し、第４の畳み込みニューラルネットワークを取得することができる。このようにして、車両識別装置は、第４の畳み込みニューラルネットワークを使用して処理対象画像を処理し、第１の識別対象車両のローカル画素点領域の特徴情報を取得及び抽出し、第５の特徴データを取得することができる。

【0051】

別の可能な実施形態では、車両識別装置は、第４の畳み込みカーネルを使用し、処理対象画像に対して畳み込み処理を行い、処理対象画像の第１の識別対象車両のローカル画素点領域の特徴情報を抽出し、第５の特徴データを取得する。ここで、第４の畳み込みカーネルのパラメータは、第１の畳み込みカーネルのパラメータ、第２の畳み込みカーネルのパラメータ、第３の畳み込みカーネルのパラメータのいずれかと異なる。

【0052】

ステップ３では、上記第４の特徴データ及び上記第５の特徴データに対して融合処理を行い、上記第１の特徴データを取得する。

【0053】

ローカル画素点領域の特徴情報はローカル画素点領域のセマンティック情報を含み、画像における隣接する画素点同士は相関性（ここでの相関性はセマンティック相関性を含む）を有するため、ローカル画素点領域のセマンティック情報とキーポイントの特徴情報を融合させることにより、車両の詳細特徴情報を豊かにすることができる。

【0054】

車両識別装置は、第４の特徴データ及び第５の特徴データに対して融合処理を行うことにより、第１の識別対象車両のキーポイントの特徴情報と第１の識別対象車両のローカル画素点領域の特徴情報を融合させ、第１の識別対象車両の詳細特徴情報を豊かにして、第１の特徴データを取得する。

【0055】

１つの選択可能な実施形態として、車両識別装置は、ステップ１を実行する過程において以下のステップを行う。

【0056】

ステップ４では、上記処理対象画像に対して第５の特徴抽出処理を行い、少なくとも１つの第６の特徴データを取得する。

【0057】

本発明の実施例では、第６の特徴データは、第１の識別対象車両のキーポイントの特徴情報を含み、任意の２つの第６の特徴データに含まれる特徴情報は、異なるキーポイントに属する。例えば、第１の識別対象車両は、左バックミラーのキーポイントと右テールライトのキーポイントを含む。少なくとも１つの第６の特徴データは、特徴データ１及び特徴データ２を含み、特徴データ１は、左バックミラーのキーポイントの特徴情報を含み、特徴データ２は、右テールライトのキーポイントの特徴情報を含む。

【0058】

１つの可能な実施形態では、車両識別装置は、処理対象画像に対して第５の特徴抽出処理を行うことにより、第１の識別対象車両のキーポイントの特徴情報を抽出し、チャネル数が１以上である第１の中間特徴データを取得し、第１の中間特徴データにおける各チャネルのデータにはいずれも第１の識別対象車両のキーポイントの特徴情報が含まれ、任意の２つのチャネルのデータに含まれる情報は、異なるキーポイントに属する。車両識別装置は、第１の中間特徴データにおける１つのチャネルデータを１つの第６の特徴データとして使用することができる。

【0059】

ステップ５では、上記の少なくとも１つの第６の特徴データから含まれる情報量の最も多いｋ個の特徴データを選択し、ｋ個の第７の特徴データを取得する。

【0060】

異なる第６の特徴データに含まれる情報量は異なるため、後続処理におけるデータ処理量を減らすために、車両識別装置は、少なくとも１つの第６の特徴データから含まれる情報量の最も多いｋ個の特徴データ（即ち、ｋ個の第７の特徴データ）を後続処理のために選択することができ、ｋが１以上の整数である。

【0061】

ステップ６では、上記ｋ個の第７の特徴データに基づいて、上記第４の特徴データを取得する。

【0062】

ｋ＝１の場合、ステップ５を実行することで１つの第７の特徴データを取得することができ、このとき、車両識別装置は、第７の特徴データを第４の特徴データとして使用することができ、即ち、第４の特徴データには１つのキーポイントの特徴情報が含まれる。

【0063】

ｋが１よりも大きい場合、ステップ５を実行することで少なくとも２つの第７の特徴データを取得することができ、このとき、車両識別装置は、少なくとも２つの第７の特徴データに対して融合処理を行い、第４の特徴データを取得することができる。

【0064】

例えば、少なくとも２つの第７の特徴データは、第７の特徴データ１、第７の特徴データ２、第７の特徴データ３を含み、第７の特徴データ１は、左フロント車両ライトのキーポイントの特徴情報を含み、第７の特徴データ２は、左リア車両ライトのキーポイントの特徴情報を含み、第７の特徴データ３は、左バックミラーのキーポイントの特徴情報を含む。車両識別装置は、第７の特徴データ１及び第７の特徴データ２に対して融合処理を行うことにより、第４の特徴データを取得することができる。このとき、第４の特徴データは、左フロント車両ライトのキーポイントの特徴情報と、左リア車両ライトのキーポイントの特徴情報とを含む。車両識別装置は、第７の特徴データ１、第７の特徴データ２及び第７の特徴データ３に対して融合処理を行うことにより、第４の特徴データを取得することもできる。このとき、第４の特徴データは、左フロント車両ライトのキーポイントの特徴情報、左リア車両ライトのキーポイントの特徴情報及び左バックミラーのキーポイントの特徴情報を含む。

【0065】

１つの実現可能な実施形態として、車両識別装置は、ステップ４を実行する過程において以下のステップを実行する。

【0066】

ステップ７では、上記処理対象画像に対して第６の特徴抽出処理を行い、少なくとも１つの第１のヒートマップを取得する。

【0067】

本発明の実施例では、第１のヒートマップは、処理対象画像におけるキーポイントの位置情報を含み、任意の２つの第１のヒートマップに含まれる情報は、異なるキーポイントに属する。例えば、第１の識別対象車両のキーポイントは、左バックミラーのキーポイントと右テールライトのキーポイントを含む。少なくとも１つの第１のヒートマップは、第１のヒートマップ１及び第１のヒートマップ２を含み、第１のヒートマップ１は、処理対象画像における左バックミラーのキーポイントの位置情報を含み、第１のヒートマップ２は、処理対象画像における右テールライトのキーポイントの位置情報を含む。

【0068】

２つの画像における同じ位置にある画素点は、同位ポイントと呼ばれる。例えば、第１のヒートマップ１における画素点Ａの位置が第１のヒートマップ２における画素点Ｂの位置と同じである場合、画素点Ａは、第１のヒートマップにおける画素点Ｂと相互に同位ポイントである画素点であり、画素点Ｂは、処理対象画像における画素点Ａと相互に同位ポイントである画素点である。

【0069】

１つの可能な実施形態では、第１のヒートマップのサイズは、処理対象画像のサイズと同じである。第１のヒートマップ内の画素点の画素値は、処理対象画像における当該画素点と相互に同位ポイントである画素点の所在する位置にキーポイントが存在する信頼度を特徴付ける。例えば、第１のヒートマップ１における画素点Ａは、処理対象画像における画素点Ｂと相互に同位ポイントである。第１のヒートマップ１が処理対象画像における左フロント車両ライトのキーポイントの位置情報を含み、画素点Ａの画素値が０．７である場合、画素点Ｂに左フロント車両ライトが存在する信頼度は０．７である。

【0070】

本発明の実施例では、第６の特徴抽出処理は、畳み込み処理であってもよいし、プール化処理であってもよいし、畳み込み処理とプール化処理との組み合わせであってもよく、本発明では限定されない。

【0071】

１つの可能な実施形態では、第６の特徴抽出処理は、第５の畳み込みニューラルネットワークによって実現されてもよい。注釈情報が付された画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングによって得られた第５の畳み込みニューラルネットワークは、処理対象画像に対する第６の特徴抽出処理を完了することができる。トレーニングデータの注釈情報は、画像におけるキーポイントの位置であってもよい。トレーニングデータを使用して畳み込みニューラルネットワークをトレーニングする過程において、畳み込みニューラルネットワークは、トレーニングデータからキーポイントの位置情報を含む特徴データを抽出し、抽出された特徴データに基づいて画像におけるキーポイントの位置をトレーニング結果として取得する。トレーニングデータのラベルを使用してトレーニング結果を監視することにより、畳み込みニューラルネットワークのトレーニングを完了し、第５の畳み込みニューラルネットワークを取得することができる。このようにして、車両識別装置は、第５の畳み込みニューラルネットワークを使用して処理対象画像を処理し、第１の識別対象車両のキーポイントの位置情報を取得及び抽出し、第１のヒートマップを取得することができる。

【0072】

ステップ８では、上記処理対象画像に対して第７の特徴抽出処理を行い、上記処理対象画像の第１の特徴画像を取得する。

【0073】

処理対象画像における各画素点は、いずれもセマンティック情報を含み、セマンティック情報内にキーポイントの特徴情報が含まれ、処理対象画像に対して第７の特徴抽出処理を行うことにより、各画素点に含まれるキーポイントの特徴情報を抽出し、第１の特徴画像を取得することができる。

【0074】

第１の特徴画像は画素点のキーポイントの特徴情報だけでなく、画素点同士の相対位置情報も含むことを理解すべきである。第４の特徴データに含まれる情報には画素点同士の相対位置情報が含まれていない。

【0075】

ステップ９では、各上記第１のヒートマップと上記第１の特徴画像との間のドット積をそれぞれ確定し、上記の少なくとも１つの第６の特徴データを取得する。

【0076】

第１のヒートマップに含まれる位置情報が属するキーポイントは、第１のヒートマップのキーポイントと呼ばれ、例えば、第１のヒートマップ１には左フロント車両ライトのキーポイントの位置情報が含まれ、即ち、第１のヒートマップ１に含まれる情報は、左フロント車両ライトのキーポイントに属し、このとき、第１のヒートマップ１のキーポイントは、左フロント車両ライトのキーポイントである。

【0077】

本発明の実施例では、処理対象画像のサイズ、第１のヒートマップのサイズ、及び第１の特徴画像のサイズは、いずれも同じである。例えば、処理対象画像の長さ５０、幅３０の場合、第１のヒートマップの長さ及び第１の特徴画像の長さの両方はいずれも５０であり、第１のヒートマップの幅及び第１の特徴画像の幅の両方はいずれも３０である。

【0078】

本発明の実施例では、ドット積は、エレメントワイズ積（ｅｌｅｍｅｎｔ－ｗｉｓｅ）を指す。第１の特徴画像と第１のヒートマップとの間のドット積を確定することにより、第１の特徴画像から第１のヒートマップのキーポイントの特徴情報を抽出して、第６の特徴データを取得することができる。

【0079】

一部の実施例では、第１の特徴画像と第１のヒートマップとの間のドット積を確定する前に、車両識別装置は、第１の特徴画像における画素値を正規化して、正規化された第１のヒートマップを取得し、例えば、０．６以上の画素値を１に調整し、０．６未満の画素値を０．３に調整することができる。車両識別装置は、正規化された第１のヒートマップと第１の特徴画像との間のドット積を確定することにより、第１のヒートマップのキーポイントの特徴情報を抽出して、第６の特徴データを取得することができる。

【0080】

１つの実施形態として、車両識別装置は、ステップ５を実行する過程において以下のステップを実行する。

【0081】

ステップ１０では、上記の少なくとも１つの第６の特徴データにおける特徴データに対してプール化処理をそれぞれ行い、少なくとも１つの第８の特徴データを取得する。

【0082】

車両識別装置は、１つの第６の特徴データに対してプール化処理を行うことにより、第６の特徴データのデータ量を削減し、１つの第８の特徴データを取得することができる。このようにして、後続処理で第８の特徴データを処理することにより、車両識別装置のデータ処理量を減らすことができる。

【0083】

車両識別装置は、少なくとも１つの第６の特徴データにおける特徴データに対してプール化処理をそれぞれ行い、少なくとも１つの第８の特徴データを取得する。例えば、少なくとも１つの第６の特徴データは、第６の特徴データ１、第６の特徴データ２、第６の特徴データ３を含む。車両識別装置は、第６の特徴データ１に対してプール化処理を行うことにより、第８の特徴データ１を取得し、第６の特徴データ２に対してプール化処理を行うことにより、第８の特徴データ２を取得し、このとき、少なくとも１つの第８の特徴データは、第８の特徴データ１と第８の特徴データ２を含む。車両識別装置は、第６の特徴データ１に対してプール化処理を行うことにより第８の特徴データ１を取得し、第６の特徴データ２に対してプール化処理を行うことにより第８の特徴データ２を取得し、第６の特徴データ３に対してプール化処理を行うことにより第８の特徴データ３を取得し、このとき、少なくとも１つの第８の特徴データは、第８の特徴データ１、第８の特徴データ２、第８の特徴データ３を含む。

【0084】

一部の実施例では、ステップ１０におけるプール化処理は、グローバル平均プール化処理である。

【0085】

ステップ１１、上記の少なくとも１つの第８の特徴データに含まれる情報量に基づいて、少なくとも１つの第１の確率を取得する。

【0086】

本発明の実施例では、第１の確率は、第１の確率に対応する第６の特徴データに含まれる情報量を特徴づけるために使用される。例えば（例１）、少なくとも１つの第８の特徴データは、第８の特徴データ１を含み、少なくとも１つの第１の確率は、第１の確率１を含み、第１の確率１は、第８の特徴データ１に含まれる情報量に基づいて得られるものであり、第８の特徴データ１は、第６の特徴データ１に対してプール化処理を行うことで得られるものである。第１の確率１は、第６の特徴データ１に含まれる情報量を特徴づけるために使用される。

【0087】

一部の実施例では、第１の確率は、第６の特徴データに含まれる情報量と相関性を有している。例えば、第１の確率が第６の特徴データに含まれる情報量と正の相関にある場合、例１では、第１の確率１が大きいほど、第６の特徴データ１に含まれる情報量が多くなることを示し、第１の確率が第６の特徴データに含まれる情報量と負の相関にある場合、例１では、第１の確率１が大きいほど、第６の特徴データ１に含まれる情報量が小さくなることを示す。

【0088】

第８の特徴データは第６の特徴データに基づいて得られるため、第８の特徴データに含まれる情報量は、第６の特徴データに含まれる情報量と正の相関にある。したがって、車両識別装置は、第８の特徴データに含まれる情報量に基づいて、第１の確率を取得することができる。

【0089】

１つの可能な実施形態では、車両識別装置は、第８の特徴データをソフトマックス（ｓｏｆｔｍａｘ）関数に入力して、第１の確率を取得することができる。

【0090】

車両識別装置は、１つの第８の特徴データに含まれる情報量に基づいて、１つの第１の確率を取得することができ、少なくとも１つの第８の特徴データに含まれる情報量に基づいて、少なくとも１つの第１の確率を取得することができる。例えば、少なくとも１つの第８の特徴データは、第８の特徴データ１と第８の特徴データ２を含む。車両識別装置は、第８の特徴データ１に含まれる情報量に基づいて、第１の確率を取得し、このとき、少なくとも１つの第１の確率は第１の確率１を含む。車両識別装置は、第８の特徴データ１に含まれる情報量に基づいて、第１の確率１を取得し、第８の特徴データ２に含まれる情報量に基づいて、第１の確率２を取得し、このとき、少なくとも１つの第１の確率は、第１の確率１と第１の確率２を含む。

【0091】

第１の確率が第６の特徴データに含まれる情報量と正の相関にある場合、車両識別装置は、ステップ１２を実行し、第１の確率が第６の特徴データに含まれる情報量と負の相関にある場合、車両識別装置は、ステップ１３を実行する。

【0092】

ステップ１２では、最大のｋ個の第１の確率に対応する上記第６の特徴データを、上記のｋ個の第７の特徴データとして選択する。

【0093】

ステップ１３では、最小のｋ個の第１の確率に対応する上記第６の特徴データを、上記のｋ個の第７の特徴データとして選択する。

【0094】

１つの選択可能な実施形態として、１つの第７の特徴データは１つのキーポイントの特徴情報を含むため、少なくとも１つのキーポイントのうちのキーポイントの数が１を超える場合、第７の特徴データの数が１を超える。異なる第７の特徴データに含まれる情報量は異なる。第１の識別対象車両のキーポイントの特徴情報の精度を向上させるために、車両識別装置は、第７の特徴データに含まれる情報量に基づいて各第７の特徴データの重みをそれぞれ確定し、第７の特徴データの重みに基づいて少なくとも１つの第７の特徴データを加重融合して、第４の特徴データを取得する。

【0095】

１つの選択可能な実施形態として、車両識別装置は、ステップ２を実行する過程において以下のステップを実行する。

【0096】

ステップ１４では、上記処理対象画像に対して第１０の特徴抽出処理を行い、少なくとも１つの第９の特徴データを取得する。

【0097】

本発明の実施例では、第９の特徴データは、第１の識別対象車両のキーポイントの特徴情報を含み、任意の２つの第９の特徴データに含まれる特徴情報は、異なるローカル画素点領域に属する。例えば、第１の識別対象車両は、ローカル画素点領域１及びローカル画素点領域２を含み、ローカル画素点領域１は、フロントウインドシールドガラスによって覆われた画素点領域を含み、ローカル画素点領域２は、左側のガラスによって覆われた画素点領域を含む。少なくとも１つの第９の特徴データは、特徴データ１及び特徴データ２を含み、特徴データ１は、ローカル画素点領域１の特徴情報を含み、特徴データ２は、ローカル画素点領域２の特徴情報を含む。

【0098】

１つの可能な実施形態では、車両識別装置は、処理対象画像に対して第１０の特徴抽出処理を行うことにより、第１の識別対象車両のキーポイントの特徴情報を抽出し、チャネル数が１以上である第４の中間特徴データを取得し、第４の中間特徴データにおける各チャネルのデータがいずれも第１の識別対象車両のローカル画素点領域の特徴情報を含み、任意の２つのチャネルのデータに含まれる情報は、異なるローカル画素点領域に属する。車両識別装置は、第４の中間特徴データにおける１つのチャネルデータを１つの第９の特徴データとして使用することができる。

【0099】

ステップ１５では、上記の少なくとも２つの第９の特徴データから含まれる情報量の最も多いｍ個の特徴データを選択し、ｍ個の第１０の特徴データを取得する。

【0100】

異なる第９の特徴データに含まれる情報量は異なるため、後続処理におけるデータ処理量を減らすために、車両識別装置は、少なくとも１つの第９の特徴データから含まれる情報量の最も多いｍ個の特徴データ（即ちｍ個の第１０の特徴データ）を後続処理のために選択することができ、ｍが１以上の整数である。

【0101】

ステップ１６では、上記のｍ個の第１０の特徴データに基づいて、上記第５の特徴データを取得する。

【0102】

ｋ＝１の場合、ステップ１７を実行することで１つの第１０の特徴データを取得することができ、このとき、車両識別装置は、第１０の特徴データを第５の特徴データとして使用することができ、即ち、第５の特徴データには１つのキーポイントの特徴情報が含まれる。

【0103】

ｋが１よりも大きい場合、ステップ５を実行することで少なくとも２つの第１０の特徴データを取得することができ、このとき、車両識別装置は、少なくとも２つの第１０の特徴データに対して融合処理を行い、第５の特徴データを取得することができる。

【0104】

例えば、少なくとも２つの第１０の特徴データは、第１０の特徴データ１、第１０の特徴データ２、第１０の特徴データ３を含み、第１０の特徴データ１は、車両ヘッドによって覆われた画素点領域の特徴情報を含み、第１０の特徴データ２は、右フロントウインドシールドガラスによって覆われた画素点領域の特徴情報を含み、第１０の特徴データ３は、左タイヤによって覆われた画素点領域の特徴情報を含む。車両識別装置は、第１０の特徴データ１及び第１０の特徴データ２に対して融合処理を行うことにより、第５の特徴データを取得することができる。このとき、第５の特徴データには、車両ヘッドによって覆われた画素点領域の特徴情報と、右フロントウインドシールドガラスによって覆われた画素点領域の特徴情報が含まれている。車両識別装置は、第１０の特徴データ１、第１０の特徴データ２及び第１０の特徴データ３に対して融合処理を行うことにより、第５の特徴データを取得することもできる。このとき、第５の特徴データは、車両ヘッドによって覆われた画素点領域の特徴情報、右フロントウインドシールドガラスによって覆われた画素点領域の特徴情報及び左タイヤによって覆われた画素点領域の特徴情報を含む。

【0105】

１つの実施形態として、車両識別装置は、ステップ１４を実行する過程において以下のステップを実行する。

【0106】

ステップ１７、上記処理対象画像に対して第１１の特徴抽出処理を行い、少なくとも１つの第２のヒートマップを取得する。

【0107】

本発明の実施例では、第２のヒートマップは、処理対象画像におけるキーポイントの位置情報を含み、任意の２つの第２のヒートマップに含まれる情報は、異なるローカル画素点領域に属する。例えば、第１の識別対象車両のローカル画素点領域はフロントウインドシールドガラス領域と車両ヘッド領域を含む。少なくとも１つの第２のヒートマップは、第２のヒートマップ１及び第２のヒートマップ２を含み、第２のヒートマップ１は、処理対象画像におけるフロントウインドシールドガラス領域の位置情報を含み、第２のヒートマップ２は、処理対象画像におけるローカル画素点領域の位置情報を含む。

【0108】

２つの画像における同じ位置にある画素点は、同位ポイントと呼ばれる。例えば、第２のヒートマップ１における画素点Ａの位置が第２のヒートマップ２における画素点Ｂの位置と同じである場合、画素点Ａは、第２のヒートマップにおける画素点Ｂと相互に同位ポイントである画素点であり、画素点Ｂは、処理対象画像における画素点Ａと相互に同位ポイントである画素点である。

【0109】

１つの可能な実施形態では、第２のヒートマップのサイズは、処理対象画像のサイズと同じである。第２のヒートマップにおける画素点の画素値は、処理対象画像における当該画素点と相互に同位ポイントである画素点の所在する位置がローカル画素点領域に属する信頼度を特徴付ける。例えば、第２のヒートマップ１における画素点Ａは、処理対象画像における画素点Ｂと相互に同位ポイントである。第２のヒートマップ１が処理対象画像における車両ヘッド領域の位置情報を含み、画素点Ａの画素値が０．７である場合、画素点Ｂが車両ヘッド領域に属する信頼度は０．７である。

【0110】

本発明の実施例では、第１１の特徴抽出処理は、畳み込み処理であってもよいし、プール化処理であってもよいし、畳み込み処理とプール化処理との組み合わせであってもよく、本発明では限定されない。

【0111】

１つの可能な実施形態では、第１１の特徴抽出処理は、第６の畳み込みニューラルネットワークによって実現されてもよい。注釈情報が付された画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングによって得られた第６の畳み込みニューラルネットワークは、処理対象画像に対する第１１の特徴抽出処理を完了することができる。トレーニングデータの注釈情報は、画像におけるローカル画素点領域の位置であってもよい。トレーニングデータを使用して畳み込みニューラルネットワークをトレーニングする過程において、畳み込みニューラルネットワークは、トレーニングデータからローカル画素点領域の位置情報を含む特徴データを抽出し、抽出された特徴データに基づいて画像におけるローカル画素点領域の位置をトレーニング結果として取得する。トレーニングデータのラベルを使用してトレーニング結果を監視することにより、畳み込みニューラルネットワークのトレーニングを完了し、第６の畳み込みニューラルネットワークを取得することができる。このようにして、車両識別装置は、第６の畳み込みニューラルネットワークを使用して処理対象画像を処理し、第１の識別対象車両のキーポイントの位置情報を抽出し、第２のヒートマップを取得することができる。

【0112】

ステップ１８では、上記処理対象画像に対して第１２の特徴抽出処理を行い、上記処理対象画像の第２の特徴画像を取得する。

【0113】

処理対象画像における各画素点は、いずれもセマンティック情報を含み、処理対象画像に対して第７の特徴抽出処理を行うことにより、各画素点のセマンティック情報を抽出し、第２の特徴画像を取得することができる。

【0114】

第２の特徴画像は画素点のセマンティック情報だけでなく、画素点同士の相対位置情報も含むことを理解すべきである。第５の特徴データに含まれる情報には画素点同士の相対位置情報が含まれていない。

【0115】

一部の実施例では、第１の特徴画像は第２の特徴画像と同じであってもよく、このとき、第１の特徴画像及び第２の特徴画像の両方は、いずれも処理対象画像における各画素点のセマンティック情報を含む。

【0116】

ステップ１９では、各上記第２のヒートマップと上記第２の特徴画像との間のドット積をそれぞれ確定し、上記の少なくとも１つの第９の特徴データを取得する。

【0117】

第２のヒートマップに含まれる位置情報が属するローカル画素点領域は、第２のヒートマップのローカル画素点領域と呼ばれ、例えば、第２のヒートマップ１にはフロントウインドシールドガラス領域の位置情報が含まれ、即ち第２のヒートマップ１に含まれる情報は、フロントウインドシールドガラス領域に属し、このとき、第２のヒートマップ１のローカル画素点領域はフロントウインドシールドガラス領域である。

【0118】

本発明の実施例では、処理対象画像のサイズ、第２のヒートマップのサイズ、及び第２の特徴画像のサイズは、いずれも同じである。例えば、処理対象画像の長さ５０、幅３０の場合、第２のヒートマップの長さ及び第２の特徴画像の長さの両方はいずれも５０であり、第２のヒートマップの幅及び第２の特徴画像の幅の両方はいずれも３０である。

【0119】

第２の特徴画像と第２のヒートマップとの間のドット積を確定することにより、第２の特徴画像から第２のヒートマップのローカル画素点領域の特徴情報を抽出して、第９の特徴データを取得することができる。

【0120】

一部の実施例では、第２の特徴画像と第２のヒートマップとの間のドット積を確定する前に、車両識別装置は、第２の特徴画像における画素値を正規化して、正規化された第２のヒートマップを取得し、例えば、０．７を超える画素値を１に調整し、０．７以下の画素値を０に調整することができる。車両識別装置は、正規化された第２のヒートマップと第２の特徴画像との間のドット積を確定することにより、第２のヒートマップのキーポイントの特徴情報を抽出して、第９の特徴データを取得することができる。

【0121】

１つの選択可能な実施形態として、車両識別装置は、ステップ１５を実行する過程において以下のステップを実行する。

【0122】

ステップ２０では、上記第９の特徴データにおける特徴データに対してプール化処理をそれぞれ行い、少なくとも１つの第１１の特徴データを取得する。

【0123】

車両識別装置は、１つの第９の特徴データに対してプール化処理を行うことにより、第９の特徴データのデータ量を削減し、１つの第１１の特徴データを取得することができる。このようにして、後続処理で第１１の特徴データを処理することにより、車両識別装置のデータ処理量を減らすことができる。

【0124】

車両識別装置は、少なくとも１つの第９の特徴データにおける特徴データに対してプール化処理をそれぞれ行い、少なくとも１つの第１１の特徴データを取得する。例えば、少なくとも１つの第９の特徴データは、第９の特徴データ１、第９の特徴データ２、第９の特徴データ３を含む。車両識別装置は、第９の特徴データ１に対してプール化処理を行うことにより第１１の特徴データ１を取得し、第９の特徴データ２に対してプール化処理を行うことにより第１１の特徴データ２を取得し、このとき、少なくとも１つの第１１の特徴データは、第１１の特徴データ１と第１１の特徴データ２を含む。車両識別装置は、第９の特徴データ１に対してプール化処理を行うことにより第１１の特徴データ１を取得し、第９の特徴データ２に対してプール化処理を行うことにより第１１の特徴データ２を取得し、第９の特徴データ３に対してプール化処理を行うことにより第１１の特徴データ３を取得し、このとき、少なくとも１つの第１１の特徴データは、第１１の特徴データ１、第１１の特徴データ２、第１１の特徴データ３を含む。

【0125】

ステップ２０におけるプール化処理は、グローバル平均プール化処理である。

【0126】

ステップ２１では、上記の少なくとも１つの第１１の特徴データに含まれる情報量に基づいて、少なくとも１つの第２の確率を取得する。

【0127】

本発明の実施例では、第２の確率は、第２の確率に対応する第９の特徴データに含まれる情報量を特徴づけるために使用される。例えば（例２）、少なくとも１つの第１１の特徴データは、第１１の特徴データ１を含み、少なくとも１つの第２の確率は、第２の確率１を含み、第２の確率１は、第１１の特徴データ１に含まれる情報量に基づいて得られるものであり、第１１の特徴データ１は、第９の特徴データ１に対してプール化処理を行うことで得られるものである。即ち、第２の確率１は、第９の特徴データ１に含まれる情報量を特徴づけるために使用される。

【0128】

第２の確率は、第９の特徴データに含まれる情報量と相関性を有している。例えば、第２の確率が第９の特徴データに含まれる情報量と正の相関にある場合、例２では、第２の確率１が大きいほど、第９の特徴データ１に含まれる情報量が多くなることを示し、第２の確率が第９の特徴データに含まれる情報量と負の相関にある場合、例２では、第２の確率１が大きいほど、第９の特徴データ１に含まれる情報量が小さくなることを示す。

【0129】

第１１の特徴データが第９の特徴データに基づいて得られるため、第１１の特徴データに含まれる情報量は、第９の特徴データに含まれる情報量と正の相関にある。したがって、車両識別装置は、第１１の特徴データに含まれる情報量に基づいて、第２の確率を取得することができる。

【0130】

１つの可能な実施形態では、車両識別装置は、第１１の特徴データをソフトマックス（ｓｏｆｔｍａｘ）関数に入力して、第２の確率を取得することができる。

【0131】

車両識別装置は、１つの第１１の特徴データに含まれる情報量に基づいて、１つの第２の確率を取得することができ、少なくとも１つの第１１の特徴データに含まれる情報量に基づいて、少なくとも１つの第２の確率を取得することができる。例えば、少なくとも１つの第１１の特徴データは、第１１の特徴データ１と第１１の特徴データ２を含む。車両識別装置は、第１１の特徴データ１に含まれる情報量に基づいて第２の確率を取得し、このとき、少なくとも１つの第２の確率には第２の確率１が含まれる。車両識別装置は、第１１の特徴データ１に含まれる情報量に基づいて第２の確率１を取得し、第１１の特徴データ２に含まれる情報量に基づいて第２の確率２を取得し、このとき、少なくとも１つの第２の確率には第２の確率１と第２の確率２が含まれる。

【0132】

第２の確率が第９の特徴データに含まれる情報量と正の相関にある場合、車両識別装置は、ステップ２２を実行し、第２の確率が第９の特徴データに含まれる情報量と負の相関にある場合、車両識別装置は、ステップ２３を実行する。

【0133】

ステップ２２では、最大のｍ個の第２の確率に対応する上記第９の特徴データを、上記のｍ個の第１０の特徴データとして選択する。

【0134】

ステップ２３では、最小のｍ個の第２の確率に対応する上記第９の特徴データを、上記のｍ個の第１０の特徴データとして選択する。

【0135】

１つの実施形態として、１つの第１０の特徴データに１つのローカル画素点領域の特徴情報が含まれるため、少なくとも１つのローカル画素点領域におけるローカル画素点領域の数が１を超える場合、第１０の特徴データの数が１を超える。異なる第１０の特徴データに含まれる情報量は異なる。第１の識別対象車両のローカル画素点領域の特徴情報の精度を向上させるために、車両識別装置は、第１０の特徴データに含まれる情報量に基づいて各第１０の特徴データの重みをそれぞれ確定し、第１０の特徴データの重みに基づいて少なくとも１つの第１０の特徴データを加重融合して、第５の特徴データを取得することができる。

【0136】

１つの可能な実施形態では、少なくとも１つのローカル画素点領域は第１のローカル画素点領域及び第２のローカル画素点領域を含み、第９の特徴データの数及びｍの両方はいずれも１よりも大きい。車両識別装置は、少なくとも２つの第９の特徴データから含まれる情報量の最も多いｍ個の特徴データを選択し、第１のローカル画素点領域の特徴情報を含む第１２の特徴データ及び第２のローカル画素点領域の特徴情報を含む第１３の特徴データを取得する。車両識別装置は、ステップ１８を実行する過程において、以下のステップを実行する。

【0137】

ステップ２４では、上記第１２の特徴データに含まれる情報量に基づいて第１の重みを取得し、上記第１３の特徴データに含まれる情報量に基づいて第２の重みを取得する。

【0138】

本発明の実施例では、第１の重みは、第１２の特徴データに含まれる情報量と正の相関があり、第２の重みは、第１３の特徴データに含まれる情報量と正の相関がある。

【0139】

ステップ２５では、上記第１の重みと上記第２の重みに基づいて、上記第１２の特徴データ及び上記第１３の特徴データを加重融合し、上記第５の特徴データを取得する。

【0140】

車両識別装置は、第１の重みと第２の重みに基づいて第９の特徴データ及び第１０の特徴データを加重融合し、第１の識別対象車両のローカル画素点領域の特徴情報を含む第４の特徴データを取得することにより、第１の識別対象車両のローカル画素点領域の特徴情報の精度を向上させることができる。

【0141】

１つの可能な実施形態では、車両識別装置は、第１の重みと第２の重みに基づき、第１２の特徴データ及び第１３の特徴データを加重合計して第５の特徴データを取得する。例えば、第１の重みがω₃であり、第２の重みがω₄であり、第１２の特徴データがn₄であり、第１３の特徴データがn₅であり、第５の特徴データがn₆であると仮定すると、ω₃、ω₄、n₄、n₅、n₆は次の式

を満たし、ｄが実数である。一部の実施例では、d=0。

【0142】

別の可能な実施形態では、車両識別装置は、第１の重みと第１２の特徴データとを乗算して第５の中間特徴データを取得し、第２の重みと第１３の特徴データとを乗算して第６の中間特徴データを取得し、第５の中間特徴データと第６の中間特徴データに対して融合処理を行って第５の特徴データを取得する。

【0143】

本発明の実施例は、さらに車両識別ネットワークを提供し、当該車両識別ネットワークは上述に開示された技術的解決策を実現するように構成されてもよい。図４を参照して、図４は、本発明の実施例による車両識別ネットワークの構造概略図である。図４に示すように、車両識別ネットワークは、特徴抽出モジュール４０１、キーポイント及びローカル画素点領域生成モジュール４０２及びジョイントトレーニングモジュール４０３を含む。特徴抽出モジュール４０１により、処理対象画像４００を処理して、処理対象画像の第３の特徴画像４０４を取得する。キーポイント及びローカル画素点領域生成モジュールにより処理対象画像を処理し、少なくとも１つの第１のヒートマップ及び少なくとも１つの第２のヒートマップ４０５を取得する。第３の特徴画像、少なくとも１つの第１のヒートマップ及び少なくとも１つの第２のヒートマップをジョイントトレーニングモジュールに入力し、第３の特徴データ４０６を取得する。

【0144】

具体的には、図５は特徴抽出モジュールの構造概略図である。図５に示すように、特徴抽出モジュールは、順次直列に接続されている３つの畳み込み層を含む。特徴抽出モジュールにおいて、第１の畳み込み層５０１はＲｅｓＮｅｔ５０におけるｃｏｎｖ２＿ｘであり、第２の畳み込み層５０２はＲｅｓＮｅｔ５０におけるｃｏｎｖ３＿ｘであり、第３の畳み込み層５０３はＲｅｓＮｅｔ５０におけるｃｏｎｖ４＿ｘである。処理対象画像５００について、これらの３つの畳み込み層によって特徴抽出を行い、第３の特徴画像５０４を取得する。

【0145】

図６はキーポイント及びローカル画素点領域生成モジュールの構造概略図である。図６に示すように、キーポイント及びローカル画素点領域生成モジュールは、順次直列に接続されている４つの畳み込み層を含む。一部の実施例では、キーポイント及びローカル画素点領域生成モジュールにおいて、第１の畳み込み層６０１は、ＲｅｓＮｅｔ５０におけるｃｏｎｖ２＿ｘであり、第２の畳み込み層６０２は、ＲｅｓＮｅｔ５０におけるｃｏｎｖ３＿ｘであり、第３の畳み込み層６０３は、ＲｅｓＮｅｔ５０におけるｃｏｎｖ４＿ｘであり、第４の畳み込み層６０４は、ＲｅｓＮｅｔ５０におけるｃｏｎｖ５＿ｘである。処理対象画像６００について、これらの４つの畳み込み層によって処理し、少なくとも１つの第１のヒートマップ及び少なくとも１つの第２のヒートマップ６０５を取得する。

【0146】

図７はジョイントトレーニングモジュールの構図概略図である。図７に示すように、ジョイントトレーニングモジュールの第１の畳み込み層７０１により第３の特徴第３の特徴画像７００を処理して、第１の汎用特徴画像を取得する。第１の次元削減層７０２によって第１の汎用特徴画像をチャネル次元で次元削減して第１の特徴画像を取得する。第１の俳優－評論家モジュール７０３により第１の特徴画像及び少なくとも１つの第１のヒートマップ７０４を処理して、ｋ個の第１の評論家特徴データ７０５を取得する。第１のプール化層７１及び第１の正規化層７２によりそれらの順に従って、ｋ個の第１の評論家特徴データをそれぞれ処理して、ｋ個の第７の特徴データ７０５を取得する。

【0147】

ジョイントトレーニングモジュールの第１の畳み込み層７０１により第３の特徴画像を処理して、第２の汎用特徴画像を取得する。第２の次元削減層７１１により第２の汎用特徴画像をチャネル次元で次元削減して第２の特徴画像を取得する。第２の俳優－評論家モジュール７１２により第２の特徴画像及び少なくとも１つの第２のヒートマップ７１３を処理して、ｍ個の第２の評論家特徴データを取得する。第２のプール化層７３及び第２の正規化層７４によりそれらの順に従って、ｍ個の第２の評論家特徴データをそれぞれ処理して、ｍ個の第１０の特徴データ７１４を取得する。

【0148】

ジョイントトレーニングモジュールの第２の畳み込み層７２１、第３の次元削減層７２２、第３のプール化層７５、第３の正規化層７６によりそれらの順に従って、第３の特徴画像を処理して、第２の特徴データ７２３を取得する。

【0149】

ジョイントトレーニングモジュールでは、第１の畳み込み層７０１と第２の畳み込み層７２１の両方は、いずれもＲｅｓＮｅｔ５０におけるｃｏｎｖ５＿ｘである。第１の次元削減層７０２、第２の次元削減層７１１、第３の次元削減層７２２には、いずれも１＊１サイズの畳み込みカーネルを含む。

【0150】

図８を参照して、図８は第１の俳優－評論家モジュールの構造概略図である。第１の俳優－評論家モジュールへの入力は、少なくとも１つの第１のヒートマップ８０１及び第１の特徴画像８０２である。第１の俳優－評論家モジュールは、各第１のヒートマップと第１の特徴画像との間のドット積をそれぞれ確定し、少なくとも１つの第６の特徴データ８０３を取得する。第１のスコアリングサブモジュール８０４により１つの第６の特徴データを処理すると、当該第６の特徴データに対応する第１の確率を取得することができる。少なくとも１つの第６の特徴データから最大のｋ個の第１の確率８０５に対応する第６の特徴データを選択してｋ個の第１の俳優特徴データ８０６を取得し、又は、少なくとも１つの第６の特徴データから最小のｋ個の第１の確率に対応する第６の特徴データを選択してｋ個の第１の俳優特徴データを取得する。ｋ個の第１の俳優特徴データに対して正規化処理をそれぞれ行い、ｋ個の第１の評論家特徴データ８０７を取得する。

【0151】

図９を参照して、図９は第１のスコアリングサブモジュールの構造概略図である。第１のスコアリングサブモジュールにおいて、第６の特徴データ９０１が正規化層９０２、プール化層９０３、完全接続層９０４を順次通過することにより、第８の特徴データが取得され、ソフトマックス（ｓｏｆｔｍａｘ）層９０５により第８の特徴データを処理し、第１の確率９０６を取得する。

【0152】

図１０を参照して、図１０は第２の俳優－評論家モジュールの構造概略図である。第２の俳優－評論家モジュールへの入力は、少なくとも１つの第２のヒートマップ及び第３の特徴画像である。第２の俳優－評論家モジュールは、各第２のヒートマップ１００１と第３の特徴画像１００２との間のドット積をそれぞれ確定し、少なくとも１つの第９の特徴データ１００３を取得する。第２のスコアリングサブモジュール１００４により１つの第９の特徴データを処理すると、当該第９の特徴データに対応する第２の確率１００５を取得することができる。少なくとも１つの第９の特徴データから最大のｍ個の第２の確率に対応する第９の特徴データを選択してｍ個の第９の俳優特徴データを取得し、又は、少なくとも１つの第９の特徴データから最小のｍ個の第２の確率に対応する第９の特徴データを選択してｍ個の第２の俳優特徴データ１００６を取得する。ｍ個の第２の俳優特徴データに対して正規化処理をそれぞれ行い、ｍ個の第１の評論家特徴データ１００７を取得する。

【0153】

図１１を参照して、図１１は第２のスコアリングサブモジュールの構造概略図である。第２のスコアリングサブモジュールにおいて、第９の特徴データ１１０１が正規化層１１０２、プール化層１１０３、完全接続層１１０４を順次通過することにより、第１１の特徴データが取得され、ソフトマックス（ｓｏｆｔｍａｘ）層１１０５により第８の特徴データを処理し、第２の確率１１０６を取得する。

【0154】

図４に示す車両識別ネットワークを使用して画像における車両の特徴データを抽出する前に、車両識別ネットワークをトレーニングする必要がある。このため、本発明は、車両識別ネットワークのトレーニング方法をさらに提供する。当該トレーニング方法は以下のステップを含むことができる。

【0155】

ステップ２６では、第２の識別対象車両を含むトレーニング画像及びトレーニング対象ネットワークを取得する。

【0156】

本発明の実施例では、トレーニング画像は、第１の識別対象車両を含む。トレーニング画像を取得する実施形態では、車両識別装置は、ユーザが入力部品によって入力したトレーニング画像を受信する。上記入力部品は、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。

【0157】

トレーニング画像を取得する別の実施形態では、車両識別装置は、トレーニングデータ端末から送信されたトレーニング画像を受信する。上記トレーニングデータ端末は、携帯電話、コンピュータ、タブレット、サーバのいずれか１つであってもよい。

【0158】

本発明の実施例では、トレーニング対象ネットワークの具体的な構造について図４を参照する。トレーニング対象ネットワークを取得する実施形態では、車両識別装置は、ユーザが入力部品によって入力したトレーニング対象ネットワークを受信する。上記入力部品は、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。

【0159】

トレーニング対象ネットワークを取得する別の実施形態では、車両識別装置は、トレーニングデータ端末から送信されたトレーニング対象画像を受信する。上記トレーニングデータ端末は、携帯電話、コンピュータ、タブレット、サーバのいずれか１つであってもよい。

【0160】

ステップ２７では、上記トレーニング対象ネットワークを使用して上記トレーニング画像を処理し、上記第２の識別対象車両のグローバル特徴情報を含む第１４の特徴データと、上記第２の識別対象車両のキーポイントの特徴情報を含む第１５の特徴データとを取得する。

【0161】

本発明の実施例では、第２の識別対象車両のグローバル特徴情報は、第２の識別対象車両の全体的な外観特徴情報を含む。

【0162】

ステップ２８では、上記第１４の特徴データ及び上記トレーニング画像のラベルに基づいて、第１のグローバルロスを取得する。

【0163】

本発明の実施例では、トレーニング画像のラベルには、第２の識別対象車両のカテゴリ情報が含まれている。例えば、全てのトレーニングデータには合計で車両１と車両２が含まれている。第２の識別対象車両のカテゴリ情報が車両１である場合、第２の識別対象車両が車両１であることを示す。

【0164】

１つの可能な実施形態では、車両識別装置は、第１４の特徴データに基づいて第２の識別対象車両のカテゴリ（以下にグローバルカテゴリと呼ばれる）を取得することができ、グローバルカテゴリとラベルに含まれるカテゴリ情報との違いに基づいて第１のグローバルロスを取得することができる。

【0165】

ステップ２９では、上記第１５の特徴データ及び上記ラベルに基づいて、第１のキーポイントロスを取得する。

【0166】

１つの可能な実施形態では、車両識別装置は、第１５の特徴データに基づいて第２の識別対象車両のカテゴリ（以下にキーポイントカテゴリと呼ばれる）を取得することができ、キーポイントカテゴリとラベルに含まれるカテゴリ情報との違いに基づいて第１のキーポイントロスを取得することができる。

【0167】

ステップ３０では、上記第１のグローバルロス及び上記第１のキーポイントロスに基づいて、上記トレーニング対象ネットワークの総ロスを取得する。

【0168】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,L_tは式（１）を満たしている。

式（１）
ここで、c₁は実数である。c₁=0。

【0169】

別の可能な実施形態では、式（２）を満たしている。

式（２）
ここで、α₁は実数である。α₁=1。

【0170】

別の可能な実施形態では、G₁,p₁,L_tは式（３）を満たしている。

式（３）
ここで、α₁、c₁はいずれも実数である。c₁=0、α₁=1。

【0171】

ステップ３１では、上記総ロスに基づいて上記トレーニング対象ネットワークのパラメータを調整し、上記車両識別ネットワークを取得する。

【0172】

車両識別装置は、総ロスが収束閾値を下回るまで、総ロスに基づいてトレーニング対象ネットワークのパラメータを調整して、車両識別ネットワークを取得する。

【0173】

総ロスに第１のグローバルロス及び第１のキーポイントロスが含まれるため、総ロスに基づいてトレーニング対象ネットワークのパラメータを調整して車両識別ネットワークを取得することにより、車両識別ネットワークを使用して処理対象画像を処理し、第１の識別対象車両のグローバル特徴情報とキーポイントの特徴情報を取得することができる。

【0174】

１つの実施形態として、ステップ３０を実行する前に、車両識別装置は、さらに以下のステップを実行する。

【0175】

ステップ３２では、上記トレーニング対象ネットワークを使用して上記トレーニング画像を処理し、上記第２の識別対象車両のローカル画素点領域の特徴情報を含む第１６の特徴データを取得する。

【0176】

ステップ３３では、上記第１６の特徴データ及び上記ラベルに基づいて、第１のローカル画素点領域ロスを取得する。

【0177】

１つの可能な実施方式では、車両識別装置は、第１６の特徴データに基づいて第２の識別対象車両のカテゴリ（以下にローカル画素点領域カテゴリと呼ばれる）を取得することができ、ローカル画素点領域カテゴリとラベルに含まれるカテゴリ情報との違いに基づいて第１のローカル画素点領域ロスを取得することができる。

【0178】

第１のローカル画素点領域ロスが取得された後、車両識別装置は、ステップ３０を実行する過程において、以下のステップを実行する。

【0179】

ステップ３４では、上記第１のグローバルロス、上記第１のキーポイントロス及び上記第１のローカル画素点領域ロスに基づいて、上記総ロスを取得する。

【0180】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,γ₁,L_tは式（４）を満たしている。

式（４）
ここで、c₂は実数である。c₂=0。

【0181】

別の可能な実施形態では、G₁,p₁,γ₁,L_tは式（５）を満たしている。

式（５）
ここで、α₂は実数である。α₂=1。

【0182】

さらなる別の可能な実施形態では、G₁,p₁,γ₁,L_tは式（６）を満たしている。

式（６）
ここで、α₂,c₂はいずれも実数である。c₂=0、α₂=1。

【0183】

総ロスに第１のグローバルロス、第１のキーポイントロス及び第１のローカル画素点領域ロスが含まれるため、総ロスに基づいてトレーニング対象ネットワークのパラメータを調整し、車両識別ネットワークを取得することにより、車両識別ネットワークを使用して処理対象画像を処理し、第１の識別対象車両のグローバル特徴情報、キーポイントの特徴情報及びローカル画素点領域の特徴情報を取得することができる。

【0184】

１つの選択可能な実施形態として、車両識別装置は、ステップ２７を実行する過程において以下のステップを実行する。

【0185】

ステップ３５では、上記トレーニング対象ネットワークを使用して上記トレーニング画像を処理し、少なくとも１つの第１７の特徴データを取得する。

【0186】

本発明の実施例では、第１７の特徴データは、第２の識別対象車両のキーポイントの特徴情報を含み、任意の２つの第１７の特徴データに含まれる特徴情報は、異なるキーポイントに属する。

【0187】

ステップ３６において、上記の少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択し、ｓ個の第１８の特徴データを取得し、ｓが１以上の整数である。

【0188】

ステップ３７において、上記ｓ個の第１８の特徴データに対して融合処理を行い、上記第１５の特徴データを取得する。

【0189】

トレーニング対象ネットワークに対するトレーニング過程において、ｓ個の第１８の特徴データに対して融合処理を行い、第１５の特徴データを取得することにより、車両識別ネットワークを使用して処理対象画像を処理する過程において、ｋ個の第７の特徴データに基づいて第４の特徴データを取得することができる。

【0190】

１つの実施形態として、ｓ個の第１８の特徴データが取得された後、ステップ３４を実行する前に、車両識別装置は、さらに以下のステップを実行する。

【0191】

ステップ３８において、上記のｓ個の第１８の特徴データに基づいて、上記第２の識別対象車両のｓ個の第１の識別結果を取得する。

【0192】

本発明の実施例では、第１の識別結果には第２の識別対象車両のカテゴリ情報が含まれている。車両識別装置は、１つの第１８の特徴データに基づいて、１つの第１の識別結果を取得することができる。ｓ個の第１８の特徴データに基づいて、第２の識別対象車両のｓ個の第１の識別結果を取得することができる。

【0193】

ステップ３９において、上記のｓ個の第１の識別結果のそれぞれと上記ラベルとの違いに基づいて、キーポイントカテゴリロスを取得する。

【0194】

１つの可能な実施形態では、車両識別装置は、１つの第１の識別結果及びラベルに基づいて１つの第１の識別違いを取得することができ、ｓ個の第１の識別結果及びラベルに基づいてｓ個の第１の識別違いを取得することができる。車両識別デバイスは、ｓ個の第１の識別違いの和を確定することにより、キーポイントカテゴリロスを取得する。

【0195】

キーポイントカテゴリロスが取得された後、車両識別装置は、ステップ３４を実行する過程において、以下のステップを実行する。

【0196】

ステップ４０において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス及び上記キーポイントカテゴリロスに基づいて、上記総ロスを取得する。

【0197】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,p₂,γ₁,L_tは式（７）を満たしている。

式（７）
ここで、c₃は実数である。c₃=0。

【0198】

別の可能な実施形態では、G₁,p₁,p₂,γ₁,L_tは式（８）を満たしている。

式（８）
ここで、α₃は実数である。α₃=1。

【0199】

別の可能な実施形態では、G₁,p₁,p₂,γ₁,L_tは式（９）を満たしている。

式（９）
ここで、α₃、c₃は、いずれも実数である。c₃=0、α₃=1。

【0200】

総ロスにキーポイントカテゴリロスが含まれるため、車両識別ネットワークを使用して処理対象画像を処理する過程において、ｋ個の第７の特徴データに基づいて第４の特徴データを取得することができる。

【0201】

１つの選択可能な実施形態として、車両識別装置は、ステップ３６を実行する過程において以下のステップを実行する。

【0202】

ステップ４１において、含まれる情報量に基づいて上記の少なくとも１つの第１７の特徴データをソートし、第１の順序を取得する。

【0203】

本発明の実施例では、第１の順序は、含まれる情報量の降順であり、又は、第１の順序は、含まれる情報量の昇順である。

【0204】

ステップ４２において、上記第１の順序に基づいて上記の少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択し、上記ｓ個の第１８の特徴データを取得する。

【0205】

第１の順序が含まれる情報量の降順である場合、車両識別装置は、第１の順序にける先頭のｓ個の特徴データをｓ個の第１８の特徴データとして選択し、第１の順序が含まれる情報量の昇順である場合、車両識別装置は、第１の順序における最後のｓ個の特徴データをｓ個の第１８の特徴データとして選択する。

【0206】

第１の順序が取得された場合、車両識別装置は、ステップ４０を実行する前に以下のステップを実行する。

【0207】

ステップ４３において、対応する上記キーポイントカテゴリロスに基づいて上記ｓ個の第１の識別結果をソートし、第２の順序を取得する。

【0208】

本発明の実施例では、第１の順序が含まれる情報量の降順である場合、第２の順序は、キーポイントカテゴリロスの昇順である。即ち、キーポイントカテゴリロスが小さいほど、第２の順序での第１の識別結果の順位が高くなる。

【0209】

第１の順序が含まれる情報量の昇順である場合、第２の順序は、キーポイントカテゴリロスの降順である。即ち、キーポイントカテゴリロスが大きいほど、第２の順序での第１の識別結果の順位が高くなる。

【0210】

ステップ４４において、上記第１の順序と上記第２の順序との違いに基づき、キーポイントソートロスを取得する。

【0211】

キーポイントソートロスが取得された後、車両識別装置は、ステップ３４を実行する過程において以下のステップを実行する。

【0212】

ステップ４５において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス、上記キーポイントカテゴリロス及び上記キーポイントソートロスに基づいて、上記総ロスを取得する。

【0213】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、キーポイントソートロスがp₃であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,L_tが式（１０）を満たしている。

式（１０）
ここで、c₄は実数である。c₄=0。

【0214】

別の可能な実現形態では、G₁,p₁,p₂,p₃,γ₁,L_tは式（１１）を満たしている。

式（１１）
ここで、α₄は実数である。α₄=1。

【0215】

さらなる別の可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,L_tは式（１２）を満たしている。

式（１２）
ここで、α₄、c₄は、いずれも実数である。c₄=0、α₄=1。

【0216】

トレーニング対象ネットワークに対するトレーニング過程において、総ロスにキーポイントカテゴリロスを加えることにより、ｓ個の第１８の特徴データの精度を向上させ、さらに第１５の特徴データに含まれる情報の精度を向上させることができる。このようにして、車両識別ネットワークを使用して処理対象画像を処理する過程において、ｋ個の第７の特徴データの精度を向上させ、さらに第４の特徴データに含まれる情報の精度を向上させることができる。

【0217】

１つの選択可能な実施形態として、車両識別装置は、ステップ３２を実行する過程において以下のステップを実行する。

【0218】

ステップ４６において、上記トレーニング対象ネットワークを使用して上記トレーニング画像を処理し、少なくとも１つの第１９の特徴データを取得する。

【0219】

本発明の実施例では、第１９の特徴データは、第２の識別対象車両のローカル画素点領域の特徴情報を含み、任意の２つの第１９の特徴データに含まれる特徴情報は、異なるローカル画素点領域に属する。

【0220】

ステップ４７において、上記の少なくとも１つの第１９の特徴データから含まれる情報量の最も多いｐ個の特徴データを選択し、ｐ個の第２０の特徴データを取得し、ｐが１以上の整数である。

【0221】

ステップ４８において、上記のｐ個の第２０の特徴データに対して融合処理を行い、上記第１６の特徴データを取得する。

【0222】

トレーニング対象ネットワークに対するトレーニング過程において、ｐ個の第２０の特徴データに対して融合処理を行い、第１６の特徴データを取得することにより、車両識別ネットワークを使用して処理対象画像を処理する過程において、ｍ個の第１０の特徴データに基づいて第５の特徴データを取得することができる。

【0223】

１つの選択可能な実施形態として、ｐ個の第２０の特徴データが取得された後、ステップ４５を実行する前に、車両識別装置は、さらに以下のステップを実行する。

【0224】

ステップ４９において、上記のｐ個の第２０の特徴データに基づいて、上記第２の識別対象車両のｐ個の第２の識別結果を取得する。

【0225】

本発明の実施例では、第２の識別結果には第２の識別対象車両のカテゴリ情報が含まれている。車両識別装置は、１つの第２０の特徴データに基づいて、１つの第２の識別結果を取得することができ、ｐ個の第１８の特徴データに基づいて、第２の識別対象車両のｐ個の第２の識別結果を取得することができる。

【0226】

ステップ５０において、上記のｐ個の第２の識別結果のそれぞれと上記ラベルとの違いに基づいて、ローカル画素点領域カテゴリロスを取得する。

【0227】

１つの可能な実施形態では、車両識別装置は、１つの第２の識別結果及びラベルに基づいて１つの第２の識別違いを取得することができ、ｐ個の第２の識別結果及びラベルに基づいてｐ個の第２の識別違いを取得することができる。車両識別デバイスは、ｐ個の第２の識別違いの和を確定することにより、ローカル画素点領域カテゴリロスを取得する。

【0228】

ローカル画素点領域カテゴリロスが取得された後、車両識別装置は、ステップ４５を実行する過程において以下のステップを実行する。

【0229】

ステップ５１において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス、上記キーポイントカテゴリロス、上記キーポイントソートロス及び上記ローカル画素点領域カテゴリロスに基づいて、上記総ロスを取得する。

【0230】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、キーポイントソートロスがp₃であり、ローカル画素点領域カテゴリロスがγ₂であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,γ₂,L_tは式（１３）を満たしている。

式（１３）
ここで、c₅は実数である。c₅=0。

【0231】

別の可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,γ₂,L_tは式（１４）を満たしている。

式（１４）
ここで、α₅は実数である。α₅=1。

【0232】

さらなる別の可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,γ₂,L_tは式（１５）を満たしている。

式（１５）
ここで、α₅、c₅は、いずれも実数である。c₅=0、α₅=1。

【0233】

総ロスにローカル画素点領域カテゴリロスが含まれるため、車両識別ネットワークを使用して処理対象画像を処理する過程において、ｍ個の第１０の特徴データに基づいて第５の特徴データを取得することができる。

【0234】

１つの選択可能な実施形態として、車両識別装置は、ステップ４７を実行する過程において以下のステップを実行する。

【0235】

ステップ５２において、含まれる情報量に基づいて上記の少なくとも１つの第１９の特徴データをソートし、第３の順序を取得する。

【0236】

本発明の実施例では、第３の順序は、含まれる情報量の降順であり、又は、第３の順序は、含まれる情報量の昇順である。

【0237】

ステップ５３において、上記第３の順序に基づいて上記の少なくとも１つの第１９の特徴データから含まれる情報量の最も多いｐ個の特徴データを選択し、上記ｐ個の第２０の特徴データを取得する。

【0238】

第３の順序が含まれる情報量の降順である場合、車両識別装置は、第３の順序における先頭のｐ個の特徴データをｐ個の第２０の特徴データとして選択し、第３の順序が含まれる情報量の昇順である場合、車両識別装置は、第３の順序における最後のｐ個の特徴データをｐ個の第２０の特徴データとして選択する。

【0239】

第３の順序が取得された場合、車両識別装置は、ステップ５１を実行する前に以下のステップを実行する。

【0240】

ステップ５４において、対応する上記ローカル画素点領域カテゴリロスに基づいて上記ｐ個の第２の識別結果をソートし、第４の順序を取得する。

【0241】

本発明の実施例では、第３の順序が含まれる情報量の降順である場合、第４の順序は、ローカル画素点領域カテゴリロスの昇順である。即ち、ローカル画素点領域カテゴリロスが小さいほど、第４の順序での第２の識別結果の順位が高くなる。

【0242】

第３の順序が含まれる情報量の昇順である場合、第４の順序は、ローカル画素点領域カテゴリロスの降順である。即ち、ローカル画素点領域カテゴリロスが大きいほど、第４の順序での第２の識別結果の順位が高くなる。

【0243】

ステップ５５において、上記第３の順序と上記第４の順序との違いに基づき、ローカル画素点領域ソートロスを取得する。

【0244】

ローカル画素点領域ソートロスが取得された後、車両識別装置は、ステップ５１を実行する過程において以下のステップを実行する。

【0245】

ステップ５６において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス、上記キーポイントカテゴリロス、上記キーポイントソートロス、上記ローカル画素点領域カテゴリロス及び上記ローカル画素点領域ソートロスに基づいて、上記総ロスを取得する。

【0246】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、キーポイントソートロスがp₃であり、ローカル画素点領域カテゴリロスがγ₂であり、ローカル画素点領域ソートロスがγ₃であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,γ₂,γ₃,L_tが式（１６）を満たしている。

式（１６）
ここで、c₆は実数である。c₆=0。

【0247】

別の可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,γ₂,γ₃,L_tは式（１７）を満たしている。

式（１７）
ここで、α₆は実数である。α₆=1。

【0248】

さらなる別の可能な実施形態では、G₁,p₁,p₂,p₃,γ₁,γ₂,γ₃,L_tは式（１８）を満たしている。

式（１８）
ここで、α₆、c₆は、いずれも実数である。c₆=0、α₆=1。

【0249】

トレーニング対象ネットワークに対するトレーニング過程において、総ロスにローカル画素点領域カテゴリロスを加えることにより、ｐ個の第２０の特徴データの精度を向上させ、さらに第１６の特徴データに含まれる情報の精度を向上させることができる。このようにして、車両識別ネットワークを使用して処理対象画像を処理する過程において、ｋ個の第７の特徴データの精度を向上させ、さらに第４の特徴データに含まれる情報の精度を向上させることができる。

【0250】

１つの選択可能な実施形態として、第１のグローバルロスはグローバルフォーカスロスを含み、車両識別装置は、ステップ２８を実行する過程において以下のステップを実行する。

【0251】

ステップ５７において、上記第１４の特徴データに基づいて、上記第２の識別対象車両の第３の識別結果を取得する。

【0252】

本発明の実施例では、第３の識別結果には第２の識別対象車両のカテゴリ情報が含まれている。車両識別装置は、第１４の特徴データに基づいて、第２の識別対象車両のカテゴリを確定し、さらに第３の識別結果を取得することができる。

【0253】

ステップ５８において、上記第３の識別結果及び上記ラベルに基づいて、上記第３の識別結果のフォーカスロスを上記グローバルフォーカスロスとして取得する。

【0254】

第３の識別結果のフォーカスロスがL_F1であると仮定すると、L_F1は式（１９）を満たしている。

式（１９）
ここで、Ｂはトレーニング画像の数であり、β_nが正数であり、γが非負数であり、u_nが第３の識別結果のうち、ラベルのカテゴリに対応する確率である。β_n=2,γ=2。

【0255】

例えば、トレーニング画像には画像ａが含まれており、トレーニング対象ネットワークを使用して画像ａを処理して第３の識別結果１を取得する。画像ａのラベルに含まれるカテゴリが車両１である場合（即ち画像ａのラベルが車両１である）、第３の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率は０．９であり、画像ａにおける第２の識別対象車両が車両２である確率は０．１である。β_n=2,γ=2と仮定し、このとき、

。

【0256】

また、例えば、トレーニング画像には画像ａと画像ｂが含まれており、トレーニング対象ネットワークを使用して画像ａを処理して第３の識別結果１を取得し、トレーニング対象ネットワークを使用して画像ｂを処理して第３の識別結果２を取得する。画像ａのラベルに含まれるカテゴリが車両１である（即ち画像ａのラベルが車両１である）場合、画像ｂのラベルに含まれるカテゴリは車両２である（即ち画像ａのラベルが車両２である）。第３の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率は０．３であり、画像ａの第２の識別対象車両が車両２である確率は０．７である。第３の識別結果２において、画像ｂにおける第２の識別対象車両が車両１である確率は０．２であり、画像ｂの第２の識別対象車両が車両２である確率は０．８である。β_n=2,γ=2と仮定し、このとき、

。

【0257】

最大確率が第１の確率閾値と第２の確率閾値との間にある第３の識別結果に対応する画像を第１の容易サンプルと呼び、トレーニング画像のうちの第１の容易サンプル以外の画像を第１の困難サンプルと呼ぶ。例えば、第１の確率閾値が０．４であり、第２の確率閾値０．７であると仮定する。トレーニング過程において、トレーニング対象ネットワークは、画像ａを処理することにより、第３の識別結果１を取得する。

【0258】

第３の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．８である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．２である。第３の識別結果１の最大確率が０．８であるため、当該最大確率は、第２の確率閾値よりも大きく、画像ａは第１の容易サンプルである。

【0259】

第３の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．５である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．５である。第３の識別結果１の最大確率が０．５であるため、当該最大確率閾値は、第１の確率閾値よりも大きく、且つ当該最大確率は、第２の閾値未満であり、画像ａは、第１の困難サンプルである。

【0260】

トレーニング過程において、第３の識別結果のフォーカスロスを計算してキーポイントフォーカスロスを取得し、さらに総ロスを確定することにより、トレーニング対象ネットワークに対するトレーニング効果を向上させることができる。

【0261】

１つの選択可能な実施形態として、トレーニング画像は、トレーニング画像セットに属し、トレーニング画像セットは、トレーニング画像の第１の正サンプル画像及びトレーニング画像の第１の負サンプル画像をさらに含み、第１のグローバルロスは、グローバルトリプレットロスをさらに含む。車両識別装置は、ステップ２８を実行する過程において、以下のステップを実行する。

【0262】

ステップ５９において、上記トレーニング対象ネットワークを使用して上記第１の正サンプル画像に対して特徴抽出処理を行い、上記第１の正サンプル画像の特徴データを取得する。

【0263】

本発明の実施例では、第１の正サンプル画像のラベルに含まれるカテゴリ情報は、トレーニング画像のラベルに含まれるカテゴリ情報と同じであり、第１の負サンプル画像のラベルに含まれるカテゴリ情報は、トレーニング画像のラベルに含まれるカテゴリ情報と異なる。

【0264】

第１の正サンプル画像の特徴データは、第１の正サンプル画像のセマンティック情報を含み、当該セマンティック情報は、第１の正サンプル画像における第２の識別対象車両のカテゴリを識別するために使用されてもよい。

【0265】

ステップ６０において、上記トレーニング対象ネットワークを使用して上記第１の負サンプル画像に対して特徴抽出処理を行い、上記第１の負サンプル画像の特徴データを取得する。

【0266】

第１の負サンプル画像の特徴データは、第１の正サンプル画像のセマンティック情報を含み、当該セマンティック情報は、第１の負サンプル画像における第２の識別対象車両のカテゴリを識別するために使用されてもよい。

【0267】

ステップ６１において、上記第１２の特徴データ、上記第１の正サンプル画像の特徴データ及び第１の負サンプル画像の特徴データに基づいて、上記グローバルトリプレットロスを取得する。

【0268】

車両識別装置は、第１２の特徴データと第１の正サンプル画像の特徴データとの間の類似度を計算して第１の正類似度を取得し、第１２の特徴データと第１の負サンプル画像の特徴データとの間の類似度を計算して第１の負類似度を取得する。

【0269】

第１２の特徴データがx_aであり、第１の正類似度がs₁であり、第１の負類似度がs₂であり、グローバルトリプレットロスがL_T1であると仮定すると、L_T1,s₁,s₂,x_aは式（２０）を満たしている。

式（２０）
ここで、v₁は実数である。v₁=1。

【0270】

一部の実施例では、第１の正類似度は、第１２の特徴データと第１の正サンプル画像の特徴データとの間の第２のノルムである。第１の負類似度は、第１２の特徴データと第１の負サンプル画像の特徴データとの間の第２のノルムである。
一部の実施例では、トレーニング画像セットがトレーニング画像、第１の正サンプル画像及び第１の負サンプル画像以外の画像を含む場合、車両識別装置は、トレーニング画像セットにおけるトレーニング画像以外の画像を正サンプル画像セットと負サンプル画像セットに分けることができる。正サンプル画像セットにおける画像のラベルに含まれるカテゴリ情報は、トレーニング画像のラベルに含まれるカテゴリ情報と同じであり、負サンプル画像セットにおける画像のラベルに含まれるカテゴリ情報は、トレーニング画像におけるラベルに含まれるカテゴリ情報と異なる。

【0271】

車両識別装置は、正サンプル画像セットにおける画像に対して特徴抽出処理を行って正サンプル特徴データセットを取得し、負サンプル画像セットにおける画像に対して特徴抽出処理を行って負サンプル特徴データセットを取得する。車両識別装置は、第１２の特徴データと正サンプル特徴データセットにおける特徴データとの間の類似度を計算して第１の正類似度セットを取得し、第１２の特徴データと負サンプル特徴データセットにおける特徴データとの間の類似度を計算して第１の負類似度セットを取得する。第１の正類似度セットにおける最小値は、第１のカテゴリ内の最小類似度と呼ばれ、第１の負類似度セットにおける最大値は、第１のカテゴリ外の最大類似度と呼ばれる。

【0272】

第１２の特徴データがx_aであり、第１のカテゴリ内の最小類似度がmaxd(x_a,x_p)であり、第１のカテゴリ外の最大類似度がmind(x_a,x_n)であり、グローバルトリプレットロスがL_T1であると仮定すると、L_T1,maxd(x_a,x_p),mind(x_a,x_n),x_aは式（２１）を満たしている。

式（２１）
ここで、v₁は実数である。v₁=1。

【0273】

一部の実施例では、第１２の特徴データと第１の正サンプル特徴データセットにおける特徴データとの間の類似度は、第１２の特徴データと第１の正サンプル特徴データセットにおける特徴データとの間の第２のノルムである。第１２の特徴データと第１の負サンプル特徴データセットにおける特徴データとの間の類似度は、第１２の特徴データと第１の負サンプル特徴データセットにおける特徴データとの間の第２のノルムである。

【0274】

トレーニング過程において、グローバルトリプレットロスにより、第１２の特徴データに基づいたトレーニング対象ネットワークによる第２の識別対象車両の識別結果の精度を向上させ、それによって車両識別ネットワークによる第１の識別対象車両の分類精度を向上させることができる。

【0275】

第１のグローバルロスがグローバルフォーカスロス及びグローバルトリプレットロスを含む場合、第１のグローバルロスは、グローバルフォーカスロスとグローバルトリプルロスとの和であってもよいことを理解すべきである。

【0276】

１つの選択可能な実施形態として、ステップ５６を実行する前に、車両識別装置は、さらに以下のステップを実行する。

【0277】

ステップ６２において、上記第１５の特徴データに基づいて、上記第２の識別対象車両の第４の識別結果を取得する。

【0278】

本発明の実施例では、第４の識別結果には第２の識別対象車両のカテゴリ情報が含まれている。車両識別装置は、第１５の特徴データに基づいて、第２の識別対象車両のカテゴリを確定し、さらに第４の識別結果を取得することができる。

【0279】

ステップ６３において、上記第４の識別結果及び上記ラベルに基づいて、上記第４の識別結果のフォーカスロスをキーポイントフォーカスロスとして取得する。

【0280】

第４の識別結果のフォーカスロスがL_F2であると仮定すると、L_F2は式（２２）を満たしている。

式（２２）
ここで、Ｂはトレーニング画像の数であり、β_nが正数であり、γが非負数であり、u_mが第４の識別結果のうち、ラベルのカテゴリに対応する確率である。β_n=2,γ=2。

【0281】

例えば、トレーニング画像には画像ａが含まれており、トレーニング対象ネットワークを使用して画像ａを処理して第４の識別結果１を取得する。画像ａのラベルに含まれるカテゴリが車両１である（即ち画像ａのラベルが車両１である）場合、第４の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率は０．９であり、画像ａにおける第２の識別対象車両が車両２である確率は０．１である。β_n=2,γ=2と仮定し、このとき、

。

【0282】

また、例えば、トレーニング画像には画像ａと画像ｂが含まれており、トレーニング対象ネットワークを使用して画像ａを処理して第４の識別結果１を取得し、トレーニング対象ネットワークを使用して画像ｂを処理して第４の識別結果２を取得する。画像ａのラベルに含まれるカテゴリが車両１である（即ち画像ａのラベルが車両１である）場合、画像ｂのラベルに含まれるカテゴリは車両２である（即ち画像ａのラベルが車両２である）。第４の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率は０．３であり、画像ａにおける第２の識別対象車両が車両２である確率は０．７である。第４の識別結果２において、画像ｂにおける第２の識別対象車両が車両１である確率は０．２であり、画像ｂにおける第２の識別対象車両が車両２である確率は０．８である。β_n=2,γ=2と仮定し、このとき、

。

【0283】

キーポイントフォーカスロスが取得された後、車両識別装置は、ステップ５８を実行する過程において以下のステップを実行する。

【0284】

ステップ６４において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス、上記キーポイントカテゴリロス、上記キーポイントソートロス、上記ローカル画素点領域カテゴリロス、上記キーポイントフォーカスロス及び上記ローカル画素点領域ソートロスに基づいて、上記総ロスを取得する。

【0285】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、キーポイントソートロスがp₃であり、ローカル画素点領域カテゴリロスがγ₂であり、ローカル画素点領域ソートロスがγ₃であり、キーポイントフォーカスロスがp₄であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,p₂,p₃,p₄,γ₁,γ₂,γ₃,L_tが式（２３）を満たしている。

式（２３）
ここで、c₇は実数である。c₇=0。

【0286】

別の可能な実施形態では、式（２４）を満たしている。

式（２４）
ここで、α₇は実数である。α₇=1。

【0287】

さらなる別の可能な実施形態では、G₁,p₁,p₂,p₃,p₄,γ₁,γ₂,γ₃,L_tは式（２５）を満たしている。

式（２５）
ここで、α₇、c₇は、いずれも実数である。c₇=0、α₇=1。

【0288】

最大確率が第３の確率閾値と第４の確率閾値との間にある第４の識別結果に対応する画像を第２の容易サンプルと呼び、トレーニング画像のうちの第２の容易サンプル以外の画像を第２の困難サンプルと呼ぶ。例えば、第３の確率閾値が０．４であり、第４の確率閾値が０．７であると仮定する。トレーニング過程において、トレーニング対象ネットワークは、画像ａを処理することにより、第４の識別結果１を取得する。

【0289】

第４の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．８である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．２である。第４の識別結果１の最大確率が０．８であるため、当該最大確率は、第４の閾値よりも大きく、画像ａは第２の容易サンプルである。

【0290】

第４の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．５である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．５である。第４の識別結果１の最大確率が０．５であるため、当該最大確率は、第３の確率閾値よりも大きく、且つ当該最大確率は、第４の確率閾値未満であり、画像ａは、第２の困難サンプルである。

【0291】

トレーニング過程において、第４の識別結果のフォーカスロスを計算してローカル画素点領域フォーカスロスを取得し、総ロスにローカル画素点領域ロスを加えることにより、トレーニング対象ネットワークに対するトレーニング効果を向上させることができる。

【0292】

１つの選択可能な実施形態として、ステップ６３を実行する前に、車両識別装置は、さらに以下のステップを実行する。

【0293】

ステップ６５において、上記第１５の特徴データ、上記第１の正サンプル画像の特徴データ及び第１の負サンプル画像の特徴データに基づいて、キーポイントトリプレットロスを取得する。

【0294】

車両識別装置は、第１５の特徴データと第１の正サンプル画像の特徴データとの間の類似度を計算して第２の正類似度を取得し、第１５の特徴データと第１の負サンプル画像の特徴データとの間の類似度を計算して第２の負類似度を取得する。

【0295】

第１５の特徴データがx_bであり、第２の正類似度がs₃であり、第２の負類似度がs₄であり、キーポイントトリプレットロスがL_T2であると仮定すると、L_T2,s₄,s₃,x_bは式（２６）を満たしている。

式（２６）
ここで、v₂は実数である。v₂=1。

【0296】

一部の実施例では、第２の正類似度は、第１５の特徴データと第１の正サンプル画像の特徴データとの間の第２のノルムである。第２の負類似度は、第１５の特徴データと第１の負サンプル画像の特徴データとの間の第２のノルムである。

【0297】

車両識別装置は、正サンプル画像セットにおける画像に対して特徴抽出処理を行って正サンプル特徴データセットを取得し、負サンプル画像セットにおける画像に対して特徴抽出処理を行って負サンプル特徴データセットを取得する。車両識別装置は、第１５の特徴データと正サンプル特徴データセットにおける特徴データとの間の類似度を計算して第２の正類似度セットを取得し、第１５の特徴データと負サンプル特徴データセットにおける特徴データとの間の類似度を計算して第２の負類似度セットを取得する。第２の正類似度セットにおける最小値は、第２のカテゴリ内の最小類似度と呼ばれ、第２の負類似度セットにおける最大値は、第２のカテゴリ外の最大類似度と呼ばれる。

【0298】

第１５の特徴データがx_bであり、第２のカテゴリ内の最小類似度がmaxd(x_b,x_p)であり、第２のカテゴリ外の最大類似度がmind(x_b,x_n)であり、キーポイントトリプレットロスがL_T2であると仮定すると、L_T2,maxd(x_b,x_p),mind(x_b,x_n),x_bは式（２７）を満たしている。

式（２７）
ここで、v₂は実数である。v₂=1。

【0299】

一部の実施例では、第１５の特徴データと正サンプル特徴データセットにおける特徴データとの間の類似度は、第１５の特徴データと正サンプル特徴データセットにおける特徴データとの間の第２のノルムである。第１５の特徴データと負サンプル特徴データセットにおける特徴データとの間の類似度は、第１５の特徴データと負サンプル特徴データセットにおける特徴データとの間の第２のノルムである。

【0300】

キーポイントフォーカスロスが取得された後、車両識別装置は、ステップ６３を実行する過程において以下のステップを実行する。

【0301】

ステップ６６において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス、上記キーポイントカテゴリロス、上記キーポイントソートロス、上記ローカル画素点領域カテゴリロス、上記キーポイントフォーカスロス、上記キーポイントトリプレットロス及び上記ローカル画素点領域ソートロスに基づいて、上記総ロスを取得する。

【0302】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、キーポイントソートロスがp₃であり、ローカル画素点領域カテゴリロスがγ₂であり、ローカル画素点領域ソートロスがγ₃であり、キーポイントフォーカスロスがp₄であり、キーポイントトリプレットロスがp₅であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,p₂,p₃,p₄,p₅,γ₁,γ₂,γ₃,L_tは式（２８）を満たしている。

式（２８）
ここで、c₈は実数である。c₈=0。

【0303】

別の可能な実施形態では、G₁,p₁,p₂,p₃,p₄,p₅,γ₁,γ₂,γ₃,L_tは式（２９）を満たしている。

式（２９）
ここで、α₈は実数である。α₈=1。

【0304】

さらなる別の可能な実施形態では、G₁,p₁,p₂,p₃,p₄,p₅,γ₁,γ₂,γ₃,L_tは式（３０）を満たしている。

式（３０）
ここで、α₈、c₈はいずれも実数である。c₈=0、α₈=1。

【0305】

トレーニング過程において、キーポイントトリプレットロスにより、第１５の特徴データに基づいたトレーニング対象ネットワークによる第２の識別対象車両の識別結果の精度を向上させ、それによって車両識別ネットワークによる第１の識別対象車両の分類精度を向上させることができる。

【0306】

１つの選択可能な実施形態として、ステップ６６を実行する前に、車両識別装置は、さらに以下のステップを実行する。

【0307】

ステップ６７において、上記第１６の特徴データに基づいて、上記第２の識別対象車両の第５の識別結果を取得する。

【0308】

本発明の実施例では、第５の識別結果には第２の識別対象車両のカテゴリ情報が含まれている。車両識別装置は、第１６の特徴データに基づいて、第２の識別対象車両のカテゴリを確定し、さらに第５の識別結果を取得することができる。

【0309】

ステップ６８において、上記第５の識別結果及び上記ラベルに基づいて、上記第５の識別結果のフォーカスロスをローカル画素点領域フォーカスロスとして取得する。

【0310】

第５識別結果のフォーカスロスがL_F3であると仮定すると、L_F3は式（３１）を満たしている。

式（３１）
ここで、Ｂはトレーニング画像の数であり、β_nが正数であり、γが非負数であり、u_kが第５の識別結果のうち、ラベルのカテゴリに対応する確率である。β_n=2,γ=2。

【0311】

例えば、トレーニング画像には画像ａが含まれており、トレーニング対象ネットワークを使用して画像ａを処理して第５の識別結果１を取得する。画像ａのラベルに含まれるカテゴリが車両１である（即ち画像ａのラベルが車両１である）場合、第５の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率は０．９であり、画像ａにおける第２の識別対象車両が車両２である確率は０．１である。β_n=2,γ=2と仮定し、このとき、

。

【0312】

また、例えば、トレーニング画像には画像ａと画像ｂが含まれており、トレーニング対象ネットワークを使用して画像ａを処理して第５の識別結果１を取得し、トレーニング対象ネットワークを使用して画像ｂを処理して第５の識別結果２を取得する。画像ａのラベルに含まれるカテゴリが車両１である（即ち画像ａのラベルが車両１である）場合、画像ｂのラベルに含まれるカテゴリは車両２である（即ち画像ａのラベルが車両２である）。第５の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率は０．３であり、画像ａにおける第２の識別対象車両が車両２である確率は０．７である。第５の識別結果２において、画像ｂにおける第２の識別対象車両が車両１である確率は０．２であり、画像ｂにおける第２の識別対象車両が車両２である確率は０．８である。β_n=2,γ=2と仮定し、このとき、

。

【0313】

ローカル画素点領域フォーカスロスが取得された後、車両識別装置は、ステップ６６を実行する過程において、以下のステップを実行する。

【0314】

ステップ６９において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス、上記キーポイントカテゴリロス、上記キーポイントソートロス、上記ローカル画素点領域カテゴリロス、上記キーポイントフォーカスロス、上記キーポイントトリプレットロス、上記ローカル画素点領域フォーカスロス及び上記ローカル画素点領域ソートロスに基づいて、上記総ロスを取得する。

【0315】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、キーポイントソートロスがp₃であり、ローカル画素点領域カテゴリロスがγ₂であり、ローカル画素点領域ソートロスがγ₃であり、ローカル画素点領域フォーカスロスがγ₄であり、キーポイントフォーカスロスがp₄であり、キーポイントトリプレットロスがp₅であり、総ロスがL_tであると仮定すると、１つの可能な実施形態では、G₁,p₁,p₂,p₃,p₄,p₅,γ₁,γ₂,γ₃,γ₄,L_tは式（３２）を満たしている。

式（３２）。
ここで、c₉は実数である。c₉=0。

【0316】

別の可能な実施形態では、G₁,p₁,p₂,p₃,p₄,p₅,γ₁,γ₂,γ₃,γ₄,L_tは式（３３）を満たしている。

式（３３）
ここで、α₉は実数である。α₉=1。

【0317】

さらなる別の可能な実施形態では、G₁,p₁,p₂,p₃,p₄,p₅,γ₁,γ₂,γ₃,γ₄,L_tは式（３４）を満たしている。

式（３４）。
ここで、α₉、c₉はいずれも実数である。c₉=0、α₉=1。

【0318】

最大確率が第５の確率閾値と第６の確率閾値との間にある第５の識別結果に対応する画像を第３の容易サンプルと呼び、トレーニング画像のうちの第３の容易サンプル以外の画像を第３の困難サンプルと呼ぶ。例えば、第５の確率閾値が０．４であり、第６の確率閾値が０．７であると仮定する。トレーニング過程において、トレーニング対象ネットワークは、画像ａを処理することにより、第５の識別結果１を取得する。

【0319】

第５の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．８である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．２である。第５の識別結果１の最大確率が０．８であるため、当該最大確率は、第６の確率閾値よりも大きく、画像ａは第３の容易サンプルである。

【0320】

第５の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．５である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．５である。第５の識別結果１の最大確率が０．５であるため、当該最大確率閾値は、第５の確率閾値よりも大きく、且つ当該最大確率は、第６の閾値未満であり、画像ａは、第３の困難サンプルである。

【0321】

トレーニング過程において、第５の識別結果のフォーカスロスを計算してローカル画素点領域フォーカスロスを取得し、さらに総ロスを確定することにより、第３の困難サンプルに対するトレーニング効果を向上させ、さらにトレーニング対象ネットワークに対するトレーニング効果を向上させることができる。

【0322】

１つの選択可能な実施形態として、ステップ６９を実行する前に、車両識別装置は、さらに以下のステップを実行する。

【0323】

ステップ７０において、上記第１６の特徴データ、上記第１の正サンプル画像の特徴データ及び第１の負サンプル画像の特徴データに基づいて、ローカル画素点領域トリプレットロスを取得する。

【0324】

車両識別装置は、第１６の特徴データと第１の正サンプル画像の特徴データとの間の類似度を計算して第３の正類似度を取得し、第１６の特徴データと第１の負サンプル画像の特徴データとの間の類似度を計算して第３の負類似度を取得する。

【0325】

第１６の特徴データがx_cであり、第３の正類似度がs₅であり、第３の負類似度がs₆であり、ローカル画素点領域トリプレットロスがL_T3であると仮定すると、L_T3,s₅,s₆,x_cは式（３５）を満たしている。

式（３５）
ここで、v₃は実数である。v₃=1。

【0326】

一部の実施例では、第３の正類似度は、第１６の特徴データと第１の正サンプル画像の特徴データとの間の第２のノルムである。第３の負類似度は、第１６の特徴データと第１の負サンプル画像の特徴データとの間の第２のノルムである。

【0327】

車両識別装置は、第１６の特徴データと正サンプル特徴データセットにおける特徴データとの間の類似度を計算して第３の正類似度セットを取得し、第１６の特徴データと負サンプル特徴データセットにおける特徴データとの間の類似度を計算して第３の負類似度セットを取得する。第３の正類似度セットにおける最小値は、第３のカテゴリ内の最小類似度と呼ばれ、第３の負類似度セットにおける最大値は、第３のカテゴリ外の最大類似度と呼ばれる。

【0328】

第１６の特徴データがx_cであり、第３のカテゴリ内の最小類似度がmaxd(x_c,x_p)であり、第３のカテゴリの最大類似度がmind(x_c,x_n)であり、ローカル画素点領域トリプレットロスがL_T3であると仮定すると、L_T3,maxd(x_c,x_p),mind(x_c,x_n),x_cは式（３６）を満たしている。

式（３６）
ここで、v₃は実数である。v₃=1。

【0329】

一部の実施例では、第１６の特徴データと正サンプル特徴データセットにおける特徴データとの間の類似度は、第１６の特徴データと正サンプル特徴データセットにおける特徴データとの間の第２のノルムである。第１６の特徴データと負サンプル特徴データセットにおける特徴データとの間の類似度は、第１６の特徴データと負サンプル特徴データセットにおける特徴データとの間の第２のノルムである。

【0330】

ローカル画素点領域フォーカスロスが取得された後、車両識別装置は、ステップ６９を実行する過程において、以下のステップを実行する。

【0331】

ステップ７１において、上記第１のグローバルロス、上記第１のキーポイントロス、上記第１のローカル画素点領域ロス、上記キーポイントカテゴリロス、上記キーポイントソートロス、上記ローカル画素点領域カテゴリロス、上記キーポイントフォーカスロス、上記キーポイントトリプレットロス、上記ローカル画素点領域フォーカスロス、上記ローカル画素点トリプレットロス及び上記ローカル画素点領域ソートロスに基づいて、上記総ロスを取得する。

【0332】

第１のグローバルロスがG₁であり、第１のキーポイントロスがp₁であり、第１のローカル画素点領域ロスがγ₁であり、キーポイントカテゴリロスがp₂であり、キーポイントソートロスがp₂であり、ローカル画素点領域カテゴリロスがγ₂であり、ローカル画素点領域ソートロスがγ₃であり、ローカル画素点領域フォーカスロスがγ₄であり、ローカル画素点トリプレットロスがγ₅であり、キーポイントフォーカスロスがp₄であり、キーポイントトリプレットロスがp₅であり、総ロスがL_tであり、１つの可能な実施形態では、G₁,p₁,p₂,p₂,p₄,p₅,γ₁,γ₂,γ₃,γ₄,γ₅,L_tが式（３７）を満たしている。

式（３７）
ここで、α₁₀は実数である。α₁₀=1。

【0333】

別の可能な実施形態では、G₁,p₁,p₂,p₂,p₄,p₅,γ₁,γ₂,γ₃,γ₄,γ₅,L_tは式（３８）を満たしている。

式（３８）。
ここで、α₁₀は実数である。α₁₀=1。

【0334】

さらなる別の可能な実施形態では、G₁,p₁,p₂,p₂,p₄,p₅,γ₁,γ₂,γ₃,γ₄,γ₅,L_tは式（３９）を満たしている。

式（３９）。
ここで、α₁₀、c₁₀は、いずれも実数である。c₁₀=0、α₁₀=1。

【0335】

最大確率が第５の確率閾値と第６の確率閾値との間にある第５の識別結果に対応する画像を第３の容易サンプルと呼び、トレーニング画像のうちの第３の容易サンプル以外の画像を第３の困難サンプルと呼ぶ。例えば、第５の確率閾値が０．４であり、第６の確率閾値０．７であると仮定する。トレーニング過程において、トレーニング対象ネットワークは、画像ａを処理することにより、第５の識別結果１を取得する。

【0336】

第５の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．８である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．２である。第５の識別結果１の最大確率が０．８であるため、当該最大確率は、第６の確率閾値よりも大きく、画像ａは第３の容易サンプルである。

【0337】

第５の識別結果１において、画像ａにおける第２の識別対象車両が車両１である確率が０．５である場合、画像ａにおける第２の識別対象車両が車両２である確率は０．５である。第５の識別結果１の最大確率が０．５であるため、当該最大確率閾値は、第５の確率閾値よりも大きく、当該最大確率は、第６の閾値未満であり、画像ａは、第３の困難サンプルである。

【0338】

トレーニング過程において、ローカル画素点領域トリプレットロスにより、第１６の特徴データに基づいたトレーニング対象ネットワークによる第２の識別対象車両の識別結果の精度を向上させ、それによって車両識別ネットワークによる第１の識別対象車両の分類精度を向上させることができる。

【0339】

１つの選択可能な実施形態として、車両識別装置は、生成されたデータセットを取得し、生成されたデータセットを使用して、キーポイント及びローカル画素点領域生成モジュールをトレーニングする。

【0340】

本発明の実施例では、生成されたデータセットは、少なくとも１つのヒートマップトレーニング画像を含み、各ヒートマップトレーニング画像のラベルは、キーポイントラベルヒートマップ及びローカル画素点領域ラベルヒートマップを含む。ここで、キーポイントラベルヒートマップには、ヒートマップトレーニング画像におけるキーポイントの位置情報が含まれ、ローカル画素点領域ラベルヒートマップには、ヒートマップトレーニング画像におけるローカル画素点領域の位置情報が含まれる。

【0341】

本発明の実施例によって提供される技術的解決策に基づいて、本発明の実施例は、車両識別方法の応用シーンをさらに提供する。公共場所でのカメラの数が急速に増加していると伴に、どのように大規模なビデオストリームによって事故発生の原因となる車両のトレースを効果的に確定することは、非常に重要な意味がある。

【0342】

場所Ａで交通事故が発生し、事故の原因となった車両が逃げる。事故現場Ａの監視カメラでひき逃げ車両の画像を収集する。警察はひき逃げ車両の画像を車両識別装置に入力することができる。

【0343】

車両識別装置は、本発明の実施例によって提供される技術的解決策を使用して、ひき逃げ車両の画像からひき逃げ車両の特徴データを抽出する。

【0344】

車両識別装置は、複数の監視カメラに接続可能であり、異なる監視カメラは異なる場所に取り付けられ、車両識別装置は、各監視カメラから、リアルタイムで収集されたビデオストリームを取得することができる。車両識別装置は、本発明の実施例によって提供される技術的解決策を使用して、ビデオストリームにおける画像からビデオストリームにおける車両の特徴データを抽出し、特徴データベースを取得する。

【0345】

車両識別装置は、ひき逃げ車両の特徴データを特徴データベースにおける特徴データと比較して、ひき逃げ車両の特徴データとマッチングする特徴データをターゲット特徴データとして取得する。ターゲット特徴データに対応する画像がひき逃げ車両を含む画像であることを確定し、さらにひき逃げ車両を含む画像からひき逃げ車両のトレースを確定することができる。

【0346】

当業者は、具体的な実施形態の上記方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対する制限を構成せず、各ステップの具体的な実行順序がその機能及び可能な内部論理で確定されるべきである。

【0347】

以上に本発明の実施例の方法を詳細に説明し、以下に本発明の実施例の装置を提供する。

【0348】

図１２を参照して、図１２は本発明の実施例による車両識別装置１の構造概略図である。当該車両識別装置１は、取得ユニット１１、第１の処理ユニット１２、第２の処理ユニット１３、融合処理ユニット１４、第３の処理ユニット１５、第４の処理ユニット１６を備える。

【0349】

取得ユニット１１は、第１の識別対象車両を含む処理対象画像を取得するように構成される。

【0350】

第１の処理ユニット１２は、前記処理対象画像に対して第１の特徴抽出処理を行い、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得するように構成される。

【0351】

第２の処理ユニット１３は、前記処理対象画像に対して第２の特徴抽出処理を行い、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得するように構成される。

【0352】

融合処理ユニット１４は、前記第１の特徴データ及び前記第２の特徴データに対して融合処理を行い、前記第１の識別対象車両の第３の特徴データを取得するように構成され、前記第３の特徴データが前記第１の識別対象車両の識別結果を取得するために使用される。

【0353】

本発明のいずれか１つの実施形態と組み合わせると、前記ローカル特徴情報は、キーポイントの特徴情報を含み、前記第１の特徴データは、前記識別対象車両の少なくとも１つのキーポイントの特徴情報を含む。

【0354】

本発明のいずれか１つの実施形態と組み合わせると、前記ローカル特徴情報は、ローカル画素点領域の特徴情報をさらに含み、前記第１の特徴データは、前記識別対象車両の少なくとも１つのローカル画素点領域の特徴情報をさらに含む。

【0355】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記処理対象画像に対して第３の特徴抽出処理を行い、第４の特徴データを取得し、前記第４の特徴データが前記第１の識別対象車両の少なくとも１つのキーポイントの特徴情報を含み、
前記処理対象画像に対して第４の特徴抽出処理を行い、第５の特徴データを取得し、前記第５の特徴データが前記第１の識別対象車両の少なくとも１つのローカル画素点領域の特徴情報を含み、前記ローカル画素点領域が前記第１の識別対象車両によって覆われた画素点領域に属し、前記ローカル画素点領域の面積が前記第１の識別対象車両によって覆われた画素点領域の面積よりも小さく、
前記第４の特徴データ及び第５の特徴データに対して融合処理を行い、前記第１の特徴データを取得するように構成される。

【0356】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記処理対象画像に対して第５の特徴抽出処理を行い、少なくとも１つの第６の特徴データを取得し、前記第６の特徴データが前記キーポイントの特徴情報を含み、任意の２つの前記第６の特徴データに含まれる特徴情報が異なるキーポイントに属し、
前記少なくとも１つの第６の特徴データから含まれる情報量の最も多いｋ個の特徴データを選択し、ｋ個の第７の特徴データを取得し、ｋが１以上の整数であり、
前記ｋ個の第７の特徴データに基づいて、前記第４の特徴データを取得するように構成される。

【0357】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記処理対象画像に対して第６の特徴抽出処理を行い、少なくとも１つのヒートマップを取得し、前記第１のヒートマップが前記処理対象画像における前記キーポイントの位置情報を含み、任意の２つの前記第１のヒートマップに含まれる情報が異なるキーポイントに属し、
前記処理対象画像に対して第７の特徴抽出処理を行い、前記処理対象画像の第１の特徴画像を取得し、前記第１の特徴画像が前記処理対象画像におけるキーポイントの特徴情報を含み、
各前記第１のヒートマップと前記第１の特徴画像との間のドット積をそれぞれ確定し、前記少なくとも１つの第６の特徴データを取得するように構成される。

【0358】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記少なくとも１つの第６の特徴データにおける特徴データに対してプール化処理をそれぞれ行い、少なくとも１つの第８の特徴データを取得し、
前記少なくとも１つの第８の特徴データに含まれる情報量に基づいて、少なくとも１つの第１の確率を取得し、前記第１の確率が前記第６の特徴データに含まれる情報量を特徴付けるために使用され、前記第１の確率が前記第６の特徴データと１対１で対応し、
前記第１の確率が前記第６の特徴データに含まれる情報量と正の相関にある場合、最大のｋ個の前記第１の確率に対応する前記第６の特徴データを前記ｋ個の第７の特徴データとして選択し、又は、
前記第１の確率が前記第６の特徴データに含まれる情報量と負の相関にある場合、最小のｋ個の前記第１の確率に対応する前記第６の特徴データを前記ｋ個の第７の特徴データとして選択するように構成される。

【0359】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記処理対象画像に対して第１０の特徴抽出処理を行い、少なくとも１つの第９の特徴データを取得し、前記第９の特徴データが前記キーポイントの特徴情報を含み、任意の２つの前記第９の特徴データに含まれる特徴情報が異なるローカル画素点領域に属し、
前記少なくとも２つの第９の特徴データから含まれる情報量の最も多いｍ個の特徴データを選択し、ｍ個の第１０の特徴データを取得し、前記ｍが１以上の整数であり、
前記ｍ個の第１０の特徴データに基づいて、前記第５の特徴データを取得するように構成される。

【0360】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記処理対象画像に対して第１１の特徴抽出処理を行い、前記少なくとも１つの第２のヒートマップを取得し、前記第２のヒートマップが前記処理対象画像における前記ローカル画素点領域の位置情報を含み、任意の２つの前記第２のヒートマップに含まれる情報が異なるローカル画素点領域に属し、
前記処理対象画像に対して第１２の特徴抽出処理を行い、前記処理対象画像の第２の特徴画像を取得し、前記第２の特徴画像が前記処理対象画像におけるローカル画素点領域の特徴情報を含み、
各前記第２のヒートマップと前記第２の特徴画像との間のドット積をそれぞれ確定し、前記少なくとも１つの第９の特徴データを取得するように構成される。

【0361】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記第９の特徴データにおける特徴データに対してプール化処理をそれぞれ行い、少なくとも１つの第１１の特徴データを取得し、
前記少なくとも１つの第１１の特徴データに含まれる情報量に基づいて、少なくとも１つの第２の確率を取得し、前記第２の確率が前記第９の特徴データに含まれる情報量を特徴付けるために使用され、前記第２の確率が前記第９の特徴データと１対１で対応し、
前記第２の確率が前記第９の特徴データに含まれる情報量と正の相関にある場合、最大のｍ個の前記第２の確率に対応する前記第９の特徴データを前記ｍ個の第１０の特徴データとして選択し、又は、
前記第２の確率が前記第９の特徴データに含まれる情報量と負の相関にある場合、最小のｍ個の前記第２の確率に対応する前記第９の特徴データを前記ｍ個の第１０の特徴データとして選択するように構成される。

【0362】

本発明のいずれか１つの実施形態と組み合わせると、前記少なくとも１のローカル画素点領域は、第１の画素点領域と第２の画素点領域を含み、前記第９の特徴データの数及び前記ｍの両方はいずれも１よりも大きく、前記ｍ個の第１０の特徴データは、第１２の特徴データと第１３の特徴データを含み、前記第１２の特徴データは、前記第１の画素点領域の特徴情報を含み、前記第１３の特徴データは、前記第２の画素点領域の特徴情報を含み、
前記第１処理ユニット１２は、
前記第１２の特徴データに含まれる情報量に基づいて第１の重みを取得し、前記第１３の特徴データに含まれる情報量に基づいて第２の重みを取得し、前記第１の重みが前記第１２の特徴データに含まれる情報量と正の相関にあり、前記第２の重みが前記第１３の特徴データに含まれる情報量と正の相関にあり、
前記第１の重み及び前記第２の重みに基づいて、前記第１２の特徴データ及び前記第１３の特徴データを加重融合し、前記第５の特徴データを取得するように構成される。

【0363】

本発明のいずれか１つの実施形態と組み合わせると、前記車両識別装置によって実行される車両識別方法は、車両識別ネットワークに応用され、前記取得ユニットは、さらに、第２の識別対象車両を含むトレーニング画像及びトレーニング対象ネットワークを取得するように構成され、
前記第１の処理ユニット１２は、さらに、前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理し、前記第２の識別対象車両のグローバル特徴情報を含む第１４の特徴データと、前記第２の識別対象車両のキーポイントの特徴情報を含む第１５の特徴データとを取得するように構成され、
第３の処理ユニット１５は、前記第１４の特徴データ及び前記トレーニング画像のラベルに基づいて、第１のグローバルロスを取得するように構成され、
前記第３の処理ユニット１５は、さらに、前記第１５の特徴データ及び前記ラベルに基づいて、第１のキーポイントロスを取得するように構成され、
前記第３の処理ユニット１５は、さらに、前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得するように構成され、
第４の処理ユニット１６は、前記総ロスに基づいて前記トレーニング対象ネットワークのパラメータを調整し、前記車両識別ネットワークを取得するように構成される。

【0364】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、さらに、前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得するステップの前に、前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理し、前記第２の識別対象車両のローカル画素点領域の特徴情報を含む第１６の特徴データを取得するように構成され、
前記第３の処理ユニット１５は、さらに、前記第１６の特徴データ及び前記ラベルに基づいて、第１のローカル画素点領域ロスを取得するように構成され、
前記第３の処理ユニット１５は、さらに、前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得するように構成される。

【0365】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理し、少なくとも１つの第１７の特徴データを取得し、前記第１７の特徴データが第２の識別対象車両のキーポイントの特徴情報を含み、任意の２つの第１７の特徴データに含まれる特徴情報が異なるキーポイントに属し、
前記少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択し、ｓ個の第１８の特徴データを取得し、前記ｓが１以上の整数であり、
前記ｓ個の第１８の特徴データに対して融合処理を行い、前記第１５の特徴データを取得するように構成される。

【0366】

本発明のいずれか１つの実施形態と組み合わせると、前記第３の処理ユニットは、さらに、前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得するステップの前に、前記ｓ個の第１８の特徴データに基づいて、前記第２の識別対象車両のｓ個の第１の識別結果を取得し、
前記ｓ個の第１の識別結果と前記ラベルとの違いのそれぞれに基づいて、キーポイントカテゴリロスを取得するように構成され、
前記第４処理ユニット１６は、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得するように構成される。

【0367】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
含まれる情報量に基づいて前記少なくとも１つの第１７の特徴データをソートし、第１の順序を取得し、第１の順序が含まれる情報量の降順であり、又は、第１の順序は、含まれる情報量の昇順であり、
前記第１の順序に基づいて前記少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択し、前記ｓ個の第１８の特徴データを取得するように構成され、
前記第３の処理ユニット１５は、前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得するステップの前に、対応する前記キーポイントカテゴリロスに基づいて前記ｓ個の第１の識別結果をソートし、第２の順序を取得し、前記第２の順序が前記キーポイントカテゴリロスの降順であり、又は、前記第２の順序は前記キーポイントカテゴリロスの昇順であり、
前記第１の順序と前記第２の順序との違いに基づき、キーポイントソートロスを取得するように構成され、
前記第４の処理ユニット１６は、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス及び前記キーポイントソートロスに基づいて、前記総ロスを取得するように構成される。

【0368】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理し、少なくとも１つの第１９の特徴データを取得し、前記第１９の特徴データが前記ローカル画素点領域の特徴情報を含み、任意の２つの前記第１９の特徴データに含まれる特徴情報が異なるローカル画素点領域に属し、
前記少なくとも１つの第１９の特徴データから含まれる情報量の最も多い情報を含むｐ個の特徴データを選択し、ｐ個の第２０の特徴データを取得し、前記ｐが１以上の整数であり、
前記ｐ個の第２０の特徴データに対して融合処理を行い、前記第１６の特徴データを取得するように構成される。

【0369】

本発明のいずれか１つの実施形態と組み合わせると、前記第３の処理ユニット１５は、前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記キーポイントカテゴリロス及び前記キーポイントソートロスに基づいて、前記総ロスを取得するステップの前に、前記ｐ個の第２０の特徴データに基づいて、前記第２の識別対象車両のｐ個の第２の識別結果を取得し、
前記ｐ個の第２の識別結果と前記ラベルとの違いのそれぞれに基づいて、ローカル画素点領域カテゴリロスを取得するように構成され、
前記第４の処理ユニット１６は、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス、前記キーポイントソートロス及び前記ローカル画素点領域カテゴリロスに基づいて、前記総ロスを取得するように構成される。

【0370】

本発明のいずれか１つの実施形態と組み合わせると、前記第１の処理ユニット１２は、
含まれる情報量に基づいて前記少なくとも１つの第１９の特徴データをソートし、第３の順序を取得し、第３の順序が含まれる情報量の降順であり、又は、第３の順序が含まれる情報量の昇順であり、
前記第３の順序に基づいて前記少なくとも１つの第１９の特徴データから含まれる情報量の最も多いｐ個の特徴データを選択し、前記ｐ個の第２０の特徴データを取得するように構成され、
前記第３の処理ユニット１５は、前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記キーポイントカテゴリロス、前記キーポイントソートロス及び前記ローカル画素点領域カテゴリロスに基づいて、前記総ロスを取得するステップの前に、対応する前記ローカル画素点領域カテゴリロスに基づいて前記ｐ個の第２の識別結果をソートし、第４の順序を取得し、前記第４の順序が前記ローカル画素点領域カテゴリロスの降順であり、又は、前記第４の順序が前記ローカル画素点領域カテゴリロスの昇順であり、
前記第３の順序と前記第４の順序との違いに基づき、ローカル画素点領域ソートロスを取得するように構成され、
前記第４の処理ユニット１６は、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス、前記キーポイントソートロス、前記ローカル画素点領域カテゴリロス及び前記ローカル画素点領域ソートロスに基づいて、前記総ロスを取得するように構成される。

【0371】

本発明のいずれか１つの実施形態と組み合わせると、前記第１のグローバルロスは、グローバルフォーカスロスを含み、前記第３の処理ユニット１５は、
前記第１４の特徴データに基づいて、前記第２の識別対象車両の第３の識別結果を取得し、
前記第３の識別結果及び前記ラベルに基づいて、前記第３の識別結果のフォーカスロスを前記グローバルフォーカスロスとして取得するように構成される。

【0372】

本発明のいずれか１つの実施形態と組み合わせると、前記トレーニング画像は、トレーニング画像セットに属し、前記トレーニング画像セットは、前記トレーニング画像の第１の正サンプル画像及び前記トレーニング画像の第１の負サンプル画像をさらに含み、前記第１のグローバルロスは、グローバルトリプレットロスをさらに含み、
前記第３の処理ユニット１５は、さらに、
前記トレーニング対象ネットワークを使用して前記第１の正サンプル画像に対して特徴抽出処理を行い、前記第１の正サンプル画像の特徴データを取得し、
前記トレーニング対象ネットワークを使用して前記第１の負サンプル画像に対して特徴抽出処理を行い、前記第１の負サンプル画像の特徴データを取得し、
前記第１２の特徴データ、前記第１の正サンプル画像の特徴データ及び前記第１の負サンプル画像の特徴データに基づいて、前記グローバルトリプレットロスを取得するように構成される。

【0373】

本実施例では、車両識別装置は、第１の特徴データ及び第２の特徴データに対して融合処理を行うことにより、第１の識別対象車両のグローバル特徴情報だけでなく、第１の識別対象車両のローカル特徴情報も含む第３の特徴データを取得することができる。第３の特徴データを第１の識別対象車両の特徴データとして使用することにより、第１の識別対象車両の特徴データに含まれる情報を豊かにすることができる。

【0374】

一部の実施例では、本発明の実施例によって提供される装置が備える機能又は当該装置に含まれるモジュールは、上記の方法の実施例で説明される方法を実行するために使用されてもよく、その具体的な実現については上記の方法の実施例の説明を参照することができ、簡潔のために、ここでは説明を省略する。

【0375】

図１３は本発明の実施例による車両識別装置のハードウェア構造概略図である。当該車両識別装置２は、プロセッサ２１、メモリ２２、入力装置２３、出力装置２４を備える。当該プロセッサ２１、メモリ２２、入力装置２３及び出力装置２４は、コネクタを介して結合され、当該コネクタは、様々なインターフェース、伝送ライン又はバスなどを含むが、本発明の実施例で限定されない。本発明の様々な実施例では、結合とは、特定の方式での相互接続を指し、直接接続又は他のデバイスを介した間接接続を含み、例えば様々なインターフェース、伝送ライン、バスなどを介して接続することができる。

【0376】

プロセッサ２１は、１つ又は複数のグラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよく、プロセッサ２１が１つのＧＰＵである場合、当該ＧＰＵは、シングルコアＧＰＵであってもよいし、マルチコアＧＰＵであってもよい。一部の実施例では、プロセッサ２１は、複数のＧＰＵから構成されるプロセッサグループであってもよく、複数のプロセッサ同士は、１つ又は複数のバスを介して互いに結合される。一部の実施例では、当該プロセッサは、他のタイプのプロセッサなどであってもよく、本発明の実施例では限定されない。

【0377】

メモリ２２は、コンピュータプログラム命令、及び本発明の解決策を実行するためのプログラムコードを含む様々なタイプのコンピュータプログラムコードを記憶するように構成されてもよい。選択可能に、メモリは、ランダムアクセスメモリ（ＲＡＭ：Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はポータブル読み取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）を含むがこれらに限定されず、当該メモリは、関連する命令及びデータに用いられる。

【0378】

入力装置２３は、データ及び／又は信号を入力するように構成され、出力装置２４は、データ及び／又は信号を出力するように構成される。入力装置２３と出力装置２４は、独立したデバイスであってもよいし、一体のデバイスであってもよい。

【0379】

本発明の実施例では、メモリ２２は、関連する命令ためだけでなく、関連するデータを記憶するように構成されてもよいことが理解でき、例えば、当該メモリ２２は、入力装置２３によって取得された処理対象画像を記憶するように構成されてもよく、又は、当該メモリ２２は、プロセッサ２１によって取得された第３の特徴データなどを記憶するように構成されてもよく、本発明の実施例では当該メモリに具体的に記憶されているデータが限定されない。

【0380】

図１３が車両識別装置の簡素化された設計のみを示していることを理解できる。実際の応用中、車両識別装置は、さらに任意の数の入力／出力装置、プロセッサ、メモリなどを含むがこれらに限定されない他の必要な部品をそれぞれ含むことができ、本発明の実施例を実施可能な車両識別装置は、本発明の保護範囲内にある。

【0381】

当業者であれば、本明細書で開示される実施例と組み合わせて説明された各例のユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせで実現されてもよいと理解できる。これらの機能がハードウェア又はソフトウェアで実行されるかは、技術的解決策の特定アプリケーションと設計制約条件に依存する。当業者は、各特定のアプリケーションに対して異なる方法を用いて記述される機能を実現することができるが、このような実現は本発明の範囲を超えると考えられるべきではない。

【0382】

当業者は、説明の便宜及び簡潔のために、上述したシステム、デバイス及びユニットの具体的な動作プロセスについて、前記方法の実施例における対応するプロセスを参照でき、ここで説明を省略することを明確に理解することができる。当業者は、本発明の各実施例が異なる重点で説明されることを明確に理解することができ、説明の便宜及び簡潔のために、同一又は類似の部分は異なる実施例において説明が省略される可能性があり、したがって、ある実施例で説明されていない部分又は詳しく説明されていない部分については、他の実施例の記載を参照することができる。

【0383】

本発明で提供される一部の実施例では、開示されるシステム、装置及び方法は、他の方式により実現されてもよいと理解すべきである。例えば、上記装置の実施例は、例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的な区分だけであり、実際に実施する時に他の区分方式もあり得て、例えば複数のユニット又は構成要素は、組み合わせられてもよく又は別のシステムに統合されてもよく、又は一部の特徴は無視されて又は実行されなくてもよい。また、示され又は議論される相互結合又は直接結合又は通信接続は一部のインターフェース、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。

【0384】

分離部材として説明された前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は、物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち１つの箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。

【0385】

また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、個々のユニットは単独で物理に存在してもよく、２つ又は２つ以上のユニットは１つのユニットに統合されてもよい。

【0386】

上記実施例では、全部又は一部でソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせによって実現されてもよい。ソフトウェアで実現される場合、全て又は部分的にコンピュータプログラム製品の形で実現されてもよい。前記コンピュータプログラム製品は１つ又は複数のコンピュータ命令を含む。コンピュータで前記コンピュータプログラム命令をロードして実行する場合、本発明の実施例に従って説明されたプロセス又は機能を全部で又は部分的に生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、又は前記コンピュータ読み取り可能な記憶媒体を介して伝送されてもよい。前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ又はデータセンターから別のウェブサイト、コンピュータ、サーバ又はデータセンターに有線（例えば同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ：ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ）又は無線（例えば赤外線、無線、マイクロ波など）で伝送されてもよい。前記コンピュータ読記憶媒体は、コンピュータがアクセスできるいかなる利用可能な媒体であってもよく、又は１つ又は複数の利用可能な媒体で集積されたサーバ、データセンターなどのデータ記憶装置を含む。前記利用可能な媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えばデジタルビデオディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ））、又は半導体媒体（例えばソリッドステートディスク（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ））などであってもよい。

【0387】

当業者は、上記実施例の方法の全て又は一部のフローを実現することを理解し、当該フローは、コンピュータプログラムで関連するハードウェアを指令して完了されてもよく、当該プログラムがコンピュータ読み取り可能記憶媒体に記憶されてもよく、当該プログラムが実行されるとき、上記の各方法の実施例のフローを含むことができる。前記憶媒体は読み出し専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）又はランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。

【産業上の利用可能性】

【0388】

本発明は、車両識別方法及び装置、電子デバイス及び記憶媒体を開示する。当該方法は、第１の識別対象車両を含む処理対象画像を取得するステップと、前記処理対象画像に対して第１の特徴抽出処理を行い、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得するステップと、前記処理対象画像に対して第２の特徴抽出処理を行い、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得するステップと、前記第１の特徴データ及び前記第２の特徴データに対して融合処理を行い、前記第１の識別対象車両の第３の特徴データを取得するステップであって、前記第３の特徴データが前記第１の識別対象車両の識別結果を取得するために応用されるステップと、を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2021-12-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

車両識別方法であって、
第１の識別対象車両を含む処理対象画像を取得することと、
前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得することと、
前記処理対象画像に対して第２の特徴抽出処理を行うことで、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得することと、
前記第１の特徴データと前記第２の特徴データに対して融合処理を行うことで、前記第１の識別対象車両の第３の特徴データを取得することであって、前記第３の特徴データは、前記第１の識別対象車両の識別結果を取得するために使用されることと、を含む、
車両識別方法。

【請求項2】

前記ローカル特徴情報は、キーポイントの特徴情報を含み、前記第１の特徴データは、前記識別対象車両の少なくとも１つのキーポイントの特徴情報を含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記ローカル特徴情報は、ローカル画素点領域の特徴情報をさらに含み、前記第１の特徴データは、前記識別対象車両の少なくとも１つのローカル画素点領域の特徴情報をさらに含むことを特徴とする
請求項２に記載の方法。

【請求項4】

前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得することは、
前記処理対象画像に対して第３の特徴抽出処理を行うことで、第４の特徴データを取得することであって、前記第４の特徴データは前記第１の識別対象車両の少なくとも１つのキーポイントの特徴情報を含むことと、
前記処理対象画像に対して第４の特徴抽出処理を行うことで、第５の特徴データを取得することであって、前記第５の特徴データは前記第１の識別対象車両の少なくとも１つのローカル画素点領域の特徴情報を含み、前記ローカル画素点領域は前記第１の識別対象車両によって覆われた画素点領域に属し、前記ローカル画素点領域の面積が前記第１の識別対象車両によって覆われた画素点領域の面積よりも小さいことと、
前記第４の特徴データと第５の特徴データに対して融合処理を行うことで、前記第１の特徴データを取得することと、を含むことを特徴とする
請求項３に記載の方法。

【請求項5】

前記処理対象画像に対して第３の特徴抽出処理を行うことで、第４の特徴データを取得することは、
前記処理対象画像に対して第５の特徴抽出処理を行うことで、少なくとも１つの第６の特徴データを取得することであって、前記第６の特徴データは前記キーポイントの特徴情報を含み、任意の２つの前記第６の特徴データに含まれる特徴情報が異なるキーポイントに属することと、
前記少なくとも１つの第６の特徴データから含まれる情報量の最も多いｋ個の特徴データを選択することで、ｋ個の第７の特徴データを取得することであって、前記ｋは１以上の整数であることと、
前記ｋ個の第７の特徴データに基づいて、前記第４の特徴データを取得することと、を含むことを特徴とする
請求項４に記載の方法。

【請求項6】

前記処理対象画像に対して第５の特徴抽出処理を行うことで、少なくとも１つの第６の特徴データを取得することは、
前記処理対象画像に対して第６の特徴抽出処理を行うことで、少なくとも１つのヒートマップを取得することであって、前記第１のヒートマップは前記処理対象画像における前記キーポイントの位置情報を含み、任意の２つの前記第１のヒートマップに含まれる情報が異なるキーポイントに属することと、
前記処理対象画像に対して第７の特徴抽出処理を行うことで、前記処理対象画像の第１の特徴画像を取得することであって、前記第１の特徴画像は前記処理対象画像におけるキーポイントの特徴情報を含むことと、
各前記第１のヒートマップと前記第１の特徴画像との間のドット積をそれぞれ確定することで、前記少なくとも１つの第６の特徴データを取得することと、を含むことを特徴とする
請求項５に記載の方法。

【請求項7】

前記処理対象画像に対して第４の特徴抽出処理を行うことで、第５の特徴データを取得することは、
前記処理対象画像に対して第１０の特徴抽出処理を行うことで、少なくとも１つの第９の特徴データを取得することであって、前記第９の特徴データは前記キーポイントの特徴情報を含み、任意の２つの前記第９の特徴データに含まれる特徴情報が異なるローカル画素点領域に属することと、
前記少なくとも２つの第９の特徴データから含まれる情報量の最も多いｍ個の特徴データを選択することで、ｍ個の第１０の特徴データを取得することであって、前記ｍは１以上の整数であることと、
前記ｍ個の第１０の特徴データに基づいて、前記第５の特徴データを取得することと、を含むことを特徴とする
請求項３～６のいずれか一項に記載の方法。

【請求項8】

前記処理対象画像に対して第１０の特徴抽出処理を行うことで、少なくとも１つの第９の特徴データを取得することは、
前記処理対象画像に対して第１１の特徴抽出処理を行うことで、前記少なくとも１つの第２のヒートマップを取得することであって、前記第２のヒートマップは前記処理対象画像における前記ローカル画素点領域の位置情報を含み、任意の２つの前記第２のヒートマップに含まれる情報が異なるローカル画素点領域に属することと、
前記処理対象画像に対して第１２の特徴抽出処理を行うことで、前記処理対象画像の第２の特徴画像を取得することであって、前記第２の特徴画像は前記処理対象画像におけるローカル画素点領域の特徴情報を含むことと、
各前記第２のヒートマップと前記第２の特徴画像との間のドット積をそれぞれ確定することで、前記少なくとも１つの第９の特徴データを取得することと、を含むことを特徴とする
請求項７に記載の方法。

【請求項9】

前記少なくとも２つの第９の特徴データから含まれる情報の最も多いｍ個の特徴データを選択することで、ｍ個の第１０の特徴データを取得することは、
前記第９の特徴データにおける特徴データに対してプール化処理をそれぞれ行うことで、少なくとも１つの第１１の特徴データを取得することと、
前記少なくとも１つの第１１の特徴データに含まれる情報量に基づいて、少なくとも１つの第２の確率を取得することであって、前記第２の確率は前記第９の特徴データに含まれる情報量を特徴付けるために使用され、前記第２の確率が前記第９の特徴データと１対１で対応していることと、
前記第２の確率が前記第９の特徴データに含まれる情報量と正の相関にある場合、最大のｍ個の前記第２の確率に対応する前記第９の特徴データを前記ｍ個の第１０の特徴データとして選択すること、又は、
前記第２の確率が前記第９の特徴データに含まれる情報量と負の相関にある場合、最小のｍ個の前記第２の確率に対応する前記第９の特徴データを前記ｍ個の第１０の特徴データとして選択することとを含むことを特徴とする
請求項７又は８に記載の方法。

【請求項10】

前記少なくとも１のローカル画素点領域は、第１の画素点領域と第２の画素点領域を含み、前記第９の特徴データの数及び前記ｍの両方はいずれも１よりも大きく、前記ｍ個の第１０の特徴データは、第１２の特徴データと第１３の特徴データを含み、前記第１２の特徴データは、前記第１の画素点領域の特徴情報を含み、前記第１３の特徴データは、前記第２の画素点領域の特徴情報を含み、
前記ｍ個の第１０の特徴データに基づいて前記第５の特徴データを取得することは、
前記第１２の特徴データに含まれる情報量に基づいて第１の重みを取得し、前記第１３の特徴データに含まれる情報量に基づいて第２の重みを取得ことであって、前記第１の重みが前記第１２の特徴データに含まれる情報量と正の相関にあり、前記第２の重みが前記第１３の特徴データに含まれる情報量と正の相関にあることと、
前記第１の重み及び前記第２の重みに基づいて、前記第１２の特徴データ及び前記第１３の特徴データを加重融合することで、前記第５の特徴データを取得することと、を含むことを特徴とする
請求項７～９のいずれか一項に記載の方法。

【請求項11】

前記車両識別方法は、車両識別ネットワークに応用され、
前記車両識別ネットワークのトレーニング方法は、
第２の識別対象車両を含むトレーニング画像及びトレーニング対象ネットワークを取得することと、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、前記第２の識別対象車両のグローバル特徴情報を含む第１４の特徴データと、前記第２の識別対象車両のキーポイントの特徴情報を含む第１５の特徴データとを取得することと、
前記第１４の特徴データ及び前記トレーニング画像のラベルに基づいて、第１のグローバルロスを取得することと、
前記第１５の特徴データ及び前記ラベルに基づいて、第１のキーポイントロスを取得することと、
前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得することと、
前記総ロスに基づいて前記トレーニング対象ネットワークのパラメータを調整することで、前記車両識別ネットワークを取得することと、を含むことを特徴とする
請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得することの前に、前記方法は、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、前記第２の識別対象車両のローカル画素点領域の特徴情報を含む第１６の特徴データを取得することと、
前記第１６の特徴データ及び前記ラベルに基づいて、第１のローカル画素点領域ロスを取得することと、をさらに含み、
前記第１のグローバルロス及び前記第１のキーポイントロスに基づいて、前記トレーニング対象ネットワークの総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得することを含むことを特徴とする
請求項１１に記載の方法。

【請求項13】

前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、前記第２の識別対象車両のキーポイントの特徴情報を含む第１５の特徴データを取得することは、
前記トレーニング対象ネットワークを使用して前記トレーニング画像を処理することで、少なくとも１つの第１７の特徴データを取得することであって、前記第１７の特徴データは前記第２の識別対象車両のキーポイントの特徴情報を含み、任意の２つの前記第１７の特徴データに含まれる特徴情報が異なるキーポイントに属することと、
前記少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択することで、ｓ個の第１８の特徴データを取得することであって、前記ｓは１以上の整数であることと、
前記ｓ個の第１８の特徴データに対して融合処理を行うことで、前記第１５の特徴データを取得することと、を含むことを特徴とする
請求項１２に記載の方法。

【請求項14】

前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得することの前に、前記方法は、
前記ｓ個の第１８の特徴データに基づいて、前記第２の識別対象車両のｓ個の第１の識別結果を取得することと、
前記ｓ個の第１の識別結果のそれぞれと前記ラベルとの違いに基づいて、キーポイントカテゴリロスを取得することと、をさらに含み、
前記第１のグローバルロス、前記第１のキーポイントロス及び前記第１のローカル画素点領域ロスに基づいて、前記総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得することを含むことを特徴とする
請求項１３に記載の方法。

【請求項15】

前記少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択することで、ｓ個の第１８の特徴データを取得することは、
含まれる情報量に基づいて前記少なくとも１つの第１７の特徴データをソートすることで、第１の順序を取得することであって、前記第１の順序が含まれる情報量の降順であり、又は、前記第１の順序が含まれる情報量の昇順であることと、
前記第１の順序に基づいて前記の少なくとも１つの第１７の特徴データから含まれる情報量の最も多いｓ個の特徴データを選択することで、前記ｓ個の第１８の特徴データを取得することと、を含み、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得することの前に、前記方法は、
対応する前記キーポイントカテゴリロスに基づいて前記ｓ個の第１の識別結果をソートすることで、第２の順序を取得することであって、前記第２の順序が前記キーポイントカテゴリロスの降順であり、又は、前記第２の順序が前記キーポイントカテゴリロスの昇順であることと、
前記第１の順序と前記第２の順序との違いに基づいて、キーポイントソートロスを取得することと、をさらに含み、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス及び前記キーポイントカテゴリロスに基づいて、前記総ロスを取得することは、
前記第１のグローバルロス、前記第１のキーポイントロス、前記第１のローカル画素点領域ロス、前記記キーポイントカテゴリロス及び前記キーポイントソートロスに基づいて、前記総ロスを取得することを含むことを特徴とする
請求項１３又は１４に記載の方法。

【請求項16】

前記第１のグローバルロスは、グローバルフォーカスロスを含み、
前記第１４の特徴データ及び前記トレーニング画像のラベルに基づいて、第１のグローバルロスを取得することは、
前記第１４の特徴データに基づいて、前記第２の識別対象車両の第３の識別結果を取得することと、
前記第３の識別結果及び前記ラベルに基づいて、前記第３の識別結果のフォーカスロスを前記グローバルフォーカスロスとして取得することと、を含むことを特徴とする
請求項１１～１５のいずれか一項に記載の方法。

【請求項17】

前記トレーニング画像は、トレーニング画像セットに属し、前記トレーニング画像セットは、前記トレーニング画像の第１の正サンプル画像及び前記トレーニング画像の第１の負サンプル画像をさらに含み、前記第１のグローバルロスは、グローバルトリプレットロスをさらに含み、
前記方法は、
前記トレーニング対象ネットワークを使用して前記第１の正サンプル画像に対して特徴抽出処理を行うことで、前記第１の正サンプル画像の特徴データを取得することと、
前記トレーニング対象ネットワークを使用して前記第１の負サンプル画像に対して特徴抽出処理を行うことで、前記第１の負サンプル画像の特徴データを取得することと、
前記第１２の特徴データ、前記第１の正サンプル画像の特徴データ及び前記第１の負サンプル画像の特徴データに基づいて、前記グローバルトリプレットロスを取得することと、を含むことを特徴とする
請求項１６に記載の方法。

【請求項18】

車両識別装置であって、
第１の識別対象車両を含む処理対象画像を取得するように構成される取得ユニットと、
前記処理対象画像に対して第１の特徴抽出処理を行うことで、前記第１の識別対象車両のローカル特徴情報を含む第１の特徴データを取得するように構成される第１の処理ユニットと、
前記処理対象画像に対して第２の特徴抽出処理を行うことで、前記第１の識別対象車両のグローバル特徴情報を含む第２の特徴データを取得するように構成される第２の処理ユニットと、
前記第１の特徴データと前記第２の特徴データに対して融合処理を行うことで、前記第１の識別対象車両の第３の特徴データを取得するように構成され、前記第３の特徴データは前記第１の識別対象車両の識別結果を取得するために使用される融合処理ユニットと、を備える、
車両識別装置。

【請求項19】

電子デバイスであって、
プロセッサとメモリとを備え、
前記メモリは、コンピュータプログラムコードを記憶するように構成され、
前記コンピュータプログラムコードは、コンピュータ命令を含み、
前記電子デバイスは、前記プロセッサが前記コンピュータ命令を実行する場合、請求項１～１７のいずれか一項に記載の方法を実行する、
電子デバイス。

【請求項20】

コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、
前記コンピュータプログラムはプログラム命令を含み、
前記プログラム命令がプロセッサによって実行される場合、前記プロセッサに請求項１～１７のいずれか一項に記載の方法を実行させる、
コンピュータ読み取り可能な記憶媒体。

【国際調査報告】