知財求人 - 知財ポータルサイト「IP Force」
特開2022-82493ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022082493
(43)【公開日】2022-06-02
(54)【発明の名称】ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220526BHJP
G06N 3/08 20060101ALI20220526BHJP
G06N 20/00 20190101ALI20220526BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 660Z
G06N3/08
G06N20/00
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021087114
(22)【出願日】2021-05-24
(31)【優先権主張番号】202011321451.7
(32)【優先日】2020-11-23
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＣＡＮ
(71)【出願人】
【識別番号】513059401
【氏名又は名称】同▲済▼大学
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】黄徳双
(72)【発明者】
【氏名】張焜
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096EA39
5L096EA45
5L096GA30
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法を提供する。
【解決手段】方法は、参照用データセットに対してデータ区分及び前処理を行った後、ＣＡＮネットワーク構造を構築し、参照用データセットにおいてデータ区分及び前処理を経た後に、データ拡充を行ったトレーニングセットを利用して基礎ネットワーク主体特徴抽出構造に対してトレーニングを行い、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップと、ラベル誤差のノイズチャネル構造を構築するステップと、トレーニング済みの基礎ネットワーク主体特徴抽出構造、ノイズチャンネル構造及びＣＡＮネットワーク構造に基づき、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを総合的に確立して得るステップと、該歩行者再識別ネットワークを利用して実際の測定対象のオリジナル画像に対して識別を行うステップと、を含む。
【選択図】図１
【解決手段】方法は、参照用データセットに対してデータ区分及び前処理を行った後、ＣＡＮネットワーク構造を構築し、参照用データセットにおいてデータ区分及び前処理を経た後に、データ拡充を行ったトレーニングセットを利用して基礎ネットワーク主体特徴抽出構造に対してトレーニングを行い、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップと、ラベル誤差のノイズチャネル構造を構築するステップと、トレーニング済みの基礎ネットワーク主体特徴抽出構造、ノイズチャンネル構造及びＣＡＮネットワーク構造に基づき、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを総合的に確立して得るステップと、該歩行者再識別ネットワークを利用して実際の測定対象のオリジナル画像に対して識別を行うステップと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法であって、該方法は、
参照用データセットに対してデータ区分及び前処理を行った後、遮蔽回復のためのＣＡＮネットワーク構造を構築し、且つそれを利用して参照用データセットにおいてデータ区分及び前処理を経た後に得られるトレーニングセットに対してデータ拡充を行い、データ拡充が行われた後のトレーニングセットを利用して基礎ネットワーク主体特徴抽出構造に対してトレーニングを行い、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１と、
データ拡充によるラベル誤差を減らすためのノイズチャネル構造を構築するステップ２と、
トレーニング済みの基礎ネットワーク主体特徴抽出構造、ノイズチャネル構造及び遮蔽回復のためのＣＡＮネットワーク構造に基づき、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを総合的に確立して得るステップ３と、及び、
ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを利用して実際の測定対象のオリジナル画像に対して識別を行うステップ４とを含む、ことを特徴とするノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
参照用データセットに対してデータ区分及び前処理を行った後、遮蔽回復のためのＣＡＮネットワーク構造を構築し、且つそれを利用して参照用データセットにおいてデータ区分及び前処理を経た後に得られるトレーニングセットに対してデータ拡充を行い、データ拡充が行われた後のトレーニングセットを利用して基礎ネットワーク主体特徴抽出構造に対してトレーニングを行い、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１と、
データ拡充によるラベル誤差を減らすためのノイズチャネル構造を構築するステップ２と、
トレーニング済みの基礎ネットワーク主体特徴抽出構造、ノイズチャネル構造及び遮蔽回復のためのＣＡＮネットワーク構造に基づき、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを総合的に確立して得るステップ３と、及び、
ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを利用して実際の測定対象のオリジナル画像に対して識別を行うステップ４とを含む、ことを特徴とするノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【請求項2】
前記ステップ１は、
参照用データセットをトレーニングセットとテストセットに区分した後、トレーニングセットからランダムに画像データを抽出し且つ前処理操作を行うステップ１０１と、
遮蔽回復のためのＣＡＮネットワーク構造を構築し且つそれを利用してトレーニングセットに対して更にデータ拡充を行うステップ１０２と、
トレーニングネットワークモデルに必要なパラメータと対応式を設定するステップ１０３と、及び、
設定を完了した後に前処理操作とデータ拡充を経た後の画像データを基礎ネットワーク主体特徴抽出構造に入力し、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１０４とを含む、ことを特徴とする請求項１に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
参照用データセットをトレーニングセットとテストセットに区分した後、トレーニングセットからランダムに画像データを抽出し且つ前処理操作を行うステップ１０１と、
遮蔽回復のためのＣＡＮネットワーク構造を構築し且つそれを利用してトレーニングセットに対して更にデータ拡充を行うステップ１０２と、
トレーニングネットワークモデルに必要なパラメータと対応式を設定するステップ１０３と、及び、
設定を完了した後に前処理操作とデータ拡充を経た後の画像データを基礎ネットワーク主体特徴抽出構造に入力し、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１０４とを含む、ことを特徴とする請求項１に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【請求項3】
前記ステップ１０１における参照用データセットは、Ｍａｒｋｅｔ１５０１データセットであり、前記ステップ１０１における前処理操作は、水平反転、付加的ノイズ又はランダム消去を含み、前記ステップ１０４における基礎ネットワーク主体特徴抽出構造は、ＲｅｓＮｅｔ５０ネットワーク構造である、ことを特徴とする請求項２に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【請求項4】
前記ステップ１０４において、前処理操作とデータ拡充を経た後の画像データを基礎ネットワーク主体特徴抽出構造に入力してトレーニングを行うプロセスにおいて、Ａｄａｍ最適化手法を用いてパラメータを自動的に調整し、Ｄｒｏｐｏｕｔ対策を用いてオーバーフィッティング状況の発生を避け、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎを用いてネットワークの収束速度を上げる、ことを特徴とする請求項２に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【請求項5】
前記ステップ１０３は、具体的には、トレーニング総サイクルｅｐｏｃｈを１５０に設定し、重み付け減衰パラメータｗｅｉｇｈｔ ｄｅｃａｙを０．０００５に設定し、バッチサイズｂａｔｃｈ ｓｉｚｅを１８０に設定し、学習率更新方式を設定することを含み、その対応する記述式は、数式１であり、
式において、
が学習率である、ことを特徴とする請求項２に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【数1】
【請求項6】
前記ステップ１における遮蔽回復のためのＣＡＮネットワーク構造は、オリジナルデータセットを学習し且つ画像を生成するための生成器ネットワークと、入力画像がリアルであるか否か、即ち該入力データがオリジナルデータに属するか、それとも前記生成器によって生成されるかを判定するための判別器とで構成され、対応する数学記述式は、数式２であり、
式において、ｘが遮蔽画像であり、ｙがターゲット画像であり、ＤとＧがそれぞれ判別器ネットワークと生成器ネットワークを表す、ことを特徴とする請求項１に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【数2】
【請求項7】
前記ステップ２において前記ノイズチャネル構造を利用してデータ拡充によるラベル誤差を減らすプロセスは、具体的には、
生成される画像データに対応するオリジナルラベルと、前記ノイズチャネル構造を利用して観察して得られるノイズラベルとの間の移行確率に対して、分布を所定するステップ２０１と、
ＥＭアルゴリズムを利用して分布に対して暗示パラメータを求めて得て、且つそれを利用してデータ拡充によるラベル誤差を減らすステップ２０２とを含む、ことを特徴とする請求項１に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
生成される画像データに対応するオリジナルラベルと、前記ノイズチャネル構造を利用して観察して得られるノイズラベルとの間の移行確率に対して、分布を所定するステップ２０１と、
ＥＭアルゴリズムを利用して分布に対して暗示パラメータを求めて得て、且つそれを利用してデータ拡充によるラベル誤差を減らすステップ２０２とを含む、ことを特徴とする請求項１に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【請求項8】
前記ステップ２０１における分布は、その記述式は、数式３であり、
式において、
【数3】
【請求項9】
前記ステップ２０２においてＥＭアルゴリズムを利用して分布に対して暗示パラメータを求めて得るプロセスには、
Ｅステップで暗示パラメータθとωを固定して移行確率を予測すること、Ｍステップでパラメータθを更新することが含まれ、そのうち、前記予測移行確率は、その対応する記述式は、数式４であり、
式において、
前記更新パラメータ
は、その対応する記述式は、数式５であり、
式において、
Ｅステップで暗示パラメータθとωを固定して移行確率を予測すること、Ｍステップでパラメータθを更新することが含まれ、そのうち、前記予測移行確率は、その対応する記述式は、数式４であり、
【数4】
【数5】
【請求項10】
前記ＥＭアルゴリズムにおいて採用されるターゲット関数は、その対応する記述式は、数式６であり、
式において、
は、ＥＭアルゴリズムに採用されるターゲット関数を表す、ことを特徴とする請求項９に記載のノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法。
【数6】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータ視覚技術分野に関し、特にノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法に関する。
【背景技術】
【0002】
分布式マルチカメラ監視システムの基本的タスクは、異なる位置と異なる時間に人とカメラ視界とを関連することである。それは、歩行者再識別問題と呼ばれ、更に具体的には、歩行者再識別は、主に「ターゲット歩行者がどこにいたか」又は「ターゲット歩行者が監視ネットワークにおいてキャッチされた後にどこに行ったか」という問題を解決するためである。それは、多くのキーアプリケーション、例えば長時間のマルチカメル追跡と立証捜索等をサポートする。実際には、各カメラヘッドは、異なる角度と距離から、異なる光条件、遮蔽度と異なる静的状態と動的状態の背景で撮影を行うことが可能である。それは、歩行者再識別タスクにいくつかの大きなチャレンジをもたらす。それとともに、未知の距離にあるカメラで観察された歩行者は、混雑した背景、低い解像度等の条件の制限が存在する可能性があるため、例えば顔認識のような従来のバイオメトリクスに依存する歩行者再識別技術は、実行可能でも信頼性もない。
【0003】
従来の歩行者再識別技術は、主に特徴発見と類似尺度の二つの態様に分けられる。一般的な特徴は、主にカラー特徴、テクスチャ特徴、形状特徴及びより高いレベルの属性特徴、行動語意特徴等を含む。類似尺度に対して、ユークリッド距離が最初に用いられ、その後いくつかの監督のある類似性の判別方法も提案されている。
【0004】
ディープラーニングの発展に伴い、ディープラーニングモデルに基づく方法は、既に歩行者再識別の分野を占めており、歩行者再識別のための深度モデルは、現段階で主にｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ、ｖｅｒｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ及びｔｒｉｐｌｅｔ ｍｏｄｅｌの三種類に分けられる。Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｅｌは、他のタスク上の分類モデルと同様であり、一枚の画像を所定してからそのラベルを出力し、このモデルは、単一画像のラベル情報を十分に活用することができる。Ｖｅｒｉｆｉｃａｔｉｏｎ ｍｏｄｅｌは、二枚の画像を入力として、その後それらが同じ歩行者であるか否かを入力する。Ｖｅｒｉｆｉｃａｔｉｏｎ ｍｏｄｅｌは、単一画像のラベル情報を使用せずに弱いラベル（二人の歩行者の関係）を使用する。同様に、ｔｒｉｐｌｅｔ ｍｏｄｅｌは、三枚の画像を入力として、クラス内距離を引き寄せ、クラス間距離を引き離すが、単一画像のラベル情報も使用しない。
【0005】
特徴抽出の面で、深度モデルは、従来の人工で特徴を設計する方式を捨て、コンボリューショナルニューラルネットワークに基づいてネットワークモデルと構造モジュールを設計することで自動的に特徴を学習する。典型的なネットワーク構造は、ＧｏｏｇｌｅＮｅｔ、ＲｅｓＮｅｔとＤｅｎｓｅＮｅｔ等を有する。一般的な特徴抽出構造は、ｉｎｃｅｐｔｉｏｎ構造、特徴ピラミッド及びアテンション構造等を有する。
【0006】
この背景で、本発明は、ノイズチャネルに基づくランダム遮蔽回復のネットワークモデルを設計し、マルチスケール表徴学習は、判別力特徴（全域と局部を含む）を抽出して空間関係学習を補強することができる。ランダムバッチマスク対策は、ランダム遮蔽とアテンションメカニズムを採用し、局部詳細の特徴が抑制されるという状況を緩和する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、上記従来技術に存在する欠陥を克服するためのノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法を提供することである。
【課題を解決するための手段】
【0008】
本発明の目的は、以下の技術的解決手段によって実現することができる。
【0009】
ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法であって、該方法は、
参照用データセットに対してデータ区分及び前処理を行った後、遮蔽回復のためのＣＡＮネットワーク構造を構築し、且つそれを利用して参照用データセットにおいてデータ区分及び前処理を経た後に得られるトレーニングセットに対してデータ拡充を行い、データ拡充が行われた後のトレーニングセットを利用して基礎ネットワーク主体特徴抽出構造に対してトレーニングを行い、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１と、
データ拡充によるラベル誤差を減らすためのノイズチャネル構造を構築するステップ２と、
トレーニング済みの基礎ネットワーク主体特徴抽出構造、ノイズチャネル構造及び遮蔽回復のためのＣＡＮネットワーク構造に基づき、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを総合的に確立して得るステップ３と、
ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを利用して実際の測定対象のオリジナル画像に対して識別を行うステップ４とを含む。
参照用データセットに対してデータ区分及び前処理を行った後、遮蔽回復のためのＣＡＮネットワーク構造を構築し、且つそれを利用して参照用データセットにおいてデータ区分及び前処理を経た後に得られるトレーニングセットに対してデータ拡充を行い、データ拡充が行われた後のトレーニングセットを利用して基礎ネットワーク主体特徴抽出構造に対してトレーニングを行い、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１と、
データ拡充によるラベル誤差を減らすためのノイズチャネル構造を構築するステップ２と、
トレーニング済みの基礎ネットワーク主体特徴抽出構造、ノイズチャネル構造及び遮蔽回復のためのＣＡＮネットワーク構造に基づき、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを総合的に確立して得るステップ３と、
ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別ネットワークを利用して実際の測定対象のオリジナル画像に対して識別を行うステップ４とを含む。
【0010】
更に、前記ステップ１は、
参照用データセットをトレーニングセットとテストセットに区分した後、トレーニングセットからランダムに画像データを抽出し且つ前処理操作を行うステップ１０１と、
遮蔽回復のためのＣＡＮネットワーク構造を構築し且つそれを利用してトレーニングセットに対して更にデータ拡充を行うステップ１０２と、
トレーニングネットワークモデルに必要なパラメータと対応式を設定するステップ１０３と、
設定を完了した後に前処理操作とデータ拡充を経た後の画像データを基礎ネットワーク主体特徴抽出構造に入力し、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１０４を含む。
参照用データセットをトレーニングセットとテストセットに区分した後、トレーニングセットからランダムに画像データを抽出し且つ前処理操作を行うステップ１０１と、
遮蔽回復のためのＣＡＮネットワーク構造を構築し且つそれを利用してトレーニングセットに対して更にデータ拡充を行うステップ１０２と、
トレーニングネットワークモデルに必要なパラメータと対応式を設定するステップ１０３と、
設定を完了した後に前処理操作とデータ拡充を経た後の画像データを基礎ネットワーク主体特徴抽出構造に入力し、トレーニング済みの基礎ネットワーク主体特徴抽出構造を得るステップ１０４を含む。
【0011】
更に、前記ステップ１０１における参照用データセットは、Ｍａｒｋｅｔ１５０１データセットであり、前記ステップ１０１における前処理操作は、水平反転、付加的ノイズ又はランダム消去を含み、前記ステップ１０４における基礎ネットワーク主体特徴抽出構造は、ＲｅｓＮｅｔ５０ネットワーク構造である。
【0012】
更に、前記１０４において、前処理操作とデータ拡充を経た後の画像データを基礎ネットワーク主体特徴抽出構造に入力してトレーニングを行うプロセスにおいて、Ａｄａｍ最適化手法を用いてパラメータを自動的に調整し、Ｄｒｏｐｏｕｔ対策を用いてオーバーフィッティング状況の発生を避け、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎを用いてネットワークの収束速度を上げる。
【0013】
更に、前記ステップ１０３は、具体的には、トレーニング総サイクルｅｐｏｃｈを１５０に設定し、重み付け減衰パラメータｗｅｉｇｈｔ ｄｅｃａｙを０．０００５に設定し、バッチサイズｂａｔｃｈ ｓｉｚｅを１８０に設定し、学習率更新方式を設定することを含み、その対応する記述式は、以下の数式１であり、式において、
が学習率である。
【0014】
【数1】
【0015】
更に、前記ステップ１における遮蔽回復のためのＣＡＮネットワーク構造は、オリジナルデータセットを学習し且つ画像を生成するための生成器ネットワークと、入力画像がリアルであるか否か、即ち該入力データがオリジナルデータに属するか、それとも前記生成器によって生成されるかを判定するための判別器とで構成され、対応する数学記述式は、以下の数式２であり、式において、ｘが遮蔽画像であり、ｙがターゲット画像であり、ＤとＧがそれぞれ判別器ネットワークと生成器ネットワークを表す。
【0016】
【数2】
【0017】
更に、前記ステップ２において前記ノイズチャネル構造を利用してデータ拡充によるラベル誤差を減らすプロセスは、具体的には、
生成される画像データに対応するオリジナルラベルと、前記ノイズチャネル構造を利用して観察して得られるノイズラベルとの間の移行確率に対して、分布を所定するステップ２０１と、
ＥＭアルゴリズムを利用して分布に対して暗示パラメータを求めて得て、且つそれを利用してデータ拡充によるラベル誤差を減らすステップ２０２とを含む。
生成される画像データに対応するオリジナルラベルと、前記ノイズチャネル構造を利用して観察して得られるノイズラベルとの間の移行確率に対して、分布を所定するステップ２０１と、
ＥＭアルゴリズムを利用して分布に対して暗示パラメータを求めて得て、且つそれを利用してデータ拡充によるラベル誤差を減らすステップ２０２とを含む。
【0018】
更に、前記ステップ２０１における分布は、その記述式は、以下の数式３であり、式において、
【0019】
【数3】
【0020】
更に、前記ステップ２０２においてＥＭアルゴリズムを利用して分布に対して暗示パラメータを求めて得るプロセスには、
【0021】
【数4】
【0022】
前記更新パラメータ
は、その対応する記述式は、以下の数式５であり、式において、
【0023】
【数5】
【0024】
更に、前記ＥＭアルゴリズムにおいて採用されるターゲット関数は、その対応する記述式は、以下の数式６であり、式において、
は、ＥＭアルゴリズムに採用されるターゲット関数を表す。
【0025】
【数6】
【発明の効果】
【0026】
従来技術と比べて、本発明は、以下の利点を有する。
（１）本発明は、ディープラーニング技術を用いて、まずトレーニングセット画像に対して反転、切り取り等の前処理操作を行い、その後基礎的ネットワークモデル（ＲｅｓＮｅｔ５０）を介して特徴抽出を行い、ＲｅｓＮｅｔ５０ネットワークを介して抽出して得られる高次元特徴に対してランダムバッチマスクトレーニング対策及びマルチスケール表徴学習を行い、それによってより判別力を有し、より詳細な、歩行者の空間関連性を含む特徴情報を取得し、更に多損失関数を用いてネットワークの融合共同トレーニングを行う。
（２）本発明は、回復後の遮蔽画像を用いてデータセットを拡充し、且つラベルノイズチャネルを導入し、拡充データによる誤差を緩和し、ネットワークのロバスト性を向上させる。
（１）本発明は、ディープラーニング技術を用いて、まずトレーニングセット画像に対して反転、切り取り等の前処理操作を行い、その後基礎的ネットワークモデル（ＲｅｓＮｅｔ５０）を介して特徴抽出を行い、ＲｅｓＮｅｔ５０ネットワークを介して抽出して得られる高次元特徴に対してランダムバッチマスクトレーニング対策及びマルチスケール表徴学習を行い、それによってより判別力を有し、より詳細な、歩行者の空間関連性を含む特徴情報を取得し、更に多損失関数を用いてネットワークの融合共同トレーニングを行う。
（２）本発明は、回復後の遮蔽画像を用いてデータセットを拡充し、且つラベルノイズチャネルを導入し、拡充データによる誤差を緩和し、ネットワークのロバスト性を向上させる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施例によるノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術のネットワーク全体のフレーム図である。
【図2】本発明の実施例によるノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術のネットワークトレーニングのフローチャートである。
【図3】本発明の実施例によるノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術の結果評価フローチャートである。
【発明を実施するための形態】
【0028】
以下は、本発明の実施例における添付図面を結び付けながら、本発明の実施例における技術的解決手段を明瞭且つ完全に記述し、明らかに、記述される実施例は、本発明の一部の実施例であり、全部の実施例ではない。本発明における実施例に基づき、当業者が創造的な労力を払わない前提で得られるすべての他の実施例は、いずれも本発明の保護範囲に属する。
【0029】
本発明は、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術であり、複数の参照用データセット上のより正確で効率的な歩行者再認識タスクを実現する。歩行者再認識のタスクは、重複視野がない異なるカメラによって収集される歩行者画像又はビデオサンプルの関係付けの処理プロセスであり、即ち異なる位置でのカメラによって異なる時刻に撮影される歩行者が同一の歩行者であるか否かを識別する。従来の歩行者再識別は、主に歩行者特徴発見と歩行者類似度の判別の二つのステップを含んでいる。
【0030】
ディープラーニングに基づく歩行者再識別アルゴリズムと比べて、本発明は、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法を提案する。オリジナル画像に遮蔽ブロックをランダムに追加し、ＧＡＮモデルを用いて修復し、その後修復された画像を用いてオリジナルトレーニングセットを拡張する。補強されるデータセットを用いてベースラインモデルをトレーニングし、且つノイズチャネルを介して拡張画像のラベル誤差を緩和する。
【実施例0031】
１、基本的技術的解決手段
本発明は、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術に関し、図１に示すように、その主な実現構造は、以下の部分に依存する。
１）オリジナルデータセットに対するトレーニングセットとテストセットとの区分、
２）基礎的ネットワーク主体特徴抽出構造、
３）ノイズチャネル構造、
４）遮蔽回復のためのＣＡＮネットワーク構造、
５）反復ステップサイズ調整方法、反復ステップサイズ初期値、学習関数選択等を含むネットワークの超パラメータ調整、
６）異なる構造に対して異なる損失関数を使用する損失関数の選択、及び、
７）ＰｙＴｏｒｃｈとＰｙｔｈｏｎ及び一部のアシストライブラリに基づく全技術方法の編集。
本発明は、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術に関し、図１に示すように、その主な実現構造は、以下の部分に依存する。
１）オリジナルデータセットに対するトレーニングセットとテストセットとの区分、
２）基礎的ネットワーク主体特徴抽出構造、
３）ノイズチャネル構造、
４）遮蔽回復のためのＣＡＮネットワーク構造、
５）反復ステップサイズ調整方法、反復ステップサイズ初期値、学習関数選択等を含むネットワークの超パラメータ調整、
６）異なる構造に対して異なる損失関数を使用する損失関数の選択、及び、
７）ＰｙＴｏｒｃｈとＰｙｔｈｏｎ及び一部のアシストライブラリに基づく全技術方法の編集。
【0032】
以上の７つのステップにおけるステップ１）は、具体的には、参照用データセットをトレーニングセットとテストセットに区分することを含む。データセットＭａｒｋｅｔ１５０１を例にし、そのうち７５１人の歩行者ＩＤ、合計１２９３６枚の画像をトレーニングセットとして、別の７５０人の歩行者ＩＤ及び一部の背景画像、合計１９７３２枚をトレーニングセットとする。
【0033】
この基礎で、更にデータセット処理を行い、トレーニングセットの一部を更に分けてテストセットとすることで、トレーニングプロセスを制御し、効率的に最適な状態を得る。テストセットをｑｕｅｒｙとｇａｌｌｅｒｙの二つ部分に分ける。
【0034】
クエリセット及び候補セットにおける画像に対して既にトレーニングされたネットワークを用いて特徴抽出を行い、抽出された特徴に対してそれぞれ二つずつユークリッド距離を計算して距離の順位付けを行う。候補セットにおいて、クエリセットにおけるターゲット距離に近い画像を得る。
【0035】
以上の７つのステップにおけるステップ２）は、具体的には、成熟し且つ性能が比較的に高いネットワークを選択して実験を行い且つ結果の探究比較を行うことを含む。ＲｅｓＮｅｔ５０ネットワーク構造を用いて、ＲｅｓＮｅｔが短絡接続によって残差に対して学習を行ってネットワーク深度が深くなることによる退化問題を解決する。
【0036】
以上の７つのステップにおけるステップ３）は、具体的には、生成される画像に対して、オリジナルラベルがリアルラベルであることを直接的に考えられないステップと、観察されたノイズラベルに対して、ノイズラベルとリアルラベルの前の移行確率を学習する必要があるステップと、すべてのトレーニング画像に対して、オリジナルデータのラベルがクリーンであるが、生成されるデータのラベルが雑音であると考えられるステップと、観察ラベルに対して、分布を所定し、ＥＭアルゴリズムを用いて暗示パラメータを求めるステップとを含む。
【0037】
以上の７つのステップにおけるステップ４）は、具体的には、生成対抗ネットワーク（ＧＡＮ）が二人ゼロサムゲームの考え方を採用し、それが生成ネットワークと判別ネットワークの二つの部分で構成されることを含む。ＧＡＮは、オリジナルデータセットを学習し且つ画像を生成するために用いられ、判別器ネットワークは、入力画像がリアル（オリジナルデータセット）であるか又は偽物（生成器ネットワークによって生成される）であるかを判定するために用いられる。同時に二つのネットワークをトレーニングする。目的は、判別モデルが生成される画像のリアル性を区別できないようにすることである。本発明の技術的解決手段において、条件ＧＡＮ［１５］を用いて、ターゲットを最適化する数学表現式は、以下の数式７であり、式において、ｘが遮蔽画像であり、ｙがターゲット画像であり、ＤとＧがそれぞれ判別器ネットワークと生成器ネットワークを表す。
【0038】
【数7】
【0039】
本発明の技術的解決手段において、ＲｅｓＮｅｔ５０ネットワーク構造に対して、ＳＧＤパラメータ選択が難しいことを解決するために、Ａｄａｍ最適化手法を用いてパラメータを自動的に調整する。Ｄｒｏｐｏｕｔ対策を用いてオーバーフィッティング状況の発生を避け、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎを用いてネットワークの収束速度を上げる。
【0040】
そのうち、ネットワーク超パラメータの調整及び初期化は、多くの実験経験に基づき、その特徴は、トレーニング総サイクル（ｅｐｏｃｈ）を１５０に設定し、重み付け減衰パラメータ（ｗｅｉｇｈｔ ｄｅｃａｙ）を０．０００５に設定し、バッチサイズ（ｂａｔｃｈ ｓｉｚｅ）を１８０に設定し、学習率更新方式が以下の数式８であり、式において、
が学習率であることである。
【0041】
【数8】
【0042】
以上の７つのステップにおけるステップ７）は、具体的には、ＰｙＴｏｒｃｈが動的画像の形式を採用し、自分のネットワーク構築の考え方を実現しやすいことを含む。
【0043】
２．実際の実施
本発明の実施例は、以下のように実現され、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術であり、前記技術は、以下を含む。
参照用データセットに対してデータ前処理を行ってデータ拡充を行う必要があり、以下のようないくつかのデータ処理方式を使用する。
1)データセットにおいてランダムに複数の画像を抽出して付加的ガウスノイズ処理を行う。
2)データセットにおいてランダムに複数の画像を抽出し、その上に一つの長方形の遮蔽ブロックをランダムに追加し、且つ２ｃｍから５ｃｍの領域の長さと幅をランダムに選択する。長方形がＰｅｒｓｏｎ画像を可能な限り遮蔽するように、画像を左から右へ三つの列に分け、且つ中央列においてマトリックスの中心をランダムに選択する。遮蔽ブロックのＲ、Ｇ及びＢチャネルのピクセル値は０２５５であり、且つデータセットにおける平均値である。Ｍａｒｋｅｔ－１５０１データセットにおいて、ピクセルの平均値は、８９．３、１０２．５及び９８．７であり、Ｃｙｃｌｅ ＧＡＮによって遮蔽画像に対して回復を行う。
本発明の実施例は、以下のように実現され、ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術であり、前記技術は、以下を含む。
参照用データセットに対してデータ前処理を行ってデータ拡充を行う必要があり、以下のようないくつかのデータ処理方式を使用する。
1)データセットにおいてランダムに複数の画像を抽出して付加的ガウスノイズ処理を行う。
2)データセットにおいてランダムに複数の画像を抽出し、その上に一つの長方形の遮蔽ブロックをランダムに追加し、且つ２ｃｍから５ｃｍの領域の長さと幅をランダムに選択する。長方形がＰｅｒｓｏｎ画像を可能な限り遮蔽するように、画像を左から右へ三つの列に分け、且つ中央列においてマトリックスの中心をランダムに選択する。遮蔽ブロックのＲ、Ｇ及びＢチャネルのピクセル値は０２５５であり、且つデータセットにおける平均値である。Ｍａｒｋｅｔ－１５０１データセットにおいて、ピクセルの平均値は、８９．３、１０２．５及び９８．７であり、Ｃｙｃｌｅ ＧＡＮによって遮蔽画像に対して回復を行う。
【0044】
トレーニングデータにおいてランダムに複数枚の画像を抽出して水平反転、付加的ノイズ、ランダム消去等の処理を行う。それとともに、Ｍａｒｋｅｔ１５０１データセットにおける６つのｃａｍｅｒａに対して、異なるｃａｍｅｒａ間の画像をＣｙｃｌｅ ＧＡＮを用いてｃａｍｅｒａスタイルマイグレーションを行い、データセットを倍増させる。
【0045】
データセットに対して対応する組織と上記データ処理を行った後、パラメータ及び時間面の配慮により、ＲｅｓＮｅｔ５０を基準ネットワークモデルとして使用し、画像をコンボリューショナルニューラルネットワーク（ＲｅｓＮｅｔ５０）に入力して特徴抽出を行う。Ｍａｒｋｅｔ１５０１は、データ量が比較的に大きな歩行者データセットに属するため、ＩｍａｇｅＮｅｔにおいて予めトレーニングされたネットワークモデルを用いて抽出を行う。
【0046】
ネットワークトレーニング全体に対して、ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｌｏｓｓとｒａｎｋｅｄ ｌｉｓｔ ｌｏｓｓを融合させる方式で共同トレーニングを行い、モデル全体は、三つのブランチの特徴学習構造を含む。各ブランチ特徴によって画像の特徴図を抽出して得て、その後共同の損失によってネットワークトレーニング、重み付け更新を行う。
【0047】
ラベルノイズチャネルに対して、生成される画像に対して、オリジナルラベルがリアルラベルであることを直接に考えられない。観察されたノイズラベルに対して、ノイズラベルとリアルラベルの前の移行確率を学習する必要があり、オリジナルデータのラベルがクリーンであるが、生成されるデータのラベルがノイズであると考えられる。観察ラベルに対して、以下の分布（数９）を定義する。
【0048】
【数9】
【0049】
式において、
【0050】
分布を所定し、ＥＭアルゴリズムによって暗示パラメータを計算し、Ｅステップで、パラメータを固定し且つ移行確率を予測する。
【0051】
【数10】
【0052】
式において、
【0053】
Ｍステップで、パラメータを更新する。
【0054】
【数11】
【0055】
【0056】
最後に、ターゲット関数は、以下の数式１２として表示することができ、式において、
は、ＥＭアルゴリズムにおいて採用されるターゲット関数を表す。
【0057】
【数12】
【0058】
本発明は、Ｍａｒｋｅｔ－１５０１データセットにおいて現段階で最も良い識別結果を達成し、Ｍａｒｋｅｔ－１５０１データセットにおける結果が表１に示される。
【0059】
【表1】
【0060】
図３に示すように、評価計算によって、本発明によって提案されるノイズチャネルに基づくランダム遮蔽回復の歩行者再識別技術は、Ｍａｒｋｅｔ１５０１データセット（ｒｅ－ｒａｎｋｉｎｇを使用せず）においてｍＡＰが７０．１であり、ｒａｎｋ１が８６．６であり、ｒａｎｋ５が９４．６である。それとともに、他のデータセットにおいてよい実験効果も取得した。
【0061】
以上に記載しているのは、本発明の具体的な実施形態に過ぎないが、本発明の保護範囲は、これに限定されるものではなく、当業者であれば、本発明によって掲示された技術的範囲内において、様々な等価な修正又は置換を容易に想到でき、これらの修正又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は、請求項の保護範囲に準ずるものとする。
【図1】
【図2】
【図3】
