特許 7203889 画像処理方法と画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-04

(45)【発行日】2023-01-13

(54)【発明の名称】画像処理方法と画像処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230105BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 9

(21)【出願番号】P 2021071358

(22)【出願日】2021-04-20

(65)【公開番号】P2021174550

(43)【公開日】2021-11-01

【審査請求日】2021-04-20

(31)【優先権主張番号】202010343996.1

(32)【優先日】2020-04-27

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】596039187

【氏名又は名称】台達電子工業股▲ふん▼有限公司

【氏名又は名称原語表記】ＤＥＬＴＡ ＥＬＥＣＴＲＯＮＩＣＳ，ＩＮＣ．

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(72)【発明者】

【氏名】陳 冠文

(72)【発明者】

【氏名】陳 柏亨

(72)【発明者】

【氏名】駱 昭旭

(72)【発明者】

【氏名】黄 翊庭

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１９／２２６６８６（ＷＯ，Ａ２）

【文献】特開２０１９－０８３００２（ＪＰ，Ａ）

【文献】特表２０２０－５２４３４９（ＪＰ，Ａ）

【文献】米国特許第１０５９２７３２（ＵＳ，Ｂ１）

【文献】国際公開第２０２０／０６１４８９（ＷＯ，Ａ１）

【文献】Fahim Irfan Alam et al.，TRIPLET CONSTRAINED DEEP FEATURE EXTRACTION FOR HYPERSPECTRAL IMAGE CLASSIFICATION，2018 9th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHISPERS)，IEEE，2018年09月23日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8747227

【文献】Xiankai Lu et al.，See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，IEEE，2019年06月15日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8953755

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

画像データー処理装置により特徴抽出モデル（ＩＦ－ＮＥＴ）に基づいて複数の画像データーを分析して、前記画像データーに対応する特徴ベクトル集合を生成し、ただし、前記画像データーが前記特徴ベクトル集合における少なくとも１つの第１の特徴ベクトルに関する複数の第１の画像データー、及び前記特徴ベクトル集合における少なくとも１つの第２の特徴ベクトルに関する複数の第２の画像データーを含む工程と、
前記画像データー処理装置により前記特徴抽出モデルに基づいて前記第１の画像データーと前記第２の画像データーから対応する第１のトレーニング画像ブロックグループ及び第２のトレーニング画像ブロックグループをそれぞれ選択し、前記第１のトレーニング画像ブロックグループ及び前記第２のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも１つの損失関数値を生成する工程と、
前記少なくとも１つの損失関数値に基づいて前記特徴抽出モデルを調整する工程と、
を備え、
前記第１のトレーニング画像ブロックグループを選択する工程は、
前記第１の画像データーの複数のポジティブ画像ブロックから、前記第１の画像データーのアンカー画像ブロックと一致する程度が最も低い少なくとも１つのポジティブ画像ブロックを選択して、前記第１のトレーニング画像ブロックグループとすることと、
前記第１の画像データーの複数のネガティブ画像ブロックから、前記第１の画像データーの前記アンカー画像ブロックと一致する程度が最も高い少なくとも１つのネガティブ画像ブロックを選択して、前記第１のトレーニング画像ブロックグループとすることと、
を含む画像処理方法。

【請求項2】

前記画像データー処理装置は調整された前記特徴抽出モデルに基づいて前記画像データーを分析する場合、前記第１の画像データーと前記第２の画像データーとの一致度が増加する請求項１に記載の画像処理方法。

【請求項3】

前記画像データー処理装置は、調整された前記特徴抽出モデルに基づいて、
前記第１の画像データーと前記第２の画像データーとの比較操作を行うことと、
前記比較操作の結果により空間測位操作を行うことと、
前記空間測位操作の結果により画像測位結果を出力することと、
を含む操作における少なくとも１つを行う請求項１～２の何れか１項に記載の画像処理方法。

【請求項4】

前記少なくとも１つの第１の特徴ベクトルは、画像観測角度及び画像観測距離における少なくとも１つに関し、前記少なくとも１つの第２の特徴ベクトルは、画像輝度、画像ガンマ値及び画像コントラストにおける少なくとも１つに関する請求項１～３の何れか１項に記載の画像処理方法。

【請求項5】

前記第２のトレーニング画像ブロックグループを選択する工程は、
前記第２の画像データーの複数のポジティブ画像ブロックから、前記第２の画像データーのアンカー画像ブロックと一致する程度が最も低い少なくとも１つのポジティブ画像ブロックを選択して、前記第２のトレーニング画像ブロックグループとすることと、
前記第２の画像データーの複数のネガティブ画像ブロックから、前記第２の画像データーの前記アンカー画像ブロックと一致する程度が最も高い少なくとも１つのネガティブ画像ブロックを選択して、前記第２のトレーニング画像ブロックグループとすることと、
を含む請求項１～４の何れか１項に記載の画像処理方法。

【請求項6】

前記第１のトレーニング画像ブロックグループ及び前記第２のトレーニング画像ブロックグループに対して演算を行う工程は、
外れ値損失関数により前記第１のトレーニング画像ブロックグループ及び前記第２のトレーニング画像ブロックグループに対して演算を行って、対応する前記少なくとも１つの損失関数値を生成することを含む請求項１～５の何れか１項に記載の画像処理方法。

【請求項7】

前記特徴抽出モデルを調整する工程は、
前記第１の画像データーと前記第２の画像データーを共有ディープニューラルネットワークモデルパラメーター（ｓｈａｒｅｄ－ｗｅｉｇｈｔ）の前記特徴抽出モデルに入力して、対応する異なる損失関数値をそれぞれ生成することと、
前記第１の画像データーと前記第２の画像データーに対応する異なる損失関数値を記憶して前記特徴抽出モデルにおける少なくとも１つのネットワークパラメータを更新することと、
を更に含む請求項１～６の何れか１項に記載の画像処理方法。

【請求項8】

複数の画像データーをキャプチャするための画像キャプチャ装置と、
前記画像キャプチャ装置に結合され、特徴抽出モデルに基づいて前記画像データーを分析して、前記画像データーに対応する特徴ベクトル集合を生成する画像データー処理装置と、
を備え、
前記画像データーは、前記特徴ベクトル集合における少なくとも１つの第１の特徴ベクトルに関する複数の第１の画像データー、及び前記特徴ベクトル集合における少なくとも１つの第２の特徴ベクトルに関する複数の第２の画像データーを含み、
前記画像データー処理装置は、特徴抽出モデルに基づいて、
複数の前記第１の画像データーの複数のポジティブ画像ブロックから、前記第１の画像データーのアンカー画像ブロックと一致する程度が最も低い少なくとも１つのポジティブ画像ブロックを選択して、第１のトレーニング画像ブロックグループとする工程と、
前記第１の画像データーの複数のネガティブ画像ブロックから、前記第１の画像データーの前記アンカー画像ブロックと一致する程度が最も高い少なくとも１つのネガティブ画像ブロックを選択して、前記第１のトレーニング画像ブロックグループとする工程と、
複数の前記第２の画像データーから対応する第２のトレーニング画像ブロックグループを選択し、前記第１のトレーニング画像ブロックグループ及び前記第２のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも１つの損失関数値を生成する工程と、
を行い、
前記特徴抽出モデルは、前記第１の画像データー及び前記第２の画像データーに対する演算による前記少なくとも１つの損失関数値により調整されるものである画像処理システム。

【請求項9】

前記第１の特徴ベクトルは、画像観測角度及び画像観測距離における少なくとも１つに関し、前記少なくとも１つの第２の特徴ベクトルは、画像輝度、画像ガンマ値及び画像コントラストにおける少なくとも１つに関する請求項８に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示内容は、画像処理方法と画像処理システムに関し、且つ特に深層学習による光線干渉防止マッチングに基づく画像処理方法と画像処理システムに関する。

【背景技術】

【0002】

特徴マッチング（Ｆｅａｔｕｒｅ Ｍａｔｃｈ）は、画像検索、カメラポジショニング等の多くのコンピュータビジョン分野で広く使用されている。画像の特徴は、スケール、方向、視野角、及び光線に対して非変性と唯一性を保持しなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、環境シーン類似性比較の分野において、既存の特徴マッチングシステム又は方法は光線の違いとシーンの視野の変化に対して最適化を行うことがないため、マッチング結果は期待どおりではない。

【課題を解決するための手段】

【0004】

本開示内容は、画像データー処理装置により特徴抽出モデルに基づいて複数の画像データーを分析して、上記画像データーに対応する特徴ベクトル集合を生成し、ただし、画像データーが特徴ベクトル集合における少なくとも１つの第１の特徴ベクトルに関する複数の第１の画像データー、及び特徴ベクトル集合における少なくとも１つの第２の特徴ベクトルに関する複数の第２の画像データーを含む工程と、画像データー処理装置により特徴抽出モデルに基づいて第１の画像データーと第２の画像データーから対応する第１のトレーニング画像ブロックグループ及び第２のトレーニング画像ブロックグループをそれぞれ選択し、第１のトレーニング画像ブロックグループ及び第２のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも１つの損失関数値を生成する工程と、少なくとも１つの損失関数値に基づいて特徴抽出モデルを調整して、そのため、画像データー処理装置は調整された特徴抽出モデルに基づいて画像データーを分析する場合、第１の画像データーと第２の画像データーとの一致度が増加する工程と、を備える画像処理方法を提供する。

【0005】

本開示内容は、複数の画像データーをキャプチャするための画像キャプチャ装置と、画像キャプチャ装置に結合され、特徴抽出モデルに基づいて画像データーにおける複数の第１の画像データーと複数の第２の画像データーとの比較操作を行い、且つ比較操作の結果により画像測位結果を出力することに用いられる画像データー処理装置と、を備え、第１の画像データーは少なくとも１つの第１の特徴に関し、第２の画像データーは少なくとも１つの第２の特徴に関し、特徴抽出モデルは第１の画像データー及び第２の画像データーに対する演算による少なくとも１つの損失関数値により調整されるものである画像処理システムを提供する。

【発明の効果】

【0006】

上記画像処理方法と画像処理システムにより、屋外シーンの光線の変化が大きい場合の特徴マッチングシステムの精度を改善することができる。

【図面の簡単な説明】

【0007】

【図1】いくつかの実施例による画像処理システムを示す模式図である。

【図2】いくつかの実施例による画像処理システムの動作を示すフロー図である。

【図3】いくつかの実施例による画像データーの分類模式図である。

【図4A】いくつかの実施例によるサンプルスクリーニングメカニズムを示す模式図である。

【図4B】いくつかの実施例によるサンプルスクリーニングメカニズムを示す模式図である。

【図5】いくつかの実施例によるグループ共有パラメーターの工程のフロー図である。

【発明を実施するための形態】

【0008】

下記は、図面を参照して実施例を挙げて詳しく説明したが、説明された具体的な実施例は、本発明を解釈するためのものだけであるが、本発明を限定するためのものではなく、構造や動作についての記述も、その実行の手順を限定するためのものではなく、素子から新たに組み合わせてなる構造、その等価な効果を持つ装置であれば、いずれも本発明の範囲に含まれる。

【0009】

全体の明細書と特許請求範囲に用いられる用語（ｔｅｒｍｓ）は、特に明記される以外、通常、用語ごとにこの分野、この開示の内容と特殊内容に使用される一般的な意味を持つ。当業者へ本開示に関する記述における規定外の案内を提供するように、本開示を記述するためのある用語について、以下又はこの明細書の別所で検討する。

【0010】

図１は、いくつかの実施例による画像処理システム１００を示す模式図である。図１に示すように、画像処理システム１００は画像キャプチャ装置１１０及び画像データー処理装置１２０を備える。画像データー処理装置１２０は画像キャプチャ装置１１０に結合される。画像処理システム１００は下記のような図３における複数の画像データー３００、例えば様々な異なる写真又はパターンをキャプチャし、画像データー処理装置１２０にストリーミングすることに用いられる。

【0011】

いくつかの実施例において、画像キャプチャ装置１１０は、スマートフォンのカメラレンズ、カメラレンズ、又はスクリーンショット機能を備えたプログラムソフトウェアによって実現することができる。

【0012】

いくつかの実施例において、画像データー処理装置１２０は、ノートブックコンピュータ、デスクトップコンピュータなどのコンピュータシステムによって実現することができる。

【0013】

いくつかの実施例において、画像データー処理装置１２０は、特徴抽出モデル１３０及びコマンドライブラリ１４０を含む。特徴抽出モデル１３０は画像データー処理装置１２０に事前構成されており、且つそのアーキテクチャがＩＦ－Ｎｅｔ（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の深層学習ネットワークアーキテクチャ上に構築されている。

【0014】

また、いくつかの実施例において、特徴抽出モデル１３０はＩＦ－Ｎｅｔにより深層学習の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）に基づいて特徴抽出モデル１３０によって生成された特徴記述子（ｄｅｓｃｒｉｐｔｏｒ）をトレーニングし、その学習やトレーニングにより適応性の高い特徴記述子を捜す。いくつかの実施例において、上記適応性の高い特徴記述子を使用して、屋外シーンの光差が大きく変化する場合の特徴マッチングエラーを解決することができる。

【0015】

いくつかの実施例において、コマンドライブラリ１４０には、画像データー処理装置１２０におけるプロセッサ（未図示）によってアクセス及び実行される演算コマンドが記憶される。

【0016】

図２は、いくつかの実施例による画像処理システム１００の動作を示すフロー図である。図２に示すように、画像処理システム１００の動作フローは、工程Ｓ２１０、工程Ｓ２２０、工程Ｓ２３０、工程Ｓ２４０、工程Ｓ２５０、工程Ｓ２６０及び工程Ｓ２７０を含む。明らかに説明しやすくするために、図２に示す画像処理方法２００は図１を参照して説明されるが、これに限定されない。

【0017】

工程Ｓ２１０において、画像キャプチャ装置１１０は、現在の環境画像をキャプチャして画像データー３００（図３のように）として画像データー処理装置１２０に入力する。次に、工程Ｓ２２０において、画像データー処理装置１２０が特徴抽出モデル１３０をロードし、工程Ｓ２３０において環境シーンモデルをロードする。

【0018】

工程Ｓ２４０において、それぞれ環境シーンモデルと画像データー３００から環境特徴を抽出し、工程Ｓ２５０において画像データー処理装置１２０により画像データー３００に対して環境特徴の類似性の比較操作を行う。次に、工程Ｓ２６０において、画像データー処理装置１２０は工程Ｓ２５０における比較結果により空間測位を行い、工程Ｓ２７０において上記空間測位により画像測位結果を出力する。

【0019】

いくつかの実施例において、工程Ｓ２４０において、画像データー処理装置１２０は特徴抽出モデル１３０に基づいて複数の画像データー３００を分析して、画像データー３００に対応する特徴ベクトル集合を生成する。画像データー３００は、以下の図３の、上記特徴ベクトル集合における少なくとも１つの第１の特徴ベクトルに関する複数の第１の画像データー３１０、及び上記特徴ベクトル集合における少なくとも１つの第２の特徴ベクトルに関する複数の第２の画像データー３２０を含む。以下、図３を参照して例を挙げて説明する。

【0020】

図３は、いくつかの実施例による画像データー３００の分類模式図である。第１の画像データー３１０は異なる観測距離又は観測角度での画像データーを含み、第２の画像データー３２０は異なる輝度又は光線で観測された画像データーを含み、ただし、暗い光線又は暗い輝度で観測された画像データーは図３の図面に斜線で塗りつぶされている。言い換えれば、いくつかの実施例において、上記少なくとも１つの第１の特徴ベクトルは画像観測角度及び画像観測距離における少なくとも１つに関し、上記少なくとも１つの第２の特徴ベクトルは画像輝度、画像ガンマ値及び画像コントラストにおける少なくとも１つに関する。

【0021】

上記のように、環境特徴の類似性の比較の分野において、従来技術における特徴抽出モデル１３０は光線の違いとシーンの視野の変化に対する干渉抵抗が低いため、マッチング結果が期待どおりではない。したがって、本開示内容は、特徴抽出モデル１３０を調整してマッチング結果を向上させる画像処理方法を提供する。

【0022】

いくつかの実施例において、上記画像処理方法は、画像データー処理装置１２０により特徴抽出モデル１３０に基づいて第１の画像データー３１０と第２の画像データー３２０から対応する第１のトレーニング画像ブロックグループ及び第２のトレーニング画像ブロックグループをそれぞれ選択することを含む。以下、図４を参照して例を挙げて説明する。

【0023】

図４Ａと図４Ｂは、いくつかの実施例によるサンプルスクリーニングメカニズム４００を示す模式図である。図４Ａを参照して、いくつかの実施例において、画像データー処理装置１２０はサンプルスクリーニングメカニズム４００により第１の画像データー３１０と第２の画像データー３２０から第１のトレーニング画像ブロックグループ及び第２のトレーニング画像ブロックグループを選択する。

【0024】

いくつかの実施例において、第１の画像データー３１０と第２の画像データー３２０においてそれぞれアンカー画像ブロック（ａｎｃｈｏｒ）、複数のポジティブ画像ブロック（ｐｏｓｉｔｉｖｅ）と複数のネガティブ画像ブロック（ｎｅｇａｔｉｖｅ）を有する。ポジティブ画像ブロックとアンカー画像ブロックとの間に高いマッチング値があるため、ポジティブ画像ブロックとアンカー画像ブロックとの間に短いユークリッド距離を有する。ポジティブ画像ブロックと対照的に、ネガティブ画像ブロックとアンカー画像ブロックとの間に低いマッチング値がある。したがって、ネガティブ画像ブロックとアンカー画像ブロックとの間に長いユークリッド距離を有する。

【0025】

また、いくつかの実施例において、図４Ｂに示すように、上記ユークリッド距離は、特徴抽出モデル１３０によって生成された特徴記述子を測定することに基づいて出力された画像ブロックとの間の距離である。例として、ポジティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合は、特徴記述子の空間で短いユークリッド距離Ｌ１を有するが、ネガティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合との間には、長いユークリッド距離Ｌ２を有する。

【0026】

上記のように、異なる実施例において、トレーニングされた特徴抽出モデル１３０によって生成された特徴記述子を測定して出力された画像ブロックとの間の距離は変化する。例として、ポジティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合は、特徴記述子の空間でユークリッド距離Ｌ１よりも小さいユークリッド距離Ｌ３を有するが、ネガティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合との間には、ユークリッド距離Ｌ２よりも大きいユークリッド距離Ｌ４を有する。言い換えれば、トレーニングされた特徴抽出モデル１３０に基づいて画像データー処理装置１２０によって抽出された特徴は、もとより高いマッチング程度を有する。

【0027】

したがって、いくつかの実施例において、画像データー処理装置１２０が第１のトレーニング画像ブロックグループを選択する工程は、第１の画像データー３１０の複数のポジティブ画像ブロックから、第１の画像データー３１０のアンカー画像ブロックと一致する程度が最も低い少なくとも１つのポジティブ画像ブロックを選択して第１のトレーニング画像ブロックグループとすることと、第１の画像データー３１０の複数のネガティブ画像ブロックから、第１の画像データー３１０のアンカー画像ブロックと一致する程度が最も高い少なくとも１つのネガティブ画像ブロックを選択して第１のトレーニング画像ブロックグループとすることと、を含む。言い換えれば、第１のトレーニング画像ブロックグループは、第１の画像データー３１０におけるアンカー画像ブロックとのユークリッド距離が最も長いポジティブ画像ブロックと、第１の画像データー３１０におけるアンカー画像ブロックとのユークリッド距離が最も短いネガティブ画像ブロックと、を含む。

【0028】

別の実施例において、画像データー処理装置１２０が第２のトレーニング画像ブロックグループを選択する工程は、第２の画像データー３２０の複数のポジティブ画像ブロックから、第２の画像データー３２０のアンカー画像ブロックと一致する程度が最も低い少なくとも１つのポジティブ画像ブロックを選択して第２のトレーニング画像ブロックグループとすることと、第２の画像データー３２０の複数のネガティブ画像ブロックから、第２の画像データー３２０のアンカー画像ブロックと一致する程度が最も高い少なくとも１つのネガティブ画像ブロックを選択して第２のトレーニング画像ブロックグループとすることと、を含む。言い換えれば、第２のトレーニング画像ブロックグループは、第２の画像データー３２０におけるアンカー画像ブロックとのユークリッド距離が最も長いポジティブ画像ブロックと、第２の画像データー３２０におけるアンカー画像ブロックとのユークリッド距離が最も短いネガティブ画像ブロックと、を含む。

【0029】

上記実施例で説明された工程により、アンカー画像ブロックとネガティブ画像ブロックとの間のユークリッド距離を効果的に最大化することができ、そしてアンカー画像ブロックとポジティブ画像ブロックとの間のユークリッド距離を短縮することができ、その結果、特徴抽出モデル１３０は、より代表的な特徴記述子を生成することができる。

【0030】

いくつかの実施例において、画像データー処理装置１２０は、コマンドライブラリ１４０における演算コマンドを実行して第１のトレーニング画像ブロックグループ及び第２のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも１つの損失関数値を生成する。上記演算を行う工程は、外れ値損失関数により第１のトレーニング画像ブロックグループ及び第２のトレーニング画像ブロックグループに対して演算を行って、少なくとも１つの損失関数値を生成することを含む。ただし、外れ値損失関数は、以下の公式で示される。

【数1】

（Ｌは損失関数値であり、ｎは画像ブロックの総数であり、ｗ_ｐとｗ_ｎは重み値であり、ｄ_Ｍ（ａ_ｉ、ｐ_ｉ）はアンカー画像ブロックとポジティブ画像ブロックとのユークリッド距離を示し、ｄ_ｍ（ａ_ｉ、ｎ_ｉ）はアンカー画像ブロックとネガティブ画像ブロックとのユークリッド距離を示す。）

【0031】

重み値ｗ_ｐは同じバッチ（ｂａｔｃｈ）の画像データー３００のポジティブ画像ブロックとアンカー画像ブロックとの間のユークリッド距離の平均であり、重み値ｗ_ｎは同じバッチのネガティブ画像ブロックとアンカー画像ブロックとの間のユークリッド距離の平均である。以下の公式で示される。

【数2】

【0032】

上記のように、同じバッチの演算を行うデーターグループにおいてノイズ（ｎｏｉｓｅ）が混入されると、上記ノイズがトレーニングデーターに対して外れ値であり、トレーニングパフォーマンスに影響を与える。したがって、いくつかの実施例において、上記損失関数値は、トレーニングプロセス中に特徴抽出モデル１３０をより効果的に収束する効果を達成するように、トレーニングプロセス中にＩＦ－Ｎｅｔディープネットワークをトレーニングする時のノイズの影響を減らすことができる。

【0033】

いくつかの実施例において、画像処理方法は、上記少なくとも１つの損失関数値により特徴抽出モデル１３０を調整して、これにより、調整された特徴抽出モデル１３０に基づいて画像データー処理装置１２０が画像データー３００を分析する場合、第１の画像データー３１０と第２の画像データー３２０との一致度が増加することを含む。

【0034】

また、いくつかの実施例において、調整特徴抽出モデル１３０の工程は、第１の画像データー３１０と第２の画像データー３２０を共有ディープニューラルネットワークモデルパラメーター（ｓｈａｒｅｄ－ｗｅｉｇｈｔ）の特徴抽出モデル１３０に入力して、対応する異なる損失関数値をそれぞれ生成することと、第１の画像データーと第２の画像データーに対応する異なる損失関数値を記憶して特徴抽出モデル１３０における少なくとも１つのネットワークパラメータを更新することと、を更に含む。以下図５を参照して例を挙げて説明する。

【0035】

図５は、いくつかの実施例によるグループ共有パラメーターの工程５００のフロー図である。図５に示すように、いくつかの実施例において、画像データー処理装置１２０は、特徴抽出モデル１３０に基づいてコマンドライブラリ１４０における演算コマンドをアクセスして第１の画像データー３１０に対して演算を行って、第１の損失関数値を生成し、且つ第２の画像データー３２０に対して演算を行って、第２の損失関数値を生成する。画像データー処理装置１２０は、第１の損失関数値と第２の損失関数値を記憶して特徴抽出モデル１３０におけるネットワークパラメータを更新する。

【0036】

いくつかの実施例において、第１の画像データー３１０と第２の画像データー３２０をそれぞれ共有ディープニューラルネットワークモデルパラメーター（ｓｈａｒｅｄ－ｗｅｉｇｈｔ）のＩＦ－Ｎｅｔに入力して、ネットワークパラメータを一括で更新する上記のような方法は、特徴抽出モデル１３０に、異なるタイプのデーターに対する処理能力をより効果的に持たせることができる。

【0037】

いくつかの実施例において、画像データー処理装置１２０は、調整された特徴抽出モデル１３０に基づいて、例えば第１の画像データー３１０と第２の画像データー３２０に対して上記工程Ｓ２５０の比較操作を行うことと、上記のような比較操作の結果により工程Ｓ２７０の空間測位の操作を行うことと、空間測位の操作の結果により画像測位結果を出力することと、を含む操作における少なくとも１つを行う。

【0038】

上記のように、画像データー処理装置１２０は、調整された特徴抽出モデル１３０に基づいて工程Ｓ２５０において、画像データー３００のマッチング程度を向上させ、且つ工程Ｓ２７０における画像測位の結果もより正確になる。以下のような表（１）は、本開示内容における実施例によって生成されたマッチング程度のデーター比較表である。

【表1】

光線又はシーンの変化が大きい場合、特徴抽出モデル１３０が画像データー３００から抽出された特徴数量比率により正確率を判断して、表（１）から明らかにわかるように、本開示内容に提出された画像処理方法とシステムは、マッチングの正確率を向上させることができる。

【0039】

本開示内容は実施形態を前述の通りに開示したが、本開示内容を限定するものではなく、当業者であれば、本開示内容の精神と範囲から逸脱しない限り、多様の変更や修飾を加えることができる。従って、本開示内容の保護範囲は、下記特許請求の範囲で指定した内容を基準とするものである。

【符号の説明】

【0040】

１１０：画像キャプチャ装置
１２０：画像データー処理装置
１３０：特徴抽出モデル
１４０：コマンドライブラリ
２００：画像処理方法
Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６０、Ｓ２７０：工程
３００：画像データー
３１０：第１の画像データー
３２０：第２の画像データー
４００：サンプルスクリーニングメカニズム
Ｌ１～Ｌ４：ユークリッド距離
５００：グループ共有パラメーター工程

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】