特開 2023-38885 画像処理方法及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023038885

(43)【公開日】2023-03-17

(54)【発明の名称】画像処理方法及び画像処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230310BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2021214130

(22)【出願日】2021-12-28

(31)【優先権主張番号】202111042576.0

(32)【優先日】2021-09-07

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】596039187

【氏名又は名称】台達電子工業股▲ふん▼有限公司

【氏名又は名称原語表記】ＤＥＬＴＡ ＥＬＥＣＴＲＯＮＩＣＳ，ＩＮＣ．

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】▲黄▼▲ヨク▼庭

(72)【発明者】

【氏名】陳柏亨

(72)【発明者】

【氏名】楊▲暁▼▲サイ▼

(72)【発明者】

【氏名】陳冠文

(72)【発明者】

【氏名】陳永昇

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096EA39

5L096FA06

5L096FA09

5L096FA59

5L096FA66

5L096FA69

5L096GA51

5L096HA11

5L096JA03

5L096KA04

(57)【要約】

【課題】画像処理方法及び画像処理システムを提供する。
【解決手段】ニューラルネットワーク装置によって複数の画素ユニットを含む原始画像を受信する工程と、前記画素ユニットを分析して、前記画素ユニットにおける複数のキーポイントユニットを取得する工程と、原始画像における前記キーポイントユニットに基づいて、複数の局所特徴データを発生させる；原始画像における前記画素ユニットに基づいて、全域特徴データを発生させる工程と、前記局所特徴データ及び前記全域特徴データに合わせて、原始画像に対応する特徴記述データを発生させる工程と、を備える画像処理方法。
【選択図】図２Ａ

【特許請求の範囲】

【請求項1】

ニューラルネットワーク装置によって、複数の画素ユニットを含む原始画像を受信する工程と、
前記画素ユニットを分析して、前記画素ユニットにおける複数のキーポイントユニットを取得する工程と、
前記原始画像における前記キーポイントユニットに基づいて、複数の局所特徴データを発生させる工程と、
前記原始画像における前記画素ユニットに基づいて、全域特徴データを発生させる工程と、
前記局所特徴データ及び前記全域特徴データに合わせて、前記原始画像に対応する特徴記述データを発生させる工程と、
を備える画像処理方法。

【請求項2】

前記特徴記述データと被比較画像の被比較特徴記述データとを比較して、特徴類似性を取得する工程を更に備える請求項１に記載の画像処理方法。

【請求項3】

前記特徴記述データに基づいて、サーバにおける立体シーンモデルを作成、修正又は調整する工程を更に備える請求項１又は２に記載の画像処理方法。

【請求項4】

前記キーポイントユニットの何れかは、前記原始画像における前記画素ユニット間の差異が所定値よりも大きい領域である請求項１～３の何れか１項に記載の画像処理方法。

【請求項5】

前記キーポイントユニットの何れかは、前記画素ユニットにおける物品の縁部を表示するための部分である請求項１～３の何れか１項に記載の画像処理方法。

【請求項6】

前記局所特徴データを発生させる方法は、
前記原始画像からそれぞれ前記キーポイントユニットの何れを含む複数のキーポイントサブ画像を抽出する工程と、
前記キーポイントサブ画像を前記局所特徴データに転換する工程と、
を含む請求項１～５の何れか１項に記載の画像処理方法。

【請求項7】

前記原始画像から前記キーポイントサブ画像を抽出する方法は、
前記原始画像における、抽出領域の中心である前記キーポイントユニットの何れかに対応する前記抽出領域を抽出して、前記キーポイントサブ画像を発生させる工程を含む請求項６に記載の画像処理方法。

【請求項8】

前記キーポイントサブ画像は、物品テクスチャを記録することに用いられる請求項６又は７に記載の画像処理方法。

【請求項9】

原始画像を受信し、且つ前記原始画像における複数の画素ユニットを分析して、複数のキーポイントユニットを取得するためのキーポイント分析ニューラルネットワークと、
前記キーポイント分析ニューラルネットワークに電気的接続され、前記キーポイントユニットに基づいて、複数の局所特徴データを発生させるための局所特徴ニューラルネットワークと、
前記原始画像を受信して、前記原始画像における前記画素ユニットに基づいて、全域特徴データを発生させるための全域特徴ニューラルネットワークと、を含むニューラルネットワーク装置と、
前記局所特徴ニューラルネットワーク及び前記全域特徴ニューラルネットワークに電気的接続され、前記局所特徴データ及び前記全域特徴データに合わせて、前記原始画像に対応する特徴記述データを発生させるための処理装置と、
を備える画像処理システム。

【請求項10】

前記処理装置は、更に、前記特徴記述データと被比較画像の被比較特徴記述データとを比較して、特徴類似性を取得することに用いられる請求項９に記載の画像処理システム。

【請求項11】

前記処理装置は、更に、前記特徴記述データに基づいて、立体シーンモデルを作成、修正又は調整することに用いられる請求項９又は１０に記載の画像処理システム。

【請求項12】

前記キーポイントユニットの何れかは、前記原始画像における前記画素ユニット間の差異が所定値よりも大きい領域である請求項９～１１の何れか１項に記載の画像処理システム。

【請求項13】

前記キーポイントユニットの何れかは、前記画素ユニットにおける物品の縁部を表示するための部分である請求項９～１１の何れか１項に記載の画像処理システム。

【請求項14】

前記ニューラルネットワーク装置は、
前記原始画像からそれぞれ前記キーポイントユニットの何れを含む複数のキーポイントサブ画像を抽出するためのキーポイント分析モジュールを更に含み、
前記局所特徴ニューラルネットワークは、前記キーポイントサブ画像を前記局所特徴データに転換する請求項９～１３の何れか１項に記載の画像処理システム。

【請求項15】

前記キーポイント分析モジュールは、前記原始画像における、抽出領域の中心である前記キーポイントユニットの何れかに対応する前記抽出領域を抽出して、前記キーポイントサブ画像を発生させることに用いられる請求項１４に記載の画像処理システム。

【請求項16】

前記キーポイントサブ画像は、物品テクスチャを記録することに用いられる請求項１４又は１５に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示内容は、画像に示される内容を分析し比較するための画像処理方法及び画像処理システムに関する。

【背景技術】

【0002】

「特徴比較（Ｆｅａｔｕｒｅ Ｍａｔｃｈ；特徴マッチ）」は、コンピュータビジョンの適用における最も重要でよく見られる技術方法の一つである。従来の特徴比較方法は、画像を分析する場合、しばしばあまりにも多すぎる特徴を除外することで、比較結果が不明瞭且つ不正確になる。また、特徴比較の演算過程の一部が予め定義されたパラメータに非常に依存するため、使用者は、通常、対応する独自のパラメータを設計するように、異なる検出項目に対して手動的に設定する必要がある。従って、特徴比較の技術では、改善や最適化の余地が十分ある。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示内容は、ニューラルネットワーク装置によって、複数の画素ユニットを含む原始画像を受信する工程と、前記画素ユニットを分析して、前記画素ユニットにおける複数のキーポイントユニットを取得する工程と、原始画像における前記キーポイントユニットに基づいて、複数の局所特徴データを発生させる工程と、原始画像における前記画素ユニットに基づいて、全域特徴データを発生させる工程と、前記局所特徴データ及び前記全域特徴データに合わせて、原始画像に対応する特徴記述データを発生させる工程と、を備える画像処理方法に関する。

【0004】

本開示内容は、更に、原始画像を受信し、且つ原始画像における複数の画素ユニットを分析して、複数のキーポイントユニットを取得するためのキーポイント分析ニューラルネットワークと、キーポイント分析ニューラルネットワークに電気的接続され、前記キーポイントユニットに基づいて、複数の局所特徴データを発生させるための局所特徴ニューラルネットワークと、原始画像を受信し、原始画像における前記画素ユニットに基づいて、全域特徴データを発生させるための全域特徴ニューラルネットワークと、を含むニューラルネットワーク装置と、局所特徴ニューラルネットワーク及び全域特徴ニューラルネットワークに電気的接続され、前記局所特徴データ及び前記全域特徴データに合わせて、原始画像に対応する特徴記述データを発生させるための処理装置と、を備える画像処理システムに関する。

【発明の効果】

【0005】

これにより、本開示内容は、原始画像の局所特徴データ及び全域特徴データを抽出して、特徴記述データを発生させるので、特徴記述データにおいて画像におけるミクロな差異（例えば、物品の縁部）とマクロな特徴（例えば、背景）とを両立させて、画像処理システムが特徴記述データに基づいて、画像認識をより正確且つ快速に完成することができる。

【図面の簡単な説明】

【0006】

【図1】本開示内容の一部の実施例による画像処理システムの模式図である。

【図2A】本開示内容の一部の実施例による画像処理システムの模式図である。

【図2B】原始画像及びキーポイントサブ画像の模式図である。

【図2C】原始画像及びキーポイントサブ画像の模式図である。

【図2D】原始画像及びキーポイントサブ画像の模式図である。

【図3】本開示内容の一部の実施例による画像処理方法の流れ図である。

【図4】特徴データに基づく画像形態による表現の模式図である。

【図5】本開示内容の一部の実施例による画像処理システムの模式図である。

【図6A】本開示内容の一部の実施例による画像処理方法及び他の処理方法の分析結果の比較図である。

【図6B】本開示内容の一部の実施例による画像処理方法及び他の処理方法の分析結果の比較図である。

【図6C】本開示内容の一部の実施例による画像処理方法及び他の処理方法の分析結果の比較図である。

【発明を実施するための形態】

【0007】

以下、図面で本発明の複数の実施形態を開示し、明確に説明するために、多くの実際的な細部を下記叙述で合わせて説明する。しかしながら、理解すべきなのは、これらの実際的な細部が、本発明を制限するように適用されるものではない。つまり、本発明の実施例において、これらの実際的な細部は必要なものではない。また、図面を簡略化するために、ある従来慣用の構造及び素子は、図面において簡単で模式的に示される。

【0008】

本明細書で、ある素子が「接続される」又は「結合される」と言われる場合、「電気的接続」又は「電気的結合」を指してよい。「接続」又は「結合」は、また、２つ又は複数の素子同士が互いに組み合わせて操作し又は対話することを表すことに用いられてもよい。また、本明細書では、「第一」、「第二」等の用語で異なる素子を記述するが、この用語は単に同じ技術用語で記述される素子又は操作を区別するためのものである。上下文で明示しない限り、この用語は、順序又は順位を特に指示又は示唆するものではなく、本発明を限定するためのものでもない。

【0009】

図１は、本開示内容の一部の実施例による画像処理システム１００を示す模式図である。画像処理システム１００は、ニューラルネットワーク装置１１０と、処理装置１２０と、を備える。一部の実施例において、ニューラルネットワーク装置１１０及び処理装置１２０は、同一の電子装置（例えば、サーバ２００）に設けられてよく、且つニューラルネットワーク装置１１０は複数のニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む。ニューラルネットワークは、ソフトウェア、ハードウェア又はそれらの組み合わせから構成されてよく、数学モデル又は計算モデルを形成するように、互いに連結される複数の人工ニューロンを含む。人工ニューロンの各々が演算パラメータ（例えば、関数演算の場合の重み値）を有するので、ニューラルネットワークの数学モデル又は計算モデルは、学習方法（Ｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄ）によって最適化される。ニューラルネットワーク装置１１０内の各ニューラルネットワークは機械学習又は深層学習によって常に更新及び最適化されることができ、ニューラルネットワークの原理については、当業者であれば理解できるので、ここで繰り返して説明しない。

【0010】

一実施例において、ニューラルネットワーク装置１１０は、キーポイント分析（Ｋｅｙｐｏｉｎｔ Ａｔｔｅｎｔｉｏｎ）ニューラルネットワーク１１１、局所特徴ニューラルネットワーク１１２及び全域特徴ニューラルネットワーク１１３を含む。キーポイント分析ニューラルネットワーク１１１は、原始画像Ｓｏを受信することに用いられ、原始画像Ｓｏは複数の画素ユニットを含む写真又は影画であってよい。「画素ユニット」とは、単一又は複数の画素であってよく、原始画像Ｓｏにおける一部の領域の色彩、輪郭又は階調を呈することに用いられる。キーポイント分析ニューラルネットワーク１１１は、原始画像Ｓｏにおける全ての画素ユニットを分析して、複数のキーポイントユニットＫｐ（ｋｅｙ ｐｏｉｎｔ）を取得することに用いられる。

【0011】

一実施例において、キーポイント分析ニューラルネットワーク１１１は、Ｔｒｉｐｌｅｔ Ｌｏｓｓ学習演算法によって、原始画像Ｓｏとマーク領域の損失関数を計算して、重要な特徴領域を最適化することができる。特徴マッチの正確性を著しく向上させるように、最適化された領域に高い重みを割り当てる。キーポイント分析ニューラルネットワーク１１１に使用される演算法は、Ｔｒｉｐｌｅｔ Ｌｏｓｓに限定されない。

【0012】

一実施例において、キーポイントユニットは、原始画像Ｓｏにおける複数の画素ユニット間の差異が所定値よりも大きい領域であってよい。例えば、画素ユニットＸと隣接する画素ユニットＹとの階調差異が３０％であり、予定値である１５％より大きいので、画素ユニットＸ及び画素ユニットＹは、１つのキーポイントユニットとして設定される。

【0013】

一実施例において、キーポイントユニットは、画素ユニットにおける物品の縁部を表示する部分であってもよい。例えば、画素ユニットＸは、「自動車の輪郭（例えば、車輪と道路との境界）」を表示することに用いられるので、１つのキーポイントユニットとして設定される。

【0014】

一実施例において、キーポイント分析ニューラルネットワーク１１１は、キーポイントユニットを分析するための「畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）」を含む。畳み込みニューラルネットワークは、「点」特徴の比較から「面」特徴の比較に転換するための複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）を含む。例としては、原始画像Ｓｏにおける、それぞれ異なる重みを有する画素の各々を中心として、ＮｘＮ個の画素の面積を抽出し、重み付け合計（ＮはＫｅｒｎｅｌ Ｓｉｚｅであり、ＮｘＮの行列重みは「畳み込みカーネル」と呼ばれる）を計算し、計算された値によって画素が「画素変化が顕著である」、「物品の縁部を呈する」等のキーポイントユニット（ｋｅｙ ｐｏｉｎｔ）であるかを判断することができる。畳み込みニューラルネットワークは、原始画像Ｓｏにおける最後の画素まで、画素の各々に対して順次に処理する。他の実施例において、畳み込みニューラルネットワークは、フィルタ（Ｆｉｌｔｅｒ）、プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）又は隠れ層（Ｄｅｎｓｅ）を更に含んでもよく、当業者であれは、畳み込みニューラルネットワークの組成と動作形態を理解できるので、ここで繰り返して説明しない。

【0015】

局所特徴ニューラルネットワーク１１２は、キーポイント分析ニューラルネットワーク１１１に電気的接続され、キーポイント分析ニューラルネットワーク１１１の発生したキーポイントユニットＫｐを受信することに用いられる。局所特徴ニューラルネットワーク１１２は、これらのキーポイントユニットＫｐに基づいて複数の局所特徴データＤｌを発生させる。一実施例において、「局所特徴データＤｌ」は、例えば５１２次元のベクトル群のような、ベクトル集合に属する。一部の実施例において、局所特徴ニューラルネットワーク１１２の生成した局所特徴データＤｌには、これらのキーポイントユニットＫｐに対応する座標情報（位置情報）を含む。

【0016】

全域特徴ニューラルネットワーク１１３は、原始画像Ｓｏを受信して、原始画像Ｓｏにおける全ての画素ユニットに基づいて、全域特徴データＤｇを発生させることに用いられる。全域特徴ニューラルネットワーク１１３の演算原理は、局所特徴ニューラルネットワーク１１２と同じであってよいが、その演算対象が全ての画素ユニットであり、原始画像Ｓｏ全体に対応する特徴記述（ｄｅｓｃｒｉｐｔｏｒ）を生成することに用いられる。全域特徴データＤｇもベクトル集合であってよい。

【0017】

前述の局所特徴データＤｌ及び全域特徴データＤｇの何れも画素の各々の特徴を記述するためのメッセージ集合であり、ベクトル次元で記録して格納する。特徴データＤｌ、Ｄｇのメッセージは、回転不変性及び尺度不変性を備えなければならない。つまり、特徴データの各々の記述メッセージは、画像の回転や拡縮によって変わることはない。

【0018】

処理装置１２０は、局所特徴ニューラルネットワーク１１２及び全域特徴ニューラルネットワーク１１３に電気的接続され、前記局所特徴データＤｌ及び全域特徴データＤｇに合わせて、原始画像Ｓｏに対応する特徴記述データＤｓを発生させることに用いられる。「特徴記述データＤｓ」は、キーポイントユニットＫｐに対応する特徴記述と座標情報（局所特徴データＤｌ）以外に、更に、原始画像Ｓｏの全体画面の特徴記述（全域特徴データＤｇ）を有する。

【0019】

処理装置１２０は、内部のマイクロプロセッサによって各種の演算を実行することができる。マイクロプロセッサは、マイクロコントローラ（ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ；ＡＳＩＣ）又は論理回路として実施されてもよい。同様に、ニューラルネットワーク装置１１０でも、マイクロプロセッサによってデータ演算を行う。

【0020】

具体的には、画像処理システム１００は、立体シーンモデルの構成されたサーバに適用することができる。立体シーンモデルは、複数枚の画像データから構成され、且つ同様に機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）又は深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）によって立体シーンモデルの精密度と正確度を向上させることができる。つまり、複数枚の原始画像Ｓｏの発生した複数の特徴記述データＤｓに基づいて、処理装置１２０は、サーバにおいて立体シーンモデルを作成、修正又は調整することができる。画像処理システム１００は、後で新しい１枚の被比較画像を受信すると、被比較画像の特徴記述データを分析してから、被比較画像の特徴記述データと各枚の原始画像Ｓｏの特徴記述データＤｓとを比較して、特徴類似性を取得する。特徴類似性が所定閾値よりも大きくなると、２枚の画像が同じシーン又は物品を記録すると見なされる。

【0021】

本開示内容の画像処理システム１００には、ベクトル特徴（例えば、特徴記述データＤｓ）と特徴点検出（例えば、キーポイントユニットＫｐ）が混合されることで形成する検出ネットワーク（Ｈｙｂｒｉｄ Ｄｅｓｃｒｉｐｔｏｒｓ ａｎｄ Ａｔｔｅｎｔｉｏｎ-ｂａｓｅｄ Ｄｅｔｅｃｔｏｒ Ｎｅｔｗｏｒｋ）。

【0022】

理解のために、以下、図２Ａ～図２Ｄ及び図３によって、本願の一実施例の動作形態を説明する。図２Ａ～図２Ｄは、本開示内容の一部の実施例による画像処理システム１００の適用形態を示す模式図であり、異なる画像を区分するために、図２Ａにおいて、原始画像をＳａ、Ｓｂで示す。図３は、本開示内容の一部の実施例による画像処理方法を示す流れ図である。

【0023】

例としては、画像処理システム１００は、サーバ２００に適用することに用いられ、且つサーバ内に「学校」のシーンを記録するための立体シーンモデルが構築される。工程Ｓ３０１において、サーバは、ネットワークによって、端末装置から原始画像Ｓａ（例えば、図２Ｂに示すような建物の写真）を受信する。サーバは、原始画像Ｓａをニューラルネットワーク装置１１０に入力する。

【0024】

一部の実施例において、画像処理システム１００は、カラー画像を有する又はDepth画像情報を含むハードウェア装置を使用することで、ストリーミングを行って原始画像Ｓａを受信することができる。

【0025】

工程Ｓ３０２において、キーポイント分析ニューラルネットワーク１１１は、原始画像Ｓａにおける全ての画素ユニットを分析して、複数のキーポイントユニットＫｐを取得する。前記のように、何れのキーポイントユニットＫｐは、隣接する複数の画素ユニット間の差異が所定値よりも大きい１つの局所領域、或いは物品の縁部（例えば、図２Ｃに示すように、建物の縁部輪郭であってよい）を表示するための一部の画素ユニットであってよい。

【0026】

キーポイント分析ニューラルネットワーク１１１が分析してキーポイントユニットＫｐを取得した後で、ニューラルネットワーク装置１１０は、まず原始画像Ｓａに対してキーポイントサブ画像抽出を行って、原始画像Ｓａから複数のキーポイントサブ画像Ｋｃを抽出してよい。

【0027】

キーポイントサブ画像抽出の概念は、画像情報を抽出して、画素ユニットの各々が１つの関心の特徴に属するかを決定し、原始画像Ｓａにおける画素ユニットを、異なるサブ集合、つまり「キーポイントサブ画像Ｋｃ」に分類することである。キーポイントサブ画像Ｋｃは、しばしば原始画像Ｓａにおける物品のテクスチャを呈するための部分に属し、例えば原始画像Ｓａにおける独立した点、連続した曲線或いは連続した領域を記録することに用いられる。

【0028】

以上をまとめると、キーポイントサブ画像Ｋｃの各々は、少なくとも１つのキーポイントユニットＫｐを含む。具体的には、工程Ｓ３０３において、キーポイント分析ニューラルネットワーク１１１は、キーポイントユニットＫｐをキーポイント分析モジュール１１４に伝送する。キーポイント分析モジュール１１４は、原始画像Ｓａから、前記キーポイントユニットＫｐの何れか１つに対応する抽出領域を抽出して、キーポイントサブ画像Ｋｃを発生させることに用いられる。抽出されたキーポイントユニットＫｐは、抽出領域の中心に位置する。

【0029】

図２Ｄは、その中の１つのキーポイントサブ画像Ｋｃを示す模式図である。例としては、キーポイント分析モジュール１１４は、原始画像Ｓａから１つのキーポイントユニットＫｐを見つける。前記キーポイントユニットＫｐを中心として設定し、外向きに１つの抽出領域（例えば、辺長６画素の矩形、又は辺長６画素の円状）を、キーポイントサブ画像Ｋｃとして設定する。

【0030】

工程Ｓ３０４において、局所特徴ニューラルネットワーク１１２は、キーポイント分析ニューラルネットワーク１１１の発生したキーポイントユニットＫｐ、或いはキーポイント分析モジュール１１４の発生したキーポイントサブ画像Ｋｃを受信する。次に、局所特徴ニューラルネットワーク１１２は、キーポイントユニットＫｐ又はキーポイントサブ画像Ｋｃを局所特徴データＤｌに転換する。局所特徴データＤｌは、キーポイントユニットＫｐの特徴を記述する一組のベクトル集合であってよい。

【0031】

工程Ｓ３０５において、全域特徴ニューラルネットワーク１１３（例えば、ＣＮＮ、ＤＮＮ、ＲＮＮ等によって演算法に合わせる）は、原始画像Ｓａにおける全ての画素ユニットに基づいて全域特徴データＤｇを発生させる。全域特徴データＤｇは、原始画像Ｓａの特徴を記述する一組のベクトル集合であってよい。工程Ｓ３０５は、工程Ｓ３０２-Ｓ３０４よりも早く、又は工程Ｓ３０２-Ｓ３０４と同期的に行なわれてよい。

【0032】

工程Ｓ３０６において、ニューラルネットワーク装置１１０は、全ての局所特徴データＤｌ及び前記全域特徴データＤｇに合わせて、原始画像Ｓａに対応する特徴記述データＤｓを発生させる。一部の実施例において、ニューラルネットワーク装置１１０は、局所特徴データＤｌ及び前記全域特徴データＤｇを処理装置１２０に伝送し、処理装置１２０は局所特徴データＤｌ及び前記全域特徴データＤｇに合わせて、特徴記述データＤｓを発生させてよい。特徴記述データＤｓのそれぞれは、原始画像Ｓａの局所特徴と整体特徴を含み、且つ非関心な画素（例えば、ノイズ）が除去されるので、画像処理システム１００はより正確に認識することができる。

【0033】

原始画像Ｓａに基づいて特徴記述データＤｓを発生させた後で、画像処理システム１００は、特徴記述データＤｓによって立体シーンモデルを構成することができる。他の実施例において、画像処理システム１００は、後で新しい１枚の被比較画像Ｓｂを受信すると、前述の工程Ｓ３０１～Ｓ３０６を行った後で、前記原始画像Ｓａの特徴記述データＤｓと被比較画像Ｓｂの被比較特徴記述データＤｓ'とを比較して取得した特徴類似性によって、２枚の画像が同じシーン又は物品を記録することに用いられるかを判断することができる。

【0034】

具体的には、図２Ａを参照すると、画像処理システム１００が被比較画像Ｓｂを受信すると、まず前述の工程Ｓ３０１～Ｓ３０６の処理方式と同じ原理によって、被比較画像Ｓｂに対応する被比較特徴記述データＤｓ'を発生させる。次に、処理装置１２０は、被比較特徴記述データＤｓ'と立体シーンモデルにおける全てのデータとを比較する。被比較特徴記述データＤｓ'と立体シーンモデルに格納された特徴記述データＤｓとの特徴が一致である（例えば、特徴類似性が７５％よりも大きい）と判断すると、被比較特徴記述データＤｓ'（被比較画像Ｓｂに対応する）と特徴記述データＤｓ（対応于原始画像Ｓａ）とが同じシーンの記録に属すると認定することができる。処理装置１２０は、これにより立体シーンモデルを更新又は調整すると共に、１つの画像位置決めするメッセージを、前記被比較画像Ｓｂを取り込む端末装置まで返信する。

【0035】

普通の画像比較方法において、比較の特徴として一部のわりに特別の画素しか選別しない可能性があり、あまりにも多すぎるメッセージを失って、且つ細部と空間との特徴区別を識別できない。また、少数の特徴のみを比較する画像比較方法は、機械が各枚の画像の相似モデルを識別できないので、機械学習モデルに適用できない。その同時に、あまりにも不明瞭な比較結果は、ウトライアー（ｏｕｔｌｉｅｒ）と見られ、演算過程で除外される。

【0036】

本開示内容の画像処理方法は、それぞれ１枚の原始画像における局所特徴と全域特徴を保留するので、生成された特徴記述データは、良好な頑健性を有し、且つ画像認識の正確性も改善される。例としては、２枚の画像の記録内容に少しくい違いがあっても（例えば、撮影角度が異なり、撮影時間が異なり、又は光強度が異なる）、画像処理システム１００は、相変わらず２枚の画像が同一の物品又はシーンを記録するかを正確に認識することができる。また、立体シーンモデルを構成するための全ての特徴記述データ（例えば、Ｄｓ、Ｄｓ'）も前述の工程Ｓ３０１～３０６で処理され、肝心な特徴記述しか保留されないので、処理装置１２０の画像認識を行う場合の演算量が軽減される。その同時に、サーバにおける格納空間をコンパクトすることもできる。

【0037】

図４は、本開示内容の一部の実施例による画像比較の模式図である。図に示すように、原始画像Ｓａには、複数のキーポイントユニットＫ３１、Ｋ３２が含まれる。被比較画像Ｓｂには、複数のキーポイントユニットＫ４１、Ｋ４２が含まれる。原始画像Ｓａと被比較画像Ｓｂとの画面が異なっているが、角度における差異にすぎない。つまり、原始画像Ｓａ、被比較画像Ｓｂは、それぞれ異なる角度で同一の物品を記録する。原始画像Ｓａ、被比較画像Ｓｂが前述の方法によって、分析して対応する特徴記述データＤｓ、Ｄｓ'を生成することができ、且つ特徴記述データＤｓ、Ｄｓ'が局所特徴データＤｌと全域特徴データＤｇを含むので、処理装置１２０が特徴記述データＤｓ、Ｄｓ'によって原始画像Ｓａ及び被比較画像Ｓｂを比較する場合、ミクロとマクロな特徴を両立させ、原始画像Ｓａ、被比較画像Ｓｂにおける複数のキーポイントユニットＫ３１～Ｋ３２及びＫ４１～Ｋ４２が互いに対応するかを判断して、原始画像Ｓａ、被比較画像Ｓｂが同一の物品に対応するかを確認することができる。

【0038】

図５は、本開示内容の別の一部実施例によるニューラルネットワーク装置１１０を示す模式図である。図５において、図１の実施例に関わる相似素子は、理解の便宜上、同じ参照番号で表し、且つ相似素子の具体的な原理については前の段落で詳しく説明したが、図５の素子と協働する紹介必要のあるものでなければ、ここで詳しく説明しない。

【0039】

一実施例において、キーポイント分析ニューラルネットワーク１１１は分析してキーポイントユニットＫｐを発生させ、局所特徴ニューラルネットワーク１１２は複数のキーポイントユニットＫｐの分布傾向に基づいて、原始画像Ｓｏから複数の領域を切り出し、且つ各領域の特徴最大値（中心）位置によってテンソル（ｔｅｎｓｏｒ）における拡大すべきである対応する位置を位置決めして、局所特徴データＤｌを抽出する。図５に示すように、キーポイント分析ニューラルネットワーク１１１は複数の演算子１１１ａ～１１１ｅを含む。演算子１１１ａは、全域特徴データＤｇを受信し、全域特徴データＤｇ内の通路に対して累積加算することに用いられる。演算子１１１ｂは、演算子１１１ａの計算結果を演算子１１１ｃ及び演算子１１１ｅに伝送する。演算子１１１ｃは、受信したデータ（つまり、原始画像Ｓｏ及び演算子１１１ｂの出力したデータ）に対して逆数の勾配計算を行い（偏導関数ｇｒａｄｉｅｎｔの計算）、且つ演算子１１１ｄによって、計算結果を演算子１１１ｅに伝送する。演算子１１１ｅは、受信したデータに対して内積計算を行う。

【0040】

図６Ａ～図６Ｃは、本開示内容の画像処理方法と他の方法の比較結果を示す。図６Ａは、演算法Ｄ２-Ｎｅｔ（Ａ ｔｒａｉｎａｂｌｅ ＣＮＮ ｆｏｒ ｊｏｉｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ａｎｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ｌｏｃａｌ ｆｅａｔｕｒｅｓ）による比較画像の結果である。図６Ｂは、演算法Ｒ２Ｄ２（ｒｅｐｅａｔａｂｌｅ ａｎｄ ｒｅｌｉａｂｌｅ ｄｅｔｅｃｔｏｒ ａｎｄ ｄｅｓｃｒｉｐｔｏｒ）による比較画像の結果である。図６Ｃは、本開示内容の画像処理方法による比較画像の結果である。３組のピクチャを比較すると、「異なる明暗差/異なる角度」で「同一のシーンを記録する」ピクチャを分析する場合、本開示内容の画像処理方法であれば、最も多くの特徴を比較し、且つ比較の誤りが極めて少ないことが知られている。

【0041】

前述の各実施例における各素子、方法工程又は技術特徴は、互いに合わせてよいが、本開示内容における文字の記述順序又は図面の呈する順序に限定されない。

【0042】

本発明は実施形態により前述の通りに開示されたが、これらに限定されなく、当業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えることができる。従って、本発明の保護範囲は、下記特許請求の範囲で指定した内容を基準とするものである。

【符号の説明】

【0043】

１００：画像処理システム
２００：サーバ
１１０：ニューラルネットワーク装置
１１１：キーポイント分析ニューラルネットワーク
１１１ａ-１１１ｅ：演算子
１１２：局所特徴ニューラルネットワーク
１１３：全域特徴ニューラルネットワーク
１１４：キーポイント分析モジュール
１２０：処理装置
Ｓｏ、Ｓａ、Ｓｂ：原始画像
Ｋｐ、Ｋ３１-ｋ３２、Ｋ４１-ｋ４２：キーポイントユニット
Ｋｃ：キーポイントサブ画像
Ｄｌ：局所特徴データ
Ｄｇ：全域特徴データ
Ｄｓ、Ｄｓ'：特徴記述データ

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】