特許 7444235 注意機構、画像認識システム、特徴変換方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】注意機構、画像認識システム、特徴変換方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240228BHJP

【ＦＩ】

G06T7/00 350Z

【請求項の数】 7

(21)【出願番号】P 2022504820

(86)(22)【出願日】2020-03-03

(86)【国際出願番号】 JP2020008953

(87)【国際公開番号】W WO2021176566

(87)【国際公開日】2021-09-10

【審査請求日】2022-08-17

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】福井 宏

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１８－１８１１２４（ＪＰ，Ａ）

【文献】特開２０１９－２００５１２（ＪＰ，Ａ）

【文献】WANG Xiaolong, et al.，Non-local Neural Networks，2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，米国，2018年

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

画像の特徴を示す特徴マップを取得する中間取得部と、
取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する埋込部と、
注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け部と、
逆畳み込み演算を用いて、前記重み付け特徴マップのスケールを逆変換する逆畳み込み部と、
逆変換された前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取る残差処理部と、
を有するコンピュータを備え、
前記埋込部は、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のクエリとして機能する埋込特徴マップを生成するクエリ埋込部と、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のキーとして機能する埋込特徴マップを生成するキー埋込部と、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のバリューとして機能する埋込特徴マップを生成するバリュー埋込部と、を備え、
前記重み付け部は、
前記クエリとして機能する埋込特徴マップと前記キーとして機能する埋込特徴マップとの行列積に基づいて、予測注意重み行列を算出する重み付け部と、
前記予測注意重み行列と前記バリューとして機能する埋込特徴マップとを用いて、行列積演算を行い、行列積演算の演算結果に基づいて行列変換を行うことで、前記重み付け特徴マップを生成する行列演算部とを備え、
前記残差処理部は、前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取ることで、認識装置が前記画像に含まれる被写体を認識するための残差特徴マップを生成する注意機構。

【請求項2】

前記ブロックベースの特徴埋込演算は、カーネルの第１方向の画素数と同数の間隔で前記カーネルを適用させて、前記特徴マップに含まれる複数の画素値を畳み込む演算を含み、
前記カーネルの第１方向の画素数は、１より大きい
請求項１に記載の注意機構。

【請求項3】

前記埋込部は、
ブロックベースの第１特徴埋込演算を用いて取得した前記特徴マップをダウンサンプリングして、第１埋込特徴マップを生成する第１埋込部と、
第２特徴埋込演算を用いて、前記第１埋込特徴マップに基づいて前記注意機構アルゴリズムの入力行列となる第２埋込特徴マップを生成する第２埋込部と
を有する
請求項１または２に記載の注意機構。

【請求項4】

画像の特徴を示す特徴マップを取得する中間取得部と、取得した前記特徴マップに基づいて、ブロックベースの特徴埋込演算を用いて、スケールが縮小変換された埋込特徴マップを生成する埋込部と、注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け部と、を有する注意機構と、
前記重み付け特徴マップに基づく情報を用いて、前記画像に含まれる被写体を認識する認識装置と
逆畳み込み演算を用いて、前記重み付け特徴マップのスケールを逆変換する逆畳み込み部と、
逆変換された前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取る残差処理部と、
を備え、
前記埋込部は、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のクエリとして機能する埋込特徴マップを生成するクエリ埋込部と、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のキーとして機能する埋込特徴マップを生成するキー埋込部と、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のバリューとして機能する埋込特徴マップを生成するバリュー埋込部と、を備え、
前記重み付け部は、
前記クエリとして機能する埋込特徴マップと前記キーとして機能する埋込特徴マップとの行列積に基づいて、予測注意重み行列を算出する重み付け部と、
前記予測注意重み行列と前記バリューとして機能する埋込特徴マップとを用いて、行列積演算を行い、行列積演算の演算結果に基づいて行列変換を行うことで、前記重み付け特徴マップを生成する行列演算部とを備え、
前記残差処理部は、前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取ることで、認識装置が前記画像に含まれる被写体を認識するための残差特徴マップを生成する画像認識システム。

【請求項5】

機械学習により、前記ブロックベースの特徴埋込演算のパラメータを最適化する学習装置をさらに備える
請求項４に記載の画像認識システム。

【請求項6】

コンピュータを用いて、特徴を変換する特徴変換方法であって、
前記特徴変換方法が、
画像の特徴を示す特徴マップを取得する段階と、
取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する段階と、
注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する段階と、
逆畳み込み演算を用いて、前記重み付け特徴マップのスケールを逆変換する段階と、
逆変換された前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取る段階と、
を備え、
前記埋込特徴マップを生成する段階では
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のクエリとして機能する埋込特徴マップを生成し、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のキーとして機能する埋込特徴マップを生成し、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のバリューとして機能する埋込特徴マップを生成し、
前記重み付け特徴マップを生成する段階では、
前記クエリとして機能する埋込特徴マップと前記キーとして機能する埋込特徴マップとの行列積に基づいて、予測注意重み行列を算出し、
前記予測注意重み行列と前記バリューとして機能する埋込特徴マップとを用いて、行列積演算を行い、行列積演算の演算結果に基づいて行列変換を行うことで、前記重み付け特徴マップを生成し、
前記差分を取る段階では、前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取ることで、認識装置が前記画像に含まれる被写体を認識するための残差特徴マップを生成する特徴変換方法。

【請求項7】

画像の特徴を示す特徴マップを取得する中間取得機能と、
取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する埋込機能と、
注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け機能と、
逆畳み込み演算を用いて、前記重み付け特徴マップのスケールを逆変換する機能と、
逆変換された前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取る機能と、
をコンピュータに実現させ、
前記埋込機能は
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のクエリとして機能する埋込特徴マップを生成し、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のキーとして機能する埋込特徴マップを生成し、
前記特徴マップから、前記注意機構アルゴリズムにおける入力行列のバリューとして機能する埋込特徴マップを生成し、
前記重み付け機能は、
前記クエリとして機能する埋込特徴マップと前記キーとして機能する埋込特徴マップとの行列積に基づいて、予測注意重み行列を算出し、
前記予測注意重み行列と前記バリューとして機能する埋込特徴マップとを用いて、行列積演算を行い、行列積演算の演算結果に基づいて行列変換を行うことで、前記重み付け特徴マップを生成し、
前記差分を取る機能は、前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取ることで、認識装置が前記画像に含まれる被写体を認識するための残差特徴マップを生成するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、特徴変換装置、画像認識システム、特徴変換方法および非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

対象画像の被写体認識において、対象画像から被写体を認識する際の注意の重みを算出し、抽出した対象画像の特徴マップに対して、注意の重みに応じた重み付けをする注意機構を使用することが知られている。たとえば非特許文献１には、このような注意機構において、特徴マップの行列積の演算を行うことにより、注意の重みを算出し、特徴マップを重み付けすることが開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】X. Wang, R. Girshick, A. Gupta, K. He, "Non-local Neural Networks", Computer Vision and Pattern Recognition, ２０１７年１１月２１日提出

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の目的は、関連する技術を改善することにある。

【課題を解決するための手段】

【0005】

本開示の一態様における特徴変換装置は、画像の特徴を示す特徴マップを取得する中間取得部と、取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する埋込部と、注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け部と、を備える。

【0006】

本開示の一態様における画像認識システムは、画像の特徴を示す特徴マップを取得する中間取得部と、取得した前記特徴マップに基づいて、ブロックベースの特徴埋込演算を用いて、スケールが縮小変換された埋込特徴マップを生成する埋込部と、注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け部と、を有する特徴変換装置と、前記重み付け特徴マップに基づく情報を用いて、前記画像に含まれる被写体を認識する認識装置と、を備える。

【0007】

本開示の一態様における特徴変換方法は、画像の特徴を示す特徴マップを取得する段階と、取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する段階と、注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する段階と、を備える。

【0008】

本開示の一態様における非一時的なコンピュータ可読媒体は、画像の特徴を示す特徴マップを取得する中間取得機能と、取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する埋込機能と、注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け機能と、をコンピュータに実現させる特徴変換プログラムが格納されている。

【図面の簡単な説明】

【0009】

【図1】実施形態１にかかる特徴変換装置の構成を示すブロック図である。

【図2】実施形態２にかかる特徴変換装置が適用されることができる画像認識システムの一例を示す概略構成図である。

【図3】実施形態２にかかる特徴変換装置の処理の効果を説明するための図である。

【図4】実施形態２にかかる注意機構の処理の概要を説明するための図である。

【図5】実施形態２にかかる注意機構の構成を示すブロック図である。

【図6】実施形態２にかかる画像認識システムの処理を示すフローチャートである。

【図7】実施形態２にかかる注意機構の処理を示すフローチャートである。

【図8】実施形態２にかかる埋込部の特徴埋込処理を示すフローチャートである。

【図9】実施形態２にかかる画像認識システムの学習処理を示すフローチャートである。

【図10】実施形態３にかかる注意機構の構成を示すブロック図である。

【図11】実施形態３にかかる埋込部の特徴埋込処理を示すフローチャートである。

【図12】実施形態４にかかる注意機構の処理の概要を説明するための図である。

【図13】実施形態４にかかる注意機構の構成を示すブロック図である。

【図14】実施形態４にかかる注意機構の処理を示すフローチャートである。

【図15】実施形態５にかかる注意機構の処理の概要を説明するための図である。

【図16】実施形態５にかかる注意機構の構成を示すブロック図である。

【図17】実施形態５にかかる注意機構の処理を示すフローチャートである。

【図18】本実施形態のコンピュータの概略構成図である。

【発明を実施するための形態】

【0010】

（実施形態１）
以下、図面を参照して本開示の実施形態１について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

【0011】

図１は、実施形態１にかかる特徴変換装置１０の構成を示すブロック図である。特徴変換装置１０は、中間取得部１００と、埋込部１２０と、重み付け部１６０とを備える。
中間取得部１００は、画像の特徴を示す特徴マップを取得する。
埋込部１２０は、取得した特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する。
重み付け部１６０は、注意機構アルゴリズムを用いて、埋込特徴マップに基づく情報から画像の位置に対応する特徴の注意重みを予測し、注意重みを用いて特徴マップに対応する重み付け特徴マップを生成する。

【0012】

本実施形態１の構成によれば、特徴変換装置１０は、取得した特徴マップからスケールが縮小変換された埋込特徴マップを生成し、注意機構アルゴリズムを用いて重み付け特徴マップを生成する。したがって、注意機構アルゴリズムにおける演算量（特に、行列積の演算量）を大幅に削減することができる。また特徴変換装置１０は、ブロックベースで特徴マップのスケールを縮小させるため、注意機構アルゴリズムにおいて注意重みを算出する場合の受容野を広げることが可能となる。

【0013】

（実施形態２）
次に図２～９を用いて、本開示の実施形態２について説明する。図２は、実施形態２にかかる特徴変換装置２が適用されることができる画像認識システム１の一例を示す概略構成図である。
画像認識システム１は、入力画像Ｉに含まれる被写体を認識するコンピュータ等である。画像認識システム１は、特徴変換装置２と、認識装置５と、学習装置６とを備える。
特徴変換装置２は、入力画像Ｉから特徴マップＭを生成し、認識装置５に入力するコンピュータ等である。ここで各特徴マップＭは、入力画像Ｉの領域ごとの、後述する特徴抽出処理および注意機構処理等の特徴変換処理において用いられるカーネル（フィルタ）に対する反応の強さ（すなわち、特徴量）を示す行列である。すなわち各特徴マップＭは、入力画像Ｉの特徴を示す。特徴変換装置２は、特徴抽出器２２と、注意機構２０とを有する。特徴抽出器２２および注意機構２０は、深層学習等の機械学習により学習されたパラメータを含むニューラルネットワークおよび畳み込みニューラルネットワークで用いられる畳み込み層または全結合層等の機能を有する。

【0014】

特徴抽出器２２は、入力画像Ｉに対して各種処理を行うことにより入力画像Ｉの特徴を抽出し、１または複数の特徴マップＭを生成するコンピュータ等である。特徴抽出器２２は、学習したパラメータを用いて特徴を抽出するための畳み込み処理およびプーリング処理等の各種処理を行う。特徴抽出器２２は、生成した特徴マップＭを注意機構２０に出力する。

【0015】

注意機構２０は、特徴抽出器２２から出力された特徴マップＭから注意重みを算出し、特徴マップＭに対して算出した注意重みで重み付けをし、重み付けがされた特徴マップＭを生成するコンピュータ等である。ここで注意機構２０は、入力画像Ｉに含まれる複数の領域の各々に、注意の重みである注意重みを算出し、それらの領域から抽出された特徴に対して注意重みに応じた注意を払う注意機構アルゴリズムを用いる。注意機構アルゴリズムは、２段階で行列積を演算するアルゴリズムである。注意重みは、入力画像Ｉの複数の領域の各々の特徴とその他の領域の特徴との間の相関の強さを示したものである。本明細書における注意重みは、入力画像Ｉ全体の巨視的な位置関係を考慮した重みである点で、畳み込み処理等に用いられるカーネルの各画素の重みと相違する。また重み付けがされた特徴マップＭは、特徴マップＭの各画素に対して、対応する注意重みで重み付けを行ったものであり、すなわち特徴量に強弱が付与されたものである。
注意機構２０は、学習したパラメータを用いて、特徴マップＭに特徴を埋め込み、重み付けがされた特徴マップＭを生成する。本明細書で埋込とは、注意機構アルゴリズムにおける注意重みを算出するための入力行列および重み付けを行うため入力行列を生成するために特徴マップＭの特徴量を当該入力行列の種別に応じて変換することと定義する。そして注意機構２０は、重み付けられた特徴マップＭを後続の装置に出力する。

【0016】

なお、本図では特徴変換装置２は、特徴抽出器２２および注意機構２０の組が複数個直列に接続される構成を有する。したがって、末端の注意機構２０は、重み付けられた特徴マップＭを認識装置５に出力し、それ以外の注意機構２０は、後続の特徴抽出器２２に出力する。なお特徴抽出器２２と注意機構２０とは、規則的に繰り返し接続されてもよく、特徴抽出器２２→特徴抽出器２２→注意機構２０→…のように不規則に接続されてもよい。しかしこれに限らず、特徴変換装置２は、１組の特徴抽出器２２および注意機構２０のみを有してもよい。

【0017】

認識装置５は、重み付けがされた特徴マップＭに基づく情報を用いて、入力画像Ｉに含まれる被写体を認識するコンピュータ等である。認識装置５は、入力画像Ｉに含まれる被写体を検出する処理、識別する処理、追跡する処理、分類する処理、およびその他の任意の認識処理のうちの１または複数を行い、出力値Ｏを出力する。認識装置５は、深層学習等の機械学習により学習されたパラメータを用いて、上記認識処理を行う。認識装置５も、ニューラルネットワークおよび畳み込みニューラルネットワークで用いられる畳み込み層または全結合層等の機能を有する。

【0018】

学習装置６は、特徴変換装置２の特徴抽出器２２および注意機構２０と、認識装置５とに接続され、これらの装置の処理に用いられる各種パラメータを学習により更新し、最適化するコンピュータ等である。学習装置６は、学習データを特徴変換装置２の最初の特徴抽出器２２に入力し、認識装置５から出力された認識結果と正解ラベルとの差に基づいて、各種パラメータを更新する学習処理を行う。そして学習装置６は、最適化した各種パラメータを特徴抽出器２２、注意機構２０および認識装置５に出力する。なお本実施形態２では学習装置６は、学習データを記憶する学習データベース（不図示）を備える。しかしこれに限らず、学習データベースは、学習装置６と通信可能に接続された他の装置（不図示）等に含まれていてもよい。

【0019】

なお特徴変換装置２、認識装置５および学習装置６は、複数のコンピュータ等で構成されてもよく、単一のコンピュータ等で構成されてもよい。複数のコンピュータ等で構成される場合は、各装置が、インターネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）等の各種ネットワークを通じて通信可能に接続されてよい。

【0020】

図３は、実施形態２にかかる特徴変換装置２の処理の効果を説明するための図である。本図に示すように特徴変換装置２は、入力画像Ｉの特徴を、複数の画素を含むブロック単位で捉え、複数のブロックの各々に対して特定のブロックとの間の相関の強さを示す注意重みを算出する。そして特徴変換装置２は、算出した注意重みに従って重み付け特徴マップを生成する。このように特徴変換装置２はブロック単位で注意重みを算出するため、受容野を拡張し、位置同士の相関の算出を効率化することができる。

【0021】

次に、特徴変換装置２の注意機構２０の処理の概要について、図４を用いて説明する。図４は、実施形態２にかかる注意機構２０の処理の概要を説明するための図である。

【0022】

まず注意機構２０は、特徴抽出器２２から特徴マップＭ（Ｍ０）を取得する。この特徴マップＭ０は、Ｃ×Ｈ×Ｗの３階テンソルである（Ｃ、ＨおよびＷは自然数）。ここで、Ｃはチャンネル数を示し、Ｈは各特徴マップＭの縦方向の画素数を示し、Ｗは各特徴マップＭの横方向の画素数を示す。

【0023】

次に注意機構２０は、後述するブロックベースの特徴埋込処理を用いて、スケールが縮小された埋込特徴マップＭ１’を生成する。ここでスケールは、各特徴マップＭの縦方向または横方向の画素数の大きさを示す。またブロックは、本実施形態２ではＳ×Ｓの画素数を有する画素の集合体である（Ｓは自然数）。そして、埋込特徴マップＭ１’は、（Ｈ／Ｓ）×（Ｗ／Ｓ）の行列がＣ’チャンネルある構成をとり（Ｃ’は自然数）、すなわち埋込特徴マップＭ１’は、Ｃ’×（Ｈ／Ｓ）×（Ｗ／Ｓ）の３階テンソルである。そして注意機構２０は、埋込特徴マップＭ１’に基づいて、埋込特徴マップＭ１を生成する。ここで埋込特徴マップＭ１は、Ｃ’×（Ｈ／Ｓ）（Ｗ／Ｓ）または（Ｈ／Ｓ）（Ｗ／Ｓ）×Ｃ’の行列である。
次に注意機構２０は、埋込特徴マップＭ１に基づいて注意重みで重み付けをし、行列変換を行った重み付け特徴マップＭ２を生成する。重み付け特徴マップＭ２はＣ’×（Ｈ／Ｓ）×（Ｗ／Ｓ）の３階テンソルである。

【0024】

このような処理を行う注意機構２０の構成について、図５を用いて説明する。図５は、実施形態２にかかる注意機構２０の構成を示すブロック図である。注意機構２０は、中間取得部２００と、埋込部２２０と、重み付け部２６０と、中間出力部２９０とを備える。

【0025】

中間取得部２００は、特徴抽出器２２から特徴マップＭ０を取得する。中間取得部２００は、取得した特徴マップＭ０を埋込部２２０に出力する。

【0026】

埋込部２２０は、取得した特徴マップＭ０に対してブロックベースの特徴埋込演算等を行い、スケールが縮小変換された埋込特徴マップＭ１を生成する。埋込部２２０は、クエリ埋込部２２２と、キー埋込部２２４と、バリュー埋込部２２６とを有する。

【0027】

クエリ埋込部２２２およびキー埋込部２２４はそれぞれ、後述する重み付け部２６０の注意重み算出部２６２に入力され、注意機構アルゴリズムにおける入力行列のクエリおよびキーとして機能する埋込特徴マップＭ１を生成する。クエリ埋込部２２２およびキー埋込部２２４はそれぞれ、学習装置６により最適化されたパラメータを用いて、特徴マップＭ０に対してブロックベースの特徴埋込演算処理等を行う。

【0028】

バリュー埋込部２２６は、後述する重み付け部２６０の行列演算部２６４に入力され、注意機構アルゴリズムにおける入力行列のバリューとして機能する埋込特徴マップＭ１を生成する。バリュー埋込部２２６は、クエリ埋込部２２２およびキー埋込部２２４と同様に、学習装置６により最適化されたパラメータを用いて、特徴マップＭ０に対してブロックベースの特徴埋込演算処理等を行う。

【0029】

重み付け部２６０は、クエリ、キーおよびバリューを入力行列とする注意機構アルゴリズムを用いる。本実施形態２では注意機構アルゴリズムは、自己注意機構アルゴリズムであってよいが、これに限らずソースターゲット注意機構アルゴリズム等の他の注意機構アルゴリズムであってもよい。重み付け部２６０は、注意機構アルゴリズムにおいて、クエリ埋込部２２２、キー埋込部２２４およびバリュー埋込部２２６から出力される埋込特徴マップＭ１から特徴マップＭ０に対応する重み付け特徴マップＭ２を生成する。重み付け部２６０は、注意重み算出部２６２と、行列演算部２６４とを有する。

【0030】

注意重み算出部２６２は、クエリ埋込部２２２およびキー埋込部２２４から出力される埋込特徴マップＭ１に基づく情報から、入力画像Ｉの位置に対応する特徴の注意重みを予測する。注意重み算出部２６２は、注意重みを行列演算部２６４に出力する。

【0031】

行列演算部２６４は、注意重みを用いてバリュー埋込部２２６から出力される埋込特徴マップＭ１に重み付けを行い、行列変換を行って重み付け特徴マップＭ２を生成する。行列演算部２６４は、重み付け特徴マップＭ２を中間出力部２９０に出力する。

【0032】

中間出力部２９０は、重み付け特徴マップＭ２を後続の装置等（認識装置５あるいは後続に特徴抽出器２２が接続される場合、後続の特徴抽出器２２）に出力する。

【0033】

次に画像認識システム１の処理について、図６を用いて説明する。図６は、実施形態２にかかる画像認識システム１の処理を示すフローチャートである。
まずＳ１０において、特徴変換装置２の特徴抽出器２２は、入力画像Ｉを取得する。

【0034】

次にＳ１１において、特徴抽出器２２、注意機構２０および認識装置５は、学習装置６から後述の処理に用いる最適化された各種パラメータを取得する。
次にＳ１２において、特徴抽出器２２は畳み込み処理およびプーリング処理等を含む特徴抽出処理を行い、入力画像Ｉの特徴が抽出された特徴マップＭ０を生成する。特徴抽出器２２は、特徴マップＭ０を注意機構２０に出力する。

【0035】

次にＳ１３において、注意機構２０は、特徴マップＭ０に対して注意機構処理を行い、重み付け特徴マップＭ２を生成する。
Ｓ１４において、注意機構２０は、Ｓ１２およびＳ１３にかかる処理（特徴変換処理）を終了するか否かを判定する。注意機構２０は、終了する場合（Ｓ１４でＹ）、注意機構２０は、重み付け特徴マップＭ２を認識装置５に出力し、処理をＳ１５に進める。注意機構２０は、終了しない場合（Ｓ１４でＮ）、重み付け特徴マップＭ２を後続の特徴抽出器２２に出力し、処理をＳ１２に戻る。
次にＳ１５において、認識装置５は、重み付け特徴マップＭ２に基づく情報を用いて、所定の認識処理を行う。そして認識装置５は、処理を終了する。

【0036】

図７は、実施形態２にかかる注意機構２０の処理（図６に示すＳ１３の注意機構処理）を示すフローチャートである。
まずＳ２０において、注意機構２０の中間取得部２００は、特徴抽出器２２から特徴マップＭ０を取得する。

【0037】

次にＳ２２において、埋込部２２０は特徴埋込処理を行い、スケールが１／Ｓ倍に縮小変換された埋込特徴マップＭ１を生成する。ここでクエリ埋込部２２２は、Ｓ２２ａにおいて特徴埋込処理を行い、（Ｈ／Ｓ）（Ｗ／Ｓ）×Ｃ’の埋込特徴マップＭ１を生成する。またキー埋込部２２４は、Ｓ２２ｂにおいて特徴埋込処理を行い、Ｃ’×（Ｈ／Ｓ）（Ｗ／Ｓ）の埋込特徴マップＭ１を生成する。またバリュー埋込部２２６は、Ｓ２２ｃにおいて特徴埋込処理を行い、Ｃ’×（Ｈ／Ｓ）（Ｗ／Ｓ）の埋込特徴マップＭ１を生成する。なお、特徴埋込処理の詳細については、後述する。クエリ埋込部２２２およびキー埋込部２２４は、埋込特徴マップＭ１を注意重み算出部２６２に出力する。一方でバリュー埋込部２２６は、埋込特徴マップＭ１を行列演算部２６４に出力する。

【0038】

次にＳ２３において、重み付け部２６０の注意重み算出部２６２は、クエリ埋込部２２２から出力される埋込特徴マップＭ１とキー埋込部２２４から出力される埋込特徴マップＭ１とを用いて１段階目の行列積の演算を行う。これにより注意重み算出部２６２は、（Ｈ／Ｓ）（Ｗ／Ｓ）×（Ｈ／Ｓ）（Ｗ／Ｓ）のスケールを有する予測注意重み行列を算出する。このとき注意重み算出部２６２は、行列積の演算結果に対してソフトマックス関数等の活性化関数を用いた正規化処理を行い、予測注意重み行列を算出してよい。注意重み算出部２６２は、予測注意重み行列を行列演算部２６４に出力する。

【0039】

Ｓ２５において、行列演算部２６４は、予測注意重み行列と、バリュー埋込部２２６から出力された埋込特徴マップＭ１とを用いて２段階目の行列積の演算を行う。そして行列演算部２６４は、行列積の演算結果に基づいて行列変換を行い、３階テンソルの重み付け特徴マップＭ２を生成する。行列演算部２６４は、重み付け特徴マップＭ２を中間出力部２９０に出力する。
Ｓ２６において中間出力部２９０は、重み付け特徴マップＭ２を後続の装置等に出力し、処理を終了する。

【0040】

このように埋込部２２０が注意重み算出部２６２の入力となる特徴マップのスケールを（１／Ｓ）倍に縮小変換することにより、注意重み算出部２６２における行列積の演算量を（１／Ｓ^２）倍に減少させることができる。またこれにより、行列演算部２６４における行列積の演算量をさらに（１／Ｓ）倍に減少させることができる。

【0041】

図８は、実施形態２にかかる埋込部２２０の特徴埋込処理（図７のＳ２２に示す処理）を示すフローチャートである。
まずＳ３０において埋込部２２０は、後続の処理に用いる最適化されたパラメータを学習装置６から取得する。当該パラメータは、後続のブロックベースの第１特徴埋込演算に用いられるカーネルの各画素の重みパラメータを含む。

【0042】

次にＳ３２において埋込部２２０は、特徴マップＭ０に対してブロックベースの第１特徴埋込演算を行う。ここでブロックベースの第１特徴埋込演算は、カーネルの第１方向の画素数Ｓ（ただし、Ｓ＞１）と同数の間隔（ストライド数）で当該カーネルを適用させて、特徴マップＭ０に含まれる複数の画素値を畳み込むまたはプーリングする演算を含む。第１方向は、縦または横方向である。つまり埋込部２２０は、Ｓ×Ｓの画素数を有するカーネルを特徴マップＭ０に対してＳずつずらして適用させる。これにより、特徴マップをダウンサンプリングし、特徴マップのスケールを縮小変換させることができる。

【0043】

なお、埋込部２２０のクエリ埋込部２２２、キー埋込部２２４およびバリュー埋込部２２６に用いられるカーネルは、互いに独立した重みパラメータを有してよい。なお本実施形態２ではクエリ埋込部２２２、キー埋込部２２４およびバリュー埋込部２２６はそれぞれ、一層のブロックベースの畳み込み層またはプーリング層として機能するが、これに限らず複数層のブロックベースの畳み込み層またはプーリング層として機能してもよい。

【0044】

ここでＳ３２において埋込部２２０は、特徴マップＭ０に対してゼロパディングを行わなくてよい。これにより、生成された埋込特徴マップＭ１にゼロ成分を含む特徴が含まれることを回避し、当該ゼロ成分を含む特徴が注意機構アルゴリズムにより全ての特徴にシェアされることを回避することができる。
これにより埋込部２２０は、Ｃ’×（Ｈ／Ｓ）×（Ｗ／Ｓ）の埋込特徴マップＭ１’を生成する。

【0045】

次にＳ３４において埋込部２２０は、必要に応じて、埋込特徴マップＭ１’に対してベクトル変換を行い、注意機構の入力となる埋込特徴マップＭ１を生成する。たとえば埋込部２２０のクエリ埋込部２２２は、埋込特徴マップＭ１’に対して行列変換および転置変換等を行い、（Ｈ／Ｓ）（Ｗ／Ｓ）×Ｃ’の埋込特徴マップＭ１を生成してよい。またキー埋込部２２４およびバリュー埋込部２２６は、埋込特徴マップＭ１’に対して行列変換等を行い、Ｃ’×（Ｈ／Ｓ）（Ｗ／Ｓ）の埋込特徴マップＭ１を生成してよい。そして埋込部２２０は、処理を図７に示すＳ２３に戻す。

【0046】

次に画像認識システム１の学習処理の概要について、図９を用いて説明する。図９は、実施形態２にかかる画像認識システム１の学習処理を示すフローチャートである。なお、図６に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
まずＳ４０において学習装置６は、学習データベース（不図示）から大量の学習データを取得する。一例として学習データは、画像と当該画像の被写体の分類を示す正解ラベルとを含むデータセットであってよい。なお交差検定を行う場合は、学習データは訓練データとテストデータとに分類されていてよい。学習装置６は、特徴抽出器２２に学習データに含まれる画像を入力し、処理をＳ１１に進める。

【0047】

Ｓ４５において学習装置６は、Ｓ１５で認識装置５が認識処理を行ったことに応じて、出力値Ｏと学習データの正解ラベルとの間の誤差を算出する。
次にＳ４６において学習装置６は、学習を終了するか否かを判定する。なお、本実施形態２において学習装置６は、更新回数が予め設定された回数に達したか否かを判定することにより、学習を終了するか否かを判定してよい。学習装置６は、学習を終了する場合（Ｓ４６でＹ）処理をＳ４８に進め、そうでなければ（Ｓ４６でＮ）処理をＳ４７に進める。

【0048】

Ｓ４７において学習装置６は、算出した誤差に基づいて、特徴抽出器２２、注意機構２０および認識装置５に用いられる各種パラメータを更新する。各種パラメータは、注意機構２０の埋込部２２０の第１特徴埋込演算に用いられるパラメータを含む。学習装置６は一例として誤差逆伝播法を用いて、各種パラメータを更新してよい。そして学習装置６は、処理をＳ１２に戻す。
Ｓ４８において学習装置６は、各種パラメータを決定する。そして学習装置６は処理を終了する。

【0049】

このように実施形態２によれば、特徴変換装置２の注意機構２０は、ブロックベースの特徴埋込演算を用いてスケールが縮小変換された埋込特徴マップＭ１を生成し、注意機構アルゴリズムにより注意重みを算出する。したがって、注意機構アルゴリズムにおける演算量（特に、行列積の演算量）を大幅に削減することができる。また特徴変換装置２の注意機構２０は、ブロックベースで特徴マップＭ０のスケールを縮小させるため、注意機構アルゴリズムにおける予測注意重み行列を算出する場合の受容野を広げることが可能となる。

【0050】

（実施形態３）
次に図１０～１１を用いて、本開示の実施形態３について説明する。実施形態３は、埋込部３２０が第１特徴埋込演算および第２特徴埋込演算を行うことに特徴を有する。
図１０は、実施形態３にかかる注意機構３０の構成を示すブロック図である。注意機構３０は、実施形態２の注意機構２０と基本的には同様の構成および機能を有するコンピュータ等である。ただし注意機構３０は、埋込部２２０に代えて埋込部３２０を備える点で注意機構２０と相違する。

【0051】

埋込部３２０は、埋込部２２０と基本的には同様の構成および機能を有する。ただし埋込部３２０は、第１埋込部３３０と、第２埋込部３４０とを有する。
第１埋込部３３０は、埋込部２２０と同様の構成および機能を有する。第１埋込部３３０は、第１クエリ埋込部３３２と、第１キー埋込部３３４と、第１バリュー埋込部３３６とを含む。第１クエリ埋込部３３２、第１キー埋込部３３４および第１バリュー埋込部３３６はそれぞれ、クエリ埋込部２２２、キー埋込部２２４およびバリュー埋込部２２６と同様の構成および機能を有する。第１埋込部３３０は、第１埋込特徴マップとして機能する埋込特徴マップＭ１’を生成し、これを正規化し、第２埋込部３４０に出力する。

【0052】

第２埋込部３４０は、第１埋込部３３０から出力された埋込特徴マップＭ１’に基づいて、第２特徴埋込演算を用いて、注意機構アルゴリズムの入力行列となる、第２埋込特徴マップとして機能する埋込特徴マップＭ１を生成する。第２埋込部３４０は、第２クエリ埋込部３４２と、第２キー埋込部３４４と、第２バリュー埋込部３４６とを含む。

【0053】

第２クエリ埋込部３４２は、第１クエリ埋込部３３２から出力された埋込特徴マップＭ１’から注意機構アルゴリズムのクエリとして機能する埋込特徴マップＭ１を生成する。そして第２クエリ埋込部３４２は、埋込特徴マップＭ１を注意重み算出部２６２に出力する。
第２キー埋込部３４４は、第１キー埋込部３３４から出力された埋込特徴マップＭ１’から注意機構アルゴリズムのキーとして機能する埋込特徴マップＭ１を生成する。そして第２キー埋込部３４４は、埋込特徴マップＭ１を注意重み算出部２６２に出力する。
第２バリュー埋込部３４６は、第１バリュー埋込部３３６から出力された埋込特徴マップＭ１’から注意機構アルゴリズムのバリューとして機能する埋込特徴マップＭ１を生成する。そして第２バリュー埋込部３４６は、埋込特徴マップＭ１を行列演算部２６４に出力する。

【0054】

図１１は、実施形態３にかかる注意機構３０の特徴埋込処理を示すフローチャートである。図１１に示すステップは、図８に示すＳ３０および３２に代えて、Ｓ４０～Ｓ４３を有する。なお、図８に示すステップと同様のステップについては、同一の記号を付して説明を省略する。

【0055】

Ｓ４０において、埋込部３２０は、後続の処理に用いる最適化されたパラメータを学習装置６から取得する。当該パラメータは、後続の第１特徴埋込演算および第２特徴埋込演算のそれぞれに用いられるカーネルの各画素の重みパラメータを含む。
Ｓ４１において、埋込部３２０の第１埋込部３３０は、図８のＳ３２に示す処理と同様のブロックベースの第１特徴埋込処理を行い、埋込特徴マップＭ１’を生成する。

【0056】

Ｓ４２において、第１埋込部３３０は、生成した埋込特徴マップＭ１’に対して、バッチノーマライゼーション（ＢＮ）を行う。これにより、パラメータ学習時の学習処理の効率化が可能となる。これに加えてまたはこれに代えて、第１埋込部３３０は、埋込特徴マップＭ１’に対して正規化線形関数（ＲｅＬＵ）を用いた正規化処理を行ってよい。これにより、パラメータ学習時の学習処理のさらなる効率化が可能となる。そして第１埋込部３３０は、第２埋込部３４０の対応する埋込部に埋込特徴マップＭ１’を出力する。
なおＳ４２は必須ではなく、省略されてもよい。

【0057】

Ｓ４３において、第２埋込部３４０は、第１埋込部３３０から出力された埋込特徴マップＭ１’に対して、第２特徴埋込演算を行い、Ｃ’×（Ｈ／Ｓ）×（Ｗ／Ｓ）の埋込特徴マップＭ１’’を生成する。本実施形態３では、第２特徴埋込演算は、第１方向の画素数が１であるカーネルを埋込特徴マップＭ１’に対して１の間隔（ストライド数）で適用させて、埋込特徴マップＭ１’に含まれる複数の画素値を畳み込む演算を含む。つまり本実施形態３では、第２特徴埋込演算により特徴マップのスケールは変化しない。このときＳ４３において第２埋込部３４０は、埋込特徴マップＭ１’に対してゼロパディングを行わなくてよい。これにより、生成された埋込特徴マップＭ１’’にゼロ成分を含む特徴が含まれることを回避し、当該ゼロ成分を含む特徴が注意機構アルゴリズムにより全ての特徴にシェアされることを回避することができる。

【0058】

なお、第２埋込部３４０の第２クエリ埋込部３４２、第２キー埋込部３４４および第２バリュー埋込部３４６に用いられるカーネルは、互いに独立した重みパラメータを有してよい。なお本実施形態３では第２クエリ埋込部３４２、第２キー埋込部３４４および第２バリュー埋込部３４６はそれぞれ、１層の畳み込み層として機能するが、これに限らず複数層の畳み込み層として機能してもよい。

【0059】

なお第２特徴埋込演算は、これに代えてまたは加えて、カーネルの第１方向の画素数がＮ（Ｎは２以上の自然数）であり、ストライド数がＮ未満である畳み込み演算またはプーリング演算を含んでもよい。
そして第２埋込部３４０は、処理をＳ３４に進める。

【0060】

このように実施形態３によれば、埋込部３２０は、特徴マップＭ０に対して、ブロックベースの第１特徴埋込演算を行い、その後ブロックベース以外の第２特徴埋込演算を行う。このように２段階の埋込演算を行うことにより、後続の注意重みの計算精度および認識装置５の認識処理の精度が向上する。

【0061】

（実施形態４）
次に図１２～１４を用いて、本開示の実施形態４について説明する。図１２は、実施形態４にかかる注意機構４０の処理の概要を説明するための図である。本図に示すように、本実施形態４の注意機構４０は、重み付けをした重み付け特徴マップＭ２のスケールを逆変換することで、スケールを特徴マップＭ０と同等のスケールに戻した重み付け特徴マップＭ３を生成することに特徴を有する。

【0062】

このような処理を行う注意機構４０の構成について、図１３を用いて説明する。図１３は、実施形態４にかかる注意機構４０の構成を示すブロック図である。注意機構４０は、実施形態３の注意機構３０と基本的には同様の構成および機能を有するコンピュータ等である。ただし注意機構４０は、注意機構３０の構成に加えて逆畳み込み部４７０を備える。
逆畳み込み部４７０は、逆畳み込み演算を用いて、行列演算部２６４から出力された重み付け特徴マップＭ２のスケールを逆変換する。

【0063】

図１４は、実施形態４にかかる注意機構４０の処理を示すフローチャートである。図１４に示すステップは、図７に示すステップに加えて、Ｓ５０を有する。なお、図７に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
Ｓ５０において、逆畳み込み部４７０は、Ｓ２５で行列演算部２６４が重み付け特徴マップＭ２を出力したことに応じて、学習装置６から必要なパラメータを取得し、重み付け特徴マップＭ２に対して逆畳み込み処理を行う。本実施形態４において逆畳み込み部４７０は、取得したパラメータを含む、第１方向の画素数がＳ（ただし、Ｓ＞１）のカーネルを用いて、重み付け特徴マップＭ２に対してストライド数Ｓで逆畳み込み演算を行う。これにより逆畳み込み部４７０は、Ｃ×Ｈ×Ｗの重み付け特徴マップＭ３を生成する。逆畳み込み部４７０は、この重み付け特徴マップＭ３を中間出力部２９０に出力し、処理をＳ２６に進める。

【0064】

なお本実施形態４では図６に示す処理と基本的に同様の処理を行う。ただし特徴変換装置２の末端の注意機構４０は、図６のＳ１３において、特徴マップＭ０に対して特徴埋込処理を行い、重み付け特徴マップＭ２に代えて、重み付け特徴マップＭ３を生成し、重み付け特徴マップＭ３を認識装置５に出力する。
また図６のＳ１４において、認識装置５は、重み付け特徴マップＭ２に代えて重み付け特徴マップＭ３に基づく情報を用いて、所定の認識処理を行う。そして認識装置５は、処理を終了する。

【0065】

このように本実施形態４によれば、注意機構４０が、出力する特徴マップのスケールを元の特徴マップＭ０と同等のスケールに戻すため、学習中に発生しうる勾配減衰を防止し、注意機構４０の後続処理の層を深くすることができる。これにより認識装置５の認識処理の精度が向上する。

【0066】

（実施形態５）
次に図１５～１７を用いて、本開示の実施形態５について説明する。
図１５は、実施形態５にかかる注意機構５０の処理の概要を説明するための図である。本図に示すように、本実施形態５の注意機構５０は、逆変換した重み付け特徴マップＭ３からＣ×Ｈ×Ｗの残差特徴マップＭ４を生成することに特徴を有する。

【0067】

このような処理を行う注意機構５０の構成について、図１６を用いて説明する。図１６は、実施形態５にかかる注意機構５０の構成を示すブロック図である。注意機構５０は、実施形態４の注意機構４０と基本的には同様の構成および機能を有するコンピュータ等である。ただし注意機構５０は、注意機構４０の構成に加えて残差処理部５８０を備える。

【0068】

残差処理部５８０は、逆畳み込み部４７０および中間取得部２００に接続され、逆畳み込み部４７０から出力された重み付け特徴マップＭ３と中間取得部２００から出力された特徴マップＭ０との間の差分を取り、残差特徴マップＭ４を生成する。そして残差処理部５８０は、残差特徴マップＭ４を中間出力部２９０に出力する。

【0069】

図１７は、実施形態５にかかる注意機構５０の処理を示すフローチャートである。図１７に示すステップは、図１４に示すステップに加えて、Ｓ６０を有する。なお、図１４に示すステップと同様のステップについては、同一の記号を付して説明を省略する。

【0070】

Ｓ６０において、残差処理部５８０は、Ｓ５０で逆畳み込み部４７０が重み付け特徴マップＭ３を出力したことに応じて、中間取得部２００から特徴マップＭ０を取得する。そして残差処理部５８０は、重み付け特徴マップＭ３と特徴マップＭ０との間の差分を算出し、Ｃ×Ｈ×Ｗの残差特徴マップＭ４を生成する。そして残差処理部５８０は、残差特徴マップＭ４を中間出力部２９０に出力し、処理をＳ２６に進める。

【0071】

なお本実施形態５では図６のＳ１３において、注意機構５０は、特徴マップＭ０に対して特徴埋込処理を行い、重み付け特徴マップＭ２に代えて、残差特徴マップＭ４を生成し、残差特徴マップＭ４を認識装置５に出力する。
また図６のＳ１４において、認識装置５は、重み付け特徴マップＭ２に代えて重み付け特徴マップＭ３に基づく残差特徴マップＭ４を用いて、所定の認識処理を行う。そして認識装置５は、処理を終了する。

【0072】

このように実施形態５によれば、注意機構５０は重み付け特徴マップＭ３と特徴マップＭ０との間の差分を出力するため、学習中に発生しうる勾配減衰をさらに防止し、注意機構５０の後続処理の層をさらに深くすることができる。これにより認識装置５の認識処理の精度が向上する。

【0073】

上述の実施形態１～５ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。

【0074】

なお上述の実施形態１～５では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述の特徴抽出処理、注意機構処理、認識処理および学習処理等の各種処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

【0075】

図１８は、実施形態１～５にかかるコンピュータ１９００の概略構成図の一例である。図１８に示すように、コンピュータ１９００は、システム全体を制御するための制御部１０００を備えている。この制御部１０００には、データバス等のバスラインを介して、入力装置１０５０、記憶装置１２００、記憶媒体駆動装置１３００、通信制御装置１４００、および入出力Ｉ／Ｆ１５００が接続されている。

【0076】

制御部１０００は、ＣＰＵ１０１０と、ＲＯＭ１０２０と、ＲＡＭ１０３０とを備えている。
ＣＰＵ１０１０は、ＲＯＭ１０２０や記憶装置１２００等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ＲＯＭ１０２０は、ＣＰＵ１０１０が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。

【0077】

ＲＡＭ１０３０は、ＣＰＵ１０１０にワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭ１０３０には、本実施形態１～５による各種処理を行うための各種エリアが確保可能になっている。

【0078】

入力装置１０５０は、キーボード、マウスおよびタッチパネル等のユーザからの入力を受け付ける入力装置である。たとえばキーボードは、テンキー、各種機能を実行するための機能キーおよびカーソルキー等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置１１００に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置１１００の表面に配置される入力機器で、表示装置１１００に画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。

【0079】

表示装置１１００は、例えばＣＲＴや液晶ディスプレイ等が使用される。この表示装置には、キーボードやマウスによる入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。また表示装置１１００は、コンピュータ１９００の各種機能に応じて、タッチパネルから必要な各種操作を行うための操作キーを画像表示する。

【0080】

記憶装置１２００は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。
この記憶装置１２００に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置１３００で使用される非一時的なコンピュータ可読媒体を使用するようにしてもよい。
記憶装置１２００は、データ格納部１２１０、プログラム格納部１２２０および図示しないその他の格納部（例えば、この記憶装置１２００内に格納されているプログラムやデータ等をバックアップするための格納部）等を有している。プログラム格納部１２２０には、本実施形態１～５における各種処理を実現するためのプログラムが格納されている。データ格納部１２１０には、本実施形態１～５にかかる各種データベースの各種データを格納する。

【0081】

記憶媒体駆動装置１３００は、ＣＰＵ１０１０が外部の記憶媒体（外部記憶媒体）からコンピュータプログラムや文書を含むデータ等を読み込むための駆動装置である。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が記憶される非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置１３００を介して、各種プログラムをコンピュータに供給できる。

【0082】

つまりコンピュータ１９００は、制御部１０００のＣＰＵ１０１０が、記憶媒体駆動装置１３００にセットされた外部の記憶媒体から各種プログラムを読み込んで、記憶装置１２００の各部に格納する。

【0083】

そして、コンピュータ１９００が各種処理を実行する場合、記憶装置１２００から該当プログラムをＲＡＭ１０３０に読み込み、実行するようになっている。但しコンピュータ１９００は、記憶装置１２００からではなく、記憶媒体駆動装置１３００により外部の記憶媒体から直接ＲＡＭ１０３０にプログラムを読み込んで実行することも可能である。また、コンピュータによっては各種プログラム等を予めＲＯＭ１０２０に記憶させておき、これをＣＰＵ１０１０が実行するようにしてもよい。さらに、コンピュータ１９００は、各種プログラムやデータを、通信制御装置１４００を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。

【0084】

通信制御装置１４００は、コンピュータ１９００と他のパーソナルコンピュータやワードプロセッサ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置１４００は、これら各種外部電子機器からコンピュータ１９００にアクセスすることを可能とする。

【0085】

入出力Ｉ／Ｆ１５００は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続するためのインターフェースである。

【0086】

なお、ＣＰＵ１０１０に代えてＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）およびＡＳＩＣ（application specific integrated circuit）等が用いられてもよい。

【0087】

請求の範囲、明細書、および図面中において示したシステムおよび方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

【0088】

以上、実施形態を参照して本開示を説明したが、本開示は上記によって限定されるものではない。本開示の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0089】

１ 画像認識システム、２，１０ 特徴変換装置、５ 認識装置、６ 学習装置、２０，３０，４０，５０ 注意機構、２２ 特徴抽出器、１００，２００ 中間取得部、１２０，２２０，３２０ 埋込部、１６０，２６０ 重み付け部、２２２ クエリ埋込部、２２４ キー埋込部、２２６ バリュー埋込部、２６２ 注意重み算出部、２６４ 行列演算部、２９０ 中間出力部、３３０ 第１埋込部、３３２ 第１クエリ埋込部、３３４ 第１キー埋込部、３３６ 第１バリュー埋込部、３４０ 第２埋込部、３４２ 第２クエリ埋込部、３４４ 第２キー埋込部、３４６ 第２バリュー埋込部、４７０ 逆畳み込み部、５８０ 残差処理部、Ｍ，Ｍ０ 特徴マップ、Ｍ１，Ｍ１’，Ｍ１’’ 埋込特徴マップ，Ｍ２，Ｍ３ 重み付け特徴マップ、Ｍ４ 残差特徴マップ、Ｉ 入力画像、Ｏ 出力値、１０００ 制御部、１０１０ ＣＰＵ、１０２０ ＲＯＭ、１０３０ ＲＡＭ、１０５０ 入力装置、１１００ 表示装置、１２００ 記憶装置、１２１０ データ格納部、１２２０ プログラム格納部、１３００ 記憶媒体駆動装置、１４００ 通信制御装置、１５００ 入出力Ｉ／Ｆ、１９００ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】