知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】情報処理システム、情報処理方法、及び記録媒体
(51)【国際特許分類】
G06N 3/08 20230101AFI20240918BHJP
【ＦＩ】
G06N3/08
【請求項の数】
9
(21)【出願番号】P 2023510239
(86)(22)【出願日】2021-12-17
(86)【国際出願番号】 JP2021046803
(87)【国際公開番号】W WO2022209048
(87)【国際公開日】2022-10-06
【審査請求日】2023-07-18
(31)【優先権主張番号】P 2021057842
(32)【優先日】2021-03-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】高本 亮
【審査官】真木 健彦
(56)【参考文献】
【文献】中国特許出願公開第１１１９５１１９５（ＣＮ，Ａ）
【文献】中国特許出願公開第１０６９９１６４８（ＣＮ，Ａ）
【文献】中国特許出願公開第１１１０４７５４１（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００ － ９９／００
Ｇ０６Ｔ ５／５０
(57)【特許請求の範囲】
【請求項1】
特徴量を入力する入力手段と、前記特徴量に離散ウェーブレット変換を実行する変換手段と、
前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解する分解手段と、
前記第１周波数成分に対して畳み込み処理を行う第１処理手段と、
前記第２周波数成分に対して畳み込み処理を行う第２処理手段と、
前記離散ウェーブレット変換の結果に対して畳み込み処理を行う第３処理手段と、
前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、前記離散ウェーブレット変換の結果の畳み込み処理の結果と、を統合して統合情報を生成する統合手段と、
前記統合情報を出力する出力手段と、
を備えることを特徴とする情報処理システム。
【請求項2】
前記第１周波数成分は、所定閾値よりも周波数が高い高周波成分であり、前記第２周波数成分は、前記所定閾値よりも周波数が低い低周波成分である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項3】
前記第１周波数成分の畳み込み処理の結果から、一部の成分を除去する除去手段を更に備え、前記統合手段は、前記一部の成分を除去した前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、前記離散ウェーブレット変換の結果の畳み込み処理の結果と、を統合する
ことを特徴とする請求項１又は２に記載の情報処理システム。
【請求項4】
前記統合手段は、各畳み込み処理の結果を足し合わせることで前記統合情報を生成することを特徴とする請求項１から３のいずれか一項に記載の情報処理システム。
【請求項5】
前記統合手段は、各畳み込み処理の結果を掛け合わせることで前記統合情報を生成することを特徴とする請求項１から３のいずれか一項に記載の情報処理システム。
【請求項6】
前記統合手段は、各畳み込み処理の結果を連結することで前記統合情報を生成することを特徴とする請求項１から３のいずれか一項に記載の情報処理システム。
【請求項7】
前記統合手段は、各畳み込み処理の結果を注意機構で統合して前記統合情報を生成することを特徴とする請求項１から３のいずれか一項に記載の情報処理システム。
【請求項8】
特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、
前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、
前記第１周波数成分に対して畳み込み処理を行い、
前記第２周波数成分に対して畳み込み処理を行い、
前記離散ウェーブレット変換の結果に対して畳み込み処理を行い、
前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、前記離散ウェーブレット変換の結果の畳み込み処理の結果と、を統合して統合情報を生成し、
前記統合情報を出力する、
ことを特徴とする情報処理方法。
【請求項9】
特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、
前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、
前記第１周波数成分に対して畳み込み処理を行い、
前記第２周波数成分に対して畳み込み処理を行い、
前記離散ウェーブレット変換の結果に対して畳み込み処理を行い、
前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、前記離散ウェーブレット変換の結果の畳み込み処理の結果と、を統合して統合情報を生成し、
前記統合情報を出力する、
ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、例えば深層学習に用いる情報を処理する情報処理システム、情報処理方法、及び記録媒体の技術分野に関する。
【背景技術】
【0002】
この種のシステムとして、ウェーブレット変換を用いて情報を変換するものが知られている。例えば特許文献１では、画像処理の帯域フィルタとして離散ウェーブレット変換を用いることが開示されている。特許文献２では、水平方向及び垂直方向に離散ウェーブレット分解を施すことで、フレーム画像を２次元周波数成分に分解することが開示されている。特許文献３では、画像データに対してウェーブレット変換を施し、複数の周波数帯域毎の画像を表す画像データを得ることが開示されている。
【0003】
その他の関連する技術として、例えば特許文献４では、ＤＬ－ＡＮＮネットワークの学習において、投影データを高周波成分と低周波成分とに分けることが開示されている。特許文献５では、複数の部分ニューラルネットワークからの出力を統合して学習を行うことが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１９／１７２２６２号
【文献】特開２０１１－００４３４３号公報
【文献】特開平１１－２７２８６７号公報
【文献】特開２０２０－０９９６６２号公報
【文献】特開２０２０－０３０４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
この開示は、先行技術文献に開示されたことを目的とする。
【課題を解決するための手段】
【0006】
この開示の情報処理システムの一の態様は、特徴量を入力する入力手段と、前記特徴量に離散ウェーブレット変換を実行する変換手段と、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解する分解手段と、前記第１周波数成分に対して畳み込み処理を行う第１処理手段と、前記第２周波数成分に対して畳み込み処理を行う第２処理手段と、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成する統合手段と、前記統合情報を出力する出力手段と、を備える。
【0007】
この開示の情報処理方法の一の態様は、特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、前記第１周波数成分に対して畳み込み処理を行い、前記第２周波数成分に対して畳み込み処理を行い、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成し、前記統合情報を出力する。
【0008】
この開示の記録媒体の一の態様は、特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、前記第１周波数成分に対して畳み込み処理を行い、前記第２周波数成分に対して畳み込み処理を行い、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成し、前記統合情報を出力するようにコンピュータを動作させるコンピュータプログラムが記録されている。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
【図2】第１実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図3】第１実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図4】第２実施形態に係る情報処理システムによる離散ウェーブレット変換の一例を示す概念図ある。
【図5】第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図6】第３実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図7】第３実施形態に係る情報処理システムによる情報統合の一例を示す概念図である。
【図8】第３実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図9】第４実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図10】第４実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図11】第５実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
【図12】第６実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
【図13】第７実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
【図14】第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図15】第８実施形態の変形例に係る情報処理システムの機能的構成を示すブロック図である。
【図16】第８実施形態に係る情報処理システムによる注意機構を用いた情報統合の一例を示す概念図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、情報処理システム、情報処理方法、、コンピュータプログラム、及び記録媒体の実施形態について説明する。
【0011】
【0012】
（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る情報処理システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
まず、図１を参照しながら、第１実施形態に係る情報処理システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
【0013】
図１に示すように、第１実施形態に係る情報処理システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。情報処理システム１０は更に、入力装置１５と、出力装置１６と、を備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。
【0014】
プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、情報処理システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、入力される特徴量を処理するための機能ブロックが実現される。また、プロセッサ１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。
【0015】
ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。
【0016】
ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。
【0017】
記憶装置１４は、情報処理システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
【0018】
入力装置１５は、情報処理システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
【0019】
出力装置１６は、情報処理システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、情報処理システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。
【0020】
【0021】
図２に示すように、第１実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、特徴量入力部１１０と、離散ウェーブレット変換部１２０と、分解部１３０と、第１処理部１４０と、第２処理部１５０と、統合部１６０と、出力部１７０と、を備えて構成されている。特徴量入力部１１０、離散ウェーブレット変換部１２０、分解部１３０、第１処理部１４０、第２処理部１５０、統合部１６０、及び出力部１７０の各々は、例えば上述したプロセッサ１１において実現されてよく、より具体的には、ニューラルネットワークの一部として構成されてよい。
【0022】
特徴量入力部１１０は、特徴量を入力可能に構成されている。言い換えれば、特徴量入力部１１０は、特徴量を取得可能に構成されている。特徴量は、例えば画像から抽出される特徴量であってよい。より具体的には、特徴量は、画像に含まれる生体の特定部位（例えば、顔や目）に対応する特徴量であってよい。
【0023】
離散ウェーブレット変換部１２０は、特徴量入力部１１０が入力する特徴量に対して、離散ウェーブレット変換を実行可能に構成されている。なお、離散ウェーブレット変換については、既存の技術を適宜採用することができるため、ここでの詳しい説明は省略する。
【0024】
分解部１３０は、離散ウェーブレット変換の結果（即ち、特徴量を変換した情報）を、第１周波数成分と、第２周波数成分と、に分解可能に構成されている。第１周波数成分及び第２周波数成分の周波数帯域は、予め設定されていればよい。
【0025】
第１処理部１４０は、分解部１３０で分解された第１周波数成分に対して畳み込み処理を実行可能に構成されている。第１処理部１４０は、第１周波数成分に対して、１回だけ畳み込み処理を行ってもよいし、複数回畳み込み処理を行ってもよい。また、畳込み処理の後に、非線形関数の作用、正規化等の処理を行ってもよい。これらの処理（即ち、非線形関数の作用、正規化等）は、以降で説明するすべての畳込み処理の後で実行されてもよい。
【0026】
第２処理部１５０は、分解部１３０で分解された第２周波数成分に対して畳み込み処理を実行可能に構成されている。第２処理部１５０は、第２周波数成分に対して、１回だけ畳み込み処理を行ってもよいし、複数回畳み込み処理を行ってもよい。
【0027】
なお、上述した構成では、第１処理部１４０が第１周波数成分に対して畳み込み処理を実行し、第２処理部１５０が第２周波数成分に対して畳み込み処理を実行しているが、これらの処理が１つの処理部によって実行されるようにしてもよい。具体的には、第１処理部１４０及び第２処理部１５０の機能を統合した１つの処理部が、第１周波数成分に対する畳込み処理と、第２周波数成分に対する畳込み処理と、をそれぞれ実行可能に構成されていてもよい。
【0028】
統合部１６０は、第１処理部１４０の畳み込み処理の結果（即ち、第１周波数成分に対して畳み込み処理を行ったもの）と、第２処理部１５０の畳み込み処理の結果（即ち、第２周波数成分に対して畳み込み処理を行ったもの）と、を統合して統合情報を生成可能に構成されている。なお、統合手法については、特に限定されるものではない。統合手法の具体例については、後述する他の実施形態において詳しく説明する。
【0029】
出力部１７０は、統合部１６０で生成した統合情報を出力可能に構成されている。統合情報は、上述したように、特徴量入力部１１０が入力する特徴量に各種処理を行うことで得られる情報として出力される。統合情報は、ニューラルネットワークの深層学習に用いる情報として出力されてよい。
【0030】
【0031】
図３に示すように、第１実施形態に係る情報処理システム１０が動作する際には、まず特徴量入力部１１０が特徴量を入力する（ステップＳ１０１）。入力された特徴量は、離散ウェーブレット変換部１２０に出力される。そして、離散ウェーブレット変換部１２０が、入力された特徴量に離散ウェーブレット変換を行う（ステップＳ１０２）。離散ウェーブレットの変換結果は、分解部１３０に出力される。
【0032】
続いて、分解部１３０が、離散ウェーブレット変換部１２０の変換結果を、第１周波数成分と、第２周波数成分と、に分解する（ステップＳ１０３）。第１周波数成分は、第１処理部１４０に出力される。第２周波数成分は、第２処理部１５０に出力される。
【0033】
続いて、第１処理部１４０が、第１周波数成分に対して畳み込み処理を実行する（ステップＳ１０４）。また、第２処理部１５０が、第２周波数成分に対して畳み込み処理を実行する（ステップＳ１０５）。なお、ステップＳ１０４及びＳ１０５の処理は、互いに前後して実行されてもよいし、同時に並行して実行されてもよい。第１処理部１４０及び第２処理部１５０の処理結果は、それぞれ統合部１６０に出力される。
【0034】
続いて、統合部１６０が、第１処理部１４０の処理結果と、第２処理部１５０の処理結果とを統合して統合情報を生成する（ステップＳ１０６）。そして、出力部１７０が、統合部１６０で生成した統合情報を出力する（ステップＳ１０７）。
【0035】
（技術的効果）
次に、第１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0036】
図１から図３で説明したように、第１実施形態に係る情報処理システム１０では、離散ウェーブレット変換によって得られる第１周波数成分及び第２周波数成分の各々に対して畳み込み処理が実行され、その後それらが統合されて統合情報として出力される。このようにすれば、第１周波数成分及び第２周波数成分の各々が保持されるため、例えば単純にダウンサンプリングした場合と比較すると、より精度の高い情報を出力することができる。また、第１周波数成分及び第２周波数成分で別々に畳み込み処理を行ってから統合しているため、通常の畳み込み処理を行った場合と比較すると、メモリコストの増大を抑制しつつ、高品質な出力（中間特徴量）を得ることができる。なお、このような技術的効果は、例えばＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の入力に近い層で使用することで顕著に発揮される（例えば、元の解像度に同じチャンネル数の畳込み処理を作用させた場合、メモリコストを１／４に削減できる）。
【0037】
＜第２実施形態＞
第２実施形態に係る情報処理システム１０について、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と比べて一部の動作が異なるのみで、その構成等については、第１実施形態（図１及び図２参照）と同一であってよい。このため、以下では、すでに説明した第１実施形態と重複する部分について適宜説明を省略するものとする。
第２実施形態に係る情報処理システム１０について、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と比べて一部の動作が異なるのみで、その構成等については、第１実施形態（図１及び図２参照）と同一であってよい。このため、以下では、すでに説明した第１実施形態と重複する部分について適宜説明を省略するものとする。
【0038】
（離散ウェーブレット変換）
まず、図４を参照しながら、第２実施形態に係る情報処理システム１０による離散ウェーブレット変換について具体的に説明する。図４は、第２実施形態に係る情報処理システムによる離散ウェーブレット変換の一例を示す概念図ある。
まず、図４を参照しながら、第２実施形態に係る情報処理システム１０による離散ウェーブレット変換について具体的に説明する。図４は、第２実施形態に係る情報処理システムによる離散ウェーブレット変換の一例を示す概念図ある。
【0039】
図４に示すように、第２実施形態に係る情報処理システム１０は、オリジナルデータ（即ち、特徴量入力部１１０が入力する特徴量）を離散ウェーブレット変換した結果を、高周波成分（第１実施形態の第１周波数成分に相当）と、低周波成分（第１実施形態の第２周波数成分に相当）と、に分解する。高周波成分は、例えばウェーブレット関数であってよい。また、低周波成分は、例えばスケーリング関数であってよい。
【0040】
（動作の流れ）
次に、図５を参照しながら、第２実施形態に係る情報処理システム１０の動作の流れについて説明する。図５は、第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図５では、図３で示した処理と同様の処理に同一の符号を付している。
次に、図５を参照しながら、第２実施形態に係る情報処理システム１０の動作の流れについて説明する。図５は、第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図５では、図３で示した処理と同様の処理に同一の符号を付している。
【0041】
図５に示すように、第２実施形態に係る情報処理システム１０が動作する際には、まず特徴量入力部１１０が特徴量を入力する（ステップＳ１０１）。そして、離散ウェーブレット変換部１２０が、入力された特徴量に離散ウェーブレット変換を行う（ステップＳ１０２）。
【0042】
続いて、分解部１３０が、離散ウェーブレット変換部１２０の変換結果を、高周波成分と、低周波成分と、に分解する（ステップＳ２０１）。高周波成分は、第１処理部１４０に出力される。第２周波数成分は、第２処理部１５０に出力される。
【0043】
続いて、第１処理部１４０が、高周波成分に対して畳み込み処理を実行する（ステップＳ２０２）。また、第２処理部１５０が、低周波成分に対して畳み込み処理を実行する（ステップＳ２０３）。なお、ステップＳ２０２及びＳ２０３の処理は、互いに前後して実行されてもよいし、同時に並行して実行されてもよい。
【0044】
続いて、統合部１６０が、第１処理部１４０の処理結果（即ち、高周波成分に対する処理結果）と、第２処理部１５０の処理結果（即ち、低周波成分に対する処理結果）と、を統合して統合情報を生成する（ステップＳ２０４）。そして、出力部１７０が、統合部１６０で生成した統合情報を出力する（ステップＳ１０７）。
【0045】
（技術的効果）
次に、第２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0046】
図４及び図５で説明したように、第２実施形態に係る情報処理システム１０では、離散ウェーブレット変換の結果が高周波成分と低周波成分に分解され、それら各々に対して畳み込み処理が実行された後に統合される。このようにすれば、画像の低レベル特徴量を示す高周波成分が保持されるため、例えば高周波成分をカットする場合と比較すると、より精度の高い情報を出力することができる。また、高周波成分及び低周波成分で別々に畳み込み処理を行ってから統合しているため、メモリコストの増大を抑制しつつ、高品質な出力（中間特徴量）を得ることができる。なお、第２実施形態に係る技術的効果は、例えば視線検出等の低レベル特徴量（例えば、目尻の位置等）が重要な処理において顕著に発揮される。
【0047】
以下の実施形態では、上述した第２実施形態の構成（即ち、離散ウェーブレット変換の結果が、高周波成分と低周波成分とに分解される構成）を前提にして説明を進める。
【0048】
＜第３実施形態＞
第３実施形態に係る情報処理システム１０について、図６から図８を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分について適宜説明を省略するものとする。
第３実施形態に係る情報処理システム１０について、図６から図８を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分について適宜説明を省略するものとする。
【0049】
（機能的構成）
まず、図６を参照しながら、第３実施形態に係る情報処理システム１０の機能的構成について説明する。図６は、第３実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図６では、図２で示した構成要素と同様の要素に同一の符号を付している。
まず、図６を参照しながら、第３実施形態に係る情報処理システム１０の機能的構成について説明する。図６は、第３実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図６では、図２で示した構成要素と同様の要素に同一の符号を付している。
【0050】
図６に示すように、第３実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、特徴量入力部１１０と、離散ウェーブレット変換部１２０と、分解部１３０と、第１処理部１４０と、第２処理部１５０と、統合部１６０と、出力部１７０と、第３処理部１８０と、を備えて構成されている。即ち、第３実施形態に係る情報処理システム１０は、第１実施形態の構成（図２参照）に加えて、第３処理部１８０を更に備えて構成されている。
【0051】
第３処理部１８０は、離散ウェーブレット変換の結果に対して畳み込み処理を実行可能に構成されている。即ち、第３処理部１８０は、分解部１３０で分解される前の高周波成分（第１周波数成分）及び低周波成分（第２周波数成分）の両方に対して畳み込み処理を実行可能に構成されている。第３処理部１８０は、離散ウェーブレット変換の結果に対して、１回だけ畳み込み処理を行ってもよいし、複数回畳み込み処理を行ってもよい。
【0052】
なお、第３処理部１８０の出力結果は、統合部１６０に出力される構成となっている。第３実施形態に係る統合部１３０は、第１処理部１４０の処理結果と、第２処理部１５０の処理結果と、第３処理部１８０の処理結果と、を統合可能に構成されている。
【0053】
（統合例）
次に、図７を参照しながら、第３実施形態に係る情報処理システム１０による統合例（即ち、統合部１６０の動作）について説明する。図７は、第３実施形態に係る情報処理システムによる情報統合の一例を示す概念図である。
次に、図７を参照しながら、第３実施形態に係る情報処理システム１０による統合例（即ち、統合部１６０の動作）について説明する。図７は、第３実施形態に係る情報処理システムによる情報統合の一例を示す概念図である。
【0054】
図７に示すように、オリジナルデータから得られた高周波成分と低周波成分とでは、それぞれ別々に畳み込み処理が実行される（図中の下方向の矢印参照）。そして、第３実施形態では特に、高周波成分及び低周波成分の両方（全チャンネル）に対して、分解することなく畳み込み処理が実行される（図中の上方向の矢印参照）。これらの各畳み込み処理の結果は、統合部１６０において統合される。即ち、高周波成分に対して畳み込み処理を行ったものと、低周波成分に対して畳み込み処理を行ったものと、高周波成分及び低周波成分の両方に対して畳み込み処理を行ったものと、が統合される。なお、これら３つの結果を統合する具体的な手法については、後述する他の実施形態において詳しく説明する。
【0055】
（動作の流れ）
次に、図８を参照しながら、第３実施形態に係る情報処理システム１０の動作の流れについて説明する。図８は、第３実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図８では、図５で示した処理と同様の処理に同一の符号を付している。
次に、図８を参照しながら、第３実施形態に係る情報処理システム１０の動作の流れについて説明する。図８は、第３実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図８では、図５で示した処理と同様の処理に同一の符号を付している。
【0056】
図８に示すように、第３実施形態に係る情報処理システム１０が動作する際には、まず特徴量入力部１１０が特徴量を入力する（ステップＳ１０１）。そして、離散ウェーブレット変換部１２０が、入力された特徴量に離散ウェーブレット変換を行う（ステップＳ１０２）。離散ウェーブレット変換の結果は、分解部１３０に加えて、第３処理部１８０にも出力される。
【0057】
続いて、分解部１３０が、離散ウェーブレット変換部１２０の変換結果を、高周波成分と、低周波成分と、に分解する（ステップＳ２０１）。高周波成分は、第１処理部１４０に出力される。第２周波数成分は、第２処理部１５０に出力される。
【0058】
続いて、第１処理部１４０が、高周波成分に対して畳み込み処理を実行する（ステップＳ２０２）。また、第２処理部１５０が、低周波成分に対して畳み込み処理を実行する（ステップＳ２０３）。更に、第３処理部１８０が、離散ウェーブレット変換部１２０の変換結果に対して畳み込み処理を実行する（ステップＳ３０１）。なお、ステップＳ２０２、Ｓ２０３、及びＳ３０１の処理は、互いに前後して実行されてもよいし、同時に並行して実行されてもよい。
【0059】
続いて、統合部１６０が、第１処理部１４０の処理結果（即ち、高周波成分に対する処理結果）と、第２処理部１５０の処理結果（即ち、低周波成分に対する処理結果）と、第３処理部１８０の処理結果（即ち、全チャンネルに対する処理結果）と、を統合して統合情報を生成する（ステップＳ３０２）。そして、出力部１７０が、統合部１６０で生成した統合情報を出力する（ステップＳ１０７）。
【0060】
（技術的効果）
次に、第３実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第３実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0061】
図６から図８で説明したように、第３実施形態に係る情報処理システム１０では、第１周波数成分及び第２周波数成分に対して別々に畳み込み処理を行ったものに加えて、第１周波数成分及び第２周波数成分の両方（即ち、分解前のもの）に畳み込み処理結果を行ったものが統合される。このようにすれば、統合の際に、高周波成分と低周波成分との相互作用を効率よく取り込むことができる。具体的には、第３処理部１８０の処理の結果が有する高周波成分と低周波成分との相互作用を用いて、より適切な統合が行える。その結果、統合部１６０の負担を軽減することができ、例えばニューラルネットワークの学習を容易に行うことが可能となる。
【0062】
以下の実施形態では、上述した第３実施形態の構成（即ち、第１処理部１４０、第２処理部１５０、及び第３処理部１８０の処理結果が統合される構成）を前提にして説明を進める。
【0063】
＜第４実施形態＞
第４実施形態に係る情報処理システム１０について、図９及び図１０を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第３実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
第４実施形態に係る情報処理システム１０について、図９及び図１０を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第１から第３実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
【0064】
（機能的構成）
まず、図９を参照しながら、第４実施形態に係る情報処理システム１０の機能的構成について説明する。図９は、第４実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図９では、図６で示した構成要素と同様の要素に同一の符号を付している。
まず、図９を参照しながら、第４実施形態に係る情報処理システム１０の機能的構成について説明する。図９は、第４実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図９では、図６で示した構成要素と同様の要素に同一の符号を付している。
【0065】
図９に示すように、第４実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、特徴量入力部１１０と、離散ウェーブレット変換部１２０と、分解部１３０と、第１処理部１４０と、第２処理部１５０と、統合部１６０と、出力部１７０と、第３処理部１８０と、ノイズ除去部１９０とを備えて構成されている。即ち、第４実施形態に係る情報処理システム１０は、第３実施形態の構成（図６参照）に加えて、第３処理部１８０を更に備えて構成されている。
【0066】
ノイズ除去部１９０は、高周波成分に対する畳み込み処理の結果から、一部の成分を除去可能に構成されている。具体的には、ノイズ除去部１９０は、高周波成分に対する畳み込み処理の結果から、ノイズに相当する高周波成分（即ち、高周波成分の高周波成分）を除去可能に構成されている。ノイズ除去部１９０は、例えば高周波成分に対する畳み込み処理の結果に、更に離散ウェーブレット変換やフーリエ変換を行って、その結果の高周波成分を除去する。或いは、ノイズ除去部１９０は、例えば高周波成分に対する畳み込み処理の結果に、ローパスフィルタをかけることで、その高周波成分を除去してもよい。
【0067】
（動作の流れ）
次に、図１０を参照しながら、第４実施形態に係る情報処理システム１０の動作の流れについて説明する。図１０は、第４実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１０では、図８で示した処理と同様の処理に同一の符号を付している。
次に、図１０を参照しながら、第４実施形態に係る情報処理システム１０の動作の流れについて説明する。図１０は、第４実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１０では、図８で示した処理と同様の処理に同一の符号を付している。
【0068】
図１０に示すように、第４実施形態に係る情報処理システム１０が動作する際には、まず特徴量入力部１１０が特徴量を入力する（ステップＳ１０１）。そして、離散ウェーブレット変換部１２０が、入力された特徴量に離散ウェーブレット変換を行う（ステップＳ１０２）。
【0069】
続いて、分解部１３０が、離散ウェーブレット変換部１２０の変換結果を、高周波成分と、低周波成分と、に分解する（ステップＳ２０１）。高周波成分は、第１処理部１４０に出力される。第２周波数成分は、第２処理部１５０に出力される。
【0070】
続いて、第１処理部１４０が、高周波成分に対して畳み込み処理を実行する（ステップＳ２０２）。そして第４実施形態では特に、高周波成分に対して畳み込み処理を実行した結果が、ノイズ除去部１９０に出力される。ノイズ除去部１９０は、高周波成分の畳み込み処理結果から、ノイズ成分を除去する（ステップＳ４０１）。
【0071】
他方、第２処理部１５０は、低周波成分に対して畳み込み処理を実行する（ステップＳ２０３）。また、第３処理部１８０は、離散ウェーブレット変換部１２０の変換結果に対して畳み込み処理を実行する（ステップＳ３０１）。
【0072】
続いて、統合部１６０が、高周波成分に対する処理結果（ノイズを除去したもの）と、第低周波成分に対する処理結果と、全チャンネルに対する処理結果と、を統合して統合情報を生成する（ステップＳ３０２）。そして、出力部１７０が、統合部１６０で生成した統合情報を出力する（ステップＳ１０７）。
【0073】
（技術的効果）
次に、第４実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第４実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0074】
図８及び図９で説明したように、第４実施形態に係る情報処理システム１０では、高周波成分の一部の成分（ノイズ成分）が除去される。このようにすれば、高周波成分に含まれるノイズを減らすことができるため、例えば脆弱性をついた攻撃（所謂、Ａｄｖｅｒｓａｒｉａｌ Ａｔｔａｃｋ）等に対する頑健性、堅牢性を高めることができる。
【0075】
＜第５実施形態＞
第５実施形態に係る情報処理システム１０について、図１１を参照して説明する。なお、第５実施形態は、上述した第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、その構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
（統合例）
まず、図１１を参照しながら、第５実施形態に係る情報処理システム１０による統合手法について具体的に説明する。図１１は、第５実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
第５実施形態に係る情報処理システム１０について、図１１を参照して説明する。なお、第５実施形態は、上述した第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、その構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
（統合例）
まず、図１１を参照しながら、第５実施形態に係る情報処理システム１０による統合手法について具体的に説明する。図１１は、第５実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
【0076】
図１１に示すように、第５実施形態に係る統合部１６０は、高周波成分の畳み込み処理の結果（即ち、第１処理部１４０の処理結果）と、低周波成分の畳み込み処理の結果（即ち、第２処理部１５０の処理結果）と、全チャンネルの畳み込み処理の結果（即ち、第３処理部１８０の処理結果）と、を足し合わせることで統合する。
【0077】
例えば、統合部１６０は、全チャンネルの畳み込み処理の結果を「Ｃｏｎｖ（ａｌｌ）」、高周波成分の畳み込み処理の結果を「Ｃｏｎｖ（ｈｉｇｈ）」、低周波成分の畳み込み処理の結果を「Ｃｏｎｖ（ｌｏｗ）」とし、下記式（１）を用いて統合してよい。
【0078】
Ｃｏｎｖ（ａｌｌ）＋Ｃ１×Ｃｏｎｖ（ｈｉｇｈ）＋Ｃ２×Ｃｏｎｖ（ｌｏｗ）・・・（１）
【0079】
なお、Ｃ１及びＣ２は所定の係数であり、予め設定されていればよい。ここでは、Ｃｏｎｖ（ｈｉｇｈ）及びＣｏｎｖ（ｌｏｗ）に係数が掛けられているが、Ｃｏｎｖ（ｈｉｇｈ）及びＣｏｎｖ（ｌｏｗ）の一方のみに係数が掛けられてもよい。また、Ｃｏｎｖ（ａｌｌ）に係数が掛けられてもよい。
【0080】
（技術的効果）
次に、第５実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第５実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0081】
図１１で説明したように、第５実施形態に係る情報処理システム１０では、各畳み込み処理の結果を足し合わせることで統合情報が生成される。このようにすれば、比較的容易に統合情報を生成することができる。なお、上述した実施形態では、全チャンネルの畳み込み処理の結果を統合する（即ち、３つの処理結果を統合する）例を挙げたが、周波成分の畳み込み処理の結果と、低周波成分の畳み込み処理の結果と、を統合する（即ち、２つの処理結果を統合する）場合には、それら２つの結果を足し合わせて統合すればよい。
【0082】
＜第６実施形態＞
第６実施形態に係る情報処理システム１０について、図１２を参照して説明する。なお、第６実施形態は、上述した第５実施形態と同様に、第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、その構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
（統合例）
まず、図１２を参照しながら、第６実施形態に係る情報処理システム１０による統合手法について具体的に説明する。図１２は、第６実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
第６実施形態に係る情報処理システム１０について、図１２を参照して説明する。なお、第６実施形態は、上述した第５実施形態と同様に、第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、その構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
（統合例）
まず、図１２を参照しながら、第６実施形態に係る情報処理システム１０による統合手法について具体的に説明する。図１２は、第６実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
【0083】
図１２に示すように、第６実施形態に係る統合部１６０は、高周波成分の畳み込み処理の結果（即ち、第１処理部１４０の処理結果）と、低周波成分の畳み込み処理の結果（即ち、第２処理部１５０の処理結果）と、全チャンネルの畳み込み処理の結果（即ち、第３処理部１８０の処理結果）と、を掛け合わせることで統合する。
【0084】
例えば、統合部１６０は、下記式（２）を用いて統合してよい。
【0085】
Ｃｏｎｖ（ａｌｌ）×Ｃｏｎｖ（ｈｉｇｈ）＋Ｃｏｎｖ（ｌｏｗ）・・・（２）
【0086】
（技術的効果）
次に、第６実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第６実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0087】
図１２で説明したように、第６実施形態に係る情報処理システム１０では、各畳み込み処理の結果を掛け合わせることで統合情報が生成される。このようにすれば、比較的容易に統合情報を生成することができる。なお、上述した実施形態では、全チャンネルの畳み込み処理の結果を統合する（即ち、３つの処理結果を統合する）例を挙げたが、周波成分の畳み込み処理の結果と、低周波成分の畳み込み処理の結果と、を統合する（即ち、２つの処理結果を統合する）場合には、それら２つの結果を掛け合わせて統合すればよい。
【0088】
＜第７実施形態＞
第７実施形態に係る情報処理システム１０について、図１３を参照して説明する。なお、第７実施形態は、上述した第５及び第６実施形態と同様に、第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、その構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
（統合例）
まず、図１３を参照しながら、第７実施形態に係る情報処理システム１０による統合手法について具体的に説明する。図１３は、第７実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
第７実施形態に係る情報処理システム１０について、図１３を参照して説明する。なお、第７実施形態は、上述した第５及び第６実施形態と同様に、第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、その構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
（統合例）
まず、図１３を参照しながら、第７実施形態に係る情報処理システム１０による統合手法について具体的に説明する。図１３は、第７実施形態に係る情報処理システムによる情報統合の手法を示す概念図である。
【0089】
図１３に示すように、第７実施形態に係る統合部１６０は、高周波成分の畳み込み処理の結果（即ち、第１処理部１４０の処理結果）と、低周波成分の畳み込み処理の結果（即ち、第２処理部１５０の処理結果）と、全チャンネルの畳み込み処理の結果（即ち、第３処理部１８０の処理結果）と、を連結することで統合する。
【0090】
例えば、統合部１６０は、［Ｃｏｎｖ（ａｌｌ），Ｃｏｎｖ（ｈｉｇｈ），Ｃｏｎｖ（ｌｏｗ）］のように、各畳み込み処理の結果を、チャンネル方向に繋げるようにして連結すればよい。
【0091】
（技術的効果）
次に、第７実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第７実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0092】
図１３で説明したように、第７実施形態に係る情報処理システム１０では、各畳み込み処理の結果を連結することで統合情報が生成される。このようにすれば、比較的容易に統合情報を生成することができる。なお、上述した実施形態では、全チャンネルの畳み込み処理の結果を統合する（即ち、３つの処理結果を統合する）例を挙げたが、周波成分の畳み込み処理の結果と、低周波成分の畳み込み処理の結果と、を統合する（即ち、２つの処理結果を統合する）場合には、それら２つの結果を連結して統合すればよい。
【0093】
＜第８実施形態＞
第８実施形態に係る情報処理システム１０について、図１４から図１６を参照して説明する。なお、第８実施形態に係る情報処理システム１０は、上述した第５から第７実施形態と同様に、第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、主な構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
第８実施形態に係る情報処理システム１０について、図１４から図１６を参照して説明する。なお、第８実施形態に係る情報処理システム１０は、上述した第５から第７実施形態と同様に、第１から第４実施形態に適用可能な統合手法の一例を説明するものであり、主な構成や動作については第１から第４実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
【0094】
（機能的構成）
まず、図１４及び図１５を参照しながら、第８実施形態に係る情報処理システム１０の機能的構成について説明する。図１４は、第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。図１５は、第８実施形態の変形例に係る情報処理システムの機能的構成を示すブロック図である。なお、図１４及び図１５では、図６で示した構成要素と同様の要素に同一の符号を付している。
まず、図１４及び図１５を参照しながら、第８実施形態に係る情報処理システム１０の機能的構成について説明する。図１４は、第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。図１５は、第８実施形態の変形例に係る情報処理システムの機能的構成を示すブロック図である。なお、図１４及び図１５では、図６で示した構成要素と同様の要素に同一の符号を付している。
【0095】
図１４に示すように、第８実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、特徴量入力部１１０と、離散ウェーブレット変換部１２０と、分解部１３０と、第１処理部１４０と、第２処理部１５０と、統合部１６０と、出力部１７０と、第３処理部１８０と、を備えて構成されている。そして特に、第８実施形態に係る統合部１６０は、アテンションマップ生成部１６１と、アテンション情報統合部１６２と、を備えている。
【0096】
アテンションマップ生成部１６１は、第１処理部１４０の結果（即ち、高周波成分の畳み込み処理結果）と、第３処理部１８０の結果（即ち、全チャンネルの畳み込み処理結果）と、に基づいてアテンションマップ（重要部分）を生成可能に構成されている。アテンションマップ生成部１６１で生成されたアテンションマップは、アテンション情報統合部１６２に出力される構成となっている。
【0097】
アテンション情報統合部１６２は、アテンションマップ生成部１６１で生成されたアテンションマップと、第２処理部１５０の結果（即ち、低周波成分の畳み込み処理結果）と、に基づいて統合情報を生成可能に構成されている。アテンションマップ情報統合部１６２で生成された統合情報は、出力部１７０に出力される構成となっている。
【0098】
図１５に示すように、第８実施形態に係るアテンションマップ生成部１６１は、第１処理部１４０の結果（即ち、高周波成分の畳み込み処理結果）と、第２処理部１５０の結果（即ち、低周波成分の畳み込み処理結果）と、に基づいてアテンションマップ（重要部分）を生成可能に構成されていてもよい。この場合、アテンション情報統合部１６２は、アテンションマップ生成部１６１で生成されたアテンションマップと、第３処理部１８０の結果（即ち、全チャンネルの畳み込み処理結果）と、に基づいて統合情報を生成可能に構成されればよい。なお、アテンションマップ生成部１６１及びアテンション情報統合部１６２の構成は、図１４及び図１５の例に限られるものではない。
【0099】
（注意機構の動作）
次に、図１６を参照しながら、第８実施形態に係る注意機構（即ち、統合部１６０）の動作について説明する。図１６は、第８実施形態に係る情報処理システムによる注意機構を用いた情報統合の一例を示す概念図である。
次に、図１６を参照しながら、第８実施形態に係る注意機構（即ち、統合部１６０）の動作について説明する。図１６は、第８実施形態に係る情報処理システムによる注意機構を用いた情報統合の一例を示す概念図である。
【0100】
図１６に示すように、第８実施形態に係る統合部１６０には、入力Ａ（キー）、入力Ｂ（クエリ）、及び入力Ｃ（バリュー）が入力される。
【0101】
統合部１６０が動作する際には、まずアテンションマップ生成部１６１が、入力Ａと入力Ｂとの行列積を計算することでアテンションマップを生成する。この際、入力Ａ及び入力Ｂは、図１４で説明したように、第１処理部１４０の処理結果及び第３処理部１８０の処理結果（即ち、Ｃｏｎｖ（ｈｉｇｈ），Ｃｏｎｖ（ａｌｌ）の組み合わせ）である。ただし、入力Ａ及び入力Ｂは、それ以外の組み合わせであってもよい。具体的には、図１５で説明したように、入力Ａ及び入力Ｂは、第１処理部１４０の処理結果及び第２処理部１５０の処理結果（即ち、Ｃｏｎｖ（ｈｉｇｈ），Ｃｏｎｖ（ｌｏｗ）の組み合わせ）であってもよい。また、図示は省略しているが、入力Ａ及び入力Ｂは、第２処理部１５０の処理結果及び第３処理部１８０の処理結果（即ち、Ｃｏｎｖ（ｌｏｗ），Ｃｏｎｖ（ａｌｌ）の組み合わせ）であってもよいし、いずれも第３処理部１８０の処理結果（即ち、Ｃｏｎｖ（ａｌｌ），Ｃｏｎｖ（ａｌｌ）の組み合わせ）であってもよい。
【0102】
続いて、アテンション情報統合部１６２は、アテンションマップと、第２処理部１５０の処理結果との行列式を計算する（具体的には、第２処理部１５０の処理結果に対して、アテンションマップとして算出された重要部分を重みとして掛ける）ことにより、統合情報を生成する。
【0103】
（技術的効果）
次に、第８実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第８実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0104】
図１４から図１６で説明したように、第８実施形態に係る情報処理システム１０では、注意機構を用いて各畳み込み処理の結果が統合される。このようにすれば、特徴量における重要な部分を保持しつつ、統合情報を生成することが可能である。
【0105】
上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【0106】
記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0107】
この開示は上記実施形態に限定されるものではない。この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理システム、情報処理方法、コンピュータプログラム、及び記録媒体もまたこの開示の技術思想に含まれる。
【0108】
＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
【0109】
（付記１）
付記１に記載の情報処理システムは、特徴量を入力する入力手段と、前記特徴量に離散ウェーブレット変換を実行する変換手段と、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解する分解手段と、前記第１周波数成分に対して畳み込み処理を行う第１処理手段と、前記第２周波数成分に対して畳み込み処理を行う第２処理手段と、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成する統合手段と、前記統合情報を出力する出力手段と、を備えることを特徴とする情報処理システムである。
付記１に記載の情報処理システムは、特徴量を入力する入力手段と、前記特徴量に離散ウェーブレット変換を実行する変換手段と、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解する分解手段と、前記第１周波数成分に対して畳み込み処理を行う第１処理手段と、前記第２周波数成分に対して畳み込み処理を行う第２処理手段と、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成する統合手段と、前記統合情報を出力する出力手段と、を備えることを特徴とする情報処理システムである。
【0110】
（付記２）
付記２に記載の情報処理システムは、前記第１周波数成分は、所定閾値よりも周波数が高い高周波成分であり、前記第２周波数成分は、前記所定閾値よりも周波数が低い低周波成分である、ことを特徴とする付記１に記載の情報処理システムである。
付記２に記載の情報処理システムは、前記第１周波数成分は、所定閾値よりも周波数が高い高周波成分であり、前記第２周波数成分は、前記所定閾値よりも周波数が低い低周波成分である、ことを特徴とする付記１に記載の情報処理システムである。
【0111】
（付記３）
付記３に記載の情報処理システムは、前記離散ウェーブレット変換の結果に対して畳み込み処理を行う第３処理手段を更に備え、前記統合手段は、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、前記離散ウェーブレット変換の結果の畳み込み処理の結果と、を統合することを特徴とする付記１又は２に記載の情報処理システムである。
付記３に記載の情報処理システムは、前記離散ウェーブレット変換の結果に対して畳み込み処理を行う第３処理手段を更に備え、前記統合手段は、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、前記離散ウェーブレット変換の結果の畳み込み処理の結果と、を統合することを特徴とする付記１又は２に記載の情報処理システムである。
【0112】
（付記４）
付記４に記載の情報処理システムは、前記推定手段は、前記第１周波数成分の畳み込み処理の結果から、一部の成分を除去する除去手段を更に備え、前記統合手段は、前記一部の成分を除去した前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合することを特徴とする付記１から３のいずれか一項に記載の情報処理システムである。
付記４に記載の情報処理システムは、前記推定手段は、前記第１周波数成分の畳み込み処理の結果から、一部の成分を除去する除去手段を更に備え、前記統合手段は、前記一部の成分を除去した前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合することを特徴とする付記１から３のいずれか一項に記載の情報処理システムである。
【0113】
（付記５）
付記５に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を足し合わせることで前記統合情報を生成することを特徴等する付記１から４のいずれか一項に記載の情報処理システムである。
付記５に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を足し合わせることで前記統合情報を生成することを特徴等する付記１から４のいずれか一項に記載の情報処理システムである。
【0114】
（付記６）
付記６に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を掛け合わせることで前記統合情報を生成することを特徴等する付記１から４のいずれか一項に記載の情報処理システムである。
付記６に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を掛け合わせることで前記統合情報を生成することを特徴等する付記１から４のいずれか一項に記載の情報処理システムである。
【0115】
（付記７）
付記７に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を連結することで前記統合情報を生成することを特徴等する付記１から４のいずれか一項に記載の情報処理システムである。
付記７に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を連結することで前記統合情報を生成することを特徴等する付記１から４のいずれか一項に記載の情報処理システムである。
【0116】
（付記８）
付記８に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を注意機構で統合して前記統合情報を生成することを特徴とする付記１から４のいずれか一項に記載の情報処理システムである。
付記８に記載の情報処理システムは、前記統合手段は、各畳み込み処理の結果を注意機構で統合して前記統合情報を生成することを特徴とする付記１から４のいずれか一項に記載の情報処理システムである。
【0117】
（付記９）
付記９に記載の情報処理方法は、特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、前記第１周波数成分に対して畳み込み処理を行い、前記第２周波数成分に対して畳み込み処理を行い、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成し、前記統合情報を出力する、ことを特徴とする情報処理方法である。
付記９に記載の情報処理方法は、特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、前記第１周波数成分に対して畳み込み処理を行い、前記第２周波数成分に対して畳み込み処理を行い、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成し、前記統合情報を出力する、ことを特徴とする情報処理方法である。
【0118】
（付記１０）
付記１０に記載のコンピュータプログラムは、特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、前記第１周波数成分に対して畳み込み処理を行い、前記第２周波数成分に対して畳み込み処理を行い、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成し、前記統合情報を出力する、ようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
付記１０に記載のコンピュータプログラムは、特徴量を入力し、前記特徴量に離散ウェーブレット変換を実行し、前記離散ウェーブレット変換の結果を、第１周波数成分と第２周波数成分とに分解し、前記第１周波数成分に対して畳み込み処理を行い、前記第２周波数成分に対して畳み込み処理を行い、前記第１周波数成分の畳み込み処理の結果と、前記第２周波数成分の畳み込み処理の結果と、を統合して統合情報を生成し、前記統合情報を出力する、ようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
【0119】
（付記１１）
付記１１に記載の記録媒体は、付記１０に記載のコンピュータプログラムを記録していることを特徴とする記録媒体である。
付記１１に記載の記録媒体は、付記１０に記載のコンピュータプログラムを記録していることを特徴とする記録媒体である。
【0120】
法令で許容される限りにおいて、この出願は、２０２１年３月３０日に出願された日本出願特願２０２１－０５７８４２を基礎とする優先権を主張し、その開示の全てをここに取り込む。また、法令で許容される限りにおいて、本願明細書に記載された全ての公開公報及び論文をここに取り込む。
【符号の説明】
【0121】
１０ 情報処理システム
１１ プロセッサ
１１０ 特徴量入力部
１２０ 離散ウェーブレット変換部
１３０ 分解部
１４０ 第１処理部
１５０ 第２処理部
１６０ 統合部
１６１ アテンションマップ生成部
１６２ アテンション情報統合部
１７０ 出力部
１８０ 第３処理部
１９０ ノイズ除去部
１１ プロセッサ
１１０ 特徴量入力部
１２０ 離散ウェーブレット変換部
１３０ 分解部
１４０ 第１処理部
１５０ 第２処理部
１６０ 統合部
１６１ アテンションマップ生成部
１６２ アテンション情報統合部
１７０ 出力部
１８０ 第３処理部
１９０ ノイズ除去部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】