知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166974
(43)【公開日】2024-11-29
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06N 3/0464 20230101AFI20241122BHJP
G06N 3/0495 20230101ALI20241122BHJP
G06T 1/40 20060101ALI20241122BHJP
【ＦＩ】
G06N3/0464
G06N3/0495
G06T1/40
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023083430
(22)【出願日】2023-05-19
(71)【出願人】
【識別番号】398034168
【氏名又は名称】株式会社アクセル
(74)【代理人】
【識別番号】100104776
【弁理士】
【氏名又は名称】佐野 弘
(74)【代理人】
【識別番号】100119194
【弁理士】
【氏名又は名称】石井 明夫
(72)【発明者】
【氏名】奥野 修二
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CE06
5B057DC40
(57)【要約】
【課題】ＣＮＮを用いた人工知能において、データ量や処理負荷が過大になるのを抑止しつつ高い精度で解析や認識を行える情報処理装置を提供する。
【解決手段】情報処理装置は、デジタルデータであって複数のピクセルの集合体である元の画像データ２０に対して単一のフィルタを適用して演算を行う単一フィルタ処理を行う単一フィルタ処理手段、元の画像データ２０に所定の処理を行うことで元の画像データ２０からデータを抽出するプーリング処理を行うプーリング処理手段、又は、畳み込み処理を行う畳み込み処理手段と、単一フィルタ処理手段、プーリング処理手段、又は、畳み込み手段の出力した処理済みの元の画像データ２０の前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理を行う逆ピクセルシャッフラー手段とを備える。
【選択図】図５
【解決手段】情報処理装置は、デジタルデータであって複数のピクセルの集合体である元の画像データ２０に対して単一のフィルタを適用して演算を行う単一フィルタ処理を行う単一フィルタ処理手段、元の画像データ２０に所定の処理を行うことで元の画像データ２０からデータを抽出するプーリング処理を行うプーリング処理手段、又は、畳み込み処理を行う畳み込み処理手段と、単一フィルタ処理手段、プーリング処理手段、又は、畳み込み手段の出力した処理済みの元の画像データ２０の前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理を行う逆ピクセルシャッフラー手段とを備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
デジタルデータに対して畳み込みニューラルネットワークを用いたデータ処理を行う情報処理装置であって、
前記デジタルデータであって複数のピクセルの集合体である元データに対して単一のフィルタを適用して演算を行う単一フィルタ処理を行う単一フィルタ処理手段、前記元データに所定の処理を行うことで前記元データからデータを抽出するプーリング処理を行うプーリング処理手段、又は、畳み込み処理を行う畳み込み処理手段と、
前記単一フィルタ処理手段、プーリング処理手段、又は、畳み込み処理手段の出力した処理済みの前記元データの前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理を行う逆ピクセルシャッフラー手段とを備えたことを特徴とする情報処理装置。
前記デジタルデータであって複数のピクセルの集合体である元データに対して単一のフィルタを適用して演算を行う単一フィルタ処理を行う単一フィルタ処理手段、前記元データに所定の処理を行うことで前記元データからデータを抽出するプーリング処理を行うプーリング処理手段、又は、畳み込み処理を行う畳み込み処理手段と、
前記単一フィルタ処理手段、プーリング処理手段、又は、畳み込み処理手段の出力した処理済みの前記元データの前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理を行う逆ピクセルシャッフラー手段とを備えたことを特徴とする情報処理装置。
【請求項2】
前記デジタルデータは画像データであることを特徴とする請求項１に記載の情報処理装置。
【請求項3】
デジタルデータに対して畳み込みニューラルネットワークを用いたデータ処理を行う情報処理装置による情報処理方法であって、
前記デジタルデータであって複数のピクセルの集合体である元データに対して単一のフィルタを適用して演算を行う単一フィルタ処理が行われる単一フィルタ処理手順、前記元データに所定の処理を行うことで前記元データからデータを抽出するプーリング処理が行われるプーリング処理手順、又は、畳み込み処理が行われる畳み込み処理手順と、
前記単一フィルタ処理手順、プーリング処理手順、又は、畳み込み処理手順において出力された処理済みの前記元データの前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理が行われる逆ピクセルシャッフラー手順とを備えたことを特徴とする情報処理装置による情報処理方法。
前記デジタルデータであって複数のピクセルの集合体である元データに対して単一のフィルタを適用して演算を行う単一フィルタ処理が行われる単一フィルタ処理手順、前記元データに所定の処理を行うことで前記元データからデータを抽出するプーリング処理が行われるプーリング処理手順、又は、畳み込み処理が行われる畳み込み処理手順と、
前記単一フィルタ処理手順、プーリング処理手順、又は、畳み込み処理手順において出力された処理済みの前記元データの前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理が行われる逆ピクセルシャッフラー手順とを備えたことを特徴とする情報処理装置による情報処理方法。
【請求項4】
コンピュータを、請求項１又は２に記載の情報処理装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、畳み込みニューラルネットワーク（ＣＮＮ）を用いてデータを処理する情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
近年、人工知能（ＡＩ）を用いてデータの解析や認識を行うために、畳み込みニューラルネットワーク（ＣＮＮ。以下「ＣＮＮ」と称する。）が多く用いられる。これらのＣＮＮのうち、画像のセグメンテーションを推定するためのものとして、Ｕ－ｎｅｔと称されるネットワークが知られている。
【0003】
Ｕ－ｎｅｔの一般的な構成としては、非特許文献１に記載のように、エンコード側で畳み込み処理とプーリング処理とを順次行うことでダウンサンプルすると共に、エンコード側の各階層の畳み込み結果の一部を特徴マップとしてデコード側の階層に供給する。デコード側ではデータをアップサンプルすると共にエンコード側から供給された特徴マップのデータをクロップしてデータの畳み込みを行う。
【0004】
また、非特許文献２に記載されているように、ｐｉｘ２ｐｉｘというモデルではＵ－ｎｅｔを利用し、画像の領域特定に利用されている。このｐｉｘ２ｐｉｘでは非特許文献１に開示されたＵ－ｎｅｔのプーリング処理に替えて、畳み込みを用いてダウンサンプルしている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ、 ａｎｄＴｈｏｍａｓ Ｂｒｏｘ、“Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ ＢｉｏｍｅｄｉｃａｌＩｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎ”、「ＭＩＣＣＡＩ２０１５．ＬＮＣＳ」、Ｓｐｒｉｎｇｅｒ,ｖｏｌ．９３５１、ｐ．２３４－２４１,２０１５
【非特許文献2】Ｐｈｉｌｌｉｐ Ｉｓｏｌａ Ｊｕｎ－Ｙａｎ Ｚｈｕ Ｔｉｎｇｈｕｉ Ｚｈｏｕ Ａｌｅｘｅｉ Ａ． Ｅｆｒｏｓ、“Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”、Ｂｅｒｋｅｌｅｙ ＡＩ Ｒｅｓｅａｒｃｈ （ＢＡＩＲ） Ｌａｂｏｒａｔｏｒｙ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ、 Ｂｅｒｋｅｌｅｙ、２６ Ｎｏｖ ２０１８
【発明の概要】
【発明が解決しようとする課題】
【0006】
Ｕ－ｎｅｔ等におけるダウンサンプルは、認識等の場合で利用される特徴抽出という機能以外に多重解像度処理という側面もある。したがって、プーリングでダウンサンプルした場合は特徴抽出という側面が強い半面、多重解像度処理には向かないデータが生成される可能性がある。また、通常の畳み込み処理によるダウンサンプルは計算量が多くなるという課題や、正確なダウンサンプルにならず、用途によっては機械学習の性能が下がるという課題がある。
【0007】
本発明はこのような課題に鑑みてなされたものであり、ＣＮＮを用いた人工知能において、抽出する情報量を落とさず、かつ少ない計算で正確なダウンサンプルを行うことのできる情報処理装置、情報処理方法、プログラムを提供することを課題としている。
【課題を解決するための手段】
【0008】
かかる課題を解決するため、請求項１に係る発明は、デジタルデータに対して畳み込みニューラルネットワークを用いたデータ処理を行う情報処理装置であって、前記デジタルデータであって複数のピクセルの集合体である元データに対して単一のフィルタを適用して演算を行う単一フィルタ処理を行う単一フィルタ処理手段、前記元データに所定の処理を行うことで前記元データからデータを抽出するプーリング処理を行うプーリング処理手段と、前記単一フィルタ処理手段、プーリング処理手段、又は、畳み込み処理手段の出力した処理済みの前記元データの前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理を行う逆ピクセルシャッフラー手段とを備えたことを特徴とする。
【0009】
請求項２に記載の発明は、請求項１に記載の構成に加え、前記デジタルデータは画像データであることを特徴とする。
【0010】
請求項３に記載の発明は、デジタルデータに対して畳み込みニューラルネットワークを用いたデータ処理を行う情報処理装置による情報処理方法であって、前記デジタルデータであって複数のピクセルの集合体である元データに対して単一のフィルタを適用して演算を行う単一フィルタ処理が行われる単一フィルタ処理手順、前記元データに所定の処理を行うことで前記元データからデータを抽出するプーリング処理が行われるプーリング処理手順、又は、畳み込み処理が行われる畳み込み処理手順と、前記単一フィルタ処理手順、プーリング処理手順、又は、畳み込み処理手順において出力された１の前記元データの前記ピクセルを再配置する処理としての逆ピクセルシャッフラー処理が行われる逆ピクセルシャッフラー手順とを備えたことを特徴とする。
【0011】
請求項４に記載の発明は、プログラムであって、コンピュータを、請求項１又は２に記載の情報処理装置として機能させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、ＣＮＮを用いた人工知能において、データ量や処理負荷が過大になるのを抑止しつつ高い精度で解析や認識を行うことが可能となる。
【図面の簡単な説明】
【0013】
【図1】この実施の形態の情報処理装置の一実施例を示す機能ブロック図である。
【図2】この実施の形態のピクセルシフトダウンサンプル処理部の機能ブロック図である。
【図3】同上情報処理装置におけるストライドの原理とピクセルシフトダウンサンプル（ＰＳＤＳ）の原理とを模式的に示す図である。
【図4】同上情報処理装置における（ａ）ストライドの原理とピクセルシフトダウンサンプルの代替処理としてのフィルタ処理の原理を模式的に示す図、（ｂ）フィルタ処理が行われた結果を模式的に示す図である。
【図5】同上情報処理装置における、（ａ）フィルタ処理が行われた結果の一部を模式的に示す図、（ｂ）逆ピクセルシャッフラー処理を模式的に示す図である。
【図6】同上情報処理装置におけるダウンサンプル処理の処理手順を示すフローチャートである。
【図7】同上情報処理装置におけるダウンサンプル処理、アップサンプル処理を模式的に示す図である。
【図8】同上情報処理装置におけるアップサンプル処理の処理手順を示すフローチャートである。
【図9】同上情報処理装置におけるフィルタ係数の設定の手順を示すフローチャートである。
【図10】同上情報処理装置におけるフィルタ係数の設定を模式的に示す図である。
【発明を実施するための形態】
【0014】
【0015】
［基本構成］
まず、この実施の形態の情報処理装置の及び構成について説明する。
まず、この実施の形態の情報処理装置の及び構成について説明する。
【0016】
図１に示す、この実施の形態の情報処理装置１は、人工知能（ＡＩ、以下単に「ＡＩ」と記載する。）を備え、ＡＩによる各種データの解析や認識や、解析や認識に用いたデータの復元を行う。情報処理装置１は、デジタルデータに対してＣＮＮを用いたデータ処理を行う。
【0017】
例えば、この実施の形態の情報処理装置１は、ピクセルの集合体である画像データのダウンサンプル処理（処理後のピクセル数を処理前のピクセル数以下とする処理）やアップサンプル処理（処理後のピクセル数を処理前のピクセル数以上とする処理）を行う。ただし、情報処理装置１がこれ以外のいかなるデータのいかなる処理に用いられてもよい。
【0018】
以下、この実施の形態では、情報処理装置１がデジタルデータとしての画像データの解析や認識、そして復元を行うものとして説明する。ただし情報処理装置１が扱うデータは画像データに限らず、例えばデジタルデータとしての音声データや、音声以外の各種デジタルデータを扱うものでもよい。
【0019】
図１に示すとおり、この実施の形態の情報処理装置１は、機能手段として、入力データ取得部１０と、ダウンサンプル部１１と、アップサンプル部１２と、クロップ処理部１３と、フィルタ係数設定部１４と、記憶部１５と、出力部１６とを備える。ダウンサンプル部１１は、前述のダウンサンプル処理のための一連の処理を行う。ダウンサンプル部１１は、「畳み込み処理手段」としての畳み込み処理部１１ａと、「プーリング処理手段」としてのプーリング処理部１１ｂと、「単一フィルタ処理手段」としての単一フィルタ処理部１１ｃと、ピクセルシフトダウンサンプル処理部１１ｄ、「逆ピクセルシャッフラー手段」としての逆ピクセルシャッフラー処理部１１ｅを備える。アップサンプル部１２は、前述のアップサンプル処理のための一連の処理を行う。アップサンプル部１２は、「畳み込み処理手段」としての畳み込み処理部１２ａとアップサンプル処理部１２ｂを備えている。これらの機能手段は、いずれもハードウェアやハードウェアとソフトウェア（コンピュータプログラム等）の協働によって構成されるが、これらの機能手段のうちの少なくとも何れか一つがソフトウェアのみによって構成されてもよい。なお、ピクセルシフトダウンサンプル処理部１１ｄは以下本明細書においてＰＳＤＳ処理部１１ｄと記載する。
【0020】
入力データ取得部１０は、情報処理装置１における各種の処理の対象となるデータである、入力データを取得する。図１は、入力データ取得部１０が「元データ」としての入力画像１０１を取得する状態を示している。入力データ取得部１０は、ネットワーク（図示せず）等を介してデータをダウンロードすることにより、当該データを入力データとして取得してもよい。
【0021】
畳み込み処理部１１ａは、画像データ処理において、元データに対して畳み込み処理を行う。具体的には、畳み込み処理部１１ａは、入力するデータの各チャンネルにそれぞれ別のフィルタをかけ、その結果を足し合わせる（バイアス値を含めることもある）。また出力チャンネル毎に入力データに掛け合わせるフィルタ係数は変更される。したがって、入力データが３チャンネル、出力を６チャンネルとする場合には、１８種類のフィルタ及び６つのバイアス値が必要であり、各フィルタ処理では積和演算処理が行われる。
【0022】
プーリング処理部１１ｂは、ストライドを設定した場合、データに対してデータ数を減少させ、ストライドを設定しない場合にはデータ数が減少せずにプーリング処理を行う。プーリング処理部１１ｂはプーリングの種別を設定するプーリング処理設定機能を含んでおり、設定に応じて、任意の方法で、プーリング処理を実行することができる。プーリング処理設定機能は、例えば、maxプーリング（処理領域であるウインドウ（以下単に「ウインドウ」と称する。）の中にある最大値のデータのみを抽出して他のデータを削除する処理のこと。）や、avgプーリング（ウインドウの中に存在するデータの平均値を算出する処理のこと。）等を設定する。プーリング処理部１１ｂは、プーリング処理設定機能の設定したプーリング処理を行うことでダウンサンプリングデータを生成することができる。
【0023】
単一フィルタ処理部１１ｃは単一のフィルタを用いてデータをフィルタリングする。フィルタリングの方法としては、所定のフィルタ係数と画素データとを積和演算し、フィルタリング結果としてのデジタルデータを得る。上記畳み込み処理部１１ａとの違いは、畳み込み処理では係数が異なる複数のフィルタ係数を用いて、例えば、６４ｃｈや１２８ｃｈ分のデータを生成するのに対し、単一フィルタ処理部１１ｃでは単一のフィルタ係数を用いてフィルタリングする点で相違する。したがって、後述するＰＳＤＳ処理部１１ｄの機能を利用しない場合には、入力と同じチャンネル数のフィルタリングデータしか得られない。
【0024】
ＰＳＤＳ処理部１１ｄはダウンサンプル処理におけるウインドウ枠の設定や、ストライド値の設定等を行うものであり、その詳細については後述する。また逆ピクセルシャッフラー処理部１１ｅの説明も後述する。
【0025】
クロップ処理部１３はＵ－ｎｅｔで利用されるクロップ処理を行うもので、畳み込み等が行われたデータの中央部分を切り出して特徴マップを生成する。
【0026】
アップサンプル部１２の畳み込み処理部１２ａはダウンサンプル部１１の畳み込み処理部１１ａと同様、入力データに対してフィルタを用いて畳み込み処理を行う。アップサンプル部１２のアップサンプル処理部１２ｂは逆畳み込み（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）処理やピクセルシャッフラー処理等、ピクセル数を増加させる処理を行う。
【0027】
フィルタ係数設定部１４は、機械学習の出力が所望の値となるようダウンサンプル部１１の畳み込み処理部１１ａ、アップサンプル部１２の畳み込み処理部１２ａ、単一フィルタ処理部１１ｃ、アップサンプル処理部１２ｂなどで使用するフィルタ係数を設定する。
【0028】
記憶部１５には、情報処理装置１により実現する機械学習のネットワークの設計情報等が記憶されていると共に、特徴マップの情報、あるいはダウンサンプル部１１やアップサンプル部１２の処理過程のデータ等が一時的に格納される。
【0029】
出力部１６は、機械学習結果としての出力、例えば機械学習がセグメンテーションに関するものである場合には入力画像に含まれる特定の物体の場所情報が出力される。
【0030】
図２は、ＰＳＤＳ処理部１１ｄの機能ブロックを示す図であり、ウインドウ枠設定部１１１、ストライド値設定部１１２、開始位置数設定部１１３、開始位置設定部１１４、処理内容設定部１１５を備える。
【0031】
ウインドウ枠設定部１１１はダウンサンプル処理に用いる各種フィルタのウインドウ枠の大きさを設定し、ストライド値設定部１１２はフィルタ処理におけるウインドウ枠のスライド量を設定する。また開始位置数設定部１１３はピクセルシフトダウンサンプル処理において、各種フィルタリング処理を開始する位置数を設定し、開始位置設定部１１４は各種フィルタリング処理を開始する位置を設定する。処理内容設定部１１５はピクセルシフトダウンサンプル処理において畳み込み処理、プーリング処理、単一フィルタ処理のいずれの処理を行うかを設定する。なお、開始位置数はストライド値と相関を持たせても良く、本実施の形態ではストライド値の二乗としている。すなわち、ストライド値が２の場合、開始位置数は４、ストライド値が３の場合には開始位置数は９となる。ただし、相関を持たせることを限定するものではない。
【0032】
［ピクセルシフトダウンサンプルの原理］
図３は、この実施の形態の情報処理装置におけるダウンサンプル部１１で実行されるピクセルシフトダウンサンプル（ＰＳＤＳ）の原理を模式的に示す図である。なお、この実施の形態においては、ＰＳＤＳ処理部１１ｄの各種設定が以下の状態になっている。
ウインドウ枠：２×２、ストライド値：２、開始位置数：４、処理内容設定：単一フィルタ処理。なお、開始位置設定については図３の実施形態にて説明する。
図３は、この実施の形態の情報処理装置におけるダウンサンプル部１１で実行されるピクセルシフトダウンサンプル（ＰＳＤＳ）の原理を模式的に示す図である。なお、この実施の形態においては、ＰＳＤＳ処理部１１ｄの各種設定が以下の状態になっている。
ウインドウ枠：２×２、ストライド値：２、開始位置数：４、処理内容設定：単一フィルタ処理。なお、開始位置設定については図３の実施形態にて説明する。
【0033】
例えば、画像データに対し、畳み込み処理に代表される各種のフィルタリング処理や、プーリング処理のようにウインドウを用いてピクセル数を減少させる、ダウンサンプルデータを得る場合を考える。
【0034】
フィルタやウインドウを画像データ上で異なる位置に複数回移動させて複数回の処理を行えば、複数の処理結果が得られる。
【0035】
また、画像データに対する処理の種類、ウインドウ枠の大きさの設定、処理の開始位置を複数用意しておくこともできる。このようにすることで、処理の開始位置ごとに、異なった情報を持つ複数の畳み込みデータや、異なった情報を持つ複数のプーリングデータ、異なった情報を持つ単一フィルタリング処理による複数のフィルタリングデータ等を生成できる。これにより、異なった情報を持つ複数のダウンサンプルデータを生成することが可能になる。
【0036】
このように、処理対象となる元データ上で処理の開始位置をずらし、所定の処理を行うことを「ピクセルシフトダウンサンプル（ＰＳＤＳ）」と称する（以下単に「ＰＳＤＳ」と称する。）。
【0037】
図３は、ウインドウ枠が２×２、ストライド値が２（ストライド値設定手順）、開始位置数を４に設定したＰＳＤＳの処理を模式的に示している。ここでは、処理内容としてローパスフィルタを用いた単一フィルタ処理が設定されているものとする。以下４つの開始位置ごとに［処理１］～［処理４］として説明する。
【0038】
［処理１：基準位置を開始位置とする処理］
例えば、先ず図３の（ａ－１）に示すように、「元データ」としての画像データ２０のうちの２行×２列の４つの画素（以下単に「４画素」と称する。）に対して２行×２列のフィルタ処理のウインドウ枠２１（以下単に「フィルタ２１」と称する。）を乗算する行列演算を行い、処理結果としてのデータを得る。このフィルタ２１の中心部分の最初の設置位置を符号３０に示す「基準位置」と言い（以下単に「基準位置」と称する。）、また、このフィルタ２１の設置位置を符号３１に示す。ＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、開始位置である符号３１の位置情報（画素番号１、２、６、７がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている（開始位置設定手順）。
例えば、先ず図３の（ａ－１）に示すように、「元データ」としての画像データ２０のうちの２行×２列の４つの画素（以下単に「４画素」と称する。）に対して２行×２列のフィルタ処理のウインドウ枠２１（以下単に「フィルタ２１」と称する。）を乗算する行列演算を行い、処理結果としてのデータを得る。このフィルタ２１の中心部分の最初の設置位置を符号３０に示す「基準位置」と言い（以下単に「基準位置」と称する。）、また、このフィルタ２１の設置位置を符号３１に示す。ＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、開始位置である符号３１の位置情報（画素番号１、２、６、７がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている（開始位置設定手順）。
【0039】
次に、（ａ－２）に示すように、画像データ２０のＸ方向（同図の左右方向。ここでは同図の右方向）にストライド値２（２データ分移動した位置）でフィルタ２１をスライドさせ、次の４画素に対して同じフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る（処理内容設定手順、処理実行手順）。
【0040】
［処理２：右位置を開始位置とする処理］
一方、上記（ａ－１）の基準位置３０におけるフィルタ処理と並行し、（ｂ－１）に示すように、画像データ２０の基準位置３０に対してＸ方向に1画素ずれた位置を新たな開始位置３２とし、４画素（２行×２列）に対して（ａ－１）と同じ係数のフィルタ２１で行列演算を行い、畳み込みデータを得る。ＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、前記処理１と同様に、開始位置である符号３２の位置情報（画素番号２、３、７、８がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている。この（ｂ－１）の開始位置３２は、基準位置３０に対して右位置となっている（以下この開始位置３２を単に「右位置」と称する。開始位置設定手順）。
一方、上記（ａ－１）の基準位置３０におけるフィルタ処理と並行し、（ｂ－１）に示すように、画像データ２０の基準位置３０に対してＸ方向に1画素ずれた位置を新たな開始位置３２とし、４画素（２行×２列）に対して（ａ－１）と同じ係数のフィルタ２１で行列演算を行い、畳み込みデータを得る。ＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、前記処理１と同様に、開始位置である符号３２の位置情報（画素番号２、３、７、８がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている。この（ｂ－１）の開始位置３２は、基準位置３０に対して右位置となっている（以下この開始位置３２を単に「右位置」と称する。開始位置設定手順）。
【0041】
次に、（ｂ－２）に示すように、画像データ２０の右位置からＸ方向にストライド値２でフィルタ２１をスライドさせ、次の４画素に対してフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る（ストライド値設定手順、処理内容設定手順、処理実行手順）。
【0042】
［処理３：下位置を開始位置とする処理］
さらに、上記基準位置、右位置におけるフィルタ処理と並行し、（ｃ－１）に示すように、画像データ２０の基準位置３０に対してＹ方向（同図の上下方向。ここでは同図の下方向）に1画素ずれた位置を新たな開始位置３３とし、4画素（２行×２列）に対して（ａ－１）と同じ係数のフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る。この場合もＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、開始位置である符号３３の位置情報（画素番号６、７、１１、１２がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている。この（ｃ－１）の開始位置は、基準位置３０に対して下位置となっている（以下この開始位置３３を単に「下位置」と称する。）となっている（開始位置設定手順）。
さらに、上記基準位置、右位置におけるフィルタ処理と並行し、（ｃ－１）に示すように、画像データ２０の基準位置３０に対してＹ方向（同図の上下方向。ここでは同図の下方向）に1画素ずれた位置を新たな開始位置３３とし、4画素（２行×２列）に対して（ａ－１）と同じ係数のフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る。この場合もＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、開始位置である符号３３の位置情報（画素番号６、７、１１、１２がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている。この（ｃ－１）の開始位置は、基準位置３０に対して下位置となっている（以下この開始位置３３を単に「下位置」と称する。）となっている（開始位置設定手順）。
【0043】
次に、（ｃ－２）に示すように、画像データ２０の下位置からＸ方向（右方向）にストライド値２でフィルタ２１をスライドさせ、次の４画素に対してフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る（ストライド値設定手順、処理内容設定手順、処理実行手順）。
【0044】
［処理４：斜め位置を開始位置とする処理］
またさらに、上記基準位置、右位置、下位置におけるフィルタ処理と並行し、（ｄ－１）に示すように、画像データ２０の基準位置３０に対して斜め右下方に1画素ずれた位置（Ｘ方向（右方向）とＹ方向（下方向）にそれぞれ１画素ずれた位置）を新たな開始位置３４とする。そして、４画素（２行×２列）に対して（ａ－１）と同じ係数のフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る。ＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、開始位置である符号３４の位置情報（画素番号７、８、１２、１３がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている。この（ｄ－１）の開始位置３４は、基準位置３０に対して斜め位置（以下単に「斜め位置」と称する。）となっている（開始位置設定手順）。
またさらに、上記基準位置、右位置、下位置におけるフィルタ処理と並行し、（ｄ－１）に示すように、画像データ２０の基準位置３０に対して斜め右下方に1画素ずれた位置（Ｘ方向（右方向）とＹ方向（下方向）にそれぞれ１画素ずれた位置）を新たな開始位置３４とする。そして、４画素（２行×２列）に対して（ａ－１）と同じ係数のフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る。ＰＳＤＳ処理部１１ｄにおける開始位置設定部１１４の設定情報の一つとして、開始位置である符号３４の位置情報（画素番号７、８、１２、１３がウインドウ枠（フィルタ２１）の中に収まるという情報）が設定されている。この（ｄ－１）の開始位置３４は、基準位置３０に対して斜め位置（以下単に「斜め位置」と称する。）となっている（開始位置設定手順）。
【0045】
次に、（ｄ－２）に示すように、画像データ２０の斜め位置からＸ方向（右方向）にストライド値２でフィルタをスライドさせ、次の４画素に対してフィルタ２１で行列演算を行い、フィルタリング結果のデータを得る（ストライド値設定手順、処理内容設定手順、処理実行手順）。
【0046】
上記のように開始位置が４（つまり開始位置を４つ設定すること。）に設定されている場合には、４つの開始位置に関する情報が開始位置設定部１１４に設定されている。
【0047】
上記［処理１］～［処理４］においては、基準位置、右位置、下位置、斜め位置を開始位置３１、３２、３３、３４とする画像データ２０のフィルタリング処理において、縮小として動作する単一のフィルタが用いられる。このように単一のフィルタを用いても、画素中心がずれた複数のフィルタリング結果を得ることができる。これにより、フィルタリング処理の位置の偏りをなくすことができる。
【0048】
また、上記［処理１］～［処理４］の後は、それぞれ下記［処理５］が行われる。
【0049】
［処理５：処理の繰り返し］
上記［処理１］～［処理４］の基準位置３０、右位置３２、下位置３３、斜め位置３４を開始位置とするフィルタリング処理を、それぞれ上記と同様にフィルタ２１をＸ方向（右方向）にストライド値２でスライドさせながら画像データ２０の右端まで処理を行う。その後、それぞれ最初の開始位置３１、３２、３３、３４から画像データ２０のＹ方向（下方向）に２ピクセルシフトした位置を新たな開始位置（図示せず）として、上記と同様に、基準位置、右位置、下位置、斜め位置を開始位置とする、画像データ２０に対するフィルタ２１のフィルタリング処理が行われる。
上記［処理１］～［処理４］の基準位置３０、右位置３２、下位置３３、斜め位置３４を開始位置とするフィルタリング処理を、それぞれ上記と同様にフィルタ２１をＸ方向（右方向）にストライド値２でスライドさせながら画像データ２０の右端まで処理を行う。その後、それぞれ最初の開始位置３１、３２、３３、３４から画像データ２０のＹ方向（下方向）に２ピクセルシフトした位置を新たな開始位置（図示せず）として、上記と同様に、基準位置、右位置、下位置、斜め位置を開始位置とする、画像データ２０に対するフィルタ２１のフィルタリング処理が行われる。
【0050】
例えば、上記［処理１］の基準位置３０を開始位置３１とした演算は、ストライド値２で画像データ２０のＹ方向（下方向）に２画素分シフトした、図３に示す画素Ｎｏ．１１、１２、１６、１７に重なる位置を新たな開始位置（図示せず）とする。このＮｏ．１１、１２、１６、１７の４画素を対象にフィルタ２１のフィルタリングが行われ、その後、上記と同様のフィルタ２１によるフィルタリング処理が繰り返される。
【0051】
上記［処理２］の右位置、上記［処理３］の下位置、上記［処理４］の斜め位置のそれぞれの開始位置３２、３３、３４とするフィルタリングも同様に、当初の開始位置３２、３３、３４からＹ方向（下方向）に２画素分シフトした位置を新たな開始位置（図示せず）として、画像データ２０に対するフィルタ２１によるフィルタリング処理が繰り返される。
【0052】
なお、上記［処理５］は、上記［処理１］乃至［処理４］の少なくとも何れか一つと一連の処理として行ってもよい。また、［処理５］は同一の画像データ２０に対して繰り返し行ってもよい。例えば、上記画像データ２０に対する［処理１］の直後に［処理５］を繰り返し行うことで、一の画像データ２０全体に対して（ａ－１）を開始位置とするフィルタリング処理を行うことができる。また例えば、画像データ２０に対する、［処理１］の直後と、［処理２］乃至［処理４］のそれぞれの直後に［処理５］を繰り返し行うことで、一の画像データ２０全体に対してＰＳＤＳを用いたフィルタリング処理を行うことができる。
【0053】
上記［処理１］～［処理５］に示すように基準位置３０以外に右、下、斜めにそれぞれ一画素ずらした場所を基準に画素中心を設定して畳み込み処理を行うことで、固定された１の基準位置３０のみを基準にフィルタリング処理やプーリング処理を行う場合に比べ、通常の４倍のデータを得ることができ、４倍のデータを用いて学習、推論を行うことができる。そのため、従来のように基準位置が固定的なフィルタリング処理やプーリング処理を行うものと比較し、学習効率や推論結果の質の向上を図ることができる。また、従来の畳み込み処理の場合には多数のフィルタ係数を用いて処理を行う必要があるが、本発明では単一のフィルタ係数を用いながら、多くのフィルタリング処理結果が得られ、ダウンサンプル処理の精度を上げることができる。
【0054】
通常、畳み込みに用いるフィルタ係数はその種類を増やすほど精度が向上するといわれるが、本発明では単一のフィルタ係数を用いているにも関わらず、精度を向上させることができる。なお、ダウンサンプルで用いるフィルタのフィルタ係数は階層毎に同じでも異なっていても良い。
【0055】
この実施の形態では、特定の開始位置から処理が始まるフィルタリング処理によって形成される、２次元方向に連続する一のデータ群を「チャンネル」と称する。例えば、上記［処理１］～［処理５］の場合は、基準位置３０、右位置、下位置、斜め位置を開始位置３１、３２、３３、３４とする４つのデータ群が形成されるので、４チャンネルのフィルタリングデータが生成されることになる。
【0056】
なお、図３に示す事例では、基準位置３０に対して１画素ずれた右位置、下位置、斜め位置をそれぞれ開始位置３１、３２、３３、３４とし、それぞれの開始位置３１、３２、３３、３４からＸ方向（右方向）へのストライド値を２としてフィルタリング処理を行った。しかしストライドの大きさや方向はこれに限定されず、処理されたデータによる学習、推論を適切に行えるものであれば、どのようなストライドの大きさや方向であってもよい。
【0057】
上記説明では２×２のフィルタを用い、ストライド値を２に設定し、１／２の縮小（ピクセル数の減少）とした例を挙げて説明したが、例えば、３×３のフィルタを用い、ストライド値を２に設定して１／２の縮小とすれば、基準位置、右位置、下位置、斜め位置のそれぞれの開始位置はＮｏ．７、Ｎｏ．８、Ｎｏ．１２、Ｎｏ．１３の画素位置となる。これは２×２のフィルタを用いた場合の各開始位置と０．５ピクセルずれた位置でのフィルタリング結果となるので、このように単一フィルタを複数用意して、複数チャンネルのフィルタリングデータを生成することで、より多くのデータを入手するようにしても良い。また、単一フィルタの大きさを変更するのではなく、互いにフィルタ係数が異なり、フィルタ係数が偏ったフィルタを用いて複数チャンネルのフィルタリングデータを生成することで、より多くのデータを入手するようにしても良い。単一フィルタの種類としては、上記実施の形態で説明したように、画像の縮小成分を抽出するものとしてのローパスフィルタを用いても良く、また画像の高周波成分を抽出するためのハイパスフィルタ等を利用しても良い。
【0058】
なお、上記実施の形態では２×２のフィルタを用い、開始位置を画像内の画素が配置された位置に設定したが、開始位置を画像の外部に設定し、フィルタ枠内で画素が存在しない箇所についてはパディング等の処理（図４の（ａ）に示すパディング５１，５２参照）を行っても良い。またストライド値もＸ方向、Ｙ方向で異なる値を設定しても良い。
【0059】
また、図３に示す事例では、縮小サイズを１／２にするため、ストライド値を２とし、その結果、４つのチャンネルデータを得たが、処理されたデータによる学習、推論を適切に行えるものであれば、チャンネル数は４に限定するものではない。例えば、開始位置を基準位置、右位置、下位置の３つとして、処理結果のチャンネル数を３としたり、開始位置を斜め位置のみとして処理結果のチャンネル数を１にしたりすることなども可能である。
【0060】
さらに、図３に示す事例では、用いるフィルタ２１を２行×２列の正方行列としたが、これに限定されない。即ち、処理されたデータによる学習、推論を適切に行えるものであれば、フィルタ２１を構成する行や列の数が３以上でもよいし、正方行列でなくてもよい。
【0061】
そして、上記［処理１］～［処理５］に示す原理は、単一のフィルタ係数を用いたフィルタリング処理だけでなく、畳み込み処理やプーリング処理にも適用することができる。畳み込み処理にＰＳＤＳを適用した場合、すなわち、ＰＳＤＳ処理部１１ｄの処理内容設定部１１５に「畳み込み」を設定した場合、元来、畳み込み自体、処理計算量が大きく、ＰＳＤＳを利用することでより一層の処理計算に必要な資源が必要となるが、情報量が多くなる分、より高精度な機械学習を期待することができる。また処理内容設定部１１５に「プーリング」を設定した場合も開始位置が異なる複数チャンネル（上記実施の形態においては４チャンネル）のプーリング結果が得られにおける。なお、畳み込み処理、プーリング処理、単一フィルタ処理のいずれにおいても、ウインドウ枠の大きさ、ストライド値、開始位置数、開始位置設定等の情報は図３の（ａ－１）～（ｄ－２）に例示するもののみには限定されない。
【0062】
【0063】
この実施の形態の逆ピクセルシャッフラー処理部１１ｅは、元の１のチャンネルを新たな複数のチャンネルに分割し、元の１のチャンネルに存在する複数のピクセルデータを、新たな複数のチャンネルに再配置する処理を行う。この処理を「逆ピクセルシャッフラー処理（space-to-depth）」と称し、本明細書においてもこの処理を「逆ピクセルシャッフラー処理」と記載する。
【0064】
［逆ピクセルシャッフラー処理部の構成］
この実施の形態の逆ピクセルシャッフラー処理部１１ｅは、図２に示すＰＳＤＳ処理部１１ｄと同様の構成を備える。すなわち、逆ピクセルシャッフラー処理部１１ｅは、ウインドウ枠設定部１１１、ストライド値設定部１１２、開始位置数設定部１１３、開始位置設定部１１４、処理内容設定部１１５と同様の構成を備える。なお、これらの構成はいずれも図１には図示していない。
この実施の形態の逆ピクセルシャッフラー処理部１１ｅは、図２に示すＰＳＤＳ処理部１１ｄと同様の構成を備える。すなわち、逆ピクセルシャッフラー処理部１１ｅは、ウインドウ枠設定部１１１、ストライド値設定部１１２、開始位置数設定部１１３、開始位置設定部１１４、処理内容設定部１１５と同様の構成を備える。なお、これらの構成はいずれも図１には図示していない。
【0065】
逆ピクセルシャッフラー処理部１１ｅのウインドウ枠設定部１１１に相当する構成は、元データである画像データ２０に単一のフィルタ処理等を行うフィルタ枠（フィルタサイズ）を設定するサイズ設定手段として機能する。
【0066】
逆ピクセルシャッフラー処理部１１ｅにおいて、ストライド値設定部１１２に相当する構成は、フィルタ処理を行うウインドウ枠を元データである画像データ２０上で移動させる（ストライドさせる）大きさを設定する機能を有する。ただし、逆ピクセルシャッフラー処理を用いる場合にはストライド値は１に設定して処理を行うのが好ましい。
【0067】
逆ピクセルシャッフラー処理部１１ｅにおいて、開始位置設定部１１４に相当する構成は、元データである画像データ２０の少なくとも一部の領域に、フィルタ枠を最初に設定する位置としての開始位置として設定する機能を有する。
【0068】
逆ピクセルシャッフラー処理部１１ｅにおいて、開始位置数設定部１１３に相当する構成は、単一フィルタ処理等が行われた処理済みの元データである画像データ２０を新たな画像データ５７，５８，５９，６０に再配置する際の、開始位置数に相当する値を設定する。ここでの開始位置数に相当する値とは、例えば、枠５３の中に存在するピクセルの数であり、このピクセルの数が新たな画像データ５７，５８，５９，６０のチャンネル数となり、このチャンネル数が開始位置数に相当する（詳細は後述する。）。
【0069】
逆ピクセルシャッフラー処理部１１ｅにおいて、処理内容設定部１１５に相当する構成は、逆ピクセルシャッフラー処理における、処理内容設定部１１５の場合と同様の具体的な処理内容を設定する機能を有する。
【0070】
また、この実施の形態の逆ピクセルシャッフラー処理部１１ｅは、畳み込み処理部１１ａ、プーリング処理部１１ｂ、単一フィルタ処理部１１ｃのうち少なくとも何れか一つの構成による処理結果を用いることができる。つまり、ＰＳＤＳ処理では抽出するデータの位置をずらし、その後、単一フィルタ処理等を行うのに対し、逆ピクセルシャッフラー処理では予め単一フィルタ処理等を行ったピクセルのデータから抽出するデータを再配置することで同様の結果を得ている。畳み込み処理、プーリング処理、単一フィルタ処理部１１ｃによる処理は上記の「畳み込み処理部１１ａ」「プーリング処理部１１ｂ」「単一フィルタ処理部１１ｃ」の説明に記載済みなので、ここでは記載を省略する。
【0071】
逆ピクセルシャッフラー処理部１１ｅにはＰＳＤＳ処理部１１ｄと同様に処理内容設定部１１５と同様の構成（図示せず）を含んでいる。そのため、逆ピクセルシャッフラー処理を行う前の所望のデータ処理を適宜選択し、その処理されたデータに対して逆ピクセルシャッフラー処理を行うことができる。
【0072】
【0073】
図４の（ａ）（ｂ）は、逆ピクセルシャッフラー処理の前に行われる処理の一例としてのフィルタリング処理を模式的に示す図である。ここでは、この処理は単一フィルタ処理部１１ｃが単一のフィルタを用いてデータをフィルタリングすることで行う（単一フィルタ処理手順）。
【0074】
図４の（ａ）には、画像データ２０に対する、ウインドウ枠が３×３、ストライド値を１に設定したフィルタリング処理を模式的に示している。図４の（ａ）には、元の画像データ２０の１行目の上にパディング５１、１列目の左にパディング５２が追加されている。このパディング５１，５２は、単一フィルタ処理等の処理後に元の画像データ２０と同数のピクセルデータを得るために追加されたものである。そのため、もしフィルタリング処理前とフィルタリング処理後のデータ数を揃える等特段の必要がなければ、パディング５１，５２の一方乃至双方を追加する必要はない。
【0075】
図４の（ａ）に示すとおり、まず、単一フィルタ処理部１１ｃは、画像データ２０の、パディング５１，５２を追加する前の１行１列目を基準位置３０とする。単一フィルタ処理部１１ｃは、基準位置３０に３×３のフィルタ２１の中央（つまり２行２列目のピクセル）が来るようにフィルタ枠２１ａを設置する。このとき、フィルタ枠２１ａはパディング５１，５２を含む状態で設置される。この状態で、単一フィルタ処理部１１ｃはフィルタ枠２１ａが設置された画像データのピクセルに対してフィルタリング処理を行う。フィルタリング処理の結果は、図４の（ｂ）に示す画像データ２０の１行１列目のピクセル５４（マル数字１で示したピクセル）に設定される。
【0076】
次に、図４の（ａ）に示すように、単一フィルタ処理部１１ｃは、フィルタ枠２１ａをＸ方向（図４の左右方向。ここでは右方向。）に１つシフトさせる。単一フィルタ処理部１１ｃは、フィルタ枠２１ａが設置された画像データ２０のピクセルに対してフィルタリング処理を行う。フィルタリング処理の結果は、図４の（ｂ）に示す画像データ２０の１行２列目のピクセル５５（マル数字２で示したピクセル）に設定される。
【0077】
次に、図４の（ａ）に示すように、単一フィルタ処理部１１ｃは、フィルタ枠２１ａをさらにＸ方向（右方向）に１つシフトさせる。単一フィルタ処理部１１ｃは、フィルタ枠２１ａが設置された画像データ２０のピクセルに対してフィルタリング処理を行う。フィルタリング処理の結果は、図４の（ｂ）に示す画像データ２０の１行３列目のピクセル５６（マル数字３で示したピクセル）に設定される。
【0078】
単一フィルタ処理部１１ｃは、フィルタ処理対象のフィルタ枠２１ａをストライド値（本実施形態ではストライド値＝１）に基づいて移動させながら、同様の処理を画像データ２０の全てのピクセルに対して繰り返し行う。なお、フィルタ枠２１ａが画像データ２０のＸ方向の右端まで移動した後は、単一フィルタ処理部１１ｃは、Ｙ方向（図４の上下方向。ここでは下方向。）にフィルタ枠２１ａを移動させる。これにより、フィルタ枠２１ａは画像データ２０の１つ下の行の左端（右端でもよい）に移動される。そして、単一フィルタ処理部１１ｃは、フィルタ枠２１ａを左から右へ（右から左でもよい）に１ずつ移動させながら単一フィルタ処理部１１ｃにフィルタリング処理を繰り返し行わせる。そして、単一フィルタ処理部１１ｃは画像データ２０の全てのピクセルにフィルタリング処理を行う。
【0079】
図５の（ａ）は、図４に示すフィルタリング処理が行われた画像データ２０の一部を模式的に示す図である。図５の（ａ）では、一例として、８×８の６４ピクセルの画像データ２０に対し、逆ピクセルシャッフラー処理が行われる場合を示している。ただし、逆ピクセルシャッフラー処理が行われる画像データ２０はどのような大きさでもよい。すなわち、画像データ２０のサイズは８×８より大きくても小さくてもよい。また、画像データ２０はＸ方向（同図の左右方向）とＹ方向（同図の上下方向）の長さが同一でなくてもよい。例えば画像データ２０はＸ方向の長さがＹ方向の長さより大きくてもよい。
【0080】
逆ピクセルシャッフラー処理部１１ｅは、この、フィルタリング処理が行われた画像データ２０に逆ピクセルシャッフラー処理を行う（逆ピクセルシャッフラー手順）。
【0081】
図５では、一例として、元の画像データ２０のピクセルを取り出して画像データ５７，５８，５９，６０に再構成する処理を模式的に示している。この例では、元の画像データ２０からピクセルを取り出す間隔を所定の値、たとえば２（Ｘ方向に２、Ｙ方向に２）に設定されている。したがって、便宜上、枠５３として示している範囲のＸ方向とＹ方向の長さがそれぞれ２に設定されている。また、新たな画像データ５７，５８，５９，６０のＸ方向長さ、Ｙ方向長さは、元の画像データ２０のＸ方向長さ、Ｙ方向長さの１／２（Ｘ方向４、Ｙ方向４）に設定されている。また、この例では、逆ピクセルシャッフラー処理は、元の画像データ２０の左上から処理が開始され、Ｘ方向、次いでＹ方向に順次処理が行われる。
【0082】
ここで、フィルタ処理等が行われた元の画像データを４チャンネルのデータとして取り出す場合、枠５３は２行２列に設定される。
【0083】
図５の（ａ）においては、元の画像データ２０の一番左上の２行２列の範囲、つまりマル数字１，２，９，１０の４ピクセルに、最初に枠５３が設定される。そして、このマル数字１，２，９，１０の４ピクセルが枠５３の範囲として設定される。つまり、再配置により得るチャンネル数により枠５３のサイズ（例えば２×２の４ピクセル）も決まる。
【0084】
なお、再配置（シャッフル）により得られるチャンネル数は４以外の任意の値に設定できる。例えば枠５３を３行３列にすることで９チャンネルのデータを得ることができる。また、シャッフルされる対象の画素の範囲、つまり枠５３のサイズは、Ｘ方向とＹ方向が同一である必要はなく、元の画像データ２０の状態やサイズ（縦横比など）に応じて任意に設定できる。例えば、元の画像データ２０のサイズが縦１、横３の場合に枠５３のサイズを３行１列にすることなども考えられる。
【0085】
シャッフルされる対象の画素の範囲のサイズは、画像データ５７，５８，５９，６０を用いた機械学習における学習効率や推論結果の質を良好にできる程度が望ましい。ただし、再配置されるチャンネル数を、機械学習の効率や効果に直接影響を及ぼさないサイズに設定することもできる。
【0086】
図５の（ａ）（ｂ）において、マル数字１～マル数字３２は、処理前の画像データ２０のピクセルと処理後の画像データ５７，５８，５９，６０の対応関係を示す。なお、同図においてマル数字３２より後のマル数字３３～６４は図の簡略化のため省略してある。
【0087】
図５の（ａ）（ｂ）の対応関係に示すように、逆ピクセルシャッフラー処理部１１ｅは、元の画像データ２０に設定された枠５３内に存在するピクセルを、新たな画像データ５７，５８，５９，６０の同一位置に再配置する。
【0088】
たとえば、図５の（ａ）では、再配置されるチャンネル数が４チャンネルなので、枠５３を基準とした場合に、Ｘ方向及びＹ方向にそれぞれ１ピクセル飛ばした箇所（２ピクセル目）の各ピクセルデータが再配置後の新たな画像データ５７，５８，５９，６０としてまとめられる。
【0089】
なお、逆ピクセルシャッフラー処理部１１ｅは、下記（設定Ａ）（設定Ｂ）に示すように逆ピクセルシャッフラー処理の設定を行う。そのため、画一的で負荷の小さい処理を実現できる。
【0090】
（設定Ａ）ピクセルを取り出す間隔は画像データ２０のＸＹ方向の長さの縮小倍率となる。たとえば図５では、ピクセルを取り出す間隔は２なので、画像データ２０のＸＹ方向の長さ８に対し、画像データ５７，５８，５９，６０のＸＹ方向の長さは８×１／２＝４となる。
【0091】
（設定Ｂ）ピクセルを取り出す間隔の二乗がチャンネル数になる。たとえば図５ではピクセルを取り出す間隔が２である。そのため、画像データ５７，５８，５９，６０のチャンネル数は２の二乗の４となる。この場合のチャンネル数は、上記（処理１）－（処理４）における開始位置３１、３２、３３、３４の数（図３の（ａ－１）（ｂ－１）（ｃ－１）（ｄ－１）参照）と同価であり、元の画像データ２０を処理して生成されるデータの数となる。つまり、ピクセルを取り出す間隔が決定すれば、処理後の画像データ５７，５８，５９，６０のチャンネル数が決定する。また、１の画像データ２０よりも多い複数の画像データ５７，５８，５９，６０に基づいた機械学習による学習、推論を行うことができる。そのため、機械学習における学習効率や推論結果の質の向上を図ることができる。
【0092】
このような逆ピクセルシャッフラー処理により得られた画像データ５７，５８，５９，６０の総データ量、つまり総ピクセル数は、元の画像データ２０の総ピクセル数と同じである。しかし、逆ピクセルシャッフラー処理により、データの基準位置（図５の（ａ）で、画像データ２０の左上の２行２列中に存在する４つのピクセル（マル数字１，２，９，１０のピクセル）毎の４つのチャンネルの画像データ５７，５８，５９，６０を得ることができる。
【0093】
なお、上記の事例では、図４において、画像データ２０に単一フィルタ処理部１１ｃによるフィルタリング処理が行われる事例を記載したが、この場合、このフィルタリング処理にはどのようなフィルタを用いられてもよい。
【0094】
例えば、単一フィルタ処理部１１ｃは、ＰＳＤＳ処理部１１ｄと同じ単一のフィルタ２１でも、異なる単一のフィルタ２１でも、フィルタリング処理に設定できる。また、単一フィルタ処理部１１ｃは、複数種類のフィルタ２１を１の画像データ２０のフィルタリングに適用し、複数チャンネルのフィルタリングデータを生成することで、より多くのデータを入手するようにしても良い。また、単一のフィルタ２１の大きさを変更するのではなく、互いにフィルタ係数が異なり、フィルタ係数が偏ったフィルタ２１を用いて複数チャンネルのフィルタリングデータを生成することでもよい。これにより、より多くのデータを入手することができる。
【0095】
また、ここで用いられるフィルタ２１は、ローパスフィルタ、ハイパスフィルタ、エッジ強調フィルタ、エッジ膨出フィルタ等、どのようなものでもよい。
さらに、図４に示すフィルタ２１によるフィルタリング処理に替えて、畳み込み処理、プーリング処理が、逆ピクセルシャッフラー処理の前に行われるように構成されてもよい。
さらに、図４に示すフィルタ２１によるフィルタリング処理に替えて、畳み込み処理、プーリング処理が、逆ピクセルシャッフラー処理の前に行われるように構成されてもよい。
【0096】
［逆ピクセルシャッフラー処理の作用効果］
逆ピクセルシャッフラー処理部１１ｅによる処理結果は、ＰＳＤＳ処理部１１ｄによって、ピクセルシフトしてデータ処理された状態と等価である。そのため、逆ピクセルシャッフラー処理により、処理前の１の画像データ２０の総ピクセル数と同じ総ピクセル数で、枠５３に含まれるピクセルの数に依存した数の画像データ５７，５８，５９，６０を得ることができる。
逆ピクセルシャッフラー処理部１１ｅによる処理結果は、ＰＳＤＳ処理部１１ｄによって、ピクセルシフトしてデータ処理された状態と等価である。そのため、逆ピクセルシャッフラー処理により、処理前の１の画像データ２０の総ピクセル数と同じ総ピクセル数で、枠５３に含まれるピクセルの数に依存した数の画像データ５７，５８，５９，６０を得ることができる。
【0097】
また、処理前の画像データ２０と処理後の画像データ５７，５８，５９，６０のピクセル数やピクセルの状態を同一に保持できるので、処理後の画像データ５７，５８，５９，６０に処理前の画像データ２０の特徴を保持させることが容易になる。そのため、処理後のデータ量が小さく元の画像データ２０の特徴を多く含む画像データ５７，５８，５９，６０を用いて機械学習を行わせ、機械学習の精度を高めることができる。
【0098】
また、処理後の画像データ５７，５８，５９，６０に処理前の画像データ２０のピクセル数やピクセルの状態を同一に保持させることができるので、処理後の画像データ５７，５８，５９，６０から処理前の画像データ２０を容易に復元できる。
【0099】
［逆ピクセルシャッフラー処理の他の実施形態］
更に、単一フィルタリング処理、畳み込み処理、逆ピクセルシャッフラー処理を組み合わせて利用したり、単一フィルタリング処理、プーリング処理（プーリング処理手順）、逆ピクセルシャッフラー処理を組み合わせて利用したり、畳み込み処理、プーリング処理、逆ピクセルシャッフラー処理を組み合わせて利用するようにしても良い。
更に、単一フィルタリング処理、畳み込み処理、逆ピクセルシャッフラー処理を組み合わせて利用したり、単一フィルタリング処理、プーリング処理（プーリング処理手順）、逆ピクセルシャッフラー処理を組み合わせて利用したり、畳み込み処理、プーリング処理、逆ピクセルシャッフラー処理を組み合わせて利用するようにしても良い。
【0100】
例えば、上述のフィルタリング処理に替えてプーリング処理部１１ｂによるプーリング処理が行われた画像データ２０に対して、逆ピクセルシャッフラー処理部１１ｅによる逆ピクセルシャッフラー処理が行われる構成としてもよい。また、上述のフィルタリング処理に替えて畳み込み処理部１１ａによる畳み込み処理が行われた画像データ２０に対して、逆ピクセルシャッフラー処理部１１ｅによる逆ピクセルシャッフラー処理が行われる構成としてもよい。
【0101】
また例えば、畳み込み処理部１１ａ、プーリング処理部１１ｂ、単一フィルタ処理部１１ｃのうち何れか２つ以上による処理が行われた画像データ２０に対して、逆ピクセルシャッフラー処理部１１ｅによる逆ピクセルシャッフラー処理が行われる構成としてもよい。
【0102】
また例えば、単一フィルタ処理部１１ｃによる単一のフィルタに替えて、複数のフィルタによるフィルタリング処理が行われた画像データ２０に対して、逆ピクセルシャッフラー処理部１１ｅによる逆ピクセルシャッフラー処理が行われる構成としてもよい。また例えば、フィルタリング処理、畳み込み処理、プーリング処理以外の各種処理が行われた画像データ２０に対して逆ピクセルシャッフラー処理部１１ｅによる逆ピクセルシャッフラー処理が行われる構成としてもよい。
【0103】
［処理手順］
図６は、この実施の形態の情報処理装置１のダウンサンプル処理の処理手順を示すフローチャートである。また、図７は、この実施の形態の情報処理装置におけるダウンサンプル処理、アップサンプル処理を模式的に示す図である。なお、この処理手順に示すダウンサンプル処理に、上述の逆ピクセルシャッフラー処理を適用することも可能である。さらに、この処理手順に示すアップサンプル処理に、上述の逆ピクセルシャッフラー処理の逆処理を適用することも可能である。
図６は、この実施の形態の情報処理装置１のダウンサンプル処理の処理手順を示すフローチャートである。また、図７は、この実施の形態の情報処理装置におけるダウンサンプル処理、アップサンプル処理を模式的に示す図である。なお、この処理手順に示すダウンサンプル処理に、上述の逆ピクセルシャッフラー処理を適用することも可能である。さらに、この処理手順に示すアップサンプル処理に、上述の逆ピクセルシャッフラー処理の逆処理を適用することも可能である。
【0104】
図７は、この実施の形態の情報処理装置を、ＣＮＮを用いた機械学習モデルの一例としての「Ｕ－ｎｅｔ」に適用して処理を行う状態を示したものである。このモデルでは、複数の階層化された処理階層においてデータの処理が行われる。各階層のエンコーダー側ではダウンサンプリングが行われ、デコーダー側ではアップサンプリングが行われる。また、エンコーダー側では各層４１～４５において畳み込み処理が行われ、第２階層４２～第５階層４５では畳み込み処理に加えて前述したＰＳＤＳによるフィルタリング処理が行われる。階層が深くなるほど（図６では下方の階層になるほど）データの空間的な広がりが小さくなるが、データのチャンネル数は多くなる。図７では、第一階層４１～第五階層４５が形成されている。ただし階層数はこれより多くても少なくてもよい。
【0105】
以下、同図に基づいてこの実施の形態の処理手順を説明する。なお、図７に示す事例は、従来のＵ－ｎｅｔにおけるプーリング処理や畳み込み処理に代えてＰＳＤＳを用いるものとする。従来のＵ－ｎｅｔの畳み込み処理に代えてＰＳＤＳを利用した単一フィルタ処理を用いることで、より高速な演算で処理を行うことができ、またプーリング処理に代えてＰＳＤＳを利用した単一フィルタ処理を用いることで、通常のプーリング処理結果より多いチャンネル数のデータを入手することができる。
【0106】
［１．ダウンサンプル処理の手順］
［ステップＳ１：入力画像取得］まず、入力データ取得部１０が、デジタルデータの「画像データ」としての入力画像１０１を取得する。この入力画像１０１の大きさ（ピクセル数）はどのようなものであってもよいが、一例として、この入力画像１０１は２５１×２５１ピクセルであるとする。なお、ここでは説明の簡単のため、入力画像１０１はグレースケールのデータ（ピクセル毎に１のパラメータ（白黒の濃淡）の値を有するデータ）として説明する。もし入力画像１０１がカラーのデータ（例えばピクセル毎に３のパラメータ（ＲＧＢ）の値を有するデータ）である場合は、入力が３チャンネルとなる。
［ステップＳ１：入力画像取得］まず、入力データ取得部１０が、デジタルデータの「画像データ」としての入力画像１０１を取得する。この入力画像１０１の大きさ（ピクセル数）はどのようなものであってもよいが、一例として、この入力画像１０１は２５１×２５１ピクセルであるとする。なお、ここでは説明の簡単のため、入力画像１０１はグレースケールのデータ（ピクセル毎に１のパラメータ（白黒の濃淡）の値を有するデータ）として説明する。もし入力画像１０１がカラーのデータ（例えばピクセル毎に３のパラメータ（ＲＧＢ）の値を有するデータ）である場合は、入力が３チャンネルとなる。
【0107】
［ステップＳ２：ダウンサンプル部１１による畳み込み処理］
［手順２－１］畳み込み処理部１１ａは、入力画像１０１に畳み込み処理を行う。図７において畳み込み処理は出力チャンネル数に応じた数のフィルタ係数を用いて行われ、本実施の形態では６４ｃｈの出力を得るため、６４種類のフィルタ係数２２１、２２２、・・・２２６４が利用される。また、フィルタ係数２２１、２２２、・・・２２６４を用いて畳み込み処理（プーリング処理の場合も含む）を行うウインドウの位置を便宜的にフィルタ位置と称する。
［手順２－１］畳み込み処理部１１ａは、入力画像１０１に畳み込み処理を行う。図７において畳み込み処理は出力チャンネル数に応じた数のフィルタ係数を用いて行われ、本実施の形態では６４ｃｈの出力を得るため、６４種類のフィルタ係数２２１、２２２、・・・２２６４が利用される。また、フィルタ係数２２１、２２２、・・・２２６４を用いて畳み込み処理（プーリング処理の場合も含む）を行うウインドウの位置を便宜的にフィルタ位置と称する。
【0108】
まず、畳み込み処理部１１ａは、２５１×２５１ピクセルの矩形マトリクス状の入力画像１０１に対し畳み込み処理を行う。畳み込み処理は、例えば３行×３列のフィルタ係数を用い、ピクセル毎の値とフィルタ係数で３行×３列の正方行列同士の積和演算を行い、その演算結果を算出する。
【0109】
この畳み込み処理を入力画像１０１の右上隅まで行う。ただし３行×３列のフィルタを用いているのでＸ方向のフィルタ出力は２４９となる。
【0110】
次に、畳み込み処理部１１ａは、フィルタ位置をＹ方向に１ピクセルずらして畳み込み処理を行い、その後、フィルタ位置を左から右に１ピクセル分ずつスライドさせながら順次畳み込み処理結果を得る。
【0111】
入力画像１０１の画素データに対して順次畳み込み処理を行い、以降、同様の畳み込み処理を入力画像１０１の右下隅まで繰り返す。
【0112】
ただし上述したＸ方向と同様、Ｙ方向のフィルタ出力も２４９となる。したがって、２５１×２５１ピクセルの入力画像に対して３×３のフィルタを用いて畳み込み処理を行うと、２４９×２４９の畳み込みデータ２０１が得られる。
【0113】
［手順２－２］次に、畳み込み処理部１１ａは２つめのフィルタ係数を用いて入力画像１０１に上記［手順２－１］と同じ処理を行う。これにより、２４９×２４９ピクセルの畳み込みデータ２０２が生成される。その後、畳み込み処理に用いるフィルタ係数を順次変更し、合計６４チャンネルの、２４９×２４９ピクセルの畳み込みデータ２０１、２０２、・・・２６４が生成される。
【0114】
なお、以下は説明を簡略化するため、特に区別の必要がある場合を除いてフィルタ係数２２１、２２２、・・・２２６４をフィルタ係数２２１００と、フィルタ係数２２１００を用いたフィルタ処理のための構成をフィルタ２２ａと、畳み込みデータ２０１、２０２、・・・２６４を畳み込みデータ２００と、それぞれ記載する。また、以降の記載では、同一の手順にて生成された複数チャンネルのデータは、特に区別の必要がある場合を除いては上記「畳み込みデータ２００」と同様に同一の符号を記載して説明する。
【0115】
［手順２－４］畳み込み処理部１１ａは、上記［手順２－３］で得られた２４９×２４９×６４ｃｈのデータを再び畳み込み処理し、これにより、合計６４チャンネルの、２４７×２４７ピクセルの畳み込みデータ２００ａが生成される。畳み込み処理のため、６４２個のフィルタ係数及び６４個のバイアス値が用いられ、６４個の演算結果をチャンネル毎に加算することで、出力として６４ｃｈの畳み込みデータ２００ａを得る。
【0116】
［手順２－５］手順２－４で得られた畳み込み処理結果は記憶部１５に格納され、クロップ処理部１３によりそのデータの略中央部分の５６×５６ピクセルのデータを特徴マップ３５として抽出し、６４チャンネル分の特徴マップを生成し、記憶部１５に格納する。
【0117】
以上［手順２－１］～［手順２－５］により、第一階層４１の処理が完了する。
【0118】
［ステップＳ３：ＰＳＤＳ処理］
［手順３－１］ダウンサンプル部１１のＰＳＤＳ処理部１１ｄは、［手順２－１］～［手順２－４］で生成された、合計６４チャンネルの畳み込みデータ２００ａに対してダウンサンプリング用のフィルタ２２ａを用いＰＳＤＳ処理を行う。この実施の形態ではＰＳＤＳ処理は基準位置を含めＮ個の開始位置がずれたウインドウを利用し、例えば、２×２のウインドウでストライド値を２に設定することにより、第一階層４１の畳み込み処理結果である２４７×２４７のデータを１／２の大きさである１２３×１２３×Ｎ（開始位置数）のデータとして生成する。
［手順３－１］ダウンサンプル部１１のＰＳＤＳ処理部１１ｄは、［手順２－１］～［手順２－４］で生成された、合計６４チャンネルの畳み込みデータ２００ａに対してダウンサンプリング用のフィルタ２２ａを用いＰＳＤＳ処理を行う。この実施の形態ではＰＳＤＳ処理は基準位置を含めＮ個の開始位置がずれたウインドウを利用し、例えば、２×２のウインドウでストライド値を２に設定することにより、第一階層４１の畳み込み処理結果である２４７×２４７のデータを１／２の大きさである１２３×１２３×Ｎ（開始位置数）のデータとして生成する。
【0119】
［手順３－２］次に、ＰＳＤＳ処理部１１ｄは、他の畳み込みデータに対しても上記［手順３－１］と同様の処理を行う。これにより、１２３×１２３×Ｎ×６４チャンネル分のダウンサンプリングデータ３００が生成される。
【0120】
［ステップＳ４：畳み込み処理］
［手順４－１］次に、畳み込み処理部１１ａは、［手順３－１］［手順３－２］にて生成されたダウンサンプリングデータ３００のそれぞれを畳み込み処理し、１２１×１２１×６４ｃｈ×Ｎの畳み込みデータ３７１を生成する。なお、この畳み込み処理も３×３のウインドウのフィルタ２２ａを用いて畳み込み処理を行うため、Ｘ、Ｙの２辺のデータが２個ずつ削減されている。
［手順４－１］次に、畳み込み処理部１１ａは、［手順３－１］［手順３－２］にて生成されたダウンサンプリングデータ３００のそれぞれを畳み込み処理し、１２１×１２１×６４ｃｈ×Ｎの畳み込みデータ３７１を生成する。なお、この畳み込み処理も３×３のウインドウのフィルタ２２ａを用いて畳み込み処理を行うため、Ｘ、Ｙの２辺のデータが２個ずつ削減されている。
【0121】
［手順４－２］さらに、畳み込み処理部１１ａは、再度畳み込み処理を実施し、１１９×１１９×６４ｃｈ×Ｎ個の畳み込みデータ３７２が生成される。
【0122】
［手順４－３］手順４－２で得られた畳み込み処理結果は記憶部１５に格納されているので、クロップ処理部１３により、そのデータの略中央部分の３２×３２のデータを特徴マップ３５として抽出し、６４×Ｎチャンネル分の特徴マップを生成し、記憶部１５に格納する。
【0123】
以上［手順３－１］［手順３－２］、［手順４－１］～［手順４－３］により、第二階層４２の処理が完了する。
【0124】
以後、畳み込み処理部１１ａ、ＰＳＤＳ処理部１１ｄは、［手順３－１］［手順３－２］、［手順４－１］～［手順４－３］の処理を繰り返すことで、図７に示す第三階層４３、第四階層４４、第五階層４５の処理を順次行う。
【0125】
【0126】
［ステップＳ１１：特徴マップ取得］
［手順６－１］クロップ処理部１３により抽出された各階層の特徴マップが記憶部１５に格納されているので、エンコーダー側からデコーダー側へのスキップコネクト（太矢印）を用いて階層毎の特徴マップを取得する。
［手順６－１］クロップ処理部１３により抽出された各階層の特徴マップが記憶部１５に格納されているので、エンコーダー側からデコーダー側へのスキップコネクト（太矢印）を用いて階層毎の特徴マップを取得する。
【0127】
［ステップＳ１２：アップサンプル部］
［手順６－２］例えば、アップサンプル部１２は第五階層の畳み込み処理３８１の出力（７×７×６４ｃｈ×Ｎ３のデータ）をアップサンプリングすることで１４×１４×６４ｃｈ×Ｎ３のデータを得、このデータとクロップ処理部１３が抽出した１４×１４×６４ｃｈ×Ｎ３の特徴マップのデータとをマージする。アップサンプリングはアップサンプル部１２のアップサンプル処理部１２ｂで実行され、本実施の形態では２×２の逆畳み込み処理を行うことでピクセル数を２倍にしている。なお、逆畳み込み処理に代えて、ピクセルシャッフラー処理を用いてピクセル数を増やしても良い。
［手順６－２］例えば、アップサンプル部１２は第五階層の畳み込み処理３８１の出力（７×７×６４ｃｈ×Ｎ３のデータ）をアップサンプリングすることで１４×１４×６４ｃｈ×Ｎ３のデータを得、このデータとクロップ処理部１３が抽出した１４×１４×６４ｃｈ×Ｎ３の特徴マップのデータとをマージする。アップサンプリングはアップサンプル部１２のアップサンプル処理部１２ｂで実行され、本実施の形態では２×２の逆畳み込み処理を行うことでピクセル数を２倍にしている。なお、逆畳み込み処理に代えて、ピクセルシャッフラー処理を用いてピクセル数を増やしても良い。
【0128】
［ステップＳ１３：畳み込み処理］
［手順６－３］アップサンプル部１２の畳み込み処理部１２ａは、クロップ＆アップサンプルデータ３８２（１４×１４ピクセル、６４×Ｎ３＋１４×１４ピクセル、６４ｃｈ×Ｎ３）のそれぞれに畳み込み処理を行い、データ３８３を生成する。
［手順６－３］アップサンプル部１２の畳み込み処理部１２ａは、クロップ＆アップサンプルデータ３８２（１４×１４ピクセル、６４×Ｎ３＋１４×１４ピクセル、６４ｃｈ×Ｎ３）のそれぞれに畳み込み処理を行い、データ３８３を生成する。
【0129】
［手順６－４］また、アップサンプル部１２の畳み込み処理部１２ａは、畳み込みデータ３８３のそれぞれに対して、上記［手順２－１］～［手順２－４］と同様の畳み込み処理を行い、１０×１０ピクセル、６４ｃｈ×Ｎ３の畳み込みデータ３８４を生成する。
【0130】
以上により、第五階層４５から第四階層４４までの処理が完了する。
【0131】
［ステップＳ１１～Ｓ１３：繰り返し］
［手順７］第三階層４３～第一階層４１のアップサンプル処理も、上記［手順６－１］～［手順６－４］と同様の手順で順次行われる。すなわち、エンコーダー側の畳み込みデータの略中央部から切り出された特徴マップを取得し、デコーダー側の畳み込みデータをアップサンプルしたものとマージし、そのマージしたデータに対して畳み込み処理を２回実施することで第三階層～第一階層のエンコーダー側のデータを生成する。
［手順７］第三階層４３～第一階層４１のアップサンプル処理も、上記［手順６－１］～［手順６－４］と同様の手順で順次行われる。すなわち、エンコーダー側の畳み込みデータの略中央部から切り出された特徴マップを取得し、デコーダー側の畳み込みデータをアップサンプルしたものとマージし、そのマージしたデータに対して畳み込み処理を２回実施することで第三階層～第一階層のエンコーダー側のデータを生成する。
【0132】
各階層における詳細な説明は省略するが、第三階層４３から第一階層４１までデコードすると、５２×５２ピクセル、６４ｃｈの畳み込みデータ３９３が得られる。
【0133】
［ステップＳ１４：畳み込み処理］
［手順８］第一階層のエンコーダー側の畳み込みデータ３９３をアップサンプル部１２の畳み込み処理部１２ａで１×１の畳み込みを行うことで、出力画像１０２を得る。本実施の形態では入力画像としてグレースケールのものを用いたため、５２×５２ピクセル、１ｃｈの出力画像を得るが、入力画像としてＲＧＢのものを用いた場合には畳み込み出力は３ｃｈとなる。
［手順８］第一階層のエンコーダー側の畳み込みデータ３９３をアップサンプル部１２の畳み込み処理部１２ａで１×１の畳み込みを行うことで、出力画像１０２を得る。本実施の形態では入力画像としてグレースケールのものを用いたため、５２×５２ピクセル、１ｃｈの出力画像を得るが、入力画像としてＲＧＢのものを用いた場合には畳み込み出力は３ｃｈとなる。
【0134】
［３．フィルタ係数の設定］
［手順９］図９は、この実施の形態の情報処理装置１におけるフィルタ係数の設定の手順を示すフローチャートである。図１０は、この実施の形態の情報処理装置１におけるフィルタ係数の設定を模式的に示した図である。この実施の形態では、フィルタ係数設定部１４がダウンサンプル部１１の各処理に用いられるフィルタ係数や、アップサンプル部１２の各処理に用いられるフィルタ係数の設定を行う。なお、以下は便宜的にフィルタ係数に上記［手順２－２］の説明及び図７の説明と同じ符号を付してフィルタ係数２２１００と記載する。ただし、以下の説明に示すフィルタ係数２２１００の具体的な構成（個々の係数の値やマトリクスの大きさなど）は任意であり、上記［手順２－２］の説明及び図７の説明に示すものと同一である必要はない。
［手順９］図９は、この実施の形態の情報処理装置１におけるフィルタ係数の設定の手順を示すフローチャートである。図１０は、この実施の形態の情報処理装置１におけるフィルタ係数の設定を模式的に示した図である。この実施の形態では、フィルタ係数設定部１４がダウンサンプル部１１の各処理に用いられるフィルタ係数や、アップサンプル部１２の各処理に用いられるフィルタ係数の設定を行う。なお、以下は便宜的にフィルタ係数に上記［手順２－２］の説明及び図７の説明と同じ符号を付してフィルタ係数２２１００と記載する。ただし、以下の説明に示すフィルタ係数２２１００の具体的な構成（個々の係数の値やマトリクスの大きさなど）は任意であり、上記［手順２－２］の説明及び図７の説明に示すものと同一である必要はない。
【0135】
フィルタ係数設定部１４は、例えば下記に示す方法でフィルタ係数２２１００を設定する。
【0136】
［ステップＳ２１：教師データとの比較］
図１０の（比較１）、すなわち、出力画像１０２と教師データ１０４との比較により、エンコード側及びデコード側の各畳み込み処理に用いるフィルタ係数２２１００を調整する。本実施形態では、出力画像は５２×５２ピクセルの大きさであるので、元データ１０３（入力画像１０１に対応するデータ）の略中央部分のデータをクロップし、それを教師データとして比較する例を記載している。これにより、情報処理装置１全体として最適となるように各処理におけるフィルタ係数２２１００が設定される。
図１０の（比較１）、すなわち、出力画像１０２と教師データ１０４との比較により、エンコード側及びデコード側の各畳み込み処理に用いるフィルタ係数２２１００を調整する。本実施形態では、出力画像は５２×５２ピクセルの大きさであるので、元データ１０３（入力画像１０１に対応するデータ）の略中央部分のデータをクロップし、それを教師データとして比較する例を記載している。これにより、情報処理装置１全体として最適となるように各処理におけるフィルタ係数２２１００が設定される。
【0137】
なお、本実施の形態では単一フィルタ処理に用いるフィルタ係数を学習せず、フィルタ係数は固定のものとしているが、単一フィルタ処理のフィルタ係数を学習するよう構成しても良い。
【0138】
［ステップＳ２２：生成されたデータとの比較］
図１０の（比較２Ａ）に示すように、元データ１０３をダウンサンプル部１１でダウンサンプルし、元データ（２５１×２５１ピクセル）を１／２サイズ（ピクセル数が１／２、以下同じ。）に縮小し、そのデータの略中心部をクロップして教師データ１０５を生成する。なお、ダウンサンプルするにあたっては、ピクセルシフトダウンサンプル処理及び処理内容として単一フィルタ処理を選択することでピクセルシフトの開始位置数に応じたチャンネルデータが得られ、これを教師データとすることにより、より精細な比較を行うことができる。
図１０の（比較２Ａ）に示すように、元データ１０３をダウンサンプル部１１でダウンサンプルし、元データ（２５１×２５１ピクセル）を１／２サイズ（ピクセル数が１／２、以下同じ。）に縮小し、そのデータの略中心部をクロップして教師データ１０５を生成する。なお、ダウンサンプルするにあたっては、ピクセルシフトダウンサンプル処理及び処理内容として単一フィルタ処理を選択することでピクセルシフトの開始位置数に応じたチャンネルデータが得られ、これを教師データとすることにより、より精細な比較を行うことができる。
【0139】
一方、Ｕ－ｎｅｔの第二階層４２のクロップ＆アップサンプルデータ３８８、畳み込みデータ３８９及び３９０のいずれかのデータを、ＰＳＤＳ処理にて得られた教師データのチャンネル数と合致するよう畳み込み処理を行う。畳み込み処理の結果は、前記教師データ１０５と比較し、各畳み込みに用いる係数や単一フィルタ処理に用いるフィルタ係数２２１００を調整したり、ＰＳＤＳ処理のウインドウ枠、ストライド値、開始位置数、開始位置などを調整したりする。なお、データ３８８、３８９、３９０のいずれを畳み込み処理するかは設計次第であり、生成された教師データと比較するために最適なデータを利用すればよい。
【0140】
また、第三階層４３のエンコーダー側の出力（３８５、３８６、３８７）のいずれかを学習に用いる場合には、元データを１／４サイズ（ピクセル数１／４、以下同じ。）にＰＳＤＳ処理で縮小し、縮小されたデータの略中央部をクロップして教師データ１０６とし、この教師データ１０６とエンコーダー側の出力（３８５、３８６、３８７）のいずれかを畳み込み処理したデータとを比較することで、より高精度な学習を行うことができる。
【0141】
元データを１／４サイズに縮小するには図示したように元データからＰＳＤＳ処理で直接１／４サイズのデータを得る方法があり、この場合、ＰＳＤＳ処理で用いるウインドウ枠は４×４、ストライド値を４、開始位置数を１６に設定する。また、ＰＳＤＳ処理で１／２サイズに縮小したデータをさらに、１／２サイズ縮小のＰＳＤＳ処理で１／４サイズのデータを得るようにしても良い。いずれの場合であっても、元データを１／４サイズにＰＳＤＳ処理で縮小した場合には１６チャンネルのデータが生成され、それを教師データとして比較することで各畳み込み処理のフィルタ係数２２１００や、プーリング処理に用いるウインドウ枠の大きさやウインドウ枠の中で行われる演算が最適化されるように調整される。
【0142】
［処理手順の変形例］
上記処理手順は、Ｕ－ｎｅｔの第二階層以降の最初の処理として用いられるプーリング処理や畳み込み処理に代えてＰＳＤＳ処理を用いる構成としたが、プーリング処理にＰＳＤＳ処理を適用したり、畳み込み処理にＰＳＤＳ処理を適用したりすることも可能である。
上記処理手順は、Ｕ－ｎｅｔの第二階層以降の最初の処理として用いられるプーリング処理や畳み込み処理に代えてＰＳＤＳ処理を用いる構成としたが、プーリング処理にＰＳＤＳ処理を適用したり、畳み込み処理にＰＳＤＳ処理を適用したりすることも可能である。
【0143】
［作用効果］
以上、この実施の形態においては、プーリング処理やフィルタリング処理が行われた画像データ２０を新たな画像データ５７，５８，５９，６０にするにあたり、逆ピクセルシャッフラー処理を行う。すなわち、１の元の画像データ２０のピクセルデータを複数の新たな画像データ５７，５８，５９，６０に再配置する。例えば、図５に示すように、画像データ２０のマル数字１，２，９，１０のピクセルを、画像データ５７，５８，５９，６０の１行１列目のピクセル５９として再配置する。
以上、この実施の形態においては、プーリング処理やフィルタリング処理が行われた画像データ２０を新たな画像データ５７，５８，５９，６０にするにあたり、逆ピクセルシャッフラー処理を行う。すなわち、１の元の画像データ２０のピクセルデータを複数の新たな画像データ５７，５８，５９，６０に再配置する。例えば、図５に示すように、画像データ２０のマル数字１，２，９，１０のピクセルを、画像データ５７，５８，５９，６０の１行１列目のピクセル５９として再配置する。
【0144】
これにより、元の画像データ２０より小さい画像データ５７，５８，５９，６０を容易に得ることができる。
【0145】
また、処理前の画像データ２０と処理後の画像データ５７，５８，５９，６０のピクセル数やピクセルの状態を同一に保持できる。そのため、処理後のデータ量が小さく元の画像データ２０の特徴を多く含む画像データ５７，５８，５９，６０を用いて機械学習を行わせ、機械学習の精度を高めることができる。これにより、ＣＮＮを用いた人工知能において、データ量や処理負荷が過大になるのを抑止しつつ高い精度で解析や認識を行うことが可能となる。
【0146】
また、処理後の画像データ５７，５８，５９，６０に処理前の画像データ２０のピクセル数やピクセルの状態を同一に保持させることができるので、処理後の画像データ５７，５８，５９，６０から処理前の画像データ２０を容易に復元できる。
【0147】
この実施の形態においては、元の画像データ２０から逆ピクセルシャッフラー処理を行い、新たな画像データ５７，５８，５９，６０上に再配置を行える。そして、逆ピクセルシャッフラー処理によるピクセルの再配置を、少ないデータ量の、元データの特徴を保持できる範囲のデータごとに行うことができる。これにより、ＣＮＮを用いた人工知能において、データ量や処理負荷が過大になるのを抑止しつつ高い精度で解析や認識を行うことがより容易になる。
この実施の形態においては、画像データ２０に基づいて精度の高い各種機械学習を行うことが可能となる。
この実施の形態においては、画像データ２０に基づいて精度の高い各種機械学習を行うことが可能となる。
【0148】
なお、上記実施の形態は本発明の例示であり、本発明がこの実施の形態のみに限定されるものではないことは、いうまでもない。
【符号の説明】
【0149】
１・・・情報処理装置
１１ｂ・・・プーリング処理部（プーリング処理手段）
１１ｃ・・・単一フィルタ処理部（単一フィルタ処理手段）
１１ｅ・・・逆ピクセルシャッフラー処理部（逆ピクセルシャッフラー手段）
２０・・・画像データ（元データ）
５３・・・取出範囲
５７，５８，５９，６０・・・画像データ（新たなデータ）
１１ｂ・・・プーリング処理部（プーリング処理手段）
１１ｃ・・・単一フィルタ処理部（単一フィルタ処理手段）
１１ｅ・・・逆ピクセルシャッフラー処理部（逆ピクセルシャッフラー手段）
２０・・・画像データ（元データ）
５３・・・取出範囲
５７，５８，５９，６０・・・画像データ（新たなデータ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】