知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025143995
(43)【公開日】2025-10-02
(54)【発明の名称】情報処理装置、組込み機器、推論方法、及びプログラム
(51)【国際特許分類】
G06N 3/0464 20230101AFI20250925BHJP
【ＦＩ】
G06N3/0464
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2024043543
(22)【出願日】2024-03-19
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】溝口 慶範
(72)【発明者】
【氏名】中村 隆
(72)【発明者】
【氏名】山田 貴之
(72)【発明者】
【氏名】近藤 和史
(72)【発明者】
【氏名】山田 顕季
(72)【発明者】
【氏名】石川 尚
(57)【要約】
【課題】演算結果の信頼性の低下を抑制しつつ、畳み込みニューラルネットワークの畳み込み演算に必要な記憶容量を削減する。
【解決手段】畳み込みニューラルネットワークを用いた推論を実行する情報処理装置であって、情報処理装置に入力された推論用データから対象データを取得する取得手段と、取得手段が取得した対象データと、所定サイズの演算結果データを得るために必要な、対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、演算結果データを出力する演算手段と、を備え、取得手段は、マージンデータのうちの一部のデータである第１データを、推論用データにおいて対象データの周囲に対象データとは別に存在するデータ群から取得し、マージンデータのうちの第１データを除く第２データを、前記データ群から取得しない。
【選択図】図１０
【解決手段】畳み込みニューラルネットワークを用いた推論を実行する情報処理装置であって、情報処理装置に入力された推論用データから対象データを取得する取得手段と、取得手段が取得した対象データと、所定サイズの演算結果データを得るために必要な、対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、演算結果データを出力する演算手段と、を備え、取得手段は、マージンデータのうちの一部のデータである第１データを、推論用データにおいて対象データの周囲に対象データとは別に存在するデータ群から取得し、マージンデータのうちの第１データを除く第２データを、前記データ群から取得しない。
【選択図】図１０
【特許請求の範囲】
【請求項1】
畳み込みニューラルネットワークを用いた推論を実行する情報処理装置であって、
前記情報処理装置に入力された推論用データから対象データを取得する取得手段と、
前記取得手段が取得した前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算手段と、を備え、
前記取得手段は、前記マージンデータのうちの一部のデータである第１データを、前記推論用データにおいて前記対象データの周囲に前記対象データとは別に存在するデータ群から取得し、前記マージンデータのうちの前記第１データを除く第２データを、前記データ群から取得しないことを特徴とする情報処理装置。
前記情報処理装置に入力された推論用データから対象データを取得する取得手段と、
前記取得手段が取得した前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算手段と、を備え、
前記取得手段は、前記マージンデータのうちの一部のデータである第１データを、前記推論用データにおいて前記対象データの周囲に前記対象データとは別に存在するデータ群から取得し、前記マージンデータのうちの前記第１データを除く第２データを、前記データ群から取得しないことを特徴とする情報処理装置。
【請求項2】
前記マージンデータのうち、前記第１データを除くデータである第２データをパディングするパディング手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記第１データは前記対象データとともに記憶領域に保持され、前記第２データは前記記憶領域に保持されないことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記パディング手段は、前記第２データを前記演算手段が演算に使用するレジスタに直接書き込むことを特徴とする請求項２に記載の情報処理装置。
【請求項5】
前記パディング手段は、前記第２データを任意の固定値でパディングすることを特徴とする請求項２に記載の情報処理装置。
【請求項6】
前記パディング手段は、前記第２データを前記対象データに基づくデータでパディングすることを特徴とする請求項２に記載の情報処理装置。
【請求項7】
前記取得手段は、前記対象データに対し、前記畳み込み演算の演算範囲のスライド方向と同一方向に存在する前記データ群から前記第１データを取得することを特徴とする請求項１に記載の情報処理装置。
【請求項8】
前記取得手段は、前記対象データに対し、前記畳み込み演算の演算範囲のスライド方向と直交する方向に存在する前記データ群から前記第１データを取得することを特徴とする請求項１に記載の情報処理装置。
【請求項9】
前記取得手段は、前記第１データを前記データ群から離散的に取得することを特徴とする請求項１に記載の情報処理装置。
【請求項10】
前記取得手段は、前記第１データを前記データ群から所定のデータ間隔で取得することを特徴とする請求項９に記載の情報処理装置。
【請求項11】
前記対象データが２次元データであり、前記マージンデータの範囲が複数のラインにわたる場合、前記取得手段は、前記第１データが前記複数のラインのすべてに分散するように、前記第１データを前記データ群から取得することを特徴とする請求項１に記載の情報処理装置。
【請求項12】
前記畳み込みニューラルネットワークを構成する少なくとも１つの層において、前記取得手段は、前記マージンデータの一部を、前記データ群から前記第１データとして取得することを特徴とする請求項１に記載の情報処理装置。
【請求項13】
前記取得手段が前記マージンデータの一部を、前記データ群から前記第１データとして取得する層は、前記畳み込みニューラルネットワークのエンコーダ部の最終層であることを特徴とする請求項１に記載の情報処理装置。
【請求項14】
前記対象データは、前記推論用データが所定単位サイズに分割された分割データであることを特徴とする請求項１記載の情報処理装置。
【請求項15】
前記対象データが前記分割データである場合、
前記取得手段は、前記第１データを取得する前記データ群の位置を、前記対象データごとに変更することを特徴とする請求項１４に記載の情報処理装置。
前記取得手段は、前記第１データを取得する前記データ群の位置を、前記対象データごとに変更することを特徴とする請求項１４に記載の情報処理装置。
【請求項16】
前記対象データは画像データであることを特徴とする請求項１に記載の情報処理装置。
【請求項17】
請求項１に記載の情報処理装置を有する組込み機器。
【請求項18】
畳み込みニューラルネットワークを用いた推論方法であって、
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されない推論方法。
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されない推論方法。
【請求項19】
畳み込みニューラルネットワークを用いた推論方法をコンピュータに実行させるためのプログラムであって、
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されないプログラム。
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されないプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、畳み込みニューラルネットワークを用いた推論に関する。
【背景技術】
【0002】
パターン認識に好適な方法の１つとして、畳み込みニューラルネットワーク（Convolutional Neural Network；ＣＮＮ）がある。ＣＮＮを用いた推論では、特定の特徴を抽出するために多段に構成されたフィルタを用いて、膨大な畳み込み演算が繰り返し実行される。よって、演算量に見合ったハードウェア資源が必要とされる。一方、製品においては、小型化やコスト低減が要求されるため、十分なハードウェア資源を具備できるとは限らない。特に、ＣＮＮのフィルタとして使用されるＳＲＡＭは集積回路の面積を増大させるため高コストとなる傾向があり、容量の削減が課題とされている。
【0003】
この課題に対し特許文献１には、機械学習モデルの重み行列（フィルタ）を所定幅を持つ複数の行列に分解することで、なるべく推論精度を保ちながら、任意サイズの機械学習モデルに変更する技術が開示されている。また、ＳＲＡＭ容量を低減させる技術としては、ゼロパディングという方法も知られている。画像の畳み込みでは、正方形のフィルタを走査させながら入力画像の局所的な積和を行い、フィルタ中心の画素に値を集約させる。しかしフィルタが入力画像の端部付近にある場合は、画像領域外にフィルタの一部がはみ出してしまう。ゼロパディングは、そのはみ出した周辺の画素を入力画像から取得せず、「０」で埋める処理である。即ち、ゼロパディングを行うことで、入力画像の周辺領域のデータをＳＲＡＭに保持する必要がなくなり、ＳＲＡＭの容量が低減される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－０１２５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ＳＲＡＭ容量の低減のためにゼロパディングを行うと、畳み込み演算に用いるデータに真の値ではないデータが含まれることになり、演算結果の信頼性が下がってしまうという問題がある。つまり、製品にＣＮＮを実装するにあたり、演算結果の信頼性を上げようとするとハードウェア資源の制約により実現が困難になり、実現可能な方法を選ぶと演算結果の信頼性が下がるという課題がある。
【0006】
本開示の目的は、演算結果の信頼性の低下を抑制しつつ、ＣＮＮの畳み込み演算に必要な記憶容量を削減することである。
【課題を解決するための手段】
【0007】
本開示は、畳み込みニューラルネットワークを用いた推論を実行する情報処理装置であって、前記情報処理装置に入力された推論用データから対象データを取得する取得手段と、前記取得手段が取得した前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算手段と、を備え、前記取得手段は、前記マージンデータのうちの一部のデータである第１データを、前記推論用データにおいて前記対象データの周囲に前記対象データとは別に存在するデータ群から取得し、前記マージンデータのうちの前記第１データを除く第２データを、前記データ群から取得しない。
【発明の効果】
【0008】
本開示によれば、演算結果の信頼性の低下を抑制しつつ、ＣＮＮの畳み込み演算に必要な記憶容量を削減することが可能となる。
【図面の簡単な説明】
【0009】
【図1】情報処理装置の一例であるプリンタのハードウェア構成を示すブロック図である。
【図2】推論部を構成するＣＮＮのモデル構造の一例を示す概念図である。
【図3】フィルタの内部構成を示す概念図である。
【図4】推論部の機能構成及びデータの処理過程を示す図である。
【図5】推論用画像データの分割及び分割画像ブロックのマージンデータを説明する図である。
【図6】推論の流れを説明するフローチャートである。
【図7】比較例としてのデータ取得方法を示す図である。
【図10】本開示の第１の実施形態に係るデータ取得方法を示す図である。
【図13】ＤＲＡＭへのアクセス方法について説明する図である。
【図14】第１の実施形態の変形例１に係るデータ取得方法を示す図である。
【図16】変形例２に係るデータ取得方法を示す図である。
【図17】複数ラインに渡るマージンデータの例を示す図である。
【図18】変形例３に係るデータ取得方法を示す図である。
【図19】推論装置としてのプリンタと学習装置との関係を示す図である。
【図20】学習装置のハードウェア構成の例を示す図である。
【図21】学習装置の機能構成及びデータの処理過程を示す図である。
【図22】典型的なＣＮＮモデルの入力部近傍を示す模式図である。
【図23】処理層における処理部の概要を示す模式図である。
【図24】ＣＮＮの出力部近傍を示す模式図である。
【図25】学習装置が実行する学習処理の全体の流れを説明するフローチャートである。
【図26】モデル構造及びモデル条件を設定するためのＵＩ画面の例を示す図である。
【図27】学習処理の流れを説明するフローチャートである。
【図28】学習データの分割及び水増しについて説明する図である。
【図29】第３の実施形態における学習処理の全体の流れを説明するフローチャートである。
【図30】第３の実施形態の情報処理システムのシステム構成及び機能構成を示す図である。
【図31】ユースケース設定の例として印刷設定のＵＩ画面を示す図である。
【図32】第３の実施形態に変形例におけるシステム構成及び機能構成を示す図である。
【発明を実施するための形態】
【0010】
以下、添付の図面を参照しながら、本開示の好適な実施の形態を詳細に説明する。なお、以下の実施形態で示す構成は一例に過ぎず、また本開示は図示された構成に限定されるものではない。まず、本明細書で使用される用語について説明する。
【0011】
＜用語定義＞
ニューロン：
ニューロンは、フィルタと活性化関数からなる処理単位である。当該フィルタの係数は、「フィルタ係数」、「重み」、「ニューロンの重み」などと称される。ニューロンは、フィルタが実行する演算処理の対象となるデータ（以下、「演算データ」という）を用いて畳み込み演算を実行し、「演算結果データ」を得る。
「演算データ」は、「対象データ」と、「マージンデータ」とを含む。
「対象データ」は本明細書では、外部から入力された推論用画像データまたは学習データ（例えば、ページ単位の画像データ）を所定サイズに分割した画像ブロックのデータとする。対象データの取得元となるページ単位の画像データを「元画像」ともいう。元画像の単位はページ単位に限定されず、任意である。
「マージンデータ」は、対象データに対する畳み込み演算においてフィルタからはみ出す、対象データの外周に存在するデータである。マージンデータの幅はフィルタサイズ及び層構造を含むモデル構造により決定される。例えば３×３フィルタを用いる場合、対象データと、対象データの周囲の上下左右１ライン（行及び列）ずつのマージンデータとを含むデータが演算データとなる。また、例えば５×５フィルタを用いる場合、対象データと、対象データの周囲の上下左右２ライン（行及び列）ずつのマージンデータとを含むデータが演算データとなる。いずれの場合も演算結果データのサイズは対象データと同サイズとなる。
「参照データ」（第１データ）は、マージンデータのうち推論部が元画像から取得するデータである。参照データは、元画像における対象データ（画像ブロック）の周囲に存在するデータ群から取得される実データである。なお、フィルタサイズ及びデータサイズは説明のための一例であり、これらに限定されず、任意の値としてよい。なお詳細は後述するが、本開示において、マージンデータのうちの参照データを除くデータ（第２データ）は、上記データ群から取得されない。
「入力データ」は、「対象データ」と「参照データ」とを含むデータ群であり、元画像から取得され、推論部のＳＲＡＭに保持される。
ニューロン：
ニューロンは、フィルタと活性化関数からなる処理単位である。当該フィルタの係数は、「フィルタ係数」、「重み」、「ニューロンの重み」などと称される。ニューロンは、フィルタが実行する演算処理の対象となるデータ（以下、「演算データ」という）を用いて畳み込み演算を実行し、「演算結果データ」を得る。
「演算データ」は、「対象データ」と、「マージンデータ」とを含む。
「対象データ」は本明細書では、外部から入力された推論用画像データまたは学習データ（例えば、ページ単位の画像データ）を所定サイズに分割した画像ブロックのデータとする。対象データの取得元となるページ単位の画像データを「元画像」ともいう。元画像の単位はページ単位に限定されず、任意である。
「マージンデータ」は、対象データに対する畳み込み演算においてフィルタからはみ出す、対象データの外周に存在するデータである。マージンデータの幅はフィルタサイズ及び層構造を含むモデル構造により決定される。例えば３×３フィルタを用いる場合、対象データと、対象データの周囲の上下左右１ライン（行及び列）ずつのマージンデータとを含むデータが演算データとなる。また、例えば５×５フィルタを用いる場合、対象データと、対象データの周囲の上下左右２ライン（行及び列）ずつのマージンデータとを含むデータが演算データとなる。いずれの場合も演算結果データのサイズは対象データと同サイズとなる。
「参照データ」（第１データ）は、マージンデータのうち推論部が元画像から取得するデータである。参照データは、元画像における対象データ（画像ブロック）の周囲に存在するデータ群から取得される実データである。なお、フィルタサイズ及びデータサイズは説明のための一例であり、これらに限定されず、任意の値としてよい。なお詳細は後述するが、本開示において、マージンデータのうちの参照データを除くデータ（第２データ）は、上記データ群から取得されない。
「入力データ」は、「対象データ」と「参照データ」とを含むデータ群であり、元画像から取得され、推論部のＳＲＡＭに保持される。
【0012】
活性化関数：
活性化関数は、非線形な応答特性を持つ関数である。シグモイド関数やＲｅＬＵ関数などがよく使われる。その理由は、入力と出力の関係が非線形な応答特性を持つことが期待されるからである。
活性化関数は、非線形な応答特性を持つ関数である。シグモイド関数やＲｅＬＵ関数などがよく使われる。その理由は、入力と出力の関係が非線形な応答特性を持つことが期待されるからである。
【0013】
層：
層は、複数のニューロンからなる処理単位である。各々のニューロンには原則として共通の演算データが入力される。ただし各々のニューロンのフィルタ係数（重み）には、取得したい特徴に応じて異なる重みが設定されてもよい。層が複数のニューロンから構成される理由は、演算データを多面的に分析するためである。
層は、複数のニューロンからなる処理単位である。各々のニューロンには原則として共通の演算データが入力される。ただし各々のニューロンのフィルタ係数（重み）には、取得したい特徴に応じて異なる重みが設定されてもよい。層が複数のニューロンから構成される理由は、演算データを多面的に分析するためである。
【0014】
特徴量：
１つのニューロンからの出力を特徴量と呼ぶ。異なるニューロンは異なる特徴量の強度を出力する。
１つのニューロンからの出力を特徴量と呼ぶ。異なるニューロンは異なる特徴量の強度を出力する。
【0015】
特徴量ベクトル：
１つの層から出力される特徴量からなるベクトルである。ベクトルの次数を、以下では「チャネル」とも記す。文脈によって「次元」と「チャネル」を使い分ける。それは慣習によりどちらの用語が文脈に適するかが変わるからである。
１つの層から出力される特徴量からなるベクトルである。ベクトルの次数を、以下では「チャネル」とも記す。文脈によって「次元」と「チャネル」を使い分ける。それは慣習によりどちらの用語が文脈に適するかが変わるからである。
【0016】
以下の実施形態は、本開示に係る情報処理装置及び組込み機器の一実施形態として、プリンタを例に説明する。なお、本開示はプリンタに限定されず、ＭＦＰ（Multifunction Peripheral）等の画像形成装置の他、撮像機器、映像機器等の各種の画像処理装置、ＰＣ、スマートフォン等の一般的な情報処理装置に適用可能である。また以下の説明では、例として画像データを扱うが、本開示の処理対象とするデータは画像データに代表される２次元データに限定されず、音声データ等の時系列の１次元データにも適用可能である。その場合、組込み機器としては音響機器、照明機器等にも本開示を適用できる。
【0017】
＜第１の実施形態＞
第１の実施形態では、ＣＮＮ（畳み込みニューラルネットワーク）を利用した推論を実行する情報処理装置の一例として、プリンタについて説明する。
第１の実施形態では、ＣＮＮ（畳み込みニューラルネットワーク）を利用した推論を実行する情報処理装置の一例として、プリンタについて説明する。
【0018】
（ハードウェア構成）
図１は、本実施形態に係る情報処理装置の一例であるプリンタのハードウェア構成を示すブロック図である。図１に示すように、プリンタ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、推論部１０４、データ転送Ｉ／Ｆ１０５、操作パネル１０６、及び印刷部１０７を備える。ＲＯＭ１０２、ＲＡＭ１０３、推論部１０４、データ転送Ｉ／Ｆ１０５、操作パネル１０６、及び印刷部１０７はデータバス１０８を介して、ＣＰＵ１０１に接続されている。
図１は、本実施形態に係る情報処理装置の一例であるプリンタのハードウェア構成を示すブロック図である。図１に示すように、プリンタ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、推論部１０４、データ転送Ｉ／Ｆ１０５、操作パネル１０６、及び印刷部１０７を備える。ＲＯＭ１０２、ＲＡＭ１０３、推論部１０４、データ転送Ｉ／Ｆ１０５、操作パネル１０６、及び印刷部１０７はデータバス１０８を介して、ＣＰＵ１０１に接続されている。
【0019】
データ転送Ｉ／Ｆ１０５は、不図示の外部機器との間でデータの入出力を行うインターフェースである。データ転送Ｉ／Ｆ１０５における接続方式は、特に限定するものではないが、例えばＵＳＢ、ＩＥＥＥ１３９４等を用いることができる。また有線、無線を問わない。外部機器は、例えばパーソナルコンピュータ、携帯情報端末、スマートフォン等であり、推論の対象となる画像データを生成し、保持し、プリンタ１００へデータ転送することが可能な機器である。データ転送Ｉ／Ｆ１０５は、外部機器から入力された推論用画像データを、データバス１０８を介してＣＰＵ１０１に転送する。
【0020】
データバス１０８は、データ転送Ｉ／Ｆ１０５から受け取った推論用画像データをＣＰＵ１０１に入力し、ＣＰＵ１０１から出力されるデータをプリンタ１００内の各部へ転送するデータ伝送路である。
ＲＡＭ１０３は、データ転送Ｉ／Ｆ１０５から受け取ったデータを一時的に記憶する記憶領域であり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリにより構成される。またＲＡＭ１０３は、CＰＵ１０１が実行する処理のワークメモリとして利用される。
ＲＡＭ１０３は、データ転送Ｉ／Ｆ１０５から受け取ったデータを一時的に記憶する記憶領域であり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリにより構成される。またＲＡＭ１０３は、CＰＵ１０１が実行する処理のワークメモリとして利用される。
【0021】
ＣＰＵ１０１は、ＲＯＭ１０２に保持されるプログラムを呼び出しＲＡＭ１０３に展開し、ＲＡＭ１０３をワークメモリとして用いながらプログラムに従って処理を実行する。例えばＣＰＵ１０１は、ＲＡＭ１０３に保持された推論用画像データをデータバス１０８を介して推論部１０４に転送する。またＣＰＵ１０１は、推論部１０４に対し推論用画像データの分割条件、参照データ取得条件、パディング条件、及びフィルタ係数等、推論に必要な情報を設定する。これらの情報はパラメータとしてＲＯＭ１０２に予め保持されてもよいし、プログラムにより設定されてもよい。
【0022】
推論部１０４は、CＰＵ１０１から入力されたフィルタ係数をフィルタに設定する。また推論部１０４は、ＤＲＡＭ１０３に保持された所定の単位サイズの推論用画像データから、分割条件、参照データ取得条件、及びパディング条件に基づき演算データを取得する。推論部１０４は、取得した演算データを用いてフィルタ係数を用いた畳み込み演算を実行し、演算結果データを得る。このような複数のフィルタ処理を繰り返し実行することで、推論部１０４は、推論の結果として特徴量ベクトルを出力し、ＣＰＵ１０１に転送する。推論部１０４の構成及び処理の詳細については後述する。
【0023】
ＲＯＭ１０２は不揮発性メモリであり、本実施形態に係るプログラムやＯＳ（Operating System）、処理に必要なデータを保持する。プログラムは、ＣＰＵ１０１が推論部１０４にＣＮＮによる推論を実行させるための処理プログラムを含む。またＲＯＭ１０２は、推論用画像データの分割条件、参照データ取得条件、パディング条件、及びフィルタ係数等、推論に必要な情報を保持する。推論及びこれらの情報については後述する。なお、本実施形態では、フィルタ係数は予めプリンタ１００とは別の学習装置により予め学習済みの値が、ＲＯＭ１０２に記憶されているものとする。
【0024】
印刷部１０７は、ＣＰＵ１０１からの指示に基づき、印刷動作を行う。印刷部１０７の印刷方式は特に限定するものでは無く、例えば、インクジェット方式であってもよいし、電子写真方式であってもよい。
【0025】
なお、上述のプリンタ１００の構成は一例であり、本開示はこれに限定されない。例えばＲＯＭ１０２の代わりに任意の記憶媒体を用いてもよい。任意の記憶媒体とは、例えばＨＤＤやＵＳＢインターフェースを介した外部メモリなどでも構わない。また本実施形態では推論部１０４において推論を実施する。しかしながら推論部１０４が実行する処理と同等の処理を実現するためのファームウェアを記憶媒体に記憶しておき、ＣＰＵ１０１がファームウェアを実行することで推論部１０４の処理を実行してもよい。また、機能拡張の一環として、推論部１０４が取得する対象データのブロックサイズ（分割サイズ）は、ユーザが設定可能なパラメータとしてよい。
【0026】
操作パネル１０６は、プリンタ１００に対する操作をユーザが入力するための入力部、及びプリンタ１００の状態やプリンタ１００への設定情報等の各種情報を表示する表示部を含む。入力部は例えば、タッチパネル、ハードキー等により構成され、入力された情報をＣＰＵ１０１に入力する。表示部は、ＬＣＤ等のディスプレイ及び表示制御回路を有し、ＣＰＵ１０１から入力された情報をディスプレイに表示する。
【0027】
（推論部）
図２は、推論部１０４を構成するＣＮＮ（畳み込みニューラルネットワーク）のモデル構造の一例を示す概念図である。推論部１０４は、ＣＮＮを用いた推論を実行するために、エンコード部２０１及びデコード部２０２を有する。エンコード部２０１は、後述するいくつかの処理層の集合体である。エンコード部２０１全体を通して、処理対象となるデータの特徴をエンコードする。デコード部２０２は、エンコード部２０１で得られた処理結果をデコードし、特徴量ベクトルを抽出する。
図２は、推論部１０４を構成するＣＮＮ（畳み込みニューラルネットワーク）のモデル構造の一例を示す概念図である。推論部１０４は、ＣＮＮを用いた推論を実行するために、エンコード部２０１及びデコード部２０２を有する。エンコード部２０１は、後述するいくつかの処理層の集合体である。エンコード部２０１全体を通して、処理対象となるデータの特徴をエンコードする。デコード部２０２は、エンコード部２０１で得られた処理結果をデコードし、特徴量ベクトルを抽出する。
【0028】
エンコード部２０１の入力層２０３は、処理対象となるデータを処理する最初の処理層である。処理層は複数のフィルタから構成されるが、必ずしもハードウェアとして複数のフィルタが必要なわけではない。ハードウェアとして用意された１つのフィルタを繰り返し使用することで複数のフィルタを実現してもよい。即ち、ＳＲＡＭ、演算回路、及びレジスタを含むハードウェアとしてのフィルタは１つであるが、フィルタ係数を漸次更新し、あるフィルタにおける演算結果を次のフィルタの入力データとして用いることで、連続した２つのフィルタ処理を実現する。そのような層の一例として、入力層２０３を図示している。入力層２０３に続く中間の処理層２０４は、入力層２０３の演算結果を受けて、その後の処理を実現する層である。中間の処理層２０４も、入力層２０３と同様に複数のフィルタから構成される。このように複数のフィルタ処理を実施することで、エンコード部２０１は処理対象とする画像データをエンコードする。
【0029】
エンコード部２０１と同様に、複数のフィルタ処理を行うための複数の処理層２０５がデコード部２０２側にも設けられる。デコード部２０２の処理層２０５からの最終的な出力は、デコード部２０２の最終層２０６における活性化関数によって一意に決定される。このようにして、処理対象である画像データについて注目画素の属性の確率が定まる。このように、ＣＮＮにはニューロンを複数組み合わせていくつかの層が構成され、構成された複数の層が組み合わされてエンコードとデコードが行われる。これらの処理を通して特徴量ベクトルが得られる。
【0030】
（フィルタの構成）
図３は、図２に示した推論部１０４を構成するフィルタの内部構成を示す概念図である。フィルタ３００は、入力データ、出力データ、及びフィルタ係数群が展開されるＳＲＡＭ３１０と、畳み込み演算に使用されるフィルタ係数が設定される係数レジスタ３２２、及び演算範囲（演算窓）のデータが展開される演算用レジスタ３２１を有する。上述したように、推論部１０４は、１または複数の特徴を抽出するために１または複数のフィルタ３００を有する。なお、複数のフィルタを実現するために、推論部１０４はハードウェアとしてのフィルタ３００を複数備えてもよいし、１つのフィルタ３００をフィルタ係数を変更しながら繰り返し使用してもよい。いずれにしても推論部１０４は、図２に示すＣＮＮを構成・実施するために必要なフィルタを具備すればよい。
図３は、図２に示した推論部１０４を構成するフィルタの内部構成を示す概念図である。フィルタ３００は、入力データ、出力データ、及びフィルタ係数群が展開されるＳＲＡＭ３１０と、畳み込み演算に使用されるフィルタ係数が設定される係数レジスタ３２２、及び演算範囲（演算窓）のデータが展開される演算用レジスタ３２１を有する。上述したように、推論部１０４は、１または複数の特徴を抽出するために１または複数のフィルタ３００を有する。なお、複数のフィルタを実現するために、推論部１０４はハードウェアとしてのフィルタ３００を複数備えてもよいし、１つのフィルタ３００をフィルタ係数を変更しながら繰り返し使用してもよい。いずれにしても推論部１０４は、図２に示すＣＮＮを構成・実施するために必要なフィルタを具備すればよい。
【0031】
以下の説明において、ＳＲＡＭ３１０は、入力データ領域３１１と、フィルタ係数を保持するフィルタ係数領域３１２と、畳み込み演算の処理結果を保持する出力データ領域３１３と、を有する。本実施形態において、入力データ領域３１１には、ＤＲＡＭ１０３に保持されている画像データから切り出された対象データと、対象データの畳み込み演算に必要なマージンデータのうちの一部のデータである参照データとが展開される。この対象データ及び参照データを入力データと呼ぶ。対象データは、ＤＲＡＭ１０３に保持されている画像データ（推論用画像データ）から切り出された分割データとするが、必ずしも分割データでなくてもよい。ＤＲＡＭ１０３に保持されている画像データは、例えばページサイズを１単位とする画像データとする。
【0032】
対象データは、１ページ分の画像データ推論用画像データが複数ブロックに分割された１ブロック分の画像データであり、分割サイズは任意である。例えば、１ページのデータをタイル状に縦横方向に分割してもよいし、縦あるいは横の片方向のみに短冊状に分割してもよい。以下の説明では、分割後の画像ブロックを対象データという。推論部１０４は、ＤＲＡＭ１０３に保持された画像データを複数の画像ブロックに分割してフィルタ３００のＳＲＡＭ３１０に展開することで、ＳＲＡＭ３１０の容量を削減できる。図３の例では、８画素×９画素分の画像ブロックがＳＲＡＭ３１０の入力データ領域３１１に展開されている。
【0033】
なお、分割サイズはＳＲＡＭ３１０の容量に応じて決定されることが好ましい。処理単位に応じて必要な量のデータがＤＲＡＭ１０３から読み込まれ、ＳＲＡＭ３１０に展開される。図３では８画素×９画素分の画像ブロックとしているが、実際にはより大きなサイズのデータが入力データ領域３１１に展開されることが多い。また本開示において、推論部１０４における処理単位は必ずしも分割された画像ブロックに限定されず、ＤＲＡＭ１０３に保持されたページ単位の画像データとしてもよい。
【0034】
ＳＲＡＭ３１０のフィルタ係数領域３１２には、フィルタ係数が保持される。フィルタ係数はＲＯＭ１０２から取得され、ＳＲＡＭ３１０に保持される。図３は、フィルタ係数のサイズ（以下、フィルタサイズ）が３×３の場合を示している。図３では１つのフィルタ係数が保持された例を示しているが、フィルタ係数領域３１２には、ＣＮＮを構成する複数のフィルタのそれぞれで使用される複数のフィルタ係数が保持される。畳み込み演算の実行中は、フィルタ係数領域３１２に保持されている複数のフィルタ係数の中から実行中の畳み込み演算に使用される１つのフィルタ係数が係数レジスタ３２２に設定される。なお、ＳＲＡＭ３１０内のフィルタ係数の保持の仕方はこの例に限定されず、１つのＳＲＡＭ３１０につき１つのフィルタ係数を保持してもよい。
【0035】
演算用レジスタ３２１には、まずＳＲＡＭ３１０の入力データ領域３１１に展開された入力データのうちフィルタサイズの演算範囲のデータが設定される。係数レジスタ３２２には、ＳＲＡＭ３１０のフィルタ係数領域３１２に保持されたフィルタ係数のうち畳み込み演算に使用される１つのフィルタ係数が設定される。畳み込み演算において、演算用レジスタ３２１に保持されたデータは、係数レジスタ３２２に保持された係数と乗算され、乗算結果の値に更新される。演算用レジスタ３２１に保持された全ての乗算結果の値の和が演算範囲の中心画素に集約され、畳み込み演算結果として出力される。この畳み込み演算結果（出力データ）は、ＳＲＡＭ３１０の出力データ領域３１３の該当する画素位置に保持される。このような演算処理が、演算範囲を所定のスライド方向にスライドしながら繰り返される。以上の処理を、演算データのフィルタ処理という。フィルタ処理については後述する。
【0036】
なお、図３に示すデータの保持の仕方は一例であり、その他の態様でデータが保持されてもよい。例えば図３では、演算範囲のデータ及び乗算結果のデータが同じ演算用レジスタ３２１に保持される例を説明したが、これに限定されず、演算範囲のデータ及び乗算結果のデータはそれぞれ別のレジスタに保持されてもよい。また、畳み込み演算の結果は入力データが保持されるＳＲＡＭ３１０と同じＳＲＡＭ３１０内の出力データ領域３１３に保持されるものとしたが、これに限定されず、入力データ領域３１１とは別のメモリ（ＳＲＡＭまたはＤＲＡＭ１０３等）に保持されてもよい。
【0037】
（データ処理過程）
図４は、推論部１０４の機能構成及びデータの処理過程を示すブロック図である。図４に示すように、推論部１０４は、取得部４１０、畳み込み演算部４３０、パディング部４４０、出力部４５０等を有する。取得部４１０はデータ分割部４１１を有する。これらの機能部は、例えば、ＣＰＵ１０１がＲＯＭ１０２に保持されたプログラムを実行することで実現される。
図４は、推論部１０４の機能構成及びデータの処理過程を示すブロック図である。図４に示すように、推論部１０４は、取得部４１０、畳み込み演算部４３０、パディング部４４０、出力部４５０等を有する。取得部４１０はデータ分割部４１１を有する。これらの機能部は、例えば、ＣＰＵ１０１がＲＯＭ１０２に保持されたプログラムを実行することで実現される。
【0038】
ＲＯＭ１０２には、予め、推論部１０４が取得する対象データの分割条件、参照データ取得条件、パディング条件、及びフィルタ係数が保持されている。分割条件は、図４に示す分割位置４０１及び分割サイズ４０２である。参照データ取得条件は、図４に示す参照データ位置４０３である。パディング条件は、図４に示すパディング方法４０５及びパディング位置４０６である。フィルタ係数４０４は、推論部１０４のすべての層で使用される複数のフィルタ係数を含み、外部の学習装置によって学習済みのフィルタ係数である。
【0039】
分割位置４０１は、元画像を画像ブロックに分割する際の元画像における画像ブロックの位置を示す情報である。画像データであれば、例えば元画像における座標で指定される。
分割サイズ４０２は、画像ブロックのサイズを示す情報である。画像データであれば、縦サイズ及び横サイズが指定される。分割サイズ４０２は任意であるが、推論部１０４が備えるメモリ（ＳＲＡＭ３１０）の容量に応じて決定されることが好ましい。また、分割サイズ４０２の最小サイズは、推論部１０４に構築されるＣＮＮの構造に依存して決定される。ＣＮＮの構造を決定する要因は、層のフィルタサイズ、段数、縮小及び拡大の回数等である。
分割サイズ４０２は、画像ブロックのサイズを示す情報である。画像データであれば、縦サイズ及び横サイズが指定される。分割サイズ４０２は任意であるが、推論部１０４が備えるメモリ（ＳＲＡＭ３１０）の容量に応じて決定されることが好ましい。また、分割サイズ４０２の最小サイズは、推論部１０４に構築されるＣＮＮの構造に依存して決定される。ＣＮＮの構造を決定する要因は、層のフィルタサイズ、段数、縮小及び拡大の回数等である。
【0040】
参照データ位置４０３は、取得部４１０が元画像のどの位置（画素）から参照データを取得するかを特定するための情報であり、対象データ４２１に対する位置とデータ取得範囲が定められる。具体的には、例えば、左右の１ライン、上下の１ライン、上下左右の１ラインのデータを１画素おきに、といった情報が設定されているものとする。
【0041】
パディング方法４０５は、演算データに不足するデータを埋める方法を指定する情報であり、例えば、固定値パディング、鏡像パディング、平均値パディング等のように設定されている。固定値パディングとは、「０」やその他の任意の実数値でパディングする方法である。鏡像パディングとは、画像ブロックの端部を境界線として線対称に、画像ブロック内のデータを反転配置する方法である。平均値パディングは、周囲の画素値の平均値でパディングする方法である。なお、パディング方法は、上述の例に限定されず他の方法でもよい。以下の説明において、パディング部４４０が付与するデータをパディングデータという。
【0042】
パディング位置４０６は、パディング部４４０がデータをパディングする位置を特定するための情報であり、例えば対象データ４２１に対する位置と範囲が定められる。本実施形態においては、対象データ４２１の畳み込み演算に必要なマージンデータのうちの一部のデータである参照データを除くデータがパディングされる。よってパディング位置４０６の情報は、対象データ４２１に対するマージンデータから参照データを除いたデータとなる。具体的には、例えばマージンデータが上下左右の１ラインの範囲である場合、参照データ位置４０３として「左右の１ライン」が設定されている場合には、パディング位置４０６の情報は「上下の１ライン」となる。また参照データ位置４０３として「上下の１ライン」が設定されている場合には、パディング位置４０６の情報は「左右の１ライン」となる。また参照データ位置４０３として「上下左右の１ラインのデータを１画素おきに（参照データ取得）」が設定されている場合には、パディング位置４０６の情報は「上下左右の１ラインのデータであって、参照データが配置されない画素」となる。
なお、分割条件、参照データ取得条件、及びパディング条件を示す上述の情報は一例であり、その他の内容としてもよい。また、ＲＯＭ１０２に保持された分割条件、参照データ取得条件、及びパディング条件をＣＰＵ１０１が読出して推論部１０４に設定する例を示しているが、この方法に限定されず、プログラムによって上記条件を満たすようにデータの取得及びパディングを行ってもよい。
なお、分割条件、参照データ取得条件、及びパディング条件を示す上述の情報は一例であり、その他の内容としてもよい。また、ＲＯＭ１０２に保持された分割条件、参照データ取得条件、及びパディング条件をＣＰＵ１０１が読出して推論部１０４に設定する例を示しているが、この方法に限定されず、プログラムによって上記条件を満たすようにデータの取得及びパディングを行ってもよい。
【0043】
ＤＲＡＭ１０３に保持されたページ単位の画像データ（元画像）は、取得部４１０によって推論部１０４内に読み込まれる。取得部４１０は、ＤＲＡＭ１０３に保持された画像データをデータ分割部４１１によって所定サイズの画像ブロックに分割して読み込むことが好ましい。画像ブロックの元の画像データにおける分割位置の情報、及び分割サイズの情報は、ＲＯＭ１０２に分割位置４０１及び分割サイズ４０２として予め設定されている。なお、図４では、推論部１０４がＤＲＡＭ１０３から画像データを読みこむ際に、画像データを分割することを想定した図としているが、これに限定されず、前処理により予め分割された画像ブロックのデータがＤＲＡＭ１０３に保持されていてもよい。また、その画像ブロックに参照データが付加された状態でＤＲＡＭ１０３に保持されていてもよい。
【0044】
図５は、推論用データ及び分割画像ブロックの周囲に存在するデータ群を説明する図である。図５に示す例では、推論用データである１ページ分の画像データが縦及び横にそれぞれ４分割され、計１６ブロックに分割される例を示している。以下の説明において、分割前の画像データを元画像５０１、分割後の１ブロック分の画像データを画像ブロック５０２、５０４という。
【0045】
取得部４１０は、データ分割部４１１により分割された画像ブロックを対象データ４２１として処理順に順次読み込み、ＳＲＡＭ３１０の入力データ領域３１１に展開する。このとき取得部４１０は、分割位置４０１の情報も取得する。これは、分割位置に応じて参照データの取得位置が変更される場合があるからである。本実施形態において、入力データ領域３１１には分割された１画像ブロック分の対象データ４２１が展開される。また、取得部４１０は取得した画像ブロック（対象データ４２１）の周囲に対象データ４２１とは別に存在する画素群から参照データ４２２を取得し、ＳＲＡＭ３１０の入力データ領域３１１に展開する。
【0046】
参照データ４２２とは、畳み込み演算部４３０が実行する畳み込み演算において所定サイズの演算結果データを得るために必要なマージンデータである。本実施形態では、マージンデータの一部が参照データ４２２として取得される（図１０参照）。取得部４１０は、ＲＯＭ１０２に設定されている参照データ位置４０３の情報と、取得した対象データ４２１の分割位置４０１及び分割サイズ４０２の情報に基づき、元画像のどの位置から参照データを取得するかを特定できる。取得部４１０は、取得した対象データ４２１の周囲に存在するデータ群、すなわちＤＲＡＭ１０３に保持されている元画像５０１から参照データ４２２を取得し、入力データ領域３１１に展開する。マージンデータのうち、参照データ４２２を除く他のデータについては、例えば、パディングによって埋める。
【0047】
畳み込み演算に必要なマージンデータのサイズは、推論部１０４に構築されたＣＮＮモデルの構造に依存して決定される。例えば、３×３フィルタであれば、対象データ４２１の周囲の上下左右の１ライン（１列または１行）ずつの範囲がマージンデータとして演算に使用される。５×５フィルタであれば、対象データ４２１の周囲の上下左右の２ライン（２列または２行）ずつの範囲がマージンデータとして演算に使用される。
【0048】
図５に示すように、画像ブロック５０２の周囲に位置するグレーで示す範囲のデータ群が畳み込み演算に必要なマージンデータ５０３である。画像ブロック５０２のマージンデータ５０３は、隣接する画像ブロックと重複（オーバーラップ）したデータである。本実施形態においては、ＳＲＡＭ容量の削減と演算結果の信頼性低下の抑制のために、取得部４１０は、マージンデータ５０３の一部、例えば、マージンデータ５０３のうち対象データの左右にあるデータのみを参照データ４２２としてＤＲＡＭ１０３から取得する。マージンデータ５０３のうち参照データ４２２を除くその他のデータについては、例えば、パディング部４４０が「０」等の固定値をパディングする。
【0049】
また、図５の画像ブロック５０４のように、元画像５０１の端部に位置する画像ブロック５０４のマージンデータは、隣接する画像ブロックと重複するデータ５０５だけでは不足する。その場合も、不足する部分５０６のデータについては、パディング部４４０がパディングすればよい。
【0050】
取得部４１０は、フィルタ係数４０４をＲＯＭ１０２から取得する。例えば、処理層がｎ段のフィルタで構成されている場合、取得部４１０はｎ段分のフィルタ係数を取得し、ＳＲＡＭ３１０のフィルタ係数領域３１２に保持する。
【0051】
畳み込み演算部４３０は、取得部４１０が取得した画像ブロック（対象データ４２１）及びその周囲の参照データ４２２を含むマージンデータを用いて畳み込み演算を実行する。以下の説明において、取得部４１０がＤＲＡＭ１０３から取得した対象データ４２１及び参照データ４２２を入力データ４２０と呼ぶ。この入力データ４２０は、ＳＲＡＭ３１０の入力データ領域３１１に展開される。入力データ４２０にパディングデータを含めたデータが畳み込み演算で処理される演算データとなる。
【0052】
畳み込み演算部４３０は、処理対象段のフィルタ係数をＳＲＡＭ３１０のフィルタ係数領域３１２から読出し、レジスタ３２０の係数レジスタ３２２に設定する。また畳み込み演算部４３０は、入力データ４２０及びパディングデータを含む演算データから所定の演算範囲のデータを演算用レジスタ３２１に設定し、係数レジスタ３２２に設定されているフィルタ係数との積和演算を実行する。畳み込み演算部４３０は、演算範囲をスライドさせながら演算データの全画素について演算を実行し、演算結果をＳＲＡＭ３１０の出力データ領域３１３に書き込む。畳み込み演算の詳細については後述する。
【0053】
畳み込み演算部４３０による畳み込み演算に必要な全てのマージンデータが入力データ領域３１１に展開されていない場合（取得部４１０が取得していない場合）、パディング部４４０は、不足するデータをパディングする。例えば、参照データ位置４０３として対象データ４２１の左右の１ラインのデータを取得する情報が設定されている場合、取得部４１０は、ＤＲＡＭ１０３から対象データ４２１の左右の１ラインのデータのみを参照データ４２２として取得する。パディング部４４０は、ＲＯＭ１０２に予め設定されているパディング方法４０５及びパディング位置４０６の情報に基づいてマージンデータのうち参照データ４２２を除く部分のデータをパディングする。
【0054】
また、図５の画像ブロック５０４のように、元画像マージンデータとなる画素が存在しない対象データ４２１については、取得部４１０はマージンデータの一部を取得できない。この場合も、パディング部４４０は、演算に不足するデータをパディングする。
【0055】
パディング部４４０は、上述したように、畳み込み演算部４３０が処理する演算データが不足する場合に、不足するデータ位置にパディングデータを付与する。本実施形態においては、主にＳＲＡＭ３１０の容量を削減することを目的として、ＤＲＡＭ１０３から取得可能なマージンデータについても、その一部は取得せずパディングする。即ち、マージンデータの一部についてはＤＲＡＭ１０３に保持された元画像の実データが参照され、その他の部分についてはパディングデータが付与される。このように演算データに含まれるマージンデータの一部実データを用いることで、ＣＮＮの演算結果の正確度の低下が抑制され、信頼性の低下が抑制される。またマージンデータの一部にパディングデータを用いることでＳＲＡＭ３１０に保持するデータ量が削減され、必要なＳＲＡＭ容量も削減される。よって本実施形態に示すプリンタ１００のように、ハードウェア資源に制約がある組込み機器であっても、ＣＮＮモデルを用いた推論を信頼性の低下を抑制しつつ実施可能となる。
【0056】
なお、上述したようなマージンデータを部分的に取得する層は、ＣＮＮを構成する全ての層としてもよいし、少なくとも１つの層としてもよい。また、全ての層においてそれぞれ少なくとも１つ含むようにしてもよい。例えば、ＣＮＮの入力層（エンコード部２０１）の最終層において、マージンデータを部分的に取得するように構成すると好適である。
【0057】
また、対象データ４２１が分割データである場合は、マージンデータにおける参照データの位置（パディング部４４０がパディングデータを付与する位置）は、対象データ４２１（画像ブロック）の位置ごとに変更されることが好ましい。具体的には、画像ブロック間でパディング位置に周期性が表れないように、例えばランダムにパディング位置が設定されることが好ましい。これにより、畳み込み演算の結果得られる出力画像に信頼性が低下する部分が周期的に表れ、目立ってしまう現象を防ぐことができる。
【0058】
出力部４５０は、畳み込み演算部４３０による演算結果をＳＲＡＭ３１０の出力データ領域３１３に保持する。出力部４５０は、全てのフィルタ処理の結果から特徴量ベクトル４６０を決定し、推論部１０４の推論結果として出力する。
【0059】
（推論）
次に、推論の流れを説明する。図６は、本実施形態における推論の流れを示すフローチャートである。本フローチャートに示す処理は、ＲＯＭ１０２に保持されたプログラムに記述される。プログラムはＣＰＵ１０１により呼び出され、ＲＡＭ１０３のワークエリアに展開され、ＣＰＵ１０１によって実行される。データ転送Ｉ／Ｆ１０５を介して処理対象とする元画像がＤＲＡＭ１０３に転送されると、ＣＰＵ１０１は図６に示す処理を開始する。以下の説明において記号「Ｓ」はステップを意味する。
次に、推論の流れを説明する。図６は、本実施形態における推論の流れを示すフローチャートである。本フローチャートに示す処理は、ＲＯＭ１０２に保持されたプログラムに記述される。プログラムはＣＰＵ１０１により呼び出され、ＲＡＭ１０３のワークエリアに展開され、ＣＰＵ１０１によって実行される。データ転送Ｉ／Ｆ１０５を介して処理対象とする元画像がＤＲＡＭ１０３に転送されると、ＣＰＵ１０１は図６に示す処理を開始する。以下の説明において記号「Ｓ」はステップを意味する。
【0060】
Ｓ６０１において、取得部４１０はＲＯＭ１０２にあらかじめ保持されている分割条件、参照データ取得条件に従ってＤＲＡＭ１０３から入力データ４２０を取得する。分割条件は、分割位置４０１、分割サイズ４０２である。参照データ取得条件は、参照データ位置４０３である。パディング条件は、パディング方法４０５、パディング位置４０６である。上述したように、入力データ４２０は、１画像ブロック分の対象データ４２１と、当該対象データ４２１の畳み込み演算に必要なマージンデータの一部である参照データ４２２とを含む。また、取得部４１０はＲＯＭ１０２にあらかじめ保持されているフィルタ係数を取得する。フィルタ３００で処理される段が複数ある場合は、複数のフィルタ係数を取得する。取得部４１０は、受け取った１または複数のフィルタ係数をＳＲＡＭ３１０のフィルタ係数領域３１２に展開する。
【0061】
Ｓ６０２において取得部４１０は、取得した入力データ４２０をフィルタ３００のＳＲＡＭ３１０の入力データ領域３１１に展開する。
【0062】
Ｓ６０３において取得部４１０は、ＳＲＡＭ３１０に展開された１または複数のフィルタ係数のうち、対象段のフィルタ係数を係数レジスタ３２２に設定する。まず第１段フィルタのフィルタ係数が係数レジスタ３２２に設定される。
【0063】
Ｓ６０４において畳み込み演算部４３０は、係数レジスタ３２２に設定されたフィルタ係数を用いて入力データ領域３１１に展開された入力データ４２０に対する畳み込み演算を実行する。畳み込み演算の詳細については後述する（図８）。
【0064】
Ｓ６０５において推論部１０４は、次の段の処理が残っているかを判断する。次の段の処理が残っている場合はＳ６０３に戻り、次に第２段フィルタのフィルタ係数をＳＲＡＭ３１０から取得して係数レジスタ３２２に設定し、入力データ領域３１１に展開された入力データ４２０に対して第２段フィルタの畳み込み演算を実行する。このように、第１段フィルタから第ｎ段フィルタまでの全ての畳み込み演算を実行し、Ｓ６０５において次の段が残っていないと判断された場合は、本フローチャートの処理を終了する。
【0065】
（マージンデータの取得例；比較例）
次に、マージンデータの取得方法について説明する。まず、本実施形態との比較例となるマージンデータの取得方法について説明する。図７は比較例としてのデータ取得方法を示す図である。図７では、全てのマージンデータがＤＲＡＭ１０３の元画像５０１から取得された例を示している。
次に、マージンデータの取得方法について説明する。まず、本実施形態との比較例となるマージンデータの取得方法について説明する。図７は比較例としてのデータ取得方法を示す図である。図７では、全てのマージンデータがＤＲＡＭ１０３の元画像５０１から取得された例を示している。
【0066】
図７において、ＳＲＡＭ３１０内の入力データ領域７０１の実線で示す領域７０２は、取得部４１０がＤＲＡＭ１０３に保持される元画像から取得した対象データ４２１（分割後の画像ブロック）が展開された領域である。また実線で示す領域７０２の周囲に存在する破線で示す範囲７０３は、畳み込み演算に必要なマージンデータの範囲を意味する。図７に示す例では、対象データ４２１の外周１ラインの範囲全てがマージンデータ（図中グレーで示すデータ）としてＤＲＡＭ１０３の元画像から取得されＳＲＡＭ３１０に保持される。
【0067】
このように対象データ４２１のマージンデータを全て実データで構成する場合は、ＳＲＡＭ３１０の使用量は、対象データ４２１のみならず全てのマージンデータを含む量となる。よって多くの容量が必要となる。その代わりに、実データが演算に用いられることになるため、推論の結果得られる特徴量ベクトルの確度は高くなる。図７の例では、マージンデータの範囲は上下左右１ラインずつであるが、これは畳み込み演算に使用するフィルタサイズが３×３だからである。フィルタサイズが大きくなれば必要なマージンデータの範囲７０３も大きくなる。フィルタサイズが５×５サイズの場合は、マージンデータの範囲７０３は上下左右２ラインずつである。
【0068】
（畳み込み演算処理；比較例）
畳み込み演算処理の詳細について図８及び図９を参照して説明する。図８は、図７の場合における畳み込み演算処理の流れを説明するフローチャートである。本フローチャートに示す処理は、図６のＳ６０４において実行される。図８に示すフローチャートを開始する前に、図６のＳ６０１～Ｓ６０３の処理により、図７に示すようにＳＲＡＭ３１０に入力データ４２０が展開され、フィルタ係数が係数レジスタ３２２に設定されているものとする。図９は、図７に示すように全てのマージンデータを元画像から取得する場合の畳み込み演算の例を説明する図である。
畳み込み演算処理の詳細について図８及び図９を参照して説明する。図８は、図７の場合における畳み込み演算処理の流れを説明するフローチャートである。本フローチャートに示す処理は、図６のＳ６０４において実行される。図８に示すフローチャートを開始する前に、図６のＳ６０１～Ｓ６０３の処理により、図７に示すようにＳＲＡＭ３１０に入力データ４２０が展開され、フィルタ係数が係数レジスタ３２２に設定されているものとする。図９は、図７に示すように全てのマージンデータを元画像から取得する場合の畳み込み演算の例を説明する図である。
【0069】
Ｓ８０１において畳み込み演算部４３０は、ＳＲＡＭ３１０に展開されている入力データから演算範囲のデータを１範囲ずつ取得し、演算用レジスタ３２１に設定する。演算範囲のデータは、フィルタ係数の要素数（３×３）分のデータである。例えば図９（ａ）に示すように、出力画像（出力データ領域３１３）の画素Ｄ１の値を得るためには、ＳＲＡＭ３１０の入力データ領域７０１に展開されたデータのうち、図中グレーで示される演算範囲９００のデータが必要である。図９（ａ）の演算範囲９００は、о１、о２、о３、о５、ｄ１、ｄ２、о６、ｄ４、ｄ５の９画素を含む。この演算範囲９００のうち、ｄ１、ｄ２、ｄ４、ｄ５のデータはＤＲＡＭ１０３から読み込まれた画像ブロック（対象データ４２１）のデータであり、ｏ１～ｏ６のデータはマージンデータ（参照データ４２２）としてＤＲＡＭ１０３から読み込まれた実データである。
【0070】
Ｓ８０２において畳み込み演算部４３０は、取得した演算範囲９００のデータとフィルタ係数との積和演算を実行する。畳み込み演算部４３０は、演算範囲９００の各画素о１、о２、о３、о５、ｄ１、ｄ２、о６、ｄ４、ｄ５の値とフィルタの対応する要素ｃ１～ｃ９の値とを乗算し、乗算結果を演算用レジスタ３２１の各画素ｒ１～ｒ９に書き込む。その後、畳み込み演算部４３０は、演算用レジスタ３２１に保持されたフィルタ要素数分の乗算結果ｒ１～ｒ９を集めて加算し、その結果を画素ｒ５に集約する。
【0071】
演算範囲９００における画素ｒ５は、出力データ領域３１３（出力画像）の画素Ｄ１に対応する。よって画素D１の値は、
Ｄ１＝ｏ１×ｃ１＋ｏ２×ｃ２＋ｏ３×ｃ３
＋ｏ５×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋ｏ６×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
により決定される。
Ｄ１＝ｏ１×ｃ１＋ｏ２×ｃ２＋ｏ３×ｃ３
＋ｏ５×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋ｏ６×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
により決定される。
【0072】
Ｓ８０３において畳み込み演算部４３０は、積和演算の結果の値を、ＳＲＡＭ３１０の出力データ領域３１３の該当する画素位置に格納する。図９（ａ）の例であれば、出力データ領域３１３の画素Ｄ１に、積和演算の結果の値が保持される。
【0073】
Ｓ８０４において畳み込み演算部４３０は、ＳＲＡＭ３１０の入力データ領域３１１に保持されている対象データ４２１及びそのマージンデータを含む演算データを全て処理したかを判断する。未処理の演算データがある場合は、Ｓ８０１へ戻り、畳み込み演算部４３０は次の演算範囲について積和演算を実行する。具体的には図９（ｂ）に示すように、畳み込み演算部４３０は演算範囲９００を１ライン分横にスライドする。即ち、ＳＲＡＭ３１０から取得済みの演算データのうち、о１、о５、о６の値を捨て、代わりにо４、ｄ３、ｄ６の値を演算用レジスタ３２１に取り込み、上述の積和演算を実行する。
【0074】
出力データ領域３１３（出力画像）の画素Ｄ２の値は、
Ｄ２＝ｏ２×ｃ１＋ｏ３×ｃ２＋ｏ４×ｃ３
＋ｄ１×ｃ４＋ｄ２×ｃ５＋ｄ３×ｃ６
＋ｄ４×ｃ７＋ｄ５×ｃ８＋ｄ６×ｃ９
により決定される。決定された値は出力データ領域３１３の画素Ｄ２に書き込まれる。
Ｄ２＝ｏ２×ｃ１＋ｏ３×ｃ２＋ｏ４×ｃ３
＋ｄ１×ｃ４＋ｄ２×ｃ５＋ｄ３×ｃ６
＋ｄ４×ｃ７＋ｄ５×ｃ８＋ｄ６×ｃ９
により決定される。決定された値は出力データ領域３１３の画素Ｄ２に書き込まれる。
【0075】
このように畳み込み演算部４３０は、演算範囲を順にスライドしながらフィルタ係数との積和演算を繰り返し実行し、ＳＲＡＭ３１０に保持されている対象データ４２１とそのマージンデータを含む演算データを全て処理すると、本フローチャートの処理を終了する。図８の処理を終了すると、対象段のフィルタ処理後の演算結果データがＳＲＡＭ３１０の出力データ領域３１３に保持される。
【0076】
なお、図７～図９の例では、３×３のフィルタ係数による畳み込み演算が行われるため、演算範囲９００は３×３の範囲である。畳み込み演算の結果は、以下の式（１）に示すように演算範囲の中央の画素に集約される。式（１）において、ｊは出力画像Ｄの画素位置を示す番号であり、ｃｉはフィルタ係数の各要素の値であり、ｄｉは、演算範囲に含まれる演算データの値である。ｉは、フィルタ係数または演算範囲内の画素位置を示す識別子である。式（１）の演算結果Ｄｊは、演算範囲９００の中心に位置する画素の値となる。
【0077】
【数1】
【0078】
上述したように、畳み込み演算では、フィルタサイズに応じた範囲のマージンデータが必要となる。そしてフィルタの段数に応じて、より大きな範囲のマージンデータが必要となる。換言すると、ある所定のサイズの出力画像を最終的に得るために必要なマージンデータの範囲は、少なくともフィルタサイズ及びフィルタ段数（畳み込み層の数）を含むＣＮＮの構造によって決定される。
【0079】
（本実施形態に係るマージンデータの取得方法と畳み込み演算処理）
次に、図１０～図１２を参照して本実施形態におけるマージンデータの取得方法と畳み込み演算処理について説明する。図１０は、本実施形態に係る周辺のデータ取得方法を示す図である。図１１は、図１０の場合における畳み込み演算処理の流れを説明するフローチャートである。図１２は、図１０の場合における畳み込み演算の計算手順を説明する図である。
次に、図１０～図１２を参照して本実施形態におけるマージンデータの取得方法と畳み込み演算処理について説明する。図１０は、本実施形態に係る周辺のデータ取得方法を示す図である。図１１は、図１０の場合における畳み込み演算処理の流れを説明するフローチャートである。図１２は、図１０の場合における畳み込み演算の計算手順を説明する図である。
【0080】
図１０において、ＳＲＡＭ３１０内の入力データ領域１００１の実線で示す領域１００２は、取得部４１０がＤＲＡＭ１０３に保持される元画像から取得した対象データ４２１（分割画像ブロック）が展開された領域である。また領域１００２の左右に存在する破線で示す領域１００３、１００４（図中グレーで示す領域）は、参照データ４２２が保持される領域を意味する。即ち、図１０に示す例では、畳み込み演算に必要なマージンデータのうち、対象データ４２１の左右の領域のデータのみが参照データ４２２としてＤＲＡＭ１０３から取り込まれてＳＲＡＭ３１０に展開される。対象データ４２１の上下の領域のデータは取り込まれない。或いは、取り込んだ後に削除される。このように本実施形態の推論部１０４は、畳み込み演算に必要なマージンデータを部分的にＤＲＡＭ１０３から取得し、ＳＲＡＭ３１０に展開する。図１０の場合は図７の場合と比較して、上下１ラインずつＳＲＡＭ３１０の使用量が削減される。
【0081】
３×３の１段フィルタの場合、畳み込み演算に必要なマージンデータは上下左右１ラインずつであるが、図１０に示す本実施形態のデータ取得方法によれば、上下１ラインずつのマージンデータはＳＲＡＭ３１０に展開されない。その場合に不足するマージンデータはパディングにより補間される。フィルタサイズが大きくなれば必要なマージンデータの幅（範囲）も大きくなり、更に多段に構成する場合には、更に大きな幅のマージンデータが必要となる。よって、フィルタサイズ及び層数が増大すると、より大きなメモリ削減効果が発揮される。
【0082】
図１０に示す方法で取得されたデータを用いた畳み込み演算処理について、図１１及び図１２を参照して具体的に説明する。本フローチャートに示す処理は、図６のＳ６０４において実行される。図１１に示すフローチャートを開始する前に図６のＳ６０１～Ｓ６０３の処理により、ＳＲＡＭ３１０には図１０に示すように入力データが保持され、フィルタ係数が係数レジスタ３２２に設定されているものとする。入力データは、分割された画像ブロック（対象データ４２１）と、その左右の領域の参照データ４２２が取り込まれている。なお、図１０では、画素を識別する識別子ｄ１～ｄ９、ｏ５～ｏ７が一部の画素のみに示されているが、これは図１２で演算範囲を説明するためである。実際には入力データ領域１００１の全ての画素にデータが取り込まれている。
【0083】
Ｓ１１０１において畳み込み演算部４３０は、ＳＲＡＭ３１０に展開されている入力データから演算範囲のデータを１範囲ずつ取得し、演算用レジスタ３２１に設定する。演算範囲のデータは、フィルタ係数の要素数（３×３）分のデータである。例えば図１２（ａ）に示すように、出力画像（出力データ領域３１３）の画素Ｄ１の値を得るためには、ＳＲＡＭ３１０の入力データ領域１００１に展開された演算データのうち、図１２中グレーで示される演算範囲１２００のデータが必要である。しかし図１０に示す方法でデータが取り込まれた場合は、演算範囲１２００のうちо５、ｄ１、ｄ２、о６、ｄ４、ｄ５のデータはＳＲＡＭ３１０に保持され、о５、ｄ１、ｄ２の上の３画素分のデータはＳＲＡＭ３１０に保持されていない。なお、演算範囲１２００のうち、ｄ１、ｄ２、ｄ４、ｄ５のデータはＤＲＡＭ１０３から読み込まれた画像ブロックのデータであり、ｏ５、ｏ６のデータは参照データ４２２としてＤＲＡＭ１０３から読み込まれた実データである。
【0084】
Ｓ１１０２においてパディング部４４０は、データが不足しているо５、ｄ１、ｄ２の上の３画素について、パディングデータを演算用レジスタ３２１に付与する。このようにパディング部４４０は、積和演算の前に演算用レジスタ３２１の該当する画素位置に直接パディングデータを書き込む。または、パディング部４４０は、積和演算の後に演算用レジスタ３２１の該当する画素位置に直接パディングデータを書き込んでもよい。パディングデータは、パディング方法４０５によって設定されている値とする。例えば「０」のような任意の固定値、画像ブロック内のデータの鏡像データ、該当する画素の周囲の実データの平均値等とすればよい。
【0085】
パディングデータは、ＳＲＡＭ３１０に展開せず、演算用レジスタ３２１に直接を書き込むようにすれば、レジスタ３２０内の処理だけでパディング処理を終えることができる。図１２（ａ）に示す例では、演算範囲１２００のうちо５、ｄ１、ｄ２の上に位置する３画素分のデータが不足しているため、パディング部４４０は演算用レジスタ３２１の対応する位置ｒ１、ｒ２、ｒ３にパディングデータＰｄを直接書き込む。
【0086】
Ｓ１１０３において畳み込み演算部４３０は、Ｓ１１０１で取得した演算範囲１２００のデータとフィルタ係数との積和演算を実行する。即ち、畳み込み演算部４３０は、演算範囲１２００の各画素о５、ｄ１、ｄ２、о６、ｄ４、ｄ５の値とフィルタの対応する要素ｃ４～ｃ９の値とを乗算し、演算用レジスタ３２１のｒ４～ｒ９に書き込む。その後、畳み込み演算部４３０は、レジスタｒ１～ｒ９に保持されたフィルタ要素数分の乗算結果及びパディングデータを集めて加算し、その結果を画素Ｄ１の値として決定する。
【0087】
出力画像のＤ１の値は、
Ｄ１＝Ｐｄ＋Ｐｄ＋Ｐｄ
＋ｏ５×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋ｏ６×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
と計算される。Ｄ１の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ２、ｒ３に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
Ｄ１＝Ｐｄ＋Ｐｄ＋Ｐｄ
＋ｏ５×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋ｏ６×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
と計算される。Ｄ１の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ２、ｒ３に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
【0088】
Ｄ１＝Ｐｄ×ｃ１＋Ｐｄ×ｃ２＋Ｐｄ×ｃ３
＋ｏ５×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋ｏ６×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
＋ｏ５×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋ｏ６×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
【0089】
Ｓ１１０４において畳み込み演算部４３０は、積和演算の結果を、ＳＲＡＭ３１０の出力データ領域３１３の該当する画素位置に保持する。図１２（ａ）の例であれば、出力データ領域３１３の画素Ｄ１に、積和演算の結果の値が保持される。
【0090】
Ｓ１１０５において畳み込み演算部４３０は、ＳＲＡＭ３１０の入力データ領域３１１に保持されている演算データを全て処理したかを判断する。演算データに未処理のデータがある場合は、Ｓ１１０１へ戻り、畳み込み演算部４３０は次の演算範囲について積和演算を実行する。具体的には図１２（ｂ）に示すように、演算範囲１２００を１ライン分横に移動する。即ち、ＳＲＡＭ３１０から取得済みの演算データのうち、о５、о６の値を捨て、代わりにｄ３、ｄ６の値を演算用レジスタ３２１に取り込み、上述の積和演算を実行する。
【0091】
演算範囲１２００のうちｄ１、ｄ２、ｄ３の上の３画素分のデータが不足しているため、演算用レジスタ３２１の対応する位置ｒ１、ｒ２、ｒ３にパディングデータＰｄを付与する。
【0092】
出力画像の画素Ｄ２の値は、
Ｄ２＝Ｐｄ＋Ｐｄ＋Ｐｄ
＋ｄ１×ｃ４＋ｄ２×ｃ５＋ｄ３×ｃ６
＋ｄ４×ｃ７＋ｄ５×ｃ８＋ｄ６×ｃ９
の計算により決定される。画素Ｄ２の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ２、ｒ３に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
Ｄ２＝Ｐｄ＋Ｐｄ＋Ｐｄ
＋ｄ１×ｃ４＋ｄ２×ｃ５＋ｄ３×ｃ６
＋ｄ４×ｃ７＋ｄ５×ｃ８＋ｄ６×ｃ９
の計算により決定される。画素Ｄ２の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ２、ｒ３に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
【0093】
Ｄ１＝Ｐｄ×ｃ１＋Ｐｄ×ｃ２＋Ｐｄ×ｃ３
＋ｄ１×ｃ４＋ｄ２×ｃ５＋ｄ３×ｃ６
＋ｄ４×ｃ７＋ｄ５×ｃ８＋ｄ６×ｃ９
＋ｄ１×ｃ４＋ｄ２×ｃ５＋ｄ３×ｃ６
＋ｄ４×ｃ７＋ｄ５×ｃ８＋ｄ６×ｃ９
【0094】
このように畳み込み演算部４３０は、演算範囲をスライドし、かつ、不足するデータをパディングしながら、畳み込み演算を繰り返す。ＳＲＡＭ３１０に保持されている対象データ４２１及びマージンデータを含む演算データを全て処理すると、本フローチャートの処理を終了する。図１１の処理を終了した段階で、対象段のフィルタ処理後の出力画像がＳＲＡＭ３１０の出力データ領域３１３に保持される。
【0095】
本実施形態に示すように、マージンデータの削減部分を画像ブロックの上下のラインとする場合は、演算範囲のスライド方向を左右方向とするとより好適である。同様に、マージンデータの削減部分を画像ブロックの左右のラインとする場合は、演算範囲のスライド方向を上下方向とするとより好適である。すなわち、対象データに対し、畳み込み演算の演算範囲のスライド方向と同一方向に存在するデータ群から参照データを取得することが好適である。なぜなら、データが不足する画素位置が、演算範囲の移動前後で同一であるため、パディングを実施する回数を削減できるからである。ただし、対象データに対し、畳み込み演算の演算範囲のスライド方向と直交する方向に存在するデータ群から参照データを取得することを妨げるものではない。即ち、マージンデータの削減部分を画像ブロックの上下のラインとする場合に、演算範囲のスライド方向を上下方向としても構わない。また、マージンデータの削減部分を画像ブロックの左右のラインとする場合に、演算範囲のスライド方向を左右方向としても構わない。
【0096】
また、ＤＲＡＭ１０３のデータの並び方向が左右方向である場合に、マージンデータの削減部分を画像ブロックの上下のラインとすると好適である。なぜなら、取得部４１０がＤＲＡＭ１０３からデータを読み込む際に、ＤＲＡＭ１０３へのアクセス頻度を低減できるからである。ただし、ＤＲＡＭ１０３のデータの並び方向は上下方向であっても構わない。取得部４１０がＤＲＡＭ１０３からデータを読み込む際のＤＲＡＭ１０３へのアクセス頻度について、以下説明する。
【0097】
図１３は、ＤＲＡＭ１０３からＳＲＡＭ３１０にデータを取り込む際のＤＲＡＭへのアクセス方法について説明する図である。ＤＲＡＭ１０３に保持されている画像データが示されている。取得部４１０は、太線枠で示す横１０×縦１１の画像ブロックをＤＲＡＭ１０３から取得し、ＳＲＡＭ３１０に転送するものとする。ＤＲＡＭ１０３内の画像の並びは左から右に続いているものとする。取得部４１０は、ＤＲＡＭ１０３からＳＲＡＭ３１０へデータを転送する際、枠内に示す矢印１本分ずつデータを転送する。図１３（ａ）の例では、１１回ＤＲＡＭ１０３にアクセスし、データを転送する。
【0098】
一方、本実施形態のように上下のマージンデータが削減される場合は、図１３（ｂ）に示すように横１０×縦９の画像ブロックがＤＲＡＭ１０３から転送される。よって太線枠に示すように、上下２回分ＤＲＡＭ１０３へのアクセス回数が減り、９回のアクセスとなる。図１３（ａ）の場合と比較してアクセス回数が減少する。このように、ＤＲＡＭ１０３上のデータ並びとパディングの位置（マージンデータを削減する位置）との関係によって、ＤＲＡＭ１０３のアクセス頻度を低下できる。
【0099】
なお、ＤＲＡＭ１０３は特性上、データ並び毎にまとまった量がリードされるように作られている。図１３の例では、１アクセスごとに連続１０画素のデータがリードされる。従って、仮に左右のマージンデータが削減される場合は、連続８画素のリードを行えば十分であるが、ＤＲＡＭ１０３からは１０画素分がリードされる仕組みとなっている。よってＤＲＡＭ１０３へのデータアクセス回数はマージンデータを全て取得する場合と変わらず、１１回（図１３（ａ）の矢印１１本分）となる。この場合、リードした余分のデータは取得後削除すればよい。
【0100】
以上説明したように、本実施形態のプリンタ１００の推論部１０４は、畳み込み演算に必要なマージンデータの一部のデータを参照データとして元画像から取り込み、マージンデータのうち参照データを除く他のデータをパディングによって補間する。このため、マージンデータを全て取り込む場合と比較してフィルタ処理に必要なメモリ容量を削減できる。またマージンデータを全てパディングする場合と比較して、実データを演算に使用できるため、フィルタ処理の結果得られる特徴量ベクトルの確度低下を抑制できる。従って、演算結果の信頼性の低下を抑制しつつ、ＣＮＮの畳み込み演算に必要な記憶容量を削減することが可能となる。
【0101】
なお、上述の例では、対象データのマージンデータのうち、上下領域を取得せず、左右領域を参照データとして取得する例を示したが、本開示はこの例に限定されない。上または下のいずれかのラインのみ、或いは左または右のいずれかのラインのみ、マージンデータを削減してもよい。また、畳み込み演算に必要なマージンデータ全体の量に対する参照データの割合は任意である。以下、第１の実施形態の変形例について説明する。
【0102】
＜変形例１＞
図１４は、本実施形態の変形例１に係るデータ取得方法を示す図である。図１４に示す例では、ＤＲＡＭ１０３からＳＲＡＭ３１０に取り込むマージンデータが図７の場合と比較して削減されている。図１０に示す第１の実施形態と異なる点は、畳み込み演算に必要なマージンデータのうち上下１ラインずつ参照データを取得し、左右のマージンデータを取得しない点である。図１４のグレーで示す領域１４０３、１４０４が、ＤＲＡＭ１０３から取り込まれる参照データが保持される領域を示している。
図１４は、本実施形態の変形例１に係るデータ取得方法を示す図である。図１４に示す例では、ＤＲＡＭ１０３からＳＲＡＭ３１０に取り込むマージンデータが図７の場合と比較して削減されている。図１０に示す第１の実施形態と異なる点は、畳み込み演算に必要なマージンデータのうち上下１ラインずつ参照データを取得し、左右のマージンデータを取得しない点である。図１４のグレーで示す領域１４０３、１４０４が、ＤＲＡＭ１０３から取り込まれる参照データが保持される領域を示している。
【0103】
図１４において、ＳＲＡＭ３１０内の入力データ領域１４０１の実線で示す領域１４０２は、ＤＲＡＭ１０３から取得した画像ブロック（対象データ４２１）が展開された領域である。また実線で示す領域１４０２の上下に存在する破線で示す領域１４０３、１４０４は、ＤＲＡＭ１０３から取り込まれた参照データ４２２が保持される領域を意味する。図１４に示す例では、畳み込み演算に必要なマージンデータのうち、画像ブロックの上下の領域のデータのみがＤＲＡＭ１０３から取り込まれてＳＲＡＭ３１０に展開される。左右の領域のデータは取り込まれない。或いは、取り込まれた後に削除される。図１４に示す例でも、畳み込み演算に必要なマージンデータが部分的にＤＲＡＭ１０３から取得され、ＳＲＡＭ３１０に展開されるため、図７と比較して、ＳＲＡＭ３１０の使用量が削減される。
【0104】
図１４の場合も、畳み込み演算に必要なマージンデータのうち不足するデータについてはパディング部４４０がパディングする。パディング部４４０は、演算用レジスタ３２１の該当するデータ領域に直接パディングデータを書き込んでもよい。パディングデータは、上述したように、例えば「０」のような任意の固定値、画像ブロック内のデータの鏡像データ、該当する画素の周囲のデータの平均値等とすればよい。畳み込み演算の処理手順については、上述の実施形態と同様である。
【0105】
図１４に示すように、左右のデータをパディングする場合には、演算範囲のスライド方向を縦方向とすると好適である。また、ＤＲＡＭ１０３へのアクセス頻度の効率化の観点からは、ＤＲＡＭ１０３上のデータ並びが縦方向である場合に好適である。
【0106】
図１５は、図１４に示す方法でＳＲＡＭ１０２に取り込まれた演算データを用いた畳み込み演算の計算手順を説明する図である。演算範囲１５００のスライド方向を縦方向とする場合についての例を示している。図１５（ａ）に示すように、出力データ領域３１３（出力画像）における画素Ｄ１の値を得るためには、ＳＲＡＭ３１０の入力データ領域１４０１に展開された入力データのうち、図中グレーで示される演算範囲１５００のデータが必要である。演算範囲１５００のうちｏ２、ｏ３、ｄ１、ｄ２、ｄ４、ｄ５のデータはＳＲＡＭ３１０に保持されているが、о２、ｄ１、ｄ４の左の３画素分のデータはＳＲＡＭ３１０に保持されていない。なお、演算範囲１５００のうち、ｄ１、ｄ２、ｄ４、ｄ５のデータはＤＲＡＭ１０３から読み込まれた画像ブロックのデータであり、ｏ２、ｏ３のデータは参照データとしてＤＲＡＭ１０３から読み込まれたデータである。
【0107】
パディング部４４０は、データが不足している画素位置にパディングデータを付与する。パディング部４４０は、演算用レジスタ３２１の該当するデータ領域に直接パディングデータを書き込んでもよい。パディングデータは、上述したように、例えば「０」のような任意の固定値、画像ブロック内のデータの鏡像データ、該当する画素の周囲のデータの平均値等とすればよい。図１５（ａ）に示す例では、演算範囲１５００のうちо２、ｄ１、ｄ４の左に位置する３画素分のデータが不足しているため、パディング部４４０は演算用レジスタ３２１の対応する位置ｒ１、ｒ４、ｒ７にパディングデータＰｄを直接書き込む。
【0108】
畳み込み演算部４３０は、演算範囲１５００のデータとフィルタ係数との積和演算を実行する。即ち、畳み込み演算部４３０は、演算範囲１５００の各画素о２、ｏ３、ｄ１、ｄ２、ｄ４、ｄ５の値とフィルタの対応する要素ｃ２、ｃ３、ｃ５、ｃ６、ｃ８、ｃ９の値とを乗算し、演算用レジスタ３２１のｒ２、ｒ３、ｒ５、ｒ６、ｒ８、ｒ９に書き込む。その後、畳み込み演算部４３０は、レジスタｒ１～ｒ９に保持されたフィルタ要素数分の乗算結果及びパディングデータを集めて加算し、その結果を画素Ｄ１の値として決定する。
【0109】
出力画像のＤ１の値は、
Ｄ１＝Ｐｄ＋ｏ２×ｃ２＋ｏ３×ｃ３
＋Ｐｄ＋ｄ１×ｃ５＋ｄ２×ｃ６
＋Ｐｄ＋ｄ４×ｃ８＋ｄ５×ｃ９
と計算される。Ｄ１の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ４、ｒ７に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
Ｄ１＝Ｐｄ＋ｏ２×ｃ２＋ｏ３×ｃ３
＋Ｐｄ＋ｄ１×ｃ５＋ｄ２×ｃ６
＋Ｐｄ＋ｄ４×ｃ８＋ｄ５×ｃ９
と計算される。Ｄ１の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ４、ｒ７に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
【0110】
Ｄ１＝Ｐｄ×ｃ１＋ｏ２×ｃ２＋ｏ３×ｃ３
＋Ｐｄ×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋Ｐｄ×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
＋Ｐｄ×ｃ４＋ｄ１×ｃ５＋ｄ２×ｃ６
＋Ｐｄ×ｃ７＋ｄ４×ｃ８＋ｄ５×ｃ９
【0111】
次に図１５（ｂ）に示すように、畳み込み演算部４３０は、演算範囲１５００を１ライン分下（縦方向）にスライドする。即ち、ＳＲＡＭ３１０から取得済みの演算データのうち、о２、о３の値を捨て、代わりにｄ７、ｄ８の値を取り込む。演算範囲１５００のうちｄ１、ｄ４、ｄ７の左に位置する３画素分のデータが不足しているため、レジスタの対応する位置ｒ１、ｒ４、ｒ７にパディングデータＰｄを付与する。なお、このパディングデータは既に書き込まれている。この場合、パディングデータＰｄの再書き込みは不要である。
【0112】
畳み込み演算部４３０は、取得した演算範囲１５００のデータとフィルタ係数との積和演算を実行し、画素Ｄ４の値を決定する。
【0113】
出力画像のＤ４の値は、
Ｄ４＝Ｐｄ＋ｄ１×ｃ２＋ｄ２×ｃ３
＋Ｐｄ＋ｄ４×ｃ５＋ｄ５×ｃ６
＋Ｐｄ＋ｄ７×ｃ８＋ｄ８×ｃ９
と計算される。Ｄ１の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ４、ｒ７に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
Ｄ４＝Ｐｄ＋ｄ１×ｃ２＋ｄ２×ｃ３
＋Ｐｄ＋ｄ４×ｃ５＋ｄ５×ｃ６
＋Ｐｄ＋ｄ７×ｃ８＋ｄ８×ｃ９
と計算される。Ｄ１の値は出力データ領域３１３に書き込まれる。なお、この計算例は、パディングデータＰｄが積和演算後の値として演算用レジスタ３２１のｒ１、ｒ４、ｒ７に書き込まれた場合を示している。積和演算前にパディングデータが付与される場合には、出力画像のＤ１の値は、以下のように計算される。
【0114】
Ｄ４＝Ｐｄ×ｃ１＋ｄ１×ｃ２＋ｄ２×ｃ３
＋Ｐｄ×ｃ４＋ｄ４×ｃ５＋ｄ５×ｃ６
＋Ｐｄ×ｃ７＋ｄ７×ｃ８＋ｄ８×ｃ９
＋Ｐｄ×ｃ４＋ｄ４×ｃ５＋ｄ５×ｃ６
＋Ｐｄ×ｃ７＋ｄ７×ｃ８＋ｄ８×ｃ９
【0115】
変形例１に示すように、マージンデータの削減部分を画像ブロックの左右の領域とする場合は、演算範囲のスライド方向を上下方向とすると好適である。なぜなら、データが不足する画素位置が演算範囲の移動前後で同一であるため、パディングデータを付与する回数を削減できるからである。また、ＤＲＡＭ１０３のデータの並び方向が上下方向である場合に変形例１のようにマージンデータの削減部分を画像ブロックの左右の領域とすれば、ＤＲＡＭ１０３へのアクセス頻度を抑制でき、効率的である。なお、上述の例は、演算範囲のスライド方向は左右方向でも構わない。また、ＤＲＡＭ１０３のデータの並び方向は左右方向でも構わない。また、上のラインのみ、或いは下のラインのみを参照データとして取得しても構わない。
【0116】
以上説明したように、変形例１によれば、畳み込み演算に必要なマージンデータの一部である上下のデータを参照データとして元画像から取り込み、マージンデータのうち参照データを除く他のデータをパディングによって補間する。このため、マージンデータを全て取り込む場合と比較してフィルタ処理に必要なメモリ容量を削減できる。またマージンデータを全てパディングする場合と比較して、実データを演算に使用できるため、フィルタ処理の結果得られる特徴量ベクトルの確度低下を抑制可能となる。従って、演算結果の信頼性の低下を抑制しつつ、ＣＮＮの畳み込み演算に必要な記憶容量を削減する可能となる。
【0117】
＜変形例２＞
図１６は、本実施形態の変形例２に係るデータ取得方法を示す図である。図１６に示す例では、ＤＲＡＭ１０３からＳＲＡＭ３１０に取り込むマージンデータが図７の場合と比較して削減されている。第１の実施形態（図１０）と異なる点は、畳み込み演算に必要なマージンデータである上下左右の領域において、離散的に参照データを取得している点である。図１６のグレーで示す複数の画素１６０３が、ＤＲＡＭ１０３から取り込まれる参照データが保持される領域を示している。
図１６は、本実施形態の変形例２に係るデータ取得方法を示す図である。図１６に示す例では、ＤＲＡＭ１０３からＳＲＡＭ３１０に取り込むマージンデータが図７の場合と比較して削減されている。第１の実施形態（図１０）と異なる点は、畳み込み演算に必要なマージンデータである上下左右の領域において、離散的に参照データを取得している点である。図１６のグレーで示す複数の画素１６０３が、ＤＲＡＭ１０３から取り込まれる参照データが保持される領域を示している。
【0118】
図１６において、ＳＲＡＭ３１０内の入力データ領域１６０１の実線で示す領域１６０２は、ＤＲＡＭ１０３から取得した画像ブロックが展開された領域である。また領域１６０２の上下左右に存在する破線で示す複数の領域１６０３（グレーで示す領域）は、参照データが保持され領域を示している。即ち、図１６に示す例では、画像ブロックと、その画像ブロックの周辺にある画素のデータが１画素おきにＤＲＡＭ１０３から取り込まれ、ＳＲＡＭ３１０に展開される。図１６の場合も畳み込み演算に必要なマージンデータが部分的にＤＲＡＭ１０３から取得され、ＳＲＡＭ３１０に展開されるため、図７と比較して、ＳＲＡＭ３１０の使用量が削減される。
【0119】
図１６の場合も、畳み込み演算に必要なマージンデータのうち不足するデータについてはパディング部４４０がパディングする。パディング部４４０は、演算用レジスタ３２１の該当するデータ領域に直接パディングデータを書き込んでもよい。パディングデータは、上述したように、例えば「０」のような任意の固定値、画像ブロック内のデータの鏡像データ、該当する画素の周囲のデータの平均値等とすればよい。畳み込み演算の処理手順については、上述の実施形態及び変形例と同様である。
【0120】
以上説明したように、変形例２によれば、畳み込み演算に必要なマージンデータの一部のデータを参照データとして元画像から取り込み、マージンデータのうち参照データを除く他のデータをパディングによって補間する。このため、マージンデータを全て取り込む場合と比較してフィルタ処理に必要なメモリ容量を削減することができる。またマージンデータを全てパディングする場合と比較して、実データを演算に使用できるため、フィルタ処理の結果得られる特徴量ベクトルの確度低下を抑制可能となる。
【0121】
また、変形例２によれば、図１０及び図１４の場合と比較して更にフィルタ処理の結果得られる特徴量ベクトルの確度の向上が期待できる。間引かれているとはいえ、局所的にパディングデータが集中することがなく、元画像の真の値が畳み込み演算に使用されるからである。
【0122】
なお図１６の例では、１画素おきに参照データを取り込む例を示したが、この例に限定されず、２画素おき、３画素おきのように、任意の画素数をスキップした配置でもよい。また離散的な配置であればよく、任意の位置にランダムに参照データが配置されてよい。更に、図１０、図１４に示すように、マージンデータのうち上、下、左、右の少なくともいずれかの１つのラインの参照データを取り込む場合に、そのラインにおいて離散的に参照データを取得してもよい。
【0123】
＜変形例３＞
上述の第１の実施形態及び変形例１、２では、マージンデータの幅が上下左右に１ラインの場合について説明したが、本開示はマージンデータが複数ラインに渡る場合にも適用できる。例えば、５×５フィルタを使用する場合、マージンデータの幅は上下左右に２ラインずつ必要となる。
上述の第１の実施形態及び変形例１、２では、マージンデータの幅が上下左右に１ラインの場合について説明したが、本開示はマージンデータが複数ラインに渡る場合にも適用できる。例えば、５×５フィルタを使用する場合、マージンデータの幅は上下左右に２ラインずつ必要となる。
【0124】
図１７は、複数ラインに渡るマージンデータの例を示す図である。図１７において、ＳＲＡＭ３１０内の入力データ領域１７０１の実線で示す領域１７０２は、ＤＲＡＭ１０３から取得した画像ブロックが展開された領域である。また実線の上下左右に存在する破線で示す領域１７０３は、畳み込み演算に必要なマージンデータの範囲を示している。５×５フィルタの場合、画像ブロックの周囲２ライン（２行及び２列）の範囲のマージンデータが必要であることを示している。そして、図１７のグレーで示す領域１７０４に、ＤＲＡＭ１０３から取得した参照データｏ１～ｏ７が保持された状態を示している。
【0125】
図１７の例では、マージンデータ（領域１７０３）の２ラインのうち１ラインの一部に、ＤＲＡＭ１０３から取得したо１～о７のデータが集中して保持されている。それ以外のマージンデータは、パディングされる。この場合、部分的に参照データが使用されるため、上述の各実施形態及び変形例と同様に、ＳＲＡＭの使用量を削減できる。しかし、参照データが局所的に集中して保持されており、パディング領域と分離している。このような方法で参照データを取り込むと、部分的に実データの情報が欠落することになる。
【0126】
図１８は、変形例３に係るデータ取得方法を示す図である。図１８に示す方法は図１７と比較して好適なデータ取得方法である。図１８の例も、畳み込み演算に必要なマージンデータの範囲が複数ラインにわたる場合を示している。図１８のグレーで示す複数の領域１８０３が、ＤＲＡＭ１０３から取り込まれる参照データが保持される領域である。ＤＲＡＭ１０３から取得した参照データｏ１～ｏ７が、局所的に集中しないように離散的に配置されている。具体的には、参照データｏ１～ｏ７が千鳥状にＳＲＡＭ３１０に配置されている。
【0127】
このように、畳み込み演算に必要なマージンデータが複数ラインにわたる場合には、ＤＲＡＭ１０３から取得するマージンデータが１つのラインに集中しないよう分散配置されることが好ましい。これにより、あるラインにおいて元の画像データの情報の欠落を防ぐことができる。その結果、パディングを用いた畳み込み演算において、処理結果の確度低下を抑制することができる。
【0128】
なお図１８の例では、１画素おきに参照データを配置する千鳥配置の例を示したが、この例に限定されず、２画素おき、３画素おきのように、任意の画素数をスキップした配置でもよい。また離散的な配置であればよく、任意の位置にランダムに参照データが配置されてよい。また、本変形例３は、畳み込み演算に必要なマージンデータが複数ラインにわたる場合に、図１０に示すように上下のラインのみ、または図１４に示すように左右ラインのみに実データを取り込むことを妨げるものではない。
【0129】
いずれにしても、本実施形態において推論部１０４がＤＲＡＭ１０３から取得しＳＲＡＭ３１０に展開する参照データは、畳み込み演算に必要な全てのマージンデータより少なく、かつ全てのマージンデータをパディングする場合よりは多くなるようにする。これにより、推論部１０４のフィルタ処理に必要なＳＲＡＭ３１０の容量を削減しつつ、処理結果の確度の低下を抑制することが可能となる。
【0130】
なお、推論部１０４が用いるＣＮＮの構造により、複数層にわたってフィルタ処理が行われる場合、全ての層において本実施形態のマージンデータの削減を行う必要はなく、いずれか１つ以上の層を選択して、本実施形態のマージンデータの削減を行ってもよい。その場合、データの削減効果が高い層で使用されるフィルタについて、本実施形態のようにマージンデータを削減してもよい。削減効果が高い層は、例えば、エンコード部２０１の最後の層である。この層は解像度が低いためパディング量が少なく、またその後の層でアップサンプリングされて解像度が高められるため好適である。
【0131】
また、ＤＲＡＭ１０３から取り込まれる対象データ４２１（画像ブロック）の元画像における位置に応じて、パディング位置（マージンデータを削減する位置）を変更してもよい。例えば、元画像における上端部の画像ブロックをＤＲＡＭ１０３から取得する場合、ＤＲＡＭ１０３内の元画像データの上端部の外側には画素がないため、パディング位置を上のラインとする。或いは、図１０に示すように上下のラインとする。また、元画像における左端部の画像ブロックをＤＲＡＭ１０３から取得する場合には、ＤＲＡＭ１０３内の元画像データの左端部の外側には画素がないため、パディング位置を左のラインのみとする。或いは、図１４に示すように左右のラインとする等である。
【0132】
また、ＤＲＡＭ１０３から取り込まれる画像ブロック毎にパディング位置を変更してもよい。この場合、特定の周期性を持たないようにランダムにパディング位置が変更されることが好ましい。例えば、全ての画像ブロックについて常に同じ位置でパディングする場合、周期的な確度劣化が表れてしまう。画像ブロック間で可能な限りパディング位置を分散させることで、周期的な確度劣化を防ぐことができる。
【0133】
なお、どの画像ブロックをどの位置でパディングするかを決定するためのプログラムを予めプリンタ１００のＲＯＭ１０２に格納しておき、ＣＰＵ１０１がプログラムを実行することによって、画像ブロックごとにパディング位置を決定すればよい。また、ＣＰＵ１０１は、ＲＯＭ１０２に予め設定されている分割位置、及びパディング位置の情報に基づき、どの画像ブロックをどの位置でパディングするかを決定してもよい。
【0134】
以上、第１の実施形態のプリンタ１００における推論部１０４の構成と推論の例を説明した。本実施形態では、畳み込み演算に必要なマージンデータの一部を参照データとして取得し、その他の部分をパディングする。これにより、推論の確度の低下を抑制しつつ、計算資源の乏しい組込み機器においてＣＮＮモデルを用いた推論を実行することが可能となる。
【0135】
＜第２の実施形態＞
第２の実施形態では、第１の実施形態に示すプリンタ１００において、推論において使用されるフィルタ係数を得るための学習条件を、推論部１０４における推論条件と共通とする。これにより、推論の結果の確度を向上する。
第２の実施形態では、第１の実施形態に示すプリンタ１００において、推論において使用されるフィルタ係数を得るための学習条件を、推論部１０４における推論条件と共通とする。これにより、推論の結果の確度を向上する。
【0136】
推論の結果として最終的に得られる属性確率の確度は、推論に用いる画像特性と、学習において想定された画像特性との近さに依存する。学習は、膨大な学習データを用いてＣＮＮによりフィルタ係数を最適化し、特徴量の抽出に適したフィルタ係数を決定する処理である。そこで第２の実施形態では、第１の実施形態で説明したように、プリンタ１００におけるハードウェア資源の制約が考慮された推論条件を、学習にも反映する。そして、学習により決定された学習済みフィルタ係数をプリンタ１００に設定する。
【0137】
特に、本実施形態では、推論及び学習において用いられる演算データの分割条件、参照データ取得条件、及びパディング条件を共通とする。また、処理層の数、フィルタサイズ、縮小、及び拡大の数といったＣＮＮモデルの構造を決定する条件（以下、ＣＮＮ条件という）についても推論と学習とで共通とする。
【0138】
【0139】
図１９（ａ）に示すように、第２の実施形態では、学習装置１９０１とプリンタ１００とが別の装置で構成される情報処理システム１９００の例を説明する。なお、情報処理システム１９００の構成はこの例に限定されず、例えば、プリンタ１００内に推論部と学習部とを共に備える構成としてもよい。また、プリンタ１００は第１の実施形態と同様に、製品としての推論装置の一例であり、プリンタ１００に限定されず、その他の組込み機器であってもよい。
【0140】
以下の説明において、プリンタ１００は、第１の実施形態において示したプリンタ１００であり、ハードウェア構成及び機能構成は第１の実施形態と同様とし、同一の各部は同一の符号を付すものとする。
【0141】
学習装置１９０１は、プリンタ１００の推論部１０４が実行する推論において使用されるフィルタ係数を生成する装置であり、例えば、パーソナルコンピュータ（ＰＣ）等の情報処理装置により構成される。学習装置１９０１のハードウェア資源はプリンタ１００と比較して演算速度及び記憶容量において高性能であることを想定している。
【0142】
第２の実施形態において、学習装置１９０１がフィルタ係数を生成する際の学習条件は、プリンタ１００における推論条件が反映される。具体的には、学習装置１９０１における学習データの取得条件には、プリンタ１００の推論部１０４における演算データの取得条件が反映される。また、学習装置１９０１におけるＣＮＮモデルの構造は、プリンタ１００の推論部１０４のＣＮＮモデルの構造と同一とする。図１９（ａ）に示す矢印は、必ずしも学習装置１９０１とプリンタ１００とが通信接続されることを意味するものではない。プリンタ１００に設定されている推論条件を学習装置１９０１に反映すること、及び学習装置１９０１が生成した学習済みフィルタ係数をプリンタ１００に反映し、推論に用いることを示す。条件やフィルタ係数の反映は、ユーザが手動設定してもよい。
【0143】
図１９（ｂ）は、学習装置１９０１に反映される条件１９２０の例を示す図である。学習装置１９０１に反映される条件１９２０は、学習に使用されるデータ（学習データ）の分割条件、参照データ取得条件、パディング条件、及びＣＮＮ条件を含む。分割条件は、分割位置１９２１及び分割サイズ１９２２である。参照データ取得条件は、参照データ位置１９２３である。パディング条件は、パディング方法１９２４、及びパディング位置１９２５である。これらは、図４のプリンタ１００のＲＯＭ１０２に設定されている分割位置４０１、分割サイズ４０２、参照データ位置４０３、パディング方法４０５、パディング位置４０６と同様の内容である。ＣＮＮ条件１９２６は、ＣＮＮモデルの構造に関する条件であり、例えば、処理層の数、フィルタサイズ、縮小、拡大の数等である。ＣＮＮ条件１９２６も、図４に示すプリンタ１００の推論部１０４のＣＮＮモデルの条件と同一の内容が、学習装置１９０１に反映される。
【0144】
学習装置１９０１が学習を実行する場合、学習データは、分割位置１９２１及び分割サイズ１９２２に基づき分割されて取得され、参照データ位置１９２３に基づき特定される参照データが取得され、学習装置１９０１の学習部２０００のメモリ（ＲＡＭ２１３０）に保持される。また、畳み込み演算に必要なマージンデータのうち不足するデータはパディング方法４０５及びパディング位置４０６に基づきパディングデータが付加される。
【0145】
（学習装置の構成）
図２０は、学習装置１９０１のハードウェア構成の一例を示す図である。学習装置１９０１は、例えば、ＣＰＵ２００１、学習部２０００、ＲＯＭ２００２、ＲＡＭ２００３、通信部２００４、入力部２００５、表示部２００６、記憶部２００７、データ転送Ｉ／Ｆ等を備える。これらの各部はデータバス２００９を介してＣＰＵ２００１に接続されている。なお、学習装置１９０１の構成は図２０の例に限定されず、適宜様々な構成を取り得る。
図２０は、学習装置１９０１のハードウェア構成の一例を示す図である。学習装置１９０１は、例えば、ＣＰＵ２００１、学習部２０００、ＲＯＭ２００２、ＲＡＭ２００３、通信部２００４、入力部２００５、表示部２００６、記憶部２００７、データ転送Ｉ／Ｆ等を備える。これらの各部はデータバス２００９を介してＣＰＵ２００１に接続されている。なお、学習装置１９０１の構成は図２０の例に限定されず、適宜様々な構成を取り得る。
【0146】
ＣＰＵ２００１は、ＲＯＭ２００２または記憶部２００７に保持されるプログラムに従ってＲＡＭ２００３をワークエリアとして用いて各種処理を実行する。ＲＡＭ２００３は、揮発性の記憶領域であり、ワークメモリ等として利用される。ＲＯＭ２００２は、不揮発性の記憶領域であり、本実施形態に係るプログラムやＯＳ（Operating System）等が保持される。記憶部２００７は、ＨＤＤ、ＳＳＤ等の不揮発性の記憶装置であり、プログラムやプログラム実行に必要なデータ、及び学習に用いられる画像データ等、各種データを保持する。
【0147】
通信部２００４は、ＬＡＮ、ＷＡＮ、インターネット等のネットワークとの通信を行うためのインターフェースである。表示部２００６はディスプレイ及び表示制御回路を含み、ＣＰＵ２００１から入力されたデータを表示する。入力部２００５は、キーボードやマウスなどのポインティングデバイス等の入力機器を含み、入力機器を介してユーザにより入力されたデータをＣＰＵ２００１に送信する。データ転送Ｉ／Ｆ２００８、外部装置とのデータの送受信を行うためのインターフェースである。例えば、データ転送Ｉ／Ｆ３１２における接続方式は、特に限定するものではないが、例えば、ＵＳＢ、ＩＥＥＥ１３９４等を用いることができる。また有線、無線を問わない。
【0148】
学習部２０００は、ＣＮＮによる学習を実行するためのフィルタ（演算回路、ＲＡＭ及びレジスタ等のメモリ）を備え、設定された条件１９２０に従って学習を実行する。
【0149】
図２１は、学習装置１９０１の機能構成及びデータの処理過程を示す図である。図２１に示すように、学習装置１９０１は、条件入力部２１０１、設定部２１０２、学習部２０００を有する。学習部２０００は、取得部２１１０、ＲＡＭ２１３０、畳み込み演算部２１５０、出力部２１６０、比較部２１７０、更新部２１８０等を有する。これらの機能部は、例えば、ＣＰＵ２００１がＲＯＭ１０２に保持されたプログラムを実行することで実現される。
【0150】
ＲＡＭ２００３には、複数の学習データである画像データ群２１０６が記憶されている。画像データ群２１０６は、学習装置１９０１の外部装置から通信部２００４を介して、または可搬型の記憶媒体からデータ転送Ｉ／Ｆ２００８を介して入力され、ＲＡＭ２００３に保持される。なお、図２０では、学習部２０００がＲＡＭ２００３から学習データを読みこむ際に、学習データを分割することを想定した図としているが、これに限定されず、前処理により予め分割された画像ブロックのデータがＲＡＭ２００３に保持されていてもよい。また、その画像ブロックに参照データ２１２２が予め付加された状態でＲＡＭ２００３に保持されていてもよい。
【0151】
条件入力部２１０１は、学習部２０００が実行する学習における各種条件の入力を受け付ける。入力される条件は、上述の図１９（ｂ）に示す条件１９２０を含む。具体的には、学習データの分割に関する条件（分割位置１９２１、分割サイズ１９２２）、参照データ取得条件（参照データ位置１９２３）、パディング条件（パディング方法１９２４、パディング位置１９２５）、及びＣＮＮ条件１９２６を含む。
【0152】
また条件入力部２１０１は、教師画像２１０３、更新回数２１０４、フィルタ係数２１０５の入力を受け付ける。教師画像２１０３は、正解を示す画像データであり、比較部２１７０において畳み込み演算の結果得られる出力画像と比較される。更新回数２１０４は、更新部２１８０においてフィルタ係数の更新が繰り返される回数の上限値である。フィルタ係数２１０５は、初期値として任意の値が設定される。例えば、初期値としてランダムな値がフィルタ係数２１０５に設定され、学習を繰り返すことで値が徐々に更新され、最適化される。条件入力部２１０１への情報の入力は、第２の実施形態において、ユーザが手動で行うものとする。条件入力部２１０１は、受け付けた情報を設定部２１０２に転送する。
【0153】
設定部２１０２は、条件入力部２１０１が受け付けた学習データの分割条件、参照データ取得条件、パディング条件、ＣＮＮ条件１９２６、教師画像２１０３、更新回数２１０４、フィルタ係数２１０５を受取り、学習部２０００に設定する。分割条件は、分割位置１９２１、分割サイズ１９２２である。参照データ取得条件は、参照データ位置１９２３である。パディング条件は、パディング方法１９２４、パディング位置１９２５である。
【0154】
具体的には、設定部２１０２は、ＣＮＮ条件１９２６を学習部２０００に設定する。学習部２０００は、ＣＮＮ条件１９２６に従ったＣＮＮモデルを構築する。また設定部２１０２は、分割位置１９２１及び分割サイズ１９２２をデータ分割部２１１１に設定する。また設定部２１０２は、参照データ位置１９２３を取得部２１１０に設定する。また設定部２１０２は、パディング方法１９２４及びパディング位置１９２５をパディング部２１４０に設定する。また設定部２１０２は、教師画像（正解）を比較部２１７０に設定し、更新回数を更新部２１８０に設定する。
【0155】
学習部２０００の取得部２１１０、データ分割部２１１１、パディング部２１４０、及び畳み込み演算部２１５０は、図４の推論部１０４の取得部４１０、データ分割部４１１、パディング部４４０、及び畳み込み演算部４３０と同様である。ＲＡＭ２１３０は、例えば、図１０、図１４、図１６～図１８に示す第１の実施形態及びその変形例に示すＳＲＡＭと同様に、入力データ領域、フィルタ係数記憶領域、及び出力データ記憶領域を有する。
【0156】
取得部２１１０は、設定部２１０２により設定された条件１９２０に基づき、ＲＡＭ２００３に保持されているページ単位の画像データ群２１０６から学習データを取得する。取得部２１１０は、データ分割部２１１１によって学習データを所定サイズの画像ブロックに分割しながら対象データ２１２１として処理順に順次読み込み、学習部２０００のＲＡＭ２１３０の入力データ領域に展開する。このとき取得部２１１０は、分割位置の情報も取得してもよい。これは、分割位置に応じて参照データの取得方法を変更する場合があるからである。第２の実施形態において、入力データ領域には分割された１画像ブロック分の対象データ２１２１が展開される。また、取得部２１１０は取得した画像ブロック（対象データ２１２１）の元画像（学習データ）における周囲に存在する画素群から参照データ２１２２を取得し、ＳＲＡＭ３１０の入力データ領域に展開する。
【0157】
取得部２１１０は、設定部２１０２に設定されている参照データ位置１９２３の情報と、分割位置１９２１及び分割サイズ１９２２の情報に基づき、元画像のどの位置から参照データを取得するかを特定できる。取得部２１１０は、取得した対象データ２１２１の周囲に存在するデータ群、すなわちＲＡＭ２００３に保持されている元画像５０１から参照データ２１２２を取得し、入力データ領域に展開する。マージンデータのうち、参照データ２１２２を除く他のデータについては、例えば、パディングによって埋める。
【0158】
パディング部２１４０は、設定部２１０２により設定されたパディング方法１９２４及びパディング位置１９２５に基づき、畳み込み演算に不足するデータをパディングする。
【0159】
上述したように、学習装置１９０１の設定部１９２０に設定された条件１９２０は、第１の実施形態に示す推論部１０４に設定された分割位置、分割サイズ、参照データ位置、パディング方法、及びパディング位置と同一である。従って、学習部２０００のＲＡＭ２１３０に展開される入力データ２１２０は、プリンタ１００の推論部１０４における入力データと同様のサイズ及び参照データ取得方法で取得される。パディングデータもプリンタ１００の推論部１０４におけるパディングデータと同様に付与される。例えば図１０に示す推論部１０４の入力データと同様に、マージンデータの一部が削減された状態で、ＲＡＭ２１３０に保持される。
【0160】
フィルタ係数２１０５は任意の初期値が設定される。例えば、処理層がｎ段のフィルタで構成されている場合、取得部２１１０はｎ段分のフィルタ係数についてそれぞれ初期値を設定し、ＲＡＭ２１３０のフィルタ係数領域に保持する。
【0161】
畳み込み演算部２１５０は、処理対象段のフィルタ係数をＲＡＭ２１３０のフィルタ係数領域から読出し、係数レジスタに設定する。また畳み込み演算部２１５０は、ＲＡＭ２１３０に保持されている入力データ２１２０及びパディングデータを含む演算データから所定の演算範囲のデータを演算用レジスタに設定し、係数レジスタに設定されているフィルタ係数との積和演算を実行する。畳み込み演算部２１５０は、演算範囲をスライドさせながら演算データの全画素について演算を実行し、演算結果である出力画像（特徴量）をＲＡＭ２１３０の出力データ領域に書き込む。次の層がある場合は、その出力画像を入力として畳み込み演算を繰り返し行う。全ての処理層について畳み込み演算が終了すると、出力部２１６０は特徴量ベクトルを得る。
【0162】
比較部２１７０は、出力部２１６０から出力された特徴量ベクトルと正解である教師画像２１０３とを比較し、誤差を算出する。
【0163】
更新部２１８０は、比較部２１７０が算出した誤差を出力層側から入力層側に向かって伝播させ、この誤差から勾配を算出することで、各ニューロンにおけるフィルタ係数を更新する。次の入力画像については、更新されたフィルタ係数を用いて学習が行われる。設定部２１０２によって設定された更新回数の上限値に達すると、学習部２０００は学習を終了する。学習部２０００は、学習の結果として学習済みフィルタ係数２１９０を出力する。
【0164】
（フィルタ係数の生成方法）
ここで学習装置１９０１におけるフィルタ係数の生成処理（学習処理）についてより詳細に説明する。
ここで学習装置１９０１におけるフィルタ係数の生成処理（学習処理）についてより詳細に説明する。
【0165】
（生成環境）
図２２は、典型的なＣＮＮモデルの入力部近傍の模式図である。本実施形態では、図１９に示す学習装置１９０１を用いてフィルタ係数を生成する場合について説明する。データ２２０１は学習装置１９０１に入力されるデータである。例えば入力データが画像データである場合、座標ごとにＲ、Ｇ、Ｂの３チャネル分用意される。ニューロン２２１１～２２１６は、入力データ２２０１の処理層を構成する部分である。ニューロン２２１１～２２１６は、入力データ２２０１を畳み込むためのフィルタであり、それぞれ異なるフィルタ係数を保持している。これは、１つのフィルタは１つの特性を抽出するからであり、複数の異なる特徴を抽出するためには、複数のフィルタ処理を行わなくてはならない。各フィルタ（ニューロン２２１１～２２１６）に保持されているフィルタ係数は、Ｒ、Ｇ、Ｂの３チャネル分あるとする。後述するように、初期状態ではフィルタ係数の値は生成対象としての変数である。例えばニューロン２２１１は、入力データ２２０１を畳み込むための３×３のフィルタ係数をＲ、Ｇ、Ｂの３チャネル分保持している。
図２２は、典型的なＣＮＮモデルの入力部近傍の模式図である。本実施形態では、図１９に示す学習装置１９０１を用いてフィルタ係数を生成する場合について説明する。データ２２０１は学習装置１９０１に入力されるデータである。例えば入力データが画像データである場合、座標ごとにＲ、Ｇ、Ｂの３チャネル分用意される。ニューロン２２１１～２２１６は、入力データ２２０１の処理層を構成する部分である。ニューロン２２１１～２２１６は、入力データ２２０１を畳み込むためのフィルタであり、それぞれ異なるフィルタ係数を保持している。これは、１つのフィルタは１つの特性を抽出するからであり、複数の異なる特徴を抽出するためには、複数のフィルタ処理を行わなくてはならない。各フィルタ（ニューロン２２１１～２２１６）に保持されているフィルタ係数は、Ｒ、Ｇ、Ｂの３チャネル分あるとする。後述するように、初期状態ではフィルタ係数の値は生成対象としての変数である。例えばニューロン２２１１は、入力データ２２０１を畳み込むための３×３のフィルタ係数をＲ、Ｇ、Ｂの３チャネル分保持している。
【0166】
図２２の例では、６つの処理層が設けられている。この結果第１段の処理を終えると、６つの特徴が抽出される。ニューロン２２２１～２２２４は、２段目の処理層である。２段目の処理層では１段目のニューロン２２１１～２２１６の結果を入力として受け取り、４つの処理層（ニューロン２２２１～２２２４）によって同様の畳み込み演算を行う。次に活性化関数について説明する。
【0167】
図２３は、処理層における処理部の概要を示す模式図である。処理層では入力されたデータを、畳み込み演算部２３１１によって畳み込み、その結果を活性化関数部２３１２に入力する。活性化関数部２３１２は非線形な特性を持つ関数である。具体的にはシグモイド関数やＲｅＬＵ関数等が用いられる。活性化関数部２３１２は、畳み込み演算部２３１１による演算結果を入力とし、関数演算を実行し、その結果を出力する。畳み込み演算部２３１１からの入力によっては活性化関数部２３１２からの出力が微弱になることもある。つまり、畳み込み演算部２３１１に保持された係数に依存して、活性化関数部２３１２から次の層に情報が伝達されるかどうかが決定される。このような処理を次の段へと繰り返し実施し、ＣＮＮモデルの最終段（不図示）まで実施することによって特徴量を生成する。
【0168】
（誤差の取得）
図２４は、典型的なＣＮＮモデルの出力部近傍を示す模式図である。図２２での入力を経て最終段に到達すると、活性化関数２４０１を通して特徴量が出力される。このようにして入力された画像の特徴が得られる。以上のように、ＣＮＮモデルは、膨大なフィルタ計算と活性化関数を用いて、入力データから特徴量を得る。
図２４は、典型的なＣＮＮモデルの出力部近傍を示す模式図である。図２２での入力を経て最終段に到達すると、活性化関数２４０１を通して特徴量が出力される。このようにして入力された画像の特徴が得られる。以上のように、ＣＮＮモデルは、膨大なフィルタ計算と活性化関数を用いて、入力データから特徴量を得る。
【0169】
入力画像の特徴を示す真の特徴量は、学習とは別の方法で用意することができる。例えば目視による人の判断で値を決めることができる。以下ではこの値（真の特徴量）を「正解」または教師データという。ＣＮＮモデルから得られた特徴量と正解との差をとると、入力データの誤差が得られる。
【0170】
（誤差伝搬）
各層の出力と、正解との誤差を出力層側から入力層側に向かって伝播させ、この誤差から勾配を算出することで、各ニューロンにおけるフィルタ係数が更新される。これを誤差逆伝播法という。誤差逆伝播法は公知の技術であり、例えば、特開平６－９６０４６号公報に記載されている。このようにして誤差伝搬した結果、ＣＮＮ全層でのフィルタ係数が更新される。なお、誤差逆伝播法は一例であり、その他の方法を用いてフィルタ係数を更新してもよい。
各層の出力と、正解との誤差を出力層側から入力層側に向かって伝播させ、この誤差から勾配を算出することで、各ニューロンにおけるフィルタ係数が更新される。これを誤差逆伝播法という。誤差逆伝播法は公知の技術であり、例えば、特開平６－９６０４６号公報に記載されている。このようにして誤差伝搬した結果、ＣＮＮ全層でのフィルタ係数が更新される。なお、誤差逆伝播法は一例であり、その他の方法を用いてフィルタ係数を更新してもよい。
【0171】
（学習処理の全体の流れ）
次に、学習装置１９０１が実行する学習処理の全体の流れを説明する。
図２５は、学習装置１９０１が実行する学習処理の全体の流れを説明するフローチャートである。本フローチャートに示す処理を実行するためのプログラムは、学習装置１９０１の記憶部２００７またはＲＯＭ２００２に記憶される。ＣＰＵ２００１は、このプログラムを呼び出してＲＡＭ２００３をワークエリアとして用いながら本フローチャートの処理を実行する。例えば、入力部２００５を介してユーザが学習の開始を指示すると、ＣＰＵ２００１は本フローチャートを開始する。
次に、学習装置１９０１が実行する学習処理の全体の流れを説明する。
図２５は、学習装置１９０１が実行する学習処理の全体の流れを説明するフローチャートである。本フローチャートに示す処理を実行するためのプログラムは、学習装置１９０１の記憶部２００７またはＲＯＭ２００２に記憶される。ＣＰＵ２００１は、このプログラムを呼び出してＲＡＭ２００３をワークエリアとして用いながら本フローチャートの処理を実行する。例えば、入力部２００５を介してユーザが学習の開始を指示すると、ＣＰＵ２００１は本フローチャートを開始する。
【0172】
Ｓ２５０１において、ＣＰＵ２００１（条件入力部２１０１）はユーザによる学習用のＣＮＮモデルの構造の設計を受け付ける。ＣＰＵ２００１はモデル構造に関するパラメータの入力を受け付ける。モデル構造に関するパラメータは、畳み込み層（フィルタ）の層数、フィルタサイズ、縮小、拡大の回数等を含み、上述した条件１９２０のうちＣＮＮ条件１９２６に相当する。なお、パラメータに代えて、既存のモデルを利用してもよい。
【0173】
Ｓ２５０２において、ＣＰＵ２００１（条件入力部２１０１）はモデル条件の設定を受け付ける。モデル条件は、上述した条件１９２０のうち、分割位置１９２１、分割サイズ１９２２、参照データ位置１９２３、パディング方法１９２４、及びパディング位置１９２５を含む。また、ＣＰＵ２００１は教師画像２１０３、及び更新回数２１０４も受け付ける。
【0174】
Ｓ２５０１及びＳ２５０２において、ユーザは、プリンタ１００の推論部１０４と同様のモデル構造（ＣＮＮ条件）及びモデル条件を学習装置１９０１に設定する。このとき、学習装置１９０１の条件入力部２１０１（ＣＰＵ２００１）は、ユーザがモデル構造及びモデル条件を設定するためのＵＩ（ユーザインターフェース）画面を表示してもよい。
【0175】
図２６は、ユーザがモデル構造及びモデル条件を設定するためのＵＩ画面２６００の一例である。ＵＩ画面２６００には、モデル構造設定領域２６０１、学習開始ボタン２６０２、モード選択ボタン２６０３、及び層選択ボタン２６０４が設けられる。
【0176】
モデル構造設定領域２６０１において、ユーザは、畳み込み層の数、フィルタサイズ、縮小及び拡大の回数等のモデル構造に関するパラメータを設定する。モデル構造設定領域２６０１には、設定されたパラメータに応じたモデル構造図が表示される。第２の実施形態では、ユーザはプリンタ１００のＣＮＮモデル構造と同一のモデル構造（少なくとも、層の数、フィルタサイズ、縮小及び拡大の回数）を設定する。なお、ここで設定したモデル構造に基づき、各フィルタにおいて畳み込み演算に必要なマージンデータの範囲が決定される。
【0177】
モード選択ボタン２６０３は、マージンデータのうち取得する参照データを自動で設定する自動モードか、ユーザが手動で設定する手動モードかの選択操作を行うための操作部である。ユーザにより自動モードが選択された場合、ＣＰＵ２００１は、モデル全体について参照データ位置を自動的に設定する。なお、自動モードにおいてＣＰＵ２００１は、ユーザがマージンデータに対する参照データの割合を設定可能としてもよい。そのための設定画面２６０７をポップアップ表示してもよい。マージンデータに対する参照データの割合は、０％から１００％までの間の任意の値が設定可能である。１００％が設定された場合は、マージンデータの全ての画素が参照データ（実データ）で構成され、０％が設定された場合は、マージンデータの全ての画素がパディングされる。ユーザは、プリンタ１００の推論部１０４におけるマージンデータに対する参照データの割合と同じ割合を、設定画面２６０７に設定すればよい。
【0178】
設定画面２６０７において設定された割合は、自動モードにおいてモデル全体に一律に設定されることとする。ＣＰＵ２００１は、ユーザが設定した割合に基づいて、各層の参照データ位置を決定する。自動モードにおけるＣＰＵ２００１の処理については、第３の実施形態で説明する。
【0179】
ユーザにより手動モードが選択された場合、ＣＰＵ２００１は、層の選択と、選択された層における参照データ位置の詳細設定の入力を受け付ける。層の選択は、層選択ボタン２６０４が押下された状態でモデル構造設定領域２６０１に表示されているモデル構造のいずれかの層がユーザにより指示されると行われる。選択された層について、ＣＰＵ２００１はユーザ操作により、「実データ参照」とするか、「パディング」とするかの選択を受け付ける。ラジオボタン２６０５がＯＮにセットされた場合は「実データ参照」が選択され、ラジオボタン２６０６がＯＮにセットされた場合は「パディング」が選択される。
【0180】
「実データ参照」が選択された場合は、選択された層について、マージンデータはすべて実データ（元画像のデータ）が取得される設定となる。
「パディング」が選択された場合は、ＣＰＵ２００１は、更に間引き位置２６０８及びパディング値２６０９の設定を受け付ける。
「パディング」が選択された場合は、ＣＰＵ２００１は、更に間引き位置２６０８及びパディング値２６０９の設定を受け付ける。
【0181】
間引き位置２６０８は、上、下、左、右のいずれか１つ以上が選択可能である。例えば、上及び下がユーザにより選択された場合は、図１０に示すように、畳み込み演算に必要なマージンデータのうち上及び下の領域の実データは取り込まれず、パディングされる。つまり、マージンデータのうち左及び右の領域は参照データとして実データが取り込まれ、上及び下の領域にパディングデータが付与される。間引き位置２６０８において右及び左がユーザにより選択された場合は、図１４に示すように、畳み込み演算に必要なマージンデータのうち右及び左の領域には実データは取り込まれず、パディングされる。つまり、マージンデータのうち上及び下の領域は参照データとして実データが取り込まれ、右及び左の領域にパディングデータが付与される。なお間引き位置は、上のみ、下のみ、左のみ、及び右のみのいずれかが選択されてもよい。
【0182】
パディング値２６０９は、図２６の例では、画素値または鏡像反転のいずれかが選択可能である。画素値がユーザにより選択された場合、ＣＰＵ２００１は入力欄２６１０への任意の実数値の入力を受け付ける。この場合、ＣＰＵ２００１は、入力された値をパディングデータとして、データが不足する画素を埋める。図２６の例では、入力欄２６１０に「０」が入力された状態を示している。鏡像反転がユーザにより選択された場合、ＣＰＵ２００１は学習部２０００に入力された入力データの一部を鏡像反転して、データが不足する画素を埋める。なお、パディング値２６０９は、図２６の例では画素値及び鏡像反転を選択可能としているが、これらに限定されずその他のパディング方法を選択できるようにしてもよい。例えば、パディング位置の周囲に存在する複数画素の画素値の平均値としてもよい。
【0183】
ＵＩ画面２６００の間引き位置２６０８により設定された間引き位置が、パディング位置１９２５として設定部２１０２に設定される。畳み込み演算に必要なマージンデータのうち、間引き位置２６０８により設定された位置を除く画素が参照データ位置１９２３として設定部２１０２に設定される。またＵＩ画面２６００に設定されたパディング値２６０９が、パディング方法１９２４として設定部２１０２に設定される。
【0184】
第２の実施形態では、ユーザはＵＩ画面２６００において手動モードを選択し、プリンタ１００のマージンデータの条件と同じになるように間引き位置２６０８及びパディング値２６０９を設定する。これにより、学習装置１９０１において設定が必要なモデル条件のうち、参照データ位置１９２３、パディング方法１９２４、及びパディング位置１９２５が設定される。
【0185】
なお、図２６のＵＩ画面２６００の例では、間引き位置２６０８の選択肢として離散的な配置や千鳥配置が含まれないが、これらを選択肢に含めてもよい。更に、パディング値はチャネルごと、処理層ごとに異なる値を設定可能としてもよい。また、モデル条件のうち、分割位置１９２１及び分割サイズ１９２２の設定についても、ＵＩ画面２６００に含めてもよい。本実施形態では、ユーザはプリンタ１００の画像データの分割条件と同一となるように、画像の分割位置１９２１及び分割サイズ１９２２を設定する。また、同じデータ分割用のプログラムをプリンタ１００と学習装置１９０１とでそれぞれ実施してもよい。これにより、学習装置１９０１において設定が必要な条件のうち、分割位置１９２１及び分割サイズ１９２２が設定される。
【0186】
ＵＩ画面２６００を用いた条件設定は一例であり、その他の方法で条件設定を行ってもよい。例えば、プログラムコードに対し、ユーザが直接モデル構造（ＣＮＮ条件）、パディング方法、パディング位置、分割位置、分割サイズ、参照データ位置等を指定してもよい。また、モデル構造の設定（ＣＮＮ条件１９２６の設定）に関しては、学習装置１９０１は、Ｗｅｂに公開されている共有可能なＣＮＮモデルを通信部２００４を介して取得し、プログラムコードに反映してもよい。
【0187】
以上のように、モデル設計及びモデル条件設定が完了し、ユーザによりＵＩ画面２６００の学習開始ボタン２６０２が操作されると、Ｓ２５０３へ進む。
【0188】
Ｓ２５０３においてＣＰＵ２００１は、フィルタ係数を初期化する。ＣＰＵ２００１は、Ｓ２５０１において設定されたフィルタサイズのフィルタ係数に任意の値に設定する。ＣＰＵ２００１は、例えばランダム値を設定する。
【0189】
Ｓ２５０４においてＣＰＵ２００１は、Ｓ２５０１～Ｓ２５０３で設定されたＣＮＮモデル、モデル条件、及びフィルタ係数を学習部２０００に設定し、学習を開始する。学習については後述する。学習が完了するとＳ２５０５へ進む。
【0190】
Ｓ２５０５において、ＣＰＵ２００１は学習結果である学習済みフィルタ係数を出力する。以上の処理により、本フローチャートを終了する。
【0191】
（学習処理）
Ｓ２５０４で実行される学習処理について説明する。
図２７は、学習処理の流れを示すフローチャートである。図２８は、学習データの分割及び水増しについて説明する図である。学習装置１９０１のＣＰＵ２００１は、図２５のＳ２５０３までの処理を終了すると、次に図２７に示すフローチャートの処理を開始する。本フローチャートを開始するまでに、学習用の画像データ群２１０６が学習装置１９０１に入力され、ＲＡＭ２００３に保持されているものとする。
Ｓ２５０４で実行される学習処理について説明する。
図２７は、学習処理の流れを示すフローチャートである。図２８は、学習データの分割及び水増しについて説明する図である。学習装置１９０１のＣＰＵ２００１は、図２５のＳ２５０３までの処理を終了すると、次に図２７に示すフローチャートの処理を開始する。本フローチャートを開始するまでに、学習用の画像データ群２１０６が学習装置１９０１に入力され、ＲＡＭ２００３に保持されているものとする。
【0192】
Ｓ２７０１において学習装置１９０１のＣＰＵ２００１は、画像データ群２１０６から任意の１枚の画像データ（以下、元画像２８０１という。）を取得し、学習部２０００に転送する。学習部２０００のデータ分割部２１１１は、設定部２１０２に設定された分割位置１９２１及び分割サイズ１９２２に従って元画像２８０１を分割し、図２８に示す複数の画像ブロック２８０２を得る。複数の画像ブロック２８０２には、それぞれ元画像における位置情報が付加されるものとする。元画像における位置情報は、分割位置１９２１の情報である。
【0193】
Ｓ２７０２においてＣＰＵ２００１は、画像ブロック２８０２を水増し処理により増加させてもよい。水増し処理により、複数の水増し画像からなる水増し画像群２８０３を得る。水増し画像群２８０３は、画像ブロック２８０２が加工されることにより生成された複数の水増し画像データの集合である。画像ブロック２８０２の加工は、例えば鏡像反転による複製、写真、文字、またはグラフィクスといった任意の画像要素の部分的な上書き処理等である。複数の水増し画像データには、それぞれ元画像２８０１における位置情報が付加されるものとする。水増し画像群２８０３は、学習部２０００のＲＡＭ２１３０に保持されてもよいし、学習装置１９０１のＲＡＭ２００３、記憶部２００７、或いは外部ストレージ等、任意の記憶領域に保持されてもよい。なお、Ｓ２７０１及びＳ２７０２の処理は、学習部２０００が実行してもよい。
【0194】
Ｓ２７０３において学習部２０００の取得部２１１０は、水増し画像群２８０３から任意の１枚の水増し画像データを対象データ２１２１として順に取得し、ＣＮＮモデルで学習を実行する。本実施形態において、学習部２０００の取得部２１１０は、１枚の水増し画像データを取得し、ＲＡＭ２１３０に展開する。このとき取得部２１１０は、設定部２１０２に設定されている参照データ位置１９２３の情報に基づき、取得した水増し画像データの周囲の参照データ２１２２も取得し、ＲＡＭ２１３０に展開する。
【0195】
例えば、図２６のＵＩ画面２６００において間引き位置２６０８が上及び下として設定されている場合は、取得部２１１０は、元画像２８０１における水増し画像データ（対象データ２１２１）の周囲の画素群から、マージンデータの右側及び左側のデータを取得する。このように取得された参照データ２１２２と水増し画像データ（対象データ２１２１）とが図２１に示す入力データ２１２０としてＲＡＭ２１３０の入力データ領域に展開される。また、取得部２１１０はＲＯＭ１０６にあらかじめ保持されているフィルタ係数を取得する。フィルタで処理される段が複数ある場合は、取得部２１１０は複数のフィルタ係数を取得する。取得部２１１０は、受け取った１または複数のフィルタ係数をＲＡＭ２１３０のフィルタ係数領域に保持する。
【0196】
畳み込み演算部２１５０は、対象段のフィルタ係数を係数レジスタに設定し、ＲＡＭ２１３０の入力データ領域に展開された入力データのうち演算範囲のデータを順次演算用レジスタに設定して畳み込み演算を実行する。なお、学習の初期において、フィルタ係数は任意のランダム値が設定されている。また、演算範囲のデータが不足する場合は、パディング部２１４０がパディングを行う。パディング部２１４０は、設定部１９２０に設定されているパディング方法及びパディング位置の情報に基づきパディングデータを演算用レジスタに付与する。畳み込み演算部２１５０は、演算範囲をスライドさせながら畳み込み演算を実行し、演算結果を出力データ領域の該当画素に書き込む。入力データ領域に展開された入力データについて畳み込み演算が終了すると、特徴量を示す出力画像が得られる。
【0197】
次の段がある場合は、畳み込み演算部２１５０は、対象段のフィルタ係数を係数レジスタに設定して、入力データ領域に展開された入力データについて順次畳み込み演算を実行し、演算結果を出力データ領域の該当画素に書き込む。以上の処理を、入力データの全画素について実行する。更に次の層がある場合は、次の層について前の層の出力を入力として、ＣＮＮ処理を実行する。ＣＮＮ処理の結果、出力部２１６０は入力された水増し画像データの特徴量ベクトルを得る。
【0198】
Ｓ２７０４において出力部２１６０は、Ｓ２６０３で得られた特徴量ベクトルをＲＡＭに保持する。
Ｓ２７０５において出力部２１６０は、全ての水増し画像データについて処理を終えたかを判断する。処理を終えていなければ、Ｓ２６０３に戻る。全ての水増し画像について処理を終えた場合、Ｓ２７０６に進む。
Ｓ２７０５において出力部２１６０は、全ての水増し画像データについて処理を終えたかを判断する。処理を終えていなければ、Ｓ２６０３に戻る。全ての水増し画像について処理を終えた場合、Ｓ２７０６に進む。
【0199】
Ｓ２７０６において出力部２１６０は、ここまでの処理で得られた特徴量ベクトルを全て加算する。加算された特徴量を、以下では「合計特徴量」という。出力部２１６０は合計特徴量を比較部２１７０に転送する。
Ｓ２７０７において比較部２１７０は、出力部２１６０から取得した合計特徴量と教師画像２１０３とを比較（差分）し、誤差を算出する。教師画像２１０３は、水増し処理回数と同じ回数加算された正解ベクトルであり、設定部２１０２により設定される。
Ｓ２７０７において比較部２１７０は、出力部２１６０から取得した合計特徴量と教師画像２１０３とを比較（差分）し、誤差を算出する。教師画像２１０３は、水増し処理回数と同じ回数加算された正解ベクトルであり、設定部２１０２により設定される。
【0200】
Ｓ２７０８において更新部２１８０は、Ｓ２７０７で算出した誤差をＣＮＮモデルに伝播させ、フィルタ係数を更新する。このように誤差伝播した結果、ＣＮＮモデルで用いられる全層でのフィルタ係数が決定される。
【0201】
Ｓ２７０９において学習部２０００は、全画像ブロックについて水増しから誤差伝播までの処理（Ｓ２７０２～Ｓ２７０８）を終えたかを判断する。処理を終えていない場合には、Ｓ２７０２に戻り、次の画像ブロックについて水増しから始める。なお、次の学習では、直前の処理において実行された誤差伝播の結果が反映されたフィルタ係数が用いられる。以上の学習処理が繰り返し実行されることにより、フィルタ係数が逐次最適化されていく。
【0202】
全分割画像について水増しから誤差伝播までの処理（Ｓ２７０２～Ｓ２７０８）を設定部２１０２により設定された更新回数分終えた場合は、Ｓ２７１０に進む。
【0203】
Ｓ２７１０においてＣＰＵ２００１は、入力された画像データ群２１０６の全てについて上述の学習を終えたかを判断する。終えていない場合にはＳ２７０１に戻り、Ｓ２７０１～Ｓ２７０９の処理を繰り返す。入力された画像データ群２１０６の全てについて学習を終えた場合は、本フローチャートの処理を終了する。なお本実施形態では、画像を分割した後に水増しを実施しているがその限りではない。先に元画像を水増しし、その後分割を行ってもよい。
【0204】
学習により得たフィルタ係数は、パラメータとして出力可能である。学習装置１９０１のＣＰＵ２００１は、ユーザの指示に従って、学習により得たフィルタ係数を所定の出力先に出力する。出力先は、例えばデータ転送Ｉ／Ｆ２００８に接続された記憶媒体、データ転送Ｉ／Ｆ２００８または通信部２００４を介して接続されたプリンタ１００、外部装置等である。
【0205】
プリンタ１００は、記憶媒体または通信接続された学習装置１９０１から、フィルタ係数を取得する。取得したフィルタ係数はプリンタ１００のＲＯＭ１０６に記憶される。これにより、プリンタ１００の推論部１０４は、学習装置１９０１が生成したフィルタ係数を使用して推論を実施できる。そのフィルタ係数は、プリンタ１００が実施する推論におけるＣＮＮ条件、分割条件、参照データ取得条件、及びパディング条件と同様の条件で実施された学習により決定される。そのため、推論の結果得られる属性確度が向上する。なぜなら、学習においてフィルタ係数を最適化する場合に、「マージンデータを削減しパディングした部分」の信頼性も含めてフィルタ係数が決定されるからである。
【0206】
具体的に述べる。プリンタ１００における推論において、図１０に示すように、対象データの畳み込み演算に必要なマージンデータのうち上下領域を取得しないとする。その場合、学習部２０００が学習するデータも、マージンデータのうち上下領域を取得せず、パディングにより付与する。このように学習すると、フィルタ係数は「上下領域」の特徴量の誤差が収束しづらいことに起因して、当該位置の影響を受けにくいフィルタ係数に収束する。このようにして生成されたフィルタ係数がプリンタ１００のＲＯＭ１０２に実装された場合、プリンタ１００の推論部１０４も上下領域がパディングされた演算データを用いて得られる特徴量を出力する。よって、その信頼性を過小評価した特徴量を得ることができる。こうして推論結果としての特徴量の信頼性を高めることができる。
【0207】
なお、本実施形態では図１０に示すデータ取得方法に相当する例として、学習用の水増し画像データを取得する際に、そのマージンデータのうち上下領域のデータを間引き（取得せず）、パディングする例を説明した。しかし本実施形態はこの例に限定されず、プリンタの推論部１０４が図１４に示すように、左右のマージンデータを間引く場合は、学習用の水増し画像データを取得する際に、そのマージンデータのうち左右領域のデータを間引き（取得せず）、パディングしてもよい。また、プリンタの推論部１０４が図１６に示すように千鳥状にデータを間引く場合には、学習用の水増し画像データを取得する際に、そのマージンデータを千鳥状に間引き、不足する部分のデータをパディングしてもよい。またマージンデータの範囲は、１ラインに限定されず複数ラインでもよい。その場合も、プリンタの推論部１０４が図１８に示すように、千鳥状にマージンデータを間引く場合は、学習用の水増し画像データを取得する際に、そのマージンデータを千鳥状に間引き（削減し）、不足する部分のデータをパディングしてもよい。いずれにせよ、学習装置１９０１は、プリンタ１００の推論部１０４と同じ分割条件、参照データ取得条件、パディング条件で演算データを取得して学習を実行する。これにより、最終的に得られる特徴量の確度を高めることができる。
【0208】
＜第３の実施形態＞
次に、第３の実施形態として、自動モードについて説明する。自動モードは、学習装置において図２６に示すＵＩ画面２６００のモード選択ボタン２６０３の操作によって選択される。
次に、第３の実施形態として、自動モードについて説明する。自動モードは、学習装置において図２６に示すＵＩ画面２６００のモード選択ボタン２６０３の操作によって選択される。
【0209】
図２９は、第３の実施形態における学習処理の全体の流れを示すフローチャートである。なお、図２９のフローチャートのＳ２９０１、Ｓ２９０４～Ｓ２９０７は、それぞれ図２５のＳ２５０１、Ｓ２５０２～Ｓ２５０５に対応する処理である。即ち、図２９に示す処理は、図２５のＳ２５０１の後に、Ｓ２９０２、Ｓ２９０３の処理が追加されている点が第２の実施形態と異なる。以下の説明では、第２の実施形態と異なる点を中心に説明する。なお、第３の実施形態では、第２の実施形態と同様に、推論において使用されるフィルタ係数を得るための学習条件を、推論部１０４における推論条件と共通とする。これにより、推論の結果として最終的に得られる属性確率の確度を向上する。
【0210】
（システム構成及び機能構成）
第３の実施形態の情報処理システム３０００のシステム構成及び機能構成について説明する。図３０は、第３の実施形態の情報処理システム３０００のシステム構成及び機能構成を示す図である。図３０に示すように、第３の実施形態の情報処理システム３０００は、推論装置３０１０と学習装置３００１とを含み、推論装置３０１０と学習装置３００１とは互いの装置のデータ転送部または通信部を介して通信接続される。学習装置３００１のハードウェア構成は図２０に示す学習装置１９０１と同様であり、推論装置３０１０は、推論部を有する組込み機器であり、例えば、図１に示すプリンタ１００とし、ハードウェア構成は図１に示すプリンタ１００と同様とする。
第３の実施形態の情報処理システム３０００のシステム構成及び機能構成について説明する。図３０は、第３の実施形態の情報処理システム３０００のシステム構成及び機能構成を示す図である。図３０に示すように、第３の実施形態の情報処理システム３０００は、推論装置３０１０と学習装置３００１とを含み、推論装置３０１０と学習装置３００１とは互いの装置のデータ転送部または通信部を介して通信接続される。学習装置３００１のハードウェア構成は図２０に示す学習装置１９０１と同様であり、推論装置３０１０は、推論部を有する組込み機器であり、例えば、図１に示すプリンタ１００とし、ハードウェア構成は図１に示すプリンタ１００と同様とする。
【0211】
第３の実施形態において、学習装置３００１は、学習部２０００、装置条件取得部３００２、モデル条件決定部３００３、モデル構築部３００４、モード選択部３００５を有する。推論装置３０１０は、推論部１０４、ユースケース設定部３０１１、及び装置条件転送部３０１２を有する。推論装置３０１０のＲＯＭ１０２またはＤＲＡＭ１０３には、速度条件３０１３、ＳＲＡＭ容量３０１４、及びパディング条件３０１５が保持されている。これらの機能部は、各装置において、例えばＣＰＵがＲＯＭに保持されたプログラムを実行することで実現される。
【0212】
学習装置３００１の学習部２０００は、図２１に示す第２の実施形態の学習部２０００と同様である。
装置条件取得部３００２は、モード選択部３００５において自動モードが選択された場合に、推論装置３０１０に対し装置条件の取得を要求し、推論装置３０１０から転送される装置条件を受信する。装置条件は、速度条件３０１３、ＳＲＡＭ容量３０１４、パディング条件３０１５を含む。速度条件３０１３は推論装置３０１０がプリンタである場合、例えば印刷速度の上限値であり、ユースケース設定部３０１１により決定されＲＡＭ１０２に保持される。ＳＲＡＭ容量３０１４は、推論部１０４のフィルタに用いられるＳＲＡＭの容量（回路規模）であり、予めＲＯＭ１０２に記憶されている。
装置条件取得部３００２は、モード選択部３００５において自動モードが選択された場合に、推論装置３０１０に対し装置条件の取得を要求し、推論装置３０１０から転送される装置条件を受信する。装置条件は、速度条件３０１３、ＳＲＡＭ容量３０１４、パディング条件３０１５を含む。速度条件３０１３は推論装置３０１０がプリンタである場合、例えば印刷速度の上限値であり、ユースケース設定部３０１１により決定されＲＡＭ１０２に保持される。ＳＲＡＭ容量３０１４は、推論部１０４のフィルタに用いられるＳＲＡＭの容量（回路規模）であり、予めＲＯＭ１０２に記憶されている。
【0213】
モデル条件決定部３００３は、装置条件取得部３００２が取得した推論装置３０１０の装置条件に基づき学習部２０００のモデル条件を決定し、モデル構築部３００４に設定する。具体的には、モデル条件決定部３００３は、推論装置３０１０の速度条件３０１３及びＳＲＡＭ容量３０１４の値を超えないようにモデル条件、特に参照データ取得条件を決定する。モデル条件の決定方法については後述する。
【0214】
モデル構築部３００４は、推論装置３０１０から取得したＣＮＮモデルを構築するための情報に基づきＣＮＮモデルを構築する。第３の実施形態では、ＣＮＮモデルを構築するための情報として、装置条件取得部３００２が推論装置３０１０から推論装置３０１０の装置条件を取得する。モデル条件決定部３００３が装置条件に基づきモデル条件を決定し、モデル構築部３００４は、決定されたモデル条件に基づきＣＮＮモデルを構築する。
【0215】
モード選択部３００５は、参照データの取得条件を自動で設定する自動モードとするか、手動で設定する手動モードとするかのユーザによる選択を受け付ける。例えば、図２６に示すＵＩ画面２６００のモード選択ボタン２６０３の操作により自動モードまたは手動モードのいずれかが選択される。第３の実施形態では自動モードが選択される。
【0216】
推論装置３０１０の推論部１０４は、図４に示す第１の実施形態の推論部１０４と同様である。
ユースケース設定部３０１１は、推論装置３０１０で設定可能なユースケースの設定を受け付ける。
ユースケース設定部３０１１は、推論装置３０１０で設定可能なユースケースの設定を受け付ける。
【0217】
図３１は、ユースケースの一例として印刷設定のＵＩ画面３１００の例を示す図である。ユースケース設定部３０１１は、例えば、図３１に示すユースケースを設定するためのＵＩ画面３１００をプリンタの操作パネル１０６に表示し、ユーザによる複数のパラメータ値の入力を受け付ける。パラメータは、例えば紙サイズ、紙種、カラー／モノ選択、片面／両面選択、印刷品位等である。ユースケース設定部３０１１は、入力されたパラメータ値に基づき要求される紙搬送速度や印刷ヘッドの動作速度に対して律速しない速度条件を設定する。速度条件の情報は、予めユースケースごとにＲＯＭ１０２に保持されていてもよいし、設定されたユースケースに応じて要求される紙搬送速度や印刷ヘッドの動作速度を取得し、ＣＰＵ１０１が速度条件を決定してもよい。
【0218】
装置条件転送部３０１２は、学習装置３００１から装置条件の取得要求を受信した場合に、ＲＯＭ１０２またはＤＲＡＭ１０３に保持されている速度条件３０１３、ＳＲＡＭ容量３０１４、パディング条件３０１５を含む装置条件を学習装置３００１に転送する。なお、速度条件に関しては、学習装置３００１は、プリンタドライバ等の学習装置３００１に搭載されたＰＣソフトウェアを介して取得してもよい。
【0219】
（学習処理の全体の流れ）
図２９を参照して、第３の実施形態の学習装置３００１が実行する学習処理の流れを説明する。本フローチャートに示す処理を実行するためのプログラムは、学習装置３００１の記憶部２００７またはＲＯＭ２００２に記憶される。ＣＰＵ２００１は、このプログラムを呼び出してＲＡＭ２００３をワークエリアとして用いながら本フローチャートの処理を実行する。例えば、入力部２００５を介してユーザが学習処理の開始を指示すると、ＣＰＵ２００１は本フローチャートを開始する。
図２９を参照して、第３の実施形態の学習装置３００１が実行する学習処理の流れを説明する。本フローチャートに示す処理を実行するためのプログラムは、学習装置３００１の記憶部２００７またはＲＯＭ２００２に記憶される。ＣＰＵ２００１は、このプログラムを呼び出してＲＡＭ２００３をワークエリアとして用いながら本フローチャートの処理を実行する。例えば、入力部２００５を介してユーザが学習処理の開始を指示すると、ＣＰＵ２００１は本フローチャートを開始する。
【0220】
Ｓ２９０１において、学習装置３００１のＣＰＵ２００１はユーザによる学習用のＣＮＮモデルの構造の設計を受け付ける。ＣＰＵ２００１はモデル構造に関するパラメータの入力を受け付ける。モデル構造に関するパラメータは、畳み込み層（フィルタ）の層数、フィルタサイズ、縮小、拡大の回数等を含む。Ｓ２９０１において、ユーザは、プリンタ１００の推論部１０４と同様のモデル構造（ＣＮＮ条件）を学習装置１９０１に設定する。このとき、学習装置３００１のＣＰＵ２００１は、ユーザがモデル構造を設定するためのＵＩ画面２６００を表示してもよい。
【0221】
Ｓ２９０２において、ＣＰＵ２００１はユーザにより自動モードが選択されたか判定する。例えばＵＩ画面２６００のモード選択ボタン２６０３の操作によって自動または手動のいずれかのモードが設定される。手動モードが選択された場合は、Ｓ２９０４へ進む。Ｓ２９０４～Ｓ２９０７の処理は、第２の実施形態におけるＳ２５０２～Ｓ２５０５の処理と同様である。自動モードが選択された場合は、Ｓ２９０３に進む。
【0222】
Ｓ２９０３において、学習装置３００１のＣＰＵ２００１（装置条件取得部３００２）は、推論装置３０１０に対し装置条件の取得を要求し、推論装置３０１０から転送される装置条件を受信する。上述したように、装置条件は、速度条件３０１３、ＳＲＡＭ容量３０１４、パディング条件３０１５を含む。速度条件３０１３は印刷速度の上限値であり、ユースケース設定部３０１１により決定されＲＡＭ１０２に保持される。ＳＲＡＭ容量３０１４は、推論部１０４のフィルタに用いられるＳＲＡＭの容量（回路規模）であり、予めＲＯＭ１０２に記憶されている。
【0223】
Ｓ２９０４において、学習装置３００１のＣＰＵ２００１（モデル条件決定部３００３）は、Ｓ２９０３において取得した推論装置３０１０の装置条件に基づきモデル条件を決定し、モデル構築部３００４に設定する。Ｓ２９０１においてＣＮＮモデルの設計が完了しているため、ＳＲＡＭ容量３０１４の値を超えないようにモデル条件を決定するためには、ＣＰＵ２００１は、画像の分割サイズ、及びマージンデータにおける参照データの量（以下、参照データ量と略す。）を調整すればよい。
【0224】
元画像を細かく分割すると、学習部２０００のＲＡＭへ転送され保持される画像データの容量は少なくなるが、分割した画像数の分だけマージンデータの処理数も増大し、処理速度は遅くなる。マージンデータをパディングに置き換える場合には、学習部２０００のＲＡＭへ転送され保持される画像データの容量は小さくなるが、パディング量が増えることにより学習の信頼性が低下し、その結果、推論における属性確率の判定精度も低下する。従って、学習装置３００１のＣＰＵ２００１（モデル条件決定部３００３）は、速度条件３０１３を満たし、かつ、判定精度が所定の基準より高くなるような分割サイズ及び参照データ量を決定する。複数の候補が決定された場合は、学習装置３００１のＣＰＵ２００１は複数の候補についてそれぞれＳ２９０５～Ｓ２９０７を実行し、最も高性能な結果が得られた候補（分割サイズ及び参照データ量）を、モデル条件に設定してもよい。
【0225】
モデル条件のうち、パディング方法１９２４及びパディング位置については、Ｓ２９０３において取得した推論装置３０１０のパディング条件３０１５（パディング方法、パディング位置）を設定すればよい。分割位置１９２１は、Ｓ２９０４で決定された分割サイズ及び元画像のサイズに基づき決定される。参照データ位置１９２３は、Ｓ２９０１で設計されたＣＮＮの条件に基づき決定されるマージンデータの範囲とパディング位置、及びＳ２９０４で決定された参照データ量に基づき決定される。
【0226】
以上のように、モデル設計及びモデル条件設定が完了し、ユーザによりＵＩ画面２６００の学習開始ボタン２６０２が操作されると、Ｓ２９０５へ進む。
【0227】
Ｓ２９０５においてＣＰＵ２００１は、フィルタ係数を初期化する。ＣＰＵ２００１は、モデル設計により設定されたサイズのフィルタ係数に任意の値に設定する。例えば、ランダム値が設定される。
【0228】
Ｓ２９０６においてＣＰＵ２００１は、モデル条件及びフィルタ係数を学習部２０００に設定し、学習を開始する。学習については第２の実施形態と同様である。学習が完了するとＳ２９０７へ進む。
Ｓ２９０７おいて、ＣＰＵ２００１は学習結果である学習済みフィルタ係数を出力する。以上の処理により、本フローチャートを終了する。
Ｓ２９０７おいて、ＣＰＵ２００１は学習結果である学習済みフィルタ係数を出力する。以上の処理により、本フローチャートを終了する。
【0229】
推論装置３０１０は、学習装置３００１から、学習済みのフィルタ係数を取得する。取得した学習済みのフィルタ係数はプリンタ１００のＲＯＭ１０２に記憶される。これにより、プリンタ１００の推論部１０４は、学習装置３００１が生成した学習済みのフィルタ係数を使用して推論を実施できる。そのフィルタ係数は、推論におけるＣＮＮ条件が反映され、かつ、推論装置３０１０の装置条件に基づき決定されたモデル条件で実施された学習により決定される。モデル条件は、推論装置３０１０に要求される速度条件及びＳＲＡＭ容量の制約に基づき、かつ所定の基準以上の判定精度が保たれるように決定される。よって、組込み機器のように、速度条件及びＳＲＡＭ容量の制約がある推論装置３０１０においても、推論を実施でき、かつ推論結果の信頼性低下が抑制される。
【0230】
＜第３の実施形態の変形例＞
上述の第３の実施形態では、学習装置３００１が推論装置３０１０の装置条件（速度条件、ＳＲＡＭ容量、及びパディング条件）を取得し、学習におけるモデル条件（分割サイズ及び参照データ量）を決定する例について説明した。しかし本実施形態はこの例に限定されず、推論装置３０１０が自身の装置条件及び推論部のモデル構造（ＣＮＮ条件）に基づき、参照データ取得条件を決定し、学習装置に転送してもよい。
上述の第３の実施形態では、学習装置３００１が推論装置３０１０の装置条件（速度条件、ＳＲＡＭ容量、及びパディング条件）を取得し、学習におけるモデル条件（分割サイズ及び参照データ量）を決定する例について説明した。しかし本実施形態はこの例に限定されず、推論装置３０１０が自身の装置条件及び推論部のモデル構造（ＣＮＮ条件）に基づき、参照データ取得条件を決定し、学習装置に転送してもよい。
【0231】
（システム構成及び機能構成）
第３の実施形態の変形例に係る情報処理システム３２００のシステム構成及び機能構成について説明する。図３２は、第３の実施形態の変形例に係る情報処理システム３２００のシステム構成及び機能構成を示す図である。図３２に示すように、情報処理システム３２００は、推論装置３２１０と学習装置３２０１とを含み、推論装置３２１０と学習装置３２０１とは互いの装置のデータ転送部または通信部を介して通信接続される。学習装置３２０１のハードウェア構成は図２０に示す学習装置１９０１と同様である。推論装置３２１０は、推論部１０４を有する組込み機器であり、例えば、図１に示すプリンタ１００とする場合、ハードウェア構成は図１に示すプリンタ１００と同様とする。
第３の実施形態の変形例に係る情報処理システム３２００のシステム構成及び機能構成について説明する。図３２は、第３の実施形態の変形例に係る情報処理システム３２００のシステム構成及び機能構成を示す図である。図３２に示すように、情報処理システム３２００は、推論装置３２１０と学習装置３２０１とを含み、推論装置３２１０と学習装置３２０１とは互いの装置のデータ転送部または通信部を介して通信接続される。学習装置３２０１のハードウェア構成は図２０に示す学習装置１９０１と同様である。推論装置３２１０は、推論部１０４を有する組込み機器であり、例えば、図１に示すプリンタ１００とする場合、ハードウェア構成は図１に示すプリンタ１００と同様とする。
【0232】
第３の実施形態の変形例において、学習装置３２０１は、学習部２０００、取得部３２０３、モデル構築部３００４、及びモード選択部３００５を有する。学習部２０００、モデル構築部３００４、及びモード選択部３００５は図３０と同様である。
推論装置３２１０は、推論部１０４、ユースケース設定部３０１１、装置条件取得部３２１２、及び参照データ取得条件設定部３２１３を有する。また、推論装置３２１０のＲＯＭ１０２またはＤＲＡＭ１０３には、速度条件３０１３、ＳＲＡＭ容量３０１４、及びパディング条件３０１５が保持されている。推論部１０４、ユースケース設定部３０１１は図３０と同様である。
推論装置３２１０は、推論部１０４、ユースケース設定部３０１１、装置条件取得部３２１２、及び参照データ取得条件設定部３２１３を有する。また、推論装置３２１０のＲＯＭ１０２またはＤＲＡＭ１０３には、速度条件３０１３、ＳＲＡＭ容量３０１４、及びパディング条件３０１５が保持されている。推論部１０４、ユースケース設定部３０１１は図３０と同様である。
【0233】
学習装置３２０１の取得部３２０３は、自動モードが選択された場合に、推論装置３２１０に対し参照データ取得条件の取得を要求する。また、取得部３２０３は推論装置３２１０から送信される参照データ取得条件を受信し、モデル構築部３００４に設定する。
【0234】
推論装置３２１０の参照データ取得条件設定部３２１３は、学習装置３００１から参照データ取得条件の取得要求を受信した場合に、推論装置３２１０の参照データ取得条件を学習装置３２０１に送信する。参照データ取得条件設定部３２１３は、まず、装置条件取得部３２１２によってＲＯＭ１０２またはＤＲＡＭ１０３に保持されている速度条件３０１３、ＳＲＡＭ容量３０１４、パディング条件３０１５を含む装置条件を取得する。
【0235】
推論装置３２１０の参照データ取得条件設定部３２１３は、推論装置３２１０の装置条件（速度条件３０１３，ＳＲＡＭ容量３０１４）に基づき、推論部１０４における参照データ取得条件を決定し、学習装置３２０１に送信する。具体的には、参照データ取得条件設定部３２１３は、推論装置３２１０の速度条件３０１３及びＳＲＡＭ容量３０１４の値を超えないようにモデル条件、特に参照データ取得条件を決定する。
【0236】
モデル条件の決定方法は、上述の第３の実施形態と同様である。参照データ取得条件設定部３２１３は、ＳＲＡＭ容量３０１４の値を超えず、速度条件３０１３を満たし、かつ、推論の判定精度が所定の基準より高くなるような参照データ取得条件を決定する。参照データ取得条件設定部３２１３は、決定した参照データ取得条件（分割サイズ及び参照データ量）を学習装置３２０１に送信する。
【0237】
学習装置３２０１の取得部３２０３は、推論装置３２１０から送信された参照データ取得条件を取得し、モデル構築部３００４に設定する。
【0238】
学習装置３２０１に設定されるモデル条件のうち、パディング方法１９２４及びパディング位置１９２５については、第３の実施形態と同様に、推論装置３２１０から取得されることが好ましい。分割位置１９２１は、参照データ取得条件として取得した分割サイズ及び元画像のサイズに基づき決定される。参照データ位置１９２３は、ＣＮＮの条件から決定される畳み込み演算に必要なマージンデータの範囲とパディング位置、及びのりしろ条件として取得したのりしろ量に基づき決定される。
【0239】
以上のように、モデル設計及びモデル条件設定が完了すると、学習部２０００は学習を実行し、フィルタ係数を最適化する。
【0240】
本変形例において生成されたフィルタ係数は、学習装置３００１から、推論装置３２１０へ送信される。推論装置３２１０は取得したフィルタ係数はプリンタ１００のＲＯＭ１０２に記憶される。これにより、推論装置３２１０の推論部１０４は、学習装置３２０１が生成したフィルタ係数を使用して推論を実施できる。そのフィルタ係数は、推論におけるＣＮＮ条件が反映され、かつ、推論装置３２１０の装置条件に基づき決定されたモデル条件（特に、参照データ取得条件）で実施された学習により決定される。また、モデル条件は、推論装置３２１０に要求される速度条件及びＳＲＡＭ容量の制約に基づき、かつ所定の精度が保たれるように決定される。よって、組込み機器のように、速度条件及びＳＲＡＭ容量の制約がある推論装置３２１０においても、推論を実施でき、かつ推論結果の信頼性低下が抑制される。
【0241】
なお、第３の実施形態では、推論装置と学習装置がデータ転送Ｉ／Ｆまたは通信部を介して通信接続され、データの送受信を行う例を示したが、本開示はこれに限定されない。推論装置と学習装置とはオフラインの状態とし、可搬型の記憶媒体を使用して、データを受け渡してもよい。
【0242】
また、第１から第３の実施形態において示した推論は、２次元画像データのパターン認識等において活用される。即ち、２次元画像データについてＣＮＮによって特徴量が抽出され、２次元画像データがどのような画像であるかの属性確率が決定され、パターン認識結果として出力される。また、第１から第３の実施形態において示した推論及び学習は、パターン認識以外の処理に利用されてもよい。
【0243】
また、第１から第３の実施形態において、処理対象とするデータは２次元画像データであり、フィルタ係数に２次元フィルタが用いられる場合について説明したが、本開示はこの例に限定されない。例えば音声データのように、１次元の時系列データに対して１次元フィルタを用いる場合にも本開示を適用できる。また、一般に特徴量の次元に合わせた好適な構成を組むことにより、同様に本開示を任意の次元のデータに適用可能である。
【0244】
また、実施形態に示したＵＩ画面の画面構成、画面の表示内容、操作手順、操作方法等は一例であり、本開示はこれに限定されない。また、上述の実施形態の推論部及び学習部の機能は、ＣＰＵがプログラムに従って処理を実行することで実現される例を記載したが、これに限定されず、ＣＰＵとは異なる情報処理装置（ＧＰＵ等のプロセッサ）を備えてもよい。
【0245】
以上、添付図面を参照しながら、本開示に係る好適な実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【0246】
＜その他の実施形態＞
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0247】
なお、上述した実施形態の開示は、以下の構成を含む。
【0248】
（構成１)
畳み込みニューラルネットワークを用いた推論を実行する情報処理装置であって、
前記情報処理装置に入力された推論用データから対象データを取得する取得手段と、
前記取得手段が取得した前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算手段と、を備え、
前記取得手段は、前記マージンデータのうちの一部のデータである第１データを、前記推論用データにおいて前記対象データの周囲に前記対象データとは別に存在するデータ群から取得し、前記マージンデータのうちの前記第１データを除く第２データを、前記データ群から取得しないことを特徴とする情報処理装置。
畳み込みニューラルネットワークを用いた推論を実行する情報処理装置であって、
前記情報処理装置に入力された推論用データから対象データを取得する取得手段と、
前記取得手段が取得した前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算手段と、を備え、
前記取得手段は、前記マージンデータのうちの一部のデータである第１データを、前記推論用データにおいて前記対象データの周囲に前記対象データとは別に存在するデータ群から取得し、前記マージンデータのうちの前記第１データを除く第２データを、前記データ群から取得しないことを特徴とする情報処理装置。
【0249】
（構成２)
【0250】
前記マージンデータのうち、前記第１データを除くデータである第２データをパディングするパディング手段を更に備えることを特徴とする構成１に記載の情報処理装置。
【0251】
（構成３)
前記第１データは前記対象データとともに記憶領域に保持され、前記第２データは前記記憶領域に保持されないことを特徴とする構成１または構成２に記載の情報処理装置。
前記第１データは前記対象データとともに記憶領域に保持され、前記第２データは前記記憶領域に保持されないことを特徴とする構成１または構成２に記載の情報処理装置。
【0252】
（構成４)
前記パディング手段は、前記第２データを前記演算手段が演算に使用するレジスタに直接書き込むことを特徴とする構成２に記載の情報処理装置。
前記パディング手段は、前記第２データを前記演算手段が演算に使用するレジスタに直接書き込むことを特徴とする構成２に記載の情報処理装置。
【0253】
（構成５)
前記パディング手段は、前記第２データを任意の固定値でパディングすることを特徴とする構成２または構成４に記載の情報処理装置。
前記パディング手段は、前記第２データを任意の固定値でパディングすることを特徴とする構成２または構成４に記載の情報処理装置。
【0254】
（構成６)
前記パディング手段は、前記第２データを前記対象データに基づくデータでパディングすることを特徴とする構成２、４、５のいずれか１項に記載の情報処理装置。
前記パディング手段は、前記第２データを前記対象データに基づくデータでパディングすることを特徴とする構成２、４、５のいずれか１項に記載の情報処理装置。
【0255】
（構成７)
前記取得手段は、前記対象データに対し、前記畳み込み演算の演算範囲のスライド方向と同一方向に存在する前記データ群から前記第１データを取得することを特徴とする構成１から構成６のいずれか１項に記載の情報処理装置。
前記取得手段は、前記対象データに対し、前記畳み込み演算の演算範囲のスライド方向と同一方向に存在する前記データ群から前記第１データを取得することを特徴とする構成１から構成６のいずれか１項に記載の情報処理装置。
【0256】
（構成８)
前記取得手段は、前記対象データに対し、前記畳み込み演算の演算範囲のスライド方向と直交する方向に存在する前記データ群から前記第１データを取得することを特徴とする構成１から構成６のいずれか１項に記載の情報処理装置。
前記取得手段は、前記対象データに対し、前記畳み込み演算の演算範囲のスライド方向と直交する方向に存在する前記データ群から前記第１データを取得することを特徴とする構成１から構成６のいずれか１項に記載の情報処理装置。
【0257】
（構成９)
前記取得手段は、前記第１データを前記データ群から離散的に取得することを特徴とする構成１から構成８のいずれか１項に記載の情報処理装置。
前記取得手段は、前記第１データを前記データ群から離散的に取得することを特徴とする構成１から構成８のいずれか１項に記載の情報処理装置。
【0258】
（構成１０)
前記取得手段は、前記第１データを前記データ群から所定のデータ間隔で取得することを特徴とする構成９に記載の情報処理装置。
前記取得手段は、前記第１データを前記データ群から所定のデータ間隔で取得することを特徴とする構成９に記載の情報処理装置。
【0259】
（構成１１)
前記対象データが２次元データであり、前記マージンデータの範囲が複数のラインにわたる場合、前記取得手段は、前記第１データが前記複数のラインのすべてに分散するように、前記第１データを前記データ群から取得することを特徴とする構成１から構成１０のいずれか１項に記載の情報処理装置。
前記対象データが２次元データであり、前記マージンデータの範囲が複数のラインにわたる場合、前記取得手段は、前記第１データが前記複数のラインのすべてに分散するように、前記第１データを前記データ群から取得することを特徴とする構成１から構成１０のいずれか１項に記載の情報処理装置。
【0260】
（構成１２)
前記畳み込みニューラルネットワークを構成する少なくとも１つの層において、前記取得手段は、前記マージンデータの一部を、前記データ群から前記第１データとして取得することを特徴とする構成１から構成１１のいずれか１項に記載の情報処理装置。
前記畳み込みニューラルネットワークを構成する少なくとも１つの層において、前記取得手段は、前記マージンデータの一部を、前記データ群から前記第１データとして取得することを特徴とする構成１から構成１１のいずれか１項に記載の情報処理装置。
【0261】
（構成１３)
前記取得手段が前記マージンデータの一部を、前記データ群から前記第１データとして取得する層は、前記畳み込みニューラルネットワークのエンコーダ部の最終層であることを特徴とする構成１から構成１１のいずれか１項に記載の情報処理装置。
前記取得手段が前記マージンデータの一部を、前記データ群から前記第１データとして取得する層は、前記畳み込みニューラルネットワークのエンコーダ部の最終層であることを特徴とする構成１から構成１１のいずれか１項に記載の情報処理装置。
【0262】
（構成１４)
前記対象データは、前記推論用データが所定単位サイズに分割された分割データであることを特徴とする構成１から構成１３のいずれか１項に記載の情報処理装置。
前記対象データは、前記推論用データが所定単位サイズに分割された分割データであることを特徴とする構成１から構成１３のいずれか１項に記載の情報処理装置。
【0263】
（構成１５)
前記対象データが前記分割データである場合、
前記取得手段は、前記第１データを取得する前記データ群の位置を、前記対象データごとに変更することを特徴とする構成１４に記載の情報処理装置。
前記対象データが前記分割データである場合、
前記取得手段は、前記第１データを取得する前記データ群の位置を、前記対象データごとに変更することを特徴とする構成１４に記載の情報処理装置。
【0264】
（構成１６)
前記対象データは画像データであることを特徴とする構成１から構成１５のいずれか１項に記載の情報処理装置。
前記対象データは画像データであることを特徴とする構成１から構成１５のいずれか１項に記載の情報処理装置。
【0265】
（構成１７)
構成１に記載の情報処理装置を有する組込み機器。
構成１に記載の情報処理装置を有する組込み機器。
【0266】
（構成１８)
畳み込みニューラルネットワークを用いた推論方法であって、
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されない推論方法。
畳み込みニューラルネットワークを用いた推論方法であって、
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されない推論方法。
【0267】
（構成１９)
畳み込みニューラルネットワークを用いた推論方法をコンピュータに実行させるためのプログラムであって、
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されないプログラム。
畳み込みニューラルネットワークを用いた推論方法をコンピュータに実行させるためのプログラムであって、
入力された推論用データから対象データを取得する取得ステップと、
前記取得ステップにおいて取得された前記対象データと、所定サイズの演算結果データを得るために必要な、前記対象データとは別のデータであるマージンデータとを含む演算データを用いて畳み込み演算を実行し、前記演算結果データを出力する演算ステップと、を含み、
前記取得ステップにおいて、前記マージンデータのうちの一部のデータである第１データは、前記推論用データにおける前記対象データの周囲に前記対象データとは別に存在するデータ群から取得され、前記マージンデータのうちの前記第１データを除く第２データは、前記データ群から取得されないプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】