特許 7636015 残差ニューラルネットワークシステム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-17

(45)【発行日】2025-02-26

(54)【発明の名称】残差ニューラルネットワークシステム及びプログラム

(51)【国際特許分類】

   G06N 3/0464 20230101AFI20250218BHJP

   G06N 3/0499 20230101ALI20250218BHJP

【ＦＩ】

G06N3/0464

G06N3/0499

【請求項の数】 3

(21)【出願番号】P 2023065781

(22)【出願日】2023-04-13

(65)【公開番号】P2024151941

(43)【公開日】2024-10-25

【審査請求日】2024-10-11

【早期審査対象出願】

(73)【特許権者】

【識別番号】523139847

【氏名又は名称】松村 香澄

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】松村 香澄

【審査官】多賀 実

(56)【参考文献】

【文献】Dehui Li et al.，"Multi - Direction Convolution for Semantic Segmentation"，2020 25th International Conference on Pattern Recognition (ICPR) [online]，IEEE，2021年05月05日，pp. 519-525，[検索日 2025.01.08], インターネット:<URL: https://ieeexplore.ieee.org/abstract/document/9413174>，DOI: 10.1109/ICPR48806.2021.9413174

【文献】Yan Zhou et al.，"Multi-directional feature refinement network for real-time semantic segmentation in urban street scenes"，IET Computer Vision [online]，John Wiley & Sons Ltd，2023年02月11日，Volume 17, Issue 4，pp.431-444，[検索日 2025.01.08], インターネット:<URL: https://ietresearch.onlinelibrary.wiley.com/doi/full/10.1049/cvi2.12178>，DOI: 10.1049/cvi2.12178

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １７／１０－１７／１８

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

残差ブロックを複数接続した残差ニューラルネットワークシステムにおいて、
高さ方向及び幅方向に同一の複数ピクセルを有する第１カーネルを適用する第１畳み込み層と、
入力されるデータの高さ方向と同数のピクセル、幅方向に１ピクセルを有し所定のストライドで幅方向へ移動させ高さ方向へ移動させない第２カーネル、及び、高さ方向に１ピクセル幅方向に前記データの幅方向と同数のピクセルを有し所定のストライドで高さ方向に移動させ幅方向に移動させない第３カーネルを適用する第２畳み込み層と、
前記第１畳み込み層または前記第２畳み込み層に接続される全結合層と
を残差ブロック内に備える残差ニューラルネットワークシステム。

【請求項2】

前記第２畳み込み層には、前記データの高さ方向及び幅方向と同数のピクセル、チャンネル方向に１ピクセルを有し前記チャンネル方向にストライドさせる第４カーネルが適用される
ことを特徴とする請求項１に記載の残差ニューラルネットワークシステム。

【請求項3】

入力データを取得し、
高さ方向及び幅方向に同一の複数ピクセルを有する第１カーネルを適用する第１畳み込み層と、入力されるデータの高さ方向と同数のピクセル、幅方向に１ピクセルを有し所定のストライドで幅方向へ移動させ高さ方向へ移動させない第２カーネル、及び、高さ方向に１ピクセル幅方向に前記データの幅方向と同数のピクセルを有し所定のストライドで高さ方向に移動させ幅方向に移動させない第３カーネルを適用する第２畳み込み層と、前記第１畳み込み層または前記第２畳み込み層に接続される全結合層とを残差ブロック内に備え、該残差ブロックを複数接続した残差ニューラルネットワークに、取得した入力データを入力することにより、前記残差ニューラルネットワークから出力される出力データを取得する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、残差ニューラルネットワークシステム及びプログラムに関する。

【背景技術】

【0002】

近年、人工知能（AI; Artificial Intelligence）に基づくボードゲーム等の開発が盛んに進められている。例えば特許文献１には、盤面に基づくデータに基づいて、自己学習することができる情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０８６６１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、通常の学習モデルが使用するよりも少ない回数の演算で処理を行うことが可能な残差ニューラルネットワークシステムを提供することができないという問題がある。

【0005】

一つの側面では、少ない回数の演算で処理を行うことが可能な残差ニューラルネットワークシステム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面に係る残差ニューラルネットワークシステムは、残差ブロックを複数接続した残差ニューラルネットワークシステムにおいて、高さ方向及び幅方向に同一の複数ピクセルを有する第１カーネルを適用する第１畳み込み層と、入力されるデータの高さ方向と同数のピクセル、幅方向に１ピクセルを有し所定のストライドで幅方向へ移動させ高さ方向へ移動させない第２カーネル、及び、高さ方向に１ピクセル幅方向に前記データの幅方向と同数のピクセルを有し所定のストライドで高さ方向に移動させ幅方向に移動させない第３カーネルを適用する第２畳み込み層と、前記第１畳み込み層または前記第２畳み込み層に接続される全結合層とを残差ブロック内に備えることを特徴とする。

【発明の効果】

【0007】

一つの側面では、少ない回数の演算で処理を行うことが可能となる。

【図面の簡単な説明】

【0008】

【図1】コンピュータの構成例を示すブロック図である。

【図2】ＲｅｓＮｅｔにおける残差ブロックの構造を説明する説明図である。

【図3】本実施形態での残差ブロックの構造を説明する説明図である。

【図4】第１畳み込み層を説明する説明図である。

【図5】第２畳み込み層を説明する説明図である。

【図6】特徴マップのサイズの変換処理を説明する説明図である。

【図7】学習モデルを用いてボードゲームを実行する際の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、残差ブロックを複数接続した残差ニューラルネットワークを構築する形態に関する。残差ニューラルネットワークは、スキップコネクション（構造）を取り入れたニューラルネットワークの手法であり、例えば、ＲｅｓＮｅｔ（Residual Neural Network）またはＤｅｎｓｅＮｅｔ（Dense Convolutional Network）等である。なお、以下では、残差ニューラルネットワークがＲｅｓＮｅｔである例を説明するが、他の種類の残差ニューラルネットワークにも同様に適用することができる。

【0011】

本実施形態では、情報処理装置１を含む。情報処理装置１は、種々の情報に対する処理、記憶及び送受信等を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１は、パーソナルコンピュータであるものとし、以下では簡潔のためコンピュータ１と読み替える。

【0012】

図１は、コンピュータ１の構成例を示すブロック図である。コンピュータ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

【0013】

制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、または量子プロセッサ等の演算処理装置を含む。制御部１１は、記憶部１２に記憶された制御プログラム１Ｐ（プログラム製品）を読み出して実行することにより、コンピュータ１に係る種々の情報処理または制御処理等を行う。

【0014】

なお、制御プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図１では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0015】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐまたはデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワーク等を介して、外部の情報処理装置等との間で情報の送受信を行う。

【0016】

入力部１４は、マウス、キーボード、タッチパネルまたはボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイまたは有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。なお、入力部１４は、キーボード、マウスまたは表示部１５と一体化したタッチパネルでも良い。

【0017】

読取部１６は、ＣＤ（Compact Disc）－ＲＯＭまたはＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワーク等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0018】

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive）、またはＳＳＤ(Solid State Drive)等の記録媒体を備える。大容量記憶部１７は、学習モデル１７１を含む。学習モデル１７１は、ＲｅｓＮｅｔに基づいて構築された学習モデルである。

【0019】

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はコンピュータ１に接続された外部記憶装置であっても良い。

【0020】

コンピュータ１は、種々の情報処理及び制御処理等をコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良い。また、コンピュータ１は、１台のサーバ内に設けられた複数の仮想マシンによって実現されても良いし、クラウドサーバを用いて実現されても良い。

【0021】

図２は、ＲｅｓＮｅｔにおける残差ブロックの構造を説明する説明図である。ＲｅｓＮｅｔにおいて、スキップコネクション（残差接続；スキップ接続）と、加算演算子（＋）との２つで構成された残差ブロック１０ａ、１０ｂ・・・（以下場合により１０で代表する）が直列に複数接続される。スキップコネクションは、１層以上の層をスキップした層同士を迂回経路で接続し、特徴マップを次の層以降の層へとショートカットして伝搬できるようにする残差接続である。

【0022】

残差ブロック１０は、畳み込み層（Convolution）１１ａ、バッチ正規化（Batch Normalization）１１ｂ、及び活性化関数１１ｃ等を複数含む。図示のように、残差ブロック１０は、残差ブロック１０ａ及び残差ブロック１０ｂ等を含む。

【0023】

畳み込み層１１ａは、ディープニューラルネットワークにおいて、学習済みフィルタバンクにより畳み込みを行う層である。バッチ正規化１１ｂは、畳み込みニューラルネットワークの隠れ層において、ミニバッチ内のデータ分布を元に、チャンネル毎に特徴を正規化したのち、スケールまたはシフトを行う層である。活性化関数１１ｃは、ディープニューラルネットワークにおいて広く用いられ、主に中間層向けの活性化関数である。

【0024】

活性化関数は、例えば、ＲｅＬＵ（Rectified Linear Units;整流化線形ユニット）関数、ＲｅＬＵ６関数、Ｓｗｉｓｈ関数、Ｍｉｓｈ関数、ＧＥＬＵ（Gaussian error linear units）関数、ステップ（step）関数、シグモイド（sigmoid）関数、ソフトサイン（softsign）関数、またはソフトプラス（softplus）関数等を含む。

【0025】

図３は、本実施形態での残差ブロックの構造を説明する説明図である。本実施形態での残差ブロック２０ａ、２０ｂ・・・（以下場合により２０で代表する）は、第１畳み込み層１１ａ（図２の畳み込み層１１ａと同一）、バッチ正規化１１ｂ、活性化関数１１ｃ、第２畳み込み層１２ａ、及び全結合層１２ｂを含む。図示のように、残差ブロック２０は、残差ブロック２０ａ及び残差ブロック２０ｂ等を含む。

【0026】

なお、第１畳み込み層１１ａ及び第２畳み込み層１２ａの詳細は後述の図４及び図５で説明する。全結合層１２ｂは、第１畳み込み層１１ａまたは第２畳み込み層１２ａに接続される層である。

【0027】

通常の残差ブロック１０は、第１畳み込み層１１ａ、第１畳み込み層１１ａ、・・・、第１畳み込み層１１ａ・・・（すなわち、１１ａ→１１ａ→・・・→１１ａ→・・・）により構成される。

【0028】

本実施形態での残差ブロック２０において、任意の第１畳み込み層１１ａを、第２畳み込み層１２ａまたは全結合層１２ｂで置き換えることができる。すなわち、残差ブロック２０は、第１畳み込み層１１ａ、第２畳み込み層１２ａまたは全結合層１２ｂのいずれかを含んでも良い。または、残差ブロック２０は、第１畳み込み層１１ａ、第２畳み込み層１２ａ、及び全結合層１２ｂの任意の組み合わせにより構成されても良い。

【0029】

例えば、残差ブロック２０は、第１畳み込み層１１ａ、第２畳み込み層１２ａ、全結合層１２ｂ、第１畳み込み層１１ａ、第２畳み込み層１２ａ、・・・、第１畳み込み層１１ａ・・・（１１ａ→１２ａ→１２ｂ→１１ａ→１２ａ→・・・→１１ａ→・・・）により構成されても良い。または、残差ブロック２０は、第２畳み込み層１２ａ、第１畳み込み層１１ａ、全結合層１２ｂ、全結合層１２ｂ、第２畳み込み層１２ａ、・・・、第１畳み込み層１１ａ・・・（１２ａ→１１ａ→１２ｂ→１２ｂ→１２ａ→・・・→１１ａ→・・・）により構成されても良い。

【0030】

図示のように、残差ブロック２０ａは、第１畳み込み層１１ａ、第２畳み込み層１２ａ及び全結合層１２ｂ等により構成される。残差ブロック２０ｂは、第１畳み込み層１１ａ及び第２畳み込み層１２ａ等により構成される。なお、残差ブロック２０内に備えられる第１畳み込み層１１ａ、第２畳み込み層１２ａ、全結合層１２ｂの数または順序は、特に限定されない。

【0031】

図４は、第１畳み込み層１１ａを説明する説明図である。第１畳み込み層１１ａは、高さ方向及び幅方向に同一の複数ピクセルを有する第１カーネル（Kernel）を適用する層である。カーネル（マスク；フィルタ）は、データの変換時に使用される係数である。

【0032】

Ｃはチャンネル数を示し、Ｈは入力されるデータの高さを示し、Ｗは入力されるデータの幅を示す。第１畳み込み層１１ａには、カーネル１１ａ＿１（第１カーネル）が適用される。カーネル１１ａ＿１は、高さ方向（Ｈ）にｋ＿Ｈのピクセル、幅方向（Ｗ）にｋ＿Ｗのピクセルを有し、所定のストライド（例えば、１）で幅方向（Ｗ）へ移動させ、また、高さ方向（Ｈ）へ移動させるカーネルである。ｋ＿Ｈは、カーネル１１ａ＿１の高さを示し、ｋ＿Ｗは、カーネル１１ａ＿１の幅を示す。第１畳み込み層１１ａは、チャンネル毎のカーネル１１ａ＿１の要素数がＣ×ｋ＿Ｈ×ｋ＿Ｗであり、Ｃ×ｋ＿Ｈ×ｋ＿Ｗ回乗算した結果を足すことにより、１つの出力値（内積値）を得るための変換を行う。

【0033】

図示のように、カーネル１１ａ＿１のサイズは、例えば、「３×３」である。すなわち、カーネル１１ａ＿１の高さ（ｋ＿Ｈ）は３ピクセルであり、幅（ｋ＿Ｗ）は３ピクセルである。カーネルのサイズ（Kernel_Size）は、畳み込みカーネルのサイズであり、例えば、３×３ピクセル、５×５ピクセル、または７×７ピクセル等であっても良い。

【0034】

カーネルのサイズが３×３ピクセルである場合、パディング（Padding）は１である。カーネルのサイズが５×５ピクセルである場合、パディングは２である。カーネルのサイズが７×７ピクセルである場合、パディングは３である。パディングは、データの出力サイズを調整するために、畳み込み層の処理を行う前に、入力データの周囲に例えば０等の固定のデータを埋めることである。ストライド（Stride）は１である。ストライドは、カーネルを適用する間隔である。ストライドが大きくなるほど、出力サイズは小さくなる。

【0035】

図５は、第２畳み込み層１２ａを説明する説明図である。図５Ａは、第２カーネルを適用した第２畳み込み層１２ａを説明する説明図である。図５Ｂは、第３カーネルを適用した第２畳み込み層１２ａを説明する説明図である。図５Ｃは、第４カーネルを適用した第２畳み込み層１２ａを説明する説明図である。Ｃはチャンネル数を示し、Ｈは入力されるデータの高さを示し、Ｗは入力されるデータの幅を示す。

【0036】

カーネル１２ａ＿１（第２カーネル）は、入力されるデータの高さ方向（Ｈ）と同数のピクセル、幅方向（Ｗ）に１ピクセルを有し、所定のストライド（例えば、１）で幅方向（Ｗ）へ移動させ高さ方向（Ｈ）へ移動させないカーネルである。チャンネル当たりの変換回数は「Ｗ」である。第２畳み込み層１２ａには、チャンネル毎に、高さ方向及び幅方向に「Ｈ×１」であるカーネル１２ａ＿１が適用される。

【0037】

第２畳み込み層１２ａは、チャンネル毎のカーネル１２ａ＿１の要素数がＣ×Ｈ×１であり、同じサイズである入力値の部分要素に対し、Ｃ×Ｈ×１回乗算した結果を足すことにより、１つの出力値を得るための変換を行う。図５Ａのように、カーネル１２ａ＿１の高さ（Ｈ）が９ピクセルであり、幅（Ｗ）は１ピクセルである。カーネル１２ａ＿１のサイズは「９×１」であり、パディングは０であり、ストライドは１である。

【0038】

カーネル１２ａ＿２（第３カーネル）は、入力されるデータの高さ方向（Ｈ）に１ピクセル幅方向（Ｗ）に当該データの幅方向（Ｗ）と同数のピクセルを有し、所定のストライド（例えば、１）で高さ方向（Ｈ）に移動させ幅方向（Ｗ）移動させないカーネルである。チャンネル当たりの変換回数は「Ｈ」である。第２畳み込み層１２ａには、チャンネル毎に、高さ方向及び幅方向に「１×Ｗ」であるカーネル１２ａ＿２が適用される。

【0039】

第２畳み込み層１２ａは、チャンネル毎のカーネル１２ａ＿２の要素数がＣ×１×Ｗであり、同じサイズである入力値の部分要素に対し、Ｃ×１×Ｗ回乗算した結果を足すことにより、１つの出力値を得るための変換を行う。図５Ｂのように、カーネル１２ａ＿２の高さ（Ｈ）が１ピクセルであり、幅（Ｗ）は９ピクセルである。カーネル１２ａ＿２のサイズは「１×９」であり、パディングは０であり、ストライドは１である。

【0040】

カーネル１２ａ＿３（第４カーネル）は、入力されるデータの高さ方向（Ｈ）及び幅方向（Ｗ）と同数のピクセル、チャンネル方向（Ｃ）に１ピクセルを有し、当該チャンネル方向（Ｃ）にストライドさせるカーネルである。第２畳み込み層１２ａは、カーネル１２ａ＿３の要素数が１×Ｈ×Ｗであり、チャンネル方向（Ｃ）にストライドさせる変換を行う。図５Ｃのように、第２畳み込み層１２ａは、カーネル１２ａ＿３の要素数が１×９×９であり、チャンネル方向（Ｃ）にストライドさせる変換を行う。

【0041】

通常の高さ方向と幅方向と共にストライドする第１畳み込み層１１ａでの畳み込み処理において、位置に依存する重みパラメータが存在しない。カーネル１２ａ＿１、カーネル１２ａ＿２及びカーネル１２ａ＿３のいずれか、または、これらの組み合わせを適用した第２畳み込み層１２ａの場合、いずれかの方向にストライドしない畳み込み処理において、位置に依存する重みパラメータが存在するため、１回の畳み込み処理で位置に依存する情報を認識することができる。

【0042】

また、通常の第１畳み込み層１１ａにおいて、例えば、Ｃ×ｋ＿Ｈ×ｋ＿Ｗの畳み込み処理１回で周辺１ピクセルの情報をしか認識することができない。上述したカーネル１２ａ＿１、カーネル１２ａ＿２またはカーネル１２ａ＿３を適用した第２畳み込み層１２ａにおいて、Ｃ×Ｈ×１、Ｃ×１×Ｗまたは１×Ｈ×Ｗの畳み込み処理で、格子方向に離れたピクセルの情報を１回の畳み込み処理で認識することができる。

【0043】

このように、第２畳み込み層１２ａには、カーネル１２ａ＿１、カーネル１２ａ＿２及びカーネル１２ａ＿３が適用される。なお、図５では、カーネル１２ａ＿１、カーネル１２ａ＿２及びカーネル１２ａ＿３を第２畳み込み層１２ａに適用した例を説明したが、これに限るものではない。カーネル１２ａ＿１、カーネル１２ａ＿２及びカーネル１２ａ＿３のいずれかを第２畳み込み層１２ａに適用しても良い。または、カーネル１２ａ＿１、カーネル１２ａ＿２及びカーネル１２ａ＿３の組み合わせを第２畳み込み層１２ａに適用しても良い。

【0044】

通常、残差ブロック２０において、特徴マップのサイズを示す入力データの形状と、出力データの形状とは同一である。第２畳み込み層１２ａが利用された場合、特徴マップのサイズは（Ｃ，１，Ｗ）または（Ｃ，Ｈ，１）であるため、当該第２畳み込み層１２ａに適用されたカーネル１２ａ＿１（第２カーネル）またはカーネル１２ａ＿２（第３カーネル）に対し、（Ｃ，Ｈ，Ｗ）に変換することが必要となる。

【0045】

図６は、特徴マップのサイズの変換処理を説明する説明図である。
図６Ａは、特徴マップのサイズを説明する説明図である。図６Ｂは、変換処理により得られた特徴マップの一例を示す説明図である。特徴マップのサイズは、第２カーネルにおける高さ方向に有する各データと、第３カーネルにおける幅方向に有する各データとを相互に加算することにより得られる。

【0046】

なお、図６では、入力データが将棋の盤面データである例を説明するが、他の種類の入力データにも同様に適用することができる。図示のように、第２畳み込み層１２ａに適用されたカーネル１２ａ＿１（第２カーネル）において、高さ方向に有する各盤面データは、y1,y2,y3,y4,y5,y6,y7,y8,y9である。また、当該第２畳み込み層１２ａに適用されたカーネル１２ａ＿２（第３カーネル）において、幅方向に有する各盤面データは、x1,x2,x3,x4,x5,x6,x7,x8,x9である。高さ方向に有する各盤面データと、幅方向に有する各盤面データとを相互に加算する変換処理を行うことにより、チャンネル毎に（Ｈ，Ｗ）である特徴マップのサイズが得られる。

【0047】

図６Ｂに示されているように、（y1,y2,y3,y4,y5,y6,y7,y8,y9）と、（x1,x2,x3,x4,x5,x6,x7,x8,x9）とを相互に加算する変換処理を行うことにより、チャンネル毎に（９，９）である特徴マップのサイズが得られる。

【0048】

なお、上述した特徴マップのサイズの変換処理に限るものではない。特徴マップのサイズは、第２カーネルに対し、データの高さ方向と同数で当該データを高さ方向にコピーし、または、第３カーネルに対し、データの幅方向と同数で当該データを幅方向にコピーすることにより得られる。

【0049】

例えば、同じ値を繰り返してコピーすることにより、（Ｃ，Ｈ，Ｗ）である特徴マップのサイズが得られる。具体的には、カーネル１２ａ＿１（第２カーネル）に対し、盤面データの高さ方向（Ｈ）と同数（例えば、９）で当該盤面データを横方向（Ｗ）にコピーする。または、カーネル１２ａ＿２（第３カーネル）に対し、盤面データの幅方向（Ｗ）と同数（例えば、９）で当該盤面データを高さ方向（Ｈ）にコピーする。

【0050】

全結合層１２ｂは、上述した第１畳み込み層１１ａまたは第２畳み込み層１２ａに接続される層である。例えば、全結合層１２ｂは、第１畳み込み層１１ａと、当該第１畳み込み層１１ａと同数（例えば、２５６）の第２畳み込み層１２ａとを結合する層である。または、全結合層１２ｂは、実施形態２で後述するように、チャンネル毎の全結合を行う全結合層である。

【0051】

続いて、残差ブロック２０が残差ブロック２０ａである一例とし、データの畳み込み処理を説明する。

【0052】

コンピュータ１の制御部１１は、対象となるデータを取得する。制御部１１は、取得したデータを残差ブロック２０ａの第１畳み込み層１１ａに入力する。制御部１１は、入力されたデータに対し、第１畳み込み層１１ａで畳み込み処理を実行する。第１畳み込み層１１ａには、高さ方向及び幅方向に同一の複数ピクセルを有する第１カーネル（カーネル１１ａ＿１）が適用される。

【0053】

制御部１１は、第１畳み込み層１１ａから出力されたデータに対し、バッチ正規化１１ｂでチャンネル毎に特徴を正規化する。制御部１１は、第１畳み込み層１１ａでの畳み込み演算の結果を、活性化関数１１ｃに通すことで、活性化関数によって変換する。第１畳み込み層１１ａの出力データは、入力データの特徴が抽出された特徴マップを表している。

【0054】

制御部１１は、第１畳み込み層１１ａから出力されたデータを第２畳み込み層１２ａに入力する。制御部１１は、当該データに対し、第２畳み込み層１２ａで畳み込み処理を実行する。第２畳み込み層１２ａには、第２カーネル（カーネル１２ａ＿１）、第３カーネル（カーネル１２ａ＿２）及び第４カーネル（カーネル１２ａ＿３）が適用される。

【0055】

第２カーネルは、入力されたデータの高さ方向と同数のピクセル、幅方向に１ピクセルを有し所定のストライド（例えば、１）で幅方向へ移動させ高さ方向へ移動させないカーネルである。第３カーネルは、高さ方向に１ピクセル幅方向に当該データの幅方向と同数のピクセルを有し所定のストライド（例えば、１）で高さ方向に移動させ幅方向に移動させないカーネルである。第４カーネルは、入力されるデータの高さ方向及び幅方向と同数のピクセル、チャンネル方向に１ピクセルを有し、当該チャンネル方向にストライドさせるカーネルである。

【0056】

制御部１１は、第２カーネル及び第３カーネルに対し、第２畳み込み層１２ａで特徴マップのサイズの変換処理を行う。具体的には、制御部１１は、第２畳み込み層１２ａで、第２カーネルにおける高さ方向に有する各データと、第３カーネルにおける幅方向に有する各データとを相互に加算するための変換処理を行う。制御部１１は、第２畳み込み層１２ａでの変換処理を行うことにより、チャンネル毎に（Ｈ，Ｗ）である特徴マップのサイズが得られる。

【0057】

制御部１１は、第２畳み込み層１２ａから出力されたデータに対し、バッチ正規化１１ｂでチャンネル毎に特徴を正規化する。制御部１１は、第２畳み込み層１２ａでの畳み込み演算の結果を、活性化関数１１ｃに通すことで、活性化関数によって変換する。

【0058】

制御部１１は、第２畳み込み層１２ａから出力されたデータを全結合層１２ｂに入力する。制御部１１は、当該データに対し、全結合層１２ｂで畳み込み処理を実行する。全結合層１２ｂは、第１畳み込み層１１ａまたは第２畳み込み層１２ａに接続された全結合層である。例えば、全結合層１２ｂは、第１畳み込み層１１ａと、当該第１畳み込み層１１ａと同数（例えば、２５６）の第２畳み込み層１２ａとを結合する層である。この場合、入力データと出力データとが同一であるテンソル（配列）を得ることができる。

【0059】

制御部１１は、全結合層１２ｂから出力されたデータに対し、バッチ正規化１１ｂでチャンネル毎に特徴を正規化する。制御部１１は、全結合層１２ｂでの畳み込み演算の結果を、活性化関数１１ｃに通すことで、活性化関数によって変換する。

【0060】

本実施形態によると、少ない回数の演算で処理を行うための学習モデル１７１を提供することが可能となる。

【0061】

（実施形態２）
実施形態２は、チャンネル毎の全結合により得られた全結合層１２ｂと、第１畳み込み層１１ａとを組み合わせる形態に関する。なお、実施形態１と重複する内容については説明を省略する。

【0062】

全結合層１２ｂは、チャンネル毎の全結合を行う全結合層である。本実施形態での残差ブロック２０は、全結合層１２ｂを、第１畳み込み層１１ａと直列に接続することにより得られる。

【0063】

まず、コンピュータ１の制御部１１は、入力データを取得する。入力データは、入力データを３次元テンソル（配列）とし、各次元のサイズを（Ｃ，Ｈ，Ｗ）とする。また、当該入力データにおける変更処理（コピー、移動または変換等）を行わず、当該入力データそのもののサイズは、（Ｇ，Ｃ//Ｇ，Ｈ，Ｗ）とみなすものである。Ｇはグループ数（例えば、１）であり、且つ、Ｃ（チャンネル数）の約数である。「//」は、整数除算演算子または商演算子であり、除算結果の商（整数部）が得られる。例えば、グループ数が１である場合、入力データのサイズは（１，Ｃ，Ｈ，Ｗ）である。

【0064】

次に、制御部１１は、取得した入力データを全結合層１２ｂに入力する。制御部１１は、全結合層１２ｂに対する第１畳み込み処理を実行する。具体的には、制御部１１は、全結合層１２ｂで、入力のチャンネル数をＧとし、出力のチャンネル数を「Ｃ×Ｈ×Ｗ」とし、カーネルのサイズを（１，Ｈ，Ｗ）とし、グループ数をＧをとした畳み込み処理を実行する。制御部１１は、第１畳み込む処理により得られた、サイズが（Ｇ，Ｈ，Ｗ，Ｃ//Ｇ）である出力データを取得する。

【0065】

制御部１１は、取得した出力データを第１畳み込み層１１ａに適用する。具体的には、制御部１１は、入力のチャンネル数をＧとし、出力のチャンネル数をＣとし、カーネルのサイズを（ｋ，ｋ，Ｃ//Ｇ）、グループ数をＧとし、パディングを（ｋ//２，ｋ//２，０）とすることを第１畳み込み層１１ａに設定する。ｋは、例えば３である。

【0066】

制御部１１は、第１畳み込み層１１ａに対する第２畳み込み処理を実行する。第２畳み込み処理により得られた出力データのサイズは、（Ｃ，Ｈ，Ｗ，１）である。なお、全結合層１２ｂと第１畳み込み層１１ａとの間に、バッチ正規化１１ｂ及び活性化関数１１ｃ等が備えられても良い。上述したチャンネルの方向にストライドする畳み込み処理によって、入力データと出力データとが同一のサイズのテンソルを得ることができる。

【0067】

本実施形態によると、チャンネル毎の全結合により得られた全結合層１２ｂと、第１畳み込み層１１ａとを組み合わせることが可能となる。

【0068】

（実施形態３）
実施形態３は、学習モデル１７１を用いて、ボードゲームを実行する形態に関する。なお、実施形態１～２と重複する内容については説明を省略する。

【0069】

ボードゲームは、格子状にオブジェクトが配置されるゲームであり、例えば、将棋またはチェス等である。学習モデル１７１を用いて、ボードゲームのデータに基づき、少ない回数の演算でボードゲームを実現することができる。

【0070】

図７は、学習モデル１７１を用いてボードゲームを実行する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、ボードゲームをプレイするプレーヤーにより入力された入力データを入力部１４により取得する（ステップＳ１０１）。制御部１１は、取得した入力データを学習モデル１７１に入力し（ステップＳ１０２）、出力データを出力する（ステップＳ１０３）。

【0071】

なお、学習モデル１７１がサーバまたはクラウドサーバ上に提供されている場合、制御部１１は、サーバまたはクラウドサーバを通じて、学習モデル１７１を利用する。制御部１１は、学習モデル１７１から出力された出力データを表示部１５により表示する（ステップＳ１０４）。制御部１１は、ステップＳ１０１の処理に戻る。

【0072】

なお、上述した処理について、ボードゲームの例を説明したが、これに限るものではない。ボードゲームの他に、例えば、音階または曜日等の周期性のあるデータに基づくアプリケーションまたはゲーム等にも同様に適用することができる。

【0073】

本実施形態によると、学習モデル１７１を用いて、少ない回数の演算でボードゲームを実現することが可能となる。

【0074】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0075】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。

【符号の説明】

【0076】

１ 情報処理装置（コンピュータ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 学習モデル
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】