特許 7600972 モデル生成方法、モデル生成プログラム、モデル生成装置、データ処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】モデル生成方法、モデル生成プログラム、モデル生成装置、データ処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241210BHJP

   G06N 3/08 20230101ALI20241210BHJP

【ＦＩ】

G06N20/00

G06N3/08

【請求項の数】 10

(21)【出願番号】P 2021198049

(22)【出願日】2021-12-06

(65)【公開番号】P2023083997

(43)【公開日】2023-06-16

【審査請求日】2024-01-09

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】浅田 祐樹

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２０－１９０９９６（ＪＰ，Ａ）

【文献】特表２０１７－５２５０３８（ＪＰ，Ａ）

【文献】山下 隆義，畳み込みニューラルネットワークの研究動向，画像ラボ 第３１巻 第９号，2020年09月10日，技術雑誌(国内)202000540003

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

プロセッサ（１２）により実行され、畳み込みニューラルネットワークにおける畳み込みレイヤを行列分解した分解レイヤへ置換することにより、機械学習モデルを生成するモデル生成方法であって、
置換前の前記畳み込みレイヤに定義される元レイヤを構成する重みパラメータを、前記分解レイヤを構成する重みパラメータの行列積である重み行列積と等価な等価重み行列を構成するように、並び替えることと、
前記等価重み行列を行列分解し、複数のランクを抽出することと、
少なくとも一つの前記ランクを選別し、当該選別ランクに対応する前記重み行列積での畳み込みに基づき、前記分解レイヤを構築することとを、含むモデル生成方法。

【請求項2】

前記分解レイヤを構築することは、
前記ランクの全数よりも少数の前記選別ランクに対応する前記重み行列積での畳み込みに基づき、前記分解レイヤを構築することを、含む請求項１に記載のモデル生成方法。

【請求項3】

前記分解レイヤを構築することは、
少なくとも二つの前記選別ランクに対応する前記重み行列積での、畳み込み結果同士での要素加算により、前記分解レイヤを生成することを、含む請求項１又は２に記載のモデル生成方法。

【請求項4】

前記元レイヤの重みパラメータを並び替えることは、
デプスワイズ畳み込みフィルタとポイントワイズ畳み込みフィルタとに行列分解した前記分解レイヤの前記重み行列積と等価な前記等価重み行列を、並び替えにより取得することを、含む請求項１に記載のモデル生成方法。

【請求項5】

前記元レイヤの重みパラメータを並び替えることは、
重み共有型デプスワイズ畳み込みフィルタとポイントワイズ畳み込みフィルタとに行列分解した前記分解レイヤの前記重み行列積と等価な前記等価重み行列を、並び替えにより取得することを、含む請求項１に記載のモデル生成方法。

【請求項6】

前記元レイヤの重みパラメータを並び替えることは、
一対の一次元デプスワイズ畳み込みフィルタに行列分解した前記分解レイヤの前記重み行列積と等価な前記等価重み行列を、並び替えにより取得することを、含む請求項１に記載のモデル生成方法。

【請求項7】

前記元レイヤの重みパラメータを並び替えることは、
前回の前記元レイヤから置換された前記分解レイヤを、次回の前記元レイヤに再定義することを、含む請求項１～６のいずれか一項に記載のモデル生成方法。

【請求項8】

畳み込みニューラルネットワークにおける畳み込みレイヤを行列分解した分解レイヤへ置換することにより、機械学習モデルを生成するために記憶媒体（１０）に記憶され、プロセッサ（１２）に実行させる命令を含むモデル生成プログラムであって、
前記命令は、
置換前の前記畳み込みレイヤに定義される元レイヤを構成する重みパラメータを、前記分解レイヤを構成する重みパラメータの行列積である重み行列積と等価な等価重み行列を構成するように、並び替えさせることと、
前記等価重み行列を行列分解し、複数のランクを抽出させることと、
少なくとも一つの前記ランクを選別し、当該選別ランクに対応する前記重み行列積での畳み込みに基づき、前記分解レイヤを構築させることとを、含むモデル生成プログラム。

【請求項9】

プロセッサ（１２）を備え、畳み込みニューラルネットワークにおける畳み込みレイヤを行列分解した分解レイヤへ置換することにより、機械学習モデルを生成するモデル生成装置であって、
前記プロセッサは、
置換前の前記畳み込みレイヤに定義される元レイヤを構成する重みパラメータを、前記分解レイヤを構成する重みパラメータの行列積である重み行列積と等価な等価重み行列を構成するように、並び替えることと、
前記等価重み行列を行列分解し、複数のランクを抽出することと、
少なくとも一つの前記ランクを選別し、当該選別ランクに対応する前記重み行列積での畳み込みに基づき、前記分解レイヤを構築することとを、実行するように構成されるモデル生成装置。

【請求項10】

請求項１～７のいずれか一項に記載のモデル生成方法により生成された、前記畳み込みニューラルネットワークの前記機械学習モデルを記憶する記憶媒体（１０）と、
前記記憶媒体に記憶された前記機械学習モデルに基づくデータ処理を実行するプロセッサ（１２）とを、備えるデータ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、畳み込みニューラルネットワークの機械学習モデルを生成するモデル生成技術に、関する。

【背景技術】

【0002】

特許文献１に開示のモデル生成技術は、畳み込みニューラルネットワークの畳み込みレイヤにおいて重みパラメータにより構成される重み行列を、行列分解してから低ランク化することで、機械学習モデルを縮約している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１５５０１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示のモデル生成技術は、元の畳み込みレイヤのレイヤ構造を維持したまま、行列分解及び低ランク化を実行している。この場合、機械学習モデルの複雑化する畳み込みニューラルネットワークの処理速度を高めることに、限界が生じてしまう。

【0005】

本開示の課題は、畳み込みニューラルネットワークの処理速度を高めるモデル生成方法を、提供することにある。本開示の別の課題は、畳み込みニューラルネットワークの処理速度を高めるモデル生成プログラムを、提供することにある。本開示の別の課題は、畳み込みニューラルネットワークの処理速度を高めるモデル生成装置を、提供することにある。開示の別の課題は、畳み込みニューラルネットワークの処理速度が高いデータ処理装置を、提供することにある。

【課題を解決するための手段】

【0006】

以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。

【0007】

本開示の第一態様は、
プロセッサ（１２）により実行され、畳み込みニューラルネットワークにおける畳み込みレイヤを行列分解した分解レイヤへ置換することにより、機械学習モデルを生成するモデル生成方法であって、
置換前の畳み込みレイヤに定義される元レイヤを構成する重みパラメータを、分解レイヤを構成する重みパラメータの行列積である重み行列積と等価な等価重み行列を構成するように、並び替えることと、
等価重み行列を行列分解し、複数のランクを抽出することと、
少なくとも一つのランクを選別し、当該選別ランクに対応する重み行列積での畳み込みに基づき、分解レイヤを構築することとを、含む。

【0008】

本開示の第二態様は、
畳み込みニューラルネットワークにおける畳み込みレイヤを行列分解した分解レイヤへ置換することにより、機械学習モデルを生成するために記憶媒体（１０）に記憶され、プロセッサ（１２）に実行させる命令を含むモデル生成プログラムであって、
命令は、
置換前の畳み込みレイヤに定義される元レイヤを構成する重みパラメータを、分解レイヤを構成する重みパラメータの行列積である重み行列積と等価な等価重み行列を構成するように、並び替えさせることと、
等価重み行列を行列分解し、複数のランクを抽出させることと、
少なくとも一つのランクを選別し、当該選別ランクに対応する重み行列積での畳み込みに基づき、分解レイヤを構築させることとを、含む。

【0009】

本開示の第三態様は、
プロセッサ（１２）を備え、畳み込みニューラルネットワークにおける畳み込みレイヤを行列分解した分解レイヤへ置換することにより、機械学習モデルを生成するモデル生成装置であって、
プロセッサは、
置換前の畳み込みレイヤに定義される元レイヤを構成する重みパラメータを、分解レイヤを構成する重みパラメータの行列積である重み行列積と等価な等価重み行列を構成するように、並び替えることと、
等価重み行列を行列分解し、複数のランクを抽出することと、
少なくとも一つのランクを選別し、当該選別ランクに対応する重み行列積での畳み込みに基づき、分解レイヤを構築することとを、実行するように構成される。

【0010】

これら第一～第三態様によると、置換前の畳み込みレイヤに定義される元レイヤを構成する重みパラメータは、置換後の分解レイヤを構成する重みパラメータの重み行列積と等価な等価重み行列を構成するように、並び替えられる。これによれば、等価重み行列の行列分解で抽出された複数ランクから、少なくとも一つ選別される選別ランクに対応した重み行列積での畳み込みに基づき分解レイヤを構築することで、当該分解レイヤにおける重みパラメータ数を可及的に低減することができる。故に、畳み込みニューラルネットワークの処理速度を高めることが可能となる。

【0011】

本開示の第四態様は、データ処理装置であって、
第一態様のモデル生成方法により生成された畳み込みニューラルネットワークの機械学習モデルを記憶する記憶媒体（１０）と、
記憶媒体に記憶された機械学習モデルに基づくデータ処理を実行するプロセッサ（１２）とを、備える。

【0012】

このような第四態様によると、第一態様のモデル生成方法により生成された畳み込みニューラルネットワークの機械学習モデルに基づくデータ処理では、重みパラメータ数が可及的に低減され得た分解レイヤを通して、高い処理速度を実現することが可能となる。

【図面の簡単な説明】

【0013】

【図1】第一実施形態の全体構成を示すブロック図である。

【図2】第一実施形態による機械学習モデルを説明するための模式図である。

【図3】第一実施形態による初期レイヤを説明するための模式図である。

【図4】第一実施形態による分解レイヤを説明するための模式図である。

【図5】第一実施形態による初期レイヤを説明するための模式図である。

【図6】第一実施形態による分解レイヤを説明するための模式図である。

【図7】第一実施形態によるモデル生成装置の機能構成を示すブロック図である。

【図8】第一実施形態によるモデル生成フローを示すフローチャートである。

【図9】第一実施形態による並び替え処理を説明するための模式図である。

【図10】第一実施形態による並び替え処理を説明するための模式図である。

【図11】第一実施形態による並び替え処理を説明するための模式図である。

【図12】第一実施形態による並び替え処理を説明するための模式図である。

【図13】第一実施形態によるランク抽出処理を説明するための模式図である。

【図14】第一実施形態によるレイヤ構築処理を説明するための模式図である。

【図15】第一実施形態によるレイヤ構築処理を説明するための模式図である。

【図16】第二実施形態による分解レイヤを説明するための模式図である。

【図17】第二実施形態による分解レイヤを説明するための模式図である。

【図18】第二実施形態によるモデル生成フローを示すフローチャートである。

【図19】第二実施形態による並び替え処理を説明するための模式図である。

【図20】第二実施形態によるレイヤ構築処理を説明するための模式図である。

【図21】第二実施形態によるレイヤ構築処理を説明するための模式図である。

【図22】第三実施形態による二次分解レイヤを説明するための模式図である。

【図23】第三実施形態による一次分解レイヤを説明するための模式図である。

【図24】第三実施形態による二次分解レイヤを説明するための模式図である。

【図25】第三実施形態によるモデル生成フローを示すフローチャートである。

【図26】第三実施形態による並び替え処理を説明するための模式図である。

【図27】第三実施形態によるレイヤ構築処理を説明するための模式図である。

【図28】第三実施形態によるレイヤ構築処理を説明するための模式図である。

【発明を実施するための形態】

【0014】

以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。

【0015】

（第一実施形態）
図１に示す第一実施形態のモデル生成装置１は、畳み込みニューラルネットワークにおける畳み込みレイヤを行列分解した分解レイヤへ置換することで、機械学習モデルＭＬを生成する。そのためにモデル生成装置１は少なくとも一つの専用コンピュータを含んで構成される。モデル生成装置１を構成する専用コンピュータは、メモリ１０とプロセッサ１２とを、少なくとも一つずつ備えている。

【0016】

メモリ１０は、コンピュータにより読み取り可能なプログラム又はデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。

【0017】

図２に示すように機械学習モデルＭＬは、入力レイヤＬｉと出力レイヤＬｏとの間の中間層として畳み込みレイヤＬｍを複数有する畳み込みニューラルネットワークを、提供する。図３，４に示すように畳み込みレイヤＬｍは、チャンネル数ｃの特徴マップｎに対して畳み込み演算を遂行することで、チャンネル数ｏの特徴マップｎ+１を出力する。

【0018】

図３に示すように、畳み込みレイヤＬｍの初期構造である初期レイヤＬｍ０は、ｈ×ｗ×ｃサイズの三次元テンソルをノーマル畳み込みフィルタ（即ち、カーネル）Ｆとして、出力チャンネル数ｏ分の当該畳み込みフィルタＦから構築される。ここで、初期レイヤＬｍ０においてチャンネル数ｏの各出力チャンネル毎での畳み込みフィルタＦは、図５に示すｈ×ｗ×ｃ個の重みパラメータｗ_ｏｃｈｗを行列成分とした重み行列により、それぞれ規定される。そこで初期レイヤＬｍ０のレイヤ構造は、図５の示す結合式により表現可能となっている。尚、図５の結合式におけるｂ_ｏは、各出力チャンネル毎のバイアスパラメータである。

【0019】

図４に示すように、畳み込みレイヤＬｍの行列分解により初期レイヤＬｍ０から置換される分解レイヤＬｍｄは、同レイヤＬｍｄを構成する重みパラメータの行列積である重み行列積での、畳み込みに基づき構築される。特に第一実施形態の分解レイヤＬｍｄは、デプスワイズ（ＤＷ：Depth-Wise）畳み込みフィルタＦｄｗとポイントワイズ（ＰＷ：Point-Wise）畳み込みフィルタＦｐｗとに初期レイヤＬｍ０（図３参照）を行列分解した重み行列積での、畳み込みに基づき構築される。

【0020】

ここで、分解レイヤＬｍｄにおいて入力チャンネル数ｃ分のＤＷ畳み込みフィルタＦｄｗは、それぞれ図４に示すｈ×ｗ×１サイズの二次元テンソルであって、図６に示すｈ×ｗ個の重みパラメータｗ’_ｃｈｗを行列成分とした重み行列により、規定される。一方、分解レイヤＬｍｄにおいて出力チャンネル数ｏ分のＰＷ畳み込みフィルタＦｐｗは、それぞれ図４に示す１×１×ｃサイズの一次元テンソルであって、図６に示す重みパラメータｗ”_ｏｃを行列成分とした重み行列により、規定される。これらのことから分解レイヤＬｍｄは、図６の示す結合式により表現可能となっている。尚、図６の結合式におけるｂ_ｏは、各出力チャンネル毎のバイアスパラメータである。

【0021】

各畳み込みレイヤＬｍ毎に初期レイヤＬｍ０から置換された分解レイヤＬｍｄを含む機械学習モデルＭＬは、図１に示すようにメモリ１０に記憶される。そこでモデル生成装置１のプロセッサ１２は、メモリ１０に記憶された機械学習モデルＭＬに基づくデータ処理を実行することで、データ処理装置としても機能する。ここで、モデル生成装置１によるデータ処理は、例えば教師データを用いた機械学習モデルＭＬの機械学習処理、及び機械学習モデルＭＬに通した入力データの分析処理等のうち、少なくとも一種類である。尚、そうした教師データ及び入力データは、例えば画像データ、音声データ、文章データ、センシングデータ、車両運動データ、車両走行データ、及び環境データ等のデジタルデータのうち、少なくとも一種類に関するデータである。

【0022】

モデル生成装置１においてプロセッサ１２は、このように利用される機械学習モデルＭＬを生成するために、メモリ１０に記憶されたモデル生成プログラムに含まれる複数の命令を、実行する。これによりモデル生成装置１は、畳み込みレイヤＬｍを初期レイヤＬｍ０から分解レイヤＬｍｄへと置換することで、機械学習モデルＭＬを生成するための複数の機能ブロックを、構築する。このようにモデル生成装置１では、メモリ１０に記憶のマッチングプログラムが複数命令をプロセッサ１２に実行させることで、複数機能ブロックの各機能が実現される。こうした複数機能ブロックには、図７に示すように並び替えブロック１００、ランク抽出ブロック２００、及びレイヤ構築ブロック３００が含まれる。

【0023】

これらのブロック１００，２００，３００の共同により、モデル生成装置１が畳み込みレイヤＬｍを初期レイヤＬｍ０から分解レイヤＬｍｄへと置換することで、機械学習モデルＭＬを生成するためのモデル生成方法は、図８のモデル生成フローに従って実行される。尚、モデル生成フローにおける各「Ｓ」は、生成プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味している。

【0024】

第一実施形態のモデル生成フローでは、図８に示すようにＳ１０１～Ｓ１０３が実行される。具体的に、Ｓ１０１において並び替えブロック１００は、置換前の畳み込みレイヤＬｍとしてモデル生成装置１へ入力された初期レイヤＬｍ０を元レイヤと定義し、当該元レイヤを構成する重みパラメータｗ_ｏｃｈｗを並び替える。このとき並び替えブロック１００は、置換後の分解レイヤＬｍｄを構成する重みパラメータｗ’_ｃｈｗ，ｗ”_ｏｃ同士の行列積である重み行列積に対して、図９の如く等価となる等価重み行列ＷＭｅを構成するように、初期レイヤＬｍ０の重みパラメータｗ_ｏｃｈｗを並び替える。

【0025】

具体的に並び替えブロック１００は、元レイヤとしての初期レイヤＬｍ０を構成するノーマル畳み込みフィルタＦの重みパラメータｗ_ｏｃｈｗを、図１０に示すようにチャンネル数ｃの入力チャンネル毎に振り分ける。それと共に並び替えブロック１００は、初期レイヤＬｍ０から置換される分解レイヤＬｍｄを構成する、ＤＷ畳み込みフィルタＦｄｗの重みパラメータｗ’_ｃｈｗと、ＰＷ畳み込みフィルタＦｐｗの重みパラメータｗ”_ｏｃとを、それぞれ図１１，１２に示すように入力チャンネル毎に振り分ける。

【0026】

こうした振り分けの下で並び替えブロック１００は、図９の右辺に示す重みパラメータｗ’_ｃｈｗ，ｗ”_ｏｃ同士の重み行列積に対して等式が成立するように、図９の左辺に示す重みパラメータｗ_ｏｃｈｗを入力チャンネル毎に並び替えて等価重み行列ＷＭｅを生成する。このとき特に第一実施形態では、一列の一次元テンソルとなるＤＷ重み行列が、ＤＷ畳み込みフィルタＦｄｗの重みパラメータｗ’_ｃｈｗに関して想定される。それと共に第一実施形態では、ＤＷ重み行列との重み行列積を形成する一行の一次元テンソルとなるＰＷ重み行列が、ＰＷ畳み込みフィルタＦｐｗの重みパラメータｗ”_ｏｃに関して想定される。これらの想定から第一実施形態では、（ｈ×ｗ）×ｏサイズの二次元テンソルとなる重み行列が、等価重み行列ＷＭｅとして規定される。

【0027】

図８に示すＳ１０２においてランク抽出ブロック２００は、Ｓ１０１の並び替えブロック１００により取得された等価重み行列ＷＭｅを行列分解することで、複数のランクｒを抽出する。このとき特に第一実施形態のランク抽出ブロック２００は、図１３に示すように、重みパラメータｗ’_ｃｈｗのＤＷ重み行列に関連した分解行列Ｕと、特異値対角行列Σと、重みパラメータｗ”_ｏｃのＰＷ重み行列に関連した分解行列Ｖとの、行列積に入力チャンネル毎の等価重み行列ＷＭｅを分解する。そこで、こうした入力チャンネル毎の特異値分解においてランク抽出ブロック２００は、特異値対角行列Σの固有値成分である各特異値ω_ｒを識別するためのインデックス（図１３の例では、符号ωの下付サフィックス０，１，２）を、それぞれランクｒとして抽出する。それと共にランク抽出ブロック２００は、各ランクｒにそれぞれ対応する行列要素として、分解行列Ｕの列及び分解行列Ｖの行を、抽出する。さらに、これらの抽出結果に基づきランク抽出ブロック２００は、各ランクｒ毎に、ＤＷ重み行列を分解行列Ｕの列と特異値ω_ｒとの行列積から且つＰＷ重み行列を分解行列Ｖの行自体からそれぞれ取得、又はＤＷ重み行列を分解行列Ｕの列自体から且つＰＷ重み行列を分解行列Ｖの行と特異値ω_ｒとの行列積からそれぞれ取得する。

【0028】

図８に示すＳ１０３においてレイヤ構築ブロック３００は、Ｓ１０２のランク抽出ブロック２００により抽出された複数ランクｒから少なくとも一つのランクｒｓを選別し、当該選別ランクｒｓに対応する重み行列積での畳み込みに基づき、分解レイヤＬｍｄを構築する。このとき特に第一実施形態のレイヤ構築ブロック３００は、図１４に示すチャンネル数ｃの入力チャンネル毎に等価重み行列ＷＭｅを分解したＤＷ重み行列及びＰＷ重み行列の行列積として、ランクｒの全数（即ち、特異値対角行列Σのランク数）よりも少数となる少なくとも二つの選別ランクｒｓにそれぞれ対応した重み行列積も、選別する。ここで選別ランクｒｓは、特異値対角行列Σにおいて特異値ω_ｒの大きいランクｒから、選別されるとよい。換言すれば、特異値対角行列Σにおいて特異値ω_ｒの小さいランクｒは、選別ランクｒｓからは除外されるとよい。

【0029】

こうした選別の下でレイヤ構築ブロック３００は、図１４，１５に示すように各選別ランクｒｓに対応するＤＷ重み行列とＰＷ重み行列とでの畳み込み結果として得られる特徴マップ同士を、選別ランクｒｓに亘って要素加算することで、分解レイヤＬｍｄを取得する。具体的にレイヤ構築ブロック３００は、各選別ランクｒｓ毎に、特徴マップｎをＤＷ重み行と畳み込み演算して得られるｈｘｗｘｃの特徴マップをさらに、ＰＷ重み行列と畳み込み演算してｈｘｗｘｏの特徴マップを得てから、全ての要素毎の加算を実行してｈｘｗｘｏの特徴マップｎ＋１を出力する。ここで図１４は、各選別ランクｒｓに応じた行列成分である重みパラメータｗ’_ｃｈｗ，ｗ”_ｏｃ同士の結合を、入力チャンネル毎での分解レイヤＬｍｄの構造として表現している。但し、図１４では、選別ランクｒｓとの対応関係を明確にするため、説明の便宜上、各重みパラメータｗ’_ｃｈｗ，ｗ”_ｏｃに付した上付サフィックスにより、対応する選別ランクｒｓを表している。

【0030】

以上によりレイヤ構築ブロック３００は、入力に応じてメモリ１０に記憶された元レイヤの初期レイヤＬｍ０を、選別ランクｒｓに基づき構築した分解レイヤＬｍｄへと置換する。このとき、例えば機械学習が必要となるようなＤＷ畳み込みとＰＷ畳み込みとの組み合わせであっても、畳み込みレイヤＬｍからの置換が、機械学習なしに劣化を抑制且つ精度を保持して実現可能となる。

【0031】

（作用効果）
以上説明した第一実施形態の作用効果を、以下に説明する。

【0032】

第一実施形態によると、置換前の畳み込みレイヤＬｍに定義される元レイヤとして初期レイヤＬｍ０を構成する重みパラメータｗ_ｏｃｈｗは、置換後の分解レイヤＬｍｄを構成する重みパラメータｗ’_ｃｈｗ，ｗ”_ｏｃの重み行列積と等価な等価重み行列ＷＭｅを構成するように、並び替えられる。これによれば、等価重み行列ＷＭｅの行列分解で抽出された複数ランクｒから、少なくとも一つ選別される選別ランクｒｓに対応した重み行列積での畳み込みに基づき分解レイヤＬｍｄを構築することで、当該分解レイヤＬｍｄにおける重みパラメータ数を可及的に低減することができる。故に、畳み込みニューラルネットワークの処理速度を高めることが可能となる。また、畳み込みニューラルネットワークでの演算量を低減すると共に、置換後のレイヤ構造を統一させて、ハードウェアとしてのモデル生成装置１の小型化を図ることも可能となる。

【0033】

第一実施形態によると、ランクｒの全数よりも少数の選別ランクｒｓに対応する重み行列積での畳み込みに基づき、分解レイヤＬｍｄを構築するので、重みパラメータ数の低減効果を高めることができる。故に第一実施形態は、畳み込みニューラルネットワークの処理速度を高める上で、有利となる。また第一実施形態は、モデル生成装置１の小型化を図る上でも有利となる。

【0034】

第一実施形態によると、少なくとも二つの選別ランクｒｓに対応する重み行列積での、畳み込み結果同士での要素加算により、分解レイヤＬｍｄを生成するので、置換精度を高めることができる。ここで特に第一実施形態では、選別ランクｒｓがランクｒの全数よりも少数であることとも相俟って、低ランク近似による置換精度を高めることができる。故に第一実施形態は、畳み込みニューラルネットワークの処理速度と共に、処理精度を高める上で有利となる。また第一実施形態は、処理精度の高いモデル生成装置１の小型化を図る上でも有利となる。

【0035】

第一実施形態によると、ＤＷ畳み込みフィルタＦｄｗとＰＷ畳み込みフィルタＦｐｗとに行列分解した分解レイヤＬｍｄの重み行列積と等価となるように、等価重み行列ＷＭｅが初期レイヤＬｍ０での重みパラメータｗ_ｏｃｈｗの並び替えによって取得される。このようなＤＷ畳み込み及びＰＷ畳み込みの組み合わせによれば、選別ランクｒｓに対応する重み行列積での畳み込みに基づくレイヤ構築と相俟って、分解レイヤＬｍｄにおける重みパラメータ数の低減効果を高めることができる。故に第一実施形態は、畳み込みニューラルネットワークの処理速度を高める上で、有利となる。また第一実施形態は、モデル生成装置１の小型化を図る上でも有利となる。

【0036】

第一実施形態によると、モデル生成方法により生成された畳み込みニューラルネットワークの機械学習モデルＭＬに基づくデータ処理では、重みパラメータ数が可及的に低減され得た分解レイヤＬｍｄを通して、高い処理速度を実現することが可能となる。また、畳み込みニューラルネットワークでのデータ処理の演算量が低減されると共に、レイヤ構造が統一されることから、データ処理装置として機能するハードウェアでもあるモデル生成装置１の小型化を図ることが可能となる。

【0037】

（第二実施形態）
第二実施形態は、第一実施形態の変形例である。

【0038】

第二実施形態において図１６に示すように分解レイヤＬｍｄは、重み共有型のＤＷ畳み込みフィルタＦｄｗｓとＰＷ畳み込みフィルタＦｐｗとに初期レイヤＬｍ０を行列分解した重み行列積での、畳み込みに基づき構築される。特に第二実施形態の分解レイヤＬｍｄでは、第一実施形態に準じて規定される出力チャンネル数ｏ分のＰＷ畳み込みフィルタＦｐｗに対して、単一のＤＷ畳み込みフィルタＦｄｗｓが共有化される。

【0039】

ここで重み共有型ＤＷ畳み込みフィルタＦｄｗｓは、図１６に示すｈ×ｗ×１サイズの二次元テンソルであって、図１７に示すｈ×ｗ個の重みパラメータｗ’_ｈｗを行列成分とした重み行列により、規定される。そこで第二実施形態の分解レイヤＬｍｄは、図１７の示す結合式により表現可能となっている。尚、図１７の結合式におけるｂ_ｏは、各出力チャンネル毎のバイアスパラメータである。

【0040】

こうした第二実施形態の図１８に示すモデル生成フローでは、第一実施形態のＳ１０１～Ｓ１０３に代えて、Ｓ２０１～Ｓ２０３が実行される。具体的にＳ２０１において並び替えブロック１００は、分解レイヤＬｍｄを構成する重みパラメータｗ’_ｈｗ，ｗ”_ｏｃ同士の重み行列積に対して、元レイヤである初期レイヤＬｍ０の重みパラメータｗ_ｏｃｈｗを並び替える。このとき特に第二実施形態の並び替えブロック１００は、図１９の右辺に示す重みパラメータｗ’_ｈｗ，ｗ”_ｏｃ同士の重み行列積に対して等式が成立するように、図１９の左辺に示す重みパラメータｗ_ｏｃｈｗを並び替えて等価重み行列ＷＭｅを生成する。

【0041】

ここで、ＰＷ畳み込みフィルタＦｐｗの重みパラメータｗ”_ｏｃに関して第一実施形態に準じて一行の一次元テンソルに想定されるＰＷ重み行列に対し、ＤＷ畳み込みフィルタＦｄｗｓの重みパラメータｗ’_ｈｗに関しては、一列の一次元テンソルとなるＤＷ重み行列が想定される。そこで第二実施形態では、（ｈ×ｗ）×（ｏ×ｃ）サイズの二次元テンソルとなる重み行列が、ＤＷ重み行列及びＰＷ重み行列の行列積と等価な等価重み行列ＷＭｅとして、規定される。

【0042】

図１８に示す第二実施形態のモデル生成フローでは、Ｓ２０２においてランク抽出ブロック２００が、Ｓ２０１の並び替えブロック１００により取得された等価重み行列ＷＭｅを行列分解することで、複数のランクｒを抽出する。このとき特に第二実施形態のランク抽出ブロック２００は、重みパラメータｗ’_ｈｗのＤＷ重み行列に関連した分解行列Ｕと、特異値対角行列Σと、重みパラメータｗ”_ｏｃのＰＷ重み行列に関連した分解行列Ｖとの、行列積に等価重み行列ＷＭｅを分解する。そこで第二実施形態のランク抽出ブロック２００は、特異値対角行列Σにおける各特異値ω_ｒのランクｒと、それぞれ対応する分解行列Ｕの列及び分解行列Ｖの行を、抽出する。さらに、これらの抽出結果に基づき第二実施形態のランク抽出ブロック２００は、各ランクｒ毎に、ＤＷ重み行列を分解行列Ｕの列と特異値ω_ｒとの行列積から且つＰＷ重み行列を分解行列Ｖの行自体からそれぞれ取得、又はＤＷ重み行列を分解行列Ｕの列自体から且つＰＷ重み行列を分解行列Ｖの行と特異値ω_ｒとの行列積からそれぞれ取得する。

【0043】

さらに第二実施形態のモデル生成フローでは、Ｓ２０３においてレイヤ構築ブロック３００が、Ｓ２０２のランク抽出ブロック２００により抽出された複数ランクｒから選別した選別ランクｒｓに対応する重み行列積での畳み込みに基づき、分解レイヤＬｍｄを構築する。このとき特に第二実施形態のレイヤ構築ブロック３００は、図２０に示すように等価重み行列ＷＭｅを分解したＤＷ重み行列及びＰＷ重み行列の行列積として、ランクｒの全数よりも少数となる少なくとも二つの選別ランクｒｓにそれぞれ対応した重み行列積も、選別する。

【0044】

こうした選別の下で第二実施形態のレイヤ構築ブロック３００は、図２０，２１に示すように各選別ランクｒｓに対応する重み共有型ＤＷ重み行列とＰＷ重み行列とでの畳み込み結果として得られる特徴マップを、選別ランクｒｓに亘って要素加算することで、分解レイヤＬｍｄを取得する。ここで図２０は、各選別ランクｒｓに応じた行列成分である重みパラメータｗ’_ｈｗ，ｗ”_ｏｃ同士の結合を、分解レイヤＬｍｄの構造として表現している。但し、図２０では、選別ランクｒｓとの対応関係を明確にするため、説明の便宜上、各重みパラメータｗ’_ｈｗ，ｗ”_ｏｃに付した上付サフィックスにより、対応する選別ランクｒｓを表している。以上により第二実施形態のレイヤ構築ブロック３００も、入力に応じてメモリ１０に記憶された元レイヤの初期レイヤＬｍ０を、選別ランクｒｓに基づき構築した分解レイヤＬｍｄへと置換する。

【0045】

以上説明した第二実施形態によると、置換前の畳み込みレイヤＬｍに定義される元レイヤとして初期レイヤＬｍ０を構成する重みパラメータｗ_ｏｃｈｗは、置換後の分解レイヤＬｍｄを構成する重みパラメータｗ’_ｈｗ，ｗ”_ｏｃの重み行列積と等価な等価重み行列ＷＭｅを構成するように、並び替えられる。これによれば、第一実施形態と同様の原理から、分解レイヤＬｍｄにおける重みパラメータ数を可及的に低減して、畳み込みニューラルネットワークの処理速度を高めることが可能となる。また、畳み込みニューラルネットワークでの演算量を低減すると共に、置換後のレイヤ構造を統一させて、モデル生成装置１の小型化を図ることも可能となる。

【0046】

さらに第二実施形態によると、重み共有型ＤＷ畳み込みフィルタＦｄｗｓとＰＷ畳み込みフィルタＦｐｗとに行列分解した分解レイヤＬｍｄの重み行列積と等価となるように、等価重み行列ＷＭｅが初期レイヤＬｍ０での重みパラメータｗ_ｏｃｈｗの並び替えによって取得される。このようにＰＷ畳み込みに対して重みパラメータｗ’_ｈｗを共有化したＤＷ畳み込みによれば、選別ランクｒｓに対応する重み行列積での畳み込みに基づくレイヤ構築と相俟って、分解レイヤＬｍｄにおける重みパラメータ数の低減効果を高めることができる。故に第二実施形態は、畳み込みニューラルネットワークの処理速度を高める上で、有利となる。また第二実施形態は、モデル生成装置１の小型化を図る上でも有利となる。

【0047】

（第三実施形態）
第三実施形態は、第二実施形態の変形例である。

【0048】

第三実施形態の畳み込みレイヤＬｍとしては、前回の元レイヤである初期レイヤＬｍ０から第二実施形態に従って置換された一次分解レイヤＬｍｄが、次回の元レイヤに再定義されることで、さらに行列分解された二次分解レイヤＬｍｄ２へと置換される。そこで図２２に示すように二次分解レイヤＬｍｄ２は、一次分解レイヤＬｍｄのうち重み共有型ＤＷ畳み込みフィルタＦｄｗｓを一対の一次元ＤＷ畳み込みフィルタＦｄｗ２へとさらに行列分解した重み行列積での、畳み込みに基づき構築される。

【0049】

以下の説明では、再定義後の元レイヤとなる一次分解レイヤＬｍｄのうち重み共有型ＤＷ畳み込みフィルタＦｄｗｓに関して、図２３の結合式にて示すように便宜上、第二実施形態で説明の重みパラメータｗ’_ｈｗが重みパラメータｗ_ｈｗと再定義されているものとする。尚、図２３の結合式におけるｂは、バイアスパラメータである。

【0050】

一対のＤＷ畳み込みフィルタＦｄｗ２のうち一方は、図２２に示す１×ｗ×１サイズの一次元テンソルであって、図２４に示すｗ個の重みパラメータｗ’_ｗを行列成分とした重み行列により、規定される。これに対して他方のＤＷ畳み込みフィルタＦｄｗ２は、図２２に示すｈ×１×１サイズの一次元テンソルであって、図２４に示すｈ個の重みパラメータｗ”_ｈを行列成分とした重み行列により、規定される。これらのことから第三実施形態の二次分解レイヤＬｍｄ２は、図２４の示す結合式により表現可能となっている。尚、図２４の結合式におけるｂは、バイアスパラメータである。

【0051】

こうした第三実施形態の図２５に示すモデル生成フローでは、Ｓ２０１～Ｓ２０３の実行後に、Ｓ３０１～Ｓ３０３が実行される。具体的にＳ３０１において並び替えブロック１００は、二次分解レイヤＬｍｄ２を構成する重みパラメータｗ’_ｗ，ｗ”_ｈ同士の重み行列積に対して、元レイヤに再定義の一次分解レイヤＬｍｄのうちＤＷ畳み込みフィルタＦｄｗｓの重みパラメータｗ_ｈｗを並び替える。このとき特に第三実施形態の並び替えブロック１００は、図２６の右辺に示す重みパラメータｗ’_ｗ，ｗ”_ｈ同士の重み行列積に対して等式が成立するように、図２６の左辺に示す重みパラメータｗ_ｈｗを並び替えて等価重み行列ＷＭｅを生成する。

【0052】

ここで、各ＤＷ畳み込みフィルタＦｄｗｓのうち、一方の重みパラメータｗ’_ｗに関しては一列の一次元テンソルとなるＤＷ重み行列が、また他方の重みパラメータｗ”_ｈに関しては一行の一次元テンソルとなるＤＷ重み行列が、それぞれ想定される。そこで第三実施形態では、ｈ×ｗサイズの二次元テンソルとなる重み行列が、等価重み行列ＷＭｅとして規定される。

【0053】

図２５に示す第三実施形態のモデル生成フローでは、Ｓ３０２においてランク抽出ブロック２００が、Ｓ３０１の並び替えブロック１００により取得された等価重み行列ＷＭｅを行列分解することで、複数のランクｒを再抽出する。このとき特に第三実施形態のランク抽出ブロック２００は、一方の重みパラメータｗ’_ｗのＤＷ重み行列に関連した分解行列Ｕと、特異値対角行列Σと、他方の重みパラメータｗ”_ｈのＤＷ重み行列に関連した分解行列Ｖとの、行列積に等価重み行列ＷＭｅを分解する。そこで第三実施形態のランク抽出ブロック２００は、特異値対角行列Σにおける各特異値ω_ｒのランクｒと、それぞれ対応する分解行列Ｕの列及び分解行列Ｖの行を、抽出する。さらに、これらの抽出結果に基づき第三実施形態のランク抽出ブロック２００は、各ランクｒ毎に、一方のＤＷ重み行列を分解行列Ｕの列と特異値ω_ｒとの行列積から且つ他方のＤＷ重み行列を分解行列Ｖの行自体からそれぞれ取得、又は一方のＤＷ重み行列を分解行列Ｕの列自体から且つ他方のＤＷ重み行列を分解行列Ｖの行と特異値ω_ｒとの行列積自体からそれぞれ取得する。

【0054】

さらに第三実施形態のモデル生成フローでは、Ｓ３０３においてレイヤ構築ブロック３００が、Ｓ３０２のランク抽出ブロック２００により抽出された複数ランクｒから選別した選別ランクｒｓに対応する重み行列積での畳み込みに基づき、二次分解レイヤＬｍｄ２を構築する。このとき特に第三実施形態のレイヤ構築ブロック３００は、図２７に示すように等価重み行列ＷＭｅを分解した一対のＤＷ重み行列の行列積として、ランクｒの全数よりも少数となる少なくとも二つの選別ランクｒｓにそれぞれ対応した重み行列積も、選別する。

【0055】

こうした選別の下で第三実施形態のレイヤ構築ブロック３００は、図２７，２８に示すように各選別ランクｒｓに対応する一対の一次元ＤＷ重み行列での畳み込み結果として得られる特徴マップ同士を、選別ランクｒｓに亘って要素加算することで、二次分解レイヤＬｍｄ２を取得する。ここで図２７は、各選別ランクｒｓに応じた行列成分である重みパラメータｗ’_ｗ，ｗ”_ｈ同士の結合を、二次分解レイヤＬｍｄ２の構造として表現している。但し、図２７では、選別ランクｒｓとの対応関係を明確にするため、説明の便宜上、各重みパラメータｗ’_ｗ，ｗ”_ｈに付した上付サフィックスにより、対応する選別ランクｒｓを表している。以上により第三実施形態のレイヤ構築ブロック３００は、Ｓ２０１～Ｓ２０３によりメモリ１０に記憶された元レイヤとしての一次分解レイヤＬｍｄのうち重み共有型ＤＷ畳み込みフィルタＦｄｗｓに関するレイヤ構造を、選別ランクｒｓに基づき構築した二次分解レイヤＬｍｄ２へと置換する。

【0056】

以上説明した第三実施形態によると、前回の元レイヤである一次分解レイヤＬｍｄから置換された二次分解レイヤＬｍｄ２が、次回の元レイヤに再定義される。その結果、一次分解レイヤＬｍｄを構成する重みパラメータｗ_ｈｗは、置換後の二次分解レイヤＬｍｄ２を構成する重みパラメータｗ’_ｗ，ｗ”_ｈの重み行列積と等価な等価重み行列ＷＭｅを構成するように、並び替えられる。これによれば、第一実施形態と同様の原理から、前回置換の一次分解レイヤＬｍｄからさらに重みパラメータ数の可及的に低減された二次分解レイヤＬｍｄ２を、前回に続く次回の置換によって構築することができる。故に第三実施形態は、畳み込みニューラルネットワークの処理速度を高める上で、有利となる。また第三実施形態は、畳み込みニューラルネットワークでの演算量を低減すると共に、置換後のレイヤ構造を統一させて、モデル生成装置１の小型化を図る上でも有利となる。

【0057】

ここで第三実施形態によると、一対の一次元ＤＷ畳み込みフィルタＦｄｗ２に行列分解した二次分解レイヤＬｍｄ２の重み行列積と等価な等価重み行列ＷＭｅが、一次分解レイヤＬｍｄでの重みパラメータｗ_ｈｗの並び替えによって取得される。このような一次元ＤＷ畳み込みの組み合わせによれば、選別ランクｒｓに対応する重み行列積での畳み込みに基づくレイヤ構築と相俟って、二次分解レイヤＬｍｄ２における重みパラメータ数の低減効果を高めることができる。故に第三実施形態は、畳み込みニューラルネットワークの処理速度を高める上で、有利となる。また第三実施形態は、モデル生成装置１の小型化を図る上でも有利となる。

【0058】

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

【0059】

変形例においてモデル生成装置１を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。

【0060】

変形例では、重み行列積をなすフィルタＦｄｗ，Ｆｐｗの順番が、第一実施形態において説明の順番とは入れ替えられていてもよい。変形例では、重み行列積をなすフィルタＦｄｗｓ，Ｆｐｗの順番が、第二実施形態において説明の順番とは入れ替えられていてもよい。変形例では、重み行列積をなす一対のフィルタＦｄｗ２，Ｆｄｗ２の順番が、第三実施形態において説明の順番とは入れ替えられていてもよい。

【0061】

変形例では、特異値分解以外の分解手法、例えば主成分分析、又は固有値分解等により行列分解が実現されてもよい。変形例では、処理速度と処理精度とのトレードオフにより選別ランクｒｓの数が調整されてもよい。変形例では、選別ランクｒｓの数が可及的に減らされることで、分解レイヤＬｍｄ，Ｌｍｄ２の重みパラメータが置換後に機械学習されてもよい。

【0062】

変形例の選別ランクｒｓには、全数よりも少数となる単一のランクｒ、好適には最大特異値ω_ｒ（図１３ではω_０）に対応するランクｒ（図１３では０）が、選別されてもよい。この場合、単一の選別ランクｒｓに対応した重み行列積のみでの畳み込みに基づき、分解レイヤＬｍｄ，Ｌｍｄ２が構築されるとよい。変形例の選別ランクｒｓには、全数のランクｒが選別されてもよい。この場合、全数の選別ランクｒｓに対応した重み行列積での、畳み込み結果同士での要素加算により、分解レイヤＬｍｄ，Ｌｍｄ２が構築されるとよい。

【0063】

変形例では、第三実施形態の分解レイヤＬｍｄが畳み込みレイヤＬｍの初期レイヤＬｍ０であってもよい。この場合、第三実施形態のモデル生成フローにおいてＳ２０１～Ｓ２０３の実行が省かれて、Ｓ３０１～Ｓ３０３のみが実行されることで、元レイヤとしてのレイヤＬｍｄが、行列分解されたレイヤＬｍｄ２へと置換されてもよい。

【0064】

変形例においてモデル生成装置１は、データ処理装置としての機能を備えていなくてもよい。以上の他、説明した各実施形態及び変形例は、モデル生成装置１のプロセッサ１２及びメモリ１０を少なくとも一つずつ有した半導体装置（例えば半導体チップ等）として、実施されてもよい。

【符号の説明】

【0065】

１：モデル生成装置、１０：メモリ、１２：プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】