特許 7501526 推論モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】推論モデルの生成方法

(51)【国際特許分類】

   G06N 3/045 20230101AFI20240611BHJP

   G06N 3/096 20230101ALI20240611BHJP

【ＦＩ】

G06N3/045

G06N3/096

【請求項の数】 19

(21)【出願番号】P 2021516065

(86)(22)【出願日】2020-04-16

(86)【国際出願番号】 JP2020016796

(87)【国際公開番号】W WO2020218172

(87)【国際公開日】2020-10-29

【審査請求日】2023-03-15

(31)【優先権主張番号】P 2019081597

(32)【優先日】2019-04-23

(33)【優先権主張国・地域又は機関】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年７月２６日にインターネットアドレスｈｔｔｐ：／／ｃｖｉｍ．ｉｐｓｊ．ｏｒ．ｊｐ／ＭＩＲＵ２０１９／ｉｎｄｅｘ．ｐｈｐ？ｉｄ＝ｅａにおいて発表 令和１年７月３０日に第２２回 画像の認識・理解シンポジウム（ＭＩＲＵ２０１９）において発表

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100189430

【弁理士】

【氏名又は名称】吉川 修一

(74)【代理人】

【識別番号】100190805

【弁理士】

【氏名又は名称】傍島 正朗

(72)【発明者】

【氏名】笹川 幸宏

【審査官】新井 則和

(56)【参考文献】

【文献】特許第６３５５８００（ＪＰ，Ｂ１）

【文献】福島 龍輝 外，オートエンコーダによる言語表現から画像表現変換手法の提案，２０１９年電子情報通信学会総合大会講演論文集 情報・システム１，2019年03月05日，５１頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

学習済であるマルチレイヤ構造の第１の推論モデルの出力データおよび学習済であるマルチレイヤ構造の第２の推論モデルの入力データが同じ種別のデータで構成される場合において、前記第１の推論モデルおよび前記第２の推論モデルを用いて新たな推論モデルを生成する方法であって、
前記第１の推論モデルの入力レイヤから所定の中間レイヤまでの部分を有する第１の部分推論モデルを準備するステップと、
前記第２の推論モデルの所定の中間レイヤから出力レイヤまでの部分を有する第２の部分推論モデルを準備するステップと、
前記第１の部分推論モデルと前記第２の部分推論モデルとの間に、前記第１の推論モデルの所定の中間レイヤと前記第２の推論モデルの所定の中間レイヤとを繋ぐグルーレイヤを配置することにより、前記新たな推論モデルを生成するステップと
を含む推論モデルの生成方法。

【請求項2】

前記第１の推論モデルを推論する対象物の集まりであるドメイン、および、前記第２の推論モデルを推論する対象物の集まりであるドメインは、互いに異なる
請求項１に記載の推論モデルの生成方法。

【請求項3】

前記同じ種別のデータは、画像データである
請求項１または２に記載の推論モデルの生成方法。

【請求項4】

前記新たな推論モデルを生成するステップの前記グルーレイヤは、未学習である
請求項１～３のいずれか１項に記載の推論モデルの生成方法。

【請求項5】

さらに、前記第１の部分推論モデルを準備するステップの前に、前記第１の推論モデルの所定の中間レイヤを決定するステップを含み、
当該所定の中間レイヤを決定するステップは、前記第１の推論モデルの複数の中間レイヤのうち前記第１の推論モデルへの入力データの主成分を表現している中間レイヤを当該所定の中間レイヤとして決定する
請求項１～４のいずれか１項に記載の推論モデルの生成方法。

【請求項6】

さらに、前記第２の部分推論モデルを準備するステップの前に、前記第２の推論モデルの所定の中間レイヤを決定するステップを含み、
当該所定の中間レイヤを決定するステップは、前記第２の推論モデルの入力レイヤから中間レイヤまでをオートエンコーダで折り返して再構築した場合の入力と出力との誤差が閾値以下となる中間レイヤの１つを当該所定の中間レイヤとして決定する
請求項１～４のいずれか１項に記載の推論モデルの生成方法。

【請求項7】

前記誤差が閾値以下となる中間レイヤのうち、前記第２の推論モデルの入力レイヤからレイヤ構造として最も離れた中間レイヤを当該所定の中間レイヤとして決定する
請求項６に記載の推論モデルの生成方法。

【請求項8】

前記グルーレイヤは、前記第１の部分推論モデルの出力データを前記第２の部分推論モデルの入力データに変換し、コンボルーション（ｃｏｎｖｏｌｕｔｉｏｎ）を行うレイヤ、プーリング（Ｐｏｏｌｉｎｇ）を行うレイヤ、および、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）を行うレイヤ、のいずれか１つ、または、複数を組合せて構成される
請求項１～７のいずれか１項に記載の推論モデルの生成方法。

【請求項9】

さらに、前記新たな推論モデルを学習させる学習ステップを含む
請求項１～８のいずれか１項に記載の推論モデルの生成方法。

【請求項10】

前記学習ステップは、前記グルーレイヤの入出力に合わせた学習データセットを用いて、前記グルーレイヤを学習させる
請求項９に記載の推論モデルの生成方法。

【請求項11】

前記第１の推論モデルの前記所定の中間レイヤより後段の部分の逆関数機能モデルに対して、前記第１の推論モデルの複数の出力データを入力データとして入力し、得られた複数の推論データを前記学習データセットにおける入力データセットとする
請求項１０に記載の推論モデルの生成方法。

【請求項12】

前記逆関数機能モデルは、
前記第１の推論モデルの前記所定の中間レイヤより後段の全レイヤを、出力レイヤを入力レイヤとして逆に並べて数学的に構築した推論モデルであるか、または、
前記第１の推論モデルの前記所定の中間レイヤより後段の全レイヤを用いてオートエンコーダを構築し、前記オートエンコーダに対して前記第１の推論モデルの出力データを用いて学習させて得られる推論モデルである
請求項１１に記載の推論モデルの生成方法。

【請求項13】

前記逆関数機能モデルは、蒸留モデルであって、
前記蒸留モデルは、前記蒸留モデルに前記第１の推論モデルの学習データセットにおけるラベルデータを入力したときの出力データである第１データが、前記第１の推論モデルの前記所定の中間レイヤまでの部分である第１の部分推論モデルに、前記ラベルデータと対になる前記第１の推論モデルの学習データセットにおける入力データを入力したときの出力データである第２データに対して、誤差が小さくなるように学習させて得られる推論モデルである
請求項１１に記載の推論モデルの生成方法。

【請求項14】

前記蒸留モデルは、さらに、
前記第１の推論モデルの前記所定の中間レイヤより後段のモデルに、前記第２データを入力したときの出力データである第３データが、前記ラベルデータに対して誤差が小さくなるように学習させて得られる推論モデルである
請求項１３に記載の推論モデルの生成方法。

【請求項15】

前記第２の推論モデルに対して、前記第２の推論モデルの複数の入力データを入力し、得られた複数の推論データを前記学習データセットにおける出力データセットとする
請求項１１～１４のいずれか１項に記載の推論モデルの生成方法。

【請求項16】

前記学習ステップは、前記グルーレイヤと前記第２の部分推論モデルとを結合させた結合モデルの入出力に合わせた学習データセットを用いて、前記結合モデルを学習させる
請求項９に記載の推論モデルの生成方法。

【請求項17】

前記第１の推論モデルの前記所定の中間レイヤより後段の部分の逆関数機能モデルに対して、前記第１の推論モデルの複数の出力データを入力データとして入力し、得られた複数の推論データを前記学習データセットにおける入力データセットとする
請求項１６に記載の推論モデルの生成方法。

【請求項18】

前記逆関数機能モデルは、
前記第１の推論モデルの前記所定の中間レイヤより後段の全レイヤを、出力レイヤを入力レイヤとして逆に並べて数学的に構築した推論モデルであるか、または、
前記第１の推論モデルの前記所定の中間レイヤより後段の全レイヤを用いてオートエンコーダを構築し、前記オートエンコーダに対して前記第１の推論モデルの出力データを用いて学習させて得られる推論モデルである
請求項１７に記載の推論モデルの生成方法。

【請求項19】

前記第２の推論モデルに対して、前記第２の推論モデルの複数の入力データを入力し、得られた複数の推論データを前記学習データセットにおける出力データセットとする
請求項１７または１８に記載の推論モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習済である複数の推論モデルを用いて新たな推論モデルを生成する推論モデルの生成方法に関する。

【背景技術】

【0002】

入力されたデータに対する識別または分類を行う場合に、ニューラルネットワーク（以下、ネットワークと呼ぶ）で構成される推論モデルが用いられる。推論モデルを生成する方法の一例として、特許文献１には、予め第１のネットワークを第１のデータと第１のラベルとで学習させることで、第１のネットワークにて第２のネットワークの第２のラベルを生成し、その後、第２のネットワークを第２のラベルを用いて学習させることで、第２のネットワークを有する推論モデルを生成する方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１８－５２５７３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら特許文献１に記載された方法では、推論モデルを生成する際の負荷が大きくなる場合がある。

【0005】

本開示は、推論モデルを生成する際の負荷を軽減することができる推論モデルの生成方法等を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一形態に係る推論モデルの生成方法は、学習済であるマルチレイヤ構造の第１の推論モデルの出力データおよび学習済であるマルチレイヤ構造の第２の推論モデルの入力データが同じ種別のデータで構成される場合において、前記第１の推論モデルおよび前記第２の推論モデルを用いて新たな推論モデルを生成する方法であって、前記第１の推論モデルの入力レイヤから所定の中間レイヤまでの部分を有する第１の部分推論モデルを準備するステップと、前記第２の推論モデルの所定の中間レイヤから出力レイヤまでの部分を有する第２の部分推論モデルを準備するステップと、前記第１の部分推論モデルと前記第２の部分推論モデルとの間に、前記第１の推論モデルの所定の中間レイヤと前記第２の推論モデルの所定の中間レイヤとを繋ぐグルーレイヤを配置することにより、前記新たな推論モデルを生成するステップとを含む。

【発明の効果】

【0008】

本開示の推論モデルの生成方法等によれば、推論モデルを生成する際の負荷を軽減することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、比較例１の推論モデルを示す図である。

【図2】図２は、比較例２の推論モデルを示す図である。

【図3】図３は、実施の形態に係る推論モデルの使用例を示す図である。

【図4】図４は、実施の形態に係る推論モデルを示す図である。

【図5A】図５Ａは、実施の形態に係る推論モデルのグルーレイヤの一例を示す図である。

【図5B】図５Ｂは、実施の形態に係る推論モデルのグルーレイヤの他の一例を示す図である。

【図6】図６は、実施の形態に係る推論モデル生成装置の機能をソフトウェアにより実現するハードウェア構成の一例を示す図である。

【図7】図７は、実施の形態に係る推論モデルの生成方法を示すフローチャートである。

【図8】図８は、第１の推論モデルから第１の部分推論モデルを抜き出すための区切りとなる所定の中間レイヤを決定するステップを示す図である。

【図9】図９は、第２の推論モデルから第２の部分推論モデルを抜き出すための区切りとなる所定の中間レイヤを決定するステップを示す図である。

【図10A】図１０Ａは、推論モデルを学習させるステップの一例を示す図である。

【図10B】図１０Ｂは、推論モデルを学習させるステップの他の一例を示す図である。

【図11】図１１は、推論モデルを学習させるステップの他の一例を示す図である。

【発明を実施するための形態】

【0010】

（本開示の一態様に至る経緯）
入力されたデータに対する識別または分類を行う場合に、複数のネットワークで構成される推論モデルが用いられることがある。複数のネットワークで構成される推論モデルについて、比較例１および比較例２を参照しながら説明する。

【0011】

図１は、比較例１の推論モデルを示す図である。

【0012】

比較例１の推論モデルは、例えば、画像データに基づいて画像に含まれる対象物の名称および位置を得るモデルであり、１つのドメインで学習させたネットワークを別のネットワークに適用することで生成される。具体的には、比較例１の推論モデルは、まず、ネットワーク１ａに対して対象物の画像（例えば複数の車の画像）が含まれる画像データを入力し、出力が対象物の名称「車」となるように教示することでネットワーク１ａの学習を行う。その後、ネットワーク１ａの後段に、画像中の対象物の位置（ｘ、ｙ）を検出するための別のネットワークを結合する。そして、結合してできたネットワーク１ｂに対して画像データを入力し、出力が対象物の名称および位置となるように教示することで、推論モデルを生成する。

【0013】

しかしながら、比較例１の推論モデルでは、ＲＧＢデータのように推論モデルを学習させるための学習データセットが多く公開されている場合は問題ないが、ＲＡＷデータのように学習データセットがほとんど公開されていない場合は、推論モデルを容易に生成することができないという問題がある。

【0014】

図２は、比較例２の推論モデルを示す図である。

【0015】

比較例２の推論モデルは、例えば、画像データに基づいて対象物の位置認識を行うモデルであり、２つの学習済のネットワークを単純に結合することで生成される。具体的には、比較例２の推論モデルは、ＲＡＷデータをＲＧＢデータに変換するネットワーク２ａ、および、ＲＧＢデータに基づいて対象物の位置認識を行うネットワーク２ｂを互いに結合することで生成される。

【0016】

しかしながら比較例２の推論モデルでは、２つのネットワーク２ａ、２ｂのデータの受け渡しがＲＧＢデータで行われるため、図２のＩＩ部に示すように、ＲＧＢデータを生成するレイヤ、および、ＲＧＢデータから位置認識を行うためのデータを生成するレイヤが必要となる。そのため、推論モデルとして冗長性を有し、推論モデルを用いて実際に推論を行う際に多くの演算処理が必要になるという問題がある。

【0017】

本開示の推論モデルの生成方法は、このような問題を解決するためになされたものであり、新しい推論モデルを学習させるための学習データセットが存在しない場合であっても、推論モデルを生成する際の負荷を軽減することができる。また、本開示の推論モデルの生成方法によれば、冗長性の少ない推論モデルを生成することができる。

【0018】

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。

【0019】

なお、本明細書中におけるＲＡＷデータとは、イメージセンサが捉えた光の情報がそのまま記録された生の画像データである。ＲＧＢデータとは、ＲＡＷデータが圧縮変換されることで生成されたデータであって、赤色、緑色および青色が組み合わせられた画像データである。ＲＧＢデータのデータ形式としては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ-Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＧＩＦ（Ｃｏｍｐｕｓｅｒｖｅ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）などが挙げられる。ドメインとは、推論モデルにて推論する対象物の集まりである。学習データセットは、ドメインのサブセットであり、推論モデルを学習させるための入力データと入力データに対応するラベルとで構成される。

【0020】

（実施の形態）
実施の形態に係る推論モデルおよび推論モデルの生成方法について説明する。

【0021】

［１．推論モデルの構成］
まず、本実施の形態に係る推論モデルの構成について、図３～図５Ｂを参照しながら説明する。

【0022】

図３は、実施の形態に係る推論モデルＭの使用例を示す図である。

【0023】

推論モデルＭは、入力されたデータに対して何らかの識別または分類を行う場合に使用される。例えば対象物が車である場合に、対象物を含むＲＡＷデータが推論モデルＭに入力されると、対象物の名称「車」および画像中の対象物の位置（ｘ，ｙ）が推論モデルＭから出力される。本実施の形態の推論モデルＭは、例えば画像データに基づいて、画像に含まれる対象物の情報を出力する。推論モデルＭによって出力される情報は、対象物の名称、位置に限られず、例えば対象物の品番、色または価格であってもよいし、入力された画像データに対象物が含まれるか否かの判定結果であってもよい。

【0024】

図４は、実施の形態に係る推論モデルＭを示す図である。なお、図４には、推論モデルＭの元となる第１の推論モデルＭ１および第２の推論モデルＭ２も示されている。

【0025】

各推論モデルは、ニューラルネットワークによって構成されている。また、各推論モデルは、マルチレイヤ構造を有し、入力レイヤ、中間レイヤおよび出力レイヤなどによって構成されている。各レイヤは、ニューロンに相当する複数のノード（図示省略）を有している。

【0026】

図４に示すように、推論モデルＭは、第１の推論モデルＭ１の一部である第１の部分推論モデルＭ１ｐと、第２の推論モデルＭ２の一部である第２の部分推論モデルＭ２ｐと、第１の部分推論モデルＭ１ｐおよび第２の部分推論モデルＭ２ｐの間に配置されるグルーレイヤ（Ｇｌｕｅ Ｌａｙｅｒ）ＧＬとによって構成される。すなわち、推論モデルＭは、第１の推論モデルＭ１および第２の推論モデルＭ２を用いて生成される新たな推論モデルＭである。

【0027】

第１の推論モデルＭ１は、順方向に並ぶ入力レイヤｉＬ１、複数の中間レイヤ、および、出力レイヤｏＬ１を有している。また、第１の推論モデルＭ１は、エンコーダ－デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）構造からなる対称構造を有している。第１の推論モデルＭ１は、入力データＸ１と、入力データＸ１に対応するラベルである出力データＹ１と含む学習データセットを用いて学習済みである。

【0028】

第１の部分推論モデルＭ１ｐは、第１の推論モデルＭ１の入力レイヤｉＬ１から所定の中間レイヤｍＬ１までの部分を有している。所定の中間レイヤｍＬ１は、第１の推論モデルＭ１の複数の中間レイヤのうち最もサイズが小さな中間レイヤである。レイヤのサイズが小さいとは、レイヤ内のノードの数が少ないことを意味する。このように、第１の部分推論モデルＭ１ｐは、第１の推論モデルＭ１の入力レイヤｉＬ１から所定の中間レイヤｍＬ１までの部分を抜き出して生成される。

【0029】

第２の推論モデルＭ２は、順方向に並ぶ入力レイヤｉＬ２、複数の中間レイヤ、および、出力レイヤｏＬ２を有している。また、第２の推論モデルＭ２は、エンコーダ－デコーダ構造とは異なる非対称構造を有している。第２の推論モデルＭ２は、入力データＹ２と、入力データＹ２に対応するラベルである出力データＺ２とを含む学習データセットを用いて学習済である。

【0030】

なお、第２の推論モデルＭ２を学習させるための学習データセットは、第１の推論モデルＭ１を学習させるための学習データセットと異なる。すなわち、第１の推論モデルＭ１を推論する対象物の集まりであるドメイン、および、第２の推論モデルＭ２を推論する対象物の集まりであるドメインは、互いに異なる。

【0031】

一方、第１の推論モデルＭ１の出力データＹ１および第２の推論モデルＭ２の入力データＹ２は、同じ種別のデータで構成される。同じ種別のデータとは、画像データを例に挙げた場合に、データ形式が同じである画像データはもちろん、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＰＮＧなどのように異なるデータ形式であるが同じソフトウェアで読み出し可能な画像データも含む。それに対し、ＲＧＢデータとＲＡＷデータとは異なる種別の画像データである。

【0032】

図４に示すように、第２の部分推論モデルＭ２ｐは、第２の推論モデルＭ２の所定の中間レイヤｍＬ２から出力レイヤｏＬ２までの部分を有している。所定の中間レイヤｍＬ２は、図９にて後述するが、入力レイヤｉＬ２から中間レイヤまでをオートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）で折り返して再構築した場合の入力と出力との誤差が閾値以下となる中間レイヤのうち、第２の推論モデルＭ２の入力レイヤｉＬ２からレイヤ構造として１番離れた中間レイヤである。このように、第２の部分推論モデルＭ２ｐは、第２の推論モデルＭ２の所定の中間レイヤｍＬ２から出力レイヤｏＬ２までの部分を抜き出して生成される。なお、オートエンコーダは、周知のアルゴリズムであり、機械学習においてニューラルネットワークを使用した次元圧縮のためのアルゴリズムである。

【0033】

グルーレイヤＧＬは、第１の部分推論モデルＭ１ｐが有する所定の中間レイヤｍＬ１と第２の部分推論モデルＭ２ｐが有する所定の中間レイヤｍＬ２とを繋ぐレイヤである。例えば、グルーレイヤＧＬは、第１の部分推論モデルＭ１ｐの出力データを第２の部分推論モデルＭ２ｐの入力データに変換するコンボルーション（ｃｏｎｖｏｌｕｔｉｏｎ）を行うレイヤ、または、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）のレイヤである。

【0034】

より具体的には、グルーレイヤＧＬは、第１の推論モデルＭ１の中間表現Ａ１を第２の推論モデルＭ２の中間表現Ｂ２に写像する機能を有している。ここで中間表現とは、各推論モデルの内部表現であり、隣り合う２つレイヤ間にて表れるレイヤの出力を意味する。本実施の形態では、第１の推論モデルＭ１の中間表現Ａ１は、エンコーダ－デコーダ構造の境界、すなわち、所定の中間レイヤｍＬ１と、所定の中間レイヤｍＬ１の順方向隣りに位置する中間レイヤとの間に表れる。第２の推論モデルＭ２の中間表現Ｂ２は、所定の中間レイヤｍＬ２と、所定の中間レイヤｍＬ２の順方向反対隣りに位置する中間レイヤとの間に表れる。

【0035】

図５Ａは、推論モデルＭのグルーレイヤＧＬの一例を示す図である。

【0036】

グルーレイヤＧＬは、中間表現Ａ１および中間表現Ｂ２のそれぞれのテンソル（ｔｅｎｓｏｒ）形状に基づいて入力側および出力側の形態が決定される。グルーレイヤＧＬは、コンボルーションを行うレイヤ、および、プーリング（Ｐｏｏｌｉｎｇ）を行うレイヤを有している。図５Ａには、コンボルーションおよびプーリングがｎ段繰り返される例が示されている（ｎは１以上の整数）。プーリングは、中間表現Ａ１および中間表現Ｂ２のテンソルサイズ（例えばｗｉｄｔｈ、ｈｅｉｇｈｔ、ｃｈａｎｎｅｌ）が異なる場合に、その差を吸収させるためのレイヤである。

【0037】

図５Ｂは、推論モデルＭのグルーレイヤの他の一例を示す図である。図５Ｂに示すように、グルーレイヤＧＬは、コンボルーションまたは全結合のみによって構成されていてもよい。

【0038】

グルーレイヤＧＬは、第１の部分推論モデルＭ１ｐと第２の部分推論モデルＭ２ｐとの間に配置された直後は未学習であるが、後述する学習ステップによって学習される。ただしグルーレイヤＧＬは、第１の部分推論モデルＭ１ｐと第２の部分推論モデルＭ２ｐとの間に配置された直後において、必ずしも未学習である必要はなく、学習済みであってもよい。

【0039】

このように本実施の形態の推論モデルＭは、学習済である第１の推論モデルＭ１の一部、および、学習済である第２の推論モデルＭ２の一部を用いて構成されているので、推論モデルＭを生成する際の負荷を軽減することができる。また、本実施の形態の推論モデルＭは、学習済みである推論モデルの全部でなく一部を用いて構成されるので、冗長性の少ない推論モデルを実現することができる。

【0040】

［２．推論モデル生成装置のハードウェア構成］
次に、本実施の形態に係る推論モデルＭを生成する推論モデル生成装置のハードウェア構成について、図６を参照しながら説明する。

【0041】

図６は、推論モデル生成装置１０の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。

【0042】

図６に示すように推論モデル生成装置１０は、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。

【0043】

入力装置１００１はタッチパッドまたはタッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。例えば、入力装置１００１は、推論モデルＭを実行する際の入力データＸ１を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。

【0044】

出力装置１００２は、入力装置１００１と兼用されており、タッチパッドまたはタッチパネルディスプレイなどによって構成され、ユーザに知らすべき情報を通知する。例えば、出力装置１００２は、推論モデルＭを実行した際の対象物の名称および位置等をユーザに通知する。

【0045】

内蔵ストレージ１００４は、フラッシュメモリなどである。内蔵ストレージ１００４には、推論モデル生成装置１０の機能を実現するためのプログラム、及び、推論モデル生成装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。内蔵ストレージ１００４には、学習前または学習済の推論モデルＭが記憶されていてもよい。内蔵ストレージ１００４には、前述したオートエンコーダが記憶されていてもよい。

【0046】

ＲＡＭ１００５は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。

【0047】

読取装置１００７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。例えば、読取装置１００７は、記録媒体から第１の推論モデルＭ１、第２の推論モデルＭ２およびグルーレイヤＧＬなどを読み取る。また、読取装置１００７は、記録媒体から学習データセットなどを読み取ってもよい。

【0048】

送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ１００４に記憶させる。送受信装置１００８は、学習の際に用いられる学習データセットをＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）などから受信してもよい。

【0049】

ＣＰＵ１００３は、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。例えば、ＣＰＵ１００３は、読取装置１００７から取得した第１の推論モデルＭ１、第２の推論モデルＭ２およびグルーレイヤＧＬに基づいて推論モデルＭを生成する。また、ＣＰＵ１００３は、読取装置１００７または送受信装置１００８で取得した学習データセットに基づいて推論モデルＭの学習を行う。

【0050】

［３．推論モデルの生成方法］
次に、本実施の形態に係る推論モデルＭの生成方法について図７～図１１を参照しながら説明する。

【0051】

図７は、実施の形態に係る推論モデルＭの生成方法を示すフローチャートである。

【0052】

まず、推論モデル生成装置１０が、学習済である第１の推論モデルＭ１および学習済である第２の推論モデルＭ２を準備する（ステップＳ１０）。第１の推論モデルＭ１および第２の推論モデルＭ２は、異なるドメインによって学習済である。推論モデル生成装置１０は、第１の推論モデルＭ１および第２の推論モデルＭ２を、読取装置１００７によって取得してもよいし、推論モデル生成装置１０自身にて学習することで取得してもよい。

【0053】

次に、推論モデル生成装置１０は、第１の推論モデルＭ１から第１の部分推論モデルＭ１ｐを抜き出すための区切りとなる所定の中間レイヤｍＬ１を決定する（ステップＳ１１）。

【0054】

図８は、第１の推論モデルＭ１から第１の部分推論モデルＭ１ｐを抜き出すための区切りとなる所定の中間レイヤｍＬ１を決定するステップを示す図である。

【0055】

このステップでは、第１の推論モデルＭ１の複数の中間レイヤのうち最もサイズが小さな中間レイヤ、すなわち、情報が最も圧縮されている中間レイヤを所定の中間レイヤｍＬ１として決定する。第１の推論モデルＭ１が対称構造である場合、最もサイズが小さな中間レイヤが２つ存在することになるが、２つの中間レイヤのうちのどちらかを所定の中間レイヤｍＬ１として決定すればよい。なお、第１の部分推論モデルＭ１ｐのレイヤ数を少なくするため、２つの中間レイヤのうち入力レイヤｉＬ１側に位置する中間レイヤを所定の中間レイヤｍＬ１として決定してもよい。また一般的にニューラルネットワーク構造においてノードの数が少ないレイヤは、そのネットワークの入力データの情報の中で高次な（入力データを代表して表現できる主成分）情報が保持されているとされているので、最もサイズが小さなレイヤの代わりに、他の理由で高次な情報が保持されているレイヤを中間レイヤとして選択しても本発明の本質は変わらない。

【0056】

次に、推論モデル生成装置１０は、第１の部分推論モデルＭ１ｐを準備する（ステップＳ１２）。具体的には、第１の推論モデルＭ１から、第１の推論モデルＭ１の入力レイヤｉＬ１から所定の中間レイヤｍＬ１までの部分を抜き出して、第１の部分推論モデルＭ１ｐを生成する。

【0057】

次に、推論モデル生成装置１０は、第２の推論モデルＭ２から第２の部分推論モデルＭ２ｐを抜き出すための区切りとなる所定の中間レイヤｍＬ２を決定する（ステップＳ１３）。

【0058】

図９は、第２の推論モデルＭ２から第２の部分推論モデルＭ２ｐを抜き出すための区切りとなる所定の中間レイヤｍＬ２を決定するステップを示す図である。

【0059】

このステップでは、まず、第２の推論モデルＭ２の複数の中間レイヤのうち、入力レイヤｉＬ２から中間レイヤまでをオートエンコーダで折り返して再構築した場合の入力と出力との誤差が閾値以下となる中間レイヤを求める。オートエンコーダは、情報の圧縮および伸長を行うことで、どの程度まで情報を圧縮すると必要最低限の情報が再現できなくなるかを見極めるために使用される。図９には、入力レイヤｉＬ２から各中間レイヤｍａ、ｍｂ、ｍｃ、ｍｄに対応する各折り返し点ａ、ｂ、ｃ、ｄで折り返された例が示されている。同図に示すように、入力と出力との誤差が閾値以下となっているのは、中間レイヤｍａ、ｍｂ、ｍｃであるので、中間レイヤｍａ～ｍｃが所定の中間レイヤｍＬ２の候補として挙げられる。そして、候補に挙がった中間レイヤｍａ～ｍｃのうちから所定の中間レイヤｍＬ２を決定するが、ここでは第２の部分推論モデルＭ２ｐのレイヤ数を少なくするため、入力レイヤｉＬ２からレイヤ構造として最も離れた中間レイヤｍｃを所定の中間レイヤｍＬ２として決定する。最も離れた中間レイヤｍｃは、中間レイヤｍａ～ｍｃのうち、最もサイズが小さな中間レイヤ、すなわち、情報が最も圧縮されている中間レイヤでもある。なお、上記入力と出力との誤差の閾値は、第２の推論モデルＭ２に応じて適宜設定される。ここでのステップでは、情報圧縮（主成分抽出）手法であるオートエンコーダを用いて第２の推論モデルＭ２における必要最低限の情報を保持する中間レイヤを見極めることで所定の中間レイヤｍＬ２を決定する例を示したが、これはそのネットワークの入力データの情報の中で高次な（入力データを代表して表現できる主成分）情報を保持する中間レイヤを見極めることと等価である。他の手段で各々の中間レイヤの高次な情報を保持する能力を見極めることで所定の中間レイヤを決定しても本発明の本質は変わらない。

【0060】

次に、推論モデル生成装置１０は、第２の部分推論モデルＭ２ｐを準備する（ステップＳ１４）。具体的には、第２の推論モデルＭ２から、第２の推論モデルＭ２の所定の中間レイヤｍＬ２から出力レイヤｏＬ２までの部分を抜き出して、第２の部分推論モデルＭ２ｐを生成する。なお、ステップＳ１３およびＳ１４は、ステップＳ１１およびＳ１２の前に実行されてもよい。

【0061】

次に、推論モデル生成装置１０は、第１の部分推論モデルＭ１ｐと第２の部分推論モデルＭ２ｐとの間にグルーレイヤＧＬを配置することで新たな推論モデルＭを生成する（ステップＳ１５）。この段階の推論モデルＭは、未学習の状態である。

【0062】

次に、推論モデル生成装置１０は、新たな推論モデルＭを学習させる（ステップＳ１６）。

【0063】

図１０Ａは、推論モデルＭを学習させるステップの一例を示す図である。図１０Ａでは、グルーレイヤＧＬを学習させる例について説明する。

【0064】

推論モデルＭの入力レイヤｉＬ１にはＲＡＷデータが入力されるが、推論モデルＭの学習に用いられるＲＡＷデータの学習データセットが公開されていない場合、推論モデルＭにＲＡＷデータを入力してグルーレイヤＧＬを学習させることは難しい。そこで、グルーレイヤＧＬを学習させるために、新規のエンコーダ部Ｅｐを生成する。

【0065】

このエンコーダ部Ｅｐは、第１の推論モデルＭ１のデコーダ部Ｄｐの逆関数機能を有するように生成される。具体的には、第１の推論モデルＭ１からデコーダ部Ｄｐを抜き出し、また、デコーダ部Ｄｐに対向するようにエンコーダ部Ｅｐを配置する。そして、オートエンコーダを用いて、エンコーダ部ＥｐにデータＹ１を入力しかつデコーダ部ＤｐからデータＹ１が出力されるように、エンコーダ部Ｅｐを学習させる。学習させるためのデータＹ１としては、第１の推論モデルＭ１の学習に用いたＲＧＢデータが用いられる。

【0066】

なお、このエンコーダ部Ｅｐは、蒸留の考えを使い、次のようにして生成されてもよい。

【0067】

図１０Ｂは、推論モデルＭを学習させるステップの他の一例を示す図である。図１０Ｂでは、エンコーダ部Ｅｐを蒸留モデルとして学習させる例について説明する。

【0068】

図１０Ｂに示すように、学習データセットとしてＲＡＷデータＸ１、ＲＧＢデータＹ１の組、および、第１の推論モデルＭ１を用意する。そして、ＲＧＢデータＹ１を学習前のエンコーダ部Ｅｐに入力し、その出力である第１の中間データ（以下、第１データと呼ぶ）Ｙ１０を得る。一方で、ＲＧＢデータＹ１をラベルデータとするＲＡＷデータＸ１を第１の推論モデルＭ１の第１の部分推論モデルＭ１ｐに入力して、デコーダ部Ｄｐに入力される直前の第２の中間データ（以下、第２データと呼ぶ）Ｙ２０を得る。このとき、第１データＹ１０と第２データＹ２０との誤差が小さくなるようにエンコーダ部Ｅｐを学習する。また更に、第１データＹ１０をデコーダ部Ｄｐに入力したときのデコーダ部Ｄｐの出力（第３データＹ３０）とＲＧＢデータＹ１との誤差が小さくなるように、エンコーダ部Ｅｐを学習する。ここで、図１０ＢのＲＧＢｆａｋｅは第３データＹ３０と同義であるが、データセットであるＲＧＢデータＹ１と同等の画像であり、しかし作られた「嘘」のＲＧＢデータという意味でＲＧＢｆａｋｅと記載している。

【0069】

なお、蒸留とは、既に学習したモデルの入力と出力とを、そのまま新しい、かつ、シンプルなモデル(蒸留モデル：Ｅｐ）に学習させることであり、今回はそのまま学習済みのモデルの入力、出力を用いるのではなく、学習済みモデルの中間データを使用する構成としている。ここで、理想的にはエンコーダ部Ｅｐの出力である第１データＹ１０が第２データＹ２０に等しく、かつ、デコーダ部Ｄｐの出力である第３データＹ３０がエンコーダ部Ｅｐの入力であるＹ１に等しくなった時に、エンコーダ部Ｅｐはデコーダ部Ｄｐの逆関数の機能を有する状態になる。実用上は、両者の誤差が所定の範囲内となればデコーダ部Ｄｐの逆関数相当の機能が実質的に得られたことになる。

【0070】

次に、学習させたエンコーダ部ＥｐをグルーレイヤＧＬの入力側に配置し、グルーレイヤＧＬの入出力に合わせた学習データセットを用いて、グルーレイヤＧＬを学習させる。具体的には、エンコーダ部Ｅｐに第２の推論モデルＭ２の学習に用いたＲＧＢデータであるデータＹ２を入力し、エンコーダ部Ｅｐから出力された中間表現Ａ２をグルーレイヤＧＬに入力する。そして、グルーレイヤＧＬの出力が、第２の部分推論モデルＭ２ｐの入力に相当する中間表現Ｂ２となるように教示することで、グルーレイヤＧＬを学習させる。学習が終了した後、エンコーダ部Ｅｐを第１の部分推論モデルＭ１ｐに置き換えることで、学習済である推論モデルＭが生成される。

【0071】

なお、推論モデルＭを学習させるステップは、上記に限られず、以下に示す方法であってもよい。図１１は、推論モデルＭを学習させるステップの他の一例を示す図である。

【0072】

図１１には、グルーレイヤＧＬと第２の部分推論モデルＭ２ｐとを結合させた結合モデルＭｃを学習させる例が示されている。具体的には、図１０Ａと同様に学習させたエンコーダ部ＥｐをグルーレイヤＧＬの入力側に配置し、上記結合モデルＭｃの入出力に合わせた学習データセットを用いて、結合モデルＭｃを学習させている。より具体的には、エンコーダ部ＥｐにＲＧＢデータであるデータＹ２を入力し、エンコーダ部Ｅｐから出力された中間表現Ａ２をグルーレイヤＧＬに入力する。そして、第２の部分推論モデルＭ２ｐの出力が、出力データＺ２となるように教示することで、結合モデルＭｃを学習させる。学習が終了した後、エンコーダ部Ｅｐを第１の部分推論モデルＭ１ｐに置き換えることで、学習済である推論モデルＭが生成される。

【0073】

なお、図１０Ａおよび図１１のエンコーダ部Ｅｐは、オートエンコーダを用いて学習により構築する代わりに、数学的に逆関数を構築してもよい。例えばコンボリューションとデコンボリューションは、各々のカーネル行列が特定の条件で転置行列の関係になる場合があるので、その条件を満たしている場合は転置行列を使用しても良い。また別の例として、関数が行列によって表現できる場合に、逆行列、あるいは疑似逆行列を求めることで逆関数を表現しても良い。このように本実施の形態の推論モデルＭの生成方法では、学習済である第１の推論モデルＭ１の一部を準備するステップ、および、学習済である第２の推論モデルＭ２の一部を準備するステップを含んでいるので、推論モデルＭを生成する際の負荷を軽減することができる。

【0074】

［４．効果等］
本開示の一形態に係る推論モデルの生成方法は、学習済であるマルチレイヤ構造の第１の推論モデルＭ１の出力データＹ１および学習済であるマルチレイヤ構造の第２の推論モデルＭ２の入力データＹ２が同じ種別のデータで構成される場合において、第１の推論モデルＭ１および第２の推論モデルＭ２を用いて新たな推論モデルＭを生成する方法である。推論モデルＭの生成方法は、第１の推論モデルＭ１の入力レイヤｉＬ１から所定の中間レイヤｍＬ１までの部分を有する第１の部分推論モデルＭ１ｐを準備するステップと、第２の推論モデルＭ２の所定の中間レイヤｍＬ２から出力レイヤｏＬ２までの部分を有する第２の部分推論モデルＭ２ｐを準備するステップと、第１の部分推論モデルＭ１ｐと第２の部分推論モデルＭ２ｐとの間に、第１の推論モデルＭ１の所定の中間レイヤｍＬ１と第２の推論モデルＭ２の所定の中間レイヤｍＬ２とを繋ぐグルーレイヤＧＬを配置することにより、新たな推論モデルＭを生成するステップとを含む。

【0075】

このように、推論モデルＭの生成方法が、学習済である第１の推論モデルＭ１の一部である第１の部分推論モデルＭ１ｐを準備するステップと、学習済である第２の推論モデルＭ２の一部である第２の部分推論モデルＭ２ｐを準備するステップとを含むことで、推論モデルＭを生成する際の負荷を軽減することができる。

【0076】

また、第１の推論モデルＭ１を推論する対象物の集まりであるドメイン、および、第２の推論モデルＭ２を推論する対象物の集まりであるドメインは、互いに異なっていてもよい。

【0077】

このように、第１の推論モデルＭ１のドメインおよび第２の推論モデルＭ２のドメインが異なる場合であっても、第１の部分推論モデルＭ１ｐと第２の部分推論モデルＭ２ｐとの間にグルーレイヤＧＬが配置されることで、推論モデルＭを生成する際の負荷を軽減することができる。

【0078】

また、上記同じ種別のデータは、画像データであってもよい。

【0079】

このように、第１の推論モデルＭ１の出力データＹ１および第２の推論モデルＭ２の入力データＹ２が同じ種別の画像データであることで、画像データを用いて推論モデルＭを生成する際の負荷を軽減することができる。

【0080】

また、新たな推論モデルＭを生成するステップのグルーレイヤＧＬは、未学習であってもよい。

【0081】

この推論モデルＭの生成方法によれば、グルーレイヤＧＬが未学習であっても、推論モデルＭを生成する際の負荷を軽減することができる。

【0082】

また、推論モデルＭの生成方法は、さらに、第１の部分推論モデルＭ１ｐを準備するステップの前に、第１の推論モデルＭ１の所定の中間レイヤｍＬ１を決定するステップを含み、当該所定の中間レイヤｍＬ１を決定するステップは、第１の推論モデルＭ１の複数の中間レイヤのうち第１の推論モデルＭ１への入力データの主成分を表現している中間レイヤを当該所定の中間レイヤｍＬ１として決定してもよい。

【0083】

このように、第１の推論モデルＭ１の所定の中間レイヤｍＬ１を決定することで、第１の部分推論モデルＭ１ｐを簡易に生成することができる。これにより、推論モデルＭを生成する際の負荷を軽減することができる。

【0084】

また、推論モデルＭの生成方法は、さらに、第２の部分推論モデルＭ２ｐを準備するステップの前に、第２の推論モデルＭ２の所定の中間レイヤｍＬ２を決定するステップを含み、当該所定の中間レイヤｍＬ２を決定するステップは、第２の推論モデルＭ２の入力レイヤｉＬ２から中間レイヤｍａ～ｍｄまでをオートエンコーダで折り返して再構築した場合の入力と出力との誤差が閾値以下となる中間レイヤの１つを当該所定の中間レイヤｍＬ２として決定してもよい。

【0085】

このように、第２の推論モデルＭ２の所定の中間レイヤｍＬ２を決定することで、第２の部分推論モデルＭ２ｐを簡易に生成することができる。これにより、推論モデルＭを生成する際の負荷を軽減することができる。

【0086】

また、上記誤差が閾値以下となる中間レイヤのうち、第２の推論モデルＭ２の入力レイヤｉＬ２からレイヤ構造として最も離れた中間レイヤを当該所定の中間レイヤｍＬ２として決定してもよい。

【0087】

このように、第２の推論モデルＭ２の所定の中間レイヤｍＬ２を決定することで、第２の部分推論モデルＭ２ｐを簡易に生成することができる。これにより、推論モデルＭを生成する際の負荷を軽減することができる。

【0088】

また、グルーレイヤＧＬは、第１の部分推論モデルＭ１ｐの出力データＹ１を第２の部分推論モデルＭ２ｐの入力データＹ２に変換し、コンボルーション（ｃｏｎｖｏｌｕｔｉｏｎ）を行うレイヤ、プーリング（Ｐｏｏｌｉｎｇ）を行うレイヤ、および、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）を行うレイヤ、のいずれか１つ、または、複数を組合せて構成されてもよい。

【0089】

これによれば、第１の部分推論モデルＭ１ｐの出力データＹ１を第２の部分推論モデルＭ２ｐの入力データＹ２に変換するグルーレイヤＧＬを簡易に生成することができる。これにより、推論モデルＭを生成する際の負荷を軽減することができる。

【0090】

また、推論モデルＭの生成方法は、さらに、新たな推論モデルＭを学習させる学習ステップを含んでいてもよい。

【0091】

このように、新たな推論モデルＭを学習するステップを含むことで、学習済みの推論モデルＭを簡易に生成することができる。

【0092】

また、学習ステップは、グルーレイヤＧＬの入出力に合わせた学習データセットを用いて、グルーレイヤＧＬを学習させてもよい。

【0093】

これによれば、グルーレイヤＧＬを簡易に学習させることができ、学習済みの推論モデルＭを簡易に生成することができる。

【0094】

また、第１の推論モデルＭ１の所定の中間レイヤｍＬ１より後段の部分の逆関数機能モデルに対して、第１の推論モデルＭ１の複数の出力データを入力データとして入力し、得られた複数の推論データを上記学習データセットにおける入力データセットとしてもよい。

【0095】

また、上記逆関数機能モデルは、第１の推論モデルＭ１の所定の中間レイヤｍＬ１より後段の全レイヤを、出力レイヤを入力レイヤとして逆に並べて数学的に構築した推論モデルであるか、または、第１の推論モデルＭ１の所定の中間レイヤｍＬ１より後段の全レイヤを用いてオートエンコーダを構築し、上記オートエンコーダに対して第１の推論モデルＭ１の出力データを用いて学習させて得られる推論モデルであってもよい。

【0096】

また、上記逆関数機能モデルは、蒸留モデルであって、上記蒸留モデルは、上記蒸留モデルに第１の推論モデルＭ１の学習データセットにおけるラベルデータＹ１を入力したときの出力データである第１データＹ１０が、第１の推論モデルＭ１の所定の中間レイヤまでの部分である第１の部分推論モデルＭ１ｐに、ラベルデータと対になる第１の推論モデルＭ１の学習データセットにおける入力データＸ１を入力したときの出力データである第２データＹ２０に対して、誤差が小さくなるように学習させて得られる推論モデルであってもよい。

【0097】

また、上記蒸留モデルは、さらに、第１の推論モデルＭ１の所定の中間レイヤより後段のモデル（デコーダ部Ｄｐ）に、第２データＹ２０を入力したときの出力データである第３データＹ３０が、ラベルデータＹ１に対して誤差が小さくなるように学習させて得られる推論モデルであってもよい。

【0098】

また、第２の推論モデルＭ２に対して、第２の推論モデルＭ２の複数の入力データを入力し、得られた複数の推論データを上記学習データセットにおける出力データセットとしてもよい。

【0099】

また、学習ステップは、グルーレイヤＧＬと第２の部分推論モデルＭ２ｐとを結合させた結合モデルＭｃの入出力に合わせた学習データセットを用いて、結合モデルＭｃを学習させてもよい。

【0100】

これによれば、結合モデルＭｃを簡易に学習させることができ、学習済みの推論モデルＭを簡易に生成することができる。

【0101】

また、第１の推論モデルＭ１の所定の中間レイヤｍＬ１より後段の部分の逆関数機能モデルに対して、第１の推論モデルＭ１の複数の出力データを入力データとして入力し、得られた複数の推論データを上記学習データセットにおける入力データセットとしてもよい。

【0102】

また、上記逆関数機能モデルは、第１の推論モデルＭ１の所定の中間レイヤｍＬ１より後段の全レイヤを、出力レイヤを入力レイヤとして逆に並べて数学的に構築した推論モデルであるか、または、第１の推論モデルＭ１の所定の中間レイヤｍＬ１より後段の全レイヤを用いてオートエンコーダを構築し、上記オートエンコーダに対して第１の推論モデルＭ１の出力データを用いて学習させて得られる推論モデルであってもよい。

【0103】

また、第２の推論モデルＭ２に対して、第２の推論モデルＭ２の複数の入力データを入力し、得られた複数の推論データを上記学習データセットにおける出力データセットとしてもよい。

【0104】

本開示の一形態に係る推論モデルＭは、学習済である第１の推論モデルＭ１の一部である第１の部分推論モデルＭ１ｐと、学習済である第２の推論モデルＭ２の一部である第２の部分推論モデルＭ２ｐと、第１の部分推論モデルＭ１ｐおよび第２の部分推論モデルＭ２ｐの間に配置される未学習のグルーレイヤＧＬとを備える。第１の部分推論モデルＭ１ｐは、第１の推論モデルＭ１の入力レイヤｉＬ１から所定の中間レイヤｍＬ１までの部分を有し、第２の部分推論モデルＭ２ｐは、第２の推論モデルＭ２の所定の中間レイヤｍＬ２から出力レイヤｏＬ２までの部分を有し、グルーレイヤＧＬは、第１の部分推論モデルＭ１ｐが有する所定の中間レイヤｍＬ１と第２の部分推論モデルＭ２ｐが有する所定の中間レイヤｍＬ２とを繋いでいる。

【0105】

このように推論モデルＭが、学習済である第１の推論モデルＭ１の一部、および、学習済である第２の推論モデルＭ２の一部を用いて構成されるので、推論モデルＭを生成する際の負荷を軽減することができる。また、推論モデルＭが、学習済みである推論モデルの全部でなく一部を用いて構成されるので、冗長性の少ない推論モデルを実現することができる。

【0106】

また、第１の部分推論モデルＭ１ｐから出力されグルーレイヤＧＬに入力されるデータＹ１、および、グルーレイヤＧＬから出力され第２の部分推論モデルＭ２ｐに入力されるデータＹ２は、同じ種別のデータで構成されていてもよい。

【0107】

このように、第１の推論モデルＭ１の出力データＹ１および第２の推論モデルＭ２の入力データＹ２が同じ種別のデータであることで、推論モデルＭを生成する際の負荷を軽減することができる。

【0108】

（その他の実施の形態）
以上、本開示に係る推論モデルの生成方法などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

【0109】

例えば、上記実施の形態では、推論モデルＭの入力データがＲＡＷデータである例を示したが、それに限られず、入力データはＲＧＢデータであってもよい。

【0110】

また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

【0111】

（１）上記の推論モデル生成装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0112】

（２）上記の推論モデル生成装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0113】

（３）上記の推論モデル生成装置を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

【0114】

（４）また、上記の推論モデル生成装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

【0115】

また、上記の推論モデル生成装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0116】

（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0117】

（６）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

【0118】

（７）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【0119】

（８）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

【産業上の利用可能性】

【0120】

本開示は、画像データに基づいて、画像に含まれる対象物の情報を出力する推論モデルの生成方法などに広く利用できる。

【符号の説明】

【0121】

１０ 推論モデル生成装置
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００７ 読取装置
１００８ 送受信装置
１００９ バス
Ａ１、Ａ２、Ｂ２ 中間表現
Ｄｐ デコーダ部
Ｅｐ エンコーダ部
ＧＬ グルーレイヤ
ｉＬ１、ｉＬ２ 入力レイヤ
Ｍ 推論モデル（新たな推論モデル）
Ｍ１ 第１の推論モデル
Ｍ１ｐ 第１の部分推論モデル
Ｍ２ 第２の推論モデル
Ｍ２ｐ 第２の部分推論モデル
Ｍｃ 結合モデル
ｍＬ１、ｍＬ２ 中間レイヤ
ｏＬ１、ｏＬ２ 出力レイヤ
Ｘ１ 入力データ
Ｙ１ 出力データ（データ）
Ｙ２ 入力データ（データ）
Ｙ１０ 第１データ
Ｙ２０ 第２データ
Ｙ３０ 第３データ
Ｚ２ 出力データ

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】