特許 7403253 学習装置、学習方法および学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】学習装置、学習方法および学習プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231215BHJP

   G06F 18/2411 20230101ALI20231215BHJP

   G06F 18/2451 20230101ALI20231215BHJP

【ＦＩ】

G06N20/00

G06F18/2411

G06F18/2451

【請求項の数】 4

(21)【出願番号】P 2019134026

(22)【出願日】2019-07-19

(65)【公開番号】P2021018617

(43)【公開日】2021-02-15

【審査請求日】2022-06-17

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】宮崎 祐

(72)【発明者】

【氏名】宮崎 崇史

(72)【発明者】

【氏名】田平 章人

(72)【発明者】

【氏名】沼畑 大

(72)【発明者】

【氏名】熊田 圭佑

【審査官】渡辺 一帆

(56)【参考文献】

【文献】特開２０１３－０２０３３５（ＪＰ，Ａ）

【文献】特開２００４－１２９２６６（ＪＰ，Ａ）

【文献】特開２００７－１１５２４５（ＪＰ，Ａ）

【文献】MENON, AG et al.，"Concept Drift Detection in Phishing Using Autoencoders"，Communications in Computer and Information Science [online]，Springer, Singapore，2021年，Vol. 1366，pp. 208-220，[retrieved on 2023.06.14], Retrieved from the Internet: <URL: https://link.springer.com/chapter/10.1007/978-981-16-0419-5_17>，<DOI: 10.1007/978-981-16-0419-5_17>

【文献】"機械学習におけるConcept-Driftの対策または検知について"，エンジニアブログ - GMOインターネットグループ グループ研究開発本部（次世代システム研究室） [online]，2018年，[retrieved on 2023.06.14], Retrieved from the Internet: <URL: https://recruit.gmo.jp/engineer/jisedai/blog/concept-drift-detection-and-handling/>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００－２０／２０

Ｇ０６Ｆ １８／２４－１８／２４５３

Ｇ０６Ｎ ３／０２－ ３／１０

(57)【特許請求の範囲】

【請求項1】

分類対象となる関数を取得する取得部と
前記取得部によって取得された前記関数を分類する分類モデルを学習する学習部と
を備え、
前記学習部は、
複数の前記関数から構成される関数群を圏論の構造における対象と見做した場合に、前記圏論の構造における関手を前記分類モデルとして学習すること
を特徴とする学習装置。

【請求項2】

前記学習部は、
前記関手を自然変換により線形化した関手を分類モデルとして学習すること
を特徴とする請求項１に記載の学習装置。

【請求項3】

コンピュータが実行する学習方法であって、
分類対象となる関数を取得する取得工程と
前記取得工程によって取得された前記関数を分類する分類モデルを学習する学習工程と
を含み、
前記学習工程は、
複数の前記関数から構成される関数群を圏論の構造における対象と見做した場合に、前記圏論の構造における関手を前記分類モデルとして学習すること
を特徴とする学習方法。

【請求項4】

分類対象となる関数を取得する取得手順と
前記取得手順によって取得された前記関数を分類する分類モデルを学習する学習手順と
をコンピュータに実行させ、
前記学習手順は、
複数の前記関数から構成される関数群を圏論の構造における対象と見做した場合に、前記圏論の構造における関手を前記分類モデルとして学習すること
を特徴とする学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習方法および学習プログラムに関する。

【背景技術】

【0002】

従来、入力された入力データに対して、いわゆるサポートベクターマシーン（ＳＶＭ；Support Vector Machine）を用いて、分類する技術がある(特許文献１参照)。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－１１５２４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した技術では、画像処理のように画像自体を関数として表したような場合、その複数の関数の分類を行うことはできなかった。

【0005】

本願は、上記に鑑みてなされたものであって、関数自体を分類できる学習装置、学習方法および学習プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る学習装置は、取得部と、学習部とを備える。前記取得部は、分類対象となる関数を取得する。前記学習部は、前記取得部によって取得された前記関数を分類する分類モデルを学習する。

【発明の効果】

【0007】

実施形態の一態様によれば、関数を分類できるモデルを生成することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る学習装置が実行する処理の一例を示す図である。

【図2】図２は、実施形態に係る学習装置のブロック図である。

【図3】図３は、実施形態に係る学習装置が実行する処理手順を示すフローチャートである。

【図4】図４は、学習装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る学習装置、学習方法および学習プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、学習方法および学習プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．情報処理〕
まず、図１を用いて、学習装置が実行する処理の一例について説明する。図１は、実施形態に係る学習装置が実行する処理の一例を示す図である。図１では、学習装置１０は、以下に説明する学習処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。

【0011】

学習装置１０は、インターネット等の所定のネットワークを介して、外部装置１００といった任意の装置と通信が可能である。例えば、外部装置１００は、学習用データとして、分類対象となる関数を学習装置１０へ提供する。

【0012】

ところで、従来技術では、入力データの種別に応じた数だけ、サポートベクターマシーン（ＳＶＭ；Support Vector Machine；以下、ＳＶＭ）を必要とするため、汎用性の観点から改善の余地があった。

【0013】

そこで、学習装置１０は、関数を分類する分類モデルＭを学習することで、分類モデルＭの汎用性を向上させることとした。つまり、学習装置１０は、関数を分類する１つの分類モデルＭを生成することで、各種データを関数へ変換すれば、データの種別によらず、分類することが可能となる。

【0014】

具体的には、図１に示すように、まず、学習装置１０は、分類対象となる関数を外部装置１００から取得する（ステップＳ１）。例えば、図１に示す例では、学習装置１０は、関数ｆ１～ｆｎを取得する。関数ｆ１～ｆｎはそれぞれ１つの画像データＬに対応する。

【0015】

なお、各画像データＬを関数ｆ１～ｆｎへ変換する技術は、非特許文献１(https://www.ics.uci.edu/~majumder/PHOTO/ImageProcessingAndRepresentation.pdf)に開示されている。また、以下では、関数ｆ１～ｆｎを特に区別しない場合、単に関数ｆと記載する。

【0016】

続いて、学習装置１０は、関数ｆを分類する分類モデルＭを学習する（ステップＳ２）。具体的には、学習装置１０は、従来の再生核ヒルベルト空間を活用した手法において、データにあたる部分を関数ｆに対応させ、そのデータを分類する境界線を表す関数に対応する部分を圏論における関手に対応させる。そして、学習装置１０は、従来の手法の汎関数による線形化にあたる部分を圏論における自然変換に対応させることにより、従来のデータ分類の手法を関数の分類に活用するという手法であり、関数ｆ１～ｆｎを分類する関手を自然変換により求め、関数ｆの分類モデルＭを学習する。

【0017】

つまり、学習装置１０は、圏論の構造における関手を関数ｆを線形に分類する分類モデルＭとして学習することになる。

【0018】

このように、学習装置１０は、画像データＬそのものを分類するものではなく、画像データＬをより抽象化した関数ｆを分類する分類モデルＭを生成する。つまり、画像データＬ以外のデータであっても一旦関数ｆへ変換すれば、分類モデルＭを用いて分類することが可能となる。したがって、学習装置１０によれば、汎用性の高いモデルを生成することが可能となる。

【0019】

〔２．学習装置の構成〕
次に、図２を用いて、実施形態に係る学習装置１０の構成例について説明する。図２は、実施形態に係る学習装置１０のブロック図である。

【0020】

図２に示すように、学習装置１０は、通信部２０と、記憶部３０と、制御部４０とを備える。通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、所定のネットワークと有線または無線で接続され、外部装置１００との間で情報の送受信を行う。

【0021】

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、関数データベース３１および分類モデルデータベース３２を記憶する。

【0022】

関数データベース３１は、分類対象となる関数ｆに関する情報を格納するデータベースである。例えば、関数データベース３１には、分類対象となる関数ｆが格納される。分類モデルデータベース３２は、分類モデルＭを格納するデータベースである。

【0023】

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、学習装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0024】

図２に示すように、制御部４０は、取得部４１と、学習部４２と、提供部４３とを備える。取得部４１は、分類対象となる関数ｆを取得し、関数データベース３１へ登録する。上述したように、関数ｆは、例えば、画像データＬを示す関数である。

【0025】

なお、制御部４０内に、画像データＬを関数ｆへ変換する機能を備えていてもよく、この場合、取得部４１は、制御部４０の内部で変換された関数ｆを取得することにしてもよい。なお、関数ｆは、画像処理における関数に限定されず、その他の関数であってもよい。

【0026】

学習部４２は、取得部４１によって取得された関数ｆを分類する分類モデルＭを学習する。具体的には、学習部４２は、複数の関数ｆから構成される関数群を圏論の構造における対象と見做した場合に、圏論の構造における関手を分類モデルＭとして学習する。さらに、自然変換により線形化された関手を分類モデルＭ‘として学習する。

【0027】

ここで、分類モデルＭの学習方法の具体例について説明する。ヒルベルト空間の部分圏ＩｓＨｉｌｂについて、対象がヒルベルト空間、かつ、斜が対象間の等距離線形写像である圏として定義する。群Ｇから部分圏ＩｓＨｉｌｂへの関手は、群Ｇのユニタリ表現とも呼ばれる。なお、ここでの表現とは、群Ｇをベクトル空間や行列空間などへ変換することを示す。

【0028】

群Ｇから部分圏ＩｓＨｉｌｂへの関手圏ＩｓＨｉｌｂ^ＧをＲｅｐＧとも呼び、ＲｅｐＧにおける対象は斜（ｔ：γ_０→γ_１）であり、かかる斜はユニタリ表現γ_０、γ_１をつなぐ自然変換である。

【0029】

かかる自然変換は、下記（式１）の関係が成立するような作用素Ｔである。

【数1】

【0030】

また、ユニタリ表現のテンソル積を下記（式２）で表すことができ、作用素Ｔのテンソル積を下記（式３）で表すことができ、作用素Ｔは、作用素Ｔ自体がテンソル積で変化することになる。

【数2】

【0031】

そして、学習部４２は、テンソル構造を保ったまま、従来の機械学習手法の１つである再生核ヒルベルト空間の手法に対応するものを設定する。一般的に、従来技術である再生核ヒルベルト空間およびカーネル関数は、それぞれ下記(式４)および(式５)で表される。

【数3】

【0032】

そして、学習部４２は、関数ｆの空間を分類する関手により分類モデルＭを学習する。次に、学習部４２は、非線形な分類モデルＭを自然変換により線形化した分類モデルＭ‘とする。

【0033】

これにより、学習部４２は、関数ｆを関手と、かかる関手を自然変換により線形化した関手とを分類モデルＭ、Ｍ‘として学習することができる。つまり、関手を自然変換によって線形化した分類モデルＭ’を用いて、関数ｆを分類することが可能となる。

【0034】

これにより、分類モデルＭは、関数ｆに対応する関手を分類することが可能となるので、関数ｆを分類することができる。したがって、学習装置１０によれば、関数ｆを分類することができる分類モデルＭ‘を生成することができる。

【0035】

なお、学習部４２は、下記(式６)に示す畳み込み処理を行ったうえで、関手を分類することにしてもよい。なお、(式６)におけるｐは、関手を示す。

【数4】

【0036】

また、畳み込みには、非特許文献２(https://arxiv.org/abs/1902.04615)に開示されたゲージ理論を用いてもよい。

【0037】

提供部４３は、例えば、外部装置１００から関数ｆの分類依頼を受け付けるとともに、関数ｆの分類結果を提供する。具体的には、提供部４３は、上記の分類依頼を受け付けた場合に、関数ｆを分類モデルＭへ入力することで、関数ｆの分類結果を取得するとともに、外部装置１００へ分類結果を送信する。

【0038】

なお、提供部４３は、各外部装置１００に対して、分類モデルＭを提供することにしてもよい。

【0039】

〔３．情報処理のフロー〕
次に、図３を用いて、実施形態に係る学習装置１０が実行する処理手順について説明する。図３は、実施形態に係る学習装置１０が実行する処理手順を示すフローチャートである。

【0040】

図３に示すように、まず、学習装置１０は、分類対象となる関数ｆを取得し（ステップＳ１０１）、非線形の関手を分類モデルＭとして学習する（ステップＳ１０２）。

【0041】

続いて、学習装置１０は、非線形である関手を自然変換により線形化することで（ステップＳ１０３）、線形の分類モデルＭ‘を生成し（ステップＳ１０４）、処理を終了する。

【0042】

〔４．ハードウェア構成〕
上述してきた実施形態に係る学習装置１０は、例えば図４に示すような構成のコンピュータ１０００によって実現される。図４は、学習装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0043】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を記憶する。

【0044】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網５００を介して他の機器へ送信する。

【0045】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

【0046】

メディアインターフェイス１７００は、記録媒体１８００に記憶されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0047】

例えば、コンピュータ１０００が実施形態に係る学習装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、ＨＤＤ１４００には、記憶部３０内のデータが記憶される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。

【0048】

〔５．効果〕
上述したように、実施形態に係る学習装置１０は、取得部４１と、学習部４２とを備える。取得部４１は、分類対象となる関数ｆを取得する。学習部４２は、取得部４１によって取得された関数ｆを分類する分類モデルＭを学習する。

【0049】

したがって、実施形態に係る学習装置１０によれば、関数を分類するモデルを生成することができる。

【0050】

また、実施形態に係る学習装置１０において、学習部４２は、複数の関数ｆから構成される関数群（群Ｇ）を圏論の構造における対象と見做した場合に、圏論の構造における関手を分類モデルとして学習する。

【0051】

したがって、実施形態に係る学習装置１０によれば、圏論の構造において、最少の次元の分類モデルを生成することができるので、関数を分類するのに最適な分類モデルを学習することができる。

【0052】

また、実施形態に係る学習装置１０において、学習部４２は、関手を自然変換により線形化した関手を分類モデルとして学習する。

【0053】

したがって、実施形態に係る学習装置１０によれば、汎用性の高いモデルを生成することが可能となる。

【0054】

〔６．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0055】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0056】

また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0057】

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部４１は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0058】

１０ 学習装置
２０ 通信部
３０ 記憶部
３１ 関数データベース
３２ 分類モデルデータベース
４０ 制御部
４１ 取得部
４２ 学習部
４３ 提供部
Ｍ 分類モデル

【図1】

【図2】

【図3】

【図4】