特許 7524778 機械学習プログラム、機械学習方法及び機械学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】機械学習プログラム、機械学習方法及び機械学習装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240723BHJP

   G06F 17/16 20060101ALI20240723BHJP

【ＦＩ】

G06N20/00

G06F17/16 M

【請求項の数】 5

(21)【出願番号】P 2021011225

(22)【出願日】2021-01-27

(65)【公開番号】P2022114792

(43)【公開日】2022-08-08

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】トルマチョーブ アルセーニ

(72)【発明者】

【氏名】酒井 彬

【審査官】宮司 卓佳

(56)【参考文献】

【文献】国際公開第２０１２／１３３１８５（ＷＯ，Ａ１）

【文献】特開２０２０－１２９２２２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０００４６６４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｆ １７／１６

(57)【特許請求の範囲】

【請求項1】

テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定し、
特定した複数の前記トポロジーモードの軸の中から１つの軸を選択し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルに含まれる要素に前記ラベルモードの軸に対応する第１の要素行列に含まれる要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルと前記１つの軸以外のトポロジーモードの軸に対応する第２の要素行列とのモード積を算出する第２の処理と、前記複数の中間テンソルのうち第３の中間テンソルに含まれる要素に前記１つの軸に対応する第３の要素行列に含まれる要素と、前記第２の要素行列に含まれる要素とを共有して連結させる第３の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する
処理をコンピュータに実行させることを特徴とする機械学習プログラム。

【請求項2】

前記第１の処理と前記第２の処理と前記第３の処理との実行順序を決定する処理を前記コンピュータにさらに実行させ、
前記決定する処理により決定された順序で前記第１の処理と前記第２の処理と前記第３の処理とを実行することを特徴とする請求項１に記載の機械学習プログラム。

【請求項3】

前記決定する処理は、前記第３の処理を前記実行順序の最後に決定する
ことを特徴とする請求項２に記載の機械学習プログラム。

【請求項4】

テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定し、
特定した複数の前記トポロジーモードの軸の中から１つの軸を選択し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルに含まれる要素に前記ラベルモードの軸に対応する第１の要素行列に含まれる要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルと前記１つの軸以外のトポロジーモードの軸に対応する第２の要素行列とのモード積を算出する第２の処理と、前記複数の中間テンソルのうち第３の中間テンソルに含まれる要素に前記１つの軸に対応する第３の要素行列に含まれる要素と、前記第２の要素行列に含まれる要素とを共有して連結させる第３の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する
処理をコンピュータが実行することを特徴とする機械学習方法。

【請求項5】

テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定し、
特定した複数の前記トポロジーモードの軸の中から１つの軸を選択し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルに含まれる要素に前記ラベルモードの軸に対応する第１の要素行列に含まれる要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルと前記１つの軸以外のトポロジーモードの軸に対応する第２の要素行列とのモード積を算出する第２の処理と、前記複数の中間テンソルのうち第３の中間テンソルに含まれる要素に前記１つの軸に対応する第３の要素行列に含まれる要素と、前記第２の要素行列に含まれる要素とを共有して連結させる第３の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する
処理を実行する制御部を含むことを特徴とする機械学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、機械学習技術に関する。

【背景技術】

【0002】

機械学習により機械学習モデルを生成し、生成した機械学習モデルを用いて予測、分類などを行うシステムの訓練データとしてテンソルデータが用いられることがある。テンソルデータは、ｎ（ｎは正の整数）次元の配列として表されるが、グラフ、表などによっても表される。図１０は、テンソルデータをグラフ形式と表形式により表現した例を示す図である。図１０は、化学式の例を示す。図１０（ａ）は、ホルムアルデヒドの化学式をグラフ形式で表したものであり、図１０（ｂ）は、ホルムアルデヒドの化学式を表形式で表したものである。

【0003】

表形式では、始ＩＤ、終ＩＤ、始素、終素及び結合の５つの軸（列）と、値により化学式が表される。始ＩＤは、繋がりの始点のインデックスである。終ＩＤは、繋がりの終点のインデックスである。なお、始点及び終点へのインデックスの振り方は任意である。始素は、始点の元素の種類である。終素は、終点の元素の種類である。結合は、繋がりの種類である。表形式は、テンソルデータの非ゼロの値のみを行として表現する。図１０（ｂ）では、６つの行で表される６つの値だけが１であり、テンソルデータの他の値は０である。テンソルの軸はモードと呼ばれる。

【0004】

機械学習では、データテンソルは、テンソル分解によりコアテンソルに変換され、コアテンソルを用いて訓練が行われる。図１１は、テンソル分解を説明するための図である。図１１では、白の立方体は０の要素を示し、網掛けの立方体は非ゼロの要素を示す。図１１に示すように、データテンソルは、コアテンソルとモード数個の要素行列にテンソル分解される。図１１では、データテンソルは３階であり、モード数は３であるので、データテンソルは、コアテンソルと３個の要素行列にテンソル分解される。

【0005】

コアテンソルは、データテンソルと各モードの要素行列のモード積により計算される。図１２は、モード積によるコアテンソルの計算を説明するための図である。図１２（ａ）は、モード積を示し、図１２（ｂ）はコアテンソル計算を示す。図１２（ａ）に示すように、モード積によりモードの要素数がデータテンソルの数からコアテンソルの要素数に変換される。図１２（ａ）の例では、縦方向のモードの要素数が３から２に変換される。また、モード方向の要素に１つでも非ゼロの要素があれば、変換後のモード方向の要素は全て非ゼロとなる。図１２（ａ）の例では、縦方向の３つの要素９１には非ゼロが含まれるので変換後の２つの要素９２は非ゼロである。なお、コアテンソルにおける各モードの要素数は、ユーザにより指定される。

【0006】

また、図１２（ｂ）に示すように、各モードのモード積を順番に計算することによりコアテンソルが計算される。図１２（ｂ）において、Ｐ_i（ｉ＝１～３）はモードｉに対応するモード積を示す。図１２（ｂ）に示すように、モード積Ｐ₁によりデータテンソルから中間テンソル₁が計算され、モード積Ｐ₂により中間テンソル₁から中間テンソル₂が計算され、モード積Ｐ₃により中間テンソル₂からコアテンソルが計算される。モード積の計算順序は任意である。

【0007】

ｎ階のテンソルをＸ、コアテンソルをＸ＾、モードｉ（ｉ＝１～ｎ）の要素行列をＷ_iとすると

【数1】

である。ここで、Ｒは実数の集合である。Ｉ_iはＸのモードｉの要素数であり、Ｊ_iはＸ＾のモードｉの要素数である。

【0008】

モードｋのモード積Ｐ_kは、Ｘを以下の行列Ｘ′として、

【数2】

行列積Ｘ″＝(Ｗ_k)^T×Ｘ′を計算する。ここで、

【数3】

である。そして、Ｘ″のモードを再配置して、中間テンソルＸ^intmが得られる。

【数4】

【0009】

なお、データテンソルに関する従来技術として、ラベルの序列関係を踏まえた機械学習を実行することができるテンソル生成プログラムがある。このプログラムは、複数のノードと複数のノードそれぞれに設定される各属性とを含むグラフ構造を有するデータの入力を受け付ける処理をコンピュータに実行させる。このプログラムは複数のノードと各属性とのそれぞれに対応した次元を有し、複数のノードと各属性との関係、および、複数のノード間の関係に対応した値を設定したテンソルデータを生成する処理をコンピュータに実行させる。このプログラムは、各属性をラベルとして各属性間の序列関係を機械学習する場合に、テンソルデータが有する各属性に対して、序列関係に対応する範囲に値を設定する処理をコンピュータに実行させる。

【先行技術文献】

【特許文献】

【0010】

【文献】特開２０２０－１１９１０１号公報

【文献】米国特許出願公開第２０１９／０２２８３０４号明細書

【文献】米国特許出願公開第２０１９／０３２５３１２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、上記の従来技術では、テンソルデータを用いた機械学習においてデータの細かな繋がり方（細かい構造）が捉えにくくなるという問題がある。

【0012】

１つの側面では、機械学習においてデータの細かな繋がり方を捉えやすくすることができる機械学習プログラム、機械学習方法及び機械学習装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

１つの案では、機械学習プログラムは、特定する処理と、選択する処理と、算出する処理と、実行する処理とをコンピュータに実行させる。特定する処理は、テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定する。選択する処理は、特定した複数のトポロジーモードの軸の中から１つの軸を選択する。算出する処理は、第１の処理と、第２の処理と、第３の処理とによってテンソル形式のデータからコアテンソルを算出する。第１の処理は、複数の中間テンソルのうち第１の中間テンソルに含まれる要素にラベルモードの軸に対応する第１の要素行列に含まれる要素を連結させる。第２の処理は、複数の中間テンソルのうち第２の中間テンソルと１つの軸以外のトポロジーモードの軸に対応する第２の要素行列とのモード積を算出する。第３の処理は、複数の中間テンソルのうち第３の中間テンソルに含まれる要素に１つの軸に対応する第３の要素行列に含まれる要素と、第２の要素行列に含まれる要素とを共有して連結させる。実行する処理は、コアテンソルを入力として機械学習モデルの機械学習を実行する。

【発明の効果】

【0014】

機械学習においてデータの細かな繋がり方を捉えやすくすることができる。

【図面の簡単な説明】

【0015】

【図1】図１は、ラベルモードとトポロジーモードの例を示す図である。

【図2】図２は、非ゼロ要素がまばらな行列と密な行列の行列積を説明するための図である。

【図3】図３は、モード積と連結の相違を説明するための図である。

【図4】図４は、実施例の概要を説明するための図である。

【図5】図５は、インデックスの振りなおしを説明するための図である。

【図6】図６は、実施例に係る機械学習装置の機能構成例を示す図である。

【図7】図７は、５つのモードを示す図である。

【図8】図８は、コアテンソル計算部による処理の手順を示すフローチャートである。

【図9】図９は、実施例に係る機械学習プログラムを実行するコンピュータのハードウェア構成を示す図である。

【図10】図１０は、テンソルデータをグラフ形式と表形式により表現した例を示す図である。

【図11】図１１は、テンソル分解を説明するための図である。

【図12】図１２は、モード積によるコアテンソルの計算を説明するための図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、実施例にかかる機械学習プログラム、機械学習方法及び機械学習装置を説明する。実施例において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施例で説明する機械学習プログラム、機械学習方法及び機械学習装置は、一例を示すに過ぎず、実施例を限定するものではない。また、以下の実施例は、矛盾しない範囲内で適宜組みあわせてもよい。

【実施例】

【0017】

まず、ラベルモードとトポロジーモードについて説明する。実施例に係る機械学習装置は、モードをトポロジーモードとラベルモードに分ける。トポロジーモードは、データの繋がりを表現するモードである。ラベルモードは、属性を表すモードである。図１は、ラベルモードとトポロジーモードの例を示す図である。図１に示すように、始ＩＤ及び終ＩＤはトポロジーモードであり、始素、終素及び結合はラベルモードである。ラベルモードはトポロジーモードの１つ以上のモードに対応付けられ、ラベルモードの値は対応付けられるトポロジーモードにより決まる。

【0018】

例えば、始素は始ＩＤに対応付けられ、始素の値は始ＩＤにより決まる。始ＩＤが１であれば始素はＣであり、始ＩＤが２又は３であれば始素はＨであり、始ＩＤが４であれば始素はＯである。また、終素は終ＩＤに対応付けられ、終素の値は終ＩＤにより決まる。終ＩＤが１であれば終素はＣであり、終ＩＤが２又は３であれば終素はＨであり、終ＩＤが４であれば終素はＯである。また、結合は始ＩＤと終ＩＤに対応付けられ、結合の値は始ＩＤと終ＩＤにより決まる。始ＩＤが１であって終ＩＤが２又は３であれば結合は１であり、始ＩＤが１であって終ＩＤが４であれば結合は２である。

【0019】

ラベルモードは、ワンホット（one-hot）ベクトルとして表現される。ここで、ワンホットベクトルとは、１つの要素だけが１であって他の要素が０であるベクトルである。

【0020】

次に、実施例に係る機械学習装置によるモード積の連結への変換について説明する。データテンソルにラベルモードが多く含まれると、データテンソルの非ゼロ要素はまばらになる。一方、要素行列は非ゼロ要素が密である。モード積の計算は、行列積Ｘ″＝(Ｗ_k)^T×Ｘ′の計算であり、データテンソルにラベルモードが多く含まれると、非ゼロ要素がまばらな行列と密な行列の行列積を計算するため、モード積の計算を行うごとに中間テンソルの非ゼロの要素数が指数的に増大する。

【0021】

図２は、非ゼロ要素がまばらな行列と密な行列の行列積を説明するための図である。図２において、Ａは非ゼロ要素がまばらな行列であり、Ｂは非ゼロ要素が密な行列であり、ＣはＡとＢの行列積である。図２において、黒及び網掛けの四角は非ゼロ要素を示し、白の四角はゼロ要素を示す。図２に示すように、Ａの行の非ゼロ要素はＢの対応する行との積が計算されＣの対応する行を形成する。Ａの行に１つでも非ゼロ要素があると、Ｃの対応する行の要素は全て非ゼロとなる。このように、非ゼロ要素がまばらな行列と密な行列の行列積では、非ゼロ要素の数が指数的に増大する。すなわち、モード積の計算を行うごとに中間テンソルの非ゼロの要素数が指数的に増大する。

【0022】

そこで、実施例に係る機械学習装置は、ラベルモードのモード積を連結（concatenation）に変換する。ここで、連結とは、データテンソル又は中間テンソルの要素に要素行列の要素を付け加えることであり、Ｅ操作ともよぶ。このＥ操作に対して、行列積（モード積）はＰ操作ともよぶ。

【0023】

図３は、モード積と連結の相違を説明するための図である。図３は、モード積Ｐ₂と連結Ｅ₂の相違を示す。図３において、網掛けの立方体は非ゼロ要素を示し、白の立方体はゼロ要素を示す。ｎは中間テンソル1のモード「２」に関する非ゼロ要素のサイズであり、ｍは要素行列₂の列の非ゼロ要素のサイズである。

【0024】

図３に示すように、モード積Ｐ₂の場合には中間テンソル₂のモード「２」に関する非ゼロ要素のサイズはｎ×ｍであるのに対して、連結Ｅ₂の場合には中間テンソル₂のモード「２」に関する非ゼロ要素のサイズはｎ＋ｍである。すなわち、実施例に係る機械学習装置は、ラベルモードのモード積を連結に変換することで、非ゼロ要素の数が線形的に増大するようにする。

【0025】

非ゼロ要素がまばらなテンソルＸは、インデックステーブルＩと非ゼロテンソル要素のベクトルＶの組（Ｉ，Ｖ）で混合表現される。混合表現において、Ｉの行はＶの要素の座標に対応し、Ｉの列はテンソルのモードに対応する。Ｉのｉ番目の行

【数5】

は、非ゼロ要素が密なサブテンソルユニットＶ_iを指す。混合表現では、ゼロ要素は表現されない。

【0026】

混合表現においてＸと要素行列Ｗとのモード積は、インデックス分割、テンソル外積、和の順に行われる。例えば、モードｎのモード積の計算では、インデックス行は以下の式（１）のように分割される。

【数6】

【0027】

モード積の出力インデックステーブルＩ′はＩ^_iから形成される。モード積の出力ベクトルＶ′のそれぞれの値は、Ｖ_iの行と対応するＷの行の外積の和により以下の式（２）に示すように計算される。また、式（２）の和の計算は、以下の式（３）を満たすｉについて行われる。

【数7】

【0028】

ラベルモードでは、式（２）の和の計算がなくなり、外積だけになる。また、実施例に係る機械学習装置は、連結の出力ベクトルを以下に示す式（４）を用いて計算する。

【数8】

【0029】

実施例に係る機械学習装置は、テンソル分解により計算したコアテンソルをニューラルネットワークの入力するために、Ｖの要素をフラットにして連結してニューラルネットワークの入力を作成する。したがって、モード積の外積とベクトル連結は値の数は異なるが同じ情報を含む。このため、ラベルモードのモード積を連結に変換しても、機械学習への影響はない。

【0030】

また、実施例に係る機械学習装置は、特定した複数のトポロジーモードの軸の中から１つの軸を選択する。例えば、トポロジーモードは、データの繋がりを表現することから、複数（少なくとも繋がりのある１組（２つ））ある。そこで、実施例に係る機械学習装置は、例えばユーザの選択を受け付けるなどして、複数のトポロジーモードの軸の中から説明の対象となりうる軸を１つ選択する。

【0031】

次いで、実施例に係る機械学習装置は、コアテンソルを計算する際に、ラベルモードの軸に対してはＥ操作を行い、選択した１つの軸以外のトポロジーモードの軸に対してＰ操作を行う。また、実施例に係る機械学習装置は、コアテンソルを計算する際に、選択した１つの軸に対しては、その軸以外のトポロジーモードの軸とパラメーター（要素行列の要素）を共有するＥ操作を行う。このパラメーターを共有するＥ操作では、選択した１つの軸のパラメーターだけでなく、その軸以外のトポロジーモードの軸のパラメーターも連結するＥ操作である。

【0032】

これにより、コアテンソル（コア表現）には、トポロジーモードの軸の中から選択した１つの軸に対応する要素と、その軸以外のトポロジーモードの軸に対応する要素が組み込まれる。このため、コアテンソル（コア表現）にはデータの繋がり方（トポロジー）が含まれることとなり、実施例では、このようなコアテンソルを用いて機械学習を行うことで、データの細かな繋がり方を捉えやすくすることができる。

【0033】

図４は、実施例の概要を説明するための図である。図４に示すように、実施例に係る機械学習装置は、トポロジーモード、ラベルモードの特定およびトポロジーモードの軸の中の１つの軸の選択を行ったデータテンソルＤ１に対し、インデックスの振りなおしを行い（Ｓ１）、データテンソルＤ２を得る。

【0034】

図５は、インデックスの振りなおしを説明するための図である。図５に示すように、実施例に係る機械学習装置は、データテンソルＤ１について、データの繋がり方（トポロジー）の情報を保ちながらランダムに新しい要素（インデックス）を振りなおすことでデータテンソルＤ２を生成する。具体的には、実施例に係る機械学習装置は、トポロジーモードの軸（図示例では「始ＩＤ」、「終ＩＤ」）について、データごと、学習エポックごとにランダムに要素の置換を行う置換テーブルを決める。

【0035】

次いで、実施例に係る機械学習装置は、同じグループのＩＤに同じ置換テーブルを使用するように置換テーブルを参照し、データテンソルＤ１における「始ＩＤ」、「終ＩＤ」の要素を振りなおすことで、データテンソルＤ２を生成する。図５の例では、元ＩＤ「１」を新ＩＤ「２」に、元ＩＤ「２」を新ＩＤ「３」に、元ＩＤ「３」を新ＩＤ「１」に、元ＩＤ「４」を新ＩＤ「４」に振りなおすこととなる。

【0036】

これにより、データテンソルＤ２を用いた機械学習では、要素の値にかかわらず同じ推論結果になるように、機械学習モデルのパラメーターを最適化することができる。

【0037】

図４に戻り、実施例に係る機械学習装置は、データテンソルＤ２を用いてコアテンソルを計算（コア抽出）する（Ｓ２）。具体的は、実施例に係る機械学習装置は、データテンソルＤ２のラベルモードの軸に対してはＥ操作を行い、選択した軸以外のトポロジーモードの軸に対してＰ操作を行う。また、実施例に係る機械学習装置は、データテンソルＤ２の選択した軸に対しては、その軸以外のトポロジーモードの軸とパラメーターを共有するＥ操作を行う。

【0038】

次いで、実施例に係る機械学習装置は、計算したコアテンソルを入力として機械学習モデルの機械学習を実行する（Ｓ３、Ｓ４）。具体的には、実施例に係る機械学習装置は、機械学習モデルについて、ノード間の情報伝搬（表現伝搬）をして推論した推論結果と、データテンソルＤ１に付与された正解ラベルとを比較し、機械学習モデルのパラメーターを調整する。

【0039】

ここで、情報伝搬については、Ｍｕｌｔｉｈｅａｄ Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎなどの公知の手法を用いてよい。また、データごとの推論（例：化学式が示す化合物の毒性）の場合は、Ｐｏｏｌｉｎｇ（例えばＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）＋ＦＣＮＮ（Fully Convolutional Network）であってもよい。ノードごとの推論の場合（例：健康経営、日ごとの出社区分）は、ＦＣＮＮであってもよい。

【0040】

次に、実施例に係る機械学習装置の機能構成について説明する。図６は、実施例に係る機械学習装置の機能構成例を示す図である。図６に示すように、実施例に係る機械学習装置１は、コアテンソル計算部１１と機械学習部１２を有する。

【0041】

コアテンソル計算部１１は、データテンソルＤ１に関する情報、コアテンソルの各モードの要素数を入力してコアテンソルを計算する。機械学習部１２は、コアテンソル計算部１１により計算されたコアテンソルを用いて機械学習を行い、機械学習モデルを生成する。生成された機械学習モデルは、分類、予測などに用いられる。

【0042】

コアテンソル計算部１１は、入力部２１と、記憶部２２と、特定部２３と、選択部２４と、決定部２５と、変換部２６と、交換部２７と、算出部２８とを有する。

【0043】

入力部２１は、データテンソルＤ１に関する情報、コアテンソルの各モードの要素数を入力して記憶部２２に格納する。

【0044】

記憶部２２は、入力部２１により入力された情報を記憶する。また、記憶部２２は、特定部２３、選択部２４、決定部２５、変換部２６、交換部２７、算出部２８により作成された情報を記憶する。

【0045】

特定部２３は、データテンソルＤ１の各モードがトポロジーモードであるかラベルモードであるかを特定し、特定結果を記憶部２２に格納する。特定部２３は、例えば、対象モード以外の全モードの値を固定したときに対象モードの値が１つだけ１であって他は全て０である場合に対象モードをラベルモードと特定し、他の場合には対象モードをトポロジーモードと特定する。なお、データテンソルの各モードがトポロジーモードであるかラベルモードであるかは、入力部２１により入力されて記憶部２２に格納されてもよい。あるいは、特定部２３は、ユーザに問い合わせることでトポロジーモードであるかラベルモードであるかを特定してもよい。

【0046】

選択部２４は、特定部２３が特定したトポロジーモード（軸）の中から１つのモード（軸）を選択し、選択結果を記憶部２２に格納する。例えば、選択部２４は、ユーザに問い合わせて、入力部２１により入力された選択結果を記憶部２２に格納する。

【0047】

決定部２５は、テンソル分解のモードの順番（実行順序）を、ラベルモードを先にトポロジーモードを後にするように決定し、決定した順番を記憶部２２に格納する。なお、決定部２５は、選択部２４が選択したトポロジーモードについては順番を最後にする。

【0048】

例えば、図７に示すように、始ＩＤのモードを「１」、終ＩＤのモードを「２」、始素のモードを「３」、終素のモードを「４」、結合のモードを「５」とする。また、始ＩＤのモードを選択部２４が選択したモードとする。この図７の例では、決定部２５は、Ｐ₅Ｐ₄Ｐ₃Ｐ₂Ｐ₁をテンソル分解の処理の順番とする。ここで、Ｐ₅Ｐ₄Ｐ₃Ｐ₂Ｐ₁は、Ｐ₅、Ｐ₄、Ｐ₃、Ｐ₂、Ｐ₁の順番にテンソル分解の処理が行われることを示す。

【0049】

変換部２６は、ラベルモードのモード積Ｐを連結Ｅに変換し、変換結果を記憶部２２に格納する。図７に示した例では、モード「５」、モード「４」及びモード「３」がラベルモードなので、Ｐ₅Ｐ₄Ｐ₃がＥ₅Ｅ₄Ｅ₃に変換され、テンソル分解の処理の順番はＥ₅Ｅ₄Ｅ₃Ｐ₂Ｐ₁となる。

【0050】

また、変換部２６は、トポロジーモードについては、上記のインデックスの振りなおしを行い、ランダムに新しい要素を振りなおした結果を記憶部２２に格納する。

【0051】

また、変換部２６は、選択部２４が選択したトポロジーモードについては、モード積Ｐを他のトポロジーモードとパラメーターを共有する連結Ｅに変換し、変換結果を記憶部２２に格納する。図７に示した例では、モード「１」及びモード「２」がラベルモードであり、モード「１」が選択したモードである。したがって、変換部２６は、Ｐ₁をＰ₂とパラメーターを共有するＥ_１(P2)に変換する。これにより、テンソル分解の処理の順番は、Ｅ₅Ｅ₄Ｅ₃Ｐ₂Ｅ_１(P2)となる。

【0052】

交換部２７は、連結Ｅをできるだけ後で処理するように処理の順番を交換し、交換結果を記憶部２２に格納する。ただし、変換部２６は、ラベルモードの処理をラベルモードに対応付けられたトポロジーモードの処理よりも前に行わなければならず、パラメーターを共有する連結Ｅは最後という制約の下に、処理の順番を交換する。

【0053】

例えば、Ｅ₅Ｅ₄Ｅ₃Ｐ₂Ｅ_１(P2)において、Ｅ₃をできるだけ後に処理する場合に、モード「３」はモード「１」に対応付けられるので、Ｅ₃はＰ₁より前に行われなければならない。したがって、Ｅ₃とＰ₂の交換が行われ、Ｅ₅Ｅ₄Ｅ₃Ｐ₂Ｅ_１(P2)はＥ₅Ｅ₄Ｐ₂Ｅ₃Ｅ_１(P2)となる。モード「５」とモード「４」はモード「２」に対応付けられるので、これ以上の交換は行われない。連結Ｅをできるだけ後で処理することで、コアテンソル計算部１１は、中間テンソルの非ゼロ要素の数をさらに減らすことができる。

【0054】

交換部２７は、ラベルモードに対応付けられたトポロジーモードを、例えば、ユーザに問い合わせることで特定する。なお、ラベルモードに対応付けられたトポロジーモードは、入力部２１により入力されて記憶部２２に格納されてもよい。

【0055】

算出部２８は、交換部２７による交換結果に基づいてテンソル分解を行い、コアテンソルを算出する。そして、算出部２８は、算出したコアテンソルの情報を記憶部２２に格納する。算出部２８は、モード積部３１と連結部３２を有する。モード積部３１は、トポロジーモードについてモード積の計算（Ｐ操作）を行う。連結部３２は、ラベルモードについて連結計算（Ｅ操作）、選択したモードについてパラメーターを共有する連結計算（Ｅ操作）を行う。

【0056】

次に、コアテンソル計算部１１による処理の手順について説明する。図８は、コアテンソル計算部１１による処理の手順を示すフローチャートである。より具体的には、図８は、図４におけるＳ２に関する処理の手順を示している。

【0057】

図８に示すように、コアテンソル計算部１１は、データテンソルの各モードについて、トポロジーモードであるかラベルモードであるかを特定する（ステップＳ１１）。次いで、コアテンソル計算部１１は、トポロジーモードの中の１つを選択する（ステップＳ１２）。

【0058】

次いで、コアテンソル計算部１１は、ラベルモード、トポロジーモードの順番にテンソル分解の順番を決定する（ステップＳ１３）。ここで、コアテンソル計算部１１は、ステップＳ１２で選択したモードを順番の最後に決定する。

【0059】

次いで、コアテンソル計算部１１は、ラベルモードの処理をＰからＥに変換する（ステップＳ１４）。次いで、コアテンソル計算部１１は、ラベルモードの処理をラベルモードに対応付けられたトポロジーモードの処理よりも前に行わなければならないという制約の下でＥをなるべく後に処理するようにＥとＰを交換する（ステップＳ１５）。

【0060】

次いで、コアテンソル計算部１１は、ステップＳ１２で選択したモードの処理をＰからＥに変換する（ステップＳ１６）。この変換において、コアテンソル計算部１１は、パラメーターは他のＰと共有するものとする。次いで、コアテンソル計算部１１は、交換により得られた順番でコアテンソルを計算する（ステップＳ１７）。

【0061】

以上のように、実施例では、特定部２３が、テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定する。また、選択部２４が、特定した複数のトポロジーモードの軸の中から１つの軸を選択する。また、算出部２８が、第１の処理と、第２の処理と、第３の処理とによってテンソル形式のデータからコアテンソルを算出する。第１の処理は、中間テンソルに含まれる要素にラベルモードの軸に対応する要素行列に含まれる要素を連結させる。第２の処理は、中間テンソルと選択した１つの軸以外のトポロジーモードの軸に対応する要素行列とのモード積を算出する。第３の処理は、中間テンソルに含まれる要素に選択した１つの軸に対応する要素行列に含まれる要素と、その軸以外のトポロジーモードの軸に対応する要素行列に含まれる要素とを共有して連結させる。また、機械学習部１２が、コアテンソル計算部１１が算出したコアテンソルを入力として機械学習モデルの機械学習を実行する。

【0062】

これにより、コアテンソル（コア表現）には、トポロジーモードの軸の中から選択した１つの軸に対応する要素と、その軸以外のトポロジーモードの軸に対応する要素が組み込まれ、データの繋がり方（トポロジー）が含まれることとなる。したがって、実施例では、このようなコアテンソルを用いて機械学習を行うことで、データの細かな繋がり方を捉えやすくすることができる。

【0063】

また、実施例では、第３の処理を実行順序の最後とすることで、データの繋がり方（トポロジー）を最後に組み込むようにしたコアテンソル（コア表現）を機械学習に用いることができる。このため、実施例では、機械学習においてデータの細かな繋がり方をより捉えやすくすることができる。

【0064】

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0065】

また、実施例では、機械学習装置１について説明したが、機械学習装置１が有する構成をソフトウェアによって実現することで、同様の機能を有する機械学習プログラムを得ることができる。そこで、機械学習プログラムを実行するコンピュータについて説明する。

【0066】

図９は、実施例に係る機械学習プログラムを実行するコンピュータのハードウェア構成を示す図である。図９に示すように、コンピュータ５０は、メインメモリ５１と、ＣＰＵ（Central Processing Unit）５２と、ＬＡＮ（Local Area Network）インタフェース５３と、ＨＤＤ（Hard Disk Drive）５４とを有する。また、コンピュータ５０は、スーパーＩＯ（Input Output）５５と、ＤＶＩ（Digital Visual Interface）５６と、ＯＤＤ（Optical Disk Drive）５７とを有する。

【0067】

メインメモリ５１は、プログラムやプログラムの実行途中結果等を記憶するメモリである。ＣＰＵ５２は、メインメモリ５１からプログラムを読み出して実行する中央処理装置であり、制御部の一例でもある。ＣＰＵ５２は、メモリコントローラを有するチップセットを含む。

【0068】

ＬＡＮインタフェース５３は、コンピュータ５０をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ５４は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ５５は、マウスやキーボード等の入力装置を接続するためのインタフェースである。ＤＶＩ５６は、液晶表示装置を接続するインタフェースであり、ＯＤＤ５７は、ＤＶＤ、ＣＤ－Ｒの読み書きを行う装置である。

【0069】

ＬＡＮインタフェース５３は、ＰＣＩエクスプレス（ＰＣＩｅ）によりＣＰＵ５２に接続される。ＨＤＤ５４及びＯＤＤ５７は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ５２に接続される。スーパーＩＯ５５は、ＬＰＣ（Low Pin Count）によりＣＰＵ５２に接続される。

【0070】

そして、コンピュータ５０において実行される機械学習プログラムは、例えばコンピュータ５０により読み出し可能な記録媒体の一例であるＣＤ－Ｒに記憶され、ＯＤＤ５７によってＣＤ－Ｒから読み出されてコンピュータ５０にインストールされる。あるいは、機械学習プログラムは、ＬＡＮインタフェース５３を介して接続された他のコンピュータシステムのデータベース等に記憶され、これらのデータベースから読み出されてコンピュータ５０にインストールされる。そして、インストールされた機械学習プログラムは、ＨＤＤ５４に記憶され、メインメモリ５１に読み出されてＣＰＵ５２によって実行される。

【0071】

以上の実施形態に関し、さらに以下の付記を開示する。

【0072】

（付記１）テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定し、
特定した複数の前記トポロジーモードの軸の中から１つの軸を選択し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルに含まれる要素に前記ラベルモードの軸に対応する第１の要素行列に含まれる要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルと前記１つの軸以外のトポロジーモードの軸に対応する第２の要素行列とのモード積を算出する第２の処理と、前記複数の中間テンソルのうち第３の中間テンソルに含まれる要素に前記１つの軸に対応する第３の要素行列に含まれる要素と、前記第２の要素行列に含まれる要素とを共有して連結させる第３の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する
処理をコンピュータに実行させることを特徴とする機械学習プログラム。

【0073】

（付記２）前記第１の処理と前記第２の処理と前記第３の処理との実行順序を決定する処理を前記コンピュータにさらに実行させ、
前記決定する処理により決定された順序で前記第１の処理と前記第２の処理と前記第３の処理とを実行することを特徴とする付記１に記載の機械学習プログラム。

【0074】

（付記３）前記決定する処理は、前記第３の処理を前記実行順序の最後に決定する
ことを特徴とする付記２に記載の機械学習プログラム。

【0075】

（付記４）テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定し、
特定した複数の前記トポロジーモードの軸の中から１つの軸を選択し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルに含まれる要素に前記ラベルモードの軸に対応する第１の要素行列に含まれる要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルと前記１つの軸以外のトポロジーモードの軸に対応する第２の要素行列とのモード積を算出する第２の処理と、前記複数の中間テンソルのうち第３の中間テンソルに含まれる要素に前記１つの軸に対応する第３の要素行列に含まれる要素と、前記第２の要素行列に含まれる要素とを共有して連結させる第３の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する
処理をコンピュータが実行することを特徴とする機械学習方法。

【0076】

（付記５）前記第１の処理と前記第２の処理と前記第３の処理との実行順序を決定する処理を前記コンピュータがさらに実行し、
前記決定する処理により決定された順序で前記第１の処理と前記第２の処理と前記第３の処理とを実行することを特徴とする付記４に記載の機械学習方法。

【0077】

（付記６）前記決定する処理は、前記第３の処理を前記実行順序の最後に決定する
ことを特徴とする付記５に記載の機械学習方法。

【0078】

（付記７）テンソル形式のデータに含まれる複数の軸のうち、ラベルモードの軸と、トポロジーモードの軸とを特定し、
特定した複数の前記トポロジーモードの軸の中から１つの軸を選択し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルに含まれる要素に前記ラベルモードの軸に対応する第１の要素行列に含まれる要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルと前記１つの軸以外のトポロジーモードの軸に対応する第２の要素行列とのモード積を算出する第２の処理と、前記複数の中間テンソルのうち第３の中間テンソルに含まれる要素に前記１つの軸に対応する第３の要素行列に含まれる要素と、前記第２の要素行列に含まれる要素とを共有して連結させる第３の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する
処理を実行する制御部を含むことを特徴とする機械学習装置。

【0079】

（付記８）前記第１の処理と前記第２の処理と前記第３の処理との実行順序を決定する処理を前記制御部がさらに実行し、
前記決定する処理により決定された順序で前記第１の処理と前記第２の処理と前記第３の処理とを実行することを特徴とする付記７に記載の機械学習装置。

【0080】

（付記９）前記決定する処理は、前記第３の処理を前記実行順序の最後に決定する
ことを特徴とする付記８に記載の機械学習装置。

【符号の説明】

【0081】

１…機械学習装置
１１…コアテンソル計算部
１２…機械学習部
２１…入力部
２２…記憶部
２３…特定部
２４…選択部
２５…決定部
２６…変換部
２７…交換部
２８…算出部
３１…モード積部
３２…連結部
５０…コンピュータ
５１…メインメモリ
５２…ＣＰＵ
５３…ＬＡＮインタフェース
５４…ＨＤＤ
５５…スーパーＩＯ
５６…ＤＶＩ
５７…ＯＤＤ
Ａ、Ｂ…行列
Ｃ…行列積
Ｄ１、Ｄ２…データテンソル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】