知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-13
(45)【発行日】2024-05-21
(54)【発明の名称】機械学習プログラム、機械学習方法及び機械学習装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20240514BHJP
【ＦＩ】
G06N20/00
【請求項の数】
6
(21)【出願番号】P 2022556736
(86)(22)【出願日】2020-10-13
(86)【国際出願番号】 JP2020038681
(87)【国際公開番号】W WO2022079815
(87)【国際公開日】2022-04-21
【審査請求日】2023-03-24
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】トルマチョーブ アルセーニ
(72)【発明者】
【氏名】酒井 彬
(72)【発明者】
【氏名】等々力 賢
【審査官】千葉 久博
(56)【参考文献】
【文献】AHMADI-ASLY, Salman, et al.，"Randomized Algorithms for Computation of Tucker decomposition and Higher Order SVD (HOSVD)"，arXiv:2001.07124v3，version v3，[online], arXiv (Cornell University)，2020年09月01日，Pages 1-19，[retrieved on 2020.11.10], Retrieved from the Internet: <URL: https://arxiv.org/abs/2001.07124v3> and <URL: https://arxiv.org/pdf/2001.07124v3.pdf>.
【文献】村上純（外３名），「統計ソフトＲによる多次元データ処理入門」，初版，日本，日新出版株式会社，2017年03月30日，Pages 1-6 and 219-244，ISBN: 978-4-8173-0254-0
【文献】MARUHASHI, Koji, et al.，"Learning Multi-Way Relations via Tensor Decomposition with Neural Networks"，Proceedings of The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18)，[online]，2018年04月29日，Pages 3770-3777，[retrieved on 2020.11.10], Retrieved from the Internet: <URL: https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/17010> and <URL: https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/17010/16600>.
【文献】LIU, Hanpeng, et al.，"CoSTCo: A Neural Tensor Completion Model for Sparse Tensors"，Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD'19)，2019年07月，Pages 324-334，<DOI: 10.1145/3292500.3330881>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
コンピュータに、テンソル形式のデータに含まれる複数の軸のうち、１つの要素だけが壱であって他の要素が零であるワンホットベクトルで表現された第１の軸とワンホットベクトルで表現されていない第２の軸とを、予め記憶部に記憶された情報に基づいて特定し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルから前記第１の軸に対する中間テンソルを生成する場合、前記第１の中間テンソルに含まれる前記第１の軸に関する非零の要素に前記第１の軸に対応する第１の要素行列に含まれる非零の要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルから前記第２の軸に対する中間テンソルを生成する場合、前記第２の中間テンソルと前記第２の軸に対応する第２の要素行列とのモード積を算出する第２の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する、
処理を実行させることを特徴とする機械学習プログラム。
【請求項2】
前記第１の処理と前記第２の処理の実行順序を決定する処理を前記コンピュータにさらに実行させ、前記コアテンソルを算出する処理は、前記決定する処理により決定された順序で前記第１の処理と前記第２の処理を実行することによって、前記コアテンソルを算出する処理を含む、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項3】
前記決定する処理は、前記第１の軸の要素が前記第２の軸に依存する場合に、前記第１の処理を前記第２の処理より前に行うと決定し、前記第１の軸の要素が前記第２の軸に依存しない場合に、前記第１の処理を前記第２の処理の後に行うと決定する処理を含む、ことを特徴とする請求項２に記載の機械学習プログラム。
【請求項4】
前記特定する処理は、ラベルモードの軸を前記第１の軸として特定し、トポロジーモードの軸を前記第２の軸として特定する処理を含む、ことを特徴とする請求項１、２又は３に記載の機械学習プログラム。
【請求項5】
コンピュータが、テンソル形式のデータに含まれる複数の軸のうち、１つの要素だけが壱であって他の要素が零であるワンホットベクトルで表現された第１の軸とワンホットベクトルで表現されていない第２の軸とを、予め記憶部に記憶された情報に基づいて特定し、
前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルから前記第１の軸に対する中間テンソルを生成する場合、前記第１の中間テンソルに含まれる前記第１の軸に関する非零の要素に前記第１の軸に対応する第１の要素行列に含まれる非零の要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルから前記第２の軸に対する中間テンソルを生成する場合、前記第２の中間テンソルと前記第２の軸に対応する第２の要素行列とのモード積を算出する第２の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出し、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する、
処理を実行することを特徴とする機械学習方法。
【請求項6】
テンソル形式のデータに含まれる複数の軸のうち、１つの要素だけが壱であって他の要素が零であるワンホットベクトルで表現された第１の軸とワンホットベクトルで表現されていない第２の軸とを、予め記憶部に記憶された情報に基づいて特定する特定部と、前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルから前記第１の軸に対する中間テンソルを生成する場合、前記第１の中間テンソルに含まれる前記第１の軸に関する非零の要素に前記第１の軸に対応する第１の要素行列に含まれる非零の要素を連結させる第１の処理と、前記複数の中間テンソルのうち第２の中間テンソルから前記第２の軸に対する中間テンソルを生成する場合、前記第２の中間テンソルと前記第２の軸に対応する第２の要素行列とのモード積を算出する第２の処理とによって、前記テンソル形式のデータから前記コアテンソルを算出する算出部と、
前記コアテンソルを入力として機械学習モデルの機械学習を実行する学習部と
を有することを特徴とする機械学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習プログラム、機械学習方法及び機械学習装置に関する。
【背景技術】
【0002】
機械学習により機械学習モデルを生成し、生成した機械学習モデルを用いて予測、分類などを行うシステムの訓練データとしてテンソルデータが用いられることがある。テンソルデータは、ｎ（ｎは正の整数）次元の配列として表されるが、グラフ、表などによっても表される。図９は、テンソルデータをグラフ形式と表形式により表現した例を示す図である。図９は、化学式の例を示す。図９（ａ）は、ホルムアルデヒドの化学式をグラフ形式で表したものであり、図９（ｂ）は、ホルムアルデヒドの化学式を表形式で表したものである。
【0003】
表形式では、始ＩＤ、終ＩＤ、始素、終素及び結合の５つの軸（列）と、値により化学式が表される。始ＩＤは、繋がりの始点のインデックスである。終ＩＤは、繋がりの終点のインデックスである。なお、始点及び終点へのインデックスの振り方は任意である。始素は、始点の元素の種類である。終素は、終点の元素の種類である。結合は、繋がりの種類である。表形式は、テンソルデータの非ゼロの値のみを行として表現する。図９（ｂ）では、６つの行で表される６つの値だけが１であり、テンソルデータの他の値は０である。テンソルの軸はモードと呼ばれる。
【0004】
機械学習では、データテンソルは、テンソル分解によりコアテンソルに変換され、コアテンソルを用いて訓練が行われる。図１０は、テンソル分解を説明するための図である。図１０では、白の立方体は０の要素を示し、網掛けの立方体は非ゼロの要素を示す。図１０に示すように、データテンソルは、コアテンソルとモード数個の要素行列にテンソル分解される。図１０では、データテンソルは３階であり、モード数は３であるので、データテンソルは、コアテンソルと３個の要素行列にテンソル分解される。
【0005】
コアテンソルは、データテンソルと各モードの要素行列のモード積により計算される。図１１は、モード積によるコアテンソルの計算を説明するための図である。図１１（ａ）は、モード積を示し、図１１（ｂ）はコアテンソル計算を示す。図１１（ａ）に示すように、モード積によりモードの要素数がデータテンソルの数からコアテンソルの要素数に変換される。図１１（ａ）の例では、縦方向のモードの要素数が３から２に変換される。また、モード方向の要素に１つでも非ゼロの要素があれば、変換後のモード方向の要素は全て非ゼロとなる。図１１（ａ）の例では、縦方向の３つの要素９１には非ゼロが含まれるので変換後の２つの要素９２は非ゼロである。なお、コアテンソルにおける各モードの要素数は、ユーザにより指定される。
【0006】
また、図１１（ｂ）に示すように、各モードのモード積を順番に計算することによりコアテンソルが計算される。図１１（ｂ）において、Ｐi（ｉ＝１～３）はモードｉに対応するモード積を示す。図１１（ｂ）に示すように、モード積Ｐ1によりデータテンソルから中間テンソル1が計算され、モード積Ｐ2により中間テンソル1から中間テンソル2が計算され、モード積Ｐ3により中間テンソル2からコアテンソルが計算される。モード積の計算順序は任意である。
【0007】
ｎ階のテンソルをＸ、コアテンソルをＸ＾、モードｉ（ｉ＝１～ｎ）の要素行列をＷiとすると
である。ここで、Ｒは実数の集合である。ＩiはＸのモードｉの要素数であり、ＪiはＸ＾のモードｉの要素数である。
【数1】
【0008】
モードｋのモード積Ｐkは、Ｘを以下の行列Ｘ′として、
行列積Ｘ″＝(Ｗk)T×Ｘ′を計算する。ここで、
である。そして、Ｘ″のモードを再配置して、中間テンソルＸintmが得られる。
【数2】
【数3】
【数4】
【0009】
なお、テンソルに関する従来技術として、スパーステンソルの因子分解のための処理を高速化するとともに、処理の際に必要とするメモリ量を削減する装置がある。この装置は、Ｎ次元（Ｎは３以上の整数）のテンソルデータに対し、当該テンソルデータの複数インデックスについてのループ計算において、データ配置処理と計算処理を行う。データ配置処理では、この装置は、計算ループの最下位のインデックスから最上位の１つ前までの各インデックスの順で各インデックスのループ方向順となるようにテンソルデータの要素の順番付けを行う。そして、この装置は、当該順番付けにしたがって、テンソルデータ中の空でない要素について、当該要素の値と、当該要素のテンソルデータ上の位置を示す最下位のインデックスから最上位の１つ前までのインデックスのインデックス値とを記憶部上に配置する。そして、この装置は、当該空でない要素のカウント数を配置する処理を行う。また、計算処理では、この装置は、記憶部上に配置されたテンソルデータに対するループ計算を行う。
【0010】
また、テンソルに関する従来技術として、テンソルのデータ量を抑制することができる情報処理装置がある。この情報処理装置は、ＣＳＦ（Compressed Sparse Fiber）設計部と、ＣＳＦ構築部と、ＣＳＦ圧縮部とを有する。ＣＳＦ設計部は、ＣＳＦ表現のデータにテンソルを変換するためにＭ（ただし、Ｍは３以上の自然数）階以上のテンソルの軸の順序を設定する。ＣＳＦ構築部は、ＣＳＦ設計部による設定にしたがい、Ｍ階以上のテンソルをＣＳＦ表現のデータに変換する。ＣＳＦ圧縮部は、ＣＳＦ表現のデータに現れる重複構造を、当該重複構造を表す代替構造に置換することによりＣＳＦ表現のデータを圧縮し、圧縮されたＣＳＦ表現のデータである圧縮ＣＳＦデータと、置換ルールを示すデータである置換ルールデータとを出力する。
【0011】
また、従来技術として、行列乗算実行時間を改善する方法がある。この方法は、ＧＰＵ（Graphics Processing Unit）により、既知のサイズの２つの因子行列の行列かける行列の乗算の最適な分割を決定することを含む。この決定ステップは、複数の分割サイズについて２ウェイ分割の異なる組合せごとに、複数の行列かける行列の乗算実行をオフラインで行うことを含む。この決定ステップは、さらに、乗算実行それぞれに実行時間に基づいて性能値をオフラインで決定することを含む。また、この決定ステップは、２ウェイ分割の最高性能の組み合わせにより性能値が改善することがなくなるまで、乗算実行と性能値の決定をオフラインで再帰的に繰り返し、２ウェイ分割の最高性能の組み合わせを最適分割として保存することを含む。そして、この方法は、さらに、オンラインでＧＰＵにより、２つの因子行列の行列かける行列の乗算を、２ウェイ分割の最高性能の組み合わせの１つを呼び出すことによって実行することを含む。
【先行技術文献】
【特許文献】
【0012】
【文献】特開２０１６－１３９３９１号公報
【文献】国際公開第２０２０／００８５１３号
【文献】米国特許出願公開第２０１７／００４６３０７号明細書
【発明の概要】
【発明が解決しようとする課題】
【0013】
テンソル分解では、モード数が増加すると計算量が指数的に増加する。例えば、化学式のテンソルデータは、原子番号、陽子数、電荷数、中性子数など多くのモードがあり、テンソル分解の計算量が多い。また、計算量が多いと計算に必要なメモリ量も多い。
【0014】
本発明は、１つの側面では、テンソル分解の計算量を削減することを目的とする。
【課題を解決するための手段】
【0015】
１つの態様では、機械学習プログラムは、コンピュータに、テンソル形式のデータに含まれる複数の軸のうち、要素がワンホットベクトルで表現された第１の軸と要素がワンホットベクトルで表現されていない第２の軸とを特定する処理を実行させる。そして、前記機械学習プログラムは、前記コンピュータに、第１の処理と第２の処理とによって前記テンソル形式のデータから前記コアテンソルを算出する処理を実行させる。前記第１の処理は、前記テンソル形式のデータから複数の中間テンソルを介してコアテンソルを算出する際、前記複数の中間テンソルのうち第１の中間テンソルに含まれる要素に前記第１の軸に対応する第１の要素行列に含まれる要素を連結させる。前記第２の処理は、前記複数の中間テンソルのうち第２の中間テンソルと前記第２の軸に対応する第２の要素行列とのモード積を算出する。そして、前記機械学習プログラムは、前記コンピュータに、前記コアテンソルを入力として機械学習モデルの機械学習を実行する。
【発明の効果】
【0016】
本発明は、１つの側面では、テンソル分解の計算量を削減することができる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下に、本願の開示する機械学習プログラム、機械学習方法及び機械学習装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
【実施例】
【0019】
まず、ラベルモードとトポロジーモードについて説明する。実施例に係る機械学習装置は、モードをトポロジーモードとラベルモードに分ける。トポロジーモードは、データの繋がりを表現するモードである。ラベルモードは、属性を表すモードである。図１は、ラベルモードとトポロジーモードの例を示す図である。図１に示すように、始ＩＤ及び終ＩＤはトポロジーモードであり、始素、終素及び結合ははラベルモードである。ラベルモードはトポロジーモードの１つ以上のモードに対応付けられ、ラベルモードの値は対応付けられるトポロジーモードにより決まる。
【0020】
例えば、始素は始ＩＤに対応付けられ、始素の値は始ＩＤにより決まる。始ＩＤが１であれば始素はＣであり、始ＩＤが２又は３であれば始素はＨであり、始ＩＤが４であれば始素はＯである。また、終素は終ＩＤに対応付けられ、終素の値は終ＩＤにより決まる。終ＩＤが１であれば終素はＣであり、終ＩＤが２又は３であれば終素はＨであり、終ＩＤが４であれば終素はＯである。また、結合は始ＩＤと終ＩＤに対応付けられ、結合の値は始ＩＤと終ＩＤにより決まる。始ＩＤが１であって終ＩＤが２又は３であれば結合は１であり、始ＩＤが１であって終ＩＤが４であれば結合は２である。
【0021】
ラベルモードは、ワンホット（one-hot）ベクトルとして表現される。ここで、ワンホットベクトルとは、１つの要素だけが１であって他の要素が０であるベクトルである。
【0022】
次に、実施例に係る機械学習装置によるモード積の連結への変換について説明する。データテンソルにラベルモードが多く含まれると、データテンソルの非ゼロ要素はまばらになる。一方、要素行列は非ゼロ要素が密である。モード積の計算は、行列積Ｘ″＝(Ｗk)T×Ｘ′の計算であり、データテンソルにラベルモードが多く含まれると、非ゼロ要素がまばらな行列と密な行列の行列積を計算するため、モード積の計算を行うごとに中間テンソルの非ゼロの要素数が指数的に増大する。
【0023】
図２は、非ゼロ要素がまばらな行列と密な行列の行列積を説明するための図である。図２において、Ａは非ゼロ要素がまばらな行列であり、Ｂは非ゼロ要素が密な行列であり、ＣはＡとＢの行列積である。図２において、黒及び網掛けの四角は非ゼロ要素を示し、白の四角はゼロ要素を示す。図２に示すように、Ａの行の非ゼロ要素はＢの対応する行との積が計算されＣの対応する行を形成する。Ａの行に１つでも非ゼロ要素があると、Ｃの対応する行の要素は全て非ゼロとなる。このように、非ゼロ要素がまばらな行列と密な行列の行列積では、非ゼロ要素の数が指数的に増大する。すなわち、モード積の計算を行うごとに中間テンソルの非ゼロの要素数が指数的に増大する。
【0024】
そこで、実施例に係る機械学習装置は、ラベルモードのモード積を連結（concatenation）に変換する。ここで、連結とは、データテンソル又は中間テンソルの要素に要素行列の要素を付け加えることである。図３は、モード積と連結の相違を説明するための図である。図３は、モード積Ｐ2と連結Ｅ2の相違を示す。図３において、網掛けの立方体は非ゼロ要素を示し、白の立方体はゼロ要素を示す。ｎは中間テンソル1のモード「２」に関する非ゼロ要素のサイズであり、ｍは要素行列2の列の非ゼロ要素のサイズである。
【0025】
図３に示すように、モード積Ｐ2の場合には中間テンソル2のモード「２」に関する非ゼロ要素のサイズはｎ×ｍであるのに対して、連結Ｅ2の場合には中間テンソル2のモード「２」に関する非ゼロ要素のサイズはｎ＋ｍである。すなわち、実施例に係る機械学習装置は、ラベルモードのモード積を連結に変換することで、非ゼロ要素の数が線形的に増大するようにする。
【0026】
非ゼロ要素がまばらなテンソルＸは、インデックステーブルＩと非ゼロテンソル要素のベクトルＶの組（Ｉ，Ｖ）で混合表現される。混合表現において、Ｉの行はＶの要素の座標に対応し、Ｉの列はテンソルのモードに対応する。Ｉのｉ番目の行
は、非ゼロ要素が密なサブテンソルユニットＶiを指す。混合表現では、ゼロ要素は表現されない。
【数5】
【0027】
混合表現においてＸと要素行列Ｗとのモード積は、インデックス分割、テンソル外積、和の順に行われる。例えば、モードｎのモード積の計算では、インデックス行は以下の式（１）のように分割される。
【数6】
【0028】
モード積の出力インデックステーブルＩ′はＩ^iから形成される。モード積の出力ベクトルＶ′のそれぞれの値は、Ｖiの行と対応するＷの行の外積の和により以下の式（２）に示すように計算される。また、式（２）の和の計算は、以下の式（３）を満たすｉについて行われる。
【数7】
【0029】
ラベルモードでは、式（２）の和の計算がなくなり、外積だけになる。また、実施例に係る機械学習装置は、連結の出力ベクトルを以下に示す式（４）を用いて計算する。
【数8】
【0030】
実施例に係る機械学習装置は、テンソル分解により計算したコアテンソルをニューラルネットワークの入力するために、Ｖの要素をフラットにして連結してニューラルネットワークの入力を作成する。したがって、モード積の外積とベクトル連結は値の数は異なるが同じ情報を含む。このため、ラベルモードのモード積を連結に変換しても、学習への影響はない。
【0031】
次に、実施例に係る機械学習装置の機能構成について説明する。図４は、実施例に係る機械学習装置の機能構成を示す図である。図４に示すように、実施例に係る機械学習装置１は、コアテンソル計算部１１と学習部１２を有する。
【0032】
コアテンソル計算部１１は、データテンソルに関する情報、コアテンソルの各モードの要素数を入力してコアテンソルを計算する。学習部１２は、コアテンソル計算部１１により計算されたコアテンソルを用いて機械学習を行い、機械学習モデルを生成する。生成された機械学習モデルは、分類、予測などに用いられる。
【0033】
コアテンソル計算部１１は、入力部２１と、記憶部２２と、特定部２３と、決定部２４と、変換部２５と、交換部２６と、算出部２７とを有する。
【0034】
入力部２１は、データテンソルに関する情報、コアテンソルの各モードの要素数を入力して記憶部２２に格納する。
【0035】
記憶部２２は、入力部２１により入力された情報を記憶する。また、記憶部２２は、特定部２３、決定部２４、変換部２５、交換部２６、算出部２７により作成された情報を記憶する。
【0036】
特定部２３は、データテンソルの各モードがトポロジーモードであるかラベルモードであるかを特定し、特定結果を記憶部２２に格納する。特定部２３は、例えば、対象モード以外の全モードの値を固定したときに対象モードの値が１つだけ１であって他は全て０である場合に対象モードをラベルモードと特定し、他の場合には対象モードをトポロジーモードと特定する。なお、データテンソルの各モードがトポロジーモードであるかラベルモードであるかは、入力部２１により入力されて記憶部２２に格納されてもよい。あるいは、特定部２３は、ユーザに問い合わせることでトポロジーモードであるかラベルモードであるかを特定してもよい。
【0037】
決定部２４は、テンソル分解のモードの順番を、ラベルモードを先にトポロジーモードを後にするように決定し、決定した順番を記憶部２２に格納する。例えば、図５に示すように、始ＩＤのモードを「１」、終ＩＤのモードを「２」、始素のモードを「３」、終素のモードを「４」、結合のモードを「５」とすると、決定部２４は、Ｐ5Ｐ4Ｐ3Ｐ2Ｐ1をテンソル分解の処理の順番とする。ここで、Ｐ5Ｐ4Ｐ3Ｐ2Ｐ1は、Ｐ5、Ｐ4、Ｐ3、Ｐ2、Ｐ1の順番にテンソル分解の処理が行われることを示す。
【0038】
変換部２５は、ラベルモードのモード積Ｐを連結Ｅに変換し、変換結果を記憶部２２に格納する。図５に示した例では、モード「５」、モード「４」及びモード「３」がラベルモードなので、Ｐ5Ｐ4Ｐ3がＥ5Ｅ4Ｅ3に変換され、テンソル分解の処理の順番はＥ5Ｅ4Ｅ3Ｐ2Ｐ1となる。
【0039】
交換部２６は、連結Ｅをできるだけ後で処理するように処理の順番を交換し、交換結果を記憶部２２に格納する。ただし、交換部２６は、ラベルモードの処理をラベルモードに対応付けられたトポロジーモードの処理よりも前に行わなければならないという制約の下に、処理の順番を交換する。
【0040】
例えば、Ｅ5Ｅ4Ｅ3Ｐ2Ｐ1において、Ｅ3をできるだけ後に処理する場合に、モード「３」はモード「１」に対応付けられるので、Ｅ3はＰ1より前に行われなければならない。したがって、Ｅ3とＰ2の交換が行われ、Ｅ5Ｅ4Ｅ3Ｐ2Ｐ1はＥ5Ｅ4Ｐ2Ｅ3Ｐ1となる。モード「５」とモード「４」はモード「２」に対応付けられるので、これ以上の交換は行われない。連結Ｅをできるだけ後で処理することで、コアテンソル計算部１１は、中間テンソルの非ゼロ要素の数をさらに減らすことができる。
【0041】
交換部２６は、ラベルモードに対応付けられたトポロジーモードを、例えば、ユーザに問い合わせることで特定する。なお、ラベルモードに対応付けられたトポロジーモードは、入力部２１により入力されて記憶部２２に格納されてもよい。
【0042】
算出部２７は、交換部２６による交換結果に基づいてテンソル分解を行い、コアテンソルを算出する。そして、算出部２７は、算出したコアテンソルの情報を記憶部２２に格納する。算出部２７は、モード積部３１と連結部３２を有する。モード積部３１は、トポロジーモードについてモード積の計算を行う。連結部３２は、ラベルモードについて連結計算を行う。
【0043】
次に、コアテンソル計算部１１による処理の手順について説明する。図６は、コアテンソル計算部１１による処理の手順を示すフローチャートである。図６に示すように、コアテンソル計算部１１は、データテンソルの各モードについて、トポロジーモードであるかラベルモードであるかを特定する（ステップＳ１）。そして、コアテンソル計算部１１は、ラベルモード、トポロジーモードの順番にテンソル分解の順番を決定する（ステップＳ２）。
【0044】
そして、コアテンソル計算部１１は、ラベルモードの処理をＰからＥに変換する（ステップＳ３）。そして、コアテンソル計算部１１は、ラベルモードの処理をラベルモードに対応付けられたトポロジーモードの処理よりも前に行わなければならないという制約の下でＥをなるべく後に処理するようにＥとＰを交換する（ステップＳ４）。そして、コアテンソル計算部１１は、交換により得られた順番でコアテンソルを計算する（ステップＳ５）。
【0045】
このように、コアテンソル計算部１１は、ラベルモードの処理をＰからＥに変換するので、テンソル分解の計算量を削減することができる。
【0046】
次に、コアテンソル計算部１１によるコアテンソル計算の効果について説明する。図７Ａ～図７Ｅは、コアテンソル計算部１１によるコアテンソル計算の効果を説明するための図である。なお、図７Ａ～図７Ｅでは、図１に示した例が用いられる。コアテンソル計算の効果は、Ｐ5Ｐ4Ｐ2Ｐ3Ｐ1とＥ5Ｅ4Ｐ2Ｅ3Ｐ1の中間テンソルにおける形により表される。ここで、形は、非ゼロ要素の数を示す。また、コアテンソルのモード「５」の要素数をａ、モード「４」及びモード「３」の要素数をｂ、モード「２」及びモード「１」の要素数をｃとする。形が［ａ，ｂ，ｃ］である場合、非ゼロの要素数はａ＊ｂ＊ｃである。
【0047】
図７Ａに示すように、最初のモード「５」については、非ゼロ要素の数は１であるので、形は［１］である。また、要素行列の形は［２，ａ］であるので、Ｐ5Ｐ4Ｐ2Ｐ3Ｐ1の場合はＰ5により形は［１×ａ］＝［ａ］となり、Ｅ5Ｅ4Ｐ2Ｅ3Ｐ1の場合はＥ5により形は［１＋ａ］＝［ａ＋１］となる。
【0048】
次のモード「４」については、図７Ｂに示すように、要素行列の形は［３，ｂ］であるので、Ｐ5Ｐ4Ｐ2Ｐ3Ｐ1の場合はＰ4により形は［ｂ，ａ］となり、Ｅ5Ｅ4Ｐ2Ｅ3Ｐ1の場合はＥ4により形は［ａ＋ｂ＋１］となる。
【0049】
次のモード「２」については、図７Ｃに示すように、要素行列の形は［４，ｃ］であるので、Ｐ5Ｐ4Ｐ2Ｐ3Ｐ1の場合はＰ2により形は［ｃ，ｂ，ａ］となり、Ｅ5Ｅ4Ｐ2Ｅ3Ｐ1の場合はＰ2により形は［ｃ，ａ＋ｂ＋１］となる。
【0050】
次のモード「３」については、図７Ｄに示すように、要素行列の形は［３，ｂ］であるので、Ｐ5Ｐ4Ｐ2Ｐ3Ｐ1の場合はＰ3により形は［ｂ，ｃ，ｂ，ａ］となり、Ｅ5Ｅ4Ｐ2Ｅ3Ｐ1の場合はＥ3により形は［ｂ＋ｃ（ａ＋ｂ＋１）］となる。
【0051】
次のモード「１」については、図７Ｅに示すように、要素行列の形は［４，ｃ］であるので、Ｐ5Ｐ4Ｐ2Ｐ3Ｐ1の場合はＰ1により形は［ｃ，ｂ，ｃ，ｂ，ａ］となり、Ｅ5Ｅ4Ｐ2Ｅ3Ｐ1の場合はＰ1により形は［ｃ，ｂ＋ｃ（ａ＋ｂ＋１）］となる。
【0052】
このように、コアテンソルの計算において、Ｐ5Ｐ4Ｐ2Ｐ3Ｐ1の場合は非ゼロ要素の数はｃ＊ｂ＊ｃ＊ｂ＊ａとなり、Ｅ5Ｅ4Ｐ2Ｅ3Ｐ1の場合は非ゼロ要素の数はｃ＊（ｂ＋ｃ＊（ａ＋ｂ＋１））となる。したがって、コアテンソル計算部１１は、コアテンソルの計算において計算量を減らすことができる。
【0053】
上述してきたように、実施例では、特定部２３が、データテンソルの各モードがトポロジーモードであるかラベルモードであるかを特定し、変換部２５が、ラベルモードのモード積Ｐを連結Ｅに変換する。そして、コアテンソルの計算において、モード積部３１が、トポロジーモードについてモード積の計算を行い、連結部３２が、ラベルモードについて連結計算を行う。したがって、コアテンソル計算部１１は、テンソル分解の計算量を減らすことができる。
【0054】
また、実施例では、交換部２６が、連結Ｅをできるだけ後で処理するようにテンソル分解の処理の順番を交換するので、テンソル分解の計算量をさらに減らすことができる。
【0055】
また、実施例では、交換部２６は、ラベルモードの処理をラベルモードに対応付けられたトポロジーモードの処理よりも前に行わなければならないという制約の下に、処理の順番を交換するので、テンソル分解の計算量をさらに減らすことができる。
【0056】
なお、実施例では、機械学習装置１について説明したが、機械学習装置１が有する構成をソフトウェアによって実現することで、同様の機能を有する機械学習プログラムを得ることができる。そこで、機械学習プログラムを実行するコンピュータについて説明する。
【0057】
図８は、実施例に係る機械学習プログラムを実行するコンピュータのハードウェア構成を示す図である。図２２に示すように、コンピュータ５０は、メインメモリ５１と、ＣＰＵ（Central Processing Unit）５２と、ＬＡＮ（Local Area Network）インタフェース５３と、ＨＤＤ（Hard Disk Drive）５４とを有する。また、コンピュータ５０は、スーパーＩＯ（Input Output）５５と、ＤＶＩ（Digital Visual Interface）５６と、ＯＤＤ（Optical Disk Drive）５７とを有する。
【0058】
メインメモリ５１は、プログラムやプログラムの実行途中結果等を記憶するメモリである。ＣＰＵ５２は、メインメモリ５１からプログラムを読み出して実行する中央処理装置である。ＣＰＵ５２は、メモリコントローラを有するチップセットを含む。
【0059】
ＬＡＮインタフェース５３は、コンピュータ５０をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ５４は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ５５は、マウスやキーボード等の入力装置を接続するためのインタフェースである。ＤＶＩ５６は、液晶表示装置を接続するインタフェースであり、ＯＤＤ５７は、ＤＶＤ、ＣＤ－Ｒの読み書きを行う装置である。
【0060】
ＬＡＮインタフェース５３は、ＰＣＩエクスプレス（ＰＣＩｅ）によりＣＰＵ５２に接続され、ＨＤＤ５４及びＯＤＤ５７は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ５２に接続される。スーパーＩＯ５５は、ＬＰＣ（Low Pin Count）によりＣＰＵ５２に接続される。
【0061】
そして、コンピュータ５０において実行される機械学習プログラムは、コンピュータ５０により読み出し可能な記録媒体の一例であるＣＤ－Ｒに記憶され、ＯＤＤ５７によってＣＤ－Ｒから読み出されてコンピュータ５０にインストールされる。あるいは、機械学習プログラムは、ＬＡＮインタフェース５３を介して接続された他のコンピュータシステムのデータベース等に記憶され、これらのデータベースから読み出されてコンピュータ５０にインストールされる。そして、インストールされた機械学習プログラムは、ＨＤＤ５４に記憶され、メインメモリ５１に読み出されてＣＰＵ５２によって実行される。
【符号の説明】
【0062】
１ 機械学習装置
１１ コアテンソル計算部
１２ 学習部
２１ 入力部
２２ 記憶部
２３ 特定部
２４ 決定部
２５ 変換部
２６ 交換部
２７ 算出部
３１ モード積部
３２ 連結部
５０ コンピュータ
５１ メインメモリ
５２ ＣＰＵ
５３ ＬＡＮインタフェース
５４ ＨＤＤ
５５ スーパーＩＯ
５６ ＤＶＩ
５７ ＯＤＤ
９１，９２ 要素
１１ コアテンソル計算部
１２ 学習部
２１ 入力部
２２ 記憶部
２３ 特定部
２４ 決定部
２５ 変換部
２６ 交換部
２７ 算出部
３１ モード積部
３２ 連結部
５０ コンピュータ
５１ メインメモリ
５２ ＣＰＵ
５３ ＬＡＮインタフェース
５４ ＨＤＤ
５５ スーパーＩＯ
５６ ＤＶＩ
５７ ＯＤＤ
９１，９２ 要素
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8】
【図9】
【図10】
【図11】