知財求人 - 知財ポータルサイト「IP Force」
特許7574145データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20241021BHJP
【ＦＩ】
G06N20/00
【請求項の数】
12
(21)【出願番号】P 2021103906
(22)【出願日】2021-06-23
(65)【公開番号】P2023003005
(43)【公開日】2023-01-11
【審査請求日】2024-02-27
(73)【特許権者】
【識別番号】000107538
【氏名又は名称】株式会社ＵＡＣＪ
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】前野 良太
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０２０－１２８９６２（ＪＰ，Ａ）
【文献】特開２０１８－７３２９３（ＪＰ，Ａ）
【文献】特開２０１３－３８６１（ＪＰ，Ａ）
【文献】特開２０１１－７０５０３（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９５０９１８０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
ｍ次元（ｍは３以上の整数）の高次元空間内の、それぞれがｍ次元ベクトルで表されるデータ群を、ｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮する方法であって、前記高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はｐ個（ｐはｍ以上の整数）の第１パラメータを含む、圧縮ステップと、
次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、
分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、ｍ個の説明変数、および、前記ｍ個の説明変数に対応したｑ個（ｑはｍ以上の整数）の第２パラメータの関数として表される、分析ステップと、
前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記ｐ個の第１パラメータを更新する更新ステップと、
を含み、
前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップを繰り返して実行する、方法。
【請求項2】
前記圧縮ステップにおいて、自己組織化マップを次元圧縮に適用する、請求項１に記載の方法。
【請求項3】
前記距離関数は重み付きユークリッド距離で表され、ここで、整数ｐは整数ｍに等しく、前記ｐ個の第１パラメータは、それぞれ、前記任意の２個のベクトル間におけるｍ個の成分同士の距離を重み付けするｍ個の重み係数である、請求項１または２に記載の方法。
【請求項4】
前記回帰モデルは線形重回帰モデルである、請求項１から３のいずれかに記載の方法。
【請求項5】
前記ｑ個の第２パラメータは、ｍ個の偏回帰係数であり、ここで、整数ｑは整数ｍに等しく、分割された小区間毎に前記分析ステップにおいて実行した線形重回帰分析から得られた前記ｍ個の偏回帰係数の絶対値に基づいて更新パラメータを算出し、
前記更新ステップにおいて、前記更新パラメータを用いて前記ｐ個の第１パラメータを更新する、請求項４に記載の方法。
【請求項6】
前記低次元空間は２次元空間である、請求項１から５のいずれかに記載の方法。
【請求項7】
前記ｐ個の第１パラメータを初期化する初期化ステップを含む、請求項１から６のいずれかに記載の方法。
【請求項8】
次元圧縮した後の前記低次元空間内のデータ群を可視化した画像を表示装置に表示させる表示ステップを含む、請求項１から７のいずれかに記載の方法。
【請求項9】
前記ｍ次元ベクトルは、合金材料の化学成分および／または製造条件を成分に含む、請求項１から８のいずれかに記載の方法。
【請求項10】
前記製造条件は、アルミニウム合金の圧延材に関連する製造条件を含む、請求項９に記載の方法。
【請求項11】
ｍ次元（ｍは３以上の整数）の高次元空間内の、それぞれがｍ次元ベクトルで表されるデータ群を、ｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮するために用いるコンピュータプログラムであって、前記高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はｐ個（ｐはｍ以上の整数）の第１パラメータを含む、圧縮ステップと、
次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、
分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、ｍ個の説明変数、および、前記ｍ個の説明変数に対応したｑ個（ｑはｍ以上の整数）の第２パラメータの関数として表される、分析ステップと、
前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記ｐ個の第１パラメータを更新する更新ステップと、
をコンピュータに、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行させる、コンピュータプログラム。
【請求項12】
ｍ次元（ｍは３以上の整数）の高次元空間内の、それぞれがｍ次元ベクトルで表されるデータ群を、ｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮するデータ次元圧縮装置であって、プロセッサと、
前記プロセッサの動作を制御するプログラムを記憶するメモリと、
を備え、
前記プロセッサは、前記プログラムに従って、
前記高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はｐ個（ｐはｍ以上の整数）の第１パラメータを含む、圧縮ステップと、
次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、
分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、ｍ個の説明変数、および、前記ｍ個の説明変数に対応したｑ個（ｑはｍ以上の整数）の第２パラメータの関数として表される、分析ステップと、
前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記ｐ個の第１パラメータを更新する更新ステップと、
を、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行する、データ次元圧縮装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置に関する。
【背景技術】
【0002】
近年、ディープラーニングに代表される機械学習を活用した様々な研究開発が進められている。機械学習が利用される利用分野は多岐にわたる。例えば、製造業では、設計支援、生産計画支援などにおいて、新規材料の開発や生産性向上などを目的として、機械学習の技術を設計支援または生産計画支援に応用する取り組みが行われている。
【0003】
機械学習の前に、多次元データに前処理を適用し、次元削減を行うことが一般的である。次元削減を行うことよって、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化することが可能となる。次元削減の例は、主成分分析（ＰＣＡ）または独立成分分析（ＩＣＡ）などである。また、個々のデータ（要素）が含む成分の物理量の単位が異なる場合は、次元削減に用いる各変数に対する重みを同等にするための前処理が行われる。前処理の例は、各変数から平均値を引いて平均を０にする処理（「センタリング」と称される）、各変数を標準偏差で割って標準偏差を１にする処理（「スケーリング」と称される）、または、センタリングおよびスケーリングの組み合わせ（「オートスケーリング」と称される）などである。
【0004】
特許文献１は、多次元空間から２次元空間に材料パラメータを次元削減する方法を開示している。この次元削減は、２次元座標における、材料パラメータに対応するデータ点の位置を変更することをユーザに許容する。その変更情報に基づいて回帰分析を行うことで、材料パラメータに対するパラメータ重要度が更新される。その後、ユーザによるデータ点の位置変更を反映した多次元の材料パラメータに次元削減が再び適用される。この方法によれば、ユーザの知見を活かした材料特性予測を行うことができるとされている。
【0005】
特許文献２は、局所的なデータの分布において近傍データを決定するためのパラメータを、次元削減の対象となるデータ群に含まれるデータ間の距離に基づいてデータ毎に決定し、決定したパラメータに基づいてデータの次元削減を行う方法を開示している。次元削減の対象となるデータ群における少なくとも一部のデータ間の距離情報は、ユーザによって入力され得る。この方法によれば、ユーザの意図がより反映された良好な次元削減の結果を得ることができるとされている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０２０－１２８９６２号公報
【文献】特開２０１８－７３２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１および２に開示された方法によれば、適切な次元削減の結果を得るために、次元削減を実行した後、その都度、次元削減後の座標系におけるデータ点の位置を変更することや、データ間の距離情報を入力することがユーザに求められる。このようなインタラクティブなやり取りは、演算装置とユーザとに負荷をかけるだけでなく、処理時間の増加の要因となり得る。
【0008】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、演算装置に対する負荷または処理時間の増加を抑制し、ユーザからの入力を必要としない、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を実現することが可能なデータ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置を提供することにある。
【課題を解決するための手段】
【0009】
本開示の次元圧縮方法は、ｍ次元（ｍは３以上の整数）の高次元空間内の、それぞれがｍ次元ベクトルで表されるデータ群を、ｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮する方法である。前記次元圧縮方法は、非限定的で例示的な実施形態において、前記高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はｐ個（ｐはｍ以上の整数）の第１パラメータを含む、圧縮ステップと、次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、ｍ個の説明変数、および、前記ｍ個の説明変数に対応したｑ個（ｑはｍ以上の整数）の第２パラメータの関数として表される、分析ステップと、前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記ｐ個の第１パラメータを更新する更新ステップと、を含む。前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップが繰り返して実行される。
【0010】
本開示のコンピュータプログラムは、ｍ次元（ｍは３以上の整数）の高次元空間内の、それぞれがｍ次元ベクトルで表されるデータ群を、ｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮するために用いる、コンピュータに実行可能なコンピュータプログラムである。前記コンピュータプログラムは、非限定的で例示的な実施形態において、前記高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はｐ個（ｐはｍ以上の整数）の第１パラメータを含む、圧縮ステップと、次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、ｍ個の説明変数、および、前記ｍ個の説明変数に対応したｑ個（ｑはｍ以上の整数）の第２パラメータの関数として表される、分析ステップと、前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記ｐ個の第１パラメータを更新する更新ステップと、をコンピュータに、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行させる。
【0011】
本開示のデータ次元圧縮装置は、ｍ次元（ｍは３以上の整数）の高次元空間内の、それぞれがｍ次元ベクトルで表されるデータ群を、ｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮する装置である。前記データ次元圧縮装置は、非限定的で例示的な実施形態において、プロセッサと、前記プロセッサの動作を制御するプログラムを記憶するメモリと、を備える。前記プロセッサは、前記プログラムに従って、前記高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はｐ個（ｐはｍ以上の整数）の第１パラメータを含む、圧縮ステップと、次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、ｍ個の説明変数、および、前記ｍ個の説明変数に対応したｑ個（ｑはｍ以上の整数）の第２パラメータの関数として表される、分析ステップと、前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記ｐ個の第１パラメータを更新する更新ステップと、を、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行する。
【発明の効果】
【0012】
本開示の例示的な実施形態は、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を実現することが可能なデータ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置を提供する。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、添付の図面を参照しながら、本開示の実施形態によるデータ次元圧縮方法およびデータ次元圧縮装置を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成または処理に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。また、実質的に同一の構成または処理に同一の参照符号を付す場合がある。
【0015】
以下の実施形態は例示であり、本開示によるデータ次元圧縮方法およびデータ次元圧縮装置は、以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、そのステップの順序などは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
【0016】
［１．データ次元圧縮装置］
本実施形態に係るデータ次元圧縮装置は、ｍ次元（ｍは３以上の整数）の高次元空間内のデータ群をｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮することが可能である。当該データ次元圧縮装置は、データの次元数をｍからｎ次元数に削減すために用いられる。データ次元圧縮装置は、典型的に、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリとを備える。高次元空間内のデータ群に含まれる各データはｍ次元ベクトルで表される。データ次元圧縮装置に入力するｍ次元ベクトルはｎ次元ベクトルに次元削減される。次元削減されたｎ次元ベクトルは、機械学習の入力データとして扱うことができる。データ次元圧縮装置を用いて、例えば、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を行うことが可能である。
本実施形態に係るデータ次元圧縮装置は、ｍ次元（ｍは３以上の整数）の高次元空間内のデータ群をｎ次元（ｎは２以上ｍ未満の整数）の低次元空間に次元圧縮することが可能である。当該データ次元圧縮装置は、データの次元数をｍからｎ次元数に削減すために用いられる。データ次元圧縮装置は、典型的に、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリとを備える。高次元空間内のデータ群に含まれる各データはｍ次元ベクトルで表される。データ次元圧縮装置に入力するｍ次元ベクトルはｎ次元ベクトルに次元削減される。次元削減されたｎ次元ベクトルは、機械学習の入力データとして扱うことができる。データ次元圧縮装置を用いて、例えば、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を行うことが可能である。
【0017】
図１は、データ次元圧縮装置２００のハードウェア構成例を示すブロック図である。
【0018】
データ次元圧縮装置２００は、例えば、データベースに蓄積された膨大なデータ（例えばビッグデータ）にアクセスして、次元削減の対象となるデータ群を取得することができる。例えば、本実施形態による次元圧縮を鋼材の製造に適用する場合、データ次元圧縮装置２００に入力するデータ群は、製造プロセス、製造条件などの製造実績データおよび材料試験結果に関する情報などを含み得る。
【0019】
データ次元圧縮装置２００は、例えば、入力装置２１０、表示装置２２０、通信Ｉ／Ｆ２３０、記憶装置２４０、プロセッサ２５０、ＲＯＭ（Read Only Memory）２６０およびＲＡＭ（Random Access Memory）２７０を備える。これらの構成要素は、バス２８０を介して相互に通信可能に接続される。
【0020】
データ次元圧縮装置２００は、例えば、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、または、クラウドサーバを含むサーバコンピュータとして実現され得る。本実施形態によるデータの次元圧縮を行うための命令群を含むコンピュータプログラム、ソフトウェアまたはファームウェアがデータ次元圧縮装置２００に実装される。そのようなコンピュータプログラムは、例えば光ディスクなどの、コンピュータが読み取り可能な記録媒体に記録され、パッケージソフトウェアとして販売され、または、インターネットを介して提供され得る。
【0021】
入力装置２１０は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置２１０は、例えばキーボード、マウスまたはタッチパネルである。
【0022】
表示装置２２０は、例えば液晶ディスプレイまたは有機ＥＬディスプレイである。表示装置２２０は、例えば、次元圧縮した後の低次元空間内のデータ群の分布を可視化した画像を表示することができる。データ群の可視化については後述する。
【0023】
通信Ｉ／Ｆ２３０は、例えば、データ次元圧縮装置２００とデータベースとの間でデータ通信を行ったり、データ次元圧縮装置２００とサーバコンピュータまたは他のパーソナルコンピュータと間で通信を行ったりするためのインタフェースである。データが転送可能であればその形態、プロトコルは限定されない。例えば、通信Ｉ／Ｆ２３０は、ＵＳＢ、ＩＥＥＥ１３９４（登録商標）、またはイーサネット（登録商標）などに準拠した有線通信を行うことができる。通信Ｉ／Ｆ２３０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格および／またはＷｉ－Ｆｉ規格に準拠した無線通信を行うことができる。いずれの規格も、２．４ＧＨｚ帯または５．０ＧＨｚ帯の周波数を利用した無線通信規格を含む。
【0024】
記憶装置２４０は、例えば磁気記憶装置、光学記憶装置、半導体記憶装置またはそれらの組み合わせである。光学記憶装置の例は、光ディスクドライブまたは光磁気ディスク（ＭＤ）ドライブなどである。磁気記憶装置の例は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスク（ＦＤ）ドライブまたは磁気テープレコーダである。半導体記憶装置の例は、ソリッドステートドライブ（ＳＳＤ）である。
【0025】
プロセッサ２５０は、半導体集積回路であり、中央演算処理装置（ＣＰＵ）またはマイクロプロセッサとも称される。プロセッサ２５０は、データの次元圧縮のための命令群を記述した、ＲＯＭ２６０に格納されたコンピュータプログラムを逐次実行し、所望の処理を実現する。
【0026】
本実施形態におけるプロセッサ２５０は、コンピュータプログラムに従って、後述する、圧縮ステップ、分割ステップ、分析ステップおよび更新ステップをこの順番で繰り返して実行するように構成されている。
【0027】
データ次元圧縮装置２００は、プロセッサ２５０に加えてまたは代えて、ＣＰＵを搭載したＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＳＳＰ（Application Specific Standard Product）、または、これら回路の中から選択される２つ以上の回路の組み合わせを備え得る。
【0028】
ＲＯＭ２６０は、例えば、書き込み可能なメモリ（例えばＰＲＯＭ）、書き換え可能なメモリ（例えばフラッシュメモリ）、または読み出し専用のメモリである。ＲＯＭ２６０は、プロセッサの動作を制御するプログラムを記憶している。ＲＯＭ２６０は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。複数の集合体の一部は取り外し可能なメモリであってもよい。
【0029】
ＲＡＭ２７０は、ＲＯＭ２６０に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。ＲＡＭ２７０は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。
【0030】
［２．次元圧縮方法］
図２は、本実施形態に係る次元圧縮方法の処理手順を例示するフローチャートである。
図２は、本実施形態に係る次元圧縮方法の処理手順を例示するフローチャートである。
【0031】
本実施形態における次元圧縮方法は、圧縮ステップＳ３１０と、分割ステップＳ３２０と、分析ステップＳ３３０と、更新ステップＳ３４０と、判定ステップＳ３５０とを含む。当該次元圧縮方法は、例えば、上述したデータ次元圧縮装置２００に実装することができる。典型的には、それぞれのステップに含まれる処理（またはタスク）は、ソフトウェアのモジュール単位でコンピュータプログラムに記述される。ただし、ＦＰＧＡなどを用いる場合、一連の処理の全部または一部は、ハードウェア・アクセラレータとして実装され得る。以下の説明において、それぞれの処理を実行する主体は、データ次元圧縮装置２００が備えるプロセッサ２５０とする。
【0032】
（圧縮ステップＳ３１０）
プロセッサ２５０は、高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、データ群を高次元空間から低次元空間に次元圧縮する。距離関数はｐ個の第１パラメータを含む。本実施形態おける第１パラメータの個数ｐは、高次元空間の次元数ｍに等しい。ただし、ｐはｍ以上の整数、例えば２ｍまたは３ｍであり得る。
プロセッサ２５０は、高次元空間内の任意の２個のベクトル間の距離を規定する距離関数を用いて、データ群を高次元空間から低次元空間に次元圧縮する。距離関数はｐ個の第１パラメータを含む。本実施形態おける第１パラメータの個数ｐは、高次元空間の次元数ｍに等しい。ただし、ｐはｍ以上の整数、例えば２ｍまたは３ｍであり得る。
【0033】
次元圧縮の方法として、例えば、自己組織化マップ、カーネル主成分分析(Kernel PCA)、ＧＴＭ(generative topographic map)またはｔ－ＳＮＥ(t-Distributed Stochastic Neighbor Embedding)などのアルゴリズムを用いることができる。本実施形態において、自己組織化マップが次元圧縮に適用される。
【0034】
本実施形態における距離関数は重み付きユークリッド距離で表される。この場合、整数ｐは整数ｍに等しい。ｐ個（つまりｍ個）の第１パラメータは、それぞれ、任意の２個のベクトル間におけるｍ次元ベクトルのｍ個の成分同士の距離を重み付けするｍ個の重み係数である。ただし、距離空間を形成する距離関数は、重み付きユークリッド距離に限定されず、例えば、マンハッタン距離、または、これよりも一般化されたk-乗平均距離、チェビシェフ距離などで表され得る。
【0035】
本実施形態におけるｍ次元ベクトルは、合金材料の化学成分および／または製造条件を成分に含み得る。ｍ次元ベクトルは、例えば、アルミニウム合金の化学成分および／または製造条件を成分に含み得る。製造条件は、アルミニウム合金の圧延材に関連する製造条件を含み得る。
【0036】
図３は、自己組織化マップの概念を説明するための図である。以下、自己組織化マップはＳＯＭと記載する。ＳＯＭはニューラルネットワークの一種である。ＳＯＭは、高次元空間にあるデータセットを、データ分布の位相的構造を保存しつつ低次元空間に写像する次元圧縮法である。以降、高次元空間を「観測空間」と記載し、低次元空間を「潜在空間」と記載し、観測空間内にあるデータを「観測データ」と記載する場合がある。ＳＯＭにおいて、高次元情報を有する各観測データに対して、データ間の距離が定義される。観測空間におけるこの距離が近いデータ同士が潜在空間上でも近くに配置されるように学習が実行される。
【0037】
ここで、数学的な定義を行う。先ず、ｍ次元の観測空間Ｘ＝（Ｒｍ，ｄ）と、それに対応する２次元の潜在空間Ｚ＝（［０，１］２，ｄｚ）とを考える。潜在空間から観測空間への連続単射写像をｆ：Ｚ→Ｘと記載する。本実施形態において、次元圧縮後のデータに対する考察の容易さを考慮し、潜在空間は２次元空間である。ただし、潜在空間は、３次元以上の空間であり得る。
【0038】
それぞれの観測データｎをｘｎで表し、観測データ群を含むデータセットをＸＬ＝（ｘ１，ｘ２，・・・，ｘＮ）と定義する。ｘｎはｍ次元ベクトルである。また、観測空間Ｘ上の各要素（ｍ次元ベクトル）間の距離ｄ：Ｒｍ×Ｒｍ→Ｒを任意の２個の要素について定義する。本定義は距離の公理を満たせばよいが、本実施形態における距離関数は、最も一般的なユークリッドノルムをベースとした数１の数式で表される。
【0039】
【数1】
ここで、ｗ＝［ｗ１，ｗ２，・・・，ｗｍ］は、ベクトルの各成分の距離に対する重みまたは重み係数である。数１で表される距離を重み付きユークリッド距離と呼ぶ。重みｗの詳細については後述する。
【0040】
次に、潜在空間における各ノードｋの座標はζｋで表される。この座標を観測空間に移したｙｋ＝ｆ（ζｋ）は参照ベクトルと呼ぶ。ＳＯＭの目的は、潜在空間内の全ノードｋのそれぞれに対応する観測空間内のｙｋを、ＸＬの分布を上手く説明できるように更新していくことである。これらの数学的な定義によって、連続単射写像ｆを設計することができる。
【0041】
ＳＯＭの学習法として、オンライン学習法またはバッチ学習法がある。本実施形態では、オフライン環境において現実的な計算時間で学習することが可能となるために、学習に偏りが比較的に出にくいと考えられるバッチ学習法を用いる。
【0042】
バッチ学習法のアルゴリズムの概要を以下に説明する。
（１）各観測ベクトルｘｎに最も距離が近い参照ベクトルｙｋｎ ＊に対応する、潜在空間におけるノードｋｎ ＊を勝者ノードと呼ぶ。勝者ノードを全ての観測データｎに対して求める。また、観測データｎに対応する潜在空間における座標をｚｎ＝ζｋｎ ＊で表す。
（２）各勝者ノードが近傍ノードｋに分配する学習量を計算する。潜在空間における距離が勝者ノードｋｎ ＊に近いノードほど、観測空間内のｘｎに近づくための学習量が大きくなるよう、近傍関数を学習量の計算に用いる。近傍関数は、例えば数２の数式に示すガウス関数で表すことができる。ここで、σは近傍半径である。
（３）全ての参照ベクトルを数３の数式で表される重み付き平均になるように更新する。
上記の（１）から（３）の処理を、近傍半径σを更新しながら学習が収束するまで繰り返し実行する。
（１）各観測ベクトルｘｎに最も距離が近い参照ベクトルｙｋｎ ＊に対応する、潜在空間におけるノードｋｎ ＊を勝者ノードと呼ぶ。勝者ノードを全ての観測データｎに対して求める。また、観測データｎに対応する潜在空間における座標をｚｎ＝ζｋｎ ＊で表す。
（２）各勝者ノードが近傍ノードｋに分配する学習量を計算する。潜在空間における距離が勝者ノードｋｎ ＊に近いノードほど、観測空間内のｘｎに近づくための学習量が大きくなるよう、近傍関数を学習量の計算に用いる。近傍関数は、例えば数２の数式に示すガウス関数で表すことができる。ここで、σは近傍半径である。
【数2】
（３）全ての参照ベクトルを数３の数式で表される重み付き平均になるように更新する。
【数3】
上記の（１）から（３）の処理を、近傍半径σを更新しながら学習が収束するまで繰り返し実行する。
【0043】
（分割ステップＳ３２０）
プロセッサ２５０は、次元圧縮した後の低次元空間を複数の小区間に分割する。
プロセッサ２５０は、次元圧縮した後の低次元空間を複数の小区間に分割する。
【0044】
（分析ステップＳ３３０）
プロセッサ２５０は、分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行い得る。回帰モデルは、ｍ個の説明変数、および、ｍ個の説明変数に対応したｑ個の第２パラメータの関数として表される。ここで、ｑはｍ以上の整数である。本実施形態における回帰モデルは線形重回帰モデル（式）である。この場合、整数ｑは整数ｍに等しい。ｑ個（つまりｍ個）の第２パラメータのそれぞれはｍ個の偏回帰係数である。ただし、分析ステップにおいて非線形回帰モデルを用いて分析を行うことも可能である。本実施形態において、ｐ＝ｑ＝ｍが成立するが、ｐ、ｑおよびｍの関係はこれに限定されない。
プロセッサ２５０は、分割された小区間毎に、所属する少なくとも１個のデータに基づいて回帰モデルを用いて回帰分析を行い得る。回帰モデルは、ｍ個の説明変数、および、ｍ個の説明変数に対応したｑ個の第２パラメータの関数として表される。ここで、ｑはｍ以上の整数である。本実施形態における回帰モデルは線形重回帰モデル（式）である。この場合、整数ｑは整数ｍに等しい。ｑ個（つまりｍ個）の第２パラメータのそれぞれはｍ個の偏回帰係数である。ただし、分析ステップにおいて非線形回帰モデルを用いて分析を行うことも可能である。本実施形態において、ｐ＝ｑ＝ｍが成立するが、ｐ、ｑおよびｍの関係はこれに限定されない。
【0045】
プロセッサ２５０は、分割された小区間毎に、所属する少なくとも１個のデータに基づいて線形重回帰分析を実行する。プロセッサ２５０は、線形重回帰分析から得られたｍ個の偏回帰係数の絶対値に基づいて更新パラメータを算出する。
【0046】
（更新ステップＳ３４０）
プロセッサ２５０は、複数の小区間における回帰分析の結果に基づいて距離関数に含まれるｐ個の第１パラメータを更新する。換言すると、プロセッサ２５０は、更新パラメータを用いてｐ個の第１パラメータを更新する。本実施形態における重み付きユークリッド距離の重み係数は、線形重回帰分析の結果に基づいて更新される。
プロセッサ２５０は、複数の小区間における回帰分析の結果に基づいて距離関数に含まれるｐ個の第１パラメータを更新する。換言すると、プロセッサ２５０は、更新パラメータを用いてｐ個の第１パラメータを更新する。本実施形態における重み付きユークリッド距離の重み係数は、線形重回帰分析の結果に基づいて更新される。
【0047】
（判定ステップＳ３５０）
プロセッサ２５０は、次元圧縮の結果が所定の条件を満足するかどうかを判定する。プロセッサ２５０は、次元圧縮の結果が所定の条件を満足すると判定するとき、次元圧縮の処理を完了する（Ｓ３５０のＹｅｓ）。プロセッサ２５０は、次元圧縮の結果が所定の条件を満足しないと判定するとき、再び圧縮ステップＳ３１０の処理に戻り（Ｓ３５０のＮｏ）、次元圧縮の結果が所定の条件を満足するまで、圧縮ステップＳ３１０、分割ステップＳ３２０、分析ステップＳ３３０および更新ステップＳ３４０を繰り返して実行する。
プロセッサ２５０は、次元圧縮の結果が所定の条件を満足するかどうかを判定する。プロセッサ２５０は、次元圧縮の結果が所定の条件を満足すると判定するとき、次元圧縮の処理を完了する（Ｓ３５０のＹｅｓ）。プロセッサ２５０は、次元圧縮の結果が所定の条件を満足しないと判定するとき、再び圧縮ステップＳ３１０の処理に戻り（Ｓ３５０のＮｏ）、次元圧縮の結果が所定の条件を満足するまで、圧縮ステップＳ３１０、分割ステップＳ３２０、分析ステップＳ３３０および更新ステップＳ３４０を繰り返して実行する。
【0048】
本実施形態における所定の条件は、指定された繰り返し回数である。ただし、所定の条件はこれに限定されない。例えば、圧縮ステップＳ３１０、分割ステップＳ３２０、分析ステップＳ３３０および更新ステップＳ３４０の一連の処理が完了するごとに、次元圧縮後のデータの分類結果を可視化した可視化マップが表示装置に表示され得る。ユーザは、その都度、可視化マップを確認し、次元圧縮処理を終了するかどうかを判断してもよい。このように、終了条件は、次元圧縮の実行中に入力装置を介してユーザから次元圧縮装置に入力され得る。
【0049】
上述した数１の数式に示す距離関数において、重み係数の影響は非常に大きい。例えば、アルミニウム合金の製造工程を例に取る。この製造工程は熱間圧延を含み得る。熱間圧延における変形抵抗を特徴付ける因子となり得る複数の製造データ（または製造パラメータ）を含む観測データ群を次元圧縮の対象とすることができる。その場合、例えば、化学成分であるＭｇの成分比１％と温度１℃とでは物理量の単位が異なる。単位が同じであっても、例えば、Ｍｇの成分比１％とＦｅの成分比１％とでは、変形抵抗に与える影響度が異なり得る。このために、機械学習に用いる入力データを含む学習データセットにオートスケーリングを適用し、観測空間内の要素の各成分について平均０、分散１となるような正規化の前処理を行うことが一般的である。しかしながら、入力データの分散が要素の成分の重要度に直接関係しないために、オートスケーリングなどの前処理を適用しても、本来求めたいデータ間の類似度を正しく表現できないという課題がある。
【0050】
本発明者は、各データに対する目的変数ｇを予め設定しておき、目的変数ｇに対して影響度が大きい説明変数ほどその説明変数の重み係数も大きくなるように重み係数を調整する次元圧縮のアルゴリズム（以降、「重み更新アルゴリズム」と呼ぶ場合がある。）に想到した。例えば、上述したアルミニウム合金の熱間圧延における製造データを説明変数として、変形抵抗を目的変数ｇに設定することができる。または、例えば、熱間仕上げ圧延機における加工中の工具の摩擦状態を目的変数ｇに設定してもよいし、変形抵抗および摩擦状態の両方を加味した式から導出されるものを目的変数ｇに設定してもよい。このように、目的変数ｇは、機械学習（または次元削減）の目的に応じて自由に設定することが可能である。
【0051】
以下、アルミニウム合金の製造に重み更新アルゴリズムを適用する場合を例に取り、次元圧縮の実装例を説明する。この実装例は、次元圧縮にＳＯＭを適用し、距離関数として重み付きユークリッド距離を採用する。ただし、重み更新アルゴリズムは、機械学習全般に応用可能であり、特に、機械学習を効率的に行うためのデータ圧縮、または、データ分布の可視化において利用され得る。
【0052】
［３．次元圧縮の実装例］
図４は、次元圧縮の実装例による処理手順を示すフローチャートである。
図４は、次元圧縮の実装例による処理手順を示すフローチャートである。
【0053】
（ステップＳ４１０）
先ず、プロセッサ２５０は、各成分の重み係数を初期化する。具体的に説明すると、プロセッサ２５０は、観測空間内のデータ群に含まれる要素の成分ごとに重み係数ｗ＝［ｗ１，ｗ２，…，ｗｍ］を初期化する。重み係数ｗ＝［ｗ１，ｗ２，…，ｗｍ］は、例えば、各係数に１／標準偏差を設定することで初期化することができる。
先ず、プロセッサ２５０は、各成分の重み係数を初期化する。具体的に説明すると、プロセッサ２５０は、観測空間内のデータ群に含まれる要素の成分ごとに重み係数ｗ＝［ｗ１，ｗ２，…，ｗｍ］を初期化する。重み係数ｗ＝［ｗ１，ｗ２，…，ｗｍ］は、例えば、各係数に１／標準偏差を設定することで初期化することができる。
【0054】
（ステップＳ４２０）
プロセッサ２５０は、各成分の重み係数で規定される距離関数を用いてＳＯＭを実行する。プロセッサ２５０は、数１の数式で表される距離関数（つまり、重み付きユークリッド距離）を用いてＳＯＭを実行する。
プロセッサ２５０は、各成分の重み係数で規定される距離関数を用いてＳＯＭを実行する。プロセッサ２５０は、数１の数式で表される距離関数（つまり、重み付きユークリッド距離）を用いてＳＯＭを実行する。
【0055】
【0056】
プロセッサ２５０は、図５に例示されるように、潜在空間を複数の小区間に分割し、所属する観測データを小区間毎にリスト化する。ここで、観測データｎの最終的な勝者ノードが、潜在空間における小区間ｓ内にある場合において、「小区間ｓにデータｎが所属する」と定義する。小区間の集合をＳ、潜在区間における小区間ｓ内に存在するノードの集合をＫｓとすると、ｓに所属するデータ番号の集合は数４の数式で表される。
【数4】
【0057】
（ステップＳ４４０）
プロセッサ２５０は、小区間に所属する全観測データの各成分を説明変数（パラメータ）とする線形重回帰分析を実行する。本来はパラメータに対して非線形な関係のモデルを用いて回帰分析を行うことが望ましいが、小区間であれば線形近似を行うことが可能である。各小区間での線形重回帰分析に用いる回帰モデルは、数５の数式で表される。ここで、ｇが目的変数であり、ｘｉ（ｉ＝１，２，３，・・・）が説明変数である。説明変数ｘｉに対応するａｉ、およびｂが偏回帰係数である。なお、ｂは定数項である。
［数５］
ただし、線形重回帰分析が可能か否かの判定において、以下の条件（１）および（２）を満たす小区間のみが対象とされる。
（１）対象の小区間ｓに所属する観測データの数Ｎｓ＝｜Ｄｓ｜がｍ＋１よりも大きい。
（２）Ｄｓ＝｛ｎ１，ｎ２，・・・，ｎＮｓ｝に対する線形重回帰分析に必要な、数６の数式で表されるデータ行列について、Ｘｓ ＴＸｓが正則である。
上記の条件（１）および（２）を満たすＳの部分集合をＳＡとする。
プロセッサ２５０は、小区間に所属する全観測データの各成分を説明変数（パラメータ）とする線形重回帰分析を実行する。本来はパラメータに対して非線形な関係のモデルを用いて回帰分析を行うことが望ましいが、小区間であれば線形近似を行うことが可能である。各小区間での線形重回帰分析に用いる回帰モデルは、数５の数式で表される。ここで、ｇが目的変数であり、ｘｉ（ｉ＝１，２，３，・・・）が説明変数である。説明変数ｘｉに対応するａｉ、およびｂが偏回帰係数である。なお、ｂは定数項である。
［数５］
（１）対象の小区間ｓに所属する観測データの数Ｎｓ＝｜Ｄｓ｜がｍ＋１よりも大きい。
（２）Ｄｓ＝｛ｎ１，ｎ２，・・・，ｎＮｓ｝に対する線形重回帰分析に必要な、数６の数式で表されるデータ行列について、Ｘｓ ＴＸｓが正則である。
【数5】
【数6】
上記の条件（１）および（２）を満たすＳの部分集合をＳＡとする。
【0058】
（ステップＳ４５０）
プロセッサ２５０は、全小区間における偏回帰係数の平均値を算出する。ただし、回帰計算の信頼性を考慮するため、プロセッサ２５０は、小区間毎に以下に記載の処理（Ｉ）および（ＩＩ）を行った上で偏回帰係数の平均値を算出する。ここで、小区間ｓにおける線形重回帰分析において算出された成分ｃに対する偏回帰係数をａｓ，ｃ、標準誤差をＳＥｓ，ｃとする。
（Ｉ）標準誤差ＳＥｓ，ｃの逆数が、指定されたｔｍｉｎを超えるデータのみを対象とする。プロセッサ２５０は、標準誤差が十分に小さい場合に回帰の信頼性があると判定する。
（ＩＩ）プロセッサ２５０は、偏回帰係数の符号が正しいかどうか判定する。符号が正しい場合には、プロセッサ２５０は偏回帰係数の絶対値を獲得し、符号が正しくない場合には、プロセッサ２５０は偏回帰係数として０を獲得する。各成分に対する正しい符号を判定するためのルールを予め決定しておき、プロセッサ２５０は、そのルールに従って数９の数式におけるｓｇｎｃを＋１または－１に設定する。また、ルールが予め設定できない場合、つまり、ｇに対して正の相関も負の相関もとりうる場合、プロセッサ２５０は、ａと同じ符号として、ａ≧０のとき、ｓｇｎｃを＋１に設定し、ａ＜０のとき、ｓｇｎｃを－１に切替えることで常に符号が正しいという判定を行うことができる。
プロセッサ２５０は、全小区間における偏回帰係数の平均値を算出する。ただし、回帰計算の信頼性を考慮するため、プロセッサ２５０は、小区間毎に以下に記載の処理（Ｉ）および（ＩＩ）を行った上で偏回帰係数の平均値を算出する。ここで、小区間ｓにおける線形重回帰分析において算出された成分ｃに対する偏回帰係数をａｓ，ｃ、標準誤差をＳＥｓ，ｃとする。
（Ｉ）標準誤差ＳＥｓ，ｃの逆数が、指定されたｔｍｉｎを超えるデータのみを対象とする。プロセッサ２５０は、標準誤差が十分に小さい場合に回帰の信頼性があると判定する。
（ＩＩ）プロセッサ２５０は、偏回帰係数の符号が正しいかどうか判定する。符号が正しい場合には、プロセッサ２５０は偏回帰係数の絶対値を獲得し、符号が正しくない場合には、プロセッサ２５０は偏回帰係数として０を獲得する。各成分に対する正しい符号を判定するためのルールを予め決定しておき、プロセッサ２５０は、そのルールに従って数９の数式におけるｓｇｎｃを＋１または－１に設定する。また、ルールが予め設定できない場合、つまり、ｇに対して正の相関も負の相関もとりうる場合、プロセッサ２５０は、ａと同じ符号として、ａ≧０のとき、ｓｇｎｃを＋１に設定し、ａ＜０のとき、ｓｇｎｃを－１に切替えることで常に符号が正しいという判定を行うことができる。
【0059】
各成分ｃに対する回帰係数の平均は数８、９の数式から求まる。ここで、Ａｃは成分cに対する偏回帰係数のうち条件（Ｉ）を満たすものの集合であり、ａｃは各回帰係数の平均である。なお、本実装例では、偏回帰係数の信頼性の判定に標準誤差が用いられるが、当然、ｔ値またはｐ値を用いた判定が行われてもよい。
【数7】
【数8】
【0060】
（ステップＳ４６０）
プロセッサ２５０は、偏回帰係数の平均に基づいて各成分ｃの重み係数ｗｃを更新する。プロセッサ２５０は、例えば、数１０の数式に基づいて重み係数ｗｃをｗｃ ｎｅｗに更新する。ここで、ａｍａｘはａｃの上限値であり、ａｍｉｎはａｃの下限値である。
プロセッサ２５０は、偏回帰係数の平均に基づいて各成分ｃの重み係数ｗｃを更新する。プロセッサ２５０は、例えば、数１０の数式に基づいて重み係数ｗｃをｗｃ ｎｅｗに更新する。ここで、ａｍａｘはａｃの上限値であり、ａｍｉｎはａｃの下限値である。
【数9】
【0061】
（ステップＳ４７０）
プロセッサ２５０は、重み係数の更新の回数が指定された回数Ｎｆに到達したか否かを判定する。更新の回数が回数Ｎｆに到達した場合、プロセッサ２５０は次元圧縮の処理を終了する。更新の回数が回数Ｎｆに到達していない場合、プロセッサ２５０は、ステップＳ４２０の処理に戻り、更新の回数が回数Ｎｆに到達するまで、ステップＳ４２０からＳ４６０の処理を繰り返し実行することにより、重み係数を更新する。
プロセッサ２５０は、重み係数の更新の回数が指定された回数Ｎｆに到達したか否かを判定する。更新の回数が回数Ｎｆに到達した場合、プロセッサ２５０は次元圧縮の処理を終了する。更新の回数が回数Ｎｆに到達していない場合、プロセッサ２５０は、ステップＳ４２０の処理に戻り、更新の回数が回数Ｎｆに到達するまで、ステップＳ４２０からＳ４６０の処理を繰り返し実行することにより、重み係数を更新する。
【0062】
本実装例では、小区間に対し線形重回帰分析を実行したが、他の種類の回帰計算を採用してもよい。例えば、各成分に対応する説明変数の指数に比例するように目的変数を近似することで精度が向上する場合には、その指数を回帰計算のパラメータに採用してもよい。この場合、回帰計算は非線形回帰計算である。このような回帰計算を全小区間で行い、この結果に基づいて距離関数におけるパラメータの更新を繰り返し実行できる限りにおいて、いずれの方法を選択してもよい。
【0063】
本実施形態によれば、一般的に機械学習の前処理として行われるオートスケーリングなどの処理は特に必要とされない。各成分の物理量の単位の違いという問題が解消され、目的変数に対する各成分、つまり各説明変数の影響度を考慮した次元圧縮を適用すること可能となる。従来のユーザとのインタラクティブなやり取りは要求されず、ユーザの利便性が向上し得る。ただし、各成分の物理量の単位が異なる場合には、オートスケーリングなどの処理を適用して各成分の正規化を行ってから、重み更新アルゴリズムを実行してもよい。
【0064】
［４．シミュレーション結果］
上述した重み更新アルゴリズムを、アルミニウム合金の熱間圧延の工程に適用し、変形抵抗を特徴付ける複数の製造データ（または製造パラメータ）を含むデータ群を対象とした次元圧縮を試みた。複数の製造パラメータは、合金成分であるＳｉ、Ｆｅ、Ｃｕ、Ｍｇ、Ｍｎの５成分の質量％、圧延条件である圧延材温度（℃）および対数歪にそれぞれ対応した７個のパラメータを含む。各小区間における変形抵抗を目的変数とした線形重回帰モデルは、数１１の数式で表される。
［数１１］
観測空間は７次元空間であり、観測データは７次元ベクトルで表される。潜在空間は２次元空間である。重み付きユークリッド距離は７個の重み係数を含む。線形重回帰モデルは、７個の説明変数と、７個の説明変数にそれぞれ対応した7個の偏回帰係数と、定数項ｂとによって表される。１０，０００コイル分の製造実績データに含まれる、変形抵抗を特徴付ける上記の複数の製造パラメータから１０，０００個の観測データを生成した。
上述した重み更新アルゴリズムを、アルミニウム合金の熱間圧延の工程に適用し、変形抵抗を特徴付ける複数の製造データ（または製造パラメータ）を含むデータ群を対象とした次元圧縮を試みた。複数の製造パラメータは、合金成分であるＳｉ、Ｆｅ、Ｃｕ、Ｍｇ、Ｍｎの５成分の質量％、圧延条件である圧延材温度（℃）および対数歪にそれぞれ対応した７個のパラメータを含む。各小区間における変形抵抗を目的変数とした線形重回帰モデルは、数１１の数式で表される。
［数１１］
【0065】
本シミュレーションにおいて、１０，０００個の７次元データを含む観測データ群にＳＯＭを適用した。近傍半径は、数１２の数式で表現した。数１２で表される近傍半径は、繰り返し回数の増加に伴い減少する。ここで、σ０は初期値、σｍｉｎは下限値、τは近傍半径の縮小スピードを決めるパラメータ、ｔはＳＯＭアルゴリズムに用いた繰り返し回数である。
【数10】
【0066】
ＳＯＭの初期化について、一般的にはＰＣＡで次元圧縮を行った結果を初期値としてＳＯＭアルゴリズムを実行する。ただし、重みの更新が十分に進んだ状態において、すなわち、1回当たりの重みの変化が少なくなった後は、初期値として、前回の圧縮処理で更新された参照ベクトルをそのまま引き継ぐことで観測データをより適切に分類できると考えられる。そのため、繰り返し回数がＮＰ未満の場合にはＰＣＡの結果を用いて初期化を行い、繰り返し回数がＮＰ以上の場合には前回の最終値を引き継ぐこととした。
【0067】
（ＳＯＭのシミュレーション条件）
潜在空間の座標系：［－１，１］２；潜在空間内のノード数：９００（３０×３０）；初期値σ０：１．０；下限値σｍｉｎ：０．２；τ：１０、ＳＯＭにおける繰り返し回数：２０
（重み更新アルゴリズムのシミュレーション条件）
小区画のサイズ：７×７（ノード）；小区間同士の距離：３（ノード）；ｔｍｉｎ：３；ａｍｉｎ：１／１．２；ａｍａｘ：１．２；繰り返し回数Ｎｆ：４０；Ｎｐ：２５
潜在空間の座標系：［－１，１］２；潜在空間内のノード数：９００（３０×３０）；初期値σ０：１．０；下限値σｍｉｎ：０．２；τ：１０、ＳＯＭにおける繰り返し回数：２０
（重み更新アルゴリズムのシミュレーション条件）
小区画のサイズ：７×７（ノード）；小区間同士の距離：３（ノード）；ｔｍｉｎ：３；ａｍｉｎ：１／１．２；ａｍａｘ：１．２；繰り返し回数Ｎｆ：４０；Ｎｐ：２５
【0068】
＜比較例＞
本実施形態による重み更新アルゴリズムを適用せずに、一般的に機械学習の前処理として行われるオートスケーリングのみを適用した場合におけるＳＯＭの結果を吟味した。図６Ａから図６Ｃは、比較例によるＳＯＭのシミュレーション結果を示す。合金成分であるＳｉ、Ｆｅ、Ｃｕ、Ｍｇ、Ｍｎの５成分を全て表示するのは困難であるために、それぞれの成分の質量％の組み合わせに基づいてラベリングした結果を可視化した合金分類の可視化マップが図６Ａに示されている。図６Ｂに圧延材温度の等高線が示され、図６Ｃに対数歪の等高線が示されている。ここで、可視化マップおよび等高線図のそれぞれにおいて、縦軸および横軸は、それぞれ、３０×３０の各ノードに対応したインデクス（ＩＤＸ）を示す。
本実施形態による重み更新アルゴリズムを適用せずに、一般的に機械学習の前処理として行われるオートスケーリングのみを適用した場合におけるＳＯＭの結果を吟味した。図６Ａから図６Ｃは、比較例によるＳＯＭのシミュレーション結果を示す。合金成分であるＳｉ、Ｆｅ、Ｃｕ、Ｍｇ、Ｍｎの５成分を全て表示するのは困難であるために、それぞれの成分の質量％の組み合わせに基づいてラベリングした結果を可視化した合金分類の可視化マップが図６Ａに示されている。図６Ｂに圧延材温度の等高線が示され、図６Ｃに対数歪の等高線が示されている。ここで、可視化マップおよび等高線図のそれぞれにおいて、縦軸および横軸は、それぞれ、３０×３０の各ノードに対応したインデクス（ＩＤＸ）を示す。
【0069】
各成分の不偏標準偏差の逆数を重みとして単純に設定したときの数１の数式を距離関数として定義し、これにより、正規化を行う場合と同じ結果が得られるようにした。潜在空間を小区間に分割し、各成分に対する偏回帰係数の平均値を算出した。偏回帰係数の平均値は、Ｓｉ、Ｆｅ、Ｃｕ、Ｍｎ、Ｍｇ、対数歪、温度の順に、０．４５、０．５３、１．９３、２．１０、７．３１、１．２５、１．７５であった。
【0070】
図６Ａに示されるように、変形抵抗として最も対角にあるべき１０００系と５０００系とが隣接して配置されており、代わりに３０００系と５０００系とが対角に配置されている。これは、各偏回帰係数の平均値について、Ｍｇの値（７．３１）が他の成分に比べて大きくなっていることから理解されるように、重みの正規化を行うと、Ｍｇの重みが過小評価されるためである。比較例から、Ｍｇの含有量が多い５０００系と純アルミ系である１０００系との間の距離が正確に表現できていないことが分かる。
【0071】
＜実施例＞
一般的に機械学習の前処理として行われるオートスケーリングを適用せず、代わりに、本実施形態による重み更新アルゴリズムを適用した場合におけるＳＯＭの結果を吟味した。本来は、重みの初期値の正規化を行うことが望ましいが、今回は重み更新アルゴリズムの効果を明確に示す意図で、全ての成分に対する重みの初期値を１とした。
一般的に機械学習の前処理として行われるオートスケーリングを適用せず、代わりに、本実施形態による重み更新アルゴリズムを適用した場合におけるＳＯＭの結果を吟味した。本来は、重みの初期値の正規化を行うことが望ましいが、今回は重み更新アルゴリズムの効果を明確に示す意図で、全ての成分に対する重みの初期値を１とした。
【0072】
繰り返し回数Ｎｆを４０に設定し、図４に例示される処理手順に従って合計４０回重み係数を更新した。図７Ａは、重み更新の繰り返し回数に対する各成分の重み係数の変化、つまり、重み係数の推移を示すグラフである。図７Ｂは、重み更新の繰り返し回数に対する各偏回帰係数の平均値の変化を示すグラフである。図７Ａ及び図７Ｂにおける横軸は重み更新の繰り返し回数を示す。図７Ａにおけるグラフ右側の縦軸は、温度の成分に対する重み係数を示し、グラフ左側の縦軸は、温度以外の成分、すなわち、Ｓｉ、Ｆｅ、Ｃｕ、Ｍｇ、Ｍｎの質量％、対数歪の成分に対する重み係数を示す。図７Ｂにおける縦軸は各成分の偏回帰係数の平均値を示す。
【0073】
図７Ａに示す重み係数の推移の結果から、４０回の重み更新により各成分の重み係数はある一定の値に収束していることが分かる。さらには、図７Ａに示す重み係数の推移、および図７Ｂに示す各偏回帰係数の平均値の変化から、潜在空間の小区間における影響係数（または平均）が１に近づくように重み係数が更新されていることが分かる。ただし、これは小区間における影響係数の平均であり、大域的な影響の大きさを表すものではない。図７Ｂに示すグラフの結果から、偏回帰係数の平均値は、全体として1に収束していることが分かる。
【0074】
図８Ａから図８Ｅは、それぞれ、繰り返し回数が０、５、１０、２０、４０回のときの合金分類の可視化マップを示す。図９Ａから図９Ｅは、それぞれ、繰り返し回数が０、５、１０、２０、４０回のときの圧延材温度の等高線を示す。図１０Ａから図１０Ｅは、それぞれ、繰り返し回数が０、５、１０、２０、４０回のときの対数歪の等高線を示す。
【0075】
繰り返し回数が０回のときは、１０００系同士が対角に離れて配置されている。１０００系と５０００系とが近くに配置されている。温度の影響が過剰に評価され、結果として、ほぼ温度の因子だけで合金が分類されている。これらの問題は、温度の１℃と合金成分の質量１％との物理量の単位の違いによる影響が大きいことに起因している。
【0076】
繰り返し回数が増えるにつれて、１０００系と５０００系との配置関係が変化し、繰り返し回数が４０回のときは、１０００系と５０００系とが対角に配置されていることが分かる。全体としても単連結になっており、同一の合金種が分離されていないことが確認できる。また、図９Ｅおよび図１０Ｅに、それぞれ、１０００系内の温度および対数歪の違いが示されている。同じ合金内であっても温度および対数歪の違いを明確に表現できていることが確認できる。本実施形態による実装例によれば７個の全成分を考慮した適切かつ明確な合金の分類が実現できていることが分かる。
【0077】
本実施形態によるデータ次元圧縮方法は、次元圧縮した後の低次元空間内のデータ群を可視化した画像を表示装置に表示させるステップをさらに含み得る。例えば、図８Ａから図８Ｅにそれぞれ例示される合金分類の可視化マップは、１ループ分の次元圧縮処理が終了するごとに、次元圧縮の結果として表示装置に表示され得る。例えば、ユーザは、表示装置に表示される合金分類の可視化マップの変化を確認しながら、次元圧縮処理を終了するかどうかを判断することができる。
【0078】
本発明者は、本実施形態による次元圧縮のアルゴリズムをアルミニウム合金の熱間圧延の工程に適用し、圧延材温度を特徴付ける複数の製造データ（または製造パラメータ）を含むデータ群を対象とした次元圧縮をさらに試みた。
【0079】
【0080】
図１１に例示される４個のスタンド１１０で構成されたアルミ熱間仕上げ圧延機を対象としたシミュレーションを行った。圧延材（ワーク）１００の温度が変化する要因としては、加工または摩擦による発熱、空冷またはクーラントによる冷却、ワークロール（ＷＲ）１０１との接触による抜熱等が考えられる。なお、クーラントスプレーの機構は、スタンド入側に圧延材を直接冷却するための板冷却スプレー、各スタンドにおけるＷＲを冷却するためのＷＲ冷却スプレー、およびＷＲと圧延材の間の潤滑のための潤滑スプレーを有する。
【0081】
一般的に最終スタンドの出側温度、つまり、圧延機出側における圧延材温度の制御に、圧延機のＷＲの回転速度を変化させることで、クーラントおよびＷＲとの接触による抜熱時間を調整する方法が適用される。このように、ＷＲの回転速度を変化させることで出側温度を制御することができる。
【0082】
本シミュレーションにおける次元圧縮の対象は、圧延材温度を特徴付ける複数の製造パラメータを含むデータ群である。製造パラメータとして、温度および速度計算に大きな影響を与える、入側板冷却総流量、前段２スタンドのＷＲ冷却総流量、最終スタンドを含む後段２スタンドのＷＲ冷却総流量、前段２スタンドの潤滑総流量、後段２スタンドの潤滑総流量［ｋｌ／ｍｉｎ］、入側温度、出側温度、クーラント温度［℃］、および、上がり板厚［ｍｍ］の９個を選定した。
【0083】
回帰モデルにおいて、上記の９個の製造パラメータを説明変数とし、最終スタンドのＷＲ周速［ｍ／ｓ］を目的変数とした。数１３の数式で表される回帰モデルを用いて各小区間における線形重回帰分析を実行した。
［数１３］
［数１３］
【0084】
観測空間は９次元空間であり、観測データは９次元ベクトルで表される。潜在空間は２次元空間である。重み付きユークリッド距離は、９個の重み係数を含む。線形重回帰モデルは、９個の説明変数と、９個の説明変数にそれぞれ対応した９個の偏回帰係数とによって表される。１０，０００コイル分の製造実績データに含まれる、圧延材温度を特徴付ける上述した複数の製造データに基づいて１０，０００個の観測データを生成した。
【0085】
シミュレーションに用いた各パラメータの値、及び、重み更新アルゴリズムのシミュレーション条件は、ｔｍｉｎ（＝０．４）を除いて、変形抵抗のシミュレーションのときに設定したものと同じである。全ての成分に対する重みの初期値を１とした。繰り返し回数Ｎｆを４０に設定し、図４に例示される処理手順に従って合計４０回重み係数を更新した。
【0086】
図１２Ａは、重み更新の繰り返し回数に対する、クーラント流量に関連する各成分の重み係数の変化、つまり、重み係数の推移を示すグラフである。図１２Ｂは、重み更新の繰り返し回数に対する、クーラント流量に関連しない各成分の重み係数の推移を示すグラフである。図１２Ｃは、重み更新の繰り返し回数に対する各偏回帰係数の平均値の変化を示すグラフである。図１２Ａ，１２Ｂ及び１２Ｃにおける横軸は重み更新の繰り返し回数を示す。図１２Ａにおける縦軸は、各流量［ｋｌ／ｍｉｎ］に対する重み係数を示す。図１２Ｂにおけるグラフ右側の縦軸は、板厚［ｍｍ］に対する重み係数を示し、グラフ左側の縦軸は、各温度［℃］に対する重み係数を示す。図１２Ｃにおける縦軸は各成分の偏回帰係数の平均値を示す。
【0087】
図１２Ａおよび１２Ｂに示される重み係数の推移の結果から、４０回の重み更新により各成分の重み係数はある一定の値に収束していることが分かる。図１２Ａに示す結果から、クーラント流量の重み係数に着目すると、潤滑下流成分の重み係数、入側板冷却成分の重み係数、その他の成分の重み係数の順で大きくなることが確認できる。クーラント流量の重み係数を含む全ての重み係数は、最終スタンドのＷＲ周速への影響度を表している。ＷＲ冷却については、上流側よりも下流側の、ＷＲ周速への影響度が大きいことが確認できる。図１２Ｂに示す結果から、温度に関連する各成分の重み係数に着目すると、クーラント温度、出側温度、入側温度の重み係数は、この順番で大きくなることが確認できる。これらの傾向は定性的な分析に一致する。
【0088】
図１２Ｃに示すグラフの結果から、偏回帰係数の平均値は、やや大きく変動するものの、全体としては１に収束していることが分かる。
【0089】
上述したシミュレーション結果から、入力データの分散がその成分の重要性を表現しているわけではないことが確認できた。本実施形態によるデータ次元圧縮法を導入することで、目的に応じた距離関数を定義することによって、ＳＯＭによる分類を適切に行うことができる。変形抵抗に関するデータまたは圧延材温度に関するデータという全く異なるデータ群に、目的変数に対する各成分の影響度を考慮した次元圧縮を適用すること可能となる。
【産業上の利用可能性】
【0090】
本開示の技術は、機械学習全般に応用可能であり、特に、機械学習を効率的に行うためのデータ圧縮、または、データ分布の可視化において利用され得る。
【符号の説明】
【0091】
１００ ：圧延材（ワーク）
１０１ ：ワークロール（ＷＲ）
１１０ ：スタンド
２００ ：データ次元圧縮装置
２１０ ：入力装置
２２０ ：表示装置
２３０ ：通信Ｉ／Ｆ
２４０ ：記憶装置
２５０ ：プロセッサ
２６０ ：ＲＯＭ
２７０ ：ＲＡＭ
２８０ ：バス
１０１ ：ワークロール（ＷＲ）
１１０ ：スタンド
２００ ：データ次元圧縮装置
２１０ ：入力装置
２２０ ：表示装置
２３０ ：通信Ｉ／Ｆ
２４０ ：記憶装置
２５０ ：プロセッサ
２６０ ：ＲＯＭ
２７０ ：ＲＡＭ
２８０ ：バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図11】
【図12A】
【図12B】
【図12C】