IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

特許7556340材料のスペクトルデータを用いた材料種類同定システム
<>
  • 特許-材料のスペクトルデータを用いた材料種類同定システム 図1
  • 特許-材料のスペクトルデータを用いた材料種類同定システム 図2
  • 特許-材料のスペクトルデータを用いた材料種類同定システム 図3
  • 特許-材料のスペクトルデータを用いた材料種類同定システム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】材料のスペクトルデータを用いた材料種類同定システム
(51)【国際特許分類】
   G06N 3/0464 20230101AFI20240918BHJP
   G01N 23/207 20180101ALI20240918BHJP
【FI】
G06N3/0464
G01N23/207
【請求項の数】 7
(21)【出願番号】P 2021169174
(22)【出願日】2021-10-14
(65)【公開番号】P2023059181
(43)【公開日】2023-04-26
【審査請求日】2023-07-11
【新規性喪失の例外の表示】特許法第30条第2項適用 https://towardsdatascience.com/automatic-spectral-identificationusing-deep-metric-learning-with-1d-regnet-and-adacos-8b7fb36f2d5f 公開日:令和3年8月13日 〔刊行物等〕 https://github.com/ma921/XRDidentifier https://github.com/ma921/XRDidentifier/blob/main/COD-selection.txt https://github.com/ma921/XRDidentifier/blob/main/convertXRDspectra.py https://github.com/ma921/XRDidentifier/blob/main/download_cif_from_cod.py https://github.com/ma921/XRDidentifier/blob/main/net1d.py https://github.com/ma921/XRDidentifier/blob/main/read_cif.py https://github.com/ma921/XRDidentifier/blob/main/train_expert.py https://github.com/ma921/XRDidentifier/blob/main/utils_moe.py 公開日:令和3年8月13日 https://github.com/ma921/XRDidentifier/blob/main/README.md 公開日:令和3年8月13日 更新日:令和3年8月15日 〔刊行物等〕 https://github.com/ma921/XRDidentifier https://github.com/ma921/XRDidentifier/blob/main/README.md https://github.com/ma921/XRDidentifier/blob/main/train_expert.py 更新日:令和3年9月16日
【新規性喪失の例外の表示】特許法第30条第2項適用 https://github.com/ma921/XRDidentifier/blob/main/train_moe.py 公開日:令和3年9月16日
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100071216
【弁理士】
【氏名又は名称】明石 昌毅
(74)【代理人】
【識別番号】100130395
【弁理士】
【氏名又は名称】明石 憲一郎
(72)【発明者】
【氏名】足立 真輝
【審査官】山本 俊介
(56)【参考文献】
【文献】国際公開第2019/039313(WO,A1)
【文献】国際公開第2021/191421(WO,A1)
【文献】特開2020-119154(JP,A)
【文献】特開2020-119508(JP,A)
【文献】中井 克啓ほか,距離学習を導入した深層学習ネットワークによる肝硬変状態分類の検討,人工知能学会 第35回全国大会(2021),日本,一般社団法人人工知能学会,2021年06月08日
【文献】Ilija Radosavovic et al.,Designing Network Design Spaces,arXiv [online],2020年03月30日,https://arxiv.org/abs/2003.13678,[2024年5月15日検索]
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00-99/00
G01N 23/207
(57)【特許請求の範囲】
【請求項1】
材料のスペクトルデータから前記材料の種類を同定するシステムであって、
材料のスペクトルデータが入力されるデータ入力層と、所定の次元の特徴量ベクトルを出力するベクトル出力層とを有し、前記入力層にスペクトルデータが入力されると、前記スペクトルデータに基づいて1次元畳み込みニューラルネットワークのアルゴリズムにより演算されて得られた前記スペクトルデータに対応する特徴量ベクトルを前記出力層に於いて出力する1次元CNN処理部と、
前記特徴量ベクトルが入力されるベクトル入力層と、種々の材料の種類の確率を出力する確率出力層とを有し、前記ベクトル入力層に前記特徴量ベクトルが入力されると、前記特徴量ベクトルに対応する前記スペクトルデータの前記材料の種類が前記種々の材料の種類のうちのそれぞれである確率を、深層距離学習のアルゴリズムにより前記特徴量ベクトルに基づいて演算し、前記確率出力層に出力する距離学習処理部にして、深層距離学習のアルゴリズムを二回続けて実行する階層型距離学習のアルゴリズムによって前記特徴量ベクトルに基づいて前記種々の材料の種類に於ける各種類の確率を算出する距離学習処理部
を含み、
種類が既知である複数の既知材料のスペクトルデータが学習用データとして用いられ、前記1次元CNN処理部及び前記距離学習処理部が、前記1次元CNN処理部の前記データ入力層に前記学習用データのそれぞれが入力されると、前記距離学習処理部の前記確率出力層に於ける前記入力された学習用データの材料の種類に対する確率が最大となるように学習され、
前記1次元CNN処理部の前記データ入力層に任意の材料のスペクトルデータが入力されたときに前記距離学習処理部の前記確率出力層に於いて最大の確率値が得られた種類が前記任意の材料の種類であると同定されるシステム。
【請求項2】
請求項1のシステムであって、前記階層型距離学習のアルゴリズムに於いて二回続けて実行されるアルゴリズムがAdaCosとCosFaceであり、前記距離学習処理部に於いて、前記AdaCosのアルゴリズムに従って前記特徴量ベクトルが前記AdaCosのロジットに変換され、前記AdaCosのロジットが前記CosFaceのアルゴリズムに従って前記CosFaceのロジットに変換され、前記CosFaceのロジットから前記種々の材料の種類に於ける各種類の確率が算出されるシステム。
【請求項3】
請求項1のシステムであって、前記階層型距離学習のアルゴリズムに於いて二回続けて実行されるアルゴリズムが、AdaCos、CosFace、ArcFace、SphereFaceから選択されるシステム。
【請求項4】
請求項1乃至3のいずれかのシステムであって、前記学習用データが、前記既知材料のスペクトルデータと、前記既知材料のスペクトルデータから物理ベースデータ増強のアルゴリズムに従って生成された拡張スペクトルデータとを含み、前記物理ベースデータ増強のアルゴリズムが、前記既知材料のスペクトルデータに対して、ピークシフト処理、ピーク強度比変更処理、ピーク消失処理、ピーク分裂処理又はこれらの少なくとも二つの組み合わせ処理に適用して前記既知材料のスペクトルデータを変更して拡張スペクトルデータを生成するアルゴリズムであるシステム。
【請求項5】
請求項4のシステムであって、前記物理ベースデータ増強のアルゴリズムに於いてピークシフト処理、ピーク強度比変更処理、ピーク消失処理及びピーク分裂処理の全てを実行して拡張スペクトルデータが生成されるシステム。
【請求項6】
請求項4のシステムであって、前記1次元CNN処理部及び前記距離学習処理部が、前記任意の材料の種類の同定精度が所定値に達するまで、前記物理ベースデータ増強のアルゴリズムにより異なる拡張スペクトルデータが生成され、前記異なる拡張スペクトルデータを前記学習用データとして用いて前記1次元CNN処理部及び前記距離学習処理部の学習処理が反復実行されて構成されているシステム。
【請求項7】
請求項1乃至のいずれかのシステムであって、1次元畳み込みニューラルネットワークのアルゴリズムが1D-RegNetのアルゴリズムであるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、種々の材料から得られたスペクトルデータを解析するための技術に係り、より詳細には、粉末X線回折、赤外分光法などにより得られた任意の材料のスペクトルデータを、機械学習技術を用いて、スペクトルデータベースに蓄えられている既知材料のスペクトルデータと照合して、任意の材料の種類を同定するシステムに係る。材料のスペクトルデータとしては、任意の1次元の変数に対してスペクトル強度値が計測される任意のスペクトルデータであり(フルスペクトルであっても、線スペクトルであってもよい。)、具体的には、粉末X線回折スペクトルや赤外分光スペクトルの他に、質量スペクトル、NMRスペクトル、吸光スペクトル、発光スペクトルなどであってよく、そのような場合も本発明の範囲に属する。
【背景技術】
【0002】
任意の材料の同定に於いては、その材料の、任意の計測方法によるスペクトルデータが計測され、そのスペクトルデータと既知材料のスペクトルデータとの照合が為されるところ、かかる同定されるべき材料のスペクトルデータと既知材料との照合に際して、いまや既知材料のスペクトルデータの数は膨大であり、人によるスペクトルデータの照合は、おびただしい時間、労力、費用を要するので、機械学習技術或いはAI技術を用いて、コンピュータにより自動的に材料のスペクトルデータの照合を実行することが種々試みられている。例えば、特許文献1に於いては、任意の材料から得られたX線回折スペクトルデータから特徴量を抽出して、特徴量に基づいて、既知の材料の回折パターンの中から類似度の高い回折パターンを選別できるように学習された機械学習モデルを用いて、かかる任意の材料を同定するシステムが提案されている。また、非特許文献1に於いては、材料のX線回折スペクトルデータから材料の結晶構造の次元数と空間群を識別する問題に対する幾つかの機械学習アルゴリズムの有効性が検査され、1次元のa-CNN(all convolutional neural network:全畳み込みニューラルネットワーク)を用いた識別器が精度よく結晶構造の次元数と空間群を識別できることが報告されている。かかる文献に於いては、a-CNNの学習段階に於いて、学習用データとして、各材料のX線回折スペクトルの既存データと、物理情報データ増強(physics-informed data augmentation)という手法により各材料の既存データに対して人為的なランダムに変更を加えて生成したデータとを用い、既存データの各材料について1つ又は2つのX線回折スペクトルデータしか存在しない場合でも、高精度にてスペクトルデータからの結晶構造の次元数と空間群の識別を達成する識別器を構成できたことが報告されている。
【0003】
なお、膨大なクラス数の分類を精度良く達成するための機械学習技術として、深層距離学習(deep metric learning)と称される技術が提案されている。かかる深層距離学習については、多数の人の顔の認識を行うものとして、CosFace、ArcFace、AdaFaceなどと名付けられた種々のアルゴリズムが考案されており(非特許文献2、3等参照)、それらに於いては、2次元画像のCNN(convolutional neural network:畳み込みニューラルネットワーク)から得られる画像の特徴量ベクトルが上記の如き深層距離学習のアルゴリズムへ入力され、個々人の顔画像をCNNだけによる場合よりも高精度に識別し分類することに達成したことが報告されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2021-92467
【非特許文献】
【0005】
【文献】“Fast and interpretable classification of small X-ray diffraction datasets using data augmentation and deep neural networks”, F. Oviedo et al., npj Computational Materials volume 5, Article number: 60 (2019)
【文献】“Cosface: Large margin cosine loss for deep face recognition”, H.Wang et al., In CVPR(2018) URL https://arxiv.org/abs/1801.09414.
【文献】X.Zhang, et al., “Adacos: Adaptively sca1ing cosine logits for effectively learning deep face representations” In CVPR(2019) URL httPs://arxiv.org/abs/1905.00292.
【文献】I. Radosavovic, et al., “Designing network design spaces” CVPR 2020 https://arxiv.org/pdf/2003.13678.pdf
【発明の概要】
【発明が解決しようとする課題】
【0006】
種類を同定したい材料(未同定材料)のスペクトルデータを既知材料の既存データと照合して未同定材料の種類を同定する目的で、上記の文献の如く、機械学習技術を用いたスペクトルデータから材料の種類を識別し分類する識別器を構成する場合、既に触れた如く、既知材料の種類数は膨大であるので、識別器の分類するクラス数も膨大となる。例えば、アメリカ国立標準技術研究所等により提供されている無機結晶構造データベース(Inorganic Crystal Structure Database:ICSD)に於いて登録されている材料は、2021年現在で、136899種類に及ぶので、それらをX線回折データにより全て識別可能とする場合には、X線回折データの入力される識別器に於いて分類されるべきクラス数もそのデータベースの登録種類数となる。この点に関し、材料のスペクトルデータに於いても、人の顔と同様に、異なる材料でも似かよった特徴を有する場合があり、そのような似かよった特徴を有するスペクトルデータの互いに異なる材料の種類を精度良く識別することは困難である。実際、本発明の発明者による研究に於いて、ICSDに登録された材料のX線回折データを利用して、材料種の識別を試みたところ、標準的な1次元CNNでは、期待されるほどの精度が達成できなかった。
【0007】
そこで、本発明の発明者に於いて、未同定材料の種類の同定を目的として、材料のスペクトルデータから高精度に材料の種類を分類可能な識別器の構成について種々研究したところ、識別器として、スペクトルデータを1次元CNNへ入力し、そこに於いて得られるスペクトルデータの特徴量ベクトルを、更に、上記の如き人の顔の認識のために提案されている深層距離学習の構成に入力し、材料の種類についてクラス分類を実行する構成を構築し、かかる構成の識別器の学習を、学習用データとして既知材料のスペクトルデータを用いて実行すると、従前に比して、高精度に、材料のスペクトルデータから材料の種類を識別できることが見出された。また、その際、学習用データとして、既知材料のスペクトルデータそのもの(既知データ)と、後に詳細に説明される「物理ベースデータ増強」と称する手法により、既知データに変更を加えて生成されたデータとを用いると、識別精度が改善することが見出された。更に、識別器の深層距離学習の構成に於いて、深層距離学習のアルゴリズムを二回続けて実行する構成(「階層型距離学習」と称する。)を用いると、識別精度が更に改善することが見出された。本発明に於いては、この知見が利用される。
【0008】
かくして、本発明の一つの課題は、任意の材料のスペクトルデータを既存材料のスペクトルデータと照合して、その任意の材料の種類を同定することのできる材料種類同定システムを提供することである。
【0009】
また、本発明のもう一つの課題は、上記の如きシステムに於いて、識別器として、標準的な1次元CNNを利用した構成よりも、高精度にスペクトルデータの分類が可能な構成を有するシステムを提供することである。
【課題を解決するための手段】
【0010】
本発明によれば、上記の課題は、材料のスペクトルデータから前記材料の種類を同定するシステムであって、
材料のスペクトルデータが入力されるデータ入力層と、所定の次元の特徴量ベクトルを出力するベクトル出力層とを有し、前記入力層にスペクトルデータが入力されると、前記スペクトルデータに基づいて1次元畳み込みニューラルネットワークのアルゴリズムにより演算されて得られた前記スペクトルデータに対応する特徴量ベクトルを前記出力層に於いて出力する1次元CNN処理部と、
前記特徴量ベクトルが入力されるベクトル入力層と、種々の材料の種類の確率を出力する確率出力層とを有し、前記ベクトル入力層に前記特徴量ベクトルが入力されると、前記特徴量ベクトルに対応する前記スペクトルデータの前記材料の種類が前記種々の材料の種類のうちのそれぞれである確率を、深層距離学習のアルゴリズムにより前記特徴量ベクトルに基づいて演算し、前記確率出力層に出力する距離学習処理部と
を含み、
種類が既知である複数の既知材料のスペクトルデータが学習用データとして用いられ、前記1次元CNN処理部及び前記距離学習処理部が、前記1次元CNN処理部の前記データ入力層に前記学習用データのそれぞれが入力されると、前記距離学習処理部の前記確率出力層に於ける前記入力された学習用データの材料の種類に対する確率が最大となるように学習され、
前記1次元CNN処理部の前記データ入力層に任意の材料のスペクトルデータが入力されたときに前記距離学習処理部の前記確率出力層に於いて最大の確率値が得られた種類が前記任意の材料の種類であると同定されるシステム
によって達成される。
【0011】
上記の構成に於いて、材料のスペクトルデータは、任意の材料から得られた粉末X線回折スペクトル、赤外分光スペクトル、質量スペクトル、NMRスペクトル、吸光スペクトル、発光スペクトルなど、任意の1次元の変数に対して強度が計測されたデータであってよい。材料は、任意の無機物又は有機物であってよい。
【0012】
「1次元CNN処理部」に於ける「1次元畳み込みニューラルネットワークのアルゴリズム」は、1次元のスペクトルデータの如き、1次元の変数に対して強度値や輝度値などの値が付与されたデータを入力データとして、畳み込みニューラルネットワーク(CNN)のアルゴリズムにより演算を実行するアルゴリズムであってよい。1次元CNN処理部の入力層に於いては、具体的には、スペクトルデータに於ける任意に設定されてよい所定の変数間隔毎のスペクトル値が一つのニューロン(パーセプトロン)へ割り当てられる。例えば、X線回折データの場合であれば、所定の角度毎の強度値が入力層の一つのニューロンに入力される(従って、0~120度の範囲に於いて、0.02度毎に強度値を一つのニューロンへ与える構成の場合、入力層に、6000個のニューロンが準備される。)。なお、通常、CNNに於いては、最終的な出力層に於いて識別結果や回帰演算の結果数値を出力するが、本発明に於いては、上記の如く、任意に設定されてよい所定の次元、例えば、1024次元、の特徴量ベクトルをその後の演算に利用するので、出力層は、かかる所定の次元数のニューロンにて構成され、それら一つ一つのニューロンの出力値を要素として、特徴量ベクトルが構成される(即ち、本発明のニューラルネットワークの演算は、通常の場合の識別又は回帰結果の出力段階よりも手前の段階までとなる。)。本発明の発明者の研究によれば、本発明の目的に於いては、1次元CNNのアルゴリズムとして、1D-RegNetのアルゴリズム(非特許文献4)が有利に用いられることが見出されている。
【0013】
「距離学習処理部」に於ける「深層距離学習」のアルゴリズムは、非特許文献2、3に記載されている如き深層距離学習技術のアルゴリズム(AdaCos、CosFace、ArcFace、SphereFaceなど)と同様であってよい。深層距離学習技術は、クラス分類問題を解くのに有利な技術であり、端的に述べれば、かかる技術に於いては、CNNの演算から得られた特徴量ベクトルと重みベクトルとのコサイン類似度が演算されて特徴量ベクトルを多次元球面上に写像した場合に、特徴量ベクトル同士の写像点間の球面上の距離が、特徴量ベクトルに対応するデータの特徴が異なるほど、離隔するように、重みベクトルが学習され、しかる後に、特徴量ベクトルと重みベクトルとのコサイン類似度を用いて、特徴量ベクトルに対応するデータが各クラスに分類される確率が算出される。本発明の場合には、距離学習処理部は、上記の如く、1次元CNN処理部にて材料のスペクトルデータから算出された特徴量ベクトルが入力されると、上記の深層距離学習のアルゴリズムに従って、特徴量ベクトルに対応するデータの材料が種々の材料の種類のうちのそれぞれである確率を算出するよう構成される。
【0014】
また、1次元CNN処理部及び距離学習処理部の学習、即ち、それらの処理部に於ける演算に於いて使用される重みパラメータの決定のための演算処理は、種類が既知である既知材料のスペクトルデータが学習用データとして用いて実行される。既知材料のスペクトルデータとしては、任意のデータベースに登録又は保存されているデータが用いられてよい。例えば、無機物質のX線回折データから材料の種類の同定を行う場合であれば、既知材料のスペクトルデータは、ICSDなどに登録されているデータであってよい。上記の処理部の学習は、1次元CNN処理部のデータ入力層に学習用データのそれぞれが入力されると、距離学習処理部の確率出力層に於ける学習用データのそれぞれの材料の種類に対する確率が最大となるように、任意のアルゴリズムにて、例えば、誤差逆伝播法のアルゴリズムに従って実行されてよい。
【0015】
そして、本発明の距離学習処理部に於いて、任意の材料のスペクトルデータに対して最大の確率値が得られた種類がその任意の材料の種類であると同定されることとなる。
【0016】
上記の本発明の材料種類同定システムの構成に於いては、端的に述べれば、1次元CNNのアルゴリズムに深層距離学習のアルゴリズムが接続され、これにより、任意の材料のスペクトルデータが種々の既知材料のスペクトルデータと照合されて、任意の材料の種類が高精度に同定されることとなる。既に触れた如く、材料の種類の同定に於いては、識別されるべき種類、即ち、クラスの数が膨大であり、標準的なCNNだけでは、精度良く種類の同定が達成できなかったところ、CNNに深層距離学習技術を接続することで、似ているデータと似ていないデータとをより明確に識別できるようになり、成功裏に任意の材料の種類の同定が可能となることが見出されている。
【0017】
上記の構成に於いて、距離学習処理部は、深層距離学習のアルゴリズムを二回続けて実行する「階層型距離学習」のアルゴリズムによって、特徴量ベクトルに基づいて種々の材料の種類に於ける各種類の確率を算出するよう構成されていてよい。「階層型距離学習」のアルゴリズムに於いては、上記の如く、1次元CNNの出力する特徴量ベクトルを、深層距離学習のアルゴリズムにより、少なくとも二回、変換してから、特徴量ベクトルに対応するデータが各クラス(本発明の場合には、材料の種類)に分類される確率が算出される。より具体的には、階層型距離学習のアルゴリズムに於いて、二回の深層距離学習のアルゴリズムを続ける構成の場合には、特徴量ベクトルが第一の深層距離学習を実行する処理部に入力されると、その第一の深層距離学習のアルゴリズムに従った演算により特徴量ベクトルが変換されて、任意に設定されてよい所定の次元の第二の特徴量ベクトルが算出される。かかる第二の特徴量ベクトルは、その最初の深層距離学習のアルゴリズムにより、各クラスの確率を算出する構成の場合に、確率を演算するために用いられるロジット(logit)であってよい。そして、その第二の特徴量ベクトル(第一の深層距離学習のアルゴリズムのロジット)が、更に、第二の深層距離学習のアルゴリズムを実行する処理部に入力され、その深層距離学習のアルゴリズムに従った演算により、第二の特徴量ベクトルが更に変換される処理が実行され、得られた特徴量ベクトル、即ち、第二の深層距離学習のアルゴリズムに於けるロジットから各クラスの確率が算出される。ロジットから各クラスの確率の算出には、例えば、softmax関数が用いられてよい。かかる階層型距離学習のアルゴリズムを用いると、材料の種類の同定精度が向上することが見出されている。
【0018】
上記の階層型距離学習のアルゴリズムに使用されるアルゴリズムは、任意の深層距離学習のアルゴリズムであってよく、具体的には、AdaCos、CosFace、ArcFace、SphereFaceなどから選択されてよい。後の実施形態の欄に於いて例示されている如く、本発明の発明者の研究によれば、階層型距離学習のアルゴリズムとして、第一の深層距離学習のアルゴリズムにAdaCos(非特許文献3)を用い、第二の深層距離学習のアルゴリズムにCosFace(非特許文献2)を用いると、材料の種類の同定がより高精度に達成できることが見出されている。その場合、距離学習処理部に於いて、AdaCosのアルゴリズムに従って、1次元CNN処理部の出力した特徴量ベクトルがAdaCosのロジットに変換され、AdaCosのロジットが更にCosFaceのアルゴリズムに従ってCosFaceのロジットに変換され、CosFaceのロジットから種々の材料の種類に於ける各種類の確率が算出されてよい。
【0019】
上記の本発明のシステムの構成に於いて、学習用データは、既知材料のスペクトルデータだけではなく、既知材料のスペクトルデータから「物理ベースデータ増強」のアルゴリズムに従って生成された拡張スペクトルデータを更に含んでいてよい。「物理ベースデータ増強」のアルゴリズムに於いては、実際のスペクトルデータの計測の際に生じ得る種々の変化、例えば、データに於けるピークの発生する角度、周波数などの変数のずれ(ピーク位置のずれ)、複数のピークの強度比の変動、ピークの消失、ピークの分裂など、を既知材料のスペクトルデータに対して人工的に仮想的に加えることにより、既知材料のスペクトルデータ(元データ)とは別のスペクトルデータ(拡張データ)が生成される。具体的には、かかる物理ベースデータ増強処理に於いては、下記の処理が実行されてよい。
(i)ピークシフト処理-既知材料のスペクトルデータに於いて観察されているピークの発生する変数をランダムにずらす。
(ii) ピーク強度比変更処理-既知材料のスペクトルデータに於いて観察されている複数のピークの強度比をランダムに変化させる。
(iii)ピーク消失処理-既知材料のスペクトルデータに於いて観察されているピークをランダムに消去する。
(iv)ピーク分裂処理-既知材料のスペクトルデータに於いて観察されているピークを2つ以上にランダムに分裂させる。
(v)(i)~(iv)の少なくとも二つの組み合わせ
なお、それぞれの処理に於ける種々のデータの変更は、実際の計測データに於いて生じ得る変動の程度を考慮して、適合により、種々の程度により実行されてよい。また、好適には、物理ベースデータ増強のアルゴリズムに於いてピークシフト処理、ピーク強度比変更処理、ピーク消失処理及びピーク分裂処理の全てを実行して拡張データが生成されてよい。
【0020】
上記の物理ベースデータ増強のアルゴリズムにより生成された拡張データを学習用データとして用いると、任意の材料のスペクトルデータに対する材料の種類の識別精度が更に向上することとなる。上記の如く、実際のスペクトルデータの計測の際には、多くの場合、データに於いて、上記の如き種々の変動が生じる。それに対して、既知材料のスペクトルデータは、各材料に対して、既存のスペクトルデータの数は、少なく(例えば、1例又は2例)、そのような少ないデータだけで識別器の学習を実行した場合、一般に、識別器が、種々の変動が生じた実際の計測データについて、そのデータの材料を精度良く識別することは困難となる。換言すれば、識別器の学習に於いて、識別精度を高くするために、各材料について、できるだけ多くのデータを準備して学習用データとして用いることが必要となる。しかしながら、材料によっては、高価又は希少なものも存在し、種々の材料について多くのデータの実際の計測により準備することは、多大な時間、労力、費用を要することとなる。そこで、本発明に於いては、物理ベースデータ増強のアルゴリズムにより、既知材料のスペクトルデータに対して人工的に変化を加えたデータを生成し、それらを学習用データに追加することで、識別器の識別精度の向上が図られることとなる。
【0021】
なお、学習用データとして用いる拡張データは、通常、多いほど、識別器の識別精度の向上の効果が期待されるところ、拡張データの生成と学習処理を無用に多数回実行する必要はない。そこで、実施の形態に於いては、拡張データの生成とそれを用いた1次元CNN処理部及び距離学習処理部の学習処理は、任意の材料の種類の同定精度が所定値に達するまで、実行されてよい。即ち、1次元CNN処理部及び距離学習処理部は、任意の材料の種類の同定精度が所定値に達するまで、物理ベースデータ増強のアルゴリズムにより異なる拡張データが生成され、異なる拡張データを学習用データとして用いて1次元CNN処理部及び距離学習処理部の学習処理が反復実行されて構成されてよい。
【発明の効果】
【0022】
上記の本発明のシステムの構成に於いては、まず、任意の材料のスペクトルデータと既存材料のスペクトルデータとの照合に於いて、1次元CNNを用いているので、任意の材料のスペクトルデータと既存のスペクトルデータとの間に多少の差異が生じていても、ロバストな特徴量の抽出が可能となり、的確に任意の材料の種類の同定が可能となる。この点に関し、従前では、任意の材料のスペクトルデータと既存材料のスペクトルデータとの照合は、既存材料のデータベースに登録されたデータの一つずつと任意の材料のデータとの比較が必要となっていたのに対し、本発明のシステムに於いては、CNNをしようすることでかかる比較操作が不要となり、同定に要する速度の削減が可能となる(データベース内のデータ数がm個だったとすると、同定に要する速度は、1/mとなる。)。更に、本発明のシステムの基本構成に於いては、顔の認識に利用されている深層距離学習のアルゴリズムが採用されているので、標準的な1次元CNNのみを用いた場合よりも、より多くのクラスの分類が成功裏に達成できることが期待され、かくして、より精度良く、任意の材料のスペクトルデータに対応する材料の種類の同定が可能となることが期待される。
【0023】
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
【図面の簡単な説明】
【0024】
図1図1は、本実施形態による材料のスペクトルデータを用いた材料種類同定システムが実現されるコンピュータを模式的に表した図である。
図2図2は、本実施形態のシステムによる材料のスペクトルデータから材料種類を同定するまでの演算処理(識別器)の構成を説明する模式図である。
図3図3(A)は、本実施形態のシステムに於ける階層型距離学習のアルゴリズムを説明する模式図である。図3(B)は、階層型距離学習のアルゴリズムによる作用の概念を図式化したものであり、種々のデータから得られた1次元CNN処理で得られた特徴量ベクトル(点線円上の各点)を仮想的な球面上に写像した場合に、第一の距離学習処理で互いに類似した特徴のベクトルの群に分かれ、第二の距離学習処理で各群内での特徴量ベクトル間の球面上の距離が離れ、これにより、特徴量ベクトルに対する材料の高精度の分類が達成されることを描いている。
図4図4は、本実施形態のシステムに於ける物理ベースデータ増強のアルゴリズムにより、既存のスペクトルデータに与えられるデータの変化の例を模式的に表した図である。
【符号の説明】
【0025】
1…コンピュータ本体
2…コンピュータ端末
3…モニター
4…キーボード、マウス(入力装置)
10…データベース
【発明を実施するための最良の形態】
【0026】
コンピュータ装置の構成
本実施形態による任意の材料のスペクトルデータから材料の種類を同定するシステムは、この分野で通常使われている形式の、図1に例示されている如き、コンピュータ装置1に於けるコンピュータ・プログラムの作動により実現されてよい。コンピュータ装置1には、通常の態様にて、双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、記憶装置は、本実施形態の演算で使用する演算処理を実行する各プログラムを記憶したメモリと、演算中に使用されるワークメモリ及びデータメモリを含んでいる。また、実施者によるコンピュータ装置1への指示及び計算結果その他の情報の表示及び出力は、コンピュータ装置1に接続されたコンピュータ端末装置2を通じて為される。コンピュータ端末装置2には、通常の態様にて、モニター3とキーボード並びにマウスといった入力装置4が設けられ、プログラムが起動されると、実施者は、プログラムの手順に従ってモニター3上の表示に従って、入力装置4を用いてコンピュータ装置1に各種の指示及び入力を行うとともに、モニター3上にてコンピュータ装置1からの演算状態及び演算結果等を視覚的に確認することが可能となる。更に、本実施形態に於いては、後に説明される如く、既知材料の既存のスペクトルデータが使用されるところ、それらの既存のスペクトルデータは、任意のデータベースから取得されるようになっていてよく、従って、コンピュータ装置1は、任意のデータベース10と任意の手法にてアクセスできるようになっていてよい。なお、図示していないその他の周辺機器(結果を出力するプリンタ、計算条件及び演算結果情報等を入出力するための記憶装置など)がコンピュータ装置1及びコンピュータ端末装置2に装備されていてよいことは理解されるべきである。コンピュータ装置1を用いて、以下に述べる各種の処理又は演算を実行する際には、通常の態様にて、各種の処理又は演算に必要なプログラムが起動され、実施者は、コンピュータ端末装置2に於いて、プログラムに於いて準備された入力手順に従って、演算に必要なデータ、演算時の計算条件その他の各種設定を入力し、演算が開始される。そして、演算の実行中又は終了後に、演算結果が、適宜、コンピュータ端末装置2を通じて出力可能となる。
【0027】
上記のコンピュータ装置1に於いて、スペクトルデータからの材料の種類の同定を行う場合、通常の機械学習技術を用いた演算処理と同様に、端的に述べれば、まず、既存データを学習用データとして用いた学習処理(演算に用いる重みなどのパラメータなどの決定)が実行され、これにより、材料の種類の識別を行うモデル(識別器)が構成され、しかる後に、学習済みの識別器に、任意の、種類を同定したい材料のスペクトルデータが入力され、識別器が識別結果として、材料の種類を出力する。かくして、学習処理を実行するときには、入力装置4からの実施者の入力操作によって、演算に於いて使用されるハイパーパラメータの設定、データベースからの既知材料の既存データの読込などが実行され、コンピュータ装置1は、プログラムメモリに記憶されたプログラムに従って、読込まれた既存データを学習用データとして用いて学習処理が実行される。そして、学習処理が完了すると、入力装置4からの実施者の入力操作によって、種類を同定したい材料のスペクトルデータが入力され、コンピュータ装置1は、プログラムメモリに記憶されたプログラムに従い、学習済みの識別器により、入力されたスペクトルデータの材料種類を同定し、結果がコンピュータ端末装置2に出力され、モニター等に表示されることとなる。
【0028】
本実施形態に於いて、材料のスペクトルデータとしては、既に触れられている如く、粉末X線回折スペクトル、赤外分光スペクトル、質量スペクトル、NMRスペクトル、吸光スペクトル、発光スペクトルなど、任意の1次元の変数に対してスペクトル値又は強度値が計測されたデータであってよく、材料は、無機物又は有機物であってよい。学習用データとして用いられる既知材料の既存のデータは、任意の手法(計測又はシミュレーション)にて得られたデータや任意のデータベースから入手されたデータであってよい。例えば、無機物の粉末X線回折スペクトルであれば、アメリカ国立標準技術研究所等により提供されているICSDより入手可能なデータなどであってよい。
【0029】
識別器の基本構成
図2を参照して、本実施形態による材料のスペクトルデータから材料の種類を同定するシステムに於ける識別器の構成に於いては、基本的には、スペクトルデータが入力されて特徴量ベクトルを算出する1次元CNN処理部と、1次元CNN処理部からの特徴量ベクトルを受けて各材料についての確率を決定する距離学習処理部とが含まれる。
【0030】
1次元CNN処理部は、通常の態様の1次元のCNNのアルゴリズムを実現する演算処理部であってよい。具体的には、CNNの入力層の複数のニューロンの各々に、材料のスペクトルデータの変数毎のスペクトル値(強度値、輝度値など)が入力され、畳み込み層、プーリング層及び全結合層での演算を経て、出力層に所定の次元数の特徴量ベクトルが算出される。例えば、スペクトルデータが、粉末X線回折スペクトルである場合、変数である2θの0~120度の範囲に於いて、0.02度毎の強度値が各ニューロンへ与えられるように、入力層には、6000個のニューロンが準備されてよい。また、出力層の特徴量ベクトルの次元は、適宜設定されてよい。上記の入力層に6000個の値が与えられる例の場合、例えば、出力層の特徴量ベクトルの次元数は、1024などであってよい。なお、本発明の発明者の研究によれば、本実施形態に於いては、1次元のCNNのアルゴリズムとしては、1D-RegNetのアルゴリズム(非特許文献4)が有利に用いられることが見出されている。
【0031】
距離学習処理部は、既に触れた如く、AdaCos、CosFace、ArcFace、SphereFaceなどと称される深層距離学習技術のアルゴリズムを実現する演算処理部であってよい。具体的には、1次元CNN処理部が出力する特徴量ベクトルを受けて、特徴量ベクトルと重みベクトルとのコサイン類似度が演算され、かかるコサイン類似度とハイパーパラメータとを用いて、ロジットが算出され、かかるロジットから、各クラスについて、特徴量ベクトルに対応するデータがそれぞれのクラスに分類される確率が算出される。ここで、距離学習処理部に於いて分類する各クラスは、本実施形態に於いては、各データが対応し得る材料の種類である。ロジットから各クラスの確率への演算には、典型的には、softmax関数が用いられてよいが、これに限定されない。そして、各クラスの確率に於いて、最大確率を与えるクラスが選択され、その選択されたクラスの材料種が入力されたスペクトルデータの材料の種類として同定される。なお、後に説明される如く、本実施形態に於ける距離学習処理部に於いては、深層距離学習技術のアルゴリズムを少なくとも2回続けて実行する「階層型距離学習」のアルゴリズムが有利に採用されてよい。
【0032】
上記の1次元CNN処理部と距離学習処理部とを含む識別器の学習は、既に述べた如く、既知材料の既存データを学習用データとして用いて、所謂「エンド-トゥ-エンド学習」(End-to-end training)の方式により実行されてよい。具体的には、例えば、或る学習用データにより学習処理を実行する際には、1次元CNN処理部の入力層へ学習用データのスペクトルデータを入力し、距離学習処理部の、各クラスの確率を与える出力層に於いて、正解ラベル(入力された学習用データに対応する材料種類のクラスの確率=1とし、その他のクラスの確率=0とする。)を与え、距離学習処理部の出力層に於いて、損失関数を算出し、誤差逆伝播法のアルゴリズムに従って、1次元CNN処理部と距離学習処理部に於けるパラメータを更新する学習が実行されてよい。ここで、損失関数は、典型的には、交差エントロピー誤差でよいが、これに限定されない。なお、識別器の学習は、上記の如く、既知材料の既存データを用いた教師あり学習となるので、識別器にて分類可能なクラス、即ち、材料の種類は、既知材料の種類となる。
【0033】
上記の本実施形態の構成によれば、材料のスペクトルデータから材料の種類を識別する識別器として、1次元CNNと深層距離学習のアルゴリズムを採用することにより、データの識別能が向上し、材料の特性(結晶の次元数、空間群など)の分類だけでなく、データから数千から数十万に及ぶ材料の種類の識別が可能となることが期待される。
【0034】
階層型距離学習の構成
上記の如く、本実施形態の距離学習処理部に於いては、「階層型距離学習」のアルゴリズムが採用され、データから材料の種類の識別能の更なる向上が図られる。かかる階層型距離学習のアルゴリズムに於いては、既に触れた如く、深層距離学習のアルゴリズムに於ける演算処理が少なくとも二回続けて実行される。具体的には、まず、通常、深層距離学習のアルゴリズムに於いては、1次元CNN処理部の出力した特徴量ベクトル(i次元)と(クラス毎の)重みベクトルとのコサイン類似度とハイパーパラメータとから各クラス(k次元)のロジットが演算され、そのまま、各クラスの確率が算出される。一方、階層型距離学習の場合には、図3(A)に示されている如く、1次元CNN処理部の出力した特徴量ベクトル(i次元)を用いて、第一の距離学習処理部にて、ロジット(j次元)が演算され、次いで、そのロジットが、第二の距離学習処理部へ渡され、そこで、各クラス(k次元)のロジットが演算され、かかるロジットからsoftmax関数等を用いて各クラスの確率が算出されることとなる(深層距離学習のアルゴリズムを更に続ける場合には、ロジットが次の距離学習処理部へ渡される。)。なお、第一の距離学習処理部にて算出されるロジットのj次元は、任意に設定されてよく、1次元CNN処理部の出力した特徴量ベクトルのi次元と同一であっても異なっていてもよい。
【0035】
上記の階層型距離学習のアルゴリズムによれば、互いに似ている特徴のデータがより詳細に分類できるようになると考えられる。図3(B)の概念図を参照して、種々のデータの1次元CNN処理部の出力した特徴量ベクトルを仮想的な球面上に写像した段階では、図3(B)左に描かれている各点(●、▲、■等)の如く、各データの特徴量ベクトルの間の距離があまり離れておらず、識別能があまり高くないが、特徴量ベクトルが、第一の距離学習処理により、図3(B)中に描かれている各点の如く、異なる特徴を有するベクトルの間の距離が離隔するように変換され、更に、第二の距離学習処理により、図3(B)右に描かれている各点の如く、似た特徴を有するベクトルの間の距離も離隔するように変換されることとなる。即ち、異なる特徴を有するベクトル間だけでなく、似た特徴を有するベクトル間でも距離が開くので、これにより、似た特徴を有するベクトルについても識別能が向上されることとなると考えられる。
【0036】
なお、階層型距離学習のアルゴリズムに於いて採用されるアルゴリズムは、任意の深層距離学習のアルゴリズム、例えば、AdaCos、CosFace、ArcFace、SphereFaceから選択されてよい。本発明の発明者の研究によれば、第一の距離学習処理にAdaCosを用い、第二の距離学習処理にCosFaceを用いると、非常に良好な識別精度を達成できることが見出されている。
【0037】
物理ベースデータ増強による拡張データの生成
識別器の学習に用いる既存材料の利用可能な既存データの数は、殆どの場合、各材料について少数である。例えば、ICSDに登録されている無機物のデータとしては、各材料について、通常、標準的な1つ乃至2つのデータが登録されている。一方、既に述べた如く、実際の計測に於いては、計測値に種々の変動が発生し、計測データに於いては、既存データに比較して、ピークの発生する角度、周波数などの変数のずれ(ピーク位置のずれ)、複数のピークの強度比の変動、ピークの消失、ピークの分裂などが発生し得る。従って、もし識別器の学習用のデータとして、各材料について、データベースに登録されているような標準的な1つ乃至2つのデータのみが用いられている場合には、上記のような変動が生じているデータを精度良く分類することが困難となる。
【0038】
そこで、本実施形態に於いて、好適には、既存材料の既存データに対して、実際の計測に発生し得る種々の変動を人工的に与えたデータを、コンピュータ上で生成し(物理ベースデータ増強処理)、それらのデータが、既存材料の既存データ(元データ)と共に、学習用データとして用いられてよい。かかる構成によれば、或る材料についての標準的なデータと異なる種々の変動を有する実際の計測データも、より高精度に識別し、その材料の種類を同定できるようになることが期待される。
【0039】
上記の物理ベースデータ増強処理に於いては、具体的には、元データに対して、以下の如き種々の変動を与える処理が適用されてよい(I(θ)は、変数θに於けるスペクトル値であり、θpr、θps等は、ピークを与える変数である。)。
(i)ピークシフト処理(図4(i)参照)-元データに於いて観察されているピークの発生する変数がずれるように変数に対するデータの位置をランダムにずらす。I(θ)→I(θ±Δ)[Δは、ランダムなシフト量]
(ii) ピーク強度比変更処理(図4(ii)参照)-元データに於いて観察されている複数のピークの強度比をランダムに変化させる。I(θpr):I(θps)=α:β[α:βは、ランダムに設定される強度比]
(iii)ピーク消失処理(図4(iii)参照)-元データに於いて観察されているピークをランダムに消去する。I(θpr)→0
(iv)ピーク分裂処理(図4(iv)参照)-元データに於いて観察されているピークを2つ以上にランダムに分裂させる。I(θpr)→I(θpr1)+I(θpr2
上記のそれぞれの変動を与える程度は、実際の計測で発生し得る変動と同程度となるように適宜設定されてよい。なお、上記の変動を与える処理は、一つの既存データに対して、任意に組み合わせて実行されてよい。物理ベースデータ増強処理により生成されたデータは、「拡張データ」と称する。
【0040】
上記の拡張データは、原理的には、多いほど、識別又は分類精度が向上するが、或る程度のデータ量にて学習を実行すると、精度に変化がなくなってくるので、その状態から更に新たな拡張データの生成と学習処理を続けることは無駄となる。そこで、本実施形態に於いて、学習処理に於いては、新たな拡張データを生成して、学習処理を実行するサイクルを、精度を検証しながら、実行し、サイクルは、精度に変化が殆ど見られなくなるまで反復されてよい。一度の学習処理サイクルに於いて、拡張データは、各既存データに対して、数個、例えば、5個、ずつ生成され、既存データと共に学習用のデータとして用いられてよい。
【0041】
実験例
上記の本実施形態の教示に従って、アメリカ国立標準技術研究所等により提供されているICSDにより提供されている粉末X線回折スペクトルデータのうち、6800種類のリチウムを含む材料のスペクトルデータを用いて、スペクトルデータから材料種類を同定する識別器を構成し、材料種類の同定精度を検出して、本実施形態の有効性を検証した。なお、以下の実験例は、本実施形態の有効性を例示するものであって、本発明の範囲を限定するものではないことは理解されるべきである。
【0042】
実験に於ける識別器の構成に於いて、スペクトルデータは、2θについて、0~120°の範囲のデータを用い、0.02度ずつのスペクトル強度値を、1次元CNN処理部の6000個のニューロンからなる入力層の各ニューロンへ入力させた。1次元CNNのアルゴリズムには、上記の1D-RegNetを用いた。1次元CNN処理部の出力する特徴量ベクトルは、1024次元とした。距離学習処理部は、最初にAdaCosのアルゴリズムを実行し、次にCosFaceのアルゴリズムを実行する階層型距離学習を実行するよう構成した。AdaCosでは、入力側と出力側の双方に於いて、1024次元のベクトルを入出力するものとし、CosFaceでは、入力側で1024次元のベクトルを受けて、出力側で6800クラスのロジットを出力するものとした。CosFaceのロジットから各クラスの確率の演算は、softmax関数を用いて行った。
【0043】
学習用データとしては、ICSDにより入手した各材料の既存データと、既存データから上記の物理ベースデータ増強処理により生成した拡張データとを用いた。拡張データは、一回の学習サイクルに於いて5個ずつ生成して学習用のデータに用いた。なお、各拡張データは上記の4つの変動を与える処理を全て適用して生成した。そして、学習用のデータは、そのうちの70%を訓練データとし、15%を検証データとし、15%をテストデータとした。訓練データは、誤差逆伝播法による重みパラメータの更新に用い、検証データは、学習済モデルの汎用性の検証及びハイパーパラメータの調整に使用し、テストデータは、同定精度の検出に用いた。学習サイクルは、150エポック実行した(拡張データは、エポック毎に変更した。)。
【0044】
上記の計算実験の結果、同定精度は、以下の如くとなった。
【表1】
同定精度(Top1)は、最大の確率を与えるクラスの材料種類が正解であったときの割合である。表1から理解される如く、距離学習処理を階層型距離学習とした場合と、学習用データとして、物理ベースデータ増強処理による拡張データを用いた場合とのそれぞれに於いて、そうでない場合よりも精度が向上したことが理解される。階層型距離学習と物理ベースデータ増強処理とを同時に適用した場合には、実に、94%を超える高精度にて、材料種類の同定が可能となった。
【0045】
次に、標準的なデータからの変動を有するデータが識別できるかどうかについて調べた。識別器の階層型距離学習のアルゴリズムを適用し、学習時には、物理ベースデータ増強処理による拡張データを含めた学習用データを用いた。そして、既存データに対して、ピークシフト処理のみ、強度比変更処理のみ、ピーク消失処理のみ、ピーク分裂のみを実行して得られたデータを用いて、同定精度を検出した。結果は、下記の如くとなった。
【表2】
精度(%)Top1は、最大の確率を与えるクラスの材料種類が正解であったときの割合であり、精度(%)Top5は、確率が上から5番目までのクラスの内に正解の材料があったときの割合である。表2から理解される如く、データにいずれの変動が生じていても約90%又はそれ以上の精度にて、識別が可能となっていることが理解される。
【0046】
かくして、上記の本実施形態によれば、材料のスペクトルデータから、材料の種類の識別が従前に比して、精度良く、且つ、速やかに達成することが可能となる。
【0047】
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。
図1
図2
図3
図4