特許 6992817 波形解析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-13

(45)【発行日】2022-01-13

(54)【発明の名称】波形解析装置

(51)【国際特許分類】

   G01N 30/86 20060101AFI20220105BHJP

   G06T 7/00 20170101ALI20220105BHJP

   G06T 7/60 20170101ALI20220105BHJP

   G06T 7/90 20170101ALI20220105BHJP

【ＦＩ】

G01N30/86 E

G01N30/86 B

G01N30/86 G

G06T7/00 350C

G06T7/60 200

G06T7/90

【請求項の数】 9

(21)【出願番号】P 2019551827

(86)(22)【出願日】2017-11-09

(86)【国際出願番号】 JP2017040486

(87)【国際公開番号】W WO2019092836

(87)【国際公開日】2019-05-16

【審査請求日】2020-05-07

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001069

【氏名又は名称】特許業務法人京都国際特許事務所

(72)【発明者】

【氏名】小副川 健

(72)【発明者】

【氏名】樋田 祐輔

(72)【発明者】

【氏名】金澤 裕治

(72)【発明者】

【氏名】金澤 慎司

(72)【発明者】

【氏名】山田 洋平

(72)【発明者】

【氏名】安田 弘之

(72)【発明者】

【氏名】國澤 研大

(72)【発明者】

【氏名】寺田 英敏

【審査官】高田 亜希

(56)【参考文献】

【文献】特開平０６－０９４６９６（ＪＰ，Ａ）

【文献】特開平０９－０５４０７１（ＪＰ，Ａ）

【文献】特開平０７－０４４７０８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２８７１３７（ＵＳ，Ａ１）

【文献】特表２０１３－５０２５７５（ＪＰ，Ａ）

【文献】ディープラーニング技術を活用したスモールスタートサービスで予測分析 導入を支援，Wave，日本，東芝インフォメーションシステムズ株式会社，2017年05月01日，vol.21，p6-7，インター ネット:〈URL:https://www.tjsys.co.jp/wave/files/Wave-21_06.pdf〉

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３０／００－３０／９６

Ｇ０６Ｔ ７／００－ ７／９０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

試料に対して所定の分析を行うことで得られた信号列に基づく信号波形を解析し該信号波形上のピークを検出する波形解析装置において、
a)前記信号波形又は該信号波形から求まる２次的な信号波形を画像に変換し、該画像内で信号波形に対応する線で分割されることで形成された複数の領域の一方の領域で該線に沿って該線から少なくとも所定の範囲内を他の範囲と識別可能な一又は複数の色で塗りつぶすことで入力用画像を生成する画像生成部と、
b)ピークの始点及び終点が既知である複数の信号波形に基づいて生成された入力用画像を用いた機械学習によって予め構築された学習済みモデルを使用し、前記画像生成部により生成された目的の入力用画像に対して該画像中の信号波形に現れる一又は複数のピークの始点の位置又は終点の位置の少なくとも一方を検出するピーク検出部と、
を備えることを特徴とする波形解析装置。

【請求項2】

請求項１に記載の波形解析装置であって、
前記画像生成部は、分析により得られた単一の信号波形から一以上の２次的な信号波形を生成し、その複数の信号波形に基づいてそれぞれ入力用画像を生成する、又はその複数の画像を重ね合わせることで入力用画像を作成することを特徴とする波形解析装置。

【請求項3】

請求項２に記載の波形解析装置であって、
前記画像生成部は、分析により得られた信号波形をｎ次（ただしｎは正の整数）微分することで得られた信号波形を、元の信号波形とともに画像に変換して入力用画像を生成することを特徴とする波形解析装置。

【請求項4】

請求項１に記載の波形解析装置であって、
前記画像生成部は、同じ試料について同じ分析を異なるパラメータの下で行うことで得られた複数の信号波形を重ね合わせ、各信号波形に対応する線で分割されることで形成された三以上の領域をそれぞれ異なる色で塗り分けることで入力用画像を生成することを特徴とする波形解析装置。

【請求項5】

請求項１に記載の波形解析装置であって、
前記画像生成部は、目的試料に対する分析を複数回繰り返すことで得られた複数の信号波形を重ね合わせた又は合成した入力用画像を生成することを特徴とする波形解析装置。

【請求項6】

請求項１に記載の波形解析装置であって、
前記画像生成部は、目的試料に対して得られた信号波形と該目的試料中の目的成分を含む標準試料に対する信号波形とを重ね合わせた又は合成した入力用画像を生成することを特徴とする波形解析装置。

【請求項7】

請求項１～６のいずれか１項に記載の波形解析装置であって、
前記学習済みモデルは機械学習による一般物体検知アルゴリズムを用いて構築されていることを特徴とする波形解析装置。

【請求項8】

請求項７に記載の波形解析装置であって、
前記学習済みモデルはディープラーニングを用いて構築されていることを特徴とする波形解析装置。

【請求項9】

請求項８に記載の波形解析装置であって、
前記学習済みモデルは畳み込みニューラルネットワークを用いて構築されていることを特徴とする波形解析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分析装置で得られた信号の波形を解析する波形解析装置に関する。本発明は例えば、ガスクロマトグラフ（ＧＣ）装置や液体クロマトグラフ（ＬＣ）装置などで取得されるクロマトグラム波形、質量分析装置で取得されるマススペクトル波形、分光光度計などで取得される吸光スペクトル波形、Ｘ線分析装置で取得されるＸ線スペクトル波形など、各種の分析装置で得られる信号の波形の解析に好適である。

【背景技術】

【0002】

ガスクロマトグラフ装置や液体クロマトグラフ装置では、各種成分が含まれる試料をカラムに導入し、該試料がカラムを通過する過程で各種成分を時間方向に分離し、カラムの出口に設けた検出器により検出する。検出器により得られた検出信号に基づいて作成されるクロマトグラムには、試料中の成分に対応するピークが現れる。そのピークが観測される時間（保持時間）は成分の種類に対応しているため、このピークの保持時間から成分を特定する、つまりは定性分析を行うことができる。また、ピークの高さや面積はその成分の濃度又は含有量に対応しているため、ピークの高さ値や面積値からその成分の濃度や含有量を求める、つまりは定量分析を行うことができる。

【0003】

定性分析や定量分析を行うには、クロマトグラム波形上でピークを的確に検出し、ピークの始点、終点の位置（時間）を確定する必要がある。実際のクロマトグラム波形では様々なノイズが重畳されていたり、ベースラインが変動していたり、或いは複数の成分由来のピークが重なっていたりする。そのため、クロマトグラム波形からピークを的確に検出するのは容易ではなく、従来、クロマトグラム波形に基づくピーク検出法として様々なアルゴリズムが提案され、実用に供されている（特許文献１、２など参照）。

【0004】

従来の一般的なピーク検出アルゴリズムでは、実測のクロマトグラム波形に対し、スムージング等のノイズ除去、ピーク位置の検出、ベースライン推定、ピーク始点及び終点の検出、重なっているピークの分離などの波形処理を経て、ピークの高さ値や面積値が算出される。アルゴリズムによっては、ピーク位置の検出に先だって、ベースライン推定やピーク始点及び終点の検出が実行される場合もあるが、いずれにしても、従来の一般的なピーク検出アルゴリズムでは、様々なパラメータを予めオペレータ（分析担当者）が設定したり、表示画面上でクロマトグラム波形をオペレータが観察してピークの始点・終点を指定したり、或いは、重なっているピークを分離するためにどのようなベースラインが適切であるのかをオペレータが判断して選択したりする等、オペレータによるかなりの作業が必要であった。また、そもそも、ベースラインやピークの形状が様々であるクロマトグラム波形に対し、一つの決まったピーク検出アルゴリズムを適用することは難しいため、予め用意された複数のピーク検出アルゴリズムの中から使用するアルゴリズムをオペレータが選択する作業も必要であった。

【0005】

こうした作業はオペレータに大きな負担であって解析作業の効率改善に大きな支障となる。また、解析作業には或る程度の熟練や経験が必要であるため、担当できる者が限られる。さらにまた、オペレータによって判断にばらつきが生じることは避けられないし、オペレータによる恣意的な操作が入り込む余地もある。そのため、解析結果の精度や再現性、或いは信頼性を確保するのが難しいという問題もある。

【0006】

オペレータによる作業の負担を軽減するために、ピークの始点・終点を自動で検出するアルゴリズムも開発されている（非特許文献１など参照）。しかしながら、こうしたアルゴリズムにおいても未だオペレータの操作に依存する要素は大きく、さらなる負担の軽減が要望されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００９－８５８２号公報

【文献】国際公開第２０１７／０９４１７０号パンフレット

【非特許文献】

【0008】

【文献】「インテリジェントな波形処理アルゴリズムで解析業務を効率化」、［online］、［平成２９年１０月２３日検索］、株式会社島津製作所、インターネット＜URL：http://www.an.shimadzu.co.jp/hplc/support/faq/faq8/i-peakfinder_introduction.htm＞

【文献】「ディープラーニング技術を活用したスモールスタートサービスで予測分析導入を支援」、Wave 2017.5 vol.21、［online］、［平成２９年１０月２３日検索］、東芝情報システム株式会社、インターネット＜URL: https://www.tjsys.co.jp/wave/files/Wave-21_06.pdf＞

【文献】ウェイ・リウ（Wei Liu）、ほか６名、「ＳＳＤ：シングル・ショット・マルチボックス・デテクタ（SSD: Single Shot Multibox Detector）」、［online］、［平成２９年１０月２３日検索］、arXiv.org、インターネット＜URL: https://arxiv.org/pdf/1512.02325.pdf＞

【文献】緒方 貴紀、「SSD: Single Shot MultiBox Detector (ECCV2016) 」、［online］、［平成２９年１０月２４日検索］、slideshare、インターネット＜URL: https://www.slideshare.net/takanoriogata1121/ssd-single-shot-multibox-detector-eccv2016＞

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は上記課題を解決するために成されたものであり、その主たる目的とするところは、オペレータによる煩雑な操作や作業を軽減し、様々な形状の信号波形に対して高い精度で以てピーク検出を行うことができる波形解析装置を提供することである。

【課題を解決するための手段】

【0010】

上記課題を解決するためになされた本発明は、試料に対して所定の分析を行うことで得られた信号列に基づく信号波形を解析し該信号波形上のピークを検出する波形解析装置において、
a)前記信号波形又は該信号波形から求まる２次的な信号波形を画像に変換し、該画像内で信号波形に対応する線で分割されることで形成された複数の領域の一方の領域で該線に沿って該線から少なくとも所定の範囲内を他の範囲と識別可能な一又は複数の色で塗りつぶすことで入力用画像を生成する画像生成部と、
b)ピークの始点及び終点が既知である複数の信号波形に基づいて生成された入力用画像を用いた機械学習によって予め構築された学習済みモデルを使用し、前記画像生成部により生成された目的の入力用画像に対して該画像中の信号波形に現れる一又は複数のピークの始点の位置又は終点の位置の少なくとも一方を検出するピーク検出部と、
を備えることを特徴としている。

【0011】

本発明において、所定の分析とは例えば、液体クロマトグラフィやガスクロマトグラフィなどのクロマトグラフ分析、質量分析、イオン移動度分析、吸光分光分析や蛍光分光分析などの分光分析、Ｘ線分析などである。また、こうした分析を行うことで得られた信号列に基づく信号波形とは、時間、質量電荷比、イオン移動度、波長、エネルギーなどを変数とする信号強度の変化を示すクロマトグラム波形やスペクトル波形などである。

【0012】

本発明において、画像生成部は、例えばクロマトグラム波形そのもの又は該クロマトグラム波形から求まる２次的な信号波形を画像に変換する。該画像において信号波形は直線、曲線、折れ線などの線画になるが、その線を境界として形成された二つの領域の一方の領域において該線に沿って該線から少なくとも所定の範囲内を一又は複数の色で塗りつぶす。好ましくは、信号波形に対応する線を境界とする二つの領域の間で各領域内の微小領域同士の区別が可能であるように、二つの領域の一方の全体を塗りつぶすとよい。また、この塗りつぶしはグレイスケール又はカラースケールに従ったものとするとよい。それにより、信号波形に対応する線の近傍、つまり二つの領域の境界近傍では、その境界と画素との位置関係に応じて各画素に中間色を付与することができる。

【0013】

ピーク検出部は、機械学習により画像中から物体を検知する手法を利用してピークの始点及び終点を推定する。即ち、ピーク検出部は、ピークの正確な始点及び終点が既知である複数の（通常はかなり多数の）信号波形に基づいて生成された入力用画像を用いた機械学習によって予め構築された学習済みモデルを備える。そして、上記画像生成部により生成された目的の入力用画像が与えられると、その学習済みモデルに基づいて、入力用画像中で上記信号波形に現れる一又は複数のピークの始点又は終点に相当する部位を推定し、これをピークの始点又は終点として認識する。こうして画像中で検出されたピークの始点・終点の位置は画素の位置情報として得られるから、その画素の位置情報を時間や波長などのパラメータの情報に変換することで、元の信号波形におけるピークの始点・終点を求めることができる。

【0014】

本発明に係る波形解析装置の一態様として、前記画像生成部は、分析により得られた単一の信号波形から一以上の２次的な信号波形を生成し、その複数の信号波形に基づいてそれぞれ入力用画像を生成する、又はその複数の画像を重ね合わせることで入力用画像を作成する構成とすることができる。

【0015】

具体的には例えば、前記画像生成部は、分析により得られた信号波形をｎ次（ただしｎは正の整数）微分することで得られた信号波形を、元の信号波形とともに画像に変換して入力用画像を生成する構成とすることができる。

【0016】

信号波形を１次微分すると、信号強度の変化の大きい部分、つまりはピークの立ち上がり（始点）及び立ち下がり（終点）が強調される。また、信号波形を２次微分すると、信号強度の変化の程度が大きい部分が強調されるから、例えば単調減少している中の膨出部のピークトップなどが抽出される。そこで例えば、元の信号波形を１次微分及び／又は２次微分して得られる信号波形に基づく画像を元の信号波形に基づく画像と重ね合わせて入力用画像を生成することで、ピーク波形に関するより多くの情報に基づく推定が行え、ピーク検出の精度が向上する。

【0017】

また本発明に係る波形解析装置の他の態様として、前記画像生成部は、同じ試料について同じ分析を異なるパラメータの下で行うことで得られた複数の信号波形を重ね合わせ、各信号波形に対応する線で分割されることで形成された三以上の領域をそれぞれ異なる色で塗り分けることで入力用画像を生成する構成としてもよい。

【0018】

例えば分析手法がＬＣ／ＭＳ分析やＧＣ／ＭＳ分析である場合、定量イオンにおけるマスクロマトグラム（抽出イオンクロマトグラム）波形と一又は複数の確認イオンにおけるマスクロマトグラム（抽出イオンクロマトグラム）波形とを上記複数の信号波形とすることができる。この場合、上記パラメータは質量電荷比である。

【0019】

一般に、こうした複数の信号波形では同じ位置にピークが現れるが、それ以外の要素、例えばベースラインやノイズの共通性は薄い。そのため、複数の信号波形を重ね合わせた入力用画像を生成し、該入力用画像に基づくピーク検出を行うことで、ピークとベースラインやノイズとの識別が容易になる。それによって、ピーク検出の精度が向上する。

【0020】

また本発明に係る波形解析装置のさらに他の態様として、前記画像生成部は、目的試料に対する分析を複数回繰り返すことで得られた複数の信号波形を重ね合わせた又は合成した入力用画像を生成する構成としてもよい。
この構成でも上記態様と同様に、ピークとベースラインやノイズとの識別が容易になるため、ピーク検出の精度が向上する。

【0021】

また本発明に係る波形解析装置のさらに他の態様として、前記画像生成部は、目的試料に対して得られた信号波形と該目的試料中の目的成分を含む標準試料に対する信号波形とを重ね合わせた又は合成した入力用画像を生成する構成としてもよい。
この構成においても、目的成分を含む標準試料に対する信号波形の情報が加わることで、目的成分に対応するピークのピークトップの位置やピーク幅等の情報が大凡分かるため、ピーク検出の精度が向上する。

【0022】

また本発明に係る波形解析装置では、学習済みモデルを構築するために様々な機械学習の手法を用いることができるが、好ましくは、機械学習による一般物体検知アルゴリズムを用いて学習済みモデルを構築するとよい。

【0023】

一般物体検知アルゴリズムでは、処理対象の画像中に多数の検出範囲を設けることができ、その検出範囲毎にピークが存在する範囲を学習することができる。その結果として、様々なサイズのピークを漏れなく検出することができ、高い精度で以てピーク検出が可能となる。

【0024】

また本発明において、前記学習済みモデルは機械学習の一手法であるディープラーニングを用いて構築されているものとするとよい。
ディープラーニング（非特許文献２等参照）を用いた学習を行うことで、画像認識の精度が向上し、ピーク検出の正確性も向上させることができる。

【0025】

また、ディープラーニングには様々なアルゴリズムが提案されているが、本発明において好ましくは、前記学習済みモデルは畳み込みニューラルネットワーク（ＣＮＮ）を用いて構築されているものとするとよい。
ここでいう畳み込みニューラルネットワークは例えば、Ｒ－ＣＮＮ（Regions with CNN features）、ＳＰＰ（Spatial Pyramid Pooling）ｎｅｔ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot multibox Detector）などと呼ばれるアルゴリズムに含まれるものである。この構成によれば、高精度のピーク検出を高速に行うことができる。

【発明の効果】

【0026】

本発明に係る波形解析装置によれば、従来の様々なピーク検出アルゴリズムで必要とされる面倒な検出用のパラメータの調整や適切なアルゴリズムの選択といった作業が不要になる。また、オペレータが信号波形を見ながら手作業でピークの始点及び終点を設定する作業が必要なくなり、オペレータの癖や恣意的な操作が入り込まないため、属人性を排除した高精度なピーク検出が自動的に行える。また、信号波形を画像として捉えてピークを推定するので、人間の認識や判断と一致した結果が得られ易く、従来の人手に依る正確なピーク検出との結果の一貫性を保ち易いという効果もある。

【図面の簡単な説明】

【0027】

【図1】本発明に係る波形解析装置の一実施例を用いた液体クロマトグラフシステム及び該システムに用いられる学習済みモデルを作成するシステムの概略構成図。

【図2】本実施例の波形解析装置において使用される学習済みモデルを作成する際の処理の流れを示すフローチャート。

【図3】本実施例の波形解析装置におけるピーク検出処理の流れを示すフローチャート。

【図4】本実施例の波形解析装置におけるクロマトグラム波形の画像化の一例を示す図。

【図5】本実施例の波形解析装置において用いられる、ニューラルネットワークによる学習済みモデルを示す模式図

【図6】本実施例の波形解析装置において用いられる学習済みモデルを作成する際の処理を説明するための模式図。

【図7】本実施例の波形解析装置において学習済みモデルを用いたピーク検出処理を説明するための模式図。

【発明を実施するための形態】

【0028】

以下、本発明に係る波形解析装置の一実施例について詳細に説明する。
図１は本発明に係る波形解析装置の一実施例を用いた液体クロマトグラフ（ＬＣ）システム及び該システムに用いられる学習済みモデルを作成するシステムの概略構成図である。

【0029】

このＬＣシステム１は、ＬＣ測定部１０、データ解析部１１、操作部１２、及び表示部１３を備える。ＬＣ測定部１０は図示しないが、送液ポンプ、インジェクタ、カラム、カラムオーブン、検出器などを含み、与えられた試料についてのＬＣ分析を実行して、検出器による信号強度の時間的な変化を示すクロマトグラムデータを取得する。
データ解析部１１は、データ収集部１１０、ピーク検出処理部１１１、定性・定量解析部１１６などの機能ブロックを含み、ピーク検出処理部１１１はさらに、画像生成部１１２、ピーク位置推定部１１３、学習済みモデル記憶部１１４、ピーク決定部１１５などの機能ブロックを含む。

【0030】

データ解析部１１において、データ収集部１１０はＬＣ測定部１０で得られたクロマトグラムデータを収集しこれを記憶する。本発明に係る波形解析装置に相当するピーク検出処理部１１１は、収集されたクロマトグラムデータに基づくクロマトグラム波形においてピークを自動的に検出し、検出したピークの始点及び終点の位置（保持時間）を含むピーク情報を出力する。定性・定量解析部１１６は、ピーク検出処理部１１１から与えられたピーク情報に基づいて各ピークに対応する成分を同定したり、ピーク高さ値やピーク面積値を計算し、その値から各成分の濃度又は含有量を算出したりする。

【0031】

図１において、ＬＣシステム１とは別に設けられているモデル作成部２は、学習データ入力部２０、画像生成部２１、学習実行部２２、及びモデル構築部２３を機能ブロックとして含む。このモデル作成部２において作成される学習済みモデルが、ＬＣシステム１のデータ解析部１１における記憶部に格納されて学習済みモデル記憶部１１４として機能する。

【0032】

なお、通常、データ解析部１１の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、データ解析部１１に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。

【0033】

次に、ピーク検出処理部１１１において実施されるピーク検出処理について詳細に説明する。
ごく概略的にいうと、このピーク検出処理部１１１では、クロマトグラム波形（クロマトグラムカーブ）を２次元画像に変換したうえで、その画像上に存在する物体のカテゴリーと位置とを検出する機械学習の一手法であるディープラーニング（Deep Learning）の手法を用いることによって、ピークの始点及び終点の位置を検出している。

【0034】

［学習済みモデルの作成］
よく知られているように、機械学習法では、多数の学習データを用いて学習済みモデルを予め構築しておく必要がある。上述したように、この学習済みモデルの構築の作業は、ＬＣシステム１の一部であるデータ解析部１１において行われるのではなく、別のコンピュータシステムにより構成されるモデル作成部２で実施され、その結果が学習済みモデル記憶部１１４に格納される。それは、一般に学習済みモデルの構築作業は多量のデータを処理するために計算量が膨大であり、かなり高性能で且つ画像処理に対応したコンピュータが必要であるためである。図２は、モデル作成部２において行われる学習済みモデル作成時の処理の流れを示すフローチャートである。

【0035】

学習済みモデルを作成する際には、多数で多様なクロマトグラム波形データを用意すると共に、その各クロマトグラム波形に現れている一又は複数のピークの始点及び終点の保持時間を正確に求めておく。ここでいう多様なクロマトグラム波形データとは、実際にピーク検出を実施する際のクロマトグラム波形に現れる可能性がある、様々なノイズの混入、ベースラインの変動（ドリフト）、複数のピークの重なり、或いは、ピーク形状の変形、などの要素を含むクロマトグラム波形である。学習データ入力部２０は、この多数のクロマトグラム波形データとピーク始点・終点を含む正確なピーク情報とのセットを学習データとして読み込む（ステップＳ１）。

【0036】

画像生成部２１は、時系列信号であるクロマトグラム波形データに基づいてクロマトグラムを作成し、時間経過に伴う信号強度の変化を示すクロマトグラム波形（クロマトグラムカーブ）を所定の画素数の２次元画像に変換する（ステップＳ２）。ここでは一例として、画素数は５１２×５１２であるものとする。この画像変換の際に、クロマトグラム波形上のピークの中で信号強度が最大であるピークのピークトップが矩形状の画像の上辺に一致するように、その波形のｙ方向のサイズを規格化する。また、クロマトグラム波形の全測定時間範囲又は一部の測定時間範囲（例えばユーザにより指示された測定時間範囲）が矩形状の画像のｘ方向（横方向）の長さに一致するように、その波形のｘ方向のサイズを規格化する（ステップＳ３）。

【0037】

上記のようにクロマトグラム波形を規格化すると、この波形に対応する線を境界として矩形状の画像は二つに分割される。そこで、その画像分割により形成された二つの領域の一方を他方とは異なる所定の色で塗りつぶす（ステップＳ４）。このとき、色の濃さを多段階にし、波形に対応する線つまりは二つの領域の境界線の近傍で境界線と画素との位置関係に応じて各画素の色の濃さを決定するとよい。具体的には、例えば０～２５５の２５６段階のグレイスケールで一方の領域の塗りつぶしを行うと、一方の領域における境界線から離れた部分は黒色、他の領域における境界線から離れた部分は白色になるが、境界線付近の画素はその中間色となる。

【0038】

図４には、クロマトグラム波形の一例（ａ）と、これに対してステップＳ２～Ｓ４による画像化を実施して得られる２次元画像（ｂ）を示している。図４（ｂ）の下には、二つの領域の境界線付近の画素の色を模式的に示している。なお、ここでは、二つの領域の一方の全体を塗りつぶしている。これにより、各領域中の微小領域（１個の画素又は複数の画素の集合）同士を比較したときに、異なる領域であることの識別が可能となる。このことは、後述する機械学習のアルゴリズムにおいて画像認識の精度を上げるには都合がよい。ただし、使用する機械学習のアルゴリズムによっては、必ずしも二つの領域の一方の全体を塗りつぶさずとも、例えばその境界線全体に沿って該境界線から所定長さの範囲内のみ塗りつぶす画像を用いてもよい。また、当然のことながら、グレイスケールでなく黒以外の一色、又はカラースケールに従った複数色での塗りつぶしを行ってもよい。即ち、境界線を挟んだ両側の領域における微小領域の間での識別が可能であるように塗りつぶせばよい。

【0039】

ステップＳ１で読み込まれた全てのクロマトグラム波形データについて同様にして画像に変換する。クロマトグラム波形の規格化を伴う画像化の処理によって元のクロマトグラム波形の強度情報や時間情報は失われ、波形形状を表す画像が生成されることになる。なお、ステップＳ１において全てのデータを読み込んでからステップＳ２～Ｓ４の処理を実行するのではなく、ステップＳ１におけるデータの読み込みを行いながら、すでに読み込まれたデータについてステップＳ２～Ｓ４による画像化を行ってもよいことは当然である。

【0040】

また画像生成部２１は、クロマトグラム波形データとセットになっているピーク情報を、上述した画像化に際してのｘ方向、ｙ方向の規格化、つまりはクロマトグラム波形の伸縮に応じて、画像上の位置情報つまりはｘ方向及びｙ方向の画素位置の情報に変換する（ステップＳ５）。

【0041】

次に、学習実行部２２は、上記のようにして学習データであるクロマトグラム波形から生成された多数の画像を用いた機械学習を実施し、モデル構築部２３はその学習結果に基づき、クロマトグラム波形上のピークの始点及び終点を推定するための学習モデルを構築する。周知のように機械学習には様々なアルゴリズムがあるが、ここでは画像認識における一般物体検知アルゴリズムの一つであるディープラーニングを用い、その中でも特に画像認識に優れているＳＳＤ法を用いる（ステップＳ６）。

【0042】

ＳＳＤ法は、ディープラーニングの中では最も広く利用されている畳み込みニューラルネットワーク（ＣＮＮ）を用いた手法の一つであり、現時点では最も高速で且つ高い認識精度を実現可能なアルゴリズムである。ＳＳＤ法は、リウ（Liu Wei）らにより非特許文献３で提案されたものであり、そのアルゴリズムの詳細については非特許文献３、４等に詳細に説明されているので、ここでは本実施例における特徴点についてのみ述べる。

【0043】

一般的なＳＳＤ法では、２次元的な画像内で物体が存在している部分を推測するためにＣＮＮにより抽出した画像特徴マップ（feature map）を使用するが、その画像特徴マップを少しずつ畳み込んでいくことにより様々なサイズ（画素数）の画像特徴マップを利用している。これによって様々な大きさの物体領域候補を検出することができる。これに対し、本実施例において検出したいのはピークの始点及び終点のｘ方向の位置である。そこで、ｘ方向の様々な大きさの区間内に存在するピークの始点及び終点を検出するようにアルゴリズムを変更している。

【0044】

図５は、本実施例で用いられるニューラルネットワークによる学習済みモデルを示す模式図である。また図６は学習済みモデルを作成する際の処理を説明するための模式図である。図６に示しているように、ここでは、上記ステップＳ２～Ｓ４の処理で生成された画像のｘ方向の長さ全体の幅のウインドウを持つセグメントSg1を設定し、次に、セグメントSg1のウインドウを半分に分割したウインドウ幅が１／２であるセグメントSg2、Sg3を設定する。同様にして、セグメントSg2、Sg3のウインドウをそれぞれ半分に分割したウインドウ幅が元の１／４である４個のセグメントSg4、Sg5、Sg6、Sg7を設定する、という操作を繰り返し、全部で１２０個のセグメントSg1～Sg120を定める。この各セグメントがＣＮＮにより画像特徴マップを抽出する単位であり、学習データとしての画像に基づいてこの単位毎にピークの始点及び終点で決まるピーク範囲を学習する。

【0045】

この学習モデルにおけるニューラルネットワークでは図５に示すように、入力層に設けられた２６２１４４個のノードのそれぞれに５１２×５１２画素の画像における各画素の画素値（ここではグレイスケールの０～２５５の範囲）が入力される。図５においてpxnは１枚の画像におけるn番目の画素を示す。なお、画像がカラー又は複数色である場合には、画素毎に例えば三原色の各色の画素値が入力されるため、入力層のノード数は例えば３倍になる。

【0046】

学習実行部２２では、多数の画像に基づく上記のような入力に対しディープラーニングによって多数の中間層から成る層構造のネットワークが学習され、最終的な出力層に設けられた６００個のノードからそれぞれ数値情報が出力される。この６００個のノードから出力される情報は、１２０個のセグメントSg1～Sg120のそれぞれについて算出される、ピーク検出の確度（confidence）confn、そのセグメントのウインドウの左端からピーク始点までのｘ方向のオフセット量xsn、入力画像の下端からピーク始点までのｙ方向のオフセット量ysn、そのセグメントのウインドウの右端からピーク終点までのｘ方向のオフセット量xen、入力画像の下端からピーク終点までのｙ方向のオフセット量yen、という５次元の情報である。図６中では１番目のセグメントSg1に対する上記５次元の情報を｛conf1, xs1, ys1, xe1, ye1｝として示している。ここでは、ピーク検出の確度はピーク範囲とウインドウとの重なりの長さで定義している。

【0047】

図６の例ではクロマトグラム波形に二つのピークが存在する。前半のピークの始点の画素位置は（xs_a, ys_a）、終点の画素位置は（xe_a, ye_a）であり、そのピーク範囲はＡである。一方、後半のピークの始点の画素位置は（xs_b, ys_b）、終点の画素位置は（xe_b, ye_b）であり、ピーク範囲はＢである。この場合、セグメントSg1におけるxs1、ys1、xe1、及びye1は図６中に示すようになる。また、confはSg1のウインドウの幅とピーク範囲Ａとの重なりに応じた計算値である。上述したように学習データにおけるピークの始点・終点の画素位置やピーク範囲は既知であるから、多数の学習データについて正解にできるだけ一致するように学習を行って各中間層におけるネットワーク重みを算出しつつモデルを構築する。

【0048】

モデル構築部２３はこうして多数の学習データを用いてディープラーニングを行うことで求めた学習モデルを一旦保存する（ステップＳ７）。ＬＣシステム１においてデータ解析部１１の学習済みモデル記憶部１１４には、モデル作成部２において上述したように作成された学習モデルが例えば通信回線を介して伝送され格納される。

【0049】

［目的試料に対するピーク検出処理］
次に、ＬＣシステム１のデータ解析部１１で実行される、目的試料に対して得られたクロマトグラム波形上のピークの検出処理を説明する。図３はピーク検出処理部１１１において行われるピーク検出処理の流れを示すフローチャートである。
まず、画像生成部１１２は処理対象であるクロマトグラム波形データをデータ収集部１１０から読み込む（ステップＳ１１）。そして、読み込んだデータに対し、モデル作成部２の画像生成部２１で実行されたステップＳ２～Ｓ４によるクロマトグラム波形データの画像化と同様のステップＳ１２～Ｓ１４の処理を実行することにより、クロマトグラムカーブを含む５１２×５１２画素の画像を生成する。

【0050】

ピーク位置推定部１１３は、生成された画像の各画素の画素値に、学習済みモデル記憶部１１４に格納されている学習済みモデルを適用して１２０個のセグメント毎の上記５次元の情報を取得する。即ち、画像内でピークの始点及び終点と推測される画素位置の情報をピーク検出確度と共に取得する（ステップＳ１５）。

【0051】

図７はピーク検出結果の一例を示す図である。ここでは、セグメント毎に｛confn, xsn, ysn, xen, yen｝（ただしnは1～120）が求まるため、多くの場合、一つのピークに対し複数のセグメントで、ピーク検出の確度が０でない｛confn, xsn, ysn, xen, yen｝が得られる。なお、一般にピーク検出の確度confnが低いものは信頼性に乏しい。そこで、この例では算出されたconfnが所定値（ここでは０．５）以下である場合に、その５次元のピーク情報は有用でないとみなして｛０, ０, ０, ０, ０｝としているが、そうした確度による取捨選択を行わずに全ての結果を利用するようにしてもよい。

【0052】

上述したように一般的に、一つのピークに対し始点及び終点の位置の候補が複数得られる。ピーク決定部１１５はピーク毎に得られた複数の候補のピークの確度confnを比較し、その値が最も大きな候補が画像内におけるそのピークの始点及び終点の画素位置であると決定する。そして、画像生成時のクロマトグラム波形の伸縮の情報及び画像化したクロマトグラム波形の時間範囲の情報に基づいて、ピークの始点及び終点の画素位置を時間及び強度情報に変換する（ステップＳ１６）。ピーク決定部１１５はこうして得られた情報をピーク検出結果として出力する（ステップＳ１７）。

【0053】

データ解析部１１において定性・定量解析部１１６はピーク検出結果を受けて、例えばピーク毎にピーク面積値又は高さ値を計算し、その値を予め取得しておいた検量線に照らして目的成分の濃度や含有量を算出する。或いは、成分が未知である場合には、ピーク毎にその保持時間に基づいて成分を同定する。

【0054】

［変形例］
上記実施例では、測定時間全体又はその一部のクロマトグラム波形を画像化してディープラーニングを実施したが、ピーク検出の精度を向上させるために様々な態様とすることができる。

【0055】

例えばクロマトグラム波形を時間方向に１次微分すると、信号強度の変化が大きいほど値が大きくなる１次微分クロマトグラム波形が得られる。この１次微分クロマトグラム波形では、元のクロマトグラム波形で立ち上がりや立ち下がりのスロープの傾きが最も大きな時間で値が最大となり、ピークトップ等の変曲点や同じ値が続くピークがない時間範囲で値がゼロになる。また、クロマトグラム波形を時間方向に２次微分すると、信号強度の変化の程度が大きいほど値が大きくなる２次微分クロマトグラム波形が得られる。この２次微分クロマトグラム波形では、例えば元のクロマトグラム波形で立ち上がりや立ち下がりにおける単調増加又は単調減少しているスロープに他の成分が重なることで膨出しているピークのトップで大きな値を示す。そこで、元のクロマトグラム波形に加えて１次微分クロマトグラム波形、さらには２次微分クロマトグラム波形をそれぞれ画像化し、それらの画素値もニューラルネットワークの入力データとしてもよい。

【0056】

このように、元のクロマトグラム波形に由来する別の信号波形を求め、この信号波形を画像化した情報（別の画像の画素値）を、元のクロマトグラム波形に基づく画像の情報に加えてもよいが、元のクロマトグラム波形に由来する別の信号波形と元のクロマトグラム波形とを時間範囲を合わせて重ね合わせて１枚の画像を生成してもよい。この場合には、画像内の複数本の信号波形に対応する線で区切られる三以上の領域をそれぞれ異なる色で塗り分けるようにすればよい。

【0057】

また、一つの試料に対し１回の測定を行うことで得られたクロマトグラム波形ではなく、同じ試料に対し複数回の繰り返し測定を行うことで得られた複数のクロマトグラム波形を画像化し、これを学習して学習モデルを作成してもよい。また、目的成分を含む試料を実測することで得られたクロマトグラム波形と該目的成分を含む標準試料についてのクロマトグラム波形（つまりは標準的なクロマトグラム波形）とをそれぞれ画像化し、又はそれらを重ね合わせた画像を生成し、これを学習して学習モデルを作成してもよい。

【0058】

また、図１に示したＬＣシステム１においてＬＣ測定部１０の検出器が質量分析装置である場合、つまりＬＣ測定部１０が液体クロマトグラフ質量分析装置（ＬＣ－ＭＳ）である場合には、一つの試料に対して質量電荷比が相違する複数のクロマトグラムを取得することができる。一般に定量分析の場合には、目的成分を特徴付ける（通常は信号強度が最大になる）定量イオンの質量電荷比におけるクロマトグラムと、目的成分を特徴付ける、定量イオンとは異なる質量電荷比である一又は複数の確認イオンの質量電荷比におけるクロマトグラムとが取得される。これら複数のクロマトグラムにはいずれも一つの目的成分に対応するピークが現れるから、定量イオンのクロマトグラム波形と一又は複数の確認イオンのクロマトグラム波形のうちの二以上のクロマトグラム波形を重ね合わせて１枚の画像を生成して該画像の画素値をニューラルネットワークの入力データとしたり、それら複数のクロマトグラム波形から生成した複数の画像の画素値をニューラルネットワークの入力データとしたりしてもよい。

【0059】

また、上記実施例は本発明に係る波形解析装置をＬＣやＧＣであるクロマトグラフ装置により得られるクロマトグラム波形に適用してピーク検出を行う例であるが、本発明はクロマトグラフ装置以外の様々な分析装置で得られる信号波形の処理に利用することができる。例えば、質量分析装置で得られるマススペクトル、吸光分光光度計や蛍光分光光度計などの各種の分光分析装置で得られる光学スペクトル、イオン移動度分析装置で得られるイオン移動度スペクトル、Ｘ線分析装置で得られるＸ線スペクトルなどに現れるピークの検出にも本発明を適用できることは明らかである。

【0060】

また、上記実施例では、学習モデルを作成するためにディープラーニングの中のＳＳＤ法を用いていたが、本発明に利用可能なアルゴリズムはこれに限るものではない。また、既知のアルゴリズムに限るものでもなく、画像中の物体を検知する一般物体検知アルゴリズムであれば、現時点で既知のアルゴリズムでなくてもよい。また、ディープラーニングには包含されない機械学習の手法を利用しても構わない。

【0061】

さらにまた、上記記載以外の点について、本発明の趣旨の範囲で適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

【符号の説明】

【0062】

１…液体クロマトグラフ（ＬＣ）システム
１０…ＬＣ測定部
１１…データ解析部
１１０…データ収集部
１１１…ピーク検出処理部
１１２…画像生成部
１１３…ピーク位置推定部
１１４…学習済みモデル記憶部
１１５…ピーク決定部
１１６…定性・定量解析部
１２…操作部
１３…表示部
２…モデル作成部
２０…学習データ入力部
２１…画像生成部
２２…学習実行部
２３…モデル構築部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】