特表 2024-532893 ディープラーニングに基づく分析結果予測方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】ディープラーニングに基づく分析結果予測方法および装置

(51)【国際特許分類】

   G01N 33/50 20060101AFI20240903BHJP

   G06V 10/82 20220101ALI20240903BHJP

   G06V 10/766 20220101ALI20240903BHJP

   G01N 33/543 20060101ALI20240903BHJP

【ＦＩ】

G01N33/50 Z

G06V10/82

G06V10/766

G01N33/543 521

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024513279

(86)(22)【出願日】2022-02-10

(85)【翻訳文提出日】2024-04-04

(86)【国際出願番号】 KR2022002020

(87)【国際公開番号】W WO2023033270

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】10-2021-0117172

(32)【優先日】2021-09-02

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519110076

【氏名又は名称】クァンウン ユニバーシティー インダストリーアカデミック コラボレーション ファウンデーション

【氏名又は名称原語表記】ＫＷＡＮＧＷＯＯＮ ＵＮＩＶＥＲＳＩＴＹ ＩＮＤＵＳＴＲＹ－ＡＣＡＤＥＭＩＣ ＣＯＬＬＡＢＯＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ

【住所又は居所原語表記】２０， Ｇｗａｎｇｕｎ－ｒｏ，Ｎｏｗｏｎ－ｇｕ， Ｓｅｏｕｌ （ＫＲ）

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】イ ジョンフン

(72)【発明者】

【氏名】イ キベク

(72)【発明者】

【氏名】ユ ヨンキョン

(72)【発明者】

【氏名】イ スンミン

(72)【発明者】

【氏名】イ ハクジュン

(72)【発明者】

【氏名】ムン ジウォン

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045FA19

2G045FB03

2G045FB06

2G045FB15

2G045GC15

2G045JA01

5L096BA08

5L096CA04

5L096DA01

5L096DA02

5L096HA01

5L096HA11

5L096KA04

(57)【要約】

本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測方法および装置は、ディープラーニングに基づいて側方流動アッセイ（ｌａｔｅｒａｌ ｆｌｏｗ ａｓｓａｙ、ＬＦＡ）などのような免疫反応分析基盤キット、抗原－抗体基盤診断キットなどの分析結果を予測することによって、結果を確認することができる時間を短縮することができる。

【特許請求の範囲】

【請求項1】

検体から獲得されたサンプルおよび光学基盤キットの相互反応に対する予め設定された初期期間の反応イメージを獲得する段階と、
予め学習されて構築された分析結果予測モデルを利用して、前記予め設定された初期期間に対する前記反応イメージに基づいて予め設定された結果時間に対する濃度を予測する段階と
を含む、ディープラーニングに基づく分析結果予測方法。

【請求項2】

前記反応イメージ獲得段階は、
前記予め設定された初期期間の間に予め設定された時間単位で複数の前記反応イメージを獲得することからなる、請求項１に記載のディープラーニングに基づく分析結果予測方法。

【請求項3】

前記分析結果予測モデルは、
畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、長・短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ、ＬＳＴＭ）および敵対的生成ニューラルネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ、ＧＡＮ）を含み、入力される反応イメージに基づいて予め設定された結果時間に対応する予測イメージを生成し、生成した前記予測イメージを出力するイメージ生成器と、
前記畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記イメージ生成器によって生成された前記予測イメージに基づいて予め設定された結果時間に対する予測濃度を出力する回帰モデルと
を含み、
前記回帰モデルは、
学習データの反応イメージに基づいて獲得した予め設定された結果時間に対する予測濃度と前記学習データの予め設定された結果時間に対する実際濃度との差が最小化されるように前記学習データを利用して学習される、請求項２に記載のディープラーニングに基づく分析結果予測方法。

【請求項4】

前記イメージ生成器は、
入力される反応イメージで前記畳み込みニューラルネットワーク（ＣＮＮ）を利用して特徴ベクトルを獲得し、獲得した前記特徴ベクトルに基づいて前記長・短期記憶（ＬＳＴＭ）を利用して潜在ベクトル（ｌａｔｅｎｔ ｖｅｃｔｏｒ）を獲得し、獲得した前記潜在ベクトルを出力するエンコーダ（ｅｎｃｏｄｅｒ）と、
前記エンコーダによって獲得された前記潜在ベクトルに基づいて前記敵対的生成ニューラルネットワーク（ＧＡＮ）を利用して前記予測イメージを生成し、生成した前記予測イメージを出力するデコーダ（ｄｅｃｏｄｅｒ）と
を含む、請求項３に記載のディープラーニングに基づく分析結果予測方法。

【請求項5】

前記デコーダは、
前記潜在ベクトルに基づいて前記予測イメージを生成し、生成した前記予測イメージを出力する生成器（ｇｅｎｅｒａｔｏｒ）と、
前記生成器によって生成された前記予測イメージと前記学習データの予め設定された結果時間に対応する実際イメージを比較し、比較結果を出力する判別器（ｄｉｓｃｒｉｍｉｎａｔｏｒ）と
を含み、
前記潜在ベクトルに基づいて獲得した前記予測イメージが前記実際イメージであることに判別されるように前記学習データを利用して学習される、請求項４に記載のディープラーニングに基づく分析結果予測方法。

【請求項6】

前記反応イメージ獲得段階は、
前記光学基盤キットがテスト－ライン（ｔｅｓｔ－ｌｉｎｅ）およびコントロール－ライン（ｃｏｎｔｒｏｌ－ｌｉｎｅ）を含む場合、前記テスト－ラインに対応する領域の前記反応イメージを獲得することからなる、請求項１に記載のディープラーニングに基づく分析結果予測方法。

【請求項7】

前記反応イメージ獲得段階は、
前記光学基盤キットが複数の前記テスト－ラインを含む場合、複数の前記テスト－ラインのうち予め設定された一つ以上の前記テスト－ラインに対応する領域の前記反応イメージを獲得することからなる、請求項６に記載のディープラーニングに基づく分析結果予測方法。

【請求項8】

前記反応イメージ獲得段階は、
複数の前記テスト－ラインのうち予め設定された一つ以上の前記テスト－ラインに対応する領域を全部含む前記反応イメージを獲得するか、または
複数の前記テスト－ラインのうち予め設定された一つ以上の前記テスト－ラインに対応する領域を前記テスト－ライン別に区分されるように前記テスト－ライン別前記反応イメージを獲得することからなる、請求項７に記載のディープラーニングに基づく分析結果予測方法。

【請求項9】

請求項１～８の何れか一項に記載されたディープラーニングに基づく分析結果予測方法をコンピュータで実行させるためにコンピュータ判読可能な記録媒体に格納されたコンピュータプログラム。

【請求項10】

ディープラーニングに基づいて分析結果を予測するディープラーニングに基づく分析結果予測装置であって、
分析結果を予測するための一つ以上のプログラムを格納するメモリと、
前記メモリに格納された前記一つ以上のプログラムによって分析結果を予測するための動作を実行する一つ以上のプロセッサと
を含み、
前記プロセッサは、
予め学習されて構築された分析結果予測モデルを利用して、検体から獲得されたサンプルおよび光学基盤キットの相互反応に対する予め設定された初期期間の反応イメージに基づいて予め設定された結果時間に対する濃度を予測する、ディープラーニングに基づく分析結果予測装置。

【請求項11】

前記プロセッサは、
前記予め設定された初期期間の間に予め設定された時間単位で複数の前記反応イメージを獲得する、請求項１０に記載のディープラーニングに基づく分析結果予測装置。

【請求項12】

前記分析結果予測モデルは、
畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、長・短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ、ＬＳＴＭ）および敵対的生成ニューラルネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ、ＧＡＮ）を含み、入力される反応イメージに基づいて予め設定された結果時間に対応する予測イメージを生成し、生成した前記予測イメージを出力するイメージ生成器と、
前記畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記イメージ生成器によって生成された前記予測イメージに基づいて予め設定された結果時間に対する予測濃度を出力する回帰モデルと
を含み、
前記回帰モデルは、
学習データの反応イメージに基づいて獲得した予め設定された結果時間に対する予測濃度と前記学習データの予め設定された結果時間に対する実際濃度との差が最小化されるように前記学習データを利用して学習される、請求項１１に記載のディープラーニングに基づく分析結果予測装置。

【請求項13】

前記イメージ生成器は、
入力される反応イメージで前記畳み込みニューラルネットワーク（ＣＮＮ）を利用して特徴ベクトルを獲得し、獲得した前記特徴ベクトルに基づいて前記長・短期記憶（ＬＳＴＭ）を利用して潜在ベクトル（ｌａｔｅｎｔ ｖｅｃｔｏｒ）を獲得し、獲得した前記潜在ベクトルを出力するエンコーダ（ｅｎｃｏｄｅｒ）と、
前記エンコーダによって獲得された前記潜在ベクトルに基づいて前記敵対的生成ニューラルネットワーク（ＧＡＮ）を利用して前記予測イメージを生成し、生成した前記予測イメージを出力するデコーダ（ｄｅｃｏｄｅｒ）と
を含む、請求項１２に記載のディープラーニングに基づく分析結果予測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディープラーニングに基づく分析結果予測方法および装置に関し、より詳しくは、ディープラーニングに基づいて分析結果を予測する、方法および装置に関する。

【背景技術】

【0002】

検体からサンプルを採取し、採取したサンプルを利用する側方流動アッセイ（ｌａｔｅｒａｌ ｆｌｏｗ ａｓｓａｙ、ＬＦＡ）反応による診断検査は、その時間（１０分～３０分）が長くかかる。側方流動アッセイは、サンプルの濃度と反応時間によって異なる様相を示し、側方流動アッセイ（ｌａｔｅｒａｌ ｆｌｏｗ ａｓｓａｙ、ＬＦＡ）反応による診断検査は、約１５分が経って反応が充分に行われた時にその判断が可能になる。しかしながら、心筋梗塞などの特定疾病の場合、１０分以内に結果を要求する場合が頻繁であり、最近に、病院および患者の立場で５分以内に早く診断しようとするニーズが大きく増大している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が達しようとする目的は、ディープラーニングに基づいて側方流動アッセイ（ｌａｔｅｒａｌ ｆｌｏｗ ａｓｓａｙ、ＬＦＡ）などのような免疫反応分析基盤キット、抗原－抗体基盤診断キットなどの分析結果を予測する、ディープラーニングに基づく分析結果予測方法および装置を提供することにある。

【0004】

本発明の明示されなかったまた他の目的は、下記の詳細な説明およびその効果から容易に推論できる範囲内で追加的に考慮されることができる。

【課題を解決するための手段】

【0005】

前記の目的を達するための本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測方法は、検体から獲得されたサンプルおよび光学基盤キットの相互反応に対する予め設定された初期期間の反応イメージを獲得する段階と、予め学習されて構築された分析結果予測モデルを利用して、前記予め設定された初期期間に対する前記反応イメージに基づいて、予め設定された結果時間に対する濃度を予測する段階と、を含む。

【0006】

ここで、前記反応イメージ獲得段階は、前記予め設定された初期期間の間に予め設定された時間単位で複数の前記反応イメージを獲得することからなってもよい。

【0007】

ここで、前記分析結果予測モデルは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、長・短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ、ＬＳＴＭ）および敵対的生成ニューラルネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ、ＧＡＮ）を含み、入力される反応イメージに基づいて予め設定された結果時間に対応する予測イメージを生成し、生成された前記予測イメージを出力するイメージ生成器と、前記畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記イメージ生成器によって生成された前記予測イメージに基づいて予め設定された結果時間に対する予測濃度を出力する回帰モデルとを含み、前記回帰モデルは、学習データの反応イメージに基づいて獲得した予め設定された結果時間に対する予測濃度と前記学習データの予め設定された結果時間に対する実際濃度との差が最小化されるように、前記学習データを利用して学習されることができる。

【0008】

ここで、前記イメージ生成器は、入力される反応イメージで前記畳み込みニューラルネットワーク（ＣＮＮ）を利用して特徴ベクトルを獲得し、獲得した前記特徴ベクトルに基づいて前記長・短期記憶（ＬＳＴＭ）を利用して潜在ベクトル（ｌａｔｅｎｔ ｖｅｃｔｏｒ）を獲得し、獲得した前記潜在ベクトルを出力するエンコーダ（ｅｎｃｏｄｅｒ）と、前記エンコーダを通じて獲得された前記潜在ベクトルに基づいて前記敵対的生成ニューラルネットワーク（ＧＡＮ）を利用して前記予測イメージを生成し、生成した前記予測イメージを出力するデコーダ（ｄｅｃｏｄｅｒ）とを含んでもよい。

【0009】

ここで、前記デコーダは、前記潜在ベクトルに基づいて前記予測イメージを生成し、生成した前記予測イメージを出力する生成器（ｇｅｎｅｒａｔｏｒ）と、前記生成器によって生成された前記予測イメージと前記学習データの予め設定された結果時間に対応する実際イメージを比較し、比較結果を出力する判別器（ｄｉｓｃｒｉｍｉｎａｔｏｒ）とを含み、前記潜在ベクトルに基づいて獲得した前記予測イメージが前記実際イメージであることに判別されるように、前記学習データを利用して学習されることができる。

【0010】

ここで、前記反応イメージ獲得段階は、前記光学基盤キットがテスト－ライン（ｔｅｓｔ－ｌｉｎｅ）およびコントロール－ライン（ｃｏｎｔｒｏｌ－ｌｉｎｅ）を含む場合、前記テスト－ラインに対応する領域の前記反応イメージを獲得することからなってもよい。

【0011】

ここで、前記反応イメージ獲得段階は、前記光学基盤キットが複数の前記テスト－ラインを含む場合、複数の前記テスト－ラインのうち予め設定された一つ以上の前記テスト－ラインに対応する領域の前記反応イメージを獲得することからなってもよい。

【0012】

ここで、前記反応イメージ獲得段階は、複数の前記テスト－ラインのうち予め設定された一つ以上の前記テスト－ラインに対応する領域を全部含む前記反応イメージを獲得するか、または複数の前記テスト－ラインのうち予め設定された一つ以上の前記テスト－ラインに対応する領域を前記テスト－ライン別に区分されるように前記テスト－ライン別前記反応イメージを獲得することからなってもよい。

【0013】

前記の技術的課題を達するための本発明の好ましい実施形態によるコンピュータプログラムは、コンピュータ判読可能な記録媒体に格納されて、前記したディープラーニングに基づく分析結果予測方法のいずれか一つをコンピュータで実行させる。

【0014】

前記の目的を達成するための本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測装置は、ディープラーニングに基づいて分析結果を予測するディープラーニングに基づく分析結果予測装置であって、分析結果を予測するための一つ以上のプログラムを格納するメモリと、前記メモリに格納された前記一つ以上のプログラムによって分析結果を予測するための動作を実行する一つ以上のプロセッサとを含み、前記プロセッサは、予め学習されて構築された分析結果予測モデルを利用して、検体から獲得されたサンプルおよび光学基盤キットの相互反応に対する予め設定された初期期間の反応イメージに基づいて予め設定された結果時間に対する濃度を予測する。

【0015】

ここで、前記プロセッサは、前記予め設定された初期期間の間に予め設定された時間単位で複数の前記反応イメージを獲得することができる。

【0016】

ここで、前記分析結果予測モデルは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、長・短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ、ＬＳＴＭ）および敵対的生成ニューラルネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ、ＧＡＮ）を含み、入力される反応イメージに基づいて予め設定された結果時間に対応する予測イメージを生成し、生成した前記予測イメージを出力するイメージ生成器と、前記畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記イメージ生成器によって生成された前記予測イメージに基づいて予め設定された結果時間に対する予測濃度を出力する回帰モデルとを含み、前記回帰モデルは、学習データの反応イメージに基づいて獲得した予め設定された結果時間に対する予測濃度と前記学習データの予め設定された結果時間に対する実際濃度との差が最小化されるように、前記学習データを利用して学習されることができる。

【0017】

ここで、前記イメージ生成器は、入力される反応イメージで前記畳み込みニューラルネットワーク（ＣＮＮ）を利用して特徴ベクトルを獲得し、獲得した前記特徴ベクトルに基づいて前記長・短期記憶（ＬＳＴＭ）を利用して潜在ベクトル（ｌａｔｅｎｔ ｖｅｃｔｏｒ）を獲得し、獲得した前記潜在ベクトルを出力するエンコーダ（ｅｎｃｏｄｅｒ）と、前記エンコーダを通じて獲得された前記潜在ベクトルに基づいて前記敵対的生成ニューラルネットワーク（ＧＡＮ）を利用して前記予測イメージを生成し、生成した前記予測イメージを出力するデコーダ（ｄｅｃｏｄｅｒ）とを含んでもよい。

【発明の効果】

【0018】

本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測方法および装置によれば、ディープラーニングに基づいて側方流動アッセイ（ｌａｔｅｒａｌ ｆｌｏｗ ａｓｓａｙ、ＬＦＡ）などのような免疫反応分析基盤キット、抗原－抗体基盤診断キットなどの分析結果を予測することによって、結果を確認することができる時間を短縮することができる。

【0019】

本発明の効果は以上で言及した効果に制限されず、言及されなかったまた他の効果は、以下の記載から通常の技術者に明確に理解され得るはずである。

【図面の簡単な説明】

【0020】

【図1】本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測装置を説明するためのブロック図である。

【図2】本発明の好ましい実施形態による分析結果を予測する過程を説明するための図面である。

【図3】本発明の好ましい実施形態による反応イメージに基づいて時間による色強度の変化を予測する過程を説明するための図面である。

【図4】本発明の好ましい実施形態による初期期間に対する反応イメージに基づいて結果時間に対する濃度を予測する過程を説明するための図面である。

【図5】本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測方法を説明する流れ図である。

【図6】本発明の好ましい実施形態による分析結果予測モデルの構造の一例を説明するための図面である。

【図7】図６に示した分析結果予測モデルの具現一例を説明するための図面である。

【図8】本発明の好ましい実施形態による分析結果予測モデルの構造の他の例を説明するための図面である。

【図9】本発明の好ましい実施形態による分析結果予測モデルの学習過程に利用される学習データを説明するための図面である。

【図10】図９に示した学習データの構成を説明するための図面である。

【図11】図１０に示した反応イメージの一例を説明するための図面である。

【図12】本発明の好ましい実施形態による反応イメージの前処理過程の一例を説明するための図面である。

【発明を実施するための形態】

【0021】

以下、添付された図面を参照して本発明の実施形態について詳しく説明する。本発明の利点および特徴、そしてそれらを達する方法は添付される図面と共に詳細に後述されている実施形態を参照することにより明確になり得る。しかしながら、本発明は以下で掲示される実施形態に限定されず、互いに異なる多様な形態に具現されてもよい。ただ、本実施形態は本発明の掲示が完全になるようにし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にかけて同じ参照符号は同じ構成要素を指称する。

【0022】

他に定義されない限り、本明細書で使用される技術的／科学的用語を含む全ての用語は、本発明が属する技術分野における当業者によって共通的に理解され得る意味に用いられてもよい。また、一般的に用いられる辞書に定義されている用語は、明らかに特別に定義されない限り、理想的または過度に解釈されてはならない。

【0023】

本明細書において、「第１」、「第２」などの用語は一つの構成要素を他の構成要素から区別するためのもので、これら用語によって権利範囲が限定されてはならない。例えば、第１構成要素は第２構成要素に命名され得、同様に、第２構成要素も第１構成要素に命名され得る。

【0024】

本明細書において、各段階で、識別符号（例えば、ａ、ｂ、ｃなど）は、説明の便宜のために用いられるものであり、識別符号は各段階の順序を説明するのではなく、各段階は文脈上明白に特定の順序を記載しない限り、明記された順序と異なるように発生し得る。すなわち、各段階は明記された順序と同一に実施してもよく、実質的に同時に実施されてもよく、逆順に実施されてもよい。

【0025】

本明細書において、「有する」、「有してもよい」、「含む」または「含んでもよい」などの表現は、当該特徴（例えば、数値、機能、動作、または部品などの構成要素）の存在を示し、追加的な特徴の存在を排除しない。

【0026】

以下、添付図面を参照して本発明に係るディープラーニングに基づく分析結果予測方法および装置の好ましい実施形態について詳細に説明する。

【0027】

まず、図１～図４を参照して本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測装置について説明する。

【0028】

図１は、本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測装置を説明するためのブロック図であり、図２は、本発明の好ましい実施形態による分析結果を予測する過程を説明するための図面であり、図３は、本発明の好ましい実施形態による反応イメージに基づいて時間による色強度の変化を予測する過程を説明するための図面であり、図４は、本発明の好ましい実施形態による初期期間に対する反応イメージに基づいて結果時間に対する濃度を予測する過程を説明するための図面である。

【0029】

図１を参照すると、本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測装置（以下「分析結果予測装置」と言う）１００は、ディープラーニングに基づいて側方流動アッセイ（ｌａｔｅｒａｌ ｆｌｏｗ ａｓｓａｙ、ＬＦＡ）などのような免疫反応分析基盤キット、抗原－抗体基盤診断キットなどの分析結果を予測する。

【0030】

一方、本発明に係るディープラーニングに基づいて分析結果を予測する動作は、色強度（ｃｏｌｏｒ ｉｎｔｅｎｓｉｔｙ）に基づいて結果を導出する側方流動アッセイだけでなく、蛍光強度（ｆｌｕｏｒｅｓｃｅｎｃｅ ｉｎｔｅｎｓｉｔｙ）に基づいて結果を導出する他の分析にも適用され得る。ただ、本発明の説明の便宜のために、本発明が側方流動アッセイ結果を予測することに仮定して以下で説明する。

【0031】

このために、分析結果予測装置１００は、一つ以上のプロセッサ１１０、コンピュータ判読可能な記録媒体１３０、および通信バス１５０を含んでもよい。

【0032】

プロセッサ１１０は、分析結果予測装置１００が動作するように制御することができる。例えば、プロセッサ１１０は、コンピュータ判読可能な記録媒体１３０に格納された一つ以上のプログラム１３１を実行することができる。一つ以上のプログラム１３１は、一つ以上のコンピュータ実行可能命令を含んでもよく、コンピュータ実行可能命令は、プロセッサ１１０によって実行される場合、分析結果予測装置１００が分析（例えば、側方流動アッセイなど）の結果を予測するための動作を実行するように構成されてもよい。

【0033】

コンピュータ判読可能な記録媒体１３０は、分析（例えば、側方流動アッセイなど）の結果を予測するためのコンピュータ実行可能命令乃至プログラムコード、プログラムデータおよび／または他の適合する形態の情報を格納するように構成される。コンピュータ判読可能な記録媒体１３０に格納されたプログラム１３１は、プロセッサ１１０によって実行可能な命令語の集合を含む。一実施形態において、コンピュータ判読可能な記録媒体１３０は、メモリ（ランダムアクセスメモリのような揮発性メモリ、非揮発性メモリ、またはこれらの適切な組合）、一つ以上の磁気ディスク格納デバイス、光学ディスク格納デバイス、フラッシュメモリデバイス、その他分析結果予測装置１００によってアクセスされ、所望の情報を格納できる他の形態の格納媒体、またはこれらの適切な組合せであってもよい。

【0034】

通信バス１５０は、プロセッサ１１０、コンピュータ判読可能な記録媒体１３０を含んで、分析結果予測装置１００の他の多様なコンポーネントを相互連結する。

【0035】

分析結果予測装置１００は、また、一つ以上の入出力装置のためのインターフェースを提供する一つ以上の入出力インターフェース１７０、および一つ以上の通信インターフェース１９０を含んでもよい。入出力インターフェース１７０および通信インターフェース１９０は、通信バス１５０に連結される。入出力装置（図示せず）は、入出力インターフェース１７０を介して分析結果予測装置１００の他のコンポーネントに連結されてもよい。

【0036】

図２を参照すると、分析結果予測装置１００のプロセッサ１１０は、予め学習されて構築された分析結果予測モデルを利用して、検体から獲得されたサンプルおよび光学基盤キット（例えば、側方流動アッセイキットなどのような免疫反応分析基盤キット、ＬＳＰＲ、ＳＰＲ、蛍光基盤（ｆｌｕｏｒｅｓｃｅｎｃｅ ｂａｓｅｄ）アッセイなどのような抗原－抗体基盤診断キットなど）の相互反応に対する予め設定された初期期間の反応イメージに基づいて予め設定された結果時間に対する濃度を予測する。

【0037】

ここで、予め設定された初期期間および予め設定された結果時間は、光学基盤キットの種類や類型などによって異なり得、特に予め設定された結果時間はサンプルに対する最終結果を確認できる時間を言う。例えば、予め設定された結果時間は、「１５分」に設定されてもよく、予め設定された初期期間は、「０分～５分」に設定されてもよい。

【0038】

この際、プロセッサ１１０は、予め設定された初期期間の間に予め設定された時間単位で複数の反応イメージを獲得することができる。例えば、予め設定された初期期間が「０分～５分」で、予め設定された時間単位が「１０秒」の場合、プロセッサ１１０は「６×５＝３０個」の反応イメージを獲得することができる。

【0039】

そして、分析結果予測モデルは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、長・短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ、ＬＳＴＭ）および敵対的生成ニューラルネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ、ＧＡＮ）を含み、詳しい内容は以下で説明する。

【0040】

すなわち、図３に示したように、１個のテスト－ライン（ｔｅｓｔ－ｌｉｎｅ）と１個のコントロール－ライン（ｃｏｎｔｒｏｌ－ｌｉｎｅ）を含む光学基盤キットおよびサンプルの特定時点の相互反応に対する反応イメージによって時間による色強度（ｃｏｌｏｒ ｉｎｔｅｎｓｉｔｙ）の変化を予測することができる。これによって、図４に示したように、予め設定された初期期間に対する反応イメージによって予め設定された結果時間（例えば、１５分）に対する濃度を予測することができる。

【0041】

それでは、図５を参照して本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測方法について説明する。

【0042】

図５は、本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測方法を説明する流れ図である。

【0043】

図５を参照すると、分析結果予測装置１００のプロセッサ１１０は、検体から獲得されたサンプルおよび光学基盤キットの相互反応に対する予め設定された初期期間の反応イメージを獲得する（Ｓ１１０）。

【0044】

この際、プロセッサ１１０は、予め設定された初期期間の間に予め設定された時間単位で複数の反応イメージを獲得することができる。

【0045】

そして、プロセッサ１１０は、反応イメージを分析結果予測モデルに入力する前に反応イメージの前処理過程を実行してもよい。

【0046】

すなわち、光学基盤キットがテスト－ラインおよびコントロール－ラインを含む場合、プロセッサ１１０はテスト－ラインに対応する領域の反応イメージを獲得することができる。ここで、領域の大きさは、「２００×４１２ｓｉｚｅ」などのように予め設定されてもよい。

【0047】

一方、光学基盤キットが複数のテスト－ラインを含む場合、プロセッサ１１０は、複数のテスト－ラインのうち予め設定された一つ以上のテスト－ラインに対応する領域の反応イメージを獲得することができる。

【0048】

この際、プロセッサ１００は、複数のテスト－ラインのうち予め設定された一つ以上のテスト－ラインに対応する領域を全部含む反応イメージを獲得するか、または複数のテスト－ラインのうち予め設定された一つ以上のテスト－ラインに対応する領域をテスト－ライン別に区分されるようにテスト－ライン別反応イメージを獲得することができる。

【0049】

その後、プロセッサ１１０は、予め学習されて構築された分析結果予測モデルを利用して、予め設定された初期期間に対する反応イメージに基づいて予め設定された結果時間に対する濃度を予測する（Ｓ１３０）。

【0050】

それでは、図６～図８を参照して本発明の好ましい実施形態による分析結果予測モデルの構造について説明する。

【0051】

図６は、本発明の好ましい実施形態による分析結果予測モデルの構造の一例を説明するための図面であり、図７は、図６に示した分析結果予測モデルの具現一例を説明するための図面である。

【0052】

図６を参照すると、本発明に係る分析結果予測モデルの一例は、イメージ生成器（ｉｍａｇｅ ｇｅｎｅｒａｔｏｒ）および回帰モデル（ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ）を含んでもよい。

【0053】

イメージ生成器は、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）および敵対的生成ニューラルネットワーク（ＧＡＮ）を含み、入力される複数の反応イメージに基づいて予め設定された結果時間に対応する予測イメージを生成し、生成した予測イメージを出力することができる。

【0054】

このために、イメージ生成器は、エンコーダ（ｅｎｃｏｄｅｒ）およびデコーダ（ｄｅｃｏｄｅｒ）を含んでもよい。

【0055】

エンコーダは、入力される複数の反応イメージそれぞれで畳み込みニューラルネットワーク（ＣＮＮ）を利用して特徴ベクトルを獲得し、獲得した複数の特徴ベクトルに基づいて長・短期記憶（ＬＳＴＭ）を利用して潜在ベクトル（ｌａｔｅｎｔ ｖｅｃｔｏｒ）を獲得し、獲得した潜在ベクトルを出力することができる。すなわち、エンコーダは、複数の特徴ベクトルから濃度、色強度（ｃｏｌｏｒ ｉｎｔｅｎｓｉｔｙ）の変化量および時間との関係を演算して潜在ベクトルを生成することができる。

【0056】

デコーダは、エンコーダにより獲得された潜在ベクトルに基づいて敵対的生成ニューラルネットワーク（ＧＡＮ）を利用して予測イメージを生成し、生成した予測イメージを出力することができる。

【0057】

すなわち、デコーダは、潜在ベクトルに基づいて予測イメージを生成し、生成した予測イメージを出力する生成器（ｇｅｎｅｒａｔｏｒ）、および生成器によって生成された予測イメージと学習データの予め設定された結果時間に対応する実際イメージを比較し、比較結果を出力する判別器（ｄｉｓｃｒｉｍｉｎａｔｏｒ）を含んでもよい。

【0058】

この際、デコーダは、潜在ベクトルに基づいて獲得した予測イメージが実際イメージであることに判別されるように学習データを利用して学習されることができる。

【0059】

回帰モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含み、イメージ生成器によって生成された予測イメージに基づいて予め設定された結果時間に対する予測濃度を出力することができる。すなわち、回帰モデルは、予測イメージの特徴ベクトルを獲得し、獲得した特徴ベクトルを２個の線形層（ｌｉｎｅａｒ ｌａｙｅｒ）を経て予測濃度を獲得することができる。

【0060】

この際、回帰モデルは、学習データの反応イメージに基づいて獲得した予め設定された結果時間に対する予測濃度と学習データの予め設定された結果時間に対する実際濃度との差が最小化されるように学習データを利用して学習されることができる。

【0061】

一方、判別器は、分析結果予測モデルの学習過程に必要なモジュールとして、判別器は学習が完了された後に分析結果予測モデルで除去されてもよい。

【0062】

例えば、図７に示したように、初期期間（１０秒～２００秒）の間に、１０秒単位で獲得された複数の反応イメージ（図７のイメージ１～イメージｋ）が分析結果予測モデルに入力されると、分析結果予測モデルは、複数の反応イメージ（図７のイメージ１～イメージｋ）それぞれで畳み込みニューラルネットワーク（ＣＮＮ）である「ＲｅｓＮｅｔ－１８」を利用して特徴ベクトル（図７の Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ＿１～Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ＿ｋ）を獲得することができる。その後、分析結果予測モデルは、獲得した複数の特徴ベクトル（図７のＦｅａｔｕｒｅ Ｖｅｃｔｏｒ＿１～Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ＿ｋ）それぞれを対応する長・短期記憶（ＬＳＴＭ）に入力することができる。

【0063】

その後、分析結果予測モデルは、長・短期記憶（ＬＳＴＭ）から出力される潜在ベクトルを敵対的生成ニューラルネットワーク（ＧＡＮ）である 「ＳＲＧＡＮ」の生成器に入力することができる。それで、分析結果予測モデルは、潜在ベクトルに基づいて結果時間（１５分）に対応する予測イメージを生成することができる。その後、分析結果予測モデルは、生成した予測イメージを畳み込みニューラルネットワーク（ＣＮＮ）である「ＲｅｓＮｅｔ」と「ＳＲＧＡＮ」の判別器に入力することができる。ここで、判別器は、予測イメージと結果時間（１５分）に対応する実際イメージを比較し、比較結果を生成器に提供することができる。

【0064】

それで、分析結果予測モデルは、予測イメージに基づいて結果時間（１５分）に対する予測濃度を出力することができる。

【0065】

ここで、分析結果予測モデルは、２個の損失（ｌｏｓｓ）を最小化するように学習データを利用して学習されることができる。一番目の損失（図７のＬｏｓｓ＃１）は、潜在ベクトルに基づいて獲得した予測イメージが実際イメージであることに判別されるようにすることである。二番目の損失（図７のＬｏｓｓ＃２）は、結果時間（１５分）に対する予測濃度と結果時間（１５分）に対する実際濃度との差が最小化されるようにすることである。

【0066】

図８は、本発明の好ましい実施形態による分析結果予測モデルの構造の他の例を説明するための図面である。

【0067】

図８を参照すると、本発明に係る分析結果予測モデルの他の例は、前記で説明した分析結果予測モデルの一例（図６参照）と実質的に同一であり、分析結果予測モデルの一例（図６参照）でイメージを生成する過程を省略したモデルであってもよい。

【0068】

すなわち、分析結果予測モデルの他の例は、分析結果予測モデルの一例（図６参照）でデコーダを削除して、エンコーダおよび回帰モデルを含んでもよい。

【0069】

エンコーダは、畳み込みニューラルネットワーク（ＣＮＮ）および長・短期記憶（ＬＳＴＭ）を含み、入力される複数の反応イメージに基づいて潜在ベクトルを生成し、生成した潜在ベクトルを出力することができる。さらに説明すると、エンコーダは入力される複数の反応イメージそれぞれで畳み込みニューラルネットワーク（ＣＮＮ）を利用して特徴ベクトルを獲得し、獲得した複数の特徴ベクトルに基づいて長・短期記憶（ＬＳＴＭ）を利用して潜在ベクトルを獲得し、獲得した潜在ベクトルを出力することができる。

【0070】

回帰モデルは、神経網（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＮＮ）を含み、エンコーダを介して獲得された潜在ベクトルに基づいて予め設定された結果時間に対する予測濃度を出力することができる。この際、回帰モデルは、学習データの反応イメージに基づいて獲得した予め設定された結果時間に対する予測濃度と学習データの予め設定された結果時間に対する実際濃度との差が最小化されるように学習データを利用して学習されることができる。

【0071】

それでは、図９～図１２を参照して本発明の好ましい実施形態による分析結果予測モデルの学習過程に利用される学習データについて説明する。

【0072】

図９は、本発明の好ましい実施形態による分析結果予測モデルの学習過程に利用される学習データを説明するための図面であり、図１０は、図９に示した学習データの構成を説明するための図面であり、図１１は、図１０に示した反応イメージの一例を説明するための図面であり、図１２は、本発明の好ましい実施形態による反応イメージの前処理過程の一例を説明するための図面である。

【0073】

本発明に係る分析結果予測モデルの学習過程に利用される学習データは、図９に示したように、複数からなってもよい。

【0074】

すなわち、それぞれの学習データは、図１０に示したように、時間によるすべての反応イメージ（図１０の反応イメージ１～反応イメージｎ）と時間によるすべての実際濃度（図１０の実際濃度１～実際濃度ｎ）を含んでもよい。ここで、図１０に示した「反応イメージ１～反応イメージｋ」は、初期期間の反応イメージを示す。例えば、反応イメージは、図１１に示したように、反応開始時間（０分）から結果時間（１５分）まで１０秒単位に獲得されることができる。

【0075】

この際、時間によるすべての反応イメージ（図１０の反応イメージ１～反応イメージｎ）と時間によるすべての実際濃度（図１０の実際濃度１～実際濃度ｎ）の中で一部は訓練データとして利用し、残りはテストデータと検証データとして利用してもよい。例えば、奇数番目反応イメージと実際濃度は、訓練データとして分析結果予測モデルを学習するのに利用し得る。そして、偶数番目反応イメージと実際濃度は、テストデータと検証データとして、分析結果予測モデルのテストと検証をするのに利用し得る。

【0076】

そして、反応イメージを分析結果予測モデルに入力する前に反応イメージの前処理過程を実行してもよい。例えば、図１２に示したように、全体イメージでテスト－ラインに対応する領域の反応イメージを獲得することができる。

【0077】

それでは、本発明の好ましい実施形態によるディープラーニングに基づく分析結果予測装置１００の具現一例について説明する。

【0078】

まず、検体から獲得されたサンプルおよび光学基盤キット（例えば、側方流動アッセイキットなど）の相互反応に対する初期期間（例えば、「０分～５分」など）の反応イメージを撮影デバイス（図示せず）を通じて獲得する。この際、カメラは予め設定された時間単位（例えば、「１０秒」など）で撮影して、複数の反応イメージを獲得することができる。もちろん、カメラは初期期間動画を撮影し、撮影した動画で予め設定された時間単位でイメージフレームを抽出して、複数の反応イメージを獲得することもできる。

【0079】

その後、カメラは、無線／有線通信を介して直接または外部のサーバーを経て本発明に係る分析結果予測装置１００に反応イメージを提供する。もちろん、本発明に係る分析結果予測装置１００が撮影モジュールを含む場合には、反応イメージを直接獲得することもできる。

【0080】

それで、本発明に係る分析結果予測装置１００は、既格納されている分析結果予測モデルを利用して初期期間の反応イメージに基づいて結果時間（例えば、「１５分」など）に対する濃度を予測し、その結果を出力することができる。もちろん、本発明に係る分析結果予測装置１００は、分析結果予測モデルが格納されている外部のサーバーに無線／有線通信を介して初期期間の反応イメージを提供し、結果時間に対する予測濃度を外部のサーバーから提供されてその結果を出力することもできる。

【0081】

本実施形態による動作は、多様なコンピュータ手段を介して実行され得るプログラム命令形態で具現されて、コンピュータ判読可能な記録媒体に記録されることができる。コンピュータ判読可能な記録媒体は、実行のためにプロセッサに命令語を提供するのに参加した任意の媒体を示す。コンピュータ判読可能な記録媒体は、プログラム命令、データファイル、データ構造またはこれらの組合を含んでもよい。例えば、磁気媒体、光記録媒体、メモリなどがあり得る。コンピュータプログラムはネットワークで連結されたコンピュータシステム上に分散されて、分散方式でコンピュータが判読可能なコードが格納されて実行されることもできる。本実施形態を具現するための機能的な（Ｆｕｎｃｔｉｏｎａｌ）プログラム、コード、およびコードセグメントは、本実施形態が属する技術分野におけるプログラマーによって容易に推論され得るはずである。

【0082】

本実施形態は、本実施形態の技術的思想を説明するためのものであって、このような実施形態によって本実施形態の技術的思想の範囲が限定されるものではない。本実施形態の保護範囲は添付の請求範囲によって解釈されるべきであり、それと同等な範囲内にあるすべての技術的思想は本実施形態の権利範囲に含まれることに解釈されるべきである。

【符号の説明】

【0083】

１００ ・・・分析結果予測装置
１１０ ・・・プロセッサ
１３０ ・・・コンピュータ判読可能な記録媒体
１３１ ・・・プログラム
１５０ ・・・通信バス
１７０ ・・・入出力インターフェース
１９０ ・・・通信インターフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】