(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-30
(54)【発明の名称】ディープラーニングに基づいて連続的な身体状態を計測する方法、コンピュータプログラム及び装置
(51)【国際特許分類】
G16H 50/20 20180101AFI20240920BHJP
A61B 5/349 20210101ALI20240920BHJP
A61B 5/00 20060101ALI20240920BHJP
G06N 3/045 20230101ALI20240920BHJP
G06N 3/0895 20230101ALI20240920BHJP
【FI】
G16H50/20
A61B5/349
A61B5/00 G
G06N3/045
G06N3/0895
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024516342
(86)(22)【出願日】2022-09-21
(85)【翻訳文提出日】2024-03-12
(86)【国際出願番号】 KR2022014109
(87)【国際公開番号】W WO2023048463
(87)【国際公開日】2023-03-30
(31)【優先権主張番号】10-2021-0126782
(32)【優先日】2021-09-25
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0118514
(32)【優先日】2022-09-20
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】523010225
【氏名又は名称】メディカル・エーアイ・カンパニー・リミテッド
【氏名又は名称原語表記】Medical AI Co., Ltd.
【住所又は居所原語表記】163, Yangjaecheon-ro Gangnam-gu Seoul 06302 Republic of Korea
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】クォン・ジュン・ミョン
【テーマコード(参考)】
4C117
4C127
5L099
【Fターム(参考)】
4C117XB12
4C117XE17
4C117XJ35
4C127AA02
4C127GG16
5L099AA04
(57)【要約】
本開示の一実施例によって、コンピューティング装置によって実行される、ディープラーニングに基づいて連続的な身体状態を計測する方法、コンピュータプログラム及び装置が開示される。前記方法は、心電図データを獲得する段階と、事前に学習された神経回路網モデルを使用して、前記心電図データに基づいて前記心電図データを測定した対象の疾患の発病又は前記疾患の進行状況に対応する身体状態を推論する段階と、を含み、前記神経回路網モデルは、前記疾患と相関関係を有する前記身体特性を示す生物学的情報に対する第1特徴又は前記疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて学習されものであり得る。
【選択図】
図2
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサ(processor)を含むコンピューティング装置によって実行される、ディープラーニングに基づいて連続的な身体状態を計測する方法であって、
心電図データを獲得する段階と、
事前に学習された神経回路網モデルを使用し、前記心電図データに基づいて前記心電図データを測定した対象の疾患の発病又は前記疾患の進行状況に対応する身体状態を推論する段階と、
を含み、
前記神経回路網モデルは、前記疾患と相関関係を有する身体特性を示す生物学的情報に対する第1特徴、又は前記疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて学習された、方法。
【請求項2】
前記神経回路網モデルは、前記心電図データに基づいて前記第1特徴を出力するように学習された第1サブモデルを含み、
前記第1サブモデルは、前記生物学的情報に含まれた少なくとも一つの因子(factor)に対する数値を個別的に出力するように前記因子の個数に合わせて構成される、請求項1に記載の方法。
【請求項3】
前記神経回路網モデルは、前記心電図データに基づいて前記第2特徴を出力するように学習された第2サブモデルをさらに含み、
前記第2サブモデルは、前記病理学的情報に含まれた少なくとも一つの因子に対する数値を個別的に出力するように、前記因子の個数に応じて構成される、請求項2に記載の方法。
【請求項4】
前記神経回路網モデルは、前記第1サブモデルの出力である第1特徴及び前記第2サブモデルの出力である第2特徴に基づいて、前記疾患の発病又は前記疾患の進行状況によって連続的に変化する身体状態を数値で表現するように学習された第3サブモデルをさらに含む、請求項3に記載の方法。
【請求項5】
前記第3サブモデルは、前記疾患の種類によって決定された加重値に基づいて、前記第1特徴及び前記第2特徴を組み合わせて生成された第3特徴を受けて前記数値を出力する、請求項4に記載の方法。
【請求項6】
前記第1サブモデル及び前記第2サブモデルのそれぞれは、ラベルが指定されなかったサンプルを含む学習データを用いて実行される自己教師あり学習に基づいて学習された、請求項3に記載の方法。
【請求項7】
前記疾患は、心血管疾患を含む、請求項1に記載の方法。
【請求項8】
前記生物学的情報は、前記心血管疾患に含まれた冠状動脈疾患に関連した身体特性因子として、年齢、性別、背又は体重のうちの少なくとも一つを含む、請求項7に記載の方法。
【請求項9】
前記病理学的情報は、前記心血管疾患に含まれた冠状動脈疾患の進行程度を反映する病理学的特性因子として、心筋梗塞有無、血管カルシウム化の程度、血栓の安全性、冠状動脈の血管内速度、又は冠状動脈の狭窄程度のうちの少なくとも一つを含む、請求項8に記載の方法。
【請求項10】
コンピュータ可読の保存媒体に保存されたコンピュータプログラム(program)であって、前記コンピュータプログラムは、一つ以上のプロセッサ(processor)で実行される場合、ディープラーニングに基づいて連続的な身体状態を計測する動作を実行し、
前記動作は、
心電図データを獲得する動作と、
事前に学習された神経回路網モデルを使用して、前記心電図データに基づいて前記心電図データを測定した対象の疾患の発病又は前記疾患の進行状況に対応する身体状態を推論する動作と、
を含み、
前記神経回路網モデルは、前記疾患と相関関係を有する身体特性を示す生物学的情報に対する第1特徴、又は前記疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて学習された、コンピュータプログラム。
【請求項11】
ディープラーニングに基づいて連続的な身体状態を計測するためのコンピューティング装置であって、
少なくとも一つのコア(core)を含むプロセッサ(processor)と、
前記プロセッサで実行可能なプログラムコード(code)を含むメモリ(memory)と、
心電図データを獲得するためのネットワーク部(network unit)と、
を含み、
前記プロセッサは、疾患と相関関係を有する対象の身体特性を示す生物学的情報に対する第1特徴又は前記疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて学習された神経回路網モデルを使用して、前記心電図データに基づいて前記心電図データを測定した対象の疾患の発病又は前記疾患の進行状況に対応する身体状態を推論する、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の内容は医療分野のディープラーニング技術に関し、具体的には疾患に対する身体特性を連続的な数値で示すためのディープラーニングに基づいて連続的な身体状態を計測する方法、コンピュータプログラム及び装置に関する。
【0002】
【背景技術】
【0003】
心電図信号とは心臓が拍動する周期中に起こる心臓の電気的活動状態をグラフ上に示したものである。よって、私たちは心電図信号を介して心臓の構造的及び機能的な面を観察することができる。よって、不整脈、心筋梗塞などの心臓疾患を含めた多様な疾病を診断するために心電図信号が使用される。
【0004】
心臓疾患を含めた一般的な身体疾患は連続的に変化する身体状態が、疾患と診断されるために設定された基準値に至るほどに悪化する状況を示す。すなわち、身体状態は0又は1のデジタルではないアナログのように連続的に変化し、人為的に設定された基準値によって疾病有無が決定される。例えば、心臓疾患の場合、心臓に血液を供給する冠状動脈の状態は連続的に変化し、冠状動脈が狭く狭窄程度によって、動脈硬化症、狭心症、心筋梗塞症などの疾患が決定される。
【0005】
身体疾患を予測するために、ディープラーニングに基づいて多様な技術が開発されている。しかし、従来技術は人為的に設定された基準によって決定された疾患の有無を判断するためのものが大多数である。すなわち、疾患の有無は連続的に変化する身体状態を任意の基準によって区分したものであり、これを用いて学習されたディープラーニングモデルは疾患の有無のみを予測するだけで、疾患に対する全般的な身体状態を予測することができない。
【0006】
疾患予測の目的は、疾患の発病可能性を推測して疾患を予防することである。よって、疾患予測領域では、疾患の有無を予測することだけでなく、疾患に関連した身体状態を正確に予測することも重要である。すなわち、私たちは疾患に関連して連続的に変化する身体状態を予測する必要がある。
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示は前述した背景技術に対応して案出されたものであり、心電図データに基づいて身体特性に対する生物学的情報及び疾患に対する病理学的情報を個別的に予測し、これを併合して身体状態を連続的な数値で計測する方法を提供することを目的とする。
【0009】
ただし、本開示で解決しようとする課題は以上で言及した課題に限定されず、言及しなかった他の課題は下の記載から明らかに理解可能であろう。
【0010】
【課題を解決するための手段】
【0011】
前述したような課題を実現するための本開示の一実施例によって、コンピューティング装置によって実行される、ディープラーニングに基づいて連続的な身体状態を計測する方法が開示される。前記方法は、心電図データを獲得する段階と、事前に学習された神経回路網モデルを使用し、前記心電図データに基づいて前記心電図データを測定した対象の疾患の発病又は前記疾患の進行状況に対応する身体状態を推論する段階と、を含み、前記神経回路網モデルは、前記疾患と相関関係を有する前記身体特性を示す生物学的情報に対する第1特徴、又は前記疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて学習されたことを特徴とする。
【0012】
代案として、前記神経回路網モデルは、前記心電図データに基づいて前記第1特徴を出力するように学習された第1サブモデルを含み、前記第1サブモデルは、前記生物学的情報に含まれた少なくとも一つの因子(factor)に対する数値を個別的に出力するように前記因子の個数に合わせて構成され得る。
【0013】
代案として、前記神経回路網モデルは、前記心電図データに基づいて前記第2特徴を出力するように学習された第2サブモデルをさらに含み、前記第2サブモデルは、前記病理学的情報に含まれた少なくとも一つの因子に対する数値を個別的に出力するように、前記因子の個数に合わせて構成され得る。
【0014】
代案として、前記神経回路網モデルは、前記第1サブモデルの出力である第1特徴及び前記第2サブモデルの出力である第2特徴に基づいて、前記疾患の発病又は前記疾患の進行状況によって連続的に変化する身体状態を数値で表現するように学習された第3サブモデルをさらに含むことができる。
【0015】
代案として、前記第3サブモデルは、前記疾患の種類によって決定された加重値に基づいて、前記第1特徴及び前記第2特徴を組み合わせて生成された第3特徴を受けて前記数値を出力することができる。
【0016】
代案として、前記第1サブモデル及び前記第2サブモデルのそれぞれは、ラベルが指定されなかったサンプルを含む学習データを用いて実行される自己教師あり学習に基づいて学習され得る。
【0017】
代案として、前記疾患は、血管疾患を含むことができる。
【0018】
代案として、前記生物学的情報は、前記心血管疾患に含まれた冠状動脈疾患に関連した身体特性因子として、年齢、性別、背又は体重のうちの少なくとも一つを含むことができる。
【0019】
代案として、前記病理学的情報は、前記心血管疾患に含まれた冠状動脈疾患の進行程度を反映する病理学的特性因子として、心筋梗塞有無、血管カルシウム化の程度、血栓の安全性、冠状動脈の血管内速度、又は冠状動脈の狭窄程度のうちの少なくとも一つを含むことができる。
【0020】
前述したような課題を実現するための本開示の一実施例によって、コンピュータ可読の保存媒体に保存されたコンピュータプログラム(program)が開示される。前記コンピュータプログラムは、一つ以上のプロセッサ(processor)で実行される場合、ディープラーニングに基づいて連続的な身体状態を計測する動作を実行する。ここで、前記動作は、心電図データを獲得する動作と、事前に学習された神経回路網モデルを使用して、前記心電図データに基づいて前記心電図データを測定した対象の疾患の発病又は前記疾患の進行状況に対応する身体状態を推論する動作と、を含み、前記神経回路網モデルは、前記疾患と相関関係を有する前記身体特性を示す生物学的情報に対する第1特徴、又は前記疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて学習されたことを特徴とする。
【0021】
前述したような課題を実現するための本開示の一実施例によって、ディープラーニングに基づいて連続的な身体状態を計測するためのコンピューティング装置が開示される。前記装置は、少なくとも一つのコア(core)を含むプロセッサ(processor)と、前記プロセッサで実行可能なプログラムコード(code)を含むメモリ(memory)と、心電図データを獲得するためのネットワーク部(network unit)と、を含み、前記プロセッサは、疾患と相関関係を有する対象の身体特性を示す生物学的情報に対する第1特徴又は前記疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて学習された神経回路網モデルを使用して、前記心電図データに基づいて前記心電図データを測定した対象の疾患の発病又は前記疾患の進行状況に対応する身体状態を推論することを特徴とする。
【0022】
【発明の効果】
【0023】
本開示は、心電図データを用いて身体的な要因及び疾患に対する病理学的要因を個別的に推論し、身体状態に影響する要素を説明可能に把握することにより、疾患の以前又は以後の段階に備えることができる方法を提供することができる。また、本開示は、予測しようとする疾患に関連した患者の身体状態を連続的な数値で示すことにより、疾患の以前又は以後の段階に備えることができる方法を提供することができる。
【0024】
【図面の簡単な説明】
【0025】
【
図1】本開示の一実施例によるコンピューティング装置のブロック図である。
【0026】
【
図2】本開示の一実施例による神経回路網モデルを示すブロック図である。
【0027】
【
図3】本開示の一実施例による神経回路網モデルの内部構成を示すブロック図である。
【0028】
【
図4】本開示の一実施例による神経回路網モデルの推論方法を示すフローチャートである。
【0029】
【
図5】本開示の一実施例による神経回路網モデルを構成するサブモデルの推論方法を示すフローチャートである。
【0030】
【発明を実施するための形態】
【0031】
以下では、添付図面を参照して本開示の技術分野で通常の知識を有する者(以下、当業者という)が容易に実施することができるように本開示の実施例を詳細に説明する。本開示で提示する実施例は当業者が本開示の内容を用いるか又は実施することができるように提供する。よって、本開示の実施例に対する多様な変形は当業者に明らかであろう。すなわち、本開示は様々な相異なる形態に具現可能であり、以下の実施例に限定されない。
【0032】
本開示の明細書全般にわたって同一又は類似の図面符号は同一又は類似の構成要素を指す。また、本開示を明確に説明するために、本開示についての説明に関係ない部分の図面符号は図面から省略することができる。
【0033】
本開示で使用する「又は」という用語は排他的「又は」ではなく、内包的「又は」を意味しようとする。すなわち、本開示で、他に特定しないか又は文脈上でその意味が明確ではない場合、「XはA又はBを用いる」は自然的な内包的置換のうちの一つを意味するものと理解しなければならない。例えば、本開示で、他に特定しないか又は文脈上でその意味が明確ではない場合、「XはA又はBを用いる」はXがAを用いるか、XがBを用いるか、又はXがA及びBの両者を用いる場合のうちのいずれか一つと解釈することができる。
【0034】
本開示で使用する「及び/又は」という用語は、列挙する関連の概念のうちの一つ以上の概念の可能なすべての組合せを示しながら含むものと理解しなければならない。
【0035】
本開示で使用する「含む」及び/又は「含んでいる」という用語は、特定の特徴及び/又は構成要素が存在することを意味するものと理解しなければならない。ただし、「含む」及び/又は「含む」という用語は、一つ以上の他の特徴、他の構成要素及び/又はこれらの組合せの存在又は追加を排除しないものと理解しなければならない。
【0036】
本開示で、他に特定しないか又は単数の形態を示すものとして、文脈上明確ではない場合、単数は一般的に「一つ又はそれ以上」を含むことができるものと解釈しなければならない。
【0037】
本開示で使用する「第N(Nは自然数)」という用語は、本開示の構成要素を機能的観点、構造的観点、又は説明の便宜性などの所定の基準によって互いに区別するために使用する表現と理解することができる。例えば、本開示で、互いに異なる機能的役割を行う構成要素は第1構成要素又は第2構成要素に区別することができる。ただし、本開示の技術的思想内で実質的に同一であるが、説明の便宜のために区分しなければならない構成要素も第1構成要素又は第2構成要素に区別することもできる。
【0038】
本開示で使用する「獲得」という用語は、外部装置又はシステムに対して有無線通信ネットワークを介してデータを受信することだけでなく、オンデバイス(on-device)形態としてデータを生成することを意味するものと理解することができる。
【0039】
一方、本開示で使用する用語「モジュール(module)」、又は「部(unit)」は、コンピュータ関連エンティティー(entity)、ファームウエア(firmware)、ソフトウェア(software)又はその一部、ハードウェア(hardware)又はその一部、ソフトウェア及びハードウェアの組合せなどのようにコンピューティング資源を処理する独立的な機能単位を示す用語と理解することができる。ここで、「モジュール」、又は「部」は単一の要素で構成された単位であることもあり、複数の要素の組合せ又は集合と表現される単位であることもある。例えば、協議の概念として「モジュール」、又は「部」はコンピューティング装置のハードウェア要素又はその集合、ソフトウェアの特定の機能を果たす応用プログラム、ソフトウェアの実行によって具現される処理過程(procedure)、又はプログラムの実行のための命令語の集合などを示すことができる。また、広義の概念として「モジュール」、又は「部」はシステムを構成するコンピューティング装置自体、又はコンピューティング装置で実行されるアプリケーションなどを示すことがある。ただし、上述した概念は一例示に過ぎないので、「モジュール」、又は「部」の概念は本開示の内容に基づいて当業者が理解可能な範疇内で多様に定義可能である。
【0040】
本開示で使用する「モデル(model)」という用語は、特定の問題を解決するために、数学的概念及び言語を使用して具現するシステム、特定の問題を解決するためのソフトウェア単位の集合、又は特定の問題を解決するための処理過程に対する抽象画模型と理解することができる。例えば、神経回路網(neural network)「モデル」は学習によって問題解決能力を有する神経回路網として具現されるシステム全般を示すことができる。ここで、神経回路網は、ノード(node)又はニューロン(neuron)を連結するパラメーター(parameter)を学習によって最適化して問題解決能力を有することができる。神経回路網「モデル」は単一の神経回路網を含むこともでき、複数の神経回路網が組み合わせられた神経回路網集合を含むこともできる。
【0041】
前述した用語の説明は本開示の理解を手伝うためのものである。したがって、前述した用語を本開示の内容を限定する事項として明示的に記載しない場合、本開示の内容を技術的思想を限定する意味として使うものではではないことに気を付けなければならない。
【0042】
図1は本開示の一実施例によるコンピューティング装置のブロック図である。
【0043】
本開示の一実施例によるコンピューティング装置100はデータの総合的な処理及び演算を行うハードウェア装置又はハードウェア装置の一部でもあり、通信ネットワークを介して連結されるソフトウェアに基づくコンピューティング環境でもあり得る。例えば、コンピューティング装置100は集約的データ処理の機能を行い、資源を共有する主体であるサーバーでもあり、サーバーとの相互作用によって資源を共有するクライアント(client)でもあり得る。また、コンピューティング装置100は、複数のサーバー及びクライアントが互いに作用してデータを総合的に処理するクラウドシステム(cloud system)でもあり得る。上述した記載はコンピューティング装置100の種類に関連した一例示に過ぎないので、コンピューティング装置100の種類は本開示の内容に基づいて当業者が理解可能な範疇内で多様に構成可能である。
【0044】
図1を参照すると、本開示の一実施例によるコンピューティング装置100はプロセッサ(processor)110と、メモリ(memory)120と、ネットワーク部(network unit)130と、を含むことができる。ただし、
図1は一例示に過ぎないので、コンピューティング装置100は、コンピュータ環境を具現するための他の構成を含むことができる。また、前記開示した構成のうちの一部のみをコンピューティング装置100に含むこともできる。
【0045】
本開示の一実施例によるプロセッサ110はコンピューティング演算を実行するためのハードウェア及び/又はソフトウェアを含む構成単位と理解することができる。例えば、プロセッサ110は、コンピュータプログラムを読み取って機械学習のためのデータ処理を実行することができる。プロセッサ110は、機械学習のための入力データの処理、機械学習のための特徴抽出、逆伝搬(backpropagation)に基づく誤差計算などのような演算過程を処理することができる。このようなデータ処理を実行するためのプロセッサ110は、中央処理装置(CPU:central processing unit)、汎用グラフィック処理装置(GPGPU:general purpose graphics processing unit)、テンソル処理装置(TPU:tensor processing unit)、特定用途向け集積回路(ASIC:application specific integrated circuit)、又はフィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)などを含むことができる。上述したプロセッサ110の種類は一例示に過ぎないので、プロセッサ110の種類は本開示の内容に基づいて当業者が理解可能な範疇内で多様に構成可能である。
【0046】
プロセッサ110は、心電図データに基づいて神経回路網モデルを用いて心電図データを測定した対象の連続的な身体状態を計測することができる。プロセッサ110は、心電図データを受け、疾患に関連した身体状態、例えば疾患の発病有無又は疾患の進行状況に対応する身体状態を推定するように神経回路網モデルを学習させることができる。ここで、疾患の発生有無は離散的な値であり、疾患の進行状況は時間の経過によって変わる連続的な値であり得る。プロセッサ110は、神経回路網モデルを用いて疾患を示すか、又は疾患に影響を及ぼす連続的な身体状態を推論することができる。
【0047】
本開示によれば、プロセッサ110は、離散的な値で現れる疾患の発病有無を予測するだけでなく、連続的に進む疾患による身体状態を予測するので、疾患の発病可能性を正確に予測することができる。よって、本開示のプロセッサ110により、私たちは疾病の予防方案及び治療計画を細密に樹立することができる。
【0048】
プロセッサ110は、身体状態を予測するために、複数のサブモデルを個別的に学習させることができる。例えば、プロセッサ110は、心電図データを用いて、心電図データの測定対象の身体的特性を示す生物学的情報に対する第1特徴を出力する第1サブモデルを学習させることができる。そして、プロセッサ110は、心電図データを用いて、疾患によって発生する身体の変化、すなわち疾患の進行程度に影響を及ぼす病理学的情報に対する第2特徴を出力する第2サブモデルを学習させることができる。そして、プロセッサ110は、第1サブモデルから出力された第1特徴及び第2サブモデルから出力された第2特徴を用いて、疾患に関連した身体状態を推論する第3サブモデルを学習させることができる。
【0049】
第1特徴は、生物学的情報に含まれた少なくとも一つの因子(factor)及び因子に対応する数値を含むことができる。生物学的因子は疾患によって変わり得る。例えば、生物学的因子は、年齢、背、体重などを含むことができる。第2特徴は、病理学的情報に含まれた少なくとも一つの因子及び因子に対応する数値を含むことができる。病理学的因子は疾患によって変わり得る。例えば、心血管疾患の場合、病理学的因子は心筋梗塞の有無、血管カルシウム化の程度、血栓の安全性、冠状動脈の血管内速度、冠状動脈の狭窄程度などを含むことができる。
【0050】
プロセッサ110は、第1サブモデル及び第2サブモデルにサンプル及びサンプルに対応するラベルを含む学習データを入力して、教師あり学習(supervised learning)に基づく学習を実行することができる。この場合、第1サブモデルに入力されるサンプルは心電図データであり、ラベルは第1特徴であり得る。第2サブモデルに入力されるサンプルは心電図データであり、ラベルは第2特徴であり得る。また、プロセッサ110は、第1サブモデル及び第2サブモデルにラベルが指定されなかったサンプルを含む学習データを入力することで、自己教師あり学習に基づく学習を実行することができる。この場合、第1サブモデルは心電図データから第1特徴を抽出し、第2サブモデルは心電図データから第2特徴を抽出することができる。第1サブモデル及び第2サブモデルが抽出する因子は疾患の種類によって変わり得る。
【0051】
神経回路網モデル、第1サブモデル、第2サブモデル、及び第3サブモデルのそれぞれは、少なくとも一つの神経回路網を含むことができる。神経回路網は、DNN(Deep Neural network)、RNN(Recurrent Neural network)、BRDNN(Bidirectional Recurrent Deep Neural network)、MLP(Multilayer Perceptron)、CNN(Convolutional Neural network)、トランスフォーマー(transformer)などのような神経回路網のうちの少なくとも一つを含むことができるが、これに限定されない。
【0052】
本開示によれば、プロセッサ110は、疾患の危険要因として作用し得る因子に対応する神経回路網モデルを個別的に学習して推論することができる。よって、私たちはプロセッサ110を介して各因子が疾患に影響を及ぼす程度を正確に把握することができる。そして、プロセッサ110は、疾患に影響を及ぼす因子を正確にターゲッティングすることにより、疾患の予防及び治療に基礎となる資料を提供することができる。
【0053】
本開示の一実施例によるメモリ120はコンピューティング装置100で処理されるデータを保存して管理するためのハードウェア及び/又はソフトウェアを含む構成単位と理解することができる。すなわち、メモリ120は、プロセッサ110が生成するか又は決定した任意の形態のデータ及びネットワーク部130が受信した任意の形態のデータを保存することができる。例えば、メモリ120は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ、RAM(random access memory)、SRAM(static random access memory)、ROM(read-only memory)、EEPROM(electrically erasable programmable read-only memory)、PROM(programmable read-only memory)、磁気メモリ、磁気ディスク、及び光ディスクのうちの少なくとも一つのタイプの保存媒体を含むことができる。また、メモリ120は、データを所定の体制で統制して管理するデータベース(database)システムを含むこともできる。上述したメモリ120の種類は一例示に過ぎないので、メモリ120の種類は本開示の内容に基づいて当業者が理解可能な範疇内で多様に構成可能である。
【0054】
メモリ120は、プロセッサ110が演算を実行するのに必要なデータ、データの組合せ、及びプロセッサ110で実行可能なプログラムコード(code)などを構造化及び組職化して管理することができる。例えば、メモリ120は、後述するネットワーク部130を介して受信した医療データを保存することができる。メモリ120は、神経回路網モデルが医療データを受けて学習を実行するように動作させるプログラムコード、神経回路網モデルが医療データを受け、コンピューティング装置100の使用目的に応じて推論を行うように動作させるプログラムコード、及びプログラムコードが実行されることによって生成された加工データなどを保存することができる。
【0055】
本開示の一実施例によるネットワーク部130は任意の形態の公知の有無線通信システムを介してデータを送受信する構成単位と理解することができる。例えば、ネットワーク部130は、ローカルエリアネットワーク(LAN:local area network)、広帯域符号分割多重接続(WCDMA(登録商標):wideband code division multiple access)、LTE(long term evolution)、ワイブロ(WiBro:wireless broadband internet)、5世代移動通信(5G)、超広帯域無線通信(ultrawide-band)、シグビー(ZigBee(登録商標))、無線周波数(RF:radio frequency)通信、無線LAN(wireless LAN)、ワイファイ(wireless fidelity)、近距離無線通信(NFC:near field communication)、又はブルートゥース(登録商標)(Bluetooth(登録商標))などのような有無線通信システムを使用してデータ送受信を行うことができる。上述した通信システムは一例示に過ぎないので、ネットワーク部130のデータ送受信のための有無線通信システムは上述した例示の他に多様に適用可能である。
【0056】
ネットワーク部130は、任意のシステム又は任意のクライアントなどとの有無線通信を介して、プロセッサ110が演算を実行するのに必要なデータを受信することができる。また、ネットワーク部130は、任意のシステム又は任意のクライアントなどとの有無線通信を介して、プロセッサ110の演算によって生成されたデータを送信することができる。例えば、ネットワーク部130は、病院環境内のデータベース、医療データの標準化などの作業を行うクラウドサーバー、又はコンピューティング装置などとの通信を介して医療データを受信することができる。ネットワーク部130は、前述したデータベース、サーバー、又はコンピューティング装置などとの通信を介して、神経回路網モデルの出力データ、及びプロセッサ110の演算過程で導出される中間データ、加工データなどを送信することができる。
【0057】
図2は本開示の一実施例による神経回路網モデルを示すブロック図である。
【0058】
図2を参照すると、神経回路網モデル200は、心電図データ300を受け、心電図データ300を測定した対象の疾患に関連した身体状態400を連続的な数値として出力することができる。
【0059】
本明細書で、心電図(ECG:electrocardiogram)データは心臓で発生する電気的信号を測定し、心臓から電極までの伝導系統の異常有無を確認して疾患有無を判別することができるようにする心電図信号を含むことができる。心電図データ300は心電図測定器機から獲得するか、又はネットワークを介して獲得したものであり得る。
【0060】
神経回路網モデル200は、疾患に関連した生物学的情報に対する第1特徴を出力する第1サブモデル210と、疾患に関連した病理学的情報に対する第2特徴を出力する第2サブモデル220と、第1サブモデル210の出力値及び第2サブモデル220の出力値を用いて、疾患の診断のために連続的に変化する身体状態400を数値として出力する第3サブモデル230と、を含むことができる。
【0061】
第1サブモデル210及び第2サブモデル220のそれぞれは、出力する情報によって複数で構成され得る。例えば、第1サブモデル210は、心電図データ300から疾患に関連した生物学的特徴を示す身体特性因子のそれぞれに対応する第1特徴を出力することができる。ここで、第1サブモデル210の個数は身体特性因子の個数に対応し得る。複数の第1サブモデル210のそれぞれは、身体特性因子に対する数値を個別的に出力することができる。例えば、第2サブモデル220は、心電図データ300から疾患の進行程度によって決定される病理学的特性因子のそれぞれに対応する第2特徴を出力することができる。ここで、第2サブモデル220の個数は病理学的特性因子の個数に対応し得る。複数の第2サブモデル220のそれぞれは、病理学的特性因子に対する数値を個別的に出力することができる。
【0062】
一方、疾患に関連した危険因子の個数は疾患の種類によって変わり得る。したがって、本開示による神経回路網モデルによって因子の個数に応じて第1サブモデル及び第2サブモデルを構成することができるので、私たちは第1サブモデル及び第2サブモデルをモジュール化して管理することができる。
【0063】
第3サブモデル230は、第1サブモデル210の出力である第1特徴及び第2サブモデル220の出力である第2特徴を用いて疾患に関連した身体状態400を数値として出力することができる。第3サブモデル230は、第1特徴及び第2特徴を併合して生成した第3特徴を受けて身体状態400を出力することができる。ここで、第1特徴及び第2特徴は、疾患の種類によって加重値が付与されて第3特徴として組み合わせられ得る。言い換えれば、プロセッサ110は、疾患の種類によって、第1特徴及び第2特徴の組合せのための加重値を調節することができる。第3サブモデル230は、疾患の種類によって比重が調節された第1特徴及び第2特徴に基づいて、疾患の種類によって連続的に変化する身体状態400を予測することができる。第3サブモデル230から出力される値は疾患に対する身体状態400を示す連続的な数値であり得る。よって、医療陣は、当該数値に基づいて疾患発病有無を判断するか、又は疾患の進行状態を把握することができる。
【0064】
すなわち、本開示による神経回路網モデル200は、人為的に設定された基準による疾患発病有無のみを単純に予測せず、疾患に関連した因子を総合的に把握して身体状態を予測することができる。私たちはこのような神経回路網モデル200を用いて疾患に関連した多様な因子が身体に影響を及ぼすことによって発生する身体状態の複雑な変化を正確に把握することができる。
【0065】
図3は本開示の一実施例による神経回路網モデルの内部構成を示すブロック図である。
【0066】
図3を参照すると、神経回路網モデル200は、第1特徴211を出力するように学習された複数の第1サブモデル210と、第2特徴221を出力するように学習された複数の第2サブモデル220と、第1特徴211及び第2特徴221を併合して身体状態400を出力するように学習された第3サブモデル230と、を含むことができる。
【0067】
第1特徴211は、生物学的情報に含まれた因子及び因子に対応する数値を含むことができる。第2特徴221は、病理学的情報に含まれた因子及び因子に対応する数値を含むことができる。
【0068】
第1サブモデル210が個別的に学習する身体特性因子の種類は学習データに含まれたラベルによって決定されるか、又は第1サブモデル210によって直接抽出され得る。同様に、第2サブモデル220が個別的に学習する病理学的特性因子の種類は学習データに含まれたラベルによって決定されるか、又は第2サブモデル220によって直接抽出され得る。すなわち、学習方法によって第1サブモデル210及び第2サブモデル220は因子に対応する数値のみを出力するか、又は数値及びこれに対応する因子を一緒に出力することができる。
【0069】
以下では、神経回路網モデル200が心血管疾患、特に冠状動脈疾患に対する身体状態400を計測するために動作することを例として説明するが、本開示が適用される疾患の種類がこれに限定されるものではない。冠状動脈疾患の誘発に関連した危険因子は広く知られている。冠状動脈疾患と因果関係がない危険因子であっても、疾患との相関関係が存在するので、疾病の原因を糾明するか、又は疾病を予防するための重要な道具として使用可能である。
【0070】
例えば、冠状動脈疾患に影響を及ぼす身体特性因子は、年齢、性別、背、体重などを含むことができ、冠状動脈疾患に対する家族歴又は個人歴をさらに含むことができる。また、冠状動脈疾患に影響を及ぼす病理学的特性因子は、心筋梗塞有無、血管カルシウム化の程度、血栓の安全性、冠状動脈の血管内速度、冠状動脈の狭窄程度などを含むことができ、血糖、血圧、コレステロール数値、中性脂肪数値、肥満であるか、喫煙しているかなどをさらに含むことができる。
【0071】
本開示による神経回路網モデル200は、比較的容易に獲得することができる心電図データ300を用いて、冠状動脈疾患の誘発に関連した危険因子が冠状動脈疾患にどのくらいの影響を及ぼすかを個別的に学習して推論することができる。また、本開示による神経回路網モデル200は、自己教師あり学習によって学習されて冠状動脈疾患の誘発に関連した因子を自ら抽出し、それぞれの因子が冠状動脈疾患にどのくらいの影響を及ぼすかを推論することができる。
【0072】
第1サブモデル210及び第2サブモデル220が教師あり学習によって学習される場合、複数の第1サブモデル210は、心電図データ300を受け、心電図データ300から年齢、性別、背、体重をそれぞれ推論するように学習される。
【0073】
複数の第1サブモデル210から年齢に対する数値、性別に対する数値、背に対する数値、体重に対する数値がそれぞれ出力され得る。当該数値は冠状動脈疾患に対する影響を示す数値であり得る。複数の第2サブモデル220は心電図データ300を受け、心電図データ300から心筋梗塞有無、血管カルシウム化の程度、血栓の安全性、冠状動脈の血管内速度、冠状動脈の狭窄程度をそれぞれ推論するように学習される。複数の第2サブモデル220から、心筋梗塞に対する数値、血管カルシウム化に対する数値、血栓の安全性に対する数値、冠状動脈の血管内速度に対する数値、冠状動脈の狭窄に対する数値がそれぞれ出力され得る。当該数値は冠状動脈疾患に対する影響を示す数値であり得る。
【0074】
第3サブモデル230は、第1サブモデル210及び第2サブモデル220から出力された数値に基づいて生成された第3特徴を受けることができる。第3特徴はプロセッサ110によって組み合わせられた値であり、プロセッサ110は、疾患の種類によって第1サブモデル210及び第2サブモデル220から出力された数値に加重値を付与して組み合わせることができる。例えば、特定の疾患と身体特性因子との間の相関関係が高いと明かされた場合、プロセッサ110は、第1サブモデル210から出力される数値に高い加重値を付与することができる。反対に、特定の疾患に対して身体特性因子が及ぶ影響力が低く、病理学的特性因子による発病率が高いと明かされた場合、プロセッサ110は、第2サブモデル220から出力される数値に高い加重値を付与することができる。
【0075】
第3サブモデル230は、第3特徴を用いて冠状動脈疾患に対する身体状態400を数値として出力することができる。出力される数値は冠状動脈の元気な程度を示すか、冠状動脈疾患に対する確率を示すか、又は狭心症の程度、心筋梗塞の可能性を示す数値と解釈することができる。医療陣は、当該数値を解釈し、心電図データ300を測定した対象に対して狭心症に対する診断を下すか、薬物を投与し、手術を行うなどの治療計画を立てることができる。若しくは、医療陣は、疾病の予防のための計画を樹立して案内することができる。
【0076】
図4は本開示の一実施例による神経回路網モデルの推論方法を示すフローチャートである。
【0077】
図4を参照すると、本開示の一実施例によるコンピューティング装置100は、心電図データを獲得することができる(S110)。コンピューティング装置100は心電図測定器機から心電図データを獲得するか、又はネットワークを介して獲得することができる。
【0078】
コンピューティング装置100は、事前に学習された神経回路網モデルを使用して、心電図データに基づいて心電図データを測定した対象の疾患の発病又は疾患の進行状況に対応する身体状態を推論することができる(S120)。コンピューティング装置100は、心電図データを用いて特定の疾患に関連した連続的な身体状態を数値として出力するように事前に神経回路網モデルを学習させることができる。神経回路網モデルは
図2及び
図3で前述した神経回路網モデルであり得る。
【0079】
コンピューティング装置100は、疾患と相関関係を有する身体特性を示す生物学的情報に対する第1特徴又は疾患の進行程度を反映する病理学的情報に対する第2特徴のうちの少なくとも一つに基づいて神経回路網モデルを学習させることができる。
【0080】
コンピューティング装置100は、教師あり学習又は自己教師あり学習によって神経回路網モデルを学習させることができる。具体的には、コンピューティング装置100は、学習データとして心電図データに疾患に関連した多様な因子及び各因子と疾患との連関性を示す数値を神経回路網モデルに入力することによって神経回路網モデルを学習させることができる。若しくは、コンピューティング装置100は、ラベリングされなかった心電図データを含む学習データを用いて、神経回路網モデルが疾患に関連した因子を自ら抽出し、それぞれの因子と疾患との連関性を示す数値を出力するように神経回路網モデルを学習させることができる。
【0081】
事前に学習された神経回路網モデルは心電図データを受け、疾患に関連した数値を出力することができる。当該数値は心電図データを測定した対象の身体状態を示すものであり、疾患に関連した数値である。当該数値は疾患の発病有無を示すか、又は疾患の進行状態を示すことができる。
【0082】
図5は本開示の一実施例による神経回路網モデルを構成するサブモデルの推論方法を示すフローチャートである。
【0083】
図5を参照すると、本開示の一実施例によるコンピューティング装置100は心電図データを獲得することができる(S210)。これは
図4のS110段階と類似しているので、詳細な説明を省略する。
【0084】
コンピューティング装置100は第1サブモデルを介して生物学的情報に対する第1特徴を出力することができる(S220)。第1サブモデルは心電図データに基づいて第1特徴を出力するように学習されたものであり得る。第1特徴は、生物学的情報に含まれた少なくとも一つの因子又は当該因子に対する数値を含むことができる。第1サブモデルは複数であり、第1サブモデルのそれぞれは生物学的情報に含まれた少なくとも一つの因子を個別的に出力することができる。よって、第1サブモデルの個数は因子の個数に合わせて構成され得る。
【0085】
コンピューティング装置100は、第2サブモデルを介して病理学的情報に対する第2特徴を出力することができる(S230)。第2サブモデルは心電図データに基づいて第2特徴を出力するように学習されたものであり得る。第2特徴は、病理学的情報に含まれた少なくとも一つの因子又は当該因子に対する数値を含むことができる。第2サブモデルは複数であり、第2サブモデルのそれぞれは病理学的情報に含まれた少なくとも一つの因子を個別的に出力することができる。よって、第2サブモデルの個数は因子の個数に応じて構成され得る。
【0086】
ここで、第1サブモデル及び第2サブモデルのそれぞれはラベルが指定されなかったサンプルを含む学習データを用いて実行される自己教師あり学習に基づいて学習されたものであり得る。
【0087】
コンピューティング装置100は、第1サブモデルから出力された第1特徴及び第2サブモデルから出力された第2特徴に基づいて、第3サブモデルを介して身体状態に対する数値を出力することができる(S240)。第3サブモデルは、第1特徴及び第2特徴に基づいて、疾患の発病又は疾患の進行状況によって連続的に変化する身体状態を数値で表現するように学習されたものであり得る。コンピューティング装置100は、疾患の種類によって第1特徴及び第2特徴を組み合わせる加重値を決定することができる。コンピューティング装置100は、決定された加重値によって第1特徴及び第2特徴を組み合わせて第3特徴を生成することができる。よって、第3サブモデルは第3特徴を受けて身体状態を示す数値を出力することができる。
【0088】
一方、
図5ではS220段階及びS230段階を順次実行するものとして示したが、S220段階及びS230段階は並列的に実行することができる。
【0089】
前述した本開示の多様な実施例は追加の実施例と結合することができ、上述した詳細な説明から当業者が理解することができる範疇内で変更可能である。本開示の実施例はすべての面で例示的なものであり、限定的ではないものと理解しなければならない。例えば、単一型として説明したそれぞれの構成要素は分散して実施することもでき、同様に分散されたものとして説明した構成要素も結合した形態として実施することができる。よって、本開示の特許請求の範囲の意味、範囲及びその均等概念から導出されるすべての変更又は変形の形態を本開示の範囲に含まれるものと解釈しなければならない。
【符号の説明】
【0090】
100 :コンピューティング装置
110 :プロセッサ
120 :メモリ
130 :ネットワーク部
200 :神経回路網モデル
210 :第1サブモデル
211 :第1特徴
220 :第2サブモデル
221 :第2特徴
230 :第3サブモデル
300 :心電図データ
400 :身体状態
【国際調査報告】