IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ メディカル・エーアイ・カンパニー・リミテッドの特許一覧

特表2024-533534説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置
<>
  • 特表-説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置 図1
  • 特表-説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置 図2
  • 特表-説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置 図3
  • 特表-説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置 図4
  • 特表-説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置 図5
  • 特表-説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-12
(54)【発明の名称】説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置
(51)【国際特許分類】
   G16H 50/20 20180101AFI20240905BHJP
   G06N 5/045 20230101ALI20240905BHJP
   G06N 3/045 20230101ALI20240905BHJP
【FI】
G16H50/20
G06N5/045
G06N3/045
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024516646
(86)(22)【出願日】2022-09-21
(85)【翻訳文提出日】2024-03-14
(86)【国際出願番号】 KR2022014131
(87)【国際公開番号】W WO2023048470
(87)【国際公開日】2023-03-30
(31)【優先権主張番号】10-2021-0126786
(32)【優先日】2021-09-25
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0118351
(32)【優先日】2022-09-20
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】523010225
【氏名又は名称】メディカル・エーアイ・カンパニー・リミテッド
【氏名又は名称原語表記】Medical AI Co., Ltd.
【住所又は居所原語表記】163, Yangjaecheon-ro Gangnam-gu Seoul 06302 Republic of Korea
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】クォン・ジュン・ミョン
(72)【発明者】
【氏名】チャン・ジョンファン
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA04
(57)【要約】
本開示の一実施例によって、コンピューティング装置によって実行される、説明可能な人工知能に基づく医療データの解釈方法、プログラム及び装置が開示される。前記方法は、第1医療データに基づいて、前記第1医療データに対する疾患の陽性又は陰性を推定するように第1神経回路網モデルを学習させる段階と、前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる段階と、を含むことができる。
【選択図】 図3
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサ(processor)を含むコンピューティング装置によって実行される、説明可能な人工知能に基づく医療データの解釈方法であって、
第1医療データに基づいて、前記第1医療データに対する疾患の陽性又は陰性を推定するように第1神経回路網モデルを学習させる段階と、
前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる段階と、
を含む、方法。
【請求項2】
前記第2神経回路網モデルは、
前記疾患の陽性又は陰性が前記第2医療データと反対に推定されるように前記第2医療データの特徴を変換することによって第3医療データを生成する第1サブ神経回路網モデルと、
前記疾患の陽性又は陰性が前記第2医療データと同じに推定されるように前記第3医療データの特徴を変換することによって第4医療データを生成する第2サブ神経回路網モデルと、
を含む、請求項1に記載の方法。
【請求項3】
前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる段階は、
前記第2神経回路網モデルを用いて前記第2医療データの特徴を変換し、前記学習された第1神経回路網モデルを用いて前記特徴の変換された第2医療データに対する陽性又は陰性を推定する段階と、
前記特徴の変換された第2医療データ、又は前記特徴の変換された第2医療データに対する陽性又は陰性の推定結果のうちの少なくとも一つを入力変数とする損失関数に基づいて前記第2神経回路網モデルを学習させる段階と、
を含む、請求項1に記載の方法。
【請求項4】
前記第2神経回路網モデルを用いて前記第2医療データの特徴を変換し、前記学習された神経回路網モデルを用いて前記特徴の変換された第2医療データに対する陽性又は陰性を推定する段階は、
前記第2神経回路網モデルに含まれた第1サブ神経回路網モデルに基づいて、陰性と推定される第2医療データの特徴を変換することにより、前記第2医療データと反対の陽性と推定される第3医療データを生成する段階と、
前記第2神経回路網モデルに含まれた第2サブ神経回路網モデルに基づいて、前記第3医療データの特徴を変換することにより、前記陰性と推定される第2医療データに対応する第4医療データを生成する段階と、
を含む、請求項3に記載の方法。
【請求項5】
前記第2神経回路網モデルを用いて前記第2医療データの特徴を変換し、前記学習された神経回路網モデルを用いて前記特徴の変換された第2医療データに対する陽性又は陰性を推定する段階は、
前記学習された第1神経回路網モデルに前記第3医療データを入力し、前記第3医療データに対する前記疾患の陽性又は陰性を推定した結果を示す予測データを生成する段階と、
をさらに含む、請求項4に記載の方法。
【請求項6】
前記第2神経回路網モデルを用いて前記第2医療データの特徴を変換し、前記学習された神経回路網モデルを用いて前記特徴の変換された第2医療データに対する陽性又は陰性を推定する段階は、
前記第2サブ神経回路網モデルに前記陰性と推定される第2医療データを入力して、前記陰性と推定される第2医療データに対応する第5医療データを生成する段階、
をさらに含む、請求項5に記載の方法。
【請求項7】
前記損失関数は、
前記第1サブ神経回路網モデルが前記疾患の陰性に相当する入力の特徴を変換して、前記疾患の陽性に相当する出力を生成するかを評価するための第1損失関数と、
前記第2サブ神経回路網モデルが前記第1サブ神経回路網モデルの出力の特徴を変換して、前記第1サブ神経回路網モデルの入力を復元するかを評価するための第2損失関数と、
前記第2サブ神経回路網モデルが前記第1サブ神経回路網モデルの入力に基づいて前記第1サブ神経回路網モデルの入力と同じ出力を生成するかを評価するための第3損失関数と、
を含む、請求項6に記載の方法。
【請求項8】
前記特徴の変換された第2医療データ、又は前記特徴の変換された第2医療データに対する陽性又は陰性の推定結果のうちの少なくとも一つを入力変数とする損失関数に基づいて前記第2神経回路網モデルを学習させる段階は、
前記第4医療データ、前記第5医療データ、又は前記予測データのうちの少なくとも一つを入力変数とする損失関数に基づいて前記第1サブ神経回路網モデル及び前記第2サブ神経回路網モデルを学習させる段階、
を含む、請求項6に記載の方法。
【請求項9】
前記第4医療データ、前記第5医療データ、又は前記予測データのうちの少なくとも一つを入力変数とする損失関数に基づいて前記第1サブ神経回路網モデル及び前記第2サブ神経回路網モデルを学習させる段階は、
前記予測データを入力変数とする第1損失関数を演算し、前記第1損失関数の演算結果である第1損失が減少するように前記第1サブ神経回路網モデルを学習させる段階と、
前記第4医療データを入力変数とする第2損失関数を演算し、前記第2損失関数の演算結果である第2損失が減少するように、前記第1サブ神経回路網モデル、又は前記第2サブ神経回路網モデルのうちの少なくとも一つを学習させる段階と、
前記第5医療データを入力変数とする第3損失関数を演算し、前記第3損失関数の演算結果である第3損失が減少するように前記第2サブ神経回路網モデルを学習させる段階と、
を含む、請求項8に記載の方法。
【請求項10】
前記第1医療データ及び前記第2医療データは、心電図データを含み、
前記疾患は、高カリウム血症(hyperkalemia)を含む、請求項1に記載の方法。
【請求項11】
前記第2医療データの特徴は、前記高カリウム血症が陰性である心電図データと前記高カリウム血症が陽性である心電図データとの間の形態学的(morphological)差に基づく、請求項10に記載の方法。
【請求項12】
少なくとも一つのプロセッサを含むコンピューティング装置によって実行される、説明可能な人工知能に基づく医療データの解釈方法であって、
心電図データを含む医療データを獲得する段階と、
第2神経回路網モデルに基づいて前記医療データの特徴を変換することにより、第1神経回路網モデルによって疾患の陽性又は陰性が前記医療データと反対に推定される出力データを生成する段階と、
を含み、
前記第2神経回路網モデルは、医療データに対する疾患の陽性又は陰性を推定するように学習された第1神経回路網モデルを用いて事前に学習されたものである、方法。
【請求項13】
前記医療データと前記出力データとを視覚的に比較するための使用者インターフェースを生成する段階、
をさらに含む、請求項12に記載の方法。
【請求項14】
コンピュータ可読の保存媒体に保存されたコンピュータプログラム(program)であって、
前記コンピュータプログラムは、一つ以上のプロセッサ(processor)によって実行される場合、説明可能な人工知能に基づく医療データの解釈のための動作を実行させ、
前記動作は、
第1医療データに基づいて、前記第1医療データに対する疾患の陽性又は陰性を推定するように第1神経回路網モデルを学習させる動作と、
前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる動作と、
を含む、コンピュータプログラム。
【請求項15】
説明可能な人工知能に基づく医療データの解釈のためのコンピューティング装置であって、
少なくとも一つのコア(core)を含むプロセッサ(processor)と、
前記プロセッサで実行可能なプログラムコード(code)を含むメモリ(memory)と、
医療データを獲得するためのネットワーク部(network unit)と、
を含み、
前記プロセッサは、
第1医療データに基づいて、前記第1医療データに対する疾患の陽性又は陰性を推定するように第1神経回路網モデルを学習させ、
前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の内容は医療分野のディープラーニング技術に関し、具体的には疾患探知に使用されるディープラーニングモデルの意思決定過程を解釈し、解釈結果に基づいて医療データと疾患との間の相関関係を説明する方法に関する。
【0002】
【背景技術】
【0003】
人工知能の最大の限界は、正確な意思決定過程、すなわちブラックボックスの限界を明らかにすることができないという点である。すなわち、我々は人工知能の誤判断に関連した過程及び理由が分からない。このような限界はエラーのモニタリング及び感知を妨げるので、医療分野で致命的であるしかない。このような限界を克服するために、現在、多くの研究が行われている。
【0004】
例えば、従来の研究の中で一つは、疾患を感知するのに重要なデータ領域を表示するために、感度マップ(sensitivity map)を使用する。しかしながら、感度マップは重要であると判断される領域のみを表示し、当該領域のどの特徴が疾患に関連しているかを説明することはできないという欠点がある。従来の研究の中で他の一つは、疾患のそれぞれの特徴を説明するモジュールを統合して疾患を感知するアンサンブル技法を使用する。当該研究は疾患を感知するための決定にどの特徴が関与したかを説明することができる。しかしながら、当該研究はモジュールとして予め決定された特徴のみを使用するので、実質的に人工知能がどの意思決定を実行するかは分からない限界が存在する。
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は前述した背景技術に対応して案出されたものであり、疾患探知のためのディープラーニングモデルの判断及び決定の理由を説明することができ、このような説明に基づいて医療データのどの特徴が疾患に関連するかを解釈することができる方法を提供することを目的とする。
【0007】
ただし、本開示で解決しようとする課題は以上で言及した課題に限定されず、言及しなかった他の課題は下の記載から明らかに理解可能であろう。
【0008】
【課題を解決するための手段】
【0009】
前述したような課題を実現するための本開示の一実施例によって、コンピューティング装置によって実行される、説明可能な人工知能に基づく医療データの解釈方法が開示される。前記方法は、第1医療データに基づいて、前記第1医療データに対する疾患の陽性又は陰性を推定するように第1神経回路網モデルを学習させる段階と、前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる段階と、を含むことができる。
【0010】
代案として、前記第2神経回路網モデルは、前記疾患の陽性又は陰性が前記第2医療データと反対に推定されるように前記第2医療データの特徴を変換することによって第3医療データを生成する第1サブ神経回路網モデルと、前記疾患の陽性又は陰性が前記第2医療データと同じに推定されるように前記第3医療データの特徴を変換することによって第4医療データを生成する第2サブ神経回路網モデルと、を含むことができる。
【0011】
代案として、前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる段階は、前記第2神経回路網モデルを用いて前記第2医療データの特徴を変換し、前記学習された第1神経回路網モデルを用いて前記特徴の変換された第2医療データに対する陽性又は陰性を推定する段階と、前記特徴の変換された第2医療データ、又は前記特徴の変換された第2医療データに対する陽性又は陰性の推定結果のうちの少なくとも一つを入力変数とする損失関数に基づいて前記第2神経回路網モデルを学習させる段階と、を含むことができる。
【0012】
代案として、前記第2神経回路網モデルを用いて前記第2医療データの特徴を変換し、前記学習された神経回路網モデルを用いて前記特徴の変換された第2医療データに対する陽性又は陰性を推定する段階は、前記第2神経回路網モデルに含まれた第1サブ神経回路網モデルに基づいて、陰性と推定される第2医療データの特徴を変換することにより、前記第2医療データと反対の陽性と推定される第3医療データを生成する段階と、前記第2神経回路網モデルに含まれた第2サブ神経回路網モデルに基づいて、前記第3医療データの特徴を変換することにより、前記陰性と推定される第2医療データに対応する第4医療データを生成する段階と、を含むことができる。
【0013】
代案として、前記第2神経回路網モデルを用いて前記第2医療データの特徴を変換し、前記学習された神経回路網モデルを用いて前記特徴の変換された第2医療データに対する陽性又は陰性を推定する段階は、前記第2サブ神経回路網モデルに前記陰性と推定される第2医療データを入力して、前記陰性と推定される第2医療データに対応する第5医療データを生成する段階と、前記学習された第1神経回路網モデルに前記第3医療データを入力して、前記第3医療データに対する前記疾患の陽性又は陰性を推定した結果を示す予測データを生成する段階と、をさらに含むことができる。
【0014】
代案として、前記損失関数は、前記第1サブ神経回路網モデルが前記疾患の陰性に相当する入力の特徴を変換して、前記疾患の陽性に相当する出力を生成するかを評価するための第1損失関数と、前記第2サブ神経回路網モデルが前記第1サブ神経回路網モデルの出力の特徴を変換して、前記第1サブ神経回路網モデルの入力を復元するかを評価するための第2損失関数と、前記第2サブ神経回路網モデルが前記第1サブ神経回路網モデルの入力に基づいて前記第1サブ神経回路網モデルの入力と同じ出力を生成するかを評価するための第3損失関数と、を含むことができる。
【0015】
代案として、前記特徴の変換された第2医療データ、又は前記特徴の変換された第2医療データに対する陽性又は陰性の推定結果のうちの少なくとも一つを入力変数とする損失関数に基づいて前記第2神経回路網モデルを学習させる段階は、前記第4医療データ、前記第5医療データ、又は前記予測データのうちの少なくとも一つを入力変数とする損失関数に基づいて前記第1サブ神経回路網モデル及び前記第2サブ神経回路網モデルを学習させる段階、を含むことができる。
【0016】
代案として、前記第4医療データ、前記第5医療データ、又は前記予測データのうちの少なくとも一つを入力変数とする損失関数に基づいて前記第1サブ神経回路網モデル及び前記第2サブ神経回路網モデルを学習させる段階は、前記予測データを入力変数とする第1損失関数を演算し、前記第1損失関数の演算結果である第1損失が減少するように前記第1サブ神経回路網モデルを学習させる段階と、前記第4医療データを入力変数とする第2損失関数を演算し、前記第2損失関数の演算結果である第2損失が減少するように、前記第1サブ神経回路網モデル、又は前記第2サブ神経回路網モデルのうちの少なくとも一つを学習させる段階と、前記第5医療データを入力変数とする第3損失関数を演算し、前記第3損失関数の演算結果である第3損失が減少するように前記第2サブ神経回路網モデルを学習させる段階と、を含むことができる。
【0017】
代案として、前記第1医療データ及び前記第2医療データは、心電図データを含むことができる。そして、前記疾患は、高カリウム血症(hyperkalemia)を含むことができる。
【0018】
代案として、前記第2医療データの特徴は、前記高カリウム血症が陰性である心電図データと前記高カリウム血症が陽性である心電図データとの間の形態学的(morphological)差に基づき得る。
【0019】
一方、前述したような課題を実現するための本開示の代案的実施例によって、コンピューティング装置によって実行される、説明可能な人工知能に基づく医療データの解釈方法が開示される。前記方法は、心電図データを含む医療データを獲得する段階と、第2神経回路網モデルに基づいて前記医療データの特徴を変換することにより、第1神経回路網モデルによって疾患の陽性又は陰性が前記医療データと反対に推定される出力データを生成する段階と、を含むことができる。ここで、前記第2神経回路網モデルは、医療データに対する疾患の陽性又は陰性を推定するように学習された第1神経回路網モデルを用いて事前に学習されたものであり得る。
【0020】
代案として、前記方法は、前記医療データと前記出力データとを視覚的に比較するための使用者インターフェースを生成する段階、をさらに含むことができる。
【0021】
前述したような課題を実現するための本開示の一実施例によって、コンピュータ可読の保存媒体に保存されたコンピュータプログラム(program)が開示される。前記コンピュータプログラムは、一つ以上のプロセッサ(processor)によって実行される場合、説明可能な人工知能に基づく医療データの解釈のための動作を実行させる。ここで、前記動作は、第1医療データに基づいて、前記第1医療データに対する疾患の陽性又は陰性を推定するように第1神経回路網モデルを学習させる動作と、前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させる動作と、を含むことができる。
【0022】
前述したような課題を実現するための本開示の一実施例によって、説明可能な人工知能に基づく医療データの解釈のためのコンピューティング装置が開示される。前記装置は、少なくとも一つのコア(core)を含むプロセッサ(processor)と、前記プロセッサで実行可能なプログラムコード(code)を含むメモリ(memory)と、医療データを獲得するためのネットワーク部(network unit)と、を含むことができる。ここで、前記プロセッサは、第1医療データに基づいて、前記第1医療データに対する疾患の陽性又は陰性を推定するように第1神経回路網モデルを学習させ、前記学習された第1神経回路網モデルを用いて、第2医療データに対する前記疾患の陽性又は陰性が反対に推定されるように前記第2医療データの特徴を変換する第2神経回路網モデルを学習させることができる。
【0023】
【発明の効果】
【0024】
本開示は疾患探知のためのディープラーニングモデルの判断及び決定の理由を説明することができ、このような説明によって医療データのどの特徴が疾患に関連するかを解釈することができる方法を提供することができる。
【0025】
【図面の簡単な説明】
【0026】
図1】本開示の一実施例によるコンピューティング装置のブロック図である。
【0027】
図2】本開示の一実施例による第1神経回路網モデルを用いた疾患の陽性又は陰性の分類過程を示すブロック図である。
【0028】
図3】本開示の一実施例による第2神経回路網モデルを用いた医療データの解釈過程を示すブロック図である。
【0029】
図4】本開示の一実施例によって学習された第2神経回路網モデルのシミュレーション(simulation)結果を示すグラフである。
【0030】
図5】本開示の一実施例による神経回路網モデルの学習方法を示すフローチャートである。
【0031】
図6】本開示の一実施例による神経回路網モデルを使用した医療データの解釈方法を示すフローチャートである。
【0032】
【発明を実施するための形態】
【0033】
以下では、添付図面を参照して本開示の技術分野で通常の知識を有する者(以下、当業者という)が容易に実施することができるように本開示の実施例を詳細に説明する。本開示で提示する実施例は当業者が本開示の内容を用いるか又は実施することができるように提供する。よって、本開示の実施例に対する多様な変形は当業者に明らかであろう。すなわち、本開示は様々な相異なる形態に具現可能であり、以下の実施例に限定されない。
【0034】
本開示の明細書全般にわたって同一又は類似の図面符号は同一又は類似の構成要素を指す。また、本開示を明確に説明するために、本開示についての説明に関係ない部分の図面符号は図面から省略することができる。
【0035】
本開示で使用する「又は」という用語は排他的「又は」ではなく、内包的「又は」を意味しようとする。すなわち、本開示で、他に特定しないか又は文脈上でその意味が明確ではない場合、「XはA又はBを用いる」は自然的な内包的置換のうちの一つを意味するものと理解しなければならない。例えば、本開示で、他に特定しないか又は文脈上でその意味が明確ではない場合、「XはA又はBを用いる」はXがAを用いるか、XがBを用いるか、又はXがA及びBの両者を用いる場合のうちのいずれか一つと解釈することができる。
【0036】
本開示で使用する「及び/又は」という用語は、列挙する関連の概念のうちの一つ以上の概念の可能なすべての組合せを示しながら含むものと理解しなければならない。
【0037】
本開示で使用する「含む」及び/又は「含んでいる」という用語は、特定の特徴及び/又は構成要素が存在することを意味するものと理解しなければならない。ただし、「含む」及び/又は「含む」という用語は、一つ以上の他の特徴、他の構成要素及び/又はこれらの組合せの存在又は追加を排除しないものと理解しなければならない。
【0038】
本開示で、他に特定しないか又は単数の形態を示すものとして、文脈上明確ではない場合、単数は一般的に「一つ又はそれ以上」を含むことができるものと解釈しなければならない。
【0039】
本開示で使用する「第N(Nは自然数)」という用語は、本開示の構成要素を機能的観点、構造的観点、又は説明の便宜性などの所定の基準によって互いに区別するために使用する表現と理解することができる。例えば、本開示で、互いに異なる機能的役割を行う構成要素は第1構成要素又は第2構成要素に区別することができる。ただし、本開示の技術的思想内で実質的に同一であるが、説明の便宜のために区分しなければならない構成要素も第1構成要素又は第2構成要素に区別することもできる。
【0040】
本開示で使用する「獲得」という用語は、外部装置又はシステムに対して有無線通信ネットワークを介してデータを受信することだけでなく、オンデバイス(on-device)形態としてデータを生成することを意味するものと理解することができる。
【0041】
一方、本開示で使用する用語「モジュール(module)」、又は「部(unit)」は、コンピュータ関連エンティティー(entity)、ファームウエア(firmware)、ソフトウェア(software)又はその一部、ハードウェア(hardware)又はその一部、ソフトウェア及びハードウェアの組合せなどのようにコンピューティング資源を処理する独立的な機能単位を示す用語と理解することができる。ここで、「モジュール」、又は「部」は単一の要素で構成された単位であることもあり、複数の要素の組合せ又は集合と表現される単位であることもある。例えば、協議の概念として「モジュール」、又は「部」はコンピューティング装置のハードウェア要素又はその集合、ソフトウェアの特定の機能を果たす応用プログラム、ソフトウェアの実行によって具現される処理過程(procedure)、又はプログラムの実行のための命令語の集合などを示すことができる。また、広義の概念として「モジュール」、又は「部」はシステムを構成するコンピューティング装置自体、又はコンピューティング装置で実行されるアプリケーションなどを示すことがある。ただし、上述した概念は一例示に過ぎないので、「モジュール」、又は「部」の概念は本開示の内容に基づいて当業者が理解可能な範疇内で多様に定義可能である。
【0042】
本開示で使用する「モデル(model)」という用語は、特定の問題を解決するために、数学的概念及び言語を使用して具現するシステム、特定の問題を解決するためのソフトウェア単位の集合、又は特定の問題を解決するための処理過程に対する抽象画模型と理解することができる。例えば、神経回路網(neural network)「モデル」は学習によって問題解決能力を有する神経回路網として具現されるシステム全般を示すことができる。ここで、神経回路網は、ノード(node)又はニューロン(neuron)を連結するパラメーター(parameter)を学習によって最適化して問題解決能力を有することができる。神経回路網「モデル」は単一の神経回路網を含むこともでき、複数の神経回路網が組み合わせられた神経回路網集合を含むこともできる。
【0043】
本開示で使用する「ブロック(block)」という用語は、種類、機能などのような多様な基準によって区分された構成の集合と理解することができる。よって、一つの「ブロック」に分類される構成は基準によって多様に変更可能である。例えば、神経回路網「ブロック」は少なくとも一つの神経回路網を含む神経回路網集合と理解することができる。ここで、神経回路網「ブロック」に含まれた神経回路網は、分類基準となる共通の目的を達成するために一定の演算を実行するものと仮定することができる。
【0044】
前述した用語の説明は本開示の理解を手伝うためのものである。したがって、前述した用語を本開示の内容を限定する事項として明示的に記載しない場合、本開示の内容を技術的思想を限定する意味として使用するものではではないことに気を付けなければならない。
【0045】
図1は本開示の一実施例によるコンピューティング装置のブロック構成図である。
【0046】
本開示の一実施例によるコンピューティング装置100はデータの総合的な処理及び演算を行うハードウェア装置又はハードウェア装置の一部でもあり、通信ネットワークを介して連結されるソフトウェアに基づくコンピューティング環境でもあり得る。例えば、コンピューティング装置100は集約的データ処理の機能を行い、資源を共有する主体であるサーバーでもあり、サーバーとの相互作用によって資源を共有するクライアント(client)でもあり得る。また、コンピューティング装置100は、複数のサーバー及びクライアントが互いに作用してデータを総合的に処理するクラウドシステム(cloud system)でもあり得る。上述した記載はコンピューティング装置100の種類に関連した一例示に過ぎないので、コンピューティング装置100の種類は本開示の内容に基づいて当業者が理解可能な範疇内で多様に構成可能である。
【0047】
図1を参照すると、本開示の一実施例によるコンピューティング装置100はプロセッサ(processor)110と、メモリ(memory)120と、ネットワーク部(network unit)130と、を含むことができる。ただし、図1は一例示に過ぎないので、コンピューティング装置100は、コンピュータ環境を具現するための他の構成を含むことができる。また、前記開示した構成のうちの一部のみをコンピューティング装置100に含むこともできる。
【0048】
本開示の一実施例によるプロセッサ110はコンピューティング演算を実行するためのハードウェア及び/又はソフトウェアを含む構成単位と理解することができる。例えば、プロセッサ110は、コンピュータプログラムを読み取って機械学習のためのデータ処理を実行することができる。プロセッサ110は、機械学習のための入力データの処理、機械学習のための特徴抽出、逆伝搬(backpropagation)に基づく誤差計算などのような演算過程を処理することができる。このようなデータ処理を実行するためのプロセッサ110は、中央処理装置(CPU:central processing unit)、汎用グラフィック処理装置(GPGPU:general purpose graphics processing unit)、テンソル処理装置(TPU:tensor processing unit)、特定用途向け集積回路(ASIC:application specific integrated circuit)、又はフィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)などを含むことができる。上述したプロセッサ110の種類は一例示に過ぎないので、プロセッサ110の種類は本開示の内容に基づいて当業者が理解可能な範疇内で多様に構成可能である。
【0049】
プロセッサ110は、医療データに基づいて、疾患探知のための人工知能の判断及び意思決定過程の解釈に使用されるディープラーニングモデルに対する学習を実行することができる。プロセッサ110は、特定の疾患の発病に医療データのどの特徴が影響を及ぼすかに対する人工知能の判断の根拠を提供するように、医療データに基づいてディープラーニングモデルを学習させることができる。例えば、プロセッサ110は、ディープラーニングモデルに医療データを入力して、疾患の発病有無(すなわち、陽性又は陰性であるか)が反対に予測されるように、医療データを変換(transformation)することができる。医療データが疾患の発病したヒト(すなわち、陽性のヒト)の医療データの場合、プロセッサ110は、ディープラーニングモデルを使用して、入力された医療データを疾患の発病しなかったヒト(すなわち、陰性のヒト)の医療データと予測されるように変換することができる。医療データが疾患の発病しなかったヒトの医療データの場合、プロセッサ110は、ディープラーニングモデルを使用して、入力された医療データを疾患の発病したヒトの医療データと予測されるように変換することができる。このような変換によって生成されたデータは、疾患の発病有無を基準に、入力と反対の特徴を示すことができる。プロセッサ110は、ディープラーニングモデルによって変換された医療データが示す入力と反対の特徴が明確に表現されるように、ディープラーニングモデルの順伝搬(forward propagation)及び逆伝搬(backpropagation)を繰り返し実行してディープラーニングモデルを学習させることができる。プロセッサ110は、このような過程によって学習されたディープラーニングモデルを使用して、特定の疾患の診断のための人工知能の意思判断及び決定過程を説明することができる根拠を生成することができる。
【0050】
プロセッサ110は、疾患探知のための人工知能の判断及び意思決定過程の解釈のための使用者インターフェースを生成することができる。プロセッサ110は、上述したように学習されたディープラーニングモデルを使用して提供される人工知能の判断根拠を視覚化(visualization)するための使用者インターフェースを生成することができる。例えば、プロセッサ110は、学習されたディープラーニングモデルによって変換された医療データとディープラーニングモデルの入力に相当する変換前の医療データとを互いに比較することができるように、グラフィックに基づく使用者インターフェースを生成することができる。ディープラーニングモデルによって変換された医療データは、疾患の発病有無を基準に、入力と反対の特徴を示すことができる。よって、ディープラーニングモデルによって変換された医療データと変換前の医療データとを比較すると、我々は疾患の発病に医療データのどの特徴が影響を及ぼすかを手軽く把握することができる。また、ディープラーニングモデルによって変換された医療データと変換前の医療データとを比較すると、我々は疾患の探知のための人工知能が疾患の発病に影響を及ぼす医療データの特徴をどのように解釈するかを手軽く把握することができる。このような比較及び把握を使用者が容易に実行することができるようにするために、プロセッサ110は、ディープラーニングモデルによって変換された医療データ及び変換前の医療データをそれぞれグラフィックで表現する使用者インターフェースを生成することができる。
【0051】
本開示の一実施例によるメモリ120はコンピューティング装置100で処理されるデータを保存して管理するためのハードウェア及び/又はソフトウェアを含む構成単位と理解することができる。すなわち、メモリ120は、プロセッサ110が生成するか又は決定した任意の形態のデータ及びネットワーク部130が受信した任意の形態のデータを保存することができる。例えば、メモリ120は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ、RAM(random access memory)、SRAM(static random access memory)、ROM(read-only memory)、EEPROM(electrically erasable programmable read-only memory)、PROM(programmable read-only memory)、磁気メモリ、磁気ディスク、及び光ディスクのうちの少なくとも一つのタイプの保存媒体を含むことができる。また、メモリ120は、データを所定の体制で統制して管理するデータベース(database)システムを含むこともできる。上述したメモリ120の種類は一例示に過ぎないので、メモリ120の種類は本開示の内容に基づいて当業者が理解可能な範疇内で多様に構成可能である。
【0052】
メモリ120は、プロセッサ110が演算を実行するのに必要なデータ、データの組合せ、及びプロセッサ110で実行可能なプログラムコード(code)などを構造化及び組職化して管理することができる。例えば、メモリ120は、後述するネットワーク部130を介して受信した医療データを保存することができる。メモリ120は、神経回路網モデルが医療データを受けて学習を実行するように動作させるプログラムコード、神経回路網モデルが医療データを受け、コンピューティング装置100の使用目的に応じて推論を行うように動作させるプログラムコード、及びプログラムコードが実行されることによって生成された加工データなどを保存することができる。
【0053】
本開示の一実施例によるネットワーク部130は任意の形態の公知の有無線通信システムを介してデータを送受信する構成単位と理解することができる。例えば、ネットワーク部130は、ローカルエリアネットワーク(LAN:local area network)、広帯域符号分割多重接続(WCDMA(登録商標):wideband code division multiple access)、LTE(long term evolution)、ワイブロ(WiBro:wireless broadband internet)、5世代移動通信(5G)、超広帯域無線通信(ultrawide-band)、シグビー(ZigBee(登録商標))、無線周波数(RF:radio frequency)通信、無線LAN(wireless LAN)、ワイファイ(wireless fidelity)、近距離無線通信(NFC:near field communication)、又はブルートゥース(登録商標)(Bluetooth(登録商標))などのような有無線通信システムを使用してデータ送受信を行うことができる。上述した通信システムは一例示に過ぎないので、ネットワーク部130のデータ送受信のための有無線通信システムは上述した例示の他に多様に適用可能である。
【0054】
ネットワーク部130は、任意のシステム又は任意のクライアントなどとの有無線通信を介して、プロセッサ110が演算を実行するのに必要なデータを受信することができる。また、ネットワーク部130は、任意のシステム又は任意のクライアントなどとの有無線通信を介して、プロセッサ110の演算によって生成されたデータを送信することができる。例えば、ネットワーク部130は、病院環境内のデータベース、医療データの標準化などの作業を行うクラウドサーバー、又はコンピューティング装置などとの通信を介して医療データを受信することができる。ネットワーク部130は、前述したデータベース、サーバー、又はコンピューティング装置などとの通信を介して、神経回路網モデルの出力データ、及びプロセッサ110の演算過程で導出される中間データ、加工データなどを送信することができる。
【0055】
図2は本開示の一実施例による第1神経回路網モデルを用いた疾患の陽性又は陰性の分類過程を示すブロック図である。
【0056】
図2を参照すると、本開示の一実施例によるコンピューティング装置100のプロセッサ110は、第1医療データ10に基づいて、疾患探知のための第1神経回路網モデル200に対する学習を実行することができる。プロセッサ110は、第1神経回路網モデル200が疾患の陽性又は陰性を分類するように、第1医療データ10に基づいて第1神経回路網モデル200を学習させることができる。ここで、第1医療データ10は、疾患の診断に形態学的(morphological)解釈が活用される生体信号関連のデータを含むことができる。
【0057】
例えば、プロセッサ110は、第1神経回路網モデル200に第1医療データ10に含まれた心電図データを入力して、第1医療データ10の測定対象に対する高カリウム血症(hyperkalemia)の陽性又は陰性を予測することができる。プロセッサ110は、損失関数を用いて、第1医療データ10に対する高カリウム血症の陽性又は陰性の予測結果をGT(ground truth)と比較することができる。プロセッサ110は、比較結果に基づいて、第1神経回路網モデル200の加重値(weight)などのようなパラメーターを再構成することができる。プロセッサ110は、このような演算を損失関数が収斂するまで繰り返し実行して、第1医療データ10に基づいて第1神経回路網モデル200を学習させることができる。第1神経回路網モデル200の学習は、上述した例示である教師あり学習(supervised learning)以外にも、半教師あり学習(semi-supervised learning)、教師なし学習(unsupervised learning)、強化学習(reinforcement learning)などによって実行することができる。
【0058】
一方、第1神経回路網モデル200は、第1医療データ10から特徴を抽出するための神経回路網210と、抽出された特徴に基づいて疾患の陽性又は陰性を分類するための神経回路網220と、を含むことができる。例えば、第1神経回路網モデル200の特徴抽出のための神経回路網210は、残差(residual)神経回路網を含むことができる。特徴抽出のための神経回路網210はn個(nは自然数)の残差ブロック(block)で構成され得る。n個の残差ブロックのそれぞれは、畳込みレイヤー(convolution layer)、活性化(activation)レイヤー、ドロップアウト(dropout)レイヤー、及びバッチ正規化(batch normalization)レイヤーを含むことができる。第1神経回路網モデル200の分類のための神経回路網220は、特徴抽出のための神経回路網210によって生成された特徴マップをチャネル別に(channel-wise)平均化することができる。分類のための神経回路網220は、全結合レイヤー(FCL:fully connected layer)及びソフトマックス(softmax)活性化レイヤーを介して、疾患が陽性又は陰性である確率を計算することができる。
【0059】
図3は本開示の一実施例による第2神経回路網モデルを用いた医療データの解釈過程を示すブロック図である。
【0060】
本開示の一実施例によるコンピューティング装置100のプロセッサ110は、第2医療データ20に基づいて、疾患探知のための第1神経回路網モデル200の判断及び決定過程の解釈のための第2神経回路網モデルの学習を実行することができる。プロセッサ110は、第2神経回路網モデルが第1神経回路網モデル200のタスク(task)を基準に、第2医療データ20に対する反対因子(counter factor)を生成するように、第2医療データ20に基づいて第2神経回路網モデルを学習させることができる。プロセッサ110は、第2神経回路網モデルが第1神経回路網モデル200のデータ解釈及び意思決定過程を説明するのに使用可能な比較データを生成するように、第2神経回路網モデルを学習させることができる。ここで、プロセッサ110は、第2神経回路網モデルの学習過程で事前に学習された第1神経回路網モデル200を使用することができる。そして、第2医療データ20は、疾患の診断に形態学的解釈が活用される生体信号関連のデータを含むことができる。
【0061】
具体的には、図3を参照すると、プロセッサ110は、第2神経回路網モデルに含まれた第1サブ神経回路網モデル310に基づいて、第2医療データ20の特徴を変換することができる。ここで、第2医療データ20の特徴変換は、第2医療データ20に対する第1神経回路網モデル200の予測結果と反対の結果が導出されるように、第2医療データ20に基づいて新しいデータを生成する演算過程と理解することができる。プロセッサ110は、第1サブ神経回路網モデル310を介して、第2医療データ20と疾患の陽性又は陰性が反対に推定されるように、第2医療データ20の特徴を変換して第3医療データ30を生成することができる。ここで、第1サブ神経回路網モデル310は、第2医療データ20から特徴を抽出するための神経回路網311と、抽出された特徴を変換して疾患の陽性又は陰性が第2医療データ20と反対に推定される第3医療データ30を生成する神経回路網312と、を含むことができる。第1サブ神経回路網モデル310の特徴抽出のための神経回路網311は、第1神経回路網モデル200の特徴抽出のための神経回路網210に対応し得る。よって、第1サブ神経回路網モデル310の学習過程で特徴抽出のための神経回路網311に対する学習は実行せず、第3医療データ30を生成する神経回路網312に対する学習のみを実行することができる。
【0062】
例えば、プロセッサ110は、第2医療データ20に含まれた心電図データを第1サブ神経回路網モデル310に入力することができる。ここで、第2医療データ20に含まれた心電図データは、高カリウム血症が陰性であるヒトの心電図データであり得る。プロセッサ110は、第1サブ神経回路網モデル310を介して、第2医療データ20に含まれた心電図データのPR間隔、QRS持続時間、T振幅などのような形態学的特徴を変換することができる。そして、プロセッサ110は、第1サブ神経回路網モデル310に基づく第2医療データ20の形態学的特徴の変換により、高カリウム血症が陽性と推定される心電図データを含む第3医療データ30を生成することができる。すなわち、プロセッサ110は、第1サブ神経回路網モデル310を使用し、高カリウム血症が陰性である心電図データの形態学的特徴を変換して、第1神経回路網モデル200によって高カリウム血症が陽性と推定される心電図データを生成することができる。
【0063】
プロセッサ110は、第2神経回路網モデルに含まれた第2サブ神経回路網モデル320に基づいて、第3医療データ30の特徴を変換することができる。ここで、第3医療データ30の特徴変換は、第2医療データ20に対する第1神経回路網モデル200の予測結果と同じ結果が導出されるように、第3医療データ30を第2医療データ20に復元する演算過程と理解することができる。プロセッサ110は、第2サブ神経回路網モデル320を介して、第2医療データ20と疾患の陽性又は陰性が同一であると推定されるように第3医療データ30の特徴を変換して、第2医療データ20に対応する第4医療データ40を生成することができる。ここで、第2サブ神経回路網モデル320は、第3医療データ30から特徴を抽出するための神経回路網321と、抽出された特徴を変換して第2医療データ20に対応する第4医療データ40を生成する神経回路網322と、を含むことができる。第2サブ神経回路網モデル320の特徴抽出のための神経回路網321は、第1神経回路網モデル200の特徴抽出のための神経回路網210に対応し得る。よって、第2サブ神経回路網モデル320の学習過程で特徴抽出のための神経回路網321に対する学習は実行せず、第4医療データ40を生成する神経回路網322に対する学習のみを実行することができる。
【0064】
例えば、プロセッサ110は、第1サブ神経回路網モデル310を介して生成された心電図データを含む第3医療データ30を第2サブ神経回路網モデル320に入力することができる。ここで、第3医療データ30に含まれた心電図データは、第1神経回路網モデル200によって高カリウム血症が陽性であると推定されるデータであり得る。プロセッサ110は、第2サブ神経回路網モデル320を介して、心電図のPR間隔、QRS持続時間、T振幅などのような指標を基準に、第3医療データ30に含まれた心電図データの形態学的特徴を変換することができる。そして、プロセッサ110は、第2サブ神経回路網モデル320に基づく第3医療データ30の形態学的特徴の変換により、第2医療データ20に近い第4医療データ40を生成することができる。言い替えれば、プロセッサ110は、第2サブ神経回路網モデル320を介して、第1サブ神経回路網モデル310によって生成された第3医療データ30を再び第2医療データ20に復元する演算を実行することができる。すなわち、プロセッサ110は、第2サブ神経回路網モデル320を使用し、高カリウム血症が陽性であると推定される心電図データの形態学的特徴を変換して、高カリウム血症が陰性の心電図データを生成することができる。
【0065】
上述したように、プロセッサ110は、第1サブ神経回路網モデル310及び第2サブ神経回路網モデル320を使用して第2医療データ20のドメイン(domain)を変換することができる。ここで、第2医療データ20のドメインは、疾患の陽性又は陰性を基準に区分されるドメインと理解することができる。例えば、プロセッサ110は、第1サブ神経回路網モデル310を介して、特定の疾患の陰性ドメインに相当する第2医療データ20を陽性ドメインに変換することができる。プロセッサ110は、第2サブ神経回路網モデル320を介して、陽性ドメインに変換された第2医療データ20を再び陰性ドメインに変換することができる。ここで、第1サブ神経回路網モデル310を用いた陽性ドメイン変換及び第2サブ神経回路網モデル320を用いた陰性ドメイン変換は、第2医療データ20のコンデンツ(content)を最大限維持しながら第2医療データ20のスタイル(style)を変換する演算過程と理解することができる。
【0066】
プロセッサ110は、事前に学習された第1神経回路網モデル200に基づいて、第1サブ神経回路網モデル310が生成した第3医療データ30に対する疾患の陽性又は陰性を予測することができる。プロセッサ110は、事前に学習された第1神経回路網モデル200に第3医療データ30を入力して、第3医療データ30に対する疾患の陽性又は陰性を推定した結果を含む予測データ50を生成することができる。プロセッサ110は、事前に学習された第1神経回路網モデル200を介して、第1サブ神経回路網モデル310が生成した第3医療データ30が第2医療データ20と反対に疾患の陽性又は陰性が予測されるかを確認することができる。すなわち、プロセッサ110は、事前に学習された第1神経回路網モデル200を用いて第1サブ神経回路網モデル310の演算結果を評価することができる。言い替えれば、事前に学習された第1神経回路網モデル200は、第1サブ神経回路網モデル310の演算結果を判別するためのモデルと理解することができる。
【0067】
例えば、プロセッサ110は、第1サブ神経回路網モデル310に、高カリウム血症が陰性である心電図データを含む第2医療データ20を入力して生成された第3医療データ30を第1神経回路網モデル200に入力することができる。プロセッサ110は、第1神経回路網モデル200の特徴抽出神経回路網210を介して、第3医療データ30に含まれた心電図データの特徴を抽出することができる。そして、プロセッサ110は、第1神経回路網モデル200の分類神経回路網220を介して、第3医療データ30の特徴に基づいて第3医療データ30に対する高カリウム血症が陽性又は陰性の確率を含む予測データ50を生成することができる。第1サブ神経回路網モデル310が自分のタスクによって正常に第3医療データ30を生成した場合、第1神経回路網モデル200は、第3医療データ30が高カリウム血症が陽性であると推定された結果を含む予測データ50を出力することができる。すなわち、プロセッサ110は、第1神経回路網モデル200を介して、第1サブ神経回路網モデル310が第2医療データ20の特徴を変換して、第2医療データ20と反対に高カリウム血症が陽性である第3医療データ30を正常に生成したかを評価することができる。
【0068】
プロセッサ110は、第2サブ神経回路網モデル320に第2医療データ20を入力して、第2医療データ20に対応する第5医療データ60を生成することができる。ここで、第5医療データ60の生成は、第2サブ神経回路網モデル320が第2医療データ20に疾患が陽性又は陰性であるかが対応データを生成するかを評価するための演算過程と理解することができる。第2サブ神経回路網モデル320は、基本的に第3医療データ30に基づいて第2医療データ20を復元するタスクを実行することができる。よって、第2サブ神経回路網モデル320に第2医療データ20が入力されると、第2サブ神経回路網モデル320は理論的に第2医療データ20に対応する第5医療データ60を生成しなければならない。すなわち、プロセッサ110は、第2サブ神経回路網モデル320に第2医療データ20を入力して、第2サブ神経回路網モデル320が自分のタスクを正常に実行するかを確認することができる。
【0069】
例えば、プロセッサ110は、第2サブ神経回路網モデル320に高カリウム血症が陰性である心電図データを含む第2医療データ20を入力することができる。プロセッサ110は、第2サブ神経回路網モデル320を介して、第2医療データ20に含まれた心電図データの形態学的特徴を変換して第5医療データ60を生成することができる。第2サブ神経回路網モデル320は入力のコンデンツは維持しながらスタイルを変換することにより、第2医療データ20と同じドメインに相当するデータを生成することが目標なので、第5医療データ60は高カリウム血症が陰性である第2医療データ20と同じデータであり得る。すなわち、第2サブ神経回路網モデル320が自分のタスクによって正常に第5医療データ60を生成した場合、第2サブ神経回路網モデル320は高カリウム血症が陰性である第2医療データ20をそのまま出力するものと理解することができる。
【0070】
図3を参照すると、プロセッサ110は、第1損失関数に基づいて、第1サブ神経回路網モデル310に対する学習を実行することができる。ここで、第1損失関数は、第1サブ神経回路網モデル310が入力の特徴を変換して、入力と疾患の陽性又は陰性が反対の出力を生成するかを評価するための損失関数であり得る。そして、第1損失関数は、第3医療データ30に対する疾患の陽性又は陰性の推定結果を含む予測データ50及びGT(ground truth)を入力変数とすることができる。例えば、第1損失関数は下記の数1のように表現することができる。
【0071】
【数1】
【0072】
ここで、yはGT(ground truth)、
は予測データ50に含まれた陽性又は陰性に対する予測確率である。数1では損失関数としてクロスエントロピー関数を表現しているが、本開示は当該関数に限定されない。
【0073】
プロセッサ110は、予測データ50及びGT(ground truth)を入力変数とする第1損失関数を演算して第1損失を導出することができる。プロセッサ110は、第1損失が減少するように、第1サブ神経回路網モデル310を学習させることができる。すなわち、プロセッサ110は、第1サブ神経回路網モデル310が第1神経回路網モデル200を欺くために、第1損失を低めるように第1サブ神経回路網モデル310のパラメーターを再構成することができる。例えば、第1サブ神経回路網モデル310が高カリウム血症が陰性である心電図データを受ける場合、プロセッサ110は、第1損失関数を繰り返し演算して、第1損失が減少する方向に第1サブ神経回路網モデル310の生成神経回路網312のパラメーターを再構成することができる。ここで、第1サブ神経回路網モデル310の生成神経回路網312のパラメーター再構成は、第1神経回路網モデル200が第1サブ神経回路網モデル310の出力を高カリウム血症が陽性である心電図データと予測するように、第1サブ神経回路網モデル310の生成神経回路網312を学習させる過程と理解することができる。ここで、第1サブ神経回路網モデル310の特徴抽出神経回路網311は第1神経回路網モデル200の特徴抽出神経回路網210に対応するので、第1損失関数を用いた学習過程で第1サブ神経回路網モデル310の特徴抽出神経回路網311の学習は実行しなくてもよい。
【0074】
プロセッサ110は、第2損失関数に基づいて、第1サブ神経回路網モデル310又は第2サブ神経回路網モデル320のうちの少なくとも一つに対する学習を実行することができる。ここで、第2損失関数は、第2サブ神経回路網モデル320が第1サブ神経回路網モデル310の出力の特徴を変換して、第1サブ神経回路網モデル310の入力を復元するかを評価するための損失関数であり得る。そして、第2損失関数は、第1サブ神経回路網モデル310の入力である第2医療データ20及び第3医療データ30に基づいて第2サブ神経回路網モデル320によって生成された第4医療データ40を入力変数とすることができる。すなわち、第2損失関数は、第1サブ神経回路網モデル310の入力と第1サブ神経回路網モデル310の出力に基づく第2サブ神経回路網モデル320の出力とを比較するための関数であり得る。例えば、第2損失関数は下記の数2のように表現することができる。
【0075】
【数2】
【0076】
ここで、xreal は第2医療データ20、xrecover は第4医療データ40である。数2では損失関数として平均平方誤差関数を表現しているが、本開示は当該関数に限定されない。
【0077】
プロセッサ110は、第2医療データ20及び第4医療データ40を入力変数とする第2損失関数を演算して第2損失を導出することができる。プロセッサ110は、第2損失が減少するように、第1サブ神経回路網モデル310又は第2サブ神経回路網モデル320のうちの少なくとも一つを学習させることができる。すなわち、プロセッサ110は、第4医療データ40を第2医療データ20に復元することができるようにするために、第2損失を低めるように、第1サブ神経回路網モデル310又は第2サブ神経回路網モデル320のうちの少なくとも一つのパラメーターを再構成することができる。例えば、第1サブ神経回路網モデル310が高カリウム血症が陰性である心電図データを受ける場合、プロセッサ110は、第2損失関数を繰り返し演算して、第2損失が減少する方向に、第1サブ神経回路網モデル310の生成神経回路網312及び第2サブ神経回路網モデル320の生成神経回路網322のパラメーターを再構成することができる。ここで、生成神経回路網312、322のパラメーターの再構成は、第2サブ神経回路網モデル320が第1サブ神経回路網モデル310の入力と同一である高カリウム血症が陰性である心電図データを生成するように、生成神経回路網312、322を学習させる過程と理解することができる。ここで、第1サブ神経回路網モデル310の特徴抽出神経回路網311及び第2サブ神経回路網モデル320の特徴抽出神経回路網321は第1神経回路網モデル200の特徴抽出神経回路網210に対応するので、第1損失関数を用いた学習過程で特徴抽出神経回路網311、321の学習は実行しなくてもよい。プロセッサ110は、このような第2損失関数による学習を介して、第1サブ神経回路網モデル310の入力と無関係な第2サブ神経回路網モデル320の出力が生成されないように防ぐことができる。言い替えれば、プロセッサ110は、第2損失関数による学習を介して、第2サブ神経回路網モデル320の出力が第1サブ神経回路網モデル310の入力のコンデンツを最大限維持しながらスタイルのみが変換された形態になるようにすることができる。
【0078】
プロセッサ110は、第3損失関数に基づいて、第2サブ神経回路網モデル320に対する学習を実行することができる。ここで、第3損失関数は、第2サブ神経回路網モデル320が第1サブ神経回路網モデル310の入力に基づいて第1サブ神経回路網モデル310の入力と同じ出力を生成するかを評価するための損失関数であり得る。そして、第3損失関数は、第1サブ神経回路網モデル310の入力である第2医療データ20及び第3医療データ30に基づいて、第2サブ神経回路網モデル320によって生成された第5医療データ60を入力変数とすることができる。すなわち、第3損失関数は、第1サブ神経回路網モデル310の入力及び第1サブ神経回路網モデル310の入力に基づく第2サブ神経回路網モデル320の出力を比較するための関数であり得る。例えば、第3損失関数は下記の数3のように表現することができる。
【0079】
【数3】
【0080】
ここで、xreal は第2医療データ20、xiden は第5医療データ60である。数3では損失関数として平均平方誤差関数を表現しているが、本開示は当該関数に限定されない。
【0081】
プロセッサ110は、第2医療データ20及び第5医療データ60を入力変数とする第3損失関数を演算して第3損失を導出することができる。プロセッサ110は、第3損失が減少するように、第2サブ神経回路網モデル320を学習させることができる。すなわち、プロセッサ110は、第5医療データ60と第2医療データ20との間の差が最小になるようにするために、第3損失を低めるように、第2サブ神経回路網モデル320のパラメーターを再構成することができる。例えば、第2サブ神経回路網モデル320が高カリウム血症が陰性である心電図データを受ける場合、プロセッサ110は、第3損失関数を繰り返し演算して、第3損失が減少する方向に、第2サブ神経回路網モデル320の生成神経回路網322のパラメーターを再構成することができる。ここで、第2サブ神経回路網モデル320の生成神経回路網322のパラメーターの再構成は、第2サブ神経回路網モデル320が入力された心電図データと同一である高カリウム血症が陰性である心電図データを生成するように、第2サブ神経回路網モデル320の生成神経回路網322を学習させる過程と理解することができる。ここで、第2サブ神経回路網モデル320の特徴抽出神経回路網321は第1神経回路網モデル200の特徴抽出神経回路網210に対応するので、第3損失関数を用いた学習過程で第2サブ神経回路網モデル320の特徴抽出神経回路網321の学習は実行しなくてもよい。このような第3損失関数による学習を介して、第2サブ神経回路網モデル320は変換すべきデータのドメインを正確に識別することができる。すなわち、プロセッサ110は、第3損失関数による学習を介して、第2サブ神経回路網モデル320が第1サブ神経回路網モデル310の入力と同じドメインを生成するように、第2サブ神経回路網モデル320を学習させることができる。
【0082】
一方、第1サブ神経回路網モデル310及び第2サブ神経回路網モデル320を含む第2神経回路網モデルの学習のための損失関数は、第1損失関数、第2損失関数及び第3損失関数の和で表現することができる。すなわち、プロセッサ110は、上述したそれぞれの損失関数の演算結果として導出された損失の総和を減少する方向に、第2神経回路網モデルを学習させることができる。このような学習を介して、第2神経回路網モデルは、第1神経回路網モデル200が医療データのどの特徴を解釈して疾患の陽性又は陰性を予測したかを説明することができる根拠として、入力された医療データに対する反対因子を生成することができる。
【0083】
上述したように、第2神経回路網モデルが入力された医療データに対する反対因子を生成するように学習されると、医療データに対する第1神経回路網モデル200の予測結果と医療データを受けた第2神経回路網モデルの出力に対する第1神経回路網モデル200の予測結果とは正反対に導出され得る。例えば、医療データに対する事前に学習された第1神経回路網モデル200の予測結果が陰性であると、医療データを受けた第2神経回路網モデルの出力に対する事前に学習された第1神経回路網モデル200の予測結果は陽性であり得る。よって、第2神経回路網モデルの入力と第2神経回路網モデルの出力とを比較すると、第1神経回路網モデル200が医療データのどの特徴に基づいて疾患の陽性又は陰性を判断したかを手軽く説明することができる。すなわち、第2神経回路網モデルは、第1神経回路網モデル200のデータ解釈及び意思決定過程を説明するのに効果的に使用可能である。
【0084】
図4は本開示の一実施例によって学習された第2神経回路網モデルのシミュレーション結果を示すグラフである。
【0085】
本開示の一実施例によって学習された第2神経回路網モデルの検証のために、高カリウム血症が陰性に分類された患者の心電図記録から、1秒の間隔で2秒単位のウィンドウ(window)を移動して9個の陰性サンプルを抽出した。そして、9個の陰性サンプルは学習された第2神経回路網モデルに入力して陽性サンプルに変換した。図4はサンプルの比較結果を示す。図4で重畳して表現された3個のグラフはそれぞれ陰性サンプルに相当する第1グラフ81、第2神経回路網モデルによって生成された陽性サンプルに相当する第2グラフ82、及び高カリウム血症が実際に陽性と診断された患者のサンプルに相当する第3グラフ83である。
【0086】
第1グラフ81と第2グラフ82とを比較して見ると、第2神経回路網モデルによって生成された陽性サンプルは、陰性サンプルよりもQRS持続時間及びPR間隔がそれぞれ平均1.14倍、1.64倍に大きく現れることを確認することができる。そして、第2神経回路網モデルによって生成された陽性サンプルでTall Tがある比率は45.34%であることから、陰性サンプルよりも2倍以上に有意に増加することを確認することができる。ここで、Tall Tは、T振幅がRピーク振幅の半分以上の場合と理解することができる。そして、第2グラフ82と第3グラフ83とを比較して見ると、第2グラフ82が第3グラフ83と類似の変化様相を示すことを確認することができる。
【0087】
上述した結果を見ると、本開示の一実施例によって学習された第2神経回路網モデルは、高カリウム血症の陽性又は陰性の予測に影響を及ぼす心電図の形態学的特徴を適切に変換して提案することができることが分かる。すなわち、本開示の一実施例によって学習された第2神経回路網モデルを使用すると、疾患の診断のための神経回路網モデル(例えば、本開示の第1神経回路網モデル)が心電図のどの形態学的特徴を考慮して高カリウム血症の陽性又は陰性を予測するかに対する基準を説明することができる。
【0088】
図5は本開示の一実施例による神経回路網モデルの学習方法を示すフローチャートである。
【0089】
図5を参照すると、本開示の一実施例によるコンピューティング装置100は、第1医療データに基づいて、第1医療データに対する疾患の陽性又は陰性を推定するように、第1神経回路網モデルを学習させることができる(S110)。ここで、第1医療データは心電図のような逐次(sequential)情報を含む生体信号関連のデータであり得る。そして、第1神経回路網モデルが推定する疾患は高カリウム血症であり得る。高カリウム血症は極度に危ないレベルまで無症状の場合が多いので、特に病院の外では高カリウム血症の診断が難しい。よって、非侵襲的で日常生活で獲得することができる心電図を用いて高カリウム血症を診断することが注目されている実情である。このような必要性に応じて、第1神経回路網モデルは、心電図データを受けて心電図データの測定対象に対する高カリウム血症の発病有無を分類するモデルであり得る。ただし、データ及び疾患の種類は一例示に過ぎないので、本開示の第1神経回路網モデルのタスクは上述した例示に限定されない。
【0090】
コンピューティング装置100は、S110段階で学習された第1神経回路網モデルを用いて、第2医療データに対する疾患の陽性又は陰性が反対に推定されるように、第2医療データの特徴を変換する第2神経回路網モデルを学習させることができる(S120)。ここで、第2神経回路網モデルは、第1神経回路網モデルの判断及び意思決定過程を説明するための根拠を提案するモデルと理解することができる。第2医療データは、第1医療データと同様に、心電図のような逐次情報を含む生体信号関連のデータであり得る。そして、第2医療データに対する疾患は高カリウム血症であり得る。
【0091】
具体的には、コンピューティング装置100は、第2神経回路網モデルを用いて第2医療データの特徴を変換することができる。コンピューティング装置100は、S110段階で学習された第1神経回路網モデルを用いて、特徴の変換された第2医療データに対する陽性又は陰性を推定することができる。ここで、第2神経回路網モデルは、疾患の陽性又は陰性が第2医療データと反対に推定されるように、第2医療データの特徴を変換することにより、第3医療データを生成する第1サブ神経回路網モデルと、疾患の陽性又は陰性が第2医療データと同じに推定されるように第3医療データの特徴を変換することにより、第4医療データを生成する第2サブ神経回路網モデルと、を含むことができる。
【0092】
例えば、コンピューティング装置100は、第2神経回路網モデルに含まれた第1サブ神経回路網モデルに基づいて、陰性と推定される第2医療データの特徴を変換することにより、第2医療データと反対の陽性と推定される第3医療データを生成することができる。第2医療データが高カリウム血症が陰性と診断された患者の心電図データであれば、コンピューティング装置100は、第2神経回路網モデルに含まれた第1サブ神経回路網モデルを介して、第2医療データの形態学的特徴を変換して、第1神経回路網モデルによって高カリウム血症が陽性と推定される心電図データである第3医療データを生成することができる。すなわち、第1サブ神経回路網モデルは、高カリウム血症が陰性である心電図データと高カリウム血症が陽性である心電図データとの間の形態学的差に基づいてデータの特徴を変換する演算を実行することができる。
【0093】
コンピューティング装置100は、第2神経回路網モデルに含まれた第2サブ神経回路網モデルに基づいて、第3医療データの特徴を変換することにより、陰性と推定される第2医療データに対応する第4医療データを生成することができる。第3医療データが第1神経回路網モデルによって高カリウム血症が陽性と推定される心電図データであると、コンピューティング装置100は、第2神経回路網モデルに含まれた第2サブ神経回路網モデルを介して、第3医療データの形態学的特徴を変換して、第2医療データに対応する第4医療データを生成することができる。すなわち、第2サブ神経回路網モデルは、高カリウム血症が陰性である心電図データと高カリウム血症が陽性である心電図データとの間の形態学的差に基づいてデータの特徴を変換する演算を実行することができる。
【0094】
コンピューティング装置100は、S110段階で学習された第1神経回路網モデルに第3医療データを入力して、第3医療データに対する疾患の陽性又は陰性を推定した結果を示す予測データを生成することができる。第2医療データが高カリウム血症が陰性と診断された患者の心電図データであると、第1サブ神経回路網モデルによって生成された第3医療データは、第1神経回路網モデルによって高カリウム血症が陽性であると推定されなければならない。よって、第1サブ神経回路網モデルが正常に第3医療データを生成したかを評価するために、コンピューティング装置100は、第1神経回路網モデルを介して第3医療データを分析して、高カリウム血症が陽性であるデータに相当するかを確認することができる。
【0095】
コンピューティング装置100は、第2サブ神経回路網モデルに陰性と推定される第2医療データを入力して、陰性と推定される第2医療データに対応する第5医療データを生成することができる。第2医療データが高カリウム血症が陰性と診断された患者の心電図データであると、第2サブ神経回路網モデルによって生成された第5医療データも、第2医療データと同様に、第1神経回路網モデルによって高カリウム血症が陰性であると推定されなければならない。よって、第2サブ神経回路網モデルが正常にデータのドメインを識別しているかを評価するために、コンピューティング装置100は、第2サブ神経回路網モデルが第2医療データと同じデータを生成するかを確認することができる。
【0096】
そして、コンピューティング装置100は、特徴の変換された第2医療データ、又は特徴の変換された第2医療データに対する陽性又は陰性の推定結果のうちの少なくとも一つを入力変数とする損失関数に基づいて、第2神経回路網モデルを学習させることができる。言い替えれば、コンピューティング装置100は、第4医療データ、第5医療データ、又は予測データのうちの少なくとも一つを入力変数とする損失関数に基づいて、第2神経回路網モデルに含まれた第1サブ神経回路網モデル及び第2サブ神経回路網モデルを学習させることができる。ここで、損失関数は、第1サブ神経回路網モデルが疾患の陰性に相当する入力の特徴を変換して、疾患の陽性に相当する出力を生成するかを反映するための第1損失関数と、第2サブ神経回路網モデルが第1サブ神経回路網モデルの出力の特徴を変換して、第1サブ神経回路網モデルの入力を復元するかを反映するための第2損失関数と、第2サブ神経回路網モデルが第1サブ神経回路網モデルの入力に基づいて第1サブ神経回路網モデルの入力と同じ出力を生成するかを反映するための第3損失関数と、を含むことができる。
【0097】
例えば、コンピューティング装置100は、予測データを入力変数とする第1損失関数を演算し、第1損失関数の演算結果である第1損失が減少するように、第1サブ神経回路網モデルを学習させることができる。第2医療データが高カリウム血症が陰性と診断された患者の心電図データであると、コンピューティング装置100は、第1損失関数を介して、予測データと高カリウム血症が陽性である心電図データに相当するGT(ground truth)とを比較することができる。コンピューティング装置100は、比較結果として導出された第1損失を最小化する方向に、第1サブ神経回路網モデルの神経回路網パラメーターをアップデートすることができる。ここで、第1損失を最小化するというのは、第1サブ神経回路網モデルが生成した第3医療データを第1神経回路網モデルが本当に高カリウム血症が陽性と診断された患者の心電図データと認識するように、第1サブ神経回路網モデルを学習させることと理解することができる。
【0098】
コンピューティング装置100は、第4医療データを入力変数とする第2損失関数を演算し、第2損失関数の演算結果である第2損失が減少するように、第1サブ神経回路網モデル又は第2サブ神経回路網モデルのうちの少なくとも一つを学習させることができる。第2医療データが高カリウム血症が陰性と診断された患者の心電図データであると、コンピューティング装置100は、第1損失関数を介して第2医療データと第4医療データとを比較することができる。コンピューティング装置100は、比較結果として導出された第2損失を最小化する方向に、第1サブ神経回路網モデル又は第2サブ神経回路網モデルのうちの少なくとも一つの神経回路網パラメーターをアップデートすることができる。ここで、第2損失を最小化するというのは、第2サブ神経回路網モデルが生成した第4医療データが第3医療データから第2医療データを復元したデータに相当するように、第1サブ神経回路網モデル又は第2サブ神経回路網モデルのうちの少なくとも一つを学習させることと理解することができる。
【0099】
コンピューティング装置100は、第5医療データを入力変数とする第3損失関数を演算し、第3損失関数の演算結果である第3損失が減少するように、第2サブ神経回路網モデルを学習させることができる。第2医療データが高カリウム血症が陰性と診断された患者の心電図データであると、コンピューティング装置100は、第3損失関数を介して第2医療データと第5医療データとを比較することができる。コンピューティング装置100は、比較結果として導出された第3損失を最小化する方向に、第2サブ神経回路網モデルの神経回路網パラメーターをアップデートすることができる。ここで、第3損失を最小化するというのは、第2サブ神経回路網モデルが第2医療データと同じ第5医療データを出力することができるように、第2サブ神経回路網モデルを学習させることと理解することができる。
【0100】
上述したように学習された第2神経回路網モデルは、解釈対象である第1神経回路網モデルの構造に依存しないという利点を有する。すなわち、本開示の一実施例による第2神経回路網モデルは、疾患の陽性又は陰性を分類するモデルであれば、何の構造のモデルでも解釈することができる柔軟性を有するという利点がある。また、本開示の一実施例による第2神経回路網モデルは、学習のために対をなす(paired)データが必ずしも必要ではないという利点を有する。他の二つの条件で、心電図の形態学的差を分析するために、同じ患者から二つの心電図を準備する必要がないので、第2神経回路網モデルの学習のためのデータの収集が容易であるしかない。本開示の一実施例による第2神経回路網モデルは、対をなしていない(unpaired)データセットで両グループの間の形態学的差を認識し、入力に対する反対要因を生成することができるからである。
【0101】
図6は本開示の一実施例による神経回路網モデルを使用した医療データの解釈方法を示すフローチャートである。
【0102】
図6を参照すると、本開示の一実施例によるコンピューティング装置100は、心電図データを含む医療データを獲得することができる(S210)。例えば、コンピューティング装置100がクラウドシステムのサーバー又はクライアントの場合、コンピューティング装置100は病院環境内のデータベースとの通信又は心電図測定機器との通信を介して心電図データを受信することができる。コンピューティング装置100が病院環境内のデータベースの場合、コンピューティング装置100は、病院環境内の心電図測定機器などとの通信を介して心電図データを生成することができる。また、コンピューティング装置100が心電図測定機器の場合、コンピューティング装置100は自ら心電図測定過程を実行して心電図データを生成することができる。
【0103】
コンピューティング装置100は、第2神経回路網モデルに基づいて、S210段階で獲得した医療データの特徴を変換することにより、疾患の陽性又は陰性が医療データと反対に推定される出力データを生成することができる(S220)。ここで、第2神経回路網モデルは、医療データに対する疾患の陽性又は陰性を推定するように学習された第1神経回路網モデルを用いて事前に学習されたものであり得る。事前に学習された第1神経回路網モデルを用いた第2神経回路網モデルの学習過程は上述した図5の内容と同一であるので、以下では具体的な説明を省略する。例えば、コンピューティング装置100が高カリウム血症が陰性と判定された心電図データを獲得した場合、コンピューティング装置100は、獲得した心電図データを第2神経回路網モデルに入力して心電図データの形態学的特徴を変換することができる。ここで、第2神経回路網モデルは、出力として生成されるデータが高カリウム血症の陽性と判定されるようにするために、心電図のPR間隔、QRS持続時間、T振幅などのような指標を基準に、入力心電図データの形状を変形することができる。コンピューティング装置100は、第2神経回路網モデルを用いた特徴変換により、高カリウム血症が陽性と判定可能な電図データを生成することができる。ここで、第2神経回路網モデルの出力に相当する心電図データは、高カリウム血症の陽性又は陰性を分類する第1神経回路網モデルによって陽性と判定可能な心電図データであり得る。
【0104】
コンピューティング装置100は、S110段階で獲得した医療データとS120段階で生成された第2神経回路網モデルの出力データとを視覚的に比較するための使用者インターフェースを生成することができる(S230)。S120段階で生成された第2神経回路網モデルの出力データはS110段階で獲得した医療データと、疾患の陽性又は陰性を基準に、反対の要因を示し得る。すなわち、S120段階で生成された第2神経回路網モデルの出力データは、疾患の陽性又は陰性を分類するための人工知能の判断過程を説明することができる根拠となることができる。よって、使用者がS110段階で獲得した医療データとS120段階で生成された第2神経回路網モデルの出力データとの比較によって人工知能の判断過程を手軽く理解することができるようにするために、コンピューティング装置100は、両データを視覚的に比較する使用者インターフェースを生成することができる。
【0105】
例えば、コンピューティング装置100は、図4のように、S110段階で獲得した医療データ及びS120段階で生成された第2神経回路網モデルの出力データのそれぞれをグラフ形態のグラフィックで生成することができる。ここで、コンピューティング装置100は、使用者インターフェースの一領域によってグラフ形態のグラフィックで生成された両データを具現することができる。両データの間の比較を容易にするために、コンピューティング装置100は、使用者インターフェースの一領域にグラフ形態のグラフィックを重畳して表示することができる。ここで、コンピューティング装置100は、重畳したグラフに対する明確な比較のために、スケール(scale)を一致させる作業を実行することができる。
【0106】
一方、コンピューティング装置100は、使用者インターフェースをクライアントと共有して、クライアントを介してグラフィックを使用者に提供することができる。コンピューティング装置100は自体の入出力部を介して使用者インターフェースを具現し、グラフィックを使用者に提供することもできる。
【0107】
前述した本開示の多様な実施例は追加の実施例と結合することができ、上述した詳細な説明から当業者が理解することができる範疇内で変更可能である。本開示の実施例はすべての面で例示的なものであり、限定的ではないものと理解しなければならない。例えば、単一型として説明したそれぞれの構成要素は分散して実施することもでき、同様に分散されたものとして説明した構成要素も結合した形態として実施することができる。よって、本開示の特許請求の範囲の意味、範囲及びその均等概念から導出されるすべての変更又は変形の形態を本開示の範囲に含まれるものと解釈しなければならない。
【符号の説明】
【0108】
100 :コンピューティング装置
110 :プロセッサ
120 :メモリ
130 :ネットワーク部
200 :第1神経回路網モデル
210 :特徴抽出神経回路網
220 :分類神経回路網
310 :第1サブ神経回路網モデル
311 :特徴抽出神経回路網
312 :生成神経回路網
320 :第2サブ神経回路網モデル
321 :特徴抽出神経回路網
322 :生成神経回路網
図1
図2
図3
図4
図5
図6
【国際調査報告】