(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-19
(54)【発明の名称】病変読影法
(51)【国際特許分類】
G16H 30/40 20180101AFI20231212BHJP
G16H 50/20 20180101ALI20231212BHJP
A61B 6/03 20060101ALI20231212BHJP
【FI】
G16H30/40
G16H50/20
A61B6/03 360J
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023534745
(86)(22)【出願日】2021-08-25
(85)【翻訳文提出日】2023-06-07
(86)【国際出願番号】 KR2021011331
(87)【国際公開番号】W WO2022131479
(87)【国際公開日】2022-06-23
(31)【優先権主張番号】10-2020-0174710
(32)【優先日】2020-12-14
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】520047532
【氏名又は名称】ビュノ インコーポレイテッド
【氏名又は名称原語表記】VUNO, INC.
【住所又は居所原語表記】9F, 479, Gangnam-daero, Seocho-gu, Seoul 06541 REPUBLIC OF KOREA
(74)【代理人】
【識別番号】240000327
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】パク ビョンヘ
(72)【発明者】
【氏名】チョン キュワン
(72)【発明者】
【氏名】キム セユン
【テーマコード(参考)】
4C093
5L099
【Fターム(参考)】
4C093AA22
4C093DA03
4C093FF17
4C093FF23
4C093FF42
5L099AA04
5L099AA26
(57)【要約】
病変読影法であって、医療データを第1、第2のニューラルネットワークモデルに入力し、上記医療データから、病変読影を行う対象(object)領域を割り出し、特定の病変に係る少なくとも1つの所見(finding)領域を割り出す段階と、上記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する段階と、上記所見領域の体積及び位置に基づき、上記医療データに対する結果情報を生成する段階とを含むことが可能である。
【特許請求の範囲】
【請求項1】
医療データを第1、第2のニューラルネットワークモデルに入力し、前記医療データから、病変読影を行う対象(object)領域を割り出し、特定の病変に係る少なくとも1つの所見(finding)領域を割り出す段階;
前記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する段階;及び、
前記所見領域の体積及び位置に基づき、前記医療データに対する結果情報を生成する段階を含む、
病変読影法。
【請求項2】
請求項1において、
前記対象領域と、特定の病変に係る少なくとも1つの所見領域を割り出す段階は、
前記医療データを第1のニューラルネットワークモデルに入力し、前記医療データから病変読影を行う前記対象領域を割り出す段階;及び
前記医療データを第2のニューラルネットワークモデルに入力し、前記医療データから前記特定の病変に係る少なくとも1つの所見領域を割り出す段階を含む、
病変読影法。
【請求項3】
請求項1において、
前記対象領域と、特定の病変に係る少なくとも1つの所見領域を割り出す段階は、
前記医療データを第1のニューラルネットワークモデルに入力し、前記医療データから前記病変読影を行う対象領域を割り出す段階;及び
前記第1のニューラルネットワークモデルを通じて割り出された対象領域を含む医療データを、第2のニューラルネットワークモデルに入力し、前記対象領域から前記特定の病変に係る少なくとも1つの所見領域を割り出す段階を含む、
病変読影法。
【請求項4】
請求項1において、
前記医療データから前記特定の病変に係る少なくとも1つの所見領域を割り出す段階は、
前記医療データから呼吸器疾患に関連する病変に係る複数の所見領域を割り出す段階を含み、そして、
前記複数の所見領域は、
すりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域と含む、
病変読影法。
【請求項5】
請求項1において、
前記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する段階は、
前記対象領域の体積を算出する段階;
前記対象領域内に含まれている所見領域の体積及び位置を算出する段階;及び
前記対象領域に対する前記所見領域の相対的な体積の割合を算出する段階を含む、
病変読影法。
【請求項6】
請求項5において、
前記所見領域が複数ある場合、前記複数の所見領域の体積の総和と、前記対象領域に対する前記複数の所見領域の相対的な体積の総和の割合を算出する段階をさらに含む、
病変読影法。
【請求項7】
請求項1において、
前記所見領域の体積及び位置に基づき、前記医療データに対する結果情報を生成する段階は、
前記所見領域の体積及び位置に対応する定量化されたデータを、第3のニューラルネットワークモデルに入力し、前記医療データに対する結果情報を生成する、
病変読影法。
【請求項8】
請求項1において、
前記所見領域の体積及び位置に基づき、前記医療データに対する結果情報を生成する段階は、
前記所見領域の体積及び位置に対応する定量化されたデータを、第3のニューラルネットワークモデルに入力し、前記医療データを所定のクラスに分類する、
病変読影法。
【請求項9】
請求項8において、
前記クラスは、前記医療データに適用できる、呼吸器疾患に関連するクラスであり、そして、
前記クラスは、正常・異常・軽傷・重症と、治療の予後に該当する低危険度・中危険度・高危険度と、呼吸器疾患の種類とのうち、少なくとも1つを含む、
病変読影法。
【請求項10】
請求項1において、
前記所見領域の体積及び位置に基づき、前記医療データに対する結果情報を生成する段階は、
前記所見領域が複数ある場合、肺の体積に対する各所見領域の相対的な体積、絶対的な体積、位置と、各肺葉の体積に対する各所見領域の相対的な体積、絶対的な体積、位置に基づき、前記医療データに含まれている呼吸器疾患の予測確率のスコアを算出し、
前記各所見領域は、すりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域のうち、いずれか1つである、
病変読影法。
【請求項11】
病変読影を行うために用いられるユーザー端末であって、
1つ以上のコアを含むプロセッサー;
メモリー;及び
ユーザーインターフェースを提供する出力部を含み、
前記ユーザーインターフェースは、
医療データの入力に対する応答として、前記医療データに対する結果情報を表示し、そして
前記医療データに対する結果情報は、
前記医療データから割り出された病変読影を行う対象(object)領域と特定の病変に係る少なくとも1つの所見(finding)領域とに基づき、前記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出した結果をもとに、生成された、
病変読影を行うために用いられるユーザー端末。
【請求項12】
請求項11において、
前記医療データに対する結果情報は、
前記病変読影を行う対象領域内に含まれている所見領域の分布画像と、呼吸器疾患に対する予測確率情報と、前記病変読影を行う対象領域と前記対象領域内に含まれている所見領域に係る要約情報とのうち、少なくともいずれか1つを含む、
病変読影を行うために用いられるユーザー端末。
【請求項13】
請求項11において、
前記ユーザーインターフェースは、
ユーザーからの入力に対する応答として、前記医療データに対する結果情報を表示し、そして
前記医療データに対する結果情報は、
前記対象領域に含まれている少なくとも1つの所見領域の体積及び位置に基づいて生成された結果情報が保存されているデータベースから抽出された、
病変読影を行うために用いられるユーザー端末。
【請求項14】
病変読影法を提供するためのコンピューティング装置であって、
1つ以上のコアを含むプロセッサー;及び
メモリー;
を含み、
前記プロセッサーは、
医療データを第1、第2のニューラルネットワークモデルに入力し、前記医療データから、病変読影を行う対象(object)領域を割り出し、特定の病変に係る少なくとも1つの所見(finding)領域を割り出し、
前記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出し、そして、
前記所見領域の体積及び位置に基づき、前記医療データに対する結果情報を生成する、
コンピューティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、病変を読影する方法に係り、より具体的には、医療データに含まれている病変に係る情報を解析する方法に関する。
【背景技術】
【0002】
一般的に医療画像は、患者の体内を確認できるようにすることで、患者に対する医者の診断に大いに役立っている。例えば、心臓、肺、気管支等における異常の有無を医療画像を通じて確認できる。
【0003】
しかし、一部の医療画像の場合、読影の難易度が高く、数年以上経験を積んでいる医療関係者でも、中々迅速に判断をくだせない場合がある。特に、肺CT検査画像の場合、結節の種類が多岐に渡るが、かかる種々の結節に対する読影の難易度は非常に高い。また、医療画像に含まれている微細な異常は、目視による読影では、見逃す可能性がある。
【0004】
最近は、入力された画像で直接読影を行うことのできる人工知能モデルを利用することもある。しかし、この方法は、データ量が不十分な場合や収集されたデータが不適切な場合に起きる過適合問題が発生する可能性があることや人工知能モデルがどの部分を見て判定しているのかの確認が不可能であることから、活用度が落ちる可能性があると考えられる。
【0005】
従って、医者の医療画像読影及び病変の診断をサポートするというニーズが当業界に存在すると考えられる。
【0006】
大韓民国公開特許公報第2019-0105461号は、コンピューター補助診断システムについて開示している。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、前述の背景技術に鑑みて案出されたものであり、医療データに含まれている病変情報を読み取る、病変読影法を提供することを目的とする。
【課題を解決するための手段】
【0008】
前述の課題を実現するための、本開示の一実施例に基づく病変読影法は、医療データを第1、第2のニューラルネットワークモデルに入力し、上記医療データから、病変読影を行う対象(object)領域を割り出し、特定の病変に係る少なくとも1つの所見(finding)領域を割り出す段階と、上記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する段階と、上記所見領域の体積及び位置に基づき、上記医療データに対する結果情報を生成する段階とを含むことが可能である。
【0009】
病変読影法の代替の実施例において、上記病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域を割り出す段階は、上記医療データを第1のニューラルネットワークモデルに入力し、上記医療データから病変読影を行う対象領域を割り出す段階と、上記医療データを第2のニューラルネットワークモデルに入力し、上記医療データから上記特定の病変に係る少なくとも1つの所見領域を割り出す段階とを含むことが可能である。
【0010】
病変読影法の代替の実施例において、上記医療データから病変読影を行う対象領域を割り出す段階では、上記医療データがCT画像を含み、上記病変読影を行う対象領域が肺及び肺葉を含むことが可能である。
【0011】
病変読影法の代替の実施例において、上記医療データから上記特定の病変に係る少なくとも1つの所見領域を割り出す段階は、上記医療データから呼吸器疾患に関連する病変に係る複数の所見領域を割り出す段階を含む。そして上記複数の所見領域は、すりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域とを含むことが可能である。
【0012】
病変読影法の代替の実施例において、上記医療データを第1のニューラルネットワークモデルに入力し、上記医療データから上記病変読影を行う対象領域を割り出す段階と、上記第1のニューラルネットワークモデルを通じて割り出された対象領域を含む医療データを、第2のサブニューラルネットワークモデルに入力し、上記対象領域から上記特定の病変に係る少なくとも1つの所見領域を割り出す段階とを含むことが可能である。
【0013】
病変読影法の代替の実施例において、上記病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する段階は、上記対象領域の体積を算出する段階と、上記対象領域内に含まれている所見領域の体積及び位置を算出する段階と、上記対象領域に対する上記所見領域の相対的な体積の割合を算出する段階と、を含むことが可能である。
【0014】
病変読影法の代替の実施例において、上記病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する段階は、上記所見領域が複数ある場合、上記複数の所見領域の体積の総和と、上記対象領域に対する上記複数の所見領域の相対的な体積の総和の割合を算出する段階と、をさらに含むことが可能である。
【0015】
病変読影法の代替の実施例において、上記病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する段階は、上記所見領域の位置に基づき、上記所見領域の分布度を算出できる。
【0016】
病変読影法の代替の実施例において、上記所見領域の体積及び位置に基づき、上記医療データに対する結果情報を生成する段階は、上記所見領域の体積及び位置に対応する定量化されたデータを、第3のニューラルネットワークモデルに入力し、上記医療データに対する結果情報を生成できる。
【0017】
病変読影法の代替の実施例において、上記所見領域の体積及び位置に基づき、上記医療データに対する結果情報を生成する段階は、上記所見領域の体積及び位置に対応する定量化されたデータを、第3のニューラルネットワークモデルに入力し、上記医療データを所定のクラスに分類できる。
【0018】
病変読影法の代替の実施例において、上記クラスは、上記医療データに適用できる、呼吸器疾患に関連するクラスであり、上記クラスは、正常・異常・軽傷・重症と、治療の予後に該当する低危険度・中危険度・高危険度と、呼吸器疾患の種類とのうち、少なくとも1つを含むことが可能である。
【0019】
病変読影法の代替の実施例において、上記所見領域の体積及び位置に基づき、上記医療データに対する結果情報を生成する段階は、上記所見領域が複数ある場合、肺の体積に対する各所見領域の相対的な体積、絶対的な体積、位置と、各肺葉の体積に対する所見領域の相対的な体積、絶対的な体積、位置に基づき、上記医療データに含まれている呼吸器疾患の予測確率のスコアを算出し、上記各所見領域は、すりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域のうち、いずれか1つになり得る。
【0020】
前述のような課題を実現するための本開示の一実施例において、病変読影を行うために用いられるユーザー端末は、1つ以上のコアを含むプロセッサーと、メモリーと、ユーザーインターフェースとを提供する出力部を含み、上記ユーザーインターフェースは、医療データの入力に対する応答として、上記医療データに対する結果情報を表示し、上記医療データに対する結果情報は、上記医療データから割り出された病変読影を行う対象(object)領域と特定の病変に係る少なくとも1つの所見(finding)領域とに基づき、上記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出した結果をもとに、生成されることが可能である。
【0021】
病変読影のために用いられるユーザー端末の代替の実施例において、上記医療データに対する結果情報は、上記病変読影を行う対象領域内に含まれている所見領域の分布画像と、呼吸器疾患に対する予測確率情報と、上記病変読影を行う対象領域と上記対象領域内に含まれている所見領域に係る要約情報とのうち、少なくともいずれか1つを含むことが可能である。
【0022】
病変読影のために用いられるユーザー端末の代替の実施例において、上記ユーザーインターフェースは、ユーザーからの入力に対する応答として、上記医療データに対する結果情報を表示するが、上記医療データに対する結果情報は、上記対象領域に含まれている少なくとも1つの所見領域の体積及び位置に基づいて生成された結果情報が保存されているデータベースから抽出することが可能である。
【0023】
前述の課題を実現するための、本開示の一実施例において、コンピューター可読保存媒体に保存されているコンピュータープログラムは、上記コンピュータープログラムが1つ以上のプロセッサーにおいて実行される場合、病変読影を行うために以下の動作を実行させるが、上記動作は、医療データを第1、第2のニューラルネットワークモデルに入力し、上記医療データから、病変読影を行う対象(object)領域を割り出し、特定の病変に係る少なくとも1つの所見(finding)領域を割り出す動作と、上記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出する動作と、上記所見領域の体積及び位置に基づき、上記医療データに対する結果情報を生成する動作とを含むことが可能である。
【0024】
前述の課題を実現するための、本開示の一実施例における病変読影法を提供するためのコンピューティング装置は、1つ以上のコアを含むプロセッサーと、メモリーを含み、上記プロセッサーは、医療データを第1、第2のニューラルネットワークモデルに入力し、上記医療データから、病変読影を行う対象(object)領域を割り出し、特定の病変に係る少なくとも1つの所見(finding)領域を割り出し、上記対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出し、上記所見領域の体積及び位置に基づき、上記医療データに対する結果情報を生成することが可能である。
【発明の効果】
【0025】
本発明は、医療データに含まれている病変情報を読み取る、病変読影法を提供することができる。
【図面の簡単な説明】
【0026】
【
図1】
図1は、本開示の一実施例において、病変読影法を提供するための動作を実行するコンピューティング装置のブロック構成図を図示した図面である。
【
図2】
図2は、本開示の一実施例におけるネットワーク関数を示す概略図である。
【
図3】
図3は、本開示の一実施例における病変読影のプロセスを説明するためのブロック構成図である。
【
図4】
図4は、本開示の他の実施例における病変読影のプロセスを説明するためのブロック構成図である。
【
図5】
図5は、本開示の一実施例における新型コロナウイルス感染症(COVID-19)の診断に係る読影プロセスを説明するための図面である。
【
図6a】
図6aは、本開示の一実施例において、病変読影を行う対象領域及び所見領域の定量化プロセスを説明するための図面である。
【
図6b】
図6bは、本開示の一実施例において、病変読影を行う対象領域及び所見領域の定量化プロセスを説明するための図面である。
【
図6c】
図6cは、本開示の一実施例において、病変読影を行う対象領域及び所見領域の定量化プロセスを説明するための図面である。
【
図7】
図7は、本開示の一実施例における病変読影の結果情報を示す図面である。
【
図8】
図8は、本開示の一実施例における病変読影のプロセスを説明するためのフローチャートである。
【
図9】
図9は、本開示の実施例を具現化できる例示的なコンピューティング環境に係る簡略で一般的な概略図である。
【発明を実施するための形態】
【0027】
上述の本開示内容の特徴に対する理解を容易にするために、より詳細で具体的な説明として複数の実施例が以下に記載されるが、実施例の一部は、添付の図面に図示されている。また、図面における類似の参照符号は、複数の側面において同一又は類似の機能を指すことを意図している。しかし、添付の図面は、本開示内容の特定の典型的な実施例を取り挙げて図示しているものであり、本発明の範囲を限定することは意図しておらず、同一の効果を持つ他の実施例も本発明の範囲に入ると認められるものとする。
【0028】
多様な実施例が以下に図面を参照しながら説明されるが、図面を通して類似の図面番号は類似の構成要素を表すために使われる。本明細書において多様な説明が本開示に対する理解を容易にするために示される。しかし、これらの実施例がこれらの具体的な説明がなくても間違いなく実施されることができる。
【0029】
本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、またはソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順(procedure)、プロセッサー、オブジェクト、実行スレッド、プログラム、及び/またはコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。1つ以上のコンポーネントは、プロセッサー及び/または実行スレッドの中に常駐することができ、1つのコンポーネントは1つのコンピューターの中でローカル化されることができ、または2つ以上のコンピューターに配分されることもできる。また、このようなコンポーネントは、その内部に保存されている多様なデータ構造を持つ、多様なコンピューター可読媒体から実行することができる。コンポーネントは、例えば1つ以上のデータパケットを持つ信号(例えば、ローカルシステム、分散システムにおいて他のコンポーネントと相互作用する1つのコンポーネントからのデータ及び/または信号を通じて、他のシステムと、インターネットのようなネットワークを介して伝送されるデータ)によってローカル及び/または遠隔処理等を通じて通信することができる。
【0030】
用語「または」は、排他的な「または」ではなく、内包的な「または」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「XはAまたはBを利用する」は、自然な内包的置換のうち1つを意味するものとする。つまり、XがAを利用したり;XがBを利用したり;またはXがA及びBの両方を利用する場合、「XはAまたはBを利用する」は、これらのいずれにも当てはまるとすることができる。また、本明細書における「及び/または」という用語は、取り挙げられた関連アイテムのうち、1つ以上のアイテムの可能なすべての組み合わせを指し、含むものと理解されるべきである。
【0031】
また、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、当該特徴及び/または構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む(含める)」及び/または修飾語として「含む(含める)」という用語は、1つ以上の他のさらなる特徴、構成要素及び/またはこれらのグループが存在すること、または追加されることを排除しないものと理解されるべきである。また、特に数が特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「1つまたはそれ以上」を意味するものと解釈されるべきである。
【0032】
そして、「A又はBのうち少なくとも1つ」という用語については、「Aだけを含む場合」、「Bだけを含む場合」、「AとBの組み合わせの場合」を意味するものと解釈されたい。
【0033】
当業者は、さらに、ここに開示される実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、またはその両方の組み合わせによって実現されることができることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面で一般的に上述された。そのような機能性がハードウェアとして実装されるか或いはソフトウェアとして実装されるかは、全般的なシステムに係る特定のアプリケーション(application)及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能性を実現できる。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。
【0034】
ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したり、または実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
【0035】
本開示の一実施例においてサーバーには、サーバーのサーバー環境を構築するための他の構成が含まれることもあり得る。サーバーは、あらゆる形態の装置をすべて含むことができる。サーバーは、デジタル機器として、ラップトップコンピューター、ノートパソコン、デスクトップコンピューター、ウェブパッド、携帯電話のように、プロセッサーが搭載されメモリーが備えられ、演算機能を有する、デジタル機器になり得る。サーバーは、サービスを処理するウェブサーバーになり得る。前述のサーバーの種類は例示に過ぎず本開示はこれらに限定されない。
【0036】
本明細書において、神経回路網、人工神経回路網、ネットワーク関数は、相互置き換え可能に用いることが可能である。
【0037】
本発明の詳細な説明及び請求項において用いられている用語「画像」または「画像データ」は、離散的画像要素(例えば、2次元画像においては、ピクセル)で構成されている多次元データを指し、言い換えると、(例えば、ビデオ画面に表示された)目視で認識できる対象、又は、(例えば、CTやMRI装置などのピクセル出力に対応するファイルのような)その対象のデジタル表現物を指す用語である。
【0038】
例えば、「イメージ」や「画像」は、コンピューター断層撮影(CT; computed tomography)、磁気共鳴画像(MRI; magnetic resonance imaging)、眼底画像、超音波又は、その他本発明の技術分野における公知のあらゆる医療画像システムにより収集された被検体(subject)の医療画像になり得る。画像が必ずしも医療的目的で提供されたものである必要はなく、非医療的目的で提供されたものにもなり得るが、例えば、セキュリティー検査用のエックス線撮影などが挙げられる。
【0039】
本発明の詳細な説明及び請求項において、「DICOM(Digital Imaging and Communications in Medicine;医療用デジタル画像及び通信)」の標準は、医療用機器におけるデジタル画像表現と通信に利用されるあらゆる標準規格の総称であり、DICOM標準は、米国放射線専門医会(ACR)と米国電機工業会(NEMA)とで構成している連合委員会が発表する。
【0040】
また、本発明の詳細な説明及び請求項において、「医療用画像管理システム(PACS; Picture Archiving and Communication System)」は、DICOM標準に沿って、医療用画像を保管、加工、送信するシステムを指す用語であり、エックス線、CT、MRIなどのデジタル医療画像装置を利用して取得した医療画像のデータを、DICOMの規格に合わせて保存し、ネットワークを介して院内や外部の端末に送信することが可能であり、そのデータには、読影結果や診療記録を追加することが可能である。
【0041】
また、本明細書を通して、ニューラルネットワーク(neural network)、神経回路網ネットワーク、ネットワーク関数は、同一の意味として用いることが可能である。ニューラルネットワークは、一般的に「ノード」と呼ばれる相互連結された計算単位の集合で構成することが可能である。このような「ノード」は、「ニューロン(neuron)」と称されることもある。ニューラルネットワークは、少なくとも1つのノードを含めて構成される。ニューラルネットワークを構成するノード(又はニューロン)を、1つ以上の「リンク」を通して、相互連結することができる。
【0042】
図1は、本開示の一実施例において、病変読影法を提供するための動作を実行するコンピューティング装置のブロック構成図を図示した図面である。
【0043】
図1に図示されたコンピューティング装置(100)の構成は、簡略化して示した例示に過ぎない。本開示の一実施例において、コンピューター装置(100)には、コンピューター装置(100)のコンピューティング環境を実装するための他の構成が含まれることが可能であり、開示されている構成のうち一部だけでコンピューター装置(100)を構成することも可能である。
【0044】
コンピューター装置(100)は、プロセッサー(110)、メモリー(130)、ネットワーク部(150)を含むことができる。
【0045】
本開示において、プロセッサー(110)は、医療データに含まれている病変に係る情報を読み取り、結果情報を生成する方法に関連するものであり、胸部画像を含む医療データを第1、第2のニューラルネットワークモデルに入力し、上記医療データから、病変読影を行う対象(object)領域を割り出し、特定の病変に係る少なくとも1つの所見(finding)領域を割り出し、対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出し、所見領域の体積及び位置に基づき、医療データに対する結果情報を生成することが可能である。
【0046】
プロセッサー(110)は、医療データから特定の病変を読影し、病変読影結果を生成して表示することが可能である。
【0047】
対象(object)領域とは、医療画像における、病変を読影する範囲を定めたものであり、例えば、肺における病変を読影する場合、肺の領域を対象領域と定めることができ、肺葉における病変を読影する場合は、肺葉の領域を対象領域と定めることが可能である。
【0048】
医療データは、画像データ、音声データ、時系列データのうち、少なくとも1つを含むことが可能である。つまり、医療分野に従事する者又は診断用の装置等が、疾病の存在有無を判断するために利用できる任意の形態のデータを、医療データが含むことが可能である。画像データは、患者の患部を検査装備を用いて撮影又は測定し、電気信号化して出力するあらゆる画像データを含む。画像データは、医療映像撮影機器によって時系列に連続撮影された動画において、動画の各フレームを構成する画像データを含むことが可能である。例えば、超音波検査画像データ、MRI装置の画像データ、CT断層撮影により取得された画像データ、エックス線撮影画像データ等を含む。さらに、音声データを電気信号に変換し、グラフの形の画像として出力したり、時系列データをグラフ等の視覚化された資料として表している場合、当該画像や資料は、上記画像データに含まれることが可能である。一例として、医療データは、CT画像を含むことが可能である。医療データに係る前述の例示は、一例に過ぎず、本開示を限定するものではない。
【0049】
一例として、プロセッサー(110)は、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域を割り出す際、医療データを第1のニューラルネットワークモデルに入力し、医療データから病変読影を行う対象領域を割り出し、医療データを第2のニューラルネットワークモデルに入力し、医療データから特定の病変に係る少なくとも1つの所見領域を割り出すことが可能である。第1、第2のニューラルネットワークモデルに入力される医療データは、同一の医療データになり得る。第1、第2のニューラルネットワークモデルは、並列に配置され、セグメンテーションを行うことが可能である。第1、第2のニューラルネットワークモデルは、同一のニューラルネットワークモデルになり得る。第1、第2のニューラルネットワークモデルは、それぞれ異なるニューラルネットワークモデルになり得る。第1、第2のニューラルネットワークモデルは、画像から病変読影を行う領域を割り出し、セグメンテーション(segmentation)を行うためのモデルになり得る。第1、第2のニューラルネットワークモデルは、ニューラルネットワークを含む機械式学習モデルを含むことも可能である。
【0050】
プロセッサー(110)は、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域を割り出す際、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域とが重複するか否かを確認し、対象領域と重複しない所見領域を外すことが可能である。また、プロセッサー(110)は、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域とが重複するか否かを確認する際、対象領域の位置と特定の病変に係る少なくとも1つの所見領域の位置とを算出し、算出された対象領域及び所見領域の位置に基づき、対象領域と特定の病変に係る少なくとも1つの所見領域とが重複するか否かを確認することが可能である。また、プロセッサー(110)は、病変読影を行う対象領域と重複しない所見領域を外す際、対象領域の外に位置する所見領域を外すことで、対象領域内に位置する所見領域のみを残すことが可能である。
【0051】
プロセッサー(110)は、医療データから病変読影を行う対象領域を割り出す際、対象領域が複数ある場合は、それぞれ異なるニューラルネットワークモデルを用いて対象領域をそれぞれ割り出すことが可能である。例えば、プロセッサー(110)は、医療データから対象領域を割り出す際、第1のニューラルネットワークモデルに含まれている第1のサブニューラルネットワークモデルを用いて、医療データから病変読影を行う肺の領域を割り出し、第1のニューラルネットワークモデルに含まれている第2のサブニューラルネットワークモデルを用いて、割り出された肺の領域から、複数の肺葉を割り出すことが可能である。この場合、プロセッサー(110)は、医療データから病変読影を行う肺の領域を割り出す際、2次元分割モデル(2D Segmentation Model)を用いて、医療データから肺の領域を割り出すことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、プロセッサー(110)は、割り出された肺の領域から複数の肺葉を割り出す際、3次元分割モデル(3D Segmentation Model)を用いて割り出された肺の領域から複数の肺葉を割り出すことが可能である。一例として、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。肺と肺葉に対し、それぞれ異なるモデルを用いて割り出す理由は、2次元分割モデルより演算量がより多い3次元分割モデルを肺葉を切り抜くときにのみ用いることで、演算効率を高めると同時に精密なセグメント(segment)ができるためである。
【0052】
プロセッサー(110)が、医療データから病変読影を行う対象領域を割り出す際、医療データはCT画像を含み、対象領域は肺と肺葉を含むことが可能である。プロセッサー(110)は、医療データから病変読影のために肺の領域を割り出し、割り出された肺の領域から多数の肺葉の領域を割り出すことが可能である。多数の肺葉の領域は、RUL(right upper lobe)、RML(right middle lobe)、RLL(right lower lobe)、LUL(left upper lobe)、LLL(left lower lobe)を含むことが可能である。プロセッサー(110)において、病変読影を行う対象領域が肺と肺葉を含む場合、病変読影を行う肺の領域を割り出すために用いられるニューラルネットワークモデルと、病変読影を行う肺葉の領域を割り出すために用いられるニューラルネットワークモデルは、それぞれ異なるものになり得る。一例として、プロセッサー(110)おいて、病変読影を行う肺の領域を割り出すために用いられるニューラルネットワークモデルは、2次元分割モデル(2D Segmentation Model)を含むことができ、病変読影を行う肺葉の領域を割り出すために用いられるニューラルネットワークモデルは、3次元分割モデル(3D Segmentation Model)を含むことが可能である。これは例示に過ぎず、本開示はこれらに限定されない。肺と肺葉に対し、それぞれ異なるモデルを用いて割り出す理由は、2次元分割モデルより演算量がより多い3次元分割モデルは肺葉を割り出す目的にのみ用いることで、演算効率を高めると同時に精密なセグメント(segment)ができるためである。
【0053】
プロセッサー(110)は、医療データから特定の病変に係る少なくとも1つの所見領域を割り出す際、医療データからすりガラス陰影(Ground Glass Opacity:GGO)、硬化(Consolidation)、網状陰影(Reticular Opacity)、胸水(Pleural effusion)、肺気腫(Emphysema)、正常(Normal)に相当する複数の所見領域のうち、特定の病変に係る少なくとも1つの所見領域を割り出すことが可能である。一例として、すりガラス陰影(Ground Glass Opacity:GGO)に相当する所見領域は、医療データがCT画像の場合、肺胞腔の部分的充満や肺胞壁における微細な肥厚により、陰影が独立した個体の陰影ではなく、ぼやけた陰影に見える領域を意味し、硬化(Consolidation)に相当する所見領域は、医療データがCT画像の場合、肺内に滲出液、膿、血液、その他細胞や物質が空気の代わりに溜まっているため、不透明な陰影に見える領域を意味し、網状陰影(Reticular Opacity)に相当する所見領域は、医療データがCT画像の場合、肺間膜を構成する組織が液性物質、線維化組織、細胞などにより厚くなっている場合に、網状の陰影に見える領域を意味し、胸水(Pleural effusion)に相当する所見領域は、医療データCT画像の場合、胸腔の中に正常値以上に溜まっている液体を示す領域を意味し、肺気腫(Emphysema)に相当する領域は、医療データがCT画像の場合、細胞間の壁が破壊されて弾性を失った肺胞が拡張すると、空気の過膨張及び横隔膜が平らな陰影に見える領域を意味することが可能である。これは例示に過ぎず、本開示はこれらに限定されない。
【0054】
プロセッサー(110)は、医療データから特定の病変に係る少なくとも1つの所見領域を割り出す際、医療データから、呼吸器疾患に係る病変と関連性のあるすりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域とを割り出すことが可能である。一例として、呼吸器疾患は、COVID-19に関連するウイルスを含むことが可能である。これは例示に過ぎず、本開示はこれらに限定されない。
【0055】
プロセッサー(110)は、医療データから特定の病変に係る少なくとも1つの所見領域を割り出すとき、2次元分割モデル(2D Segmentation Model)や3次元分割モデル(3D Segmentation Model)を含む第2のニューラルネットワークモデルを用いて、医療データから特定の病変に係る少なくとも1つの所見領域を割り出すことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。
【0056】
プロセッサー(110)は、医療データから特定の病変に係る少なくとも1つの所見領域を割り出す際、3次元分割モデル(3D Segmentation Model)を用いて、医療データから特定の病変に係る感染領域を割り出し、2次元分割モデル(2D Segmentation Model)を用いて、割り出された感染領域から少なくとも1つの所見領域を割り出すことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。感染領域と所見領域に対し、それぞれ異なるモデルを用いて割り出す理由は、2次元分割モデルより演算量がより多い3次元分割モデルは感染領域を割り出す目的にのみ用いることで、演算効率を高めると同時に精密なセグメント(segment)ができるためである。
【0057】
他の例として、プロセッサー(110)は、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域を割り出す際、医療データを第1のニューラルネットワークモデルに入力し、医療データから対象領域を割り出し、割り出された対象領域に対応する医療データを、第2のニューラルネットワークモデルに入力し、対象領域から特定の病変に係る少なくとも1つの所見領域を割り出すことが可能である。第1、第2のニューラルネットワークモデルは、直列に配置され、セグメンテーションを行うことが可能である。第1、第2のニューラルネットワークモデルは、同一のニューラルネットワークモデルになり得る。第1、第2のニューラルネットワークモデルは、それぞれ異なるニューラルネットワークモデルになり得る。第1、第2のニューラルネットワークモデルは、画像から病変読影を行う領域を割り出し、セグメンテーション(segmentation)するためのモデルになり得る。第1、第2のニューラルネットワークモデルは、ニューラルネットワークを含む機械式学習モデルを含むことが可能である。プロセッサー(110)は、医療データから病変読影を行う対象領域を割り出す際、病変読影を行う対象領域が複数ある場合は、それぞれ異なるニューラルネットワークモデルを用いて病変読影を行う対象領域をそれぞれ割り出すことが可能である。例えば、プロセッサー(110)は、医療データから病変読影を行う対象領域を割り出す際、第1のニューラルネットワークモデルに含まれている第1のサブニューラルネットワークモデルを用いて、医療データから病変読影を行う肺の領域を割り出し、第1のニューラルネットワークモデルに含まれている第2のサブニューラルネットワークモデルを用いて、割り出された肺の領域から、複数の肺葉を割り出すことが可能である。この場合、プロセッサー(110)は、医療データから病変読影を行う肺の領域を割り出す際、2次元分割モデル(2D Segmentation Model)を用いて、医療データから病変読影を行う肺の領域を割り出すことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、プロセッサー(110)は、割り出された肺の領域から複数の肺葉を割り出す際、3次元分割モデル(3D Segmentation Model)を用いて分割された肺の領域から複数の肺葉を割り出すことが可能である。一例として、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。肺と肺葉に対し、それぞれ異なるモデルを用いて割り出す利用は、2次元分割モデルより演算量がより多い3次元分割モデルは肺葉を割り出す目的にのみ用いることで、演算効率を高めると同時に精密なセグメント(segment)ができるためである。
【0058】
プロセッサー(110)は、医療データから特定の病変に係る少なくとも1つの所見領域を割り出すとき、2次元分割モデル(2D Segmentation Model)や3次元分割モデル(3D Segmentation Model)を含む第2のニューラルネットワークモデルを用いて、医療データから特定の病変に係る少なくとも1つの所見領域を割り出すことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。
【0059】
プロセッサー(110)は、医療データから特定の病変に係る少なくとも1つの所見領域を割り出す際、3次元分割モデル(3D Segmentation Model)を用いて、医療データから特定の病変に係る感染領域を割り出し、2次元分割モデル(2D Segmentation Model)を用いて割り出された感染領域から少なくとも1つの所見領域を割り出すことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。感染領域と所見領域に対し、それぞれ異なるモデルを用いて割り出す利用は、2次元分割モデルより演算量がより多い3次元分割モデルは感染領域を割り出す目的にのみ用いることで、演算効率を高めると同時に精密なセグメント(segment)ができるためである。
【0060】
また、プロセッサー(110)は、病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出するとき、対象領域の体積を算出し、対象領域内に含まれている所見領域の体積及び位置を算出し、対象領域に対する所見領域の相対的な体積の割合を算出できる。プロセッサー(110)は、所見領域が複数ある場合、複数の所見領域の体積の総和と、上記対象領域に対する複数の所見領域の相対的な体積の総和の割合を算出することも可能である。一例として、プロセッサー(110)は、病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出するとき、病変読影を行う対象領域が複数の肺と複数の肺葉を含む場合、各肺に含まれている少なくとも1つの所見領域の体積及び位置を算出し、各肺葉に含まれている少なくとも1つの所見領域の体積及び位置を算出できる。
【0061】
プロセッサー(110)は、病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出するとき、所見領域の位置に基づき、所見領域の分布度を算出できる。一例として、所見領域の分布度は、所見領域の両側分布(Bilateral Distribution)、末梢分布(Peripheral Distribution)、後方分布(Posterior Distribution)、基底分布(Basal Distribution)のうち、少なくとも1つを含むことが可能である。
【0062】
プロセッサー(110)は、所見領域の体積及び位置に基づき、医療データに対する結果情報を生成するとき、所見領域の体積及び位置に対応する定量化されたデータを、第3のニューラルネットワークモデルに入力し、医療データに対する結果情報を生成できる。第3のニューラルネットワークモデルは、医療データを所定のクラスに分類し、医療データが属すべきクラスを予測するモデルになり得る。例えば、第3のニューラルネットワークモデルは、ランダムフォレスト(random forest)モデルを含むことが可能である。第3のニューラルネットワークモデルは、ニューラルネットワークを含む機械式学習モデルを含むことが可能である。プロセッサー(110)は、所見領域の体積及び位置に対応する定量化されたデータを、第3のニューラルネットワークモデルに入力し、医療データを所定のクラスに分類できる。例えば、クラスは、医療データに適用できる、呼吸器疾患に関連するクラスを指し、また、クラスは、正常・異常・軽傷・重症と、治療の予後に該当する低危険度・中危険度・高危険度と、呼吸器疾患の種類とのうち、少なくとも1つを含むことが可能である。プロセッサー(110)は、所見領域が複数ある場合、肺の体積に対する各所見領域の相対的な体積及び位置と、各肺葉の体積に対する所見領域の相対的な体積及び位置とに基づき、医療データに含まれる呼吸器疾患予測確率のスコアを算出し、各所見領域は、すりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域のうち、いずれか1つになり得る。
【0063】
プロセッサー(110)は、所見領域の体積及び位置に基づき、医療データに対する結果情報を生成するとき、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患を診断し予測できる。プロセッサー(110)は、病変読影を行う対象領域が複数ある場合、各対象領域に対する各所見領域の相対的な体積、絶対的な体積、各所見領域の分布度、各所見領域の分布度に基づき、所見領域が分布する対象領域の数を含む定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患を診断し予測できる。またプロセッサー(110)は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患と正常を判別できる。またプロセッサー(110)は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患と他の疾患を判別できる。またプロセッサー(110)は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、重症の呼吸器疾患と軽傷の呼吸器疾患を判別できる。またプロセッサー(110)は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患の治療の予後を、低危険度・中危険度・高危険度に分類することもできる。
【0064】
他の例として、プロセッサー(110)は、医療データを第1のニューラルネットワークモデルに入力し、医療データから病変読影を行う対象領域を割り出し、医療データを第2のニューラルネットワークモデルに入力し、医療データから特定の病変に係る少なくとも1つの所見領域を割り出し、医療データを第4のニューラルネットワークモデルに入力し、医療データからCOVID-19の病変に係る少なくとも1つの所見領域を割り出すことが可能である。第1、第2、第4のニューラルネットワークモデルに入力される医療データは、同一の医療データになり得る。第1、第2、第4のニューラルネットワークモデルは、並列に配置され、セグメンテーションを行うことが可能である。第1、第2、第4のニューラルネットワークモデルは、同一のニューラルネットワークモデルになり得る。第1、第2、第4のニューラルネットワークモデルは、それぞれ異なるニューラルネットワークモデルになり得る。第1、第2、第4のニューラルネットワークモデルは、画像から病変読影を行う領域を割り出し、セグメンテーション(segmentation)するためのモデルになり得る。第1、第2、第4のニューラルネットワークモデルは、ニューラルネットワークを含む機械式学習モデルを含むことが可能である。プロセッサー(110)は、第1のニューラルネットワークモデルを用いて割り出した対象領域の体積を算出し、第2、第4のニューラルネットワークモデルを用いて割り出した所見領域の体積及び位置を算出し、対象領域に対する所見領域の相対的な体積の割合を算出できる。プロセッサー(110)は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患を診断し、予測できる。
【0065】
他の例として、プロセッサー(110)は、医療データを第1のニューラルネットワークモデルに入力し、医療データから病変読影を行う対象領域を割り出し、割り出された対象領域を第2のニューラルネットワークモデルに入力し、対象領域から特定の病変に係る少なくとも1つの所見領域を割り出し、割り出された所見領域を第4のニューラルネットワークモデルに入力し、所見領域からCOVID-19の病変に係る所見領域を割り出すことが可能である。第1、第2、第4のニューラルネットワークモデルは、直列に配置され、セグメンテーションを行うことが可能である。第1、第2、第4のニューラルネットワークモデルは、同一のニューラルネットワークモデルになり得る。第1、第2、第4のニューラルネットワークモデルは、それぞれ異なるニューラルネットワークモデルになり得る。第1、第2、第4のニューラルネットワークモデルは、画像から病変読影を行う領域を割り出し、セグメンテーション(segmentation)するためのモデルになり得る。第1、第2、第4のニューラルネットワークモデルは、ニューラルネットワークを含む機械式学習モデルを含むことが可能である。プロセッサー(110)は、第1のニューラルネットワークモデルを用いて割り出した対象領域の体積を算出し、第2、第4のニューラルネットワークモデルを用いて割り出した所見領域の体積及び位置を算出し、対象領域に対する所見領域の相対的な体積の割合を算出できる。プロセッサー(110)は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患を診断し、予測できる。
【0066】
前述の事前学習されたニューラルネットワークモデルは、ディープニューラルネットワークになり得る。本明細書の全体を通して、神経回路網、ネットワーク関数、ニューラルネットワーク(neural network)は、同一の意味で使われることができる。ディープニューラルネットワーク(DNN:deep neural network、深層神経回路網)は、入力層と出力層以外に複数の隠れ層を含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造(latent structures)を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造(例えば、どのような物が写真に映っているか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等)を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク(CNN:convolutional neural network)、リカレントニューラルネットワーク(RNN;recurrent neural network)、制限ボルツマンマシン(RBM:restricted boltzmann machine)、深層信頼ネットワーク(DBN:deep belief network)、Qネットワーク、Uネットワーク、シャムネットワーク等を含むことが可能である。
【0067】
畳み込みニューラルネットワーク(convolutional neural network)は、ディープニューラルネットワークの一種であり、畳み込み層を含む神経回路網を含む。畳み込みニューラルネットワークは、最低限の前処理(preprocess)を使うように設計された多層パーセプトロン(multilayer perceptrons)の一種である。CNNは、1つ又は複数の畳み込み層と、それに結合されている人工神経回路の階層とで構成することが可能である。CNNは、さらに、重みとプーリング層(pooling layer)とを追加で活用できる。このような構造を有するため、CNNは、2次元構造の入力データを十分に活用できる。畳み込みニューラルネットワークを、画像からオブジェクトを認識するために使うことができる。畳み込みニューラルネットワークは、画像データを次元を有する行列で表し、処理することができる。例えば、RGB(red-green-blue)でエンコードされた画像データの場合、R、G、Bの色相別にそれぞれ2次元(例えば、2次元画像である場合)の行列で表すことができる。つまり、画像データの各ピクセルの色相値が行列の成分になり得るとともに、行列の大きさは画像の大きさと同じ大きさになり得る。従って画像データは、3つの2次元行列で(3次元のデータアレー)表すことができる。
【0068】
畳み込みニューラルネットワークにおいて、畳み込みフィルターを移動しながら、畳み込みフィルターと画像の各位置での行列成分同士を乗じることで、畳み込みのプロセス(畳み込み層の入出力)を遂行することができる。畳み込みフィルターは、n*nの行列になり得る。畳み込みフィルターは、一般的に、画像の全体のピクセル数より小さい、固定された形のフィルターで構成することが可能である。つまり、m*mの画像を畳み込み層(例えば、畳み込みフィルターのサイズがn*nである畳み込み層)に入力させる場合、画像の各ピクセルを含むn*nのピクセルを表す行列が畳み込みフィルターと成分積(つまり、行列の各成分同士の積)になり得る。畳み込みフィルターとの乗算を通じて画像から畳み込みフィルターとマッチする成分を抽出することができる。例えば、画像から上下の直線成分を抽出するための3*3畳み込みフィルターを、[[0,1,0]、[0,1,0]、[0,1,0]]のように構成することが可能である。画像から上下の直線成分を抽出するための3*3畳み込みフィルターが、入力画像に適用されると、画像から、畳み込みフィルターとマッチングされる上下直線成分が抽出され、出力されることが可能である。畳み込み層は、画像を表す各々のチャンネルに対する各々の行列(つまり、R、G、Bコーティング画像の場合、R、G、B色相)に畳み込みフィルターを適用することができる。畳み込み層は、入力画像に畳み込みフィルターを適用して入力画像から畳み込みフィルターとマッチする特徴を抽出することができる。畳み込みフィルターのフィルター値(つまり、行列の各成分の値)は、畳み込みニューラルネットワークの学習プロセスにおいて逆伝播によって更新されることが可能である。
【0069】
畳み込み層の出力には、サブサンプリング層が繋がり、畳み込み層の出力を単純化してメモリー使用量と演算量を減らすことができる。例えば、2*2マックスプーリングフィルターを有するプーリング層に畳み込み層の出力を入力させる場合、画像の各ピクセルから2*2パッチごとに各パッチに含まれる最大値を出力して画像を圧縮することができる。前述のプーリングは、パッチから最小値を出力したり、パッチの平均値を出力する方式になることもあり、本開示はあらゆるプーリング方式を含むことができる。
【0070】
畳み込みニューラルネットワークは、一つ以上の畳み込み層、サブサンプリング層を含むことができる。畳み込みニューラルネットワークは、畳み込みのプロセスとサブサンプリングのプロセス(例えば、前述のマックスプーリング等)を繰り返し遂行して画像から特徴を抽出することができる。畳み込みのプロセスとサブサンプリングのプロセスを繰り返すことで、ニューラルネットワークは、画像のグローバルな特徴を抽出することができる。
【0071】
畳み込み層やサブサンプリング層の出力を、全結合層(fully connected layer)に入力することができる。全結合層は、一つの階層に存在するすべてのニューロンと、隣り合っている階層に存在するすべてのニューロンとが繋がっている階層である。全結合層は、ニューラルネットワークにおいて各階層のすべてのノードが他の階層のすべてのノードに繋がっている構造を意味することができる。
【0072】
本開示の一実施例において、医療データのセグメンテーション(segmentation)を遂行するために、ニューラルネットワークは、逆畳み込みニューラルネットワーク(DCNN:Deconvolutional Neural Network)を含むことができる。逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークを逆方向に計算させたのと類似の動作を遂行する。逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークで抽出された特徴を、原本データに関連する特徴マップとして出力することができる。
【0073】
本開示の一実施例において、プロセッサー(100)は、1つ以上のコアで構成されることが可能であり、コンピューティング中央処理装置(CPU:central processing unit)、汎用グラフィック処理装置(GPGPU:general purpose graphics processing unit)、テンサー処理装置(TPU:tensor processing unit)等のデータ分析、ディープラーニングのためのプロセッサーを含むことができる。プロセッサー(110)は、メモリー(130)に保存されたコンピュータープログラムを読み取り、本開示の一実施例における機械学習のためのデータ処理を実行することができる。本開示の一実施例に基づき、プロセッサー(110)は、ニューラルネットワークの学習のための演算を行うことができる。プロセッサー(110)は、ディープラーニング(DL:deep learning)において、学習のための入力データの処理、入力データからのフィーチャーの抽出、誤差計算、逆伝播(backpropagation)を利用したニューラルネットワークの重みの更新等のニューラルネットワークの学習のための計算を実行することができる。プロセッサー(110)のCPUとGPGPUとTPUとのうち、少なくとも1つが、ネットワーク関数の学習を処理できる。例えば、CPUとGPGPUとがともにネットワーク関数の学習やネットワーク関数を利用したデータの分類を行うことができる。なお、本開示の一実施例において、複数のコンピューティング装置のプロセッサーを一緒に使ってネットワーク関数の学習やネットワーク関数を利用したデータ分類を行うことができる。また、本開示の一実施例における、コンピューティング装置において実行されるコンピュータープログラムは、CPU、GPGPU又はTPUで実行可能なプログラムになり得る。
【0074】
本開示の一実施形態によれば、メモリ(130)は、本開示の一実施形態による病変読み取りを実行し、病変読影の結果を提供するためのコンピュータープログラムを格納することができ、格納されたコンピュータープログラムは、プロセッサ(110)によって読み出されて駆動することができる。
【0075】
本開示の一実施例において、メモリー(130)は、フラッシュメモリータイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリー(例えばSD又はXDメモリー等)、ラム(Random Access Memory、RAM)、SRAM(Static Random Access Memory)、ロム(Read-Only Memory、ROM)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)、磁気メモリー、磁気ディスク、光ディスクのうち少なくとも1つのタイプの保存媒体を含むことができる。コンピューティン装置(100)は、インターネット(internet)上で前記メモリー(130)の保存機能を実行するウェブストレージ(web storage)と連携して動作することも可能である。前述のメモリーに係る記述は、例示に過ぎず、本開示はこれらに限定されない。
【0076】
本開示の一実施例におけるネットワーク部(150)は、特定の病変に対する読影結果情報等を、他のコンピューティング装置やサーバー等と送受信することが可能である。また、ネットワーク部(150)は、複数のコンピューティング装置間の通信を可能にし、複数のコンピューティング装置の各々において、病変読影やモデルの学習のための動作が、分散遂行されるようにすることが可能である。ネットワーク部(150)は、複数のコンピューティング装置間の通信を可能にし、病変読影やネットワーク関数を用いたモデル学習のための演算を、分散処理するようにすることが可能である。
【0077】
本開示の一実施例におけるネットワーク部(150)は、近距離(短距離)、遠距離、有線・無線等のような、現在使われていたり、具現化されている任意の形態の有無線通信技術に基づいて動作することができ、他のネットワークにおいても使用することが可能である。
【0078】
本開示のコンピューティング装置(100)は、出力部と入力部をさらに含むことも可能である。
【0079】
本開示の一実施例における出力部は、病変読影の結果を提供するためのユーザーインターフェース(UI、 User Interface)を表示することが可能である。出力部は、プロセッサー(110)が生成又は決定した任意の形態の情報やネットワーク部(150)が受信した任意の形態の情報を出力することができる。
【0080】
本開示の一実施例において、出力部は、液晶ディスプレイ(liquid crystal display, LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor-liquid crystal display, TFT LCD)、有機発光ダイオード(organic light-emitting diode, OLED)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)のうち、少なくとも1つを含むことができる。これらのうち、一部のディスプレイモジュールは、それを通して外部を見ることができるように、透明性又は光透過性の素材で作られる場合がある。それらを透明ディスプレイモジュールと称することができるが、上記透明ディスプレイモジュールの代表例として、TOLED(Transparent OLED)等がある。
【0081】
本開示の一実施例において入力部は、ユーザー入力を受信することが可能である。入力部は、ユーザー入力を受信するためのユーザーインターフェース上の複数のキー及び/又は複数のボタンや複数の物理的なキー及び/又は複数の物理的なボタンを備えることが可能である。入力部を介して行われたユーザー入力に応じ、本開示の実施例において、ディスプレイを制御するためのコンピュータープログラムを実行できる。
【0082】
本開示の実施例において、入力部は、ユーザーのボタン操作又はタッチ入力を感知して信号を受信したり、カメラやマイクロフォンを通して、ユーザー等の音声や動作を受信し、それを入力信号に変換することもできる。そのために、音声認識(Speech Recognition)技術や動作認識(Motion Recognition)技術を活用することが可能である。
【0083】
本開示の実施例における入力部は、コンピューティング装置(100)と繋がっている外付けの入力装置として実装することができる。例えば、入力装置は、ユーザー入力を受信するためのタッチパッド、タッチペン、キーボード、又はマウスのうち、少なくとも1つになり得るが、これは一例にすぎず、本開示はこれらに限定されない。
【0084】
本開示の一実施例において入力部は、ユーザーのタッチ入力を認識することが可能である。本開示の一実施例において入力部は、出力部と同一の構成になっている場合もある。入力部は、ユーザーの選択入力を受信するように作られたタッチスクリーンの形になり得る。タッチスクリーンは、接触式静電容量方式、赤外線光感知方式、表面超音波方式(SAW)、圧電方式、抵抗膜方式のうち、いずれか1つの方式が採用されているものになり得る。前述のタッチスクリーンに関する詳細な記載は、本発明の一実施例における例示にすぎず、多様なタッチスクリーンパネルをコンピューティング装置(100)に採用できる。入力部がタッチスクリーンになっている場合、入力部はタッチセンサーを含むことが可能である。タッチセンサーを、入力部の特定の部位に加えられた圧力又は入力部の特定の部位で発生する静電容量等の変化を、電気的な入力信号に変換するように構成することが可能である。タッチセンサーは、タッチされる位置や面積だけでなく、タッチ時の圧力まで感知できるように構成されることが可能である。タッチセンサーに対するタッチ入力があった場合、それに対応する(複数の)信号は、タッチ制御器に送られる。タッチ制御器は、その(複数の)信号を処理したうえで、対応するデータを、プロセッサー(110)に伝送できる。そうすることで、プロセッサー(110)は、入力部のどの領域がタッチされたか等のことを、認識できるようになる。
【0085】
本開示の一実施例においてサーバーは、サーバーのサーバー環境を構築するための他の構成を含むことも可能性ある。サーバーはあらゆる形態の装置をすべて含むことができる。サーバーは、デジタル機器として、ラップトップコンピューター、ノートパソコン、デスクトップコンピューター、ウェブパッド、携帯電話のようにプロセッサーが搭載されメモリーが備えられた、演算機能を有するデジタル機器になり得る。
【0086】
本開示の一実施例において、病変の読影結果を表示するユーザーインターフェースを、ユーザー端末に提供するための動作を行うサーバー(図示省略)は、ネットワーク部、プロセッサー及びメモリーを含むことが可能である。
【0087】
サーバーは、本開示の実施例におけるユーザーインターフェースを生成できる。サーバーは、クライアント(例えば、ユーザー端末)にネットワークを通して情報を提供するコンピューティングシステムになり得る。サーバーは、生成したユーザーインターフェースをユーザー端末に伝送できる。この場合、ユーザー端末は、サーバーにアクセスできる任意の形態のコンピューティング装置(100)になり得る。サーバーのプロセッサーは、ネットワーク部を通して、ユーザー端末にユーザーインターフェースを伝送できる。本開示の実施例におけるサーバーは、例えば、クラウドサーバーになり得る。サーバーは、サービスを処理するウェブサーバーになり得る。前述のサーバーの種類は、例示に過ぎず、本開示はこれらに限定されない。
【0088】
従って、本開示は、医療データから呼吸器疾患を診断し、呼吸器疾患に対する予測の確率を高めることが可能である。例えば、COVID-19を含むコロナウイルス等による呼吸器疾患に対する予測信頼度を向上できる。
【0089】
また、本開示は、医療データから読影した呼吸器疾患に係る所見領域を視覚化し、所見領域の体積及び位置を定量的に表示することで、ユーザーの利便性を向上できる。また、本開示は、PCR(Polymerase Chain Reaction)検査を補助したり、医者の診断を補助したり、病気の重症度や進行度を数値化できる。
【0090】
従来は、入力された画像でCOVID-19を直接判定するend-to-endモデルを利用していたが、このような方法は、データ量が不十分な場合や収集されたデータが不適切な場合に起きる過適合問題が発生する可能性があることや人工知能モデルがどの部分を見て判定しているのかの確認が不可能であることから、活用度が落ちる可能性があると考えられる。
【0091】
しかし、本開示は、対象領域を割り出す第1のニューラルネットワークモデルと、所見領域を割り出す第2のニューラルネットワークモデルとを、並列又は直列に配置することで、医療画像から対象領域と所見領域を割り出し、割り出された対象領域と所見領域の体積を算出し、所見領域の体積及び位置に基づき、第3のニューラルネットワークモデルを用いて、医療画像を所定のクラスに分類し、医療画像が属すべきクラスを予測し、結果情報を生成することが可能である。
【0092】
図2は、本開示の一実施例において、医療データに対する診断関連情報を提供するために用いられるネットワーク関数を示す概略図である。
【0093】
本明細書の全体を通して、演算モデル、神経回路網、ネットワーク関数、ニューラルネットワーク(neural network)は、同一の意味で用いることができる。神経回路網は、一般的にノードと呼ばれる相互連結された計算単位の集合で構成されることが多い。このようなノードは、ニューロン(neuron)と称することもできる。神経回路網は、少なくとも1つ以上のノードを含めて構成される。神経回路網を構成するノード(またはニューロン)は1つ以上のリンクによって相互連結されることが可能である。
【0094】
神経回路網において、リンクを介して繋がっている1つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは、他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。1つの入力ノードに1つ以上の出力ノードがリンクを介して繋がることができ、その逆も成立する。
【0095】
1つのリンクを介して繋がっている入力ノード及び出力ノードの関係において、出力ノードのデータは入力ノードに入力されたデータに基づきその値が決められることが可能である。ここで入力ノードと出力ノードとを相互連結するノードは加重値(weight)を持つことができる。加重値は可変的なものになり得るが、神経回路網が所望の機能を行うために、利用者またはアルゴリズムによって変わることが可能である。例えば、1つの出力ノードに1つ以上の入力ノードが各リンクによって相互連結されている場合、出力ノードは前記出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された加重値に基づき出力ノードの値を決定することができる。
【0096】
前述のように、神経回路網は、1つ以上のノードが1つ以上のリンクを介して相互連結され神経回路網の中で入力ノードと出力ノードの関係を形成する。神経回路網において、ノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された加重値の値によって、神経回路網の特性が決まることが可能である。例えば、同数のノード及びリンクが存在し、リンクの加重値の値がそれぞれ異なる2つの神経回路網が存在する場合、その2つの神経回路網を、相異なるものと認識することができる。
【0097】
神経回路網は、1つ以上のノードの集合で構成することができる。神経回路網を構成するノードの部分集合は、レイヤー(layer)を構成できる。神経回路網を構成する複数のノードのうち一部は、第1入力ノードからの距離に基づき、1つのレイヤー(layer)を構成することができる。例えば、第1入力ノードからの距離がnであるノードの集合は、nレイヤーを構成することができる。第1入力ノードからの距離は、第1入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数を基に定義することができる。しかし、このようなレイヤーの定義は、説明のために任意に取り挙げたものであり、神経回路網の中におけるレイヤーの構成は、前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離を基に定義することもできる。
【0098】
第1入力ノードは、神経回路網の中のノードのうち、他のノードとの関係においてリンクを経由せずにデータが直接入力される1つ以上のノードを意味することができる。または、神経回路網のネットワークの中で、リンクを基準にしたノード間の関係において、リンクを介して繋がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経回路網の中のノードのうち、他のノードとの関係において、出力ノードを持たない1つ以上のノードを意味することができる。また、ヒドンノードは、第1入力ノード及び最終出力ノードではないノードで、神経回路網を構成するノードを意味することができる。
【0099】
本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードと同数で、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が一度減ってから、再び増加する形の神経回路網になり得る。本開示の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より少なく、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が減少していく形の神経回路網になり得る。また、本開示の他の一実施例による神経回路網は、入力レイヤーのノードの数が、出力レイヤーのノードの数より多く、入力レイヤーからヒドンレイヤーへと進むにつれ、ノードの数が増加していく形の神経回路網になり得る。本開示の他の一実施例における神経回路網は、上述の神経回路網を組み合わせた形の神経回路網になり得る。
【0100】
ディープニューラルネットワーク(DNN:deep neural network、深層神経回路網)は、入力レイヤーと出力レイヤー以外に複数のヒドンレイヤーを含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造(latent structures)を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造(例えば、ある物が写真に映っているか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等)を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク(CNN:convolutional neural network)、リカレントニューラルネットワーク(RNN;:recurrent neural network)、オートエンコーダー(auto encoder)、GAN(Generative Adversarial Networks)、制限ボルツマンマシン(RBM:restricted boltzmann machine)、深層信頼ネットワーク(DBN:deep belief network)、Qネットワーク、Uネットワーク、シャムネットワーク、敵対的生成ネットワーク(GAN:Generative Adversarial Network)等を含むことができる。前述のディープニューラルネットワークは、例示に過ぎず本開示はこれらに限定されない。
【0101】
本開示の一実施例において、ネットワーク関数は、オートエンコーダー(autoencoder)を含むこともできる。オートエンコーダーは、入力データに類似した出力データを出力するための人工神経回路網の一種になり得る。オートエンコーダーは、少なくとも1つのヒドンレイヤーを含むことができ、奇数個のヒドンレイヤーが入出力レイヤーの間に配置されることができる。各レイヤーのノード数は、入力レイヤーのノード数から、ボトルネックレイヤー(エンコード)という中間レイヤーに向かって減っていき、ボトルネックレイヤーから出力レイヤー(入力レイヤーと対称を成す)に向かって、縮小と対照する形で、拡張することもできる。オートエンコーダーは、非線形次元減少を行うことができる。入力レイヤー及び出力レイヤーの数は、入力データの前処理後に次元に対応することができる。オートエンコーダー構造において、エンコーダーに含まれたヒドンレイヤーのノードの数は、入力データから遠くなるほど減っていく構造を持つことができる。ボトルネックレイヤー(エンコーダーとデコーダーの間に位置する、ノードの数が最も少ないレイヤー)のノードの数が少なすぎる場合、十分な量の情報が伝わらない可能性があるため、特定の数以上(例えば、入力レイヤーの半分以上等)に維持されることもあり得る。
【0102】
ニューラルネットワークは、教師あり学習(supervised learning)、教師なし学習(unsupervised learning)、半教師あり学習(semi supervised learning)、または、強化学習(reinforcement learning)のうち、少なくともいずれか1つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに提供する過程になり得る。
【0103】
ニューラルネットワークは、出力のエラーを最小化する方向で学習されることが可能である。ニューラルネットワークの学習において、繰り返し学習データをニューラルネットワークに入力させ、学習データに関するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向としてニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤーの方向へ逆伝播(back propagation)してニューラルネットワークの各ノードの加重値を更新するプロセスが行われる。教師あり学習の場合、個々の学習データに正解がラベリングされている学習データを使い(つまり、ラベリングされた学習データ)、教師なし学習の場合は、個々の学習データに正解がラベリングされていない場合がある。つまり、例えばデータ分類に関する教師あり学習における学習データは、学習データの各々にカテゴリがラベリングされたデータになり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力(カテゴリ)と学習データのラベルを比較することでエラー(error)を計算することが可能である。他の例として、データ分類に関する教師なし学習の場合、入力である学習データをニューラルネットワークの出力と比較することでエラーを計算することが可能である。計算されたエラーは、ニューラルネットワークにおいて逆方向(つまり、出力レイヤーから入力レイヤー方向)へ逆伝播され、逆伝播を通じてニューラルネットワークの各レイヤーの各ノードの連結加重値を更新することが可能である。更新される各ノードの連結加重値は、学習率(learing rate)によって変化量が決まることが可能である。入力データに対するニューラルネットワークの計算とエラーの逆伝播は、学習のサイクル(epoch)を構成することができる。学習率は、ニューラルネットワークの学習のサイクルの反復回数によって適用方式が変わることが可能である。例えば、ニューラルネットワークの学習初期においては、学習率を高くしてニューラルネットワークが早く一定のレベルの性能を確保するようにすることで効率を高め、学習の後半においては学習率を低くして精度を上げることが可能である。
【0104】
ニューラルネットワークの学習において、一般的に学習データは実際のデータ(つまり、学習されたニューラルネットワークを利用して処理しようとするデータ)の部分集合であることが可能であり、そのため学習データに係るエラーは減少するが、実際のデータに係るエラーは増加する学習サイクルが存在し得る。過剰適合(over fitting)は、このように学習データについて過度に学習したため、実際のデータにおいてエラーが増加する現象である。例えば、黄色い猫を見て猫を学習したニューラルネットワークが、黄色以外の色の猫を見ると猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合は、マシンラーニングアルゴリズムのエラーを増加させる原因になり得る。このような過剰適合を防ぐために、多様な最適化方法を適用できる。過剰適合を防ぐためには、学習データを増加させる方法、正則化(regulaization)、学習の過程でネットワークのノードの一部を非活性化するドロップアウト(drop out)、バッチ正規化レイヤー(batch normalization layer)の活用等の方法を適用できる。
【0105】
図3は、本開示の一実施例における病変読影のプロセスを説明するためのブロック構成図である。
【0106】
図3に示すように、本開示におけるコンピューティング装置は、医療データを第1のニューラルネットワークモデル(310)に入力して、医療データから病変読影を行く対象領域を切り抜くことで、第1のセグメント(320)を出力する。そして、コンピューティング装置は、医療データを第2のニューラルネットワークモデル(330)に入力し、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜くことで、第2のセグメント(340)を出力できる。この場合、第1、第2のニューラルネットワークモデル(310、330)に入力される医療データは、同一の医療データになり得る。第1、第2のニューラルネットワークモデル(310、330)は、画像から病変読影を行う領域を割り出し、セグメンテーション(segmentation)するためのモデルになり得る。
【0107】
コンピューティング装置は、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域を切り抜く際、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域とが重複するか否かを確認し、対象領域と重複しない所見領域を外すことが可能である。また、コンピューティング装置は、病変読影を行う対象領域と特定の病変に係る少なくとも1つの所見領域とが重複するか否かを確認する際、対象領域の位置と特定の病変に係る少なくとも1つの所見領域の位置とを算出し、算出された対象領域及び所見領域の位置に基づき、対象領域と特定の病変に係る少なくとも1つの所見領域とが重複するか否かを確認することが可能である。また、コンピューティング装置は、病変読影を行う対象領域と重複しない所見領域を外す際、対象領域の外に位置する所見領域を外すことで、対象領域内に位置する所見領域のみを残すことが可能である。
【0108】
コンピューティング装置は、病変読影を行う対象領域が肺と肺葉を含む場合、病変読影を行う肺の領域を切り抜くために用いられるニューラルネットワークモデルと、病変読影を行う肺葉の領域を切り抜くために用いられるニューラルネットワークモデルは、それぞれ異なるものになり得る。一例として、コンピューティング装置において、病変読影を行う肺の領域を切り抜くために用いられるニューラルネットワークモデルは、2次元分割モデル(2D Segmentation Model)を含むことができ、病変読影を行う肺葉の領域を切り抜くために用いられるニューラルネットワークモデルは、3次元分割モデル(3D Segmentation Model)を含むことが可能である。これは例示に過ぎず、本開示はこれらに限定されない。肺と肺葉に対し、それぞれ異なるモデルを用いて切り抜く理由は、2次元分割モデルより演算量がより多い3次元分割モデルは肺葉を切り抜くときにのみ用いることで、演算効率を高めると同時に精密なセグメント(segment)ができるためである。
【0109】
コンピューティング装置は、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜く際、医療データからすりガラス陰影(Ground Glass Opacity:GGO)、硬化(Consolidation)、網状陰影(Reticular Opacity)、胸水(Pleural effusion)、肺気腫(Emphysema)、正常(Normal)に相当する複数の所見領域のうち、特定の病変に係る少なくとも1つの所見領域を切り抜くことが可能である。一例として、コンピューティング装置は、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜く際、医療データからコロナウイルス感染症に係る病変と関連性のあるすりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域とを切り抜くことが可能である。
【0110】
コンピューティング装置において、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜くとき、2次元分割モデル(2D Segmentation Model)や3次元分割モデル(3D Segmentation Model)を含む第2のニューラルネットワークモデルを用いて、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜くことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。
【0111】
コンピューティング装置は、病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出することで、対象領域に含まれている所見領域に対する定量化分析(350)を行うことが可能である。コンピューティング装置は、対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出するとき、対象領域の体積を算出し、対象領域内に含まれている所見領域の体積及び位置を算出し、対象領域に対する所見領域の相対的な体積の割合を算出できる。コンピューティング装置は、所見領域が複数ある場合、複数の所見領域の体積の総和と、上記対象領域に対する複数の所見領域の相対的な体積の総和の割合を算出することも可能である。
【0112】
コンピューティング装置は、定量化分析(350)を通じて算出された所見領域の体積及び位置に対応する定量化されたデータを、事前学習された第3のニューラルネットワークモデルに(360)に入力し、呼吸器疾患を診断し、予測できる。第3のニューラルネットワークモデル(360)は、医療データを所定のクラスに分類し、医療データが属すべきクラスを予測するモデルになり得る。例えば、第3のニューラルネットワークモデル(360)は、ランダムフォレスト(random forest)モデルを含むことが可能である。第3のニューラルネットワークモデル(360)は、ニューラルネットワークを含む機械式学習モデルを含むことが可能である。コンピューティング装置は、医療データから呼吸器疾患を診断し、結果情報を生成して表示することが可能である。コンピューティング装置は、病変読影を行う対象領域が複数ある場合、各対象領域に対する各所見領域の相対的な体積、各所見領域の分布度、各所見領域の分布度に基づき、所見領域が分布する対象領域の数を含む定量化されたデータを、学習された第3のニューラルネットワークモデル(360)に入力し、呼吸器疾患を診断し、予測できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患と正常を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患と他の疾患を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、重症の呼吸器疾患と軽傷の呼吸器疾患を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患の治療の予後を、低危険度・中危険度・高危険度に分類することもできる。
【0113】
図4は、本開示の他の実施例における病変読影のプロセスを説明するためのブロック構成図である。
【0114】
図4に示すように、本開示におけるコンピューティング装置は、医療データを第1のニューラルネットワークモデル(410)に入力して、医療データから病変読影を行く対象領域を切り抜くことで、第1のセグメント(420)を出力する。そして、コンピューティング装置は、対象領域を含む第1のセグメント(420)を第2のニューラルネットワークモデル(430)に入力し、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜くことで、第2のセグメント(440)を出力できる。第1、第2のニューラルネットワークモデル(410、430)は、画像から病変読影を行う領域を割り出し、セグメンテーションするためのモデルになり得る。
【0115】
コンピューティング装置において、病変読影を行う対象領域が肺と肺葉を含む場合、病変読影を行う肺の領域を切り抜くために用いられるニューラルネットワークモデルと、病変読影を行う肺葉の領域を切り抜くために用いられるニューラルネットワークモデルとは、それぞれ異なるものになり得る。一例として、コンピューティング装置において、病変読影を行う肺の領域を切り抜くために用いられるニューラルネットワークモデルは、2次元分割モデル(2D Segmentation Model)を含むことができ、病変読影を行う肺葉の領域を切り抜くために用いられるニューラルネットワークモデルは、3次元分割モデル(3D Segmentation Model)を含むことが可能である。これは例示に過ぎず、本開示はこれらに限定されない。肺と肺葉に対し、それぞれ異なるモデルを用いて切り抜く理由は、2次元分割モデルより演算量がより多い3次元分割モデルは肺葉を切り抜くときにのみ用いることで、演算効率を高めると同時に精密なセグメント(segment)ができるためである。
【0116】
コンピューティング装置は、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜く際、医療データからすりガラス陰影(Ground Glass Opacity:GGO)、硬化(Consolidation)、網状陰影(Reticular Opacity)、胸水(Pleural effusion)、肺気腫(Emphysema)、正常(Normal)に相当する複数の所見領域のうち、特定の病変に係る少なくとも1つの所見領域を切り抜くことが可能である。一例として、コンピューティング装置は、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜く際、医療データからCOVID-19を含むコロナウイルス感染症に係る病変と関連性のあるすりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域と、胸水(Pleural effusion)に相当する第4の所見領域と、肺気腫(Emphysema)に相当する第5の所見領域とを切り抜くことが可能である。
【0117】
コンピューティング装置は、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜くとき、2次元分割モデル(2D Segmentation Model)や3次元分割モデル(3D Segmentation Model)を含む第2のニューラルネットワークモデルを用いて、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜くことが可能である。一例として、2次元分割モデルは、2D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。また、3次元分割モデルは、3D U-Netになり得るが、これは例示に過ぎず、本開示はこれにより限定されない。
【0118】
コンピューティング装置は、病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出することで、対象領域に含まれている所見領域に対する定量化分析(450)を行うことが可能である。コンピューティング装置は、病変読影を行う対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出するとき、対象領域の体積を算出し、対象領域内に含まれている所見領域の体積及び位置を算出し、対象領域に対する所見領域の相対的な体積の割合を算出できる。コンピューティング装置は、所見領域が複数ある場合、複数の所見領域の体積の総和と、上記対象領域に対する複数の所見領域の相対的な体積の総和の割合を算出することも可能である。
【0119】
コンピューティング装置は、定量化分析(450)を通じて算出された所見領域の体積及び位置に対応する定量化されたデータを、事前学習された第3のニューラルネットワークモデルに(460)に入力し、呼吸器疾患を診断し、予測できる。第3のニューラルネットワークモデル(460)は、医療データを所定のクラスに分類し、医療データが属すべきクラスを予測するモデルになり得る。例えば、第3のニューラルネットワークモデル(460)は、ランダムフォレスト(random forest)モデルを含むことが可能である。第3のニューラルネットワークモデル(460)は、ニューラルネットワークを含む機械式学習モデルを含むことが可能である。コンピューティング装置は、医療データから呼吸器疾患を診断し、結果情報を生成して表示することが可能である。コンピューティング装置は、病変読影を行う対象領域が複数ある場合、各対象領域に対する各所見領域の相対的な体積、各所見領域の分布度、各所見領域の分布度に基づき、所見領域が分布する対象領域の数を含む定量化されたデータを、学習された第3のニューラルネットワークモデル(460)に入力し、呼吸器疾患を診断し、予測できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患と正常を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患と他の疾患を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、重症の呼吸器疾患と軽傷の呼吸器疾患を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習された第3のニューラルネットワークモデルに入力し、呼吸器疾患の治療の予後を、低危険度・中危険度・高危険度に分類することもできる。
【0120】
図5は、本開示の一実施例におけるCOVID-19を含むコロナウイルス感染症の診断に係る読影プロセスを説明するための図面である。
【0121】
図5に示すように、本開示のコンピューティング装置は、複数のCTスライス画像を含む医療データを、ニューラルネットワークモデルに入力し、COVID-19を含むコロナウイルス感染症の診断に係る読影を行うために、肺と肺葉を切り抜くことが可能である。そして、コンピューティング装置は、複数のCTスライス画像を含む医療データを、ニューラルネットワークモデルに入力し、コロナウイルス感染症に係る病変の所見領域を切り抜くことが可能である。それから、コンピューティング装置は、肺全体の体積を算出して定量化し、コロナウイルス感染症に係る所見領域の体積及び位置を算出し、肺の領域内に含まれている所見領域に対する定量化分析を行うことが可能である。コンピューティング装置は、病変読影を行う肺の領域の体積を算出し、肺の領域内に含まれている所見領域の体積及び位置を算出し、肺の領域に対する所見領域の相対的な体積の割合を算出できる。コンピューティング装置は、各肺葉の体積を算出して定量化し、コロナウイルス感染症に係る所見領域の体積及び位置を算出し、肺葉の領域内に含まれている所見領域に対する定量化分析を行うことが可能である。コンピューティング装置は、病変読影を行う肺葉の領域の体積を算出し、肺葉の領域内に含まれている所見領域の体積及び位置を算出し、肺葉の領域に対する所見領域の相対的な体積の割合を算出できる。コンピューティング装置は、複数の所見領域の体積の総和と、肺の領域に対する複数の所見領域の相対的な体積の総和の割合を算出することも可能である。
【0122】
コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、事前学習されたニューラルネットワークモデルに入力し、COVID-19を含むコロナウイルス感染症を診断し、予測できる。コンピューティング装置は、医療データからCOVID-19を含むコロナウイルス感染症を診断し、結果情報を生成して表示することが可能である。コンピューティング装置は、結果情報に基づき、COVID-19を含むコロナウイルス感染症に対する予測確率スコアを提供できる。
【0123】
図6a乃至
図6cは、本開示の一実施例において、病変読影を行う対象領域及び所見領域の定量化プロセスを説明するための図面である。
【0124】
図6aに示すように、本開示のコンピューティング装置は、肺全体の体積(510)を算出するとともに、COVID-19を含むコロナウイルス感染症に係る所見領域の体積(530)を算出し、肺の領域内に含まれている所見領域に対する定量化分析を行うことが可能である。つまり、コンピューティング装置は、病変読影を行う肺の領域全体の体積(510)を算出するとともに、肺の領域内に含まれている所見領域の体積(530)を算出し、肺の領域に対する所見領域の相対的な体積の割合を算出できる。また、コンピューティング装置は、所見領域が複数ある場合、複数の所見領域の体積の総和(520)及び肺の領域に対する複数の所見領域の相対的な体積の総和の割合を算出することも可能である。一例として、所見領域は、COVID-19を含むコロナウイルス感染症に係る病変と関連性のあるすりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域とを含むことが可能である。
【0125】
図6bに示すように、本開示のコンピューティング装置は、各肺葉の体積(610)を算出するとともに、COVID-19を含むコロナウイルス感染症に係る所見領域の体積(630)を算出し、肺葉の領域内に含まれている所見領域に対する定量化分析を行うことが可能である。つまり、コンピューティング装置は、病変読影を行う各肺葉の領域の体積(610)を算出するとともに、肺葉の領域内に含まれている所見領域の体積(630)を算出し、肺葉の領域に対する所見領域の相対的な体積の割合を算出できる。また、コンピューティング装置は、所見領域が複数ある場合、複数の所見領域の体積の総和(620)及び肺葉の領域に対する複数の所見領域の相対的な体積の総和の割合を算出することも可能である。一例として、多数の肺葉の領域は、RUL(right upper lobe)、RML(right middle lobe)、RLL(right lower lobe)、LUL(left upper lobe)、LLL(left lower lobe)を含むことが可能である。また、所見領域は、COVID-19を含むコロナウイルス感染症に係る病変と関連性のあるすりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域と、硬化(Consolidation)に相当する第2の所見領域と、網状陰影(Reticular Opacity)に相当する第3の所見領域とを含むことが可能である。一例として、すりガラス陰影(Ground Glass Opacity:GGO)に相当する第1の所見領域は、医療データがCT画像の場合、肺胞腔の部分的充満や肺胞壁における微細な肥厚により、陰影が独立した個体の陰影ではなくぼやけた陰影に見える領域を意味し、硬化(Consolidation)に相当する第2の所見領域は、医療データがCT画像の場合、肺内に滲出液、膿、血液、その他細胞や物質が空気の代わりに溜まっているため、不透明な陰影に見える領域を意味し、網状陰影(Reticular Opacity)に相当する第3の所見領域は、医療データがCT画像の場合、肺間膜を構成する組織が液性物質、線維化組織、細胞などにより厚くなっている場合に、網状の陰影に見える領域を意味することが可能である。これは例示に過ぎず、本開示はこれらに限定されない。
【0126】
図6cに示すように、本開示のコンピューティング装置は、肺及び肺葉の中に含まれる、少なくとも1つの所見領域の体積及び位置を算出する際、所見領域の位置に基づき、所見領域の分布度(700)を算出できる。一例として、所見領域の分布度(700)は、所見領域の両側分布(Bilateral Distribution)、末梢分布(Peripheral Distribution)、後方分布(Posterior Distribution)、基底分布(Basal Distribution)のうち、少なくとも1つを含むことが可能である。
【0127】
図7は、本開示の一実施例における医療データに対する結果情報を示す図面である。
【0128】
図7に示すように、本開示のコンピューティング装置は、医療データからCOVID-19を含むコロナウイルス感染症を診断し、結果情報(800)を生成し表示することが可能である。
【0129】
本開示のコンピューティング装置は、医療データからCOVID-19を含むコロナウイルス感染症を診断し、結果情報(800)を、外部サーバーのデータベースや内部メモリーから読み取って表示することが可能である。
【0130】
結果情報(800)は、病変読影を行う対象領域内に含まれている所見領域の分布画像(810)と、呼吸器疾患に対する予測確率情報(820)と、病変読影を行う対象領域と対象領域内に含まれている所見領域に係る要約情報(830)とのうち、少なくともいずれか1つを含むことが可能である。
【0131】
結果情報(800)は、病変読影を行う対象領域の上、下、左、右、前、後ろのうち、少なくともいずれか1つの方向から見た所見領域の分布画像(810)を含むことが可能である。
【0132】
結果情報(800)は、病変読影を行う対象領域内に含まれている所見領域が複数ある場合、複数の所見領域の各々が、異なる色で表示されている所見領域の分布画像(810)を含むことが可能である。
【0133】
結果情報(800)は、呼吸器疾患予測に対する信頼度スコアとそのインフォグラフィック(infographics)のうち、少なくともいずれか1つを有する、呼吸器疾患に対する予測確率情報(820)を含むことが可能である。
【0134】
結果情報(800)は、病変読影を行う対象領域の体積に係る情報と、対象領域内に含まれている所見領域の体積に係る情報と、対象領域内に含まれている所見領域の分布に係る情報とのうち、少なくともいずれか1つを有する、所見領域に係る要約情報(830)を含むことが可能である。所見領域の体積に係る情報は、対象領域に対する所見領域の相対的な体積に係る情報と相対的な体積の割合に係る情報を、含むことが可能である。所見領域の体積に係る情報は、所見領域が複数ある場合、複数の所見領域の体積の総和に係る情報及び対象領域に対する複数の所見領域の相対的な体積の総和の割合に係る情報を含むことが可能である。一例として、所見領域の分布に係る情報は、所見領域の両側分布(Bilateral Distribution)、末梢分布(Peripheral Distribution)、後方分布(Posterior Distribution)、基底分布(Basal Distribution)のうち、少なくとも1つを含むことが可能である。所見領域に係る要約情報は、呼吸器疾患の予測確率に係る情報に基づき、病変読影を行う対象領域の細部領域のうち、呼吸器疾患が予測される領域を視覚的に区分するインフォグラフィック情報を含むことが可能である。所見領域に係る要約情報は、病変読影を行う対象領域の細部領域のうち、呼吸器疾患の予測確率が、基準確率より高い細部領域を、視覚的に区分するインフォグラフィック情報を含むことが可能である。所見領域に係る要約情報は、病変読影を行う対象領域が肺であり、細部領域の多数が肺葉である場合、多数の肺葉のうち、呼吸器疾患の予測確率が、基準確率より高い肺葉を、視覚的に区分するインフォグラフィック情報を含むことが可能である。
【0135】
結果情報(800)は、呼吸器疾患と正常とを比較する情報、呼吸器疾患と他の疾患とを比較する情報、重症の呼吸器疾患と軽傷の呼吸器疾患とを比較する情報のうち、少なくともいずれか1つを含むことが可能である。
【0136】
このように、本開示は、医療データから読影した呼吸器疾患に係る所見領域を視覚化し、所見領域の体積及び位置を定量的に表示することで、ユーザーの利便性を向上できる。
【0137】
また、本開示は、PCR(Polymerase Chain Reaction)検査を補助したり、医者の診断を補助したり、病気の重症度や進行度を数値化できる。
【0138】
図8は、本開示の一実施例における病変読影のプロセスを説明するためのフローチャートである。
【0139】
図8に示すように、本開示のコンピューティング装置は、医療データを少なくとも1つのニューラルネットワークモデルに入力し、医療データから病変読影を行う対象領域と呼吸器疾患に係る少なくとも1つの所見領域を切り抜くことが可能である(S10)。コンピューティング装置は、医療データを第1のニューラルネットワークモデルに入力し、医療データから病変読影を行う少なくとも1つの対象領域を切り抜き、医療データを第2のニューラルネットワークモデルに入力し、医療データから特定の病変に係る少なくとも1つの所見領域を切り抜くことが可能である。コンピューティング装置は、医療データを第1のニューラルネットワークモデルに入力し、医療データから病変読影を行う少なくとも1つの対象領域を切り抜き、切り抜かれた対象領域に対応する医療データを、第2のニューラルネットワークモデルに入力し、対象領域から特定の病変に係る少なくとも1つの所見領域を切り抜くことが可能である。
【0140】
コンピューティング装置は、医療データから病変読影を行う少なくとも1つの対象領域を切り抜く際、病変読影を行う対象領域が複数ある場合は、それぞれ異なるニューラルネットワークモデルを用いて病変読影を行う対象領域をそれぞれ切り抜くことが可能である。一例として、コンピューティング装置は、病変読影を行う対象領域が肺と肺葉を含む場合、病変読影を行う肺の領域を切り抜くために用いられるニューラルネットワークモデルと、病変読影を行う肺葉の領域を切り抜くために用いられるニューラルネットワークモデルは、それぞれ異なるものになり得る。
【0141】
コンピューティング装置は、医療データから呼吸器疾患に係る少なくとも1つの所見領域を切り抜くとき、2次元分割モデル(2D Segmentation Model)や3次元分割モデル(3D Segmentation Model)を含む第2のニューラルネットワークモデルを用いて、医療データから呼吸器疾患に係る少なくとも1つの所見領域を切り抜くことが可能である。コンピューティング装置は、医療データから呼吸器疾患に係る少なくとも1つの所見領域を切り抜く際、3次元分割モデル(3D Segmentation Model)を用いて、医療データから呼吸器疾患に係る感染領域を切り抜き、2次元分割モデル(2D Segmentation Model)を用いて切り抜かれた感染領域から少なくとも1つの所見領域を切り抜くことが可能である。
【0142】
そして、本開示のコンピューティング装置は、病変読影を行う少なくとも1つの対象領域に含まれている少なくとも1つの所見領域の体積及び位置を算出できる(S20)。コンピューティング装置は、病変読影を行う対象領域の体積を算出し、病変読影を行う対象領域内に含まれている所見領域の体積及び位置を算出し、対象領域に対する所見領域の相対的な体積の割合を算出できる。コンピューティング装置は、所見領域が複数ある場合、複数の所見領域の体積の総和と、上記対象領域に対する複数の所見領域の相対的な体積の総和の割合を算出することも可能である。コンピューティング装置は、所見領域の位置に基づき、所見領域の分布度を算出できる。
【0143】
次に、本開示のコンピューティング装置は、所見領域の体積及び位置に基づき、呼吸器疾患を診断できる(S30)。コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習されたニューラルネットワークモデルに入力し、呼吸器疾患を診断し、予測できる。コンピューティング装置は、病変読影を行う対象領域が複数の場合、各対象領域に対する各所見領域の相対的な体積、各所見領域の分布度、各所見領域の分布度に基づき、所見領域が分布する対象領域の数を含む定量化されたデータを、学習されたニューラルネットワークモデルに入力し、呼吸器疾患を診断し、予測できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習されたニューラルネットワークモデルに入力し、呼吸器疾患と正常を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習されたニューラルネットワークモデルに入力し、呼吸器疾患と他の疾患を判別できる。また、コンピューティング装置は、所見領域の体積及び位置に対応する定量化されたデータを、学習されたニューラルネットワークモデルに入力し、重症の呼吸器疾患と軽傷の呼吸器疾患を判別できる。
【0144】
そして、本開示のコンピューティング装置は、医療データから呼吸器疾患を診断し、結果情報を生成して表示することが可能である(S40)。コンピューティング装置は、病変読影を行う対象領域内に含まれている所見領域の分布画像と、呼吸器疾患に対する予測確率情報と、病変読影を行う対象領域と対象領域内に含まれている所見領域に係る要約情報とのうち、少なくともいずれか1つを含む結果情報を生成して表示することが可能である。一例として、結果情報は、病変読影を行う対象領域の体積に係る情報と、対象領域内に含まれている所見領域の体積に係る情報と、対象領域内に含まれている所見領域の分布に係る情報とのうち、少なくともいずれか1つを有する、所見領域に係る要約情報含むことが可能である。また、病変読影に係る結果情報は、呼吸器疾患と正常とを比較する情報、呼吸器疾患と他の疾患とを比較する情報、重症の呼吸器疾患と軽傷の呼吸器疾患とを比較する情報のうち、少なくともいずれか1つを含むことが可能である。
【0145】
従って、本開示は、医療データから呼吸器疾患を診断し、呼吸器疾患に対する予測の確率を高めることが可能である。例えば、COVID-19を含むコロナウイルス感染症等のような呼吸器疾患の診断に対する信頼度を向上できる。
【0146】
また、本開示は、医療データから読影した呼吸器疾患に係る所見領域を視覚化し、所見領域の体積及び位置を定量的に表示することで、ユーザーの利便性を向上できる。
【0147】
また、本開示は、PCR(Polymerase Chain Reaction)検査を補助したり、医者の診断を補助したり、病気の重症度や進行度を数値化できる。
【0148】
図9は、本開示の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図である。
【0149】
本開示が一般的にコンピューティング装置により具現化されることができると前述されているが、当業者であれば本開示が一つ以上のコンピューター上で実行されることのできるコンピューター実行可能命令及び/またはその他のプログラムモジュールと結合して及び/またはハードウェアとソフトウェアの組み合わせとして具現化されることができるということをよく理解できるだろう。
【0150】
一般的に、本明細書におけるモジュールは、特定のタスクを実行したり、特定の抽象的なデータ類型を実装するルーティン、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサーまたはマルチプロセッサーコンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルド(handheld)コンピューティング装置、マイクロプロセッサー基盤、またはプログラム可能な家電製品、その他等々(これらは、それぞれ1つ以上の関連する装置と繋がって動作することができる)をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。
【0151】
本開示において説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって実行される分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。
【0152】
コンピューターは、多様なコンピューター可読媒体を含む。コンピューターによってアクセス可能な媒体はいずれもコンピューター可読媒体になり得るが、このようなコンピューター可読媒体は揮発性及び非揮発性媒体、一時的(transitory)及び非一時的(non-transitory)媒体、移動式及び非-移動式媒体を含む。制限ではなく例として、コンピューター可読媒体は、コンピューター可読保存媒体及びコンピューター可読伝送媒体を含むことができる。コンピューター可読保存媒体は、コンピューター可読命令、データ構造、プログラムモジュール又はその他のデータのような情報を保存する任意の方法又は技術により実装される揮発性及び非揮発性媒体、一時的及び非-一時的媒体、移動式及び非移動式媒体を含む。コンピューター可読保存媒体は、RAM、ROM、EEPROM、フラッシュメモリーまたはその他のメモリー技術、CD-ROM、DVD(digital video disk)またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。
【0153】
コンピューター可読伝送媒体は、通常、搬送波(carrier wave)またはその他の伝送メカニズム(transport mechanism)のような被変調データ信号(modulated data signal)にコンピューター可読命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち1つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューター可読伝送媒体は、有線ネットワークまたは直接配線接続(direct-wired connection)のような有線媒体、そして音響、RF、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のいずれかによる任意の組み合わせもまたコンピューター可読伝送媒体の範囲に含まれるものとする。
【0154】
コンピューター(1102)を含む本開示の多様な側面を実現する例示的な環境(1100)が示されており、コンピューター(1102)は、処理装置(1104)、システムメモリー(1106)、システムバス(1108)を含む。システムバス(1108)は、システムメモリー(1106)(これに限定されない)をはじめとするシステムコンポーネントを処理装置(1104)につなげる。処理装置(1104)は、多様な商用プロセッサーのうち任意のプロセッサーになり得る。デュエルプロセッサーとその他のマルチプロセッサーアーキテクチャもまた処理装置(1104)として利用されることができる。
【0155】
システムバス(1108)は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー(1106)は、読み取り専用メモリー(ROM)(1110)やランダムアクセスメモリー(RAM)(1112)を含む。基本的な入出力システム(BIOS)は、ROM、EPROM、EEPROM等の非揮発性メモリー(1110)に保存され、このBIOSは、起動中の時等にコンピューター(1102)の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。RAM(1112)は、またデータをキャッシュするための静的RAM等の高速RAMを含むことができる。
【0156】
コンピューター(1102)においては、また、内蔵型ハードディスクドライブ(HDD)(1114)(例えば、EIDE、SATA)―この内蔵型ハードディスクドライブ(1114)はまた適切なシャシー(図示は省略)の中で外付け型の用途で構成されることができる―、磁気フロッピーディスクドライブ(FDD)(1116)(例えば、移動式ディスケット(1118)から読み取ったりそれに書き込むためのものである)及び光ディスクドライブ(1120)(例えば、CD-ROMディスク(1122)を読み取ったり、DVD等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである)を含む。ハードディスクドライブ(1114)、磁気ディスクドライブ(1116)及び光ディスクドライブ(1120)は、それぞれハードディスクドライブインターフェース(1124)、磁気ディスクドライブインターフェース(1126)及び光ドライブインターフェース(1128)によってシステムバス(1108)に繋がることができる。外付け型ドライブの実装のためのインターフェース(1124)は、例えば、USB(Universal Serial Bus)やIEEE1394インターフェース技術のうち、少なくとも1つまたはその両方を含む。
【0157】
これらのドライブ及びこれらに係るコンピューター可読媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター(1102)の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューター可読保存媒体に係る説明が、HDD、移動式磁気ディスク及びCDまたはDVD等の移動式光媒体について触れているが、当業者ならジップドライブ(zip drive)、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。
【0158】
運営システム(1130)、1つ以上のアプリケーションプログラム(1132)、その他のプログラムモジュール(1134)及びプログラムデータ(1136)をはじめとする多数のプログラムモジュールが、ドライブ及びRAM(1112)に保存されることができる。運営システム、アプリケーション、モジュール及び/またはデータの全部またはその一部分がまたRAM(1112)にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。
【0159】
ユーザーは、1つ以上の有線・無線の入力装置、例えば、キーボード(1138)及びマウス(1140)等のポインティング装置を通じてコンピューター(1102)に命令及び情報を入力することができる。その他の入力装置(図示は省略)としてはマイク、IRリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス(1108)に繋がっている入力装置インターフェース(1142)を通じて処理装置(1104)に繋がることがあるが、並列ポート、IEEE1394直列ポート、ゲームポート、USBポート、IRインターフェース、その他等々のその他のインターフェースによって繋がることができる。
【0160】
モニター(1144)または他の類型のディスプレイ装置も、ビデオアダプター(1146)等のインターフェースを通じてシステムバス(1108)に繋がる。モニター(1144)に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置(図示は省略)を含む。
【0161】
コンピューター(1102)は、有線及び/または無線通信による(複数の)遠隔コンピューター(1148)等の1つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。(複数の)遠隔コンピューター(1148)は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター(1102)について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置(1150)のみ図示されている。図示されている論理的接続は、近距離通信網(LAN)(1152)及び/または、より大きいネットワーク、例えば、遠距離通信網(WAN)(1154)における有線・無線の接続を含む。このようなLAN及びWANのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク(enterprise-wide computer network)を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。
【0162】
LANネットワーキング環境で使われるとき、コンピューター(1102)は、有線及び/または無線通信ネットワークインターフェース、または、アダプター(1156)を通じてローカルネットワーク(1152)に繋がる。アダプター(1156)は、LAN(1152)への有線または無線通信を容易にすることができ、このLAN(1152)は、また無線アダプター(1156)と通信するためにそれに設置されている無線アクセスポイントを含む。WANネットワーキング環境で使われるとき、コンピューター(1102)は、モデム(1158)を含むことができたり、WAN(1154)上の通信サーバーに繋がったり、またはインターネットを通じる等、WAN(1154)を通じて通信を設定するその他の手段を持つ。内蔵型又は外付け型、そして、有線または無線装置になり得るモデム(1158)は、直列ポートインターフェース(1142)を通じてシステムバス(1108)に繋がる。ネットワーク化された環境において、コンピューター(1102)について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー/保存装置(1150)に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということは容易に理解できることである。
【0163】
コンピューター(1102)は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び/または携帯用コンピューター、PDA(portable data assistant)、通信衛星、無線で検出可能なタグに係る任意の装備または場所及、及び電話と通信する動作をする。これは、少なくともWi-Fi(登録商標)及びブルートゥース(登録商標)無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも2つの装置の間でのアドホック通信(ad hoc communication)になり得る。
【0164】
Wi-Fi(Wireless Fidelity)は、有線で繋がっていなくても、インターネット等への接続を可能にする。Wi-Fiは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Wi-Fiネットワークは、安全で信頼性があり、高速である無線接続を提供するためにIEEE802.11(a、b、g、その他)という無線技術を使う。コンピューターを互いに、インターネット及び有線ネットワーク(IEEE802.3またはイーサネットを使う)に接続するためにWi-Fiが使われることができる。Wi-Fiネットワークは、非認可2.4や5GHzの無線帯域において、例えば、11Mbps(802.11a)または54Mbps(802.11b)のデータレートで動作したり、両帯域(デュエル帯域)を含む製品において動作することができる。
【0165】
本開示の技術分野における通常の知識を持つ者は情報及び信号が任意の多様な異なる技術及び手法を利用して示されることができることを理会できる。例えば、前記の説明において参照できるデータ、指示、命令、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁気派、磁場等または粒子、光学場等または粒子、またはこれらの任意の組み合わせによって示されることができる。
【0166】
本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー、手段、回路、アルゴリズム段階が電子ハードウェア、(利便性のために、ここでは「ソフトウェア」と称される)多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、及び段階がこれらの機能に着目して前記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーションおよび全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。
【0167】
ここに示された多様な実施例は、方法、装置、または標準プログラミング及び/またはエンジニアリング技術を使った製造物品(article)によって実現できる。用語「製造物品」は、任意のコンピューターで可読な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体(media)を含む。例えば、コンピューターで可読保存媒体は、磁気保存装置(例えば、ハードディスク、フロッピーディスク、磁気ストリップ等)、光学ディスク(例えば、CD、DVD等)、スマートカード及びフラッシュメモリー装置(例えば、EEPROM、カード、スティック、キードライブ等)を含むが、これらに限定されるものではない。また、ここに示されている多様な保存媒体は、情報を保存するための1つ以上の装置及び/または他の機械可読媒体を含む。
【0168】
示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が再配列されることができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。
【0169】
示された実施例に関する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したり、または実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確に理解できるものであり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
【0170】
上述のように、発明の実施のための最善の形態において、関連する内容を述べた。
【産業上の利用可能性】
【0171】
本発明は、神経回路網を用いて得た病変読影の結果を提供するコンピューティング装置等に利用されることが可能である。
【国際調査報告】