特許 7605514 肺容積検査方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】肺容積検査方法及びその装置

(51)【国際特許分類】

   A61B 6/00 20240101AFI20241217BHJP

   G16H 30/20 20180101ALI20241217BHJP

   G16H 50/20 20180101ALI20241217BHJP

【ＦＩ】

A61B6/00 560

G16H30/20

G16H50/20

A61B6/00 550D

【請求項の数】 18

(21)【出願番号】P 2023125500

(22)【出願日】2023-08-01

(65)【公開番号】P2024077583

(43)【公開日】2024-06-07

【審査請求日】2023-08-01

(31)【優先権主張番号】10-2022-0162054

(32)【優先日】2022-11-28

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２２年１０月２５日にウェブサイト（ｈｔｔｐｓ：／／ｐｕｂｍｅｄ．ｎｃｂｉ．ｎｌｍ．ｎｉｈ．ｇｏｖ／３６２８３１１３／）において論文「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｅｓｔｉｍａｔｉｎｇ Ｌｕｎｇ Ｃａｐａｃｉｔｙ ｏｎ Ｃｈｅｓｔ Ｒａｄｉｏｇｒａｐｈｓ Ｐｒｅｄｉｃｔｓ Ｓｕｒｖｉｖａｌ ｉｎ Ｉｄｉｏｐａｔｈｉｃ Ｐｕｌｍｏｎａｒｙ Ｆｉｂｒｏｓｉｓ」を公開

(73)【特許権者】

【識別番号】519388941

【氏名又は名称】メディカルアイピー・カンパニー・リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】朴 相準

(72)【発明者】

【氏名】尹 淳鎬

(72)【発明者】

【氏名】金 炯▲ジン▼

(72)【発明者】

【氏名】ヨセフ・ナタナエル・ウィタント

(72)【発明者】

【氏名】金 鐘▲ミン▼

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開２０２０－１７１４２７（ＪＰ，Ａ）

【文献】国際公開第２０２２／０５８２２０（ＷＯ，Ａ１）

【文献】特表２０１６－５２８９３２（ＪＰ，Ａ）

【文献】特開２０１９－１２２４４９（ＪＰ，Ａ）

【文献】特開２０１９－１８７８６２（ＪＰ，Ａ）

【文献】Ecem Sogancioglu 外５名，Automated estimation of total lung volume using chest radiographs and deep learning，MEDICAL PHYSICS，2022年04月18日，49(7)，pp.4466-4477

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／５８

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ１６Ｈ １０／００－８０／００

ＰｕｂＭｅｄ

(57)【特許請求の範囲】

【請求項1】

患者の二次元医療映像を入力される段階と、
前記患者の臨床情報を入力される段階と、
前記二次元医療映像と前記臨床情報とを人工知能モデルに入力し、前記患者の肺容積を把握する段階と、を含み、
前記肺容積を把握する段階は、
第１神経網を介し、前記二次元医療映像に係わる符号化映像を生成する段階と、
前記符号化映像と前記臨床情報とを結合したデータを、第２神経網に入力して肺容積を予測する段階と、を含むことを特徴とする肺容積検査方法。

【請求項2】

前記二次元医療映像は、胸部Ｘ線映像であることを特徴とする請求項１に記載の肺容積検査方法。

【請求項3】

前記臨床情報は、前記患者の年齢及び／または性別を含むことを特徴とする請求項１に記載の肺容積検査方法。

【請求項4】

前記二次元医療映像は、Ｘ線映像から肺領域を分割した分割映像であることを特徴とする請求項１に記載の肺容積検査方法。

【請求項5】

Ｘ線映像と、肺領域の分割映像とを含む学習データを利用し、訓練させた領域分割モデルを利用し、前記二次元医療映像から、肺領域の分割映像を生成する段階をさらに含むことを特徴とする請求項４に記載の肺容積検査方法。

【請求項6】

患者の二次元医療映像を入力される段階と、
前記患者の臨床情報を入力される段階と、
前記二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する段階と、を含み、
前記二次元医療映像は、Ｘ線映像から肺領域を分割した分割映像であり、
前記臨床情報は、前記分割映像を基に把握された前記肺領域の面積を含むことを特徴とする肺容積検査方法。

【請求項7】

二次元医療映像、臨床情報及び実際肺容積を含む学習データを利用し、前記第１神経網及び前記第２神経網を指導学習方法によって訓練させる段階をさらに含むことを特徴とする請求項１に記載の肺容積検査方法。

【請求項8】

患者の二次元医療映像を入力される段階と、
前記患者の臨床情報を入力される段階と、
前記二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する段階と、を含み、
前記肺容積を把握する段階は、
エンコーダ及びデコーダを含む第１神経網に、前記二次元医療映像を入力する段階と、
前記エンコーダから出力される特徴情報と、前記臨床情報とを結合したデータを、第２神経網に入力して肺容積を予測する段階と、を含むことを特徴とする肺容積検査方法。

【請求項9】

前記第１神経網及び前記第２神経網を含む前記人工知能モデルを訓練させる段階をさらに含み、
前記第１神経網を訓練させる段階は、
前記第１神経網に二次元医療映像を入力する段階と、
前記第１神経網が出力する復元映像と、前記二次元医療映像との差が減少するように、前記第１神経網を学習させる段階と、を含み、
前記第２神経網を訓練させる段階は、
訓練完了した前記第１神経網に二次元医療映像を入力する段階と、
前記第１神経網のエンコーダから出力される特徴情報と、臨床情報とを結合したデータを、前記第２神経網に入力し、得られた予測肺容積と、実際肺容積との差が減少するように、前記第２神経網を学習させる段階と、を含むことを特徴とする請求項８に記載の肺容積検査方法。

【請求項10】

患者の二次元医療映像を入力される段階と、
前記患者の臨床情報を入力される段階と、
前記二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する段階と、を含み、
前記肺容積を把握する段階は、
エンコーダとデコーダとを含む第１神経網に、前記二次元医療映像を入力し、復元映像を生成する段階と、
前記復元映像と前記臨床情報とを結合したデータを、第２神経網に入力して肺容積を予測する段階と、を含むことを特徴とする肺容積検査方法。

【請求項11】

二次元医療映像、臨床情報及び実際肺容積を含む学習データを利用し、前記第１神経網及び前記第２神経網を指導学習方法によって訓練させる段階をさらに含むことを特徴とする請求項１０に記載の肺容積検査方法。

【請求項12】

患者の二次元医療映像を入力される映像入力部と、
前記患者の臨床情報を入力される臨床情報入力部と、
二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する容積把握部と、を含み、
前記人工知能モデルは、
映像を符号化する第１神経網と、
肺容積を予測する第２神経網と、を含み、
前記容積把握部は、前記第１神経網を介し、前記二次元医療映像に係わる符号化映像を生成し、前記符号化映像と前記臨床情報とを結合したデータを、前記第２神経網に入力して肺容積を把握することを特徴とする肺容積検査装置。

【請求項13】

患者の二次元医療映像を入力される映像入力部と、
前記患者の臨床情報を入力される臨床情報入力部と、
二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する容積把握部と、を含み、
前記人工知能モデルは、
エンコーダ及びデコーダを介して映像を符号化して復号する第１神経網と、
肺容積を予測する第２神経網と、を含み、
前記容積把握部は、前記エンコーダを介して把握した前記二次元医療映像に係わる特徴情報と、前記臨床情報とを結合したデータを、前記第２神経網に入力して肺容積を把握することを特徴とする肺容積検査装置。

【請求項14】

患者の二次元医療映像を入力される映像入力部と、
前記患者の臨床情報を入力される臨床情報入力部と、
二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する容積把握部と、を含み、
前記人工知能モデルは、
エンコーダ及びデコーダを介して映像を符号化して復号する第１神経網と、
肺容積を予測する第２神経網と、を含み、
前記容積把握部は、前記第１神経網を介し、前記二次元医療映像に係わる復元映像を求め、前記復元映像と前記臨床情報とを結合したデータを、前記第２神経網に入力して肺容積を把握することを特徴とする肺容積検査装置。

【請求項15】

患者の二次元医療映像を入力される映像入力部と、
前記患者の臨床情報を入力される臨床情報入力部と、
二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する容積把握部と、を含み、
学習データを利用し、第１神経網及び第２神経網を含む前記人工知能モデルを指導学習方法によって訓練させる学習部をさらに含み、
前記学習部は、
映像符号化を行う前記第１神経網に、前記学習データの二次元医療映像を入力し、
前記第１神経網の出力値に、前記学習データの臨床情報を結合したデータを、前記第２神経網に入力して肺容積を予測し、
予測された肺容積と、前記学習データの実際肺容積との差が最小になるように、前記第１神経網及び前記第２神経網を訓練させることを特徴とする肺容積検査装置。

【請求項16】

患者の二次元医療映像を入力される映像入力部と、
前記患者の臨床情報を入力される臨床情報入力部と、
二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する容積把握部と、を含み、
学習データを利用し、第１神経網及び第２神経網を含む前記人工知能モデルを指導学習方法によって訓練させる学習部をさらに含み、
前記学習部は、
符号化過程及び復号過程を含む前記第１神経網に、前記学習データの二次元医療映像を入力し、自己指導学習方法により、前記第１神経網を訓練させる第１学習部と、
学習完了した前記第１神経網を介し、前記学習データの二次元医療映像に係わる特徴情報を把握し、前記特徴情報と、前記学習データの臨床情報とを結合したデータを、前記第２神経網に入力して肺容積を予測し、予測された肺容積と、前記学習データの実際肺容積との差が減少するように、前記第２神経網を訓練させる第２学習部と、を含むことを特徴とする肺容積検査装置。

【請求項17】

患者の二次元医療映像を入力される映像入力部と、
前記患者の臨床情報を入力される臨床情報入力部と、
二次元医療映像と臨床情報とを人工知能モデルに入力して前記患者の肺容積を把握する容積把握部と、を含み、
学習データを利用し、第１神経網及び第２神経網を含む前記人工知能モデルを指導学習方法で訓練させる学習部をさらに含み、
前記学習部は、
符号化過程及び復号過程を含む前記第１神経網に、前記学習データの二次元医療映像を入力して復元映像を生成し、
前記復元映像と、前記学習データの臨床情報とを結合した情報を、前記第２神経網に入力して肺容積を予測し、
予測された肺容積と、前記学習データの実際肺容積との差が減少するように、前記第１神経網及び前記第２神経網を訓練させることを特徴とする肺容積検査装置。

【請求項18】

請求項１ないし１１のうちいずれか１項に記載の方法を遂行するためのコンピュータプログラムを記録したコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、肺容積を検査する方法及びその装置に係り、さらに詳細には、医療映像から、肺容積を検査する方法及びその装置に関する。

【0002】

本発明は、ソウル大学校病院主管の「重症患者向けビッグデータ構築及びＡＩ基盤ＣＤＳＳ開発」事業を介して開発された技術である（課題番号：ＨＩ２１Ｃ１０７４０５００２１、課題固有番号：ＨＩ２１Ｃ１０７４）。

【背景技術】

【0003】

従来の肺容積は、肺活量計を利用し、患者が吸い込んで吐き出した空気の量を基に測定する。しかしながら、肺線維症などの障害により、肺が硬直されれば、肺の弾力性が低下し、息を吐き出すのが困難になり、肺にさらに多くの空気が閉じ込められているので、従来の肺活量計を利用した肺容積の正確度が下がるという問題点がある。

【0004】

患者胸部のＣＴ（computed tomography）映像から肺領域を分離する過程を遂行し、肺容積を求めることができる。しかしながら、肺容積を求めるためには、コストと時間とが多く必要となるＣＴ撮影が先行されなければならず、また三次元医療映像から肺領域を分離して抽出する複雑な処理過程が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする技術的課題は、Ｘ線映像のような二次元医療映像から、患者の肺容積を容易に把握することができる方法及びその装置を提供するところにある。

【課題を解決するための手段】

【0006】

前述の技術的課題を達成するための、本発明の実施形態による肺容積検査方法の一例は、患者の二次元医療映像を入力される段階と、前記患者の臨床情報を入力される段階と、該二次元医療映像と該臨床情報とを人工知能モデルに入力し、前記患者の肺容積を把握する段階と、を含む。

【0007】

前述の技術的課題を達成するための、本発明の実施形態による肺容積検査装置の一例は、患者の二次元医療映像を入力される映像入力部と、前記患者の臨床情報を入力される臨床情報入力部と、該二次元医療映像と該臨床情報とを入力に、肺容積を出力する人工知能モデルを介し、前記患者の肺容積を把握する容積把握部と、を含む。

【発明の効果】

【0008】

本発明の実施形態によれば、Ｘ線映像のような二次元医療映像から、肺容積を把握することができる。また、該二次元医療映像と共に、臨床情報を利用し、肺容積測定の正確度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態による肺容積検査装置の一例を図示した図である。

【図2】本発明の実施形態による肺容積検査方法の一例を図示したフローチャートである。

【図3】本発明の実施形態による人工知能モデルの一例の構造を図示した図である。

【図4】本発明の実施形態による領域分割モデルの一例を図示した図である。

【図5】本発明の実施形態による領域分割モデルの一例を図示した図である。

【図6】本発明の実施形態による人工知能モデルの多様な実施形態の構造を図示した図である。

【図7】本発明の実施形態による人工知能モデルの多様な実施形態の構造を図示した図である。

【図8】本発明の実施形態による人工知能モデルの多様な実施形態の構造を図示した図である。

【図9】本発明の実施形態による人工知能モデルの学習データの一例を図示した図である。

【図10】本発明の実施形態による肺容積検査装置の一例の構成を図示した図である。

【発明を実施するための形態】

【0010】

以下において、添付図面を参照し、本発明の実施形態による肺容積検査方法及びその装置について詳細に説明する。

【0011】

図１は、本発明の実施形態による肺容積検査装置の一例を図示した図面である。

【0012】

図１を参照すれば、肺容積検査装置１００は、二次元医療映像１１０及び臨床情報１２０を入力されれば、肺容積（lung volume）１３０を把握して出力する。一実施形態として、肺容積検査装置１００は、ＰＡＣＳ（picture archiving and communication system）及びＥＭＲ（electronic medical record）システムから、二次元医療映像１１０と臨床情報１２０を受信することができる。

【0013】

二次元医療映像１１０は、胸部Ｘ線映像でもある。または、二次元医療映像１１０は、胸部Ｘ線映像から、肺領域のみを分割した分割映像でもある。Ｘ線映像から肺領域の分割映像を生成する方法の一例が、図４及び図５に図示されている。

【0014】

肺容積１３０は、患者の年齢及び／または性別と有意の相関関係を有するので、臨床情報１２０は、年齢及び／または性別などを含むものでもある。他の実施形態として、臨床情報１２０は、年齢及び性別などと共に、肺領域の面積のような定量データをさらに含むものでもある。それ以外にも、肺容積と相関関係を有する多様な情報が、臨床情報１２０に含まれるものでもあるが、本実施形態に限定されるものではない。ただし、以下においては、臨床情報１２０の例として、年齢及び／または性別を含む場合を主として説明する。

【0015】

図２は、本発明の実施形態による肺容積検査方法の一例を図示したフローチャートである。

【0016】

図２を参照すれば、肺容積検査装置１００（以下、「装置」と称する）は、二次元医療映像及び臨床情報を入力される（Ｓ２００）。該二次元医療映像は、胸部Ｘ線映像、または該胸部Ｘ線映像から肺領域を分割した分割映像でもある。該臨床情報は、年齢及び性別などを含むものでもある。

【0017】

装置１００は、二次元医療映像と臨床情報とを人工知能モデルに入力し、肺容積を把握する（Ｓ２１０）。例えば、該人工知能モデルは、該二次元医療映像と該臨床情報を入力されれば、肺容積を予測して出力する人工神経網によっても具現される。該二次元医療映像と該臨床情報は、データ種類が互いに異なっている。本実施形態は、互いに異なる種類の２つのデータを基に、肺容積を正確に予測するために、第１神経網及び第２神経網を含む人工知能モデルを提示する。本発明の実施形態による人工知能モデルの構造の例が、図３に図示されている。

【0018】

図３は、本発明の実施形態による人工知能モデルの一例の構造を図示した図面である。

【0019】

図３を参照すれば、人工知能モデル３００は、第１神経網３１０及び第２神経網３２０を含む。第１神経網３１０及び第２神経網３２０は、同一種類の人工神経網でもあり、互いに異なる種類の人工神経網でもある。例えば、第１神経網３１０は、Ｕ－Ｎｅｔであり、第２神経網３２０は、ＣＮＮ（convolutional neural network）でもある。それ以外にも、第１神経網３１０及び第２神経網３２０は、従来の多様な種類の人工神経網によっても具現されるが、特定種類に限定されるものではない。ただし、以下においては、説明の便宜のために、第１神経網３１０は、Ｕ－Ｎｅｔである場合を主として説明する。

【0020】

第１神経網３１０は、二次元医療映像１１０を入力される。第１神経網３１０は、Ｕ－Ｎｅｔのような従来の多様な人工神経網をそのまま利用するか、あるいはそれを基に変形させた形態でもある。一実施形態として、第１神経網３１０は、二次元医療映像１１０を符号化（または、ダウンサンプリング）させた符号化映像（または、特徴マップ）を出力するモデルでもある（図６参照）。他の実施形態として、第１神経網３１０は、二次元医療映像を入力されれば、符号化過程（すなわち、ダウンサンプリング）及び復号過程（すなわち、アップサンプリング）を遂行し、復元映像を出力するモデルでもある（図７、図８参照）。

【0021】

第２神経網３２０は、第１神経網３１０の出力値と、臨床情報１２０とを結合（concatenation）させたデータを入力されれば、肺容積を出力するモデルである。第１神経網３１０の出力値は、第１神経網３１０を構成する複数のレイヤのうち、特定レイヤから出力される特徴（feature）情報でもある。第１神経網３１０と第２神経網３２０との多様な連結構造の例が、図６ないし図８に図示されている。

【0022】

図４及び図５は、本発明の実施形態による領域分割モデルの一例を図示した図面である。

【0023】

図４を参照すれば、領域分割モデル４００は、Ｘ線映像４１０を入力されれば、そのＸ線映像４１０から、肺領域の分割映像４２０を生成する人工知能モデルである。胸部Ｘ線映像５００から肺領域を分割した分割映像５１０の一例が図５に図示されている。Ｘ線映像５００には、さまざまな組織（肺、骨、筋肉、臓器など）が一平面に重畳されて表示されるが、分割映像５１０には、肺組織だけが表示される。肺領域の分割映像５１０を二次元医療映像に利用する場合、肺容積測定の正確度を高めることができる。

【0024】

領域分割モデル４００は、ＣＮＮのような多様な人工神経網によっても具現される。領域分割モデル４００は、指導学習方法によって訓練させて生成することができる。例えば、Ｘ線映像４１０と、肺領域の二次元映像（正解紙）とをデータセットとして含む学習データを利用し、領域分割モデル４００を訓練させることができる。すなわち、領域分割モデル４００は、学習データのＸ線映像４１０を入力されれば、分割映像４２０を出力し、分割映像４２０と、学習データの肺領域の二次元映像（正解紙）と差が低減されるように訓練されうる。該学習データを利用し、指導学習方法により、領域分割モデル４００を訓練させる方法それ自体は、周知の構成であるので、それに係わるさらなる説明は、省略する。

【0025】

一実施形態として、学習データは、ＣＴ（computed tomography）映像を基に生成することができる。例えば、胸部ＣＴ映像に、従来の多様な分割アルゴリズムを利用し、三次元肺領域を分割する。そして、該胸部ＣＴ映像を二次元平面に投映して生成された二次元映像を学習データのＸ線映像として使用し、三次元肺領域を二次元平面に投映して生成された二次元肺映像を分割映像として使用することができる。それ以外にも、領域分割モデル４００のための学習データは、多様な方法によっても生成されるが、本実施形態に限定されるものではない。

【0026】

装置１００は、領域分割モデル４００を介して求めた分割映像４２０から、肺領域の面積のような定量データ４３０を求めることができる。装置１００は、肺領域の面積などを臨床情報として使用することができる。

【0027】

図６は、本発明の実施形態による人工知能モデルの第１実施形態の構造を図示した図面である。

【0028】

図６を参照すれば、該人工知能モデルは、符号化過程（例えば、ダウンサンプリング）を遂行する第１神経網６００と、肺容積を予測する第２神経網６１０と、を含む。

【0029】

第１神経網６００は、二次元医療映像を入力されれば、二次元医療映像を符号化した符号化映像を出力する。第１神経網６００は、エンコーダ（encoder）及びデコーダ（decoder）を含む従来の多様な種類の人工神経網において、デコーダ部分を省略し、エンコーダ部分によって構成されうる。例えば、第１神経網６００は、Ｕ－Ｎｅｔにおいて符号化過程を遂行するレイヤ（すなわち、エンコーダ）によって構成されうる。

【0030】

第２神経網６１０は、第１神経網６００の出力値（すなわち、符号化映像）及び臨床情報を入力されれば、肺容積を出力する。第２神経網６１０は、ＣＮＮのような多様な種類の人工神経網によって具現されうる。

【0031】

装置１００は、第１神経網６００と第２神経網６１０とが連結された全体の人工知能モデルを訓練させることができる。例えば、回帰推定方法を介し、人工知能モデルを訓練させて生成することができる。他の実施形態として、装置１００は、第１神経網６００と第２神経網６１０とをそれぞれ訓練させるか、あるいは第２神経網６２０だけを訓練させることができる。学習データを利用し、人工知能モデルを訓練させる方法については、図９でさらに説明する。

【0032】

図７は、本発明の実施形態による人工知能モデルの第２実施形態の構造を図示した図面である。

【0033】

図７を参照すれば、該人工知能モデルは、符号化過程及び復号過程を遂行する第１神経網７００と、肺容積を予測する第２神経網７１０と、を含む。

【0034】

第１神経網７００は、二次元医療映像を入力されれば、二次元医療映像を符号化するエンコーダと、符号化されたデータを復号し、復元映像を生成するデコーダと、を含む。例えば、第１神経網７００は、Ｕ－Ｎｅｔによって具現されうる。第１神経網７００は、入力データである二次元医療映像と、出力データである復元映像との差が低減されるように訓練されうる。一例でとして、第１神経網７００は、自己指導学習（self supervised learning）方法によって訓練されうる。

【0035】

第２神経網７１０は、第１神経網７００のエンコーダから出力される特徴情報（例えば、符号化映像）と臨床情報とを結合したデータを入力されれば、肺容積を出力する。第２神経網７１０は、図６で述べた第２神経網６１０と同一の人工神経網によって具現されるか、あるいは互いに異なる人工神経網によっても具現される。

【0036】

本実施形態の第１神経網７００及び第２神経網７１０は、それぞれ別個の学習過程を介しても生成される。第１神経網７００及び第２神経網７１０の学習方法については、図９でさらに説明する。

【0037】

図８は、本発明の実施形態による人工知能モデルの第３実施形態の構造を図示した図面である。

【0038】

図８を参照すれば、該人工知能モデルは、符号化過程及び復号過程を遂行する第１神経網８００と、肺容積を予測する第２神経網８１０と、を含む。

【0039】

第１神経網８００は、二次元医療映像を入力されれば、二次元医療映像を符号化するエンコーダと、符号化されたデータを復号し、さらに映像を復元するデコーダと、を含む。例えば、第１神経網８００は、Ｕ－Ｎｅｔによっても具現される。

【0040】

第２神経網８１０は、第１神経網８００の出力端に位置する。第２神経網８１０は、第１神経網８００から出力される復元映像と、臨床情報とを結合したデータを入力されれば、肺容積を出力する。

【0041】

装置１００は、第１神経網８００と第２神経網８１０とが連結された全体の人工知能モデルを訓練させることができる。他の実施形態として、装置１００は、第１神経網８００と第２神経網８１０とをそれぞれ訓練させるか、あるいは第２神経網だけを訓練させることができる。学習データを利用した人工知能モデルの訓練方法については、図９でさらに説明する。

【0042】

図９は、本発明の実施形態による人工知能モデルの学習データの一例を図示した図面である。

【0043】

図９を参照すれば、人工知能モデルの学習データ９００は、二次元医療映像９１０、臨床情報９２０及び実際肺容積９３０のデータセットを含む。二次元医療映像９１０は、胸部Ｘ線映像や、図４及び図５で述べた分割映像でもある。臨床情報９２０は、患者の年齢及び性別を含むものでもある。他の実施形態として、臨床情報９２０は、図４の分割映像から求めた肺領域の面積をさらに含むものでもある。実際肺容積９３０は、ＣＴ映像９５０から三次元肺領域を分割する三次元分割モデル９４０を介して把握されうる。三次元分割モデル９４０は、人工知能モデルによって具現された従来の多様なモデルでもある。それ以外にも、学習データの実際肺容積は、従来の多様な方法を介して把握されうる。

【0044】

装置１００は、学習データ９００を利用し、図６ないし図９の多様な人工知能モデルを訓練させることができる。

【0045】

まず、図６の人工知能モデルの学習方法について説明する。

【0046】

装置１００は、学習データ９００の二次元医療映像９１０を、第１神経網６００に入力する。装置１００は、第１神経網６００から出力される符号化映像と、学習データ９００の臨床情報９２０とを結合したデータを、第２神経網６１０に入力して肺容積を予測する。以下において、第２神経網６１０が予測して出力した肺容積を「予測肺容積」と命名する。装置１００は、予測肺容積と、学習データ９００の実際肺容積９３０との差を示す損失関数を基に、第１神経網６００及び第２神経網６１０を共に訓練させる。該損失関数は、第１神経網６００及び第２神経網６１０の全体に係わる損失関数である。装置１００は、損失関数の値が減少するように第１神経網６００及び第２神経網６１０のパラメータ値を調整する訓練過程を遂行する。

【0047】

次に、図７の人工知能モデルの学習方法について説明する。

【0048】

装置１００は、学習データ９００の二次元医療映像９１０を、第１神経網７００に入力する。第１神経網７００は、符号化及び復号過程を経て、復元映像を出力する。第１神経網７００は、学習データ９００の二次元医療映像９１０と、復元映像との差を示す損失関数の値が減少するように、第１神経網７００のパラメータ値を調整する第１訓練過程を遂行する。すなわち、第１神経網７００は、自己指導学習によって生成される。

【0049】

第１訓練過程が完了すれば、装置１００は、訓練完了した第１神経網７００に、学習データ９００の二次元医療映像９１０を入力する。装置１００は、第１神経網７００のエンコーダの特徴情報（すなわち、符号化映像）と、学習データ９００の臨床情報９２０とを結合したデータを、第２神経網７１０に入力し、予測肺容積を把握する。装置１００は、予測肺容積と、学習データ９００の実際肺容積９３０との差を示す損失関数の値が減少するように、第２神経網７１０のパラメータ値を調整する第２訓練過程を遂行する。第１神経網７００は、事前に学習完了したので、第１神経網７００の学習状態は、固定される。すなわち、第２訓練過程においては、第１神経網７００を除いた第２神経網７１０が訓練される。

【0050】

次に、図８の人工知能モデルの学習方法について説明する。

【0051】

装置１００は、学習データ９００の二次元医療映像９１０を、第１神経網８００に入力し、復元映像を獲得する。装置１００は、第１神経網８００から出力された復元映像と、臨床情報とを結合したデータを、第２神経網８１０に入力し、予測肺容積を把握する。装置１００は、予測肺容積と、学習データ９００の実際肺容積９３０との差を示す損失関数の値が減少するように、第１神経網８００及び第２神経網８１０のパラメータ値を調整する訓練過程を遂行する。図７の人工知能モデルにおいては、第１神経網７００と第２神経網７１０とをそれぞれ訓練させる一方、図８の人工知能モデルにおいては、第１神経網８００と第２神経網８１０とを一回で共に訓練させる。

【0052】

図１０は、本発明の実施形態による肺容積検査装置の一例の構成を図示した図面である。

【0053】

図１０を参照すれば、肺容積検査装置１００は、領域分割モデル１０００、映像入力部１０１０、臨床情報入力部１０２０、容積把握部１０３０、人工知能モデル１０４０及び学習部１０５０を含む。一実施形態により、領域分割モデル１０００は、省略されうる。他の実施形態として、人工知能モデル１０４０が事前に学習完了したならば、学習部１０５０は、省略されうる。さらに他の実施形態として、肺容積検査装置１００は、メモリ、プロセッサ及び入出力装置を含むコンピューティング装置によっても具現される。その場合、各構成は、ソフトウェアによって具現され、メモリに搭載された後、プロセッサによって遂行されうる。

【0054】

映像入力部１０１０は、患者の二次元医療映像を入力される。一実施形態として、映像入力部１０１０は、胸部Ｘ線映像を二次元医療映像として入力されうる。他の実施形態として、映像入力部１０１０は、領域分割モデル１０００を介し、Ｘ線映像から分割された肺領域によって構成される分割映像を、二次元医療映像に入力されうる。

【0055】

臨床情報入力部１０２０は、患者の臨床情報を入力される。一実施形態として、臨床情報入力部１０２０は、患者の年齢及び性別を、臨床情報として入力されうる。他の実施形態として、臨床情報入力部１０２０は、領域分割モデル１０００を介して把握された肺領域の面積のような定量データと、患者の年齢及び性別とを臨床情報として入力されうる。

【0056】

容積把握部１０３０は、二次元医療映像と臨床情報とを入力に、肺容積を出力する人工知能モデル１０４０を介し、患者の肺容積を把握する。

【0057】

人工知能モデル１０４０の第１実施形態は、映像を符号化する第１神経網と、肺容積を予測する第２神経網と、を含むものでもある。その場合、容積把握部１０４０は、第１神経網を介し、二次元医療映像に係わる符号化映像を生成し、符号化映像と臨床情報とを結合したデータを、第２神経網に入力して肺容積を把握することができる。人工知能モデル１０４０の第１実施形態が図６に図示されている。

【0058】

人工知能モデル１０４０の第２実施形態は、エンコーダ及びデコーダを介して映像を圧縮して復元する第１神経網と、肺容積を予測する第２神経網と、を含むものでもある。その場合、容積把握部１０４０は、二次元医療映像に係わるエンコーダ特徴情報と、臨床情報とを結合したデータを、第２神経網に入力して肺容積を把握することができる。人工知能モデル１０４０の第２実施形態が図７に図示されている。

【0059】

人工知能モデル１０４０の第３実施形態は、エンコーダ及びデコーダを介して映像を圧縮して復元する第１神経網と、肺容積を予測する第２神経網とを含む。その場合、容積把握部１０４０は、第１神経網を介し、二次元医療映像に係わる復元映像を求め、復元映像と臨床情報とを結合したデータを、第２神経網に入力して肺容積を把握することができる。人工知能モデル１０４０の第３実施形態が図８に図示されている。

【0060】

学習部１０５０は、学習データを利用し、第１神経網及び第２神経網を含む人工知能モデル１０４０を指導学習方法で訓練させる。図６の第１人工知能モデルの場合、学習部１０５０は、映像符号化を行う第１神経網に、学習データの二次元医療映像を入力し、第１神経網の出力値に、学習データの臨床情報を結合したデータを、第２神経網に入力して肺容積を予測し、予測された肺容積と、学習データの実際肺容積との差が減少するように、第１神経網及び第２神経網を共に訓練させることができる。

【0061】

図７の第２人工知能モデルの場合、学習部１０５０は、第１学習部及び第２学習部を含むものでもある。該第１学習部は、映像符号化及び映像復号を遂行する第１神経網に、学習データの二次元医療映像を入力し、自己指導学習方法により、第１神経網を訓練させることができる。該第２学習部は、学習完了した第１神経網を介し、学習データの二次元医療映像に係わる特徴情報を把握し、特徴情報と、学習データの臨床情報とを結合したデータを、第２神経網に入力して肺容積を予測し、予測された肺容積と、学習データの実際肺容積との差が最小になるように、第２神経網を訓練させることができる。

【0062】

図８の第３人工知能モデルの場合、学習部１０５０は、映像符号化及び映像復号を遂行する第１神経網に、学習データの二次元医療映像を入力し、復元映像を生成し、復元映像と、学習データの臨床情報とを結合したデータを、第２神経網に入力して肺容積を予測し、予測された肺容積と、学習データの実際肺容積との差が減少するように、前記第１神経網及び前記第２神経網を共に訓練させることができる。

【0063】

本発明は、またコンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なプログラムコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ－ＲＯＭ（compact disc read only memory）、磁気テープ、フロッピーディスク、光データ記憶装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードが保存されて実行されうる。

【0064】

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野において通常の知識を有する者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されうるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれているものであると解釈されなければならないのである。

【符号の説明】

【0065】

１００ 肺容積検査装置
１１０，９１０ 二次元医療映像
１２０，９２０ 臨床情報
１３０ 肺容積
３００，１０４０ 人工知能モデル
３１０ 第１神経網
３２０ 第２神経網
４００，１０００ 領域分割モデル
４１０ Ｘ線映像
４２０ 分割映像‘
４３０ 面積のような定量データ
９００ 学習データ
９３０ 実際肺容積
９４０ 三次元分割モデル
９５０ ＣＴ映像
１０１０ 映像入力部
１０２０ 臨床情報入力部
１０３０ 容積把握部
１０５０ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】