▶ シナジー エイ．アイ． カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-01
(54)【発明の名称】人工神経網を利用する臓器の体積測定方法及びその装置
(51)【国際特許分類】
A61B 6/03 20060101AFI20220125BHJP
G06T 7/62 20170101ALI20220125BHJP
G06T 7/00 20170101ALI20220125BHJP
【ＦＩ】
A61B6/03 360J
G06T7/62
G06T7/00 350C
A61B6/03 360G
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021533353
(86)(22)【出願日】2019-12-11
(85)【翻訳文提出日】2021-08-05
(86)【国際出願番号】 KR2019017514
(87)【国際公開番号】W WO2020122606
(87)【国際公開日】2020-06-18
(31)【優先権主張番号】10-2018-0158812
(32)【優先日】2018-12-11
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0162842
(32)【優先日】2019-12-09
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521253837
【氏名又は名称】シナジー エイ．アイ． カンパニー リミテッド
【氏名又は名称原語表記】ＳＹＮＥＲＧＹ Ａ．Ｉ． ＣＯ． ＬＴＤ．
【住所又は居所原語表記】１９Ｆ， ８， Ｓｅｏｎｇｎａｍ－ｄａｅｒｏ ３３１ｂｅｏｎ－ｇｉｌ Ｂｕｎｄａｎｇ－ｇｕ， Ｓｅｏｎｇｎａｍ－ｓｉ， Ｇｙｅｏｎｇｇｉ－ｄｏ １３５５８ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際特許業務法人
(72)【発明者】
【氏名】シン テヨン
【テーマコード（参考）】
4C093
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093DA10
4C093FD03
4C093FF16
4C093FF23
4C093FF42
4C093FG05
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096CA18
5L096DA02
5L096EA35
5L096EA39
5L096FA32
5L096FA33
5L096FA59
5L096GA30
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
本発明の一実施例に係る臓器の体積測定方法は、前記臓器を撮像した複数の画像及び撮像メタデータを取得し、前記複数の画像を前処理して指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得するステップと、前記複数の画像パッチを３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力し、前記複数の画像パッチのそれぞれに対応する臓器領域を推定するステップと、前記推定された臓器領域の面積及び前記撮像メタデータを用いて前記臓器の体積を測定するステップと、前記神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像の不確実性数値を測定するステップとを含む。
【特許請求の範囲】
【請求項1】
コンピューティング装置によって実行される臓器の体積測定方法であって、前記臓器を撮像した複数の画像及び撮像メタデータを取得し、前記複数の画像を前処理して指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得するステップと、前記複数の画像パッチを３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力し、前記複数の画像パッチのそれぞれに対応する臓器領域を推定するステップと、前記推定された臓器領域の面積及び前記撮像メタデータを用いて前記臓器の体積を測定するステップと、前記神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像の不確実性数値を測定するステップと、前記複数の画像の不確実性数値に基づいて、前記複数の画像のうちの少なくとも一つの画像を変更するステップと、前記神経網モデルの不確実性数値に基づいて、前記神経網モデルのラベリングポリシーを変更するステップとを含む、臓器の体積測定方法。
【請求項2】
前記臓器を撮像した複数の画像は、ダイコム（ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ））ファイルから取得したＣＴ画像及び前記臓器に対するラベリング画像を含み、前記撮像メタデータは、前記複数の画像のそれぞれに対する画素間隔データ及び画像の深さデータを含む、請求項１に記載の臓器の体積測定方法。
【請求項3】
前記複数の画像パッチを取得するステップは、前記複数の画像に含まれている第１画像に対して、データの拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を実行し、前記第１画像から複数の画像を生成し、前記生成した複数の画像を前処理して複数の画像パッチを取得するステップを含み、前記データの拡張は、前記画像の空間拡大、カラー増強、騒音増強、及びトリミングのうちの一つ以上を含む、請求項１に記載の臓器の体積測定方法。
【請求項4】
前記複数の画像は、前記の臓器を撮像した複数の３Ｄ画像であり、前記複数の画像パッチを取得するステップは、前記複数の３Ｄ画像に対して深さ（ｄｅｐｔｈ）方向にスライドし、指定したサイズを有する前記複数の画像パッチを取得するステップを含む、請求項１に記載の臓器の体積測定方法。
【請求項5】
前記神経網モデルは、学習手順及び推論手順でドロップアウト（Ｄｒｏｐｏｕｔ）を実行し、前記神経網モデルの不確実性数値は、前記神経網モデルの推論手順での結果データの確率分布に対する分散値に基づいて測定される、請求項１に記載の臓器の体積測定方法。
【請求項6】
前記複数の画像の不確実性数値は、前記神経網モデルの推論手順での結果データの分散推定値に基づいて測定される、請求項５に記載の臓器の体積測定方法。
【請求項7】
前記複数の画像の不確実性数値に基づいて前記複数の画像のうちの少なくとも一つの画像を変更するステップは、前記複数の画像の不確実性数値が基準値以上である一つ以上の画像を検出するステップと、前記検出した画像の前記臓器領域に対するユーザーの入力に基づいて、前記検出した画像を変更するステップとを含む、請求項１に記載の臓器の体積測定方法。
【請求項8】
前記変更されたラベリングポリシーに基づいて、複数の画像の加重値を設定し、前記変更された画像に対して変更前の画像よりも大きい加重値を付与して前記神経網モデルを学習させるステップをさらに含む、請求項７に記載の臓器の体積測定方法。
【請求項9】
少なくとも一つのテスト画像を取得する入力モジュールと、複数の学習画像及び前記複数の学習画像の中で腎臓に対応する領域又は肝臓に対応する領域の情報に基づく深層学習モデルを記憶するメモリと、前記入力モジュール及び前記メモリに電気的に接続される少なくとも一つのプロセッサとを含む臓器体積測定装置であって、前記少なくとも一つのプロセッサは、前記入力モジュールを介して前記少なくとも一つのテスト画像を取得し、前記記憶された深層学習モデルに基づいて、前記取得した少なくとも一つのテスト画像の中で腎臓に対応する領域又は肝臓に対応する領域を検出し、前記検出した領域の面積を取得し、前記取得した面積に少なくとも基づいて前記取得した少なくとも一つのテスト画像に含まれる腎臓又は肝臓の体積を推定するように構成される臓器体積測定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工神経網を利用し、臓器の体積を測定する方法及びその装置に関する。より詳しくは、臓器を撮像した３Ｄ画像を利用し、人工神経網を介して臓器の領域を検出し、検出された臓器の領域に基づいて、臓器の体積を測定する方法及びその装置に関する。
【0002】
本発明に開示される実施例は、多嚢胞腎又は多嚢胞肝疾患が進行する状況を判断する方法及びこれを実行するための医療用電子装置に対する技術に関する。
【背景技術】
【0003】
腎臓及び肝臓の体積を正確に測定することは、病態生理学、治療機序の解析、及び治療薬の効果を評価するための非常に重要なステップである。特に、多嚢胞腎疾患は、解剖学的に形態一貫性のない多様な形態を示す特性があり、専門家でなければ、臓器の形態を把握することが非常に難しく、単純作業であっても、一般労働者に任せることができない問題が存在する。数百枚からなるＣＴ画像のスライドの全体に対して作業を実行することは、非常に長い時間の間、医師に強度の高い労働（単純労働の繰り返し）を要求する。これにより、ＨＡＬＴ－ＰＫＤ ｃｏｈｏｒｔ、ＣＲＩＳＰ、ＳＵＩＳＳＥ ｓｔｕｄｙなど、グローバル単位の多機関共同研究を行い、この問題を解決するための技術開発が活発に行われているが、各機関が測定した臓器の体積そのものに対する科学的な信頼性は、現在８６％程度にとどまっている。
【0004】
多嚢胞腎疾患は、液体で満たされた複数の嚢胞が原因となって、腎臓が蜂の巣状に変形する遺伝性疾患である。疾患が進行するにつれて、嚢胞が徐々に正常組織を代替することで腎臓の大きさが大きくなり、機能が徐々に低下して末期腎不全に至る疾患である。いくつかの多嚢胞腎疾患は、多嚢胞肝疾患を伴うこともある。
【0005】
多嚢胞腎疾患の患者は、全世界で約１２５０万人であり、約５００人に一人の割合で発生する疾患である。多嚢胞腎疾患は、従来は不治の病であったが、最近、新薬開発が行われ、多くの関心を引いている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の実施例において、病院で取得した画像を利用して臓器の領域を正確に検出し、当該臓器の体積を正確に測定する方法及びその装置が提供される。
【0007】
一方、多嚢胞腎疾患又は多嚢胞肝疾患の診断において、腎臓又は肝臓の体積を正確に測定することは病態生理学的、又は医学的に非常に重要である。例えば、腎臓及び肝臓の体積の増加により、腎機能低下（ｐｒｅｓｓｕｒｅ ｅｆｆｅｃｔ）が発生するという病態生理学的な仮説は、「肝臓の体積を正確に測定できない」という現実的な理由により、まだ正しく評価されていない。他の例として、腎臓又は肝臓の体積がどの程度であるかによって、医師は、患者が多嚢胞腎疾患又は多嚢胞肝疾患を有しているかどうか、又は上記の疾患の進行程度などをより正確に判断することができる。
【0008】
腎臓又は肝臓の体積を正確に測定することができれば、腎機能低下と関連する上記の仮説をより明確に評価することができ、今後発売される薬物の機能性評価にも重要な研究資料としての価値を認められ得る。また、医師にとって、患者が慢性腎不全に至らないように、適切な治療時期を見積もることに大きく寄与することができる。
【0009】
腎臓又は肝臓の体積を測定するための半自動（ｓｅｍｉａｕｔｏｍａｔｉｃ）抽出プログラム（２Ｄ ｓｔｅｒｅｏｌｏｇｙ）を利用する方法があるが、半自動抽出プログラムの購入費用は、数億の高価であり、分析時間も患者１人当たり１～２時間の長時間がかかるという問題がある。また、半自動抽出プログラムを利用する場合、追加の人件費が支出される問題が発生することがある。
【0010】
また、２Ｄ ｓｔｅｒｅｏｌｏｇｙのような領域の抽出技術は、様々な分野で試みられた技術であるが、腎臓又は肝臓の場合、解剖学的な把握が難しいため、技術的な完成度は相対的に低い場合がある。例えば、２Ｄ ｓｔｅｒｅｏｌｏｇｙ技術を利用した腎臓の領域抽出の精度は、最大約８６％程度であることが報告されている。
【0011】
本願に開示される様々な実施例において、上記の問題を解決するための技術が提供され得る。
【課題を解決するための手段】
【0012】
本発明の一実施例に係る臓器の体積測定方法は、前記臓器を撮像した複数の画像及び撮像メタデータを取得し、前記複数の画像を前処理して指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得するステップと、前記複数の画像パッチを３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力し、前記複数の画像パッチのそれぞれに対応する臓器領域を推定するステップと、前記推定された臓器領域の面積及び前記撮像メタデータを用いて前記臓器の体積を測定するステップと、前記神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像の不確実性数値を測定するステップと、前記複数の画像の不確実性数値に基づいて、前記複数の画像のうちの少なくとも一つの画像を変更するステップと、前記神経網モデルの不確実性数値に基づいて、前記神経網モデルのラベリングポリシーを変更するステップとを含んでもよい。
【0013】
一実施例において、前記臓器を撮像した複数の画像は、ダイコム（ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ））ファイルから取得したＣＴ画像及び前記臓器に対するラベリング画像を含み、前記撮像メタデータは、前記複数の画像のそれぞれに対する画素間隔データ及び画像の深さデータを含んでもよい。
【0014】
一実施例において、前記複数の画像パッチを取得するステップは、前記複数の画像に含まれている第１画像に対して、データの拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を実行し、前記第１画像から複数の画像を生成し、前記生成した複数の画像を前処理して複数の画像パッチを取得するステップを含み、前記データの拡張は、前記画像の空間拡大、カラー増強、騒音増強、及びトリミングのうちの一つ以上を含んでもよい。
【0015】
一実施例において、前記複数の画像は、前記の臓器を撮像した複数の３Ｄ画像であり、前記複数の画像パッチを取得するステップは、前記複数の３Ｄ画像に対して深さ（ｄｅｐｔｈ）方向にスライドし、指定したサイズを有する前記複数の画像パッチを取得するステップを含んでもよい。
【0016】
一実施例において、前記神経網モデルは、学習手順及び推論手順でドロップアウト（Ｄｒｏｐｏｕｔ）を実行し、前記神経網モデルの不確実性数値は、前記神経網モデルの推論手順での結果データの確率分布に対する分散値に基づいて測定してもよい。
【0017】
一実施例において、前記複数の画像の不確実性数値は、前記神経網モデルの推論手順での結果データの分散推定値に基づいて測定してもよい。
【0018】
一実施例において、前記複数の画像の不確実性数値に基づいて前記複数の画像のうちの少なくとも一つの画像を変更するステップは、前記複数の画像の不確実性数値が基準値以上である一つ以上の画像を検出するステップと、前記検出した画像の前記臓器領域に対するユーザーの入力に基づいて、前記検出した画像を変更するステップとを含んでもよい。
【0019】
一実施例において、前記変更されたラベリングポリシーに基づいて、複数の画像の加重値を設定し、前記変更された画像に対して変更前の画像よりも大きい加重値を付与して前記神経網モデルを学習させるステップをさらに含んでもよい。
【0020】
本発明の他の実施例に係る臓器の体積測定装置は、プロセッサを含み、前記プロセッサは、臓器を撮像した複数の画像及び撮像メタデータを取得し、前記複数の画像を前処理して指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得し、前記複数の画像パッチを３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力し、前記複数の画像パッチのそれぞれに対応する臓器領域を推定し、前記推定された臓器領域の面積及び前記撮像メタデータを用いて前記臓器の体積を測定し、前記神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像の不確実性数値を測定し、前記複数の画像の不確実性数値に基づいて、前記複数の画像のうちの少なくとも一つの画像を変更し、前記神経網モデルの不確実性数値に基づいて、前記神経網モデルのラベリングポリシーを変更してもよい。
【0021】
本発明の一実施例に係る臓器の体積測定方法は、前記臓器を撮像した複数の画像及び撮像メタデータを取得し、前記複数の画像を前処理して指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得するステップと、前記複数の画像パッチを３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力し、前記複数の画像パッチのそれぞれに対応する臓器領域を推定するステップと、前記推定された臓器領域の面積及び前記撮像メタデータを用いて前記臓器の体積を測定するステップと、前記神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像の不確実性数値を測定するステップと、前記複数の画像の不確実性数値に基づいて、前記複数の画像のうちの少なくとも一つの画像を変更するステップと、前記神経網モデルの不確実性数値に基づいて、前記神経網モデルのラベリングポリシーを変更するステップとを含んでもよい。
【0022】
一実施例において、前記臓器を撮像した複数の画像は、ダイコム（ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ））ファイルから取得したＣＴ画像及び前記臓器に対するラベリング画像を含み、前記撮像メタデータは、前記複数の画像のそれぞれに対する画素間隔データ及び画像の深さデータを含んでもよい。
【0023】
一実施例において、前記複数の画像パッチを取得するステップは、前記複数の画像に含まれている第１画像に対して、データの拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を実行し、前記第１画像から複数の画像を生成し、前記生成した複数の画像を前処理して複数の画像パッチを取得するステップを含み、前記データの拡張は、前記画像の空間拡大、カラー増強、騒音増強、及びトリミングのうちの一つ以上を含んでもよい。
【0024】
一実施例において、前記複数の画像は、前記の臓器を撮像した複数の３Ｄ画像であり、前記複数の画像パッチを取得するステップは、前記複数の３Ｄ画像に対して深さ（ｄｅｐｔｈ）方向にスライドし、指定したサイズを有する前記複数の画像パッチを取得するステップを含んでもよい。
【0025】
一実施例において、前記神経網モデルは、学習手順及び推論手順でドロップアウト（Ｄｒｏｐｏｕｔ）を実行し、前記神経網モデルの不確実性数値は、前記神経網モデルの推論手順での結果データの確率分布に対する分散値に基づいて測定してもよい。
一実施例において、前記複数の画像の不確実性数値は、前記神経網モデルの推論手順での結果データの分散推定値に基づいて測定してもよい。
一実施例において、前記複数の画像の不確実性数値は、前記神経網モデルの推論手順での結果データの分散推定値に基づいて測定してもよい。
【0026】
一実施例において、前記複数の画像の不確実性数値に基づいて前記複数の画像のうちの少なくとも一つの画像を変更するステップは、前記複数の画像の不確実性数値が基準値以上である一つ以上の画像を検出するステップと、前記検出した画像の前記臓器領域に対するユーザーの入力に基づいて、前記検出した画像を変更するステップとを含んでもよい。
【0027】
一実施例において、前記変更されたラベリングポリシーに基づいて、複数の画像の加重値を設定し、前記変更された画像に対して変更前の画像よりも大きい加重値を付与して前記神経網モデルを学習させるステップをさらに含んでもよい。
【0028】
本発明の他の実施例に係る臓器の体積測定装置は、プロセッサを含み、前記プロセッサは、臓器を撮像した複数の画像及び撮像メタデータを取得し、前記複数の画像を前処理して指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得し、前記複数の画像パッチを３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力し、前記複数の画像パッチのそれぞれに対応する臓器領域を推定し、前記推定された臓器領域の面積及び前記撮像メタデータを用いて前記臓器の体積を測定し、前記神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像の不確実性数値を測定し、前記複数の画像の不確実性数値に基づいて、前記複数の画像のうちの少なくとも一つの画像を変更し、前記神経網モデルの不確実性数値に基づいて、前記神経網モデルのラベリングポリシーを変更してもよい。
【図面の簡単な説明】
【0029】
【図1】本発明の一実施例に係る臓器の体積測定装置を含む多嚢胞腎疾患の判別システムの例を示す図である。
【図2】本発明の一実施例に係る物体の臓器の体積を測定する臓器体積測定装置の内部構成を説明するハードウェア構成図である。
【図3】本発明の一実施例に係る臓器体積測定装置の構成及び動作を説明するハードウェアブロック図である。
【図4】本発明の一実施例に係る臓器の体積測定方法のフローチャートである。
【図5】本発明の一実施例に係る神経網入力データの例を示す図である。
【図6】本発明の一実施例に係る入力データを前処理する方法を説明する図である。
【図7】本発明の一実施例に係る入力データを前処理する方法を説明する図である。
【図8】本発明の一実施例に係る入力データを前処理する方法を説明する図である。
【図9】本発明の一実施例に係る人工神経網の構造を説明する図である。
【図10】本発明の一実施例に係る人工神経網の構造を説明する図である。
【図11】本発明の一実施例に基づいて検出した臓器領域を利用し、臓器の体積を測定する方法を説明する図である。
【図12】本発明の一実施例に基づいて入力データを更新する方法を説明する図である。
【図13】本発明の一実施例に係る医療用電子装置が、腎臓又は肝臓の体積を推定する方法を示すフローチャートである。
【図14】本発明の一実施例に係る医療用電子装置が、腎臓又は肝臓の体積を推定し、深層学習モデルを更新する方法を示すフローチャートである。
【図15】本発明の一実施例に係る医療用電子装置が、少なくとも一つのテスト画像の中で腎臓又は肝臓の領域を抽出して表示した結果を示す図である。
【発明を実施するための形態】
【0030】
後述する本発明の詳細な説明は、本発明を実施することができる特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を十分に実施することができるように、詳細に説明される。本発明の様々な実施例は、互いに異なるが、相互に排他的である必要はないことが理解されるであろう。例えば、本明細書に記載される特定の形状、構造、及び特性は、本発明の精神及び範囲を逸脱しない限り、一実施例から他の実施例に変更して実装してもよい。また、それぞれの実施例内の個別の構成要素の位置又は配置も、本発明の精神及び範囲を逸脱しないで変更されることは理解されるであろう。したがって、後述する詳細な説明は、限定的な意味として行われるものではなく、本発明の範囲は、特許請求の範囲の請求項で請求される範囲及びそれと均等な全ての範囲を網羅するものとして受け入れられるべきである。図面において、同様の参照符号は、いくつかの側面に亘って同一又は類似の構成要素を示す。
【0031】
以下、本発明が属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明のいくつかの実施例について添付した図面を参照して詳細に説明する。
【0032】
以下、図１を参照して、本発明の一実施例に係る臓器の体積測定装置を含む多嚢胞腎疾患の判別システムについて詳細に説明する。
【0033】
本発明に開示される人工知能（ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ））は、人工知能又はこれを作製することができる方法論を研究する分野を意味し、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）は、人工知能技術の一分野として、コンピューティング装置がデータを介して学習し、特定の対象や条件を理解できるようにするか、或いはデータのパターンを見つけて分類する技術方式であり、コンピュータにデータを分析させるようにするアルゴリズムである。本発明に開示される機械学習は、人工知能モデルを学習するための動作方法を含む意味として理解することができる。
【0034】
以下、本発明のいくつかの実施例に係る神経網モデルは、神経網構造探索（ＮＡＳ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ））アルゴリズムを介して決定され得る。神経網構造探索とは、深層学習を通じて人工神経網の構造を設計する方法であり、一例によると、循環神経網を介して得られる神経網を学習し、最適な人工神経網構造を探索することができる。より詳細には、本発明のいくつかの実施例に係る神経網モデルは、ＮＡＳアルゴリズムによって、当該神経網モデルに含まれる個々のレイヤーに対するフィルターサイズ、ストライド（ｓｔｒｉｄｅ）などのメタデータが決定され得る。前述したＮＡＳアルゴリズムは、通常の技術者が変更及び設計することができる様々な形態のアルゴリズムを全て含んでおり、一例として、上記のＮＡＳアルゴリズムは、ＳＣ－ＮＡＳ、Ｃ－ＮＡＳなどのアルゴリズムを含むことに留意されたい。
【0035】
一実施例に係る臓器体積測定装置２００は、臓器を撮像して得た複数の画像１１０及び臓器領域を表示した複数の画像１２０を入力データ１００として利用してもよい。臓器体積測定装置２００は、ネットワーク１０を介して外部サーバから入力データ１００を受信してもよい。この場合、外部サーバは、例えば、病院サーバであり、臓器体積測定装置２００は、病院サーバから医療用画像フォーマットの標準である入力データ１００を取得してもよい。この場合、入力データ１００に含まれている臓器を撮像した複数の画像を含む入力データ１００は、ダイコム（ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ））ファイル形式であってもよく、ＣＴ画像は、患者情報、測定データ、及び撮像情報を含んでもよい。ただしこれは、一例であり、本発明のいくつかの実施例に係る入力データ１００の形態は、ＪＰＧ、ＰＮＧ、ＴＩＦなど、様々な画像ファイル形式であってもよいことはもちろんである。一実施例において、入力データ１００は、３次元画像データを含んでもよく、この場合、画像のボリュームを構成する個々のボクセルは、画素の配列形態であってもよい。また、入力データ１００に含まれている臓器領域を表示した複数の画像１２０は、人工神経網を利用して検出する必要がある臓器領域を表示した正解データであリ得る。すなわち、臓器領域を表示した複数の画像１２０は、臓器領域に対する注釈データ（又は、ラベリングデータ）であってもよい。前述した入力データ１００を利用し、本発明のいくつかの実施例に基づいて臓器領域を検出する人工神経網は、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を実行してもよい。
【0036】
入力データ１００を受信した臓器体積測定装置２００は、３Ｄ ＣＮＮに基づく人工神経網を利用し、それぞれの画像に含まれている臓器領域を検出してもよい。２Ｄ ＣＮＮではなく、３Ｄ ＣＮＮに基づいて利用することにより、３次元画像の形で取得されるＣＴデータに対する正確な分析が可能になる。ただし、通常の技術者によって追加的な前処理プロセスを実行し、２Ｄ ＣＮＮに基づく神経網を利用して本発明のいくつかの実施例に係る臓器の体積測定方法を実行してもよいであろう。より詳しくは、臓器体積測定装置２００は、臓器を撮像した複数の画像及び撮像メタデータを取得し、前記複数の画像を前処理して指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得し、複数の画像パッチを３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力し、前記複数の画像パッチのそれぞれに対応する臓器領域を推定し、推定された臓器領域の面積及び前記撮像メタデータを用いて前記臓器の体積を測定し、神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像の不確実性数値を測定し、入力データの不確実性数値に基づいて、前記複数の画像のうちの少なくとも一つの画像を変更し、神経網モデルの不確実性数値に基づいて、前記神経網モデルのラベリングポリシーを変更してもよい。
【0037】
また、一実施例において、検出された臓器領域に対するデータを利用して臓器に対応する２Ｄ画像や３Ｄモデル３００を生成し、ディスプレイに表示してもよい。この場合、ディスプレイに表示された２Ｄ画像又は３Ｄモデル３００に対するユーザー入力に応答して検出された臓器領域のデータを修正することができ、上記の修正されたデータを人工神経網の入力データとして再利用することができる。
【0038】
以後、多嚢胞腎判別装置４００は、臓器領域の体積データを利用し、多嚢胞腎を測定してもよい。ただし、これは検出された臓器領域が腎臓又は肝臓である場合の活用例であり、本発明のいくつかの実施例に基づいて検出される臓器領域によって、判別しようとする病気又は症状が変化することはもちろんである。
【0039】
以下、図２を参照して、臓器体積測定装置２００の内部構成について詳細に説明する。
【0040】
一実施例において、臓器の体積を測定する臓器体積測定装置２００は、入出力インターフェース２０１、メモリ２０２、プロセッサ２０３、及び通信モジュール２０４を含んでもよい。メモリ２０２は、コンピュータで読み取り可能な記録媒体として、ＲＡＭ、（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、及びディスクドライブなどの不揮発性の大容量記録装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでもよい。また、メモリ２０２には、臓器体積測定装置２００を制御するためのプログラムコード及び設定、カメラ映像、物体のポーズデータが一時的又は恒久的に記憶され得る。
【0041】
プロセッサ２０３は、基本的な算術、ロジック、及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてもよい。命令は、メモリ２０２又は通信モジュール２０４によって、プロセッサ２０３に提供されてもよい。例えば、プロセッサ２０３は、メモリ２０２などの記録装置に記憶されたプログラムコードに基づいて、受信される命令を実行するように構成されてもよい。
【0042】
通信モジュール２０４は、ネットワーク１０を介して外部サーバと通信するための機能を提供してもよい。上述した外部サーバは、例えば、医療画像を提供する病院サーバであってもよい。一例として、臓器体積測定装置２００のプロセッサ２０３がメモリ２０２などの記録装置に記憶されたプログラムコードに基づいて生成したリクエストは、通信モジュール２０４の制御によって、ネットワーク１０を介して外部サーバに転送されてもよい。逆に、外部サーバのプロセッサの制御によって提供される制御信号や命令、コンテンツ、ファイルなどは、ネットワーク１０を経て、通信モジュール２０４を介して臓器体積測定装置２００に受信されてもよい。例えば、通信モジュール２０４を介して受信された外部サーバの制御信号や命令などは、プロセッサ２０３やメモリ２０２に転送されてもよい、コンテンツやファイルなどは、臓器体積測定装置２００がさらに含んでもよい記憶媒体に記憶されてもよい。また、通信モジュール２０４の通信方式は限定されないが、ネットワーク１０は、近距離無線通信ネットワークであってもよい。例えば、ネットワーク１０は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、Ｗｉｆｉ通信ネットワークであってもよい。
【0043】
また、入出力インターフェース２０１は、ユーザーの入力を受信し、出力データを表示してもよい。一実施例に係る入出力インターフェース２０１は、臓器に対応する２Ｄ画像や３Ｄモデルをディスプレイに表示してもよい。或いは、ユーザーから検出された臓器領域のフィードバック情報の入力を受けてもよい。
【0044】
図示していないが、一実施例に係る臓器体積測定装置２００は、カメラモジュールをさらに含んでもよい。カメラモジュールは、一つ以上の個別カメラを含むカメラモジュールであってもよい。一例として、カメラモジュールは、臓器体積測定装置２００に内蔵されているカメラモジュールであってもよく、別に備えられたカメラ装置と接続されるモジュールであってもよい。この場合、カメラモジュールから取得した臓器を撮像した画像は、メモリ２０２又は臓器体積測定装置２００がさらに含む記憶媒体に記憶されてもよい。
【0045】
また、他の実施例において、臓器体積測定装置２００は、図２の構成要素よりも多くの構成要素を含んでもよい。しかしながら、ほとんどの従来技術の構成要素を明確に図示する必要はない。例えば、臓器体積測定装置２００は、ユーザー端末の内部構成要素に電力を供給するバッテリー及び充電装置を含んでもよく、上述した入出力装置のうちの少なくとも一部を含むように実装されたり、又はトランシーバ（ｔｒａｎｓｃｅｉｖｅｒ ）、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、各種センサー、データベースなどの他の構成要素をさらに含んだりしてもよい。
【0046】
図３は、本発明の一実施例に係る臓器体積測定装置の構成及び動作を説明するハードウェアブロック図である。
【0047】
一実施例において、臓器体積測定装置２００は、データ取得部２１０、データ前処理部２１１、人工神経網部２２０、不確実性測定部２３０、人工神経網更新部２４０、及び臓器体積演算部２５０を含んでもよい。
【0048】
一実施例において、データ取得部２１０は、臓器を撮像した複数の画像及び撮像メタデータを取得してもよい。臓器を撮像した複数の画像は、ダイコム（ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ））ファイルから取得したＣＴ画像及び前記臓器に対するラベリング画像を含んでもよい。ただしこれは、一例であり、本発明のいくつかの実施例に係る入力データ１００の形態は、ＪＰＧ、ＰＮＧ、ＴＩＦなど、様々な画像ファイル形式であってもよいことはもちろんである。ラベリング画像は臓器領域が表示されている画像であり、人工神経網を介して推定しようとする臓器領域に対する正解データであってもよい。したがって、本発明のいくつかの実施例に基づいて臓器領域を推定する人工神経網は、前述したラベリングデータを用いて、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を実行してもよい。
【0049】
一実施例において、データ前処理部２１１は、人工神経網の学習に必要な十分なデータを確保するためのデータの拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を実行してもよい。また、一実施例において、データ前処理部２１１は、複数の画像を前処理し、指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得してもよい。一実施例において、学習データを拡張するデータ前処理部２１１は、空間拡大（Ｓｐａｔｉａｌ Ａｕｇｍｅｎｔａｔｉｏｎ）、カラー増強（Ｃｏｌｏｒ Ａｕｇｍｅｎｔａｔｉｏｎ）、騒音増強（Ｎｏｉｓｅ Ａｕｇｍｅｎｔａｔｉｏｎ）、及びトリミングのうちの少なくとも一つ以上を実行してもよい。また、複数の画像パッチを生成するデータ前処理部２１１は、同一のサイズを有する複数の画像パッチを生成するための画像リサイズ（ｒｅ－ｓｉｚｉｎｇ）及び人工神経網に適した形態の画像パッチの抽出を実行してもよい。また、一実施例において、データ前処理部２１１は、３Ｄ ＣＴ画像に対して深さ（ｄｅｐｔｈ）方向にスライドしながら、複数の画像パッチを取得してもよい。
【0050】
一実施例において、人工神経網部２２０は、神経網学習部２２１及び臓器領域推論部２２２を含んでもよい。一実施例において、人工神経網部２２０は、３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく人工神経網を利用し、学習手順及び推論手順を実行してもよい。一実施例において、神経網学習部２２１は、データ取得部２１０から取得した複数のＣＴ画像及び複数のラベリング画像をもとに生成された画像パッチを利用し、前述した人工神経網の学習を実行してもよい。また、一実施例において、臓器領域推論部２２２は、複数のＣＴ画像をもとに生成された複数の画像パッチを利用し、それぞれの画像パッチに対応する臓器領域を推論してもよい。
【0051】
一方、本発明のいくつかの実施例に係る前述した３Ｄ ＣＮＮに基づく人工神経網は、オーバフィッティング（ｏｖｅｒｆｉｔｔｉｎｇ）の問題を防止するためにドロップアウト（Ｄｒｏｐｏｕｔ）を実行してもよい。一実施例によると、上述した人工神経網は、学習手順及び推論手順で、全てドロップアウトを実行してもよい。このとき、人工神経網は、確率分布の標本をもとにランダムに推論手順を実行してもよい。
【0052】
一実施例において、不確実性測定部２３０は、入力データ及び人工神経網モデルの不確実性数値を測定しもよい。入力データ及び人工神経網モデルの不確実性数値とは、エラーが発生した入力データ及び人工神経網モデルの特定の原因を探索することができるかを意味する数値である。したがって、一実施例に係る不確実性測定部２３０は、データの不足や全てのデータを分析しにくい構造などによる神経網モデルの不確実性数値を測定してもよい。この場合、不確実性測定部２３０は、上述した人工神経網モデルの推論手順での結果データの確率分布に対する分散値に基づいて神経網の不確実性数値を測定してもよい。また、一実施例に係る不確実性測定部２３０は、ランダムデータにより、同様な不確実性数値を有していても異なるラベリングが行われたことによるデータの不確実性数値を測定してもよい。この場合、不確実性測定部２３０は、前述した人工神経網モデルの推論手順での結果データの分散推定値に基づいて、複数の画像の不確実性数値を測定してもよい。
【0053】
一実施例において、人工神経網更新部２４０は、臓器領域推論部２２２から複数の画像のそれぞれについて推定した臓器領域を修正してもよい。より詳細には、人工神経網更新部２４０は、人工神経網モデルの不確実性をもとに画像で検出された臓器領域を修正してもよい。この場合、臓器体積測定装置２００は、入出力インターフェースを利用し、ユーザーから修正された臓器領域に対する情報を取得してもよい。
【0054】
また、人工神経網更新部２４０は、入力データの不確実性数値に基づいて、前述した人工神経網モデルのラベリングポリシーを変更してもよい。また、人工神経網更新部２４０は、変更されたラベリングポリシーに基づいて、複数の画像のそれぞれに対する加重値を設定し、推定された臓器領域が修正された画像に対して他の画像よりも大きな加重値を付与し、人工神経網の学習データとして利用してもよい。
【0055】
一実施例において、臓器体積演算部２５０は、複数の画像パッチのそれぞれについて、人工神経網部２２０を用いて推定した臓器領域の面積と、複数の画像に対する撮像メタデータとを利用し、臓器の体積を推定してもよい。
【0056】
図４は、本発明の一実施例に係る臓器の体積測定方法のフローチャートである。
【0057】
ステップＳ１１０において、臓器体積測定装置は、臓器を撮像した複数の画像及び撮像メタデータを取得してもよい。
【0058】
上記の臓器を撮像した複数の画像は、ダイコム（ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ））ファイルから取得したＣＴ画像及び前記臓器に対するラベリング画像を含んでもよい。ただしこれは、一例であり、本発明のいくつかの実施例に係る入力データ１００の形態は、ＪＰＧ、ＰＮＧ、ＴＩＦなど、様々な画像ファイル形式であってもよいことはもちろんである。また、撮像メタデータは、複数の画像のそれぞれに対する画素間隔データ及び画像スライスの深さデータを含んでもよい。一実施例において、前述した複数の画像は、上記の臓器を撮像した複数の３Ｄ画像であってもよい。ラベリング画像は臓器領域が表示されている画像であり、人工神経網を介して推定しようとする臓器領域に対する正解データであってもよい。したがって、本発明のいくつかの実施例に基づいて臓器領域を推定する人工神経網は、前述したラベリングデータを用いて、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を実行してもよい。より詳細な説明は、以下の図５で後述する。
【0059】
ステップＳ１２０において、臓器体積測定装置は、複数の画像を前処理し、指定したサイズの複数の画像パッチ（ｐａｔｃｈ）を取得してもよい。より詳細には、臓器体積測定装置は、複数の画像のそれぞれについて、データの拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）を実行して複数の画像を生成し、上記の生成した複数の画像を前処理することで、複数の画像パッチを取得してもよい。一実施例において、臓器体積測定装置は、学習データが不足している場合は、データの拡張を実行してもよい。この場合、臓器体積測定装置は、空間の拡大、カラー増強、騒音増強、及びトリミングのうちの一つ以上を実行してもよい。一実施例において、空間の拡大は、複数の画像のそれぞれに対するミラーリング、登録エラーシミュレーションのためのチャンネルの変換、弾性変形、回転、スケーリング、及びリサンプリングのうちの少なくとも一つを含んでもよい。ただしこれは、空間の拡大の一例であり、本発明に係る実施例は、これに限定されるものではないことに注意されたい。一実施例において、カラー増強は、明るさの加算、明るさの乗算、コントラスト調整、及びガンマ調整のうちの少なくとも一つを含んでもよい。ただしこれは、カラー増強の一例であり、本発明に係る実施例は、これに限定されるものではないことに注意されたい。一実施例において、騒音増強は、ガウス雑音（Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ）及びＲｉｃｉａｎ雑音（Ｒｉｃｉａｎ Ｎｏｉｓｅ）のうちの少なくとも一つを利用してもよい。ただしこれは、騒音増強の一例であり、本発明に係る実施例は、これに限定されるものではないことに注意されたい。一実施例において、トリミングは、ランダムトリミング及びセンタートリミングの一つであってもよい。ただしこれは、トリミングの一例であり、本発明に係る実施例は、これに限定されるものではないことに注意されたい。
【0060】
また、臓器体積測定装置は、同一のサイズを有する複数の画像パッチを生成するための画像リサイズ（ｒｅ－ｓｉｚｉｎｇ）及び人工神経網に適した形態の画像パッチの抽出を実行してもよい。また、一実施例において、臓器体積測定装置は、３Ｄ ＣＴ画像に対して深さ（ｄｅｐｔｈ）方向にスライドしながら、複数の画像パッチを取得してもよい。また、臓器体積測定装置は、所定のパッチサイズに対して、指定した割合だけ重ね合わせ（ｏｖｅｒｌａｐｐｉｎｇ）を実行し、複数の画像パッチを生成してもよい。さらに、臓器体積測定装置は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）演算によって、データのサイズが減少することを防止するために、指定したサイズの画像パッチを生成するパディング（ｐａｄｄｉｎｇ）を追加してもよい。例えば、臓器体積測定装置は、幅及び／又は高さの対称パディング（ｓｙｍｍｅｔｒｉｃ ｐａｄｄｉｎｇ）を追加してもよく、３Ｄ ＣＮＮに基づく人工神経網の入力データの形式を合わせるために、深さのゼロパディングを追加してもよい。この場合、追加されるパディングデータは、「０」データであってもよい。より詳細な説明は、以下の図６～図８で後述する。
【0061】
ステップＳ１３０において、臓器体積測定装置は、複数のパッチ画像を３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく神経網モデルに入力してもよい。上記の神経網モデルは、オーバフィッティング問題の発生を防止するために、学習手順及び推論手順でドロップアウト（Ｄｒｏｐｏｕｔ）を実行してもよい。また、一実施例に係る神経網モデルは、Ｒｅｄｕｃｔｉｏｎ ｃｅｌｌを含むエンコード（ｅｎｃｏｄｉｎｇ）レイヤーとＥｘｐａｎｓｉｏｎ ｃｅｌｌとを含むデコード（ｄｅｃｏｄｉｎｇ）層を含んでもよい。より詳細な説明は、以下の図９～図１０で後述する。
【0062】
ステップＳ１４０において、臓器体積測定装置は、３Ｄ ＣＮＮに基づく神経網を利用し、複数の画像パッチのそれぞれに対応する臓器領域を推定してもよい。一実施例に基づき、臓器領域を推定する人工神経網は、複数の画像パッチのそれぞれについて、臓器領域を推定してもよい。また、臓器体積測定装置は、結果データに対して、データの後処理をさらに実行してもよい。例えば、臓器体積測定装置は、深さスプライン（Ｄｅｐｔｈ ｓｐｌｉｎｅ）、奥行きスティチング（Ｄｅｐｔｈ ｓｔｉｔｃｈｉｎｇ）、及びアンパディング（Ｕｎｐａｄｄｉｎｇ）のうちの少なくとも一つを実行してもよい。一実施例において、臓器体積測定装置は、結果データに対して深さスプラインを実行し、各画像パッチの中心から離れるほど低い推論の加重値を付与してもよい。これにより、結果データを利用し、自然なスティチング結果物を取得することができる。また、一実施例において、臓器体積測定装置は、複数の画像パッチのそれぞれに対応する結果データの奥行きスティチングを実行し、新しいボリュームを構成してもよい。さらに、一実施例において、臓器体積測定装置は、データの前処理ステップで追加したパディングを制御するアンパディング（Ｕｎ－Ｐａｄｄｉｎｇ）を実行してもよい。
【0063】
ステップＳ１５０において、臓器体積測定装置は、推定された臓器領域の面積及び撮像メタデータを利用し、臓器の体積を測定してもよい。より詳細には、臓器体積測定装置は、撮像メタデータに含まれている画素の間隔、画像スライスの厚さ、及び画像パッチに含まれているボクセルの数を利用し、臓器の体積を演算してもよい。より詳細な説明は、以下、図１１で後述する。
【0064】
ステップＳ１６０において、臓器体積測定装置は、神経網モデルの推定結果に基づいて、神経網モデルの不確実性数値及び複数の画像パッチのそれぞれの不確実性数値を測定してもよい。一実施例において、神経網モデルの不確実性数値は、上記の神経網モデルの推論手順での結果データの確率分布に対する分散値に基づいて測定してもよい。また、複数の画像パッチのそれぞれの不確実性数値は、上記の神経網モデルの推論手順での結果データの分散推定値に基づいて測定してもよい。
【0065】
ステップＳ１７０において、臓器体積測定装置は、人工神経網モデルの不確実性数値に基づいて、複数の画像のうちの少なくとも一つの画像を変更してもよい。臓器体積測定装置は、モデルの不確実性数値に基づいて、修正が必要なデータを選んでもよい。また、臓器体積測定装置は、データの不確実性数値に基づいて、ラベリングポリシー策定してもよい。これにより、本発明のいくつかの実施例に係る神経網は、修正されたデータを利用する神経網モデルの更新（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）を実行してもよい。すなわち、臓器体積測定装置は、入力データの不確実性数値が基準値以上である一つ以上の画像を検出し、前記検出した画像の前記臓器領域に対するユーザーの入力に基づいて、前記検出した画像を変更してもよい。
【0066】
ステップＳ１８０において、臓器体積測定装置は、入力データの不確実性数値に基づいて、神経網モデルのラベリングポリシーを変更してもよい。一実施例に係る臓器体積測定装置は、変更されたラベリングポリシーに基づいて、入力データのそれぞれに対するラベリングを実行し、ラベルが修正された入力データに、ラベルが変更されていない入力データよりも大きな加重値を付与し、上記の神経網モデルを学習させてもよい。
【0067】
図5は、本発明の一実施形態によるニューラルネットワークの入力データの例を示す図である。（a）は、臓器を撮影した画像データであり、（a）のような複数の画像データは、ダイコム（DICOM; Digital Imaging and Communications in Medicine）ファイルから取得することができる。ただしこれは、一例であり、本発明のいくつかの実施例に係る入力データ１００の形態は、ＪＰＧ、ＰＮＧ、ＴＩＦなど、様々な画像ファイル形式であってもよいことはもちろんである。また、一実施例において、臓器体積測定装置は、ダイコムファイルから複数の画像のそれぞれに対する撮像メタデータをさらに取得してもよい。撮像メタデータは、例えば、複数の画像のそれぞれの画素の大きさ、画像の深さ（ｄｅｐｔｈ）情報、ボクセルの大きさ及び個数に関する情報をさらに含んでもよい。
【0068】
図５の（ｂ）は、臓器領域を表示したデータである。図５の（ｂ）は、人工神経網を介して推論しようとする臓器領域に対する正解データであり、臓器領域が表示されているラベリングデータであってもよい。一実施例に係る神経網モデルは、図５の（ｂ）のようなラベリングデータを利用して教師あり（ｓｕｐｅｒｖｉｓｅｄ）学習を実行してもよい。ただし、他の実施例において、臓器領域を検出する神経網モデルは、図５の（ａ）のような画像だけを利用し、教師なし（ｕｎ－ｓｕｐｅｒｖｉｓｅｄ）学習を実行してもよいことはもちろんである。
【0069】
【0070】
図６を参照すると、一実施例において、臓器体積測定装置は、十分な量の学習データを確保するために、データの拡張を実行してもよい。臓器体積測定装置は、空間の拡大、カラー増強、騒音増強、及びトリミングのうちの一つ以上を実行してもよい。一実施例において、空間の拡大は、複数の画像のそれぞれに対するミラーリング、登録エラーシミュレーションのためのチャンネルの変換、弾性変形、回転、スケーリング、及びリサンプリングのうちの少なくとも一つを含んでもよい。一実施例において、カラー増強は、明るさの加算、明るさの乗算、コントラスト調整、及びガンマ調整のうちの少なくとも一つを含んでもよい。一実施例において、騒音増強は、ガウス雑音（Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ）及びＲｉｃｉａｎ雑音のうちの少なくとも一つを利用してもよい。一実施例において、トリミングは、ランダムトリミング及びセンタートリミングの一つであってもよい。例えば、図６の（ｂ）に示された画像は、図６の（ａ）に対して回転を実行した場合の例であり、図６の（ｃ）に図示された画像は、図６の（ａ）の明るさを下げた場合の例であり、図６の（ｄ）に示された画像は、センタートリミングを実行した場合の例である。このように、一実施例に係る臓器体積測定装置は、取得した画像を様々な方法で変形し、人工神経網に必要な十分な量の学習データを取得することができる。
【0071】
また、図７を参照すると、一実施例において、臓器体積測定装置は、指定したサイズの画像パッチを取得するためのデータ前処理プロセスを実行してもよい。まず、臓器体積測定装置は、複数の画像のサイズを調整し、同一のスケール（ｓｃａｌｅ）での画像パッチを抽出してもよい。以後、臓器体積測定装置は、３Ｄスライディングウインドウを介して一方向にスキャンし、指定したサイズの３Ｄ画像を抽出してもよい。一実施例において、臓器体積測定装置は、指定されたパッチサイズの指定された割合だけを重ね合わせることで、複数の画像パッチを抽出してもよい。例えば、図６の（ｂ）及び（ｃ）は、図６の（ａ）から抽出された３Ｄ画像パッチの一例である。
【0072】
図８を参照すると、一実施例に係る臓器体積測定装置は、人工神経網の結果データに対するサイズを調整するために、入力データに対してパディングを追加してもよい。本発明のいくつかの実施例に基づいて臓器領域を推定する人工神経網は、３Ｄ ＣＮＮに基づくモデルであってもよい。したがって、神経網で演算が実行されることで、入力データに対して、複数の畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎａｌ）演算を実行し、その結果、データのサイズは縮小されるしかない。したがって、臓器体積測定装置は、指定したサイズの画像パッチを取得するために、幅、高さ、深さについて、それぞれパディングを追加してもよい。例えば、図８の（ｂ）は、図８の（ａ）に対して深さのパディングが追加されたデータの一例である。これに限定されず、本発明のいくつかの実施例に基づいてパディングが追加された画像パッチは、特定の画像が対称形態で複製された画像であってもよい。一実施例において、指定したサイズだけのパディングが追加される場合、追加されたデータは、「０」であってもよい。例えば、３Ｄ ＣＮＮに基づく神経網の入力データとして使用されるために、２Ｄ画像に対して深さ方向へのパディングを追加してもよく、この場合、指定された深さを有するパディングは、「０」データで構成されてもよい。他の実施例において、追加されるパディングのサイズが「０」であってもよい。前述した本発明のいくつかの実施例に係る神経網モデルは、３Ｄ画像を入力データとして利用するので、入力データに対して形式上の深さ情報を追加することができ、この場合、深さは「０」であってもよい。
【0073】
【0074】
図９を参照すると、複数の画像に基づいて生成された画像パッチ５０１ａ及び５０１ｂの入力を受けた神経網５００は、それぞれの画像パッチに対応する臓器領域５０２ａ及び５０２ｂを抽出してもよい。例えば、第１画像パッチ５０１ａに基づいて、第１画像パッチ５０１ａに対応する臓器領域５０２ａを検出してもよく、第２画像パッチ５０１ｂに基づいて、第２画像のパッチ５０１ｂに対応する臓器領域５０２ｂを抽出してもよい。
【0075】
また、一実施例において、臓器体積測定装置は、神経網モデル及び入力データに対する不確実性数値を測定してもよい。モデルの不確実性は、データ不足又は全てのデータを表現することが難しい構造の神経網により発生する。したがって、本発明のいくつかの実施例に係る人工神経網モデルは、オーバフィッティング問題の発生を防止するために、学習手順及び推論手順でドロップアウト（Ｄｒｏｐｏｕｔ）を実行してもよい。より詳細には、臓器体積測定装置は、確率分布の標本をもとにランダム予測を実行してもよく、ｋ個のｔｈｉｎｎｅｄ ｎｅｕｒａｌ ｎｅｔをサンプリングし、それぞれの予測値の平均値を利用することで、前述したランダム予測を実行してもよい。この場合、確率分布は、神経網モデルの推論手順で取得した結果データの確率分布であってもよく、このときの平均値を予測値として取得してもよく、このときの分散値を不確実性数値に見なしてもよい。
【0076】
入力データの不確実性は、データの生成過程で発生するランダム性に起因する。より詳細には、確率で表現することが難しいランダムデータに含まれる第１データ及び第２データの不確実性数値が同一である場合を例として挙げると、前述した第１データ及び第２データの不確実性数値が同一であるにもかかわらず、上記の第１データ及び第２データは、指定された確率に基づいて取得したデータではないので、互いに異なるラベルが適用され得る。このように、入力データの不確実性が発生した場合、本発明のいくつかの実施例に係る臓器体積測定装置は、分散推定（Ｖａｒｉａｎｃｅ ｅｓｔｉｍａｔｉｏｎ）を介して、上述した入力データの不確実性数値を測定することができる。
【0077】
図１０は、本発明の一実施例に係る人工神経網モデルの構造の例示図である。
【0078】
一実施例において、臓器領域を抽出する神経網モデル５００は、３Ｄ ＣＮＮに基づく神経網モデルであり、Ｒｅｄｕｃｔｉｏｎ ｃｅｌｌを含むエンコードレイヤー５１０と、Ｅｘｐａｎｓｉｏｎ ｃｅｌｌを含むデコードレイヤー５２０とを含んでもよい。しかしながら、本発明のいくつかの実施例に係る神経網モデルの構造は、図１０に示されたものに限定されず、当該分野における通常の技術者が採用及び変形することができる多様な構造を有してもよいことに留意されたい。また、本発明の一実施例に係る神経網モデルは、これに限定されず、通常の技術者によって追加的な前処理プロセスを実行し、２Ｄ ＣＮＮに基づく神経網を利用して本発明のいくつかの実施例に係る臓器の体積測定方法を実行してもよいであろう。
【0079】
図１１は、本発明の一実施例に基づいて検出した臓器領域を利用し、臓器の体積を測定する方法を説明する図である。
【0080】
一実施例に基づいて臓器領域を検出する神経網の結果データを利用し、撮像対象の臓器の体積を測定してもよい。臓器体積測定装置は、推定された臓器領域の面積及び撮像メタデータを利用し、臓器の体積を測定してもよい。より詳細には、臓器体積測定装置は、撮像メタデータに含まれている画素の間隔、画像スライスの厚さ、及び画像パッチに含まれているボクセルの数を利用し、臓器の体積を演算してもよい。図１１に示されたものを参照すると、例えば、正方形の形態の画素の間隔（又はサイズ）が０．６ｍｍであり、画像スライスの厚さが１ｍｍであり、ボクセルの数が２，０００，０００である場合を想定すると、この場合、臓器の体積は、０．６x０．６x１x２，０００，０００＝０．３６ｍｍ2x２，０００，０００＝７２０ｍｌである。他の例として、ボクセルのｘ座標。
【0081】
図１２は、本発明の一実施例に基づいて入力データを更新する方法を説明する図である。
【0082】
一実施例において、複数の画像パッチを利用して推定した複数の臓器領域に対するデータ５０２を利用し、当該臓器領域の３Ｄモデル６０２を生成してもよい。一実施例において、臓器体積測定装置は、臓器領域に対するデータ５０２又は上述した臓器領域の３Ｄモデル６０２を表示してもよい。以後、臓器体積測定装置は、人工神経網モデルの不確実性数値に基づいて、複数の画像のうちの少なくとも一つの画像を変更してもよい。臓器体積測定装置は、モデルの不確実性数値に基づいて、修正が必要なデータ６０１、６０２、６０３を選んでもよい。すなわち、臓器体積測定装置は、入力データの不確実性数値が基準値以上である一つ以上の画像を検出し、前記検出した画像の前記臓器領域に対するユーザーの入力に基づいて、前記検出した画像を変更してもよい。また、臓器体積測定装置は、入力データの不確実性数値に基づいて、神経網モデルのラベリングポリシーを変更してもよい。一実施例に係る臓器体積測定装置は、変更されたラベリングポリシーに基づいて、入力データのそれぞれに対するラベリングを実行し、ラベルが修正された入力データに、ラベルが変更されていない入力データよりも大きな加重値を付与し、上記の神経網モデルを学習させてもよい。これにより、本発明のいくつかの実施例に係る神経網は、修正されたデータ及び新しいラベリングポリシーに基づいて、神経網モデルの更新（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）を実行してもよい。
【0083】
また、本発明の一実施例に係る臓器体積測定装置は、前述した臓器体積測定方法を利用し、薬物の効果を検証してもよい。例えば、患者の腎臓及び／又は肝臓の体積を測定し、多嚢胞腎疾患の診断を行うことができ、薬物の服用による治療効果も判別することができる。より詳細には、まず、上述した臓器領域を推定する人工神経網を利用し、患者の腎臓体積セグメンテーション（ｋｉｄｎｅｙ ｖｏｌｕｍｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を実行してもよい。以後、投薬前及び投薬後の患者のデータの入力を受け、腎臓体積セグメンテーション（ｋｉｄｎｅｙ ｖｏｌｕｍｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を実行した後、腎臓の体積を測定する。この場合、患者の腎臓領域のダイコムファイル内に含まれている画素のサイズ及び画像スライスの厚さを利用し、当該腎臓の体積を測定してもよいことはもちろんである。上述した方法に基づいて測定した腎臓の体積増減率に基づいて、薬効を測定してもよい。さらに、本発明の一実施例に係る臓器体積測定装置は、患者別の時間に伴う臓器の体積変化の推移を確認することができるインターフェースを提供してもよいことはもちろんである。
【0084】
一例として、本発明の一実施例に係る臓器体積測定方法を利用し、海馬の体積を測定することができる。海馬の体積減少量は、アルツハイマー疾患及び認知症の精神病的症状の発症と関連するので、一実施例に基づいて海馬の体積を測定することにより、前述した精神的疾患を診断することができる。この場合、海馬の体積は、医療用画像に基づいて測定してもよく、上記の医療画像は、例えば、ＣＴ、ＭＲＩ画像を含んでもよいが、医療用画像の種類は、これに限定されず、他のタイプの医療画像を利用し、前述した海馬の体積を測定してもよいことはもちろんである。
【0085】
他の例として、本発明の一実施例に係る臓器の体積測定方法を利用し、肝臓の体積を測定してもよい。肝臓の体積は、肝臓を大量に切除する時、全体の肝臓の体積に対する残りの肝臓の体積の割合を演算するために必要である。肝臓移植手術において、ドナーとレシピエントとの肝機能の予測のためには、手術前にドナーの肝臓の体積を正確に測定しなければならない。したがって、本発明のいくつかの実施例に基づいて肝臓の体積を正確に測定することにより、肝臓移植手術の成功率及び患者の予後に肯定的な効果をもたらすことができる。一実施例において、肝臓の体積だけでなく、脾臓の体積もさらに測定する場合、肝臓手術の成功率及び肝臓の体積と脾臓の体積との間の体積変化をより正確に測定することができるだろう。
【0086】
他の例において、本発明の一実施例に係る臓器体積測定方法を利用し、指定された癌組織の体積を測定してもよい。この場合には、抗癌剤治療の前後の時点に対して、指定された癌組織の体積変化に基づき、抗癌剤に対する反応を数値化及び客観化することができる。
【0087】
【0088】
一実施例において、医療用電子装置は、入力モジュール、メモリ、プロセッサを含んでもよい。様々な実施例によると、医療用電子装置の構成は、前述したものに限定されず、例えば、医療用電子装置は、前述した構成のうちの一部を省略してもよく、記載されていない構成をさらに含んでもよい。例えば、医療用電子装置は、少なくともプロセッサと、電気的に接続される出力モジュールをさらに含んでもよい。
【0089】
入力モジュールは、少なくとも一つのテスト画像を取得してもよい。テスト画像は、例えば、人体の少なくとも一部、例えば、腎臓又は肝臓が含まれている断層画面を含んでもよい。テスト画像は、腎臓又は肝臓の領域が特定されていない画像であってもよい。例えば、テスト画像は、腎臓又は肝臓の体積測定が求められる患者に対して、腎臓又は肝臓が含まれている断層を撮像した画像であってもよい。
【0090】
様々な実施例によると、テスト画像は複数であってもよく、複数のテスト画像は、少なくとも一つの対象に対して、指定された間隔を置いて撮像された複数の断層画面であってもよい。例えば、第１テスト画像は、少なくとも一つの対象に対し、第１断層を撮像した画面であってもよく、第２テスト画像は、少なくとも一つの対象に対し、第１断層に指定された間隔を置いて平行する第２断層を撮像した画面であってもよい。様々な実施例によると、入力モジュールは、少なくとも一つのテスト画像を順次又は同時に取得してもよい。例えば、入力モジュールは、第１テスト画像及び第２テスト画像を順次に取得してもよく、同時に取得してもよい。
【0091】
一実施例によると、入力モジュールは、複数の学習画像及び複数の学習画像の中で腎臓に対応する領域又は肝臓に対応する領域の情報を取得してもよい。複数の学習画像は、例えば、少なくとも一つ以上の深層学習モデルを取得するための複数のサンプルデータであってもよい。一実施例において、複数の学習画像は、腎臓又は肝臓の領域の特定済みの画像であってもよい。例えば、学習画像は、少なくとも一人以上の患者に対して、腎臓又は肝臓が含まれている断層を撮像した画像の中で、腎臓又は肝臓の領域の特定や体積の測定が済んだ画像であってもよい。
【0092】
一実施例によると、学習画像は、複数のオブジェクトに対する領域の特定が済んだ画像であってもよい。例えば、学習画像は、肝臓の領域及び腎臓の領域の両方の領域の特定が済んだ画像であってもよい。様々な実施例によると、複数のオブジェクトに対する領域の特定を実行した学習画像を利用して取得した深層学習モデルの精度は、より向上させることができる。例えば、複数のオブジェクト、例えば、肝臓及び腎臓に対する領域の特定を全て実行した学習画像を利用して深層学習モデルを取得する場合、テスト画像の中で、肝臓及び腎臓の領域の特定の精度は、より向上させることができる。
【0093】
一実施例によると、上記の複数のオブジェクトの領域の特定は、単一の信号処理を介して実行されてもよい。例えば、学習画像に対して、肝臓の領域の特定及び腎臓の領域の特定は、単一の同じ色で表示されてもよい。他の実施例によると、上記の複数のオブジェクトに対する領域の特定は、互いに異なる信号処理を介して実行されてもよい。例えば、学習画像に対して、肝臓の領域の特定及び腎臓の領域の特定は、互いに異なる色で表示されてもよい。複数のオブジェクトの領域の特定が互いに異なる信号で行われる場合、単一の信号で行われる場合に比べ、より高い精度を有する深層学習モデルが期待される 様々な実施例によると、上記の複数のオブジェクトに対する異なる信号処理は、２以上の互いに異なる信号を利用して行うことができる。
【0094】
様々な実施例によると、入力モジュールは、複数の学習画像又は複数の学習画像の中で特定の領域に対する情報を順次又は同時に取得することができる。例えば、入力モジュールは、第１グループの複数の学習画像又は第１グループの複数の学習画像の中で特定の領域に対する情報を取得してもよく、以後に第２グループの複数の学習画像又は第１グループの複数の学習画像の中で特定の領域に対する情報を追加的に取得してもよい。他の例として、入力モジュール１１０は、第１グループの複数の学習画像及び第２グループの複数の学習画像、及び第１グループ及び第２グループの複数の学習画像の中で特定の領域に対する情報を同時に取得してもよい。
【0095】
様々な実施例によると、入力モジュールは、カメラモジュール、スキャンモジュールは、通信モジュール、及びユーザー入力モジュールのうちの少なくとも一つのモジュールを含んでもよい。例えば、入力モジュールは、カメラモジュールを含み、カメラモジュールは、テスト画像を撮像してもよい。一実施例において、撮像されたテスト画像は、プロセッサ又はメモリに転送されてもよい。他の例として、入力モジュールは、スキャンモジュールを含み、スキャンモジュールは、既に撮像されたテスト画像をスキャンして電気信号に変換してもよい。一実施例において、変換された電気信号は、プロセッサ又はメモリに転送されてもよい。他の例として、入力モジュールは、通信モジュールを含み、通信モジュールは、外部の電子装置からの無線通信又は有線通信を通してテスト画像を取得してもよい。一実施例において、取得したテスト画像は、プロセッサ又はメモリに転送されてもよい。
【0096】
一実施例によると、入力モジュールは、テスト画像だけでなく、ユーザーの入力を取得してもよい。例えば、入力モジュールは、ユーザーの入力モジュールを含んでもよく、ユーザーの入力モジュールは、ユーザーからのテスト画像の処理のための様々な入力を取得してもよい。例えば、入力モジュールは、ユーザーからの複数のテスト画像について、それぞれのテスト画像に対応する断層間の間隔を取得してもよい。
【0097】
メモリは、揮発性メモリ又は不揮発性メモリを含んでもよい。揮発性メモリは、例えば、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（例えば、ＤＲＡＭ、ＳＲＡＭ、又はＳＤＲＡＭ）で構成され得る。不揮発性メモリは、例えば、ＯＴＰＲＯＭ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ（ＲＯＭ））、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ｍａｓｋ ＲＯＭ、ｆｌａｓｈ ＲＯＭ、フラッシュメモリ、ハードドライブ、又はソリッド・ステート・ドライブ（ＳＳＤ）で構成され得る。
【0098】
様々な実施例によると、メモリは、例えば、医療用電子装置の少なくとも一つの他のソフトウェア構成要素、例えば、プログラムに関連する命令、情報、又はデータを記憶してもよい。様々な実施例において、メモリは、入力モジュールから取得した情報又はプロセッサによって処理された情報を記憶してもよい。様々な実施例において、入力モジュールから取得した情報は、例えば、テスト画像、学習画像、学習画像の中で特定の領域、例えば、腎臓又は肝臓に対応する領域の情報、又はユーザーの入力を含んでもよい。様々な実施例において、プロセッサによって処理された情報は、例えば、テスト画像の中で特定の領域、例えば、腎臓又は肝臓に対応する領域の情報は、学習画像及び学習画像の中で特定の領域に対する情報から取得した深層学習モデルなどを含んでもよい。
【0099】
プロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ））、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＡＰ））、又はコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＣＰ））の一つ、又はそれ以上を含んでもよい。様々な実施例において、プロセッサは、例えば、オペレーティングシステム、又はアプリケーションプログラムを駆動し、プロセッサに接続された医療用電子装置の少なくとも一つの他の構成要素（例えば、ハードウェア又はソフトウェア構成要素）を制御してもよく、各種のデータ処理や演算を実行してもよい。例えば、プロセッサは、他の構成要素のうちの少なくとも一つ（例えば、入力モジュール）から受信した命令又はデータに対して演算を実行し、結果をメモリに記憶してもよい。
【0100】
一実施例によると、プロセッサは、メモリに記憶された複数の学習画像及び複数の学習画像の中で特定の領域、例えば、腎臓又は肝臓に対応する領域の情報に基づいて、少なくとも一つ以上の深層学習モデルを取得してもよい。一実施例において、プロセッサは、深層学習モデルを更新してもよい。例えば、プロセッサは、新しい学習画像及び新しい学習画像の中で腎臓又は肝臓に対応する領域の情報を取得し、取得した画像及び情報に基づいて、メモリに記憶されていた深層学習モデルを更新してもよい。
【0101】
一実施例によると、プロセッサは、入力モジュールを介して少なくとも一つのテスト画像を取得し、メモリに記憶された深層学習モデルに基づいて、少なくとも一つのテスト画像の中で腎臓に対応する領域又は肝臓に対応する領域を検出してもよい。
【0102】
一実施例によると、プロセッサは、少なくとも一つのテスト画像に含まれる腎臓又は肝臓の体積を推定することができる。例えば、プロセッサは、少なくとも一つのテスト画像の中で検出した領域の面積を取得してもよく、取得した面積に基づいて、腎臓又は肝臓の体積を推定してもよい。例えば、プロセッサは、入力モジュールを介してユーザーから少なくとも一つのテスト画像が撮像される間隔、例えば、第１テスト画像が撮像された断層と第２テスト画像が撮像された断層との間の間隔及び取得した面積に基づいて腎臓又は肝臓の体積を推定してもよい。一実施例によると、プロセッサは、推定された腎臓又は肝臓の体積に基づいて、少なくとも一つのテスト画像に対応する腎臓又は肝臓における多嚢胞腎疾患又は多嚢胞肝疾患の進行状況を判断することもできる。
【0103】
様々な実施例によると、医療用電子装置は、出力モジュールをさらに含んでもよい。出力モジュールは、例えば、少なくとも一つのディスプレイを含んでもよい。出力モジュールは、プロセッサに電気的に接続され、プロセッサから転送されたデータを、ユーザーが認識することができる形態で出力してもよい。様々な実施例において、ユーザーが認識することができる形態は、文字、音声、画像、又はビデオのうちの少なくとも一つを含んでもよい。様々な実施例によると、プロセッサは、出力モジュールを利用し、テスト画像の中で腎臓又は肝臓に対応する領域を表示したり、腎臓又は肝臓の体積を表示したりしてもよい。他の実施例によると、プロセッサは、出力モジュールを利用し、腎臓又は肝臓における多嚢胞腎疾患又は多嚢胞肝疾患の進行状況を表示してもよい。
図１３は、一実施例に係る医療用電子装置が、腎臓又は肝臓の体積を推定する方法を示すフローチャートである。
図１３は、一実施例に係る医療用電子装置が、腎臓又は肝臓の体積を推定する方法を示すフローチャートである。
【0104】
図１３を参照すると、医療用電子装置が、腎臓又は肝臓の体積を推定する方法Ｓ２００は、ステップＳ２０１～ステップＳ２０９を含んでもよい。様々な実施例によると、方法Ｓ２００は、ステップＳ２０１～ステップＳ２０９のうちの少なくとも一つを省略してもよく、図１３に図示されていないステップをさらに含んでもよい。一実施例によると、ステップＳ２０１～ステップＳ２０９は、前述した医療用電子装置又はプロセッサによって実行される方法で理解され得る。
【0105】
ステップＳ２０１において、医療用電子装置は、少なくとも一つの深層学習モデルを取得してもよい。一実施例において、少なくとも一つの深層学習モデルは、入力モジュールを介して取得した複数の学習画像及び複数の学習画像の中で腎臓又は肝臓の領域に対する情報に基づいて取得されてもよい。
【0106】
一実施例によると、少なくとも一つの深層学習モデルは腎臓又肝臓を含む画像から腎臓又は肝臓の領域を抽出するためのモデルであってもよい。例えば、少なくとも一つの深層学習モデルは、画像と領域との間の関係、例えば、画像に含まれている複数の要素についての加重値を誘導するためのモデルであってもよい。様々な実施例において、複数の要素及び加重値は、深層学習モデルのトレーニング方法又はデータに基づいて、異なってもよい。一実施例によると、トレーニング方法は、Ｖネット・トレーニング（ｖ－ｎｅｔ ｔｒａｉｎｉｎｇ）を含んでもよい。
【0107】
一実施例において、複数の学習画像及び複数の学習画像の中で腎臓又は肝臓の領域に対する情報は、予め取得したデータのセットであってもよい。例えば、複数の学習画像は、医療機関などが既に蓄積していたデータから取得されてもよい。一実施例において、複数の学習画像の中で腎臓又は肝臓に対応する領域の情報は、複数の学習画像に対する前処理を行うことで取得してもよい。前処理は、例えば、複数の学習画像に対して、既に医療機関などで領域を複数の学習画像に直接に表示する動作を実行することを含んでもよい。複数の学習画像の種類や数が多いほど、少なくとも一つの深層学習モデルの精度を向上させることができる。
【0108】
様々な実施例において、ステップＳ２０１は省略されてもよい。例えば、既にメモリに記憶されていた少なくとも一つの深層学習モデルがある場合、医療用電子装置は、ステップＳ２０１を省略し、ステップＳ２０３を実行してもよい。この場合、医療用電子装置は、以下のステップＳ２０３～ステップＳ２０９で、既にメモリに記憶されていた少なくとも一つの深層学習モデルを使用してもよい。
【0109】
ステップＳ２０３において、医療用電子装置は、テスト画像を取得してもよい。テスト画像は、入力モジュール、例えば、カメラモジュール、スキャンモジュール、及び通信モジュールのうちの少なくとも一つを用いて取得されてもよい。一実施例において、テスト画像は、腎臓又は肝臓の体積測定が要求される患者の身体の２次元断層画像であってもよい。
【0110】
ステップＳ２０５において、医療用電子装置は、ステップＳ２０３で取得したテスト画像の中で腎臓又は肝臓に対応する領域を検出してもよい。例えば、医療用電子装置は、取得したテスト画像について、ステップ２０１で取得した深層学習モデルを適用してもよい。一実施例において、深層学習モデルは、複数の要素に対する加重値情報を含んでもよく、加重値は、テスト画像に含まれている複数の要素に対して適用されてもよい。これにより、医療用電子装置は、テスト画像の中で深層学習モデルに対応する特定の領域、例えば、腎臓又は肝臓に対応する領域を検出してもよい。
【0111】
ステップＳ２０７において、医療用電子装置は、ステップＳ２０５で検出した領域の面積を取得してもよい。例えば、医療用電子装置は、テスト画像のサイズ、テスト画像の倍率、及び／又はテスト画像の中で検出した領域の割合などに基づいて、面積を取得してもよい。
【0112】
ステップＳ２０９において、医療用電子装置は、ステップＳ２０３で取得したテスト画像に含まれている腎臓又は肝臓の体積を推定してもよい。例えば、医療用電子装置は、テスト画像が一つの対象、例えば、腎臓又は肝臓を含む人体に対して指定された間隔で連続的に撮像する場合、指定された間隔に基づいて、腎臓又は肝臓の体積を推定してもよい。例えば、テスト画像は、一つの対象について指定された間隔で連続的に撮像された複数の画像を含んでもよい。医療用電子装置は、複数の画像のそれぞれについて、ステップＳ２０７を連続的に行ってもよく、ステップＳ２０７の結果及び指定された間隔に基づいて、腎臓又は肝臓の体積を推定してもよい。
【0113】
様々な実施例によると、医療用電子装置は、出力モジュールをさらに含んでもよく、ステップＳ２０９で推定された腎臓又は肝臓の体積を出力モジュールに表示してもよい。これにより、ユーザーは、テスト画像に対応する患者に対して、多嚢胞腎疾患又は多嚢胞肝疾患の進行状況を確認することができる。
【0114】
ステップＳ２０１～ステップＳ２０９を通して、医療用電子装置は、テスト画像に含まれている腎臓又は肝臓の体積を正確かつ迅速に推定することができる。
【0115】
図１４は、一実施例に係る医療用電子装置が、腎臓又は肝臓の体積を推定し、深層学習モデルを更新する方法を示すフローチャートである。
【0116】
図１４を参照すると、医療用電子装置が腎臓又は肝臓の体積を推定し、深層学習モデルを更新する方法Ｓ３００は、ステップＳ３０１～ステップＳ３０７を含んでもよい。様々な実施例によると、方法Ｓ３００は、ステップＳ３０１～ステップＳ３０７のうちの少なくとも一つを省略してもよく、図１４に示されていないステップをさらに含んでもよい。一実施例によると、ステップＳ３０１～ステップＳ３０７は、前述した医療用電子装置又はプロセッサによって実行される方法で理解され得る。図１４の説明において、図１３の説明と重複する内容は省略される場合がある。
【0117】
ステップＳ３０１において、医療用電子装置は、テスト画像を用いて、テスト画像に含まれている腎臓又は肝臓の体積を推定してもよい。例えば、医療用電子装置は、図１３に示されたステップＳ２０１～ステップＳ２０９を実行することにより、テスト画像に含まれている腎臓又は肝臓の体積を推定してもよい。
【0118】
ステップＳ３０３において、医療用電子装置は、ステップＳ３０１で推定された腎臓又は肝臓の体積に基づいて、多嚢胞腎疾患又は多嚢胞肝疾患の進行状況を判断してもよい。例えば、医療用電子装置は、入力モジュールを介してテスト画像に対応する患者の腎臓又は肝臓の基準体積に関する情報を取得することができる。様々な実施例によると、基準体積は、患者の正常的な腎臓又は肝臓の体積であってもよく、又は数ヶ月前に測定された患者の腎臓又は肝臓の体積であってもよい。
【0119】
一実施例によると、医療用電子装置は、ステップＳ３０１で取得した腎臓又は肝臓の体積が基準体積に比べてどの程度であるか、例えば、何倍に相当するかを算出することができる。医療用電子装置は、算出された結果に基づいて、患者の多嚢胞腎疾患又は多嚢胞肝疾患の進行状況を判断してもよい。
【0120】
ステップＳ３０５において、医療用電子装置は、テスト画像及びテスト画像の中で検出した領域の情報をメモリに記憶してもよい。ステップＳ３０１を通してテスト画像の中で腎臓又は肝臓に対応する領域が検出された場合、テスト画像及び検出した領域は、新しい学習画像及び新しい学習画像の中で特定の領域に対する情報として使用され得る。学習画像の数が増加するほど、深層学習モデルの精度は高くなり得るので、医療用電子装置は、新しい学習画像及び新しい学習画像の中で特定の領域に対する情報をメモリに記憶してもよい。
【0121】
ステップＳ３０７において、医療用電子装置は、深層学習モデルを更新（又は再取得）してもよい。医療用電子装置は、ステップＳ３０５を通して新しい学習画像及び新しい学習画像の中で特定の領域に対する情報を取得したので、既存のメモリに記憶されていた複数の学習画像及び複数の学習画像の中で特定の領域に対する情報と共に、新しい深層学習モデルを再取得したり、既存の深層学習モデルを更新したりしてもよい。これにより、医療用電子装置は、深層学習モデルを発展させることができ、より正確にテスト画像の中で腎臓又は肝臓に対応する領域を検出することができる。
【0122】
ステップＳ３０１～ステップＳ３０７を通して、医療用電子装置は、多嚢胞腎疾患又は多嚢胞肝疾患の進行状況を正確かつ迅速に把握することができ、深層学習モデルの精度を向上させることができる。
【0123】
図１５は、一実施例に係る医療用電子装置が、少なくとも一つのテスト画像の腎臓又は肝臓の領域を抽出して表示した結果を示した図である。
【0124】
図１５を参照すると、第１テスト画像４１０及び第２テスト画像４２０が示されている。第１テスト画像４１０及び第２テスト画像４２０は、身体中で、例えば、腎臓を含む部分の断層を撮像した画像であってもよい。第１テスト画像４１０及び第２テスト画像４２０を参照すると、裸眼では、腎臓と他の部分との境界を明確に判断することが困難である。
【0125】
一実施例において、本発明に係る深層学習モデルをそれぞれ第１テスト画像４１０及び第２テスト画像４２０に適用すると、第１加工画像４１１及び第２加工画像４２１が取得され得る。第１加工画像４１１及び第２加工画像４２１は、各々の第１テスト画像４１０及び第２テスト画像４２０のうち、腎臓に対応する第１領域４１２及び第２領域４２２が表示される画像であってもよい。
【0126】
一実施例によると、テスト画像は、例えば、第１テスト画像４１０又は第２テスト画像４２０は、少なくとも一つの識別情報を含んでもよい。例えば、上記の識別情報は、患者に対する個人情報、撮像日時、撮像時間、撮像場所、断層間隔、又は縮尺情報のうちの少なくとも一つを含んでもよい。一実施例によると、本発明に係る深層学習モデルを適用する前に、前処理プロセスは、例えば、テスト画像４１０又は４２０の中で上記の識別情報を削除するプロセスやテスト画像４１０又は４２０の中で上記の識別情報を除いた残りの領域を抽出するプロセスが行われてもよい。上記の前処理プロセスは、例えば、前述したプロセッサによって実行されてもよい。
【0127】
一実施例において、テスト画像４１０又は４２０に対して前処理プロセスが実行される場合、テスト画像４１０又は４２０に対する非識別化が行われ、目的とする領域の抽出精度を向上させることができる。すなわち、上記の前処理プロセスは、深層学習モデルの領域抽出に対する精度を向上させることができる。
【0128】
一実施例によると、第１領域４１２及び第２領域４２２は、第１加工画像４１１及び第２加工画像４２１から分離されて抽出されてもよい。医療用電子装置は、抽出された第１領域４１２及び第２領域４２２の面積を取得することができ、これにより、第１テスト画像４１０及び第２テスト画像４２０に含まれている腎臓の体積を推定することができる。
【0129】
以上で説明した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素とソフトウェア構成要素との組み合わせで実装することができる。例えば、実施例で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答することができる他の任意の装置のように、一つ以上の汎用コンピュータ又は特殊目的のコンピュータを利用して実装することができる。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される一つ以上のソフトウェアアプリケーションを実行してもよい。また、処理装置は、ソフトウェアの実行に応答し、データをアクセス、記憶、操作、処理、及び生成してもよい。理解の便宜のために、一つの処理装置を使用することが説明される場合もあるが、当該技術分野における通常の知識を有する者であれば、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数の種類の処理要素を含み得ることがわかるであろう。例えば、処理装置は、複数のプロセッサ又は一つのプロセッサ及び一つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）などの他の処理構成（ｐｒｏｃｅｓｓｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。
【0130】
ソフトウェアは、コンピュータプログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）、コード（ｃｏｄｅ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）、又はこれらのいずれか一つ以上又は複数の組み合わせを含んでもよく、必要に応じて動作するように処理装置を構成したり、独立又は結合して（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理装置に命令したりしてもよい。ソフトウェア及び／又はデータは、処理装置によって解釈したり、処理装置に命令又はデータを提供するために、いずれのタイプの機械、構成要素（ｃｏｍｐｏｎｅｎｔ）、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｎｔ）、コンピュータ記憶媒体又は装置、又は伝送される信号波（ｓｉｇｎａｌ ｗａｖｅ）に恒久的又は一時的に具体化（ｅｍｂｏｄｙ）されてもよい。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で記憶されるか、又は実行されてもよい。ソフトウェア及びデータは、一つ以上のコンピュータ読み取り可能な記録媒体に記憶されてもよい。
【0131】
実施例に係る方法は、様々なコンピュータ手段を介して実行されてもよいプログラム命令形式で実装され、コンピュータ読み取り可能な媒体に記録されてもよい。また、コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせで記憶してもよい。媒体に記録されるプログラム命令は、実施例のために特別に設計されて構成されたものであるか、又はコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロップティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶し、実行するように特別に構成されたハードウェア装置が挙げられる。プログラム命令の例として、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用し、コンピュータによって実行されることができる高級言語コードが含まれる。上述したハードウェア装置は、実施例の動作を実行するための一つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆の場合も同様である。
【0132】
以上のように、限定された実施例及び図面によって実施例を説明したが、当該技術分野における通常の知識を有する者であれば、上記の記載から、様々な修正及び変形が可能であるだろう。例えば、説明された技術が説明された方法とは異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素を説明した方法とは異なる形式で結合又は組み合わせたり、他の構成要素又は均等物によって代替されるか置換されたりしても、適切な結果を達成することができる。
したがって、他の実装、他の実施例、及び特許請求の範囲と均等なものも、後述する「特許請求の範囲」の範囲に属する。
したがって、他の実装、他の実施例、及び特許請求の範囲と均等なものも、後述する「特許請求の範囲」の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】