(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022164527
(43)【公開日】2022-10-27
(54)【発明の名称】医用画像による腫瘍検出及び診断装置
(51)【国際特許分類】
A61B 5/055 20060101AFI20221020BHJP
A61B 10/00 20060101ALI20221020BHJP
G06T 7/00 20170101ALI20221020BHJP
A61B 34/10 20160101ALI20221020BHJP
【ＦＩ】
A61B5/055 380
A61B10/00 T
G06T7/00 612
G06T7/00 350C
A61B34/10
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021095563
(22)【出願日】2021-06-08
(31)【優先権主張番号】10-2021-0049901
(32)【優先日】2021-04-16
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
(71)【出願人】
【識別番号】520110216
【氏名又は名称】ヒューロン カンパニー，リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ホン，ジス
(72)【発明者】
【氏名】ソン，スーファ
【テーマコード（参考）】
4C096
5L096
【Ｆターム（参考）】
4C096AB38
4C096AB44
4C096AC01
4C096AC04
4C096AC05
4C096AD14
4C096DA30
4C096DB06
4C096DC20
4C096DC21
4C096DC36
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096DA02
5L096EA03
5L096EA05
5L096EA13
5L096FA69
5L096HA11
5L096MA07
(57)【要約】 （修正有）
【課題】医療関係者が患者を診断し、治療計画を樹立する段階に適切な情報を提供する装置及び方法を提供する。
【解決手段】医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法であって、医用画像による腫瘍検出及び診断装置は、患者と関連する医用画像を取得する入力部１０と、腫瘍領域の観察が可能なように、取得した医用画像を前処理する前処理部２０と、深層ニューラルネットワークによるディープラーニング手法を適用し、前処理された画像を複数の領域に分割する解析部３０と、分割された複数の領域に対してクラスタリングを実行することにより、グループ化する測定部４０と、を含み、測定部は、グループ化された領域それぞれのグループ別の特徴値を抽出し、抽出されたグループ別の特徴値に基づいて、腫瘍に関連する診断情報を導き出す。
【選択図】図１
【解決手段】医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法であって、医用画像による腫瘍検出及び診断装置は、患者と関連する医用画像を取得する入力部１０と、腫瘍領域の観察が可能なように、取得した医用画像を前処理する前処理部２０と、深層ニューラルネットワークによるディープラーニング手法を適用し、前処理された画像を複数の領域に分割する解析部３０と、分割された複数の領域に対してクラスタリングを実行することにより、グループ化する測定部４０と、を含み、測定部は、グループ化された領域それぞれのグループ別の特徴値を抽出し、抽出されたグループ別の特徴値に基づいて、腫瘍に関連する診断情報を導き出す。
【選択図】図１
【特許請求の範囲】
【請求項1】
患者に関連する医用画像を取得する入力部と、
腫瘍（ｔｕｍｏｒ）領域の観察が可能なように、前記取得した医用画像を前処理する前処理部と、
深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する解析部と、
前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を行うことにより、グループ化（ｇｒｏｕｐｉｎｇ）する測定部と、を含み、
前記測定部は、
前記グループ化された領域それぞれグループ別の特徴値を抽出し、
前記抽出されたグループ別の特徴値に基づいて、前記腫瘍に関連する診断情報を導き出すことを特徴とする、医用画像による腫瘍検出及び診断装置。
腫瘍（ｔｕｍｏｒ）領域の観察が可能なように、前記取得した医用画像を前処理する前処理部と、
深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する解析部と、
前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を行うことにより、グループ化（ｇｒｏｕｐｉｎｇ）する測定部と、を含み、
前記測定部は、
前記グループ化された領域それぞれグループ別の特徴値を抽出し、
前記抽出されたグループ別の特徴値に基づいて、前記腫瘍に関連する診断情報を導き出すことを特徴とする、医用画像による腫瘍検出及び診断装置。
【請求項2】
前記入力部は、前記患者の身体情報を追加で取得し、
前記測定部は、前記グループ別の特徴値及び前記身体情報を共に用いて前記の診断情報を導き出すことを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
前記測定部は、前記グループ別の特徴値及び前記身体情報を共に用いて前記の診断情報を導き出すことを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項3】
前記前処理部は、
前記取得した医用画像方向を整列し、
前記取得した医用画像内の均一性のため、前記画像内の信号偏向を訂正し、
ターゲット（ｔａｒｇｅｔ）である前記腫瘍領域以外の前記取得した医用画像内の領域を除去することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
前記取得した医用画像方向を整列し、
前記取得した医用画像内の均一性のため、前記画像内の信号偏向を訂正し、
ターゲット（ｔａｒｇｅｔ）である前記腫瘍領域以外の前記取得した医用画像内の領域を除去することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項4】
前記解析部は、
解像度の補正のために、ボクセル解像度（ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎ）を基準に、前記前処理された画像をリサンプリング（ｒｅｓａｍｐｌｉｎｇ）し、
前記リサンプリングされた画像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、
前記深層ニューラルネットワークによるディープラーニング手法の適用のために、前記正規化された画像の大きさを調整し、
前記深層ニューラルネットワークの入力と同じ大きさで出力されるように、前記大きさが調整された画像を複数の領域に分割することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
解像度の補正のために、ボクセル解像度（ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎ）を基準に、前記前処理された画像をリサンプリング（ｒｅｓａｍｐｌｉｎｇ）し、
前記リサンプリングされた画像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、
前記深層ニューラルネットワークによるディープラーニング手法の適用のために、前記正規化された画像の大きさを調整し、
前記深層ニューラルネットワークの入力と同じ大きさで出力されるように、前記大きさが調整された画像を複数の領域に分割することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項5】
前記深層ニューラルネットワークに入力される画像と前記分割された複数の領域に関連する画像は、３次元画像であることを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
【請求項6】
前記深層ニューラルネットワークによるディープラーニング手法は、
演算の順序と方式のうち少なくとも一つを変化させることで、変数及び計算量を減らすことができるＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
演算の順序と方式のうち少なくとも一つを変化させることで、変数及び計算量を減らすことができるＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
【請求項7】
前記ＤＳＣブロックを適用する場合、
前記深層ニューラルネットワークによるディープラーニング手法は、前記深層ニューラルネットワークに入力される画像内の情報消失を防ぐために、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）を適用することを特徴とする、請求項６に記載の医用画像による腫瘍検出及び診断装置。
前記深層ニューラルネットワークによるディープラーニング手法は、前記深層ニューラルネットワークに入力される画像内の情報消失を防ぐために、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）を適用することを特徴とする、請求項６に記載の医用画像による腫瘍検出及び診断装置。
【請求項8】
前記深層ニューラルネットワークによるディープラーニング手法は、
畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を拡張し、同じ数のパラメータでより広いＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）演算を実行するための膨張畳み込み（Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎ）を複数の段階に亘ってマルチスケールプーリング（ｍｕｌｔｉ－ｓｃａｌｅ ｐｏｏｌｉｎｇ）するＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を拡張し、同じ数のパラメータでより広いＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）演算を実行するための膨張畳み込み（Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎ）を複数の段階に亘ってマルチスケールプーリング（ｍｕｌｔｉ－ｓｃａｌｅ ｐｏｏｌｉｎｇ）するＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
【請求項9】
前記深層ニューラルネットワークによるディープラーニング手法は、
複数のスケール（ｓｃａｌｅ）に基づいて導き出された複数の特徴（ｆｅａｔｕｒｅ）を得るために、アップ・アンド・ダウンサンプリング（Ｕｐ－ａｎｄ ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を用いることを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
複数のスケール（ｓｃａｌｅ）に基づいて導き出された複数の特徴（ｆｅａｔｕｒｅ）を得るために、アップ・アンド・ダウンサンプリング（Ｕｐ－ａｎｄ ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を用いることを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
【請求項10】
前記測定部は、前記腫瘍をボクセルレベル（ｖｏｘｅｌ ｌｅｖｅｌ）からオブジェクトレベル（ｏｂｊｅｃｔ ｌｅｖｅｌ）で処理するために、前記クラスタリングを実行することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項11】
前記測定部は、前記抽出されたグループ別の特徴値を定量化し、
前記診断情報は、前記腫瘍の位置（ｌｏｃａｔｉｏｎ）、領域（ｒｅｇｉｏｎ）、直径（ｄｉａｍｅｔｅｒ）、及びボリューム（ｖｏｌｕｍｅ）情報を含むことを特徴とする、請求項１０に記載の医用画像による腫瘍検出及び診断装置。
前記診断情報は、前記腫瘍の位置（ｌｏｃａｔｉｏｎ）、領域（ｒｅｇｉｏｎ）、直径（ｄｉａｍｅｔｅｒ）、及びボリューム（ｖｏｌｕｍｅ）情報を含むことを特徴とする、請求項１０に記載の医用画像による腫瘍検出及び診断装置。
【請求項12】
前記測定部は、
臨床的指標（Ｃｌｉｎｉｃａｌ ｐａｒａｍｅｔｅｒ）と前記オブジェクトレベル情報を組み合わせて、前記腫瘍に関連する予後を予測することを特徴とする、請求項１０に記載の医用画像による腫瘍検出及び診断装置。
臨床的指標（Ｃｌｉｎｉｃａｌ ｐａｒａｍｅｔｅｒ）と前記オブジェクトレベル情報を組み合わせて、前記腫瘍に関連する予後を予測することを特徴とする、請求項１０に記載の医用画像による腫瘍検出及び診断装置。
【請求項13】
前記グループ化された領域及び前記グループ別の特徴値を出力する出力部をさらに含むことを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項14】
前記測定部のグループ化作業を通じて得られた行列情報を、前記入力部が取得した元の医用画像の空間（ｓｐａｃｅ）にマッチングされるように逆処理した後、保存する保存部をさらに含み、
前記保存部は、前記グループ化された領域及び前記グループ別の特徴値を保存することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
前記保存部は、前記グループ化された領域及び前記グループ別の特徴値を保存することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項15】
前記腫瘍は、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、及び膵臓癌を含むことを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項16】
前記前処理部は、
前記腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）のうち少なくとも一つ観察が可能なように、前記取得した医用画像を前処理することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
前記腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）のうち少なくとも一つ観察が可能なように、前記取得した医用画像を前処理することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法に関する。さらに詳しくは、本発明は、医用画像及び患者情報に基づいて人工知能（ＡＩ）を結びつけ、腫瘍を検出した後、検出された腫瘍の形態と特性を診断し、予後予測に対する情報を提供することにより、医療関係者が患者を診断し、治療計画を樹立する段階に適切な情報を提供する装置及び方法に関する。
【背景技術】
【0002】
腫瘍（ｔｕｍｏｒ）は、体内の細胞が自律性をもって過剰に発育したものをいう。
【0003】
腫瘍（ｔｕｍｏｒ）の発育は、常に腫瘍細胞自体の分裂増殖により起こり、発育の形式は、大きく二つに分けられ、腫瘍の性質が良性であるのか、悪性であるのかを区別する糸口として臨床上、重要視されている。
【0004】
一つは、膨張性発育または圧胚性発育で良性腫瘍として見られ、もう一つは、浸潤性発育で悪性腫瘍として見られる。膨張性発育は、腫瘍組織が一つの集団として周囲の正常組織を圧迫しながら発育し、直接的な被害を与えることは稀である。浸潤性発育は、腫瘍細胞が周囲の組織中に浸潤するように発育するものであって、周囲の組織を破壊しながら増殖し発育速度も速い。
【0005】
一方、腫瘍が広がる状態も大きく二つに分けられる。すなわち、連続的な広がりのものと非連続的な広がりのものがある。前者は原発巣を中心に周囲に連続的に広がるものであって、膨張性発育、浸潤性発育がこれに属する。
【0006】
後者は原発巣から離れた部位に移動してから発育するものであって、代表的なのが転移である。
【0007】
この腫瘍の転移は、悪性腫瘍の特徴の一つとしてリンパ行性又は血行性からなる。その他に腫瘍細胞が体腔内に剥がれ落ちて付着した後、一度にたくさん発育する播種又は接触による接触性転移などがある。
【0008】
分類と関連して、先にその組織が成熟であるのか、未熟であるのかという点で分類すれば、前者は良性腫瘍、後者は悪性腫瘍である。この両者をさらに上皮性又は非上皮性に分類すれば、悪性腫瘍の場合は、上皮性のものが癌腫、非上皮性のものが肉腫である。
【0009】
成熟した上皮性腫瘍は、乳頭腫、腺腫、嚢腫があり、成熟した非上皮性腫瘍には線維腫、粘液腫、脂肪腫、骨腫、メラノーマ、筋腫などが含まれる。また、未熟な上皮性腫瘍には、単純癌、扁平上皮癌、円柱上皮癌、副腎腫瘍、肝腫、琺瑯腫などがあり、未熟な非上皮性腫瘍には、未分化肉腫、繊維肉腫、粘液肉腫、脂肪肉腫、骨肉腫、黒色腫、筋肉腫などが含まれる。
【0010】
特に、転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）は、原発性癌が血管に乗って脳に転移した癌を意味し、悪性腫瘍のある患者から脳転移が生じた場合、生命に致命的であったりもする。
【0011】
脳転移は、その大きさが非常に多様であり、ほとんどが球状である特性を有する。
【0012】
しかし、Ｔ１－ｗｅｉｇｈｔｅｄ ＭＲＩ（Ｔ１強調ＭＲＩ）画像において、白質（ｗｈｉｔｅ－ｍａｔｔｅｒ）に近い明るさの値で表されるので、従来の画像による解析手法では、診断するのが難しいという問題点がある。
【0013】
現在は、医師が画像をいちいち見て、病変を見つけ出すやり方で診断する方法が適用されている。
【0014】
自動化された方法を適用する試みがあり、Ｔ１－ＭＲＩに加えて、様々な画像を一緒に加えて診断する研究があるが、その過程で２Ｄ画像に基づいて解析しているので、再構成の過程でスライス（ｓｌｉｃｅ）間途切れが発生し、これは検出の精度を落とす深刻な問題点が存在する。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】大韓民国特許登録番号第１０－１７９３６０９号（２０１７年１１月６日公告）
【特許文献2】大韓民国特許登録番号第１０－２０７２４７６号（２０２０年２月３日公告）
【発明の概要】
【発明が解決しようとする課題】
【0016】
本発明の目的は、上記のような問題点を解決するためのものであって、医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法を使用者に提供するものである。
【0017】
具体的に本発明は、医用画像及び患者情報に基づいて人工知能（ＡＩ）を結びつけ、腫瘍を検出した後、検出された腫瘍の形態と特性を診断し、予後予測に対する情報を提供することにより、医療関係者が患者を診断し、治療計画を樹立する段階に適切な情報を提供する装置及び方法を使用者に提供するものである。
【0018】
本発明は、腫瘍検出の自動化を目指しており、その過程でＴ１－ＭＲＩのみを用いて画像取得の難易度を下げ、空間情報を全部使用することができる３Ｄ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋを用いるものである。
【0019】
本発明のように、３Ｄ医用画像内の病変検出及び診断システムを適用した場合、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、膵臓癌などの病変に適用可能であり、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）に適用することができ、脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）にも適用することができる。
【0020】
特に、本発明は、脳腫瘍／転移癌検出の自動化を目指して、転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）のトラッカー（ｔｒａｃｋｅｒ）として、ｌｅｓｉｏｎ数、大きさ及びその他の情報を数値化した後、患者の年齢、状態及び発症時期などの情報と組み合わせて予後を予測し、リスクと治療の優先順位などの情報を医療関係者に提供することを目的とする。
【0021】
さらに、本発明は、病変（ｌｅｓｉｏｎ）の形態自体を予測して患者本人及び医療関係者が事前に対応できるように支援することを目的とする。
【0022】
また、本発明は、医療関係者との相互作用のために、診断結果が出るとすぐに医療関係者のデータと連動した後、病変（ｌｅｓｉｏｎ）の位置や特性に合った主治医または医療関係者を提案したり、当該医療関係者に要請を送信し、より専門的な所見と治療が受けられるようにすることを目的とする。
【0023】
また、本発明は、履歴に応じた治療を提案することに関連して、医療関係者とのデータの連動を通じてｌｅｓｉｏｎの位置や特性に合った治療提案を提供（ｈｉｓｔｏｒｙ提供）し、使用過程で持続的にフィードバックを行って、長く使えば使うほどより適切な提案を進行させることが可能であることを目的とする。
【0024】
一方、本発明で解決しようとする技術的課題は、以上で言及した技術的課題に限定されず、言及されていないもう一つの技術的課題は、以下の記載から、本発明が属する技術分野における通常の知識を有する者に明確に理解されるであろう。
【課題を解決するための手段】
【0025】
前記の技術的課題を達成するための本発明の一様態である医用画像による腫瘍検出及び診断装置は、患者と関連する医用画像を取得する入力部と、解析性能を向上させるために、前記取得した医用画像を前処理する前処理部と、深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する解析部と、前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を実行することにより、グループ化（ｇｒｏｕｐｉｎｇ）する測定部とを含み、前記測定部は、前記グループ化された領域それぞれのグループ別の特徴値を抽出し、前記抽出されたグループ別の特徴値に基づいて、前記腫瘍に関連する診断情報を導き出すことができる。
【0026】
また、前記入力部は、前記患者の身体情報を追加で取得し、前記測定部は、前記グループ別の特徴値及び前記身体情報を共に用いて前記診断情報を導き出すことができる。
【0027】
また、前記前処理部は、前記取得した医用画像の方向を整列し、前記取得した医用画像内を均一化するために前記画像内の信号偏向を訂正し、ターゲット（ｔａｒｇｅｔ）である身体器官領域以外の前記取得した医用画像内の領域を除去することができる。
【0028】
また、前記解析部は、解像度を補正するために、ボクセル解像度（ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎ）を基準に、前記前処理された画像をリサンプリング（ｒｅｓａｍｐｌｉｎｇ）し、前記リサンプリングされた画像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、前記深層ニューラルネットワークによるディープラーニング手法を適用するために、前記正規化された画像の大きさを調整し、前記深層ニューラルネットワークの入力と同じ大きさで出力されるように、前記大きさが調整された画像を複数の領域に分割することができる。
【0029】
また、前記深層ニューラルネットワークに入力される画像と前記分割された複数の領域に関連する画像は、３次元画像であることができる。
【0030】
また、前記深層ニューラルネットワークによるディープラーニング手法は、演算順序及び方法のうち少なくとも一つを変化させることで、変数及び計算量を減らすことができるＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）を用いることができる。
【0031】
また、前記ＤＳＣブロックを適用する場合、前記深層ニューラルネットワークによるディープラーニング手法は、前記深層ニューラルネットワークに入力される画像内の情報消失を防ぐために、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）を適用することができる。
【0032】
また、前記深層ニューラルネットワークによるディープラーニング手法は、畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を拡張して、同じ数のパラメータでより広いＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）演算を実行するための膨張畳み込み（Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎ）を複数の段階に亘ってマルチスケールプーリング（ｍｕｌｔｉ－ｓｃａｌｅ ｐｏｏｌｉｎｇ）するＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）を用いることができる。
【0033】
また、前記深層ニューラルネットワークによるディープラーニング手法は、複数のスケール（ｓｃａｌｅ）に基づいて導き出された複数の特徴（ｆｅａｔｕｒｅ）を得るために、アップ・アンド・ダウンサンプリング（Ｕｐ－ａｎｄ ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を使用することができる。
【0034】
また、前記測定部は、前記腫瘍をボクセルレベル（ｖｏｘｅｌ ｌｅｖｅｌ）からオブジェクトレベル（ｏｂｊｅｃｔ ｌｅｖｅｌ）で処理するために、前記クラスタリングを実行することができる。
【0035】
また、前記測定部は、前記抽出されたグループ別の特徴値を定量化し、前記診断情報は、前記腫瘍の位置（ｌｏｃａｔｉｏｎ）、領域（ｒｅｇｉｏｎ）、直径（ｄｉａｍｅｔｅｒ）、及びボリューム（ｖｏｌｕｍｅ）の情報を含むことができる。
【0036】
また、前記測定部は、臨床的指標（Ｃｌｉｎｉｃａｌ ｐａｒａｍｅｔｅｒ）と前記オブジェクトレベル情報を組み合わせて、前記腫瘍に関連する予後を予測することができる。
【0037】
また、前記グループ化された領域及び前記グループ別の特徴値を出力する出力部をさらに含むことができる。
【0038】
また、前記測定部のグループ化作業で得られた行列情報を、前記入力部が取得した元の医用画像の空間（ｓｐａｃｅ）にマッチングされるように逆処理した後、保存する保存部をさらに含み、前記保存部は、前記グループ化された領域及び前記グループ別の特徴値を保存することができる。
【0039】
また、前記腫瘍は、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、及び膵臓癌を含むことができる。
【0040】
また、前記前処理部は、前記腫瘍領域以外に、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域、及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）のうち少なくとも一つの観察が可能なように、前記取得した医用画像を前処理することができる。
【発明の効果】
【0041】
上述したように、本発明によれば、医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法を使用者に提供することができる。
【0042】
具体的には、本発明は、医用画像及び患者情報に基づいて人工知能（ＡＩ）を結びつけ、腫瘍の量を検出した後、検出された腫瘍の形態と特性を診断し、予後予測に対する情報を提供することにより、医療関係者が患者を診断し、治療計画を樹立する段階に適切な情報を提供する装置及び方法を使用者に提供することができる。
【0043】
また、本発明は、腫瘍検出の自動化を目指して、その過程でＴ１－ＭＲＩのみを用いて画像取得の難易度を下げ、空間情報を全部使用することができる３Ｄ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋを使用することができる。
【0044】
また、本発明のように、３Ｄ医用画像内の病変検出及び診断システムを適用した場合、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、膵臓癌などの病変に適用可能であり、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）に適用することができ、脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ ）にも適用することができる。
【0045】
特に、本発明は、脳腫瘍／転移癌検出の自動化を目指して、転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）のトラッカー（ｔｒａｃｋｅｒ）として、ｌｅｓｉｏｎ数、大きさ及びその他の情報を数値化した後、患者の年齢、状態及び発症時期などの情報と組み合わせて、予後を予測し、リスクと治療の優先順位などの情報を医療関係者に提供することができる。
【0046】
さらに、本発明は、病変（ｌｅｓｉｏｎ）の形態自体を予測して、患者本人と医療関係者が事前に対応できるように支援することができる。
【0047】
また、本発明は、医療関係者との相互作用のために、診断結果が出るとすぐに医療関係者のデータと連動した後、病変（ｌｅｓｉｏｎ）の位置や特性に合った主治医または医療関係者を提案したり、当該医療関係者に要請を送信し、より専門的な所見と治療が得られるようにすることができる。
【0048】
また、本発明は、履歴に応じた治療を提案することに関連して、医療関係者とのデータの連動を通じてｌｅｓｉｏｎの位置や特性に合った治療提案を提供（ｈｉｓｔｏｒｙ提供）し、使用過程で持続的にフィードバックを行って、長く使えば使うほどより適切な提案の進行が可能である。
【0049】
一方、本発明で得られる効果は、以上で言及した効果に限定されず、言及していないもう一つの効果は以下の記載から、本発明が属する技術分野における通常の知識を有する者に明確に理解されるであろう。
【図面の簡単な説明】
【0050】
【図1】本発明に関連して、腫瘍検出及び診断装置のブロック構成図を示すものである。
【図2】本発明に関連して、医用画像による腫瘍検出及び診断方法を説明するフローチャートである。
【図3】本発明の腫瘍検出及び診断装置に適用される入力部のブロック構成図を示すものである。
【図4】本発明の腫瘍検出及び診断装置に適用される前処理部のブロック構成図を示すものである。
【図5】本発明に関連して、前処理部の動作の一例を示したものである。
【図6】本発明の腫瘍検出及び診断装置に適用される画像解析部のブロック構成図を示すものである。
【図7】本発明に関連して、画像解析部の動作の一例を示したものである。
【図8】本発明の画像解析部の動作に関連して、フローチャートを示したものである。
【図9】本発明の腫瘍検出及び診断装置に適用される測定部のブロック構成図を示すものである。
【図10】本発明に関連して、測定部の動作の一例を示したものである。
【図11】本発明の腫瘍検出及び診断装置に適用される保存部ブロック構成図を示すものである。
【図12】本発明の腫瘍検出及び診断装置に適用される出力部のブロック構成図を示すものである。
【図13】本発明に関連して、出力部の動作の一例を示したものである。
【発明を実施するための形態】
【0051】
以下、図面を参照にし、本発明の好適な一実施形態について説明する。また、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものでなく、本実施形態で説明される構成全体が、本発明の解決手段として必須であるとはいえない。
【0052】
以下、本発明の好ましい実施形態による医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法を添付された図面を参照にして、詳細に説明する。
【0053】
転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）
本発明は、様々な腫瘍（ｔｕｍｏｒ）を検出し、検出された腫瘍の形態と特性を診断する目的で用いられることができる。
本発明は、様々な腫瘍（ｔｕｍｏｒ）を検出し、検出された腫瘍の形態と特性を診断する目的で用いられることができる。
【0054】
例えば、本発明が適用されることができる腫瘍は、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、及び膵臓癌などを含むことができる。
【0055】
また、本発明は、腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域、脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）を検出し、その領域の特性を診断する用途にも活用することができる。
【0056】
以下では、本発明が目的とする代表的な腫瘍である転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）をもとに、本発明の内容を説明する。
【0057】
ただし、本発明の内容が転移性脳腫瘍に制限されるものではなく、前述したように脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、及び膵臓癌、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域、脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）などを検出し、診断することに用いられることができる。
【0058】
転移性脳腫瘍は、頭蓋腔外部の源発癌が頭蓋腔内に転移して発生するものであり、成人の脳内悪性腫瘍の中で最も多い。脳は、肺癌、乳癌などのような全身癌において、比較的よくある転移部位であって、全身癌患者全体の約２０～３０％が脳転移を経験すると推定される（Ｇａｖｒｉｌｏｖｉｃ ＩＴ、Ｐｏｓｎｅｒ ＪＢ．Ｊ Ｎｅｕｒｏｏｎｃｏｌ ２００５；７５（１）：５－１４）。
【0059】
韓国でも全体の癌患者数と脳悪性新生物の患者数が増加しており、転移性脳腫瘍の発生頻度が着実に増加しているものと推定される。
【0060】
転移性脳腫瘍がある場合、そうでない場合に比べて全体の生存期間（ＯＳ、ｏｖｅｒａｌｌ ｓｕｒｖｉｖａｌ）が低い。
【0061】
転移性脳腫瘍の原発病巣のうち全体の５０％以上を占める肺癌の場合、術前のスクリーニング検査で脳ＭＲＩを行い、脳転移の有無を確認し、適切な治療を進めた患者が、そうでない患者に比べて生存率が有意に高いという研究結果がある。
【0062】
また、近来、抗がん剤治療、放射線療法、及びガンマナイフ治療など、複合的で積極的な治療によって転移性脳腫瘍患者の生存率を増加させることができると報告されている。
【0063】
したがって、癌患者から脳転移の有無を早期に発見することは、患者の予後向上に非常に重要である。
【0064】
転移性脳腫瘍診断の基本的検査は、脳ＭＲＩであり、ＭＲＩはコンピュータ断層撮影（ＣＴ）に比べて軟部組織コントラストに優れ、頭蓋骨による人工物が少なく、造影増強効果がよく現れるなど、数々の利点を有しており、転移性脳腫瘍の診断に非常に重要である。
【0065】
ＭＲＩ上では転移癌の結節だけでなく、正常な血管も一緒に造影増強を示すため、転移性脳小結節と正常な血管をうまく区別する必要がある。
【0066】
これを区別するためには、造影増強を示す病変が球状または不規則な形を示すのか、或いは血管のような円筒状を示すのかを細密に見極めなければならないが、高解像度の画像を利用しても両者の区別が容易でないことがある。
【0067】
また、高解像度ＭＲＩの場合、検査ごとに得られる画像切片の数が大幅に増加され、これをいちいち正確に解析することは、これらの画像を読み取る画像医学科の医師にとって大きな負担として働く。
【0068】
すべての画像検査は、潜在的に読み取りエラーが発生する危険性を持っている。特に、医療技術が発展するにつれてより正確な画像診断が必要とされるのに対し、画像検査件数は、爆発的に増加し、高解像度の画像を読み取るのにかかる時間はさらに長くなり、画像診断科の医師の負担も大幅に上昇している。したがって、読み取りエラーの危険性を低減させるための安全装置作りが必要な状況である。
【0069】
したがって、本発明では、前記のような問題点を解消するために、画像処理及び人工知能技術を活用し、脳医用画像からの脳転移結節を自動に検出し、分割し、解析し、診断する装置及び方法を提案するものである。
【0070】
医用画像による腫瘍検出及び診断装置
本発明の目的は、前記のような問題点を解決するためのものであって、医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法を使用者に提供するものである。
本発明の目的は、前記のような問題点を解決するためのものであって、医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法を使用者に提供するものである。
【0071】
具体的に本発明は、医用画像及び患者情報に基づいて人工知能（ＡＩ）を結びつけ、腫瘍を検出した後、検出された腫瘍の形態と特性を診断し、予後予測に対する情報を提供することにより、医療関係者が患者を診断し、治療計画を樹立する段階に適切な情報を提供する装置及び方法を使用者に提供するものである。
【0072】
本発明は、腫瘍検出の自動化を目指しており、その過程でＴ１－ＭＲＩのみを用いて画像取得の難易度を下げ、空間情報を全部使用することができる３Ｄ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋを使用するものである。
【0073】
本発明のように、３Ｄ医用画像内の病変検出及び診断システムを適用する場合、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、膵臓癌などの病変に適用可能であり、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）に適用することができ、脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ ）にも適用することができる。
【0074】
特に、本発明は、脳腫瘍／転移癌検出の自動化を目指し、転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）のトラッカー（ｔｒａｃｋｅｒ）として、ｌｅｓｉｏｎ数、大きさ及びその他の情報を数値化した後、患者の年齢、状態及び発症時期などの情報と組み合わせ、予後を予測してリスクと治療の優先順位などの情報を医療関係者に提供することを目的とする。
【0075】
さらに、本発明は、病変（ｌｅｓｉｏｎ）の形態自体を予測して、患者本人と医療関係者が事前に対応できるように支援することを目的とする。
【0076】
また、本発明は、医療関係者との相互作用のために、診断結果が出るとすぐに医療関係者のデータと連動した後、病変（ｌｅｓｉｏｎ）の位置や特性に合った主治医または医療関係者に提案したり、当該医療関係者にリクエストを送信し、より専門的な所見と治療が得られるようにすることを目的とする。
【0077】
また、本発明は、履歴に応じた治療を提案することに関連して、医療関係者とのデータの連動を通じて病変（ｌｅｓｉｏｎ）の位置や特性に合った治療提案を提供（ｈｉｓｔｏｒｙ提供）し、使用過程で持続的にフィードバックを行い、長く使えば使うほどより適した提案が可能であることを目的とする。
【0078】
図１は、本発明に関連して、腫瘍検出及び診断装置のブロック構成図を示すものである。
【0079】
本発明の好ましい実施形態による腫瘍検出及び診断装置１は、図１に示すように、入力部１０、前処理部２０、解析部３０、測定部４０、保存部５０、出力部６０を含むことができる。
【0080】
まず、入力部１０は、患者に関連する医用画像を取得することができる。
【0081】
具体的には、入力部１０は、ＤＩＣＯＭまたはＮＩＦＴＩの情報を有するＨｅａｄ＆Ｎｅｃｋ単一ＭＲＩ医用画像を取得することができる。
【0082】
また、入力部１０は、患者に関連する身体情報を取得することができ、これらの身体情報は、性別、年齢、情報取得時間などを含むことができる。
【0083】
次に、前処理部２０は、腫瘍（ｔｕｍｏｒ）領域が観察できるように、前記取得した医用画像を前処理する機能を提供する。
【0084】
代表的に、前処理部２０は、画像方向整列、画像内信号偏向訂正（画像内の不均一性を訂正）及び脳外領域の削除（脳抽出）機能を提供することができる。
【0085】
また、解析部３０は、深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する機能を提供する。
【0086】
代表的に解析部３０は、画像リサンプリング、画像の正規化、画像の大きさ調整、ディープラーニングベースの画像分割機能を提供することができる。
【0087】
また、測定部４０は、前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を実行することにより、グループ化（ｇｒｏｕｐｉｎｇ）する機能を提供する。
【0088】
また、測定部４０は、グループ化された領域それぞれのグループ別の特徴値を抽出し、前記抽出されたグループ別の特徴値に基づいて、前記腫瘍に関連する診断情報を導き出すことになる。
【0089】
代表的に、測定部４０は、分割領域グループ化、各グループ別の特徴値を測定し、定量化し、予後予測情報を計算する機能を提供することができる。
【0090】
また、出力部は、前記グループ化された領域及び前記グループ別の特徴値を出力することができる。
【0091】
また、保存部５０は、測定部４０のグループ化作業で得られた行列情報を、前記入力部１０が取得した元の医用画像の空間（ｓｐａｃｅ）にマッチングされるように逆処理した後、保存することができる。
【0092】
また、保存部５０は、グループ化された領域及びグループ別の特徴値を保存することもできる。
【0093】
最後に、出力部６０は、グループ化された領域及びグループ別の特徴値を出力する機能を提供する。
【0094】
図２は、本発明に関連して、医用画像による腫瘍検出及び診断方法を説明するフローチャートである。
【0095】
図２を参照すると、入力部１０は、患者に関連する医用画像を取得する段階（Ｓ１）を実行する。
【0096】
ここで入力部１０は、前記患者の身体情報を追加で取得することができ、その後、測定部４０は、グループ別の特徴値及び前記身体情報を共に用いて前記診断情報を導き出すことができる。
【0097】
また、前処理部２０は、腫瘍（ｔｕｍｏｒ）領域が観察できるように、前記取得した医用画像を前処理する過程（Ｓ２）を実行する。
【0098】
ここで前処理部２０は、取得した医用画像の方向を整列し、取得した医用画像内の均一性のため、前記画像内の信号偏向を訂正し、ターゲット（ｔａｒｇｅｔ）である前記腫瘍領域以外の前記取得した医用画像内の領域を除去することができる。
【0099】
それから、解析部３０は、深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する過程（Ｓ３）を実行する。
【0100】
ここでの解析部３０は、解像度を補正するために、ボクセル解像度（ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎ）を基準に、前記前処理された画像をリサンプリング（ｒｅｓａｍｐｌｉｎｇ）し、前記リサンプリングされた画像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、前記深層ニューラルネットワークによるディープラーニング手法を適用するために、前記正規化された画像の大きさを調整し、前記深層ニューラルネットワークの入力と同じ大きさで出力されるように、前記大きさが調整された画像を複数の領域に分割することができる。
【0101】
また、深層ニューラルネットワークに入力される画像と前記分割された複数の領域に関連する画像は、３次元画像であることができる。
【0102】
この時、保存部５０は、分割された結果を保存することができ（Ｓ４）、出力部６０は、分割された結果を表示することもできる（Ｓ５）。
【0103】
また、測定部４０は、前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を実行することにより、グループ化（ｇｒｏｕｐｉｎｇ）し、グループ化された領域それぞれグループ別の特徴値を抽出し、前記抽出されたグループ別の特徴値をもとに、前記腫瘍に関連する診断情報を導き出すことができる（Ｓ６）。
【0104】
この時、測定部４０は、前記腫瘍をボクセルレベル（ｖｏｘｅｌ ｌｅｖｅｌ）からオブジェクトレベル（ｏｂｊｅｃｔ ｌｅｖｅｌ）で処理するために、前記クラスタリングを実行することができる。
【0105】
また、測定部４０は、前記抽出されたグループ別の特徴値を定量化し、診断情報は、前記腫瘍の位置（ｌｏｃａｔｉｏｎ）、領域（ｒｅｇｉｏｎ）、直径（ｄｉａｍｅｔｅｒ）、及びボリューム（ｖｏｌｕｍｅ）情報を含めることができる。
【0106】
また、測定部４０は、臨床的指標（Ｃｌｉｎｉｃａｌ ｐａｒａｍｅｔｅｒ）及び前記オブジェクトレベル情報を組み合わせて、前記腫瘍に関連する予後を予測することもできる。
【0107】
その後、保存部５０は、前記グループ化された領域及び前記グループ別の特徴値を保存する過程（Ｓ７）を実行することができる。
【0108】
この時、保存部５０は、測定部のグループ化作業で得られた行列情報を、前記入力部が取得した元の医用画像の空間（ｓｐａｃｅ）にマッチングされるように逆処理した後、保存することもできる。
【0109】
また、出力部６０は、グループ化された領域及び前記グループ別の特徴値を出力することができる（Ｓ８）。
【0110】
前述したように、本発明が適用される腫瘍は、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、及び膵臓癌を含むことができる。
【0111】
また、前処理部２０は、腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）のうち少なくとも一つの観察が可能なように、取得した医用画像を前処理することも可能である。
【0112】
以下では、各構成要素の役割と機能について図面を参照にして、具体的に説明する。
【0113】
入力部の構成及び動作
図３は、本発明の腫瘍検出及び診断装置に適用される入力部のブロック構成図を示すものである。
図３は、本発明の腫瘍検出及び診断装置に適用される入力部のブロック構成図を示すものである。
【0114】
本発明に係る入力部１０は、患者に関連する医用画像を取得することができる。
【0115】
ここで入力部１０は、Ｈｅａｄ＆Ｎｅｃｋ単一ＭＲＩ画像に対応するＤＩＣＯＭ情報を取得するＤＩＣＯＭ画像部１１、ＮＩＦＴＩ情報を取得するＮＩＦＴＩ画像部１２を含むことができる。
【0116】
また、入力部１０は、身体情報を追加で取得する患者の身体情報入力部１３をさらに含むことができ、ここで身体情報は、患者の基本的な情報として、性別、年齢、情報取得時間などを含むことができる。
【0117】
前処理部の構成及び動作
図４は、本発明の腫瘍検出及び診断装置に適用される前処理部のブロック構成図を示すものである。
図４は、本発明の腫瘍検出及び診断装置に適用される前処理部のブロック構成図を示すものである。
【0118】
図４を参照すると、前処理部２０は、ＲＰＩ ｏｒｉｅｎｔａｔｉｏｎ ａｌｉｇｎを通じた画像方向整列部２１、画像内の不均一性を訂正するための画像内信号偏向訂正部２２及び腫瘍が存在する脳抽出のための、脳外領域除去２３を含むことができる。
【0119】
ここで、信号偏向訂正部２２は、Ｎｏｎ－ｕｎｉｆｏｒｍｉｔｙ ｃｏｒｒｅｃｔｉｏｎなどを適用し、ノイズ領域除去２３は、Ｓｋｕｌｌ－ｓｔｒｉｐｐｉｎｇなどを適用することができる。
【0120】
一方、図５は、本発明に関連して、前処理部の動作の一例を示したものである。
【0121】
【0122】
また、前処理部２０は、腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）のうち少なくとも一つの観察が可能なように、取得した医用画像を前処理することも可能である。
【0123】
【0124】
図６を参照すると、解析部３０は、深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する過程（Ｓ３）を実行する。
【0125】
ここで解析部３０は、解像度を補正するために、ボクセル解像度（ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎ）を基準に、前記前処理された画像をリサンプリング（ｒｅｓａｍｐｌｉｎｇ）する画像リサンプリング部３１であり、前記リサンプリングされた画像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）する画像正規化部３２、前記深層ニューラルネットワークによるディープラーニング手法を適用するために、前記正規化された画像の大きさを調整する画像大きさ調整部３３及び深層ニューラルネットワークの入力と同じ大きさで出力されるように、前記大きさが調整された画像を複数の領域に分割する画像分割部３４を含むことができる。
【0126】
この時、本発明の深層ニューラルネットワークに入力される画像と前記分割された複数の領域に関連する画像は、３次元画像であることができる。
【0127】
図７の（ａ）は、解析部３０を経る前に前処理部２０によって前処理された画像の一例を示したものであり、（ｂ）は、解析部３０を経て、複数の領域に分割された結果物が示されている。
【0128】
具体的には、画像リサンプリング部３１は、画像ごとに異なる解像度を補正するために、ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎを基準にｒｅｓａｍｐｌｉｎｇを実行し、０．５ｍｍ ｘ ０．５ｍｍ ｘ ０．５ｍｍが適用されることができる。
【0129】
ただし、前記０．５ｍｍ ｘ ０．５ｍｍ ｘ ０．５ｍｍの内容は、本発明が適用されるための単純な一例に過ぎず、他の条件の複数のボクセル解像度が適用され得ることは自明である。
【0130】
また、画像の正規化部３２は、代表的な一例として、（ｍ、σ）＝（０、１）で正規化を行って、最大値６でｉｎｔｅｎｓｉｔｙ ｃｌｉｐを適用することができる。
【0131】
同様に、最大値を６として適用したのは、本発明の適用例であり、他の最大値を適用することも可能である。
【0132】
また、画像の大きさ調整部３３は、その後に行われる深層ニューラルネットワーク解析に対応して画像の大きさを変更し、Ａｒｒａｙ ｓｉｚｅは１７６ ｘ １７６ ｘ １７６になることができる。
【0133】
また、画像分割部３４は、深層ニューラルネットワークによるｔａｒｇｅｔ領域ｓｅｇｍｅｎｔａｔｉｏｎを行い、深層ニューラルネットワークの入力と同じ大きさで出力されるようにし、代表的に１７６ ｘ １７６ ｘ １７６が適用されることができる。
同様に１７６ ｘ １７６ ｘ １７６として適用したのは、本発明の適用例であって、他の大きさを適用することも可能である。
同様に１７６ ｘ １７６ ｘ １７６として適用したのは、本発明の適用例であって、他の大きさを適用することも可能である。
【0134】
ここで、ＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）、ＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）、アップ・アンド・ダウンサンプリング（Ｕｐ－ａｎｄ ｄｏｗｎ－ｓａｍｐｌｉｎｇ）などが活用可能である。
【0135】
Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎは、深さ志向の分離可能な畳み込みを意味し、Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇは、アトラス空間ピラミッド統合を意味する。
【0136】
これらの画像分割部３４の具体的な動作に関連して、図８は、フローチャートを示したものである。
【0137】
図８を参照すると、まず、深層ニューラルネットワークに入力される画像と前記分割された複数の領域に関連する画像は、３次元画像であることができる。
【0138】
２Ｄモデルを適用する場合、結果として出たｓｌｉｃｅを組み合わせて３Ｄ画像に再構成した際にｓｌｉｃｅ間のｄｉｓｃｏｎｎｅｃｔｉｏｎが発生し、Ｇｌｏｂａｌ ｌｏｃａｔｉｏｎを考慮するのが難しいという問題点がある。
【0139】
したがって、本発明では、３Ｄモデルを適用して、Ｓｌｉｃｅ間のｄｉｓｃｏｎｎｅｃｔｉｏｎをなくし、全体的な位置も考慮することができる。
【0140】
さらに、転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）は、大抵円形ではなく球状をしているので、３Ｄモデルでより合理的な判断をすることができるという長所がある。
【0141】
図８を参照すると、深層ニューラルネットワークで３次元画像が入力（Ｓ１０）され、１次元畳み込み（Ｓ１１）を経て、３回のＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）が適用された演算（Ｓ１２、Ｓ１３ 、Ｓ１４）が行われる。
【0142】
この時、ＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）演算の途中、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）が実行されることができる（Ｓ２３、Ｓ２４）。
【0143】
Ｓ１４段階の後、ＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）を適用した演算が適用され、それ以降、３回の畳み込み（Ｓ１７、Ｓ１８、Ｓ１９）を経て、３次元の分割された複数の領域に関連画像が出力される（Ｓ２０）。
【0144】
この時、スキップした２回の接続の結果（Ｓ２３、Ｓ２４）が２回の畳み込みの結果（Ｓ１７、Ｓ１８）と結合され、それぞれの次の畳み込み（Ｓ１８、Ｓ１９）で入力値として用いられる。
【0145】
特に、最後の畳み込み（Ｓ１９）は、次のように、最終的な確率値を得るために用いられる。
０ ＝ ｎｏｒｍａｌ／ｂａｃｋｇｒｏｕｎｄ
１ ＝ ＢＭ
ここで、ＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）は、演算順序及び方法のうち少なくとも一つを変化させることで、変数、及び計算量を減らす目的で用いられる。
０ ＝ ｎｏｒｍａｌ／ｂａｃｋｇｒｏｕｎｄ
１ ＝ ＢＭ
ここで、ＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）は、演算順序及び方法のうち少なくとも一つを変化させることで、変数、及び計算量を減らす目的で用いられる。
【0146】
ＤＳＣは、一般的なｃｏｎｖの演算順序と方式に変更を与え、演算情報は、従来の方法と同様に維持しながら、変数と計算量を大幅に減らすｃｏｎｖ ｍｏｄｕｌｅとして、いくつかの段階にわたるＤＳＣをモデル内に適用する場合、効率的に様々なＦＯＶに対応することができるようになり、ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓのようにいくつかの大きさを有する対象をより適切に検出することができる。
【0147】
特に、資源要求量が高い３ＤモデルにＤＳＣを使用すると、モデルを効果的に軽量化することができるようになり、さまざまな大きさのＢＭをｂｅｔｗｅｅｎ－ｓｌｉｃｅ ｄｉｓｃｏｎｎｅｃｔｉｏｎ（スライス間途切れ）なしに検出することができる。
【0148】
また、前記ＤＳＣブロックを適用する場合、深層ニューラルネットワークによるディープラーニング手法は、深層ニューラルネットワークに入力される画像内の情報消失を防ぐために、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）を適用することができる。
【0149】
スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）を適用する場合、結果的に、詳細な要素をさらに多く維持することができ、モデルがｓｅｇｍｅｎｔａｔｉｏｎ（分割）作業をより効率的に行うことができるようになる。
【0150】
また、畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を拡張し、同じ数のパラメータでより広いＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）演算を実行するための膨張畳み込み（Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎ）を複数の段階に亘ってマルチスケールプーリング（ｍｕｌｔｉ－ｓｃａｌｅ ｐｏｏｌｉｎｇ）するＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）が利用される。
【0151】
ＡＳＰＰブロックは、ｌｏｃａｌ特性からｇｌｏｂａｌ特性まで考慮した出力が得られる長所があり、これは形態が類似しているが、様々な大きさを有するｂｒａｉｎ ｍｅｔａｓｔａｓｉｓが検出された際に効果的にすることができる。
【0152】
また、複数のスケール（ｓｃａｌｅ）に基づいて導き出された複数の特徴（ｆｅａｔｕｒｅ）を得るために、アップ・アンド・ダウンサンプリング（Ｕｐ－ａｎｄ ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を用いることができる。
【0153】
【0154】
図９を参照すると、測定部４０は、前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を実行することにより、グループ化（ｇｒｏｕｐｉｎｇ）するグループ化部４１、グループ化された領域それぞれのグループ別の特徴値を抽出する抽出部４２及び抽出されたグループ別の特徴値に基づいて、前記腫瘍に関連する診断情報を導き出す予後予測情報算出部４３を含むことができる。
【0155】
グループ化部４１は、腫瘍をボクセルレベル（ｖｏｘｅｌ ｌｅｖｅｌ）からオブジェクトレベル（ｏｂｊｅｃｔ ｌｅｖｅｌ）で処理するために、前記クラスタリングを実行することができる。
【0156】
抽出部４２は、抽出されたグループ別の特徴値を定量化し、診断情報は、前記腫瘍の位置（ｌｏｃａｔｉｏｎ）、領域（ｒｅｇｉｏｎ）、直径（ｄｉａｍｅｔｅｒ）、及びボリューム（ｖｏｌｕｍｅ）の情報を含むことができる。
【0157】
予後予測情報算出部４３は、臨床的指標（Ｃｌｉｎｉｃａｌ ｐａｒａｍｅｔｅｒ）と前記オブジェクトレベル情報を組み合わせて、前記腫瘍に関連する予後を予測することもできる。
【0158】
これは、原発性癌の進行率、脳内病変の位置などが予後と関連することができる。
【0159】
図１０の（ａ）は、測定部４０を経る前の解析部３０を通過した複数の領域に分割された画像の一例を示したものであり、（ｂ）は、測定部４０を介して、分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を実行することにより、グループ化（ｇｒｏｕｐｉｎｇ）された一例を図示したものであり、（ｃ）は、グループ化された領域それぞれのグループ別の特徴値を抽出し、抽出されたグループ別の特徴値に基づいて前記腫瘍に関連する診断情報が導き出される一例を示したものである。
【0160】
一方、解析部３０と測定部４０は、ＭＲＩ ＤＩＣＯＭデータオープン及びＭＰＲ（Ｍｕｌｔｉ Ｐｌａｎａｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）具現技術を適用することができる。
【0161】
すなわち、ＩＴＫを用いてＭＲＩ ＤＩＣＯＭ ｓｅｒｉｅｓのｈｅａｄｅｒ及び画像情報を読み込み、３Ｄ ｖｏｌｕｍｅで再構成し、再構成された３Ｄ ＶｏｌｕｍｅデータをＶＴＫにポーティングし、ＶＴＫライブラリを介して３Ｄ ＶｏｌｕｍｅをＡｘｉａｌ、Ｃｏｒｏｎａｌ、Ｓａｇｉｔｔａｌ ｐｌａｎｅの２Ｄ画像からなるＭＰＲに変換し、画面に可視化することができる。
【0162】
また、解析部３０及び測定部４０は、転移性脳結節候補群の検出技術が適用されることができる。
【0163】
具体的には、３次元テンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）とＫ－ｍｅａｎｓクラスタリングアルゴリズムを通じて転移性脳結節の候補群を検出することができる。
【0164】
転移性脳結節は、一般的に球の形態をしているため、様々な大きさで作成された球状のテンプレートを介して球状の転移性脳結節を検出し、大きさの大きい結節は、Ｋ－ｍｅａｎｓクラスタリングによって分割された領域を対象に形状と画素値をベースに候補群を検出することができる。
【0165】
また、解析部３０と測定部４０は、マシンラーニング（ＡＮＮ）による候補群判別モデルが適用されることができる。
【0166】
具体的には、検出された結節候補群を対象にヒストグラム、形状、テクスチャベースの２７２個の特性値を抽出し、統計的手法により３０個の属性値を選択することができる。
【0167】
また、マシンラーニング手法のうち、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＡＮＮ）によるモデルを選択した３０個の属性値を介して学習することができる。
【0168】
その後、学習したＡＮＮモデルを通じて既存に検出された結節候補群を対象に、結節であるかどうかを判別することにより、転移性脳結節を最終的に検出することができる。
【0169】
また、解析部３０と測定部４０は、ディップランニングモデルを用いた腫瘍検出を行うことができる。
【0170】
具体的には、ＦＣアプリケーションＳ／Ｗ間の連動、ウィンドウ環境でディープラーニングモデルを用いるための環境設定方法、Ｐｙｔｈｏｎの環境で学習されたディープラーニングモデルを、Ｗｉｎｄｏｗｓ環境で実行されるアプリケーションＳ／Ｗで使用するための連動方法、アプリケーションＳ／Ｗでのディープラーニングモデルの呼び出し方法及びディープランニング結果をアプリケーションＳ／Ｗで処理するための連動方法、ＭＲＩ画像で３Ｄ ＶＯＩを介してａｎｎｏｔａｔｉｏｎされた結節をベースに結節の位置を検出し、結節の外郭を分割するＣＮＮモデル、学習されたディープラーニングモデルのハイパーパラメータと学習／実行環境に必要なプログラム及び設定などに対するセッティングなどが適用されることができる。
【0171】
保存部及び出力部の構成及び動作
図１１は、本発明の腫瘍検出及び診断装置に適用される保存部のブロック構成図を示すものである。
図１１は、本発明の腫瘍検出及び診断装置に適用される保存部のブロック構成図を示すものである。
【0172】
図１１を参照すると、保存部５０は、前記グループ化された領域及び前記グループ別の特徴値を保存することができる。
【0173】
具体的には保存部５０は、画像の大きさ調整部５１、画像リサンプリング部５２、画像ファイル保存部５３、グループ別情報保存部５４、その他の情報保存部５５を含むことができる。
【0174】
保存部５０は、測定部のグループ化作業を通じて得られた行列情報を、前記入力部が取得した元の医用画像の空間（ｓｐａｃｅ）にマッチングされるように逆処理した後、保存することもできる。
【0175】
また、図１２は、本発明の腫瘍検出及び診断装置に適用される出力部のブロック構成図を示すものである。
【0176】
図１２を参照すると、出力部６０は、グループ化された領域及び前記グループ別の特徴値を出力することができる。
【0177】
具体的には検出領域出力部６１、グループ別の特徴値出力部６２及びグループ別予後予測情報出力部６３を含むことができる。
【0178】
図１３は、本発明に関連して、出力部の動作の一例を示したものである。
【0179】
図１３の（ａ）は、検出された領域の可視化の一例を示したものであり、（ｂ）は、領域グループ別の特徴値、領域グループ別予後予測情報出力の一例を示したものである。
【0180】
前述したように、本発明が適用される腫瘍は、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、及び膵臓癌を含むことができる。
【0181】
また、腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）に対する検出及び診断も可能である。
【0182】
本発明による効果
本発明によれば、医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法を使用者に提供することができる。
本発明によれば、医用画像を用いて腫瘍を検出し、検出された腫瘍の形態と特性を診断する装置及び方法を使用者に提供することができる。
【0183】
具体的には、本発明は、医用画像及び患者情報に基づいて人工知能（ＡＩ）を結びつけ、腫瘍を検出した後、検出された腫瘍の形態と特性を診断し、予後予測に対する情報を提供することにより、医療関係者が患者を診断し、治療計画を樹立する段階に適切な情報を提供する装置及び方法を使用者に提供することができる。
【0184】
また、本発明は、腫瘍検出の自動化を目指して、その過程でＴ１－ＭＲＩのみを用いて画像取得の難易度を下げ、空間情報の全部を使用することができる３Ｄ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋを用いられることができる。
【0185】
また、本発明のように、３Ｄ医用画像内の病変検出及び診断システムを適用した場合、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、膵臓癌などの病変に適用可能であり、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）に適用することができ、脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ ）にも適用することができる。
【0186】
特に、本発明は、脳腫瘍／転移癌検出の自動化を目指して、転移性脳腫瘍（Ｂｒａｉｎ ｍｅｔａｓｔａｓｉｓ）のトラッカー（ｔｒａｃｋｅｒ）として、ｌｅｓｉｏｎ数、大きさ及びその他の情報を数値化した後、患者の年齢、状態及び発症時期などの情報と組み合わせて予後を予測し、リスクと治療の優先順位などの情報を医療関係者に提供することができる。
【0187】
さらに、本発明は、病変（ｌｅｓｉｏｎ）の形態自体を予測し、患者本人と医療関係者が事前に対応することができるように支援することができる。
【0188】
また、本発明は、医療関係者との相互作用のために、診断結果が出るとすぐに医療関係者のデータと連動した後、病変（ｌｅｓｉｏｎ）の位置や特性に合った主治医または医療関係者を提案したり、当該医療関係者に要求を送信し、より専門的な所見と治療が得られるようにすることができる。
【0189】
また、本発明は、履歴に応じた治療を提案することに関連して、医療関係者とのデータの連動を通じてｌｅｓｉｏｎの位置や特性に合った治療提案を提供（ｈｉｓｔｏｒｙ提供）し、使用過程で持続的にフィードバックを行って、長く使えば使うほどより適切な提案が可能である。
【0190】
一方、本発明で得られる効果は、以上で言及した効果に限定されず、言及していないもう一つの効果は以下の記載から、本発明が属する技術分野における通常の知識を有する者に明確に理解されるであろう。
【0191】
上述した本発明の実施形態は、あらゆる手段を通じて具現されることができる。例えば、本発明の実施形態は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの組み合わせなどによって具現することができる。
【0192】
ハードウェアによる具現の場合、本発明の実施形態に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより具現されることができる。
【0193】
ファームウェアやソフトウェアによる具現の場合、本発明の実施形態に係る方法は、以上で説明した機能又は動作を行うモジュール、手続きまたは関数などの形態で具現されることができる。ソフトウェアコードは、メモリユニットに保存され、プロセッサにより駆動されることができる。前記メモリユニットは、前記プロセッサの内部または外部に位置し、既に公知された多様な手段により、前記プロセッサとデータを送受信することができる。
【0194】
上述したように、開示された本発明の好ましい実施形態に対する詳細な説明は、当業者が本発明を具現して実施することができるように提供された。前記では、本発明の好ましい実施形態を参照にして説明したが、当該技術分野の熟練した当業者は、本発明の範囲から逸脱しない範囲内で、本発明を多様に修正し、変更することができることを理解できるであろう。例えば、当業者は、上述した実施形態に記載された各構成を相互に組み合わせて入力する方式で利用することができる。したがって、本発明は、ここに示された実施形態に制限するものではなく、ここで開示された原理と新規な特徴と一致する最も広い範囲を付与するものである。
【0195】
本発明は、本発明の精神及び必須の特徴を逸脱しない範囲で他の特定の形態で具体化されることができる。したがって、前記の詳細な説明は、あらゆる面で制限的に解釈されてはならず、例示的なものとみなされるべきである。本発明の範囲は、添付された請求項の合理的な解釈によって決定されるべきであり、本発明の等価的範囲内でのすべての変更は、本発明の範囲に含まれる。本発明は、ここに示された実施形態に制限されるものではなく、ここに開示された原理と新規な特徴と一致する最も広い範囲を付与するものである。また、特許請求の範囲で明示的な引用関係でない請求項を組み合わせて実施形態を構成したり、出願後の補正により新たな請求項として含むことができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2021-12-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
患者に関連する医用画像を取得する入力部と、
腫瘍（ｔｕｍｏｒ）領域の観察が可能なように、前記取得した医用画像を前処理する前処理部と、
深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する解析部と、
前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を行うことにより、グループ化（ｇｒｏｕｐｉｎｇ）する測定部と、を含み、
前記測定部は、
前記グループ化された領域それぞれグループ別の特徴値を抽出し、
前記抽出されたグループ別の特徴値に基づいて、前記腫瘍に関連する診断情報を導き出し、
前記解析部は、
解像度の補正のために、ボクセル解像度（ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎ）を基準に、前記前処理された画像をリサンプリング（ｒｅｓａｍｐｌｉｎｇ）し、
前記リサンプリングされた画像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、
前記深層ニューラルネットワークによるディープラーニング手法の適用のために、前記正規化された画像の大きさを調整し、
前記深層ニューラルネットワークの入力と同じ大きさで出力されるように、前記大きさが調整された画像を複数の領域に分割し、
前記測定部は、
前記腫瘍をボクセルレベル（ｖｏｘｅｌ ｌｅｖｅｌ）からオブジェクトレベル（ｏｂｊｅｃｔ ｌｅｖｅｌ）で処理するために、前記クラスタリングを実行し、
前記測定部は、
前記抽出されたグループ別の特徴値を定量化し、
前記診断情報は、前記腫瘍の位置（ｌｏｃａｔｉｏｎ）、領域（ｒｅｇｉｏｎ）、直径（ｄｉａｍｅｔｅｒ）及びボリューム（ｖｏｌｕｍｅ）情報を含み、
前記入力部は、前記患者の身体情報を追加で取得し、
前記測定部は、前記グループ別の特徴値及び前記身体情報を共に用いて前記の診断情報を導き出し、
前記グループ化された領域及び前記グループ別の特徴値を出力する出力部をさらに含むことを特徴とする医用画像による腫瘍検出及び診断装置。
腫瘍（ｔｕｍｏｒ）領域の観察が可能なように、前記取得した医用画像を前処理する前処理部と、
深層ニューラルネットワークによるディープラーニング手法を適用し、前記前処理された画像を複数の領域に分割する解析部と、
前記分割された複数の領域に対してクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）を行うことにより、グループ化（ｇｒｏｕｐｉｎｇ）する測定部と、を含み、
前記測定部は、
前記グループ化された領域それぞれグループ別の特徴値を抽出し、
前記抽出されたグループ別の特徴値に基づいて、前記腫瘍に関連する診断情報を導き出し、
前記解析部は、
解像度の補正のために、ボクセル解像度（ｖｏｘｅｌ－ｒｅｓｏｌｕｔｉｏｎ）を基準に、前記前処理された画像をリサンプリング（ｒｅｓａｍｐｌｉｎｇ）し、
前記リサンプリングされた画像を正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、
前記深層ニューラルネットワークによるディープラーニング手法の適用のために、前記正規化された画像の大きさを調整し、
前記深層ニューラルネットワークの入力と同じ大きさで出力されるように、前記大きさが調整された画像を複数の領域に分割し、
前記測定部は、
前記腫瘍をボクセルレベル（ｖｏｘｅｌ ｌｅｖｅｌ）からオブジェクトレベル（ｏｂｊｅｃｔ ｌｅｖｅｌ）で処理するために、前記クラスタリングを実行し、
前記測定部は、
前記抽出されたグループ別の特徴値を定量化し、
前記診断情報は、前記腫瘍の位置（ｌｏｃａｔｉｏｎ）、領域（ｒｅｇｉｏｎ）、直径（ｄｉａｍｅｔｅｒ）及びボリューム（ｖｏｌｕｍｅ）情報を含み、
前記入力部は、前記患者の身体情報を追加で取得し、
前記測定部は、前記グループ別の特徴値及び前記身体情報を共に用いて前記の診断情報を導き出し、
前記グループ化された領域及び前記グループ別の特徴値を出力する出力部をさらに含むことを特徴とする医用画像による腫瘍検出及び診断装置。
【請求項2】
前記前処理部は、
前記取得した医用画像方向を整列し、
前記取得した医用画像内の均一性のため、前記画像内の信号偏向を訂正し、
ターゲット（ｔａｒｇｅｔ）である前記腫瘍領域以外の前記取得した医用画像内の領域を除去することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
前記取得した医用画像方向を整列し、
前記取得した医用画像内の均一性のため、前記画像内の信号偏向を訂正し、
ターゲット（ｔａｒｇｅｔ）である前記腫瘍領域以外の前記取得した医用画像内の領域を除去することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項3】
前記深層ニューラルネットワークに入力される画像と前記分割された複数の領域に関連する画像は、３次元画像であることを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項4】
前記深層ニューラルネットワークによるディープラーニング手法は、
演算の順序と方式のうち少なくとも一つを変化させることで、変数及び演算量を減らすことができるＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
演算の順序と方式のうち少なくとも一つを変化させることで、変数及び演算量を減らすことができるＤＳＣ（Ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項5】
前記ＤＳＣブロックを適用する場合、
前記深層ニューラルネットワークによるディープラーニング手法は、前記深層ニューラルネットワークに入力される画像内の情報消失を防ぐために、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）を適用することを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
前記深層ニューラルネットワークによるディープラーニング手法は、前記深層ニューラルネットワークに入力される画像内の情報消失を防ぐために、スキップ接続（Ｓｋｉｐ－ｃｏｎｎｅｃｔｉｏｎｓ）を適用することを特徴とする、請求項４に記載の医用画像による腫瘍検出及び診断装置。
【請求項6】
前記深層ニューラルネットワークによるディープラーニング手法は、
畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を拡張し、同じ数のパラメータでより広いＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）演算を実行するための膨張畳み込み（Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎ）を複数の段階に亘ってマルチスケールプーリング（ｍｕｌｔｉ－ｓｃａｌｅ ｐｏｏｌｉｎｇ）するＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を拡張し、同じ数のパラメータでより広いＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）演算を実行するための膨張畳み込み（Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎ）を複数の段階に亘ってマルチスケールプーリング（ｍｕｌｔｉ－ｓｃａｌｅ ｐｏｏｌｉｎｇ）するＡＳＰＰ（Ａｔｒｏｕｓ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ）ブロック（ｂｌｏｃｋ）を用いることを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項7】
前記深層ニューラルネットワークによるディープラーニング手法は、
複数のスケール（ｓｃａｌｅ）に基づいて導き出された複数の特徴（ｆｅａｔｕｒｅ）を得るために、アップ・アンド・ダウンサンプリング（Ｕｐ－ ａｎｄ ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を用いることを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
複数のスケール（ｓｃａｌｅ）に基づいて導き出された複数の特徴（ｆｅａｔｕｒｅ）を得るために、アップ・アンド・ダウンサンプリング（Ｕｐ－ ａｎｄ ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を用いることを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項8】
前記測定部は、
臨床的指標（Ｃｌｉｎｉｃａｌ ｐａｒａｍｅｔｅｒ）と前記オブジェクトレベル情報を組み合わせて、前記腫瘍に関連する予後を予測することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
臨床的指標（Ｃｌｉｎｉｃａｌ ｐａｒａｍｅｔｅｒ）と前記オブジェクトレベル情報を組み合わせて、前記腫瘍に関連する予後を予測することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項9】
前記測定部のグループ化作業を通じて得られた行列情報を、前記入力部が取得した元の医用画像の空間（ｓｐａｃｅ）にマッチングされるように逆処理した後、保存する保存部をさらに含み、
前記保存部は、前記グループ化された領域及び前記グループ別の特徴値を保存することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
前記保存部は、前記グループ化された領域及び前記グループ別の特徴値を保存することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項10】
前記腫瘍は、脳腫瘍、転移性脳腫瘍、肺癌、乳癌、肝臓癌、大腸癌、前立腺癌、子宮頸癌、及び膵臓癌を含むことを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
【請求項11】
前記前処理部は、
前記腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）のうち少なくとも一つ観察が可能なように、前記取得した医用画像を前処理することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。
前記腫瘍領域に加えて、肺石灰化（Ｌｕｎｇ ｃａｌｃｉｆｉｃａｔｉｏｎ）領域及び脳白質高信号域（Ｗｈｉｔｅ－ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ）のうち少なくとも一つ観察が可能なように、前記取得した医用画像を前処理することを特徴とする、請求項１に記載の医用画像による腫瘍検出及び診断装置。