(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144011
(43)【公開日】2024-10-11
(54)【発明の名称】未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法{Artificial intelligence-based devices and methods for geometric alignment and preprocessing of raw CT images}
(51)【国際特許分類】
A61B 6/03 20060101AFI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
G06T 1/00 20060101ALI20241003BHJP
G06T 3/147 20240101ALI20241003BHJP
G06T 3/18 20240101ALI20241003BHJP
G06T 7/11 20170101ALI20241003BHJP
【FI】
A61B6/03 360J
A61B6/03 360T
G06T7/00 614
G06T1/00 290B
G06T1/00 315
G06T3/00 755
G06T3/00 770
G06T7/00 350B
G06T7/11
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023150856
(22)【出願日】2023-09-19
(11)【特許番号】
(45)【特許公報発行日】2024-05-30
(31)【優先権主張番号】10-2023-0042266
(32)【優先日】2023-03-30
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】520110216
【氏名又は名称】ヒューロン カンパニー,リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】ソン、ジ ウ
(72)【発明者】
【氏名】ドヒョン キム
(72)【発明者】
【氏名】ソン、スファ
【テーマコード(参考)】
4C093
5B057
5L096
【Fターム(参考)】
4C093AA22
4C093DA02
4C093DA04
4C093FF11
4C093FF16
4C093FF37
4C093FF42
5B057AA09
5B057BA03
5B057CA02
5B057CA08
5B057CA13
5B057CA16
5B057CB02
5B057CB08
5B057CB13
5B057CB16
5B057CC02
5B057CD02
5B057CD03
5B057CD05
5B057CD11
5B057CE02
5B057CE08
5B057DB03
5B057DB05
5B057DB09
5L096AA03
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096DA01
5L096DA02
5L096EA03
5L096EA05
5L096EA13
5L096EA14
5L096EA15
5L096EA16
5L096FA19
5L096FA25
5L096HA13
(57)【要約】
【課題】本発明は、未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法に関する。
【解決手段】本発明によれば、各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ヘッド分割部がCTイメージを受信する第1ステップ;
前記ヘッド分割部が前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測する第2ステップ;
前記ヘッド分割部が前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出する第3ステップ;
剛体整合部が、複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信する第4ステップ;
前記剛体整合部が前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得する第5ステップ;
前記剛体整合部が前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得する第6ステップ;
非剛体整合部が、前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出する第7ステップ;
前記非剛体整合部が前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行し、前記第6ステップより実際の脳により正確に整合された第2整列ブレーンイメージを獲得する第8ステップ;
神経血管分割部が前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する第9ステップ;および
判断部が前記脳血管地図に基づいて前記脳と関連した情報を提供する第10ステップ;を含む、情報提供方法。
【請求項2】
前記第2ステップは、
前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第2-1ステップ;
前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過する第2-2ステップ;
前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行する第2-3ステップ;および
前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測する第2-4ステップ;を含む、請求項1に記載の情報提供方法。
【請求項3】
前記第2-1ステップで、
前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記第2-3ステップで、
前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項2に記載の情報提供方法。
【請求項4】
前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって整合後、合成して構成することで生成される、請求項1に記載の情報提供方法。
【請求項5】
前記変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、
移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにする、請求項1に記載の情報提供方法。
【請求項6】
前記変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、
前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行する、請求項5に記載の情報提供方法。
【請求項7】
前記第6ステップで、前記ボーンマスク、ブレーンマスクおよび血管マスクに前記変換媒介変数(Transformation Parameter)に基づいて前記整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、
前記第8ステップで、前記第1整列ボーンマスク、ブレーンマスクおよび血管マスクに前記変形フィールド(Deformation Field)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を適用して、第2整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、
前記第10ステップで、前記判断部は、前記脳血管地図に基づいて第2整列ボーンマスク、ブレーンマスクおよび血管マスクのうち少なくとも一つをさらに利用して前記情報を提供する、請求項1に記載の情報提供方法。
【請求項8】
前記第10ステップの以後、
前記第2整列ブレーンイメージ、第2整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変形フィールド(Deformation Field)を逆変換適用して、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能であり、
前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変換媒介変数(Transformation Parameter)を逆変換適用して、前記ブレーンイメージ、前記ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能である、請求項7に記載の情報提供方法。
【請求項9】
前記第9ステップは、
前記第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第9-1ステップ;
前記前処理された第2整列ブレーンイメージが前記神経血管解剖学的分割ネットワークを通過する第9-2ステップ;
前記神経血管解剖学的分割ネットワークを通過した前記第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を遂行する第9-3ステップ;および
前記後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出する第9-4ステップ;を含む、請求項1に記載の情報提供方法。
【請求項10】
前記第9-1ステップで、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業であり、
前記第9-3ステップで、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項9に記載の情報提供方法。
【請求項11】
前記第9ステップで、前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、
前記第10ステップで、前記情報は、血管構造による適応症を区分するデータを含む、請求項1に記載の情報提供方法。
【請求項12】
前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、
前記第10ステップで、前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含む、請求項11に記載の情報提供方法。
【請求項13】
CTイメージを受信し、前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測し、前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出するヘッド分割部;
複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信し、前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得し、前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得する剛体整合部;
前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出し、前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得する非剛体整合部;
前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する神経血管分割部;および
前記脳血管地図に基づいて前記脳と関連した情報を提供する判断部;を含む装置。
【請求項14】
前記ヘッド分割部は、
前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、
前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過するようにし、
前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行し、
前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測し、
前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項13に記載の装置。
【請求項15】
前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって整合後、合成して構成することで生成され、
前記変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにし、
前記変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行する、請求項13に記載の装置。
【請求項16】
前記ボーンマスク、ブレーンマスクおよび血管マスクも前記変換媒介変数(Transformation Parameter)に基づいて前記整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、
前記第1整列ボーンマスク、ブレーンマスクおよび血管マスクも前記変形フィールド(Deformation Field)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を適用して、第2整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、
前記判断部は、前記脳血管地図に基づいて第2整列ボーンマスク、ブレーンマスクおよび血管マスクのうち少なくとも一つをさらに利用して前記情報を提供し、
前記第2整列ブレーンイメージ、第2整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変形フィールド(Deformation Field)を逆変換適用して、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能であり、
前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変換媒介変数(Transformation Parameter)を逆変換適用して、前記ブレーンイメージ、前記ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能である、請求項13に記載の装置。
【請求項17】
前記神経血管分割部は、
前記第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、
前記前処理された第2整列ブレーンイメージが前記神経血管解剖学的分割ネットワークを通過させ、
前記神経血管解剖学的分割ネットワークを通過した前記第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を遂行し、
前記後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出し、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業であり、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項13に記載の装置。
【請求項18】
前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、
前記情報は、血管構造による適応症を区分するデータを含み、
前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、
前記判断部が提供する前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含む、請求項13に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法に関する。より詳細には、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる装置および方法に関する。
【背景技術】
【0002】
コンピュータ断層撮影は、このようなX線で人体の一断面周囲を細いX線を通じて投射し、このX線が人体を通過して減少される量を測定してイメージにしたものである。
【0003】
腎臓のような臓器の密度には、少しずつの差があるため、X線が投射された方向によって吸収される程度が異に現れることから、この検査を通じて人体臓器をイメージで見ることができる。
【0004】
コンピュータ断層撮影にも種類が多いが、一般的な断層撮影であるシングルスライスCT(single slice CT)、ヘリカルCT(Helical CT)、多重スライスCT(Multi-slice CT、MSCT)がある。これは、一回の回転に一つの写真を撮影することができるコンピュータ断層撮影方式がシングルスライスCTである。
【0005】
ヘリカルCTの場合、人体の周囲でX線を螺旋形に旋回させて撮影するものであり、既存のシングルスライスCTでは、2層の隙間を撮ることができないが、ヘリカルCTでは隙間なしに撮影されるため、より細密な映像を得ることができ、全身写真を早く獲得することができるということが長所である。
【0006】
多重スライスCTの場合、速く円錐状でX線投影を実施し、一回の回転で64個の個別イメージを撮影することができる。
【0007】
電子ビーム断層撮影(Electron beam tomography、EBT)は、X線チューブの負極と正極との間を移動する電子の経路に偏向コイルを使用して回転するように十分なサイズのX線チューブを構成するCTの特定の形態である。
【0008】
コンピュータ断層撮影は、X線チューブと探知機が互いに連結されているとともに、一緒に左右に移動し、角度を動かして回るようになり、X線は直線で放出され、空中へ放出されたレーダー用電磁波を通じて放出されたX線を円錐形に集めるようになる。
【0009】
このように獲得したデータを一連の断面映像を生成する断層再構成方式を利用してデータを処理し、この映像のピクセル(マトリックスのサイズと視野を基準にした2次元単位)は、相対的光度単位で表示される。
【0010】
一般的に、ディープラーニングモデルで安定した性能を導き出すためには、学習データ分布とテストデータ分布との間の乖離を最小化することを目標とする。
【0011】
このために、学習ステップではtrainデータの多様性を増強して学習し、testステップでは標準化および一般化したデータを推論するようになる。
CT Imageは、撮影者、メーカー、状況、担当部署によって撮影されたProtocolが大きく変わる。
【0012】
同じ患者であってもProtocolが異なる場合、撮影された3次元映像の幾何学的パターンが変わるので、2D Axial、Coronal、Sagittal断面で見られる映像が異なって見えることがある。
【0013】
毎度、異なるProtocolで撮影された映像は、人/ディープラーニングモデルから診断正確度を低減する要因となり得る。
【0014】
すなわち、医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるため、データは幾何学的に多様なvarianceを有する問題点がある。
【0015】
代表的な例を挙げると、HU(Hounsfield Unit)値が一定でないことがある。
【0016】
ピクセルの値は、小さくは-1024、大きくは3071の値を有するようになり、これをCT数字と言い、CT数字は物質の線吸収係数、拡大定数、水の線吸収係数で構成された一つの式であり、この数字は固定された値であって、骨は1000以上の値を有し、水は0、空気は-1000の値を有するなど、物質によってどの値のCT数字を有するのかが表で整理されている。この数字は、CTを商用化したハウンズフィールドの名を取って、HU(Hounsfield Unit)という単位を使用する。
【0017】
CT数字は、物質の線吸収係数から水の線吸収係数を引いた後、拡大定数を掛けて水の線吸収係数を除して計算することができる。Hounsfield unit(HU)は、CT映像を表現する標準化した形態の値であって、標準温度と圧力で水は0HU、空気は-1000HUと正義された値である。
【0018】
しかし、実際臨床で撮影された映像を比較すると、撮影装備、モデル、気温、圧力、機関別に設定された撮影プロトコル(注射エネルギーおよび放射量など)などの多様な要素によって検体のHU値が一定でないという問題点が存在する。
【0019】
また、放射線被爆(Radiation Exposure)などを考慮してLow-dose CT imageを患者に適用する場合、撮影プロトコルで設定した放射線注射量が低くなり、これにより、CT映像にノイズが多く合成される問題点などが存在する。
【0020】
したがって、任意のRAW CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用することで、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる装置および方法に技術開発の要求が台頭している。
【先行技術文献】
【特許文献】
【0021】
【特許文献1】韓国特許登録番号10-1992057号(2019年6月24日公告)
【特許文献2】韓国特許登録番号10-1754291号(2017年7月6日公告)
【発明の概要】
【発明が解決しようとする課題】
【0022】
本発明の目的は、未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法を使用者に提供することである。
【0023】
具体的に、本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供しようとする。
【0024】
一方、本発明において成そうとする技術的課題は、以上において言及した技術的課題に制限されず、言及していないまた他の技術的課題は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るだろう。
【課題を解決するための手段】
【0025】
前記の技術的課題を達成するための本発明の一態様である情報提供方法は、ヘッド分割部がCTイメージを受信する第1ステップ;前記ヘッド分割部が前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測する第2ステップ;前記ヘッド分割部が前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出する第3ステップ;剛体整合部が、複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信する第4ステップ;前記剛体整合部が前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得する第5ステップ;前記剛体整合部が前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得する第6ステップ;非剛体整合部が、前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出する第7ステップ;前記非剛体整合部が前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行し、前記第6ステップより実際の脳により正確に整合された第2整列ブレーンイメージを獲得する第8ステップ;神経血管分割部が前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する第9ステップ;および判断部が前記脳血管地図に基づいて前記脳と関連した情報を提供する第10ステップ;を含むことができる。
【0026】
また、前記第2ステップは、前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第2-1ステップ;前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過する第2-2ステップ;前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行する第2-3ステップ;および前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測する第2-4ステップ;を含むことができる。
【0027】
また、前記第2-1ステップで、前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でHU Levelを[0、1]間隔でマッピング(mapping)する作業であり、前記第2-3ステップで、前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0028】
また、前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成されることができる。
【0029】
また、剛体整合(Rigid Registration)を通じて得た変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにすることができる。
【0030】
また、前記変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的なな2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行することができる。
また、前記第6ステップで、前記ボーンマスク、ブレーンマスクおよび血管マスクに前記変換媒介変数(Transformation Parameter)に基づいて前記整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、前記第8ステップで、前記第1整列ボーンマスク、ブレーンマスクおよび血管マスクに前記変形フィールド(Deformation Field)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を適用して、第2整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、前記第10ステップで、前記判断部は、前記脳血管地図に基づいて第2整列ボーンマスク、ブレーンマスクおよび血管マスクのうち少なくとも一つをさらに利用して前記情報を提供することができる。
【0031】
また、前記第10ステップの以後、前記第2整列ブレーンイメージ、第2整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変形フィールド(Deformation Field)を逆変換適用して、未加工CTイメージ原本の空間に前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクに復元/逆変換することが可能であり、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変換媒介変数(Transformation Parameter)を逆変換適用して、未加工CTイメージ原本の空間に前記ブレーンイメージ、前記ボーンマスク、ブレーンマスクおよび血管マスクを復元/逆変換するのが可能であり得る。
【0032】
また、前記第9ステップは、前記第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第9-1ステップ;前記前処理された第2整列ブレーンイメージが前記神経血管解剖学的分割ネットワークを通過する第9-2ステップ;前記神経血管解剖学的分割ネットワークを通過した前記第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を遂行する第9-3ステップ;および前記後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出する第9-4ステップ;を含むことができる。
【0033】
また、前記第9-1ステップで、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でHU Levelを[0、1]間隔でマッピング(mapping)する作業であり、前記パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業であり、前記第9-3ステップで、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0034】
また、前記第9ステップで、前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、前記第10ステップで、前記情報は、血管構造による適応症を区分するデータを含むことができる。
【0035】
また、前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、前記第10ステップで、前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含むことができる。
【0036】
一方、前記の技術的課題を達成するための本発明の他の一態様である装置は、CTイメージを受信し、前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測し、前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出するヘッド分割部;複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信し、前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得し、前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得する剛体整合部;前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出し、前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得する非剛体整合部;前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する神経血管分割部;および前記脳血管地図に基づいて前記脳と関連した情報を提供する判断部;を含むことができる。
【0037】
また、前記ヘッド分割部は、前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過するようにし、前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行し、前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測し、前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業であり、前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0038】
また、前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成され、前記変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにし、前記変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的なな2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行することができる。
【0039】
また、前記ボーンマスク、ブレーンマスクおよび血管マスクも前記変換媒介変数(Transformation Parameter)に基づいて前記整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、前記第1整列ボーンマスク、ブレーンマスクおよび血管マスクも前記変形フィールド(Deformation Field)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を適用して、第2整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、前記判断部は、前記脳血管地図に基づいて第2整列ボーンマスク、ブレーンマスクおよび血管マスクのうち少なくとも一つをさらに利用して前記情報を提供し、前記第2整列ブレーンイメージ、第2整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変形フィールド(Deformation Field)を逆変換適用して、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能であり、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変換媒介変数(Transformation Parameter)を逆変換適用して、未加工CTイメージ原本の空間に前記ブレーンイメージ、前記ボーンマスク、ブレーンマスクおよび血管マスクを抽出することができる。
【0040】
また、前記神経血管分割部は、前記第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、前記前処理された第2整列ブレーンイメージが前記神経血管解剖学的分割ネットワークを通過させ、前記神経血管解剖学的分割ネットワークを通過した前記第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を遂行し、前記後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出し、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業であり、前記パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業であり、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0041】
もちろん全ての作業は、GPU/CPUで全て作業が可能であり、GPUを活用すれば、CPUより通常10~100倍速い速度を得ることができる。
ただし、3D Volumeを全てGPUメモリに割り当てることは難しいため、本発明においては、sub-volumeに分けてinput dataを生成することである。一方、装着されたGPU性能によって全体volumeを使用してもよい。
【0042】
また、前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、前記情報は、血管構造による適応症を区分するデータを含み、前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、前記判断部が提供する前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含むことができる。
【発明の効果】
【0043】
本発明によれば、未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法を使用者に提供することができる。
【0044】
本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供することができる。
【0045】
本発明は、医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるため、データは幾何学的に多様なvarianceを有する問題点を解消することができる。
【0046】
一般的に、各データのAxial軸のスライスを確認してみる場合、各スライスで現れる解剖学的なパターンと様相が毎度異なって現れ、医療データを分析する過程で多様な撮影protocolによって現れるデータvarianceは、正確度を落とす主要な原因になるが、本発明が提案する幾何学的整列(Registration)過程は、このようなデータvarianceを最小化できる。
【0047】
また、本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効である。
【0048】
本発明によれば、各特性によって局所的な誤差に敏感な場合、線形変換のみ適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【0049】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することができる。
【0050】
また、本発明においては、原本CT映像で脳の特定区画(M1~M6)を活用して区分する場合、Non-rigid Registrationを遂行した後、該当空間の標準区画(M1~M6)Maskを適用して抽出して分析することができる。同様に、原本CT空間に逆変換して原本CT映像に表記することができる。
【0051】
また、本発明においては、Neurovascular Anatomy、Brain Anatomyなど各血管と脳領域の解剖学的な情報が必要な場合、Non-rigid Registrationを通じて整合した後、特定領域を区別することができる。同様に原本CT空間に逆変換して原本CT映像でも表記することができる。
【0052】
また、本発明においては、Aneurysm、Tumorなど、monitoringが必要な場合、同一患者の互いに異なる時間帯に撮影した映像をNon-rigid Registrationを遂行して一致させて病弁の進行状況を見せることができる。
【0053】
一方、本発明において得られる効果は、以上において言及した効果に制限されず、言及していないまた他の効果は、下記の記載から本発明の属する技術の分野における通常の知識を有する者に明確に理解され得るだろう。
【図面の簡単な説明】
【0054】
【
図1】本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な装置のブロック構成度の一例を図示したものである。
【
図2】
図1で説明したヘッド分割部のブロック構成度の一例を図示したものである。
【
図3】
図1で説明した剛体整合部のブロック構成度の一例を図示したものである。
【
図4】
図1で説明した非剛体整合部のブロック構成度の一例を図示したものである。
【
図5a】Rigid RegistrationとNon-Rigid Registrationの適用を説明するための図面である。
【
図5b】Rigid RegistrationとNon-Rigid Registrationの適用を説明するための図面である。
【
図6a】Rigid RegistrationとNon-Rigid Registrationを一緒に適用して縁、血管、解剖学的構造などをさらに安定して一致させることができる結果を説明する図面である。
【
図6b】Rigid RegistrationとNon-Rigid Registrationを一緒に適用して縁、血管、解剖学的構造などをさらに安定して一致させることができる結果を説明する図面である。
【
図7】本発明に適用されるアトラス部の標準化したテンプレート(Template)データの生成過程を説明する図面である。
【
図8】
図7によるアトラスの生成結果を説明する図面である。
【
図9】
図1で説明した3次元神経血管分割部のブロック構成度の一例を図示したものである。
【
図10】本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な方法を順序図で示したものである。
【
図11】
図10で説明したヘッド分割部の動作を時間の流れによって表示したものである。
【
図12】
図10で説明した剛体整合部および非剛体整合部の動作を時間の流れによって表示したものである。
【
図13】
図12の剛体整合部および非剛体整合部の動作を合わせて処理される過程を時間の流れによって表示したものである。
【
図14】Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を使用する一例を表示したものである。
【
図15】
図10で説明した3次元神経血管分割部の動作を時間の流れによって表示したものである。
【発明を実施するための形態】
【0055】
以下、図面を参照して、本発明の好ましい一実施例について説明する。また、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を不当に限定せず、本実施形態で説明される構成全体が本発明の解決手段として必須とはいえない。
【0056】
以下、本発明の好ましい実施例に係る人工知能基盤前処理装置および方法を添付の図面を参照して詳細に説明する。
【0057】
従来技術の問題点
ディープラーニングモデルで安定した性能を導き出すためには、学習データ分布とテストデータ分布との間の乖離を最小化しなければならないが、このために、学習ステップではtrainデータの多様性を増強して学習し、testステップでは標準化および一般化したデータを推論するようになる。
【0058】
CT Imageは、撮影者、メーカー、状況、担当部署によって撮影されたProtocolが大きく変わるが、同じ患者であるにもかかわらず、Protocolが異なる場合、撮影された3次元映像の幾何学的パターンが変わるので、2D Axial、Coronal、Sagittal断面で見える映像が異に見られることがある。
【0059】
毎度、異なるProtocolで撮影された映像は、人/ディープラーニングモデルから診断正確度を低減する要因となり得る。
【0060】
医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるので、データは幾何学的に多様なvarianceを有する。
【0061】
一般的に、各データのAxial軸のスライスを確認する場合、各スライスで現れる解剖学的なパターンと様相が毎度異に現れる。
【0062】
医療データを分析する過程で多様な撮影protocolによって現れるデータvarianceは、正確度を落とす主要な原因となり得る。
【0063】
したがって、本明細書においては、前記問題を解消することができるように、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な人工知能基盤装置および方法を使用者に提供しようとする。
【0064】
具体的に、本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供しようとする。
【0065】
人工知能装置
図1は、本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な装置のブロック構成度の一例を図示したものである。
【0066】
図1を参照すると、本発明が提案する人工知能装置1は、ヘッド分割部10、剛体整合部20、非剛体整合部30、アトラス部40、3次元神経血管分割部50、判断部60などを含むことができる。
【0067】
ヘッド分割部10は、CTイメージを受信し、CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて頭蓋骨のボーンマスク(Bone Mask)、脳のブレーンマスク(Brain Mask)および脳と関連する血管マスク(Vessel Mask)を予測することができる。
【0068】
また、ヘッド分割部10は、予測されたブレーンマスクと血管マスクを組み合わせて、CTイメージから脳領域のみを含むブレーンイメージを抽出することができる。
【0069】
次に、アトラス部40は、複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データを生成して剛体整合部20に伝達する。
【0070】
ここで、アトラス部40の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように、前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成される。
【0071】
また、剛体整合部20は、標準化したテンプレート(Template)データをアトラス部40から受信し、ヘッド分割部10からブレーンイメージを受信する。
【0072】
以後、剛体整合部20は、テンプレートデータとブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得する。
【0073】
また、剛体整合部20は、変換媒介変数(Transformation Parameter)に基づいてブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得するようになる。
【0074】
変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにする。
【0075】
一方、非剛体整合部30は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出することができる。
【0076】
また、非剛体整合部30は、変形フィールド(Deformation Field)に基づいて第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行して、剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得することができる。
【0077】
変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的なな2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行するようになる。
【0078】
以後、3次元神経血管分割部50は、第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて第2整列ブレーンイメージから脳血管地図を抽出することができる。
【0079】
また、判断部60は、脳血管地図に基づいて脳と関連した情報を提供することができる。
【0080】
ここで、脳血管地図は、動脈の解剖学的構造を区分して抽出されることができる。
【0081】
また、脳と関連した情報は、血管構造による適応症を区分するデータを含むことができる。
【0082】
代表的に、血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)などを含む。
【0083】
また、判断部60が提供する情報は、適応症が探知および/または予測された脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含むこともできる。
【0084】
以下においては、ヘッド分割部10、剛体整合部20、非剛体整合部30、アトラス部40、3次元神経血管分割部50に対して図面を参照してより具体的に説明する。
【0085】
ヘッド分割部
図2は、
図1で説明したヘッド分割部のブロック構成度の一例を図示したものである。
【0086】
図2を参照すると、ヘッド分割部10は、イメージ受信部11、ヘッド前処理部12、事前学習されたヘッド分割ネットワーク部13、ヘッド後処理部14および予測結果算出部15を含むことができる。
【0087】
本発明が分析しようとする関心領域は、脳(Brain)であり、skullの厚さと形態は人によって異なるので、ヘッド分割部10を通じて、頭蓋骨と脳領域を分離することができるディープラーニング基盤Head Segmentation Networkを通過してそれぞれのBone、Brain、Vessel Maskを予測した後、Brain MaskとVessel Maskを組み合わせて原本CT imageから完全なBrain領域を抽出する作業を遂行するようになる。
【0088】
先に、イメージ受信部11は、外部装備からCTイメージを受信する。
【0089】
次に、ヘッド前処理部12は、Raw CT imageの3次元映像を2D Axial sliceで分割した後、segmentationしようとするsliceの隣接スライスをconcatenateしてinputデータを構成するようになる。
【0090】
具体的に、inputデータは、ヘッド前処理部12のPre-processingを経て事前学習されたヘッド分割ネットワーク部13に入力される。
【0091】
ヘッド前処理部12は、(1)Resize(2)HU Windowing(3)Normalizeなどの作業を遂行することができる。
【0092】
(1)リサイジング(Resizing)作業は、ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業である。
【0093】
次に、(2)HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業である。
【0094】
また、ノーマライジング(Normalizing)作業は、設定された下限から上限までのHU Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業である。代表的に、HUウィンドウィング(Windowing)の下限から上限のHU Levelを[0、1]間隔でマッピング(mapping)する方式が適用され得る。
【0095】
前処理されたCTイメージが事前学習されたヘッド分割ネットワーク部13を通過し、ヘッド分割ネットワーク13を通過したCTイメージに対して、ヘッド後処理部14がブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行するようになる。
【0096】
事前学習されたヘッド分割ネットワーク部13は、関心領域である脳(brain)領域を抽出することができるように、頭蓋骨と脳領域に対して予め学習されたディープラーニング基盤Segmentation Networkである。
【0097】
ここで、ブレーンVOIクロップ(Brain VOI Crop)作業は、ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業である。
【0098】
また、Outlier Cluster除去作業は、3次元上で連結されずにかけ離れている小さいoutlier clusterを除去する作業である。
【0099】
以後、予測結果算出部15は、後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測するようになる。
【0100】
すなわち、頭蓋骨のボーンマスク(Bone Mask)、脳のブレーンマスク(Brain Mask)および脳と関連する血管マスク(Vessel Mask)を予測し、予測されたブレーンマスクと血管マスクを組み合わせて、最初入力されたCTイメージから脳領域のみを含むブレーンイメージを抽出することができる。
【0101】
剛体整合部、非剛体整合部およびアトラス部
図3は、
図1で説明した剛体整合部のブロック構成度の一例を図示したものである。
【0102】
図3を参照すると、剛体整合部20は、抽出された脳イメージ受信部21、アトラス部イメージ受信部22、剛体接合遂行部23、剛体接合ワピング部24を含む。
【0103】
先決的にアトラス部40の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成される。
【0104】
アトラス部イメージ受信部22は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、抽出された脳イメージ受信部21は、ヘッド分割部10から抽出された脳領域のみを含むブレーンイメージを受信する。
【0105】
剛体接合遂行部23は、テンプレートデータとブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得することができる。
【0106】
以後、剛体接合ワピング部24は、変換媒介変数(Transformation Parameter)に基づいてブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得することができる。
【0107】
整理すると、剛体接合ワピング部24は、変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、平行移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにすることができる。
【0108】
一方、
図4は、
図1で説明した非剛体整合部のブロック構成度の一例を図示したものである。
【0109】
図4を参照すると、非剛体整合部30は、剛体整合ワピングされた脳イメージ受信部31、アトラス部イメージ受信部32、非剛体合遂行部33および非剛体整合ワピング部34を含む。
【0110】
先に、アトラス部イメージ受信部32は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、剛体整合ワピングされた脳イメージ受信部31は、剛体接合ワピング部24の結果物である第1整列ブレーンイメージを獲得する。
【0111】
以後、非剛体整合遂行部33は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出することができる。
【0112】
また、非剛体整合ワピング部34は、変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得することができる。
【0113】
整理すると、変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的なな2次整列を遂行して実際の脳にさらに一致する形態になるように整列を遂行する。
【0114】
したがって、本発明においては、各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用すると同時に、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用する。
【0115】
本発明がRigid RegistrationとNon-rigid Registrationを一緒に利用する理由に対して具体的に説明する。
図5aおよび
図5bは、Rigid RegistrationとNon-Rigid Registrationの適用を説明するための図面である。
【0116】
図5aを参照すると、Rigid Registrationの目的は、2D/3DデータからAffine Matrixを得ることを目標とする。
Translation、rotation、scale変換などの線形的な変換だけ可能であり、移動対象が(潰れることなく)元の割合が維持されたまま変形される。
【0117】
また、Non-rigid Registrationの目的は、2D/3Dデータからピクセル単位の移動ベクターフィールド(Deformation Field)を得ることを目標とする。
【0118】
ピクセル単位でどのような位置にwarpingが遂行されなければならないのかが決定されるので、全ての形態の変換が可能であるので、Rigid Registrationに比べて細部的なな一致度を高めることができる。
【0119】
図5bの(a)は、Rigid Registration変換の例示を図示したものであり、(b)は、Non-rigid Registration変換の例示を図示したものである。
【0120】
ただし、Non-Rigid Registration自体は、局所変形に特化されており、移動半径が大きい変形は難しいという問題点がある。
【0121】
したがって、本発明においては、Rigid Registrationでずれている中央を合わせた後、細部的なな2次整列を遂行するとき、Non-rigid Registrationを活用する方式を適用する。
【0122】
代表的に、Non-rigid Registrationを遂行する方式は、よく知られているディープラーニング基盤のVoxelMorphを通じて遂行されることができる。
【0123】
該当方式は、既存の古典的なNon-rigid Registration方式に比べて100倍以上の速い速度と高い正確度を見せることができる。
【0124】
図6aおよび
図6bは、Rigid RegistrationとNon-Rigid Registrationを一緒に適用して、縁、血管、解剖学的構造などをさらに安定的に一致させ得る結果を説明する図面である。
【0125】
図6aおよび
図6bを参照すると、Original CTAの場合、2つの揺れが大きく整列されない傾向性が見られる。
【0126】
また、Rigid Registrationの結果、中央整列されてOriginal CTAに比べて安定した結果を見せるが、脳の形態差がある場合、若干の変形が見られることを確認することができる。
【0127】
前記Rigid Registrationの結果物にNon-rigid Registrationを適用した結果を確認すると、大部分が実際の脳のコンテンツと一致する結果が見られる。
【0128】
すなわち、Rigid Registrationだけを遂行したときに比べて、2つの方式を順次に適用する場合には、縁、血管、解剖学的構造などをさらに安定的に一致させることができる。
【0129】
また、Rigid RegistrationとNon-rigid Registration方式の適用時に活用されるAtlasについて説明する。
【0130】
図7は、本発明に適用されるアトラス部の標準化したテンプレート(Template)データの生成過程を説明する図面である。
【0131】
Medical分野でAtlas(Template)は、特定標本の特性を融合して標準化した一つのデータであって、一般的にRegistrationを通じて多様なデータを共通した空間に整列するための基準として活用される。
【0132】
MRIデータの場合、MNIという標準化したAtlasが存在するが、CTの場合、このような標準化したAtlasが存在しないため、新たに生成する過程が必要である。
【0133】
図7を参照すると、Atlas生成方法で正常または特定適応症を有する30~50人のCTAを標本に設定して適用され得る。
【0134】
ここで、Atlasは、解剖学的なパターンまたは特性が保存されなければならないので、初期の各標本データを中央に整列して一定の水準一致するように構成することができる。
【0135】
以後、古典的なNon-rigid Registrationを遂行して非常に一致するように整合した後、各データをよく融合してAtlasを生成することができる。
【0136】
本発明においては、古典的なNon-rigid Registrationは時間が長くかかり、成功し難いという短所があるので、ディープラーニング基盤生成モデル(Generative Model)を活用する。該当ディープラーニングモデルは、教師なし(Unsupervised)学習を通じて、それぞれの非整列されたCTAを説明することができる最適化されたNon-rigid Template/Atlasを生成し出し得るように学習される。
【0137】
図8は、
図7によるアトラスの生成結果を説明する図面である。
【0138】
図8で生成されたAtlasは、左/右対称になり得るように、後処理(Post-process)されて、Rigid RegistrationとNon-rigid Registration方式に適用され得る。
【0139】
提案するAtlas、Rigid RegistrationとNon-rigid Registration過程は、前述のデータvarianceを最小化できるという長所がある。
【0140】
本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効であり得る。
【0141】
各特性によって、局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【0142】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することもできる。
【0143】
本発明に適用されるCT Atlasの場合、Rigid/Affine整列された正常群100人のCTAからディープラーニング基盤生成モデル(Generative Model)を学習してNon-rigid Template/Atlasを抽出した後、左/右対称を合わせたsymmetric Template/Atlasを活用して適用され得る。
【0144】
本明細書において、TemplateとAtlasは混用して使用されることができ、2個の用語が指称する意味は同一である。
【0145】
また、抽出されたBrain imageは、CT AtlasとRigid/Affine Registrationを通じて線形変換(回転/スケール/移動など)で1次整列された映像を得るようになり、以後、より正確な整合のために、Non-Rigid Registration Modelを通じてピクセル/ボクセル単位のRegistrationを遂行し、各Registrationの結果、抽出されたTransformation parameter、Deformation Fieldは、それぞれのmaskとCT imageを変換するのに活用され得る。
【0146】
3次元神経血管分割部
3次元神経血管分割部50は、整列されたBrain imageから血管構造を抽出することができるようにディープラーニング基盤Neurovascular Anatomy Segmentation Networkを通じて脳血管地図を抽出する。
【0147】
このとき、Vessel Maskとは異なり、Neurovascular Anatomyは、各動脈の解剖学的構造を区分することができ、判断部60は、追ってNeurovascular Anatomyを血管構造による適応症を区分するのに活用することができる。
【0148】
図9は、
図1で説明した3次元神経血管分割部のブロック構成度の一例を図示したものである。
【0149】
図9を参照すると、3次元神経血管分割部50は、非剛体整合ワピングされた脳イメージ受信部51、分割前処理部52、事前学習された神経血管分割ネットワーク部53、分割後処理部54および3次元神経血管生成部54.5を含むことができる。
【0150】
非剛体整合ワピングされた脳イメージ受信部51は、非剛体整合部30から第2整列ブレーンイメージを受信する。
【0151】
以後、第2整列ブレーンイメージは、神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)を通過し、Pre-Processingされたinput dataは、前記Segmentation Network予測およびPost-processingを通じてNeurovascular Anatomy生成することができるようになる。
【0152】
分割前処理部52は、第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行することができる。
【0153】
HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業である。
【0154】
また、ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業である。
また、パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業である。
【0155】
全ての作業は、GPU/CPUで全て作業が可能であり、GPUを活用すれば、CPUより通常10~100倍速い速度を得ることができる。ただし、3D Volumeを全てGPUメモリに割り当てることは難しいため、sub-volumeに分けてinput dataを生成する。一方、装着されたGPU性能によって全体volumeを使用してもよい。
【0156】
ここで、前処理された第2整列ブレーンイメージが神経血管解剖学的分割ネットワーク53を通過するようになり、神経血管解剖学的分割ネットワーク53を通過した第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を分割後処理部54が遂行する。
【0157】
特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である。
また、3次元神経血管生成部54.5が後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出するようになる。
【0158】
前記モデルから抽出されたNeurovascular Anatomyは、Large Vessel Occlusion(LVO)、Aneurysmなど、血管別適応症を探知、予測した結果で位置を可視化するか、False-Positive予測をsuppressすることに活用されることができる。
【0159】
すなわち、判断部60が提供する情報は、適応症が探知および/または予測された脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報をさらに含むことができる。
【0160】
人工知能方法
図10は、本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な方法を順序図で示したものである。
【0161】
前述のとおり、本発明が提案する方法は、(1)Raw CT imageの分割作業、(2)Registration作業および(3)Neurovascular Anatomy Segmentation作業に区分される。
【0162】
(1)Raw CT imageの分割作業
私たちの関心領域はBrainであり、skullの厚さと形態は人によって異なる。したがって、頭蓋骨と脳領域を分離できるHead Segmentation Networkを通過して、それぞれのBone、Brain、Vessel Maskを予測した後、Brain MaskとVessel Maskを組み合わせて原本CT imageから完全なBrain領域を抽出する。
【0163】
(2) Registration作業
抽出されたBrain imageは、CT AtlasとRigid/Affine Registrationを通じて線形変換(回転/スケール/移動など)で1次整列された映像を得るようになる。以後、より正確な整合のために、Non-Rigid Registration Modelを通じてピクセル/ボクセル単位のRegistrationを遂行する。各Registrationの結果、抽出されたTransformation parameter、Deformation Fieldは、それぞれのmaskとCT imageを変換するのに活用される。
【0164】
(3)Neurovascular Anatomy Segmentation作業
整列されたBrain imageから血管構造を抽出することができるようにNeurovascular Anatomy Segmentation Networkを通じて脳血管地図を抽出する。Vessel Maskとは異なり、Neurovascular Anatomyは、各動脈の解剖学的構造を区分する。追って、Neurovascular Anatomyは、血管構造による適応症を区分するのに活用されることができる。
【0165】
図10を参照して、本発明に係る方法をより具体的に説明する。
【0166】
図10を参照すると、ヘッド分割部10がCTイメージを受信し、事前学習されたヘッド分割ネットワーク部13がCTイメージを頭蓋骨と脳を分離するようになり、頭蓋骨のボーンマスク(Bone Mask、17)、脳のブレーンマスク(Brain Mask、18)および脳と関連する血管マスク(Vessel Mask、19)を予測するようになる。
【0167】
また、ヘッド分割部10が予測されたブレーンマスクと血管マスクを組み合わせ16て、CTイメージから脳領域のみを含むブレーンイメージ(K)を抽出するようになる。
【0168】
以後、剛体整合部20が複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部40から受信し、ヘッド分割部10からブレーンイメージ(K)を受信する。
【0169】
剛体整合部20の剛体整合遂行部23および剛体整合ワピング部24は、テンプレートデータとブレーンイメージ(K)との間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter、26)を獲得することができる。
【0170】
また、剛体整合部20は、変換媒介変数(Transformation Parameter、26)に基づいてブレーンイメージ(K)に整合ワーピング(Rigid Warping、24)を適用して線形変換に整列された第1整列ブレーンイメージ(R)を獲得することができる。
【0171】
また、非剛体整合部30が、融合して標準化したテンプレート(Template)データをアトラス部40から受信し、剛体整合部20から第1整列ブレーンイメージ(R)を受信する。
【0172】
以後、非剛体整合遂行部33は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field、36)を抽出する。
【0173】
また、非剛体整合ワピング部34は、変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージ(R)にボクセル単位のグリッド補間(Grid Interpolation)を適用37、38する非整合ワーピング(Non-Rigid Warping、34)を遂行して、実際の脳により正確に整合された第2整列ブレーンイメージ(N)を獲得するようになる。
【0174】
以後、神経血管分割部50が第2整列ブレーンイメージ(N)を神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network、53)に通過させて第2整列ブレーンイメージから脳血管地
図55を抽出するようになる。
【0175】
以後、判断部60が脳血管地図に基づいて脳と関連した情報を提供することができる。
【0176】
一方、剛体整合部20は、ボーンマスク17、ブレーンマスク18および血管マスク19に変換媒介変数(Transformation Parameter、26)に基づいて整合ワーピング(Rigid Warping、24)を適用して、線形変換に整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクを獲得することも可能であり得る。
【0177】
また、非剛体整合部30は、第1整列ボーンマスク、ブレーンマスクおよび血管マスクに変形フィールド(Deformation Field、36)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping、34)を適用して、第2整列ボーンマスク57、ブレーンマスク58および血管マスク59が獲得され得る。
【0178】
判断部60は、脳血管地
図55に基づいて第2整列ボーンマスク57、ブレーンマスク58および血管マスク59のうち少なくとも一つをさらに利用して情報を提供することもできる。
【0179】
逆に、前記第2整列ブレーンイメージ(N)、第2整列ボーンマスク57、ブレーンマスク58および血管マスク59は、変形フィールド(Deformation Field、36)を逆変換適用して第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能である。
【0180】
さらに第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、変換媒介変数(Transformation Parameter、26)を逆変換適用して、未加工CTイメージ原本の空間にブレーンイメージ(K)、ボーンマスク17、ブレーンマスク18および血管マスク19を抽出することも可能であり得る。
【0181】
ヘッド分割部の動作
図11は、
図10で説明したヘッド分割部の動作を時間の流れによって表示したものである。
【0182】
図10を参照すると、イメージ受信部11は、外部装備からCTイメージを受信する。
【0183】
次に、ヘッド前処理部12は、Raw CT imageの3次元映像を2D Axial sliceで分割した後、segmentationしようとするsliceの隣接スライスをconcatenateしてinputデータを構成するようになる。
【0184】
具体的に、inputデータは、ヘッド前処理部12のPre-processingを経て事前学習されたヘッド分割ネットワーク部13に入力される。
【0185】
ヘッド前処理部12は、前述した(1)Resize(2)HU Windowing(3)Normalizeなどの作業を遂行することができる。
【0186】
前処理されたCTイメージが事前学習されたヘッド分割ネットワーク部13を通過し、ヘッド分割ネットワーク13を通過したCTイメージに対して、ヘッド後処理部14がブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行するようになる。
【0187】
以後、予測結果、算出部15は、後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask、17)、ブレーンマスク(Brain Mask、18)および血管マスク(Vessel Mask、19)を含む情報15を予測するようになる。
【0188】
すなわち、頭蓋骨のボーンマスク(Bone Mask、17)、脳のブレーンマスク(Brain Mask、18)および脳と関連する血管マスク(Vessel Mask、19)を予測し、予測されたブレーンマスク18と血管マスク19を組み合わせて、最初入力されたCTイメージから脳領域のみを含むブレーンイメージ(K)を抽出することができる。
【0189】
剛体整合部および非剛体整合部の動作
図12は、
図10で説明した剛体整合部および非剛体整合部の動作を時間の流れによって表示したものである。
【0190】
図12の(a)を参照すると、アトラス部イメージ受信部22は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、抽出された脳イメージ受信部21は、ヘッド分割部10から抽出された脳領域のみを含むブレーンイメージ(K)を受信する。
【0191】
剛体接合遂行部23は、テンプレートデータとブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得することができる。
【0192】
以後、剛体接合ワピング部24は、変換媒介変数(Transformation Parameter)に基づいてブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージ(R)を獲得することができる。
【0193】
整理すると、剛体接合ワピング部24は、変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、平行移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにすることができる。
【0194】
また、
図12の(b)を参照すると、アトラス部イメージ受信部32は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、剛体整合ワピングされた脳イメージ受信部31は、剛体接合ワピング部24の結果物である第1整列ブレーンイメージ(R)を獲得する。
【0195】
以後、非剛体整合遂行部33は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出することができる。
【0196】
また、非剛体整合ワピング部34は、変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージ(N)を獲得することができる。
【0197】
整理すると、変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージ(R)に細部的なな2次整列を遂行して実際の脳にさらに一致する形態(N)になるように整列を遂行する。
【0198】
図13は、
図12の剛体整合部および非剛体整合部の動作を合わせて処理される過程を時間の流れによって表示したものである。
【0199】
図13に図示されているように、本発明においては、各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用すると同時に、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用する。
【0200】
本発明がRigid RegistrationとNon-rigid Registrationを一緒に利用する理由は、前述のとおり、Translation、rotation、scale変換などの線形的な変換だけ可能であり、移動対象が(潰れることなく)元の割合が維持されたまま変形されるRigid Registration効果と2D/3Dデータからピクセル単位の移動ベクターフィールド(Deformation Field)を得るNon-rigid Registrationの効果を同時に適用するためである。
【0201】
Non-rigid Registrationの場合、ピクセル単位でどのような位置にwarpingが遂行されなければならないのかが決定されるので、全ての形態の変換が可能であるので、Rigid Registrationに比べて細部的なな一致度を高めることができる。
【0202】
図5bの(a)は、Rigid Registration変換の例示を図示したものであり、(b)は、Non-rigid Registration変換の例示を図示したものである。
【0203】
ただし、Non-Rigid Registration自体は局所変形に特化されており、移動半径が大きい変形は難しいという問題点がある。
【0204】
したがって、本発明においては、Rigid Registrationでずれている中央を合わせた後、細部的な2次整列を遂行するとき、Non-rigid Registrationを活用する方式を適用する。
【0205】
一般的なNon-rigid Registration方式は、CPUを通じて遅く処理されるが、ディープラーニング基盤方式は、GPUを活用することができるため速い。
【0206】
したがって、VoxelMorphというネットワークを通じてNon-rigid Registrationを遂行して速度的利点を得ることができる。
【0207】
該当方式は、Non-rigid Registrationを遂行するためのネットワークを生成するための古典的なNon-rigid Registration方式に比べて100倍以上の速い速度と高い正確度を見せることができる。
【0208】
提案するRigid RegistrationとNon-rigid Registration過程は、前述のデータvarianceを最小化できるという長所がある。
【0209】
図14は、Rigid/Non-rigid Registration上で分析された結果は原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を使用する一例を表示したものである。
【0210】
図14に図示されているように、本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効であり得る。
【0211】
各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【0212】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することもできる。
【0213】
図14を参照すると、第2整列ブレーンイメージ(N)、第2整列ボーンマスク57、ブレーンマスク58および血管マスク59は、変形フィールド(Deformation Field、36)を逆変換適用34Iして、第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能である。
【0214】
さらに、第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、変換媒介変数(Transformation Parameter、26)を逆変換適用24Iして、ブレーンイメージ(K)、ボーンマスク17、ブレーンマスク18および血管マスク19を抽出するのもできる。
【0215】
3次元神経血管分割部の動作
図15は、
図10で説明した3次元神経血管分割部の動作を時間の流れによって表示したものである。
【0216】
図15を参照すると、非剛体整合ワピングされた脳イメージ受信部51は、非剛体整合部30から第2整列ブレーンイメージ(N)を受信する。
【0217】
分割前処理部52は、第2整列ブレーンイメージ(N)に対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行することができる。
【0218】
ここで、前処理された第2整列ブレーンイメージが神経血管解剖学的分割ネットワーク53を通過するようになり、神経血管解剖学的分割ネットワーク53を通過した第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を分割後処理部54が遂行する。
【0219】
特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である。
また、3次元神経血管生成部54.5が後処理された第2整列ブレーンイメージを基盤に前記脳血管地
図55を抽出するようになる。
【0220】
前記モデルから抽出されたNeurovascular AnatomyはLarge Vessel Occlusion(LVO)、Aneurysmなど、血管別適応症を探知、予測した結果で位置を可視化するか、False-Positive予測をsuppressすることに活用されることができる。
【0221】
すなわち、判断部60が提供する情報は、適応症が探知および/または予測された脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報をさらに含むことができる。
【0222】
本発明が提供する効果
本発明によれば、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な人工知能基盤装置および方法を使用者に提供することができる。
【0223】
本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供することができる。
【0224】
本発明は、医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるので、データは幾何学的に多様なvarianceを有する問題点を解消することができる。
【0225】
一般的に、各データのAxial軸のスライスを確認する場合、各スライスで現れる解剖学的なパターンと様相が毎度異に現れ、医療データを分析する過程で多様な撮影protocolによって現れるデータvarianceは正確度を落とす主要な原因になるが、本発明が提案する幾何学的整列(Registration)過程は、このようなデータvarianceを最小化できる。
【0226】
また、本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効である。
【0227】
本発明によれば、各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【0228】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することができる。
【0229】
また、本発明においては、原本CT映像で脳の特定区画(M1~M6)を活用して区分する場合、Non-rigid Registrationを遂行した後、該当空間の標準区画(M1~M6)Maskを適用して抽出して分析することができる。同様に、原本CT空間に逆変換して原本CT映像に表記することができる。
【0230】
また、本発明においては、Neurovascular Anatomy、Brain Anatomyなど、各血管と脳領域の解剖学的な情報が必要な場合、Non-rigid Registrationを通じて整合した後、特定領域を区別することができる。同様に、原本CT空間に逆変換して原本CT映像でも表記することができる。
【0231】
また、本発明においては、Aneurysm、Tumorなど、monitoringが必要な場合、同一患者の互いに異なる時間帯に撮影した映像をNon-rigid Registrationを遂行して一致させて、病弁の進行状況を見せることができる。
【0232】
一方、本発明において得られる効果は、以上において言及した効果に制限されず、言及していないまた他の効果は、下記の記載から本発明の属する技術の分野における通常の知識を有する者に明確に理解され得るだろう。
【0233】
上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア(firmware)、ソフトウェア、またはそれらの結合等により具現され得る。
【0234】
ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって具現され得る。
【0235】
ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数などの形態で具現され得る。ソフトウェアコードは、メモリユニットに格納されてプロセッサにより駆動され得る。前記メモリユニットは、前記プロセッサ内部または外部に位置して、既に公知になった多様な手段により前記プロセッサとデータをやり取りすることができる。
【0236】
上述したように開示された本発明の好ましい実施例についての詳細な説明は、当業者が本発明を具現し、実施できるように提供された。前記では本発明の好ましい実施例を参照して説明したが、該当技術の分野の熟練した当業者は、本発明の領域から外れない範囲内で本発明を多様に修正および変更させ得ることが理解できるだろう。例えば、当業者は、上述した実施例に記載の各構成を互いに組み合わせる方式で利用できる。従って、本発明は、ここに示された実施形態に制限されるためのものではなく、ここで開示された原理および新規な特徴と一致する最も広い範囲を付与するためのものである。
【0237】
本発明は、本発明の精神および必須特徴を外れない範囲で他の特定の形態に具体化されることができる。したがって、前記の詳細な説明は、全ての面で制限的に解釈されてはならず、例示的なものと考慮されるべきである。本発明の範囲は、添付の請求項の合理的解析により決定されるべきであり、本発明の等価的範囲内での全ての変更は、本発明の範囲に含まれる。本発明は、ここに示された実施形態に制限されるためのものではなく、ここで開示された原理および新規な特徴と一致する最も広い範囲を付与するためのものである。また、特許請求の範囲で明示的な引用関係がない請求項を結合して実施例を構成するか出願後の補正により新たな請求項として含むことができる。
【手続補正書】
【提出日】2023-11-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ヘッド分割部がCTイメージを受信する第1ステップ;
前記ヘッド分割部が前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測する第2ステップ;
前記ヘッド分割部が前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出する第3ステップ;
剛体整合部が、複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信する第4ステップ;
前記剛体整合部が前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得する第5ステップ;
前記剛体整合部が前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得する第6ステップ;
非剛体整合部が、前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出する第7ステップ;
前記非剛体整合部が前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行し、前記第6ステップより実際の脳により正確に整合された第2整列ブレーンイメージを獲得する第8ステップ;
神経血管分割部が前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する第9ステップ;および
判断部が前記脳血管地図に基づいて前記脳と関連した情報を提供する第10ステップ;を含み、
前記第2ステップは、
前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第2-1ステップ;
前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過する第2-2ステップ;
前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行する第2-3ステップ;および
前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を
予測する第2-4ステップ;を含む、情報提供方法。
【請求項2】
前記第2-1ステップで、
前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記第2-3ステップで、
前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項1に記載の情報提供方法。
【請求項3】
前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって整合後、合成して構成することで生成される、請求項1に記載の情報提供方法。
【請求項4】
前記変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、
移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにする、請求項1に記載の情報提供方法。
【請求項5】
前記変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、
前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行する、請求項4に記載の情報提供方法。
【請求項6】
前記第9ステップで、前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、
前記第10ステップで、前記情報は、血管構造による適応症を区分するデータを含む、請求項1に記載の情報提供方法。
【請求項7】
前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、
前記第10ステップで、前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含む、請求項6に記載の情報提供方法。
【請求項8】
CTイメージを受信し、前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測し、前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出するヘッド分割部;
複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信し、前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得し、前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに整合ワーピング(Rigid Warping)を適用して線形変換に整列された第1整列ブレーンイメージを獲得する剛体整合部;
前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出し、前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非整合ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得する非剛体整合部;
前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する神経血管分割部;および
前記脳血管地図に基づいて前記脳と関連した情報を提供する判断部;を含み、
前記ヘッド分割部は、
前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、
前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過するようにし、
前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行し、
前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測する装置。
【請求項9】
前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項8に記載の装置。
【請求項10】
前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって整合後、合成して構成することで生成され、
前記変換媒介変数(Transformation Parameter)に基づいた整合ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにし、
前記変形フィールド(Deformation Field)に基づいた非整合ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行する、請求項8に記載の装置。
【請求項11】
前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、
前記情報は、血管構造による適応症を区分するデータを含み、
前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、
前記判断部が提供する前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含む、請求項8に記載の装置。
【手続補正書】
【提出日】2024-04-10
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法に関する。より詳細には、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる装置および方法に関する。
【背景技術】
【0002】
コンピュータ断層撮影は、このようなX線で人体の一断面周囲を細いX線を通じて投射し、このX線が人体を通過して減少される量を測定してイメージにしたものである。
【0003】
腎臓のような臓器の密度には、少しずつの差があるため、X線が投射された方向によって吸収される程度が異に現れることから、この検査を通じて人体臓器をイメージで見ることができる。
【0004】
コンピュータ断層撮影にも種類が多いが、一般的な断層撮影であるシングルスライスCT(single slice CT)、ヘリカルCT(Helical CT)、多重スライスCT(Multi-slice CT、MSCT)がある。これは、一回の回転に一つの写真を撮影することができるコンピュータ断層撮影方式がシングルスライスCTである。
【0005】
ヘリカルCTの場合、人体の周囲でX線を螺旋形に旋回させて撮影するものであり、既存のシングルスライスCTでは、2層の隙間を撮ることができないが、ヘリカルCTでは隙間なしに撮影されるため、より細密な映像を得ることができ、全身写真を早く獲得することができるということが長所である。
【0006】
多重スライスCTの場合、速く円錐状でX線投影を実施し、一回の回転で64個の個別イメージを撮影することができる。
【0007】
電子ビーム断層撮影(Electron beam tomography、EBT)は、X線チューブの負極と正極との間を移動する電子の経路に偏向コイルを使用して回転するように十分なサイズのX線チューブを構成するCTの特定の形態である。
【0008】
コンピュータ断層撮影は、X線チューブと探知機が互いに連結されているとともに、一緒に左右に移動し、角度を動かして回るようになり、X線は直線で放出され、空中へ放出されたレーダー用電磁波を通じて放出されたX線を円錐形に集めるようになる。
【0009】
このように獲得したデータを一連の断面映像を生成する断層再構成方式を利用してデータを処理し、この映像のピクセル(マトリックスのサイズと視野を基準にした2次元単位)は、相対的光度単位で表示される。
【0010】
一般的に、ディープラーニングモデルで安定した性能を導き出すためには、学習データ分布とテストデータ分布との間の乖離を最小化することを目標とする。
【0011】
このために、学習ステップではtrainデータの多様性を増強して学習し、test
ステップでは標準化および一般化したデータを推論するようになる。
CT Imageは、撮影者、メーカー、状況、担当部署によって撮影されたProtocolが大きく変わる。
【0012】
同じ患者であってもProtocolが異なる場合、撮影された3次元映像の幾何学的パターンが変わるので、2D Axial、Coronal、Sagittal断面で見られる映像が異なって見えることがある。
【0013】
毎度、異なるProtocolで撮影された映像は、人/ディープラーニングモデルから診断正確度を低減する要因となり得る。
【0014】
すなわち、医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるため、データは幾何学的に多様なvarianceを有する問題点がある。
【0015】
代表的な例を挙げると、HU(Hounsfield Unit)値が一定でないことがある。
【0016】
ピクセルの値は、小さくは-1024、大きくは3071の値を有するようになり、これをCT数字と言い、CT数字は物質の線吸収係数、拡大定数、水の線吸収係数で構成された一つの式であり、この数字は固定された値であって、骨は1000以上の値を有し、水は0、空気は-1000の値を有するなど、物質によってどの値のCT数字を有するのかが表で整理されている。この数字は、CTを商用化したハウンズフィールドの名を取って、HU(Hounsfield Unit)という単位を使用する。
【0017】
CT数字は、物質の線吸収係数から水の線吸収係数を引いた後、拡大定数を掛けて水の線吸収係数を除して計算することができる。Hounsfield unit(HU)は、CT映像を表現する標準化した形態の値であって、標準温度と圧力で水は0HU、空気は-1000HUと正義された値である。
【0018】
しかし、実際臨床で撮影された映像を比較すると、撮影装備、モデル、気温、圧力、機関別に設定された撮影プロトコル(注射エネルギーおよび放射量など)などの多様な要素によって検体のHU値が一定でないという問題点が存在する。
【0019】
また、放射線被爆(Radiation Exposure)などを考慮してLow-dose CT imageを患者に適用する場合、撮影プロトコルで設定した放射線注射量が低くなり、これにより、CT映像にノイズが多く合成される問題点などが存在する。
【0020】
したがって、任意のRAW CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用することで、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる装置および方法に技術開発の要求が台頭している。
【先行技術文献】
【特許文献】
【0021】
【特許文献1】韓国特許登録番号10-1992057号(2019年6月24日公告)
【特許文献2】韓国特許登録番号10-1754291号(2017年7月6日公告)
【発明の概要】
【発明が解決しようとする課題】
【0022】
本発明の目的は、未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法を使用者に提供することである。
【0023】
具体的に、本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供しようとする。
【0024】
一方、本発明において成そうとする技術的課題は、以上において言及した技術的課題に制限されず、言及していないまた他の技術的課題は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るだろう。
【課題を解決するための手段】
【0025】
前記の技術的課題を達成するための本発明の一態様である情報提供方法は、ヘッド分割部がCTイメージを受信する第1ステップ;前記ヘッド分割部が前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測する第2ステップ;前記ヘッド分割部が前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出する第3ステップ;剛体整合部が、複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信する第4ステップ;前記剛体整合部が前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得する第5ステップ;前記剛体整合部が前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ブレーンイメージを獲得する第6ステップ;非剛体整合部が、前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出する第7ステップ;前記非剛体整合部が前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を遂行し、前記第6ステップより実際の脳により正確に整合された第2整列ブレーンイメージを獲得する第8ステップ;神経血管分割部が前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する第9ステップ;および判断部が前記脳血管地図に基づいて前記脳と関連した情報を提供する第10ステップ;を含むことができる。
【0026】
また、前記第2ステップは、前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第2-1ステップ;前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過する第2-2ステップ;前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行する第2-3ステップ;および前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測する第2-4ステップ;を含むことができる。
【0027】
また、前記第2-1ステップで、前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でHU Levelを[0、1]間隔でマッピング(mapping)する作業であり、前記第2-3ステップで、前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0028】
また、前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成されることができる。
【0029】
また、剛体整合(Rigid Registration)を通じて得た変換媒介変数(Transformation Parameter)に基づいた剛体ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにすることができる。
【0030】
また、前記変形フィールド(Deformation Field)に基づいた非剛体ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行することができる。
また、前記第6ステップで、前記ボーンマスク、ブレーンマスクおよび血管マスクに前記変換媒介変数(Transformation Parameter)に基づいて前記剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、前記第8ステップで、前記第1整列ボーンマスク、ブレーンマスクおよび血管マスクに前記変形フィールド(Deformation Field)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を適用して、第2整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得
され、前記第10ステップで、前記判断部は、前記脳血管地図に基づいて第2整列ボーンマスク、ブレーンマスクおよび血管マスクのうち少なくとも一つをさらに利用して前記情報を提供することができる。
【0031】
また、前記第10ステップの以後、前記第2整列ブレーンイメージ、第2整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変形フィールド(Deformation Field)を逆変換適用して、未加工CTイメージ原本の空間に前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクに復元/逆変換することが可能であり、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変換媒介変数(Transformation Parameter)を逆変換適用して、未加工CTイメージ原本の空間に前記ブレーンイメージ、前記ボーンマスク、ブレーンマスクおよび血管マスクを復元/逆変換するのが可能であり得る。
【0032】
また、前記第9ステップは、前記第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第9-1ステップ;前記前処理された第2整列ブレーンイメージが前記神経血管解剖学的分割ネットワークを通過する第9-2ステップ;前記神経血管解剖学的分割ネットワークを通過した前記第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を遂行する第9-3ステップ;および前記後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出する第9-4ステップ;を含むことができる。
【0033】
また、前記第9-1ステップで、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でHU Levelを[0、1]間隔でマッピング(mapping)する作業であり、前記パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業であり、前記第9-3ステップで、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0034】
また、前記第9ステップで、前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、前記第10ステップで、前記情報は、血管構造による適応症を区分するデータを含むことができる。
【0035】
また、前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、前記第10ステップで、前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含むことができる。
【0036】
一方、前記の技術的課題を達成するための本発明の他の一態様である装置は、CTイメージを受信し、前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Ma
sk)および前記脳と関連する血管マスク(Vessel Mask)を予測し、前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳領域のみを含むブレーンイメージを抽出するヘッド分割部;複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信し、前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得し、前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ブレーンイメージを獲得する剛体整合部;前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出し、前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得する非剛体整合部;前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する神経血管分割部;および前記脳血管地図に基づいて前記脳と関連した情報を提供する判断部;を含むことができる。
【0037】
また、前記ヘッド分割部は、前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過するようにし、前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行し、前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測し、前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業であり、前記ブレーンVOIクロップ(Brain VOI
Crop)作業は、前記ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0038】
また、前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成され、前記変換媒介変数(Transformation Parameter)に基づいた剛体ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにし、前記変形フィールド(Deformation Field)に基づいた非剛体ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行することができる。
【0039】
また、前記ボーンマスク、ブレーンマスクおよび血管マスクも前記変換媒介変数(Transformation Parameter)に基づいて前記剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、前記第1整列ボーンマスク、ブレーンマスクおよび血管マスクも前記変形フィールド(Deformation Field)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を適用して、第2整列ボーンマスク、ブレーンマスクおよび血管マスクが獲得され、前記判断部は、前記脳血管地図に基づいて第2整列ボーンマスク、ブレーンマスクおよび血管マスクのうち少なくとも一つをさらに利用して前記情報を提供し、前記第2整列ブレーンイメージ、第2整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変形フィールド(Deformation
Field)を逆変換適用して、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能であり、前記第1整列ブレーンイメージ、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、前記変換媒介変数(Transformation Parameter)を逆変換適用して、未加工CTイメージ原本の空間に前記ブレーンイメージ、前記ボーンマスク、ブレーンマスクおよび血管マスクを抽出することができる。
【0040】
また、前記神経血管分割部は、前記第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、前記前処理された第2整列ブレーンイメージが前記神経血管解剖学的分割ネットワークを通過させ、前記神経血管解剖学的分割ネットワークを通過した前記第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を遂行し、前記後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出し、前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、前記およびノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU
Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業であり、前記パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業であり、前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業であってよい。
【0041】
もちろん全ての作業は、GPU/CPUで全て作業が可能であり、GPUを活用すれば、CPUより通常10~100倍速い速度を得ることができる。
ただし、3D Volumeを全てGPUメモリに割り当てることは難しいため、本発明
においては、sub-volumeに分けてinput dataを生成することである。一方、装着されたGPU性能によって全体volumeを使用してもよい。
【0042】
また、前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、前記情報は、血管構造による適応症を区分するデータを含み、前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、前記判断部が提供する前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含むことができる。
【発明の効果】
【0043】
本発明によれば、未加工CTイメージの幾何学的整列および前処理のための人工知能基盤装置および方法を使用者に提供することができる。
【0044】
本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供することができる。
【0045】
本発明は、医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるため、データは幾何学的に多様なvarianceを有する問題点を解消することができる。
【0046】
一般的に、各データのAxial軸のスライスを確認してみる場合、各スライスで現れる解剖学的なパターンと様相が毎度異なって現れ、医療データを分析する過程で多様な撮影protocolによって現れるデータvarianceは、正確度を落とす主要な原因になるが、本発明が提案する幾何学的整列(Registration)過程は、このようなデータvarianceを最小化できる。
【0047】
また、本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効である。
【0048】
本発明によれば、各特性によって局所的な誤差に敏感な場合、線形変換のみ適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid
Registrationの結果を活用することができる。
【0049】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することができる。
【0050】
また、本発明においては、原本CT映像で脳の特定区画(M1~M6)を活用して区分する場合、Non-rigid Registrationを遂行した後、該当空間の標準区画(M1~M6)Maskを適用して抽出して分析することができる。同様に、原本CT空間に逆変換して原本CT映像に表記することができる。
【0051】
また、本発明においては、Neurovascular Anatomy、Brain
Anatomyなど各血管と脳領域の解剖学的な情報が必要な場合、Non-rigid Registrationを通じて整合した後、特定領域を区別することができる。同様に原本CT空間に逆変換して原本CT映像でも表記することができる。
【0052】
また、本発明においては、Aneurysm、Tumorなど、monitoringが必要な場合、同一患者の互いに異なる時間帯に撮影した映像をNon-rigid Registrationを遂行して一致させて病弁の進行状況を見せることができる。
【0053】
一方、本発明において得られる効果は、以上において言及した効果に制限されず、言及していないまた他の効果は、下記の記載から本発明の属する技術の分野における通常の知識を有する者に明確に理解され得るだろう。
【図面の簡単な説明】
【0054】
【
図1】本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な装置のブロック構成度の一例を図示したものである。
【
図2】
図1で説明したヘッド分割部のブロック構成度の一例を図示したものである。
【
図3】
図1で説明した剛体整合部のブロック構成度の一例を図示したものである。
【
図4】
図1で説明した非剛体整合部のブロック構成度の一例を図示したものである。
【
図5a】Rigid RegistrationとNon-Rigid Registrationの適用を説明するための図面である。
【
図5b】Rigid RegistrationとNon-Rigid Registrationの適用を説明するための図面である。
【
図6a】Rigid RegistrationとNon-Rigid Registrationを一緒に適用して縁、血管、解剖学的構造などをさらに安定して一致させることができる結果を説明する図面である。
【
図6b】Rigid RegistrationとNon-Rigid Registrationを一緒に適用して縁、血管、解剖学的構造などをさらに安定して一致させることができる結果を説明する図面である。
【
図7】本発明に適用されるアトラス部の標準化したテンプレート(Template)データの生成過程を説明する図面である。
【
図8】
図7によるアトラスの生成結果を説明する図面である。
【
図9】
図1で説明した3次元神経血管分割部のブロック構成度の一例を図示したものである。
【
図10】本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な方法を順序図で示したものである。
【
図11】
図10で説明したヘッド分割部の動作を時間の流れによって表示したものである。
【
図12】
図10で説明した剛体整合部および非剛体整合部の動作を時間の流れによって表示したものである。
【
図13】
図12の剛体整合部および非剛体整合部の動作を合わせて処理される過程を時間の流れによって表示したものである。
【
図14】Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を使用する一例を表示したものである。
【
図15】
図10で説明した3次元神経血管分割部の動作を時間の流れによって表示したものである。
【発明を実施するための形態】
【0055】
以下、図面を参照して、本発明の好ましい一実施例について説明する。また、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を不当に限定せず、本実施形態で説明される構成全体が本発明の解決手段として必須とはいえない。
【0056】
以下、本発明の好ましい実施例に係る人工知能基盤前処理装置および方法を添付の図面を参照して詳細に説明する。
【0057】
従来技術の問題点
ディープラーニングモデルで安定した性能を導き出すためには、学習データ分布とテストデータ分布との間の乖離を最小化しなければならないが、このために、学習ステップではtrainデータの多様性を増強して学習し、testステップでは標準化および一般化したデータを推論するようになる。
【0058】
CT Imageは、撮影者、メーカー、状況、担当部署によって撮影されたProtocolが大きく変わるが、同じ患者であるにもかかわらず、Protocolが異なる場合、撮影された3次元映像の幾何学的パターンが変わるので、2D Axial、Coronal、Sagittal断面で見える映像が異に見られることがある。
【0059】
毎度、異なるProtocolで撮影された映像は、人/ディープラーニングモデルから診断正確度を低減する要因となり得る。
【0060】
医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるので、データは幾何学的に多様なvarianceを有する。
【0061】
一般的に、各データのAxial軸のスライスを確認する場合、各スライスで現れる解剖学的なパターンと様相が毎度異に現れる。
【0062】
医療データを分析する過程で多様な撮影protocolによって現れるデータvarianceは、正確度を落とす主要な原因となり得る。
【0063】
したがって、本明細書においては、前記問題を解消することができるように、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な人工知能基盤装置および方法を使用者に提供しようとする。
【0064】
具体的に、本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供しようとする。
【0065】
人工知能装置
図1は、本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な装置のブロック構成度の一例を図示したものである。
【0066】
図1を参照すると、本発明が提案する人工知能装置1は、ヘッド分割部10、剛体整合部20、非剛体整合部30、アトラス部40、3次元神経血管分割部50、判断部60などを含むことができる。
【0067】
ヘッド分割部10は、CTイメージを受信し、CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて頭蓋骨のボーンマスク(Bone Mask)、脳のブレーンマスク(Brain Mask)および脳と関連する血管マスク(Vessel Mask)を予測することができる。
【0068】
また、ヘッド分割部10は、予測されたブレーンマスクと血管マスクを組み合わせて、CTイメージから脳領域のみを含むブレーンイメージを抽出することができる。
【0069】
次に、アトラス部40は、複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データを生成して剛体整合部20に伝達する。
【0070】
ここで、アトラス部40の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように、前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成される。
【0071】
また、剛体整合部20は、標準化したテンプレート(Template)データをアトラス部40から受信し、ヘッド分割部10からブレーンイメージを受信する。
【0072】
以後、剛体整合部20は、テンプレートデータとブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得する。
【0073】
また、剛体整合部20は、変換媒介変数(Transformation Parameter)に基づいてブレーンイメージに剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ブレーンイメージを獲得するようになる。
【0074】
変換媒介変数(Transformation Parameter)に基づいた剛体ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにする。
【0075】
一方、非剛体整合部30は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出することができる。
【0076】
また、非剛体整合部30は、変形フィールド(Deformation Field)に基づいて第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を遂行して、剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得することができる。
【0077】
変形フィールド(Deformation Field)に基づいた非剛体ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行するようになる。
【0078】
以後、3次元神経血管分割部50は、第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて第2整列ブレーンイメージから脳血管地図を抽出することができる。
【0079】
また、判断部60は、脳血管地図に基づいて脳と関連した情報を提供することができる。
【0080】
ここで、脳血管地図は、動脈の解剖学的構造を区分して抽出されることができる。
【0081】
また、脳と関連した情報は、血管構造による適応症を区分するデータを含むことができる。
【0082】
代表的に、血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)などを含む。
【0083】
また、判断部60が提供する情報は、適応症が探知および/または予測された脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含むこともできる。
【0084】
以下においては、ヘッド分割部10、剛体整合部20、非剛体整合部30、アトラス部40、3次元神経血管分割部50に対して図面を参照してより具体的に説明する。
【0085】
ヘッド分割部
図2は、
図1で説明したヘッド分割部のブロック構成度の一例を図示したものである。
【0086】
図2を参照すると、ヘッド分割部10は、イメージ受信部11、ヘッド前処理部12、事前学習されたヘッド分割ネットワーク部13、ヘッド後処理部14および予測結果算出部15を含むことができる。
【0087】
本発明が分析しようとする関心領域は、脳(Brain)であり、skullの厚さと形態は人によって異なるので、ヘッド分割部10を通じて、頭蓋骨と脳領域を分離することができるディープラーニング基盤Head Segmentation Networkを通過してそれぞれのBone、Brain、Vessel Maskを予測した後、Brain MaskとVessel Maskを組み合わせて原本CT imageから完全なBrain領域を抽出する作業を遂行するようになる。
【0088】
先に、イメージ受信部11は、外部装備からCTイメージを受信する。
【0089】
次に、ヘッド前処理部12は、Raw CT imageの3次元映像を2D Axial sliceで分割した後、segmentationしようとするsliceの隣接スライスをconcatenateしてinputデータを構成するようになる。
【0090】
具体的に、inputデータは、ヘッド前処理部12のPre-processingを経て事前学習されたヘッド分割ネットワーク部13に入力される。
【0091】
ヘッド前処理部12は、(1)Resize(2)HU Windowing(3)Normalizeなどの作業を遂行することができる。
【0092】
(1)リサイジング(Resizing)作業は、ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業である。
【0093】
次に、(2)HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業である。
【0094】
また、ノーマライジング(Normalizing)作業は、設定された下限から上限までのHU Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業である。代表的に、HUウィンドウィング(Windowing)の下限から上限のHU Levelを[0、1]間隔でマッピング(mapping)する方式が適用され得る。
【0095】
前処理されたCTイメージが事前学習されたヘッド分割ネットワーク部13を通過し、ヘッド分割ネットワーク13を通過したCTイメージに対して、ヘッド後処理部14がブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行するようになる。
【0096】
事前学習されたヘッド分割ネットワーク部13は、関心領域である脳(brain)領域を抽出することができるように、頭蓋骨と脳領域に対して予め学習されたディープラーニング基盤Segmentation Networkである。
【0097】
ここで、ブレーンVOIクロップ(Brain VOI Crop)作業は、ブレーンに対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業である。
【0098】
また、Outlier Cluster除去作業は、3次元上で連結されずにかけ離れている小さいoutlier clusterを除去する作業である。
【0099】
以後、予測結果算出部15は、後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測するようになる。
【0100】
すなわち、頭蓋骨のボーンマスク(Bone Mask)、脳のブレーンマスク(Brain Mask)および脳と関連する血管マスク(Vessel Mask)を予測し、予測されたブレーンマスクと血管マスクを組み合わせて、最初入力されたCTイメージから脳領域のみを含むブレーンイメージを抽出することができる。
【0101】
剛体整合部、非剛体整合部およびアトラス部
図3は、
図1で説明した剛体整合部のブロック構成度の一例を図示したものである。
【0102】
図3を参照すると、剛体整合部20は、抽出された脳イメージ受信部21、アトラス部イメージ受信部22、剛体
整合遂行部23、剛体
整合ワーピング部24を含む。
【0103】
先決的にアトラス部40の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本データを中央に整列して予め指定された水準によって非剛体整合後、合成して構成することで生成される。
【0104】
アトラス部イメージ受信部22は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、抽出された脳イメージ受信部21は、ヘッド分割部10から抽出された脳領域のみを含むブレーンイメージを受信する。
【0105】
剛体整合遂行部23は、テンプレートデータとブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得することができる。
【0106】
以後、剛体整合ワーピング部24は、変換媒介変数(Transformation Parameter)に基づいてブレーンイメージに剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ブレーンイメージを獲得することができる。
【0107】
整理すると、剛体整合ワーピング部24は、変換媒介変数(Transformation Parameter)に基づいた剛体ワーピング(Rigid Warping)は、平行移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにすることができる。
【0108】
一方、
図4は、
図1で説明した非剛体整合部のブロック構成度の一例を図示したものである。
【0109】
図4を参照すると、非剛体整合部30は、剛体整合
ワーピングされた脳イメージ受信部31、アトラス部イメージ受信部32、非剛体合遂行部33および非剛体整合
ワーピング部34を含む。
【0110】
先に、アトラス部イメージ受信部32は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、剛体整合ワーピングされた脳イメージ受信部31は、剛体整合ワーピング部24の結果物である第1整列ブレーンイメージを獲得する。
【0111】
以後、非剛体整合遂行部33は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出することができる。
【0112】
また、非剛体整合ワーピング部34は、変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得することができる。
【0113】
整理すると、変形フィールド(Deformation Field)に基づいた非剛体ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して実際の脳にさらに一致する形態になるように整列を遂行する。
【0114】
したがって、本発明においては、各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用すると同時に、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用する。
【0115】
本発明がRigid RegistrationとNon-rigid Registrationを一緒に利用する理由に対して具体的に説明する。
図5aおよび
図5bは、Rigid RegistrationとNon-Rigid Registrationの適用を説明するための図面である。
【0116】
図5aを参照すると、Rigid Registrationの目的は、2D/3DデータからAffine Matrixを得ることを目標とする。
Translation、rotation、scale変換などの線形的な変換だけ可能であり、移動対象が(潰れることなく)元の割合が維持されたまま変形される。
【0117】
また、Non-rigid Registrationの目的は、2D/3Dデータからピクセル単位の移動ベクターフィールド(Deformation Field)を得ることを目標とする。
【0118】
ピクセル単位でどのような位置にwarpingが遂行されなければならないのかが決定されるので、全ての形態の変換が可能であるので、Rigid Registrationに比べて細部的な一致度を高めることができる。
【0119】
図5bの(a)は、Rigid Registration変換の例示を図示したものであり、(b)は、Non-rigid Registration変換の例示を図示したものである。
【0120】
ただし、Non-Rigid Registration自体は、局所変形に特化されており、移動半径が大きい変形は難しいという問題点がある。
【0121】
したがって、本発明においては、Rigid Registrationでずれている中央を合わせた後、細部的な2次整列を遂行するとき、Non-rigid Registrationを活用する方式を適用する。
【0122】
代表的に、Non-rigid Registrationを遂行する方式は、よく知られているディープラーニング基盤のVoxelMorphを通じて遂行されることができる。
【0123】
該当方式は、既存の古典的なNon-rigid Registration方式に比べて100倍以上の速い速度と高い正確度を見せることができる。
【0124】
図6aおよび
図6bは、Rigid RegistrationとNon-Rigid
Registrationを一緒に適用して、縁、血管、解剖学的構造などをさらに安定的に一致させ得る結果を説明する図面である。
【0125】
図6aおよび
図6bを参照すると、Original CTAの場合、2つの揺れが大きく整列されない傾向性が見られる。
【0126】
また、Rigid Registrationの結果、中央整列されてOrigina
l CTAに比べて安定した結果を見せるが、脳の形態差がある場合、若干の変形が見られることを確認することができる。
【0127】
前記Rigid Registrationの結果物にNon-rigid Registrationを適用した結果を確認すると、大部分が実際の脳のコンテンツと一致する結果が見られる。
【0128】
すなわち、Rigid Registrationだけを遂行したときに比べて、2つの方式を順次に適用する場合には、縁、血管、解剖学的構造などをさらに安定的に一致させることができる。
【0129】
また、Rigid RegistrationとNon-rigid Registration方式の適用時に活用されるAtlasについて説明する。
【0130】
図7は、本発明に適用されるアトラス部の標準化したテンプレート(Template)データの生成過程を説明する図面である。
【0131】
Medical分野でAtlas(Template)は、特定標本の特性を融合して標準化した一つのデータであって、一般的にRegistrationを通じて多様なデータを共通した空間に整列するための基準として活用される。
【0132】
MRIデータの場合、MNIという標準化したAtlasが存在するが、CTの場合、このような標準化したAtlasが存在しないため、新たに生成する過程が必要である。
【0133】
図7を参照すると、Atlas生成方法で正常または特定適応症を有する30~50人のCTAを標本に設定して適用され得る。
【0134】
ここで、Atlasは、解剖学的なパターンまたは特性が保存されなければならないので、初期の各標本データを中央に整列して一定の水準一致するように構成することができる。
【0135】
以後、古典的なNon-rigid Registrationを遂行して非常に一致するように整合した後、各データをよく融合してAtlasを生成することができる。
【0136】
本発明においては、古典的なNon-rigid Registrationは時間が長くかかり、成功し難いという短所があるので、ディープラーニング基盤生成モデル(Generative Model)を活用する。該当ディープラーニングモデルは、教師なし(Unsupervised)学習を通じて、それぞれの非整列されたCTAを説明することができる最適化されたNon-rigid Template/Atlasを生成し出し得るように学習される。
【0137】
図8は、
図7によるアトラスの生成結果を説明する図面である。
【0138】
図8で生成されたAtlasは、左/右対称になり得るように、後処理(Post-process)されて、Rigid RegistrationとNon-rigid Registration方式に適用され得る。
【0139】
提案するAtlas、Rigid RegistrationとNon-rigid Registration過程は、前述のデータvarianceを最小化できるという長所がある。
【0140】
本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効であり得る。
【0141】
各特性によって、局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【0142】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することもできる。
【0143】
本発明に適用されるCT Atlasの場合、Rigid/Affine整列された正常群100人のCTAからディープラーニング基盤生成モデル(Generative Model)を学習してNon-rigid Template/Atlasを抽出した後、左/右対称を合わせたsymmetric Template/Atlasを活用して適用され得る。
【0144】
本明細書において、TemplateとAtlasは混用して使用されることができ、2個の用語が指称する意味は同一である。
【0145】
また、抽出されたBrain imageは、CT AtlasとRigid/Affine Registrationを通じて線形変換(回転/スケール/移動など)で1次整列された映像を得るようになり、以後、より正確な整合のために、Non-Rigid Registration Modelを通じてピクセル/ボクセル単位のRegistrationを遂行し、各Registrationの結果、抽出されたTransformation parameter、Deformation Fieldは、それぞれのmaskとCT imageを変換するのに活用され得る。
【0146】
3次元神経血管分割部
3次元神経血管分割部50は、整列されたBrain imageから血管構造を抽出することができるようにディープラーニング基盤Neurovascular Anatomy Segmentation Networkを通じて脳血管地図を抽出する。
【0147】
このとき、Vessel Maskとは異なり、Neurovascular Anatomyは、各動脈の解剖学的構造を区分することができ、判断部60は、追ってNeurovascular Anatomyを血管構造による適応症を区分するのに活用することができる。
【0148】
図9は、
図1で説明した3次元神経血管分割部のブロック構成度の一例を図示したものである。
【0149】
図9を参照すると、3次元神経血管分割部50は、非剛体整合
ワーピングされた脳イメージ受信部51、分割前処理部52、事前学習された神経血管分割ネットワーク部53、分割後処理部54および3次元神経血管生成部54.5を含むことができる。
【0150】
非剛体整合ワーピングされた脳イメージ受信部51は、非剛体整合部30から第2整列ブレーンイメージを受信する。
【0151】
以後、第2整列ブレーンイメージは、神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)を通過し、Pre-Processingされたinput dataは、前記Segmentation Network予測およびPost-processingを通じてNeurovascular Anatomy生成することができるようになる。
【0152】
分割前処理部52は、第2整列ブレーンイメージに対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行することができる。
【0153】
HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業である。
【0154】
また、ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、HU Levelを決定された[0、1]間隔でマッピング(mapping)する作業である。
また、パッチサンプリング(Patch Sampling)作業は、GPUメモリ(Memory)活用のために、前記3次元ボリューム(Volume)のサブボリューム(sub-volume)をパッチ(patch)で構成してインプットデータ(input data)を生成する作業である。
【0155】
全ての作業は、GPU/CPUで全て作業が可能であり、GPUを活用すれば、CPUより通常10~100倍速い速度を得ることができる。ただし、3D Volumeを全てGPUメモリに割り当てることは難しいため、sub-volumeに分けてinput dataを生成する。一方、装着されたGPU性能によって全体volumeを使用してもよい。
【0156】
ここで、前処理された第2整列ブレーンイメージが神経血管解剖学的分割ネットワーク53を通過するようになり、神経血管解剖学的分割ネットワーク53を通過した第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を分割後処理部54が遂行する。
【0157】
特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である。
また、3次元神経血管生成部54.5が後処理された第2整列ブレーンイメージを基盤に前記脳血管地図を抽出するようになる。
【0158】
前記モデルから抽出されたNeurovascular Anatomyは、Large Vessel Occlusion(LVO)、Aneurysmなど、血管別適応症を探知、予測した結果で位置を可視化するか、False-Positive予測をsuppressすることに活用されることができる。
【0159】
すなわち、判断部60が提供する情報は、適応症が探知および/または予測された脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報をさらに含むことができる。
【0160】
人工知能方法
図10は、本発明と関連して、未加工CTイメージが入力されたとき、一貫した方向と
サイズに変換可能な方法を順序図で示したものである。
【0161】
前述のとおり、本発明が提案する方法は、(1)Raw CT imageの分割作業、(2)Registration作業および(3)Neurovascular Anatomy Segmentation作業に区分される。
【0162】
(1)Raw CT imageの分割作業
私たちの関心領域はBrainであり、skullの厚さと形態は人によって異なる。したがって、頭蓋骨と脳領域を分離できるHead Segmentation Networkを通過して、それぞれのBone、Brain、Vessel Maskを予測した後、Brain MaskとVessel Maskを組み合わせて原本CT imageから完全なBrain領域を抽出する。
【0163】
(2) Registration作業
抽出されたBrain imageは、CT AtlasとRigid/Affine
Registrationを通じて線形変換(回転/スケール/移動など)で1次整列された映像を得るようになる。以後、より正確な整合のために、Non-Rigid Registration Modelを通じてピクセル/ボクセル単位のRegistrationを遂行する。各Registrationの結果、抽出されたTransformation parameter、Deformation Fieldは、それぞれのmaskとCT imageを変換するのに活用される。
【0164】
(3)Neurovascular Anatomy Segmentation作業
整列されたBrain imageから血管構造を抽出することができるようにNeurovascular Anatomy Segmentation Networkを通じて脳血管地図を抽出する。Vessel Maskとは異なり、Neurovascular Anatomyは、各動脈の解剖学的構造を区分する。追って、Neurovascular Anatomyは、血管構造による適応症を区分するのに活用されることができる。
【0165】
図10を参照して、本発明に係る方法をより具体的に説明する。
【0166】
図10を参照すると、ヘッド分割部10がCTイメージを受信し、事前学習されたヘッド分割ネットワーク部13がCTイメージを頭蓋骨と脳を分離するようになり、頭蓋骨のボーンマスク(Bone Mask、17)、脳のブレーンマスク(Brain Mask、18)および脳と関連する血管マスク(Vessel Mask、19)を予測するようになる。
【0167】
また、ヘッド分割部10が予測されたブレーンマスクと血管マスクを組み合わせ16て、CTイメージから脳領域のみを含むブレーンイメージ(K)を抽出するようになる。
【0168】
以後、剛体整合部20が複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部40から受信し、ヘッド分割部10からブレーンイメージ(K)を受信する。
【0169】
剛体整合部20の剛体整合遂行部23および剛体整合ワーピング部24は、テンプレートデータとブレーンイメージ(K)との間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter、26)を獲得すること
ができる。
【0170】
また、剛体整合部20は、変換媒介変数(Transformation Parameter、26)に基づいてブレーンイメージ(K)に剛体ワーピング(Rigid Warping、24)を適用して線形変換によって整列された第1整列ブレーンイメージ(R)を獲得することができる。
【0171】
また、非剛体整合部30が、融合して標準化したテンプレート(Template)データをアトラス部40から受信し、剛体整合部20から第1整列ブレーンイメージ(R)を受信する。
【0172】
以後、非剛体整合遂行部33は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field、36)を抽出する。
【0173】
また、非剛体整合ワーピング部34は、変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージ(R)にボクセル単位のグリッド補間(Grid Interpolation)を適用37、38する非剛体ワーピング(Non-Rigid Warping、34)を遂行して、実際の脳により正確に整合された第2整列ブレーンイメージ(N)を獲得するようになる。
【0174】
以後、神経血管分割部50が第2整列ブレーンイメージ(N)を神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network、53)に通過させて第2整列ブレーンイメージから脳血管地
図55を抽出するようになる。
【0175】
以後、判断部60が脳血管地図に基づいて脳と関連した情報を提供することができる。
【0176】
一方、剛体整合部20は、ボーンマスク17、ブレーンマスク18および血管マスク19に変換媒介変数(Transformation Parameter、26)に基づいて剛体ワーピング(Rigid Warping、24)を適用して、線形変換によって整列された第1整列ボーンマスク、ブレーンマスクおよび血管マスクを獲得することも可能であり得る。
【0177】
また、非剛体整合部30は、第1整列ボーンマスク、ブレーンマスクおよび血管マスクに変形フィールド(Deformation Field、36)に基づいてボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping、34)を適用して、第2整列ボーンマスク57、ブレーンマスク58および血管マスク59が獲得され得る。
【0178】
判断部60は、脳血管地
図55に基づいて第2整列ボーンマスク57、ブレーンマスク58および血管マスク59のうち少なくとも一つをさらに利用して情報を提供することもできる。
【0179】
逆に、前記第2整列ブレーンイメージ(N)、第2整列ボーンマスク57、ブレーンマスク58および血管マスク59は、変形フィールド(Deformation Field、36)を逆変換適用して第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能である。
【0180】
さらに第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、変換媒介変数(Transformation Parameter、26)を逆変換適用して、未加工CTイメージ原本の空間にブレーンイメージ(K)、ボーンマスク17、ブレーンマスク18および血管マスク19を抽出することも可能であり得る。
【0181】
ヘッド分割部の動作
図11は、
図10で説明したヘッド分割部の動作を時間の流れによって表示したものである。
【0182】
図10を参照すると、イメージ受信部11は、外部装備からCTイメージを受信する。
【0183】
次に、ヘッド前処理部12は、Raw CT imageの3次元映像を2D Axial sliceで分割した後、segmentationしようとするsliceの隣接スライスをconcatenateしてinputデータを構成するようになる。
【0184】
具体的に、inputデータは、ヘッド前処理部12のPre-processingを経て事前学習されたヘッド分割ネットワーク部13に入力される。
【0185】
ヘッド前処理部12は、前述した(1)Resize(2)HU Windowing(3)Normalizeなどの作業を遂行することができる。
【0186】
前処理されたCTイメージが事前学習されたヘッド分割ネットワーク部13を通過し、ヘッド分割ネットワーク13を通過したCTイメージに対して、ヘッド後処理部14がブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行するようになる。
【0187】
以後、予測結果、算出部15は、後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask、17)、ブレーンマスク(Brain Mask、18)および血管マスク(Vessel Mask、19)を含む情報15を予測するようになる。
【0188】
すなわち、頭蓋骨のボーンマスク(Bone Mask、17)、脳のブレーンマスク(Brain Mask、18)および脳と関連する血管マスク(Vessel Mask、19)を予測し、予測されたブレーンマスク18と血管マスク19を組み合わせて、最初入力されたCTイメージから脳領域のみを含むブレーンイメージ(K)を抽出することができる。
【0189】
剛体整合部および非剛体整合部の動作
図12は、
図10で説明した剛体整合部および非剛体整合部の動作を時間の流れによって表示したものである。
【0190】
図12の(a)を参照すると、アトラス部イメージ受信部22は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、抽出された脳イメージ受信部21は、ヘッド分割部10から抽出された脳領域のみを含むブレーンイメージ(K)を受信する。
【0191】
剛体整合遂行部23は、テンプレートデータとブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得することができる。
【0192】
以後、剛体整合ワーピング部24は、変換媒介変数(Transformation Parameter)に基づいてブレーンイメージに剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ブレーンイメージ(R)を獲得することができる。
【0193】
整理すると、剛体整合ワーピング部24は、変換媒介変数(Transformation Parameter)に基づいた剛体ワーピング(Rigid Warping)は、平行移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにすることができる。
【0194】
また、
図12の(b)を参照すると、アトラス部イメージ受信部32は、前記アトラス部40から標準化したテンプレート(Template)データを受信し、剛体整合
ワーピングされた脳イメージ受信部31は、剛体
整合ワーピング部24の結果物である第1整列ブレーンイメージ(R)を獲得する。
【0195】
以後、非剛体整合遂行部33は、テンプレートデータの3次元ボリューム(Volume)と第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出することができる。
【0196】
また、非剛体整合ワーピング部34は、変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージ(N)を獲得することができる。
【0197】
整理すると、変形フィールド(Deformation Field)に基づいた非剛体ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージ(R)に細部的な2次整列を遂行して実際の脳にさらに一致する形態(N)になるように整列を遂行する。
【0198】
図13は、
図12の剛体整合部および非剛体整合部の動作を合わせて処理される過程を時間の流れによって表示したものである。
【0199】
図13に図示されているように、本発明においては、各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用すると同時に、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用する。
【0200】
本発明がRigid RegistrationとNon-rigid Registrationを一緒に利用する理由は、前述のとおり、Translation、rotation、scale変換などの線形的な変換だけ可能であり、移動対象が(潰れることなく)元の割合が維持されたまま変形されるRigid Registration効
果と2D/3Dデータからピクセル単位の移動ベクターフィールド(Deformation Field)を得るNon-rigid Registrationの効果を同時に適用するためである。
【0201】
Non-rigid Registrationの場合、ピクセル単位でどのような位置にwarpingが遂行されなければならないのかが決定されるので、全ての形態の変換が可能であるので、Rigid Registrationに比べて細部的な一致度を高めることができる。
【0202】
図5bの(a)は、Rigid Registration変換の例示を図示したものであり、(b)は、Non-rigid Registration変換の例示を図示したものである。
【0203】
ただし、Non-Rigid Registration自体は局所変形に特化されており、移動半径が大きい変形は難しいという問題点がある。
【0204】
したがって、本発明においては、Rigid Registrationでずれている中央を合わせた後、細部的な2次整列を遂行するとき、Non-rigid Registrationを活用する方式を適用する。
【0205】
一般的なNon-rigid Registration方式は、CPUを通じて遅く処理されるが、ディープラーニング基盤方式は、GPUを活用することができるため速い。
【0206】
したがって、VoxelMorphというネットワークを通じてNon-rigid Registrationを遂行して速度的利点を得ることができる。
【0207】
該当方式は、Non-rigid Registrationを遂行するためのネットワークを生成するための古典的なNon-rigid Registration方式に比べて100倍以上の速い速度と高い正確度を見せることができる。
【0208】
提案するRigid RegistrationとNon-rigid Registration過程は、前述のデータvarianceを最小化できるという長所がある。
【0209】
図14は、Rigid/Non-rigid Registration上で分析された結果は原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を使用する一例を表示したものである。
【0210】
図14に図示されているように、本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効であり得る。
【0211】
各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【0212】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することもできる。
【0213】
図14を参照すると、第2整列ブレーンイメージ(N)、第2整列ボーンマスク57、ブレーンマスク58および血管マスク59は、変形フィールド(Deformation
Field、36)を逆変換適用34Iして、第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクを抽出することが可能である。
【0214】
さらに、第1整列ブレーンイメージ(R)、第1整列ボーンマスク、ブレーンマスクおよび血管マスクは、変換媒介変数(Transformation Parameter、26)を逆変換適用24Iして、ブレーンイメージ(K)、ボーンマスク17、ブレーンマスク18および血管マスク19を抽出するのもできる。
【0215】
3次元神経血管分割部の動作
図15は、
図10で説明した3次元神経血管分割部の動作を時間の流れによって表示したものである。
【0216】
図15を参照すると、非剛体整合
ワーピングされた脳イメージ受信部51は、非剛体整合部30から第2整列ブレーンイメージ(N)を受信する。
【0217】
分割前処理部52は、第2整列ブレーンイメージ(N)に対して、HUウィンドウィング(Windowing)作業、ノーマライジング(Normalizing)作業およびパッチサンプリング(Patch Sampling)作業のうち少なくとも一つである前処理(Pre-processing)を遂行することができる。
【0218】
ここで、前処理された第2整列ブレーンイメージが神経血管解剖学的分割ネットワーク53を通過するようになり、神経血管解剖学的分割ネットワーク53を通過した第2整列ブレーンイメージに対して特異値クラスター(Outlier Cluster)を除去する後処理(Post-processing)を分割後処理部54が遂行する。
【0219】
特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である。
また、3次元神経血管生成部54.5が後処理された第2整列ブレーンイメージを基盤に前記脳血管地
図55を抽出するようになる。
【0220】
前記モデルから抽出されたNeurovascular AnatomyはLarge
Vessel Occlusion(LVO)、Aneurysmなど、血管別適応症を探知、予測した結果で位置を可視化するか、False-Positive予測をsuppressすることに活用されることができる。
【0221】
すなわち、判断部60が提供する情報は、適応症が探知および/または予測された脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報をさらに含むことができる。
【0222】
本発明が提供する効果
本発明によれば、未加工CTイメージが入力されたとき、一貫した方向とサイズに変換可能な人工知能基盤装置および方法を使用者に提供することができる。
【0223】
本発明は、任意のraw CT imageが入力されたとき、一貫した方向とサイズに変換できるprocessを適用して、患者の頭蓋骨のサイズと形態、撮影方向などによって生じる多様性を最小化できる人工知能基盤装置および方法を使用者に提供することができる。
【0224】
本発明は、医療データのうちCT Angiographyを撮影する一連の過程は、各病院のvendorと撮影者の習慣によって撮影角度、撮影領域、patient orientation、slice thickness、slice intervalなどのprotocolは状況によって異なるので、データは幾何学的に多様なvarianceを有する問題点を解消することができる。
【0225】
一般的に、各データのAxial軸のスライスを確認する場合、各スライスで現れる解剖学的なパターンと様相が毎度異に現れ、医療データを分析する過程で多様な撮影protocolによって現れるデータvarianceは正確度を落とす主要な原因になるが、本発明が提案する幾何学的整列(Registration)過程は、このようなデータvarianceを最小化できる。
【0226】
また、本発明が提案する方式は、Rigid RegistrationとNon-rigid Registrationの結果を全て提供し、原本CTAへの逆変換過程もまた有効である。
【0227】
本発明によれば、各特性によって局所的な誤差に敏感な場合、線形変換のみを適用して中央整列されたRigid Registrationの結果を活用することができ、患者間の関心領域を空間的に一致させるか、モニタリングが必要な場合、Non-rigid Registrationの結果を活用することができる。
【0228】
また、各Rigid/Non-rigid Registration上で分析された結果は、原本CTAの空間に逆変換して原本CTA映像でセグメントまたは分析結果を視覚化することができる。
【0229】
また、本発明においては、原本CT映像で脳の特定区画(M1~M6)を活用して区分する場合、Non-rigid Registrationを遂行した後、該当空間の標準区画(M1~M6)Maskを適用して抽出して分析することができる。同様に、原本CT空間に逆変換して原本CT映像に表記することができる。
【0230】
また、本発明においては、Neurovascular Anatomy、Brain
Anatomyなど、各血管と脳領域の解剖学的な情報が必要な場合、Non-rigid Registrationを通じて整合した後、特定領域を区別することができる。同様に、原本CT空間に逆変換して原本CT映像でも表記することができる。
【0231】
また、本発明においては、Aneurysm、Tumorなど、monitoringが必要な場合、同一患者の互いに異なる時間帯に撮影した映像をNon-rigid Registrationを遂行して一致させて、病弁の進行状況を見せることができる。
【0232】
一方、本発明において得られる効果は、以上において言及した効果に制限されず、言及していないまた他の効果は、下記の記載から本発明の属する技術の分野における通常の知識を有する者に明確に理解され得るだろう。
【0233】
上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア(firmware)、ソフトウェア、またはそれらの結合等により具現され得る。
【0234】
ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のASICs(Application Specific Integrated Ci
rcuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって具現され得る。
【0235】
ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数などの形態で具現され得る。ソフトウェアコードは、メモリユニットに格納されてプロセッサにより駆動され得る。前記メモリユニットは、前記プロセッサ内部または外部に位置して、既に公知になった多様な手段により前記プロセッサとデータをやり取りすることができる。
【0236】
上述したように開示された本発明の好ましい実施例についての詳細な説明は、当業者が本発明を具現し、実施できるように提供された。前記では本発明の好ましい実施例を参照して説明したが、該当技術の分野の熟練した当業者は、本発明の領域から外れない範囲内で本発明を多様に修正および変更させ得ることが理解できるだろう。例えば、当業者は、上述した実施例に記載の各構成を互いに組み合わせる方式で利用できる。従って、本発明は、ここに示された実施形態に制限されるためのものではなく、ここで開示された原理および新規な特徴と一致する最も広い範囲を付与するためのものである。
【0237】
本発明は、本発明の精神および必須特徴を外れない範囲で他の特定の形態に具体化されることができる。したがって、前記の詳細な説明は、全ての面で制限的に解釈されてはならず、例示的なものと考慮されるべきである。本発明の範囲は、添付の請求項の合理的解析により決定されるべきであり、本発明の等価的範囲内での全ての変更は、本発明の範囲に含まれる。本発明は、ここに示された実施形態に制限されるためのものではなく、ここで開示された原理および新規な特徴と一致する最も広い範囲を付与するためのものである。また、特許請求の範囲で明示的な引用関係がない請求項を結合して実施例を構成するか出願後の補正により新たな請求項として含むことができる。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ヘッド分割部がCTイメージを受信する第1ステップ、
前記ヘッド分割部が前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測する第2ステップ、
前記ヘッド分割部が前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳の領域のみを含むブレーンイメージを抽出する第3ステップ、
剛体整合部が、複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信する第4ステップ、
前記剛体整合部が前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得する第5ステップ、
前記剛体整合部が前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ブレーンイメージを獲得する第6ステップ、
非剛体整合部が、前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出する第7ステップ、
前記非剛体整合部が前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を遂行し、前記第6ステップより実際の脳により正確に整合された第2整列ブレーンイメージを獲得する第8ステップ、
神経血管分割部が前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する第9ステップ、および
判断部が前記脳血管地図に基づいて前記脳と関連した情報を提供する第10ステップ、を含み、
前記第2ステップは、
前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行する第2-1ステップ、
前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過する第2-2ステップ、
前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行する第2-3ステップ、および
前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測する第2-4ステップ、を含む、情報提供方法。
【請求項2】
前記第2-1ステップで、
前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記第2-3ステップで、
前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記脳に対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項1に記載の情報提供方法。
【請求項3】
前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本のデータを中央に整列して予め指定された水準によって整合後、合成して構成することで生成される、請求項1に記載の情報提供方法。
【請求項4】
前記変換媒介変数(Transformation Parameter)に基づいた剛体ワーピング(Rigid Warping)は、
移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにする、請求項1に記載の情報提供方法。
【請求項5】
前記変形フィールド(Deformation Field)に基づいた非剛体ワーピング(Non-Rigid Warping)は、
前記ボクセル単位のグリッド補間(Grid Interpolation)を適用し
て、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行する、請求項4に記載の情報提供方法。
【請求項6】
前記第9ステップで、前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、
前記第10ステップで、前記情報は、血管構造による適応症を区分するデータを含む、請求項1に記載の情報提供方法。
【請求項7】
前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、
前記第10ステップで、前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含む、請求項6に記載の情報提供方法。
【請求項8】
CTイメージを受信し、前記CTイメージを頭蓋骨と脳を分離することができるヘッド分割ネットワーク(Head Segmentation Network)を通過させて前記頭蓋骨のボーンマスク(Bone Mask)、前記脳のブレーンマスク(Brain Mask)および前記脳と関連する血管マスク(Vessel Mask)を予測し、前記予測されたブレーンマスクと血管マスクを組み合わせて、前記CTイメージから前記脳の領域のみを含むブレーンイメージを抽出するヘッド分割部、
複数のデータを共通した空間に整列するための基準として活用するために、特定標本の特性を融合して標準化したテンプレート(Template)データをアトラス部から受信し、前記ヘッド分割部からブレーンイメージを受信し、前記テンプレートデータと前記ブレーンイメージと間の剛体整合(Rigid Registration)およびアフィン整合(Affine Registration)を遂行して変換媒介変数(Transformation Parameter)を獲得し、前記変換媒介変数(Transformation Parameter)に基づいて前記ブレーンイメージに剛体ワーピング(Rigid Warping)を適用して線形変換によって整列された第1整列ブレーンイメージを獲得する剛体整合部、
前記テンプレートデータの3次元ボリューム(Volume)と前記第1整列ブレーンイメージの3次元ボリュームを予め学習された非-剛体整合ネットワーク(Non-rigid Registration Network)に入力して、3次元ボクセル(voxel)別の移動ベクターである変形フィールド(Deformation Field)を抽出し、前記変形フィールド(Deformation Field)に基づいて前記第1整列ブレーンイメージにボクセル単位のグリッド補間(Grid Interpolation)を適用する非剛体ワーピング(Non-Rigid Warping)を遂行して、前記剛体整合部の結果物より実際の脳により正確に整合された第2整列ブレーンイメージを獲得する非剛体整合部、
前記第2整列ブレーンイメージを神経血管解剖学的分割ネットワーク(Neurovascular Anatomy Segmentation Network)に通過させて、前記第2整列ブレーンイメージから脳血管地図を抽出する神経血管分割部、および
前記脳血管地図に基づいて前記脳と関連した情報を提供する判断部、を含み、
前記ヘッド分割部は、
前記CTイメージに対してリサイジング(Resizing)作業、HUウィンドウィング(Windowing)作業およびノーマライジング(Normalizing)作業のうち少なくとも一つである前処理(Pre-processing)を遂行し、
前記前処理されたCTイメージが前記ヘッド分割ネットワークを通過するようにし、
前記ヘッド分割ネットワークを通過した前記CTイメージに対してブレーンVOIクロップ(Brain VOI Crop)作業および特異値クラスター(Outlier Cluster)除去作業のうち少なくとも一つである後処理(Post-processing)を遂行し、
前記後処理されたCTイメージを基盤に前記ボーンマスク(Bone Mask)、ブレーンマスク(Brain Mask)および血管マスク(Vessel Mask)を予測する装置。
【請求項9】
前記リサイジング(Resizing)作業は、前記ヘッド分割ネットワークが要求するサイズに映像を縮小および/または拡大する作業であり、
前記HUウィンドウィング(Windowing)作業は、Hounsfield unit(HU)の上限および下限を設定する作業であり、
前記ノーマライジング(Normalizing)作業は、前記設定された下限から前記上限までのHU Levelを決定し、決定されたレベル間隔でマッピングする作業であり、
前記ブレーンVOIクロップ(Brain VOI Crop)作業は、前記脳に対する関心ボリューム(Volume of Interest)領域以外の領域を除去した後、サイズを再調整する作業であり、
前記特異値クラスター(Outlier Cluster)除去作業は、3次元上で連結されずにかけ離れている特異値クラスターを除去する作業である、請求項8に記載の装置。
【請求項10】
前記アトラス部の標準化したテンプレート(Template)データは、解剖学的なパターンまたは特性が保存されるように前記特定標本のデータを中央に整列して予め指定された水準によって整合後、合成して構成することで生成され、
前記変換媒介変数(Transformation Parameter)に基づいた剛体ワーピング(Rigid Warping)は、移動(Translation)、回転(rotation、)およびスケール(scale)変換を含む線形変換を適用して、前記ブレーンイメージが潰れることなく、元の割合が維持されたまま変形されるようにし、
前記変形フィールド(Deformation Field)に基づいた非剛体ワーピング(Non-Rigid Warping)は、前記ボクセル単位のグリッド補間(Grid Interpolation)を適用して、前記変換媒介変数(Transformation Parameter)に基づいて1次整列されたブレーンイメージに細部的な2次整列を遂行して、前記実際の脳にさらに一致する形態になるように整列を遂行する、請求項8に記載の装置。
【請求項11】
前記脳血管地図は、動脈の解剖学的構造を区分して抽出され、
前記情報は、血管構造による適応症を区分するデータを含み、
前記血管構造による適応症は、大血管閉塞(Large Vessel Occlusion、LVO)および動脈流(Aneurysm)を含み、
前記判断部が提供する前記情報は、前記適応症が探知および/または予測された前記脳血管地図上の位置情報および偽陽性(False-Positive)と関連した情報を含む、請求項8に記載の装置。
【手続補正3】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【手続補正4】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【手続補正5】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【手続補正6】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【手続補正7】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【手続補正8】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【手続補正9】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】