IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジェイエルケイ インコーポレイテッドの特許一覧

<>
  • 特表-脳病変情報提供装置及び方法 図1
  • 特表-脳病変情報提供装置及び方法 図2
  • 特表-脳病変情報提供装置及び方法 図3
  • 特表-脳病変情報提供装置及び方法 図4
  • 特表-脳病変情報提供装置及び方法 図5a
  • 特表-脳病変情報提供装置及び方法 図5b
  • 特表-脳病変情報提供装置及び方法 図5c
  • 特表-脳病変情報提供装置及び方法 図6
  • 特表-脳病変情報提供装置及び方法 図7
  • 特表-脳病変情報提供装置及び方法 図8
  • 特表-脳病変情報提供装置及び方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-24
(54)【発明の名称】脳病変情報提供装置及び方法
(51)【国際特許分類】
   A61B 5/055 20060101AFI20220216BHJP
【FI】
A61B5/055 376
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021538502
(86)(22)【出願日】2019-12-27
(85)【翻訳文提出日】2021-07-21
(86)【国際出願番号】 KR2019018593
(87)【国際公開番号】W WO2020139011
(87)【国際公開日】2020-07-02
(31)【優先権主張番号】10-2018-0171152
(32)【優先日】2018-12-27
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521285399
【氏名又は名称】ジェイエルケイ インコーポレイテッド
【氏名又は名称原語表記】JLK, INC.
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100186716
【弁理士】
【氏名又は名称】真能 清志
(72)【発明者】
【氏名】キム ウォンテ
(72)【発明者】
【氏名】カン シンウク
(72)【発明者】
【氏名】リ ミョンジェ
(72)【発明者】
【氏名】キム ドンミン
(72)【発明者】
【氏名】チャン チンソン
【テーマコード(参考)】
4C096
【Fターム(参考)】
4C096AA10
4C096AB07
4C096BA18
4C096BA37
4C096DA15
4C096DC20
4C096DC33
(57)【要約】
本開示の一態様による脳病変情報提供装置が提供できる。前記脳病変情報提供装置は、ユーザの入力を反映して3D TOF MRA(3D Time-of-flight magnetic resonance angiography)を表示することができる環境を提供するMRA提供部と、脳病変領域を設定し、前記設定された脳病変領域及び前記3D TOF MRAを結合して脳病変画像を生成及び管理する脳病変入力部と、前記脳病変画像のプロジェクション位置に対応する少なくとも一つの画像フレームを含むMIP(Maximum intensity projection)画像データを構成するMIP変換部と、前記MIP画像データに含まれている前記少なくとも一つの画像フレームから脳病変情報のノイズを除去し、前記ノイズの除去された脳病変情報を反映した、補正されたMIP画像データを構成するノイズ除去部と、前記補正されたMIP画像データを逆投影(back-projection)して、補正された脳病変画像を再構成するMRA再構成部と、を含むことができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
画像に基づいて脳病変情報を提供する電子装置において、
ユーザの入力を反映して3D TOF MRA(3D Time-of-flight magnetic resonance angiography)を表示することができる環境を提供するMRA提供部と、
脳病変領域を設定し、前記設定された脳病変領域及び前記3D TOF MRAを結合して脳病変画像を生成及び管理する脳病変入力部と、
前記脳病変画像のプロジェクション位置に対応する少なくとも一つの画像フレームを含むMIP(Maximum intensity projection)画像データを構成するMIP変換部と、
前記MIP画像データに含まれている前記少なくとも一つの画像フレームから脳病変情報のノイズを除去し、前記ノイズの除去された脳病変情報を反映した、補正されたMIP画像データを構成するノイズ除去部と、
前記補正されたMIP画像データを逆投影(back-projection)して、補正された脳病変画像を再構成するMRA再構成部と、を含むことを特徴とする、脳病変情報提供装置。
【請求項2】
前記ノイズ除去部は、
前記少なくとも一つの画像フレームから脳病変情報を検出し、前記脳病変情報を用いて少なくとも一つの3次元サイノグラム(Sinogram)で再構成し、
前記少なくとも一つの3次元サイノグラムを用いて前記脳病変情報に対するエラー又はノイズを除去することを特徴とする、請求項1に記載の脳病変情報提供装置。
【請求項3】
前記ノイズ除去部は、
前記少なくとも一つの3次元サイノグラムに所定の少なくも一つのフィルタを適用するが、前記所定の少なくとも一つのフィルタに対するDilation(膨張)又はErosion(侵食)を適用し、適用された結果を反映して前記脳病変情報に対するエラー又はノイズを除去することを特徴とする、請求項2に記載の脳病変情報提供装置。
【請求項4】
前記ノイズ除去部は、
前記少なくとも一つの3次元サイノグラムのフィルタリングした結果に対して、加重和(Weighted summation)演算を処理して前記脳病変情報に対するエラー又はノイズを除去することを特徴とする、請求項3に記載の脳病変情報提供装置。
【請求項5】
前記脳病変入力部は、
ユーザが前記脳病変領域を設定することができる環境を提供し、前記ユーザから前記脳病変領域の入力を受けて設定することを特徴とする、請求項1に記載の脳病変情報提供装置。
【請求項6】
前記脳病変入力部は、
予め学習された脳病変領域学習モデルを用いて脳病変領域を検出及び設定することを特徴とする、請求項1又は5に記載の脳病変情報提供装置。
【請求項7】
電子装置が画像に基づいて脳病変情報を提供する方法において、
3D TOF MRA(3D Time-of-flight magnetic resonance angiography)を提供する過程と、
脳病変領域を設定し、前記設定された脳病変領域及び前記3D TOF MRAを結合して脳病変画像を生成する過程と、
前記脳病変画像のプロジェクション位置に対応する少なくとも一つの画像フレームを含むMIP(Maximum intensity projection)画像データを構成する過程と、
前記MIP画像データに含まれている前記少なくとも一つの画像フレームから脳病変情報のノイズを除去し、前記ノイズの除去された脳病変情報を反映した、補正されたMIP画像データを構成する過程と、
前記補正されたMIP画像データを逆投影(back-projection)して、補正された脳病変画像を再構成する過程と、を含むことを特徴とする、脳病変情報提供方法。
【請求項8】
前記補正されたMIP画像データを構成する過程は、
前記少なくとも一つの画像フレームから脳病変情報を検出する過程と、
前記脳病変情報を用いて少なくとも一つの3次元サイノグラム(Sinogram)で再構成する過程と、
前記少なくとも一つの3次元サイノグラムを用いて前記脳病変情報に対するエラー又はノイズを除去する過程と、を含むことを特徴とする、請求項7に記載の脳病変情報提供方法。
【請求項9】
前記脳病変情報に対するエラー又はノイズを除去する過程は、
前記少なくとも一つの3次元サイノグラムに所定の少なくとも一つのフィルタを適用するが、前記所定の少なくとも一つのフィルタに対するDilation(膨張)又はErosion(侵食)を適用し、適用された結果を反映して前記脳病変情報に対するエラー又はノイズを除去することを特徴とする、請求項8に記載の脳病変情報提供方法。
【請求項10】
前記脳病変情報に対するエラー又はノイズを除去する過程は、
前記少なくとも一つの3次元サイノグラムのフィルタリング結果に対して、加重和(Weighted summation)演算を処理して前記脳病変情報に対するエラー又はノイズを除去することを特徴とする、請求項9に記載の脳病変情報提供方法。
【請求項11】
前記脳病変画像を生成する過程は、
ユーザから脳病変領域の入力を受けて前記脳病変領域を設定する過程、又は
予め学習された脳病変領域学習モデルを用いて前記脳病変領域を検出及び設定する過程を含むことを特徴とする、請求項7に記載の脳病変情報提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理技術に係り、より具体的には、検出又は入力された脳病変情報を3次元脳画像にマーキングして提供する方法及び装置に関する。
【背景技術】
【0002】
医療画像装置は、対象体の内部構造を画像として取得するための装備である。医療画像処理装置は、非侵襲検査装置であって、身体内の構造的詳細、内部組織及び流体の流れなどを撮影及び処理してユーザに示す。ユーザ(例えば、医師)は、医療用画像処理装置から出力される医療画像を用いて患者の健康状態及び疾病を診断することができる。
【0003】
生体組織が静的であるのに反し、血管の内部は循環が持続するという特性の違いを利用して、血管と組織を画像で区分することができ、このような特性を利用して、3D TOF(time of flight)-MRA(Magnetic Resonance Angiography)撮影装置が使われている。
【0004】
3D TOF MRAは、循環する血流が静的な組織内に進入しながら発生する相対的磁化(magnetization)の差を画像化させたものであって、血管疾患、特に脳血管疾患を分析するのに多く使われている。このような3D TOF MRAは、単に対象(例えば、患者)の血管状態のみを示し、脳血管疾患などの脳病変を直接示してはいない。
【0005】
ユーザ(例えば、医師)が3D TOF MRAを確認し、脳血管疾患などの脳病変の発生が疑われる領域を患者に提供したり、今後疾病の分析に使用したり、手術時に参考画像として使用したりするのが一般的である。脳血管疾患などの脳病変の場合には、3次元の構造からなるが、3D形状のTOF MRA上に脳病変の発生が疑われる領域を直接表示したりマーキングしたりすることができないという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
ユーザ(例えば、医師)が3D TOF MRA上に脳血管疾患などの脳病変の発生が疑われる領域を直接表示又はマーキングし、ユーザによってマーキングされた領域、すなわち脳病変発生領域を3次元構造で表示することができる装置が要求される。
【0007】
一方、ディープラーニング(deep learning)は、非常に膨大な量のデータを学習して、新しいデータが入力される場合、学習結果に基づいて、確率的に最も高い回答を選択することである。このようなディープラーニングは、画像に応じて適応的に動作することができ、データに基づいてモデルを学習する過程で特性因子を自動的に見つけるので、最近、人工知能分野でこれを活用しようとする試みが増えている傾向にある。
前述したところを考慮して、医療画像を用いて学習モデルを構築するためには、学習に使われるデータセット、例えば、疾患発生領域を正確にマーキングした画像が要求される。特に、前述した3D TOF MRAを用いて脳病変領域を正確に学習するためには、脳病変発生領域を3次元構造で表示した画像が要求される。
【0008】
本開示の技術的課題は、3D TOF MRAを用いて検出された脳病変領域を3次元構造で正確に示す3次元画像を構成することができる方法及び装置を提供することにある。
本開示の他の技術的課題は、入力時に発生しうるノイズを除去して脳病変領域を3次元画像に正確に示すことができる方法及び装置を提供することにある。
本開示が解決しようとする技術的課題は上述した技術的課題に限定されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【課題を解決するための手段】
【0009】
本開示の一態様によれば、脳病変情報提供装置が提供できる。この脳病変情報提供装置は、ユーザの入力を反映して3D TOF MRA(3D Time-of-flight magnetic resonance angiography)を表示することができる環境を提供するMRA提供部と、脳病変領域を設定し、前記設定された脳病変領域及び前記3D TOF MRAを結合して脳病変画像を生成及び管理する脳病変入力部と、前記脳病変画像のプロジェクション位置に対応する少なくとも一つの画像フレームを含むMIP(Maximum intensity projection)画像データを構成するMIP変換部と、前記MIP画像データに含まれている前記少なくとも一つの画像フレームから脳病変情報のノイズを除去し、前記ノイズの除去された脳病変情報を反映した、補正されたMIP画像データを構成するノイズ除去部と、前記補正されたMIP画像データを逆投影(back-projection)して、補正された脳病変画像を再構成するMRA再構成部と、を含むことができる。
【0010】
本開示の他の態様によれば、脳病変情報提供方法が提供できる。この脳病変情報提供方法は、3D TOF MRA(3D Time-of-flight magnetic resonance angiography)を提供する過程と、脳病変領域を設定し、前記設定された脳病変領域及び前記3D TOF MRAを結合して脳病変画像を生成する過程と、前記脳病変画像のプロジェクション位置に対応する少なくとも一つの画像フレームを含むMIP(Maximum intensity projection)画像データを構成する過程と、前記MIP画像データに含まれている前記少なくとも一つの画像フレームから脳病変情報のノイズを除去し、前記ノイズの除去された脳病変情報を反映した、補正されたMIP画像データを構成する過程と、前記補正されたMIP画像データを逆投影(back-projection)して、補正された脳病変画像を再構成する過程と、を含むことができる。
【0011】
本開示について簡略に要約された上記の特徴は、後述する本開示の詳細な説明の例示的な様相に過ぎず、本開示の範囲を限定するものではない。
【発明の効果】
【0012】
本開示によれば、3D TOF MRAを用いて検出された脳病変領域を3次元構造で正確に示す3次元画像を構成することができる方法及び装置が提供できる。
また、本開示によれば、入力時に発生しうるノイズを除去して脳病変領域を3次元画像に正確に示すことができる方法及び装置が提供できる。
【0013】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0014】
図1】本開示の一実施形態による脳病変情報提供装置の構成を示すブロック図である。
図2】本開示の一実施形態による脳病変情報提供装置によって脳病変を入力する動作を例示する図である。
図3】本開示の一実施形態による脳病変情報提供装置で形成される脳病変画像及びMIP画像データを例示するが図である。
図4】本開示の一実施形態による脳病変情報提供装置で形成される、補正された脳病変画像及び補正されたMIP画像データを例示する図である。
図5図5a~図5cは、本開示の一実施形態に係る脳病変情報提供装置に備えられたノイズ除去部によって処理されるデータを例示する図である。
図6】本開示の一実施形態に係る脳病変情報提供装置に備えられる脳血管疾患検出装置の構成を示すブロック図である。
図7図6の脳血管疾患検出装置で使用される3D TOF MRA及びMIP MRAを例示する図である。
図8】本開示の一実施形態による脳病変情報提供方法の手順を示すフローチャートである。
図9】本開示の一実施形態による脳病変情報提供装置及び方法を実行するコンピューティングシステムを例示するブロック図である。
【発明を実施するための形態】
【0015】
以下、添付図面を参照して、本開示の実施形態について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。ところが、本開示は、様々な異なる形態で実現でき、ここで説明する実施形態に限定されない。
本開示の実施形態を説明するにあたり、公知の構成又は機能についての具体的な説明が本発明の要旨を不明確にするおそれがあると判断された場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係のない部分は省略し、同様の部分には同様の符号を付した。
【0016】
本開示において、ある構成要素が他の構成要素に「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が介在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、他の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第1」、「第2」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に記載されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施形態における第1の構成要素は、他の実施形態における第2の構成要素と呼ぶこともあり、これと同様に、一実施形態における第2の構成要素を他の実施形態における第1の構成要素と呼ぶこともある。
本開示において、互いに区別される構成要素はそれぞれの特徴を明確に説明するためであり、構成要素が必ずしも分離されることを意味するのではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位からなってもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位からなってもよい。したがって、特に断りのない場合でも、このように統合又は分散された実施形態も、本開示の範囲に含まれる。
【0017】
本開示において、様々な実施形態で説明する構成要素が、必ずしも必要不可欠な構成要素を意味するものではなく、その一部は選択的な構成要素であってもよい。したがって、一実施形態で説明する構成要素の部分集合で構成される実施形態も、本開示の範囲に含まれる。また、様々な実施形態で説明する構成要素にさらに他の構成要素を含む実施形態も、本開示の範囲に含まれる。
【0018】
以下、添付図面を参照して本開示の実施形態について説明する。
図1は本開示の一実施形態による脳病変情報提供装置の構成を示すブロック図である。
図1を参照すると、脳病変情報提供装置10は、MRA提供部11、脳病変入力部13、MIP変換部15、ノイズ除去部17、及びMRA再構成部19を含むことができる。
【0019】
MRA提供部11は、3D TOF MRA(3D Time-of-flight magnetic resonance angiography)をユーザの入力を反映して表示することができる環境を提供することができる。3D TOF MRAは、脳領域で血管が存在する領域の信号を強く測定して取得した3D形状のMRAであることができる。3D TOF MRAが3D形状のデータであるので、MRA提供部11は、ユーザによって入力される領域を確認し、確認された領域に応じてプロジェクション位置を設定することができる。
【0020】
例えば、MRA提供部11は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置に接続でき、外部入力装置を介して入力される信号を確認することができる。また、MRA提供部11は、ユーザインターフェースを備えることができ、外部入力装置の入力信号をユーザインターフェースを介して提供することができる。具体的には、ユーザインターフェースは、外部入力装置の入力領域に対応するプロジェクション位置を確認し、これに対応する位置に現れる3D TOF MRAを表示するように構成できる。また、ユーザインターフェースは、外部入力装置の入力信号に応じて、MRAを拡大又は縮小して表示するように構成できる。
【0021】
脳病変入力部13は、MRA提供部11が提供する3D TOF MRAを表示しながら、ユーザによって選択される領域を脳病変領域として設定することができる環境を提供することができる。
【0022】
具体的には、脳病変入力部13は、3D TOF MRA200(図2参照)をディスプレイに出力し、出力される3D TOF MRAで脳病変が存在する領域、すなわち、脳病変領域の入力を受けることができるユーザインターフェースを提供することができる。例えば、脳病変入力部13は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置を介して接続でき、外部入力装置によって指定される領域に所定の表示子を出力し、外部入力装置を介して選択される領域を脳病変領域201、202として設定(annotation)することができる。
【0023】
脳病変入力部13は、設定(annotation)された脳病変領域を脳病変情報として保存及び管理することができ、特に、3D形状のMRAと結合して脳病変画像を生成及び管理することができる。脳病変画像は、3D形状のMRAをベースとするので、3D形状からなることができ、プロジェクション位置によって異なるように表示することができる。これに基づいて、MIP変換部15は、3D形状の脳病変画像を所定のプロジェクション位置に対応する少なくとも一つのMIP(Maximum intensity projection)画像に変換して提供することができる。
【0024】
例えば、MIP変換部15は、所定のプロジェクション位置を確認することができ、脳病変画像から、確認されたプロジェクション位置に対応する画像フレームを取得することができる。そして、MIP変換部15は、前述した動作を介して取得された複数の画像フレームを組み合わせてMIP画像データを構成することができる。
【0025】
例えば、図3を参照すると、複数の2D MRA画像300を積層して構成された3D TOF MRA310をベースとした脳病変画像320が生成できる。そして、脳病変画像を中心に少なくとも一つのプロジェクション位置が設定できるが、MIP変換部11は、第1プロジェクション位置P1で取得して第1画像フレームF1を構成し、第2プロジェクション位置P2で取得して第2画像フレームF2を構成することができる。MIP変換部11は、このような動作を繰り返し行い、n個のプロジェクション位置Pnに対応するn個の画像フレームFnを取得することができる。そして、MIP変換部15は、n個の画像フレームFnを所定の位置に沿って整列してMIP画像データ330を構成することができる。
【0026】
ノイズ除去部17は、MIP画像データに含まれている画像フレームそれぞれから脳病変情報を抽出することができ、抽出された脳病変情報のノイズを確認して除去することができる。例えば、画像フレームそれぞれから抽出された脳病変情報に所定のノイズが含まれ得るが、ノイズ除去部17は、抽出された脳病変情報に対するDilation(膨張)、Erosion(侵食)などの処理を行うことにより、ノイズを除去することができる。さらに、ノイズ除去部17は、抽出された脳病変情報に対するDilation(膨張)、Erosion(侵食)などの処理を行った結果に所定の重みを適用して加重和(Weighted summation)処理を施すことにより、ノイズを除去することもできる。
【0027】
また、ノイズ除去部17は、ノイズの除去された脳病変情報をMIP画像データに反映して、補正されたMIP画像データ410(図4参照)を構成することができる。
ノイズ除去部17がノイズを除去する具体的な動作は、後述する図5a乃至図5cを参照して詳細に説明する。
【0028】
一方、MRA再構成部19は、ノイズ除去部17が提供する、補正されたMIP画像データ410を用いて3D形状の脳病変画像(以下、「補正された脳病変画像」という)430を再構成することができる。つまり、MRA再構成部19は、脳病変画像に基づいてMIP画像データを構成するときに使用されたプロジェクション方式を考慮して、補正されたMIP画像データ410を逆投影(back-projection)することにより、補正された脳病変画像430を構成することができる。
【0029】
以下、図5a~図5cを参照して、前述したノイズ除去部の詳細動作を説明する。
図5a~図5cは本開示の一実施形態による脳病変情報提供装置に備えられたノイズ除去部によって処理されるデータを例示する図であって、図5aはノイズ除去部によって構成されるサイノグラム(Sinogram)を例示し、図5bはサイノグラムを用いてノイズ除去を行う動作を例示し、図5cはノイズの除去されたサイノグラムから補正されたMIP画像データを構成する動作を例示する。
【0030】
まず、図5aを参照すると、MIP変換部から提供されたMIP画像データ510は、脳病変情報を含む脳病変画像に基づいて構成されたデータであるので、ノイズ除去部17は、MIP画像データ510に含まれているそれぞれの画像フレームから脳病変情報、すなわち脳病変領域を検出することができる。
【0031】
以後、ノイズ除去部17は、それぞれの画像フレームから検出された脳病変情報、すなわち脳病変領域を3次元サイノグラム(Sinogram)520で再構成することができる。
【0032】
脳病変情報は、ユーザがユーザインターフェースを用いて入力するか、或いは予め学習された脳病変領域学習モデルを用いて検出されるものなので、脳病変領域のエラー又はノイズ521a、521b、521c(図5b参照)が存在することができる。したがって、ノイズ除去部17は、所定の方向フィルタ(directional filter)を用いて脳病変情報に対するDilation(膨張)、Erosion(侵食)などの処理を実行することができる。
【0033】
例えば、ノイズ除去部17は、3次元サイノグラム520を対象としてDilation(膨張)、Erosion(侵食)などの処理を繰り返し行い、脳病変領域のエラー又はノイズ521a、521b、521cを除去することができる。さらに、ノイズ除去部17は、3次元サイノグラム520を対象として、Dilation(膨張)、Erosion(侵食)などを処理した結果に所定の重みを適用する加重和(Weighted summation)演算を介してエラー又はノイズ除去を行うことができる。
【0034】
前述した動作によって、ノイズ除去部17は、3次元サイノグラム520に存在するエラー又はノイズ521a、521b、521cが除去された状態のサイノグラム、すなわち、補正されたサイノグラム530を構成することができる。
【0035】
以後、ノイズ除去部17は、それぞれの画像フレームに対応する、補正されたサイノグラム530を確認し、それぞれの画像フレームのプロジェクション位置P1、P2、...、Pnを考慮して補正されたサイノグラム530を反映することにより、補正されたMIP画像データ540(図5c参照)を構成することができる。
【0036】
一方、前述した本開示の一実施形態において、脳病変情報提供装置に備えられた脳病変入力部は、ユーザが脳病変領域を入力することを例示した。
他の例として、脳病変入力部は、予め学習された脳病変領域学習モデルを用いて脳病変領域を検出及び入力することができる。
【0037】
別の例として、脳病変入力部は、予め学習された脳病変領域学習モデルを用いて検出される脳病変領域と、ユーザが入力する脳病変領域とを組み合わせて、脳病変領域を入力することも可能である。
【0038】
以下、予め学習された脳病変領域学習モデルを用いて脳病変領域を検出する装置及び動作について詳細に説明する。
【0039】
図6は本開示の一実施形態に係る脳病変情報提供装置に備えられる脳血管疾患検出装置の構成を示すブロック図である。
【0040】
図6を参照すると、脳血管疾患検出装置60は、MIP MRA構成部61、空間特性検出部62、フレーム特性検出部64、及び病変特性検出部66を含むことができる。
MIP MRA構成部61は、3D TOF MRA(3D Time-of-flight magnetic resonance angiography)の入力を受け、MIP MRA(Maximum intensity projection magnetic resonance angiography)を構成することができる。ここで、3D TOF MRAは、脳領域で血管が存在する領域の信号を強く測定して取得した3D形状のMRAであることができ、MIP MRAは、3D TOF MRAを様々な方向からプロジェクション(Projection)して取得した画像フレームを時系列的に組み合わせて構成した動画データであることができる。
【0041】
例えば、MIP MRA構成部61は、所定のプロジェクション位置を確認することができ、確認されたプロジェクション位置に対応する画像フレームを取得することができる。そして、MIP MRA構成部61は、前述した動作を介して取得された複数の画像フレームを所定の時間単位を基準として時系列的に組み合わせて動画データを構成することができる。
【0042】
例えば、図7を参照すると、複数の2D MRA画像700を積層して構成された3D TOF MRA710を中心に少なくとも一つのプロジェクション位置が設定できるが、MIP MRA構成部61は、第1プロジェクション位置P1で取得して第1画像フレームF1を構成し、第2プロジェクション位置P2で取得して第2画像フレームF2を構成することができる。MIP MRA構成部61は、このような動作を繰り返し行い、n個のプロジェクション位置Pnに対応するn個の画像フレームFnを取得することができる。MIP MRA構成部61は、n個の画像フレームFnを所定の位置に沿って整列し、整列された複数の画像フレームを所定の時間単位60msごとに配置及び組み合わせして動画データ形式のMIP MRA730を構成することができる。
【0043】
さらに、MIP MRAは、画像フレームF1、F2、...、Fnに対応するプロジェクション位置P1、P2、...、Pn及び時間又は配列順序に対する情報を含むことができる。
【0044】
空間特性検出部62は、MIP MRAに含まれている画像フレームF1、F2、...、Fnそれぞれから空間特性を抽出することができる。特に、空間特性検出部62は、空間特性学習モデル63を備えることができ、空間特性学習モデル63を用いて、MIP MRAに含まれている画像フレームF1、F2、...、Fnそれぞれから空間特性を抽出することができる。
【0045】
例えば、空間特性学習モデル63には、MIP MRAに含まれている画像フレームF1、F2、...、Fnの数に対応するCNNが備えられることができる。空間特性学検出部62は、第1画像フレームF1を第1CNNの入力に伝達し、第2画像フレームF2を第2CNNの入力に伝達し、第n画像フレームFnを第nCNNの入力に伝達することができる。
【0046】
これに対応して、空間特性学習モデル63に備えられる複数のCNNは、複数の画像フレームF1、F2、...、Fnそれぞれに対応する複数の空間特性を出力することができ、空間特性検出部62は、前述した複数の空間特性を順次配列してシーケンシャルなデータで構成することができる。この時、空間特性検出部62は、画像フレームF1、F2、...、Fnに対応するプロジェクション位置P1、P2、...、Pn及び時間又は配列順序に対する情報を考慮して直列化(Sequential)データを構成することができる。
【0047】
一方、フレーム特性検出部64は、直列化データで構成された複数の空間特性の入力を受け、画像フレーム間の関係に対する特性(すなわち、フレーム特性)を検出することができる。好ましくは、フレーム特性検出部64は、循環ニューラルネットワーク(RNN、Recurrent Neural Nerwork)学習方式に基づいたフレーム特性学習モデル65を用いてフレーム特性を検出することができる。
【0048】
一方、病変特性検出部66は、複数の画像フレームF1、F2、...、Fnそれぞれに対応する病変情報を学習することができる。このために、フレーム特性検出部64は、シーケンシャルなデータで構成されたフレーム特性を再構成して並列化(parallel)データを構成することができる。
【0049】
病変特性検出部66は、フレーム特性検出部64から提供されるフレーム特性から病変特性を抽出することができる。特に、病変特性検出部66は、病変特性学習モデル67を備えることができる。
【0050】
病変特性学習モデル67は、CNN学習方式に基づいた学習モデルであることができ、MIP MRAに含まれている画像フレームF1、F2、...、Fnの数に対応するだけのCNNを備えることができる。そして、病変特性検出部66は、第1画像フレームF1に対応する第1フレーム特性を第1CNNの入力に伝達し、第2画像フレームF2に対応する第1フレーム特性を第2CNNの入力に伝達し、第n画像フレームFnに対応する第nフレーム特性を第nCNNの入力に伝達するように構成することができる。
さらに、空間特性学習モデル63に備えられる複数のCNNは、情報抽出ドメイン(Domain)のサイズを減らすプーリング(Pooling)構造を備えることができ、病変特性学習モデル67に備えられる複数のCNNは、特徴マップ(feature map)のドメイン(Domain)サイズを増やすアップサンプリング(upsampling)構造を備えることができる。
【0051】
空間特性学習モデル63及び病変特性学習モデル67に備えられる複数のCNNは、それぞれ2回の3×3畳み込みを備えることが好ましい。また、空間特性学習モデル63は、2×2最大プーリング演算(max-pooling operation)構造を備え、病変特性学習モデル67は、共一次内挿法(bilinear interpolation)で長さと幅を2倍に増加させる構造を備えることができる。
【0052】
たとえ、本開示の一実施形態において、空間特性学習モデル63及び病変特性学習モデル67に備えられる畳み込みのサイズ及び個数、空間特性学習モデル63に備えられるプーリング(Pooling)構造、アップサンプリング(upsampling)構造などを例示したが、本開示は、これに限定されるものではなく、多様に変更できるのはいうまでもよい。
【0053】
図8は本開示の一実施形態による脳病変情報提供方法の手順を示すフローチャートである。
【0054】
本開示の一実施形態による脳病変情報提供方法は、前述した脳病変情報提供装置によって行われることができる。
まず、S801ステップで、脳病変情報提供装置は、3D TOF MRA(3D Time-of-flight magnetic resonance angiography)をユーザの入力を反映して表示することができる環境を提供することができる。3D TOF MRAは、脳領域で血管が存在する領域の信号を強く測定して取得した3D形状のMRAであることができる。3D TOF MRAが3D形状のデータであるので、脳病変情報提供装置は、ユーザによって入力される領域を確認し、確認された領域に応じてプロジェクション位置を設定することができる。
【0055】
例えば、脳病変情報提供装置は、マウス装置、デジタイザ装置、タッチスクリーン装置などの外部入力装置に接続でき、外部入力装置を介して入力される信号を確認することができる。そして、脳病変情報提供装置は、外部入力装置の入力領域に対応するプロジェクション位置を確認し、これに対応する位置で現れる3D TOF MRAを表示することができる
【0056】
S802ステップで、脳病変情報提供装置は、3D TOF MRAを表示しながら、ユーザによって選択される領域を脳病変領域として設定することができる。
具体的には、脳病変情報提供装置は、3D TOF MRAをディスプレイに出力し、出力される3D TOF MRAで脳病変が存在する領域、すなわち脳病変領域の入力を受けることができるユーザインターフェースを提供することができ、これにより、選択される領域を脳病変領域として設定(annotation)することができる。
【0057】
脳病変情報提供装置は、設定(annotation)された脳病変領域を脳病変情報として保存及び管理することができ、特に、3D形状のMRAと結合して脳病変画像を生成及び管理することができる。脳病変画像は、3D形状のMRAをベースとするので、3D形状からなることができ、プロジェクション位置によって異なるように示すことができる。これに基づいて、S803ステップで、脳病変情報提供装置は、3D形状の脳病変画像を所定のプロジェクション位置に対応する少なくとも一つのMIP(Maximum intensity projection)画像に変換して提供することができる。
【0058】
例えば、脳病変情報提供装置は、所定のプロジェクション位置を確認することができ、脳病変画像から、確認されたプロジェクション位置に対応する画像フレームを取得することができる。そして、脳病変情報提供装置は、前述した動作を介して取得された複数の画像フレームを組み合わせてMIP画像データを構成することができる。
【0059】
例えば、図3を参照すると、複数の2D MRA画像300を積層して構成された3D TOF MRA310をベースにした脳病変画像320が生成できる。そして、脳病変画像を中心に少なくとも一つのプロジェクション位置が設定できるが、脳病変情報提供装置は、第1プロジェクション位置P1で取得して第1画像フレームF1を構成し、第2プロジェクション位置P2で取得して第2画像フレームF2を構成することができる。MIP変換部15は、このような動作を繰り返し行い、n個のプロジェクション位置Pnに対応するn個の画像フレームFnを取得することができる。そして、脳病変情報提供装置は、n個の画像フレームFnを所定の位置に沿って整列してMIP画像データ330を構成することができる。
【0060】
S804ステップで、脳病変情報提供装置は、MIP画像データに含まれている画像フレームそれぞれから脳病変情報を抽出することができ、抽出された脳病変情報のノイズを確認して除去することができる。
【0061】
具体的には、MIP画像データ510(図5aを参照)は、脳病変情報を含む脳病変画像に基づいて構成されたデータであるので、脳病変情報提供装置は、MIP画像データ510に含まれているそれぞれの画像フレームから脳病変情報、すなわち脳病変領域を検出することができる。
【0062】
以後、脳病変情報提供装置は、それぞれの画像フレームから検出された脳病変情報、すなわち、脳病変領域を3次元サイノグラム(Sinogram)520で再構成することができる。
【0063】
脳病変情報は、ユーザがユーザインターフェースを用いて入力するか、或いは予め学習された脳病変領域学習モデルを用いて検出されるものなので、脳病変領域のエラー又はノイズ521a、521b、521c(図5b参照)が存在することができる。したがって、脳病変情報提供装置は、所定の方向フィルタ(directional filter)を用いて脳病変情報に対するDilation(膨張)、Erosion(侵食)などの処理を行うことができる。
【0064】
例えば、脳病変情報提供装置は、3次元サイノグラム520を対象に、Dilation(膨張)、Erosion(侵食)などの処理を繰り返し行い、脳病変領域のエラー又はノイズ521a、521b、521cを除去することができる。
さらに、脳病変情報提供装置は、3次元サイノグラム520を対象にDilation(膨張)、Erosion(侵食)などを処理した結果に所定の重みを適用する加重和(Weighted summation)演算によってエラー又はノイズ除去を行うことができる。
【0065】
前述した動作によって、脳病変情報提供装置は、3次元サイノグラム520に存在するエラー又はノイズ521a、521b、521cが除去された状態のサイノグラム、すなわち、補正されたサイノグラム530を構成することができる。
以後、脳病変情報提供装置は、それぞれの画像フレームに対応する、補正されたサイノグラム530を確認し、それぞれの画像フレームのプロジェクション位置P1、P2、...、Pnを考慮して補正されたサイノグラム530を反映することにより、補正されたMIP画像データ540(図5c参照)を構成することができる。
【0066】
一方、S805ステップで、脳病変情報提供装置は、補正されたMIP画像データ410(図4参照)を用いて3D形状の脳病変画像(以下、「補正された脳病変画像」という)430を再構成することができる。つまり、脳病変情報提供装置は、脳病変画像に基づいてMIP画像データを構成するときに使用されたプロジェクション方式を考慮して、補正されたMIP画像データ410を逆投影することにより、補正された脳病変画像430を構成することができる。
【0067】
図9は本開示の一実施形態による脳病変情報装置及び方法を実行するコンピューティングシステムを例示するブロック図である。
【0068】
図9を参照すると、コンピューティングシステム1000は、バス1200を介して接続される少なくとも一つのプロセッサ1100、メモリ1300、ユーザインターフェース入力装置1400、ユーザインターフェース出力装置1500、ストレージ1600、及びネットワークインターフェース1700を含むことができる。
【0069】
プロセッサ1100は、中央処理装置(CPU)又はメモリ1300および/又はストレージ1600に保存された命令語に対する処理を実行する半導体装置であることができる。メモリ1300及びストレージ1600は、さまざまな種類の揮発性又は不揮発性記憶媒体を含むことができる。例えば、メモリ1300は、ROM(Read Only Memory)及びRAM(Random Access Memory)を含むことができる。
【0070】
したがって、本明細書に開示された実施形態と関連して説明された方法又はアルゴリズムのステップは、プロセッサ1100によって実行されるハードウェア、ソフトウェアモジュール、又はその2つの組み合わせで直接実現できる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、着脱型ディスク、CD-ROMなどの記憶媒体(すなわち、メモリ1300および/又はストレージ1600)に常駐することもできる。例示的な記憶媒体は、プロセッサ1100にカップリングされ、そのプロセッサ1100は、記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができる。他の方法として、記憶媒体は、プロセッサ1100と一体型であることもできる。プロセッサ及び記憶媒体は、特定用途向け集積回路(ASIC)内に常駐することもできる。ASICは、ユーザ端末内に常駐することもできる。別の方法として、プロセッサ及び記憶媒体は、ユーザ端末内に個別コンポーネントとして常駐することもできる。
【0071】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることも可能である。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて更なる他のステップを含むことも可能である。
【0072】
本開示の様々な実施形態は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な様相を説明するためのものであり、様々な実施形態で説明する事項は、独立して適用されるか、或いは二つ以上の組み合わせで適用されることも可能である。
【0073】
また、本開示の様々な実施形態は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0074】
本開示の範囲は、様々な実施形態の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン-実行可能な命令(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、およびこのようなソフトウェア又は命令などが保存されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体(non-transitory computer-readable medium)を含む。
図1
図2
図3
図4
図5a
図5b
図5c
図6
図7
図8
図9
【国際調査報告】