(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010034
(43)【公開日】2024-01-23
(54)【発明の名称】診断補助情報の提供方法およびそれの実行する装置
(51)【国際特許分類】
A61B 5/055 20060101AFI20240116BHJP
G06T 7/00 20170101ALI20240116BHJP
【FI】
A61B5/055 380
G06T7/00 612
【審査請求】有
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2023180292
(22)【出願日】2023-10-19
(62)【分割の表示】P 2023133067の分割
【原出願日】2020-12-30
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
(71)【出願人】
【識別番号】520062384
【氏名又は名称】ニューロフェット インコーポレイテッド
【氏名又は名称原語表記】NEUROPHET INC.
【住所又は居所原語表記】12F, 124, Teheran-ro, Gangnam-gu, Seoul 06234, Republic of Korea
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】キム ドンヒョン
(72)【発明者】
【氏名】イ ミンホ
(57)【要約】 (修正有)
【課題】メディカルイメージを分析して病気に関するインデックスを算出することにおいて、画一化された基準を提供して、医師の主観的判断による影響を除去する。
【解決手段】メディカルイメージを分析して診断補助情報を提供する方法は、イメージを取得するステップ、脳の領域を反映する特徴値をラベリングするステップ、上記脳イメージ内に基準バウンダリを決めるステップ、第1病気インデックスおよび第2病気インデックスを計算するステップ、上記第1病気インデックスおよび上記第2病気インデックスに基づいて診断補助情報を提供するステップを含む。
【選択図】
図5
【特許請求の範囲】
【請求項1】
診断補助情報の提供装置により行われる複数のイメージに基づいて診断補助情報の提供方法であって、
第1スライスイメージ及び第2スライスイメージを取得するステップと、ここで、上記第1及び第2スライスイメージは脳に関連し、それぞれは複数の単位セルを含んでおり、
上記第1及び第2スライスイメージに含まれた上記複数のセルに白質、脳室又は白質高強度信号(WMH)の少なくとも1つを反映する特徴値をラベリングするステップと、
上記第1スライスイメージに含まれた第1セル及び上記第2スライスイメージに含まれた第2セルの間の位置的相関関係に基づいて診断補助情報を提供するステップと、を含んでおり、
上記第1セルは、白質、白質高強度信号又は脳室を反映する特徴値がラベリングされた複数のセルのうちの1つとして選択され、上記第2セルは、上記第1セルにラベリングされた特徴値と異なる脳の領域を反映する特徴値がラベリングされたものである
ことを特徴とする複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項2】
上記位置的相関関係は、上記第1セル及び上記第2セルの間の距離を含み、
上記第1セル及び上記第2セルの間の距離は、上記第1スライスイメージ及び上記第2スライスイメージの間の距離を考慮して決定される
ことを特徴する請求項1に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項3】
上記第1セルは、上記脳室にラベリングされたセルが形成する領域の中央部に位置する
ことを特徴とする請求項2に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項4】
上記第1セルは、上記脳室にラベリングされたセルが形成する領域の境界に位置する
ことを特徴とする請求項2に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項5】
上記複数のスライスイメージは、1つの被撮影客体に関連する複数の連続的な端面イメージを含み、
上記第1スライスイメージと上記第2スライスイメージは、上記複数の連続的な端面イメージの中から選択された2つのイメージである
ことを特徴とする請求項1に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項6】
上記第1スライスイメージ及び第2スライスイメージは、上記複数の連続的な端面イメージのうち隣接した2個のイメージである
ことを特徴とする請求項5に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項7】
上記診断補助情報は、WMH領域の厚さ(Thickness)を含む
ことを特徴とする請求項1に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項8】
上記診断補助情報は、WMH領域の広さ(area)を含む
ことを特徴とする請求項1に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項9】
上記第1セルの位置的情報を上記第2スライスイメージ内で反映する基準セルを決めるステップ;をさらに含み、
上記位置的相関関係は、上記基準セルと第2セルの関係から導出されるものである
ことを特徴とする請求項1に記載の複数のイメージに基づいて診断補助情報を提供するための方法。
【請求項10】
診断補助情報を提供するための装置において、
脳に関連して、複数のセルを含む第1スライスイメージ及び第2スライスイメージを含む複数のスライスイメージを取得するための通信モジュール、
上記複数のスライスイメージを分析して、診断補助情報を取得するコントローラー、を含んでおり、
上記コントローラーは、上記第1及び第2スライスイメージに含まれた上記複数のセルに白質、脳室又は白質高強度信号(WMH)のうち少なくとも1つを反映する特徴値をラベリングし、上記第1スライスイメージに含まれた第1セル及び上記第2スライスイメージに含まれた第2セルの間の位置的相関関係に基づいて診断補助情報を提供しており、
上記第1セルは白質、白質高強度信号又は脳室を反映する特徴値がラベリングされた複数のセルのうちの1つとして選択され、上記第2セルは、上記第1セルにラベリングされた特徴値と異なる脳の領域を反映する特徴値がラベリングされたものである
ことを特徴とする診断補助情報の提供装置。
【請求項11】
上記位置的相関関係は、上記第1セル及び上記第2セルの間の距離を含む
ことを特徴とする請求項10に記載の診断補助情報の提供装置。
【請求項12】
上記第1及び第2セルの間の距離は、
上記第1スライスイメージ及び上記第2スライスイメージの間の予め取得された距離を考慮して決定される
ことを特徴とする請求項11に記載の診断補助情報の提供装置。
【請求項13】
上記第1セルは、上記脳室にラベリングされたセルが形成する領域の中央部に位置する
ことを特徴とする請求項11に記載の診断補助情報の提供装置。
【請求項14】
上記第1セルは、上記脳室にラベリングされたセルが形成する領域の境界に位置する
ことを特徴とする請求項11に記載の診断補助情報の提供装置。
【請求項15】
上記複数のスライスイメージは、1つの被撮影客体に関連する複数の連続的な端面イメージを含み、
上記第1スライスイメージと上記第2スライスイメージは、上記複数の連続的な端面イメージの中から選択された2つのイメージである
ことを特徴とする請求項10に記載の診断補助情報の提供装置。
【請求項16】
上記第1スライスイメージ及び第2スライスイメージは、上記複数の連続的な端面イメージのうち隣接した2つのイメージである
ことを特徴とする請求項15に記載の診断補助情報の提供装置。
【請求項17】
上記診断補助情報は、WMH領域の厚さ(Thickness)を含む
ことを特徴とする請求項10に記載の診断補助情報の提供装置。
【請求項18】
上記WMH領域の厚さは、上記WMH領域の長軸の長さに基づいて決定される
ことを特徴とする請求項17に記載の診断補助情報の提供装置。
【請求項19】
上記診断補助情報は、WMH領域の広さ(area)を含む
ことを特徴とする請求項10に記載の診断補助情報の提供装置。
【請求項20】
上記コントローラーは、上記第1セルの位置的情報を上記第2スライスイメージ内で反映する基準セルを決定し、
上記位置的相関関係は、上記基準セルと第2セルの関係から導出されるものである
ことを特徴とする請求項10に記載の診断補助情報の提供装置。
【請求項21】
請求項1~9項のいずれか1項に記載の方法を駆動するためのプログラムが保存されたコンピュータ判読可能記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、メディカルイメージを分析して診断補助情報を提供する方法およびそれを実行するためのシステムに関し、特に、メディカルイメージを複数の領域にセグメンテーションして、上記複数の領域同士の関連関係に基づいて診断補助情報を提供する方法及びそれを実行するためのシステムに関するものである。
【背景技術】
【0002】
現代の医療技術分野では、メディカルイメージを精密に分析して病気関連情報をより正確に提供するための多様な技法への要求がますます増大している。このような趨勢の中で、メディカルイメージを分析して統一化された病気インデックスを提供する次世代医療技術が脚光を浴びている。
【0003】
メディカルイメージを分析して病気関連情報を提供するためのインデックスを算出する方式は、多様な文献により公開されてある。しかし、このような論文のほとんどは、メディカルイメージを分析する医師の臨床的判断が介入されていて、患者に提供される病気関連情報が医師によっては過度に主観的で偏差が激しいという限界点があった。
【0004】
また、メディカルイメージによって病気関連情報を提供するためにイメージセグメンテーションを行う場合でも、メディカルイメージの取得条件によりメディカルイメージ内でセグメンテーションできる領域が変わる。このため、特定の一つのメディカルイメージ内では病気に関する十分な情報を取得しにくくて、正確な診断補助情報を提供するためには、多様な条件で取得されたメディカルイメージをそれぞれセグメンテーションしなければならないという煩わしさが存在した。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の解決しようとする課題は、メディカルイメージを分析して病気に関するインデックスを算出することにおいて、画一化された基準を提供して、医師の主観的判断による影響を除去することである。
【0006】
また、本発明の解決しようとする課題は、高度に訓練された人工神経ネットワークを利用してメディカルイメージを分析することにより、客観的で画一化された病気インデックスを算出することである。
【0007】
また、本発明の解決しようとする課題は、メディカルイメージが有する性質に対応の病気インデックスを算出して、メディカルイメージの多様性による影響が除去された病気情報を提供することである。
【0008】
また、本発明の解決しようとする課題は、一つのメディカルイメージから少なくとも2つ以上の固有特性を有するセグメンテーション結果を取得することによって、病気関連情報の提供に多様性を増加させることである。
【課題を解決するための手段】
【0009】
本発明の実施形態による診断補助情報の提供装置は、脳に関連するMRIイメージを取得する通信モジュール、上記イメージを分析するためのプログラムが記憶されたメモリー、上記メモリーに記憶されたプログラムを利用して、脳に関連する上記MRIイメージを分析するコントローラーを含んでおり、上記コントローラーは、上記イメージから脳室領域および白質高強度信号領域を区別し、上記脳室領域から予め決められた距離の分だけ離れた基準バウンダリを設定し、上記基準バウンダリ内に存在の白質高強度信号領域に基づいた第1病気インデックス、および上記基準バウンダリ外に存在の白質高強度信号領域に基づいた第2病気インデックスを計算し、上記第1病気インデックスおよび上記第2病気インデックスに基づいて診断補助情報を提供することができる。
【0010】
本発明の他の一つの実施形態による診断補助情報の提供方法は、複数のセル(cell)を含む脳イメージを取得するステップ、上記複数のセルに脳の領域を反映するための特徴値をラベリングするステップ、ここで、上記脳の領域は、脳室および白質高強度信号(whitematter hyperintensity)を含み、上記脳イメージ内に基準バウンダリを決めるステップ、ここで、上記基準バウンダリは、上記脳室から予め決められた距離の分だけ離れたセルの集合として定義され、上記基準バウンダリ内に位置した白質高強度信号を表す特徴値でラベリングされたセルに関連のある第1病気インデックス、および上記基準バウンダリ外に位置した白質高強度信号を表す特徴値でラベリングされたセルに関連のある第2病気インデックスを計算するステップ、上記第1病気インデックスおよび上記第2病気インデックスに基づいて診断補助情報を提供するステップを含む、脳に関連の診断補助情報を提供することができる方法である。
【発明の効果】
【0011】
本発明によれば、メディカルイメージにより病気インデックスを算出するときに画一化された基準を提供することによって、患者の状態から客観的で明瞭な病気情報を提供することができる。
【0012】
本発明によれば、メディカルイメージに含まれた特性が反映される基準の算定方法を提供することによって、多様なメディカルイメージに適用できる病気情報の提供方法を提供することができる。
【0013】
本発明によれば、高度に訓練された人工神経ネットワークを利用してメディカルイメージを分析することによって、医師の臨床的判断が除去された、客観的で明瞭な病気情報を提供することができる。
本発明によれば、少なくとも2つ以上の異なる特性を有するメディカルイメージを通じて学習された人工神経ネットワークを利用することによって、患者の持つ病気の特性に対応のメディカルイメージに対する病気情報を正確に提供することができる。
【図面の簡単な説明】
【0014】
【
図1】
図1は、本発明の実施形態による診断補助情報の提供システムの一例を具現した図である。
【
図2】
図2は、本発明の実施形態による診断補助情報の提供システムの構成を概略的に示したブロック図である。
【
図3】
図3は、本発明の実施形態による映像取得装置の構成を示したブロック図である。
【
図4】
図4は、本発明の実施形態による映像分析装置の構成を示したブロック図である。
【
図5】
図5は、本発明の実施形態による診断補助情報の提供システムで実行される診断補助情報の提供方法を説明した概括的フローチャートである。
【
図6】
図6は、本発明の実施形態によるメディカルイメージを例示した図である。
【
図7】
図7は、本発明の実施形態による多様な取得条件に従ったメディカルイメージを例示した図である。
【
図8】
図8は、本発明の実施形態による映像分析装置が実行するメディカルイメージの分析動作の細部動作を説明したフローチャートである。
【
図9】
図9は、本発明の実施形態によるセグメンテーションされたメディカルイメージを例示した図である。
【
図10】
図10は、本発明の実施形態によるメディカルイメージから病気インデックスを抽出する方法の一例を説明したフローチャートであるだ。
【
図11】
図11は、本発明の実施形態による基準領域と基準バウンダリ示されたメディカルイメージの一例図である。
【
図12】
図12は、本発明の実施形態による対象領域の領域情報を取得する過程の一例図である。
【
図13】
図13は、本発明の実施形態による対象領域の領域情報を取得する過程の他の一例図である。
【
図14】
図14は、本発明の実施形態に従って計算された病気インデックスに基づいて取得された診断補助情報の提供が例示された図である。
【
図15】
図15は、本発明の実施形態に従って修正された基準バウンダリを利用して診断補助情報の提供方法の一例を説明したフローチャートである。
【
図16】
図16は、本発明の実施形態による基準バウンダリと非関心領域が重なった場合を示した図である。
【
図17a】
図17aは、本発明の実施形態により修正された基準バウンダリを計算する方法の例示図である。
【
図17b】
図17bは、本発明の実施形態により修正された基準バウンダリを計算する方法の例示図である。
【
図18】
図18は、本発明の実施形態により一部が修正された基準バウンダリおよび全体的に修正された基準バウンダリの例示図である。
【
図19】
図19は、本発明の実施形態による一部が修正された基準バウンダリの具体的な修正過程の例示図である。
【
図20】
図20は、本発明の実施形態に従って映像分析装置が複数のメディカルイメージから診断補助情報を提供する方法に関して説明した概略的フローチャートである。
【
図21】
図21は、本発明の実施形態による複数のメディカルイメージの一例を示した図である。
【
図22】
図22は、本発明の実施形態によるそれぞれ他の情報を含んでいるスライスイメージの例示およびこれによる診断補助情報の提供を示した図である。
【
図23】
図23は、本発明の実施形態による候補イメージから診断補助情報を取得する方法を概略的に説明したフローチャートである。
【
図24】
図24は、本発明の実施形態による候補イメージを例示した図である。
【
図25】
図25は、本発明の実施形態による候補イメージから診断補助情報を提供する例を示した図である。
【
図26】
図26は、本発明の実施形態による診断補助情報を提供する他の例を具現した図である。
【
図27】
図27は、本発明の実施形態による複数のイメージに基づいて病気インデックスを取得する方法を説明したフローチャートである。
【
図28】
図28は、本発明の実施形態による第1イメージの情報を考慮して第2イメージの病気インデックスを算出する過程を示した一例図である。
【
図29】
図29は、本発明の実施形態による第1イメージの情報を考慮して第2イメージの病気インデックスを算出する過程を示した他の一例図である。
【
図30】
図30は、本発明の実施形態により3Dメディカルモデルに基づいて診断補助情報の提供方法の一例を説明したフローチャートである。
【
図31】
図31は、本発明の実施形態により3Dメディカルモデルから病気インデックスを算出する過程の一例を示した図である。
【
図32】
図32は、本発明の実施形態により3Dメディカルモデルから病気インデックスを算出する過程の他の一例を示した図である。
【
図33】
図33は、本発明の実施形態により映像分析装置が実行するメディカルイメージのセグメンテーション動作を示した概略図である。
【
図34】
図34は、本発明の実施形態による人工神経ネットワークモデルの一つの実施例を示した図である。
【
図35】
図35は、本発明の実施形態による人工神経ネットワークモデルの他の一つの実現例を示した図である。
【
図36】
図36は、本発明の実施形態による人工神経ネットワークモデルを利用したセグメンテーション結果を例示した図である。
【
図37】
図37は、本発明の実施形態により複数の特性を含むようにセグメンテーションされたメディカルイメージを例示した図である。
【
図38】
図38は、本発明の実施形態による人工神経ネットワークの学習過程を説明したフローチャートである。
【
図39】
図39は、本発明の実施形態による第1イメージと第2イメージの整合過程を現わした例示だ。
【
図40】
図40は、本発明の実施形態による形態学的(morphological)修正の一例を示した図である。
【
図41】
図41は、本発明の実施形態により映像分析装置の人工神経ネットワークを利用したティプルロイン(deploying)過程を説明したフローチャートである。
【
図42】
図42は、本発明の実施形態による人工神経ネットワークの最終出力結果の一例を示した図である。
【発明を実施するための形態】
【0015】
本発明の実施形態による診断補助情報を提供装置は、脳に関連するMRIイメージを取得する通信モジュール、上記イメージを分析するためのプログラムが記憶されたメモリー、上記メモリーに記憶されたプログラムを利用して、脳に関連する上記MRIイメージを分析するコントローラーを含んでおり、上記コントローラーは、上記イメージから脳室領域および白質高強度信号領域を区別し、上記脳室領域から予め決められた距離の分だけ離れた基準バウンダリを設定し、上記基準バウンダリ内に存在の白質高強度信号領域に基づいた第1病気インデックス、および上記基準バウンダリ外に存在の白質高強度信号領域に基づいた第2病気インデックスを計算し、上記第1病気インデックスおよび上記第2病気インデックスに基づいて診断補助情報を提供することができる
【0016】
本発明の他の実施形態による診断補助情報を提供方法は、複数のセル(cell)を含む脳イメージを取得するステップ、上記複数のセルに脳の領域を反映するための特徴値をラベリングするステップ、ここで、上記脳の領域は、脳室および白質高強度信号(whitematter hyperintensity)を含み、上記脳イメージ内に基準バウンダリを決めるステップ、ここで、上記基準バウンダリは、上記脳室から予め決められた距離の分だけ離れたセルの集合として定義され、上記基準バウンダリ内に位置した白質高強度信号を表す特徴値でラベリングされたセルに関連のある第1病気インデックス、および上記基準バウンダリ外に位置した白質高強度信号を表す特徴値でラベリングされたセルに関連のある第2病気インデックスを計算するステップ、上記第1病気インデックスおよび上記第2病気インデックスに基づいて診断補助情報を提供するステップを含む、脳に関連の診断補助情報を提供することができる方法である。
【0017】
以下、添付の図面の詳細な説明を通じて、本発明の上述した目的、特徴および長所をより明らかにする。もちろん、本発明は多様な変更による実施形態で実現することができるが、以下では特定の実施形態を例として図示し、それを詳細に説明する。
【0018】
図面において、層および領域の厚さは明確性を表すために拡大して示されており、構成要素(element)または層が他の構成要素または層の「上(on)」または「上方(on)」に位置するとの記載は、他の構成要素または層のすぐ上の方にいる場合だけでなく、中間に他の層または他の構成要素を介在した場合も全部含んでいる。本明細書において、同じ符号は原則的に同じ構成要素を示す。なお、各実施形態に係る図面において、同じ思想範囲内の同じ機能を有する構成要素は、同じ符号を使って説明する。
【0019】
本発明に関する周知機能または構成の具体的な説明が本発明の要旨に不必要と判断される場合、その詳細な説明を省略する。また、本明細書の説明に利用される数字(例えば、第1,第2など)は、一つの構成要素と他の構成要素を区分するための識別記号に過ぎない。
【0020】
また、以下の説明において、構成要素の単位を表す「モジュール」や「部」は、明細書作成の容易さを考えて付けた用語であって、その用語自体による区別的な意味または役割はない。
【0021】
本明細書は、メディカルイメージを分析して、メディカルイメージに関連する診断補助情報の提供方法およびその方法を実施するシステムに関する。
【0022】
ここで、本明細書における「メディカルイメージ」は、医療産業で取得することができる多様なイメージを含むと解釈可能である。即ち、本明細書におけるメディカルイメージは、医療産業で利用される多様な装置から取得することができるイメージの通称である。一例として、磁気共鳴映像(MRI)のようにコンピュータトモグラフィー(CT)装置で取得したイメージがある。他の一例として、エックス線撮影装置(X-ray)で取得したメディカルイメージがある。もちろん、メディカルイメージは、このようなイメージに限定されるものではなく、一般のカメラ装置で取得することができる写真など、医療産業分野で取得できるすべてのイメージを含むことができる。
【0023】
また、一つの実施形態によるメディカルイメージの対象客体は、医療産業の対象となるすべての被撮影客体を含むことができる。一例として、メディカルイメージが患者のイメージであることもある。具体的には、メディカルイメージを患者の身体特定部位のイメージにすることができる。より具体的な例とし、メディカルイメージは、痴呆が疑われる患者の脳に関連する写真であることもあり、肺癌が疑われる患者の肺に関連するイメージであることもある。この以外、他の実施形態によるメディカルイメージの対象客体は、人間から採取した身体組織であることもある。
【0024】
即ち、本明細書におけるメディカルイメージは、本発明の思想に従うイメージ分析方法によってイメージ内の病気情報を取得しようとする、医療産業におけるすべての被撮影客体に関するイメージであることもあり、医療産業で利用される多様な装置により取得し且つ形(form)を有するイメージであることもある。ただし、本明細書の以下の説明では、説明の便宜上、人体の脳に関連する磁気共鳴映像(以下、「MRI」と称する)に関して主に説明するが、本発明の思想がそれに限定されることではない。
【0025】
また、本明細書における「診断補助情報」とは、メディカルイメージから判断できる、病気に関連して客観的に判断することができる包括的な情報を意味する。一例として、本明細書での診断補助情報は、特定病気の存否である。他の一例として、診断補助情報は特定病気の進行度合である。また他の一例として、診断補助情報は病気の深刻度である。さらに他の一例として、診断補助情報は平均集団に備えた特定患者の疾患程度を数値的に表したものである。この他にも、本明細書では、前述のようにメディカルイメージ内で判断することができる病気に関連するすべての情報を通称して「診断補助情報」と表現することができる。
【0026】
まず、
図1および
図2を参照して、一つの実施形態による診断補助情報提供システムの構成および一例となる実行例について説明する。
【0027】
図1は本発明の実施形態による診断補助情報提供システムの一つの実行例であり、
図2は本発明の実施形態による診断補助情報提供システムの構成を概略的に示したブロック図である。
【0028】
図1および
図2を参照すれば、実施形態によるシステム(10000)は、メディカルイメージを分析して診断補助情報を提供することができる。
【0029】
本実施形態において、システム(10000)は映像取得装置(1000)および映像分析装置(2000)を含んでいる。
【0030】
映像取得装置(1000)は、被撮影客体からメディカルイメージを取得することができる。ここで、映像取得装置(1000)は、メディカルイメージを取得できる多様な装置またはシステムを意味する。一例として、
図1に示されたように、映像取得装置(1000)はMRI装置である。ただし、前述したように、本明細書で意味する映像取得装置(1000)は、MRI装置に限定されない。
【0031】
映像分析装置(2000)は、映像取得装置(1000)から取得されたメディカルイメージを分析して診断補助情報を提供することができる。具体的に、映像分析装置(2000)は、メディカルイメージから病気に関連する多くのインデックスを抽出して、抽出されたインデックスに基づいて診断補助情報を計算することができる。映像分析装置(2000)で実行されるメディカルイメージの分析動作に関しては、後文で詳細に説明する。
【0032】
また、上文では映像取得装置(1000)と映像分析装置(2000)をそれぞれ別途の装置であると説明したが、これは一例に過ぎず、診断補助情報提供システム(10000)として具現されることができる多様な形態を含んでいる。即ち、実施形態による映像分析装置(2000)は別途のサーバー(server)として具現されることもでき、映像取得装置(1000)に統合されたプログラムとして具現されることもできる。ただし、本明細書では、説明の便宜のために、別途の映像分析装置(2000)で具現されたシステム(10000)に対して説明する。
【0033】
以下では、図面を参照して、実施形態による映像取得装置と映像分析装置の構成に対して説明する。
【0034】
図3は実施形態による映像取得装置の構成を示したブロック図である。
【0035】
図3のように、実施形態による映像取得装置(1000)は、第1コントローラー(1002)、イメージ取得モジュール(1200)、第1メモリー(1400)および第1通信モジュール(1800)を含んでいる。
【0036】
本実施形態において、第1コントローラー(1002)は、イメージ取得モジュール(1200)で取得したメディカルイメージを、第1通信モジュール(1800)を通じて映像分析装置(2000)に伝送することができる。
【0037】
以下では、実施形態による映像取得装置(1000)の各構成に対して説明する。
【0038】
本実施形態によれば、イメージ取得モジュール(1200)は、被撮影客体に対する撮影結果を取得することができる。ここで、イメージ取得モジュール(1200)は、多様なメディカルイメージを取得するための構成を含むことができる。一例として、イメージ取得モジュール(1200)は磁気共鳴映像(MRI)イメージを取得するための構成であってもいい。他の一例として、イメージ取得モジュール(1200)はX-rayまたはCT映像を取得するための構成であってもいい。
【0039】
ここで、第1コントローラー(1002)は、イメージ取得モジュールの設定パラメーターを調節することができる。例えば、イメージ取得モジュール(1200)がMRIイメージを取得するための構成である場合、第1コントローラー(1002)はMRIイメージ装置の繰返し時間(TR)およびエコ時間(TE)を調節することができる。これにより、MRIイメージ装置はT1-weightedイメージまたはT2-weightedイメージを取得することができる。また、第1コントローラー(1002)は、MRIイメージ装置でFLAIR映像を取得するように逆パルス(inversion pulse)に関連したパラメーターを調節することができる。
【0040】
実施形態による第1通信モジュール(1800)は、外部装置または外部サーバーと通信を行うことができる。映像取得装置(1000)は、第1通信モジュール(1800)を通じて、映像分析装置(2000)または外部機器(または、サーバー)とデータ通信を行うことができる。
例えば、映像取得装置(1000)は第1通信モジュール(1800)を利用して、メディカルイメージまたはメディカルイメージに関連したデータを、映像分析装置(2000)または外部機器に伝送することができる。
【0041】
第1通信モジュール(1800)は、主に、有線タイプと無線タイプに分かれている。有線タイプと無線タイプはそれぞれの長短所を有しているので、場合によって、映像取得装置(1000)に有線タイプと無線タイプを同時に用意することもできる。
【0042】
ここで、有線タイプの場合にはLAN(Local Area Network)やUSB(Universal Serial Bus)通信が代表的であるが、その他の方式であってもいい。
【0043】
また、無線タイプの場合には、主にブルートゥース(登録商標)(Rluetooth)やジグビー(Zigbee)のようなWPAN(Wireless Personal Area Network)系列の通信方式を利用することができる。しかし、無線通信のプロトコルがこれに制限されることではないため、無線タイプの通信モジュールは、ワイ・ファイ(Wi-Fi)のようなWLAN(Wireless Local Area Network)系列の通信方式やその他に知らされている通信方式を利用してもいい。
【0044】
第1メモリー(1400)は各種情報を保存することができる。第1メモリー(1400)には各種データが一時的にまたは半永久的に保存される。第1メモリー(1400)の例として、ハードディスク(HDD:Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリー(flash memory)、ロム(ROM:Read-Only Memory)、ラム(RAM:Random Access Memory)などがある。
【0045】
第1メモリー(1400)には、映像取得装置(1000)を駆動するための運用プログラム(OS:Operating System)や、映像取得装置(1000)の各構成を動作させるためのプログラムをはじめとして、映像取得装置(1000)の動作に必要な各種データが保存される。
【0046】
実施形態による第1コントローラー(1002)は、映像取得装置(1000)の全般的な動作を制御することができる。例えば、第1コントローラー(1002)は、取得モジュール(1200)からメディカルイメージを受信して第1通信モジュール(1800)を通じてデータ分析装置(2000)に伝送するように、制御信号を生成することができる。
【0047】
第1コントローラー(1002)は、ハードウェアやソフトウェアまたはこれらの組み合せにより、CPU(Central Processing Unit)やこれと類似の装置で具現することができる。ハードウェア的には、電気的信号を処理して制御機能を実行する電子回路の形態で提供されることができ、ソフトウェア的には、ハードウェア的回路を駆動させるプログラムやコードの形態で提供されることができる。
【0048】
映像取得装置(1000)は、別途の電源部を有するか、有線あるいは無線により外部から電源を供給してもらい、電源部を制御するスイッチを持つことができる。
【0049】
図4は、実施形態による映像分析装置の構成を示すブロック図である。
【0050】
図4を参照してみると、映像分析装置(2000)は、第2コントローラー(2002)、第2メモリー(2400)、ディスプレイモジュール(2600)および第2通信モジュール(2800)を含んでいる。
【0051】
本実施例によれば、第2コントローラー(2002)は、第2通信モジュール(2800)を通じて映像取得装置(1000)からメディカルイメージを取得し、第2メモリー(2400)に保存されている分析のためのプログラムを利用して上記メディカルイメージを分析して、メディカルイメージから診断補助情報を計算することができる。
【0052】
以下、実施形態による映像分析装置(2000)の各構成に対して説明する。
【0053】
第2メモリー(2400)は、映像分析装置(2000)の各種の情報を保存することができる。
【0054】
第2メモリー(2200)には、映像分析装置(2000)を駆動するための運用プログラムや映像分析装置(2000)の各構成を動作させるためのプログラムをはじめ、映像分析装置(2000)の動作に必要な各種のデータを保存することができる。例えば、第2メモリー(2400)には、メディカルイメージを加工するためのプログラム、および/または加工されたメディカルイメージを分析するためのプログラムなどを保存することができる。上記プログラムは、マシンランニングのアルゴリズムで具現されることができ、具体的な説明は後述する。
【0055】
第2メモリー(2400)は、その例として、ハードディスク(HDD:Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリー(flash memory)、ロム(ROM:Read-Only Memory)、ラム(RAM:Random Access Memory)などがある。
【0056】
第2メモリー(2400)には、映像分析装置(2000)を駆動するための運用プログラム(OS:Operating System)や、映像分析装置(2000)の各構成を動作させるためのプログラムをはじめ、映像分析装置(2000)の動作に必要な各種のデータを保存することができる。
【0057】
第2通信モジュール(2800)は、外部機器または外部サーバーと通信を行うことができる。映像分析装置(2000)は第2通信モジュール(2800)を利用して、映像取得装置(1000)または外部サーバーとデータ通信を行うことができる。例えば、映像分析装置(2000)は第2通信モジュール(2800)を利用して、映像取得装置(1000)から診断補助情報を提供するに必要なメディカルイメージを取得することができる。
【0058】
第2通信モジュール(2800)は、大きく分けて有線タイプと無線タイプがある。有線タイプと無線タイプはそれぞれの長短所を持つので、場合によっては有線タイプと無線タイプを同時に映像分析装置(2000)に用意することもできる。
【0059】
ここで、有線タイプの場合は、LAN(Local Area Network)やUSB(Universal Serial Bus)通信が代表的な例であり、その以外の他の方式も可能である。
【0060】
また、無線タイプの場合は、主に、ブルートゥース(登録商標)(Rluetooth)やジグビー(Zigbee)のようなWPAN(Wireless Personal Area Network)系列の通信方式を利用することができる。もちろん、無線通信プロトコルはこれに制限されず、無線タイプの通信モジュールは、Wi-Fi(Wi-Fi)のようなWLAN(Wireless Local Area Network)系列の通信方式やその他の知られている通信方式を利用することも可能である。
【0061】
第2コントローラー(2002)は映像分析装置(2000)の全般的な動作を制御することができる。例えば、第2コントローラー(2002)は、第2メモリー(2400)からイメージデータの加工および分析のためのプログラムをローディングして、映像取得装置(1000)から取得したメディカルイメージを加工および分析して、その結果を第2通信モジュール(2800)によって外部機器または外部サーバーに提供するように、制御信号を生成することができる。映像分析装置(2000)で実行される具体的な診断補助情報の提供方法については後文で詳しく説明する。
【0062】
第2コントローラー(2002)は、ハードウェアやソフトウェアまたはこれらの組合により、CPU(Central Processing Unit)やこれと類似の装置で具現することができる。ハードウェア的には、電気的信号を処理して制御機能を実行する電子回路の形態で提供されることができ、ソフトウェア的には、ハードウェア的回路を駆動させるプログラムやコードの形態で提供すされることができる。
【0063】
また、映像分析装置(2000)は、メディカルイメージ分析結果を出力するための別途のディスプレイモジュール(2600)をさらに含むことができる。ディスプレイモジュールは、ユーザーに情報を提供できるように多様に具現されることができる。ここで、第2コントローラー(2002)は、映像取得装置(1000)から取得したメディカルイメージを加工および分析して、その結果をディスプレイモジュール(2600)によって提供するための制御信号を生成することもできる。
【0064】
以下では、実施形態による診断補助情報提供システムが実行する、メディカルイメージを分析して診断補助情報を提供する方法について具体的に説明する。
【0065】
図5は実施形態による診断補助情報提供システムで実行される診断補助情報の提供方法の概括的フローチャートである。
【0066】
図5を参照すれば、実施形態による診断補助情報の提供動作は、メディカルイメージを取得するステップ(S1000)、取得したメディカルイメージを分析するステップ(S1200)、および分析結果に基づいて診断補助情報を提供するステップ(S1400)を含んでいる。
【0067】
まず、実施形態による診断補助情報提供システム(10000)は、被撮影客体からメディカルイメージを取得することができる。具体的に、映像取得装置(1000)は、患者または試料のような被撮影客体から、診断補助情報を取得するためのメディカルイメージを取得することができる。より具体的に、映像取得装置(1000)内のイメージ取得モジュール(1200)は、被撮影客体を撮影してメディカルイメージを取得し、第1通信モジュール(1800)を通じて、取得したメディカルイメージを映像分析装置(2000)に伝送することができる。ここで、メディカルイメージは複数個あってもいい。即ち、映像取得装置(1000)は、被撮影客体から、特定方向または特定平面に対する複数個の断層イメージを取得することができる。
【0068】
ここで、複数のメディカルイメージは3次元の情報を含むことができる。即ち、メディカルイメージは3Dイメージとして取得されることもできる。
【0069】
また、特定方向および特定平面は、被撮影客体の横平面(transverse plane)、矢状面(saggital plane)、冠状面(coronal plane)など、被撮影客体から取得できるすべての方向と平面に関する情報を含むことができる。
【0070】
そして、診断補助情報提供システム(10000)はメディカルイメージを分析することができる(S1200)。映像分析装置(2000)は映像取得装置(1000)から伝送されたメディカルイメージを分析することができる。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存されたイメージの分析のためのプログラムを利用して、第2通信モジュール(2800)を通じて受信したメディカルイメージを分析することができる。一例として、第2コントローラー(2002)は、第2メモリー(2400)に保存されたプログラムを利用して、メディカルイメージをセグメンテーションすることができる。
【0071】
その後、診断補助情報提供システム(10000)は、メディカルイメージの分析結果に基づいて診断補助情報を取得することができる(S1400)。即ち、映像分析装置(2000)は、第2メモリー(2400)に保存された診断補助情報取得のためのプログラムを利用して、分析されたメディカルイメージからメディカルイメージに含まれた診断補助情報を取得することができる。第2コントローラー(2002)は第2通信モジュール(2800)を通じて、計算された診断補助情報を外部機器または外部サーバーで伝送するか、別途に用意したディスプレイモジュール(2600)などを利用して診断補助情報を出力することができる。
【0072】
以上のように、実施例にて診断補助情報提供システム(10000)で実行される診断補助情報の提供方法について概括的に説明した。以下、診断補助情報提供システム(10000)で実行される診断補助情報の提供方法の各ステップに対し、細分化された動作や内容について説明する。
【0073】
まず、メディカルイメージ取得ステップ(S1000)に関し、実施形態により、映像取得装置(1000)で取得できる多様なメディカルイメージを例示して説明する。
【0074】
図6は、実施形態によるメディカルイメージの例を示している。
【0075】
図6を参照すれば、実施形態によるメディカルイメージは多様な形態で具現される映像取得装置(1000)により取得されることができる。メディカルイメージは、多様なコンピュータ断層映像撮影装置で撮影した映像である。また、前述したように、メディカルイメージは複数個のスライスイメージ(slice image)で構成された断層映像の集合であってもいい。
【0076】
一例として、メディカルイメージはMRI装置で撮影されたMRIイメージである。(a)、(b)はMRI装置で撮影した患者の各身体部位を示した図であり。他の一例として、メディカルイメージはX-ray装置で撮影されたX-rayイメージである。(c)はX-ray装置で撮影した患者のX-rayイメージを示した図である。また他の一例として、メディカルイメージはCT装置で撮影したCTイメージである。(d)はCT装置で撮影した患者のCTイメージを示した図である。
【0077】
また、実施形態によるメディカルイメージは、各身体部位に関するイメージである。再び
図6を参照してみると、メディカルイメージは患者の脳や肺などの臓器だけではなく、脊椎のような骨格、神経構造を全部含む身体部位に関するイメージである。
【0078】
実施形態によるメディカルイメージは、メディカルイメージを取得する映像取得装置(1000)の設定パラメーターによって、イメージ内に含まれた情報が変わることもある。
【0079】
図7は、本実施例の多様な取得条件によるメディカルイメージの例を示した図である。
【0080】
図7を参照すれば、実施形態による映像取得装置(1000)は、装置のパラメーター設定により多様な映像を取得することができる。例示的に、映像取得装置(1000)が12MRI装置で具現された場合、映像取得装置(1000)は、マグネチックコンディション(magnetic condition)に関するパラメーターを調節することによって、多様な情報を含むメディカルイメージを取得することができる。
【0081】
より具体的な例として、映像取得装置(1000)は、短いTR/TE時間を有するようにパラメーターを設定して、T1-weightedイメージを取得することができる。T1-weightedイメージは信号強度が高いため、解剖学的構造物を明確に区分することに役立つ。即ち、T1-weightedイメージは、人体の解剖学的特性を判断することに主に利用される。
【0082】
また、映像取得装置(1000)は、長いTR/TE時間を有するようにパラメーターを設定してT2-weightedイメージを取得することができるし、逆パルス(inversion pulse)を利用してFLAIR(Fluid attenuated inversion recovery)イメージを取得することもできる。T2-weightedイメージとFLAIRイメージは、水分を含む領域が白く見えることが特徴であり、病変領域は主に水分含有量が高いので、病変領域を発見するに有効に利用される。
【0083】
この他にも、拡散強調映像(DWI)やPET、fMRIなどの特殊撮影技法を利用したメディカルイメージも本発明の思想に含まれる。
【0084】
以上のように、実施形態によるメディカルイメージ取得ステップ(S1000)で取得する多様なメディカルイメージの例を説明した。以下、取得したメディカルイメージを分析するステップ(S1200)に対する細部内容について説明する。
【0085】
図8は、実施形態による映像分析装置が実行するメディカルイメージ分析動作の細部動作を説明するためのフローチャートである。
【0086】
図8のように、実施形態によるメディカルイメージ分析動作は、メディカルイメージをセグメンテーションするステップ(S2002)、セグメンテーションされたメディカルイメージから病気インデックスを抽出するステップ(S2004)、抽出された病気インデックスに基づいて診断補助情報を取得するステップ(S2006)を含むことができる。
【0087】
まず、映像分析装置(2000)はメディカルイメージをセグメンテーションすることができる(S2002)。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存されたイメージセグメンテーションのためのプログラムを利用して、メディカルイメージをセグメンテーションすることができる。例示的に、第2コントローラー(2002)は、脳に関連するメディカルイメージを脳の領域ごとにセグメンテーションすることができる。ここで、脳の領域は、メディカルイメージ内で発見される病変を意味することもでき、また、メディカルイメージ内で発見される脳の構造的な領域を意味することもできる。即ち、メディカルイメージ内で発見される脳の領域は、イメージ内で区別できるすべての客体を含むことができる。つまり、第2コントローラー(2002)は、脳に関連するメディカルイメージを少なくとも2以上の領域に区分されるようにセグメンテーションすることができる。
【0088】
第2メモリー(2002)に保存されたイメージセグメンテーションのためのプログラムは、マシンランニングのアルゴリズムで具現でき、これについては後文で詳細に説明する。
【0089】
メディカルイメージセグメンテーションステップ(S2002)の後、映像分析装置(2000)はセグメンテーションされたメディカルイメージから病気インデックスを抽出することができる(S2004)。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存されたアルゴリズムを利用して、セグメンテーションされたメディカルイメージに含まれた各領域に基づいて病気インデックスを抽出することができる。
【0090】
本明細書において、病気インデックスは、メディカルイメージ内の脳の各領域同士の関係を特定病気に関連して表現したインデックスで定義されることができる。病気インデックスは、例示的に、パジェカスケール(Fazekas scale)、ARWMC(Age-related whitematter change)、Posterior atrophy score of parietal atrophy、MTA(Medial temporal lobe atrophy score)、Orbito-Frontal、Anterior Cingulate、Fronto-Insula、Anterior Temporal Scaleなどを含んでおり、メディカルイメージから病気関連情報を抽出することが可能な多様なインデックスを利用することができる。
【0091】
病気インデックス抽出ステップ(S2004)の後、映像分析装置(2000)は抽出された病気インデックスに基づいて診断補助情報を提供することができる。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存されたアルゴリズムを利用して、抽出された病気インデックスに基づいてメディカルイメージから病気関連情報を取得し、取得した結果を出力することができる。
【0092】
以下、病気インデックス抽出のためにセグメンテーションされたメディカルイメージの例を説明してから、
図9を参照してセグメンテーションされたメディカルイメージから病気インデックスを抽出する多様な実施例について説明する。
【0093】
図9は、実施形態によるセグメンテーションされたメディカルイメージの例を示した図である。
【0094】
図9をみると、映像分析装置(2000)でセグメンテーションされたメディカルイメージの例が図示されている。
【0095】
図9において、映像分析装置(2000)はメディカルイメージをセグメンテーションすることができる。ここで、セグメンテーションは、映像分析装置(2000)がメディカルイメージに含まれた単位セル(cell)に特定値を付与することを意味する。具体的に、セグメンテーションは、第2コントローラー(2002)がメディカルイメージに含まれたピクセル(pixel)やボクセル(voxel)などに特徴値をラベリングすることを意味する。一例として、第2コントローラー(2002)は、メディカルイメージに含まれた複数のピクセルに、脳の領域を指す特徴値をラベリングすることができる。
【0096】
映像分析装置(2000)は、メディカルイメージの形式(form)に対応できるように、メディカルイメージをセグメンテーションすることができる。ここで、メディカルイメージの形式(form)は、メディカルイメージの取得時の取得条件に対応することができる。一例として、メディカルイメージが特定のマグネチックコンディションの条件で撮影される場合、メディカルイメージはT1-weightedイメージの形式(form)を有することができる。以下理解すべきこととして、説明の便宜上、メディカルイメージの形式(form)とメディカルイメージの取得条件などの用語を混用して説明するが、本明細書の思想が用語の使用により変わることではない。また、メディカルイメージの形式(form)やメディカルイメージの取得条件により、メディカルイメージが含んでいる特性(例えば、解剖学的特性または病変的特性)が変わることがあるので、メディカルイメージの特性という用語も混用されるはずである。
【0097】
具体的に、第2コントローラー(2002)は第2メモリー(2400)に保存されたイメージセグメンテーションのためのプログラムを利用して、メディカルイメージの特性が反映できるようにメディカルイメージをセグメンテーションすることができる。
【0098】
第2コントローラー(2002)は、メディカルイメージに含まれたピクセルに脳の領域を指す値をラベリングすることができる。即ち、FLAIRイメージで具現されたメディカルイメージ内であれば、第2コントローラー(2002)は白質、灰白質、脳室などで区別されたピクセルにそれぞれの領域を指す値をラベリングすることができる。
【0099】
例示的に、(a)は映像分析装置(2000)がT1-weighted MRIイメージをセグメンテーションしたことを示し、 (b)は映像分析装置(2000)がT2-FLAIR MRIイメージをセグメンテーションしたことを示す。
【0100】
図面に図示したように、(a)の T1-weighted MRIイメージは、脳の解剖学的特性の把握が容易になる。即ち、映像分析装置(2000)がT1-weighted MRIイメージをセグメンテーションする場合、映像分析装置(2000)は、脳を構成する各部分が区別できるようにセグメンテーションすることができる。例えば、実施形態による映像分析装置(2000)は、大脳、小脳、間脳、海馬など、脳に含まれた機関が区別できるように脳イメージをセグメンテーションすることができ、側頭葉、前頭葉、後頭葉など脳の部位別位置ごとに区別できるように脳をセグメンテーションすることもできるし、これらを組み合せてセグメンテーションすることも可能である。このように、脳の解剖学的特性がよく観測できるT1-weighted MRIイメージを分析して診断補助情報を取得する場合、映像分析装置(2000)は、萎縮性アルツハイマーとともに、脳の解剖学的特性に関連がある病気情報を容易に分析することができる。
【0101】
また、(b) のT2 FLAIR MRIイメージは、脳の病変的特性の把握が容易になる。実施形態による映像分析装置(2000)でT2-FLAIR MRIイメージをセグメンテーションする場合、映像分析装置(2000)は、脳の病変的特性が区別できるようにメディカルイメージをセグメンテーションすることができる。ここで、脳の病変的特性は、メディカルイメージから観測できる白質高強度信号(white matter hyperintensity、以下「WMH」と称する)によって検出することができる。即ち、映像分析装置(2000)は、T2-FLAIR MRIイメージの中で、WMHと脳を構成する物質や他の領域が区別できるようにメディカルイメージをセグメンテーションすることができる。ここで、脳(または、人の頭)を構成する物質には、白質(white matter)、灰白質(graymatter)、スカル(skull)などがあり、他の領域には脳室(ventricle)などがある。映像分析装置(2000)はWMHの位置と脳の他の構成との関係に基づいて病気インデックスを抽出することができ、これについては後文で詳細に説明する。
【0102】
図面では例示的にT1-weighted MRIイメージとT2-FLAIR MRIイメージを主に説明したが、前述した通り、本明細書の思想はこれに限定されず、DWI、SWIなどの他のマグネチックコンディションの条件で撮影したMRIイメージや、X-ray、CTなど他の撮影機器で撮影したメディカルイメージは全部利用することができる。
【0103】
また、映像分析装置(2000)は、特定特性を有する(即ち、特定取得条件で取得された)メディカルイメージが他の特性に関する情報を含むように、セグメンテーションを実行することもできる。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存されたマシンランニングアルゴリズムを利用して第1条件で撮影され且つ第1特性を有するメディカルイメージに、第1特性だけでなく、第2条件で撮影した場合に取得できる第2特性の情報を共に含むように、セグメンテーションを実行することができる。例えば、T2-FLAIR MRIイメージをセグメンテーションする場合、映像分析装置(2000)はT1-weighted MRIイメージで観測できる解剖学的情報も共に含まれるようにT2-FLAIRイメージをセグメンテーションすることができる。これについて後文で図面を参照しながら詳細に説明する。
【0104】
以下、セグメンテーションされたメディカルイメージから病気インデックスを抽出する具体的な方法の一つの実施例に対し、図面を参照して説明する。
【0105】
図10は本実施例のメディカルイメージから病気インデックスを抽出する方法の一例を示したフローチャートであり、
図11は基準領域と基準バウンダリが図示されたメディカルイメージの一例を示し、
図12は対象領域の領域情報を取得する場合の一例を示し、
図13は対象領域の領域情報を取得する場合の他の一例を示している。
図14は計算された病気インデックスに基づいて取得された診断補助情報が提供される場合の具現例である。
【0106】
まず、
図10を参照しながら概括的なフローに対して説明する。本実施形態において、映像分析装置(2000)でセグメンテーションされたメディカルイメージから病気インデックスを抽出する方法は、セグメンテーションされたメディカルイメージから基準領域を検出するステップ(S2102)、検出された基準領域に基づいて基準バウンダリを設定するステップ(S2104)、基準バウンダリと対象領域の関係に基づいて病気インデックスを抽出するステップ(S2106)を含んでいる。
【0107】
映像分析装置(2000)はセグメンテーションされたメディカルイメージから基準領域を検出することができる(S2102)。具体的に、第2コントローラー(2002)は、セグメンテーションされたメディカルイメージで基準領域を指示するよう、ラベリングされたピクセルを検出して、これらの集合を基準領域に判断することができる。ここで、基準領域とは、後述のように、メディカルイメージ内に含まれて特定病気インデックスを計算するための基準になる領域を意味する。一例として、基準領域は脳室(ventricle)領域である。他の一例として、基準領域は白質領域である。
【0108】
ここで、基準領域は、基準領域を指示するようにラベリングされたピクセルの集合の中で、一定領域以上のバッファー領域が追加された領域である。なお、基準領域は、基準領域を指示するようにラベリングされたピクセルの集合の中で、外郭部分の一定のピクセルを除去した領域で定義することができる。
【0109】
また、映像分析装置(2000)は、セグメンテーションされたメディカルイメージから、分析対象に対応する領域を検出することができる。具体的に、第2コントローラー(2002)は、分析対象を指示するようラベリングされたピクセルを検出して、これらの集合を分析対象領域(以下「対象領域」と称する)に判断することができる。ここで、対象領域は、後述のようにメディカルイメージの中に含まれることがあり、特定病気インデックスを計算するための分析の対象になる領域を意味することもある。一例として、対象領域はWMH領域を意味する。対象領域を検出する方式は、前述した脳室領域を検出する方式と似ているので、詳しい説明は省略する。
【0110】
基準領域が検出されると、映像分析装置(2000)は検出された基準領域に基づいて基準バウンダリを設定することができる(S2104)。具体的に、第2コントローラー(2002)は、メディカルイメージの中で検出された脳室領域から、予め決めた距離の分だけ離れている境界を基準バウンダリとして設定することができる。
【0111】
ここで、基準バウンダリは、後述のように、基準領域と対象領域との関係を導き出して病気インデックスを抽出するための基準になる境界を意味する。即ち、アルツハイマーに関連の病気情報を判断する際にFazekas scaleのような病気インデックスが利用される場合、脳室(ventricle)とWMHの間の位置的関係が重要なインデックスとして利用でき、上記脳室(ventricle)とWMHの間の位置的関係を把握するための基準として、基準バウンダリが利用される。この時、脳室の場合はFazekas scaleの基準領域に、WMHの場合はFazekas scaleの対象領域に決定されることができる。
【0112】
また、ここで基準バウンダリを取得するために、基準領域内の任意の地点から予め決められた距離が計算できる。即ち、例えば、基準バウンダリは、基準領域の外郭にあるピクセルから予め決められた距離の分だけ離れたピクセルの集合を意味する。この場合、予め決められた距離の基準となる方向は、基準領域の境界面の法線方向が望ましい。他の例として、基準バウンダリは、基準領域の中心から予め決められた距離の分だけ離れたピクセルの集合を意味する。
【0113】
【0114】
図11には、T2-FLAIR MRIイメージ内に脳室(ventricle)、WMH、白質、灰白質、スカルなどがセグメンテーションされた結果が図示されている。
【0115】
映像分析装置(2000)は病気インデックスとしてFazekas scaleを利用することができる。具体的に、第2コントローラー(2002)は、脳室領域を基準領域に決め、WMH領域を対象領域で決めてFazekas scaleを計算することができる。ここで、第2コントローラー(2002)は、Fazekas scaleを計算するための基準バウンダリとして、脳室(ventricle)でラベリングされたピクセルから予め決められた距離の分だけ離れたピクセルの集合を基準バウンダリに設定することができる。また、基準バウンダリは脳室領域の外郭にあるピクセルから算定できるし、予め決められた距離は10mmで計算されることができる。ただし、これは例示的な数値に過ぎず、5mmないし15mmの範囲内で任意の距離が決められる。
【0116】
図11を参照すれば、基準バウンダリの内部と外部に共にWMHが存在することで図示されている。基準バウンダリの内部および外部に存在するWMHは、診断補助情報を判断するのに重要な要因(factor)として作用する。具体的に、WMHが占める領域に関する情報(以下「領域情報」と称する)と基準バウンダリの間の関係が診断補助情報に密接な関連性がある。そして、WMHがセグメンテーションされたメディカルイメージからWMHの領域情報を算出する方法については、
図12ないし
図13を参照して説明する。
【0117】
医学的研究によれば、一般的に、脳の領域の中、相対的に脳室と近い白質領域が相対的に脳室と遠く離れた白質領域より変性が容易になる傾向がある。したがって、メディカルイメージに含まれた脳室の周り形成されたWMH領域と相対的に脳室から遠く離れたWMH領域は、それぞれ病気に関する異なる情報を含むことができる。これに伴い、メディカルイメージ内に含まれたWMH領域を分析する際には脳室との距離を考慮して分析する必要がある。
【0118】
図12および
図13は、基準領域と対象領域の距離を考慮して、対象領域に関連の領域情報を取得する方法の例を示している。
【0119】
図12のように、実施形態による映像分析装置(2000)はメディカルイメージ内の対象領域の領域情報を取得することができる。具体的に、第2コントローラー(2002)はセグメンテーションの結果に基づいて、メディカルイメージ内の対象領域に対する領域情報を取得することができる。ここで、領域情報は特定領域の厚さまたは広さを意味する。また、後述のように、メディカルイメージが3Dで具現される場合、領域情報は体積を意味する。
【0120】
まず、Fazekas scaleを基礎にして病気インデックスを計算する場合、メディカルイメージに含まれた基準領域の近くに存在する、即ち前述した基準バウンダリ内に存在する対象領域の領域情報を計算する方法について説明する。
【0121】
映像分析装置(2000)は、基準領域から対象領域までの距離に基づいて、対象領域の領域情報を取得することができる。具体的に、第2コントローラー(2002)は、メディカルイメージ内で基準領域にラベリングされた領域から対象領域にラベリングされた領域までの距離に基づいて、対象領域の領域情報を計算することができる。
【0122】
例えば、第2コントローラー(2002)は、メディカルイメージ内の脳室にラベリングされた領域からWMHにラベリングされた領域までの距離に基づいて、WMH領域の厚さを計算することができる。ここで、距離の基準は、脳室にラベリングされた領域のバウンダリから法線方向に定義できる。また、計算されたWMHの厚さのうち、最も大きく出てくる長さをWMHの厚さとして測定することができる。より具体的に、第2コントローラー(2002)は、脳室にラベリングされた領域のバウンダリから法線方向に向かって、最も近く位置したWMH領域を第1ポイントに決め、最も遠く位置したWMH領域を第2ポイントに決めて、第1ポイントと第2ポイントの間の距離をWMH領域の厚さ(幅)として判断することができる。ここで、若しWMH領域が脳室領域と連結されて(くっついて)形成される場合、第1ポイントは脳室上の一つのポイントに決定されることもできる。
【0123】
即ち、異なる表現をしてみると、第2コントローラー(2002)は、メディカルイメージ内の脳室領域のバウンダリから法線方向に向かってレイ(ray)を生成して、生成されたレイ(ray)とWMHにラベリングされたピクセルとの接点を考慮してWMHの厚さを計算することができる。ここで、レイ(ray)とWMHにラベリングされたピクセルとの接点は、脳室領域とWMH領域の間の距離が近く測定される第1接点および最も遠く測定される第2接点を含むことができる。即ち、第2コントローラー(2002)は、上記第1接点および第2接点の間の距離を考慮してWMH領域の厚さ(幅)を計算することができる。ここで、第1接点が脳室領域上に存在できるということは、前述した通りである。
【0124】
レイ(ray)を利用した方式は、前述した基準バウンダリ内に位置するWMHに適用することが好ましいが、必ずこれに制限されず、基準バウンダリ以外のWMHに対しても同じ方式が適用できる。
【0125】
また、
図13には、基準バウンダリ以外のWMHに対する領域情報の計算方式が図示されている。
【0126】
図13を参照すれば、映像分析装置(2000)は主成分分析法を利用して対象領域の領域情報を取得することができる。具体的に、第2コントローラー(2002)は、主成分分析法(principal component analysis)を利用して対象領域の少なくとも2以上の主成分を抽出し、抽出された主成分に基づいて対象領域の領域情報を計算することができる。
【0127】
例えば、第2コントローラー(2002)は、メディカルイメージ内のWMHにラベリングされた領域において、少なくとも2以上の軸に対する主成分を抽出することができる。ここで、主成分は多様に抽出されるが、WMHにラベリングされた領域において短軸(short axis)および長軸(long axis)で抽出されることが望ましい。主成分が抽出されれば、第2コントローラー(2002)は抽出された主成分に基づいてWMHにラベリングされた領域の厚さを計算することができる。
【0128】
即ち、異なる表現をしてみると、第2コントローラー(2002)は、WMHにラベリングされた領域に対して、主成分分析法を行って長軸および短軸に対する方向と大きさを取得して、長軸に対する長さに基づいてWMHにラベリングされた領域の厚さを計算することができる。または、第2コントローラー(2002)がWMH領域の幅を計算するのように表現してもいい。
【0129】
以上では、メディカルイメージから、病気インデックスを取得するために利用される対象領域の領域情報を計算する方式について説明した。また、対象領域の領域情報を取得することにおいて、対象領域と基準領域との位置関係も考慮されるとのことについても説明した。
【0130】
以下では、再び
図10を参照して、計算されたWMHの領域情報と基準バウンダリに基づいて病気インデックスを抽出する方法について説明する。
【0131】
再び
図10を参照してみると、映像分析装置(2000)は、メディカルイメージ内に設定された基準バウンダリと対象領域の領域情報に基づいて、病気インデックスを計算することができる(S2106)。
【0132】
具体的に、第2コントローラー(2002)は、基準バウンダリと対象領域間の関連関係、および対象領域の領域情報を総合的に考慮して、病気インデックスを計算することができる。
【0133】
ここで、関連関係の一例として、WMHが基準バウンダリ内部または外部に位置することに対する可否である
【0134】
具体的な例として、WMHの厚さが大きいほど病気の深刻性が高いと判断されることが一般的であるが、実施形態による病気インデックスの抽出方法は、WMHの厚さだけではなく、WMHが基準バウンダリ内に存在するか、基準バウンダリ外に存在するかの可否を総合的に考慮することができる。
【0135】
【0136】
【0137】
表1は、既存の医師の主観により病気インデックス計算する基準を示した例である。
【0138】
表1を参照すれば、既存の医療産業現場で利用されるパジェカスケール(Fazekas scale)を計算するための基準例が示されている。パジェカスケール(Fazekas scale)は色々な論文に掲載された病気インデックスの計算方法であって、医療産業現場で公信力のある病気インデックスの計算方法として利用されている。しかし、表1にも示されたように、既存の医療産業では、曖昧な基準に基づいて医師の主観により病気インデックスを計算しているので、患者に客観的な診断情報または診断補助情報を提供することができない問題点があった。
【0139】
表2は、本実施例の映像分析装置が実行する病気インデックス計算の基準を示している。
【0140】
これに対し、表2を参照してみると、実施形態による映像分析装置(2000)は、明確な基準により病気インデックスを計算することができる。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存された病気インデックスを計算するための基準にしたがって、メディカルイメージから病気インデックスを計算することができる。
【0141】
ここで、映像分析装置(2000)が病気インデックスを計算するための基準は、医療産業現場で予め取得された色々な診断結果ないしは診断補助結果に基づいて決定することができる。即ち、本実施例によれば、映像分析装置(2000)は、医療産業現場から予め取得されて病気インデックスが計算された複数のメディカルイメージを分析した結果として定量化された基準を利用して、メディカルイメージから病気インデックスを計算できることである、。
【0142】
即ち、映像分析装置(2000)は、メディカルイメージを分析して所定の基準により計算する病気インデックスを決めて、計算が決定された病気インデックスに対応する病気インデックスの等級を計算することができる。具体的に、第2コントローラー(2002)は、基準領域から基準バウンダリを判断して、決定された基準バウンダリと対象領域の間の関係を考慮して計算する病気インデックスを決めて、決定された病気インデックスに対応する等級値を計算することができる。
【0143】
ここで、計算する病気インデックスを決めるための所定の基準は、前述した基準バウンダリになることができる。例えば、対象領域が基準バウンダリ内に存在するかまたは対象領域が基準バウンダリの外部に存在するかの可否により、映像分析装置(2000)が計算する病気インデックスの種類が変わることができる。
【0144】
ここで、同じ病気インデックスを計算することにおいて、病気インデックスの等級を区別するための基準が存在することができる。一例で、予め決められた基準は、対象領域の領域情報に関連した基準である。
【0145】
再び表2を参照すれば、実施形態による病気インデックスは、第1ないし第3病気インデックスを含むことができる。表2に図示された病気インデックスはFazekas scaleを意味することになる。第1病気インデックスは、脳室周囲の白質(Peri-ventricular white matter)に関連した病気インデックスであり、第2病気インデックスは、深部白質(Deep white matter)に関連した病気インデックスを表し、第3病気インデックスは、第1および第2病気インデックスを考慮して計算される総合(Total)インデックスを表すことができる。
【0146】
ここで、基準バウンダリは第1病気インデックスと第2病気インデックスを区分するために利用されることができる。即ち、前述した通り、第2コントローラー(2002)は、基準バウンダリを利用して、基準バウンダリ内の対象領域から第1病気インデックスを計算することができる。第2コントローラー(2002)は、基準バウンダリを利用して、基準バウンダリ外の対象領域から第2病気インデックスを計算することができる。
【0147】
また、同じ病気インデックスの中で等級を区別することができる。即ち、第2コントローラー(2002)は、予め決められた基準により、メディカルイメージから特定病気インデックスに対応する等級値を計算することができる。
【0148】
ここで、予め決められた基準は、対象領域の領域情報に関することができる。一例で、対象領域を指示するセル(cell)が存在しない場合や、予め決められた数以下に判断された場合、第2コントローラー(2002)は、特定病気インデックスの等級値が0だと判断することができる。他の例で、対象領域の厚さが第1値以上で取得された場合、第2コントローラー(2002)は、特定病気インデックスの等級値が1だと判断することができる。また他の例で、対象領域の厚さが第2値以上で取得された場合、第2コントローラー(2002)は特定病気インデックスの等級値が2だと判断することができる。また他の例で、対象領域の厚さが第3値以上で測定された場合や、他の対象領域と連結される場合、第2コントローラー(2002)は、特定病気インデックスの等級値が3だと判断することができる。
【0149】
即ち、表2を参照した例をみると、第2コントローラー(2002)はメディカルイメージの分析結果として、基準バウンダリ内に含まれた対象領域に基づいて第1病気インデックスを計算することができ、上記基準バウンダリ内に含まれた対象領域の領域情報を考慮して第1病気インデックスに関連した等級値を計算することができる。
【0150】
また、映像分析装置(2000)は同じメディカルイメージ内で、第1病気インデックスと第2病気インデックスに関連した値を全部計算することもできる。メディカルイメージのセグメンテーション結果、基準バウンダリ内外部に全部対象領域が存在する場合、第2コントローラー(2002)は第1病気インデックスおよび第2病気インデックスに関する等級を全部計算することができる。
【0151】
また、映像分析装置(2000)は、第1病気インデックスおよび/または第2病気インデックスを考慮して第3病気インデックスを計算することもできる。
【0152】
図14は、実施例におる病気インデックスおよび病気インデックスに基づいた診断補助情報を提供するディスプレイの一つの実施例である。
【0153】
図14を参照してみると、映像分析装置(2000)は病気インデックスに基づいて診断補助情報を提供することができる。具体的に、第2コントローラー(2002)はメディカルイメージの分析結果によって病気インデックスを取得することができ、取得した病気インデックスに基づいて診断補助情報を提供することができる。
【0154】
図面を参照しながら具体的な例を説明すれば、第2コントローラー(2002)は、メディカルイメージの分析結果を基礎にして、基準バウンダリ内の対象領域に関する病気インデックスを提供することができる。また、病気インデックスに基づいて、病気インデックスがいかなる意味を有するかに関して情報を提供することもできる。
【0155】
ここで、前述した通り、病気インデックスは、メディカルイメージ内で判断できる病気の進行度合または深刻度に関する尺度(または基準)を意味する。例えば、病気インデックスの基準がFazekas scaleであれば、病気インデックスはFazekas scaleの等級で表現されることができる。
【0156】
また、診断補助情報は、上記病気インデックスに基づいて判断できる病気の関連情報を意味する。例えば、前述した病気インデックスがFazekas scaleで特定等級が計算される場合、診断補助情報は、現在の病気の進行度合、正常範疇との差、年齢別平均との差など病気インデックスから推測可能な病気関連情報を意味する。
【0157】
メディカルイメージから取得できる診断補助情報と比較対象になる診断補助情報、例えば、年齢別平均値、正常な人の病気インデックス値などは予め取得されて、第2メモリー(2400)に保存されることができ、持続的にアップデートされることができる。
【0158】
説明した通り、映像分析装置(2000)で明確な基準を設定し、メディカルイメージから病気インデックスを抽出し、抽出された病気インデックスに基づいて診断補助情報を提供することにより、今まで医療産業で医師の主観的な判断に依存した病気関連情報より、客観的で正確な診断補助情報の取得が可能になる効果をもたらすことができる。
【0159】
以上のように、診断補助情報の提供方法の実施例として、予め決められた基準バウンダリを利用する方法について説明した。ただし、メディカルイメージの特性にしたがって、固定された基準バウンダリを利用することより、メディカルイメージの特性を考慮して基準バウンダリが修正されることが、より正確な診断補助情報を提供するのに必要となることもある。
【0160】
以下、図面を参照しながら、診断補助情報を提供する方法の他の実施例として、修正された基準バウンダリを利用する方法について説明する。
【0161】
まず、
図15を参照して、メディカルイメージから病気インデックスを抽出して、病気情報を取得する他の実施例について概括的に説明する。
【0162】
図15は、実施形態による、修正された基準バウンダリを利用して診断補助情報を提供する方法の例を示すフローチャートである。
【0163】
図15を参照すれば、実施形態による診断補助情報の提供方法は、セグメンテーションされたメディカルイメージから基準領域を検出するステップ(S2202)、検出された基準領域に基づいて基準バウンダリを設定するステップ(S2204)、基準バウンダリと非関心領域のオーバーラップ可否を判断するステップ(S2206)、基準バウンダリを修正するステップ(S2208)、および修正された基準バウンダリに基づいて病気インデックスを取得するステップ(S2210)を含んでいる。
【0164】
映像分析装置(2000)は、
図10ないし
図14を参照して説明した実施例で実行した動作と類似していて、基準領域検出ステップ(S2202)、検出された基準領域に基づいて基準バウンダリを設定するステップ(S2204)を実行するので、ここでは詳しい説明を省略する。
【0165】
基準バウンダリが設定されれば、映像分析装置(2000)は、設定された基準バウンダリがセグメンテーションされたメディカルイメージの非関心領域とオーバーラップされるかの可否を判断することができる(S2206)。具体的に、第2コントローラー(2002)はメディカルイメージ内で、設定された基準バウンダリに該当するピクセルが、非関心領域を指示した値でラベリングされたピクセルに含まれるかの可否を判断することができる。ここで、非関心領域は灰白質領域である。
【0166】
【0167】
図16は、実施形態による基準バウンダリと非関心領域がオーバーラップされた場合を示している。
【0168】
図16を参照すれば、メディカルイメージ内の灰白質でラベリングされた領域に、基準バウンダリがオーバーラップされたのが図示されている。
【0169】
一般的に、WMHは白質に主に発生するが、灰白質領域にはWMHが発見されない。この理由のため、基準バウンダリが灰白質領域を侵す状況に既存のように病気インデックスを抽出する場合は、病気インデックスが不正確に計算されることがあり、これに伴い、病気インデックスに基づいた診断補助情報も同じく不正確な情報である確率が高くなる。したがって、基準バウンダリが灰白質領域などにオーバーラップされた場合、基準バウンダリを修正して、修正された基準バウンダリによって病気インデックスを計算する必要がある。
【0170】
本明細書の以下の説明では、白質領域のように対象領域(例えばWMH)が観測できる領域に対して「関心領域」と称し、灰白質領域のように対象領域(WMH)が観測されない領域に対しては「非関心領域」という用語を使うようにする。
【0171】
したがって、第2コントローラー(2002)は、メディカルイメージをセグメンテーションして基準バウンダリを設定してから、基準バウンダリが灰白質でラベリングされた領域の少なくとも一部とオーバーラップされる場合、基準バウンダリを修正することができる(S2208)。
【0172】
再び
図15を参照してみると、基準バウンダリが修正されれば、映像分析装置(2000)は修正された基準バウンダリに基づいて病気インデックスを取得することができる(S2210)。病気インデックスを取得する方法については、
図10ないし
図14を参照して説明した実施例と似ているので、詳しい説明は省略する。
【0173】
以下、基準バウンダリを修正の例示に対し図面を参照して説明する。
【0174】
図17aおよび
図17bは、本実施例の修正された基準バウンダリを計算する方法の各例を示している。
【0175】
図17aおよび
図17bを参照してみると、映像分析装置(2000)は基準バウンダリを修正することができる。具体的に、第2コントローラー(2002)は、基準バウンダリを修正して、修正された基準バウンダリが、非関心領域でラベリングされた領域と基準領域でラベリングされた領域との間に位置するように変更することができる。ここで、基準バウンダリは、基準領域と非関心領域との間隔を予め決められた割合で内分するように位置することができる。ここで、予め決められた比率は、多様な要因を考慮して設定することができる。一例として、予め決められた比率は非関心領域と基準領域との間の距離を考慮して決定することができる。即ち、第2コントローラー(2002)は、基準領域と非関心領域との間の距離、非関心領域とオーバーラップされる基準バウンダリの位置および/または基準領域の形状などを含むメディカルイメージの中で考慮できる多様な要素を反映して、基準バウンダリを修正することができる。
【0176】
図面を参照して具体的な例を説明すると、
図17aの場合には、非関心領域(灰白質)と基準領域(脳室)との間の距離が相対的に近くて、基準バウンダリが相対的に非関心領域の多くの部分にオーバーラップされているのが図示されている。この場合、第2コントローラーは、非関心領域と基準領域との間の距離を考慮して、修正された基準バウンダリが灰白質領域と脳室領域の中間(脳室と灰白質間の距離を5:5に内分するところ)に位置するように、基準バウンダリを修正することができる。
【0177】
また、
図17bの場合には、非関心領域(灰白質)と基準領域(脳室)との間の距離が相対的に遠くて、基準バウンダリが相対的に非関心領域の少ない部分にオーバーラップされたのが図示されている。この場合、第2コントローラー(2002)は、修正された基準バウンダリが非関心領域により近づくように、基準バウンダリを修正することができる。
【0178】
また、本実施例によれば、一つのメディカルイメージで決定された基準バウンダリが、複数の非関心領域とオーバーラップされる場合がある。即ち、例示的に、
図17(a)と
図17(b)のような状況が一つのメディカルイメージ内で発生することもできる。
【0179】
このような場合、第2コントローラー(2002)は、基準バウンダリ内において非関心領域とオーバーラップされる第1区間と第2区間とが異なる比率を有するように、基準バウンダリを修正することができる。例示的に、第2コントローラー(2002)は、第1区間では
図17aに示したように基準バウンダリを修正することができ、第2区間では
図17bに示したように基準バウンダリを修正することができる。
【0180】
これを異なる表現にしてみると、第2コントローラー(2002)は、非関心領域と基準領域との間の距離が第1距離である位置において、基準領域から基準バウンダリまでの距離と、基準バウンダリから非関心領域までの距離に対する比率が第1値になるように設定して、非関心領域と基準領域との間の距離が第2距離である位置において、基準領域から基準バウンダリまでの距離と、基準バウンダリから非関心領域までの距離に対する比率が第2値になるように、基準バウンダリを修正することができる。ここで、第2距離が第1距離より大きい時、第2値が第1値より小さいように基準バウンダリを修正することができる。例えば、基準領域と非関心領域との間の距離が相対的に遠くなればなるほど、修正された基準バウンダリは非関心領域側に偏って位置することができる。
【0181】
具体的な例として、第2コントローラー(2002)は、灰白質と脳室との間の距離が相対的に近い第1区域の場合、基準バウンダリが灰白質と脳室との間の距離を5:5に内分するように基準バウンダリを修正し、灰白質と脳室との間の距離が相対的に遠い第2区域の場合、灰白質と脳室との間の距離を3:7に内分するように基準バウンダリを修正することができる。ここで、灰白質と脳室との間の距離を内分する比率は、予め設定されることができる。
【0182】
また、第2コントローラー(2002)は、基準バウンダリと非関心領域がオーバーラップされる領域のみに対して、基準バウンダリを修正することもでき、基準バウンダリ全体を修正することもできる。それだけではなく、第2コントローラー(2002)は、基準バウンダリと灰白質領域がオーバーラップされる領域に加えて、追加したバッファー領域に対しても基準バウンダリを修正することが可能である。これについては
図18を参照して具体的に説明する。
【0183】
図18は、実施例により、一部が修正された基準バウンダリおよび全体的に修正された基準バウンダリの例示を示している。
【0184】
図18を参照すれば、映像分析装置(2000)は基準バウンダリの全部または一部を修正することができる。具体的に、第2コントローラー(2002)は、基準領域と非関心領域との関係を考慮して、基準バウンダリの全部を修正するか、または一部を修正することができる。
【0185】
例えば、基準領域と非関心領域の間の距離が特定の一部分のみで近くなっておれば、該当の特定の一部分に対応する基準バウンダリの一部区間のみで基準バウンダリを修正し、全体的に非関心領域と基準領域との間の距離が類似に測定されておれば、基準バウンダリを全般的に修正することができる。しかし、これは例に過ぎず、基準バウンダリを全体的にまたは部分的に修正する状況は多様であってもいい。
【0186】
図面を参照して例示的に説明する。図面には、全体的に修正された基準バウンダリと、一部だけが修正された基準バウンダリが図示されている。
【0187】
基準バウンダリが全般的に修正された例に関して先に説明する。
【0188】
映像分析装置(2000)は基準バウンダリを全体的に修正することができる。具体的に、第2コントローラー(2002)は、基準領域と非関心領域との間の距離を考慮して基準バウンダリを全体的に修正することができる。
【0189】
第2コントローラー(2002)は、基準バウンダリと非関心領域がオーバーラップされた区間において、基準バウンダリの修正に相応するように、基準バウンダリの全部を修正することができる。
【0190】
または、第2コントローラー(2002)は、基準バウンダリと非関心領域がオーバーラップされた区間だけではなく、基準バウンダリのすべての区間において基準領域と非関心領域の間の距離を考慮して基準バウンダリを修正することができる。
【0191】
例えば、第2コントローラー(2002)が、第1領域での非関心領域と基準領域の間の距離を考慮して、第1領域において非関心領域と基準領域の間の距離を内分した位置に対応するように基準バウンダリを全般的に修正できるとの表現もある。
【0192】
また、第2コントローラー(2002)は、基準バウンダリのすべての区間に対して、基準領域の全般の領域と非関心領域の間の距離を考慮して、基準バウンダリを全般的に修正することもできる。
【0193】
また、映像分析装置(2000)は基準バウンダリの一部だけを修正することができる。具体的に、第2コントローラー(2002)は、基準バウンダリと非関心領域がオーバーラップされた区間に対応する一部区間のみに対して、基準バウンダリを修正することができる。ここで、第2コントローラー(2002)は、基準バウンダリと非関心領域がオーバーラップされる区間にバッファー区間を追加した部分に対しても基準バウンダリを修正することができ、一部区間を除去した区間のみに対して基準バウンダリを修正することもできる。
【0194】
これを違う表現にすると、第2コントローラー(2002)は、基準バウンダリと非関心領域の間の距離が予め決められた距離より近い区間に対しては、基準バウンダリと基準領域とが第1距離を有するように基準バウンダリを決め、基準バウンダリと非関心領域の間の距離が予め決められた距離より遠い区間に対しては、基準バウンダリと基準領域とが第2距離を有するように基準バウンダリを決めることができる。ここで、予め決められた距離は、
図10ないし
図14を参照して説明した基準バウンダリと基準領域の間の距離に対応できる。
【0195】
図面を参照すれば、一部が修正された基準バウンダリと全体的に修正された基準バウンダリ1,全体的に修正された基準バウンダリ2は、いずれも、非関心領域(灰白質)と基準領域とが近づいて位置した区間で似た形態を現すのが図示されている。ただし、全体的に修正された基準バウンダリ1は、非関心領域と基準領域の間の距離が遠くなった区間でも、同じ距離ぐらい基準領域と離れていることがよく現れている。これに比べ、全体的に修正された基準バウンダリ2は、基準バウンダリのすべての区間において、非関心領域と基準領域を予め決められた割合に内分する位置に基準バウンダリが位置するように決定された。
【0196】
ただし、一部だけを修正した基準バウンダリの場合であっても、修正された基準バウンダリがやわらかい形状を維持するように、基準バウンダリの修正された領域と既存の基準バウンダリとを滑らかに連結する必要がある。
【0197】
以下、基準バウンダリの一部を修正する場合の、既存の基準バウンダリと修正された基準バウンダリの間の連結関係に対して図面を参照して説明する。
【0198】
図19は、実施形態による一部が修正された基準バウンダリの具体的な修正過程の例を示している。
【0199】
図19を参照すれば、映像分析装置(2000)は、修正された基準バウンダリと既存の基準バウンダリを連結することができる。具体的に、第2コントローラー(2002)は、基準領域と非関心領域との間の距離を考慮して、基準バウンダリの修正される範囲を決めて、修正された基準バウンダリの一部領域から既存の基準バウンダリを連結することができる。
【0200】
まず、第2コントローラー(2002)は、基準領域と非関心領域との間の距離が臨界距離以下になる第1地点から、基準領域と非関心領域との間の距離が臨界距離以下になる第2地点まで基準バウンダリを修正することができる。ただし、これは例示に過ぎず、第1地点は、基準バウンダリと非関心領域がオーバーラップされる任意の地点や、非関心領域と基準領域との間の距離が予め決められた距離以下になる任意の地点に選択されることもできる。また、基準バウンダリを修正する方法については、前述した実施例あるいはその他の本発明の思想に統合される方法が利用されることができる。
【0201】
その後、第2コントローラー(2002)は、基準バウンダリが修正された領域の終端点である第1地点または第2地点と、既存の基準バウンダリが再び始まる区間である第3地点を連結することができる。ここで、既存の基準バウンダリによる第3地点と基準領域との間の距離は、
図10ないし
図14で説明したように予め決められることができる。
【0202】
第2コントローラー(2002)は、第1地点または第2地点の位置値と第3地点の位置値との間を補間して、第1地点または第2地点と第3地点とを連結することができる。ここで、第2地点と第3地点との間の補間区間は、その長さが多様に設定されることができる。一例として、補間区間は、非関心領域と関心領域との間の距離を考慮して設定されることができる。
【0203】
図面を参照して具体的な例を説明する。
【0204】
第2コントローラー(2002)は、灰白質と脳室の間の距離が近いところや、既存の基準バウンダリが灰白質領域とオーバーラップされる区間に対して、基準バウンダリを一部修正することができる。第2コントローラー(2002)は、修正された基準バウンダリの一側に位置した第1地点と、既存の基準バウンダリ上に位置した第3地点間とを補間して連結することができる。ここで、第2地点は、灰白質と脳室との間の距離が臨界距離以上になる地点に選択されることができる。または、第2地点は修正された基準バウンダリと非関心領域との間の距離が臨界距離以上になる地点に選択されることができる。
【0205】
このように、実施形態による映像分析装置(2000)は、既存の基準バウンダリと修正された基準バウンダリを滑らかに連結することによって、病気インデックスを計算するための基準バウンダリをより明確に設定することができ、明確に設定された基準バウンダリにより、映像分析装置(2000)の取得する病気インデックスの正確性が向上できる。
【0206】
修正された基準バウンダリにより病気インデックスが計算されれば、映像分析装置(2000)は、修正された基準バウンダリを利用して取得した病気インデックスに基づいて、診断補助情報を提供することができる。具体的に、第2コントローラー(2002)は、修正された基準バウンダリを利用したメディカルイメージの分析結果で病気インデックスを取得することができ、取得した病気インデックスに基づいて診断補助情報を提供することができる。提供される病気インデックスまたは病気情報に関する内容は、
図14での説明と似ているので詳しい説明は省略する。
【0207】
以上に説明した通り、修正された基準バウンダリを利用することによって、一律的な基準バウンダリを利用する場合に比べ、より多様なイメージから正確な病気インデックスを取得することができる。
【0208】
また、以上の説明では基準バウンダリが灰白質領域とオーバーラップされる場合のみ基準バウンダリを修正することについて説明したが、初めから基準バウンダリを
図15ないし
図19で説明した通り設定することも可能であり、分野(field)の要求にしたがって適切な基準バウンダリ設定方法を選用することができる。
【0209】
本明細書の以上の説明では、主に一つのメディカルイメージを分析する方法に対して説明した。
【0210】
以下では、映像分析装置(2000)が複数のメディカルイメージを分析する場合の、複数のメディカルイメージから診断補助情報を提供する方法について説明する。
【0211】
図20は、映像分析装置(2000)が複数のメディカルイメージから診断補助情報を提供する方法に関する概略的なフローチャートである。
【0212】
図20のように、複数のメディカルイメージからの診断補助情報の提供方法は、複数のメディカルイメージを取得するステップ(S3200)、複数のメディカルイメージから病気インデックスを取得するステップ(S3400)、および複数の病気インデックスに基づいて診断補助情報を提供するステップ(S3600)を含んでいる。
【0213】
まず、映像分析装置(2000)は、複数のメディカルイメージを取得することができる(S3200)。具体的に、第2コントローラー(2002)は、第2通信モジュール(2800)を通じて、映像取得装置(1000)から複数のメディカルイメージを取得することができる。ここで、複数のメディカルイメージは、被撮影客体を撮影した断層イメージの集合である。一例として、複数のメディカルイメージは被撮影客体に対するMRIスライスイメージの集合である。
【0214】
以下、映像分析装置(2000)は複数のメディカルイメージから病気インデックスを取得することができる(S3400)。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存された病気インデックスを取得するためのプログラムを利用して、複数のメディカルイメージに対する病気インデックスを取得することができる。ここで、第2コントローラー(2002)は、複数のメディカルイメージの各々に対する病気インデックスを取得することもでき、複数のメディカルイメージの中の一部に対する病気インデックスを取得することもできる。病気インデックスを取得する方法については前述した説明と似ているので、詳しい説明は省略する。
【0215】
複数の病気インデックスが取得されれば、映像分析装置(2000)は複数の病気インデックスに基づいて診断補助情報を提供することができる(S3600)。具体的に、第2コントローラー(2002)は、取得した複数のメディカルイメージに関する病気インデックスを総合的に考慮して診断補助情報を取得し、それを提供することができる。ここで、第2コントローラー(2002)は、病気インデックスが計算された複数のメディカルイメージの全部に対する診断補助情報を提供することもでき、病気インデックスが計算された複数のメディカルイメージの中の一部のみに対する診断補助情報を提供することもできる。映像分析装置(2000)により複数のメディカルイメージに対する診断補助情報を提供する方式に対しては、後文で詳しく説明する。
【0216】
以下、実施形態による複数のメディカルイメージの例示と、複数のメディカルイメージに基づいて診断補助情報を提供する方法に対して、図面を参照して説明する。
【0217】
図21は、実施形態による複数のメディカルイメージの一例を示している。
【0218】
図21を参照すれば、映像分析装置(2000)は被撮影客体に関する複数の断層イメージを取得することができる。具体的に、第2コントローラー(2002)は、第2通信モジュール(2800)を通じて、被撮影客体の複数の断面のイメージを含む複数のメディカルイメージを取得することができる。ここで、複数の断層イメージはがスライスイメージの集合で構成されるということは、前述と同じである。
【0219】
図21には、MRIイメージ装置で取得した複数のメディカルイメージに関する例示が図示されている。
【0220】
図21を参照すれば、複数のメディカルイメージは、被撮影客体の第1軸に平行の複数の平面に関するスライスイメージを含む。また、各スライスイメージは、互いに所定の距離の分だけ離隔した位置での被撮影客体に対する情報を含むことができる。即ち、各々のスライスイメージは、被撮影客体に関してそれぞれ異なる情報を含む。このように、複数のメディカルイメージは、被撮影客体の色々な断面に関する情報を包括的に含んでおり、映像分析装置(2000)は、複数のメディカルイメージを分析することによって、被撮影客体の全般に関する診断補助情報を取得することができる。
【0221】
図22は、それぞれ他の情報を含んでいるスライスイメージの例、およびこれによる診断補助情報の提供に関する一例を示している。
【0222】
図22を参照すれば、一つの被撮影客体に対し他の断面を撮影した複数のメディカルイメージの例を図示されている。具体的に、
図22は、人の脳を撮影したMRIイメージの色々なスライスイメージの集合を示している。
【0223】
(a)の場合は、脳の上部側の断面に関するMRIスライスイメージであり、(b)の場合は、脳の中の側断面に関するMRIスライスイメージを示している。
【0224】
(b)に比べて(a)は、脳の上部に位置する領域の断面を撮影したイメージであって、脳室の大きさが(b)より小さく撮影された。また、(a)と(b)に含まれた白質領域と灰白質領域は違うように図示されていて、最も重要なのは、WMHで区別された領域情報を異なって含んでいることがわかる。
【0225】
前述した通り、本実施例の病気インデックスは、基準領域と対象領域の領域情報の関係に基づいて取得することができる。したがって、被撮影客体の色々な位置での断面を含む複数のメディカルイメージの各々から互いに異なる病気インデックスが計算されることができる。具体的な例として、脳の上部側の断面を撮影した(a)の場合、3等級の病気インデックスが計算され、脳の中の側断面を撮影した(b)の場合、2等級の病気インデックスが計算された。
【0226】
このような場合、(a)に関する診断補助情報および(b)に関する診断補助情報が全部取得されるし、映像分析装置(2000)は、すべてのイメージに対する診断補助情報や、一部イメージに対する診断補助情報を取得して提供することができる。
【0227】
即ち、実施形態による映像分析装置(2000)は、被撮影客体の色々な断面を撮影した複数のメディカルイメージに対する病気インデックスを計算することができて、計算された病気インデックスに基づいて診断補助情報を提供することができる。
【0228】
また、映像分析装置(2000)は、病気インデックスが計算されたメディカルイメージすべてに関して診断補助情報を提供することもでき、一部のみに関して診断補助情報を提供することもできる。
【0229】
映像分析装置(2000)は、病気インデックスが計算されたメディカルイメージの中の一部イメージを選択して、選択されたメディカルイメージに対し診断補助情報を提供することができる。具体的に、第2コントローラー(2002)は、診断インデックスが計算されたメディカルイメージ中、所定の情報を含んでいるイメージを選択し、所定の情報を含むイメージに対し病気インデックスを計算して診断補助情報を提供することができる。
【0230】
ここで、診断補助情報の提供用のメディカルイメージを選択する基準は多様である。即ち、映像分析装置(2000)は、病気インデックスの種類や等級に基づいて、診断補助情報の提供用のメディカルイメージを選択することもできる。
【0231】
例えば、映像分析装置(2000)は、病気インデックスが計算されたメディカルイメージの中で、病気の進行度合の最も深刻さを現わす病気インデックスの等級計算の基礎になったメディカルイメージに対する診断補助情報を提供することができる。他の例として、映像分析装置(2000)は、病気インデックスが計算されたメディカルイメージの中で、病気の状態が最も好転したことを現わす病気インデックスの等級計算の基礎になったメディカルイメージに対する診断補助情報を提供することもできる。また他の例として、映像分析装置(2000)は、病気インデックスが計算されたメディカルイメージの中で、複数のメディカルイメージから計算された病気インデックスの平均値(または、中間値)を現わす病気インデックスの等級計算の基礎になったメディカルイメージに対する診断補助情報を提供することもできる。
【0232】
他の例として、映像分析装置(2000)は、病気インデックスの種類を考慮して、第1病気インデックスが高く測定されたメディカルイメージに関して診断補助情報を提供することもでき、第2病気インデックスが高く測定されたメディカルイメージに関して診断補助情報を提供することもでき、これらを組み合せて診断補助情報を提供することもできる。また、映像分析装置(2000)は、病気インデックスの種類と等級を考慮して、診断補助情報の提供用のメディカルイメージを選択できるということも当然である。
【0233】
このように、病気インデックスの種類や等級により他の診断補助情報が計算されることがあるので、映像分析装置(2000)は、被撮影客体(例えば、主に患者の場合)の特性を考慮して病気インデックスの種類や等級を考慮して、診断補助情報を提供するためのメディカルイメージを選択することによって、患者に適合した診断補助情報を提供することができる。
【0234】
他の実施例として、映像分析装置(2000)は、複数のメディカルイメージから病気インデックスを計算するための候補イメージを選択して、選択された候補イメージから取得した病気インデックスに基づいて診断補助情報を提供することもできる。
【0235】
以下、映像分析装置(2000)が候補イメージから取得した病気インデックスに基づいて診断補助情報を提供する方法について、図面を参照しながら説明する。
【0236】
図23は、候補イメージから診断補助情報を取得する方法を概略的に説明するためのフローチャートである。
【0237】
図23を参照すれば、映像分析装置(2000)が候補イメージから診断補助情報を取得する方法は、複数のメディカルイメージを取得するステップ(S1202)、複数のメディカルイメージをセグメンテーションするステップ(S1212)、セグメンテーションされた複数のイメージの中で候補イメージを判断するステップ(S1222)、選択された候補イメージに対する病気インデックスを取得するステップ(S1402)、および取得された病気インデックスに基づいて診断補助情報を提供するステップ(S1602)を含むことができる。
【0238】
まず、映像分析装置(2000)は、映像取得装置(1000)から複数のメディカルイメージを取得することができる(S1202)。複数のメディカルイメージを取得するステップ(S1202)は、
図20での説明と似ているので、詳しい説明は省略する。
【0239】
その後、映像分析装置(2000)は、複数のメディカルイメージをセグメンテーションすることができる(S1212)。メディカルイメージに対するセグメンテーションについても、前述した説明と類似にして実行されることができので、詳しい説明は省略する。
【0240】
セグメンテーションが実行されれば、映像分析装置(2000)はセグメンテーションされた複数のメディカルイメージから候補イメージを決めることができる(S1222)。具体的に、第2コントローラー(2002)は、予め決められた基準により、セグメンテーションされた複数のメディカルイメージの中で、予め決められた基準を満たす候補イメージを決めることができる。候補イメージに関する詳細な説明は、図面を参照して後述する。
【0241】
候補イメージを決めたら、映像分析装置(2000)は候補イメージから病気インデックスを取得することができる(S1402)。具体的に、第2コントローラー(2002)は、候補イメージの全部または一部に対し、第2メモリー(2002)に保存された病気インデックス計算のためのプログラムを利用して病気インデックスを取得することができる。病気インデックスを取得する方法は、前述の説明と似ているように実行できるので、具体的な説明は省略する。
【0242】
病気インデックスが取得できたら、映像分析装置(2000)は取得された病気インデックスに基づいて、診断補助情報を取得し提供することができる(S1602)。具体的に、第2コントローラー(2002)は、一つ以上の候補イメージから取得された病気インデックスに基づいて、診断補助情報を提供することができる。ここで、第2コントローラー(2002)が複数の候補イメージから診断補助情報を提供する方法は、
図20ないし
図22で説明した通り、複数のメディカルイメージから診断補助情報を提供する方法が適用できる。
【0243】
以下、複数のメディカルイメージから候補イメージが抽出された例、および抽出された候補イメージから病気インデックスを計算して診断補助情報を提供する例を対し、図面を参照しながら説明する。
【0244】
図24は、実施形態による候補イメージの例示を示している。
【0245】
図24を参照すれば、映像分析装置(2000)は候補イメージを選択することができる。具体的に、第2コントローラー(2002)は映像取得装置(1000)から取得した複数のメディカルイメージの中で、一つ以上の候補イメージを選択することができる。ここで、候補イメージは、複数のメディカルイメージの中で予め決められた基準を満たすイメージである。
【0246】
ここで、予め決められた基準は、計算しようとする病気インデックスに対応するように決定することができる。一例として、予め決められた基準は、基準領域の包含有無である。即ち、第2コントローラー(2002)は、複数のメディカルイメージの中で基準領域に関する情報を含むイメージを候補イメージとして選択することができる。他の一例として、予め決められた基準は、対象領域の包含有無である。即ち、第2コントローラー(2002)は、複数のメディカルイメージの中で対象領域に関する情報を含むイメージを候補イメージとして選択することができる。また、第2コントローラー(2002)は、対象領域と基準領域を共に含むメディカルイメージを候補イメージとして選択することができる。
【0247】
また、ここで、候補イメージは図面に示されたように、候補イメージ範囲内に含まれる一つ以上のイメージで決定されることもできる。ここで、候補イメージ範囲は、同じ被撮影客体を一つの軸に対する色々な平面で撮影した連続的な順序を有する断層メディカルイメージの中で、予め決められた条件を満足する第1メディカルイメージから、予め決められた条件を満足する第2メディカルまでの範囲を意味する。ここで、第1メディカルイメージから第2メディカルイメージまでの範囲は、第1メディカルイメージと第2メディカルイメージの間の、順次的に位置する複数のメディカルイメージを含むことができる。
【0248】
即ち、図面を参照して具体的な例を説明すると、基準領域が脳室領域である場合、saggital軸に対するtransverse平面を連続的な断面で撮影した複数のメディカルイメージの中で、脳室が含まれたメディカルイメージの中の最も下部に位置した第1メディカルイメージから、脳室が含まれたメディカルイメージの中最も上部に位置した第2メディカルイメージまでの間が候補イメージ範囲と設定されることができる。
【0249】
他の表現として、第2コントローラー(2002)は、メディカルイメージに含まれた予め設定の条件に対応のピクセルの数が臨界値の以下かまたは以上かに基づいて、候補イメージまたは候補イメージの範囲を選択することができる。
【0250】
具体的に、第2コントローラー(2002)は、メディカルイメージのセグメンテーション結果を分析して、脳室とラベリングされたピクセルの数が臨界値以下であるか否かを判断することができる。第2コントローラー(2002)は、メディカルイメージに含まれた脳室とラベリングされたピクセルの数が臨界値以上または超過した場合に、上記メディカルイメージを候補イメージとして決めることができる。
【0251】
また、第2コントローラー(2002)が候補イメージの範囲を設定する場合、隣接した2個のメディカルイメージの分析結果、一つのイメージに含まれた脳室とラベリングされたピクセルの数が臨界値未満または以下で、他の一つのイメージに含まれた脳室とラベリングされたピクセルの数が臨界値以上または超過になっておれば、上記他の一つのイメージが候補イメージの範囲の境界として設定されることができる。
【0252】
図25は、実施形態による候補イメージから診断補助情報を提供する例を示している。
【0253】
図25を参照すれば、映像分析装置(2000)は候補イメージから診断補助情報を提供することができる。具体的に、第2コントローラー(2002)は、候補イメージから病気インデックスを取得して、取得した病気インデックスに基づいて診断補助情報を提供することができる。
【0254】
病気インデックスを算出する方式については、前述した説明の通りであるため、具体的な説明は省略する。
【0255】
図25に示したように、(a)の場合は、候補イメージではないメディカルイメージで、(b)の場合は、候補イメージに決定されたメディカルイメージである。
【0256】
本実施例により病気インデックスを計算することにおいて、被撮影客体の特定領域がメディカルイメージ内に含まれることが重要である。例えば、実施形態による病気インデックスの取得方法は、脳室とWMHの相関関係によって導出できるが、このような場合、メディカルイメージ内に脳室が含まれていないならば病気インデックスの算出が難しくなり、これにより正確な診断補助情報が提供できない場合もある。即ち、
図25の(a)の場合は脳の上端部を撮影したメディカルイメージであって、メディカルイメージ内に脳室領域が含まれていないため、実施形態による病気インデックスの計算方法が適用できないこともある。
【0257】
(b)の場合は、脳室領域がメディカルイメージ内に含まれており、第2コントローラー(2002)は(b)のようなメディカルイメージを分析して病気インデックスを計算することができ、計算された病気インデックスに基づいて診断補助情報を取得することができる。
【0258】
また、被撮影客体に関するすべてのメディカルイメージを分析する場合、映像分析装置(2000)の演算量が過度になって演算速度が遅くなり、これに伴い演算過程でエラーが発生することもある。
【0259】
しかし、本実施例の候補イメージを利用した診断補助情報の提供方法によれば、複数のイメージをセグメンテーションした後、病気インデックスを計算する候補イメージを先に決めて、決められた候補イメージのみに対して病気インデックスを計算するので、演算量を減少させることで演算速度が速くなり、演算の正確度が向上することができる。
【0260】
図26は、実施形態による診断補助情報を提供する他の実現例である。
【0261】
図26を参照すれば、実施形態による映像分析装置(2000)は、候補イメージ中の少なくとも一つ以上のイメージに関する診断補助情報を提供することができる。具体的に、第2コントローラー(2002)は、候補イメージに選択されたメディカルイメージの中で、予め決められた条件を満たす少なくとも一つ以上のイメージに関する診断補助情報を提供することができる。
【0262】
ここで、予め決められた条件は病気インデックスを考慮して決めることができる。一例として、予め決められた条件は、最も激しい病気進行度合を指示する病気インデックス値である。即ち、第2コントローラー(2002)は、候補イメージの病気インデックスの中で病気インデックスが最も激しい病気の進行度合を表す特定のメディカルイメージを、診断補助情報を提供するためのメディカルイメージとして選択することができる。
【0263】
また、メディカルイメージから複数の病気インデックスが計算できる場合、予め決められた条件は、各々の病気インデックスを全部考慮して決定されることもある。即ち、第2コントローラー(2002)は、複数の病気インデックスのそれぞれに対する特定の候補イメージを、診断補助情報提供のためのメディカルイメージとして全部選ぶことができ、複数の病気インデックスのうち、一部に対する特定の候補イメージのみを診断補助情報提供のためのメディカルイメージとして選ぶことができる。
【0264】
図面を参照して具体的な例を説明してみると、第2コントローラー(2002)は、複数のメディカルイメージのうち、第1病気インデックスに関する予め決められた条件を満たすメディカルイメージに関した診断補助情報を、ディスプレイモジュール(2600)を通じて提供することができる。ここで、予め決められた条件は、複数の候補イメージのうち、第1病気インデックスの等級が最も高く計算されたか否かである。また、第2コントローラー(2002)は、複数のメディカルイメージのうち、第2病気インデックスに関する予め決められた条件を満たすメディカルイメージに関する診断補助情報を、ディスプレイモジュール(2600)を通じて提供することができ、第1病気インデックスおよび第2病気インデックスに関する予め決められた条件を満たすメディカルイメージのすべてに対する診断補助情報を提供することもできる。
【0265】
以上のように、複数のメディカルイメージから病気インデックスを計算するための候補イメージを決める方法や、一つのメディカルイメージに関する病気インデックスを算出する方法を中心に説明した。
【0266】
しかし、より正確な病気インデックスを計算するために、複数のメディカルイメージを利用して病気インデックスを計算することもできるが、これに関しては
図27ないし
図29を参照して説明する。
【0267】
図27は、実施形態による複数のイメージに基づいて病気インデックスを取得する方法を説明するためのフローチャートである。
【0268】
図27を参照すれば、実施形態による複数のイメージに基づいて病気インデックスを取得する方法は、複数のメディカルイメージを取得するステップ(S4200)、複数のメディカルイメージに対するセグメンテーションを実行するステップ(S4400)、第1イメージのターゲット領域情報を取得するステップ(S4600)、第1イメージのターゲット領域情報に基づいて第2イメージの病気インデックスを取得するステップ(S4800)を含んでいる。
【0269】
まず、複数のメディカルイメージを取得して(S4200)、複数のメディカルイメージに対するセグメンテーションを実行するステップ(S4400)は、前述した動作に類似して実行できるので、具体的な説明は省略する。
【0270】
い
メディカルイメージに対するセグメンテーションを実行した後、映像分析装置(2000)は、第1イメージに対するターゲット領域に関する情報を取得することができる(S4600)。具体的に、第2コントローラー(2002)は、計算しようとする病気インデックスに対応するターゲット領域に対し情報を取得することができる。ここで、ターゲット領域は、特定病気インデックスを計算するには必須的に必要な領域を意味する。具体的な内容については後述する。
【0271】
ターゲット領域に関する情報を取得すれば、映像分析装置(2000)は第1イメージのターゲット領域情報に基づいて第2イメージの病気インデックスを計算することができる。具体的に、第2コントローラー(2002)は、第1イメージから取得したターゲット領域情報と第2イメージに含まれている被撮影客体に関連した領域情報に基づいて、第2イメージに関連した病気インデックスを計算することができる。これに関する例は後文で説明する。
【0272】
以下では、図面を参照しながら、第1イメージの情報を考慮して第2イメージの病気インデックスを算出する方法に対して、具体的な例を挙げて説明する。
【0273】
図28は、本実施例により、第1イメージの情報を考慮して第2イメージの病気インデックスを算出する過程を現わした例示である。
【0274】
本実施例によれば、映像分析装置(2000)は第1イメージから直接第2イメージの病気インデックスを計算することができる。具体的に、第2コントローラー(2002)は、第1イメージに含まれた第1領域情報と第2イメージに含まれた第2領域情報の関係に基づいて、第2イメージの病気インデックスを計算することができる。ここで、第1領域情報は、第1イメージに含まれた基準領域に関する情報である。また、第2領域情報は、第2イメージに含まれた対象領域に関する情報である。
【0275】
病気インデックスを計算するには、基準領域に関する情報はメディカルイメージ内に含まれていないのに、対象領域に関する情報は含まれている場合がある。このような場合、病気インデックスを計算するための要件が十分しないため、病気インデックスを計算するのが難解であるが、場合によってこのようなメディカルイメージに対しても病気インデックスを計算する必要がある。
【0276】
例示的に、
図28を参照すれば、第1スライスイメージの場合はWMHに関する情報が含まれているが、脳室に関する情報が含まれていない。このような場合、脳室とWMHとの関係から導出される病気インデックスは、第1スライスイメージから導出されるのが難解である。しかし、WMHは病気に関する重要な情報を内包している可能性が高くて、より正確な診断補助情報を提供するためにWMHが発見されたイメージに対しては病気インデックスを計算することが望ましい。
【0277】
このような場合、第2コントローラー(2002)は、第1イメージと第2イメージの関係に基づいて、第1イメージに関する情報を考慮して第2イメージの病気インデックスを計算することができる。ここで、第1イメージと第2イメージの関係は予め取得することができる。一例として、第1イメージと第2イメージの関係は、スライスイメージ同士間の距離である。
【0278】
さらに図面を参照し、具体的な例を挙げて説明する。
【0279】
第2コントローラー(2002)は、まず複数のメディカルイメージに対するセグメンテーションの結果として、メディカルイメージ内に病気インデックスを計算するための対象領域は含まれているが、基準領域は含まれていない第1イメージを決めることができる。例えば、第2コントローラー(2002)は、実施形態による病気インデックスを計算するためには、脳室およびWMHに関する情報が必要であっても、メディカルイメージ内にWMHに関する情報のみが含まれ、脳室に関する情報が含まれていない第1イメージを選択することができる。
【0280】
次に、第2コントローラー(2002)は、第1イメージの近所の他のメディカルイメージの中で、第1イメージに含まれていない基準領域を含んでいる第2イメージを選択することができる。ここで、第2イメージは、第1イメージとすぐに隣接したイメージであるが、これに限定されていない。例えば、第2コントローラー(2002)は、第1イメージの周辺に位置された(例えば、矢状面(saggital)軸での第1イメージからの距離が所定距離以下である)メディカルイメージの中で、病気インデックスを計算するための脳室領域を含んでいる第2イメージを選択することができる。
【0281】
第2イメージが選ばれたら、第2コントローラー(2002)は、第2イメージに含まれた基準領域と第1イメージに含まれた対象領域の関係に基づいて、病気インデックスを計算することができる。例えば、第2コントローラー(2002)は、第2イメージに含まれた脳室領域から第1イメージに含まれたWMHまでの距離情報および第2イメージに含まれたWMHの領域情報に基づいて、第2イメージ内の病気インデックスを計算することができる。ここで、第1イメージと第2イメージとの間の距離は予め取得して保存することができる。
【0282】
また、ここで、第2イメージに含まれた基準領域と第1イメージに含まれた対象領域との間の関係を導出するための基準は多様に決定されることができる。一例として、第2コントローラー(2002)は、第2イメージに含まれた脳室領域の中心から第1イメージに含まれたWMH領域までの距離に基づいて、病気インデックスを計算することができる。他の一例として、第2コントローラー(2002)は、第2イメージに含まれた脳室領域のうち、第1イメージに含まれたWMH領域と最も近い脳室領域から第1イメージに含まれたWMH領域までの距離に基づいて、病気インデックスを計算することも可能である。例示した方法以外でも、第2イメージに含まれた脳室領域から第1イメージに含まれたWMH領域までの距離が計算できる基準であれば、多様な方法が本発明の思想に統合されるとは当業者であれば理解できることである。
【0283】
以下、図面を参照して、第1イメージから間接的に第2イメージの病気インデックスを計算する方法について説明する。
【0284】
図29は、本実施例により、第1イメージの情報を考慮して第2イメージの病気インデックスを算出する過程を現わした他例を示している。
【0285】
本実施例によれば、映像分析装置(2000)は第1イメージから間接的に第2イメージの病気インデックスを計算することができる。具体的に、第2コントローラー(2002)は、第1イメージに含まれた基準領域に関する情報から間接的に取得された第2イメージ内の基準セルと第2イメージ内に含まれた対象領域の関係に基づいて、第2イメージの病気インデックスを計算することができる。
【0286】
図面を参照して具体的な例を挙げて説明する。
【0287】
第2コントローラー(2002)は、
図27で説明した通りであって、まず複数のメディカルイメージに対するセグメンテーションの結果で、メディカルイメージ内に病気インデックスを計算するための対象領域は含まれているが、基準領域は含まれていない第1イメージを決めることができる。
【0288】
例えば、第2コントローラー(2002)は、実施形態による病気インデックスを計算するためには脳室およびWMHに関する情報が必要であっても、メディカルイメージ内にWMHに関する情報のみが含まれ、脳室に関する情報が含まれていない第1イメージを選ぶことができる。
【0289】
次に、第2コントローラー(2002)は、第1イメージと隣接した他のメディカルイメージの中で、第1イメージにsは含まれていない基準領域を含んでいる第2イメージを選択することができる。例えば、第2コントローラー(2002)は、第1イメージの近くに位置したメディカルイメージの中で、病気インデックスを計算するための脳室領域を含んでいる第2イメージを選ぶことができる。
【0290】
第2イメージが選ばれたら、第2コントローラー(2002)は、第2イメージに含まれた基準領域に関する情報に基づいて、第1イメージ上に第2イメージに含まれた基準領域に対応する基準セルを決めることができる。例えば、第2コントローラー(2002)は、第2イメージに含まれた脳室領域に関する情報に基づいて、第1イメージ上に第2イメージに含まれた脳室領域に対応する基準セル(cell)を決めることができる。
【0291】
基準セルが決定されれば、第2コントローラー(2002)は、第1イメージに含まれた基準セルと対象領域に関する情報に基づいて、病気インデックスを計算することができる。即ち、例えば第2コントローラー(2002)は、第1イメージに含まれた脳室領域に対応する第2領域の基準セルを脳室と見なして、第1イメージに含まれたWMHとの関係を導出して、病気インデックスを計算することができる。基準セルとWMHの関係に基づいて病気インデックスを計算する方式に対しては、前述の説明と類似した病気インデックスの計算方法が適用できるのは当然である。
【0292】
以上のように、本実施例によれば、映像分析装置(2000)は正確な病気インデックスを取得するために複数のメディカルイメージを利用して病気インデックスを計算し、これに基づいて診断補助情報を提供することができる。
【0293】
これに加えて、実施形態による診断補助情報提供システム(10000)は、メディカルイメージを3Dモデリングした3Dメディカルモデルでも病気インデックスを計算して、診断補助情報を提供することができる。
【0294】
以下、
図30ないし
図32を参照して、3Dメディカルモデルに基づいて診断補助情報の提供方法を説明する。
【0295】
図30は、実施形態による3Dメディカルモデルに基づいて診断補助情報を提供する方法の一例を説明するためのフローチャートである。
【0296】
本実施例により、映像分析装置(2000)が実行する3Dメディカルモデルに基づいて診断補助情報を提供する方法は、複数のメディカルイメージを取得するステップ(S5200)、複数のメディカルイメージに対するセグメンテーションを実行するステップ(S5400)、セグメンテーションされたメディカルイメージに基づいて3次元モデリングを実行するステップ(S5600)、3次元モデリングに基づいて病気インデックスを取得するステップ(S5800)を含んでいる。
【0297】
複数のメディカルイメージを取得するステップ(S5200)および複数のメディカルイメージに対するセグメンテーションを実行するステップ(S5400)については、前述した説明と類似したように実行することができて、詳しい説明は省略する。
【0298】
複数のメディカルイメージに対するセグメンテーションを実行すると、映像分析装置(2000)は、セグメンテーションされた複数のメディカルイメージに基づいて、3Dメディカルモデルを取得することができる(S5600)。具体的に、第2コントローラー(2002)は、被撮影客体を連続的な断面で撮影した複数のメディカルイメージを加工して、3Dメディカルモデルを生成することができる。ここで、3Dメディカルモデルは、複数のセグメンテーションされたメディカルイメージを基に生成されて、複数の脳領域情報を反映する3Dピクセル情報を含むことができる。即ち、3次元上で複数の脳領域別にセグメンテーションされることができる。また、前述した基準バウンダリは3次元上で形成されることができる。
【0299】
3Dメディカルモデルを取得すると、映像分析装置(2000)は、取得された3Dメディカルモデルに基づいて病気インデックスを取得し診断補助情報を提供することができる。具体的に、第2コントローラー(2002)は、第2メモリー(2400)に保存された病気インデックスの取得のためのプログラムを利用して、3Dメディカルモデルから病気インデックスを算出して、算出された病気インデックスから診断補助情報を取得することができる。
【0300】
以下、3Dメディカルモデルから病気インデックスを算出して診断補助情報を提供する例について、図面を参照して説明する。
【0301】
図31は、本実施例により3Dメディカルモデルから病気インデックスを算出する過程の一例を示しており、
図32は、本実施例により病気インデックスを算出する過程の他例を示している。
【0302】
図31を参照すると、映像分析装置(2000)は、3Dメディカルモデルに含まれた領域情報に基づいて病気インデックスを取得することができる。具体的に、第2コントローラー(2002)は、3Dメディカルモデルに含まれている被撮影客体の一つ以上の特定領域情報に基づいて、病気インデックスを計算することができる。ここで、一つ以上の特定領域は、前述した通り、対象領域および基準領域を含むことができる。具体的に、3次元上で表現された対象領域または基準領域とラベリングされたセル(例えば、ボクセルを(voxel))である。また、ここで、第2コントローラー(2002)は、一つ以上の被撮影客体に含まれた領域間の関係を導出するための基準を設定することができる。
【0303】
一例として、第2コントローラー(2002)は、3Dメディカルモデルに含まれている脳室領域とWMH領域に基づいて、病気インデックスを計算することができる。ここで、第2コントローラー(2002)は、前述した例示と類似に、脳室領域とWMH領域の間の関係を導出するために基準バウンダリを設定することができる。即ち、第2コントローラー(2002)は、3次元上の脳室領域から予め設定された距離の分だけ離れたセル(cell)の集合を基準バウンダリに設定することができる。また、前述したメディカルイメージで設定された基準バウンダリに類似にして、第2コントローラー(2002)は多様な方式で基準バウンダリを設定したり修正することができる。
【0304】
第2コントローラー(2002)は、3次元で形成された基準バウンダリに基づいて、WMH領域との関係を考慮して病気インデックスを計算することができる。ここで、基準バウンダリとWMHとの関係は前述した説明に似ている。また、2次元のメディカルイメージで3次元の3Dモデリングを実行することに伴って、被撮影客体の領域に関する情報、一例として対象領域に関する領域情報は、3次元的な物理量になる。即ち、第2コントローラー(2002)は、2次元のメディカルイメージでは取得できなかった被撮影客体に含まれた特定領域の厚さのような3次元情報も、3Dモデリングを通じて取得することができる。他の例として、WMHに関する情報は、WMHでタギングされたセル(cell)に対応する体積(または、数)である。
【0305】
図32を参照すれば、映像分析装置(2000)は、3Dメディカルモデルに含まれた複数の平面に基づいて、病気インデックスを算出して診断補助情報を提供することができる。具体的に、第2コントローラー(2002)は、3Dメディカルモデルに含まれた被撮影客体に関し且つ少なくとも一つ以上の特定領域に関する情報を含む1以上の平面に基づいて、病気インデックスを計算して、診断補助情報を提供することができる。
【0306】
3Dモデリングを実行することにより、病気インデックスを算出するための特定領域間の関係を導出するのが容易になる長所がある。即ち、前述した通り、スライスイメージを分析して病気インデックスを計算する場合、スライスイメージ内に病気インデックスを算出するための被撮影客体に含まれた必須領域に関する情報が含まれていないのであれば、病気インデックスを容易に取得することができないだけではなく、取得した病気インデックスの正確度が低くなる可能性がある。
【0307】
しかし、3Dモデリングを実行して病気インデックスを計算する場合、病気インデックスの計算に必須の領域が全部含まれるように平面を決めて、該当平面に対し病気インデックスを計算することによって病気インデックスの正確度が向上することができる。
【0308】
図面を参照して具体的な例を説明する。
【0309】
図32を再び参照してみると、第2コントローラー(2002)は、脳室領域と第1WMH領域が全部含まれるように、予め設定された基準に対応するように第1平面を設定して、設定された第1平面に対する病気インデックスを計算することができる。ここで、第1平面を設定する基準は多様である。一例として、第1平面は、対象領域と基準領域との間の距離を考慮して設定された平面である。より具体的な例として、第1平面は、WMH領域と脳室領域との間の距離が最小になる直線を含むように設定された平面である。
【0310】
他の一例として、第2コントローラー(2002)は、平面内に含まれる対象領域の数を考慮して第2平面を設定し、設定された第2平面に対する病気インデックスを計算することができる。例えば、第2コントローラー(2002)は、基準領域に関する情報を含むことに加えて、最も多い数の対象領域を含むように第2平面を設定することができる。また、第2コントローラー(2002)は、対象領域でラベリングされたピクセルの数が最大になるように第2平面を設定することもできる。
【0311】
即ち、第2コントローラー(2002)は、多様な基準により第1対象領域および基準領域が含まれるように第1平面を設定することもでき、第2対象領域および基準領域が含まれるように第2平面を設定することもできる。この時、第1平面と第2平面は所定の角度を形成することができる。このように、映像分析装置(2000)は、3Dメディカルモデルのベースになったメディカルイメージが含まれた平面と所定の角度を成す平面に対しても、基準領域と対象領域に対する関係を導出することができて、病気インデックスを計算したり診断補助情報を提供することもできる。
【0312】
以上では、多様な実施例により、診断補助情報提供システム(10000)が実行する一つまたは複数のメディカルイメージから病気インデックスを取得して、取得した病気インデックスに基づいて診断補助情報を提供する方法の例について説明した。
【0313】
以上で説明した通り、本実施形態の診断補助情報提供システム(10000)で実行される診断補助情報の提供方法によれば、メディカルイメージから明確で一律的な基準を有し且つ自動化されたアルゴリズムまたはプログラムに基づいて病気インデックスを計算することで、人間の主観的な判断が排除されて、より客観的な病気インデックスが計算でき、これによりもっと正確な診断補助情報を提供することができる。
【0314】
以下では、実施形態による診断補助情報提供システム(10000)が、メディカルイメージからメディカルイメージ内に含まれた特定領域に対してセグメンテーションを実行する方法について説明する。
【0315】
本実施例によれば、診断補助情報提供システム(10000)は、メディカルイメージをセグメンテーションすることができる。具体的に、映像分析装置(2000)は、映像取得装置(1000)からメディカルイメージを取得して、取得されたメディカルイメージをセグメンテーションすることができる。より具体的には、第2コントローラー(2002)は、第2メモリー(2400)に保存されたイメージのセグメンテーションのためのアルゴリズムを利用して、メディカルイメージをセグメンテーションすることができる。
【0316】
以下、図面を参照して説明する。
【0317】
図33は、本実施例により、映像分析装置が実行するメディカルイメージのセグメンテーション動作を概括的に示している。
【0318】
本実施例によれば、映像分析装置(2000)は、インプットデータの入力を受けて、アウトプットデータを出力することができる。具体的に、第2コントローラー(2002)は、映像取得装置(1000)から取得したメディカルイメージをインプットデータとしてイメージのセグメンテーションのためのアルゴリズムに入力して、メディカルイメージがセグメンテーションされたアウトプットデータを取得することができる。
【0319】
実施形態による映像分析装置(2000)は、イメージのセグメンテーションのための多様なアルゴリズムを利用することができる。
【0320】
一例として、イメージのセグメンテーションのためのアルゴリズムは、マシンラーニングモデルで提供されることができる。マシンラーニングモデルの代表的な例として、人工神経ネットワーク(Artificial Neural Network)がある。具体的に、人工神経ネットワークの代表的な例として、データの入力を受け入れる入力層レイヤー、結果を出力する出力層、および入力層ーと出力層の間でデータを処理する隠れ層(hidden layer)を含むディープラーニング系列の人工神経ネットワークがある。
【0321】
人工神経ネットワークの細部的な例として、畳み込みニューラルネットワーク (Convolution Neural Network)、回帰型ニューラルネットワーク (Recurrent Neural Network)、ディープニューラルネットワーク(Deep Neural Network)などがあって、本明細書で人工神経ネットワークは上述された人工神経ネットワーク、その他の多様な形態の人工神経ネットワークおよびこれらを組み合せた形態の人工神経ネットワークを全部含む包括的な意味で解釈されるべきで、必ずディップランニング系列でなければならない。
【0322】
これだけではなく、マシンラーニングモデルが必ず人工神経ネットワークモデル形態であるわけではなく、その他にも最近傍アルゴリズム(KNN)、ランダムフォレスト(Random Forest)、サポートベクターマシン(SVM)、主成分分析法(PCA)などが含まれ、以上に記載された技法がアンサンブルなった形態や、その他に多様な方式で組み合せた形態も全部含むことができる。一方、人工神経ネットワークを中心に記載される実施例において、特別な記載がない限り、人工神経ネットワークが異なるマシンラーニングモデルで代替される可能性も明らかである。
【0323】
しかも、本明細書において、イメージセグメンテーションのためのアルゴリズムが必ずマシンラーニングモデルに限定されるのではない。即ち、イメージセグメンテーションのためのアルゴリズムは、マシンラーニングモデルでない多様な判断/決定アルゴリズムを含むこともできる。
【0324】
したがって、本明細書において、イメージセグメンテーションのためのアルゴリズムは、メディカルイメージを分析してメディカルイメージ内に含まれた領域を区別するすべての形態のアルゴリズムを全部含む包括的な意味であることも理解すべきである。
【0325】
図34および
図35を参照して、人工神経ネットワークモデルの具現例を説明する。
【0326】
図34は、実施形態による人工神経ネットワークモデルの具現例を示している。
【0327】
図34を参照すれば、本発明の実施形態による映像分析装置(2000)は、イメージセグメンテーションのための人工神経ネットワークでU-netを活用することができる。
【0328】
イメージセグメンテーションによく活用されるU-netは、収縮経路(Contraction path)および拡張経路(Expansion Path)を含むアーキテクチャーで構成されることができる。
【0329】
具体的に、U-netの収縮経路は2度のコンボリューション(convolution)および最大プーリング(max pooling)が連続的に実行されるように構成できる。この時、U-netの収縮経路においてはイメージに関連した特性が抽出できる。
【0330】
しかし、収縮経路では、特性マップの大きさも減るので、U-netは拡張経路を追加的に含んで特性マップの大きさを復旧するように構成できる。
【0331】
U-netの拡張経路は、アップコンボリューション(Up-convolution)および2度のコンボリューション(convolution)が連続的に実行されるように構成できる。この時、U-netの拡張経路ではイメージと特性マップの大きさが抽出されることができる。
【0332】
追加的に、U-netは、同じレベルの特性マップをコンカチネーション(concatenation)するようにアーキテクチャーが構成されて、収縮経路で拡張経路に、特性に関する位置情報を提供することができる。
【0333】
この時、入力イメージ(Input Image)のラベルと出力セグメンテーションマップとのラベル差に基づいて、入力イメージのラベルと出力セグメンテーションマップとのラベル差が最小になるよう、U-netの含まれたレイヤーの少なくとも一つのノードのパラメーターあるいは加重値を調節する。
【0334】
図35は、実施形態による人工神経ネットワークモデルの他の具現例を示している。
【0335】
図35を参照すれば、実施形態による映像分析装置(2000)は、イメージセグメンテーションのための人工神経ネットワークでU-net++を活用することができる。U-net++はU-netの性能を向上させるために、DenseNetの高密度ブロックアイディアを使った人工神経ネットワークモデルとして、スキップ経路にコンボリューションレイヤーが存在してエンコーダーおよびデコーダーの特性マップの間のセマンティックギャップを連結し、スキップ経路にテンススキップ連結が存在して勾配流れを向上させる点でU-netとの差異点が存在する。
【0336】
具体的に、映像分析装置(2000)は、U-net++神経ネットワークモデルの入力レイヤーに対し入力イメージを入力し、出力レイヤーを通じて出力されたラベル情報を取得するように具現できる。この時、映像分析装置(2000)は、入力イメージに含まれたラベル情報と神経ネットワークモデルから出力されるラベル情報の差に基づいて、Unet++の含まれた隠れ層の少なくとも一つのノードのパラメーターあるいは加重値を調節することができる。
【0337】
より具体的には、第2コントローラー(2002)は、上述した少なくとも一つのノードのパラメーターあるいは加重値を調節する動作を繰り返して実行するように具現されて、入力イメージに含まれたラベル情報と神経ネットワークモデルから出力される、ラベル情報の差が最小化されるノードのパラメーターあるいは加重値を取得することができる。
【0338】
図36は、実施形態による人工神経ネットワークモデルを利用したセグメンテーション結果を例示している。
【0339】
実施形態によれば、映像分析装置(2000)は、メディカルイメージの特性に基づいて、メディカルイメージをセグメンテーションすることができる。具体的に、第2コントローラー(2002)は、メディカルイメージが取得された条件に対応するように、メディカルイメージをセグメンテーションすることができる。
【0340】
ここで、メディカルイメージが取得された条件は、映像取得装置(1000)の設定パラメーターにより変わることができる。一例として、メディカルイメージが取得された条件は、映像取得装置(1000)の予め設定された磁気状態パラメーター値である。具体的に、映像取得装置(1000)がMRI装置で具現された場合、TR/TE値の設定によりT1-weightedイメージまたはT2-weightedイメージが取得されることができて、第2コントローラー(2002)は、取得されたイメージに対応するようにイメージをセグメンテーションすることができる。ここで、メディカルイメージの取得条件にしたがう特性は前述した通りである。
【0341】
図面を参照して具体的な例を挙げて説明する。
【0342】
図36を参照すれば、同じ被撮影客体でそれぞれ取得したT1-weightedイメージとT2-FLAIRイメージのセグメンテーション結果が図示されている。
【0343】
実施形態によれば、第2コントローラー(2002)はT1-weightedイメージをセグメンテーションすることができる。ここで、T1-weightedイメージは解剖学的特性を判断するためにセグメンテーションできる。図面に図示された通り、T1-weightedイメージをセグメンテーションした結果は、T2-FLAIRイメージをセグメンテーションした結果に比べて、灰白質外殼領域のシワの部分がもっと鮮明にセグメンテーションされたことが確認できる。
【0344】
また、実施形態によれば、第2コントローラー(2002)はT2-FLAIRイメージをセグメンテーションすることができる。ここで、T2-FLAIRイメージは、病変的特性を判断するためにセグメンテーションできる。図面に図示された通り、T2-FLAIRイメージをセグメンテーションした結果は、T1-weightedイメージをセグメンテーションした結果に比較して、WMH領域に対する情報をもっと含んでいることが図示されている。
【0345】
このように、同じ被撮影客体から取得したメディカルイメージであっても、映像取得装置(1000)の取得条件によりメディカルイメージに含まれた特性(例えば解剖学的特性、病変的特性)が変わって、メディカルイメージの特性によりメディカルイメージで観測できる情報も変わることがある。
【0346】
しかし、必要に応じて、色々なメディカルイメージの特性が総合的に考慮される場合、より正確な診断補助情報を提供することができる。したがって、以下では、複数の特性を含むようにメディカルイメージをセグメンテーションする過程について説明する。
【0347】
図37は、実施形態により複数の特性を含むようにセグメンテーションされたメディカルイメージの例を示している。
【0348】
図37を参照すれば、実施形態による映像分析装置(2000)は、取得条件によって変わる少なくとも2以上の特性が一つのメディカルイメージに含まれるように、メディカルイメージをセグメンテーションすることができる。具体的に、第2コントローラー(2002)は、第1イメージをベースにして、第2イメージの特性が含まれるように第1イメージをセグメンテーションすることができる。
【0349】
図面を参照して具体的な例を挙げて説明する。
【0350】
第2コントローラー(2002)は、第1特性を含む第1メディカルイメージをインプットデータとして人工神経ネットワークに入力して、第1特性および第2メディカルイメージに関する第2特性がラベリングされたアウトプットデータを取得することができる。ここで、人工神経ネットワークは、第2特性を有する第2イメージに関するラーニングセットを基礎にして学習することができる。例えば、ここでの第1特性は解剖学的特性または構造的特性であって、これにより、第1イメージはT1-weightedイメージである。また、第2特性は病変的特性であって、これにより、第2イメージはT2-FLAIRイメージである。
【0351】
より具体的な例として、(a)とともに、第2コントローラー(2002)は、病変的特性を含む第1イメージ(例示では、T2-FLAIRイメージ)をインプットデータとして実施例による人工神経ネットワークに入力することができる。
【0352】
ここで、第1イメージに関するラーニングセットのみで学習された人工神経ネットワークを利用する場合、第2コントローラー(2002)は(b)とともに、第1特性(即ち、病変的特性)のみを含むセグメンテーション結果だけを出力することになる。
【0353】
ただし、本発明の実施形態による人工神経ネットワークは、第1特性に関する第1イメージおよび第2特性に関する第2イメージのすべてに基づいたラーニングセットを利用して学習することができる。これによって、第2コントローラー(2002)は、第1イメージを上記人工神経ネットワークに入力して、(c)とともに第1特性および第2特性が全部反映された第1イメージに対するセグメンテーション結果を取得することができる。
【0354】
このように、一つの特性を含むメディカルイメージをセグメンテーションする場合にも複数の特性に関する情報を共に取得することによって、一つのメディカルイメージから多様な病気関連情報を取得することができ、実施形態による映像分析装置(2000)は、メディカルイメージからより正確で多様な診断補助情報を提供することができる。
【0355】
以下、実施形態による人工神経ネットワークの学習過程に対して、図面を参照して説明する。
【0356】
図38は、実施形態による人工神経ネットワークの学習過程を説明するためのフローチャートである。
【0357】
実施形態による人工神経ネットワークは、学習データを利用して学習することができる。ここで、実施形態による人工神経ネットワークは、人工神経ネットワークアルゴリズムを駆動できる多様な装置を通じて学習されることができる。一例として、人工神経ネットワークは、映像分析装置(2000)を通じて学習されることができる。本明細書では、説明の便宜のために、人工神経ネットワークが映像分析装置(2000)を通じて学習されることを説明したが、これに対し限定されず、他の人工神経ネットワークの駆動のための装置を通じて学習できることも理解すべきである。
【0358】
図39を参照すれば、実施形態による人工神経ネットワークの学習過程は、第1特性を含む第1イメージをセグメンテーションするステップ(S6000)、第2特性を含む第2イメージを基に第1イメージのセグメンテーション情報を整合するステップ(S6200)、整合されたイメージと第2イメージを利用して1次学習を実行するステップ(S6400)、1次学習の出力結果を含む第2イメージに対し形態学的に修正するステップ(S6600)、および形態学的に修正されたセグメンテーション結果を含む第2イメージを利用して2次学習を実行するステップ(S6800)を含んでいる。
【0359】
まず、映像分析装置(2000)は、第1特性を含む第1イメージをセグメンテーションすることができる(S6000)。具体的に、第2コントローラー(2002)は、第1取得条件で取得される第1特性に関する情報が含まれるように、第1イメージをセグメンテーションすることができる。これを違う表現にすると、映像取得装置(1000)が第1パラメーターと設定された時、取得される第1特性を含む第1イメージをセグメンテーションすることができる。
【0360】
第1イメージをセグメンテーションした後、映像分析装置(2000)は、第2イメージを基にしてセグメンテーションされた第1イメージと第2イメージを整合することができる(S6200)。具体的に、第2コントローラー(2002)は、第2特性を含む第2イメージ上に、第1特性を含むようにセグメンテーションされた第1イメージを整合して、第1特性に関するセグメンテーションされた情報を含む第2イメージを取得することができる。これを別の表現にすると、映像取得装置(1000)の第2パラメーターと設定された時に取得される第2特性を含む第2イメージ上に、前述した第1特性を含むようにセグメンテーションされた第1イメージを整合することもある。これについては後文で詳しく説明する。
【0361】
第1イメージと第2イメージが整合した後、映像分析装置(2000)は、整合された第2イメージと整合されていない第2イメージを利用して1次学習を実行することができる(S6400)。具体的に、第2コントローラー(2002)は、実施形態による人工神経ネットワークが第2イメージから第1特性を含んだセグメンテーション結果を出力するように、第2イメージと第1特性が反映されるように整合なされた第2イメージを利用して、人工神経ネットワークを学習させることができる。
【0362】
即ち、人工神経ネットワークは、第1特性がラベリングされた第2イメージと原本第2イメージを含むラーニングセットを利用して学習することができる。これによって、人工神経ネットワークは、第2イメージを入力データとして入力を受けて、第1特性がラベリングされた第2イメージを出力することができる。ここで、ラーニングセットが原本第2イメージを含むということで説明したが、原本第2イメージ以外でも、加工された第2イメージが利用できる。一例として、第2イメージは、第2特性を含むようにセグメンテーションされた第2イメージである。また、その他の前処理過程が実行された第2イメージであってもいい。ただし、本明細書の以下の説明では説明の便宜のために、主に、人工神経ネットワークが原本第2イメージに基づいたランニングセットを利用して学習することを説明する。
【0363】
人工神経ネットワークが一次的に学習された後、映像分析装置(2000)は、1次学習された人工神経ネットワークのアウトプットイメージに対して形態学的(morphological)修正を実行することができる(S6600)。具体的に、第2コントローラー(2002)は、原本第2イメージデータを上記人工神経ネットワークに入力して出力された第2特性を含むようにセグメンテーションされた第2イメージに対し、セグメンテーション結果の正確度を高めるために形態学的修正を実行することができる。
【0364】
一次的に学習した人工神経ネットワークは、第1特性に関する情報を正確に含んでいない場合もある。したがって、実施形態による映像分析装置(2000)は、第1特性を含む第1イメージに基づいて人工神経ネットワークの1次アウトプットデータを形態学的に修正することによって、人工神経ネットワークが第1特性に関する情報を第2イメージ上でより正確に区別できるように、人工神経ネットワークの演算正確度を向上させることができる。
【0365】
人工神経ネットワークの1次アウトプットデータに対する形態学的修正が完了すれば、映像分析装置(2000)は、形態学的に修正された第2イメージに基づいて人工神経ネットワークを2次的に学習させることができる(S6800)。具体的に、第2コントローラー(2002)は、形態学的に修正されて第1特性がラベリングされた第2イメージを含むラーニングセットに基づいて、実施形態のよる人工神経ネットワークを学習させることができる。即ち、実施形態による人工神経ネットワークは、形態学的に修正された第1特性が反映されるようにラベリングされた第2イメージを含むラーニングセットを利用して学習することによって、第2イメージからより正確に第1特性に関する情報が反映されるようにセグメンテーションを実行することができる。
【0366】
以下、図面を参照して、実施形態による人工神経ネットワークの学習過程に対して例示を説明する。
【0367】
図39は、実施形態による第1イメージと第2イメージの整合過程を示す例である。
【0368】
図39を参照すれば、実施形態による映像分析装置(2000)は、第1イメージと第2イメージとを整合することができる。具体的に、第2コントローラー(2002)は、第1イメージと第2イメージの間の整合マトリックスを取得することができる。ここで、整合マトリックスは、第1イメージと第2イメージの間の変換関数を意味する。即ち、実施形態による整合マトリックスは、同じ被撮影客体に対する第1イメージと第2イメージの相互間に対し、第1イメージに含まれた第1ポイントと第2イメージに含まれた第2ポイントの間の相関関係を現わした関数であると表現することもできる。ここで、第1ポイントおよび第2ポイントはピクセルを意味する場合もあり、ピクセルの集合を意味する場合もある。
【0369】
実施形態による映像分析装置(2000)は、整合マトリックスを利用して、第1特性に対してセグメンテーションされた第1イメージに基づいて、第2イメージを第1イメージのセグメンテーション結果と対応するように加工することができる。即ち、第2コントローラー(2002)は、第1特性に関する第1イメージのセグメンテーション結果が第2イメージに反映されるように、第2イメージをセグメンテーションすることができる。ここで、前述した通り、第2イメージは第2特性を含むように予めセグメンテーションされることもできる。即ち、第2コントローラー(2002)は、第1特性および第2特性が全部反映されるように第2イメージをセグメンテーションすることもできる。
【0370】
より具体的な例示として、第1イメージはT1-weightedイメージで、第2イメージはT2-FLAIRイメージであってもいい。即ち、映像分析装置(2000)は、先にT1-weightedイメージとT2-FLAIRイメージを整合して整合マトリックスを取得することができる。
【0371】
また、映像分析装置(2000)は、T1-weightedイメージの解剖学的特性や構造的特性が反映されるようにT1-weightedイメージをセグメンテーションすることができる。例えば、第2コントローラー(2002)は、脳の特定領域が区別されるようにT1-weightedイメージを加工することができる。より具体的に、第2コントローラー(2002)は、大脳、小脳、間脳、海馬など、脳に含まれた機関が区別できるように脳をセグメンテーションすることができタツノオトシゴなど脳に含まれた機関が区別されるように、T1-weightedイメージをセグメンテーションすることができ、側頭葉、前頭葉、後頭葉など脳の部位別位置ごとに区別できるように脳をセグメンテーションすることもできるし、これらを組み合せてセグメンテーションすることも可能である。
【0372】
そして、映像分析装置(2000)は整合マトリックスを利用して、T1-weightedイメージのセグメンテーション結果がT2-FLAIRイメージに反映されるように、セグメンテーションされたT1-weightedイメージをT2-FLAIRイメージに整合することができる。
【0373】
これにより、映像分析装置(2000)は、解剖学的特性が反映されるようにセグメンテーションされたT2-FLAIRイメージを取得することができる。具体的に、第2コントローラー(2002)は、メディカルイメージで観測できるWMHまたは脳を構成する物質である白質(white matter)、灰白質(gray matter)などが区別されるT2-FLAIR映像に、前述した解剖学的特性が反映されるようにT2-FLAIRイメージをセグメンテーションすることができる。上記解剖学的特性が反映されるようにセグメンテーションされたT2-FLAIRイメージは、前述した通り人工神経ネットワークの1次学習に利用されることができる。
【0374】
図40は、実施形態による形態学的(morphological)修正の例を示している。
【0375】
図40を参照すれば、実施形態による映像分析装置(2000)は、メディカルイメージに対するセグメンテーション結果を形態学的に修正することができる。具体的に、第2コントローラー(2002)は、第2イメージに含まれた第1特性を反映するセグメンテーション結果を形態学的に修正することができる。形態学的に修正されたセグメンテーション結果を含む第2イメージは、第1特性をより正確に反映することができる。
【0376】
図面を参照して具体的な例を説明する。
【0377】
上述した通り、人工神経ネットワークは、解剖学的特性が反映されるようにセグメンテーションされたT2-FLAIRイメージと原本T2-FLAIRイメージを利用して1次学習することができる。1次学習の結果として、人工神経ネットワークは、T2-FLAIRイメージを入力受けてT1-weightedイメージの特性(解剖学的または構造的特性)が反映されるようにセグメンテーションされたT2-FLAIRイメージを出力することができる。人工神経ネットワークの出力結果であるT2-FLAIRイメージは、T1-weightedイメージの特性を反映するようにセグメンテーションされたが、一部領域で不完全であるため修正が必要となる。
【0378】
(a)の場合は、実施形態による人工神経ネットワークの1次学習結果として、セグメンテーションされた区域の外郭部分が解剖学的特性を不完全に反映してセグメンテーションされたのが図示されている。これに比べて、(b)は、形態学的に修正された人工神経ネットワークの1次出力として、セグメンテーションされた外郭部分が解剖学的特性をよく反映するように修正されているのが図示されている。
【0379】
より具体的に、(a)の場合、一部の灰白質領域が区別されておらず、各領域の境界線が部分的に切れていることが図示されている。また、不完全な学習により領域が間違ってラベリングされたノイズも含まれている。
【0380】
しかし、形態学的に修正されたメディカルイメージは灰白質領域がよく区別されていて、各領域の境界線が明確に特定領域を区別しているのが図示されている。
【0381】
ここで、本実施形態によれば、第2コントローラー(2002)は脳構造の特性をベースにして形態学的修正を実行することができる。一般的に、脳室を含んだ脳の領域は、3次元上で26種類の方式で連結されなければならない。したがって、第2コントローラー(2002)は、脳の各領域同士間の連結関係に基づいて、セグメンテーションされたメディカルイメージ内に含まれたノイズを減少することができる。
【0382】
また、ここで、脳室はその他の非組織(none-tissue)と間違って区別されて、非組織に間違ってラベリングされる。この場合、脳室領域の誤ったラベリングを補償するために、第2コントローラー(2002)は、フィルホール(fill-hole)方法を利用して脳室領域をラベリングすることができる。
【0383】
このように、実施形態による人工神経ネットワークは、形態学的にセグメンテーション結果が修正された結果の入力によって再学習し、含もうとする特性がより正確に反映されるように結果を出力することができる。
【0384】
図41は、実施形態による映像分析装置の人工神経ネットワークを利用した展開(deploying)過程を説明するためのフローチャートである。
【0385】
図41を参照すれば、実施形態による映像分析装置(2000)の人工神経ネットワークを利用した展開(deploying)過程は、第1特性を含む第1イメージを入力するステップ(S7000)、および第1特性および第2特性が含まれたセグメンテーション結果を含むように加工された第1イメージを出力するステップ(S7200)を含んでいる。
【0386】
まず、映像分析装置(2000)は、第1特性を含む第1イメージを人工神経ネットワークに入力することができる(S7000)。具体的に、第2コントローラー(2002)は、十分に学習されて第2メモリー(2400)に保存された人工神経ネットワークに第1特性を含む第1イメージを入力することができる。ここで、人工神経ネットワークは、上述された学習過程を経て十分に学習されている。
【0387】
第1イメージを入力すれば、映像分析装置(2000)は、人工神経ネットワークの出力結果として、第1イメージに関連した第1特性および第1イメージと異なる形式の第2イメージに関連した第2特性を含むように、加工された第1イメージを取得することができる(S7200)。具体的に、第2コントローラー(2002)は、第1イメージに関連した第1特性および第1イメージと異なる第2イメージに関連した第2特性が総合的に区別されるように、セグメンテーションされた第1イメージを取得することができる。
【0388】
このように、実施形態による人工神経ネットワークの学習過程にしたがって十分に学習された人工神経ネットワークを利用することによって、映像分析装置(2000)は、第1特性のみを含んだメディカルイメージを人工神経ネットワークに入力しても、第1特性および第1特性と異なる第2特性とを全部含むようにセグメンテーションされたメディカルイメージを取得することができる。これによって、関連情報を取得しようとする病気を分析するための多様な情報を取得することができ、多様な情報を分析することによって病気に関連しても多様な情報をユーザーに提供することができる。
【0389】
図42は、実施形態による人工神経ネットワークの最終出力結果の一例を示している。
【0390】
図42を参照すれば、映像分析装置(2000)は、第1イメージを人工神経ネットワークに入力して、多様な特性が含まれるように加工された第1イメージを取得することができる。具体的に、第2コントローラー(2002)は第1特性が反映された第1イメージを人工神経ネットワークに入力して、第1特性と異なる特性がもっと反映されるようにセグメンテーションされた第1イメージを取得することができる。
【0391】
図面を参照して具体的な例を説明すると、映像分析装置(2000)は、T2-FLAIRイメージを人工神経ネットワークに入力して、T1-weightedイメージの特性が反映されるように加工されたイメージを取得することができる。
【0392】
具体的に、第2コントローラー(2002)は、T1-weightedイメージの特性およびT2-FlAIRイメージの特性が反映されたラーニングセットに基づいて、十分に学習された人工神経ネットワークにT2-FLAIRイメージを入力して、T1-weightedイメージの特性が反映されるようにセグメンテーションされたT2-FLAIRイメージを取得することができる。ここで、人工神経ネットワークは、T2-FLAIRイメージの既存の特性を反映してセグメンテーションするように学習されるのは当然のことである。即ち、本実施形態による人工神経ネットワークは、T2-FLAIRイメージを入力データにして、T1-weightedイメージにおいて観測の容易な解剖学的または構造的特性が反映されるだけではなく、T2-FLAIRイメージにおいて観測の容易な病変的特性すべてを含むようにセグメンテーションされたイメージを取得することができる。
【0393】
より具体的な例を説明すると、実施形態による人工神経ネットワークの最終出力は、WMHのような病変的特性および白質、灰白質などの脳を構成する物質がよく区別されるT2-FLAIRイメージを基盤にして、脳に含まれた機関および脳の部位別位置とともに、T1-weightedイメージの特性が全部含まれるようにセグメンテーションされることができる。
【0394】
実施形態による方法は、多様なコンピュータ手段を通じて実行できるプログラム命令形態で具現されて、コンピュータ判読可能な記録媒体に記録されることができる。上記コンピュータ判読可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合せて含むことができる。上記媒体に記録されるプログラム命令は、実施例のために特に設計されて構成されたものや、コンピュータソフトウェアの当業者に公示されて使用可能になっているものである。コンピュータ判読可能記録媒体の例として、ハードディスク、フロッピーディスクおよび磁気テープのような磁気メディア(magnetic media)、CD-ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク (floptical disk)のような磁気-光媒体(magneto-optical media)、およびロム(ROM)、ラム(RAM)、フラッシュメモリなどのようにプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られる機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行できる高級言語コードを含む。上述したハードウェア装置は、実施例の動作を実行するために一つ以上のソフトウェアモジュールとして作動できるように構成されるし、その役も同じである。
【0395】
以上のように、限定された実施例や図面によって本発明の実施形態を説明したが、当技術分野で通常の知識を持った者ならば以上の記載に基づいて多様な修正および変形をすることは可能である。例えば、説明した技術が、説明された方法と異なる順序で実行されたり、および/または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と違う形態で結合または組み合せたり、他の構成要素または均等物によって置き換えまたは置換されたりしても、適切な結果を達成することができる。
【0396】
したがって、他の具現、他の実施例および特許請求範囲と均等なものも、本発明の特許請求の範囲に属する。