特許 7205034 磁気共鳴イメージで正中矢状平面を決定するための方法、イメージ処理デバイス及び格納媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-06

(45)【発行日】2023-01-17

(54)【発明の名称】磁気共鳴イメージで正中矢状平面を決定するための方法、イメージ処理デバイス及び格納媒体

(51)【国際特許分類】

   A61B 5/055 20060101AFI20230110BHJP

【ＦＩ】

A61B5/055 380

【請求項の数】 23

(21)【出願番号】P 2022094414

(22)【出願日】2022-06-10

(62)【分割の表示】P 2020195773の分割

【原出願日】2020-11-26

(65)【公開番号】P2022111357

(43)【公開日】2022-07-29

【審査請求日】2022-06-10

(31)【優先権主張番号】62/940,576

(32)【優先日】2019-11-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】506414749

【氏名又は名称】コー・ヤング・テクノロジー・インコーポレーテッド

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】サリバン ケネス マーク

(72)【発明者】

【氏名】チョ ジェドゥ

(72)【発明者】

【氏名】ジェン シン

(72)【発明者】

【氏名】カン ジンマン

【審査官】下村 一石

(56)【参考文献】

【文献】欧州特許出願公開第３２９８９６８（ＥＰ，Ａ１）

【文献】国際公開第２０１９／１４１７４８（ＷＯ，Ａ１）

【文献】特開２０１２－１３９２６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

脳の複数の磁気共鳴(ＭＲ)イメージから正中矢状平面(ＭＳＰ)を決定するための、コンピュータによって行われる方法であって、
前記複数のＭＲイメージを受信する段階と、
前記複数のＭＲイメージを３Ｄ座標空間に定義される３Ｄ体積イメージに変換する段階と、
ＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために事前に訓練されたセグメント化モデルに基づいて、前記３Ｄ体積イメージ内の前交連(ＡＣ)領域、後交連(ＰＣ)領域、及び第３脳室領域のセマンティックセグメント化を行う段階と、
前記３Ｄマスクイメージ内で、前記ＡＣ領域の質量中心に対応するＡＣ地点を前記ＡＣ領域としてラベリングし、前記ＰＣ領域の質量中心に対応するＰＣ地点を前記ＰＣ領域としてラベリングする段階と、
前記ラベリングされた３Ｄマスクイメージに基づいてセグメント化された前記第３脳室領域の３Ｄ体積測定イメージを作成する段階と、
前記第３脳室領域の３Ｄ体積測定イメージに基づいて前記ＭＳＰを決定する段階と、を含み、
前記ＭＳＰは、
前記ＡＣ地点を示す第１座標と、
前記ＰＣ地点を示す第２座標と、
前記第１座標及び前記第２座標と異なる第３座標と、
により定義される、方法。

【請求項2】

前記セマンティックセグメント化を行う段階は、
前記３Ｄ体積イメージの複数のスライスそれぞれの複数のピクセルを予め決定された範囲内の強度値に正規化する段階と、
前記３Ｄ体積イメージの複数のスライスそれぞれの中の中心関心領域から前記複数のピクセルのセットを抽出する段階と、
前記ＡＣ領域、前記ＰＣ領域、及び前記第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために前記事前に訓練されたセグメント化モデルに基づいて正規化されて抽出された前記３Ｄ体積イメージのＡＣ領域、ＰＣ領域、及び第３脳室領域をセグメント化する段階と、を含む、請求項１に記載の方法。

【請求項3】

前記ＭＳＰを決定する段階は、
前記第３脳室領域の３Ｄ体積測定イメージの骨格に基づいて前記第３脳室領域の３Ｄ体積測定イメージを対称的に分割する候補平面を決定する段階と、
前記候補平面を前記ＭＳＰとして指定する段階と、を含む、請求項１に記載の方法。

【請求項4】

前記ＭＳＰを示す情報を出力する段階と、
前記ＡＣ領域、前記ＰＣ領域、及び前記第３脳室領域でラベリングされる３Ｄマスクイメージを出力する段階と、を更に含む、請求項１に記載の方法。

【請求項5】

前記ＭＳＰを示す情報は、前記ＭＳＰを定義する１セットの座標または方程式である、請求項４に記載の方法。

【請求項6】

前記ＭＳＰを決定する段階は、
前記第３脳室領域の３Ｄ体積測定イメージの骨格から始めて候補平面によって前記第３脳室領域の３Ｄ体積測定イメージを第１部分及び第２部分に分割する段階と、
前記候補平面が前記第１部分内の形状及びボクセル数及び前記第２部分の形状及びボクセル数に基づいて前記３Ｄ体積測定イメージを対称的に分割するかを決定する段階と、
前記候補平面が前記３Ｄ体積測定イメージを対称的に分割すると決定した時、前記候補平面を前記ＭＳＰとして指定する段階と、を含む、請求項１に記載の方法。

【請求項7】

前記候補平面は、前記ＡＣ領域及び前記ＰＣ領域を連結するラインを含む、請求項６に記載の方法。

【請求項8】

前記ＭＳＰを決定する段階は、
複数の候補平面のうちの一つが前記第３脳室領域の３Ｄ体積測定イメージを対称的に分割すると決定されるまで前記第３脳室領域の３Ｄ体積測定イメージの骨格から始めて前記複数の候補平面によって前記第３脳室領域の３Ｄ体積測定イメージを順次分割する段階と、
前記複数の候補平面のうちの一つを前記ＭＳＰとして指定する段階と、を含む、請求項１に記載の方法。

【請求項9】

前記第３脳室領域の３Ｄ体積測定イメージを順次分割する段階は、
前記第３脳室領域の３Ｄ体積測定イメージの骨格に対して角度増分で前記第３脳室領域の３Ｄ体積測定イメージを順次回転させて並進させる段階と、
前記３Ｄ体積測定イメージのそれぞれの回転及び並進位置で、前記複数の候補平面のうちの一つによって前記３Ｄ体積測定イメージを分割する段階と、
前記複数の候補平面のうちの一つが前記３Ｄ体積測定イメージを対称的に分割するかを決定する段階と、
前記複数の候補平面のうちの一つが前記第３脳室領域の３Ｄ体積測定イメージを対称的に分割すると決定した時、前記候補平面を前記ＭＳＰとして指定する段階と、を含む、請求項８に記載の方法。

【請求項10】

脳の複数の磁気共鳴(ＭＲ)イメージから正中矢状平面(ＭＳＰ)を決定するためのイメージ処理デバイスであって、
プロセッサを含み、前記プロセッサは、
前記複数のＭＲイメージを受信し、
前記複数のＭＲイメージを３Ｄ座標空間に定義される３Ｄ体積イメージに変換し、
ＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために事前に訓練されたセグメント化モデルに基づいて前記３Ｄ体積イメージ内の前交連(ＡＣ)領域、後交連(ＰＣ)領域、及び第３脳室領域のセマンティックセグメント化を行い、
前記３Ｄマスクイメージ内で、前記ＡＣ領域の質量中心に対応するＡＣ地点を前記ＡＣ領域としてラベリングし、前記ＰＣ領域の質量中心に対応するＰＣ地点を前記ＰＣ領域としてラベリングし、
前記ラベリングされた３Ｄマスクイメージに基づいてセグメント化された前記第３脳室領域の３Ｄブロブを作成し、
前記第３脳室領域の３Ｄブロブに基づいて前記ＭＳＰを決定するように
構成され、前記ＭＳＰは、
前記ＡＣ地点を示す第１座標と、
前記ＰＣ地点を示す第２座標と、
前記第１座標及び前記第２座標と異なる第３座標と、
により定義される、イメージ処理デバイス。

【請求項11】

前記プロセッサは、
前記３Ｄ体積イメージの複数のスライスそれぞれの複数のピクセルを予め決定された範囲内の強度値に正規化し、
前記３Ｄ体積イメージの複数のスライスそれぞれの中の関心領域から前記複数のピクセルのセットを抽出し、
前記ＡＣ領域、前記ＰＣ領域、及び前記第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために前記事前に訓練されたセグメント化モデルに基づいて正規化されて抽出された前記３Ｄ体積イメージのＡＣ領域、ＰＣ領域、及び第３脳室領域をセグメント化するように構成される、請求項１０に記載のイメージ処理デバイス。

【請求項12】

前記プロセッサは、
前記第３脳室領域の３Ｄブロブの骨格に基づいて前記第３脳室領域の３Ｄブロブを対称的に分割する候補平面を決定し、
前記候補平面を前記ＭＳＰとして指定することによって前記ＭＳＰを決定するように構成される、請求項１０に記載のイメージ処理デバイス。

【請求項13】

前記プロセッサは、
前記ＭＳＰを示す情報を出力し、
前記ＡＣ領域、前記ＰＣ領域、及び前記第３脳室領域でラベリングされる３Ｄマスクイメージを出力するように更に構成される、請求項１０に記載のイメージ処理デバイス。

【請求項14】

前記ＭＳＰを示す情報は、前記ＭＳＰを定義する１セットの座標または方程式である、請求項１３に記載のイメージ処理デバイス。

【請求項15】

前記プロセッサは、
前記第３脳室領域の３Ｄブロブの骨格から始めて候補平面によって前記第３脳室領域の３Ｄブロブを第１部分及び第２部分に分割し、
前記候補平面が前記第１部分内の形状及びボクセル数及び前記第２部分の形状及びボクセル数に基づいて前記３Ｄブロブを対称的に分割するかを決定し、
前記候補平面が前記３Ｄブロブを対称的に分割すると決定した時、前記候補平面を前記ＭＳＰとして指定することによって前記ＭＳＰを決定するように構成される、請求項１０に記載のイメージ処理デバイス。

【請求項16】

前記候補平面は、前記ＡＣ領域及び前記ＰＣ領域を連結するラインを含む、請求項１５に記載のイメージ処理デバイス。

【請求項17】

前記プロセッサは、
複数の候補平面のうちの一つが前記第３脳室領域の３Ｄブロブを対称的に分割すると決定されるまで前記第３脳室領域の３Ｄ体積測定イメージの骨格から始めて前記複数の候補平面によって前記第３脳室領域の３Ｄブロブを順次分割し、
前記複数の候補平面のうちの一つを前記ＭＳＰとして指定することによって前記ＭＳＰを決定するように構成される、請求項１０に記載のイメージ処理デバイス。

【請求項18】

脳の複数の磁気共鳴(ＭＲ)イメージから正中矢状平面(ＭＳＰ)を決定するための命令語を含む非一時的コンピュータ読み取り可能な格納媒体であって、前記命令語はプロセッサが動作を行うようにし、前記動作は、
前記複数のＭＲイメージを受信する動作と、
前記複数のＭＲイメージを３Ｄ座標空間に定義される３Ｄ体積イメージに変換する動作と、
ＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために事前に訓練されたセグメント化モデルに基づいて前記３Ｄ体積イメージ内の前交連(ＡＣ)領域、後交連(ＰＣ)領域、及び第３脳室領域のセマンティックセグメント化を行う動作と、
前記３Ｄマスクイメージ内で、前記ＡＣ領域の質量中心に対応するＡＣ地点を前記ＡＣ領域としてラベリングし、前記ＰＣ領域の質量中心に対応するＰＣ地点を前記ＰＣ領域としてラベリングする動作と、
前記ラベリングされた３Ｄマスクイメージに基づいてセグメント化された前記第３脳室領域の３Ｄ体積測定イメージを作成する動作と、
前記第３脳室領域の３Ｄ体積測定イメージに基づいて前記ＭＳＰを決定する動作と、を含み、
前記ＭＳＰは、
前記ＡＣ地点を示す第１座標と、
前記ＰＣ地点を示す第２座標と、
前記第１座標及び前記第２座標と異なる第３座標とにより定義される、非一時的コンピュータ読み取り可能な格納媒体。

【請求項19】

前記セマンティックセグメント化を行う動作は、
前記３Ｄ体積イメージの複数のスライスそれぞれの複数のピクセルを予め決定された範囲内の強度値に正規化する動作と、
前記３Ｄ体積イメージの複数のスライスそれぞれの中の中心関心領域から前記複数のピクセルのセットを抽出する動作と、
前記ＡＣ領域、前記ＰＣ領域、及び前記第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために前記事前に訓練されたセグメント化モデルに基づいて正規化されて抽出された前記３Ｄ体積イメージのＡＣ領域、ＰＣ領域、及び第３脳室領域をセグメント化する動作と、を含む、請求項１８に記載の非一時的コンピュータ読み取り可能な格納媒体。

【請求項20】

前記ＭＳＰを決定する動作は、
前記第３脳室領域の３Ｄ体積測定イメージの骨格に基づいて前記第３脳室領域の３Ｄ体積測定イメージを対称的に分割する候補平面を決定する動作と、
前記候補平面を前記ＭＳＰとして指定する動作と、を含む、請求項１８に記載の非一時的コンピュータ読み取り可能な格納媒体。

【請求項21】

前記ＭＳＰを示す情報を出力する動作と、
前記ＡＣ領域、前記ＰＣ領域、及び前記第３脳室領域でラベリングされる３Ｄマスクイメージを出力する動作と、を更に含む、請求項１８に記載の非一時的コンピュータ読み取り可能な格納媒体。

【請求項22】

前記ＭＳＰを示す情報は、前記ＭＳＰを定義する１セットの座標または方程式である、請求項２１に記載の非一時的コンピュータ読み取り可能な格納媒体。

【請求項23】

前記ＭＳＰを決定する動作は、
複数の候補平面のうちの一つが前記第３脳室領域の３Ｄ体積測定イメージを対称的に分割すると決定されるまで前記第３脳室領域の３Ｄ体積測定イメージの骨格から始めて前記複数の候補平面によって前記第３脳室領域の３Ｄ体積測定イメージを順次分割する動作と、
前記複数の候補平面のうちの一つを前記ＭＳＰとして指定する動作と、を含む、請求項１８に記載の非一時的コンピュータ読み取り可能な格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に磁気共鳴イメージングに関するものであり、より具体的には脳の磁気共鳴イメージで正中矢状平面を決定することに関するものである。

【0002】

本開示は、韓国産業技術振興院（ＫＩＡＴ）の「ＷＣ３００プロジェクト技術開発支援」事業の一環として行った研究から導き出されたものである。
［課題固有番号：Ｓ２４８２６７２、研究課題名：整合精度１ｍｍ以下の手術用ナビゲーション融合頭頸部手術ロボットシステムの開発］

【背景技術】

【0003】

脳は人体で最も複雑な器官であるとみなされる。そのように、患者の脳の内部の部分への接近を必要とする手術が必要になる時、医者たちは典型的に頭皮上に正確な配置を計画し、脳内に外科器具を挿入する手術の前に経路計画を行う。例えば、パーキンソン病を治療する脳深部刺激手術の場合に、電極のような外科器具は手術中に電気インパルスを脳内のターゲット面積に印加するために患者の脳内に挿入され得る。

【0004】

経路計画の間に、患者の脳の磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ）（ＭＲ）イメージは医者たちのために脳内の前交連（ａｎｔｅｒｉｏｒ ｃｏｍｍｉｓｓｕｒｅ）（ＡＣ）及び後交連（ｐｏｓｔｅｒｉｏｒ ｃｏｍｍｉｓｓｕｒｅ）（ＰＣ）を選択するための手段とともにコンピュータディスプレイ上に提示され得る。ＡＣ及びＰＣは、脳の２つの半球を連結する神経組織の束である。そのように、ＡＣ及びＰＣは、脳内に外科器具を挿入するために脳内のターゲット面積を正確に識別し、位置、角度、深さなどを決定する時に医者たちを補助するように、たびたび脳イメージングでの解剖学的ランドマークまたは参照フレームとして用いられる。

【0005】

従来の方法において、医者は脳のＭＲイメージを検討し、脳の中心平面を手動で決定してイメージを推定された平面に整列することができる。そのような中心平面は、さらに、中間ライン（ｍｉｄｌｉｎｅ）（ＭＬ）平面、中間平面、または、正中矢状平面（ｍｉｄ－ｓａｇｉｔｔａｌ ｐｌａｎｅ）（ＭＳＰ）と称され、手術手続に関する経路計画中にランドマークとして用いられる。しかし、ＭＳＰを手動で決定することは時間消耗的であり、それによって経路計画プロセスを延長させ得る。その上、手動で決定されたＭＳＰは、実質的に医者によって異なることがあり、十分に正確でないこともある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示は、ＡＣ領域、ＰＣ領域、及び第３脳室領域の３Ｄマスクイメージに基づいて正中矢状平面を体積測定式で決定するための方法及び装置を提供する。

【課題を解決するための手段】

【0007】

本開示の一様態によれば、脳の複数の磁気共鳴（ＭＲ）イメージから正中矢状平面（ＭＳＰ）を体積測定式で決定するための、コンピュータによって行われる方法が開示される。このような方法で、複数のＭＲイメージが受信され、３Ｄ座標空間に定義される３Ｄ体積イメージに変換される。３Ｄ体積イメージ内の前交連（ＡＣ）領域、後交連（ＰＣ）領域、及び第３脳室領域のセマンティックセグメント化は、ＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために事前に訓練されたセグメント化モデルに基づいて行われる。ラベリングされた３Ｄマスクイメージに基づいて、セグメント化された第３脳室領域の３Ｄ体積測定イメージが作成される。ＭＳＰは第３脳室領域の３Ｄ体積測定イメージに基づいて決定される。

【0008】

本開示の他の様態によれば、脳の複数のＭＲイメージからＭＳＰを体積測定式で決定するためのイメージ処理デバイスが開示される。イメージ処理デバイスは、プロセッサを含み、プロセッサは複数のＭＲイメージを受信し；複数のＭＲイメージを３Ｄ座標空間に定義される３Ｄ体積イメージに変換し；ＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために事前に訓練されたセグメント化モデルに基づいて３Ｄ体積イメージ内の前交連（ＡＣ）領域、後交連（ＰＣ）領域、及び第３脳室領域のセマンティックセグメント化を行い；ラベリングされた３Ｄマスクイメージに基づいてセグメント化された第３脳室領域の３Ｄブロブを作成し；第３脳室領域の３Ｄブロブに基づいてＭＳＰを決定するように構成される。

【0009】

本開示の更に他の様態によれば、脳の複数のＭＲイメージからＭＳＰを体積測定式で決定するための命令語を含む非一時的コンピュータ読み取り可能な格納媒体が開示される。命令語はプロセッサが動作を行うようにし、動作は脳の複数のＭＲイメージを受信する動作；複数のＭＲイメージを３Ｄ座標空間に定義される３Ｄ体積イメージに変換する動作；ＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために事前に訓練されたセグメント化モデルに基づいて３Ｄ体積イメージ内の前交連（ＡＣ）領域、後交連（ＰＣ）領域、及び第３脳室領域のセマンティックセグメント化を行う動作；ラベリングされた３Ｄマスクイメージに基づいてセグメント化された第３脳室領域の３Ｄ体積測定イメージを作成する動作；及び第３脳室領域の３Ｄ体積測定イメージに基づいてＭＳＰを決定する動作を含む。

【0010】

一実施例において、３Ｄ体積イメージのセマンティックセグメント化は３Ｄ体積イメージの複数のスライスそれぞれの複数のピクセルを予め決定された範囲内の強度値に正規化し；３Ｄ体積イメージの複数のスライスそれぞれの中の中心関心領域から複数のピクセルのセットを抽出し；ＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させるために事前に訓練されたセグメント化モデルに基づいて正規化されて抽出された３Ｄ体積イメージのＡＣ領域、ＰＣ領域、及び第３脳室領域をセグメント化し；３ＤマスクイメージでＡＣ領域及びＰＣ領域それぞれに対する質量中心を決定し；ＡＣ領域の質量中心に対応するＡＣ地点をＡＣ領域としてラベリングし、ＰＣ領域の質量中心に対応するＰＣ地点を３Ｄマスクイメージ内のＰＣ領域としてラベリングすることによって行われ得る。

【0011】

一実施例において、ＭＳＰを決定することは、第３脳室領域の３Ｄ体積測定イメージの骨格に基づいて第３脳室領域の３Ｄ体積測定イメージを対称的に分割する候補平面を決定すること、及び、候補平面をＭＳＰとして指定することを含み得る。

【0012】

一実施例において、ＭＳＰを示す情報及びＡＣ領域、ＰＣ領域、及び第３脳室領域でラベリングされる３Ｄマスクイメージが出力され得る。

【0013】

一実施例において、ＭＳＰを示す情報は、ＭＳＰを定義する１セットの座標または方程式であり得る。

【0014】

一実施例において、ＭＳＰを定義するセットの座標は、ＡＣ領域を示す第１座標、ＰＣ領域を示す第２座標、及び第１及び第２座標とともにＭＳＰを定義する地点を示す第３座標を含み得る。

【0015】

一実施例において、ＡＣ領域を示す第１座標はＡＣ領域の質量中心に対応し得、ＰＣ領域を示す第２座標はＰＣ領域の質量中心に対応し得る。

【0016】

一実施例において、ＭＳＰを決定することは、第３脳室領域の３Ｄ体積測定イメージの骨格から始めて候補平面によって第３脳室領域の３Ｄ体積測定イメージを第１部分及び第２部分に分割すること；候補平面が第１部分内の形状及びボクセル数及び第２部分の形状及びボクセル数に基づいて３Ｄ体積測定イメージを対称的に分割するかを決定すること；及び候補平面が３Ｄ体積測定イメージを対称的に分割すると決定する時、候補平面をＭＳＰとして指定することを含み得る。

【0017】

一実施例において、候補平面はＡＣ領域及びＰＣ領域を連結するラインに割り当てられ得る。

【0018】

一実施例において、ＭＳＰを決定することは、複数の候補平面のうちの一つが第３脳室領域の３Ｄ体積測定イメージを対称的に分割すると決定されるまで第３脳室領域の３Ｄ体積測定イメージの骨格から始めて複数の候補平面によって第３脳室の３Ｄ体積測定イメージを順次分割すること及び複数の候補平面のうちの一つをＭＳＰとして指定することを含み得る。

【発明の効果】

【0019】

本開示は、ＡＣ領域、ＰＣ領域、及び第３脳室領域の３Ｄマスクイメージに基づいて正中矢状平面を体積測定式で決定するための方法及び装置を提供する。

【図面の簡単な説明】

【0020】

【図1】本開示の一実施例による脳の複数の磁気共鳴（ＭＲ）イメージから正中矢状平面を体積測定式で決定するように構成されるイメージ処理デバイスのブロック図を例示する。

【図2】本開示の一実施例による複数のＭＲイメージを３Ｄ体積イメージに変換するように構成されるイメージリーダーのブロック図を示す。

【図3】本開示の一実施例による脳の３Ｄ体積イメージにおいてＡＣ、ＰＣ、及び第３脳室領域をセグメント化するように構成されるセマンティックセグメント化ユニットのブロック図を例示する。

【図4a】本開示の一実施例によるセマンティックセグメント化ユニットで処理され得る３Ｄ体積イメージの例示的スライスを例示する。

【図4b】本開示の一実施例によるセマンティックセグメント化ユニットで処理され得る３Ｄ体積イメージの例示的スライスを例示する。

【図4c】本開示の一実施例によるセマンティックセグメント化ユニットで処理され得る３Ｄ体積イメージの例示的スライスを例示する。

【図5】本開示の一実施例による脳の複数のＭＲイメージからＡＣ、ＰＣ、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させ、セグメント化された第３脳室領域の３Ｄ体積測定イメージに基づいて正中矢状平面を体積測定式で決定するための方法のフローチャートを示す。

【図6】本開示の一実施例によるＡＣ、ＰＣ、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させ、ＭＳＰを体積測定式で決定するためのセマンティックセグメント化ユニットによって行われる方法のフローチャートを示す。

【図7】本開示の一実施例によるラベリングされた３Ｄマスクから正中矢状平面を決定するように構成されるＭＳＰ検出ユニットのブロック図を示す。

【図8a】ラベリングされた３Ｄマスクイメージに基づいて第３脳室領域の３Ｄ体積測定イメージを示す。

【図8b】本開示の一実施例による第３脳室領域の３Ｄ体積測定イメージの骨格の一例を例示する。

【図8c】本開示の一実施例による３Ｄ体積イメージのスライス及びその中に示した骨格を例示する。

【図8d】本開示の一実施例によるＭＳＰ推定ユニットによって決定されるような例示的なＭＳＰ及び３Ｄ体積イメージの例示的スライスを示す。

【図9a】２つの部分に分割される３Ｄ体積測定イメージの例示的な３Ｄイメージを示す。

【図9b】２つの部分に分割される３Ｄ体積測定イメージの例示的な３Ｄイメージを示す。

【図9c】２つの部分に分割される３Ｄ体積測定イメージの例示的な３Ｄイメージを示す。

【図10】本開示の一実施例による第３脳室領域の３Ｄ体積測定イメージを対称的に分割する正中矢状平面を決定するためのＭＳＰ検出ユニットによって行われる方法のフローチャートを示す。

【発明を実施するための形態】

【0021】

明細書に含まれており、これの一部を構成する添付図面は、本開示の実施例を例示する。

【0022】

ここで多様な実施例が参照され、その例は添付の図面に例示される。以下の詳細な説明で、多数の特定の詳細は本開示の徹底した理解を提供するために提示される。しかし、本開示がこのような特定の詳細なしに実施され得る点は、本技術分野の通常の技術者に明確であるはずである。他の事例で、広く公知となった方法、手続、システム、及び構成要素は、多様な実施例の様態が不要に曖昧にならないように詳細には説明されていない。

【0023】

本願に用いられる全ての技術的または科学的用語は、特に指定されない限り、本開示が属する技術分野で通常の知識を有する者によって一般に理解される意味を有する。本願に用いられる用語は、本開示のさらに明確な例示のみのために選択され、本開示により請求項の範囲を制限するように意図されていない。

【0024】

単数の表現は、特に言及されない限り、複数の意味を含み得、同一のものは請求項に明示された単数の表現に適用される。

【0025】

本願に用いられているように、「ユニット」という用語は、ソフトウェア構成要素またはハードウェア構成要素、例えば、フィールドプログラム可能ゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）（ＦＰＧＡ）及び特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）（ＡＳＩＣ）を意味する。しかし、「ユニット」はソフトウェア及びハードウェアに制限されず、それはアドレス可能格納媒体であるように構成され得たり、１つ以上のプロセッサ上に実行するように構成され得る。例えば、「ユニット」は、構成要素、例えば、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、及び作業構成要素だけでなく、プロセッサ、機能、属性、手続、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含み得る。構成要素及び「ユニット」で提供される機能は、更に小さい数の構成要素及び「ユニット」で組み合わせられたり、付加構成要素及び「ユニット」に追加で細分され得る。

【0026】

本願に用いられている「に基づいて」という用語は、関連する表現を含む句または文章に説明される決定、判断アクションまたは動作に影響を及ぼす１つ以上の因子を説明するのに用いられ、このような表現は決定、判断アクションまたは動作に影響を及ぼす付加因子を排除しない。

【0027】

本願に用いられているように、「領域」という用語は、１つ以上の地点、ピクセル、または、ボクセルを意味し、その意味の中で一つ以上の連続または隣接の地点、ピクセル、または、ボクセルに対応する空間、面積、または、体積を含み得る。名詞形態である「ラベル」という用語は、オブジェクト、構造、特徴などを示す注釈、単語、名前、マーカー、指定、カラー、境界、形状、タグなどを指し、動詞形態である「ラベリング」という用語は、ラベルでオブジェクト、構造、特徴などをマーキング、注釈、添付、または表示するアクトを指す。

【0028】

本願に図示された通り、図面でイメージまたはスクリーンショットの一部は、例示及び説明の容易性のための視覚的特性を改善するために、スケール、明るさ、対比などで修正されることがあり、従って、本来のイメージに全面的に対応しないことがある。

【0029】

以下、本開示の実施例は添付の図面を参照して説明される。添付の図面において、類似または関連の構成要素は、類似の参照番号によって表示される。実施例の以下の説明において、同一または関連の構成要素の繰り返された説明は省略される。しかし、構成要素の説明が省略されても、そのような構成要素は一実施例から排除されるようには意図されない。

【0030】

図１は、本開示の一実施例による脳の複数の磁気共鳴（ＭＲ）イメージ１３２から正中矢状平面（ＭＳＰ）を体積測定式で決定するように構成されるイメージ処理デバイス１００のブロック図を例示する。本願に用いられているように、「正中矢状平面」または「ＭＳＰ」という用語は、また、脳内の構造または特徴に関するランドマークまたは参照平面の役割をすることができる中間ライン（ＭＬ）平面または中間平面と称されることがある。イメージ処理デバイス１００は、プロセッサ１１０、インターフェース１２０、及び格納ユニット１３０を含む。格納ユニット１３０は、脳の複数のＭＲイメージ１３２（例えば、トモグラフィー）及び事前に訓練されたセグメント化モデル１３４を格納することができる。一実施例において、ＭＲイメージ１３２は外部医学映像情報システム（ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｓｙｓｔｅｍ）（ＰＡＣＳ）からインターフェース１２０を経由してサーバー１４０を通じて受信され、処理のために格納ユニット１３０に格納されたり、プロセッサ１１０に直接提供されることができる。ＭＲイメージ１３２は、例えば、ＤＩＣＯＭイメージフォーマットで受信されて格納されることができる。

【0031】

事前に訓練されたセグメント化モデル１３４は、ＡＣ、ＰＣ、及び第３脳室でラベリングされる参照ＭＲ脳イメージで事前に訓練された１つ以上のセグメント化モデルを含み得、従って、ＭＲイメージでＡＣ、ＰＣ、及び第３脳室領域を検出するために最適化され得る。一実施例において、事前に訓練されたセグメント化モデルは、任意の適切な２Ｄまたは３Ｄ畳み込みニューラルネットワークを実現することができ、１つ以上のセットのＭＲ脳イメージで訓練されることができるので、ニューラルネットワークのモデルパラメータは、ＡＣ、ＰＣ、及び第３脳室領域を検出するように構成される。

【0032】

インターフェース１２０は、ネットワークまたは任意の他のコンピューティングデバイス、アプリケーション、または、プログラムを通じてサーバー１４０にインターフェースを提供できる任意の適切なインターフェースであってもよく、ソフトウェア（Ｓ／Ｗ）インターフェース、ハードウェア（Ｈ／Ｗ）インターフェース、または、その組合わせを含んでもよい。例えば、インターフェース１２０は、イメージ処理デバイス１００のためのソフトウェアインターフェースを提供するように構成されるアプリケーションプログラミングインターフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）（ＡＰＩ）または動的リンクライブラリー（ｄｙｎａｍｉｃ－ｌｉｎｋ ｌｉｂｒａｒｙ）（ＤＬＬ）として具現され得る。

【0033】

例示された実施例において、イメージ処理デバイス１００はネットワークを介してサーバー１４０に連結され、サーバー１４０からの要請をインターフェース１２０を介して受信することができる。サーバー１４０からの要請は、指定された患者の脳に関するＭＲイメージデータに対する要請を含み得る。これに応えて、イメージ処理デバイス１００は、ＭＲイメージに対するＡＣ、ＰＣ、及び第３脳室領域でラベリングされる３Ｄマスクイメージを発生させ、セグメント化された第３脳室領域の３Ｄ体積測定イメージを作成することによってＭＳＰを体積測定式で決定することができる。

【0034】

プロセッサ１１０は、イメージリーダー１５０、セマンティックセグメント化ユニット１６０、ＭＳＰ検出ユニット１７０、及び出力ユニット１８０を含む。プロセッサ１１０は、上記説明の通りインターフェース１２０及び格納ユニット１３０と通信するために結合され得る。初期に、イメージリーダー１５０はサーバー１４０からインターフェース１２０を介してＭＲイメージデータに対する要請を受信し、格納ユニット１３０からのＭＲイメージ１３２にアクセスすることができる。イメージリーダー１５０は、ＤＩＣＯＭイメージフォーマットで本来のＭＲイメージであることもあるＭＲイメージ１３２を体積測定処理に適切なフォーマットにフォッマッティングすることができる。例えば、イメージリーダー１５０は、適切なマッピング及び／又は変換方法を用い、二重線形及び／又は三線形の補間を行うことによって３Ｄ座標空間（例えば、ｘ、ｙ、及びｚ軸に定義される３Ｄデカルト座標システム）でＭＲイメージ１３２を３Ｄ体積イメージに変換することができる。

【0035】

イメージリーダー１５０は、体積測定処理のために３Ｄ体積イメージをセマンティックセグメント化ユニット１６０に提供する。プロセッサ１１０内のセマンティックセグメント化ユニット１６０は、格納ユニット１３０からアクセスされる事前に訓練されたセグメント化モデル１３４に基づいて３Ｄ体積イメージ内のＡＣ、ＰＣ、第３脳室領域を検出及びラベリングし、ＡＣ、ＰＣ、及び第３脳室領域でラベリングされる３Ｄマスクイメージ１３６を発生させるように構成される。その次に、セマンティックセグメント化ユニット１６０は、サーバー１４０に応答を発生させるために３Ｄマスクイメージ１３６をＭＳＰ検出ユニット１７０及びイメージ出力ユニット１８０に提供することができる。

【0036】

受信された３Ｄマスクイメージ１３６に基づいて、ＭＳＰ検出ユニット１７０はセグメント化された第３脳室領域の３Ｄ体積測定イメージ（例えば、３Ｄブロブ）を作成する。その次に、一実施例によれば、ＭＳＰ検出ユニット１７０は、候補平面のうちの１つが３Ｄ体積測定イメージを対称的に分割すると決定されるまで、セグメント化された第３脳室領域の３Ｄ体積測定イメージの骨格（例えば、主軸平面）に対応する候補平面から始めて２つの部分でセグメント化された第３脳室領域の３Ｄ体積測定イメージを分割（例えば、切断、パーティション、または、二等分）するために１つ以上の候補平面を繰り返し且つ順次適用する。それぞれの候補平面に対して、ＭＳＰ検出ユニット１７０は、候補平面が第３脳室領域の体積測定イメージを２つの対称の部分に対称的に分割するかを決定することができる。候補平面が体積測定イメージを対称的に分割すると決定した時、ＭＳＰ検出ユニット１７０は候補平面をＭＳＰとして指定し、ＭＳＰ（即ち、ＭＳＰ情報１３８）を示す平面情報を出力ユニット１８０に提供することができる。一実施例において、出力ユニット１８０は、ＭＳＰ情報１３８及び３Ｄマスクイメージ１３６を含むサーバー１４０からの要請に対する応答を発生させ、応答をインターフェース１２０を介して送信することができる。付加的に、出力ユニット１８０はＭＳＰ情報１３８及び３Ｄマスクイメージ１３６を格納ユニット１３０に格納することができる。

【0037】

図２は、本開示の一実施例による複数のＭＲイメージ１３２を受信し、３Ｄ体積イメージ２００を出力するように構成されるイメージリーダー１５０のブロック図を示す。ＭＲイメージ１３２はトモグラフィーイメージであってもよい。一実施例において、複数のＭＲイメージ１３２はＴ１強調されたイメージであってもよいが、また、Ｔ２強調されたイメージであってもよい。

【0038】

サーバー１４０からＭＲイメージデータに対する要請を受信した時、イメージリーダー１５０は格納ユニット１３０からのＭＲイメージ１３２にアクセスし、例えば、ＤＩＣＯＭフォーマットであることもあるＭＲイメージ１３２をイメージ処理デバイス１００に用いられる３Ｄ座標システム（例えば、タライラク座標システム、世界座標システム、ＭＮＩ座標システムなど）内の３Ｄ体積イメージ２００に変換することによってＭＲイメージ１３２を体積測定処理に適切なフォーマットにフォッマッティングすることができる。このようなプロセスにおいて、本来のＭＲイメージ１３２はスタッキングされることができ、補間（例えば、二重線形または三線形の補間）は３Ｄ体積イメージ２００を発生させるために行われることができ、このイメージは格納ユニット１３０に格納されることができる。その次に、イメージリーダー１５０は３Ｄ体積イメージ２００をセマンティックセグメント化ユニット１６０に提供する。

【0039】

一実施例において、イメージリーダー１５０はＭＲイメージ１３２を３Ｄ座標空間内のｘ及びｙ座標平面にマッピングし、ＭＲイメージ１３２を直交ｚ－軸方向にスタッキングすることによって３Ｄ体積イメージ２００を作成することができる。３Ｄ体積イメージ２００内のギャップを満たすために、補間は３Ｄ体積イメージ２００のピクセルまたはボクセル（例えば、強度及び位置）を発生させるためにスタッキングされたＭＲイメージ１３２のピクセル（例えば、強度及び位置）を用いて行われることができる。このような方式で、本来のＭＲイメージ１３２の３Ｄ体積イメージ２００は３Ｄ座標空間で作成されることができる。

【0040】

図３は、本開示の一実施例による３Ｄ体積イメージ２００でＡＣ、ＰＣ、及び第３脳室領域をセグメント化するように構成されるセマンティックセグメント化ユニット１６０のブロック図を例示する。セマンティックセグメント化ユニット１６０は、前処理ユニット３１０、パッチングユニット３２０、ランドマークセグメント化ユニット３３０、及び後処理ユニット３４０を含む。一部の実施例において、前処理ユニット３１０及び／又はパッチングユニット３２０は任意的なユニットであり、セマンティックセグメント化ユニット１６０で省略され得る。

【0041】

前処理ユニット３１０は、３Ｄ体積イメージ２００のディスプレイ特性を向上させるように構成され得る。例えば、本来のＭＲイメージ１３２のピクセルは、一般に、比較的狭い強度値（例えば、７０～８０の範囲内）を有するので、ＭＲイメージ１３２から発生する３Ｄ体積イメージ２００は暗く見えることがある。イメージ特性を向上させるために、前処理ユニット３１０は３Ｄ体積内のピクセルの強度値を予め決定された範囲のグレースケールまたはカラー強度値（例えば、２５５の値）に正規化することによって３Ｄ体積イメージ２００を向上させることができる。一実施例において、３Ｄ体積イメージ内のスライスそれぞれは、３Ｄ体積イメージ２００内のスライスのイメージ特性が、例えば、明るさ、対比などの点で向上するように正規化され得る。

【0042】

その上、パッチングユニット３２０は、正規化された３Ｄ体積イメージ２００を受信し、パッチング動作を行うことができる。このようなプロセスにおいて、セマンティックセグメント化を行うのに必要な３Ｄ体積イメージ２００のスライスそれぞれの中の中心関心領域（ｒｅｇｉｏｎ－ｏｆ－ｉｎｔｅｒｅｓｔ）（ＲＯＩ）からのピクセルは後続のセグメント化処理のために３Ｄ体積イメージ２００を形成するように抽出され得る。中心ＲＯＩの大きさまたはその中のピクセル数は、事前に訓練されたセグメント化モデル１３４のニューラルネットワーク内に適合できる体積のパーセンテージに基づいて決定され得る。一実施例において、抽出されるデータサンプル（即ち、ピクセルまたはボクセル）のパーセンテージは、ニューラルネットワークの負荷容量の２～９８％であってもよい。本来の３Ｄ体積イメージ２００からの中心ＲＯＩの抽出されたピクセルのみを用いることは、３Ｄ体積の大きさを減少させ、従って、処理負荷及び速度を改善する。

【0043】

一実施例において、抽出された３Ｄ体積イメージ２００は、また、複数の出力イメージタイプのうちの一つを出力するようにフィルタリングされることができる。例えば、複数の出力処理スキーム、例えば、自動調整モード（例えば、イメージを所望の範囲に調整する）、スライスヒストグラム均等化モード、３Ｄヒストグラム均等化モード、及びスライス適応ヒストグラム均等化モードが提供され得る。４つのモードのいずれか１つまたはその組合わせは、イメージの視覚的特性を改善するために選択され、３Ｄ体積イメージ２００に適用され得る。

【0044】

ランドマークセグメント化ユニット３３０は、パッチングユニット３２０から３Ｄ体積イメージ２００（例えば、３Ｄ体積イメージ２００の抽出されたＲＯＩ体積イメージ）を受信し、ＡＣ、ＰＣ、及び第３脳室領域を検出し、セグメント化して３Ｄマスクイメージ１３６を発生させるように構成される。このようなプロセスにおいて、ランドマークセグメント化ユニット３３０は、事前に訓練されたセグメント化モデル１３４を用いることによって、ＡＣ、ＰＣ、及び第３脳室領域を検出してセグメント化する。例えば、Ｕ－Ｎｅｔ、ＭＮＥＴなどのようなニューラルネットワークは、事前に訓練されたセグメント化モデル１３４を発生させるために用いられ、このモデルはＡＣ、ＰＣ、及び第３脳室領域を検出してセグメント化するために用いられる。ランドマークセグメント化ユニット３３０がＡＣ、ＰＣ、及び第３脳室領域のセグメント化を同時に行うものとして説明されるが、ＡＣ及びＰＣ領域のセグメント化は第３脳室領域のセグメント化と別に行われ得る。例えば、ランドマークセグメント化ユニット３３０は、まずＡＣ及びＰＣ領域をセグメント化し、その次に第３脳室領域をセグメント化することができる。

【0045】

一実施例において、ランドマークセグメント化ユニット３３０は、ＡＣ、ＰＣ、及び第３脳室領域でラベリングされる３Ｄマスクイメージ１３６を発生させるために３Ｄ体積イメージ２００の１つ以上のスライスにセマンティックセグメント化を順次または同時に行うように事前に訓練されたセグメント化モデル１３４を用いることができる。例えば、３Ｄ体積イメージ２００の３Ｄ座標空間内のピクセルは、３Ｄマスクイメージ１３６を発生させるために、ＡＣ領域（例えば、赤色カラーまたは「１」）、ＰＣ領域（例えば、緑色カラーまたは「２」）、及び第３脳室領域（例えば、青色カラーまたは「３」）に対応を表示したり、いかなる対応（例えば、本来のピクセル値または「０」）も表示しないラベルでラベリングされることができる。

【0046】

後処理ユニット３４０は、ランドマークセグメント化ユニット３３０から３Ｄマスクイメージ１３６を受信し、検出されたＡＣ及びＰＣ領域それぞれの質量中心を決定することができる。このようなプロセスにおいて、セグメント化されたＡＣ領域に対する質量中心及びＰＣ領域に対する質量中心は、３Ｄマスクイメージ１３６から決定され得る。ＡＣ及びＰＣ領域それぞれを多数の地点またはピクセルで構成される面積としてラベリングする代わりに、後処理ユニット３４０はＡＣ及びＰＣとしてＡＣ及びＰＣ領域のそれぞれに対する質量中心に対応する単一の地点（例えば、ピクセルまたはボクセル）を指定し、ラベリングすることができる。第３脳室領域の場合に、質量中心は第３脳室全体のセグメント化された領域が３Ｄマスクイメージに残っていられるように決定される必要はない。その上、後処理ユニット３４０は、ラベリングされた３Ｄマスクイメージ１３６を本来の３Ｄ座標空間に再び変換することができる。

【0047】

図４ａ～図４ｃは、本開示の一実施例によるセマンティックセグメント化ユニット１６０で処理され得る３Ｄ体積イメージ２００の例示的スライス４１０、４２０及び４３０を例示する。図４ａは、本開示の一実施例による前処理ユニット３１０により前処理された３Ｄ体積イメージ２００の例示的スライス４１０を示す。図示されているように、スライス４１０は３Ｄ体積イメージ２００の軸方向の平面からのスライスであることもあり、スライス４１０のイメージは明るさ、対比などのようなイメージ特性を向上させるために正規化された。説明を容易にするために、長方形状の点線によって表示されるＲＯＩ４１２はスライス４１０に示され、パッチングユニット３２０によって抽出され得るスライス４１０内の領域を表示する。図４ｂは、パッチングユニット３２０によってスライス４１０内のＲＯＩ４１２から抽出された例示的スライス４２０を示す。

【0048】

図４ｃは、本開示の一実施例によるスライス４１０のＲＯＩ４１２からランドマークセグメント化ユニット３３０によって発生する３Ｄ体積イメージの３Ｄマスクイメージ１３６の例示的スライス４３０を例示する。図示されているように、ＡＣ領域４３２、ＰＣ領域４３４、及び第３脳室領域４３６は３Ｄマスクイメージ１３６のスライス４３０でセグメント化される。一実施例において、領域４３２、４３４及び４３６はそれぞれ、異なる表示器またはカラー、例えば、赤色、緑色、及び青色でラベリングされ得る。代案として、または付加的に、領域４３２、４３４及び４３６は領域を互いに識別または区別するための任意の適切なラベル、または表示器でラベリングされ得る。３Ｄ体積イメージ２００のセマンティックセグメント化ユニット１６０が一例としてスライス４１０、４２０及び４３０をもって例示されるが、３Ｄ体積イメージ２００の任意の平面配向に沿った任意の適切な数のスライスが３Ｄマスクイメージ１３６を発生させるために処理され得るという点が理解されるべきである。

【0049】

図５は、本開示の一実施例による複数のＭＲイメージ１３２からＡＣ、ＰＣ、及び第３脳室領域でラベリングされる３Ｄマスクイメージ１３６を発生させ、セグメント化された第３脳室領域の３Ｄ体積測定イメージに基づいてＭＳＰを体積測定式で決定するための、プロセッサ１１０によって行われる方法のフローチャートを示す。このような方法において、本来のＭＲイメージである複数のＭＲイメージ１３２は５１０で受信され、５２０で３Ｄ座標空間内の３Ｄ体積イメージ２００に変換されることができる。このようなプロセスにおいて、ＭＲイメージ１３２は３Ｄ座標空間にマッピングされることができ、補間は３Ｄ体積イメージ２００を発生させるために行われることができる。

【0050】

５３０において、プロセッサ１１０は正規化及びパッチングを含む３Ｄ体積イメージ２００に前処理を行うことができる。例えば、３Ｄ体積イメージ２００内のボクセルの強度値は、予め決定された範囲内の値（例えば、２５５の値）に正規化されることができる。その上、パッチング動作は３Ｄ体積の大きさを減少させるために３Ｄ体積イメージ２００のスライスそれぞれからの中心関心領域（ＲＯＩ）で１セットのピクセルを抽出するように行われることができる。

【0051】

その次に、５４０において、プロセッサ１１０は事前に訓練されたセグメント化モデル１３４に基づいて３Ｄ体積イメージ２００内のＡＣ、ＰＣ、及び第３脳室領域を検出してラベリングし、それによって領域でラベリングされる３Ｄマスクイメージ１３６を発生させるためにセマンティックセグメント化を行う。一実施例において、ＡＣ地点及びＰＣ地点は、それぞれその質量中心に基づいて３Ｄマスクイメージ１３６でラベリングされるＡＣ領域及びＰＣ領域に対して決定され得る。３Ｄマスクイメージ１３６に基づいて、プロセッサ１１０は５５０でセグメント化された第３脳室領域の３Ｄ体積測定イメージを作成する。セグメント化された第３脳室領域の３Ｄ体積測定イメージを作成した後に、プロセッサ１１０は５６０でセグメント化された第３脳室領域の３Ｄ体積測定イメージに基づいてＭＳＰを決定する。一実施例において、第３脳室領域の３Ｄ体積測定イメージを対称的に分割する平面はＭＳＰとして指定される。その次に、５７０において、３Ｄマスクイメージ１３６及びＭＳＰを示すＭＳＰ情報１３８はサーバー１４０に送信されるために出力され得る。

【0052】

図６は、本開示の一実施例によるＡＣ、ＰＣ、及び第３脳室領域でラベリングされる３Ｄマスクイメージ１３６を発生させるための、セマンティックセグメント化ユニット１６０によって行われる方法のフローチャートを示す。このような方法で、６１０において、３Ｄ座標空間に定義され、複数の２Ｄスライスを含む、３Ｄ体積イメージ２００を受信した時、セマンティックセグメント化ユニット１６０は６２０でスライスそれぞれの中のピクセルを予め決定されたピクセル解像度及び強度範囲に正規化し、整列のために座標軸の方向を調整することができる。

【0053】

６３０において、３Ｄピクセルは、処理速度を容易にし、処理負荷を減少させるために３Ｄ体積イメージ２００のピクセル粒度を減少させるようにスライスそれぞれの中の中心関心領域からサンプリングまたは抽出され得る。一実施例において、中心関心領域はＡＣ領域、ＰＣ領域、及び第３脳室領域を含み得る。

【0054】

６４０において、セマンティックセグメント化ユニット１６０は、事前に訓練されたセグメント化モデル１３４に基づいて抽出された３Ｄ体積イメージ２００内のＡＣ、ＰＣ、及び第３脳室領域を検出してセグメント化し、ＡＣ、ＰＣ、及び第３脳室領域を表示するためにラベリングされる３Ｄマスクイメージ１３６を発生させることができる。その次に、６５０において、セマンティックセグメント化ユニット１６０は、ＡＣ領域及びＰＣ領域それぞれの質量中心を決定し、それぞれの質量中心に対応するＡＣ地点及びＰＣ地点として３Ｄマスクイメージ内のＡＣ及びＰＣ領域をそれぞれラベリングすることができる。その次に、ＡＣ地点、ＰＣ地点、及び第３脳室領域でラベリングされるラベリングされた３Ｄマスクイメージ１３６は、６６０で本来の３Ｄ座標空間に再び変換され、ＭＳＰ検出ユニット１７０に提供され得る。

【0055】

図７は、本開示の一実施例による３Ｄマスクイメージ１３６からＭＳＰを決定するように構成されるＭＳＰ検出ユニット１７０のブロック図を示す。ＭＳＰ検出ユニット１７０は、３Ｄブロブ作成ユニット７１０、ＭＳＰ推定ユニット７２０、及びＭＳＰ出力ユニット７３０を含む。３Ｄブロブ作成ユニット７１０は、ラベリングされたＡＣ、ＰＣ、及び第３脳室領域を含むラベリングされた３Ｄマスクイメージ１３６を受信し、セグメント化された第３脳室領域の３Ｄ体積測定イメージ（例えば、３Ｄブロブ）を作成するように構成される。

【0056】

その次に、作成された３Ｄ体積測定イメージはＭＳＰ推定ユニット７２０に提供され、このユニットは第３脳室領域の３Ｄ体積測定イメージに基づいてＭＳＰを決定する。このようなプロセスにおいて、ＭＳＰ推定ユニット７２０は３Ｄ体積測定イメージの骨格に基づいて３Ｄ体積測定イメージをＭＳＰとして対称的に分割する候補平面を決定する。骨格は、内側平面であることもあり、第３脳室領域の３Ｄ体積測定イメージの主軸平面を示すこともある。候補平面は、ＡＣ領域及びＰＣ領域を連結するラインに割り当てられるか、ラインを含み得る。一実施例において、ＭＳＰ推定ユニット７２０は、候補平面のうちの１つが３Ｄ体積測定イメージを対称的に分割すると決定されるまで、第３脳室領域の３Ｄ体積測定イメージの骨格から始めて複数の候補平面によって３Ｄ体積測定イメージを順次分割することができる。その次に、３Ｄ体積測定イメージを対称的に分割するために決定される候補平面はＭＳＰとして指定される。

【0057】

他の実施例において、第３脳室領域の３Ｄ体積測定イメージは、第３脳室領域の３Ｄ体積測定イメージの骨格に対して角度増分で順次回転して並進されることができる。３Ｄ体積イメージのそれぞれの回転及び並進位置で、３Ｄ体積測定イメージは候補平面によって分割され得る。候補平面は、３Ｄ体積測定イメージを２つの対称の部分に対称的に分割すると決定されれば、候補平面はＭＳＰとして指定される。その次に、ＭＳＰ出力ユニット７３０は、ＭＳＰの方程式またはＭＳＰを定義する１セットの座標のようなＭＳＰを示すＭＳＰ情報を出力することができる。

【0058】

図８ａは、複数のスライス（例えば、スライス４３０等）を含むラベリングされた３Ｄマスクイメージ１３６に基づいて３Ｄブロブ作成ユニット７１０によって発生し得る３Ｄ体積測定イメージ８００（例えば、３Ｄブロブ）を示す。３Ｄ体積測定イメージ８００は、第３脳室領域８３０、ＡＣ領域８１０、及びＰＣ領域８２０を含む。ＡＣ領域８１０及びＰＣ領域８２０はそれぞれ、ＭＳＰを決定するための参照ラインを定義する２つの地点であってもよい。ＡＣ領域８１０、ＰＣ領域８２０、及び第３脳室領域８３０は、また、それぞれ表示器またはカラー、例えば、赤色、緑色、及び青色でラベリングされ得る。

【0059】

一部の実施例において、３Ｄ体積測定イメージ８００の第３脳室領域８３０は、骨格としてモデリングまたは表現され得る。図８ｂは、本開示の一実施例による骨格８４０の一例を例示する。説明の利便性のために、３Ｄ体積測定イメージ８００の第３脳室領域８３０は２Ｄピクセル化されたイメージとして示され、ＭＳＰ推定ユニット７２０は第３脳室領域８３０に対する骨格８４０を発生させ得る。例えば、ＭＳＰ推定ユニット７２０は、３Ｄ体積測定イメージ８００で第３脳室領域８３０の主軸平面を決定し、主軸平面に対応する１セットのピクセルを識別することができる。その次に、セットの識別されたピクセルは、骨格８４０を定義するために選択され得る。

【0060】

説明の容易性のために、図８ｃは、一実施例による骨格８４０の例示的イメージを含む３Ｄ体積イメージ２００のスライス８５０を示す。第３脳室領域８３０の骨格８４０から始め、ＭＳＰ推定ユニット７２０は３Ｄ体積測定イメージを回転させて並進させることによって１つ以上の候補平面によって第３脳室領域８３０の３Ｄ体積測定イメージを順次分割することができる。候補平面のうちの１つが第３脳室領域８３０の３Ｄ体積測定イメージを対称的に分割すると決定される時、ＭＳＰ推定ユニット７２０は候補平面をＭＳＰとして決定し、ＭＳＰの平面方程式を出力することができる。図８ｄは、本開示の一実施例によるＭＳＰ推定ユニット７２０によって決定され得るＭＳＰ８６０を含む３Ｄ体積イメージ２００のスライス８５０を示す。

【0061】

図９ａ～図９ｃはそれぞれ、２つの部分に分割される３Ｄ体積測定イメージ８００の第３脳室領域８３０の例示的３Ｄイメージ９１０、９２０及び９３０を示す。図９ａは、本開示の一実施例による第３脳室領域８３０が２つの部分９１０Ａ及び９１０Ｂに分割される３Ｄイメージ９１０を例示する。この場合に、ＭＳＰ推定ユニット７２０は、骨格８４０と一致する候補平面９１２によって第３脳室領域８３０を初期に分割し、２つの部分９１０Ａ及び９１０Ｂが候補平面９１２に対して対称ではないと決定することができる。その次に、ＭＳＰ推定ユニット７２０は、第３脳室領域８３０を回転させて並進させることによって他の候補平面を選択することができる。

【0062】

図９ｂは、本開示の一実施例による第３脳室領域８３０が候補平面９２２によって２つの部分９２０Ａ及び９２０Ｂに分割される３Ｄイメージ９２０を示す。この場合に、ＭＳＰ推定ユニット７２０は、また、２つの部分９２０Ａ及び９２０Ｂが候補平面９２２に対して対称ではないと決定することができる。

【0063】

図９ｃは、本開示の一実施例による第３脳室領域８３０が候補平面９３２によって２つの部分９３０Ａ及び９３０Ｂに分割される３Ｄイメージ９３０を示す。この場合に、ＭＳＰ推定ユニット７２０は、２つの部分９３０Ａ及び９３０Ｂが候補平面９３２に対して対称であると決定し、候補平面９３２をＭＳＰとして指定することができる。

【0064】

一実施例において、ＭＳＰ推定ユニット７２０は、第３脳室領域８３０の２つの分割された部分（例えば、２つの部分９１０Ａ及び９１０Ｂ、９２０Ａ及び９２０Ｂ、または、９３０Ａ及び９３０Ｂ）が１つの部分の形状及びボクセル数を他の部分の形状及びボクセル数と比較することで対称であるかを決定することができる。例えば、図９ａの部分９１０Ａ及び９１０Ｂは、その形状及びボクセル数において互いに類似せず、従って、候補平面９１２に対して対称ではないと決定される。追加の例として、図９ｂの部分９２０Ａ及び９２０Ｂは、ボクセル数において類似し得るが、形状において類似せず、従って、候補平面９２２に対して対称ではないと決定される。一方、図９ｃの部分９３０Ａ及び９３０Ｂは、その形状及びボクセル数において実質的に類似し得、従って、候補平面９３２に対して対称であると決定され得る。対称は第３脳室領域８３０の２つの分割された部分の形状及びボクセル数に基づいて決定されるが、それはまた、２つの部分のボクセル数を考慮することなく、形状に基づいて決定され得る。本願に用いられているように、「実質的に類似の」は、しきい値または予め決定された類似程度内にあることを意味する。従って、その中の２つの形状またはボクセル数は、その中の２つの形状またはボクセル数がしきい値または予め決定された類似程度内にある時に実質的に類似すると決定され得る。その上、図９ａ～図９ｃに示されているように、候補平面９１２、９２２及び９３２は説明の容易性のために例示され、それぞれ、３Ｄイメージ９１０、９２０及び９３０に含まれるか、含まれないことがある。

【0065】

図１０は、本開示の一実施例による第３脳室領域の３Ｄ体積測定イメージを対称的に分割するＭＳＰを決定するためのＭＳＰ検出ユニット１７０によって行われる方法のフローチャートを示す。初期に、３Ｄブロブ作成ユニット７１０は、１０１０でＡＣ、ＰＣ、及び第３脳室領域を表示するためにラベリングされる３Ｄマスクイメージ１３６を受信する。一実施例において、３Ｄマスクイメージ１３６は、ＡＣ地点、ＰＣ地点、及び第３脳室領域を表示するためにラベリングされ得る。その次に、３Ｄブロブ作成ユニット７１０は、１０２０において３Ｄマスクイメージ１３６に基づいてセグメント化された第３脳室領域の３Ｄ体積測定イメージ（即ち、３Ｄブロブ）を作成し、３Ｄ体積測定イメージをＭＳＰ推定ユニット７２０に提供する。

【0066】

第３脳室領域の３Ｄ体積測定イメージを受信すると、ＭＳＰ推定ユニット７２０は第３脳室領域の３Ｄ体積測定イメージの骨格から始め、１０３０において候補平面によって３Ｄ体積測定イメージを２つの部分に分割する。例えば、図９ａを参照して、ＭＳＰ推定ユニット７２０は、骨格８４０に対応する候補平面９１２によって第３脳室領域８３０の３Ｄ体積測定イメージを２つの部分９１０Ａ及び９１０Ｂに初期に分割することができる。その次に、１０４０において、候補平面９１２が第３脳室領域８３０の３Ｄ体積測定イメージを２つの同一の部分に対称的に分割するかが決定される。一実施例において、候補平面は２つの部分が候補平面に対してその形状及びボクセル数において実質的に類似する時、第３脳室領域８３０の３Ｄ体積測定イメージを対称的に分割すると決定され得る。図９ａの３Ｄ体積測定イメージ８００の例において、ＭＳＰ推定ユニットは２つの部分９１０Ａ及び９１０Ｂが形状及びボクセル数において類似しないと決定する。

【0067】

ＭＳＰ推定ユニット７２０は、候補平面が第３脳室領域の３Ｄ体積測定イメージを対称的に分割しないと決定すれば、他の平面は１０５０において新たな候補平面として選択され得、第３脳室領域の３Ｄ体積測定イメージは１０３０において新たな候補平面によって分割され得る。一実施例において、新たな候補平面は骨格８４０に対して角度増分でＡＣ及びＰＣ（ＡＣ－ＰＣライン）を連結するラインを中心に第３脳室領域８３０の３Ｄ体積測定イメージを回転させることで選択され得る。候補平面が骨格８４０から始めて選択されるので、第３脳室８３０の３Ｄ体積測定イメージを対称的に分割する候補平面を決定するために必要な反復または角度増分の数はランダム候補平面から始める場合に比べて減少する。

【0068】

図９ａの例を参照して、ＭＳＰ推定ユニット７２０は、１０５０において第３脳室領域８３０の３Ｄ体積測定イメージを回転させて並進させることによって、図９ｂに示された候補平面９２２を新たな候補平面として選択するものとして進めることができる。図９ｂの３Ｄ体積測定イメージ９２０において、ＭＳＰ推定ユニット７２０は、形状が類似しないので、２つの部分９２０Ａ及び９２０Ｂが候補平面９２２に対して対称ではないと決定する。従って、ＭＳＰ推定ユニット７２０は、１０５０において、図９ｃの第３脳室領域８３０の３Ｄ体積測定イメージを回転させて並進させることによって、候補平面９３２を選択するものとして進めることができる。

【0069】

一方、候補平面が１０４０において第３脳室領域の３Ｄ体積測定イメージを対称的に分割すると決定されれば、ＭＳＰ推定ユニット７２０は１０６０において候補平面をＭＳＰとして指定することができる。図９ｃの例において、ＭＳＰ推定ユニット７２０は、１０３０で候補平面９３２に基づいて第３脳室領域８３０の３Ｄ体積測定イメージを２つの部分９３０Ａ及び９３０Ｂに分割し、その次に、１０４０で２つの部分９３０Ａ及び９３０Ｂが候補平面９３２に対して対称であると決定する。従って、候補平面９３２は１０６０でＭＳＰとして指定される。

【0070】

その次に、ＭＳＰ出力ユニット７３０は、１０７０でＭＳＰを示すＭＳＰ情報を出力することができる。一実施例において、ＭＳＰを示す平面情報は、ＭＳＰを定義する１セットの座標または方程式であってもよく、この座標はＡＣ領域を示す第１座標、ＰＣ領域を示す第２座標、及び第１及び第２座標とともにＭＳＰを定義する地点を示す第３座標を含み得る。

【0071】

一実施例において、ＭＳＰはセグメント化された３Ｄ体積測定イメージ（例えば、３Ｄブロブ）から軸方向及び冠状面の間でそれぞれの交差ラインに対して決定され得る。例えば、ＭＳＰ検出ユニット１７０は、ＲＡＮＳＡＣのようなモデルフィッティングツールを用いてすべての正中矢状地点に最上で適するようになる第３脳室領域の３Ｄ体積測定イメージの主軸平面のような骨格から始めて平面を推定することができる。その次に、モデルフィッティングツールから獲得されるインライア地点を用いれば、ＭＳＰ検出ユニット１７０は最終平面を推定し、最終平面をＭＳＰとして指定するために特異値分解（ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）（ＳＶＤ）方法を用いることができる。

【0072】

上述の方法は、特定の実施例について説明したが、このような方法は、また、コンピュータ読み取り可能な記録媒体上にコンピュータ読み取り可能なコードとして具現され得る。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られ得る任意の種類のデータ格納デバイスを含む。コンピュータ読み取り可能な記録媒体の例は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納デバイスなどを含む。また、コンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なコードが分散した方式で格納され、実行され得るようにネットワークを介して連結されたコンピュータシステムに分散することができる。その上、上述の実施例を実現するための関数プログラム、コード及びコードセグメントは、本開示が属する技術分野でプログラマーによって容易に推論されることができる。

【0073】

特定の実施例を説明したが、このような実施例は例として提示されただけで、開示の範囲を制限するように意図されない。実際に、本願に説明される実施例は、様々な他の形態で具体化され得る。さらに、本願に説明される実施例の形態の多様な省略、置換及び変更は、開示の思想から逸脱することなくなされる。添付の請求項及びその均等物は、開示の範囲及び思想内にあるように、そのような形態または修正をカバーするように意図される。

【0074】

本出願は、２０１９年１１月２６日に出願された米国臨時特許出願第６２／９４０，５７６号に基づいて優先権の優遇を主張し、その内容全体は本願に参照として含まれる。

【符号の説明】

【0075】

１００ イメージ処理デバイス
１１０ プロセッサ

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図8d】

【図9a】

【図9b】

【図9c】

【図10】