特許 7398377 ３Ｄ医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる３Ｄ医用画像の自動セグメンテーションプロセス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-06

(45)【発行日】2023-12-14

(54)【発明の名称】３Ｄ医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる３Ｄ医用画像の自動セグメンテーションプロセス

(51)【国際特許分類】

   G06T 7/10 20170101AFI20231207BHJP

   G06T 1/00 20060101ALI20231207BHJP

   G06T 7/00 20170101ALI20231207BHJP

   A61B 6/03 20060101ALI20231207BHJP

   A61B 5/055 20060101ALI20231207BHJP

   A61B 8/14 20060101ALI20231207BHJP

【ＦＩ】

G06T7/10

G06T1/00 290

G06T7/00 612

G06T7/00 350C

A61B6/03 360D

A61B6/03 360G

A61B6/03 360Q

A61B5/055 380

A61B8/14

【請求項の数】 10

(21)【出願番号】P 2020538900

(86)(22)【出願日】2019-01-10

(65)【公表番号】

(43)【公表日】2021-05-06

(86)【国際出願番号】 EP2019050542

(87)【国際公開番号】W WO2019137997

(87)【国際公開日】2019-07-18

【審査請求日】2022-01-06

(31)【優先権主張番号】62/615,529

(32)【優先日】2018-01-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515249134

【氏名又は名称】アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ－イ・エール・セ・ア・デ

(73)【特許権者】

【識別番号】520254196

【氏名又は名称】ビジブル・パシアン

(73)【特許権者】

【識別番号】520254200

【氏名又は名称】コンセルバトワール・ナショナル・デ・アーツ・エ・メティエ（セ・エヌ・ア・エム）

(74)【代理人】

【識別番号】110001173

【氏名又は名称】弁理士法人川口國際特許事務所

(72)【発明者】

【氏名】ソレ，リュック

(72)【発明者】

【氏名】トム，ニコラ

(72)【発明者】

【氏名】オステトレ，アレクサンドル

(72)【発明者】

【氏名】マレスコー，ジャック

【審査官】伊知地 和之

(56)【参考文献】

【文献】Aliasghar Mortazi et al.，“Multi-Planar Deep Segmentation Networks for Cardiac Substructures from MRI and CT”，arXiv.org[online]，2017年08月03日，pp.1-8

【文献】日朝祐太他，畳み込みニューラルネットワークを用いたＣＴ画像からの股関節および大腿部の筋骨格領域自動抽出，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2017年10月30日，第117巻 第281号，pp.3-4

【文献】Seyed Sadegh MOHSENI SALEHI et al.，“Auto-Context Convolutional Neural Network (Auto-Net) for Brain Extraction in Magnetic Resonance Imaging”，IEEE Transactions on Medical Imaging，2017年11月，Vol. 36, No. 11，pp.2319-2330，DOI: 10.1109/TMI.2017.2721362

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ － ６／１４

Ａ６１Ｂ ８／００ － ８／１５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

Ｎ≧３であるＮ個の異なる畳み込みニューラルネットワークすなわちＣＮＮを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的ソフトウェア手段または構成を用いることによる、対象物の３ＤのＣＴスキャン、ＭＲＩまたは超音波タイプの、ボクセルから構成される医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法であって、前記方法が、
Ｎ個の異なる再構築平面に従って３Ｄ画像の前記ボリュームを形成するボクセルを解析することにあり、各ＣＮＮが、１つの平面に属するボクセルの解析に割り振られていることと、
２つの連続する動作ステップの組み合わせであって、
第１のステップが、Ｎ個のセグメンテーションを行うことにあり、前記所与の平面の各々に属する全てのボクセルであって、２Ｄ医用画像のピクセルを形成する全てのボクセルにより形成される前記２Ｄ医用画像を、Ｎ個の提供されているＣＮＮのうちそれぞれに専用のＣＮＮ_ｉを用いて、解析しセグメント化することにより、各セグメンテーションが、Ｎ個の異なる再構築平面のうちの１つに従って行われ、ならびに
第２のステップが、これらＮ個の互いに独立した２Ｄセグメンテーションの最後の結果を、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一の３Ｄセグメンテーションに結合することにある、
２つの連続する動作ステップの組み合わせを主に含み、
自動セグメンテーション方法が、Ｎ個の逐次的な動作または画像処理ステップを行うことにあり、各ステップが、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化するＣＮＮによって実施され、前記ＣＮＮの各ＣＮＮ_ｉが、Ｎ個の異なるＣＮＮの各々についての特定の再構築平面に従って、および、シーケンスにおける前のネットワークＣＮＮ_ｉ－１が存在する場合は、それによって提供される結果を用いることにより、３Ｄ画像のボリュームを形成する全てのボクセルを解析することと
を特徴とする、自動セグメンテーション方法。

【請求項2】

Ｎ≧３であるＮ個の異なる畳み込みニューラルネットワークすなわちＣＮＮを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的ソフトウェア手段または構成を用いることによる、対象物の３ＤのＣＴスキャン、ＭＲＩまたは超音波タイプの、ボクセルから構成される医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法であって、前記方法が、
Ｎ個の異なる再構築平面に従って３Ｄ画像の前記ボリュームを形成するボクセルを解析することにあり、各ＣＮＮが、１つの平面に属するボクセルの解析に割り振られていることと、
２つの連続する動作ステップの組み合わせであって、
第１のステップが、Ｎ個のセグメンテーションを行うことにあり、前記所与の平面の各々に属する全てのボクセルであって、２Ｄ医用画像のピクセルを形成する全てのボクセルにより形成される前記２Ｄ医用画像を、Ｎ個の提供されているＣＮＮのうちそれぞれに専用のＣＮＮ_ｉを用いて、解析しセグメント化することにより、各セグメンテーションが、Ｎ個の異なる再構築平面のうちの１つに従って行われ、ならびに
第２のステップが、これらＮ個の互いに独立した２Ｄセグメンテーションの最後の結果を、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一の３Ｄセグメンテーションに結合することにある、２つの連続する動作ステップの組み合わせを主に含み、
Ｎ個の平面が、矢状面（２）および前頭面または冠状面（３）、ならびに、矢状面および冠状面の交線を包含し、これらの平面に向かって前記線まわりに角度がシフトされた、横断面または軸平面（１）に垂直な少なくとも１つの他の平面を含むことと
を特徴とする、自動セグメンテーション方法。

【請求項3】

自動セグメンテーション方法が、単一のニューラルネットワークを提供することにあり、単一のニューラルネットワークが、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化する、有利には並列で動作する、Ｎ個の異なるＣＮＮをその構造において統合していることと、各ＣＮＮが、異なる再構築平面に従って前記３Ｄ画像のボリュームを形成する全てのボクセルを解析することと、異なる２Ｄ解析およびセグメンテーションの結果が、前記ニューラルネットワークの一番終わりの構造における畳み込みを通して、構造化されたジオメトリと結合されることとを特徴とする、請求項１に記載の自動セグメンテーション方法。

【請求項4】

第１の動作ステップが、並列的または逐次的に動作するＮ個の異なるＣＮＮにより実施され、これらＣＮＮの各々が、互いに独立して、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化し、各ＣＮＮが、Ｎ個の異なるＣＮＮの各々についての異なる再構築平面に従って、３Ｄ画像のボリュームを形成する全てのボクセルを解析することを特徴とする、請求項１に記載の自動セグメンテーション方法。

【請求項5】

第１のステップのＮ個のセグメンテーションの結果を、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用の第２の動作ステップが、第１のステップのＮ個のセグメンテーションの間に全く同一のボクセルに割り当てられたＮ個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施されることを特徴とする、請求項１または４に記載の自動セグメンテーション方法。

【請求項6】

第１のステップのＮ個のセグメンテーションの結果を３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用の第２の動作ステップが、第１のステップのＮ個のセグメンテーションの間に全く同一のボクセルに、およびそのボクセルの近傍のボクセルに割り当てられたＮ個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施されることを特徴とする、請求項１または４に記載の自動セグメンテーション方法。

【請求項7】

Ｎ≧３であるＮ個の異なる畳み込みニューラルネットワークすなわちＣＮＮを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的ソフトウェア手段または構成を用いることによる、対象物の３ＤのＣＴスキャン、ＭＲＩまたは超音波タイプの、ボクセルから構成される医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法を行うためのシステムであって、前記方法が、
Ｎ個の異なる再構築平面に従って３Ｄ画像の前記ボリュームを形成するボクセルを解析することにあり、各ＣＮＮが、１つの平面に属するボクセルの解析に割り振られていることと、
２つの連続する動作ステップの組み合わせであって、
第１のステップが、Ｎ個のセグメンテーションを行うことにあり、前記所与の平面の各々に属する全てのボクセルであって、２Ｄ医用画像のピクセルを形成する全てのボクセルにより形成される前記２Ｄ医用画像を、Ｎ個の提供されているＣＮＮのうちそれぞれに専用のＣＮＮ_ｉを用いて、解析しセグメント化することにより、各セグメンテーションが、Ｎ個の異なる再構築平面のうちの１つに従って行われ、ならびに
第２のステップが、これらＮ個の互いに独立した２Ｄセグメンテーションの最後の結果を、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一の３Ｄセグメンテーションに結合することにある、２つの連続する動作ステップの組み合わせを主に含むことと
を特徴とし、
前記システムは、Ｎ≧３であるＮ個の異なる畳み込みニューラルネットワーク（ＣＮＮ_ｉ）の逐次的または並列的な編成での協調動作を、構造化された構成においてホストし、可能とする少なくとも１つのコンピュータデバイスを含み、各ＣＮＮ_ｉが、Ｎ個の異なる再構築平面に従って３Ｄ画像の前記ボリュームを形成するボクセルを解析することにより、すなわち、Ｎ個のセグメンテーションを行うことにより、処理される３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具のセグメンテーションを、自動的におよび他のＣＮＮと独立して行うように適合されて構成されており、各セグメンテーションが、前記所与の平面の各々に属する全てのボクセルであって、２Ｄ医用画像のピクセルを形成する全てのボクセルにより形成される前記２Ｄ医用画像を、Ｎ個の提供されているＣＮＮのうちそれぞれの専用のＣＮＮ_ｉを用いて、解析しセグメント化することにより、Ｎ個の異なる再構築平面のうちの１つに従って行われ、各ＣＮＮ_ｉが、したがって、１つの平面に属するボクセルの解析に割り振られており、前記システムは、前記Ｎ個の異なるＣＮＮ_ｉにより行われた解析および２Ｄセグメンテーションの結果を結合する手段であって、該結果を表示するための手段も含み、
Ｎ個の異なるＣＮＮの各ＣＮＮ_ｉが、Ｎ個の異なるＣＮＮの各々についての特定の再構築平面に従って、３Ｄ画像のボリュームを形成する全てのボクセルを解析し、前のネットワークＣＮＮ_ｉ－１が存在する場合は、それにより提供された結果を用いるように、前記Ｎ個の異なるＣＮＮがシリアルアーキテクチャで構成されることを特徴とする、システム。

【請求項8】

Ｎ個の異なるＣＮＮが、単一のアルゴリズムフレームワーク内において、並列アーキテクチャで構成され、前記Ｎ個の異なるＣＮＮの結果が、最終ステージで結合されることを特徴とする、請求項７に記載のシステム。

【請求項9】

対象物の３ＤのＣＴスキャン、ＭＲＩまたは超音波タイプの、ボクセルから構成される医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法であって、
前記方法は、
Ｎ＞３であるＮ個の異なるＣＮＮの畳み込みニューラルネットワークを結合する全体的ソフトウェア手段または構成を提供するステップと、
Ｎ個の異なる再構築平面に従って、３Ｄ画像の前記ボリュームを形成するボクセルを解析するステップであって、前記全体的ソフトウェア手段は、３Ｄ画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できるそのＣＮＮの構造化されたジオメトリまたはアーキテクチャを示し、前記ＣＮＮの各１つは、前記Ｎ個の再構築平面のうちの１つの対応する再構築平面に属するボクセルの解析に割り当てられている、ステップとを含み、
前記方法はさらに、２つの連続する動作ステップの組み合わせであって、
Ｎ個のセグメンテーションプロシージャを行うステップであって、前記Ｎ個の再構築平面のうちの１つにそれぞれ属する３Ｄ画像の全てのボクセルであって、２Ｄ医用画像のピクセルを形成する３Ｄ画像の全てのボクセルにより形成される前記２Ｄ医用画像を、Ｎ個の提供されているＣＮＮのうちそれぞれに専用のＣＮＮ_ｉを用いて、解析しセグメント化することにより、Ｎ個の２Ｄ医用画像のそれぞれにおいて見られる前記Ｎ個の２次元医用画像すべてについて、解剖学的および病理学的構造、または器具のセグメント化を達成するように、各セグメンテーションが、Ｎ個の異なる再構築平面のうちの１つに従って行われる、ステップと、
これらＮ個の互いに独立した２Ｄセグメンテーションの最後の結果を、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一の３Ｄセグメンテーションに結合するステップと
を含み、
前記方法は、３Ｄ医用画像において見られ得る解剖学的および病理学的構造または器具を自動的にセグメント化する、有利には並列で動作する、Ｎ＞３であるＮ個の異なるＣＮＮをその構造において統合する単一のニューラルネットワークを提供するステップを含み、
各ＣＮＮは、異なる再構築平面に従って前記３Ｄ画像のボリュームを形成する全てのボクセルを解析し、異なる２Ｄ解析およびセグメンテーションの結果は、前記ニューラルネットワークの一番終わりの構造における畳み込みを通して、構造化ジオメトリと結合され、
第１のステップのＮ個のセグメンテーションの結果を、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用の第２の動作ステップは、第１のステップのＮ個のセグメンテーションの間に全く同一のボクセルと、そのボクセルに隣接するボクセルとに割り当てられたＮ個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施されること
を特徴とする、自動セグメンテーション方法。

【請求項10】

対象物の、ボクセルから構成される３Ｄ医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法であって、
前記方法は、
Ｎ＞３であるＮ個の異なるＣＮＮの畳み込みニューラルネットワークを結合する全体的ソフトウェア手段または構成であって、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する全体的ソフトウェア手段または構成を提供するステップと
Ｎ個の異なる再構築軸または平面に従って、３Ｄ画像の前記ボリュームを形成するボクセルを解析するステップであって、
各ＣＮＮが、１つの軸または平面に属するボクセルの解析に割り振られている、ステップと、
を含み、
方法はさらに、３Ｄ画像のＮ個の再構築平面のそれぞれについて、所与の平面のボクセルによって形成される２Ｄ画像を、Ｎ＞３であるＮ個の提供されたＣＮＮのうちの専用のＣＮＮ_ｉを用いて、解析しセグメント化するステップであって、前記ＣＮＮが、前記３Ｄ画像ボリュームと同様に構造化されたステップと、前記異なるＣＮＮによって行なわれた前記Ｎ個の解析の中間のまたは最後の結果を結合するステップとを含み、
前記方法はさらに、Ｎ個の逐次的な動作ステップまたは画像処理ステップを行うことをさらに含み、
各ステップは、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化するＣＮＮによって実施され、
前記ＣＮＮの各ＣＮＮ_ｉが、Ｎ個の異なるＣＮＮの各々について特定の再構築平面に従って、および、シーケンスにおける前のネットワークＣＮＮ_ｉ－１が存在する場合は、それによって提供される結果を用いることにより、３Ｄ画像のボリュームを形成する全てのボクセルを解析すること
を特徴とする、自動セグメンテーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理の分野、より詳細には画像の処理および解析、特に医用画像のセグメンテーションに関連し、３Ｄ医用画像のジオメトリまたは構造化に従った、構造化された畳み込みを通した、１つまたはいくつかのニューラルネットワークによる３Ｄ医用画像の自動セグメンテーションプロセスに関する。

【背景技術】

【0002】

スキャナ、ＭＲＩ、超音波、ＣＴまたはＳＰＥＣタイプの画像のような医用イメージングデバイスから作られる３次元画像は、３Ｄ画像の基本単位であるボクセルのセットから構成される。ボクセルは、２Ｄ画像の基本単位であるピクセルを３Ｄに拡張したものである。各ボクセルは、２Ｄ関数Ｆ（ｘ，ｙ）または３Ｄ関数Ｆ（ｘ，ｙ，ｚ）の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでｘ、ｙおよびｚは空間座標を表す（図１参照）。

【0003】

３Ｄ画像において、ボクセルは、様々な軸または平面に従って、２Ｄにて見られ得る。医用画像における３つの主要な軸または平面は、軸平面、矢状面および前頭面である（図２）。しかし、異なる角度を付けることで、無数の軸または平面が作り出され得る。

【0004】

典型的には、２Ｄまたは３Ｄの医用画像は、臨床医が状態を評価するため、ならびに治療戦略を確定し計画するために描出する必要のある解剖学的および病理学的な構造物（器官、骨、組織、・・・）または人工的な要素（ステント、インプラント、器具、・・・）のセットを含む。この点において、器官および病変が画像内で識別される必要があり、これは、２Ｄ画像の各ピクセルまたは３Ｄ画像の各ボクセルをラベル付け（例えば色付け）することを意味する。このプロセスはセグメンテーションと呼ばれる。

【0005】

図３は、横断面図による３Ｄ医用画像セグメンテーションの各ステージを例として示す。

【0006】

セグメンテーションを行うための方法は数多く知られており、特に、アルゴリズム、とりわけＡＩアルゴリズムを利用する自動的な方法がある。

【0007】

これに関して、最先端の技術では、ニューラルネットワークの多数のバリエーションが用いられている。これらは全て標準的で非特定的なアーキテクチャに基づいており、その結果として、全般的に、不適当なリソースの浪費と効率および正確性の欠如とを招いている。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の主な目的は、上述の制限を克服することが意図された新規な方法および新規なシステムを提案することにある。

【課題を解決するための手段】

【0009】

したがって、本発明は、対象物の、ボクセルから構成される３Ｄ医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法に関し、
前記方法は、
Ｎ≧２であるＮ個の異なる畳み込みニューラルネットワークすなわちＣＮＮを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的（ｇｌｏｂａｌ）ソフトウェア手段または構成を提供することと、
Ｎ個の異なる再構築軸または平面に従って３Ｄ画像の前記ボリュームを形成するボクセルを解析することと
にあり、各ＣＮＮが、１つの軸または平面に属するボクセルの解析に割り振られていることを特徴とする。

【図面の簡単な説明】

【0010】

【図1】スキャナ、ＭＲＩ、超音波、ＣＴまたはＳＰＥＣタイプの画像のような医用イメージングデバイスから作られる３次元画像は、３Ｄ画像の基本単位であるボクセルのセットから構成され、ボクセルは、２Ｄ画像の基本単位であるピクセルを３Ｄに拡張したものであり、各ボクセルは、２Ｄ関数Ｆ（ｘ，ｙ）または３Ｄ関数Ｆ（ｘ，ｙ，ｚ）の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでｘ、ｙおよびｚは空間座標を表す、ことを示す図である。

【図2】３Ｄ画像において、ボクセルは、様々な軸または平面に従って、２Ｄにて見られ得、医用画像における３つの主要な軸または平面は、軸平面、矢状面および前頭面のそれであることを示す図である。

【図3】横断面図による３Ｄ医用画像セグメンテーションの各ステージを例として示す図である。

【図4】本発明の第１の実施形態による３Ｄ画像の様々な解析の軸または平面を統合する独自の全体的ＣＮＮアルゴリズムの模式的で記号的表現であり、各軸または平面に特定のＣＮＮが割り振られている。

【図5】ＣＮＮのシリアルなまたは逐次的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。

【図6】ＣＮＮの並列的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。

【図7】ＣＮＮの並列的な構成を有する本発明の他の実施形態の模式的で記号的表現である。

【図8】ＣＮＮの並列的な構成を有する本発明の他の実施形態の模式的で記号的表現である。

【発明を実施するための形態】

【0011】

非限定的な例として示され、添付の図面を参照して説明される、いくつかの好適な実施形態に関する下記の説明を用いて、本発明がよりよく理解されるであろう。

【0012】

－ 図４は、本発明の第１の実施形態による３Ｄ画像の様々な解析の軸または平面を統合する独自の全体的ＣＮＮアルゴリズムの模式的で記号的表現であり、各軸または平面に特定のＣＮＮが割り振られている。

【0013】

－ 図５は、ＣＮＮのシリアルなまたは逐次的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。

【0014】

－ 図６は、ＣＮＮの並列的な構成を示す、本発明の他の実施形態の模式的で記号的表現である。

【0015】

－ 図７および８は、ＣＮＮの並列的な構成を有する本発明の他の実施形態の模式的で記号的表現である。

【0016】

添付の図面の図４から８に示しているのは、対象物の、ボクセルから構成される３Ｄ医用画像において視認可能な解剖学的および病理学的構造物または器具などの特徴の自動セグメンテーション方法である。

【0017】

本発明によれば、前記方法は、Ｎ≧２であるＮ個の異なる畳み込みニューラルネットワークすなわちＣＮＮを結合し、画像ボリュームのジオメトリまたはアーキテクチャに適合され比較できる構造化されたジオメトリまたはアーキテクチャを有する、全体的ソフトウェア手段または構成を提供することと、Ｎ個の異なる再構築軸または平面に従って３Ｄ画像の前記ボリュームを形成するボクセルを解析することとにあり、各ＣＮＮが、１つの軸または平面に属するボクセルの解析に割り振られている。

【0018】

よって、本発明は、医用画像のジオメトリ、構造化およびコンテンツそのものを考慮した複数のＣＮＮの構造化された編成および共同での協調動作を提供する。

【0019】

３Ｄ画像ボリュームのＮ個の異なる再構築軸または平面に従ってＮ個の異なるＣＮＮ（Ｎ≧２、好ましくはＮ≧３）を結合するこの特定の複合計算システム（場合によっては単一のフレームワークにグループ化される）が、２Ｄ画像を解析しセグメント化するための知られているＣＮＮの使用を３Ｄ画像に拡張することを可能とする。

【0020】

典型的には、本発明の方法およびシステムにおいて用いられ得る、知られているＣＮＮアルゴリズムとして、「Ｕ－Ｎｅｔ」がある（例えば：「Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｏ． Ｒｏｎｎｅｂｅｒｇｅｒら；ＭＩＣＣＡＩ ２０１５、Ｐａｒｔ ＩＩＩ、ＬＮＣＳ ３９５１、ｐｐ ２３４－‘’２４１、Ｓｐｒｉｎｇｅｒ ＩＰＳを参照）。

【0021】

「Ｕ－Ｎｅｔ」は、「ＲｅｓＮｅｔ」または「ＤｅｎｓｅＮｅｔ」などの他の知られているアーキテクチャと共に実現されてよい。

【0022】

有利には、本発明の方法は、図４から８にも示すように、３Ｄ画像のＮ個の再構築平面の各々について、Ｎ個の提供されているＣＮＮのうち専用のＣＮＮ_ｉを用いて、所与の平面のボクセルにより形成された２Ｄ画像を解析しセグメント化することと、前記異なるＣＮＮにより行われた前記Ｎ個の解析の中間または最後の結果を結合することとにあってよく、前記ＣＮＮは、３Ｄ画像ボリュームと同様に構造化されている。

【0023】

解析のために３Ｄ画像ボリュームをセグメント化すること、および、これらの部分的解析の結果を単一の３Ｄ画像セグメンテーションにマージ（結合）することにより、本発明は、限定されたリソースを用いて、複合的なセグメンテーションプロシージャを実現すること、および、正確で何らかの形で照合された結果を迅速に供給することを可能とする。

【0024】

Ｎ個の解析およびセグメンテーションの結果の結合またはマージは：
－ 各ボクセルについて、Ｎ個のネットワークの中間活性値（ｉｎｔｅｒｍｅｄｉａｔｅ ａｃｔｉｖａｔｉｏｎ）を結合すること（図４を参照。いわゆる「特徴結合（ｆｅａｔｕｒｅ ｃｏｍｂｉｎａｔｉｏｎ）」）。結果として得られるマージされた情報は、次いで、画像の最終的なセグメンテーションを提供する全体的ＣＮＮにより入力データとして受け取られる；
－ 例えば分類器の（加重）合計、乗算または当業者に知られている他の適合された予測アンサンブリングオペレーション（ａｄａｐｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｅｎｓｅｍｂｌｉｎｇ ｏｐｅｒａｔｉｏｎ）によって、Ｎ個の異なるＣＮＮの出力情報を結合すること（図７および８を参照。後段での融合またはマージ）
によって行われてよい。

【0025】

図４に示す本発明の第１の実施形態によれば、方法は、単一のニューラルネットワークを提供することにあり得、単一のニューラルネットワークは、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化する、有利には並列で動作する、Ｎ個の異なるＣＮＮをその構造において統合する。各ＣＮＮは、異なる再構築平面または軸に従って前記３Ｄ画像のボリュームを形成する全てのボクセルを解析し、異なる２Ｄ解析およびセグメンテーションの結果は、前記ニューラルネットワークの一番終わりの構造における畳み込みを通して、構造化されたジオメトリと結合される。

【0026】

この場合、そのように形成された単一のメタＣＮＮの内部構造そのものが、３Ｄ軸の画像解析と、異なる２Ｄ解析およびセグメンテーションから得られた情報の結合とを、統合する。

【0027】

もちろん、そのような多重並列２Ｄ処理の結果の結合を伴うこれらの処理は、単一のフレームワークに統合されるのではなく、Ｎ個の独立したＣＮＮの並列構成によって管理され得る（図６）。

【0028】

図５に示す本発明の第２の代替的実施形態によれば、方法はまた、Ｎ個の逐次的な動作または画像処理ステップを行うことにあり得る。各ステップは、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化するＣＮＮによって実施され、前記ＣＮＮの各ＣＮＮ_ｉは、Ｎ個の異なるＣＮＮの各々についての特定の再構築平面に従って、および、シーケンスにおける前のネットワークＣＮＮ_ｉ－１が存在する場合は、それによって提供される結果を用いることにより、３Ｄ画像のボリュームを形成する全てのボクセルを解析する。

【0029】

この場合、ＣＮＮの２Ｄ逐次的処理スキームは、アルゴリズムフレームワークの全体的アーキテクチャにおいて、またはＣＮＮ構成の構造化されたジオメトリにおいて統合され、よって、シーケンスの情報の最終的な結合は、前記フレームワークまたは構成の構造に本質的に統合される。

【0030】

図６から８に示す本発明の好適な実施形態に関して、セグメンテーション方法は主に、２つの連続する動作ステップの組み合わせにある。第１のステップは、Ｎ個のセグメンテーションを行うことにあり、各セグメンテーションは、Ｎ個の異なる再構築軸または平面のうちの１つに従って行われ、第２のステップは、これらＮ個のセグメンテーションの結果を、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することにある。

【0031】

有利には、第１の動作ステップは、並列的または逐次的に動作するＮ個の異なるＣＮＮにより実施され、これらＣＮＮの各々は、互いに独立して、３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具を自動的にセグメント化し、各ＣＮＮは、Ｎ個の異なるＣＮＮの各々についての異なる再構築平面に従って、３Ｄ画像のボリュームを形成する全てのボクセルを解析する。

【0032】

図７に示す本発明の第１の代替的実施例によれば、第１のステップのＮ個のセグメンテーションの結果を３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用される第２の動作ステップは、第１のステップのＮ個のセグメンテーションの間に全く同一のボクセルに割り当てられたＮ個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施される。

【0033】

図８に示す本発明の第２の代替的実施例によれば、第１のステップのＮ個のセグメンテーションの結果を３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具の単一のセグメンテーションに結合することに専用される第２の動作ステップは、第１のステップのＮ個のセグメンテーションの間に全く同一のボクセルに、およびそのボクセルの近傍のボクセルに割り当てられたＮ個のラベルの結合に対応するラベルを、画像ボリュームの各ボクセルに割り当てることにより実施される。

【0034】

３Ｄ画像ボリュームにおいて、所与のボクセルの近傍のボクセルは、３つの異なるボクセルグループ、すなわち（図８に示すように）：
－ 考慮されるボクセルと面同士が接する６つのボクセルのグループ；
－ 考慮されるボクセルと面同士または辺同士が接する１８個のボクセルのグループ；
－ 上記の１８個のボクセルのグループ、および考慮されるボクセルの角の先端と一点で接する８つのさらなるボクセルを含む２６個のボクセルのグループ
に関するものであってよい。

【0035】

図４から８に示すように、（本発明の方法を実行するときに用いられる）Ｎ個の再構築平面は、好ましくは、矢状面２および前頭面または冠状面３、ならびに、矢状面および冠状面の交線を包含し、これらの平面に向かって前記線まわりに角度がシフトされた、横断面または軸平面１に垂直な少なくとも１つの他の平面を含む。

【0036】

上記に加えてまたは替えて、Ｎ個の再構築平面は：
－ 矢状面２または冠状面３に平行な平面、および／または、
－ 複数の互いに平行な軸平面１
を含んでもよい。

【0037】

本発明はまた、図４から８に記号的に示すように、上述の自動セグメンテーション方法を行うためのシステムを包含する。

【0038】

前記システムは、Ｎ≧２であるＮ個の異なる畳み込みニューラルネットワーク（ＣＮＮ_ｉ）の、逐次的または並列的な編成での協調動作を、構造化された構成においてホストし、可能とする少なくとも１つのコンピュータデバイスを含むことを特徴とし、各ＣＮＮ_ｉは、Ｎ個の異なる再構築軸または平面に従って３Ｄ画像の前記ボリュームを形成するボクセルを解析することにより、処理される３Ｄ医用画像において見られ得る解剖学的および病理学的構造物または器具のセグメンテーションを、自動的に、および他のＣＮＮと独立して行うように適合されて構成され、各ＣＮＮは、１つの軸または平面に属するボクセルの解析に割り振られている。

【0039】

好ましくは、前記システムはまた、前記Ｎ個の異なるＣＮＮにより行われた解析およびセグメンテーションの結果を結合、および場合によっては表示するための手段を含む。

【0040】

第１の代替例によれば、Ｎ個の異なるＣＮＮは、前記Ｎ個の異なるＣＮＮの各ＣＮＮ_ｉが、Ｎ個の異なるＣＮＮの各々についての特定の再構築平面に従って、３Ｄ画像のボリュームを形成する全てのボクセルを解析し、前のネットワークＣＮＮ_ｉ－１が存在する場合は、それにより提供された結果を用いるように、シリアルアーキテクチャで構成されてよい（図５）。

【0041】

第２の代替例によれば、Ｎ個の異なるＣＮＮは、場合によっては単一のアルゴリズムフレームワーク内において、並列アーキテクチャで構成されてよく、前記Ｎ個の異なるＣＮＮの結果は、最終ステージで結合される（図４、６および８）。

【0042】

もちろん、本発明は、添付の図面において説明および表現されている少なくとも１つの実施形態に限定されるものではない。本発明の保護範囲を超えることなく、特に様々な要素の構成の観点からの、または技術的均等物の置き換えによる変形が、依然可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】