特許 7180004 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-18

(45)【発行日】2022-11-29

(54)【発明の名称】医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/194 20170101AFI20221121BHJP

   G06T 7/00 20170101ALI20221121BHJP

   A61B 6/03 20060101ALI20221121BHJP

【ＦＩ】

G06T7/194

G06T7/00 350C

G06T7/00 612

A61B6/03 360Z

【請求項の数】 16

(21)【出願番号】P 2021541593

(86)(22)【出願日】2020-03-27

(65)【公表番号】

(43)【公表日】2022-06-23

(86)【国際出願番号】 CN2020081660

(87)【国際公開番号】W WO2020215985

(87)【国際公開日】2020-10-29

【審査請求日】2021-09-09

(31)【優先権主張番号】201910322783.8

(32)【優先日】2019-04-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ツァオ，シレイ

(72)【発明者】

【氏名】ワン，レンジェン

(72)【発明者】

【氏名】マ，カイ

(72)【発明者】

【氏名】ジィァン，イエファン

【審査官】片岡 利延

(56)【参考文献】

【文献】中国特許出願公開第１０９５９８７３２（ＣＮ，Ａ）

【文献】中国特許第１１３５０６３１０（ＣＮ，Ｂ）

【文献】特開２００５－２４５８３０（ＪＰ，Ａ）

【文献】特開２００９－２１９６５５（ＪＰ，Ａ）

【文献】特開２０１９－４５８９４（ＪＰ，Ａ）

【文献】特表２０１９－５０４６５９（ＪＰ，Ａ）

【文献】Shahab Aslani et al.，Multi-branch Convolutional Neural Network for Multiple Sclerosis Lesion Segmentation，[online]，2019年04月08日，pp.1-16， https://arxiv.org/abs/1811.02942

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ －１／４０

Ｇ０６Ｔ ３／００ －９／４０

Ｇ０１Ｔ １／００ －７／１２

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ －６／１４

(57)【特許請求の範囲】

【請求項1】

電子機器が実行する医用画像分割方法であって、
分割すべき医用画像からサンプリングされた２枚のスライスを含むスライスペアを取得するステップと、
異なる受容野を採用して前記スライスペアの各スライスに対して特徴抽出を行うことで、前記スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得するステップと、
前記スライスペアの各スライスに対して、当該スライスの前記低レベル特徴情報及び前記高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するステップと、
前記スライスペアの各スライスの前記低レベル特徴情報と前記高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、前記スライスペアの各スライス間の関連情報を確定するステップと、
前記関連情報、及び前記スライスペアの各スライスの初期分割結果に基づいて、前記スライスペアの分割結果を生成するステップとを含む方法。

【請求項2】

前記フュージョン後特徴情報に基づいて、前記スライスペアの各スライス間の関連情報を確定するステップは、
前記フュージョン後特徴情報から、ターゲットオブジェクトに属する特徴を選別するステップと、
選別された特徴に基づいて、前記スライスペアの各スライス間の関連情報を確定するステップとを含む請求項１に記載の方法。

【請求項3】

前記選別された特徴に基づいて、前記スライスペアの各スライス間の関連情報を確定するステップは、
選別された特徴に基づいて、前記スライスペアの各スライスの背景領域及び前景領域を確定するステップと、
前記スライスペアの各スライス間の前景領域の差集合画素及び積集合画素を算出するステップと、
前記背景領域、前記差集合画素及び前記積集合画素に基づいて、前記スライスペアの各スライス間の関連情報を生成するステップとを含む請求項２に記載の方法。

【請求項4】

前記スライスペアの各スライス間の前景領域の差集合画素及び積集合画素を算出するステップは、
前記フュージョン後特徴情報のうち前記スライスペアのいずれかのスライスの前景領域にのみ属する画素点を前記差集合画素とするステップと、
前記フュージョン後特徴情報のうち前記スライスペアの両方のスライスの前景領域に同時に属する画素点を前記積集合画素とするステップとを含む請求項３に記載の方法。

【請求項5】

前記背景領域、前記差集合画素及び前記積集合画素に基づいて、前記スライスペアの各スライス間の関連情報を生成するステップは、
前記背景領域、前記差集合画素及び前記積集合画素に対して画素タイプ標識を行うことにより、前記スライスペアの各スライス間の関連情報を取得するステップを含む請求項３又は４に記載の方法。

【請求項6】

前記スライスペアに第１のスライス及び第２のスライスが含まれており、前記関連情報及び前記スライスペアの各スライスの初期分割結果に基づいて、前記スライスペアの分割結果を生成するステップは、
前記関連情報及び前記第１のスライスの初期分割結果に基づいて、前記第２のスライスの分割結果を予測することで、前記第２のスライスの予測分割結果を取得するステップと、
前記関連情報及び前記第２のスライスの初期分割結果に基づいて、前記第１のスライスの分割結果を予測することで、前記第１のスライスの予測分割結果を取得するステップと、
前記第１のスライスの予測分割結果に基づいて前記第１のスライスの初期分割結果を調整することで、前記第１のスライスの調整後分割結果を取得するステップと、
前記第２のスライスの予測分割結果に基づいて前記第２のスライスの初期分割結果を調整することで、前記第２のスライスの調整後分割結果を取得するステップと、
前記第１のスライスの調整後分割結果と前記第２のスライスの調整後分割結果とをフュージョンして、前記スライスペアの分割結果を取得するステップとを含む請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記第１のスライスの予測分割結果に基づいて前記第１のスライスの初期分割結果を調整することで、前記第１のスライスの調整後分割結果を取得するステップは、
前記第１のスライスの予測分割結果及び前記第１のスライスの初期分割結果に対して平均化処理を行うことで、前記第１のスライスの調整後分割結果を取得するステップを含み、
前記第２のスライスの予測分割結果に基づいて前記第２のスライスの初期分割結果を調整することで、前記第２のスライスの調整後分割結果を取得するステップは、
前記第２のスライスの予測分割結果及び前記第２のスライスの初期分割結果に対して平均化処理を行うことで、前記第２のスライスの調整後分割結果を取得するステップを含む請求項６に記載の方法。

【請求項8】

前記第１のスライスの調整後分割結果と前記第２のスライスの調整後分割結果とをフュージョンすることにより、前記スライスペアの分割結果を取得するステップは、
前記第１のスライスの調整後分割結果及び前記第２のスライスの調整後分割結果に対して平均化処理を行い、平均化処理された結果に対して二値化処理を行うことで、前記スライスペアの分割結果を取得するステップを含む請求項６又は７に記載の方法。

【請求項9】

前記異なる受容野を採用して前記スライスペアの各スライスに対して特徴抽出を行うことで、前記スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得するステップは、
トレーニング済み分割モデルにおける残差ネットワークにより前記スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得するステップを含み、
前記スライスペアの各スライスに対して、当該スライスの前記低レベル特徴情報及び前記高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するステップは、
前記スライスペアの各スライスに対して、当該スライスの前記低レベル特徴情報及び前記高レベル特徴情報に基づいて、前記トレーニング済み分割モデルにおける分割ネットワークにより当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するステップを含み、
前記スライスペアの各スライスの前記低レベル特徴情報と前記高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、前記スライスペアの各スライス間の関連情報を確定するステップは、
前記トレーニング済み分割モデルにおけるフュージョンネットワークにより、前記スライスペアの各スライスの前記低レベル特徴情報と前記高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、前記スライスペアの各スライス間の関連情報を確定するステップを含む請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記トレーニング済み分割モデルにおけるフュージョンネットワークにより、前記スライスペアの各スライスの前記低レベル特徴情報と前記高レベル特徴情報とをフュージョンするステップは、
要素ごとに前記スライスペアの各スライスの低レベル特徴情報を加算することで、フュージョン後低レベル特徴情報を取得するステップと、
要素ごとに前記スライスペアの各スライスの高レベル特徴情報を加算することで、フュージョン後高レベル特徴情報を取得するステップと、
前記トレーニング済み分割モデルにおけるフュージョンネットワークにより、前記フュージョン後低レベル特徴情報と前記フュージョン後高レベル特徴情報とをフュージョンすることで、前記フュージョン後特徴情報を取得するステップとを含む請求項９に記載の方法。

【請求項11】

前記トレーニング済み分割モデルにおけるフュージョンネットワークにより、前記フュージョン後低レベル特徴情報と前記フュージョン後高レベル特徴情報とをフュージョンすることで、前記フュージョン後特徴情報を取得するステップは、
前記トレーニング済み分割モデルにおけるフュージョンネットワークにより、要素ごとに前記フュージョン後低レベル特徴情報と前記フュージョン後高レベル特徴情報とを加算することで、前記フュージョン後特徴情報を取得するステップ、又は、
前記トレーニング済み分割モデルにおけるフュージョンネットワークのチャネルアテンションモジュールにより、前記フュージョン後低レベル特徴情報及び前記フュージョン後高レベル特徴情報に基づいて前記フュージョン後低レベル特徴情報に重みを付与することで、重み付け後特徴情報を取得し、要素ごとに前記重み付け後特徴情報と前記フュージョン後低レベル特徴情報とを乗算することで、処理後特徴情報を取得し、要素ごとに前記処理後特徴情報と前記フュージョン後高レベル特徴情報とを加算することで、前記フュージョン後特徴情報を取得するステップを含む請求項１０に記載の方法。

【請求項12】

前記スライスペアの各スライスに対して、当該スライスの前記低レベル特徴情報及び前記高レベル特徴情報に基づいて、前記トレーニング済み分割モデルにおける分割ネットワークにより当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するステップは、
前記スライスペアの各スライスに対して、前記トレーニング済み分割モデルにおける分割ネットワークにより、当該スライスの前記低レベル特徴情報及び前記高レベル特徴情報に対してそれぞれ畳み込み処理を行い、畳み込み処理された高レベル特徴情報を、畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後、畳み込み処理された低レベル特徴情報と連結して、連結後特徴情報を取得し、前記連結後特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトに属する画素点を選別することで、当該スライスの初期分割結果を取得するステップを含む請求項９～１１のいずれか一項に記載の方法。

【請求項13】

前記トレーニング済み分割モデルにおける残差ネットワークにより前記スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得する前に、前記方法は、
真の値がマーキングされたスライスペアサンプルを複数ペア採集するステップであって、前記スライスペアサンプルは医用画像サンプルからサンプリングされた２枚のスライスサンプルを含むステップと、
予め設定された分割モデルにおける残差ネットワークにより前記スライスペアサンプルのうちの各スライスサンプルに対して特徴抽出を行うことで、各スライスサンプルの高レベル特徴情報及び低レベル特徴情報を取得するステップと、
前記スライスペアサンプルのうちの各スライスサンプルに対して、当該スライスサンプルの低レベル特徴情報及び高レベル特徴情報に基づいて、前記予め設定された分割モデルにおける分割ネットワークにより当該スライスサンプルにおけるターゲットオブジェクトを分割することで、当該スライスサンプルの予測分割値を取得するステップと、
前記予め設定された分割モデルにおけるフュージョンネットワークにより、前記スライスペアサンプルのうちの各スライスサンプルの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、前記スライスペアサンプルの各スライスサンプル間の関連情報を予測するステップと、
前記真の値、前記スライスペアサンプルのうちの各スライスサンプルの予測分割値及び予測された関連情報に基づいて、前記予め設定された分割モデルを収束することで、前記トレーニング済み分割モデルを取得するステップをさらに含む請求項９～１２のいずれか一項に記載の方法。

【請求項14】

命令を記憶したメモリと、
プロセッサと、を含み、
前記命令は、前記プロセッサによって実行されるときに、前記プロセッサに請求項１～１３のいずれか一項に記載の医用画像分割方法を実行させる、
医用画像分割装置。

【請求項15】

請求項１４に記載の医用画像分割装置を含む電子機器。

【請求項16】

命令を含むコンピュータプログラムであって、
コンピュータ上で実行されると、コンピュータに請求項１～１３のいずれか一項に記載の医用画像分割方法におけるステップを実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年０４月２２日に中国専利局に提出した、出願番号が２０１９１０３２２７８３８であって、発明の名称が「医用画像分割方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容が援用により本出願に組み込まれる。

【0002】

本出願は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）の技術分野に関し、具体的に、医用画像処理技術に関する。

【背景技術】

【0003】

ＡＩは、その発展につれて、医療分野、特に医用画像分割分野において、ますます広く応用されている。例えば、肝臓の分割（セグメンテーション）を例すれば、肝臓画像を１枚ずつスライス分割する２次元（２Ｄｉｍｅｎｓｉｏｎ、２Ｄ）畳み込みニューラルネットワークを予めトレーニングする。そして、分割（セグメンテーション）すべき３次元（３次元、３Ｄ）肝臓画像、例えば、肝臓のコンピュータ断層撮影（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ、ＣＴ）に対してスライス処理を行って、スライスをトレーニング済みの２Ｄ畳み込みニューラルネットワークにそれぞれ導入して分割することにより、分割結果、例えば、肝臓領域などが得られる。

【0004】

しかしながら、上記の２Ｄ畳み込みニューラルネットワークは、３Ｄ医用画像をスライスしてから、スライスごとに分割する必要があるので、走査中のスペクトル間の関連性が無視されてしまい、ターゲットオブジェクト（例えば、肝臓）の形状情報を正確に捕らえることが難しく、分割の精度が低下する。

【発明の概要】

【0005】

本出願の実施例において、医用画像分割方法、装置及び記憶媒体を提供し、分割の精度を向上させることができる。

【0006】

本出願の実施例では、電子機器が実行する医用画像分割方法を提供し、分割すべき医用画像からサンプリングされた２枚のスライスを含むスライスペアを取得するステップと、
異なる受容野を採用して前記スライスペアの各スライスに対して特徴抽出を行うことで、前記スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得するステップと、
前記スライスペアの各スライスに対して、当該スライスの前記低レベル特徴情報及び前記高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するステップと、
前記スライスペアの各スライスの前記低レベル特徴情報と前記高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、前記スライスペアの各スライス間の関連情報を確定するステップと、
前記関連情報、及び前記スライスペアの各スライスの初期分割結果に基づいて、前記スライスペアの分割結果を生成するステップとを含む。

【0007】

対応的に、本出願の実施例では、さらに医用画像分割装置を提供する。当該医用画像分割装置は、
分割すべき医用画像から、サンプリングされた２枚のスライスを含むスライスペアを取得するための取得ユニットと、
異なる受容野を採用して前記スライスペアの各スライスに対して特徴抽出を行うことで、前記スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得するための抽出ユニットと、
前記スライスペアの各スライスに対して、当該スライスの前記低レベル特徴情報及び高レベル特徴情報に基づいて当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するための分割ユニットと、
前記スライスペアの各スライスの前記低レベル特徴情報と前記高レベル特徴情報とをフュージョンするためのフュージョンユニットと、
フュージョン後特徴情報に基づいて、前記スライスペアの各スライス間の関連情報を確定するための確定ユニットと、
前記関連情報、及び前記スライスペアの各スライスの初期分割結果に基づいて、前記スライスペアの分割結果を生成するするための生成ユニットとを含む。

【0008】

対応的に、本出願では、さらに電子機器を提供する。当該電子機器は、メモリ及びプロセッサを含み、前記メモリには、アプリケーションが記憶されており、前記プロセッサは、本出願の実施例にかかる医用画像分割方法における操作を実行するように、前記メモリにおけるアプリケーションを実行するために用いられる。

【0009】

また、本出願の実施例では、さらに記憶媒体を提供する。前記記憶媒体には複数の命令が記憶されており、前記命令は、プロセッサによってロードされると、本出願の実施例にかかる医用画像分割方法におけるステップを実行させるように構成されている。

【0010】

また、本出願の実施例では、さらにコンピュータプログラムを提供する。コンピュータプログラムは、命令を含み、コンピュータ上で実行されると、コンピュータに本出願の実施例にかかる医用画像分割方法におけるステップを実行させるように構成されている。

【0011】

本出願の実施例では、スライスペアを取得した後、異なる受容野を採用して当該スライスペアの各スライスに対してそれぞれ特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得してもよい。スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割して、当該スライスの初期分割結果を取得する一方、スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定する。そしてその後、スライスペアの各スライス間の関連情報、及びスライスペアの各スライスの初期分割結果に基づいて当該スライスペアの分割結果を生成する。３Ｄ医用画像のスライス間に関連性があることを考慮して、本出願の実施例にかかる方法では、２枚のスライス（スライスペア）を同時に分割し、スライス間の関連関係により分割結果をさらに調整することで、ターゲットオブジェクト（例えば、肝臓）の形状情報をより正確的に捕らえて、分割の精度をより向上させる。

【図面の簡単な説明】

【0012】

本出願の実施例にかかる技術案をより明確にするために、以下に、実施例の記述に必要な図面を簡単に説明する。以下の説明における図面は、本発明のいくつかの実施例にすぎず、当業者にとって創造的な労働をせずに、これらの図面から他の図面を得ることは言うまでもない。

【図1】本出願の実施例にかかる医用画像分割方法のシナリオの模式図である。

【図2】本出願の実施例にかかる医用画像分割方法のフローチャートである。

【図3】本出願の実施例にかかる医用画像分割方法における受容野の模式図である。

【図4】本出願の実施例にかかる画像分割モデルにおける残差ネットワークの構成の模式図である。

【図5】本出願の実施例にかかる画像分割モデルの構成の模式図である。

【図6】本出願の実施例にかかる医用画像分割方法における信号成分の模式図である。

【図7】本出願の実施例にかかる画像分割モデルにおけるチャネルアテンションモジュールの構成の模式図である。

【図8】本出願の実施例にかかる画像分割モデルの他の構成の模式図である。

【図9】本出願の実施例にかかる医用画像分割方法における関連関係の模式図である。

【図10】本出願の実施例にかかる医用画像分割方法における関連関係の他の模式図である。

【図11】本出願の実施例にかかる医用画像分割方法の他のフローチャートである。

【図12】本出願の実施例で提供される医用画像分割方法における重畳ブロックの例示的な図である。

【図13】本出願の実施例にかかる医用画像分割装置の構成の模式図である。

【図14】本出願の実施例にかかる医用画像分割装置の他の構成の模式図である。

【図15】本出願の実施例にかかる電子機器の構成の模式図である。

【発明を実施するための形態】

【0013】

以下、本出願の実施例の図面を参照して、本出願の実施例の技術案を明瞭かつ十分に説明する。記載された実施例は、本出願の実施例の全部ではなく、本出願の実施例の一部にすぎないことは言うまでもない。当業者が創造的な労働をせずに本発明の実施例に基づいて取得したすべての他の実施例は本出願の保護範囲に属する。

【0014】

人工知能は、デジタルコンピュータまたはデジタルコンピュータによって制御されるマシンを使用して、人間の知能をシミュレート、延長、拡張し、環境を感知し、知識を獲得し、知識を使用して最適の結果を得る理論、方法、技術、およびアプリケーションシステムである。言い換えれば、人工知能は、計算機科学の総合的な技術であり、知能の本質を理解して人間の知能と同じように反応可能にした、新しいインテリジェントマシンを生み出そうとする。人工知能は、さまざまなインテリジェントマシンの設計原理と実現方法を研究して、マシンに感知、推論、決定の機能を持たせることである。

【0015】

人工知能技術は総合的なテクノロジーであり、ハードウェア側面にかかる技術もあれば、ソフトウェア側面にかかる技術もある。人工知能の基本的な技術は、一般的に、センサー、ＡＩ専用チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、オペレーティング／インタラクションシステム、メカトロニクスなどの技術を含む。人工知能のソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術、機械学習／深層学習などを含む。

【0016】

コンピュータビジョン技術（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ＣＶ）は、どのようにマシンを「見る」にするかを研究する科学である。さらに言えば、人間の目の代わりにカメラとコンピュータを使用して、ターゲットに対して識別、追跡、測定などのマシンビジョンを行い、グラフィックス処理をさらに行って、人間の目による観察又は伝送を介して検知器に検出されることに適した画像となるようにコンピュータに処理させる。科学テクノロジーとして、コンピュータビジョンは関連する理論と技術を研究し、画像や多次元データから情報を取得可能な人工知能システムを構築しようとする。コンピュータビジョン技術は、一般的に、画像分割、画像処理、画像認識、画像意味分析、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味分析、ビデオ内容／行為認識、３次元オブジェクト再構成、３Ｄ技術、仮想現実、拡張現実、同時測位と地図構築の技術を含み、よく見られている顔認識、指紋認識などの生体特徴認識技術をさらに含む。

【0017】

機械学習（ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，ＭＬ）は、複数の分野にかかるテクノロジーであり、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの複数のテクノロジーに係る。新しい知識やスキルを習得するためにコンピュータが人間の学習行動をどのようにシミュレートまたは実現するかについて専門に研究し、既存の知識構造を再組織して自身のパフォーマンスを継続的に改善する。機械学習は、人工知能のコアであり、コンピュータに知能を持たせる基本的な方法であり、その適用は人工知能のすべての分野をカバーする。機械学習及び深層学習は、一般、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。

【0018】

本出願の実施例にかかる医用画像分割方法は、人工知能のコンピュータビジョン技術及び機械学習技術などに関し、具体的には、以下の実施例にてさらに説明する。

【0019】

本出願の実施例は、医用画像分割方法、装置、電子機器及び記憶媒体を提供する。なお、当該医用画像分割装置は、電子機器に統合されてもよく、当該電子機器はサーバーであってもよいし、端末などの機器であってもよい。

【0020】

画像分割（セグメンテーション）とは、画像をいくつかの特定された、特有の性質を有する領域に分割し、関心オブジェクトを提案する技術とプロセスを指す。本出願の実施例において、主に、３次元医用画像を分割し、必要なターゲットオブジェクトを抽出し、例えば、３Ｄ医用画像をｚ軸方向に沿って複数枚の単一フレームスライス（スライスと略称）に分割してから、スライスから肝臓領域などを分割し、３Ｄ医用画像の全てのスライスの分割結果を取得すると、これらの分割結果をｚ軸方向に沿って組み合わせることにより、当該３Ｄ医用画像に対応する３Ｄ分割結果、即ち、ターゲットオブジェクト、例えば、肝臓領域の３Ｄ形態を得ることができることを指す。さらなる操作が行われるように、当該分割されたターゲットオブジェクトが、医療従事者又は他の医療専門家に分析される。

【0021】

例えば、図１を参照し、当該医用画像分割装置が電子機器に統合されることを例にして、当該電子機器はスライスペア（当該スライスペアは、分割すべき医用画像からサンプリングされた２枚のスライスを含む）を取得し、異なる受容野（ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）を採用して当該スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル（高層）特徴情報及び低レベル（低層）特徴情報を取得する。そして、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得する一方、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定し、ひいては、当該関連情報及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成し得る。

【0022】

以下に、それぞれ詳細に説明する。なお、以下の実施例における説明順序は、実施例の好ましい順序を限定することを意図するものではない。

【0023】

本実施例では、医用画像分割装置の観点から記載され、当該医用画像分割装置は、具体的に電子機器に統合されてもよい。当該電子機器は、サーバーであってもよいし、端末などの装置であってもよい。当該端末は、タブレットコンピュータ、ノートコンピュータ、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣ）、医用画像収集装置、又は他の電子医療機器などを含んでもよい。

【0024】

医用画像分割方法であって、分割すべき医用画像からサンプリングされた２枚のスライスを含むスライスペアを取得し、異なる受容野を採用して当該スライスペアの各スライスに対して特徴抽出を行うことで、当該スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得し、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得し、スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定し、当該関連情報及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成することを含む。

【0025】

図２に示すように、当該医用画像分割方法の具体的なフローは以下の通りである。

【0026】

１０１において、スライスペアを取得し、当該スライスペアは分割すべき医用画像からサンプリングされた２枚のスライスを含む。

【0027】

例えば、分割すべき医用画像を取得し、当該分割すべき医用画像から２枚のスライスをサンプリングしてもよい。この２枚のスライスからなる集合はスライスペアと呼ばれる。

【0028】

なお、当該分割すべき医用画像は、各医用画像収集装置が生体組織（例えば、心臓や肝臓など）に対して画像収集を行った後、当該医用画像分割装置に供給されてもよい。なお、当該医用画像収集装置は核磁気共鳴画像診断装置（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、ＭＲＩ）やコンピュータ断層撮影装置、膣鏡、内視鏡などの電子機器を含んでもよい。

【0029】

１０２において、異なる受容野を採用して当該スライスペアの各スライスに対して特徴抽出を行って、当該スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得する。

【0030】

なお、畳み込みニューラルネットワークにおいては、受容野が、ある層の出力結果における１要素に対応する入力層の領域のサイズを決定する。つまり、受容野は、畳み込みニューラルネットワークおけるある層の出力結果（即ち、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）であり、特徴情報とも呼ばれる）における要素点が入力画像にマッピングされたサイズであり、例えば、図３を参照する。一般的に、第１の畳み込み層（例えばＣ_１）の出力特徴画像画素の受容野のサイズは畳み込みカーネルのサイズ（フィルタサイズ、Ｆｉｌｔｅｒ ｓｉｚｅ）に等しくなり、上位の畳み込み層（例えばＣ_４など）の受容野のサイズは、その前の全ての層の畳み込みカーネルサイズ及びステップサイズに関係しているため、異なる受容野に基づいて異なるレベルの情報を捕らえることができ、ひいて、異なるスケールの特徴情報を抽出する目的を達成するようになる。つまり、異なる受容野を採用してスライスに対して特徴抽出を行った後、当該スライスの複数のスケールの高レベル特徴情報及び複数のスケールの低レベル特徴情報を取得ることができる。

【0031】

なお、異なる受容野を採用して当該スライスに対して特徴抽出を行う方式は、例えば様々あり、例えば、残差ネットワークにより実現されてもよい。即ち、「異なる受容野を採用して当該スライスペアの各スライスに対して特徴抽出を行うことで、当該スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得する」ステップは、
トレーニング済み分割モデルにおける残差ネットワークにより当該スライスペアの各スライスに対して特徴抽出を行って、当該スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得するステップを含む。

【0032】

例えば、図４に示すように、当該スライスペアは第１のスライス及び第２のスライスを含み、残差ネットワークは、並列かつ同じ構造を持つ第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐を含むことを例にすれば、この場合、当該残差ネットワークにおける第１の残差ネットワーク分岐を採用して第１のスライスに対して特徴抽出を行うことで、第１のスライスに対応する高レベル特徴情報及び異なるスケールの低レベル特徴情報を取得し、当該残差ネットワークにおける第２の残差ネットワーク分岐を採用して第２のスライスに対して特徴抽出を行うことで、第２のスライスに対応する高レベル特徴情報及び異なるスケールの低レベル特徴情報を取得してもよい。

【0033】

なお、高レベル（高層）特徴情報とは、当該残差ネットワークが最終的に出力した特徴マップを指し、「高レベル特徴」とは、一般的に、種別や高レベルの抽象化などに関する情報を含んでもよい。低レベル（低層）特徴情報とは、残差ネットワークが分割すべき医用画像に対して特徴抽出を行う過程で得られた特徴マップを指し、「低レベル特徴」とは、一般的に、例えばエッジやテクスチャなどの画像詳細を含んでもよい。

【0034】

例えば、当該１つの残差ネットワーク分岐（例えば、第１の残差ネットワーク分岐又は第２の残差ネットワーク分岐）に複数の直列接続された残差モジュールが含まれることを例にすれば、ここで、高レベル特徴情報とは、最後のブロック残差モジュールが出力した特徴マップを指し、低レベル特徴情報とは、一番目の残差モジュール及び最後のブロック残差モジュール以外の他の残差モジュールが出力した特徴マップを指す。

【0035】

例えば、図４を参照し、残差ネットワーク分岐ごとに、残差モジュール１（Ｂｌｏｃｋ１）、残差モジュール２（Ｂｌｏｃｋ２）、残差モジュール３（Ｂｌｏｃｋ３）、残差モジュール４（Ｂｌｏｃｋ４）及び残差モジュール５（Ｂｌｏｃｋ５）が含まれる場合、残差モジュール５が出力した特徴マップは高レベル特徴情報であり、残差モジュール２、残差モジュール３及び残差モジュール４が出力した特徴マップは低レベル特徴情報である。

【0036】

なお、第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐のネットワーク構造は、具体的に、実際の適用ニーズに応じて定められてもよく、例えば、ＲｅｓＮｅｔ－１８（残差ネットワーク）を採用してもよい。また、第１の残差ネットワーク分岐のパラメータと第２の残差ネットワーク分岐のパラメータとは共有することができ、具体的なパラメータ設定は、実際の適用ニーズに応じて定められてもよい。

【0037】

オプションとして、より多いスケールの高レベル特徴情報を得るために、得られた高レベル特徴情報に対して空間ピラミッドプーリング（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ、ＳＰＰ）処理を行ってもよい。例えば、図５を参照し、第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐のそれぞれの後に、一つの空間ピラミッドプーリングモジュール（例えば、膨張畳み込み空間ピラミッドプーリング（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ、ＡＳＰＰ）モジュール）を追加してもよい。ＡＳＰＰは拡張畳み込み（Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ）を使用したので、特徴の空間分解能を犠牲にすることなく、特徴の受信フィールドを拡張することができる。そのため、当然より多くのスケールの高レベルの特徴情報を抽出することができる。

【0038】

なお、第１の残差ネットワーク分岐に接続されるＡＳＰＰのパラメータと第２の残差ネットワーク分岐に接続されるＡＳＰＰのパラメータとは共有しなくてもよく、その具体的なパラメータは実際の適用ニーズに応じて定められてもよいので、ここで重複な説明が省略される。

【0039】

また、図５に示すように、本出願の実施例において、残差ネットワークという部分はトレーニング済み分割モデルにおける符号化モジュールと見なすことができる。

【0040】

１０３において、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割して、当該スライスの初期分割結果を取得する。

【0041】

例えば、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、トレーニング済み分割モデルにおける分割ネットワークにより当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するステップは、具体的に、以下の通りである。
即ち、スライスペアの各スライスに対して、トレーニング済み分割モデルにおける分割ネットワークにより、それぞれ当該スライスの低レベル特徴情報と高レベル特徴情報とに対して畳み込み（Ｃｏｎｖ）処理を行って、畳み込み処理された高レベル特徴情報を、畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリング（Ｕｐｓａｍｐｌｅ）した後、畳み込み処理された低レベル特徴情報と連結（Ｃｏｎｃａｔ）して、連結後特徴情報を取得し、当該連結後特徴情報に基づいて当該スライスにおけるターゲットオブジェクトに属する画素点を選別することで、スライスの初期分割結果を取得する。

【0042】

なお、当該分割ネットワークは、当該トレーニング済み分割モデルにおける復号化モジュールと見なすことができる。

【0043】

例えば、依然として当該スライスペアが第１のスライス及び第２のスライスを含むことを例にして、当該分割ネットワークに、並列で同じ構造を持つ第１の分割ネットワーク分岐（復号化モジュールＡ）及び第２の分割ネットワーク分岐（復号化モジュールＢ）を含む場合、図５に示すように、具体的には、以下の通りである。
即ち、（１）第１の分割ネットワーク分岐により第１のスライスの低レベル特徴情報と第１のスライスの高レベル特徴情報とに対してそれぞれ畳み込み処理を行い、例えば、畳み込みカーネルが「１×１」である畳み込み処理を行い、畳み込み処理された高レベル特徴情報を、畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後、畳み込み処理された低レベル特徴情報と連結することにより、第１のスライスの連結後特徴情報を取得する。そして、当該連結後特徴情報に基づいて第１のスライスにおけるターゲットオブジェクトに属する画素点を選別することで、第１のスライスの初期分割結果を取得し、例えば、具体的に、当該連結後特徴情報に対して畳み込みカーネルが「３×３」である畳み込み処理を行った後に、第１のスライスのサイズにアップサンプリングすることで、第１のスライスの初期分割結果を得ることができる。
（２）第２の分割ネットワーク分岐により第２のスライスの低レベル特徴情報と第２のスライスの高レベル特徴情報とに対してそれぞれ畳み込み処理を行って、例えば、畳み込みカーネルが「１×１」である畳み込み処理を行って、畳み込み処理された高レベル特徴情報を、畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後に、畳み込み処理された低レベル特徴情報と連結することにより、第２のスライスの連結後特徴情報を取得する。そして、当該連結後特徴情報に基づいて第２のスライスにおけるターゲットオブジェクトに属する画素点を選別することで、第２のスライスの初期分割結果を取得し、例えば、具体的に、当該連結後特徴情報に対して畳み込みカーネルが「３×３」である畳み込み処理を行った後、第２のスライスのサイズにアップサンプリングすることで、第２のスライスの初期分割結果を得ることができる。

【0044】

１０４において、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンする。

【0045】

例えば、トレーニング済み分割モデルにおけるフュージョンネットワークにより、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンしてもよい。

【0046】

なお、低レベル特徴情報と高レベル特徴情報とをフュージョンする方法は様々あり、例えば、「要素ごとに加算（Ｓｕｍ）」又はチャネルオーバーレイを採用してフュージョンしてもよい。「要素ごとに加算」を例にすると、「トレーニング済み分割モデルにおけるフュージョンネットワークにより、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンする」ステップは、以下のことを含んでもよい。

【0047】

（１）要素ごとに当該スライスペアの各スライスの低レベル特徴情報を加算することにより、フュージョン後低レベル特徴情報を取得する。
例えば、図５に示すように、スライスペアに第１のスライス及び第２のスライスが含まれることを例にすれば、要素ごとに第１のスライスの低レベル特徴情報と第２のスライスの低レベル特徴情報とを加算することにより、フュージョン後低レベル特徴情報を取得してもよい。

【0048】

（２）要素ごとに当該スライスペアの各スライスの高レベル特徴情報を加算することにより、フュージョン後高レベル特徴情報を取得する。
例えば、図５に示すように、依然としてスライスペアに第１のスライス及び第２のスライスが含まれることを例にすると、要素ごとに第１のスライスの高レベル特徴情報と第２のスライスの高レベル特徴情報とを加算することにより、フュージョン後高レベル特徴情報を取得する。

【0049】

（３）トレーニング済み分割モデルにおけるフュージョンネットワークにより、当該フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とをフュージョンすることにより、フュージョン後特徴情報を取得する。例えば、具体的に、以下のいずれか一つの方式を採用してフュージョンしてもよい。
Ａ、第一種の方式
トレーニング済み分割モデルにおけるフュージョンネットワークにより、要素ごとにフュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とを加算することにより、フュージョン後特徴情報を取得する。
オプションとして、特定のタスクにおける異なる特徴による作用が異なる重みを持つため、特徴がよく利用されて画像分割の正確性を向上するために、異なる特徴にそのあるべき重要性を効果的に付与するように、アテンションメカニズムを使用して、特徴情報によって異なる重みをネットワークに自律的に付与させて、ネットワークが特徴情報を選択的にフュージョンすることができる。
即ち、第一方式のほかに、第二方式を採用して当該フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とをフュージョンしてもよい。以下の記載を参照してもよい。
Ｂ、第二種の方式
トレーニング済み分割モデルにおけるフュージョンネットワークのチャネルアテンションモジュールにより、フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とに基づいてフュージョン後低レベル特徴情報に重みを付与することにより、重み付け後特徴情報を取得し、要素ごとに当該重み付け後処理特徴とフュージョン後低レベル特徴情報とを乗算することにより、処理後特徴情報を取得し、要素ごとに、処理後特徴情報とフュージョン後高レベル特徴情報とを加算することにより、フュージョン後特徴情報を取得する（図５参照）。

【0050】

なお、チャネルアテンションモジュールとは、チャネルドメインのアテンションメカニズムを採用したネットワークモジュールを指す。畳み込みニューラルネットワークにおいて、各画像は最初に３つのチャネル（Ｒ，Ｇ，Ｂ）で表され、異なる畳み込みカーネルを通過した後、各チャネルが新しい信号を生成し、例えば、画像特徴の各チャネルに６４カーネルの畳み込みを使用すると、６４個の新しいチャネルの行列（Ｈ，Ｗ，６４）を生成し、Ｈ及びＷがそれぞれ画像特徴の高さ及び幅を示す。各チャネルの特徴は、実際に、異なる畳み込みカーネルにおける当該画像の成分を示し、時間周波数変換と類似し、ここで、畳み込みカーネルを使用する畳み込みは信号に対してフーリエ変換を行うことに類似し、これにより、この特徴の１チャネルの情報を６４個の畳み込みカーネルにおける信号成分に分解でき、例えば、図６を参照する。いずれの信号も、６４個の畳み込みカーネルにおける信号成分に分解でき（生成した６４個のチャネルに相当する）、ただし、この新しい６４個のチャネルは、キー情報への貢献が同じではなく、多いものもあれば、少ないものもあるので、チャネルごとに１つの重みを付与して、当該チャネルとキー情報（分割タスクにとってキーポイント情報である）との関連度を表し、その重みが大きいほど、関連度が高くなるようになる。チャネルの関連度が高いほど、注意を払うべきチャネルに該当する。そのため、このようなメカニズムは「チャネルドメインのアテンションメカニズム」と呼ばれる。

【0051】

なお、当該チャネルアテンションモジュールの構成は、具体的に、実際の適用ニーズに応じて定められてもよく、例えば、図７に示すように、具体的に、トレーニング済み分割モデルにおけるフュージョンネットワークのチャネルアテンションモジュールにより、当該フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とに基づいてフュージョン後低レベル特徴情報に重みを付与することで、重み付け後特徴情報を取得し、そして要素ごとに当該重み付け後特徴情報と当該フュージョン後低レベル特徴情報とを乗算（Ｍｕｌ）することで、処理後特徴情報を取得し、次に、要素ごとに処理後特徴情報とフュージョン後高レベル特徴情報とを加算することで、フュージョン後特徴情報を取得する。

【0052】

なお、ステップ１０３及び１０４の実行は、順位付けなく、ここで重複説明を省略する。

【0053】

１０５において、フュージョン後特徴情報に基づいて、当該スライスペアの各スライス間の関連情報を確定する。

【0054】

例えば、トレーニング済み分割モデルにおけるフュージョンネットワークにより、フュージョン後特徴情報に基づいて、当該スライスペアの各スライス間の関連情報を確定してもよい。例えば、具体的に、フュージョン後特徴情報からターゲットオブジェクトに属する特徴を選別し、選別された特徴（即ち、ターゲットオブジェクトに属する特徴）に基づいて、当該スライスペアの各スライス間の関連情報を確定してもよい。

【0055】

なお、ターゲットオブジェクトとは、スライスにおいて認識される必要のあるオブジェクト、例えば、肝臓画像から分割された「肝臓」、心臓画像から分割された「心臓」などを指す。

【0056】

なお、フュージョン後特徴情報に基づいて、スライス間の関連情報を確定する形態は様々あり、例えば、以下の通りである。
（１）選別された特徴に基づいて、スライスペアの各スライスの背景領域及び前景領域を確定する。
例えば、ターゲットオブジェクトが具体的に肝臓であることを例にすると、選別された、肝臓に属する特徴の所在している領域がスライスの前景領域であり、スライスにおける残りの領域がスライスの背景領域であると確定することができる。
また、例えば、ターゲットオブジェクトが具体的に心臓であることを例にすると、選別された、心臓に属する特徴の所在している領域がスライスの前景領域であり、スライスにおける残りの領域がスライスの背景領域であると確定することができる。
（２）当該スライスペアの各スライス間の前景領域の差集合画素及び積集合画素を算出する。
例えば、具体的に、フュージョン後特徴情報の、スライスペアのいずれかのスライスの前景領域にのみ属する画素点を組み合わせることで差集合領域の画素集合（差集合画素と略称）を取得し、フュージョン後特徴情報の、スライスペアの両方のスライスの前景領域に同時に属する画素点を組み合わせることで、積集合領域の画素集合（積集合画素と略称）を取得してもよい。
なお、フュージョン後特徴情報は、「当該スライスペアにおける全てのスライスをオーバーレイ」した後、得られたオーバーレイスライスに対応する特徴情報と見なしてもよい。よって、当該オーバーレイスライスにおいて、前景領域（２つのスライスの前景領域）のオーバーレイのない領域における画素点を取得すれば、差集合画素が得れる。同様に、前景領域のオーバーレイ領域における画素点を取得すれば、積集合画素が得される。
（３）各スライスの背景領域、差集合画素及び積集合画素に基づいて当該スライス間の関連情報を生成する。

【0057】

例えば、フュージョン後特徴情報（オーバーレイスライス）の、スライスペアの両方のスライスの背景領域に同時に属する画素を当該スライスペアの背景領域としてもよい。言い換えれば、全てのスライスの背景領域の積集合部分を当該スライスペアの背景領域として、当該スライスペアの背景領域、差集合画素及び積集合画素に対して画素タイプ標識を行うことで、当該スライス間の関連情報を取得する。

【0058】

例えば、異なる画素値を採用してこれらの領域に対して画素タイプ標識を行ってもよく、例えば、スライスペアの背景領域の画素値を「０」、差集合画素の値を「１」、積集合画素の値を「２」に設定してもよく、又は、背景領域の画素値を「０」、差集合画素の値を「２」、積集合画素の値を「１」に設定してもよい。

【0059】

オプションとして、異なる色を採用してこれらの領域に対して画素タイプ標識を行ってもよく、例えば、背景領域の色を「黒」、差集合画素の色を「赤」、積集合画素の色を「緑」に設定してもよく、又は、背景領域の色を「黒」、差集合画素の色を「緑」、積集合画素の色を「赤」などに設定してもよい。

【0060】

１０６において、スライスペアの各スライス間の関連情報及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成する。

【0061】

例えば、当該スライスペアに第１のスライス及び第２のスライスが含まれることを例にすると、「スライスペアの各スライス間の関連情報及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成する」ステップは、
（１）スライスペアの各スライス間の関連情報、及び第１のスライスの初期分割結果に基づいて第２のスライスの分割結果を予測することで、第２のスライスの予測分割結果を取得するステップを含む。

【0062】

この場合、スライス間の関連情報とは、第１のスライスと第２のスライスとの間の関連情報を指すため、第１のスライスと第２のスライスとの間の差集合画素及び積集合画素などが体現される。従って、当該関連情報及び第１のスライスの初期分割結果に基づいて、第２のスライスの分割結果を予測することができる。

【0063】

例えば、第１のスライス及び第２のスライスの差集合画素がＡ領域、積集合画素がＢ領域、第１のスライスの初期分割結果がＣ領域であるとして、第２のスライスの予測分割結果が「｛（Ａ∪Ｂ）＼Ｃ｝∪Ｂ」となり、その中、「∪」とは「積集合」を指し、「＼」とは、差集合を指す。

【0064】

（２）スライスペアの各スライス間の関連情報及び第２のスライスの初期分割結果に基づいて第１のスライスの分割結果を予測することで、第１のスライスの予測分割結果を取得する。

【0065】

第２のスライスの予測分割結果と同様に、第１のスライス及び第２のスライスの差集合画素がＡ領域、積集合画素がＢ領域、第２のスライスの初期分割結果がＤ領域であるとして、第１のスライスの予測分割結果は「｛（Ａ∪Ｂ）＼Ｄ｝∪Ｂ」となる。

【0066】

（３）第１のスライスの予測分割結果に基づいて第１のスライスの初期分割結果を調整することで、第１のスライスの調整後分割結果を取得するステップは、具体的に、
第１のスライスの予測分割結果及び第１のスライスの初期分割結果に対して平均化処理を行うことで、第１のスライスの調整後分割結果を取得する。

【0067】

即ち、第１のスライスの予測分割結果における画素値と第１のスライスの初期分割結果における同一位置での画素値とを平均化し、当該画素平均値を第１のスライスの調整後分割結果における同一位置での画素値とする。

【0068】

（４）第２のスライスの予測分割結果に基づいて第２のスライスの初期分割結果を調整することで、第２のスライスの調整後分割結果を取得するステップは、具体的に、
第２のスライスの予測分割結果及び第２のスライスの初期分割結果に対して平均化処理を行うことで、第２のスライスの調整後分割結果を取得する。

【0069】

即ち、第２のスライスの予測分割結果における画素値と第２のスライスの初期分割結果における同一位置での画素値とを平均化し、当該画素平均値を第２のスライスの調整後分割結果における同一位置での画素値とする。

【0070】

（５）第１のスライスの調整後分割結果と第２のスライスの調整後分割結果とをフュージョンすることで、当該スライスペアの分割結果を取得するステップは、具体的に、
第１のスライスの調整後分割結果及び第２のスライスの調整後分割結果に対して平均化処理を行い、平均化処理された結果に対して二値化処理を行うことで、当該スライスペアの分割結果を取得する。

【0071】

即ち、第１のスライスの調整後分割結果における画素値と第２のスライスの調整後分割結果における同一位置での画素値作とを平均化し、当該画素平均値を当該スライスペアの分割結果における同一位置での画素値とする。

【0072】

なお、二値化とは、画像での画素点の階調値を０又は２５５に設定することを指し、つまり、画像全体に白黒のみ有する、顕著な視覚効果が体現するようにしている。

【0073】

前記した実施例における記載から分かるように、本出願の実施例におけるトレーニング済み分割モデルは残差ネットワークや分割ネットワーク、フュージョンネットワークなどを含んでもよい。なお、残差ネットワークは、並列にされた第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐を含んでもよく、分割ネットワークは、並列にされた第１の分割ネットワーク分岐及び第２の分割ネットワーク分岐を含んでもよい。なお、残差ネットワーク部分は、当該トレーニング済み画像分割モデルのエンコーダー（ｅｎｃｏｄｅｒ）部分と見なしてもよく、符号化モジュールと呼ばれ、特徴情報抽出を行うために用いられ、分割ネットワークは当該トレーニング済み分割モデルのデコーダー（ｄｅｃｏｄｅｒ）部分と見なしてもよく、復号化モジュールと呼ばれ、抽出された特徴情報に基づいて分類及び分割を行うために用いられる。

【0074】

オプションとして、当該トレーニング済み分割モデルは、真の値がマーキングされたスライスペアサンプルを、複数ペア、トレーニングすることで得られてもよく、具体的に、運用保守担当者により事前に設定されてもよく、画像分割装置が自律的にトレーニングすることで得られてもよい。即ち、「トレーニング済み分割モデルにおける残差ネットワークにより当該スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得する」ステップの前に、当該医用画像分割方法は、以下のステップをさらに含んでもよい。

【0075】

Ｓ１において、真の値がマーキングされたスライスペアサンプルを複数ペア採集し、当該スライスペアサンプルは、医用画像サンプルからサンプリングされた２枚のスライスサンプルを含む。

【0076】

例えば、具体的に、複数枚の医用画像を元のデータセットとして採集してもよく、例えば、データベース又はネットワークなどから当該元のデータセットを取得してから、当該元のデータセットにおける医用画像を前処理することで、予め設定された分割モデルの入力基準を満足する画像を取得すれば、医用画像サンプルを得ることができる。得られた医用画像サンプルをスライスにスライスし（本出願の実施例において、スライスサンプルと呼ばれる）、各スライスサンプルに対してターゲットオブジェクトのマーキングを行い（真の値マーキングと呼ばれる）、二つずつ１つの集合を構成すれば、真の値がマーキングされたスライスペアサンプルを複数ペア得ることができる。

【0077】

なお、前処理は、重複排除、トリミング、回転／反転などの操作を含んでもよい。例えば、予め設定された分割ネットワークの入力サイズが「１２８＊１２８＊３２（幅＊高＊深）」であることを例にすれば、元のデータセットにおける画像を「１２８＊１２８＊３２」サイズの画像にトリミングし、勿論、これらの画像に対して他の前処理操作を行ってもよい。

【0078】

Ｓ２において、予め設定された分割モデルにおける残差ネットワークにより当該スライスペアサンプルの各スライスサンプルに対して特徴抽出を行うことで、各スライスサンプルの高レベル特徴情報及び低レベル特徴情報を取得する。

【0079】

例えば、当該スライスペアサンプルに第１のスライスサンプル及び第２のスライスサンプルが含まれ、残差ネットワークは並列にされた第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐を含むことを例にすると、当該残差ネットワークにおける第１の残差ネットワーク分岐を採用して第１のスライスサンプルに対して特徴抽出を行うことで、第１のスライスサンプルに対応する異なるスケールの高レベル特徴情報、及び異なるスケールの低レベル特徴情報を取得し、当該残差ネットワークにおける第２の残差ネットワーク分岐を採用して第２のスライスサンプルに対して特徴抽出を行うことで、第２のスライスサンプルに対応する異なるスケールの高レベル特徴情報及び異なるスケールの低レベル特徴情報を取得してもよい。

【0080】

Ｓ３において、スライスペアサンプルの各スライスサンプルに対して、当該スライスサンプルの低レベル特徴情報及び高レベル特徴情報に基づいて、予め設定された分割モデルにおける分割ネットワークにより当該スライスサンプルにおけるターゲットオブジェクトを分割することで、当該スライスサンプルの予測分割値（即ち、予測された確率図）を取得する。

【0081】

例えば、当該スライスペアサンプルに第１のスライスサンプル及び第２のスライスサンプルが含まれることを例にすれば、残差ネットワークが並列にされた第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐を含む場合、以下の操作を実行してもよい。
Ａ、第１の分割ネットワーク分岐により第１のスライスの低レベル特徴情報と第１のスライスの高レベル特徴情報とに対してそれぞれ畳み込み処理を行い、例えば、畳み込みカーネルが「１×１」である畳み込み処理を行って、畳み込み処理された高レベル特徴情報を、畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後、畳み込み処理された低レベル特徴情報と連結することにより、第１のスライスの連結後特徴情報を取得し、その後、当該連結後特徴情報に基づいて第１のスライスにおけるターゲットオブジェクトに属する画素点を選別することで、第１のスライスの初期分割値を取得し、例えば、具体的に、当該連結後特徴情報に対して畳み込みカーネルが「３×３」である畳み込み処理を行った後、第１のスライスのサイズにアップサンプリングすることで、第１のスライスの初期分割結果を得ることができる。
Ｂ、第２の分割ネットワーク分岐により第２のスライスの低レベル特徴情報と第２のスライスの高レベル特徴情報とに対してそれぞれ畳み込み処理を行い、例えば、畳み込みカーネルが「１×１」である畳み込み処理を行って、畳み込み処理された高レベル特徴情報を、畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後、畳み込み処理された低レベル特徴情報と連結することにより、第２のスライスの連結後特徴情報を取得し、その後、当該連結後特徴情報に基づいて第２のスライスにおけるターゲットオブジェクトに属する画素点を選別することで、第２のスライスの初期分割値を取得し、例えば、具体的に、当該連結後特徴情報に対して畳み込みカーネルが「３×３」である畳み込み処理を行った後、第２のスライスのサイズにアップサンプリングすることで、第２のスライスの初期分割結果を得ることができる。

【0082】

Ｓ４において、予め設定された分割モデルにおけるフュージョンネットワークにより、スライスペアサンプルの各スライスサンプルの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて当該スライスペアサンプルの各スライスサンプル間の関連情報を予測する。

【0083】

例えば、要素ごとに当該スライスペアサンプルの各スライスサンプルの低レベル特徴情報を加算することで、フュージョン後低レベル特徴情報を取得し、要素ごとに当該スライスペアサンプルの各スライスサンプルの高レベル特徴情報を加算して、フュージョン後高レベル特徴情報を取得し、その後、予め設定された分割モデルにおけるフュージョンネットワークにより、当該フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とをフュージョンすることで、フュージョン後特徴情報を取得し、ひいては、フュージョン後特徴情報からターゲットオブジェクトに属する特徴を選別し、選別された特徴に基づいて、当該スライスペアサンプルの各スライスサンプル間の関連情報を確定することができる。

【0084】

なお、当該フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とをフュージョンする方式は、具体的に、前述した実施例を参照すればよいが、また、計算スライスペアサンプルの各スライスサンプル間の関連情報を算出する方式は、スライスペアの各スライス間の関連情報を算出する方式と同様であり、詳細について前述した実施例を参照することができ、ここで重複説明が省略される。

【0085】

Ｓ５において、当該真の値、スライスペアサンプルの各スライスサンプルの予測分割値及び予測された関連情報に基づいて、当該予め設定された分割モデルを収束させることで、トレーニング済み分割モデルを取得する。

【0086】

例えば、具体的に、損失関数、例えば、Ｄｉｃｅ損失関数により、当該真の値、予測分割値及び予測された関連情報に基づいて、当該予め設定された分割モデルを収束させることで、トレーニング済み分割モデルを取得してもよい。

【0087】

なお、当該損失関数は、具体的に、実際適用のニーズに応じて設定されてもよく、例えば、スライスペアサンプルに第１のスライスサンプルｘ^ｉ及び第２のスライスサンプルｘ^ｊが含まれることを例にすると、第１のスライスサンプルｘ^ｉのマーキングされた真の値がｙ^ｉ、第２のスライスサンプルｘ^ｊのマーキングされたの真の値がｙ^ｊであるとして、第１の分割ネットワーク分岐のＤｉｃｅ損失関数は、以下の通りである。

【数1】

第２の分割ネットワーク分岐のＤｉｃｅ損失関数は以下の通りである。

【数2】

ただし、ｐ^ｉ及びｐ^ｊはそれぞれ第１の分割ネットワーク分岐及び第２の分割ネットワーク分岐の予測分割値であり、ｓ及びｔはそれぞれスライスにおける行及び列の位置インデックスであり、

は第１のスライスサンプルにおける位置インデックスが（ｓ，ｔ）である画素点のマーキングされた真の値を示し、

は第１のスライスサンプルにおける位置インデックスが（ｓ，ｔ）である画素点の予測分割値を示し、

は第２のスライスサンプルにおける位置インデックスが（ｓ，ｔ）である画素点のマーキングされた真の値を示し、

は第２のスライスサンプルにおける位置インデックスが（ｓ，ｔ）である画素点の予測分割値を示す。

【0088】

フュージョンネットワークの出力したスライス間の関連情報に背景領域、積集合画素及び差集合画素の三つの関係タイプが含まれることを例にすると、前記二つのＤｉｃｅ損失関数に基づいて、当該フュージョンネットワークのＤｉｃｅ損失関数を

【数3】

として算出できる。
ただし、ｙ^ｉｊは当該第１のスライスサンプルｘ^ｉと第２のスライスサンプルｘ^ｊとの間の関連関係の真の値であり、当該関連関係の真の値は、第１のスライスサンプルｘ^ｉのマーキングされた真の値及び第２のスライスサンプルｘ^ｊのマーキングされた真の値に基づいて算出してもよい。例えば、第１のスライスサンプルｘ^ｉと第２のスライスサンプルｘ^ｊとがオーバーレイした画像の背景領域、及び第１のスライスサンプルｘ^ｉのマーキングされた真の値及び第２のスライスサンプルｘ^ｊのマーキングされた真の値との間の差集合及び積集合を確定してもよく、ここで得られた背景領域、差集合及び積集合は、第１のスライスサンプルｘ^ｉと第２のスライスサンプルｘ^ｊとがオーバーレイした「背景領域、差集合画素及び積集合画素」の真の値であって、本出願の実施例で言及された関連関係の真の値である。

【0089】

ｐ^ｉｊはフュージョンネットワークの出力した第１のスライスサンプルｘ^ｉと第２のスライスサンプルｘ^ｊとの間の関連関係であり、ｓ及びｔはそれぞれスライスにおける行及び列の位置インデックスであり、

はオーバーレイされたスライスサンプルにおける位置インデックスが（ｓ，ｔ）であるオーバーレイ画素点間の関連関係の真の値を示し、

はオーバーレイされたスライスサンプルにおける位置インデックスが（ｓ，ｔ）であるオーバーレイ画素点間の関連関係の予測値（即ち、フュージョンネットワークが出力した関連関係）を示し、ｌは上記の３つの関係タイプ（即ち、背景領域、積集合画素及び差集合画素）の種別インデックスである。

【0090】

第１の分割ネットワーク分岐のＤｉｃｅ損失関数、第２の分割ネットワーク分岐のＤｉｃｅ損失関数及びフュージョンネットワークのＤｉｃｅ損失関数に基づいて、当該画像分割モデル全体損失関数Ｌ（ｙ^ｉ，ｐ^ｉ，ｙ^ｊ，ｐ^ｊ，ｙ^ｉｊ，ｐ^ｉｊ；θ）を、

【数4】

として算出できる。
ただし、λ_１、λ_２及びλ_３は手動で設定されたハイパーパラメータであり、各部分損失の全体損失への貢献をバランスさせるために用いられる。

【0091】

このように、本実施例では、スライスペアを取得した後、異なる受容野を採用して当該スライスペアの各スライスに対してそれぞれ特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得してもよい。その後、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得する一方、スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定し、最終的にスライスペアの各スライス間の関連情報、及びスライスペアの各スライスの初期分割結果に基づいて当該スライスペアの分割結果を生成することができる。本出願の実施例にかかる方法は、３Ｄ医用画像のスライス間に関連性があることを加味したので、２枚のスライス（スライスペア）を同時に分割し、スライス間の関連関係により分割結果をさらに調整するので、ターゲットオブジェクト（例えば、肝臓）の形状情報をより正確に捕らえることができ、分割の精度がより向上される。

【0092】

以上の実施例で記載された方法によれば、以下例を挙げてより詳細に説明する。

【0093】

本実施例において、当該画像分割装置が電子機器に統合され且つターゲットオブジェクトが肝臓であることを例にして説明する。

【0094】

（一）画像分割モデルのトレーニング
図５及び図８に示すように、当該画像分割モデルは残差ネットワーク、分割ネットワーク及びフュージョンネットワークを含んでもよい。なお、残差ネットワークは並列で同じ構造を持つ２つの残差ネットワーク分岐、即ち、第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐を含んでもよい。オプションとして、各残差ネットワーク分岐の後に一つのＡＳＰＰ（膨張畳み込み空間ピラミッドプーリング）モジュールが接続されてもよく、当該残差ネットワークは、当該画像分割モデルの符号化モジュールとして、入力画像、例えば、スライスペアのスライス又はスライスペアサンプルのスライスサンプルに対して特徴情報抽出を行うために用いられてもよい。

【0095】

同様に、分割ネットワークは、並列で同じ構造を持つ２つの分割ネットワーク分岐、即ち、第１の分割ネットワーク分岐及び第２の分割ネットワーク分岐を含んでもよく、当該分割ネットワークは、画像分割モデルの復号化モジュールとして、符号化モジュールにより抽出された特徴情報に基づいてターゲットオブジェクト、例えば、肝臓の分割を行うために用いられる。

【0096】

一方、フュージョンネットワークは、符号化モジュールにより抽出された特徴情報に基づいてスライスペアの各スライス（又はスライスペアサンプルの各スライスサンプル）間の関連関係を予測するために用いられる。当該画像分割モデルの構成に基づいて、以下にそのトレーニング方式について詳細に説明する。

【0097】

まず、電子機器は、肝臓構造を含む複数枚の３Ｄ医用画像を採集してもよく、例えば、データベース又はネットワークなどから肝臓構造を含む複数枚の３Ｄ医用画像を取得し、そしてこれらの３Ｄ医用画像に対して前処理（例えば、重複排除、トリミング、回転及び／又は反転などの操作）を行うことで、当該予め設定された分割モデルの入力基準を満足する画像を医用画像サンプルとして取得する。そして、医用画像サンプルをｚ軸（３Ｄ座標軸が｛ｘ，ｙ，ｚ｝）方向に沿って、一定の時間間隔でサンプリングして、複数のスライスサンプルを取得する。その後、各スライスサンプルに肝臓領域などの情報をマーキングし、二つずつで１つの集合を構成することにより、真の値がマーキングされた複数ペアのスライスペアサンプルを得るようになる。

【0098】

なお、スライスサンプルをスライスペアサンプルに形成する場合、例えば、スライスサンプル１とスライスサンプル２とをスライスペアサンプル１に形成し、そしてスライスサンプル１とスライスサンプル３とをスライスペアサンプル２に形成するように、様々な組み合わせ方式を採用することができる。このように、異なる組み合わせ方式により、限られたスライスサンプルを利用して拡張してより多くのトレーニングデータ（即ち、データ拡張）を得ることができ、少量の手動マーキングデータを使用しても当該画像分割モデルのトレーニングを完了することができる。

【0099】

次に、真の値がマーキングされた複数のペアのスライスペアサンプルを取得した後、電子機器は、スライスペアサンプルを予め設定された画像分割モデルに入力し、残差ネットワークによりスライスペアサンプルに対して特徴抽出を行ってもよく、例えば、具体的に、第１の残差ネットワーク分岐により当該スライスペアサンプルの第１のスライスサンプルに対して特徴抽出を行うことで、第１のスライスサンプルに対応する異なるスケールの高レベル特徴情報及び異なるスケールの低レベル特徴情報を取得し、第２の残差ネットワーク分岐により当該スライスペアサンプルの第２のスライスサンプルに対して特徴抽出を行うことで、第２のスライスサンプルに対応する異なるスケールの高レベル特徴情報及び異なるスケールの低レベル特徴情報を取得してもよい。

【0100】

オプションとして、ＡＳＰＰを利用して第１のスライスサンプルに対応する高レベル特徴情報及び第２のスライスサンプルに対応する高レベル特徴情報をさらに処理することで、より多くの異なるスケールの高レベル特徴情報を取得してもよい（図８を参照）。

【0101】

また、第１のスライスサンプルに対応する高レベル特徴情報及び低レベル特徴情報、並びに第２のスライスサンプルに対応する高レベル特徴情報及び低レベル特徴情報を取得した後、電子機器は、これらの高レベル特徴情報及び低レベル特徴情報に基づいて、第１の分割ネットワーク分岐及び第２の分割ネットワーク分岐をそれぞれ利用して第１のスライスサンプル及び第２のスライスサンプルに対して肝臓の分割を行うことで、第１のスライスサンプルの予測分割値及び第２のスライスサンプルの予測分割値を取得することができる一方、フュージョンネットワークにより、第１のスライスサンプル及び第２のスライスサンプルの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、第１のスライスサンプルと第２のスライスサンプルとの間の関連情報を予測してもよく、例えば、以下の通りである。

【0102】

図８を参照し、要素ごとに第１のスライスサンプルの低レベル特徴情報と第２のスライスサンプルの低レベル特徴情報とを加算して、フュージョン後低レベル特徴情報を取得し、要素ごとに第１のスライスサンプルの高レベル特徴情報と第２のスライスサンプルの高レベル特徴情報とを加算して、フュージョン後高レベル特徴情報を取得してよい。そして、チャネルアテンションモジュールにより当該フュージョン後低レベル特徴情報及びフュージョン後高レベル特徴情報に基づいて、フュージョン後低レベル特徴情報に重みを付与することで、重み付けされた特徴情報を取得し、ひいては、要素ごとに当該重み付けされた特徴情報と当該フュージョン後低レベル特徴情報とを乗算（Ｍｕｌ）して、処理後特徴情報を取得し、要素ごとに当該処理後特徴情報とフュージョン後高レベル特徴情報を加算して、フュージョン後特徴情報が得られる。その後、フュージョン後特徴情報から肝臓に属する特徴を選別し、選別された肝臓に属する特徴に基づいて、第１のスライスサンプルと第２のスライスサンプルとの間の関連情報を予測してもよく、例えば、第１のスライスサンプル及び第２のスライスサンプルの背景領域、第１のスライスサンプルと第２のスライスサンプルとの間の積集合画素及び差集合画素などを予測してもよい。

【0103】

最後、スライスペアサンプルのマーキングされたの真の値、スライスペアサンプルの各スライスサンプルの予測分割値及び予測された関連情報を利用して、当該予め設定された画像分割モデルを収束させることで、トレーニング済み画像分割モデルが得られる。

【0104】

なお、スライスペアサンプルのマーキングされた真の値は、第１のスライスサンプルのマーキングされた肝臓領域、及び第２のスライスサンプルのマーキングされた肝臓領域を含む。第１のスライスサンプルのマーキングされた肝臓領域及び第２のスライスサンプルのマーキングされた肝臓領域により、第１のスライスサンプルと第２のスライスサンプルとの間の実際の関連関係をさらに確定することができ、第１のスライスサンプルと第２のスライスサンプルとからなるスライスペアサンプルの背景領域、第１のスライスサンプルと第２のスライスサンプルとの間の実の差集合画素、及び第１のスライスサンプルと第２のスライスサンプルとの間の実の積集合画素などを含む。

【0105】

また、第１のスライスサンプルと第２のスライスサンプルとからなるスライスペアサンプルの実の背景領域は、第１のスライスサンプルと第２のスライスサンプルとをオーバーレイした後、第１のスライスサンプルの背景領域と第２のスライスサンプルの背景領域との積集合部分を取得することで得られてもよい。第１のスライスサンプルと第２のスライスサンプルとの間の実の差集合画素、及び第１のスライスサンプルと第２のスライスサンプルとの間の実の積集合画素は、第１のスライスサンプルのマーキングされた肝臓領域と第２のスライスサンプルのマーキングされた肝臓領域との差集合を算出し、第１のスライスサンプルのマーキングされた肝臓領域と第２のスライスサンプルのマーキングされた肝臓領域との間の積集合を算出することで得られてもよい。

【0106】

オプションとして、第１のスライスサンプルと第２のスライスサンプルとの間の実の関連関係を迅速かつ容易に認識するために、第１のスライスサンプルのマーキングされた肝臓領域と第２のスライスサンプルのマーキングされた肝臓領域とがオーバーレイした図において、異なるタイプの領域に異なる色又は画素値を標識してもよい。例えば、図９及び図１０を参照し、スライスペアサンプルの背景領域の色を黒に、積集合画素の色を赤に（図９及び図１０に白）、積集合画素の色を緑（図９及び図１０にグレー）に標識してもよく、スライスペアサンプルの背景領域の画素値を０、積集合画素の画素値を１、積集合画素の画素値を２に設定してもよい。

【0107】

なお、図９及び図１０の中央の画像は第１のスライスサンプルのマーキングされた肝臓領域と第２のスライスサンプルのマーキングされた肝臓領域とがオーバーレイした図である。また、図９における第１のスライスサンプル及び第２のスライスサンプルは異なるＣＴ画像からサンプリングしたものであり、図１０における第１のスライスサンプル及び第２のスライスサンプルは同一のＣＴ画像からサンプリングしたものである。

【0108】

具体的に収束させる際、Ｄｉｃｅ損失関数により収束させ、当該Ｄｉｃｅ損失関数Ｌ（ｙ^ｉ，ｐ^ｉ，ｙ^ｊ，ｐ^ｊ，ｙ^ｉｊ，ｐ^ｉｊ；θ）は、具体的に、

【数5】

であってもよい。
ただし、λ_１、λ_２及びλ_３は、手動で設定されたハイパーパラメータであり、各部分損失の全体損失への貢献をバランスさせるために用いられる。Ｌ_１（ｙ^ｉ，ｐ^ｉ）、Ｌ_２（ｙ^ｉ，ｐ^ｉ）、及び（ｙ^ｉｊ，ｐ^ｉｊ）は、具体的に、前述した実施例を参照すればよく、ここで重複説明が省略される。

【0109】

当該Ｄｉｃｅ損失関数を採用して、当該予め設定された画像分割モデルを収束させると、１回のトレーニングが完了する。このように、複数回のトレーニングを行うと、トレーニング済み画像分割モデルを得ることができる。

【0110】

トレーニングしているプロセスに、スライスサンプルの「肝臓」の実のマーキングを利用して分割予測値を検証する以外に、スライスサンプル間の関連関係の真の値を利用して二つの分割予測値の間の関係（即ち、予測された関連関係）を検証することもできる。よって、「監督」の役割を奏し得る。つまり、当該トレーニング済み画像分割モデルの分割の正確性をさらに向上することができる。

【0111】

なお、当該画像分割モデルにおける「スライスサンプル間の関連関係を確定するための」部分は、トレーニング中に、スライスサンプル自体によるターゲットオブジェクトのマーキング情報を除く情報（即ち、スライスサンプル間の関連関係）を利用して当該画像分割モデルをトレーニングして、形状の事前知識（Ｐｒｉｏｒ ｋｎｏｗｌｅｄｇｅ、機械学習アルゴリズムによって利用される知識を指す）を学習することができるので、当該「スライスサンプル間の関連関係を確定するための」部分は代理監督（Ｐｒｏｘｙ ｓｕｐｅｒｖｉｓｉｏｎ）部分と呼ばれることがあり、ここで重複説明が省略される。

【0112】

（二）当該トレーニング済み画像分割モデルにより、分割すべき医用画像を分割してもよい。
なお、当該トレーニング済み画像分割モデルは、残差ネットワーク、分割ネットワーク及びフュージョンネットワークを含み、残差ネットワークは第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐を含んでもよく、分割ネットワークは第１の分割ネットワーク分岐及び第２の分割ネットワーク分岐を含んでもよい。

【0113】

図１１に示すように、医用画像分割方法は、具体的な流れが以下の通りである。

【0114】

２０１において、電子機器が分割すべき医用画像を取得する。

【0115】

例えば、電子機器が、各医用画像収集装置、例えば、ＭＲＩやＣＴ等のように、人体肝臓部位に対して画像採集を行った後に送信した医用画像を受信し、これらの医用画像を分割すべき医用画像としてもよい。

【0116】

オプションとして、受信した医用画像に対して前処理、例えば、重複排除、トリミング、回転及び／又は反転などの操作を行ってもよい。

【0117】

２０２において、電子機器が、分割すべき医用画像から２枚のスライスをサンプリングして、現在分割すべきスライスペアを取得する。

【0118】

例えば、電子機器が、ｚ軸方向に沿って、一定の時間間隔で２枚のスライスを連続的にサンプリングして、スライスペアを構成したり、ｚ軸方向に沿って、一定の時間間隔で２枚のスライスをランダムにサンプリングして、スライスペアを構成したりしてもよい。

【0119】

オプションとして、充分な受容野を提供するために、スライスをサンプリングする際、重複部分を有するパッチワイズ（ｐａｔｃｈ－ｗｉｓｅ）を単位としてサンプリングしてもよい。

【0120】

なお、パッチワイズ（ｐａｔｃｈ－ｗｉｓｅ）は、画像の基本単位であり、画像の基本単位は、様々あり、ｐａｔｃｈ－ｗｉｓｅのほかに、ｐｉｘｅｌ－ｗｉｓｅ、ｉｍａｇｅ－ｗｉｓｅなどであってもよく、ｐｉｘｅｌ－ｗｉｓｅは画素レベルであり、即ち、通常いわゆる「画素」であり，ｉｍａｇｅ－ｗｉｓｅは画像レベル（つまり、１枚の画像を単位とする）であり、ｐａｔｃｈ－ｗｉｓｅとは、画素レベルと画像レベルとの間のものを指し、各ｐａｔｃｈは複数の画素からなる。

【0121】

例えば、図１２に示すように、スライスをサンプリングする際、パッチワイズ（ｐａｔｃｈ－ｗｉｓｅ）を単位として、一つずつサンプリングしてもよく、なお、現在サンプリングされているパッチワイズはその直前パッチワイズに対して部分的な重複領域があり、例えば、パッチワイズ２はパッチワイズ１に対して重複領域があり、パッチワイズ３はパッチワイズ２に対して重複領域がある。なお、重複領域のサイズは、実際適用のニーズに応じて設定されてもよい。

【0122】

また、なお、スライスペアからサンプリングした２枚のスライスが重複しなくてもよく、一部が重複してもよく、全部が重複してもよい（即ち、同一のスライスである）。当該トレーニング済み画像分割モデルにおいて、異なる分岐における同一ネットワーク構成のパラメータが異なる可能性があり（例えば、異なる分岐におけるＡＳＰＰのパラメータが共有されない）ため、同じ入力に対しても、異なる分岐により出力された初期分割結果が異なる可能性がある。従って、入力された２枚のスライスは同じであっても、その意味があると理解されたい。

【0123】

２０３において、電子機器は、トレーニング済み画像分割モデルにおける残差ネットワークにより当該スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得する。

【0124】

例えば、図８に示すように、当該スライスペアが第１のスライス及び第２のスライスを含むことを例にすると、ステップ２０３は、具体的に、以下の通りである。
電子機器は、当該残差ネットワークにおける第１の残差ネットワーク分岐、例えば、ＲｅｓＮｅｔ－１８を採用して、第１のスライスに対して特徴抽出を行うことで、第１のスライスに対応する高レベル特徴情報、及び異なるスケールの低レベル特徴情報を取得し、そして、ＡＳＰＰを採用して第１のスライスに対応する高レベル特徴情報を処理することで、第１のスライスに対応する複数のスケールの高レベル特徴情報を取得する。

【0125】

また、電子機器は、当該残差ネットワークにおける第２の残差ネットワーク分岐、例えば、別のＲｅｓＮｅｔ－１８を採用して、第２のスライスに対して特徴抽出を行うことで、第２のスライスに対応する高レベル特徴情報、及び異なるスケールの低レベル特徴情報を取得し、そして別のＡＳＰＰを採用して第２のスライスに対応する高レベル特徴情報を処理することで、第２のスライスに対応する複数のスケールの高レベル特徴情報を取得する。

【0126】

なお、第１の残差ネットワーク分岐のパラメータと第２の残差ネットワーク分岐のパラメータとは共有（ｓｈａｒｅ）されてもよいが、二つの分岐が接続されたＡＳＰＰのパラメータは共有されなくてもよく、その具体的なパラメータは、実際の適用ニーズに応じて定められてもよいが、ここで重複説明が省略される。

【0127】

２０４において、電子機器は、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、トレーニング済み画像分割モデルにおける分割ネットワークにより当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得する。

【0128】

例えば、依然として、当該スライスペアが第１のスライス及び第２のスライスを含むことを例にすると、図８に示すように、ステップ２０４は、具体的に、以下の通りである。

【0129】

即ち、電子機器は、第１の分割ネットワーク分岐により第１のスライスの低レベル特徴情報及び高レベル特徴情報に対して畳み込みカーネルが「１×１」である畳み込み処理を行い、畳み込み処理された高レベル特徴情報を畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後、畳み込み処理された低レベル特徴情報と連結することで、第１のスライスの連結後特徴情報を取得し、そして当該連結後特徴情報に対して畳み込みカーネルが「３×３」である畳み込み処理を行い、畳み込み処理された連結後特徴情報を、第１のスライスのサイズにアップサンプリングすることにより、第１のスライスの初期分割結果を得ることができる。

【0130】

同様に、別の分岐も同じ操作を実行してもよい。即ち、電子機器は、第２の分割ネットワーク分岐により、第２のスライスの低レベル特徴情報及び第２のスライスの高レベル特徴情報に対して畳み込みカーネルが「１×１」である畳み込み処理を行い、畳み込み処理された高レベル特徴情報を畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後、畳み込み処理された低レベル特徴情報と連結し、第２のスライスの連結後特徴情報を取得し、そして当該連結後特徴情報に対して畳み込みカーネルが「３×３」である畳み込み処理を行い、畳み込み処理された連結後特徴情報を第２のスライスのサイズにアップサンプリングすることにより、第２のスライスの初期分割結果を得ることができる。

【0131】

２０５において、電子機器は、トレーニング済み画像分割モデルにおけるフュージョンネットワークにより、スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンする。例えば、図８に示すように、具体的に、以下の通りである。

【0132】

即ち、要素ごとに第１のスライスの低レベル特徴情報と第２のスライスの低レベル特徴情報とを加算して、フュージョン後低レベル特徴情報を取得する一方、要素ごとに第１のスライスの高レベル特徴情報と第２のスライスの高レベル特徴情報とを加算して、フュージョン後高レベル特徴情報を取得し、そしてトレーニング済み分割モデルにおけるフュージョンネットワークのチャネルアテンションモジュールによりフュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とを処理して、処理後特徴情報を取得し、ひいては、要素ごとに処理後特徴情報とフュージョン後高レベル特徴情報とを加算することにより、フュージョン後特徴情報を得ることができる。

【0133】

なお、ステップ２０４及び２０５の実行は順位付けされない。

【0134】

２０６において、電子機器は、トレーニング済み画像分割モデルにおけるフュージョンネットワークにより、フュージョン後特徴情報に基づいて、当該スライスペアの各スライス間の関連情報を確定する。

【0135】

例えば、電子機器は、具体的に、フュージョン後特徴情報から、肝臓領域に属する特徴を選別し、選別された特徴に基づいて、第１のスライスの前景領域（即ち、肝臓が所在している領域）、及び第２のスライスの前景領域（即ち、肝臓が所在している領域）をそれぞれ確定し、第１のスライスにおける、二つのスライスの前景領域の積集合を除いた領域をスライスペアの背景領域とし、そしてフュージョン後特徴情報における、２枚のスライスのいずれかのスライスの前景領域にのみ属する画素を当該スライスペアの差集合画素とし、フュージョン後特徴情報における、２枚のスライスに同時に属する画素を積集合画素とし、その後、当該スライスペアの背景領域、差集合画素及び積集合画素に対して画素タイプ標識を行って、例えば、異なる画素値を採用してこれらの領域を標識したり、異なる色を採用してこれらの領域を標識したりすることにより、第１のスライスと第２のスライスの関連情報を得ることができる。

【0136】

オプションとして、当該フュージョン後特徴情報に基づいて、当該スライスペアの各スライス間の関連情報を確定する操作は、様々なネットワーク構成により実現されてもよく、例えば、図８に示すように、具体的に、畳み込みカーネルが３×３である畳み込み層を採用して当該フュージョン後特徴情報に対してそれぞれ畳み込み処理を行い、次に、畳み込み処理されたフュージョン後特徴情報を、入力されたスライス（第１のスライス及び第２のスライス）と同じサイズにアップサンプリングすることにより、第１のスライス及び第２のスライス間の関連情報、例えば、当該スライスペアの背景領域、第１のスライスと第２のスライスの積集合画素、及び第１のスライスと第２のスライスの差集合画素などを得ることができる。

【0137】

２０７において、電子機器は、スライスペアの各スライス間の関連情報、及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成する。

【0138】

例えば、また、スライスペアが第１のスライス及び第２のスライスを含むことを例にすれば、スライス間の関連情報及び第１のスライスの初期分割結果に基づいて第２のスライスの分割結果を予測することで、第２のスライスの予測分割結果を取得し、スライス間の関連情報及び第２のスライスの初期分割結果に基づいて第１のスライスの分割結果を予測することで、第１のスライスの予測分割結果を取得し、次に、第１のスライスの予測分割結果及び第１のスライスの初期分割結果に対して平均化処理を行って、第１のスライスの調整後分割結果を取得し、第２のスライスの予測分割結果及び第２のスライスの初期分割結果に対して平均化処理を行って、第２のスライスの調整後分割結果を取得し、さらに、第１のスライスの調整後分割結果と第２のスライスの調整後分割結果とをフュージョンし、例えば、平均化処理を行い、平均化処理された結果に対して二値化処理を行うことで、当該スライスペアの分割結果を得ることができる。

【0139】

その後、電子機器は、ステップ２０２に返って実行し、分割すべき医用画像から他の２枚のスライスを、現在分割すべきスライスペアとしてサンプリングし、ステップ２０３～２０７に従って処理し、それに対応する分割結果を取得し、同様に、当該分割すべき医用画像における全てのスライスペアの分割結果を取得した後、これらのスライスペアの分割結果をスライスの順に従って組み合わせて、当該分割すべき医用画像の分割結果（即ち、３Ｄの分割結果）を得ることができる。

【0140】

以上から分かるように、本実施例では、予めスライスペアサンプル、及びスライスペアサンプルのスライスサンプル間の関連関係（事前知識などの情報）を利用して一つの画像分割モデルをトレーニングし、次に、分割すべき医用画像を取得した後、当該画像分割モデルにより、異なる受容野を採用して当該分割すべき医用画像のスライスペアに対して特徴抽出を行うことで、スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得し、そしてスライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、スライスにおける肝臓領域を分割することで、当該スライスの初期分割結果を取得する一方、スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、各スライス間の関連情報を確定し、その後、得られた関連情報を利用してスライスペアの各スライスの初期分割結果を調整することで、最終的に、必要とされる分割結果を取得することができ、トレーニングしている際、単一のスライスにおけるマーキング情報を考慮することに加えて、他の事前知識、例えば、スライス間の関連関係などの情報も学習データの一つとして、スライス分割の正確性を監督するため、当該画像分割モデル分割の精度を向上させることができ、また、フュージョンネットワークの導入により、トレーニングサンプルが少ない場合、トレーニングサンプルにおける分割オブジェクトの形状変化によって引き起こされるモデルの過剰フッティングの発生を回避することもできる。

【0141】

また、当該トレーニング済み画像分割モデルを使用する場合、３Ｄ医用画像のスライス間に関連性があることを考慮して、トレーニング済み画像分割モデルにより２枚のスライス（スライスペア）を同時に分割し、スライス間の関連関係により分割結果をさらに調整するので、ターゲットオブジェクト（例えば、肝臓）の形状情報をより正確に捕らえ、その分割の精度をより高くすることができる。

【0142】

以上の方法をよく実施するために、本出願の実施例は、さらに、医用画像分割装置を提供し、当該医用画像分割装置は電子機器、例えば、サーバーや端末などの装置に統合されてもよく、当該端末は、タブレットコンピュータ、ノートコンピュータ、パーソナルコンピュータ、医用画像収集装置、又は他の電子医療機器などを含んでもよい。

【0143】

例えば、図１３に示すように、当該医用画像分割装置は、取得ユニット３０１、抽出ユニット３０２、分割ユニット３０３、フュージョンユニット３０４、確定ユニット３０５及び生成ユニット３０６などを含んでもよい。

【0144】

（１）取得ユニット３０１
取得ユニット３０１は、分割すべき医用画像からサンプリングされた２枚のスライスを含むスライスペアを取得するために用いられる。

【0145】

例えば、取得ユニット３０１は、具体的に、分割すべき医用画像を取得し、当該分割すべき医用画像から２枚のスライスをサンプリングし、スライスペアを構成するために用いられてもよい。

【0146】

なお、当該分割すべき医用画像は、各医用画像収集装置、例えば、ＭＲＩやＣＴなどにより生体組織、例えば、心臓や肝臓などに対して画像採集を行った後、当該取得ユニット３０１に供給されてもよい。

【0147】

（２）抽出ユニット３０２
抽出ユニット３０２は、異なる受容野を採用して、当該スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得するために用いられる。

【0148】

なお、異なる受容野を採用して当該スライスに対して特徴抽出を行う方式は様々あり、例えば、残差ネットワークで実現されてもよい。即ち、
当該抽出ユニット３０２は、具体的に、トレーニング済み分割モデルにおける残差ネットワークにより当該スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得するために用いられてもよい。

【0149】

例えば、当該スライスペアが第１のスライス及び第２のスライスを含み、残差ネットワークが並列で同じ構造を持つ第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐を含むことを例にすると、抽出ユニット３０２は、当該残差ネットワークにおける第１の残差ネットワーク分岐を採用して第１のスライスに対して特徴抽出を行うことで、第１のスライスに対応する異なるスケールの高レベル特徴情報及び異なるスケールの低レベル特徴情報を取得し、当該残差ネットワークにおける第２の残差ネットワーク分岐を採用して第２のスライスに対して特徴抽出を行うことで、第２のスライスに対応する異なるスケールの高レベル特徴情報及び異なるスケールの低レベル特徴情報を取得してもよい。

【0150】

なお、第１の残差ネットワーク分岐及び第２の残差ネットワーク分岐のネットワーク構成は、具体的に実際の適用ニーズに基づいて定められてもよく、例えば、ＲｅｓＮｅｔ－１８を採用してもよく、また、第１の残差ネットワーク分岐のパラメータと第２の残差ネットワーク分岐のパラメータとは共有してもよく、具体的なパラメータ設置は、実際の適用ニーズに基づいて定められてもよい。

【0151】

オプションとして、より多くのスケールの高レベル特徴情報を得るために、得られた高レベル特徴情報に対して空間ピラミッドプーリング、例えば、ＡＳＰＰ処理を行うこともでき、詳細は、前記した方法実施例を参照すればよいので、ここで重複説明が省略される。

【0152】

（３）分割ユニット３０３
分割ユニット３０３は、スライスペアの各スライスについて、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するために用いられる。

【0153】

例えば、当該分割ユニット３０３は、具体的に、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、トレーニング済み分割モデルにおける分割ネットワークにより当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するために用いられてもよく、例えば、具体的に、以下の通りである。

【0154】

スライスペアの各スライスに対して、トレーニング済み分割モデルにおける分割ネットワークにより当該スライスの低レベル特徴情報及び高レベル特徴情報に対してそれぞれ畳み込み処理を行って、畳み込み処理された高レベル特徴情報を畳み込み処理された低レベル特徴情報と同じサイズにアップサンプリングした後、畳み込み処理された低レベル特徴情報と連結することで、連結後特徴情報を取得し、当該連結後特徴情報に基づいて当該スライスにおけるターゲットオブジェクトに属する画素点を選別することで、当該スライスの初期分割結果を取得し、詳細は、前記した方法実施例を参照すればよいので、ここで重複説明が省略される。

【0155】

（４）フュージョンユニット３０４
フュージョンユニット３０４は、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンするために用いられる。

【0156】

例えば、当該フュージョンユニット３０４は、具体的に、トレーニング済み分割モデルにおけるフュージョンネットワークにより、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンするために用いられてもよい。

【0157】

なお、低レベル特徴情報と高レベル特徴情報とをフュージョンする方法は様々有り、例えば、「要素ごとに加算（Ｓｕｍ）」又はチャネルオーバーレイを採用してそれをフュージョンしてもよい。「要素ごとに加算」を例にすれば、当該フュージョンユニット３０４は、具体的に、
要素ごとに当該スライスペアの各スライスの低レベル特徴情報を加算して、フュージョン後低レベル特徴情報を取得し、要素ごとに当該スライスペアの各スライスの高レベル特徴情報を加算して、フュージョン後高レベル特徴情報を取得し、トレーニング済み分割モデルにおけるフュージョンネットワークにより、当該フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とをフュージョンすることで、フュージョン後特徴情報を取得するために用いられてもよい。

【0158】

オプションとして、当該フュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とをフュージョンする方式は様々あり、例えば、以下の通りである。

【0159】

当該フュージョンユニット３０４は、具体的に、トレーニング済み分割モデルにおけるフュージョンネットワークにより、要素ごとにフュージョン後低レベル特徴情報とフュージョン後高レベル特徴情報とを加算して、フュージョン後特徴情報を取得するために用いられてもよい。

【0160】

オプションとして、異なる特徴が特定のタスクでの作用がそれぞれであるため、特徴がよく利用されて、画像分割の正確性を向上するために、アテンションメカニズムを使用してネットワークが異なる特徴情報に対して異なる重みを自律的に付与してもよく、ネットワークは特徴情報を選択的にフュージョンすることができるようにする。

【0161】

当該フュージョンユニット３０４は、具体的に、トレーニング済み分割モデルにおけるフュージョンネットワークのチャネルアテンションモジュールにより、当該フュージョン後低レベル特徴情報及びフュージョン後高レベル特徴情報によりフュージョン後低レベル特徴情報に重みを付与することで、重み付け後特徴情報を取得し、要素ごとに当該重み付け後特徴情報と当該フュージョン後低レベル特徴情報とを乗算して、処理後特徴情報を取得し、要素ごとに処理後特徴情報とフュージョン後高レベル特徴情報とを加算して、フュージョン後特徴情報を取得するために用いられてもよい。

【0162】

なお、当該チャネルアテンションモジュールの構成は、具体的に、実際の適用ニーズに基づいて定められてもよく、ここで再度説明されない。

【0163】

（５）確定ユニット３０５；
確定ユニット３０５は、フュージョン後特徴情報に基づいて、当該スライスペアの各スライス間の関連情報を確定するために用いられる。

【0164】

なお、ターゲットオブジェクトとは、スライスで認識される必要のあるオブジェクト、例えば、肝臓画像から分割される「肝臓」、心臓画像から分割される「心臓」などを指す。

【0165】

例えば、当該確定ユニット３０５は、選別サブユニット及び確定サブユニットを含み得る。

【0166】

選別サブユニットは、フュージョン後特徴情報からターゲットオブジェクトに属する特徴を選別するために用いられてもよい。

【0167】

確定サブユニットは、選別された特徴に基づいて、当該スライス間の関連情報を確定するために用いられてもよい。例えば、具体的に、以下の通りである。

【0168】

当該確定サブユニットは、具体的に、選別された特徴に基づいて、スライスペアの各スライスの背景領域及び前景領域を確定し、当該スライス間の前景領域の差集合画素及び積集合画素を算出し、当該背景領域、差集合画素及び積集合画素に基づいて当該スライスペアの各スライス間の関連情報を生成するために用いられてもよい。

【0169】

例えば、当該確定サブユニットは、具体的に、当該フュージョン後特徴情報の、スライスペアのいずれかのスライスの前景領域にのみ属する画素点を差集合画素とし、当該フュージョン後特徴情報のスライスペアにおける２枚のスライスの前景領域に同時に属する画素点を積集合画素とするために用いられてもよい。

【0170】

また、例えば、当該確定サブユニットは、具体的に、当該背景領域、差集合画素及び積集合画素に対して画素タイプ標識を行って、当該スライス間の関連情報を取得するために用いられ、詳細は、前記した方法実施例を参照すればよいので、ここで重複説明が省略される。

【0171】

生成ユニット３０６
生成ユニット３０６は、当該関連情報及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成するために用いられる。

【0172】

例えば、当該スライスペアが第１のスライス及び第２のスライスを含むことを例にすると、当該生成ユニット３０６は、具体的に、
当該関連情報、及び第１のスライスの初期分割結果予測第２のスライスの分割結果に基づいて、第２のスライスの予測分割結果を取得し、当該関連情報、及び第２のスライスの初期分割結果に基づいて第１のスライスの分割結果を予測することで、第１のスライスの予測分割結果を取得し、第１のスライスの予測分割結果に基づいて第１のスライスの初期分割結果を調整することで、第１のスライスの調整後分割結果を取得し、第２のスライスの予測分割結果に基づいて第２のスライスの初期分割結果を調整することで、第２のスライスの調整後分割結果を取得し、第１のスライスの調整後分割結果と第２のスライスの調整後分割結果とをフュージョンして、当該スライスペアの分割結果を取得するために用いられてもよい。

【0173】

例えば、当該生成ユニット３０６は、具体的に、第１のスライスの予測分割結果及び第１のスライスの初期分割結果に対して平均化処理を行って、第１のスライスの調整後分割結果を取得し、第２のスライスの予測分割結果及び第２のスライスの初期分割結果に対して平均化処理を行って、第２のスライスの調整後分割結果を取得するために用いられてもよい。

【0174】

また、例えば、当該生成ユニット３０６は、具体的に、第１のスライスの調整後分割結果及び第２のスライスの調整後分割結果に対して平均化処理を行い、平均化処理された結果に対して二値化処理を行うことで、当該スライスペアの分割結果を取得するために用いられてもよい。

【0175】

オプションとして、当該トレーニング済み分割モデルは、真の値がマーキングされた複数のペアのスライスペアサンプルをトレーニングすることで得られてもよく、具体的に、運用保守担当者により事前に設定されてもよいし、当該画像分割装置自体でトレーニングすることで得られてもよい。即ち、図１４に示すように、当該画像分割装置は採集ユニット３０７及びトレーニングユニット３０８をさらに含む。

【0176】

採集ユニット３０７は、真の値がマーキングされた複数のペアのスライスペアサンプルを採集するために用いられる。

【0177】

なお、当該スライスペアサンプルは、医用画像サンプルからサンプリングされた２枚のスライスサンプルを含み、詳細は、前述した実施例を参照すればよいので、ここで重複説明が省略される。

【0178】

トレーニングユニット３０８は、予め設定された分割モデルにおける残差ネットワークにより当該スライスペアサンプルの各スライスサンプルに対して特徴抽出を行うことで、各スライスサンプルの高レベル特徴情報及び低レベル特徴情報を取得し、スライスペアサンプルの各スライスサンプルに対して、当該スライスサンプルの低レベル特徴情報及び高レベル特徴情報に基づいて、予め設定された分割モデルにおける分割ネットワークにより当該スライスサンプルにおけるターゲットオブジェクトを分割することで、当該スライスサンプルの予測分割値を取得し、予め設定された分割モデルにおけるフュージョンネットワークにより、スライスペアサンプルの各スライスサンプルの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、当該スライスペアサンプルの各スライスサンプル間の関連情報を予測し、当該真の値、スライスペアサンプルの各スライスサンプルの予測分割値及び予測された関連情報に基づいて、当該予め設定された分割モデルを収束させることで、トレーニング済み分割モデルを取得するために用いられてもよい。

【0179】

例えば、当該トレーニングユニット３０８は、具体的に、Ｄｉｃｅ損失関数により、当該真の値、スライスペアサンプルの各スライスサンプルの予測分割値及び予測された関連情報に基づいて、当該分割モデルを収束させることで、トレーニング済み分割モデルを取得するために用いられてもよい。

【0180】

なお、当該Ｄｉｃｅ損失関数は、具体的に、前記した方法実施例を参照すればよいので、ここで再度説明されない。

【0181】

具体的に実施する場合、上記の各ユニットは、独立したエンティティとして実現されてもよいし、任意の組み合わせによって、同一又は若干のエンティティとして実現されてもよい。上記の各ユニットの具体的な実施は、前述した方法の実施例を参照すればよいので、ここで重複説明が省略される。

【0182】

以上から分かるように、本実施例では、スライスペアを取得した後、抽出ユニット３０２により異なる受容野を採用して当該スライスペア中の各スライスに対して特徴抽出をそれぞれ行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得し、そして分割ユニット３０３によりスライスペアの各スライスについて、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得する一方、フュージョンユニット３０４によりスライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、確定ユニット３０５によりフュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定し、さらに、生成ユニット３０６によりスライスペアの各スライス間の関連情報、及びスライスペアの各スライスの初期分割結果に基づいて当該スライスペアの分割結果を生成することができ、３Ｄ医用画像のスライス間に関連性があることを考慮して、本出願の実施例にかかる方法は、２枚のスライス（スライスペア）を同時に分割し、スライス間の関連関係により分割結果をさらに調整するため、ターゲットオブジェクト（例えば、肝臓）の形状情報をより正確に捕らえて、その分割の精度をより高くすることができる。

【0183】

本出願の実施例は、さらに、電子機器を提供し、図１５に示すように、本出願の実施例に係るの電子機器の構成の模式図を示し、具体的には、以下の通りである。

【0184】

この電子機器は、１つ又は複数の処理コアを有するプロセッサ４０１、１つ又は複数のコンピュータ読取可能記憶媒体を有するメモリ４０２、電源４０３、及び入力ユニット４０４などの構成要素を含んでもよい。当業者であれば理解できるように、図１５に示された電子機器の構成は、電子機器を限定するものでなく、図示よりも多く若しくは少ない構成要素を含んでもよく、又はいくらかの構成要素を組み合わせたものであってもよく、又は構成要素の異なる配置を有してもよい。

【0185】

プロセッサ４０１は、当該電子機器の制御センターであり、各種のインタフェース及び線によって電子機器全体の各部分を接続し、メモリ４０２に記憶されたソフトウェアプログラム及び／又はモジュールを実行又は遂行して、メモリ４０２に記憶されたデータを呼び出すことにより、電子機器の各種の機能を実行してデータを処理し、電子機器を全体的に監視制御する。任意選択的に、プロセッサ４０１は、１つ又は複数の処理コアを含んでもよい。好ましくは、プロセッサ４０１には、アプリケーションプロセッサ及び変復調プロセッサが組み入れられてもよい。ここで、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインタフェース、及びアプリケーションなどを処理し、変復調プロセッサは、主に無線通信を処理する。理解できるように、上記変復調プロセッサは、プロセッサ４０１に組み入れられなくてもよい。

【0186】

メモリ４０２は、ソフトウェアプログラム及びモジュールを記憶するために用いられてもよい。プロセッサ４０１は、メモリ４０２に記憶されたソフトウェアプログラム及びモジュールを実行することにより、各種の機能アプリケーション及びデータ処理を実行する。メモリ４０２は、主にプログラム記憶領域及びデータ記憶領域を含んでもよい。ここで、プログラム記憶領域には、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーション（例えば、音声再生機能、画像再生機能など）などを記憶してもよい。データ記憶領域には、電子機器の使用に基づいて作成されたデータなどを記憶してもよい。また、メモリ４０２は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリを含んでもよく、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の揮発性ソリッドステート記憶デバイスであってもよい。これに基づいて、メモリ４０２は、メモリコントローラをさらに含んでもよい。これにより、プロセッサ４０１によるメモリ４０２へのアクセスが提供される。

【0187】

電子機器は、各構成要素に電力を供給する電源４０３をさらに含む。好ましくは、電源４０３は、電源管理システムを介して、プロセッサ４０１と論理的に接続されてもよい。これにより、電源管理システムによって、充電、放電、及び電力消費の管理などの機能を実現する。電源４０３は、１つ又は複数の直流又は交流電源、再充電システム、電源故障検出回路、電源コンバータ又はインバータ、電源状態指示器などの任意の構成要素を含んでもよい。

【0188】

電子機器は、入力ユニット４０４をさらに含んでもよい。この入力ユニット４０４は、入力された数字や文字の情報を受信し、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、光学又はトラックボールの信号入力を生成するために用いられてもよい。

【0189】

図示されていないが、電子機器は、表示ユニットなどをさらに含んでもよい。ここで説明を省略する。具体的には、本実施例では、電子機器のプロセッサ４０１が、下記のような命令に従って、１つ又は複数のアプリケーションのプロセスに対応する実行可能ファイルをメモリ４０２にロードし、メモリ４０２に記憶されたアプリケーションをプロセッサ４０１が実行することにより、以下の各種の機能を実現する。即ち、
分割すべき医用画像からサンプリングされた２枚のスライスを含むスライスペアを取得し、
異なる受容野を採用してスライスペアの各スライスに対して特徴抽出を行うことで、スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得し、
スライスペアの各スライスについて、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得し、
スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定し、
関連情報、及びスライスペアの各スライスの初期分割結果に基づいて、スライスペアの分割結果を生成する。

【0190】

例えば、具体的に、トレーニング済み分割モデルにおける残差ネットワークにより当該スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得し、次に、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該トレーニング済み分割モデルにおける分割ネットワークにより当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得し、当該トレーニング済み分割モデルにおけるフュージョンネットワークにより、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、当該スライスペアの各スライス間の関連情報を確定し、その後、当該関連情報、及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成することができる。

【0191】

オプションとして、当該トレーニング済み分割モデルは、真の値がマーキングされた複数のペアのスライスペアサンプルをトレーニングすることで得られてもよく、具体的に、運用保守担当者により事前に設定されてもよいし、当該画像分割装置自体でトレーニングすることで得られてもよい。即ち、プロセッサ４０１は、メモリ４０２に記憶されているアプリケーションを実行することで、以下の機能を実現させる。即ち、
真の値がマーキングされた複数のペアのスライスペアサンプルを採集し、
予め設定された分割モデルにおける残差ネットワークによりスライスペアサンプルの各スライスサンプルに対して特徴抽出を行うことで、各スライスサンプルの高レベル特徴情報及び低レベル特徴情報を取得し、
スライスペアサンプルの各スライスサンプルに対して、当該スライスサンプルの低レベル特徴情報及び高レベル特徴情報に基づいて、分割モデルにおける分割ネットワークにより当該スライスサンプルにおけるターゲットオブジェクトを分割することで、当該スライスサンプルの予測分割値を取得し、
分割モデルにおけるフュージョンネットワークにより、スライスペアサンプルの各スライスサンプルの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアサンプルの各スライスサンプル間の関連情報を予測し、
真の値、スライスペアサンプルの各スライスサンプルの予測分割値、及び予測された関連情報に基づいて、予め設定された分割モデルを収束させることで、トレーニング済み分割モデルを取得する。

【0192】

以上の各操作は、具体的に、前述した実施例を参照すればよいので、ここで重複説明が省略される。

【0193】

以上から分かるように、本実施例による電子機器は、スライスペアを取得した後、異なる受容野を採用して当該スライスペアの各スライスに対してそれぞれ特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得し、そして、スライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得する一方、スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定し、その後、スライスペアの各スライス間の関連情報、及びスライスペアの各スライスの初期分割結果に基づいて当該スライスペアの分割結果を生成することができ、３Ｄ医用画像のスライス間に関連性があることを考慮して、本出願の実施例にかかる方法は、２枚のスライス（スライスペア）を同時に分割し、スライス間の関連関係により分割結果をさらに調整するので、ターゲットオブジェクト（例えば、肝臓）の形状情報をより正確に捕らえて、その分割の精度をより高くすることができる。

【0194】

当業者であれば理解できるように、上記実施例の各方法の手順の全部又は一部は、命令によって実行されたり、命令で関連するハードウェアを制御することにより実行されたりしてもよい。この命令は、コンピュータ読取可能記憶媒体に記憶され、プロセッサによってロード・実行されてもよい。

【0195】

そのため、本出願の実施例では、複数の命令が記憶している記憶媒体を提供し、当該命令は、プロセッサによってロードされると、本出願の実施例にかかるいずれか一つの医用画像分割方法におけるステップを実行させる。例えば、当該命令は、以下のステップを実行させる。即ち、
分割すべき医用画像からサンプリングされた２枚のスライスを含むスライスペアを取得するステップと、
異なる受容野を採用してスライスペアの各スライスに対して特徴抽出を行うことで、スライスペアの各スライスの高レベル特徴情報及び低レベル特徴情報を取得するステップと、
スライスペアの各スライスについて、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得するステップと、
スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアの各スライス間の関連情報を確定し、
関連情報、及びスライスペアの各スライスの初期分割結果に基づいて、スライスペアの分割結果を生成するステップとを含む。

【0196】

例えば、具体的に、トレーニング済み分割モデルにおける残差ネットワークにより当該スライスペアの各スライスに対して特徴抽出を行うことで、各スライスの高レベル特徴情報及び低レベル特徴情報を取得し、そしてスライスペアの各スライスに対して、当該スライスの低レベル特徴情報及び高レベル特徴情報に基づいて、当該トレーニング済み分割モデルにおける分割ネットワークにより当該スライスにおけるターゲットオブジェクトを分割することで、当該スライスの初期分割結果を取得し、当該トレーニング済み分割モデルにおけるフュージョンネットワークにより、当該スライスペアの各スライスの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、当該スライスペアの各スライス間の関連情報を確定し、その後、当該関連情報、及びスライスペアの各スライスの初期分割結果に基づいて、当該スライスペアの分割結果を生成することができる。

【0197】

オプションとして、当該トレーニング済み分割モデルは、真の値がマーキングされた複数のペアのスライスペアサンプルをトレーニングすることで得られてもよく、具体的、運用保守担当者により事前に設定されてもよいし、当該画像分割装置自体でトレーニングすることで得られてもよい。即ち、当該命令は、以下のステップを実行させる。即ち、
真の値がマーキングされた複数のペアのスライスペアサンプルを採集するステップと、
予め設定された分割モデルにおける残差ネットワークによりスライスペアサンプルの各スライスサンプルに対して特徴抽出を行うことで、各スライスサンプルの高レベル特徴情報及び低レベル特徴情報を取得するステップと、
スライスペアサンプルの各スライスサンプルについて、当該スライスサンプルの低レベル特徴情報及び高レベル特徴情報に基づいて、分割モデルにおける分割ネットワークにより当該スライスサンプルにおけるターゲットオブジェクトを分割することで、当該スライスサンプルの予測分割値を取得するステップと、
分割モデルにおけるフュージョンネットワークにより、スライスペアサンプルの各スライスサンプルの低レベル特徴情報と高レベル特徴情報とをフュージョンし、フュージョン後特徴情報に基づいて、スライスペアサンプルの各スライスサンプル間の関連情報を予測し、
真の値、スライスペアサンプルの各スライスサンプルの予測分割値、及び予測された関連情報に基づいて、予め設定された分割モデルを収束させることで、トレーニング済み分割モデルを取得するステップとを含む。

【0198】

以上の各操作の具体的な実施は、前の実施例を参照し、ここで重複説明が省略される。

【0199】

なお、当該記憶媒体は、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスクなどを含んでもよい。

【0200】

当該記憶媒体に記憶された命令は、本願の実施例に係るいずれか１つの医用画像分割方法のステップを実行させることが可能であるため、本願の実施例に係るいずれか１つの医用画像分割方法が実現可能な有利な効果を実現できる。詳しくは、前述した実施例を参照すればよいので、ここで説明が省略される。

【0201】

以上、本出願の実施例で提供される医用画像分割方法、装置、電子機器及び記憶媒体について詳細に説明したが、本明細書では、具体的な特定例を使用して、本発明の原理および実施形態を説明した。上記の実施例の説明は、本発明の方法および中心となる思想の理解を助けるためにすぎない。また、当業者にとっては、本発明の思想を踏まえると、具体的な実施形態及び適用範囲の両方に変更があり得る。要するに、本明細書の容は、本発明に対する制限として理解されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】