特表2022-518583ニューラルネットワークトレーニングおよび画像分割方法、装置、機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-15
(54)【発明の名称】ニューラルネットワークトレーニングおよび画像分割方法、装置、機器
(51)【国際特許分類】
G06T 7/00 20170101AFI20220308BHJP
G06N 3/08 20060101ALI20220308BHJP
【ＦＩ】
G06T7/00 350C
G06N3/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021544372
(86)(22)【出願日】2020-07-07
(85)【翻訳文提出日】2021-07-29
(86)【国際出願番号】 CN2020100729
(87)【国際公開番号】W WO2021082517
(87)【国際公開日】2021-05-06
(31)【優先権主張番号】201911063105.0
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲趙▼▲亮▼
(72)【発明者】
【氏名】▲劉▼▲暢▼
(72)【発明者】
【氏名】▲謝▼▲帥▼▲寧▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA06
5L096BA13
5L096GA34
5L096HA11
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
本願は、ニューラルネットワークトレーニングおよび画像の分割方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関する。前記方法は、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ニューラルネットワークのトレーニング方法であって、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む、前記ニューラルネットワークのトレーニング方法。
【請求項2】
前記ニューラルネットワークのトレーニング方法は、第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項3】
前記ニューラルネットワークのトレーニング方法は、トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、
トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項4】
前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる、請求項１ないし３のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項5】
前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である、請求項４に記載のニューラルネットワークのトレーニング方法。
【請求項6】
前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である、請求項１ないし５のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項7】
前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは、前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される、請求項１ないし６のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項8】
前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、請求項７に記載のニューラルネットワークのトレーニング方法。
【請求項9】
前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、請求項７または８に記載のニューラルネットワークのトレーニング方法。
【請求項10】
前記第３サブネットワークは多層パーセプトロンである、請求項７ないし９のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項11】
前記第２ニューラルネットワークはＵ－Ｎｅｔである、請求項２または３に記載のニューラルネットワークのトレーニング方法。
【請求項12】
分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む、請求項１ないし１１のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項13】
ニューラルネットワークのトレーニング方法であって、第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、を含む、
前記ニューラルネットワークのトレーニング方法。
【請求項14】
前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、前記第１画像の第１特徴および前記第２画像の第２特徴を抽出することと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、を含む、
請求項１３に記載のニューラルネットワークのトレーニング方法。
【請求項15】
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、をさらに含む、請求項１３または１４に記載のニューラルネットワークのトレーニング方法。
【請求項16】
前記第１画像内のピクセルの第２分類結果を決定することと、前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
請求項１３ないし１５のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項17】
画像の分割方法であって、請求項２ないし１６のいずれか１項に記載のニューラルネットワークのトレーニング方法に従って、トレーニングされた前記第２ニューラルネットワークを取得することと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力することと、を含む、前記画像の分割方法。
【請求項18】
前記画像の分割方法は、前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得することをさらに含む、
請求項１７に記載の画像の分割方法。
【請求項19】
前記画像の分割方法は、前記第３画像および前記第４画像のピクセル間の対応関係を決定することと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することと、をさらに含む、
請求項１８に記載の画像の分割方法。
【請求項19】
前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ）画像である、請求項１８または１９に記載の画像の分割方法。
【請求項21】
ニューラルネットワークのトレーニング装置であって、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出するように構成される、第１抽出モジュールと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第１融合モジュールと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するように構成される、第１決定モジュールと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第１トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
【請求項22】
前記ニューラルネットワークのトレーニング装置は、さらに、第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定するように構成される、第２決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第２トレーニングモジュールと、を備える、
請求項２１に記載のニューラルネットワークのトレーニング装置。
【請求項23】
前記ニューラルネットワークのトレーニング装置は、さらに、トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第３決定モジュールと、
トレーニングされた前記第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第４決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第３トレーニングモジュールと、を備える、
請求項２２に記載のニューラルネットワークのトレーニング装置。
【請求項24】
前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる、請求項２１ないし２３のいずれか１項に記載のニューラルネットワークのトレーニング装置。
【請求項25】
前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である、請求項２４に記載のニューラルネットワークのトレーニング装置。
【請求項26】
前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である、請求項２１ないし２５のいずれか１項に記載のニューラルネットワークのトレーニング装置。
【請求項27】
前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される、請求項２１ないし２６のいずれか１項に記載のニューラルネットワークのトレーニング装置。
【請求項28】
前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、請求項２７に記載のニューラルネットワークのトレーニング装置。
【請求項29】
前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、請求項２７または２８に記載のニューラルネットワークのトレーニング装置。
【請求項30】
前記第３サブネットワークは多層パーセプトロンである、請求項２７ないし２９のいずれか１項に記載のニューラルネットワークのトレーニング装置。
【請求項31】
前記第２ニューラルネットワークはＵ－Ｎｅｔである、請求項２２または２３に記載のニューラルネットワークのトレーニング装置。
【請求項32】
分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む、請求項２１ないし３１のいずれか１項に記載のニューラルネットワークのトレーニング装置。
【請求項33】
ニューラルネットワークのトレーニング装置であって、第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定するように構成される、第６決定モジュールと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第７決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第４トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
【請求項34】
前記第６決定モジュールは、前記第１画像の第１特徴および前記第２画像の第２特徴を抽出するように構成される、第２抽出モジュールと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第３融合モジュールと、
前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第８決定モジュールと、を備える、
請求項３３に記載のニューラルネットワークのトレーニング装置。
【請求項35】
前記ニューラルネットワークのトレーニング装置は、さらに、前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第５トレーニングモジュールを備える、
請求項３３または３４に記載のニューラルネットワークのトレーニング装置。
【請求項36】
前記ニューラルネットワークのトレーニング装置は、さらに、前記第１画像内のピクセルの第２分類結果を決定するように構成される、第９決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第６トレーニングモジュールと、を備える、
請求項３３ないし３５のいずれか１項に記載のニューラルネットワークのトレーニング装置。
【請求項37】
画像の分割装置であって、請求項２２ないし３６のいずれか１項に記載のニューラルネットワークのトレーニング装置によって、トレーニングされた前記第２ニューラルネットワークを取得するように構成される、取得モジュールと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力するように構成される、出力モジュールと、を備える、前記画像の分割装置。
【請求項38】
前記画像の分割装置は、さらに、前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得するように構成される、骨分割モジュールを備える、
請求項３７に記載の画像の分割装置。
【請求項39】
前記画像の分割装置は、さらに、前記第３画像および前記第４画像のピクセル間の対応関係を決定するように構成される、第５決定モジュールと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得するように構成される、第２融合モジュールと、を備える、
請求項３８に記載の画像の分割装置。
【請求項40】
前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ）画像である、請求項３８または３９に記載の画像の分割装置。
【請求項41】
電子機器であって、１つまたは複数のプロセッサと、
実行可能命令を記憶するように構成されるメモリとを備え、
前記１つまたは複数のプロセッサは、前記メモリに記憶される実行可能命令を呼び出して、請求項１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、前記電子機器。
【請求項42】
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、請求項１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現する、前記コンピュータ可読記憶媒体。
【請求項43】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行するとき、前記電子機器内のプロセッサは、請求項１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現するために実行される、前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１９年１０月３１日に中国特許局に提出された、出願番号が２０１９１１０６３１０５．０である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【0002】
本願は、コンピュータ技術分野に関し、ニューラルネットワークトレーニングおよび画像の分割方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関するが、これに限定されない。
【背景技術】
【0003】
画像分割は、画像をいくつかの特定の、具有独特の性質を有する領域に分け、興味のあるターゲットを提出する技術およびプロセスである。画像分割は、画像処理から画像分析への主要なステップである。画像分割の精度を向上させることは緊急の問題である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願実施例は、ニューラルネットワークトレーニングおよび画像の分割方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムを提供する。
【課題を解決するための手段】
【0005】
本願実施例は、ニューラルネットワークのトレーニング方法を提供し、前記方法は、
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む。
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む。
【0006】
これから分かるように、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出し、前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定し、前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングし、これからトレーニングして取得した第１ニューラルネットワークは、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0007】
本願のいくつかの実施例において、前記方法は、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
【0008】
このようにして、第２ニューラルネットワークは、画像の分割結果をレイヤごとに決定するために使用され、これにより、画像の層間解像度が低い問題を克服し、より正確な分割結果を取得することができる。
【0009】
本願のいくつかの実施例において、前記方法は、
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、
トレーニングされた前記第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、
トレーニングされた前記第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
【0010】
このようにして、トレーニングされた第１ニューラルネットワークによって出力された重複するピクセルの分類結果を監督として、第２ニューラルネットワークをトレーニングすることができ、これにより、分割精度をさらに向上させ、且つ、第２ニューラルネットワークの一般化能力を向上させることができる。
【0011】
本願のいくつかの実施例において、前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる。
【0012】
このようにして、異なるスキャン平面でスキャンして取得する第１画像および第２画像を使用して第１ニューラルネットワークをトレーニングできるため、画像内の３次元空間情報を充分に利用して、画像の層間解像度が低い問題をある程度克服することができ、それにより、３次元空間でより正しい画像分割を実行することに役立つ。
【0013】
本願のいくつかの実施例において、前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である。
【0014】
横断面の画像の解像度が比較的高いため、横断面の画像を使用して第２ニューラルネットワークをトレーニングして、より正しい分割結果を取得することができる。
【0015】
本願のいくつかの実施例において、前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）の画像である。
【0016】
これから分かるように、ＭＲＩ画像を使用することを介して、対象の解剖学的詳細、組織密度および腫瘍の位置などの組織構造情報を反映し得る。
【0017】
本願のいくつかの実施例において、前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、ここで、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは、前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される。
【0018】
これから分かるように、本願実施例は、第１画像および第２画像に対して特徴の抽出をそれぞれ実行でき、第１画像および第２画像の特徴を組み合わせて２つの画像内の重複するピクセルの分類結果を決定することができ、それにより、より正しい画像分割を実現する。
【0019】
本願のいくつかの実施例において、前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0020】
これから分かるように、最後の２つのレイヤを除去したＵ－Ｎｅｔを第１サブネットワークの構造として使用することにより、第１サブネットワークが画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第１サブネットワークがより浅い層で抽出した特徴を第１サブネットワークがより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0021】
本願のいくつかの実施例において、前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0022】
これから分かるように、最後の２つのレイヤを除去したＵ－Ｎｅｔを第２サブネットワークの構造として使用することにより、第２サブネットワークが画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第２サブネットワークがより浅い層で抽出した特徴を第２サブネットワークがより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0023】
本願のいくつかの実施例において、前記第３サブネットワークは多層パーセプトロンである。
【0024】
これから分かるように、多層パーセプトロンを第３サブネットワークの構造として使用することを介して、第１ニューラルネットワークのパフォーマンスをさらに向上させることに役立つ。
【0025】
本願のいくつかの実施例において、前記第２ニューラルネットワークはＵ－Ｎｅｔである。
【0026】
これから分かるように、Ｕ－Ｎｅｔを第２ニューラルネットワークの構造として使用することにより、第２ニューラルネットワークが画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第２ニューラルネットワークがより浅い層で抽出した特徴を第２ニューラルネットワークがより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0027】
本願のいくつかの実施例において、分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む。
【0028】
このようにして、画像で腫瘍境界の分割を実行する精度を向上させる。
【0029】
本願実施例は、さらに、ニューラルネットワークのトレーニング方法を提供し、前記方法は、
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、を含む。
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、を含む。
【0030】
上記の方式を介して、トレーニングされた第１ニューラルネットワークによって出力された重複するピクセルの分類結果を監督として、第２ニューラルネットワークをトレーニングすることができ、これにより、分割精度をさらに向上させ、第２ニューラルネットワークの一般化能力を向上させることができる。
【0031】
本願のいくつかの実施例において、前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出することと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、を含む。
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出することと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、を含む。
【0032】
これから分かるように、本願実施例は、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0033】
本願のいくつかの実施例において、
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることをさらに含む。
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることをさらに含む。
【0034】
これからトレーニングして取得した第１ニューラルネットワークは、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0035】
本願のいくつかの実施例において、
前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
【0036】
このようにして、第２ニューラルネットワークは、画像の分割結果をレイヤごとに決定するために使用され、これにより、画像の層間解像度が低い問題を克服し、より正確な分割結果を取得することができる。
【0037】
本願実施例は、さらに、画像の分割方法を提供し、前記方法は、
前記ニューラルネットワークのトレーニング方法に従って、トレーニングされた前記第２ニューラルネットワークを取得することと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力することと、を含む。
前記ニューラルネットワークのトレーニング方法に従って、トレーニングされた前記第２ニューラルネットワークを取得することと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力することと、を含む。
【0038】
これから分かるように、前記画像分割方法は、第３画像をトレーニングされた第２ニューラルネットワークに入力し、トレーニングされた第２ニューラルネットワークを介して第３画像内のピクセルの第５分類結果を出力することを介して、自動的に画像を分割し、画像分割の時間を削減することができ、画像分割の精度を向上させることができる。
【0039】
本願のいくつかの実施例において、前記方法は、
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得することをさらに含む。
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得することをさらに含む。
【0040】
このようにして、前記第４画像に対応する骨分割結果に従って、前記第４画像におけるスケルトン境界を決定し得る。
【0041】
本願のいくつかの実施例において、前記方法は、
前記第３画像および前記第４画像のピクセル間の対応関係を決定することと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することと、をさらに含む。
前記第３画像および前記第４画像のピクセル間の対応関係を決定することと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することと、をさらに含む。
【0042】
このようにして、前記第３画像および前記第４画像のピクセル間の対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することを介して、医者が手術計画およびプロテーゼの埋め込み設計のとき、骨盤における骨腫瘍の位置を理解するのを助ける。
【0043】
本願のいくつかの実施例において、前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像である。
【0044】
これから分かるように、異なるタイプの画像を使用することを介して、異なるタイプの画像内の情報を充分に組み合わせて、医者が手術計画およびプロテーゼの埋め込み設計のとき、骨盤における骨腫瘍の位置を理解するのをよりよく助ける。
【0045】
本願実施例は、さらに、ニューラルネットワークのトレーニング装置を提供し、前記装置は、
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出するように構成される、第１抽出モジュールと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第１融合モジュールと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するように構成される、第１決定モジュールと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第１トレーニングモジュールと、を備える。
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出するように構成される、第１抽出モジュールと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第１融合モジュールと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するように構成される、第１決定モジュールと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第１トレーニングモジュールと、を備える。
【0046】
これから分かるように、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出し、前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定し、前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングし、これからトレーニングして取得した第１ニューラルネットワークは、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0047】
本願のいくつかの実施例において、前記装置は、さらに、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定するように構成される、第２決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第２トレーニングモジュールと、を備える。
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定するように構成される、第２決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第２トレーニングモジュールと、を備える。
【0048】
このようにして、第２ニューラルネットワークは、画像の分割結果をレイヤごとに決定するために使用され、これにより、画像の層間解像度が低い問題を克服し、より正確な分割結果を取得することができる。
【0049】
本願のいくつかの実施例において、前記装置は、さらに、
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第３決定モジュールと、
トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第４決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第３トレーニングモジュールと、を備える。
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第３決定モジュールと、
トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第４決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第３トレーニングモジュールと、を備える。
【0050】
このようにして、トレーニングされた第１ニューラルネットワークによって出力された重複するピクセルの分類結果を監督として、第２ニューラルネットワークをトレーニングすることができ、これにより、分割精度をさらに向上させ、第２ニューラルネットワークの一般化能力を向上させることができる。
【0051】
本願のいくつかの実施例において、前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる。
【0052】
このようにして、異なるスキャン平面でスキャンして取得する第１画像および第２画像を使用して第１ニューラルネットワークをトレーニングできるため、画像内の３次元空間情報を充分に利用して、画像の層間解像度が低い問題をある程度克服することができ、それにより、３次元空間でより正しい画像分割を実行することに役立つ。
【0053】
本願のいくつかの実施例において、前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である。
【0054】
横断面の画像の解像度が比較的高いため、横断面の画像を使用して第２ニューラルネットワークをトレーニングして、より正しい分割結果を取得することができる。
【0055】
本願のいくつかの実施例において、前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である。
【0056】
これから分かるように、ＭＲＩ画像を使用することを介して、対象の解剖学的詳細、組織密度および腫瘍の位置などの組織構造情報を反映し得る。
【0057】
本願のいくつかの実施例において、前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、ここで、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは、前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される。
【0058】
これから分かるように、本願実施例は、第１画像および第２画像に対して特徴の抽出をそれぞれ実行でき、第１画像および第２画像の特徴を組み合わせて２つの画像内の重複するピクセルの分類結果を決定することができ、それにより、より正しい画像分割を実現する。
【0059】
本願のいくつかの実施例において、前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0060】
これから分かるように、最後の２つのレイヤを除去したＵ－Ｎｅｔを第１サブネットワークの構造として使用することにより、第１サブネットワークが画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第１サブネットワークがより浅い層で抽出した特徴を第１サブネットワークがより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0061】
本願のいくつかの実施例において、前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0062】
これから分かるように、最後の２つのレイヤを除去したＵ－Ｎｅｔを第２サブネットワークの構造として使用することにより、第２サブネットワークが画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第２サブネットワークがより浅い層で抽出した特徴を第２サブネットワークがより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0063】
本願のいくつかの実施例において、前記第３サブネットワークは多層パーセプトロンである。
【0064】
これから分かるように、多層パーセプトロンを第３サブネットワークの構造として使用することを介して、第１ニューラルネットワークのパフォーマンスをさらに向上させることに役立つ。
【0065】
本願のいくつかの実施例において、前記第２ニューラルネットワークはＵ－Ｎｅｔである。
【0066】
これから分かるように、Ｕ－Ｎｅｔを第２ニューラルネットワークの構造として使用することにより、第２ニューラルネットワークが画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第２ニューラルネットワークがより浅い層で抽出した特徴を第２ニューラルネットワークがより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0067】
本願のいくつかの実施例において、分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む。
【0068】
このようにして、画像で腫瘍境界の分割を実行する精度を向上させる。
【0069】
本願実施例は、さらに、ニューラルネットワークのトレーニング装置を提供し、前記装置は、
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定するように構成される、第６決定モジュールと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第７決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第４トレーニングモジュールと、を備える。
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定するように構成される、第６決定モジュールと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第７決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第４トレーニングモジュールと、を備える。
【0070】
上記の方式を介して、トレーニングされた第１ニューラルネットワークによって出力された重複するピクセルの分類結果を監督として、第２ニューラルネットワークをトレーニングすることができ、これにより、分割精度をさらに向上させ、第２ニューラルネットワークの一般化能力を向上させることができる。
【0071】
本願のいくつかの実施例において、前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出するように構成される、第２抽出モジュールと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第３融合モジュールと、
前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第８決定モジュールと、を備える。
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出するように構成される、第２抽出モジュールと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第３融合モジュールと、
前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第８決定モジュールと、を備える。
【0072】
これから分かるように、本願実施例は、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0073】
本願のいくつかの実施例において、さらに、
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第５トレーニングモジュールを備える。
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第５トレーニングモジュールを備える。
【0074】
これからトレーニングして取得した第１ニューラルネットワークは、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0075】
本願のいくつかの実施例において、さらに、
前記第１画像内のピクセルの第２分類結果を決定するように構成される、第９決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第６トレーニングモジュールと、を備える。
前記第１画像内のピクセルの第２分類結果を決定するように構成される、第９決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第６トレーニングモジュールと、を備える。
【0076】
このようにして、第２ニューラルネットワークは、画像の分割結果をレイヤごとに決定するために使用され、これにより、画像の層間解像度が低い問題を克服し、より正確な分割結果を取得することができる。
【0077】
本願実施例は、さらに、画像の分割装置を提供し、前記装置は、
前記ニューラルネットワークのトレーニング装置によって、トレーニングされた前記第２ニューラルネットワークを取得するように構成される、取得モジュールと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力するように構成される、出力モジュールと、を備える。
前記ニューラルネットワークのトレーニング装置によって、トレーニングされた前記第２ニューラルネットワークを取得するように構成される、取得モジュールと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力するように構成される、出力モジュールと、を備える。
【0078】
これから分かるように、第３画像をトレーニングされた第２ニューラルネットワークに入力し、トレーニングされた第２ニューラルネットワークを介して第３画像内のピクセルの第５分類結果を出力することを介して、自動的に画像を分割することができ、画像分割の時間を削減し、画像分割の精度を向上させることができる。
【0079】
本願のいくつかの実施例において、前記装置は、さらに、
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得するように構成される、骨分割モジュールを備える。
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得するように構成される、骨分割モジュールを備える。
【0080】
このようにして、前記第４画像に対応する骨分割結果に従って、前記第４画像におけるスケルトン境界を決定し得る。
【0081】
本願のいくつかの実施例において、前記装置は、さらに、
前記第３画像および前記第４画像のピクセル間の対応関係を決定するように構成される、第５決定モジュールと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得するように構成される、第２融合モジュールと、を備える。
前記第３画像および前記第４画像のピクセル間の対応関係を決定するように構成される、第５決定モジュールと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得するように構成される、第２融合モジュールと、を備える。
【0082】
このようにして、前記第３画像および前記第４画像のピクセル間の対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することを介して、医者が手術計画およびプロテーゼの埋め込み設計のとき、骨盤における骨腫瘍の位置を理解するのを助ける。
【0083】
本願のいくつかの実施例において、前記第３画像はＭＲＩ画像であり、前記第４画像はＣＴ画像である。
【0084】
これから分かるように、異なるタイプの画像を使用することを介して、異なるタイプの画像内の情報を充分に組み合わせて、医者が手術計画およびプロテーゼの埋め込み設計のとき、骨盤における骨腫瘍の位置を理解するのをよりよく助ける。
【0085】
本願実施例は、さらに、１つまたは複数のプロセッサと、実行可能命令を記憶するように構成されるメモリとを備える電子機器を提供し、ここで、前記１つまたは複数のプロセッサは、前記メモリに記憶される実行可能命令を呼び出して、上記の任意の方法を実行するように構成される。
【0086】
本願実施例は、さらに、コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき上記の任意の方法を実現する。
【0087】
本願実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、上記の任意の方法を実現する。
【発明の効果】
【0088】
本願実施例において、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出し、前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定し、前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングし、これからトレーニングして取得した第１ニューラルネットワークは、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0089】
上記の一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本願を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0090】
ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本願と一致する実施例を示すものであり、明細書とともに本願実施例の技術的解決策を説明するために使用される。
【図1】本願実施例で提供されるニューラルネットワークのトレーニング方法のフローチャートである。
【図2】本願実施例で提供されるニューラルネットワークのトレーニング方法の第１ニューラルネットワークの概略図である。
【図3A】本願実施例で提供される画像の分割方法の骨盤骨腫瘍領域の概略図である。
【図3B】本願実施例の１つの適用シナリオの概略図である。
【図3C】本願実施例の骨盤骨腫瘍に対する処理の例示的なフローチャートである。
【図4】本願実施例で提供されるニューラルネットワークのトレーニング装置の例示的な構造図である。
【図5】本願実施例で提供される電子機器の例示的な構造図である。
【図6】本願実施例で提供される別の電子機器の例示的な構造図である。
【発明を実施するための形態】
【0091】
以下、本願の様々な例示的な実施例、特徴および態様を図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。
【0092】
ここで専用の用語「例示的」とは、「例、実施例または説明用として使用される」ことを意味する。ここで、「例示的」として使用されるいずれかの実施例は、他の実施例より優れるまたはより好ましいと解釈する必要はない。
【0093】
本明細書における「および／または」という用語は、関連付けられたオブジェクトを説明する単なる関連付けであり、３種類の関係が存在することができることを示し、例えば、Ａおよび／またはＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合など３つの場合を表す。さらに、本明細書における「少なくとも１つ」という用語は、複数のうちの１つまたは複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、ａ、ｂ、ｃのうちの少なくとも１つを含むことは、ａ、ｂおよびｃで構成されるセットから選択された任意の１つまたは複数の要素を含むことを示す。
【0094】
さらに、本願をよりよく説明するために、以下の具体実施形態において多くの特定の詳細が与えられる。当業者は、特定のいくつかの詳細なしに、本願を同様に実施できることを理解するはずである。いくつかの例において、当業者に周知の方法、手段、要素および回路は、本願の要旨を強調するために、詳細に説明しない。
【0095】
関連技術において、悪性骨腫瘍は死亡率が非常に高い疾患であり、現在、悪性骨腫瘍に対する主流の臨床治療方式の１つは肢救済の切除手術である。骨盤の構造が複雑で、且つ、多くの他の組織器官が含まれているため、骨盤に位置する骨腫瘍に対して肢救済の切除手術を実施することは非常に困難であり、肢救済の切除手術の再発率および術後の回復効果の両方とも切除境界の影響を受けるため、ＭＲＩ画像で骨腫瘍境界を決定することは、術前計画において非常に重要なステップであるが、腫瘍境界を手動で描写するには、豊富な経験を持つ医者が必要であり、且つ、長い時間が必要であり、この問題は、肢救済の切除手術の促進を大きく制限する。
【0096】
上記の技術的問題に対して、本願実施例は、ニューラルネットワークトレーニングおよび画像の分割方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムを提供する。
【0097】
図１は、本願実施例で提供されるニューラルネットワークのトレーニング方法のフローチャートである。前記ニューラルネットワークのトレーニング方法の実行主体は、ニューラルネットワークのトレーニング装置であり得る。例えば、ニューラルネットワークのトレーニング装置は、端末機器またはサーバまたは他の処理機器であり得る。ここで、端末機器はユーザ機器（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器またはウェアラブル機器などであり得る。本願のいくつかの実施例において、前記ニューラルネットワークのトレーニング方法は、プロセッサがメモリに記憶されるコンピュータ可読命令を呼び出す方式を介して実現さすることができる。
【0098】
本願のいくつかの実施例において、第１ニューラルネットワークおよび第２ニューラルネットワークは、画像内の腫瘍領域を自動的に分割するために使用され得、即ち、第１ニューラルネットワークおよび第２ニューラルネットワークは、画像内の腫瘍がある領域を決定するために使用され得る。本願のいくつかの実施例において、第１ニューラルネットワークおよび第２ニューラルネットワークは、画像内の他の興味がある領域を自動的に分割するためにも使用され得る。
【0099】
本願のいくつかの実施例において、第１ニューラルネットワークおよび第２ニューラルネットワークは、画像内の骨腫瘍領域を自動的に分割するために使用され得、即ち、第１ニューラルネットワークおよび第２ニューラルネットワークは、画像内の骨腫瘍がある領域を決定するために使用され得る。一例において、第１ニューラルネットワークおよび第２ニューラルネットワークは、骨盤内の骨腫瘍領域を自動的に分割するために使用され得る。他の例において、第１ニューラルネットワークおよび第２ニューラルネットワークは、他の部位の骨腫瘍領域を自動的に分割するためにも使用され得る。
【0100】
図１に示されるように、前記ニューラルネットワークのトレーニング方法は、ステップＳ１１ないしステップＳ１４を含む。
【0101】
ステップＳ１１において、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出する。
【0102】
本願実施例において、第１画像および第２画像は、同じ対象をスキャンして取得する画像であり得る。例えば、対象は体であり得る。例えば、第１画像および第２画像は、同じ機械によって連続にスキャンして取得することができ、スキャンプロセスにおいて、対象はほとんど移動しない。
【0103】
本願のいくつかの実施例において、前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる。
【0104】
本願実施例において、スキャン平面は横断面、冠状面または矢状面であり得る。ここで、スキャン平面が横断面である画像は横断面の画像と称し得、スキャン平面が冠状面である画像は冠状面の画像と称し得、スキャン平面が矢状面である画像は矢状面の画像と称し得る。
【0105】
他の例において、第１画像および第２画像のスキャン平面が異なる限り、第１画像および第２画像のスキャン平面は横断面、冠状面および矢状面に限定されない。
【0106】
これから分かるように、本願実施例は、異なるスキャン平面でスキャンして取得する第１画像および第２画像を使用して第１ニューラルネットワークをトレーニングでき、これにより、画像内の３次元空間情報を充分に利用して、画像の層間解像度が低い問題をある程度克服することができ、それにより、３次元空間でより正しい画像分割を実行することに役立つ。
【0107】
本願のいくつかの実施例において、第１画像および第２画像は、レイヤごとにスキャンして取得する３次元画像であり得、ここで、各層は２次元スライスである。
【0108】
本願のいくつかの実施例において、前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である。
【0109】
これから分かるように、ＭＲＩ画像を使用することを介して、対象の解剖学的詳細、組織密度および腫瘍の位置などの組織構造情報を反映し得る。
【0110】
本願のいくつかの実施例において、第１画像および第２画像は３次元ＭＲＩ画像であり得る。３次元ＭＲＩ画像はレイヤごとに撮影することであり、一連の２次元スライスのスタックと見なすことができる。スキャン平面における３次元ＭＲＩ画像の解像度は一般的に高く、層内解像度（ｉｎ－ｐｌａｎｅ ｓｐａｃｉｎｇ）と称する。スタック方向における３次元ＭＲＩ画像の解像度は一般的に低く、層間解像度または層の厚さ（ｓｌｉｃｅ ｔｈｉｃｋｎｅｓｓ）と称する。
【0111】
ステップＳ１２において、前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得する。
【0112】
本願のいくつかの実施例において、前記第１ニューラルネットワークを介して前記第１特徴を前記第２特徴を融合し、前記第１ニューラルネットワークを介して前記第１特徴および前記第２特徴に対して接続処理を実行することであり得る。例えば、接続処理はｃｏｎｃａｔ処理であり得る。
【0113】
ステップＳ１３において、前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定する。
【0114】
本願のいくつかの実施例において、世界座標系における前記第１画像のピクセルおよび前記第２画像のピクセルの座標に従って、第１画像および第２画像における重複するピクセルを決定することができる。
【0115】
本願のいくつかの実施例において、分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む。分類結果に従って画像における腫瘍境界を決定し得る。ここで、分類結果は、本願実施例における第１分類結果、第２分類結果、第３分類結果、第４分類結果および第５分類結果のうちの１つまたは複数であり得る。
【0116】
本願のいくつかの実施例において、分類結果は、ピクセルが骨腫瘍領域に属する確率と、ピクセルが非骨腫瘍領域に属する確率のうちの１つまたは２つを含む。分類結果に従って画像における骨腫瘍境界を決定し得る。ここで、分類結果は、本願実施例における第１分類結果、第２分類結果、第３分類結果、第４分類結果および第５分類結果のうちの１つまたは複数であり得る。
【0117】
図２は、本願実施例で提供されるニューラルネットワークのトレーニング方法の第１ニューラルネットワークの概略図であり、図２に示されるように、前記第１ニューラルネットワークは、第１サブネットワーク２０１、第２サブネットワーク２０２および第３サブネットワーク２０３を含み、ここで、前記第１サブネットワーク２０１は、前記第１画像２０４の第１特徴を抽出するために使用され、前記第２サブネットワーク２０２は、第２画像２０５の第２特徴を抽出するために使用され、前記第３サブネットワーク２０３は、前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って、前記第１画像２０４と前記第２画像２０５が重複するピクセルの第１分類結果を決定するために使用される。
【0118】
本願実施例において、第１ニューラルネットワークは、デュアルモデルデュアルパス疑似３次元ニューラルネットワーク（ｄｕａｌ ｍｏｄａｌ ｄｕａｌ ｐａｔｈ ｐｓｅｕｄｏ ３－ｄｉｍｅｎｓｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と称し得、第１画像２０４および第２画像２０５のスキャン平面は異なるため、第１ニューラルネットワークは、異なるスキャン平面の画像を充分に利用して、骨盤骨腫瘍の正しい分割を実現することができる。
【0119】
本願のいくつかの実施例において、前記第１サブネットワーク２０１は、エンドツーエンドのエンコーダ－デコーダ構造である。
【0120】
本願のいくつかの実施例において、前記第１サブネットワーク２０１は、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0121】
これから分かるように、最後の２つのレイヤを除去したＵ－Ｎｅｔを第１サブネットワーク２０１の構造として使用することにより、第１サブネットワーク２０１が画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第１サブネットワーク２０１がより浅い層で抽出した特徴を第１サブネットワーク２０１がより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0122】
本願のいくつかの実施例において、前記第２サブネットワーク２０２は、エンドツーエンドのエンコーダ－デコーダ構造である。
【0123】
本願のいくつかの実施例において、前記第２サブネットワーク２０２は、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0124】
本願実施例において、最後の２つのレイヤを除去したＵ－Ｎｅｔを第２サブネットワーク２０２の構造として使用することにより、第２サブネットワーク２０２が画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第２サブネットワーク２０２がより浅い層で抽出した特徴を第２サブネットワーク２０２がより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0125】
本願のいくつかの実施例において、前記第３サブネットワーク２０３は多層パーセプトロンである。
【0126】
本願実施例において、多層パーセプトロンを第３サブネットワーク２０３の構造として使用することを介して、第１ニューラルネットワークのパフォーマンスをさらに向上させることに役立つ。
【0127】
図２を参照すると、第１サブネットワーク２０１および第２サブネットワーク２０２は、両方とも最後の両層を除去したＵ－Ｎｅｔであり、以下、第１サブネットワーク２０１を例として説明する。第１サブネットワーク２０１は、エンコーダおよびデコーダを備え、ここで、エンコーダは第１画像２０４をコーディング処理するように構成され、デコーダは、画像詳細および空間次元をデコーディング復元して、第１画像２０４の第１特徴を抽出するように構成される。
【0128】
エンコーダは複数のコーディングブロックを含み得、各コーディングブロックは複数の畳み込み層、１つのバッチ正規化（ＢＮ：Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層および１つの激活層を含み得、各コーディングブロックは、入力データのダウンサンプリングを実行して、入力データのサイズを半分に減らすことができ、ここで、最初のコーディングブロックの入力データは第１画像２０４であり、他のコーディングブロックの入力データは前のコーディングブロックによって出力された特徴図であり、最初のコーディングブロック、２番目のコーディングブロック、３番目のコーディングブロック、４番目のコーディングブロックおよび５番目のコーディングブロックに対応するチャネル数は、それぞれ、６４、１２８、２５６、５１２および１０２４である。
【0129】
デコーダは複数のデコーディングブロックを含み得、各デコーディングブロックは複数の畳み込み層、１つのＢＮ層および１つの激活層を含み得、各デコーディングブロックは入力の特徴図をアップサンプリングして、特徴図のサイズを倍にすることができ、最初のデコーディングブロック、２番目のデコーディングブロック、３番目のデコーディングブロック、４番目のデコーディングブロックに対応するチャネル数は、それぞれ、５１２、２５６、１２８および６４である。
【0130】
第１サブネットワーク２０１において、ホップ接続を有するネットワーク構造を使用して、チャネル数が同じであるコーディングブロックとデコーディングブロックとを接続することができ、最後の１つのデコーディングブロック（５番目のデコーディングブロック）において、１つの１×１畳み込み層を使用して、４番目のデコーディングブロックによって出力された特徴図を一次元空間にマッピングして、特徴ベクトルを取得することができる。
【0131】
第３サブネットワーク２０３において、第１サブネットワーク２０１によって出力された第１特徴と、第２サブネットワーク２０２によって出力された第２特徴を組み合わて、第３特徴を取得することができ、その後、多層パーセプトロンを介して、第１画像２０４および第２画像２０５における重複するピクセルの第１分類結果を決定することができる。
【0132】
ステップＳ１４において、前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングする。
【0133】
本願実施例において、ラベルデータは、人工的に表記されたデータであり得、例えば医者によって表記されたデータであり得る。医者は、第１画像および第２画像の２次元スライスでレイヤごとに表記することができる。各層の２次元スライスの表記結果に従って、３次元ラベルデータに統合され得る。
【0134】
本願のいくつかの実施例において、ダイス類似度係数を使用して前記第１分類結果と前記重複するピクセルに対応するラベルデータとの差を決定し、それにより、差に従って前記第１ニューラルネットワークをトレーニングすることができる。例えば、逆伝播を使用して第１ニューラルネットワークのパラメータを更新することができる。
【0135】
本願のいくつかの実施例において、前記方法は、第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定することと、前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
【0136】
本願実施例において、第１画像は３次元画像であり得、第２ニューラルネットワークは、第１画像の２次元スライスのピクセルの第２分類結果を決定するために使用され得る。例えば、第２ニューラルネットワークは、第１画像の各２次元スライスの各ピクセルの第２分類結果をレイヤごとに決定するために使用され得る。第１画像の２次元スライスのピクセルの第２分類結果と第１画像の２次元スライスに対応するラベルデータとの間の差に従って、第２ニューラルネットワークをトレーニングし得る。例えば、逆伝播を使用して第２ニューラルネットワークのパラメータを更新することができる。ここで、第１画像の２次元スライスのピクセルの第２分類結果と第１画像の２次元スライスに対応するラベルデータとの間の差は、ダイス類似度係数を使用して決定され得、当該実施形態はこれに限定されない。
【0137】
これから分かるように、本願実施例において、第２ニューラルネットワークは、画像の分割結果をレイヤごとに決定するために使用され、これにより、画像の層間解像度が低い問題を克服し、より正確な分割結果を取得することができる。
【0138】
本願のいくつかの実施例において、前記方法は、トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む。
【0139】
これから分かるように、本願実施例において、トレーニングされた第１ニューラルネットワークによって出力された重複するピクセルの分類結果を監督として、第２ニューラルネットワークをトレーニングすることができ、これにより、分割精度をさらに向上させ、且つ、第２ニューラルネットワークの一般化能力を向上させることができ、即ち、トレーニングされた第１ニューラルネットワークによって出力された重複するピクセルの分類結果を監督として、第２ニューラルネットワークのパラメータを微調整（ｆｉｎｅ ｔｕｎｅ）して、第２ニューラルネットワークの画像分割パフォーマンスを最適化することができ、例えば、前記第３分類結果および前記第４分類結果に従って、第２ニューラルネットワークの最後の両層のパラメータを更新することができる。
【0140】
本願のいくつかの実施例において、前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である。横断面の画像の解像度が比較的高いため、横断面の画像を使用して第２ニューラルネットワークをトレーニングして、より正しい分割結果を取得することができる。
【0141】
前記第１画像は横断面の画像で、前記第２画像は冠状面の画像または矢状面の画像であることを例として第１画像および第２画像は上記のようであると紹介したが、当業者は、本願はこれらに限定されるべきではないことを理解することができ、第１画像および第２画像のスキャン平面が異なる限り、当業者は、実際の適用シナリオのニーズに従って第１画像および第２画像のタイプを選択することができることに留意されたい。
【0142】
本願のいくつかの実施例において、前記第２ニューラルネットワークはＵ－Ｎｅｔである。
【0143】
これから分かるように、Ｕ－Ｎｅｔを第２ニューラルネットワークの構造として使用することにより、第２ニューラルネットワークが画像に対して特徴抽出を実行するとき、画像の異なるスケールの特徴を使用することができ、且つ、第２ニューラルネットワークがより浅い層で抽出した特徴を第２ニューラルネットワークがより深い層で抽出した特徴と融合することができ、それにより、マルチスケールの情報を充分に統合および使用する。
【0144】
本願のいくつかの実施例において、第１ニューラルネットワークおよび／または第２ニューラルネットワークをトレーニングするプロセスにおいて、早期停止戦略を使用して、ネットワークのパフォーマンスが向上しないと、トレーニングを停止することができ、それによりオーバーフィットを防ぐことができる。
【0145】
本願実施例は、さらに、別のニューラルネットワークのトレーニング方法を提供し、当該別のニューラルネットワークのトレーニング方法は、第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することと、第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、を含む。
【0146】
上記の方式を介して、トレーニングされた第１ニューラルネットワークによって出力された重複するピクセルの分類結果を監督として、第２ニューラルネットワークをトレーニングすることができ、これにより、分割精度をさらに向上させ、第２ニューラルネットワークの一般化能力を向上させることができる。
【0147】
本願のいくつかの実施例において、前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、前記第１画像の第１特徴および前記第２画像の第２特徴を抽出することと、前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、を含む。
【0148】
これから分かるように、本願実施例において、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0149】
本願のいくつかの実施例において、さらに、前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることができる。
【0150】
これからトレーニングして取得した第１ニューラルネットワークは、２つの画像を組み合わせて２つの画像内の重複するピクセルを分割することができ、それにより、画像分割の精度を向上させる。
【0151】
本願のいくつかの実施例において、さらに、前記第１画像内のピクセルの第２分類結果を決定し、前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることができる。
【0152】
これから分かるように、本願実施例において、第２ニューラルネットワークは、画像の分割結果をレイヤごとに決定するために使用され、これにより、画像の層間解像度が低い問題を克服し、より正確な分割結果を取得することができる。
【0153】
本願実施例は、さらに、画像の分割方法を提供し、画像分割方法は、画像の分割装置によって実行され得、画像の分割装置は、ＵＥ、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理、ハンドヘルド機器、コンピューティング機器、車載機器またはウェアラブル機器などであり得る。本願のいくつかの実施例において、前記画像の分割方法は、プロセッサが、メモリに記憶されるコンピュータ可読命令を呼び出す方式を介して実現さすることができる。
【0154】
本願実施例において、前記画像の分割方法は、前記ニューラルネットワークのトレーニング方法に従って、トレーニングされた前記第２ニューラルネットワークを取得することと、トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力することと、を含み得る。
【0155】
本願実施例において、第３画像は３次元画像であり得、第２ニューラルネットワークは第３画像の各２次元スライスの各ピクセルの第２分類結果をレイヤごとに決定するために使用され得る。
【0156】
本願実施例で提供される画像分割方法は、第３画像をトレーニングされた第２ニューラルネットワークに入力し、トレーニングされた第２ニューラルネットワークを介して第３画像内のピクセルの第５分類結果を出力することを介して、自動的に画像を分割することができ、画像分割の時間を削減し、画像分割の精度を向上させることができる。
【0157】
本願実施例で提供される画像の分割方法は、肢救済の切除手術を実施する前に腫瘍の境界決定するために使用され得、例えば、肢救済の切除手術を実施する前に骨盤の骨腫瘍の境界を決定するために使用され得る。関連技術において、豊かな経験を持つ医者が骨腫瘍の境界を手動で描写する必要がある。本願実施例は、画像内の骨腫瘍領域を自動的に決定することを介して、医者の時間を削減し、骨腫瘍の分割に費やされる時間を大幅に減らし、肢救済の切除手術の術前計画の效率を向上させることができる。
【0158】
本願のいくつかの実施例において、トレーニングされた第２ニューラルネットワークによって出力された前記第３画像内のピクセルの第５分類結果に従って、前記第３画像内の骨腫瘍領域を決定し得る。図３Ａは、本願実施例で提供される画像の分割方法の骨盤骨腫瘍領域の概略図である。
【0159】
本願のいくつかの実施例において、前記画像の分割方法は、前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得することをさらに含む。当該実施形態において、第３画像および第４画像は、同じ対象をスキャンして取得する画像である。
【0160】
これから分かるように、本願実施例において、前記第４画像に対応する骨分割結果に従って、前記第４画像内のスケルトン境界を決定し得る。
【0161】
本願のいくつかの実施例において、前記画像の分割方法は、前記第３画像および前記第４画像のピクセル間の対応関係を決定することと、前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することと、をさらに含む。
【0162】
これから分かるように、前記第３画像および前記第４画像のピクセル間の対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することを介して、医者が手術計画およびプロテーゼの埋め込み設計のとき、骨盤における骨腫瘍の位置を理解するのを助ける。
【0163】
本願実施例において、関連アルゴリズムを介して前記第３画像および前記第４画像をレジストレーション（Ｒｅｇｉｓｔｒａｔｉｏｎ）して、前記第３画像および前記第４画像のピクセル間の対応関係を決定することができる。
【0164】
本願のいくつかの実施例において、前記対応関係に従って、前記第５分類結果を前記骨分割結果にカバレッジして、融合結果を取得することができる。
【0165】
本願のいくつかの実施例において、前記第５分類結果および前記骨分割結果を融合する前に、さらに、医者によって前記第５分類結果を手動で修正されて、骨腫瘍分割の精度をさらに向上させることができる。
【0166】
本願のいくつかの実施例において、前記第３画像はＭＲＩ画像であり、前記第４画像はＣＴ画像である。
【0167】
当該実現方式において、異なるタイプの画像を使用することを介して、異なるタイプの画像内の情報を充分に組み合わせて、医者が手術計画およびプロテーゼの埋め込み設計のとき、骨盤における骨腫瘍の位置を理解するのをよりよく助ける。
【0168】
以下、図面を参照して本願の適用シナリオを説明する。図３Ｂは、本願実施例の適用シナリオの概略図であり、図３Ｂに示されるように、骨盤領域のＭＲＩ画像３００は前記第３画像であり、第３画像を前記画像の分割装置３０１に入力して、第５分類結果を取得し得、本願のいくつかの実施例において、第５分類結果は骨盤の骨腫瘍領域を含み得る。図３Ｂに示されるシナリオは、本願実施例の１つの例示的なシナリオに過ぎず、本願は、具体的な適用シナリオに対して制限しないことに留意されたい。
【0169】
【0170】
ステップＡ１において、処理される画像を取得する。
【0171】
ここで、処理される画像は、患者の骨盤領域のＭＲＩ画像および骨盤領域のＣＴ画像を含み得、本願実施例において、核磁気共鳴検査およびＣＴ検査を介して、骨盤領域のＭＲＩ画像および骨盤領域のＣＴ画像を取得することができる。
【0172】
ステップＡ２において、医者が診断する。
【0173】
本願実施例において、医者は、処理される画像に従って診断することができ、その後ステップＡ３を実行する。
【0174】
ステップＡ３において、患肢救済手術の可能性があるか否かを判断し、はいである場合、ステップＡ５を実行し、いいえである場合、ステップＡ４を実行する。
【0175】
本願実施例において、医者は、診断結果に従って患肢救済手術の可能性を判断することができる。
【0176】
ステップＡ４において、プロセスを終了する。
【0177】
本願実施例において、医者が、患肢救済手術の可能性がないと判断すると、プロセスを終了し得、この場合、医者は、他の治療方式に従って患者を治療することができる。
【0178】
ステップＡ５において、骨盤の骨腫瘍領域を自動的に分割する。
【0179】
本願実施例において、図３Ｂを参照して骨盤領域のＭＲＩ画像３００を前記画像の分割装置３０１に入力して、骨盤骨腫瘍領域の自動的な分割を実現し、骨盤の骨腫瘍領域を決定することができる。
【0180】
ステップＡ６において、手動で修正する。
【0181】
本願実施例において、医者は、骨盤骨腫瘍領域の分割結果に対して手動に修正して、修正した後の骨盤骨腫瘍領域を取得することができる。
【0182】
ステップＡ７において、骨盤を骨分割する。
【0183】
本願実施例において、骨盤領域のＣＴ画像は前記第４画像であり、このようにして、骨盤領域のＣＴ画像を骨分割して、骨盤領域のＣＴ画像に対応する骨分割結果を取得することができる。
【0184】
ステップＡ８において、ＣＴ－ＭＲ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ－ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）をレジストレーションする。
【0185】
本願実施例において、骨盤領域のＭＲＩ画像および骨盤領域のＣＴ画像をレジストレーションして、骨盤領域のＭＲＩ画像および骨盤領域のＣＴ画像内のピクセルの対応関係を決定することができる。
【0186】
ステップＡ９において、腫瘍分割結果を骨分割結果と融合する。
【0187】
本願実施例において、ステップＡ８で決定された前記対応関係に従って、骨盤骨腫瘍領域の分割結果を骨盤領域のＣＴ画像に対応する骨分割結果と融合して、融合結果を取得することができる。
【0188】
ステップＡ１０において、骨盤－骨腫瘍モデルを３次元（３Ｄ：３－Ｄｉｍｅｎｓｉｏｎ）プリントする。
【0189】
本願実施例において、融合結果に従って、骨盤－骨腫瘍モデルの３Ｄプリントを実行する。
【0190】
ステップＡ１１において、術前計画する。
【0191】
本願実施例において、医者はプリントされた骨盤－骨腫瘍モデルに従って、術前計画を実行することができる。
【0192】
ステップＡ１２において、プロテーゼの埋め込みおよび手術ガイドを設計する。
【0193】
本願実施例において、医者は術前計画を実行した後、プロテーゼの埋め込みおよび手術ガイドを設計し得る。
【0194】
ステップＡ１３において、プロテーゼの埋め込みおよび手術ガイドを３Ｄプリントする。
【0195】
本願実施例において、医者は、プロテーゼの埋め込みおよび手術ガイドを設計した後、プロテーゼの埋め込みおよび手術ガイドの３Ｄプリントを実行することができる。
【0196】
本願で述べた上述の各方法の実施例は、原理および論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、スペースの制限により、本願には繰り返さないことを理解されたい。
【0197】
当業者は、具体的な実施形態の上記方法において、ステップの書き込み順序は、厳密な実行順序で、実装プロセスの制限となることではなく、各ステップの特定の実行順序は、その機能と可能性に基づくべきであることを理解することができる。
【0198】
加えて、本願は、さらに、ニューラルネットワークのトレーニング装置、画像の分割装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、上記は、すべて本願で提供された任意のニューラルネットワークのトレーニング方法または画像の分割方法を実現することができ、対応する技術的解決策と説明および方法部分を参照した対応する記載は、繰り返しない。
【0199】
図４は、本願実施例で提供されるニューラルネットワークのトレーニング装置の例示的な構造図であり、図４に示されるように、前記ニューラルネットワークのトレーニング装置は、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出するように構成される、第１抽出モジュール４１と、前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第１融合モジュール４２と、前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するように構成される、第１決定モジュール４３と、前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第１トレーニングモジュール４４と、を備える。
【0200】
本願のいくつかの実施例において、前記装置は、さらに、第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定するように構成される、第２決定モジュールと、前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第２トレーニングモジュールと、を備える。
【0201】
本願のいくつかの実施例において、前記装置は、さらに、トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第３決定モジュールと、トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第４決定モジュールと、前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第３トレーニングモジュールと、を備える。
【0202】
本願のいくつかの実施例において、前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる。
【0203】
本願のいくつかの実施例において、前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である。
【0204】
本願のいくつかの実施例において、前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である。
【0205】
本願のいくつかの実施例において、前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、ここで、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される。
【0206】
本願のいくつかの実施例において、前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0207】
本願のいくつかの実施例において、前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである。
【0208】
本願のいくつかの実施例において、前記第３サブネットワークは多層パーセプトロンである。
【0209】
本願のいくつかの実施例において、前記第２ニューラルネットワークはＵ－Ｎｅｔである。
【0210】
本願のいくつかの実施例において、分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む。
【0211】
本願実施例は、さらに、別のニューラルネットワークのトレーニング装置を提供し、前記装置は、第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定するように構成される、第６決定モジュールと、第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第７決定モジュールと、前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第４トレーニングモジュールと、を備える。
【0212】
本願のいくつかの実施例において、前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、前記第１画像の第１特徴および前記第２画像の第２特徴を抽出するように構成される、第２抽出モジュールと、前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第３融合モジュールと、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第８決定モジュールと、を備える。
【0213】
本願のいくつかの実施例において、前記別のニューラルネットワークのトレーニング装置は、さらに、前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第５トレーニングモジュールを備える。
【0214】
本願のいくつかの実施例において、前記別のニューラルネットワークのトレーニング装置は、さらに、前記第１画像内のピクセルの第２分類結果を決定するように構成される、第９決定モジュールと、前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第６トレーニングモジュールと、を備える。
【0215】
本願実施例は、さらに、画像の分割装置を提供し、前記装置は、前記ニューラルネットワークのトレーニング装置によって、トレーニングされた前記第２ニューラルネットワークを取得するように構成される、取得モジュールと、トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力するように構成される、出力モジュールと、を備える。
【0216】
本願のいくつかの実施例において、前記画像の分割装置は、さらに、前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得するように構成される、骨分割モジュールを備える。
【0217】
本願のいくつかの実施例において、前記画像の分割装置は、さらに、前記第３画像および前記第４画像のピクセル間の対応関係を決定するように構成される、第５決定モジュールと、前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得するように構成される、第２融合モジュールと、を備える。
【0218】
本願のいくつかの実施例において、前記第３画像はＭＲＩ画像であり、前記第４画像はＣＴ画像である。
【0219】
いくつかの実施例において、本願実施例によって提供される装置が備える機能またはモジュールは、上記の方法の実施例で説明された方法を実行するために使用され得、特定の実現は、上記の方法の実施例における説明を参照することができ、簡潔にするために、繰り返さない。
【0220】
本願実施例は、さらに、コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき、上記の方法を実現する。ここで、前記コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であり得、または揮発性コンピュータ可読記憶媒体であり得る。
【0221】
本願実施例は、さらに、コンピュータ可読コードを含むコンピュータプログラム製品を提供し、コンピュータ可読コードが機器で実行されるとき、機器内のプロセッサは上記の任意の方法を実現する命令を実行する。
【0222】
本願実施例は、さらに、コンピュータ可読命令を記憶するように構成される別のコンピュータプログラム製品を提供し、命令が実行されるとき、コンピュータに上記の任意の方法の動作を実行するようにする。
【0223】
本願実施例は、さらに、１つまたは複数のプロセッサと、実行可能命令を記憶するように構成されるメモリとを備える、電子機器を提供し、ここで、前記１つまたは複数のプロセッサは、前記メモリに記憶される実行可能命令を呼び出して、上記の任意の方法を実行するように構成される。
【0224】
電子機器は、端末、サーバまたは他の形態の機器であり得る。
【0225】
本願実施例は、さらに、コンピュータ可読コードを含むコンピュータプログラムを提出し、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは上記の任意の方法を実行する。
【0226】
図５は、本願実施例で提供される電子機器の例示的な構造図であり、例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であり得る。
【0227】
図５を参照すると、電子機器８００は、第１処理コンポーネント８０２、第１メモリ８０４、第１電力コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、第１入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ Ｏｕｔｐｕｔ）インターフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの１つまたは複数のコンポーネットを備えることができる。
【0228】
第１処理コンポーネント８０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作および記録操作に関する操作などの、電子機器８００の全般的な操作を制御する。第１処理コンポーネント８０２は、上記方法のステップのすべてまたは一部を完成するために、１つまたは複数のプロセッサ８２０を含んで命令を実行することができる。加えて、第１処理コンポーネント８０２は、第１処理コンポーネント８０２と他のコンポーネントとの相互作用を容易にするために、１つまたは複数のモジュールを含み得る。例えば、第１処理コンポーネント８０２は、マルチメディアモジュールを含んで、マルチメディアコンポーネント８０８と、第１処理コンポーネント８０２との相互作用を容易にすることができる。
【0229】
第１メモリ８０４は、機器８００における操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器８００で操作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。第１メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイス、またはそれらの組み合わせで実現することができる。
【0230】
第１電力コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。第１電力コンポーネント８０６は、電力管理システム、１つまたは複数の電源、および電子機器８００のために、電力を生成、管理および割り当てに関連付けられる、他のコンポーネントを含み得る。
【0231】
マルチメディアコンポーネント８０８は、前記電子機器８００とユーザとの間に出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）およびタッチパネル（ＴＰ：Ｔｏｕｃｈ Ｐａｄ）を含み得る。スクリーンにタッチパネルが含まれる場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スワイプおよびタッチパネルにおけるジェスチャを検知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関する、持続時間および圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント８０８は、１つのフロントカメラおよび／またはリアカメラを含む。電子機器８００が、撮影モードまたはビデオモードなどの操作モードにいるとき、フロントカメラおよび／またはリアカメラは、外部のマルチメディアデータを受信し得る。各フロントカメラおよびリアカメラは、固定光学レンズシステムであり得、または焦点距離と光学ズーム機能を有することがあり得る。
【0232】
オーディオコンポーネント８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイク（ＭＩＣ）を含み、電子機器８００が、通話モード、録音モードおよび音声認識モードなどの操作モードにいる場合、マイクは、外部オーディオ信号を受信するように構成される。受信されるオーディオ信号は、さらに第１メモリ８０４に記憶されることができ、または通信コンポーネント８１６を介して、送信されることができる。いくつかの実施例において、オーディオコンポーネント８１０は、さらに、スピーカを備え、オーディオ信号を出力するために使用される。
【0233】
第１入力／出力インターフェース８１２は、第１処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであり得る。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含み得るが、これらに限定されない。
【0234】
センサコンポーネント８１４は、電子機器８００に各態様の状態評価を提供するための１つまたは複数のセンサを備える。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、電子機器８００のディスプレイとキーパッドなどのコンポーネントの、相対的な位置を検出することができ、センサコンポーネント８１４は、電子機器８００または電子機器８００の１つのコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加速／減速、および電子機器８００の温度の変化も検出することができる。センサコンポーネット８１４は、近接センサを備えることができ、物理的接触なしに近くの物体の存在を検出するように構成される。センサコンポーネント８１４は、さらに、相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合デバイス（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサなどの、光センサを備えることができ、撮像適用のために使用される。いくつかの実施例において、当該センサコンポーネント８１４は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを備えることができる。
【0235】
通信コンポーネント８１６は、電子機器８００と他の機器の間の有線、または無線方式の通信を容易にするように構成される。電子機器８００は、Ｗｉ－Ｆｉ、２Ｇ、３Ｇ、４Ｇ／ＬＴＥ、５Ｇまたはそれらの組み合わせなどの、通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、通信コンポーネント８１６は、放送チャンネルを介して、外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８１６は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールを備える。例えば、ＮＦＣモジュールは、基于無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術および他の技術に基づいて実現されることができる。
【0236】
例示的な実施例において、電子機器８００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子素子によって実現されて、上記の任意の方法を実行するために使用されることができる。
【0237】
例示的な実施例において、さらに、コンピュータプログラム命令を含む第１メモリ８０４などの、不揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されて上記の任意の方法を完成することができる。
【0238】
図６は、本願実施例で提供される別の電子機器の例示的な構造図であり、例えば、電子機器９００は、サーバとして提供されることができる。図６を参照すると、電子機器１９００は、第２処理コンポーネント１９２２を備え、さらに、１つまたは複数のプロセッサ、および第２メモリ１９３２によって表されるメモリリソースをさらに備え、アプリケーションプログラムなど、第２処理コンポーネント１９２２によって、実行される命令を記憶するために使用される。第２メモリ１９３２に記憶されるアプリケーションプログラムは、１つまたは１つ以上の各１セットの命令に対応するモジュールを備えることができる。加えて、第２処理コンポーネント１９２２は、命令を実行するように構成されて、上記の方法を実行する。
【0239】
電子機器１９００は、さらに、電子機器１９００の電源管理を実行するように構成される１つの電力コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される、１つの有線または無線ネットワークインターフェース１９５０と、第２入力／出力（Ｉ／Ｏ）インターフェース１９５８とを備えることができる。電子機器１９００は、Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ ＯＳ Ｘ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）または類似したものなどの、第２メモリ１９３２に記憶されることに基づく、操作システムを操作することができる。
【0240】
例示的な実施例において、さらに、コンピュータプログラム命令を含む第２メモリ１９３２などの、不揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、電子機器１９００の第２処理コンポーネント１９２２によって実行されて上記の任意の方法を完成することができる。
【0241】
本願は、システム、方法および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに、本願の様々な態様を実現させるために使用される、コンピュータ可読プログラム命令がロードされる、コンピュータ可読記憶媒体を含み得る。
【0242】
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持および記憶することができる有形の機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体貯蔵機器、または前記任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）には、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリスティック、フロッピー（登録商標）ディスク、機械的エンコーディング機器、例えば命令が記憶されるパンチカードまたは溝の突出構造、および前記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、無線電波または他の自由に伝播する電磁波、導波管または他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを介する光パルス）、またはワイヤを介して伝送される電気信号などの過渡信号自体として解釈されない。
【0243】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング／処理機器にダウンロードするか、またはインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはワイヤレスネットワークなどのネットワークを介して、外部コンピュータまたは外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含み得る。各コンピューティング／処理機器におけるネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を転送して、各コンピューティング／処理機器内のコンピュータ可読記憶媒体に記憶される。
【0244】
本願の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、ステータス設定データ、または１つまたは複数のプログラミング言語の任意の組み合わせで記述されるソースコードまたはオブジェクトコードであり得、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋など、対象指向のプログラミング言語と、および「Ｃ」言語または同様のプログラミング言語など、従来の手続き型プログラミング言語とを含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行でき、部分的にユーザのコンピュータで実行でき、スタンドアロンパッケージとして実行でき、ユーザのコンピュータで一部、リモートコンピュータで一部実行でき、または、完全にリモートコンピュータまたはサーバーで実行できる。リモートコンピュータに関するシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを介して、ユーザのコンピュータにアクセスでき、または、リモートコンピュータにアクセスできる（例えば、インターネットサービスプロバイダーを使用してインターネットを介してアクセスする）。いくつかの実施例において、コンピュータ可読プログラム命令のステータス情報を使用することを介して、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）などの電子回路をパーソナライズにスタマイズし、当該電子回路は、コンピュータ可読プログラム命令を実行して、本願の様々な態様を実現することができる。
【0245】
本明細書では、本願の実施例による方法、装置（システム）、およびコンピュータプログラム製品の、フローチャートおよび／またはブロック図を参照して、本願の様々な態様を説明する。フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図内の各ブロックの組み合わせは、コンピュータ可読プログラム命令によって実現されることを理解されたい。
【0246】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、固有コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供することができ、それにより、デバイスが作成され、これらの命令が、コンピュータ、または他のプログラマブルデータ処理装置のプロセッサによって実行されるとき、フローチャートおよび／またはブロック図内の、１つまたは複数のブロックの指定される機能／アクションを実現させる。これらのコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体に記憶することもでき、これらの命令は、コンピュータ、プログラマブルデータ処理装置および／または他の機器を、特定の方式で作業するようにし、従って、命令が記憶されているコンピュータ可読媒体は、フローチャートおよび／またはブロック図内の１つまたは複数のブロックの指定される機能／アクションを実現する様々な態様の命令を含む製造品を含む。
【0247】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることもでき、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で一連の操作ステップを実行して、コンピュータ実現のプロセスを生成させ、これにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で実行する命令を、フローチャートおよび／またはブロック図内の１つまたは複数のブロックの指定される機能／アクションを実現させる。
【0248】
図面におけるフローチャートおよびブロック図は、本願の複数の実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能、および操作を示す。この点について、フローチャートまたはブロック図内の各ブロックは、１つのモジュール、プログラムセグメント、または命令の一部を表すことができ、前記モジュール、プログラムセグメント、または命令の一部は、１つまたは複数の指定される論理機能を実現するために使用される実行可能な命令を含む。いくつかの代替実現において、ブロックのマークされる機能は、図面でマークされる順序とは異なる順序で発生することもできる。例えば、関する機能によって、２つの連続するブロックは、実際に基本的に並行して実行でき、時には逆の順序で実行できる。ブロック図および／またはフローチャート内の各ブロック、およびブロック図および／またはフローチャートのブロックの組み合わせは、指定される機能またはアクションを実行する専用のハードウェアベースのシステムによって実現されるか、または、ハードウェアとコンピュータ命令の組み合わせを使用して実現されることもできることを留意する必要がある。
【0249】
当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェアまたはそれらを組み合わせる方式を介して実現されることができる。１つの例示的な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の例示的な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として具現される。
【0250】
以上、本願の各実施例を説明したが、上記の説明は、例示的なものに過ぎず、網羅的ではなく、且つ、開示された各実施例に限定されない。説明された各実施例の範囲および思想から逸脱してない場合は、当業者にとって、多くの修正および変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の適用、または市場における技術の改善を最もよく説明するか、または、当業者が、本明細書で開示される各実施例を理解することができるようにすることを意図する。
【産業上の利用可能性】
【0251】
本願実施例は、ニューラルネットワークトレーニングおよび画像の分割方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムを提出する。前記方法は、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む。本願実施例は、画像分割の精度を向上させる。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2021-07-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ニューラルネットワークのトレーニング方法であって、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む、前記ニューラルネットワークのトレーニング方法。
【請求項2】
前記ニューラルネットワークのトレーニング方法は、第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項3】
前記ニューラルネットワークのトレーニング方法は、トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、
トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項4】
前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なり、および/または
前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像であり、および/または
前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である、
請求項１ないし３のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項5】
前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは、前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される、請求項１ないし４のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項6】
前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔであり、および/または
前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔであり、および/または
前記第３サブネットワークは多層パーセプトロンである、
請求項５に記載のニューラルネットワークのトレーニング方法。
【請求項7】
前記第２ニューラルネットワークはＵ－Ｎｅｔである、請求項２または３に記載のニューラルネットワークのトレーニング方法。
【請求項8】
分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む、請求項１ないし７のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項9】
ニューラルネットワークのトレーニング方法であって、第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、を含む、
前記ニューラルネットワークのトレーニング方法。
【請求項10】
前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、前記第１画像の第１特徴および前記第２画像の第２特徴を抽出することと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、を含む、
請求項９に記載のニューラルネットワークのトレーニング方法。
【請求項11】
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、をさらに含む、請求項９または１０に記載のニューラルネットワークのトレーニング方法。
【請求項12】
前記第１画像内のピクセルの第２分類結果を決定することと、前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
請求項９ないし１１のいずれか１項に記載のニューラルネットワークのトレーニング方法。
【請求項13】
画像の分割方法であって、請求項２ないし１２のいずれか１項に記載のニューラルネットワークのトレーニング方法に従って、トレーニングされた前記第２ニューラルネットワークを取得することと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力することと、を含む、前記画像の分割方法。
【請求項14】
前記画像の分割方法は、前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得することをさらに含む、
請求項１３に記載の画像の分割方法。
【請求項15】
前記画像の分割方法は、前記第３画像および前記第４画像のピクセル間の対応関係を決定することと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することと、をさらに含む、
請求項１４に記載の画像の分割方法。
【請求項16】
前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ）画像である、請求項１４または１５に記載の画像の分割方法。
【請求項17】
ニューラルネットワークのトレーニング装置であって、第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出するように構成される、第１抽出モジュールと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第１融合モジュールと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するように構成される、第１決定モジュールと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第１トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
【請求項18】
ニューラルネットワークのトレーニング装置であって、第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定するように構成される、第６決定モジュールと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第７決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第４トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
【請求項19】
画像の分割装置であって、請求項１８に記載のニューラルネットワークのトレーニング装置によって、トレーニングされた前記第２ニューラルネットワークを取得するように構成される、取得モジュールと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力するように構成される、出力モジュールと、を備える、前記画像の分割装置。
【請求項20】
電子機器であって、１つまたは複数のプロセッサと、
実行可能命令を記憶するように構成されるメモリとを備え、
前記１つまたは複数のプロセッサは、前記メモリに記憶される実行可能命令を呼び出して、請求項１ないし１６のいずれか１項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、前記電子機器。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【0087】
本願実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、上記の任意の方法を実現する。
例えば、本願は以下の項目を提供する。
（項目１）
ニューラルネットワークのトレーニング方法であって、
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む、前記ニューラルネットワークのトレーニング方法。
（項目２）
前記ニューラルネットワークのトレーニング方法は、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
項目１に記載のニューラルネットワークのトレーニング方法。
（項目３）
前記ニューラルネットワークのトレーニング方法は、
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、
トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目４）
前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる、
項目１ないし３のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目５）
前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である、
項目４に記載のニューラルネットワークのトレーニング方法。
（項目６）
前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である、
項目１ないし５のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目７）
前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは、前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される、
項目１ないし６のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目８）
前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目７に記載のニューラルネットワークのトレーニング方法。
（項目９）
前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目７または８に記載のニューラルネットワークのトレーニング方法。
（項目１０）
前記第３サブネットワークは多層パーセプトロンである、
項目７ないし９のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目１１）
前記第２ニューラルネットワークはＵ－Ｎｅｔである、
項目２または３に記載のニューラルネットワークのトレーニング方法。
（項目１２）
分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む、
項目１ないし１１のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目１３）
ニューラルネットワークのトレーニング方法であって、
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、を含む、
前記ニューラルネットワークのトレーニング方法。
（項目１４）
前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出することと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、を含む、
項目１３に記載のニューラルネットワークのトレーニング方法。
（項目１５）
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、をさらに含む、
項目１３または１４に記載のニューラルネットワークのトレーニング方法。
（項目１６）
前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
項目１３ないし１５のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目１７）
画像の分割方法であって、
項目２ないし１６のいずれか１項に記載のニューラルネットワークのトレーニング方法に従って、トレーニングされた前記第２ニューラルネットワークを取得することと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力することと、を含む、前記画像の分割方法。
（項目１８）
前記画像の分割方法は、
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得することをさらに含む、
項目１７に記載の画像の分割方法。
（項目１９）
前記画像の分割方法は、
前記第３画像および前記第４画像のピクセル間の対応関係を決定することと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することと、をさらに含む、
項目１８に記載の画像の分割方法。
（項目１９）
前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ）画像である、
項目１８または１９に記載の画像の分割方法。
（項目２１）
ニューラルネットワークのトレーニング装置であって、
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出するように構成される、第１抽出モジュールと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第１融合モジュールと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するように構成される、第１決定モジュールと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第１トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
（項目２２）
前記ニューラルネットワークのトレーニング装置は、さらに、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定するように構成される、第２決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第２トレーニングモジュールと、を備える、
項目２１に記載のニューラルネットワークのトレーニング装置。
（項目２３）
前記ニューラルネットワークのトレーニング装置は、さらに、
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第３決定モジュールと、
トレーニングされた前記第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第４決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第３トレーニングモジュールと、を備える、
項目２２に記載のニューラルネットワークのトレーニング装置。
（項目２４）
前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる、
項目２１ないし２３のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目２５）
前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である、
項目２４に記載のニューラルネットワークのトレーニング装置。
（項目２６）
前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である、
項目２１ないし２５のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目２７）
前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される、
項目２１ないし２６のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目２８）
前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目２７に記載のニューラルネットワークのトレーニング装置。
（項目２９）
前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目２７または２８に記載のニューラルネットワークのトレーニング装置。
（項目３０）
前記第３サブネットワークは多層パーセプトロンである、
項目２７ないし２９のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目３１）
前記第２ニューラルネットワークはＵ－Ｎｅｔである、
項目２２または２３に記載のニューラルネットワークのトレーニング装置。
（項目３２）
分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む、
項目２１ないし３１のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目３３）
ニューラルネットワークのトレーニング装置であって、
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定するように構成される、第６決定モジュールと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第７決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第４トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
（項目３４）
前記第６決定モジュールは、
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出するように構成される、第２抽出モジュールと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第３融合モジュールと、
前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第８決定モジュールと、を備える、
項目３３に記載のニューラルネットワークのトレーニング装置。
（項目３５）
前記ニューラルネットワークのトレーニング装置は、さらに、
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第５トレーニングモジュールを備える、
項目３３または３４に記載のニューラルネットワークのトレーニング装置。
（項目３６）
前記ニューラルネットワークのトレーニング装置は、さらに、
前記第１画像内のピクセルの第２分類結果を決定するように構成される、第９決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第６トレーニングモジュールと、を備える、
項目３３ないし３５のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目３７）
画像の分割装置であって、
項目２２ないし３６のいずれか１項に記載のニューラルネットワークのトレーニング装置によって、トレーニングされた前記第２ニューラルネットワークを取得するように構成される、取得モジュールと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力するように構成される、出力モジュールと、を備える、前記画像の分割装置。
（項目３８）
前記画像の分割装置は、さらに、
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得するように構成される、骨分割モジュールを備える、
項目３７に記載の画像の分割装置。
（項目３９）
前記画像の分割装置は、さらに、
前記第３画像および前記第４画像のピクセル間の対応関係を決定するように構成される、第５決定モジュールと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得するように構成される、第２融合モジュールと、を備える、
項目３８に記載の画像の分割装置。
（項目４０）
前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ）画像である、
項目３８または３９に記載の画像の分割装置。
（項目４１）
電子機器であって、
１つまたは複数のプロセッサと、
実行可能命令を記憶するように構成されるメモリとを備え、
前記１つまたは複数のプロセッサは、前記メモリに記憶される実行可能命令を呼び出して、項目１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、前記電子機器。
（項目４２）
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行される時に、項目１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現する、前記コンピュータ可読記憶媒体。
（項目４３）
コンピュータ可読コードを含むコンピュータプログラムであって、
前記コンピュータ可読コードが電子機器で実行するとき、前記電子機器内のプロセッサは、項目１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現するために実行される、前記コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
ニューラルネットワークのトレーニング方法であって、
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出することと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定することと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、を含む、前記ニューラルネットワークのトレーニング方法。
（項目２）
前記ニューラルネットワークのトレーニング方法は、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
項目１に記載のニューラルネットワークのトレーニング方法。
（項目３）
前記ニューラルネットワークのトレーニング方法は、
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、
トレーニングされた第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目４）
前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる、
項目１ないし３のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目５）
前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である、
項目４に記載のニューラルネットワークのトレーニング方法。
（項目６）
前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である、
項目１ないし５のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目７）
前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは、前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される、
項目１ないし６のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目８）
前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目７に記載のニューラルネットワークのトレーニング方法。
（項目９）
前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目７または８に記載のニューラルネットワークのトレーニング方法。
（項目１０）
前記第３サブネットワークは多層パーセプトロンである、
項目７ないし９のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目１１）
前記第２ニューラルネットワークはＵ－Ｎｅｔである、
項目２または３に記載のニューラルネットワークのトレーニング方法。
（項目１２）
分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む、
項目１ないし１１のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目１３）
ニューラルネットワークのトレーニング方法であって、
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定することと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングすることと、を含む、
前記ニューラルネットワークのトレーニング方法。
（項目１４）
前記第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定することは、
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出することと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得することと、
前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定することと、を含む、
項目１３に記載のニューラルネットワークのトレーニング方法。
（項目１５）
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングすることと、をさらに含む、
項目１３または１４に記載のニューラルネットワークのトレーニング方法。
（項目１６）
前記第１画像内のピクセルの第２分類結果を決定することと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングすることと、をさらに含む、
項目１３ないし１５のいずれか１項に記載のニューラルネットワークのトレーニング方法。
（項目１７）
画像の分割方法であって、
項目２ないし１６のいずれか１項に記載のニューラルネットワークのトレーニング方法に従って、トレーニングされた前記第２ニューラルネットワークを取得することと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力することと、を含む、前記画像の分割方法。
（項目１８）
前記画像の分割方法は、
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得することをさらに含む、
項目１７に記載の画像の分割方法。
（項目１９）
前記画像の分割方法は、
前記第３画像および前記第４画像のピクセル間の対応関係を決定することと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得することと、をさらに含む、
項目１８に記載の画像の分割方法。
（項目１９）
前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ）画像である、
項目１８または１９に記載の画像の分割方法。
（項目２１）
ニューラルネットワークのトレーニング装置であって、
第１ニューラルネットワークを介して第１画像の第１特徴および第２画像の第２特徴を抽出するように構成される、第１抽出モジュールと、
前記第１ニューラルネットワークを介して前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第１融合モジュールと、
前記第１ニューラルネットワークを介して、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するように構成される、第１決定モジュールと、
前記第１分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第１トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
（項目２２）
前記ニューラルネットワークのトレーニング装置は、さらに、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第２分類結果を決定するように構成される、第２決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第２トレーニングモジュールと、を備える、
項目２１に記載のニューラルネットワークのトレーニング装置。
（項目２３）
前記ニューラルネットワークのトレーニング装置は、さらに、
トレーニングされた前記第１ニューラルネットワークを介して前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第３決定モジュールと、
トレーニングされた前記第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第４決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第３トレーニングモジュールと、を備える、
項目２２に記載のニューラルネットワークのトレーニング装置。
（項目２４）
前記第１画像および前記第２画像はスキャン画像であり、前記第１画像と前記第２画像とのスキャン平面は異なる、
項目２１ないし２３のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目２５）
前記第１画像は横断面の画像であり、前記第２画像は冠状面の画像または矢状面の画像である、
項目２４に記載のニューラルネットワークのトレーニング装置。
（項目２６）
前記第１画像および前記第２画像は両方とも磁気共鳴画像（ＭＲＩ）の画像である、
項目２１ないし２５のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目２７）
前記第１ニューラルネットワークは、第１サブネットワーク、第２サブネットワークおよび第３サブネットワークを含み、前記第１サブネットワークは、前記第１画像の第１特徴を抽出するために使用され、前記第２サブネットワークは、第２画像の第２特徴を抽出するために使用され、前記第３サブネットワークは前記第１特徴と前記第２特徴を融合して、第３特徴を取得し、前記第３特徴に従って前記第１画像および前記第２画像における重複するピクセルの第１分類結果を決定するために使用される、
項目２１ないし２６のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目２８）
前記第１サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目２７に記載のニューラルネットワークのトレーニング装置。
（項目２９）
前記第２サブネットワークは、最後の２つのレイヤを除去したＵ－Ｎｅｔである、
項目２７または２８に記載のニューラルネットワークのトレーニング装置。
（項目３０）
前記第３サブネットワークは多層パーセプトロンである、
項目２７ないし２９のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目３１）
前記第２ニューラルネットワークはＵ－Ｎｅｔである、
項目２２または２３に記載のニューラルネットワークのトレーニング装置。
（項目３２）
分類結果は、ピクセルが腫瘍領域に属する確率およびピクセルが非腫瘍領域に属する確率のうちの１つまたは２つを含む、
項目２１ないし３１のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目３３）
ニューラルネットワークのトレーニング装置であって、
第１ニューラルネットワークを介して第１画像および第２画像における重複するピクセルの第３分類結果を決定するように構成される、第６決定モジュールと、
第２ニューラルネットワークを介して前記第１画像内のピクセルの第４分類結果を決定するように構成される、第７決定モジュールと、
前記第３分類結果および前記第４分類結果に従って、前記第２ニューラルネットワークをトレーニングするように構成される、第４トレーニングモジュールと、を備える、前記ニューラルネットワークのトレーニング装置。
（項目３４）
前記第６決定モジュールは、
前記第１画像の第１特徴および前記第２画像の第２特徴を抽出するように構成される、第２抽出モジュールと、
前記第１特徴と前記第２特徴を融合して、第３特徴を取得するように構成される、第３融合モジュールと、
前記第３特徴に従って、前記第１画像および前記第２画像における重複するピクセルの第３分類結果を決定するように構成される、第８決定モジュールと、を備える、
項目３３に記載のニューラルネットワークのトレーニング装置。
（項目３５）
前記ニューラルネットワークのトレーニング装置は、さらに、
前記第３分類結果、および前記重複するピクセルに対応するラベルデータに従って、前記第１ニューラルネットワークをトレーニングするように構成される、第５トレーニングモジュールを備える、
項目３３または３４に記載のニューラルネットワークのトレーニング装置。
（項目３６）
前記ニューラルネットワークのトレーニング装置は、さらに、
前記第１画像内のピクセルの第２分類結果を決定するように構成される、第９決定モジュールと、
前記第２分類結果、および前記第１画像に対応するラベルデータに従って、前記第２ニューラルネットワークをトレーニングするように構成される、第６トレーニングモジュールと、を備える、
項目３３ないし３５のいずれか１項に記載のニューラルネットワークのトレーニング装置。
（項目３７）
画像の分割装置であって、
項目２２ないし３６のいずれか１項に記載のニューラルネットワークのトレーニング装置によって、トレーニングされた前記第２ニューラルネットワークを取得するように構成される、取得モジュールと、
トレーニングされた前記第２ニューラルネットワークに第３画像を入力し、トレーニングされた前記第２ニューラルネットワークを介して前記第３画像内のピクセルの第５分類結果を出力するように構成される、出力モジュールと、を備える、前記画像の分割装置。
（項目３８）
前記画像の分割装置は、さらに、
前記第３画像に対応する第４画像に対して骨分割を実行して、前記第４画像に対応する骨分割結果を取得するように構成される、骨分割モジュールを備える、
項目３７に記載の画像の分割装置。
（項目３９）
前記画像の分割装置は、さらに、
前記第３画像および前記第４画像のピクセル間の対応関係を決定するように構成される、第５決定モジュールと、
前記対応関係に従って、前記第５分類結果と前記骨分割結果を融合して、融合結果を取得するように構成される、第２融合モジュールと、を備える、
項目３８に記載の画像の分割装置。
（項目４０）
前記第３画像はＭＲＩ画像であり、前記第４画像はコンピュータ断層スキャン（ＣＴ）画像である、
項目３８または３９に記載の画像の分割装置。
（項目４１）
電子機器であって、
１つまたは複数のプロセッサと、
実行可能命令を記憶するように構成されるメモリとを備え、
前記１つまたは複数のプロセッサは、前記メモリに記憶される実行可能命令を呼び出して、項目１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、前記電子機器。
（項目４２）
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行される時に、項目１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現する、前記コンピュータ可読記憶媒体。
（項目４３）
コンピュータ可読コードを含むコンピュータプログラムであって、
前記コンピュータ可読コードが電子機器で実行するとき、前記電子機器内のプロセッサは、項目１ないし２０のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現するために実行される、前記コンピュータプログラム。
【国際調査報告】