特表 2022-529682 医学映像分割方法、装置、コンピュータデバイスおよびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-23

(54)【発明の名称】医学映像分割方法、装置、コンピュータデバイスおよびコンピュータプログラム

(51)【国際特許分類】

   G06T 7/215 20170101AFI20220616BHJP

   G06T 7/00 20170101ALI20220616BHJP

   G06T 7/174 20170101ALI20220616BHJP

   A61B 5/00 20060101ALI20220616BHJP

【ＦＩ】

G06T7/215

G06T7/00 350C

G06T7/174

A61B5/00 G

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021561990

(86)(22)【出願日】2020-07-29

(85)【翻訳文提出日】2021-10-18

(86)【国際出願番号】 CN2020105409

(87)【国際公開番号】W WO2021031815

(87)【国際公開日】2021-02-25

(31)【優先権主張番号】201910764981.X

(32)【優先日】2019-08-19

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】曹 世磊

(72)【発明者】

【氏名】胡 一凡

(72)【発明者】

【氏名】▲馬▼ ▲カイ▼

(72)【発明者】

【氏名】▲鄭▼ 冶▲楓▼

【テーマコード（参考）】

4C117

5L096

【Ｆターム（参考）】

4C117XB01

4C117XD24

4C117XD27

4C117XE18

4C117XE43

4C117XE44

4C117XE45

4C117XK05

4C117XK15

4C117XK18

4C117XK24

4C117XK43

4C117XR07

4C117XR08

5L096BA06

5L096BA13

5L096GA34

5L096HA04

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

コンピュータデバイスが実行する医学映像分割方法である、この方法は、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得するステップと、前記第１医学映像および前記第２医学映像のそれぞれに特徴抽出を行い、前記第１医学映像の第１特徴情報と前記第２医学映像の第２特徴情報を得るステップと、前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップと、前記オプティカルフロー動き情報、およびラベリングされたターゲットオブジェクト領域に基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得るステップと、を含む。

【特許請求の範囲】

【請求項1】

コンピュータデバイスが実行する医学映像分割方法であって、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得するステップと、
前記第１医学映像および前記第２医学映像のそれぞれに特徴抽出を行い、前記第１医学映像の第１特徴情報と前記第２医学映像の第２特徴情報を得るステップと、
前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップと、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得るステップと、
を含むことを特徴とする医学映像分割方法。

【請求項2】

前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得るステップは、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得るステップと、
再構築後のターゲットオブジェクト領域を、前記第１医学映像の分割結果とするステップと、を含む、
ことを特徴とする請求項１に記載の医学映像分割方法。

【請求項3】

前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得るステップは、
前記オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得るステップと、
処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得るステップと、を含む、
ことを特徴とする請求項２に記載の医学映像分割方法。

【請求項4】

前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップは、
前記第１特徴情報と前記第２特徴情報を関連付けて、前記第２医学映像と前記第１医学映像との間の画素位置の対応関係情報を得るステップと、
前記画素位置の対応関係情報に対してアップサンプリング操作を行い、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を得るステップと、を含む、
ことを特徴とする請求項１に記載の医学映像分割方法。

【請求項5】

前記第１特徴情報と前記第２特徴情報を関連付けて、前記第２医学映像と前記第１医学映像との間の画素位置の対応関係情報を得るステップは、
前記第１医学映像の第１特徴情報に対して畳み込み操作を行い、第１畳み込み特徴情報を得るステップと、
前記第２医学映像の第２特徴情報に対して畳み込み操作を行い、第２畳み込み特徴情報を得るステップと、
前記第１畳み込み特徴情報と前記第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得るステップと、
前記第１融合特徴情報と前記第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得るステップと、を含む、
ことを特徴とする請求項４に記載の医学映像分割方法。

【請求項6】

前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップは、
第１敵対的生成ネットワークにおける第１生成器を使用して、前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップ、を含む、
ことを特徴とする請求項１に記載の医学映像分割方法。

【請求項7】

前記第１敵対的生成ネットワークは、
第１サンプル医学映像と、ターゲットオブジェクトラベリング結果を有する第２サンプル医学映像とを取得するステップと、
訓練対象となる第１敵対的生成ネットワークにおける第１生成器を使用して、前記第２サンプル医学映像から前記第１サンプル医学映像への第１サンプルオプティカルフロー動き情報を取得するステップと、
前記訓練対象となる第１敵対的生成ネットワークにおける再構築モジュールを使用して、前記第１サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第１サンプル医学映像に対応する第１再構築後の医学映像と、第１分割結果とを得るステップと、
第２敵対的生成ネットワークにおける第２生成器を使用して、前記第１再構築後の医学映像から前記第２サンプル医学映像への第２サンプルオプティカルフロー動き情報を取得するステップと、
第２敵対的生成ネットワークにおける再構築モジュールを使用して、前記第２サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第２サンプル医学映像に対応する第２再構築後の医学映像と、第２分割結果とを得るステップと、
前記第１再構築後の医学映像、前記第１分割結果、前記第２再構築後の医学映像、および前記第２分割結果に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップと、によって訓練されるものである、
ことを特徴とする請求項６に記載の医学映像分割方法。

【請求項8】

前記第１再構築後の医学映像、前記第１分割結果、前記第２再構築後の医学映像、および前記第２分割結果に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップは、
前記第１再構築後の医学映像と、前記第２再構築後の医学映像とに基づいて、映像再構築空間における再構築一致性損失を取得するステップと、
前記第１分割結果、前記第２分割結果、および前記第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得するステップと、
前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップと、を含む、
ことを特徴とする請求項７に記載の医学映像分割方法。

【請求項9】

前記再構築一致性損失には、映像再構築一致性損失と、軌跡一致性損失とが含まれ、
前記第１再構築後の医学映像と、前記第２再構築後の医学映像とに基づいて、映像再構築空間における再構築一致性損失を取得するステップは、
前記第２再構築後の医学映像と前記第２サンプル医学映像とに基づいて、前記第２サンプル医学映像と前記第２再構築後の医学映像が一致に維持される場合の映像再構築一致性損失を取得するステップと、
前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報とに基づいて、前記第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得するステップとを、含む、
ことを特徴とする請求項８に記載の医学映像分割方法。

【請求項10】

前記分割一致性損失には、映像分割一致性損失、マスク値損失、およびセマンティクス一致性損失が含まれ、
前記第１分割結果、前記第２分割結果、および前記第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得するステップは、
前記第２分割結果と前記ターゲットオブジェクトラベリング結果とに基づいて、前記ターゲットオブジェクトラベリング結果と前記第２分割結果が一致に維持される場合の映像分割一致性損失を取得するステップと、
前記第１分割結果、前記第２分割結果、および予め設定された分割マスク値に基づいて、前記第１分割結果、前記第２分割結果の、前記予め設定された分割マスク値に対するマスク値損失をそれぞれ取得するステップと、
前記第１分割結果に基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築するステップと、を含む、
ことを特徴とする請求項８に記載の医学映像分割方法。

【請求項11】

前記第１分割結果に基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築するステップは、
前記第１分割結果における画素値に対して、予め設定された方向に沿って導関数を求めて、予め設定された方向の、導関数を求める結果を得るステップと、
予め設定された方向の、導関数を求める結果と、前記第１分割結果とに基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築するステップと、を含む、
ことを特徴とする請求項１０に記載の医学映像分割方法。

【請求項12】

前記第１サンプルオプティカルフロー動き情報と、前記第２サンプルオプティカルフロー動き情報に基づいて、前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得するステップは、
１つのオリジナルの医学映像を生成するステップと、
前記第１サンプルオプティカルフロー動き情報と、前記第２サンプルオプティカルフロー動き情報とに基づいて、前記オリジナルの医学映像を変換し、変換された医学映像を得るステップと、
前記変換された医学映像と前記オリジナルの医学映像との間の変換損失を取得するステップと、
前記変換損失を、前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失とするステップと、を含む、
ことを特徴とする請求項９に記載の医学映像分割方法。

【請求項13】

前記方法は、さらに、
前記訓練対象となる第１敵対的生成ネットワークにおける判別器を使用して、前記第１サンプル医学映像と前記第１再構築後の医学映像を判別し、判別結果を得るステップと、
前記第１再構築後の医学映像、および前記判別結果に基づいて、前記第１敵対的生成ネットワークの敵対的損失を取得するステップと、を含み、
前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練後の第１敵対的生成ネットワークを得るステップは、
前記敵対的損失、前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップ、を含む、
ことを特徴とする請求項８に記載の医学映像分割方法。

【請求項14】

医学映像分割装置であって、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得する取得ユニットと、
前記第１医学映像および前記第２医学映像のそれぞれに特徴抽出を行い、前記第１医学映像の第１特徴情報と前記第２医学映像の第２特徴情報を得る特徴抽出ユニットと、
前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するオプティカルフローユニットと、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得る分割ユニットと、
を含むことを特徴とする医学映像分割装置。

【請求項15】

前記分割ユニットは、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得る再構築サブユニットと、
再構築後のターゲットオブジェクト領域を、前記第１医学映像の分割結果とする分割サブユニットと、を含む、
ことを特徴とする請求項１４に記載の医学映像分割装置。

【請求項16】

前記再構築サブユニットは、さらに、
前記オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得ることと、
処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得ることと、のために使用される、
ことを特徴とする請求項１５に記載の医学映像分割装置。

【請求項17】

前記オプティカルフローユニットは、
前記第１特徴情報と前記第２特徴情報を関連付けて、前記第２医学映像と前記第１医学映像との間の画素位置の対応関係情報を得る関連付けサブユニットと、
前記画素位置の対応関係情報に対してアップサンプリング操作を行い、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を得るサンプリングサブユニットと、を含む、
ことを特徴とする請求項１４に記載の医学映像分割装置。

【請求項18】

前記関連付けサブユニットは、さらに、
前記第１医学映像の第１特徴情報に対して畳み込み操作を行い、第１畳み込み特徴情報を得ることと、
前記第２医学映像の第２特徴情報に対して畳み込み操作を行い、第２畳み込み特徴情報を得ることと、
前記第１畳み込み特徴情報と前記第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得ることと、
前記第１融合特徴情報と前記第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得る、のために使用される、
ことを特徴とする請求項１７に記載の医学映像分割装置。

【請求項19】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１～１３のいずれか１項に記載の方法のステップが実現される、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項20】

メモリ、プロセッサ、およびメモリに記憶され、かつプロセッサ上で実行可能なコンピュータプログラムを含むコンピュータデバイスであって、
前記プロセッサは、前記プログラムを実行すると、請求項１～１３のいずれか１項に記載の方法のステップを実現する、
ことを特徴とするコンピュータデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は、２０１９年０８月１９日へ中国特許庁に提出された、出願番号が２０１９１０７６４９８１．Ｘであり、発明名称が「医学映像分割方法、装置、コンピュータデバイスおよび読み取り可能な記憶媒体」である中国特許出願の優先権を主張し、そのすべての内容は、参照により本願に組み込まれる。

【0002】

［技術分野］
本発明は、人工知能の技術分野に関し、具体的には、医学映像分割方法、装置、コンピュータデバイスおよび読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の発展に伴い、医療分野、特に医学映像の分割におけるＡＩの適用は、ますます広範になりつつある。例えば、肝臓の分割を例として、具体的には、肝臓がラベリングされたサンプル映像を使用して、畳み込みニューラルネットワークを訓練し、そして、分割対象となる三次元（３Ｄ：３ Ｄｉｍｅｎｓｉｏｎ）肝臓映像、例えば肝臓の電子コンピュータ断層スキャン（ＣＴ、Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）映像を、訓練後の畳み込みニューラルネットワークに入力して分割し、例えば肝臓の領域を得るなどのように、器官分割結果を得る。

【0004】

しかしながら、現在のＡＩ分割方式は、器官ラベリングの正確性に非常に依存しており、また、器官がラベリングされた医学映像サンプルを大量で取得してネットワークを訓練する必要があるため、器官分割は非常に時間がかかるので、分割効率が低いという問題が存在している。

【発明の概要】

【課題を解決するための手段】

【0005】

本願の様々な実施例は、医学画像分割方法、装置、コンピュータデバイス、および読み取り可能な記憶媒体を提供する。ここで、以下が含まれている。

【0006】

コンピュータデバイスが実行する医学映像分割方法であって、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得するステップと、
前記第１医学映像および前記第２医学映像のそれぞれに特徴抽出を行い、前記第１医学映像の第１特徴情報と前記第２医学映像の第２特徴情報を得るステップと、
前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップと、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得るステップと、
を含むことを特徴とする医学映像分割方法。

【0007】

医学映像分割装置であって、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得する取得ユニットと、
前記第１医学映像および前記第２医学映像のそれぞれに特徴抽出を行い、前記第１医学映像の第１特徴情報と前記第２医学映像の第２特徴情報を得る特徴抽出ユニットと、
前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するオプティカルフローユニットと、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得る分割ユニットと、
を含むことを特徴とする医学映像分割装置。

【0008】

そのうちの１つの実施例では、前記分割ユニットは、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得る再構築サブユニットと、
再構築後のターゲットオブジェクト領域を、前記第１医学映像の分割結果とする分割サブユニットと、を含む。

【0009】

そのうちの１つの実施例では、前記再構築サブユニットは、前記オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得ることと、処理されたオプティカルフロー動き情報再構築と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得ることと、のために使用される。

【0010】

そのうちの１つの実施例では、前記オプティカルフローユニットは、
前記第１特徴情報と前記第２特徴情報を関連付けて、前記第２医学映像と前記第１医学映像との間の画素位置の対応関係情報を得る関連付けサブユニットと、
前記画素位置の対応関係情報に対してアップサンプリング操作を行い、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を得るサンプリングサブユニットと、を含む。

【0011】

そのうちの１つの実施例では、前記関連付けサブユニットは、具体的には、
前記第１医学映像の第１特徴情報に対して畳み込み操作を行い、第１畳み込み特徴情報を得ることと、
前記第２医学映像の第２特徴情報に対して畳み込み操作を行い、第２畳み込み特徴情報を得ることと、
前記第１畳み込み特徴情報と前記第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得ることと、
前記第１融合特徴情報と前記第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得ることと、のために使用される。

【0012】

そのうちの１つの実施例では、前記オプティカルフローユニットは、具体的には、
第１敵対的生成ネットワークにおける第１生成器を使用して、前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得する、ために使用される。

【0013】

そのうちの１つの実施例では、前記医学映像分割装置は、さらに、
第１サンプル医学映像と、ターゲットオブジェクトラベリング結果を有する第２サンプル医学映像とを取得するサンプル取得ユニットと、
訓練対象となる第１敵対的生成ネットワークにおける第１生成器を使用して、前記第２サンプル医学映像から前記第１サンプル医学映像への第１サンプルオプティカルフロー動き情報を取得する第１サンプルオプティカルフローユニットと、
前記訓練対象となる第１敵対的生成ネットワークにおける再構築モジュールを使用して、前記第１サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第１サンプル医学映像に対応する第１再構築後の医学映像と、第１分割結果とを得る第１再構築ユニットと、
第２敵対的生成ネットワークにおける第２生成器を使用して、前記第１再構築後の医学映像から前記第２サンプル医学映像への第２サンプルオプティカルフロー動き情報を取得する第２サンプルオプティカルフローユニットと、
第２敵対的生成ネットワークにおける再構築モジュールを使用して、前記第２サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第２サンプル医学映像に対応する第２再構築後の医学映像と、第２分割結果とを得る第２再構築ユニットと、
前記再構築後の医学映像、前記第１分割結果、前記第２再構築後の医学映像、および前記第２分割結果に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得る訓練ユニットと、を含む。

【0014】

そのうちの１つの実施例では、前記訓練ユニットは、さらに、
前記第１再構築後の医学映像と、前記第２再構築後の医学映像とに基づいて、映像再構築空間における再構築一致性損失を取得する再構築損失取得サブユニットと、
前記第１分割結果、前記第２分割結果、および前記第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得する分割損失取得サブユニットと、
前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得る訓練サブユニットと、を含む。

【0015】

そのうちの１つの実施例では、前記再構築一致性損失には、映像再構築一致性損失と、軌跡一致性損失とが含まれ、
前記再構築損失取得サブユニットは、具体的には、前記第２再構築後の医学映像と前記第２サンプル医学映像とに基づいて、前記第２サンプル医学映像と前記第２再構築後の医学映像が一致に維持される場合の映像再構築一致性損失を取得することと、前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報とに基づいて、前記第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得することと、のために使用される。

【0016】

そのうちの１つの実施例では、前記分割一致性損失には、映像分割一致性損失、マスク値損失、およびセマンティクス一致性損失が含まれ、
前記分割損失取得サブユニットは、前記第２分割結果と前記ターゲットオブジェクトラベリング結果とに基づいて、前記ターゲットオブジェクトラベリング結果と前記第２分割結果が一致に維持される場合の映像分割一致性損失を取得することと、前記第１分割結果、前記第２分割結果、および予め設定された分割マスク値に基づいて、前記第１分割結果、前記第２分割結果の、前記予め設定された分割マスク値に対するマスク値損失をそれぞれ取得することと、前記第１分割結果に基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築することと、のために使用される。

【0017】

そのうちの１つの実施例では、前記分割損失取得サブユニットは、さらに、前記第１分割結果における画素値に対して、予め設定された方向に沿って導関数を求めて、予め設定された方向の、導関数を求める結果を得ることと、予め設定された方向の、導関数を求める結果と、前記第１分割結果とに基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築することと、のために使用される。

【0018】

そのうちの１つの実施例では、前記再構築損失取得サブユニットは、１つのオリジナルの医学映像を生成することと、前記第１サンプルオプティカルフロー動き情報と、前記第２サンプルオプティカルフロー動き情報とに基づいて、前記オリジナルの医学映像を変換し、変換された医学映像を得ることと、前記変換された医学映像と前記オリジナルの医学映像との間の変換損失を取得することと、前記変換損失を、前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失とすることと、のために使用される。

【0019】

そのうちの１つの実施例では、前記装置は、さらに、敵対的損失取得ユニットを含み、ここで、
前記敵対的損失取得ユニットは、前記訓練対象となる第１敵対的生成ネットワークにおける判別器を使用して、前記第１サンプル医学映像と前記第１再構築後の医学映像を判別し、判別結果を得るために使用され、
前記訓練ユニットは、前記敵対的損失、前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るために使用される。

【0020】

メモリ、プロセッサ、およびメモリに記憶され、かつプロセッサ上で実行可能なコンピュータプログラムを含むコンピュータデバイスであって、
前記プロセッサは、前記プログラムを実行すると、本願の実施例によって提供されるいずれかの医学映像分割方法におけるステップを実現する。

【0021】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると本願の実施例によって提供されるいずれかの医学映像分割方法におけるステップが実現される。

【0022】

本願の一または複数の実施例の詳細は、以下の図面および説明において提示される。本願の他の特徴、目的および利点は、明細書、図面および特許請求の範囲から明らかになる。

【0023】

本願の実施例における技術的解決策をより明確に説明するために、以下、実施例の説明において必要とされる図面を簡単に紹介し、明らかに、以下の説明における図面は、本発明のいくつかの実施例に過ぎず、当業者にとっては、創造的な努力を行わない前提で、これらの図面から他の図面を得ることもできる。

【図面の簡単な説明】

【0024】

【図1】本願の実施例によって提供される医学映像分割方法のシーンの模式図である。

【図2a】本願の実施例によって提供される医学映像分割方法のフローチャートである。

【図2b】本願の実施例によって提供される生成器のフレームワークの模式図である。

【図2c】本願の実施例によって提供されるＮｏｎ－ｌｏｃａｌ Ｂｌｏｃｋの構造の模式図である。

【図2d】本願の実施例によって提供される分割原理の模式図である。

【図3a】本願の実施例によって提供される分割ネットワークのアーキテクチャ図である。

【図3b】本願の実施例によって提供される訓練方法の模式的フローチャートである。

【図3c】本願の実施例によって提供されるオプティカルフロー動き情報の一致性の模式図である。

【図4a】本実施例によって提供される分割ネットワークの別のアーキテクチャ図である。

【図4b】本願の実施例によって提供される医学映像分割の別の模式的フローチャートである。

【図5a】本願の実施例によって提供される医学映像分割装置の構造の模式図である。

【図5b】本願の実施例によって提供される医学映像分割装置の別の構造の模式図である。

【図5c】本願の実施例によって提供される医学映像分割装置の別の構造の模式図である。

【図5d】本願の実施例によって提供される医学映像分割装置の別の構造の模式図である。

【図5e】本願の実施例によって提供される医学映像装置の別の構造の模式図である。

【図5f】本願の実施例によって提供される医学映像装置の別の構造の模式図である。

【図6】本願の実施例によって提供されるコンピュータデバイスの構造の模式図である。

【発明を実施するための形態】

【0025】

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確かつ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部に過ぎず、すべての実施例ではない。本発明における実施例に基づいて、当業者が創造的な努力を行わない前提で得られる他のすべての実施例は、本発明の保護範囲に属するものとする。

【0026】

本願の実施例は、医学映像分割方法、装置、コンピュータデバイス、およびコンピュータ読み取り可能な記憶媒体を提供する。ここで、該医学映像分割装置は、コンピュータデバイスに集積されてもよく、該コンピュータデバイスは、サーバであってもよく、端末などのデバイスであってもよい。

【0027】

本願の実施例で提供される医学映像分割の解決手段は、人工知能のコンピュータビジョン技術（ＣＶ：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）に関する。人工知能のコンピュータビジョン技術によって、眼底の画像の分割を実現し、分割結果を得ることができる。

【0028】

ここで、コンピュータビジョン（ＣＶ：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）技術は、どのようにマシンに「観察させる」かを研究する科学であり、さらに言えば、人間の目の代わりに、カメラとコンピュータを使用して、ターゲットに対して識別したり、追跡したり、測定したりするマシンビジョン技術を指し、さらに、グラフィック処理を行うことにより、人間の目が観察するようにより適することができる画像、または機械に伝送して検出され得る画像としてコンピュータに処理させる。科学の一つ学科として、コンピュータビジョンは、関連する理論および技術を研究して、画像または多次元データから情報を取得することができる人工知能システムを構築することを試みる。コンピュータビジョン技術には、一般的に、画像処理、画像識別、画像分割、画像意味理解、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味理解、ビデオコンテンツ／行為識別、三次元オブジェクト再構築、３Ｄ技術、仮想現実、強化現実、同期位置決め、地図構築などの技術が含まれており、さらに、よく見られる顔識別、指紋識別などの生体特徴識別技術が含まれている。

【0029】

本願の実施例において、いわゆる映像分割とは、映像をいくつかの特定の、独特の性質を持つ領域に分けて、興味のあるターゲットを抽出する技術およびプロセスを指す。本願の実施例では、それは、主に、三次元（３Ｄ：Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ）医学映像を分割し、必要なターゲットオブジェクト（例えば、器官）を見つけることを指し、例えば、３Ｄ医学映像から肝臓領域、心臓領域、心房領域などを分割することができる。分割されたターゲットオブジェクト（例えば、器官）は、後続で医療看護スタッフや他の医学専門家が分析してさらなる操作を行うように使用され得る。

【0030】

例えば、図１を参照すると、当該医学映像分割装置がコンピュータデバイスに集積されることを例として、該コンピュータデバイスは、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得し、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得て、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得し、オプティカルフロー動き情報およびラベリングされたターゲットオブジェクト領域に基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得ることができ、例えば、ラベリングされていない心房映像から、心臓領域を分割することができる。

【0031】

以下、それぞれ詳細に説明する。説明すべきものとして、以下の実施例の説明順序は、実施例の好ましい順序として限定されるものではない。

【0032】

本実施例では、医学映像分割装置の観点から説明が行われて、該医学映像分割装置は、具体的には、コンピュータデバイスに集積されてよく、該コンピュータデバイスは、サーバであってよく、端末などのデバイスであってもよいし、ここで、当該端末には、タブレットコンピュータ、ノートパソコン、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、マイクロプロセッシングボックス、または他のデバイスなどが含まれてよい。サーバは、独立したサーバ、または複数のサーバからなるサーバクラスタによって実現され得る。

【0033】

図２ａに示すように、当該医学映像分割方法の具体的な手順は、以下の通りであってよい。

【0034】

ステップ２０１で、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得する。

【0035】

ここで、医学映像は、各医学映像収集デバイスによって、例えば心臓や肝臓などの生体組織に対して映像収集が実行され、当該医学映像分割装置に提供され得る。ここで、当該医学映像収集デバイスには、核磁気共鳴映像形成機器（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、コンピュータ断層走査デバイス（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、膣鏡や内視鏡などの電子デバイスが含まれ得る。

【0036】

ここで、第１医学映像は、ターゲットオブジェクトがラベリングされていない医学映像であって、分割対象となる医学映像であり、各医学映像収集デバイスによって収集され得る。

【0037】

ここで、ターゲットオブジェクトは、例えば肝臓、心臓や腎臓などの生体器官であってよい。いくつかの実施例では、ターゲットオブジェクトは、例えば腫瘍などのような、異常が生じた生体組織であってあってもよい。

【0038】

ここで、第２医学映像は、ターゲットオブジェクトがラベリングされた医学映像、例えば、心臓領域がラベリングされた心臓映像などである。

【0039】

本願の実施例の方法の目的は、ラベリングされた第２医学映像を利用して、第１医学映像からターゲットオブジェクト領域を分割する、ことにある。

【0040】

理解できるものとして、本願の実施例では、第１および第２は、区別のためだけのものであり、時系列などの方面に関する制限がない。

【0041】

ステップ２０２で、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得る。

【0042】

例えば、コンピュータデバイスは、第１医学映像および第２医学映像のそれぞれに対して畳み込み操作を行うことで、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を抽出してもよい。

【0043】

そのうちの１つの実施例では、特徴抽出の精度および効率を確保するために、コンピュータデバイスは、シャム（ｓｉａｍｅｓｅ ｎｅｔｗｏｒｋ）ネットワークを採用して特徴情報を抽出してもよい。例えば、図２ｂに示すように、シャム畳み込みニューラルネットワークを採用して、第１医学映像および第２医学映像のそれぞれに対して畳み込み操作を行うことで、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を抽出してもよい。図２ｂに示すように、コンピュータデバイスは、ラベリングされた医学映像ｘおよびラベリングされていない医学映像ｙのそれぞれに対して畳み込み操作を行い、各々の特徴マップを抽出してもよい。

【0044】

ここで、畳み込みニューラルネットワークには、複数の畳み込み層が含まれてよく、各畳み込み層は、予め設定された大きさの畳み込み（例えば３＊３＊３の畳み込み）、バッチ正規化層（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）、および非線形活アクティブ層ＲｅＬｕによって構成されている。すなわち、各畳み込み層では、その入力に対して、畳み込み処理、正規化処理およびアクティブ関数処理が行われる。

【0045】

第１医学映像を例として、コンピュータデバイスは、第１医学映像を畳み込みニューラルネットワークの１番目の畳み込み層に入力し、１番目の畳み込み層で、畳み込み処理、正規化処理、およびアクティブ関数処理を順次に行い、相応的な特徴情報を出力し、そして、出力された相応的な特徴情報を次の畳み込み層に入力して処理し、順に類推して、最後の畳み込み層が最終的な特徴情報を出力するまで持続する。ここで、第１医学映像の第１特徴情報は、畳み込みニューラルネットワークの最後の畳み込み層によって出力された特徴情報、例えば最終的に出力された特徴マップであってよい。

【0046】

ステップ２０３で、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得する。

【0047】

ここで、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）は、空間内を動く物体の、映像形成が観察される平面上の画素動きの瞬時速度であり、画像シーケンスにおける、画素の時間領域での変化および隣接する画像の間の相関性を利用して、１つ前のフレームと現在のフレームとの間に存在する対応関係を特見つけることによって、隣接する画像の間の物体動き情報を算出する方法である。一般には、オプティカルフローは、シーンにおける前景オブジェクト自体の動き、カメラの動き、または両者の共通動きによって生成されたものである。

【0048】

簡単に言えば、オプティカルフローは、空間内を動く物体の、映像形成が観測される平面上の画素動きの「瞬時速度」であり、オプティカルフローへの研究は、画像シーケンスにおける画素強度データの時間領域変化および相関性を利用して、各々の画素の位置の「動き」を決定することであり、オプティカルフロー場を研究する目的は、ピクチャシーケンスから、直接には得られない実際の動き場を近似し得ることである。

【0049】

ここで、オプティカルフロー動き情報は、具体的には、第２医学映像における、ある位置での画素点が第１医学映像におけるターゲット位置に動く場合の動き情報であってよく、動き方向および動き速度などのような動きパラメータを含む。

【0050】

例えば、ｔ番目の医学映像におけるＡ画素点の位置が（ｘ１，ｙ１）であり、ｔ＋１番目の医学映像ではＡ点を再び特定し、その位置が（ｘ２，ｙ２）であると仮定すれば、コンピュータデバイスは、Ａ画素点の動きパラメータを、（ｕｘ，ｖｙ）＝（ｘ２，ｙ２）－（ｘ１，ｙ１）として決定することができる。

【0051】

そのうちの１つの実施例では、コンピュータデバイスは、２枚の医学映像の特徴情報に基づいて映像同士の画素位置の関連情報を学習し、そこからオプティカルフロー動き情報を学習することができる。具体的には、「第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得する」ステップ２０２は、第１特徴情報と第２特徴情報を関連付けて、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得るステップと、画素位置の対応関係情報に対してアップサンプリング操作を行い、第２医学映像から第１医学映像へのオプティカルフロー動き情報を得るステップと、を含んでもよい。

【0052】

本願の実施例では、医学映像間の画素位置の対応関係を取得するために、２つの医学映像の特徴情報を関連付けるかまたは融合することで、２つの映像を関連付けることができ、これにより、２つの医学映像間の画素位置の対応関係情報を得ることができる。

【0053】

ここで、特徴を関連付ける方式は様々があり、例えば、そのうちの１つの実施例では、「第１特徴情報と第２特徴情報を関連付けて、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得る」ステップは、第１医学映像の第１特徴情報に対して畳み込み操作を行い、第１畳み込み特徴情報を得るステップと、第２医学映像の第２特徴情報に対して畳み込み操作を行い、第２畳み込み特徴情報を得るステップと、第１畳み込み特徴情報と第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得るステップと、第１融合特徴情報と第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得るステップと、を含んでもよい。

【0054】

そのうちの１つの実施例では、「第１畳み込み特徴情報と第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得る」ステップは、第１畳み込み特徴情報と第２畳み込み特徴情報を融合し、融合された畳み込み特徴情報を得るステップと、融合された畳み込み特徴情報と第１畳み込み特徴情報を融合し、第１融合特徴情報を得るステップと、を含む。

【0055】

そのうちの１つの実施例では、「第１融合特徴情報と第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得る」ステップは、第１融合特徴情報に対して畳み込み操作を行い、所定サイズの第３畳み込み特徴情報を得るステップであって、第３畳み込み特徴情報のサイズが第１特徴情報のサイズと同じであるステップと、所定サイズの第３畳み込み特徴情報と第１畳み込み特徴情報を融合し、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得るステップと、を含む。

【0056】

そのうちの１つの実施例では、映像間の画素位置の関連情報を正確または迅速に取得するために、コンピュータデバイスは、非局所的な操作（Ｎｏｎ－ｌｏｃａｌ ｏｐｅｒａｔｉｏｎ）を用いて、医学映像の画素間の時間的および空間的関連情報を取得することができ、例えば、図２ｂを参照して、非局所的なブロック（Ｎｏｎ－ｌｏｃａｌ Ｂｌｏｃｋ）を用いて非局所的な操作を行うことで、画素レベルの位置対応関係を学習することができる。

【0057】

非局所的なブロックの構造の模式図である図２ｃに示すように、ラベリングされた医学映像ｘ（つまり、第２医学映像）の特徴マップがｘ’であり、ラベリングされていない医学映像ｙ（つまり、第１医学映像）の特徴マップがｙ’であり、ここで、ｘ’、ｙ’の次元が、それぞれ、Ｔ＊Ｈ＊Ｗ＊１０２４であり、ここで、Ｔが、ビデオフレーム数（本願における映像の数に対応する）であると仮定すれば、特徴マップのサイズは、Ｔ×Ｈ×Ｗ×１０２４になり、つまり、１０２４個のチャネルがある。

【0058】

ｘ’、ｙ’の次元としてＴ＊Ｈ＊Ｗ＊１０２４を入力し、次に、それぞれ、数が５１２であり、サイズが１＊１＊１である畳み込みカーネルを用いて畳み込みを行い、次元がいずれもＴ＊Ｈ＊Ｗ＊５１２である３つのブランチの出力を得て、その後、ｆｌａｔ（平滑）およびｔｒａｎｓ（変換）操作によって、ＴＨＷ＊５１２、５１２＊ＴＨＷ、およびＴＨＷ＊５１２の出力を得て、前の２つのブランチの２つの出力に対して行列乗算を行い、ＴＨＷ＊ＴＨＷの出力を得て、ｓｏｆｔｍａｘ（正規化関数）処理をした後、３番目のブランチの出力と行列乗算を行って、ＴＨＷ＊５１２次元の出力を得、この出力をＴ＊Ｈ＊Ｗ＊５１２次元の出力としてｒｅｓｈａｐｅした後、畳み込みカーネルの数が１０２４であり、サイズが１＊１＊１である畳み込み層を通過させて、元のｙ’の特徴マップＴ＊Ｈ＊Ｗ＊１０２４とｅｌｅｍｅｎｔ－ｗｉｓｅ ｓｕｍ（要素合計）を行い、最後の出力結果を得て、この出力結果に基づいて、ラベリングされた医学映像ｘとラベリングされていない医学映像ｙとの間の画素位置の対応関係情報を得ることができる。

【0059】

図２ｂを参照すると、Ｎｏｎ－ｌｏｃａｌ Ｂｌｏｃｋを採用して、ラベリングされた医学映像ｘとラベリングされていない医学映像ｙとの間の画素位置の対応関係情報を学習した後、アップサンプリング層で、画素位置の対応関係情報に対してアップサンプリング操作を行い、オプティカルフロー動き情報△ｐを得ることができる。ラベリングされていない医学映像とは、第１医学映像を指し、ラベリングされた医学映像とは、第２医学映像を指す、ということを理解することができる。

【0060】

ステップ２０４で、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得る。

【0061】

そのうちの１つの実施例では、オプティカルフロー動き情報△ｐ（例えば、画素が動く場合の方向や速度など）が得られた後、オプティカルフロー動き情報に基づいてターゲットオブジェクト領域を再構築し、再構築された領域を、ラベリングされていない医学映像の分割結果とすることができる。

【0062】

例えば、ステップ２０４は、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築（例えば、移行）を行い、再構築後のターゲットオブジェクト領域を得るステップと、再構築後のターゲットオブジェクト領域を第１医学映像の分割結果とするステップと、を含んでもよい。本願の実施例では、ターゲットオブジェクト領域の再構築は、ターゲットオブジェクト領域の移行などを含み得る。ターゲットオブジェクト領域の移行によって領域を再構築する。

【0063】

ここで、再構築する方式は様々があり、例えば、オプティカルフロー動き情報に基づいて、ラベリングされたターゲットオブジェクト領域内の画素を移動させ、移動後の画素を得て、移動後の画素に基づいて、ターゲットオブジェクト領域を再構築してもよい。例えば、オプティカルフロー動き情報△ｐに基づいて、ラベリングされた器官領域内の画素を分割空間内で移行させ、移行後の領域を形成し、該領域をラベリングされていない医学映像の器官分割領域としてもよい。

【0064】

オプティカルフロー動き情報△ｐを第１医学映像に適用できるようにするために（オプティカルフロー動き情報△ｐの取得は、ダウンサンプリング設定において行われる可能性があるので）、および再構築の速度を向上させるために、そのうちの１つの実施例では、コンピュータデバイスは、オプティカルフロー動き情報に対して、トリリニア補間（Ｔｒｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）処理を行い、処理されたオプティカルフロー動き情報に基づいて、ラベリングされていない第１サンプル医学映像を再構築し、第１再構築後の医学映像を得てもよい。すなわち、「オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得る」ステップは、オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得るステップと、処理されたオプティカルフロー動き情報再構築と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得るステップと、を含んでもよい。

【0065】

具体的には、コンピュータデバイスは、オプティカルフロー動き情報に対してトリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得て、処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得て、再構築後のターゲットオブジェクト領域を第１医学映像の分割結果とすることができる。

【0066】

例えば、コンピュータデバイスは、トリリニア補間のカーネルＦに基づいて、予め設定された各方向（例えば、ｘｙｚ軸方向）において、オプティカルフロー動き情報に対して補間操作を行い、処理されたオプティカルフロー動き情報を得ることができ、この処理されたオプティカルフロー動き情報は、トリリニア補間により実現されたオプティカルフロー動き情報である。具体的には、トリリニア補間プロセスについてが、以下の実施例を参照して、具体的に説明することができる。

【0067】

本願の実施例は、移行映像に基づいて映像を分割空間にマッピングする解決手段を提供する。当該解決手段は、映像から映像へのマッピングモデリングを、画素レベルのオプティカルフロー推定として設定し、画素が動く場合の方向や大きさなどのオプティカルフロー動き情報を学習することによって、ラベリングされていない映像の分割結果を、ラベリングされた映像のラベリング結果から再構築または移転する。解決手段全体の構想は、図２ｄに示すようになる。

【0068】

図２ｄに示すように、医学映像が心房映像であることを例として、優先的に、心臓領域がラベリングされた１枚のラベリングされた映像（Ｌａｂｅｌｅｄ）と、１枚のラベリングされていない映像（Ｕｎｌａｂｅｌｅｄ）を提供し、その後、ラベリングされた映像からラベリングされていない映像へのオプティカルフロー動き情報△ｐを学習し、ラベリングされた心臓領域と、オプティカルフロー動き情報△ｐとによって、心臓領域を再構築（または移行）し、この再構築後の心臓領域（または移行された心臓領域）は、ラベリングされていない映像の心臓分割結果である。

【0069】

以上から分かるように、本願の実施例の解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象分割（例えば、器官分割）をラベリングされていない映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、ターゲットオブジェクト分割（例えば、器官分割）を行うことができ、これにより、従来の解決手段のように大量のラベリングデータ無しで分割モデルを訓練することが回避され、１つのラベリングされた医学映像と１つの分割対象となる医学映像を提供するだけで、分割対象となる医学映像への分割を実現することができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【0070】

本願の実施例によって提供される分割手段は、任意の映像分割シーンに適用され得て、例えば、医学映像のラベリングシーンに適用され得、現在の画素／ボクセルレベルのラベリングには、時間や労力がかかり、かつ医者からの強力なサポートが必要とされるため、大量のラベルの取得が極めて困難になる。このような背景下で、本願の実施例によって提供される解決手段を採用すると、医者は、一例のデータを正確にラベリングするだけで、本願の実施例の解決手段を使用することにより、残りのデータをラベリングすることができる。医者にとっては、一例の器官などのようなターゲットオブジェクトをラベリングするだけで、他のラベリングされていないデータにおいて、ターゲットオブジェクト（例えば、器官）の正確的な分割を実行することができ、これによって、医者によるラベリング時間を大きく節約ですることがきる。

【0071】

本願の実施例における医学映像分割方法は、ＡＩの深層学習ネットワークによって実現されてよく、例えば、第１医学映像と第２医学映像を取得した後、深層学習が実行された分割ネットワークによって、ターゲットオブジェクト（例えば、器官）の分割を実現してもよく、具体的には、分割ネットワークは、上記のステップ２０２～２０３などを実行してもよく、生成器の具体的な構造については、図２ｂを参照することができる。

【0072】

ここで、分割ネットワークは、大量のラベリングデータセットによって訓練された分割ネットワークであってよい。具体的な訓練方式は様々があり、例えば、大量のラベリングされた器官の医学映像データセットに基づいて、バックプロパゲーションによって分割ネットワークを訓練してもよい。具体的には、ネットワークのターゲットオブジェクト分割結果と、ラベリング結果とに基づいて、分割損失を計算し（例えば、損失関数によって計算し）、分割損失に基づいてネットワークを訓練してもよい。

【0073】

更に考慮すると、医学映像データセットが、通常、異なる医学映像機器によって収集されるため、異なるデータセットのドメイン間の格差が比較的大きくて、深層ネットワークの一般化性能を深刻に妨げてしまい、そして、従来の訓練方式によれば、オプティカルフロー動き情報の学習正確性が悪くなり、分割正確性が低くなってしまう。

【0074】

アルゴリズムが臨床で本当に補助診断の役割を果たすことができる、ということを確保するために、モデルの一般化性能および分割精確性をさらに向上させる必要がある。また、教師あり訓練方法では、付加的な血管ラベリングを提供する必要があり、これには時間がかかるとともに高価であり、眼部疾患の診断の場合、大規模な血管分類および分割を実行することは現実的ではない。そのため、臨床では、付加的なラベリングを必要としない教師なし訓練方法を設計する必要もある。

【0075】

本願の実施例では、上記の問題に対して、教師なしドメイン適応（Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｄｏｍａｉｎ Ａｄａｐｔａｔｉｏｎ）技術が採用されている分割ネットワーク訓練方法が提供され、この訓練方法は、ラベルのあるデータセットの特徴構造を学習して知識を新しいデータセットに移行し、ラベルのない新しいデータセットに対して、比較的正確なターゲットオブジェクト分割（例えば、器官分割など）を提供することができ、深層ネットワーク（例えば、血分割ネットワーク）の、他のデータセットにおける一般化性能を効果的に向上させる。

【0076】

分割精確性を向上させるために、本願の実施例における教師なし適応訓練方法は、分割ネットワーク（即ち、生成器）を含む敵対的生成ネットワークを訓練し、その後、訓練済みの敵対的生成ネットワークにおける生成器を用いて、ラベリングされた医学映像からラベリングされていない医学映像へのオプティカルフロー動き情報を取得することによって、ラベルのない医学映像を分割することができる。

【0077】

具体的には、コンピュータデバイスは、ラベリングされたサンプル映像とラベリングされていないサンプル映像を使用して、第１敵対的生成ネットワークと第２敵対的生成ネットワークを含む映像分割ネットワークを訓練することができ、ここで、第１敵対的生成ネットワークは、第１対象分割ネットワーク（即ち、第１生成器）を含み、第２敵対的生成ネットワークは、第２対象分割ネットワーク（即ち、第２生成器）を含む。その後、実際に映像を分割する際に、第１生成器を使用してオプティカルフロー動き情報を学習する。

【0078】

図３ａを参照すると、分割ネットワークが提供され、この分割ネットワークは、第１敵対的生成ネットワークと第２敵対的生成ネットワークを含む。ここで、第１敵対的生成ネットワークは、第１対象分割ネットワーク（即ち、第１生成器Ｇ_Ａ）、判別器、第１再構築モジュール、および第２再構築モジュールを含み、第２敵対的生成ネットワークは、第２対象分割ネットワーク（即ち、第２生成器Ｇ_Ｂ）、第３再構築モジュール、および第４再構築モジュールを含む。

【0079】

図３ｂに示すように、第１敵対的生成ネットワークの訓練プロセスは、具体的には、以下の通りである。

【0080】

ステップ３０１で、第１サンプル医学映像と、ターゲットオブジェクトラベリング結果を有する第２サンプル医学映像とを取得する。

【0081】

ここで、第１サンプル医学映像ｙ_サンプルは、ターゲットオブジェクト（例えば、器官）領域がラベリングされていない医学映像であり、医学映像収集機器によって収集されてよく、第２サンプル医学映像ｘ_サンプルは、ターゲットオブジェクト（例えば、器官）領域がラベリングされた医学映像であり、医療関係者が医学映像に対してターゲットオブジェクト（例えば、器官）ラベリングを実行することによって得られたものである。

【0082】

ステップ３０２で、訓練対象となる第１敵対的生成ネットワークにおける第１生成器を使用して、第２サンプル医学映像から第１サンプル医学映像への第１サンプルオプティカルフロー動き情報を取得する。

【0083】

例えば、コンピュータデバイスは、第１生成器Ｇ_Ａを使用して、第２サンプル医学映像ｘ_サンプルと第１サンプル医学映像ｙ_サンプルとの間の画素相互作用関係を学習し、第２サンプル医学映像ｘ_サンプルから第１サンプル医学映像ｙ_サンプルへの第１サンプルオプティカルフロー動き情報△ｐ_Ａを学習し把握してもよい。

【0084】

ここで、第１生成器が第１サンプルオプティカルフロー動き情報を取得するプロセスについては、具体的に、上記の実施例によって説明されたオプティカルフロー動き情報の取得プロセスを参照してもよい。第１生成器の構造については、上記の図２ｂを参照してもよい。

【0085】

ステップ３０３で、訓練対象となる第１敵対的生成ネットワークにおける再構築モジュールを使用して、第１サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、第１サンプル医学映像に対応する第１再構築後の医学映像と、第１分割結果とを得る。

【0086】

具体的に、映像再構築については、上記の実施例における説明を参照してもよい。

【0087】

例えば、コンピュータデバイスは、第１サンプルオプティカルフロー動き情報△ｐ_Ａに基づいて、ラベリングされた第２サンプル医学映像ｘ_サンプルにおける画素を移動させることによって、ラベリングされていない第１サンプル医学映像を再構築し、第１再構築後の医学映像

【数1】

を得てもよい。コンピュータデバイスは、第１サンプルオプティカルフロー動き情報△ｐ_Ａに基づいて、第２サンプル医学映像ｘ_サンプルにおけるターゲットオブジェクトラベリング領域ｘｓの画素を移動させることによって、第１サンプル医学映像ｙ_サンプルのターゲットオブジェクト分割領域

【数2】

を再構築してもよい。

【0088】

オプティカルフロー動き情報△ｐをオリジナルの医学映像（オプティカルフロー動き情報△ｐの取得は、ダウンサンプリング設定において行われる可能性があるので）に適用できるようにするために、および再構築の速度を向上させるために、そのうちの１つの実施例では、オプティカルフロー動き情報に対して、トリリニア補間（Ｔｒｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）処理を行い、処理されたオプティカルフロー動き情報に基づいて、ラベリングされていない第１サンプル医学映像を再構築し、第１再構築後の医学映像を得てよい。

【0089】

例えば、トリリニア補間のカーネルに基づいて、予め設定された各方向において、オプティカルフロー動き情報に対して補間操作を行い、処理されたオプティカルフロー動き情報を得てよく、この処理されたオプティカルフロー動き情報は、トリリニア補間により実現されたオプティカルフロー動き情報である。

【0090】

△ｐ_Ａは、小さい場合が多いため、本願の実施例では、トリリニア補間（Ｔｒｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって実現される。オリジナルの医学映像内の各位置ｐ_０について、そのターゲット位置は、ｐ＝ｐ_０＋△ｐになり、本願の実施例では、このプロセスは、以下のように表される。

【0091】

【数3】

【0092】

ここで、Ｆは、トリリニア補間のカーネルであり、ｘ－ａｘｉｓ、ｙ－ａｘｉｓ、ｚ－ａｘｉｓ上で同時に操作され、以下のように表される。

【0093】

【数4】

【0094】

ここで、ｆ（ａ，ｂ）＝ｍａｘ（０，１－｜ａ－ｂ｜）とする。Ｆ（ａ，ｂ）における大部分の要素が０であるため、その計算速度が非常に速い。

【0095】

本願の実施例では、再構築の速度および効率を向上させるために、映像（例えば、ラベリングされていない映像、またはラベリングされた映像）を再構築するたびに、学習し把握されたオプティカルフロー動き情報△ｐに対してトリリニア補間処理を行い、処理された情報に基づいて映像を再構築してもよい。

【0096】

同様に、本願の実施例では、再構築の速度および効率を向上させるために、分割対象領域（例えば、ラベリングされていない医学映像の分割対象領域、またはラベリングされた医学映像の分割対象領域）を再構築するたびに、学習し把握されたオプティカルフロー動き情報△ｐに対してトリリニア補間処理を行い、その後、処理された情報に基づいて分割対象領域を再構築してもよい。

【0097】

ステップ３０４で、第２敵対的生成ネットワークにおける第２生成器を使用して、第１再構築後の医学映像から第２サンプル医学映像への第２サンプルオプティカルフロー動き情報を取得する。

【0098】

同様に、第２生成器がオプティカルフロー動き情報を取得する方式、および生成器の構造については、上記の実施例の記載を参照してもよい。

【0099】

例えば、コンピュータデバイスは、第２生成器Ｇ_Ｂを使用して、第２サンプル医学映像ｘ_サンプルと第１再構築後の医学映像

【数5】

との間の画素相互作用関係を学習し、第１再構築後の医学映像

【数6】

から第２サンプル医学映像ｘ_サンプルへのオプティカルフロー動き情報△ｐ_Ｂを学習し把握してもよい。

【0100】

ステップ３０５で、第２敵対的生成ネットワークにおける再構築モジュールを使用して、第２サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、第２サンプル医学映像に対応する第２再構築後の医学映像と、第２分割結果とを得る。

【0101】

例えば、第２サンプルオプティカルフロー動き情報△ｐ_Ｂに基づいて、第１再構築後の医学映像

【数7】

における画素を移動させることによって、ラベリングされた医学映像を再構築し、第２再構築後の医学映像

【数8】

を得る。第２サンプルオプティカルフロー動き情報△ｐ_Ｂに基づいて、再構築されたターゲットオブジェクト分割領域

【数9】

の画素を移動させることによって、第２サンプル医学映像ｘ_サンプルのターゲットオブジェクト分割領域

【数10】

を再構築する。

【0102】

ステップ３０６で、第１再構築後の医学映像、第１分割結果、第２再構築後の医学映像、および第２分割結果に基づいて、訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得る。

【0103】

理論的には、第１生成器Ｇ_Ａは、第２サンプル医学映像ｘ_サンプルから第１サンプル医学映像ｙ_サンプルへのオプティカルフロー動き情報△ｐ_Ａをキャプチャすることができる。しかし、Ｘ→Ｙの方式は、何千万もの可能性があるので、このマッピングの一意性を確保するために、本願の実施例では、第１再構築後の医学映像

【数11】

と第２サンプル医学映像ｘ_サンプルとの間のデータ関係を学習することにより、ラベリングされた映像を再構築することが望まれる。同様に、再構築された、ラベリングされていない映像

【数12】

が得られた後、コンピュータデバイスは、第２生成器Ｇ_Ｂを使用して、第１再構築後の医学映像

【数13】

と第２サンプル医学映像ｘ_サンプルとの間の画素相互作用関係を学習し、オプティカルフロー動き情報△ｐ_Ｂを学習し把握してもよい。オプティカルフロー動き情報△ｐ_Ｂによってラベリングされた映像を

【数14】

として再構築する。

【0104】

具体的には、映像再構築のプロセスは、下式で表される。

【0105】

【数15】

【0106】

同様に、本願の実施例では、オプティカルフロー動き情報を分割空間に適用し、再構築された、ラベリングされていない映像の分割

【数16】

および再構築された、ラベリングされた映像の分割

【数17】

を得てもよく、数式の表現は以下の通りである。

【0107】

【数18】

【0108】

本願の実施例では、複数回の映像再構築、分割空間の分割結果の再構築によってネットワークを訓練することは、Ｇ_Ａがオプティカルフロー動き情報を学習する正確性を向上させることができる。訓練プロセスでは、映像再構築および分割再構築の正確性を向上させ、さらに、訓練後の生成器が動き情報をキャプチャする正確性を向上させるために、映像再構築空間における再構築一致性損失を構築することによって、映像再構築の正確性を確保し、分割空間における分割一致性損失を構築することによって、映像分割の正確性を確保することができる。

【0109】

例えば、そのうちの１つの実施例では、「第１再構築後の医学映像、第１分割結果、第２再構築後の医学映像、および第２分割結果に基づいて、第１敵対的生成ネットワークを訓練し、訓練後の第１敵対的生成ネットワークを得る」ステップは、ステップＳ１～ステップＳ３を含んでもよい。

【0110】

ステップＳ１で、第１再構築後の医学映像、および第２再構築後の医学映像に基づいて、映像再構築空間における再構築一致性損失を取得する。

【0111】

ここで、再構築一致性損失には、映像再構築プロセスにおける映像再構築一致性損失、およびオプティカルフロー動き情報の軌跡一致性損失などの損失のうちの少なくとも１つが含まれる。

【0112】

例えば、図３ａを参照すると、第２サンプル医学映像ｘ_サンプルから、次に再構築された、ラベリングされていない第１再構築後の医学映像

【数19】

まで、さらに再構築された、ラベリングされた第２再構築後の医学映像

【数20】

まで（即ち、

【数21】

）の後、本願の実施例では、再構築された第２再構築後の医学映像

【数22】

と、ターゲットオブジェクトラベリング結果を有するオリジナルの第２サンプル医学映像ｘ_サンプルとが一致することが望まれ、したがって、映像再構築一致性損失が構築された。

【0113】

具体的には、コンピュータデバイスは、第２再構築後の医学映像と第２サンプル医学映像とに基づいて、第２サンプル医学映像と第２再構築後の医学映像が一致に維持される場合の映像一致性損失を取得してもよい。例えば、図３ａを参照すると、一致性損失関数に基づいて、第２再構築後の医学映像

【数23】

と、第２サンプル医学映像ｘ_サンプルとの間の映像再構築一致性損失を計算してもよい。

【0114】

また例えば、図３ａを参照すると、

【数24】

のオプティカルフロー動き情報を約束するために、本願の実施例では、△ｐ_Ａと△ｐ_Ｂの間では画素レベルで軌跡一致性を示すことが望まれる。したがって、△ｐ_Ａと△ｐ_Ｂの間では軌跡の一致に維持される場合の軌跡一致性損失Ｌ_ｔｒａが構築された。

【0115】

第１サンプルオプティカルフロー動き情報と、第２サンプルオプティカルフロー動き情報とに基づいて、第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得する。例えば、予め設定された軌跡一致性損失関数に基づいて、△ｐ_Ａと△ｐ_Ｂの間の軌跡一致性損失Ｌ_ｔｒａを計算する。

【0116】

そのうちの１つの実施例では、軌跡一致性損失を正確かつ簡便に計算するために、１つの映像を生成してもよく、コンピュータデバイスは、２つのオプティカルフロー動き情報をオリジナルの医学映像に適用して映像変換を行い、変換された映像とオリジナルの医学映像との間の変換損失を計算し、当該損失に基づいて軌跡一致性損失を得てもよい。

【0117】

具体的には、「第１サンプルオプティカルフロー動き情報と、第２サンプルオプティカルフロー動き情報とに基づいて、第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得する」ステップは、１つのオリジナルの医学映像を生成するステップと、第１サンプルオプティカルフロー動き情報と、第２サンプルオプティカルフロー動き情報とに基づいて、オリジナルの医学映像を変換し、変換された医学映像を得るステップと、変換された医学映像とオリジナルの医学映像との間の変換損失を取得するステップと、変換損失を、第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失とするステップと、を含んでもよい。

【0118】

図３ｃに示すように、△ｐ_Ａと△ｐ_Ｂの間では画素レベルで軌跡一致性を示すという約束情報を実現するために、１つのオリジナルの医学映像ｒ^{ｈ＊ｗ＊ｃ}～Ｎ（Ｏ，Ｉ）をランダムに構築し、本願の実施例では、オプティカルフロー動き情報△ｐ_Ａと△ｐ_Ｂがこのオリジナルの医学映像に適用され、これらの一対の変換によって、再構築された映像

【数25】

とオリジナルの医学映像ｒが一致性を示すことが望まれる。

【0119】

さらに、いくつかの実施例では、映像再構築の正確性を向上させ、さらに、分割正確性を向上させるために、映像構築一致性を維持する場合の他の損失が構築されてもよい。

【0120】

ステップＳ２で、第１分割結果、第２分割結果、および第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得する。

【0121】

ここで、分割一致性損失は、分割空間において再構築されたターゲットオブジェクト分割結果とラベリングされたターゲットオブジェクト分割結果が一致に維持される場合の損失である。ここで、再構築されたターゲットオブジェクト分割結果およびラベリングされたターゲットオブジェクト分割結果は、映像分割、マスク値、セマンティクスなどの点において一致性を保つことができる。すなわち、分割一致性損失には、映像分割一致性損失、マスク値損失、セマンティクス一致性損失などの損失が含まれる。

【0122】

例えば、図３ａを参照すると、分割空間において一致性

【数26】

を達成し、ｘ_ｓと

【数27】

を一致に維持させるために、映像分割一致性損失を設定してもよい。具体的には、コンピュータデバイスは、第２分割結果とターゲットオブジェクトラベリング結果とに基づいて、ターゲットオブジェクトラベリング結果と第２分割結果が一致に維持される場合の映像分割一致性損失を取得してもよい。例えば、ｘ_ｓと

【数28】

の間の差を計算することによって、映像分割一致性損失を得てもよい。

【0123】

また例えば、オプティカルフロー情報を分割空間に使用して得られた分割マスク値が、予め設定された分割マスク値（例えば、｛０，１｝）に近づけることを確保するために、コンピュータデバイスは、得られた分割結果の分割マスク値が予め設定された分割マスク値（例えば、０または１）に近づけるように励ますために、マスク値損失を導入してもよい。そのうちの１つの実施例では、分割マスク値が０または１に近いため、非表示になり、マスク値損失は、ハッシュ損失（ｈａｓｈ ｌｏｓｓ）と呼ばれてもよい。

【0124】

ここで、分割マスク値には、例えば器官分割画像の画素値などのような、分割結果の画素値が含まれてもよい。

【0125】

そのうちの１つの実施例では、オプティカルフロー動き情報に基づいて再構築された分割マスク（例えば、

【数29】

）とオリジナルの分割ｘ_ｓが大きさでの一致を示すことを確保するために、

【数30】

について約束を実施してもよい。具体的には、コンピュータデバイスは、第１分割結果、第２分割結果と、ターゲットオブジェクトラベリング結果との大きさが一致する約束条件を構築し、マスク値損失に対応する約束条件を得てもよく、訓練を行う際に、マスク値損失、およびそれに対応する約束条件に基づいて、ネットワークに対して訓練を行うことができる。

【0126】

そのうちの１つの実施例では、ネットワークによって学習された分割結果（例えば、分割マスク

【数31】

）が映像上でセマンティクス一致性をも示すことが望まれる。例えば、学習された分割マスク

【数32】

における各画素の数値について、一致するように維持されると、観察を行う際に、ターゲットオブジェクト分割領域（例えば、器官領域）が容易に認識され得る。このため、本願の実施例では、セマンティクス一致性損失が導入され、具体的には、第１分割結果に基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失が構築されてもよい。そのうちの１つの実施例では、セマンティクス一致性は、外観平滑性と見なすことができ、したがって、セマンティクス一致性損失は、外観平滑性損失（Ａｐｐｅｒａｎｃｅ ｓｍｏｏｔｈ ｌｏｓｓ）と呼ばれてもよい。

【0127】

そのうちの１つの実施例では、セマンティクスの一致性を維持するために、観察されたターゲットオブジェクト領域（例えば、器官内部）の数値分布が一致性を有することを確保する必要がある。したがって、コンピュータデバイスは、分割結果映像における画素値に対して導関数を求めることによって、分割結果映像におけるターゲットオブジェクト領域の数値分布一致性を確保する場合の損失を算出してもよい。

【0128】

例えば、コンピュータデバイスは、第１分割結果における画素値に対して、予め設定された方向に沿って導関数を求めて、予め設定された方向の、導関数を求める結果を得て、予め設定された方向の、導関数を求める結果と、第１分割結果とに基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築してもよい。

【0129】

例えば、分割マスク

【数33】

に対して、ｘ－ａｘｉｓ、ｙ－ａｘｉｓ、ｚ－ａｘｉｓのそれぞれから導関数を求めて、△ｙ_{ｘ－ａｘｉｓ}、△ｙ_{ｙ－ａｘｉｓ}、△ｙ_{ｚ－ａｘｉｓ}を得て、導関数を求める結果に基づいて、外観平滑性損失を算出してもよい。

【0130】

理解すべきものとして、本願の実施例では、分割空間における分割一致性損失、映像再構築空間における再構築一致性損失は、上記のものに限らず、ニーズに応じて、他のタイプの再構築一致性損失または分割一致性損失を設計してもよい。

【0131】

ステップＳ３で、再構築一致性損失、分割一致性損失に基づいて、訓練対象となる第１敵対的生成ネットワークに対して訓練を行い、訓練済みの第１敵対的生成ネットワークを得る。

【0132】

１つの実施例では、ネットワークの分割正確性を向上させるために、第１敵対的生成ネットワークは、敵対的生成訓練方式によって訓練されてもよく、例えば、本願の実施例の方法は、第１敵対的生成ネットワークにおける判別器を使用して、サンプル医学映像と第１再構築後の医学映像を判別し、判別結果を得るステップと、第１再構築後の医学映像、および判別結果に基づいて、第１敵対的生成ネットワークの敵対的損失を取得するステップと、をさらに含んでもよい。この場合、本願の実施例では、敵対的損失、再構築一致性損失、分割一致性損失に基づいて、訓練対象となる第１敵対的生成ネットワークに対して訓練を行い、訓練済みの第１敵対的生成ネットワークを得てもよい。

【0133】

そのうちの１つの実施例では、敵対的損失には、極大化敵対的損失、極小化敵対的損失が含まれてもよく、具体的には、第１再構築後の医学映像と第１サンプル医学映像とに基づいて再構築損失を計算し、判断結果に基づいて判別損失を計算し、再構築損失と判別損失とに基づいて、敵対的生成ネットワークを構築する場合の極小化敵対的損失、極大化敵対的損失を計算してもよい。この場合、本願の実施例では、極小化敵対的損失および極大化敵対的損失、再構築一致性損失、分割一致性損失に基づいて、第１敵対的生成ネットワークを反復訓練し、訓練後の敵対的生成ネットワークを得てもよい。

【0134】

例えば、図３ａを参照すると、第１生成器Ｇ_Ａでは、ラベリングされた映像からラベリングされていない映像へのオプティカルフロー動き情報を正確に学習することが望まれ、判別器Ｄでは、第１再構築後の医学映像

【数34】

と実際のラベリングされていない第１医学映像ｙを区別することが望まれる。このようにして、第１生成器Ｇ_Ａと判別器Ｄの間では敵対が形成され、第１生成器Ｇ_Ａでは、最小損失で再構築することが望まれる一方、判別器では、最大損失で区別することが望まれる。したがって、最大損失、最小損失でネットワークを訓練してもよい。

【0135】

以上から分かるように、本願の実施例では、教師なし敵対的生成訓練方式によって映像分割ネットワークを訓練することが提案されており、モデルの他のデータセットにおける一般化性能を効果的に向上させるとともに、生成器がオプティカルフロー動き情報を正確に学習することを可能とし、映像分割の精度を向上させる。

【0136】

例えば、上述のように第１敵対的生成ネットワークを訓練した後、第１敵対的生成ネットワークにおける第１生成器を使用して、ラベリングされた第２医学映像からラベリングされていない第１医学映像へのオプティカルフロー動き情報を正確に学習することができ、これにより、オプティカルフロー動き情報に基づいて、ラベリングされていない第１医学映像内のターゲットオブジェクトを分割することができ、これによって、分割精度を大幅に向上させる。

【0137】

以上の実施例に記載の方法に基づいて、以下、例を挙げてさらに詳しく説明する。

【0138】

本実施例では、該医学映像分割装置がコンピュータデバイスに集積されること合を具体的な例として説明する。

【0139】

（一）分割ネットワークの訓練
上記の図３ａの説明に基づいて、図４ａに示すように、第１生成器ＧＡ、第２生成器ＧＢ、および複数のＷａｒｐ（再構築）モジュールなどを含む分割ネットワークのアーキテクチャの模式図が提案されている。

【0140】

（１）優先的には、コンピュータデバイスは、ターゲットオブジェクト（例えば、器官）がラベリングされた、ラベリングされた映像ｘ、およびラベリングされていない、ラベリングされていない映像ｙを取得する。図４ａを参照すると、ｘ∈Ｒ^{ｈ＊ｗ＊ｃ}がラベルのある１枚医学映像であり、ｘ_ｓ∈Ｒ^{ｈ＊ｗ＊ｃ}がそれに対応するラベルであり、ｈ、ｗ、ｃが、それぞれ、医学映像の冠状、矢状および軸の方向での次元である、ということが約定される。データセット

【数35】

がラベルのない大量の医学映像データセットである、ということが約定される。

【0141】

図４ａに示すネットワークにおける第１生成器を使用して、ラベリングされた映像ｘとラベリングされていない映像ｙとの間の画素相互作用関係を学習することで、オプティカルフロー動き情報△ｐ_Ａ∈Ｒ^{ｈ＊ｗ＊ｃ＊３}を学習して把握し、しかしながら、Ｗａｒｐによってオプティカルフロー動き情報△ｐ_Ａに基づいて、ラベリングされていない映像が

【数36】

として再構築された。Ｗａｒｐによってオプティカルフロー動き情報△ｐ_Ａに基づいて、ラベリングされていない映像の分割映像が

【数37】

として再構築された。

【0142】

再構築された、ラベリングされていない映像

【数38】

が得られた後、生成器Ｇ_Ｂを使用して、再構築された映像

【数39】

とラベリングされた映像ｘとの間の画素相互作用関係を学習し、オプティカルフロー動き情報△ｐ_Ｂを学習して把握する。Ｗａｒｐによってオプティカルフロー動き情報△ｐ_Ｂに基づいて、ラベリングされた映像が

【数40】

として再構築された。Ｗａｒｐによってオプティカルフロー動き情報△ｐ_Ｂに基づいて、ラベリングされた映像ｘの分割映像が

【数41】

として再構築された。

【0143】

（２）コンピュータデバイスは再構築結果に基づいて損失を算出する。
例えば、予め設定された損失関数、および再構築結果などに基づいて、損失を算出する。上記の実施例に説明された映像再構築空間の再構築一致性損失、分割空間における分割一致性損失、本願の実施例では、下記損失および損失関数が導入される。

【0144】

（２．１）敵対的損失
再構築された映像をターゲットドメインに十分に接近させるために、本願の実施例では、敵対的損失（Ａｄｖｅｒｓａｒｉａｌ Ｌｏｓｓ）が導入される。具体的な数式の表現は、以下の通りである。

【0145】

【数42】

【0146】

ここで、生成器Ｇ_Ａでは、ラベリングされた映像からラベリングされていない映像へのオプティカルフロー動き情報を正確に学習することが望まれる一方、判別器Ｄでは、再構築された映像

【数43】

と実際のラベリングされていない映像ｙを区別することが望まれる。このようにして、生成器Ｇ_Ａと判別器Ｄの間では敵対が形成され、生成器Ｇ_Ａでは、最小損失で再構築を行うことが望まれる一方、判別器では、最大損失で区別を行うことが望まれ、即ち、

【数44】

になる。

【0147】

（２．２）サイクル一致性損失
ラベリングされた映像ｘから、次に再構築された、ラベリングされていない映像

【数45】

まで、さらに再構築された、ラベリングされた映像

【数46】

まで（即ち

【数47】

）の後、再構築された、ラベリングされた映像

【数48】

と、オリジナルのラベリングされた映像ｘとが一致することが望まれる。また、分割空間で一致性

【数49】

を達成することが同様に望まれる。そのため、以下のようなサイクル一致性損失が導入される。

【0148】

【数50】

【0149】

（２．２）軌跡一致性損失
さらに、

【数51】

のオプティカルフロー動き情報を約束するために、本願の実施例では、本願の実施例では、△ｐ_Ａと△ｐ_Ｂの間では画素レベルで軌跡一致性を示すことを望まれ、図３ｃに示すようになる。この約束情報を実現するために、１つの映像ｒ^{ｈ＊ｗ＊ｃ} _～Ｎ（Ｏ，Ｉ）をランダムに構築して生成し、本願の実施例では、オプティカルフロー動き情報△ｐ_Ａと△ｐ_Ｂがこの映像に適用され、本願の実施例では、これらの一対の変換によって、再構築された映像

【数52】

とオリジナルの映像ｒが一致性を示すことが望まれる。このプロセスは全体として下記の数式によって表される。

【0150】

【数53】

【0151】

（２．３）正規損失
オプティカルフロー情報を分割空間に使用して得られた分割マスク値が｛０，１｝に属することを確保するために、本願の実施例では、その分割マスク値をできるだけ０，１に接近させることを励ますように、ハッシュ損失が導入される。また、本願の実施例では、学習された分割マスク

【数54】

とオリジナルの分割Ｘ_Ｓが大きさでの一致を示すことが望まれるため、本願の実施例では、

【数55】

について約束を実施する。その数式は、全体として以下のように表される。

【0152】

【数56】

【0153】

また、本願の実施例では、学習された分割マスク

【数57】

が映像上でセマンティクス一致性をも示すことが望まれる。このため、本願の実施例では、器官内部の数値分布が一致性を有することが観察され、本願の実施例では、映像に対して、ｘ－ａｘｉｓ、ｙ－ａｘｉｓ、ｚ－ａｘｉｓに沿って、それぞれ導関数を求めて、△ｙ_{ｘ－ａｘｉｓ}、△ｙ_{ｙ－ａｘｉｓ}、△ｙ_{ｚ－ａｘｉｓ}を得る。本願の実施例では、希望分割マスク

【数58】

と映像が器官の微分上で一致性を示すことが望まれる。このため、本願の実施例では、以下のような損失が設計される。

【0154】

【数59】

【0155】

（３）コンピュータデバイスは、上記の算出された損失によって、ネットワークを訓練し、訓練後の第１敵対的生成ネットワークを得る。

【0156】

（二）訓練後の第１敵対的生成ネットワークにおける生成器によって、分割対象となる医学映像におけるターゲットオブジェクト（例えば、器官）の分割を実現することができる。

【0157】

図４ｂに示すように、ターゲットオブジェクトが器官であることを例として、医学映像分割方法の手順は、具体的には、以下の通りである。

【0158】

ステップ４０１で、コンピュータデバイスは、ラベリングされた医学映像とラベリングされていない医学映像を取得する。

【0159】

ここで、ラベリングされた医学映像は、ターゲット器官がラベリングされた医学映像であり、ラベリングされていない医学映像は、ラベリングされていない映像のデータセットなどに由来してもよい。

【0160】

ステップ４０２で、コンピュータデバイスは、生成器を使用して、ラベリングされた医学映像およびラベリングされていない医学映像のそれぞれに対して特徴抽出を行い、ラベリングされていない医学映像の第１特徴情報およびラベリングされた医学映像の第２特徴情報を得る。

【0161】

例えば、図２ｂを参照すると、生成器は、複数の畳み込み層によって、ラベリングされた医学映像とラベリングされていない医学映像に対して特徴抽出を行ってもよい。具体的な特徴抽出プロセスについては、上記の実施例における説明を参照する。

【0162】

ステップ４０３で、コンピュータデバイスは、生成器を使用して、第１特徴情報と第２特徴情報とに基づいて、ラベリングされた医学映像からラベリングされていない医学映像へのオプティカルフロー動き情報を取得する。

【0163】

具体的には、生成器がオプティカルフロー動き情報を学習する具体的なプロセスについては、上記の実施例における説明、例えば、非局所的な操作を行うことなどを参照してもよい。例えば、図２ｂに示すプロセスを参照してもよい。

【0164】

ステップ４０４で、コンピュータデバイスは、再構築モジュールを使用して、オプティカルフロー動き情報、ラベリングされた器官領域に基づいて、ターゲット器官領域の再構築を行い、再構築後のターゲット器官領域を得る。

【0165】

例えば、オプティカルフロー動き情報△ｐに基づいて、ラベリングされた器官領域内の画素を分割空間にて移動させ、再構築後のターゲット器官領域を形成し、当該領域は、ラベリングされていない映像の器官分割領域としてもよい。

【0166】

ステップ４０５で、コンピュータデバイスは、再構築後のターゲット器官領域を、ラベリングされていない医学映像の器官分割結果とする。

【0167】

以上から分かるように、本願の実施例の解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象分割（例えば、器官分割）をラベリングされた映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、オブジェクト分割（例えば、器官分割）を行うことができ、これにより、従来の解決手段のように大量のラベリングデータタ無しで分割モデルを訓練することが回避され、１つのラベリングされた映像と１つの分割対象となる映像を提供するだけで、分割対象となる映像への分割を実現することができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【0168】

以上の方法をよりよく実施するために、本願の実施例では、医学映像分割装置がさらに提供され、当該医学映像分割装置は、コンピュータデバイス、例えばサーバや端末などのデバイスに集積されてもよい。

【0169】

例えば、図５ａに示すように、この医学映像分割装置は、取得ユニット５０１、特徴抽出ユニット５０２、オプティカルフローユニット５０３、および分割ユニット５０４などを備えていてもよい。ここで、
取得ユニット５０１は、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得するために使用される。
特徴抽出ユニット５０２は、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得るために使用される。
オプティカルフローユニット５０３は、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得するために使用される。
分割ユニット５０４は、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得るために使用される。

【0170】

そのうちの１つの実施例では、図５ｂを参照すると、前記分割ユニット５０４は、
オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得る再構築サブユニット５０４１と、
再構築後のターゲットオブジェクト領域を第１医学映像の分割結果とする分割サブユニット５０４２と、を備えていてもよい。

【0171】

そのうちの１つの実施例では、図５ｂを参照すると、前記再構築サブユニット５０４１は、オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得ることと、処理されたオプティカルフロー動き情報再構築と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得ることと、のために使用される。

【0172】

そのうちの１つの実施例では、図５ｃを参照すると、前記オプティカルフローユニット５０３は、
第１特徴情報と第２特徴情報を関連付けて、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得る関連付けサブユニット５０３１と、
画素位置の対応関係情報に対してアップサンプリング操作を行い、第２医学映像から第１医学映像へのオプティカルフロー動き情報を得るサンプリングサブユニット５０３２と、を備えていてもよい。

【0173】

そのうちの１つの実施例では、前記関連付けサブユニット５０３１は、具体的には、
第１医学映像の第１特徴情報に対して畳み込み操作を行い、第１畳み込み特徴情報を得ることと、第２医学映像の第２特徴情報に対して畳み込み操作を行い、第２畳み込み特徴情報を得ることと、第１畳み込み特徴情報と第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得ることと、第１融合特徴情報と第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得ることと、のために使用される。

【0174】

そのうちの１つの実施例では、前記オプティカルフローユニット５０３は、第１敵対的生成ネットワークにおける第１生成器を使用して、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得するために使用される。

【0175】

そのうちの１つの実施例では、図５ｄを参照すると、本願の医学映像分割装置は、さらに、
第１サンプル医学映像と、ターゲットオブジェクト領域がラベリングされた第２サンプル医学映像とを取得するサンプル取得ユニット５０５と、
第１敵対的生成ネットワークにおける第１生成器を使用して、第２サンプル医学映像から第１サンプル医学映像への第１サンプルオプティカルフロー動き情報を取得する第１サンプルオプティカルフローユニット５０６と、
第１敵対的生成ネットワークにおける再構築モジュールを使用して、第１サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、第１サンプル医学映像に対応する第１再構築後の医学映像と、第１分割結果とを得る第１再構築ユニット５０７と、
第２敵対的生成ネットワークにおける第２生成器を使用して、第１再構築後の医学映像から第２サンプル医学映像への第２サンプルオプティカルフロー動き情報を取得する第２サンプルオプティカルフローユニット５０８と、
第２敵対的生成ネットワークにおける再構築モジュールを使用して、第２サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、第２サンプル医学映像に対応する第２再構築後の医学映像、および第２分割結果を得る第２再構築ユニット５０９と、
第１再構築後の医学映像、第１分割結果、第２再構築後の医学映像、および第２分割結果に基づいて、訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得る訓練ユニット５１０と、を備えていてもよい。

【0176】

そのうちの１つの実施例では、図５ｅを参照すると、前記訓練ユニット５１０は、
第１再構築後の医学映像、および第２再構築後の医学映像に基づいて、映像再構築空間における再構築一致性損失を取得する再構築損失取得サブユニット５１０１と、
第１分割結果、第２分割結果、および第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得する分割損失取得サブユニット５１０２と、
再構築一致性損失、分割一致性損失に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練後の第１敵対的生成ネットワークを得る訓練サブユニットと、を備えていてもよい。

【0177】

そのうちの１つの実施例では、前記再構築一致性損失には、映像再構築一致性損失と、軌跡一致性損失とが含まれており、前記再構築損失取得サブユニット５１０１は、第２再構築後の医学映像と第２サンプル医学映像とに基づいて、第２サンプル医学映像と第２再構築後の医学映像が一致に維持される場合の映像再構築一致性損失を取得することと、第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報とに基づいて、第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得することと、のために使用される。

【0178】

そのうちの１つの実施例では、前記分割一致性損失には、映像分割一致性損失、マスク値損失、およびセマンティクス一致性損失が含まれており、前記分割損失取得サブユニット５１０２は、第２分割結果とターゲットオブジェクトラベリング結果とに基づいて、ターゲットオブジェクトラベリング結果と第２分割結果が一致に維持される場合の映像分割一致性損失を取得することと、第１分割結果、第２分割結果、および予め設定された分割マスク値に基づいて、第１分割結果、第２分割結果の、予め設定された分割マスク値に対するマスク値損失をそれぞれ取得することと、第１分割結果に基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築することと、のために使用される。

【0179】

そのうちの１つの実施例では、前記分割損失取得サブユニット５１０２は、第１分割結果における画素値に対して予め設定された方向に沿って導関数を求めて、予め設定された方向の、導関数を求める結果を得ることと、予め設定された方向の、導関数を求める結果と、第１分割結果とに基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築することと、のために使用される。

【0180】

そのうちの１つの実施例では、前記再構築損失取得サブユニット５１０１は、具体的には、１つのオリジナルの医学映像を生成することと、第１サンプルオプティカルフロー動き情報と、第２サンプルオプティカルフロー動き情報とに基づいて、オリジナルの医学映像を変換し、変換された医学映像を得ることと、変換された医学映像とオリジナルの医学映像との間の変換損失を取得することと、変換損失を、第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失とすることと、のために使用される。

【0181】

そのうちの１つの実施例では、図５ｆを参照すると、医学映像分割装置は、さらに、敵対的損失取得ユニット５１１を含み、
前記敵対的損失取得ユニット５１１は、第１敵対的生成ネットワークにおける判別器を使用して、サンプル医学映像と第１再構築後の医学映像を判別し、判別結果を得ることと、第１再構築後の医学映像、および判別結果に基づいて、第１敵対的生成ネットワークの敵対的損失を取得することと、のために使用される。

【0182】

前記訓練ユニット５１２は、敵対的損失、再構築一致性損失、分割一致性損失に基づいて、訓練対象となる第１敵対的生成ネットワークに対して訓練を行い、訓練済みの第１敵対的生成ネットワークを得るために使用される。

【0183】

具体的に実行する際に、上記の各ユニットは、独立したエンティティとして実現されてもよく、任意の組み合わせを行って、同一またはいくつかのエンティティとして実現されてもよいし、上記の各ユニットの具体的な実施については、上記の方法の実施例を参照することができ、ここでは、説明が省略される。

【0184】

以上から分かるように、本願の実施例は、取得ユニット５０１を介して、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得することと、特徴抽出ユニット５０２を介して、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得ことと、オプティカルフローユニット５０３を介して、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得することと、分割ユニット５０４を介して、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得ることと、を実行することができる。この解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象（例えば、器官分割）をラベリングされた映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、オブジェクト（例えば、器官分割）を行うことができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【0185】

本願の実施例は、コンピュータデバイスをさらに提供し、本願の実施例にかかるコンピュータデバイスの構造の模式図が示されている図６に示すように、具体的には、
該コンピュータデバイスは、１つ以上の処理カーネルを有するプロセッサ６０１、１つ以上のコンピュータ読み取り可能な記憶媒体を有するメモリ６０２、電源６０３や入力ユニット６０４などのコンポーネントを含んでもよい。当業者が理解できるように、図６に示すコンピュータデバイスの構造は、コンピュータデバイスに対しする限定を構成せず、図示に示されるよりも多いまたは少ないコンポーネントを含んだり、一部のコンポーネントを組み合わたり、異なるコンポーネントの配置を取ったりしてもよい。

【0186】

プロセッサ６０１は、このコンピュータデバイスの制御センターであり、様々なインターフェースおよび回線を利用してコンピュータデバイス全体の各部を接続し、メモリ６０２に記憶されているソフトウェアプログラムおよび／またはモジュールをランまたは実行すること、かつ、メモリ６０２に記憶されているデータを呼び出すことで、コンピュータデバイスの各機能を実行したりデータを処理したりすることによって、コンピュータデバイスの全体に対して監視および制御を行う。オプションとして、プロセッサ６０１は、１つまたは複数の処理カーネルを含んでもよく、好ましくは、プロセッサ６０１は、アプリケーションプロセッサとモデムプロセッサを集積してもよいし、ここで、アプリケーションプロセッサは、主に、オペレーティングシステム、ユーザーインターフェースおよびアプリケーションプログラムなどを処理し、モデムプロセッサは、主に、無線通信を処理する。理解できるものとして、上記のモデムプロセッサは、プロセッサ６０１に集積されなくてもよい。

【0187】

メモリ６０２は、ソフトウェアプログラムおよびモジュールを記憶するために使用されてもよく、プロセッサ６０１は、メモリ６０２に記憶されているソフトウェアプログラムおよびモジュールを実行することによって、各種の機能性アプリケーションおよびデータ処理を実行する。メモリ６０２は、主に、プログラム記憶領域およびデータ記憶領域を含んでもよく、ここで、プログラム記憶領域には、オペレーティングシステム、少なくとも１つの機能によって必要とされるアプリケーションプログラム（例えば、音声再生機能、映像再生機能など）などが記憶されてもよく、データ記憶領域には、コンピュータデバイスの使用に従って作成されたデータなどが記憶されてもよい。さらに、メモリ６０２は、高速ランダム・アクセス・メモリを含んでもよく、また、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュデバイスなどの不揮発性メモリ、または他の揮発性固体記憶デバイスを含んでもよい。相応的に、メモリ６０２は、メモリ６０２へのプロセッサ６０１によるアクセスを可能とするために、メモリコントローラをさらに含んでもよい。

【0188】

コンピュータデバイスは、各コンポーネントに電力を供給する電源６０３をさらに含み、好ましくは、電源６０３は、電源管理システムを介して、プロセッサ６０１に論理的に接続され得て、これにより、充電、放電、および電力消費管理などの機能は、電源管理システムを介して実現され得る。電源６０３は、１つ以上の直流または交流電源、再充電システム、電源故障検出回路、電源変換器またはインバータ、電源状態インジケータなどの任意のコンポーネントをさらに含んでもよい。

【0189】

当該コンピュータデバイスは、入力ユニット６０４をさらに含んでもよく、この入力ユニット６０４は、入力された数字や文字情報を受信することと、ユーザ設定および機能制御に関するキーボード、マウス、ジョイスティック、光学またはトラックボールの信号入力を生成することと、のために使用され得る。

【0190】

図示されていないが、コンピュータデバイスは、表示ユニットなどを含んでもよく、ここでは詳しく説明しない。具体的には、本実施例において、コンピュータデバイスにおけるプロセッサ６０１は、下記の命令に従って、１つ以上のアプリケーションプログラムのプロセスに対応する実行可能ファイルをメモリ６０２にロードし、メモリ６０２に記憶されているアプリケーションプログラムを実行することができ、これにより、下記の各種機能、即ち、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得することと、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得ることと、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得することと、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得ることと、が実現される。

【0191】

上記の各動作については、具体的には、前の実施例を参照してもよく、ここでは詳細には説明しない。

【0192】

以上から分かるように、本実施例のコンピュータデバイスは、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像との後、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得し、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得、したがって、この解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象（例えば、器官分割）をラベリングされた映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、ブジェクト（例えば、器官分割）を行うことができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【0193】

当業者が理解できるものとして、上記の実施例の各方法におけるステップの全部または一部は、命令によって完成させてもよく、または関連するハードウェアを命令によって制御して完了させてもよいし、当該命令は、コンピュータ読み取り可能な記憶媒体に記憶され、プロセッサによってロードされ実行されてもよい。

【0194】

このため、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、該コンピュータプログラムは、本願の実施例によって提供されるいずれかの医学映像分割方法におけるステップを実行するために、プロセッサによってロードされ得る。例えば、該コンピュータプログラムは、下記のステップ、即ち、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得するステップと、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得るステップと、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得するステップと、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得るステップと、を実行することができる。

【0195】

以上の各操作の具体的な実施については、前述の実施例を参照してもよく、ここでは詳しく説明しない。

【0196】

ここで、当該コンピュータ読み取り可能な記憶媒体には、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたはディスクなどが含まれてもよい。

【0197】

当該コンピュータ読み取り可能な記憶媒体に記憶されている命令は、本願の実施例によって提供されるいずれかの医学映像分割方法におけるステップを実行できるため、本願の実施例によって提供されるいずれかの医学映像分割方法により実現され得る有益な効果を実現することができ、この詳細については、前述の実施例を参照すればよく、ここでは詳しく説明しない。

【0198】

以上、本願の実施例によって提供される医学映像分割方法、装置、コンピュータデバイス、およびコンピュータ読み取り可能な記憶媒体を詳しく説明しており、本明細書では、具体例を用いて本発明の原理および実施形態を説明したが、以上の実施例の説明は、本発明の方法およびそのコアアイデアを理解するためにのみ使用され、また、当業者にとっては、本発明の構想に従って、具体的な実施形態および適用範囲において変更される点があるので、上記のように、本明細書の内容は、本発明に対する制限として理解されるべきではない。

【符号の説明】

【0199】

５０１ 取得ユニット
５０２ 特徴抽出ユニット
５０３ オプティカルフローユニット
５０４ 分割ユニット

【図1】

【図2a】

【図2b】

【図2c】

【図2d】

【図3a】

【図3b】

【図3c】

【図4a】

【図4b】

【図5a】

【図5b】

【図5c】

【図5d】

【図5e】

【図5f】

【図6】

【手続補正書】

【提出日】2021-10-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータデバイスが実行する医学映像分割方法であって、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得するステップと、
前記第１医学映像および前記第２医学映像のそれぞれに特徴抽出を行い、前記第１医学映像の第１特徴情報と前記第２医学映像の第２特徴情報を得るステップと、
前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップと、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得るステップと、
を含むことを特徴とする医学映像分割方法。

【請求項2】

前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得るステップは、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得るステップと、
再構築後のターゲットオブジェクト領域を、前記第１医学映像の分割結果とするステップと、を含む、
ことを特徴とする請求項１に記載の医学映像分割方法。

【請求項3】

前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得るステップは、
前記オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得るステップと、
処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得るステップと、を含む、
ことを特徴とする請求項２に記載の医学映像分割方法。

【請求項4】

前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップは、
前記第１特徴情報と前記第２特徴情報を関連付けて、前記第２医学映像と前記第１医学映像との間の画素位置の対応関係情報を得るステップと、
前記画素位置の対応関係情報に対してアップサンプリング操作を行い、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を得るステップと、を含む、
ことを特徴とする請求項１に記載の医学映像分割方法。

【請求項5】

前記第１特徴情報と前記第２特徴情報を関連付けて、前記第２医学映像と前記第１医学映像との間の画素位置の対応関係情報を得るステップは、
前記第１医学映像の第１特徴情報に対して畳み込み操作を行い、第１畳み込み特徴情報を得るステップと、
前記第２医学映像の第２特徴情報に対して畳み込み操作を行い、第２畳み込み特徴情報を得るステップと、
前記第１畳み込み特徴情報と前記第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得るステップと、
前記第１融合特徴情報と前記第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得るステップと、を含む、
ことを特徴とする請求項４に記載の医学映像分割方法。

【請求項6】

前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップは、
第１敵対的生成ネットワークにおける第１生成器を使用して、前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するステップ、を含む、
ことを特徴とする請求項１に記載の医学映像分割方法。

【請求項7】

前記第１敵対的生成ネットワークは、
第１サンプル医学映像と、ターゲットオブジェクトラベリング結果を有する第２サンプル医学映像とを取得するステップと、
訓練対象となる第１敵対的生成ネットワークにおける第１生成器を使用して、前記第２サンプル医学映像から前記第１サンプル医学映像への第１サンプルオプティカルフロー動き情報を取得するステップと、
前記訓練対象となる第１敵対的生成ネットワークにおける再構築モジュールを使用して、前記第１サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第１サンプル医学映像に対応する第１再構築後の医学映像と、第１分割結果とを得るステップと、
第２敵対的生成ネットワークにおける第２生成器を使用して、前記第１再構築後の医学映像から前記第２サンプル医学映像への第２サンプルオプティカルフロー動き情報を取得するステップと、
第２敵対的生成ネットワークにおける再構築モジュールを使用して、前記第２サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第２サンプル医学映像に対応する第２再構築後の医学映像と、第２分割結果とを得るステップと、
前記第１再構築後の医学映像、前記第１分割結果、前記第２再構築後の医学映像、および前記第２分割結果に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップと、によって訓練されるものである、
ことを特徴とする請求項６に記載の医学映像分割方法。

【請求項8】

前記第１再構築後の医学映像、前記第１分割結果、前記第２再構築後の医学映像、および前記第２分割結果に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップは、
前記第１再構築後の医学映像と、前記第２再構築後の医学映像とに基づいて、映像再構築空間における再構築一致性損失を取得するステップと、
前記第１分割結果、前記第２分割結果、および前記第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得するステップと、
前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップと、を含む、
ことを特徴とする請求項７に記載の医学映像分割方法。

【請求項9】

前記再構築一致性損失には、映像再構築一致性損失と、軌跡一致性損失とが含まれ、
前記第１再構築後の医学映像と、前記第２再構築後の医学映像とに基づいて、映像再構築空間における再構築一致性損失を取得するステップは、
前記第２再構築後の医学映像と前記第２サンプル医学映像とに基づいて、前記第２サンプル医学映像と前記第２再構築後の医学映像が一致に維持される場合の映像再構築一致性損失を取得するステップと、
前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報とに基づいて、前記第１サンプルオプティカルフロー動き情報と第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得するステップとを、含む、
ことを特徴とする請求項８に記載の医学映像分割方法。

【請求項10】

前記分割一致性損失には、映像分割一致性損失、マスク値損失、およびセマンティクス一致性損失が含まれ、
前記第１分割結果、前記第２分割結果、および前記第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得するステップは、
前記第２分割結果と前記ターゲットオブジェクトラベリング結果とに基づいて、前記ターゲットオブジェクトラベリング結果と前記第２分割結果が一致に維持される場合の映像分割一致性損失を取得するステップと、
前記第１分割結果、前記第２分割結果、および予め設定された分割マスク値に基づいて、前記第１分割結果、前記第２分割結果の、前記予め設定された分割マスク値に対するマスク値損失をそれぞれ取得するステップと、
前記第１分割結果に基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築するステップと、を含む、
ことを特徴とする請求項８に記載の医学映像分割方法。

【請求項11】

前記第１分割結果に基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築するステップは、
前記第１分割結果における画素値に対して、予め設定された方向に沿って導関数を求めて、予め設定された方向の、導関数を求める結果を得るステップと、
予め設定された方向の、導関数を求める結果と、前記第１分割結果とに基づいて、第１分割結果が映像上でセマンティクス一致性を維持する場合のセマンティクス一致性損失を構築するステップと、を含む、
ことを特徴とする請求項１０に記載の医学映像分割方法。

【請求項12】

前記第１サンプルオプティカルフロー動き情報と、前記第２サンプルオプティカルフロー動き情報に基づいて、前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失を取得するステップは、
１つのオリジナルの医学映像を生成するステップと、
前記第１サンプルオプティカルフロー動き情報と、前記第２サンプルオプティカルフロー動き情報とに基づいて、前記オリジナルの医学映像を変換し、変換された医学映像を得るステップと、
前記変換された医学映像と前記オリジナルの医学映像との間の変換損失を取得するステップと、
前記変換損失を、前記第１サンプルオプティカルフロー動き情報と前記第２サンプルオプティカルフロー動き情報が軌跡の一致を示す場合の軌跡一致性損失とするステップと、を含む、
ことを特徴とする請求項９に記載の医学映像分割方法。

【請求項13】

前記方法は、さらに、
前記訓練対象となる第１敵対的生成ネットワークにおける判別器を使用して、前記第１サンプル医学映像と前記第１再構築後の医学映像を判別し、判別結果を得るステップと、
前記第１再構築後の医学映像、および前記判別結果に基づいて、前記第１敵対的生成ネットワークの敵対的損失を取得するステップと、を含み、
前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練後の第１敵対的生成ネットワークを得るステップは、
前記敵対的損失、前記再構築一致性損失、および前記分割一致性損失に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得るステップ、を含む、
ことを特徴とする請求項８に記載の医学映像分割方法。

【請求項14】

医学映像分割装置であって、
第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得する取得ユニットと、
前記第１医学映像および前記第２医学映像のそれぞれに特徴抽出を行い、前記第１医学映像の第１特徴情報と前記第２医学映像の第２特徴情報を得る特徴抽出ユニットと、
前記第１特徴情報と前記第２特徴情報とに基づいて、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を取得するオプティカルフローユニットと、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、前記第１医学映像におけるターゲットオブジェクトを分割し、前記第１医学映像の分割結果を得る分割ユニットと、
を含むことを特徴とする医学映像分割装置。

【請求項15】

前記分割ユニットは、
前記オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得る再構築サブユニットと、
再構築後のターゲットオブジェクト領域を、前記第１医学映像の分割結果とする分割サブユニットと、を含む、
ことを特徴とする請求項１４に記載の医学映像分割装置。

【請求項16】

前記再構築サブユニットは、さらに、
前記オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得ることと、
処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得ることと、のために使用される、
ことを特徴とする請求項１５に記載の医学映像分割装置。

【請求項17】

前記オプティカルフローユニットは、
前記第１特徴情報と前記第２特徴情報を関連付けて、前記第２医学映像と前記第１医学映像との間の画素位置の対応関係情報を得る関連付けサブユニットと、
前記画素位置の対応関係情報に対してアップサンプリング操作を行い、前記第２医学映像から前記第１医学映像へのオプティカルフロー動き情報を得るサンプリングサブユニットと、を含む、
ことを特徴とする請求項１４に記載の医学映像分割装置。

【請求項18】

前記関連付けサブユニットは、さらに、
前記第１医学映像の第１特徴情報に対して畳み込み操作を行い、第１畳み込み特徴情報を得ることと、
前記第２医学映像の第２特徴情報に対して畳み込み操作を行い、第２畳み込み特徴情報を得ることと、
前記第１畳み込み特徴情報と前記第２畳み込み特徴情報を互いに融合して、第１融合特徴情報を得ることと、
前記第１融合特徴情報と前記第１畳み込み特徴情報を互いに融合して、第２医学映像と第１医学映像との間の画素位置の対応関係情報を得る、のために使用される、
ことを特徴とする請求項１７に記載の医学映像分割装置。

【請求項19】

メモリ、プロセッサ、およびメモリに記憶され、かつプロセッサ上で実行可能なコンピュータプログラムを含むコンピュータデバイスであって、
前記プロセッサは、前記プログラムを実行すると、請求項１～１３のいずれか１項に記載の方法のステップを実現する、
ことを特徴とするコンピュータデバイス。

【請求項20】

コンピュータプログラムであって、
請求項１～１３のいずれか１項に記載の方法のステップを、コンピュータデバイスに実現させる、
ことを特徴とするコンピュータプログラム。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

そのうちの１つの実施例では、前記再構築サブユニットは、前記オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得ることと、処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得ることと、のために使用される。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【0013】

そのうちの１つの実施例では、前記医学映像分割装置は、さらに、
第１サンプル医学映像と、ターゲットオブジェクトラベリング結果を有する第２サンプル医学映像とを取得するサンプル取得ユニットと、
訓練対象となる第１敵対的生成ネットワークにおける第１生成器を使用して、前記第２サンプル医学映像から前記第１サンプル医学映像への第１サンプルオプティカルフロー動き情報を取得する第１サンプルオプティカルフローユニットと、
前記訓練対象となる第１敵対的生成ネットワークにおける再構築モジュールを使用して、前記第１サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第１サンプル医学映像に対応する第１再構築後の医学映像と、第１分割結果とを得る第１再構築ユニットと、
第２敵対的生成ネットワークにおける第２生成器を使用して、前記第１再構築後の医学映像から前記第２サンプル医学映像への第２サンプルオプティカルフロー動き情報を取得する第２サンプルオプティカルフローユニットと、
第２敵対的生成ネットワークにおける再構築モジュールを使用して、前記第２サンプルオプティカルフロー動き情報に基づいて映像再構築を行い、前記第２サンプル医学映像に対応する第２再構築後の医学映像と、第２分割結果とを得る第２再構築ユニットと、
前記第１再構築後の医学映像、前記第１分割結果、前記第２再構築後の医学映像、および前記第２分割結果に基づいて、前記訓練対象となる第１敵対的生成ネットワークを訓練し、訓練済みの第１敵対的生成ネットワークを得る訓練ユニットと、を含む。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】変更

【補正の内容】

【0024】

【図1】本願の実施例によって提供される医学映像分割方法の適用シーンの模式図である。

【図2a】本願の実施例によって提供される医学映像分割方法のフローチャートである。

【図2b】本願の実施例によって提供される生成器のフレームワークの模式図である。

【図2c】本願の実施例によって提供されるＮｏｎ－ｌｏｃａｌ Ｂｌｏｃｋの構造の模式図である。

【図2d】本願の実施例によって提供される分割原理の模式図である。

【図3a】本願の実施例によって提供される分割ネットワークのアーキテクチャ図である。

【図3b】本願の実施例によって提供される訓練方法の模式的フローチャートである。

【図3c】本願の実施例によって提供されるオプティカルフロー動き情報の一致性の模式図である。

【図4a】本実施例によって提供される分割ネットワークの別のアーキテクチャ図である。

【図4b】本願の実施例によって提供される医学映像分割の別の模式的フローチャートである。

【図5a】本願の実施例によって提供される医学映像分割装置の構造の模式図である。

【図5b】本願の実施例によって提供される医学映像分割装置の別の構造の模式図である。

【図5c】本願の実施例によって提供される医学映像分割装置の別の構造の模式図である。

【図5d】本願の実施例によって提供される医学映像分割装置の別の構造の模式図である。

【図5e】本願の実施例によって提供される医学映像装置の別の構造の模式図である。

【図5f】本願の実施例によって提供される医学映像装置の別の構造の模式図である。

【図6】本願の実施例によって提供されるコンピュータデバイスの構造の模式図である。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】変更

【補正の内容】

【0029】

本願において、いわゆる映像分割とは、映像をいくつかの特定の、独特の性質を持つ領域に分けて、興味のあるターゲットを抽出する技術およびプロセスを指す。本願の実施例では、それは、主に、三次元（３Ｄ：Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ）医学映像を分割し、必要なターゲットオブジェクト（例えば、器官）を見つけることを指し、例えば、３Ｄ医学映像から肝臓領域、心臓領域、心房領域などを分割することができる。分割されたターゲットオブジェクト（例えば、器官）は、後続で医療看護スタッフや他の医学専門家が分析してさらなる操作を行うように使用され得る。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００５７

【補正方法】変更

【補正の内容】

【0057】

非局所的なブロックの構造の模式図である図２ｃに示すように、ラベリングされた医学映像ｘ（つまり、第２医学映像）の特徴マップがｘ’であり、ラベリングされていない医学映像ｙ（つまり、第１医学映像）の特徴マップがｙ’であり、ここで、ｘ’、ｙ’の次元が、それぞれ、Ｔ＊Ｈ＊Ｗ＊１０２４であり、ここで、Ｔが、対応するビデオフレーム数（本願における映像の数に対応する）であると仮定すれば、特徴マップのサイズは、Ｔ×Ｈ×Ｗ×１０２４になり、つまり、１０２４個のチャネルがある。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００６４

【補正方法】変更

【補正の内容】

【0064】

オプティカルフロー動き情報△ｐを第１医学映像に適用できるようにするために（オプティカルフロー動き情報△ｐの取得は、ダウンサンプリング設定において行われる可能性があるので）、および再構築の速度を向上させるために、そのうちの１つの実施例では、コンピュータデバイスは、オプティカルフロー動き情報に対して、トリリニア補間（Ｔｒｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）処理を行い、処理されたオプティカルフロー動き情報に基づいて、ラベリングされていない第１サンプル医学映像を再構築し、第１再構築後の医学映像を得てもよい。すなわち、「オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得る」ステップは、オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得るステップと、処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得るステップと、を含んでもよい。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正の内容】

【0067】

本願の実施例は、移行映像に基づいて映像を分割空間にマッピングする解決手段を提供する。当該解決手段は、映像から映像へのマッピングモデリングを、画素レベルのオプティカルフロー推定として設定し、画素が動く場合の方向や速度などのオプティカルフロー動き情報を学習することによって、ラベリングされていない映像の分割結果を、ラベリングされた映像のラベリング結果から再構築または移転する。解決手段全体の構想は、図２ｄに示すようになる。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００６８

【補正方法】変更

【補正の内容】

【0068】

図２ｄに示すように、医学映像が心房映像であることを例として、まず、心臓領域がラベリングされた１枚のラベリングされた映像（Ｌａｂｅｌｅｄ）と、１枚のラベリングされていない映像（Ｕｎｌａｂｅｌｅｄ）を提供し、その後、ラベリングされた映像からラベリングされていない映像へのオプティカルフロー動き情報△ｐを学習し、ラベリングされた心臓領域と、オプティカルフロー動き情報△ｐとによって、心臓領域を再構築（または移行）し、この再構築後の心臓領域（または移行された心臓領域）は、ラベリングされていない映像の心臓分割結果である。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】００６９

【補正方法】変更

【補正の内容】

【0069】

以上から分かるように、本願の実施例の解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象分割（例えば、器官分割）をラベリングされていない映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、ターゲットオブジェクト分割（例えば、器官分割）を行うことができ、これにより、従来の解決手段のように大量のラベリングデータを使用して分割モデルを訓練することが回避され、１つのラベリングされた医学映像と１つの分割対象となる医学映像を提供するだけで、分割対象となる医学映像への分割を実現することができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【手続補正12】

【補正対象書類名】明細書

【補正対象項目名】００７５

【補正方法】変更

【補正の内容】

【0075】

本願の実施例では、上記の問題に対して、教師なしドメイン適応（Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｄｏｍａｉｎ Ａｄａｐｔａｔｉｏｎ）技術が採用されている分割ネットワーク訓練方法が提供され、この訓練方法は、ラベルのあるデータセットの特徴構造を学習して知識を新しいデータセットに移行し、ラベルのない新しいデータセットに対して、比較的正確なターゲットオブジェクト分割（例えば、器官分割など）を提供することができ、深層ネットワーク（例えば、血管分割ネットワーク）の、他のデータセットにおける一般化性能を効果的に向上させる。

【手続補正13】

【補正対象書類名】明細書

【補正対象項目名】０１４１

【補正方法】変更

【補正の内容】

【0141】

図４ａに示すネットワークにおける第１生成器を使用して、ラベリングされた映像ｘとラベリングされていない映像ｙとの間の画素相互作用関係を学習することで、オプティカルフロー動き情報△ｐ_Ａ∈Ｒ^{ｈ＊ｗ＊ｃ＊３}を学習して把握し、そして、Ｗａｒｐによってオプティカルフロー動き情報△ｐ_Ａに基づいて、ラベリングされていない映像が

【数36】

として再構築された。Ｗａｒｐによってオプティカルフロー動き情報△ｐ_Ａに基づいて、ラベリングされていない映像の分割映像が

【数37】

として再構築された。

【手続補正14】

【補正対象書類名】明細書

【補正対象項目名】０１４３

【補正方法】変更

【補正の内容】

【0143】

（２）コンピュータデバイスは再構築結果に基づいて損失を算出する。
例えば、予め設定された損失関数、および再構築結果などに基づいて、損失を算出する。上記の実施例に説明された映像再構築空間の再構築一致性損失、分割空間における分割一致性損失の以外に、本願の実施例では、下記損失および損失関数が導入される。

【手続補正15】

【補正対象書類名】明細書

【補正対象項目名】０１４９

【補正方法】変更

【補正の内容】

【0149】

（２．２）軌跡一致性損失
さらに、

【数51】

のオプティカルフロー動き情報を約束するために、本願の実施例では、本願の実施例では、△ｐ_Ａと△ｐ_Ｂの間では画素レベルで軌跡一致性を示すことを望まれ、図３ｃに示すようになる。この約束情報を実現するために、１つの映像ｒ^{ｈ＊ｗ＊ｃ} _～Ｎ（Ｏ，Ｉ）をランダムに構築し、本願の実施例では、オプティカルフロー動き情報△ｐ_Ａと△ｐ_Ｂがこの映像に適用され、本願の実施例では、これらの一対の変換によって、再構築された映像

【数52】

とオリジナルの映像ｒが一致性を示すことが望まれる。このプロセスは全体として下記の数式によって表される。

【手続補正16】

【補正対象書類名】明細書

【補正対象項目名】０１６７

【補正方法】変更

【補正の内容】

【0167】

以上から分かるように、本願の実施例の解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象分割（例えば、器官分割）をラベリングされていない映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、ターゲットオブジェクト分割（例えば、器官分割）を行うことができ、これにより、従来の解決手段のように大量のラベリングデータを使用して分割モデルを訓練することが回避され、１つのラベリングされた映像と１つの分割対象となる映像を提供するだけで、分割対象となる映像への分割を実現することができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【手続補正17】

【補正対象書類名】明細書

【補正対象項目名】０１７１

【補正方法】変更

【補正の内容】

【0171】

そのうちの１つの実施例では、図５ｂを参照すると、前記再構築サブユニット５０４１は、オプティカルフロー動き情報に対して、トリリニア補間処理を行い、処理されたオプティカルフロー動き情報を得ることと、処理されたオプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、ターゲットオブジェクト領域の再構築を行い、再構築後のターゲットオブジェクト領域を得ることと、のために使用される。

【手続補正18】

【補正対象書類名】明細書

【補正対象項目名】０１７６

【補正方法】変更

【補正の内容】

【0176】

そのうちの１つの実施例では、図５ｅを参照すると、前記訓練ユニット５１０は、
第１再構築後の医学映像、および第２再構築後の医学映像に基づいて、映像再構築空間における再構築一致性損失を取得する再構築損失取得サブユニット５１０１と、
第１分割結果、第２分割結果、および第２サンプル医学映像のターゲットオブジェクトラベリング結果に基づいて、分割空間における分割一致性損失を取得する分割損失取得サブユニット５１０２と、
再構築一致性損失、分割一致性損失に基づいて、第１敵対的生成ネットワークに対して訓練を行い、訓練後の第１敵対的生成ネットワークを得る訓練サブユニット５１０３と、を備えていてもよい。

【手続補正19】

【補正対象書類名】明細書

【補正対象項目名】０１８２

【補正方法】変更

【補正の内容】

【0182】

前記訓練ユニット５１０は、敵対的損失、再構築一致性損失、分割一致性損失に基づいて、訓練対象となる第１敵対的生成ネットワークに対して訓練を行い、訓練済みの第１敵対的生成ネットワークを得るために使用される。

【手続補正20】

【補正対象書類名】明細書

【補正対象項目名】０１８４

【補正方法】変更

【補正の内容】

【0184】

以上から分かるように、本願の実施例は、取得ユニット５０１を介して、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得することと、特徴抽出ユニット５０２を介して、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得ことと、オプティカルフローユニット５０３を介して、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得することと、分割ユニット５０４を介して、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得ることと、を実行することができる。この解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象分割（例えば、器官分割）をラベリングされていない映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、ターゲットオブジェクト分割（例えば、器官分割）を行うことができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【手続補正21】

【補正対象書類名】明細書

【補正対象項目名】０１９２

【補正方法】変更

【補正の内容】

【0192】

以上から分かるように、本実施例のコンピュータデバイスは、第１医学映像と、ターゲットオブジェクト領域がラベリングされた第２医学映像とを取得した後、第１医学映像および第２医学映像のそれぞれに対して特徴抽出を行い、第１医学映像の第１特徴情報と第２医学映像の第２特徴情報を得、第１特徴情報と第２特徴情報とに基づいて、第２医学映像から第１医学映像へのオプティカルフロー動き情報を取得し、オプティカルフロー動き情報と、ラベリングされたターゲットオブジェクト領域とに基づいて、第１医学映像におけるターゲットオブジェクトを分割し、第１医学映像の分割結果を得、したがって、この解決手段は、ラベリングされた映像からラベリングされていない映像への変換を学習することによって、ラベリングされた映像の対象分割（例えば、器官分割）をラベリングされていない映像に移行し、ラベリングされた医学映像を利用して、ラベリングされていない医学映像に対して、ターゲットオブジェクト分割（例えば、器官分割）を行うことができ、これによって、医学映像の分割精確性および効率を大幅に向上させる。

【国際調査報告】