特表2022-518446 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ ▲騰▼▲訊▼科技（深▲セン▼）有限公司の特許一覧

特表2022-518446深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-15

(54)【発明の名称】深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム

(51)【国際特許分類】

G06T 7/00 20170101AFI20220308BHJP

A61B 6/03 20060101ALI20220308BHJP

【ＦＩ】

G06T7/00 612

G06T7/00 350C

A61B6/03 360D

A61B6/03 360Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021541113

(86)(22)【出願日】2020-03-27

(85)【翻訳文提出日】2021-07-15

(86)【国際出願番号】 CN2020081655

(87)【国際公開番号】W WO2020215984

(87)【国際公開日】2020-10-29

(31)【優先権主張番号】201910324565.8

(32)【優先日】2019-04-22

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】▲ゴン▼ ▲麗▼君

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA18

4C093FF18

4C093FF28

5L096AA03

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096DA02

5L096FA69

5L096GA34

5L096HA08

5L096HA11

5L096JA16

5L096KA04

(57)【要約】

本出願の実施例は、深層学習に基づく医用画像検出方法、装置、コンピュータ読み取り可能な媒体、及び電子機器を提供する。当該方法は、検出すべき医用画像を取得し、前記検出すべき医用画像は複数枚のスライスマップを含み、検出すべき医用画像の各スライスマップに対して、ディープニューラルネットワークにより、当該スライスマップを取得するＮ枚の基本特徴マップを抽出し、当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得し、各拡張特徴マップに対して階層的な膨張畳み込み操作を実行して、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成する操作を実行し、ディープニューラルネットワークにより、前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測し、ＮとＭの両方は１よりも大きい整数である。本出願の実施例の技術案は医用画像のターゲット検出精度を向上させることができる。

【特許請求の範囲】

【請求項1】

電子機器が実行する、深層学習に基づく医用画像検出方法であって、
複数枚のスライスマップを含む、検出すべき医用画像を取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのＮ（Ｎは１よりも大きい整数）枚の基本特徴マップを抽出するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行うことにより、当該スライスマップのＭ（Ｍは１よりも大きい整数）枚の拡張特徴マップを取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行することにより、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するステップと、
前記ディープニューラルネットワークにより前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するステップとを含む方法。

【請求項2】

前記Ｎ枚の基本特徴マップは、Ａ枚の低層特徴マップと、Ｂ枚の高層特徴マップとを含み、前記ＡとＢの両方が１よりも大きい整数であり、
前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行うことにより、当該スライスマップのＭ枚の拡張特徴マップを取得するステップは、
当該スライスマップのｉ枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップのｊ枚目の高層特徴マップに対してアップサンプリング処理を行い、前記ｉ枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、ｊ枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップのｋ枚目の拡張特徴マップを取得するステップを含み、
１≦ｉ＜Ａ、１＜ｊ≦Ｂ、１＜ｋ≦Ｍ、且つｉ、ｊ、ｋが整数である請求項１に記載の方法。

【請求項3】

前記Ｎ枚の基本特徴マップは、Ａ枚の低層特徴マップとＢ枚の高層特徴マップとを含み、前記ＡとＢの両方が１よりも大きい整数であり、
前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行うことにより、当該スライスマップのＭ枚の拡張特徴マップを取得するステップは、
当該スライスマップのＡ枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得することを含む請求項１に記載の方法。

【請求項4】

前記Ａ＝３、前記Ｂ＝３、前記Ｍ＝３の場合、前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得するステップは、
当該スライスマップの３枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得するステップと、
当該スライスマップの２枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの１枚目の高層特徴マップに対してアップサンプリング処理を行い、２枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、１枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの２枚目の高層特徴マップを、２枚目の拡張特徴マップとして取得するステップと、
当該スライスマップの１枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの２枚目の高層特徴マップに対してアップサンプリング処理を行い、１枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、２枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの３枚目の高層特徴マップを、３枚目の拡張特徴マップとして取得するステップを含む請求項２又は３に記載の方法。

【請求項5】

前記ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、各拡張特徴マップの重畳特徴マップを生成するステップは、
前記Ｍ枚の拡張特徴マップのそれぞれに対して、Ｋ（Ｋは１よりも大きい整数）個の膨張畳み込み層により当該拡張特徴マップをそれぞれ処理することにより、当該拡張特徴マップのＫ枚の膨張特徴マップを取得するステップと
前記Ｍ枚の拡張特徴マップのそれぞれに対して、通常の畳み込み層により当該拡張特徴マップを処理することにより、当該拡張特徴マップの畳み込み特徴マップを取得するステップと、
前記Ｍ枚の拡張特徴マップのそれぞれに対して、当該拡張特徴マップのＫ枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得するステップとを含む請求項１に記載の方法。

【請求項6】

前記当該拡張特徴マップのＫ枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得するステップは、
当該拡張特徴マップのＫ枚の膨張特徴マップと畳み込み特徴マップとを結合して、当該拡張特徴マップのカスケード特徴マップを取得するステップと、
当該拡張特徴マップのカスケード特徴マップに基づいて、Ｋ個の膨張畳み込み層及び通常の畳み込み層それぞれの重みを取得するステップと、
当該拡張特徴マップのＫ枚の膨張特徴マップ、及び畳み込み特徴マップ、Ｋ個の膨張畳み込み層及び通常の畳み込み層それぞれの重みに基づいて、当該拡張特徴マップの重畳特徴マップを取得するステップとを含む請求項５に記載の方法。

【請求項7】

前記Ｋ個の膨張畳み込み層の受容野が異なる請求項５又は６に記載の方法。

【請求項8】

前記Ｋ個の膨張畳み込み層の畳み込みカーネルパラメータが共有される請求項５又は６に記載の方法。

【請求項9】

前記ディープニューラルネットワークにより前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するステップは、
前記検出すべき医用画像における各スライスマップの重畳特徴マップを処理して、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するステップと、
前記初期関心領域位置情報及びその初期信頼度を処理して、前記検出すべき医用画像の関心領域位置情報及びその信頼度を取得するステップとを含む請求項１に記載の方法。

【請求項10】

前記重畳特徴マップを処理し、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するステップは、
前記検出すべき医用画像における各スライスマップのｄ枚目の重畳特徴マップに基づいて、ｄ（ｄは１以上且つＭ以下の整数）枚目の深層特徴マップを取得するステップと、
Ｍ枚の深層特徴マップを仮分類して、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するステップとを含む請求項９に記載の方法。

【請求項11】

関心領域位置情報及びその信頼度がラベリングされた医用画像を含む、トレーニングデータセットを取得するステップと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップを取得するステップと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップにより、前記ディープニューラルネットワークをトレーニングするステップとをさらに含む請求項１に記載の方法。

【請求項12】

前記検出すべき医用画像はＣＴ画像を含む請求項１に記載の方法。

【請求項13】

深層学習に基づく医用画像検出装置であって、
検出すべき医用画像を取得し、前記検出すべき医用画像は複数枚のスライスマップを含むように配置される画像取得モジュールと、
前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのＮ（Ｎは１よりも大きい整数）枚の基本特徴マップを抽出するように配置される特徴抽出モジュールと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ（Ｍは１よりも大きい整数）枚の拡張特徴マップを取得するように配置される特徴融合モジュールと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するように配置される膨張畳み込みモジュールと、
前記ディープニューラルネットワークにより、前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するように配置される関心領域予測モジュールとを含む装置。

【請求項14】

前記Ｎ枚の基本特徴マップはＡ枚の低層特徴マップ及びＢ枚の高層特徴マップを含み、前記ＡとＢの両方は１よりも大きい整数であり、
前記特徴融合モジュールは、具体的に、
当該スライスマップのｉ枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップのｊ枚目の高層特徴マップに対してアップサンプリング処理を行い、前記ｉ枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、ｊ枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップのｋ番目の拡張特徴マップを取得するように配置されており、
１≦ｉ＜Ａ、１＜ｊ≦Ｂ、１＜ｋ≦Ｍ、且つｉ、ｊ、ｋは整数である請求項１３に記載の装置。

【請求項15】

前記Ｎ枚の基本特徴マップはＡ枚の低層特徴マップ及びＢ枚の高層特徴マップを含み、前記ＡとＢの両方は１よりも大きい整数であり、
前記特徴融合モジュールは、具体的に、
当該スライスマップのＡ枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得するように配置される請求項１３に記載の装置。

【請求項16】

前記Ａ＝３、前記Ｂ＝３、前記Ｍ＝３の場合、前記特徴融合モジュールは、具体的に、
当該スライスマップの３枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得し、
当該スライスマップの２枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの１枚目の高層特徴マップに対してアップサンプリング処理を行い、２枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、１枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの２枚目の高層特徴マップを、２枚目の拡張特徴マップとして取得し、
当該スライスマップの１枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの２枚目の高層特徴マップに対してアップサンプリング処理を行い、１枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、２枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの３枚目の高層特徴マップを、３枚目の拡張特徴マップとして取得するように配置される請求項１４又は１５に記載の装置。

【請求項17】

前記膨張畳み込みモジュールは、
前記Ｍ枚の拡張特徴マップのそれぞれに対して、Ｋ個の膨張畳み込み層により、当該拡張特徴マップをそれぞれ処理して、当該拡張特徴マップのＫ（Ｋは１よりも大きい整数）枚の膨張特徴マップを取得するように配置される膨張特徴取得ユニットと、
前記Ｍ枚の拡張特徴マップのそれぞれに対して、通常の畳み込み層により当該拡張特徴マップを処理して、当該拡張特徴マップの畳み込み特徴マップを取得するように配置される畳み込み特徴取得ユニットと、
前記Ｍ枚の拡張特徴マップのそれぞれに対して、当該拡張特徴マップのＫ枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得するように配置される重畳特徴取得ユニットとを含む請求項１３に記載の装置。

【請求項18】

前記重畳特徴取得ユニットは、具体的に、
当該拡張特徴マップのＫ枚の膨張特徴マップと畳み込み特徴マップとを結合して、当該拡張特徴マップのカスケード特徴マップを取得し、
当該拡張特徴マップのカスケード特徴マップに基づいて、Ｋ個の膨張畳み込み層及び通常の畳み込み層それぞれの重みを取得し、
当該拡張特徴マップのＫ枚の膨張特徴マップと畳み込み特徴マップ、Ｋ個の膨張畳み込み層および通常の畳み込み層それぞれの重みに基づいて、当該拡張特徴マップの重畳特徴マップを取得するように配置される請求項１７に記載の装置。

【請求項19】

前記Ｋ個の膨張畳み込み層の受容野が異なる請求項１７又は１８に記載の装置。

【請求項20】

前記Ｋ個の膨張畳み込み層の畳み込みカーネルパラメータが共有される請求項１７又は１８に記載の装置。

【請求項21】

前記関心領域予測モジュールは、
前記検出すべき医用画像における各スライスマップの重畳特徴マップを処理して、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するように配置される仮分類ユニットと、
前記初期関心領域位置情報及びその初期信頼度を処理して、前記検出すべき医用画像の関心領域位置情報及びその信頼度を取得するように配置される関心領域予測ユニットとを含む請求項１３に記載の装置。

【請求項22】

前記仮分類ユニットは、具体的に、
前記検出すべき医用画像における各スライスマップのｄ枚目の重畳特徴マップに基づいて、ｄ（ｄは１以上且つＭ以下の整数）枚の深層特徴マップを取得し、
Ｍ枚の深層特徴マップを仮分類し、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するように配置される請求項２１に記載の装置。

【請求項23】

関心領域位置情報及びその信頼度がラベリングされた医用画像を含むトレーニングデータセットを取得するように配置されるトレーニングセット取得モジュールと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップを取得するように配置されるスライスマップ取得モジュールと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップにより、前記ディープニューラルネットワークをトレーニングするように配置されるモデルトレーニングモジュールとをさらに含む請求項１３に記載の装置。

【請求項24】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～１２のいずれか一項に記載の深層学習に基づく医用画像検出方法を実現させるコンピュータ読み取り可能な媒体。

【請求項25】

電子機器であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムが記憶される記憶装置とを含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサに実行されると、請求項１～１２のいずれか一項に記載の深層学習に基づく医用画像検出方法を実現させる電子機器。

【請求項26】

コンピュータプログラムであって、コンピュータ上で実行されると、コンピュータに請求項１～１２のいずれか一項に記載の深層学習に基づく医用画像検出方法を実行させる命令を含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年０４月２２日に中国専利局に提出した、出願番号が２０１９１０３２４５６５８であって、発明の名称が「深層学習に基づく医用画像検出方法、及び関連装置」である中国特許出願の優先権を主張し、その全ての内容が援用により本出願に組み込まれる。

【0002】

本出願は、人工知能(ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ)の技術分野に関し、具体的に、医用画像検出技術に関する。

【背景技術】

【0003】

現在、主に医用画像検出モデルを採用して２次元(ｔｗｏ-ｄｉｍｅｎｓｉｏｎ、２Ｄ)画像のデータに対して画像検出を行って、２Ｄ画像における関心領域を認識する。このような方法は、通常、乳腺などの画像データにのみ適している。このような方法でコンピュータ断層撮影(ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ(ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ、ＣＴ)画像を処理すると、ＣＴ画像の３次元ボリュームデータの情報が失われ、医用画像検出モデルの信頼性が低いことに繋がる。

【0004】

従って、医用画像検出の分野では、医用画像の３次元ボリュームデータをどのように総合的に利用して関心領域予測の信頼性を向上させるかは、早急に解決する必要がある技術的な課題となる。

【発明の概要】

【課題を解決するための手段】

【0005】

本出願の実施例は、深層学習に基づく医用画像検出方法、装置、コンピュータ読み取り可能な媒体、及び電子機器を提供し、医用画像における関心領域の予測の信頼性をある程度向上することができる。

【0006】

本出願の他の特徴及び利点は、以下の詳細な説明により明らかになり、部分的に本出願の実施により習得される。

【0007】

本出願の実施例の一態様によれば、深層学習に基づく医用画像検出方法を提供し、
複数枚のスライスマップを含む検出すべき医用画像を取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのＮ（Ｎは１よりも大きい整数）枚の基本特徴マップを抽出するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ（Ｍは１よりも大きい整数）枚の拡張特徴マップを取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行することにより、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するステップと、
前記ディープニューラルネットワークにより前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するステップとを含む。

【0008】

本出願の実施例の一態様によれば、深層学習に基づく医用画像検出装置を提供し、
複数枚のスライスマップを含む検出すべき医用画像を取得するように配置される画像取得モジュールと、
前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのＮ（Ｎは１よりも大きい整数）枚の基本特徴マップを抽出するように配置される特徴抽出モジュールと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ（Ｍは１よりも大きい整数）枚の拡張特徴マップを取得するように配置される特徴融合モジュールと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するように配置される膨張畳み込みモジュールと、
前記ディープニューラルネットワークにより、前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するように配置される関心領域予測モジュールとを含む。

【0009】

本出願の実施例の一態様によれば、コンピュータプログラムが記憶されているコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、上記の実施例に記載の深層学習に基づく医用画像検出方法を実現させるコンピュータ読み取り可能な媒体を提供する。

【0010】

本出願の実施例の一態様によれば、１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶される記憶装置とを含む電子機器を提供し、前記１つ又は複数のプロセッサに実行されると、前記１つ又は複数のプロセッサに上記の実施例に記載の深層学習に基づく医用画像検出方法を実現させる。

【0011】

本出願の実施例の一態様によれば、命令を含むコンピュータプログラムを提供し、当該コンピュータプログラムがコンピュータ上で実行されると、コンピュータに上記の実施例に記載の深層学習に基づく医用画像検出方法を実行させる。

【0012】

本出願の幾つかの実施例にかかる技術案において、隣接する複数枚のスライスマップを含む検出すべき医用画像を取得し、ディープニューラルネットワークにより当該検出すべき医用画像における各スライスマップを処理することで、当該検出すべき医用画像における３次元情報を利用して当該検出すべき医用画像における関心領域位置情報及びその信頼度を自動的に予測し、予測結果の信頼性を向上させることができる一方、当該検出すべき医用画像にける各スライスマップの異なる層の基本特徴マップを融合して拡張特徴マップを取得してもよい。つまり、当該検出すべき医用画像における低層特徴と高層特徴と融合してもよい。低層特徴は当該検出すべき医用画像における小スケールターゲットの検出に寄与するため、低層特徴と高層特徴とを融合することにより、当該検出すべき医用画像における異なるスケールのターゲットを良く検出することができる。また、融合された拡張特徴マップに対して階層的な膨張畳み込み操作を実行することにより、当該検出すべき医用画像における関心領域の周辺情報をキャプチャすることができ、当該周辺情報に基づいて、実際の関心領域(例えば、被疑病変の領域)であるかどうかを判断することを支援し、より正確なターゲット検出に役立つ。

【0013】

本出願の他の実施例にかかる技術案では、当該ディープニューラルネットワークは、改善されたＦＰＮ(ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋ、特徴ピラミッドネットワーク)を採用してもよく、ネットワークによるマルチスケール情報のキャプチャ能力を拡張することができる。これにより、ネットワークによる異なるスケールの関心領域の検出能力を拡張することができる一方、関連技術に比べて、関心領域検出正確率が近い場合、本出願の実施例にかかる技術案は、当該ディープニューラルネットワークトレーニング階段で、ラベリング情報付きスライスマップ及びそれの上下にある二つのスライスマップ、即ち、各医用画像における合計３つのスライスマップのみを使用し、高い検出正確率を有するモデルをトレーニングにより取得することができるので、冗長情報が多く導入されることなく、医用画像における３次元情報を利用することができ、トレーニングプロセス及び予測階段のデータ処理量を削減し、演算の処理速度と効率を向上させ、医用画像における関心領域位置及びその信頼度のより速い検出に役立つ。同時に、当該深層学習に基づく医用画像検出方法はマルチスケールのＣＴ画像検出に適用し、医師によるＣＴ画像の被疑病変領域の検出を支援するために用いられ、医師の負担が軽減され、医師の作業効率を向上させる。

【0014】

なお、上記の一般記載と後述する細部についての記載は、単なる例示及び解釈なものであり、本出願を限定するものではない。

【図面の簡単な説明】

【0015】

ここで、図面は、明細書に組み込まれて本明細書の一部を構成し、本出願に該当する実施例を示すと共に、明細書と併せて本願の原理を解釈するためのものである。以下に記述の図面は、本出願のいくつかの実施例に過ぎず、当業者にとっては、進歩性に値する労動が必要なく、これらの図面に基づいて他の図面を取得することができる。

【0016】

【図1】本出願の一実施例による深層学習に基づく医用画像検出方法のフローチャートを概略的に示している。

【図2】本出願の一実施例によるＲｅｓｎｅｔ５０ネットワークにおける１つのブロックの構成模式図を概略的に示している。

【図3】本出願の一実施例による改善ＦＰＮネットワークの構成模式図を概略的に示している。

【図4】本出願の一実施例による特徴融合ネットワーク及び階層的な膨張畳み込みネットワークの構成模式図を概略的に示している。

【図5】本出願の一実施例による階層的な膨張畳み込みネットワークの構成模式図を概略的に示している。

【図6】本出願の一実施例による深層学習に基づく医用画像検出方法の模式図を概略的に示している。

【図7】本出願の実施例による深層学習に基づく医用画像検出方法を適用する検出結果模式図を概略的に示している。

【図8】本出願の一実施例による深層学習に基づく医用画像検出装置のブロック図を概略的に示している。

【図9】本出願の実施例を実現するための電子機器のコンピュータシステムの構成模式図を示している。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら、例示的な実施形態を全面的に説明する。しかし、例示的な実施形態は、複数の形態で実施することができ、ここで記述された例に限られると理解してはいけない。むしろ、これらの実施形態を提供することで、本出願を全面的かつ完全にし、例示的な実施形態の発想を当業者に全面的に伝える。

【0018】

また、記載される特徴、構造又は特性は１つ又は複数の実施例において任意の適切な方法で組み合わせることができる。以下の説明では、多くの具体的な詳細を提供することで、本出願の実施形態の十分な理解を提供する。しかし、当業者にとって明らかなように、前記具体的な詳細のうちの１つ以上を省略したり、又は他の方法、ユニット、装置、ステップ等を用いたりして、本出願の技術案を実施することができる。他の場合には、本開示の各形態が不明瞭になることを避けるように、周知の構造、方法、装置、実現、材料又は操作が詳細に示されていない又は説明されていない。

【0019】

図面に示されるブロック図の一部は機能エンティティであり、必ずしも物理的又は論理的に別個のエンティティに対応する必要はない。ソフトウェア形態でこれらの機能エンティティを実装し、又は１つ又は複数のハードウェアモジュール又は集積回路にこれらの機能エンティティを実装し、又は異なるネットワーク及び／又はプロセッサ装置及び／又はマイクロコントローラ装置においてこれらの機能エンティティを実装することができる。

【0020】

図面に示されているフローチャートは単なる例示的な説明であり、必ずしもすべての内容及び操作／ステップを含むわけではなく、また、記載された順序で実行する必要もない。たとえば、一部の操作/ステップを分解したり、一部の操作/ステップを組み合わせたり、部分的に組み合わせたりできるため、実際の実行順序は実際の状況に応じて変更される場合がある。

【0021】

人工知能は、デジタルコンピュータ又はデジタルコンピュータによって制御されるマシンを使用して、人間の知能をシミュレート、延長、拡張し、環境を感知し、知識を獲得し、知識を使用して最適の結果を得る理論、方法、技術、及びアプリケーションシステムである。つまり、人工知能は、計算機科学の総合的な技術であり、知能の本質を理解し、人間の知能と同じように反応できる新しいインテリジェントマシンを生み出そうとする。人工知能は、さまざまなインテリジェントマシンの設計原理と実現方法を研究して、マシンに感知、推論、決定の機能を持たせることである。

【0022】

人工知能技術は総合的な学科であり、ハードウェアについての技術とソフトウェアについての技術の両方を含む幅広い分野に係る。人工知能の基本的な技術は、一般に、センサー、ＡＩ専用チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、オペレーティング/インタラクションシステム、メカトロニクスなどの技術を含む。人工知能のソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術、機械学習/深層学習などを含む。

【0023】

コンピュータビジョン技術(ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、ＣＶ)は、どのようにマシンを「見る」にするかを研究する科学である。さらに言えば、人間の目の代わりにカメラとコンピュータを使用して、ターゲットに対して識別、追跡、測定などのマシンビジョンを行い、グラフィックス処理をさらに行って、人間の目による観察又は伝送を介して検知器に検出されることに適した画像となるようにコンピュータに処理させる。科学学科として、コンピュータビジョンは関連する理論と技術を研究し、画像や多次元データから情報を取得可能な人工知能システムを構築しようとする。コンピュータビジョン技術は、一般的に、画像分割、画像処理、画像認識、画像意味分析、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味分析、ビデオ内容/行為認識、３次元オブジェクト再構成、３Ｄ技術、仮想現実、拡張現実、同時測位と地図構築の技術を含み、よく見られている顔認識、指紋認識などの生体特徴識技術をさらに含む。

【0024】

機械学習(ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ、ＭＬ)は、複数の分野にかかる学科であり、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの複数の学科に係る。新しい知識やスキルを習得するためにコンピュータが人間の学習行動をどのようにシミュレートまたは実現するかについてを専門に研究し、既存の知識構造を再組織して自身のパフォーマンスを継続的に改善する。機械学習は、人工知能のコアであり、コンピュータに知能を持たせる基本的な方法であり、その適用は人工知能のすべての分野をカバーする。機械学習及び深層学習は、一般、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。

【0025】

本出願の実施例にかかる医学影像検出方法は、人工知能のコンピュータビジョン技術及び機械学習技術などに関し、具体的には、以下の実施例により説明する。

【0026】

まず、本出願の実施例に係る略語及び用語を定義する。

【0027】

畳み込みニューラルネットワーク (Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ、ＣＮＮ)：深層学習分類検出技術中のニューラルネットワークであり、畳み込み層、プーリング層及び全結合層を含む。

【0028】

領域ベースの畳み込みニューラルネットワーク(Ｒｅｇｉｏｎ-ｂａｓｅｄＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ、ＲＣＮＮ)：画像に候補領域を生成し、各候補領域に対してディープネットワークを使用して特徴を抽出し、次に特徴を各クラスの分類器に送って、当該クラスに属するかどうかを判別し、その後、回帰子を使用して候補ボックス位置を精確に修正する。

【0029】

膨張畳み込み(Ｄｉｌａｔｅｄｃｏｎｖｏｌｕｔｉｏｎ)：標準となる畳み込み操作に膨張を追加し、各畳み込みカーネル間に間隔があるため、畳み込みパラメータの数を増やすことなく、畳み込み操作の受容野を拡大することができる。

【0030】

ＣＴ画像：ＣＴはコンピュータ断層撮影であり、Ｘ線、Ｙ線、超音波などで人体のある部位を走査して得られた画像はＣＴ画像と呼ばれる。

【0031】

スライスマップ(Ｓｌｉｃｅ)：ＣＴ画像におけるスライスマップであり、ＣＴ画像は、複数の連続しているスライスマップから構成される。

【0032】

関心領域検出：医用画像における関心領域、例えば、ターゲット器官領域、被疑病変領域などを検出し、スコア信頼度を付与する。

【0033】

特徴マップ(Ｆｅａｔｕｒｅｍａｐ)：画像がフィルタと畳み込まれて得られた特徴マップである。Ｆｅａｔｕｒｅｍａｐはフィルタと畳み込まれて新しいｆｅａｔｕｒｅｍａｐを生成することができる。

【0034】

アンカー(Ａｎｃｈｏｒ)：ｆｅａｔｕｒｅｍａｐで予め定義されたサイズ及び縦横比が異なる矩形ボックスである。

【0035】

Ｐｒｏｐｏｓａｌ：分類して、ＮＭＳ（Ｎｏｎ-ｍａｘｉｍｕｍｓｕｐｐｒｅｓｓｉｏｎ)に回帰したａｎｃｈｏｒである。

【0036】

バウンディングボックス又は検出ボックス(ｂｏｕｎｄｉｎｇｂｏｘｅｓ)：ＢＢｏｘと略書きされる。

【0037】

Ｇｒｏｕｎｄｔｒｕｅｂｏｕｎｄｉｎｇｂｏｘｅｓ(ｇｔ_ＢＢｏｘｅｓ)：医師によってラベリングされた真の関心領域、即ち、実際の検出ボックスである。

【0038】

交差オーバーユニオン(ＩｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒＵｎｉｏｎ、ＩｏＵ)：二つの検出ボックスの積集合と和集合との比である。

【0039】

関心領域プーリング(ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔＰｏｏｌｉｎｇ、ＲＯＩｐｏｏｌｉｎｇ)：検出プロセスにおいて、ネットワークから取得されたｐｒｏｐｏｓａｌを抽出して、均一サイズに調整することを言う。

【0040】

ＦＰＮ：物体検出の方法であり、低層のネットワークの特徴と高層のネットワークの特徴とを組み合わせて、新しい特徴マップを取得してから予測する。

【0041】

ＲＰＮ(ＲｅｇｉｏｎＰｒｏｐｏｓｅＮｅｔｗｏｒｋ)：抽出された畳み込み特徴マップを処理し、ＲＰＮはオブジェクトを含む可能性のある事前定義された数の領域を検出するために用いられる。

【0042】

信頼度：予測されたパラメータの信頼性を示し、信頼度が高いほど、予測されたパラメータの信頼性が高くなる。

【0043】

図１は、本出願の一実施例による深層学習に基づく医用画像検出方法のフローチャートを概略的に示している。本出願の実施例にかかる深層学習に基づく医用画像検出方法は、例えば、端末装置、サーバ、サーバクラスタ、クラウドサーバなどの計算処理能力を備える任意の電子機器に設置され得るが、本出願はそれを限定せず、以下例を挙げて説明する場合に、本出願の実施例に記載の方法がクラウドサーバに実行されることを例にとして説明する。

【0044】

図１に示すように、本出願の実施例にかかる深層学習に基づく医用画像検出方法は以下のステップを含んでもよい。

【0045】

ステップＳ１１０において、複数枚のスライスマップを含む検出すべき医用画像を取得する。

【0046】

本出願の実施例において、前記検出すべき医用画像は、関心領域（例えば、ターゲット器官、ターゲット部位など）を含むＣＴ画像であってもよく、ＣＴ画像は、複数の連続しているスライス(ｓｌｉｃｅ)を含んでもよい。以下の画像処理を行う過程で、ＣＴ画像における複数枚のスライスマップ、例えば、前後に隣接する任意の３つのスライスマップを選択してもよい（以下の例では、それぞれ、第１のスライス、第２のスライス、第３のスライスと呼ばれる）が、本出願はこれに限定されず、必要される精度及び提供される演算力に応じて適切な数のスライスマップを選択することができる。本出願の実施形態にかかる技術案は、任意の３次元医用画像に適用することができ、以下の実施例では、ＣＴ画像を例にして説明する。

【0047】

なお、本出願の実施例にかかる技術案において、ディープニューラルネットワークモデルは、通常、単一のスライスマップを処理単位として処理するので、この実施例において、ステップＳ１２０～Ｓ１５０は、単一のスライスマップを処理単位として、ディープニューラルネットワークモデルの処理プロセスを説明する。

【0048】

実際のアプリケーションでは、当該ディープニューラルネットワークモデルは、複数回検出すべき医用画像に含まれる複数枚のスライス画像を逐一に処理することができ、当該ディープニューラルネットワークモデルは、当該検出すべき医用画像に含まれる複数枚のスライス画像を一括に並行して処理こともできることが理解されたいが、ここでディープニューラルネットワークモデルの処理能力についていかなる制限もしない。

【0049】

ステップＳ１２０において、前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークによりスライスマップのＮ枚の基本特徴マップを抽出する。なお、Ｎは１以上の整数である。

【0050】

本出願の実施例において、前記ディープニューラルネットワークは特徴抽出ネットワークを含んでもよく、当該特徴抽出ネットワークは、スライスマップに対して、異なる情報を含む低層特徴マップ及び高層特徴マップを、上記の基本特徴マップとして抽出することができる。

【0051】

なお、Ｎは、５であってもよいがが、本出願では限定されない。特徴抽出ネットワークの構造に応じてＮの値を確定することができる。

【0052】

ステップＳ１３０において、前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークによりスライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得する。なお、Ｍは１以上の整数である。

【0053】

例えば、Ｍは、３であってよいが、本出願では限定されない。Ｎの値取り及び具体的なニーズに応じてＭの値を確定することができる。

【0054】

例示的な実施例において、スライスマップのＮ枚の基本特徴マップはＡ枚の低層特徴マップ及びＢ枚の高層特徴マップを含んでもよく、なお、ＡとＢの両方は１よりも大きい整数である。この場合、スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得することは、
当該スライスマップのｉ枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップのｊ枚目の高層特徴マップに対してアップサンプリング処理を行い、ｉ枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、ｊ枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップのｋ枚目の拡張特徴マップを取得することを含んでもよい。
なお、１≦ｉ＜Ａ、１＜ｊ≦Ｂ、１＜ｋ≦Ｍ、且つｉ、ｊ、ｋは整数である。

【0055】

例示的な実施例において、スライスマップのＮ枚の基本特徴マップＡ枚の低層特徴マップ及びＢ枚の高層特徴マップを含んでもよい。なお、ＡとＢの両方は１よりも大きい整数である。この場合、当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得することは、
当該スライスマップのＡ枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得することを含んでもよい。

【0056】

例示的な実施例において、上記のＡ＝３、Ｂ＝３、Ｍ＝３の場合、当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得することは、
当該スライスマップの３枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得し、
当該スライスマップの２枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの１枚目の高層特徴マップに対してアップサンプリング処理を行い、２枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、１枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの２枚目の高層特徴マップを、２枚目の拡張特徴マップとして取得し、
当該スライスマップの１枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの２枚目の高層特徴マップに対してアップサンプリング処理を行い、１枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、２枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの３枚目の高層特徴マップを、３枚目の拡張特徴マップとして取得することを含んでもよい。

【0057】

ステップＳ１４０において、前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、各拡張特徴マップの重畳特徴マップを生成する。

【0058】

例示的な実施例において、ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、各拡張特徴マップの重畳特徴マップを生成することは、
Ｍ枚の拡張特徴マップのそれぞれに対して、Ｋ個の膨張畳み込み層により当該拡張特徴マップをそれぞれ処理して、当該拡張特徴マップのＫ枚の膨張特徴マップを取得し、Ｋは１よりも大きい整数であり、
Ｍ枚の拡張特徴マップのそれぞれに対して、通常の畳み込み層により当該拡張特徴マップを処理して、当該拡張特徴マップの畳み込み特徴マップを取得し、
Ｍ枚の拡張特徴マップのそれぞれに対して、当該拡張特徴マップのＫ枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得することを含んでもよい。

【0059】

例えば、Ｋは、３であってもよいが、本出願では限定されず、具体的に適用シナリオに応じて選択することができる。

【0060】

例示的な実施例において、当該拡張特徴マップのＫ枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得することは、
当該拡張特徴マップのＫ枚の膨張特徴マップと畳み込み特徴マップとを結合することにより、当該拡張特徴マップのカスケード特徴マップを取得し、
当該拡張特徴マップのカスケード特徴マップに基づいて、Ｋ個の膨張畳み込み層及び通常の畳み込み層それぞれの重みを取得し、
当該拡張特徴マップのＫ枚の膨張特徴マップ、及び畳み込み特徴マップ、Ｋ個の膨張畳み込み層及び通常の畳み込み層それぞれの重みに基づいて、当該拡張特徴マップの重畳特徴マップを取得することを含んでもよい。

【0061】

例示的な実施例において、Ｋ個の膨張畳み込み層の受容野が異なる。

【0062】

例示的な実施例において、Ｋ個の膨張畳み込み層の畳み込みカーネルパラメータが共有され(即ち、パラメータの一貫性を保つ)、パラメータ量を削減し、過剰フィッティングをある程度回避することができ、トレーニング速度と予測速度を向上させる。

【0063】

本出願の実施例において、前記隣接する複数枚のスライスマップうちの他のスライスマップについては、第１～第３の重畳特徴マップを取得する処理プロセスが、第１のスライスマップと同様であるため、上記のプロセスを参照すればよい。

【0064】

ステップＳ１５０において、ディープニューラルネットワークにより前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測する。

【0065】

例示的な実施例において、検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、検出すべき医用画像における関心領域位置情報及びその信頼度を予測することは、
検出すべき医用画像における各スライスマップの重畳特徴マップを処理して、検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得し、
初期関心領域位置情報及びその初期信頼度を処理して、検出すべき医用画像の関心領域位置情報及びその信頼度を取得することを含んでもよい。

【0066】

例示的な実施例において、重畳特徴マップを処理し、検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得することは、
検出すべき医用画像における各スライスマップのｄ枚目の重畳特徴マップに基づいてｄ枚目の深層特徴マップを取得し、ｄは１以上且つＭ以下の整数であり
Ｍ枚の深層特徴マップを仮分類して、検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得することを含んでもよい。

【0067】

本出願の実施例において、前記ディープニューラルネットワークは特徴融合ネットワーク、階層的な膨張畳み込みネットワーク、仮分類ネットワーク及び予測ネットワークを含んでもよい。前記特徴融合ネットワークは、前記検出すべき医用画像におけるスライスマップの低層特徴及び高層特徴を融合するために使用されてもよい。これにより、検出すべき医用画像におけるビッグターゲット及びスモールターゲットをよく検出することができる。前記階層的な膨張畳み込みネットワークは、低層特徴と高層特徴とを融合して得られた特徴に対して階層的な膨張畳み込み操作を実行して、前記検出すべき医用画像におけるスライスマップの関心領域の周辺情報をキャップすることにより、より正確に関心領域を検出することに寄与することができる。

【0068】

本出願の実施例において、前記特徴融合ネットワーク及び前記階層的な膨張畳み込みネットワークは、前記ディープニューラルネットワークの基本ネットワークとしてもよい。前記ディープニューラルネットワークの高層ネットワークは、改善されたＦＰＮネットワークを検出ネットワークとして採用できる。ＦＰＮネットワークはＲＰＮネットワーク及びＲＣＮＮネットワークを含んでもよく、前記仮分類ネットワークは、ＲＰＮネットワークであってもよく、前記予測ネットワークはＲＣＮＮネットワークであってもよいが、本出願では限定されず、上記の特徴融合ネットワーク及び階層的な膨張畳み込みネットワークによって特徴抽出が行われた後、１つの新しい特徴マップを取得し、そしてこの新しい特徴マップをＲＰＮネットワークに入力して仮分類すると、ＲＰＮネットワークを利用して当該新しい特徴マップに予め設けられたた検出ボックスを二項分類(関心領域に該当するかどうかの区別)及び位置回帰を行って、初期関心領域位置情報及びその初期信頼度を取得し、その後、ＲＰＮネットワークが、当該初期関心領域位置情報及びその初期信頼度をＲＣＮＮネットワークに入力し、第２段階のより精確なカテゴリ分類及び位置回帰を行って、最終的な予測結果を取得して、最後の関心領域位置情報及びその信頼度を取得してもよい。

【0069】

例示的な実施例において、前記方法は、トレーニングデータセットを取得し、トレーニングデータセットは、関心領域位置情報及びその信頼度がラベリングされた医用画像を含み、医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップを取得し、医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップにより、ディープニューラルネットワークをトレーニングすることをさらに含んでもよい。

【0070】

例えば、ＣＴ画像を例にすると、前記トレーニングデータセットを確立するには、ＮＩＨＣＣ(ＮａｔｉｏｎａｌＩｎｓｔｉｔｕｔｅｓｏｆＨｅａｌｔｈＣｌｉｎｉｃａｌＣｅｎｔｅｒ)によりオープンされたＤｅｅｐＬｅｓｉｏｎデータセットを前記トレーニングデータセットとして使用できるが、本出願はそれに限定されない。本出願の実施例にかかるディープニューラルネットワークを利用すると、ＣＴ画像中の真の関心領域(例えば、病変領域)及びその信頼度がラベリングされた１枚のｓｌｉｃｅと、上下隣接する２枚のｓｌｉｃｅのみを採用でき、即ち、トレーニングデータセットにおける各ＣＴ画像の３枚のｓｌｉｃｅのみを利用して(通常、一人の患者のある部位に対して一括に採集されたスライスの数は３をはるかに超える)ディープニューラルネットワークのトレーニングを行い、トレーニング済みディープニューラルネットワークは、大小の関心領域ターゲットを高精度で同時に検出し、冗長情報を減らし、計算量とデータ処理量を削減する。

【0071】

本出願の実施形態にかかる深層学習に基づく医用画像検出方法によれば、隣接する複数枚のスライスマップを含む検出すべき医用画像を取得し、ディープニューラルネットワークにより当該検出すべき医用画像における各スライスマップを処理することで、当該検出すべき医用画像における３次元情報を利用して当該検出すべき医用画像における関心領域位置情報及びその信頼度を自動的に予測し、予測結果の信頼性を向上させることができる一方、当該検出すべき医用画像における各スライスマップの異なる層の基本特徴マップを融合して拡張特徴マップを取得してもよい。つまり、当該検出すべき医用画像における低層特徴と高層特徴と融合することができ、低層特徴は当該検出すべき医用画像における小スケールターゲットを検出することに寄与するので、低層特徴と高層特徴とを融合すると、当該検出すべき医用画像における異なるスケールのターゲットを良く検出することができる。また、融合された拡張特徴マップに対して階層的な膨張畳み込み操作を実行することにより、当該検出すべき医用画像における関心領域の周辺情報をキャプチャすることができ、当該周辺情報に応じて、実際の関心領域(例えば、被疑病変の領域)であるかどうかを判断することを支援し、より正確なターゲット検出に役立つことができる。

【0072】

本出願の実施例において、前記特徴抽出ネットワークはＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔなどのいずれか一つ又は複数の組み合わせを前記ディープニューラルネットワークの基本特徴抽出ネットワークとして採用することができる。ＲｅｓＮｅｔは残差結合(ｒｅｓｉｄｕａｌｃｏｎｎｅｃｔｉｏｎ)及びバッチノーマライゼーション(ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ)を採用するため、ディープモデルのトレーニングを比較的に容易にし、以下の実施例において、ＲｅｓＮｅｔ５０を前記特徴抽出ネットワークとすることを例にとって説明するが、本出願は実際にそれに限定されない。

【0073】

本出願の実施例において、ＲｅｓＮｅｔ５０のモデルの模式図は表１に示す。各畳み込み層の後に正規化線形ユニット(ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ、ＲｅＬＵ)層及びＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ層が結合されている。

【0074】

【表1】

【0075】

図２は、本出願の一実施例によるＲｅｓｎｅｔ５０ネットワークにおける１つのブロックの構成模式図を概略的に示している。ここで、ＲｅｓＮｅｔ５０の第２の畳み込み層を例にすると、ブロック(ｂｌｏｃｋ)の構成を説明する。他の畳み込み層のｂｌｏｃｋ構成は図２を参照すればよい。

【0076】

図３は、本出願の一実施例による改善されたＦＰＮネットワークの構成模式図を概略的に示している。図３は改善されたＦＰＮネットワーク構成を提供する。

【0077】

図３に示すように、本出願の実施例とＦａｓｔｅｒ-ＲＣＮＮとの相違は、ＲＰＮネットワークの仮分類を行う前に、ＦＰＮネットワークは、低層特徴と高層特徴とが融合された。

【0078】

（１）ボトムアップの特徴抽出ネットワークであり、例えば、ＲｅｓＮｅｔ５０ネットワークを使用して特徴を抽出する。

【0079】

（２）トップダウンの特徴拡張パスであり、ＲｅｓＮｅｔ５０により抽出された現在の層特徴は、１×１畳み込みによって次元削減され、及び高層特徴が２倍のアップサンプリングが行われた後、直接に加算し特徴融合を行う。低層特徴は、スモールターゲットの検出に寄与するため、低層特徴と高層特徴とを融合することにより、ターゲットをより検出することができる。なお、低層特徴セマンティック情報は比較的少ないが、ターゲットの位置が正確であり、高層の特徴セマンティック情報は比較的豊富であるが、ターゲットの位置は比較的粗いため、融合された特徴を採用して予測すると、マルチスケールのターゲット情報をキャプチャすることに役立つ。

【0080】

また、医用画像における関心領域(例えば、ターゲット器官領域、被疑病変領域)の特殊性のため、周辺の情報に応じて関心領域であるかどうかを判断する必要があり、従って、本出願の実施例は、ＦＰＮ構造に階層的な膨張畳み込み(ｈｉｅｒａｒｃｈｉｃａｌｌｙｄｉｌａｔｅｄｃｏｎｖｏｌｕｔｉｏｎｓ、ＨＤＣ)操作(例えば、図３中のＨＤＣ１、ＨＤＣ２、ＨＤＣ３であるが、本出願では限定されず、ＨＤＣの数は具体的な適用シナリオによる)をさらに追加し、ｆｅａｔｕｒｅｍａｐの周辺のさまざまなサイズの情報をキャプチャし、それにより、病変をより正確に検出することに役立ち、各ＨＤＣの構成は、例えば、図４に示す。

【0081】

図４は、本出願の一実施例による特徴融合ネットワーク及び階層的な膨張畳み込みネットワークの構成模式図を概略的に示している。

【0082】

図４に示すように、ＲｅｓＮｅｔ５０の第１～第５の畳み込み層はボトムアップのパスを生成し、検出すべき医用画像における各スライスマップの第１～第５の基本特徴マップ(図４中の(１１)～(１５))を形成し、トップダウンのパスをさらに含む。ボトムアップのパスとトップダウンのパスとの間に横方向の接合(ｌａｔｅｒａｌｃｏｎｎｅｃｔｉｏｎ)があり、ここで、１*１の畳み込みカーネルを横方向に結合するは、畳み込みカーネルの数を削減することを主な役割とし、つまり、ｆｅａｔｕｒｅｍａｐの数を削減するが、ｆｅａｔｕｒｅｍａｐのサイズが変わらない。

【0083】

ボトムアップは、ネットワークのフォワードプロセスである。フォワードプロセスにおいて、ｆｅａｔｕｒｅｍａｐのサイズは幾つかの層を通じた後に変わることがあり、他の幾つかの層を通過した際に変わらず、ｆｅａｔｕｒｅｍａｐのサイズが変わらない層を１つのｓｔａｇｅに分類するので、毎回抽出される特徴は各ｓｔａｇｅの最後の層によって出力され、このように、特徴ピラミッドを構成する。

【0084】

トップダウンのプロセスはアップサンプリング(ｕｐｓａｍｐｌｉｎｇ)を採用して行われ、横方向の結合は、アップサンプリングの結果と、ボトムアップにより生成される同一のサイズであるｆｅａｔｕｒｅｍａｐとを融合(ｍｅｒｇｅ)することである。なお、融合後、さらに、３*３の畳み込みカーネルを採用して各融合結果を畳み込むこともでき(図４に図示せず)、目的は、アップサンプリングのエイリアシング効果(ａｌｉａｓｉｎｇｅｆｆｅｃｔ)を除去することである。ここで、生成されたｆｅａｔｕｒｅｍａｐ結果である第１の拡張特徴マップ(２１)、第２の拡張特徴マップ(２２)、第３の拡張特徴マップ(２３)は、元のボトムアップの畳み込み結果である第５の基本特徴マップ(１５)、第３の基本特徴マップ(１３)、第１の基本特徴マップ(１１)と１対１で対応するとする。

【0085】

引き続き図４を参照して、第１のスライスマップを例にとって、他のスライスマップの処理方式も同様である。前記第１のスライスマップの第１の拡張特徴マップ(２１)はＨＤＣ１の第１の膨張畳み込み層、第２の膨張畳み込み層及び第３の膨張畳み込み層を通じた後、第１の膨張特徴マップ(３１)、第２の膨張特徴マップ(３２)及び第３の膨張特徴マップ(３３)をそれぞれ形成し、前記第１のスライスマップの第１の拡張特徴マップ(２１)は、また、ＨＤＣ１の１つの通常の畳み込み層(例えば１×１畳み込み)を通じた後に、第１の畳み込み特徴マップ(３４)を生成し、前記第１のスライスマップの第１～第３の膨張特徴マップ及び第１の畳み込み特徴マップを結合した後(ｃｏｎｃａｔ)、第１のカスケード特徴マップ(４１)を生成し、ＨＤＣ１がそれぞれ第１～第３の膨張畳み込み層及び通常の畳み込み層に割り当てる重みを取得し、相応する重みと、前記第１のスライスマップの第１～第３の膨張特徴マップ及び第１の畳み込み特徴マップとをそれぞれ乗算した後累積し第１の累積特徴マップ(５１) を取得し、例えば、ＨＤＣ１の第１～第３の膨張畳み込み層及び通常の畳み込み層それぞれの重みがそれぞれａ１～ａ４であると仮定すると、第１の累積特徴マップ(５１)＝ａ１×第１の膨張特徴マップ(３１)+ａ２×第２の膨張特徴マップ(３２)+ａ３×第３の膨張特徴マップ(３３)+ａ４×第１の畳み込み特徴マップ(３４)となり、その後、第１の累積特徴マップ(５１)と第１の拡張特徴マップ(２１)とベクトル加算し、さらに、１×１である１つの畳み込みを通じて次元削減し第１の重畳特徴マップ(６１) を取得し、パラメータ削減の目的を達成する。

【0086】

同様に、第１のスライスマップの第２の拡張特徴マップ(２２)はＨＤＣ２の第１の膨張畳み込み層、第２の膨張畳み込み層及び第３の膨張畳み込み層を通じた後に、第５の膨張特徴マップ(３５)、第６の膨張特徴マップ(３６)及び第７の膨張特徴マップ(３７)をそれぞれ生成し、前記第１のスライスマップの第２の拡張特徴マップ(２２)は、また、ＨＤＣ２の１つの通常の畳み込み層(例えば１×１畳み込み)を通じた後、第２の畳み込み特徴マップ(３８)を生成し、前記第１のスライスマップの第５の膨張特徴マップ(３５)、第６の膨張特徴マップ(３６)、第７の膨張特徴マップ(３７)及び第２の畳み込み特徴マップ(３８)を結合した後に(ｃｏｎｃａｔ)、第２のカスケード特徴マップ(４２)を生成し、ＨＤＣ２がそれぞれ第１～第３の膨張畳み込み層及び通常の畳み込み層に割り当てる重みを取得し、相応する重みと、前記第１のスライスマップの第５の膨張特徴マップ(３５)、第６の膨張特徴マップ(３６)、第７の膨張特徴マップ(３７)及び第２の畳み込み特徴マップ(３８)とをそれぞれ乗算した後に累積し第２の累積特徴マップ(５２) を取得し、例えば、ＨＤＣ２の第１～第３の膨張畳み込み層及び通常の畳み込み層それぞれの重みがそれぞれｂ１～ｂ４である仮定すると、第２の累積特徴マップ(５２)＝ｂ１×第５の膨張特徴マップ(３５)+ｂ２×第６の膨張特徴マップ(３６)+ｂ３×第７の膨張特徴マップ(３７)+ｂ４×第２の畳み込み特徴マップ(３８)となり、その後、第２の累積特徴マップ(５２)と第２の拡張特徴マップ(２２)とを加算して、さらに、１×１である１つの畳み込みを通じて次元削減し第２の重畳特徴マップ(６２) を取得し、パラメータ削減の目的を達成する。

【0087】

前記第１のスライスマップの第３の拡張特徴マップ(２３)は、それそれ、ＨＤＣ３の第１の膨張畳み込み層、第２の膨張畳み込み層及び第３の膨張畳み込み層を通じた後、第９の膨張特徴マップ(３９)、第１０の膨張特徴マップ(３１０)及び第１１の膨張特徴マップ(３１１)をそれぞれ生成し、前記第１のスライスマップの第３の拡張特徴マップ(２３)は、さらに、ＨＤＣ３の１つの通常の畳み込み層(例えば、１×１畳み込み)を通じた後に、第３の畳み込み特徴マップ(３１２)を生成し、前記第１のスライスマップの第９の膨張特徴マップ(３９)、第１０の膨張特徴マップ(３１０)、第１１の膨張特徴マップ(３１１)及び第３の畳み込み特徴マップ(３１２)を結合した後(ｃｏｎｃａｔ)、第３のカスケード特徴マップ(４３)を生成し、ＨＤＣ３がそれぞれ第１～第３の膨張畳み込み層及び通常の畳み込み層に割り当てるである重みを取得し、相応する重みと、前記第１のスライスマップの第９の膨張特徴マップ(３９)、第１０の膨張特徴マップ(３１０)、第１１の膨張特徴マップ(３１１)及び第３の畳み込み特徴マップ(３１２)とをそれぞれ乗算した後に累積し第３の累積特徴マップ(５３) を取得し、例えば、ＨＤＣ３の第１～第３の膨張畳み込み層及び通常の畳み込み層それぞれの重みがそれぞれｃ１～ｃ４であると仮定すると、第３の累積特徴マップ(５３)＝ｃ１×第９の膨張特徴マップ(３９)+ｃ２×第１０の膨張特徴マップ(３１０)+ｃ３×第１１の膨張特徴マップ(３１１)+ｃ４×第３の畳み込み特徴マップ(３１２)となり、その後、第３の累積特徴マップ(５３)と第３の拡張特徴マップ(２３)とを加算して、また、１つ１×１の畳み込みを通じて次元削減し第３の重畳特徴マップ(６３) を取得し、パラメータ削減の目的を達成する。

【0088】

図５は、本出願の一実施例による階層的な膨張畳み込みネットワークの構成模式図を概略的に示している。図５中の共有パラメータ(Ｓｈａｒｅｗｅｉｇｈｔ)は、第１～第３の膨張畳み込み層の畳み込みカーネルパラメータが共有されることを代表する。

【0089】

図５は、階層的な膨張畳み込み構成の１つの実例を示し、本出願の実施例において、第１層から第３層の膨張畳み込みの構成は同じであると仮定するため、ここでそのうちの１つだけを例とする。低層特徴と高層特徴とが融合された後、１つの深層特徴マップを取得し、例えば、第１のスライスマップの第１の拡張特徴マップ(２１)であると仮定し、他の拡張特徴マップの処理は同様である。第１の拡張特徴マップ(２１)を、１×１である１つの通常の畳み込み層、及び３×３サイズである三つの膨張畳み込み層(即ち、第１～第３の膨張畳み込み層)を通じる。膨張畳み込みは、畳み込みカーネルに膨張を追加して受容野を拡大する。受容野は、指数関数的に増加するものである。膨張畳み込みはパラメータの量を増加させず、トレーニングなしで、追加のポイントによって与えられる重みは０である。

【0090】

ここで、ＣＴ画像におけるスライスマップの異なるスケールの情報をキャプチャするために、異なる膨張畳み込み層の受容野が異なる。その後、四つの結果(例えば、第１の膨張特徴マップ(３１)、第２の膨張特徴マップ(３２)、第３の膨張特徴マップ(３３)及び第１の畳み込み特徴マップ(３４))を結合して、１つ新しいカスケード特徴マップ(例えば、第１のカスケード特徴マップ(４１))を取得し、この新しいカスケード特徴マップは三つの異なる受容野 (Ｒｅｃｅｐｔｉｖｅｆｉｅｌｄ)の周辺情報を含む。

【0091】

膨張畳み込みとは、畳み込みカーネルに膨張(即ち、０)を注入し、注入された膨張の数はパラメータｄｉｌａｔｉｏｎ(図中にｄと略書きされる)から定められる。例えば、ｄ＝１、畳み込みカーネルの受容野が３×３、ｄ＝２、畳み込みカーネルの受容野が７×７、ｄ＝３、畳み込みカーネルの受容野が１１×１１である。

【0092】

受容野が異なれば、関心領域の検出の重要度も異なるため、スモールターゲットに必要な受容野とビッグターゲットに必要な受容野とは異なる。従って、ＳＥモジュール(ＳｑｕｅｅｚｅａｎｄＥｘｃｉｔａｔｉｏｎｍｏｄｕｌｅ)を使用して対応する重みを自動的に学習する。ＳＥモジュールを通じて、さまざまな目標に対するさまざまな受容野の重要性を学習することができる。最後に、パラメータを削減する目的を達成するために、１×１の畳み込みによって次元削減する。

【0093】

上記の操作の後、前記第１のスライスマップの第１の重畳特徴マップと、前記第２のスライスマップの第１の重畳特徴マップと、前記第３のスライスマップの第１の重畳特徴マップとをベクトル加算して、１つの新しい第１の深層特徴マップを得ることができ、前記第１のスライスマップの第２の重畳特徴マップと、前記第２のスライスマップの第２の重畳特徴マップと、前記第３のスライスマップの第２の重畳特徴マップとをベクトル加算して、１つの新しい第２の深層特徴マップを得ることができ、前記第１のスライスマップの第３の重畳特徴マップと、前記第２のスライスマップの第３の重畳特徴マップと、前記第３のスライスマップの第３の重畳特徴マップとをベクトル加算して、１つの新しい第３の深層特徴マップを得ることができ、次に、これらの三つの新しい第１～第３の深層特徴マップをＲＰＮネットワークに入力し仮分類し、その後、ＲＣＮＮネットワークに入り最終的な予測を行うことにより、最後の病変位置情報及び信頼度を取得する。

【0094】

本出願の実施例で提供される方法は、ＣＴ画像と類似する検出すべき医用画像について、それ特有の３次元情報を利用して、隣接する複数枚のスライスマップを、関心領域を検出するためのディープニューラルネットワークに入力し、ＲＯＩ-ｐｏｏｌｉｎｇを行った後、複数のスライス情報を融合して新しい特徴マップを取得してから関心領域の位置情報を予測することができ、つまり、ＣＴ画像の３次元情報を利用すると予測結果の信頼性を向上させる。コンピュータ断層撮影で人体の部位を走査することで当該部位の３次元撮影画像を得ることができる。また、モデルをトレーニング及び予測する階段で、１つのＣＴ画像の３枚のスライスマップをしか入力できないため、計算量が増えることはなく、冗長情報が多く導入されることもない。同時に、上記の方法は、ＣＴ画像病変検出に存在するマルチスケール問題も考慮され、つまり、異なる関心領域のスケールが大きく異なり、１ｍｍから５００ｍｍの範囲である。明らかに、本出願の実施例で提供される深層ニューラルネットワークは、ビッグターゲットとスモールターゲットを同時に検出するＣＴ画像について、より感度の高い情報抽出能力を有する。

【0095】

本出願の実施例において、予めトレーニングデータセットを利用して前記ディープニューラルネットワークをトレーニングする。パラメータを初期化する場合に、ＲｅｓＮｅｔ５０の第１～第５の畳み込み層は、ＩｍａｇｅＮｅｔデータセット上で仮トレーニングされたＲｅｓＮｅｔ５０のパラメータを採用でき、新たに追加された層は、分散が０.０１、平均値が０であるガウス分布を採用して初期化することができる。

【0096】

本出願の実施例において、モデルトレーニング中に、ＲＰＮネットワークにおいて、ａｎｃｈｏｒとｇｔ_ＢＢｏｘｅｓのＩｏＵ値が０.５よりも大きいものを正のサンプル、ＩｏＵ値が０.３よりも小さいものを負のサンプルとし、数は４８である。ＲＣＮＮネットワークについて、ｐｒｏｐｏｓａｌｇｔ_ＢＢｏｘｅｓのＩｏＵ値が０.５よりも大きいものを正のサンプル、ＩｏＵ値が０.４よりも小さいものを負のサンプルとし、ダウンサンプリングの数は４８である。

【0097】

本出願の実施例において、損失関数は２つの部分に分けることができる。一部は各検出ボックス内の物体の分類損失について、クロスエントロピー損失関数を採用し、他の部分は各検出ボックス位置の回帰損失について、平滑Ｌ１損失関数を採用する。

【0098】

本出願の実施例において、ＳＧＤ(ｓｔｏｃｈａｓｔｉｃｇｒａｄｉｅｎｔｄｅｓｃｅｎｔ)に基づく勾配降下法を採用してニューラルネットワークモデルの畳み込みテンプレートパラメータｗ及びバイアスのパラメータｂを解くことができ、毎回の反復中で、予測結果誤差を計算し畳み込みニューラルネットワークモデルに逆伝播し、勾配を算出し畳み込みニューラルネットワークモデルのパラメータを更新する。

【0099】

図６は、本出願の一実施例による深層学習に基づく医用画像検出方法の模式図を概略的に示している。

【0100】

図６は、本出願の実施例で提供される方法の使用流れを提供し、フロントエンドＡ(例えば、医用画像採集装置であってもよい)は、画像データ例えばＣＴ画像を採集したと、ＣＴ画像における複数枚のＣＴスライスマップをバックエンドにアップロードすることができ、バックエンドは、上記の実施例で提供される深層学習に基づく医用画像検出方法を使用して、被疑病変の領域、及び相応する信頼度を診断情報として取得し、フロントエンドＢ(例えば、医師クライアント)に出力することができる。

【0101】

図７は、本出願の実施例で提供される深層学習に基づく医用画像検出方法を適用する検出効果模式図を概略的に示している。

【0102】

図７に示すように、(ａ)に示すＣＴ画像を本出願の実施例における前記ディープニューラルネットワークに入力し、図(ｂ)に示す検出結果を出力できる。

【0103】

本出願の実施形態で提供される深層学習に基づく医用画像検出方法によれば、ディープニューラルネットワークは、改善されたＦＰＮ(ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋ、特徴ピラミッドネットワーク)を採用でき、ネットワークによるマルチスケール情報のキャプチャ能力を拡張でき、これにより、ネットワークによる異なるスケールの関心領域の検出能力を拡張できる一方、関連技術に比べて、関心領域検出正確率が近い場合に、本出願の実施例で提供される技術案は、当該ディープニューラルネットワークトレーニング階段でラベリング情報付きスライスマップ及びそれの上下にある二つのスライスマップ、即ち、各医用画像における全部の３つのスライスマップのみを使用し、高い検出正確率を有するモデルをトレーニングでき、多すぎる冗長情報を持ち込むことなく、医用画像における３次元情報を利用でき、トレーニングプロセス及び予測階段のデータ処理量を削減し、演算の処理速度と効率を向上させ、医用画像における関心領域位置及びその信頼度をより速く検出するのに役立つ。同時に、当該深層学習に基づく医用画像検出方法はマルチスケールのＣＴ画像検出に適用し、医師によるＣＴ画像の被疑病変領域の検出を支援するために用いられ、様々な病院、地域リハビリテーションセンターなどに配置され、診断時間を短縮し、医師の負担を軽減し、医師の作業効率を向上させるために医師を支援することができる。

【0104】

本出願の実施例の他の内容及び具体的な実現は、上記の実施例を参照すればよいが、ここで再度説明されない。

【0105】

図８は、本出願の一実施例による深層学習に基づく医用画像検出装置のブロック図を概略的に示している。本出願の実施例で提供される深層学習に基づく医用画像検出装置は、例えば、端末装置、サーバ、サーバクラスタ、クラウドサーバなどの計算処理能力を備える任意の電子機器に設置され得るが、本出願はそれを限定せず、以下例を挙げて説明する場合に、本出願の実施例に記載の装置がクラウドサーバに設置され実行することを例にとって説明する。

【0106】

図８に示すように、本出願の実施例で提供される深層学習に基づく医用画像検出装置８００は、画像取得モジュール８１０と、特徴抽出モジュール８２０と、特徴融合モジュール８３０と、膨張畳み込みモジュール８４０と、関心領域予測モジュール８５０とを含むことができる。

【0107】

画像取得モジュール８１０は、検出すべき医用画像を取得し、前記検出すべき医用画像は複数枚のスライスマップを含むように配置されてもよい。

【0108】

特徴抽出モジュール８２０は、前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップを取得するＮ枚の基本特徴マップを抽出し、Ｎは１よりも大きい整数であるように配置されてもよい。

【0109】

特徴融合モジュール８３０は、前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得し、Ｍは１よりも大きい整数であるように配置されてもよい。

【0110】

膨張畳み込みモジュール８４０は、前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するように配置されてもよい。

【0111】

関心領域予測モジュール８５０は、前記ディープニューラルネットワークにより、前記前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するように配置されてもよい。

【0112】

例示的な実施例において、前記Ｎ枚の基本特徴マップはＡ枚の低層特徴マップ及びＢ枚の高層特徴マップを含み、前記ＡとＢの両方は１よりも大きい整数である。特徴融合モジュール８３０は、
当該スライスマップのｉ枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップのｊ枚目の高層特徴マップに対してアップサンプリング処理を行い、前記ｉ枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、ｊ枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップのｋ番目の拡張特徴マップを取得するように配置されてもよく、
１≦ｉ＜Ａ、１＜ｊ≦Ｂ、１＜ｋ≦Ｍ、且つｉ、ｊ、ｋは整数である。

【0113】

例示的な実施例において、前記Ｎ枚の基本特徴マップはＡ枚の低層特徴マップ及びＢ枚の高層特徴マップを含み、前記ＡとＢの両方はは１よりも大きい整数であり、特徴融合モジュール８３０は、
当該スライスマップのＡ枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得するように配置されてもよい。

【0114】

例示的な実施例において、前記Ａ＝３、前記Ｂ＝３、前記Ｍ＝３の場合、特徴融合モジュール８３０は、
当該スライスマップの３枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの１枚目の高層特徴マップを、１枚目の拡張特徴マップとして取得し、
当該スライスマップの２枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの１枚目の高層特徴マップに対してアップサンプリング処理を行い、２枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、１枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの２枚目の高層特徴マップを、２枚目の拡張特徴マップとして取得し、
当該スライスマップの１枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの２枚目の高層特徴マップに対してアップサンプリング処理を行い、１枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、２枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの３枚目の高層特徴マップを、３枚目の拡張特徴マップとして取得するように配置されてもよい。

【0115】

例示的な実施例において、膨張畳み込みモジュール８４０は、
前記Ｍ枚の拡張特徴マップのそれぞれについて、Ｋ個の膨張畳み込み層により、当該拡張特徴マップをそれぞれ処理して、当該拡張特徴マップのＫ枚の膨張特徴マップを取得し、前記Ｋは１よりも大きい整数であるように配置される膨張特徴取得ユニットと、
前記Ｍ枚の拡張特徴マップのそれぞれについて、通常の畳み込み層により当該拡張特徴マップを処理して、当該拡張特徴マップの畳み込み特徴マップを取得するように配置される畳み込み特徴取得ユニットと、
前記Ｍ枚の拡張特徴マップのそれぞれに対して、当該拡張特徴マップのＫ枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得するように配置される重畳特徴取得ユニットとを含んでもよい。

【0116】

例示的な実施例において、前記重畳特徴取得ユニットは、
当該拡張特徴マップのＫ枚の膨張特徴マップと畳み込み特徴マップとを結合して、当該拡張特徴マップのカスケード特徴マップを取得し、
当該拡張特徴マップのカスケード特徴マップに基づいて、Ｋ個の膨張畳み込み層及び通常の畳み込み層それぞれの重みを取得し、
当該拡張特徴マップのＫ枚の膨張特徴マップ及び畳み込み特徴マップ、Ｋ個の膨張畳み込み層及び通常の畳み込み層それぞれの重みに基づいて、当該拡張特徴マップの重畳特徴マップを取得するように配置されてもよい。

【0117】

例示的な実施例において、Ｋ個の膨張畳み込み層の受容野が異なる。

【0118】

例示的な実施例において、Ｋ個の膨張畳み込み層の畳み込みカーネルパラメータが共有される。

【0119】

例示的な実施例において、関心領域予測モジュール８４０は、
前記検出すべき医用画像における各スライスマップの重畳特徴マップを処理して、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するように配置されることができる仮分類ユニットと、
前記初期関心領域位置情報及びその初期信頼度を処理して、前記検出すべき医用画像の関心領域位置情報及びその信頼度を取得するように配置されることができる関心領域予測ユニットとを含んでもよい。

【0120】

例示的な実施例において、前記仮分類ユニットは、
前記検出すべき医用画像における各スライスマップのｄ枚目の重畳特徴マップに応じて、ｄ枚の深層特徴マップを取得し、前記ｄは１以上且つＭ以下の整数であり、
Ｍ枚の深層特徴マップを仮分類し、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するように配置されることができる。

【0121】

例示的な実施例において、深層学習に基づく医用画像検出装置８００は、
トレーニングデータセットを取得し、前記トレーニングデータセットは、関心領域位置情報及びその信頼度がラベリングされた医用画像を含むように配置されるトレーニングセット取得モジュールと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップを取得するように配置されるスライスマップ取得モジュールと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた１枚のスライスマップ、及びそれに上下隣接する２枚のスライスマップにより、前記ディープニューラルネットワークをトレーニングするように配置されるモデルトレーニングモジュールとをさらに含む。

【0122】

例示的な実施例において、前記検出すべき医用画像はＣＴ画像を含んでもよい。

【0123】

本出願の例示的な実施例の深層学習に基づく医用画像検出装置８００の各機能モジュールは、上記の深層学習に基づく医用画像検出方法の例示的な実施例のステップに対応するので、ここで重複説明が省略される。

【0124】

本出願の例示的な実施例において、上記の方法を実現できる電子機器をさらに提供する。

【0125】

次に、本出願の実施例を実現するための電子機器のコンピュータシステムの概略構成図が示されている図９を参照する。図９に示す電子機器のコンピュータシステムは一例にすぎず、本出願の実施例の機能及び使用範囲にはいかなる制限も与えられない。

【0126】

図９に示すように、コンピュータシステム９００は、読み出し専用メモリ（ＲＯＭ）９０２に記憶されているプログラム又は記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムに基づいて様々な適当な動作及び処理を実行することができる中央処理装置（ＣＰＵ）９０１を備える。ＲＡＭ９０３には、システム９００の操作に必要な様々なプログラム及びデータがさらに記憶されている。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、バス９０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続されている。

【0127】

キーボード、マウスなどを含む入力部９０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む出力部９０７、ハードディスクなどを含む記憶部９０８、及びＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部９０９は、Ｉ／Ｏインターフェース９０５に接続されている。通信部９０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ９１０は、必要に応じてＩ／Ｏインターフェース９０５に接続される。リムーバブル媒体９１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ９１０に取り付けられ、従って、ドライバ９１０から読み出されたコンピュータプログラムが必要に応じて記憶部９０８にインストールされる。

【0128】

特に、本出願の実施例によれば、フローチャートを参照して上述したプロセスは、コンピュータソフトウェアプログラムとして実施されることが可能である。例えば、本出願の実施例は、フローチャートに示された方法を実行するためのプログラムコードを含む、コンピュータ読み取り可能な媒体上に担持されたコンピュータプログラム製品を含む。このような実施例では、コンピュータプログラムは、通信部９０９を介してネットワークからダウンロードされインストールされ及び／又はリムーバブル媒体９１１からインストールされたりすることができる。このコンピュータプログラムが中央処理ユニット（ＣＰＵ）９０１によって実行されると、本出願の実施例のシステムに限定された上記機能が実行される。

【0129】

本出願で示されたコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体若しくはコンピュータ読み取り可能な記憶媒体、又はこれらの両者の任意の組み合わせであり得る。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又は以上の任意の組み合わせであり得るが、これらに限られない。コンピュータ読み取り可能な記憶媒体のより具体的な例は、１本又は複数本のリード線を有する電気的に接続された携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲОＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲОＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読取り専用メモリ（ＣＤ－ＲОＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含むが、これらに限られない。本出願では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスによって使用されることもそれらに結合して使用されることも可能なプログラムを含む又は記憶する任意の有形の媒体であり得る。本出願の実施形態では、コンピュータ読み取り可能な信号媒体は、ベースバンド内において又はキャリアの一部として伝播された、コンピュータ読み取り可能なプログラムコードを搬送しているデータ信号を含んでもよい。このような伝播されたデータ信号は、電磁信号、光信号、又は上述の任意の適切な組み合わせを含むが、これらに限られない様々な形態を採用することができる。コンピュータ読み取り可能な信号媒体はまた、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。このコンピュータ読み取り可能な信号媒体は、命令実行システム、装置又はデバイスによって使用されることもそれらに結合して使用されることも可能なプログラムを送信、伝播又は伝送することができる。コンピュータ読み取り可能な媒体に含まれているプログラムコードは、無線、電線、光ケーブル、ＲＦ（無線周波数）など、又は上記の任意の適切な組み合わせを含むが、これらに限られない任意の適切な媒体で伝送することができる。

【0130】

添付図面におけるフローチャート及びブロック図は、本出願の様々な実施例に係るシステム、方法、及びコンピュータプログラム製品の実施可能なアーキテクチャ、機能、及び動作を示している。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント、又はコードの一部を表すことができる。該モジュール、プログラムセグメント、又はコードの一部は、指定されたロジック関数を実施するための１つ又は複数の実行可能な命令を含む。また、いくつかの代替的な実施形態では、ブロックに記載されている機能は、図面に示されているものとは異なる順序で発生する場合があることにも留意されたい。例えば、連続して表されている２つのブロックは、実際にほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。これは関連する機能によって決まる。また、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定された機能
又は動作を実行する専用のハードウェアベースのシステムで実施することも、又は専用のハードウェアとコンピュータの命令の組み合わせで実施することも可能であることに留意されたい。

【0131】

本出願の実施例において説明されたモジュール又はユニットは、ソフトウェア又はハードウェアによって実施され得る。説明されたモジュール又はユニットはプロセッサに設置されてもよい。ここで、これらのモジュール又はユニットの名称は、当該モジュール又はユニット自体に対する制限を構成しない場合がある。

【0132】

別の態様として、本出願はさらにコンピュータ読み取り可能な媒体を提供し、当該コンピュータ読み取り可能な媒体は、上記の実施例で説明された電子機器に含まれるものであってもよく、個別に存在しており、当該電子機器に組み込まれていないものであってもよい。前記コンピュータ読み取り可能な媒体は、１つ又は複数のプログラムを記憶しており、前記１つ又は複数のプログラムが該電子機器によって実行されると、上記の実施例に記載の深層学習に基づく医用画像検出方法を当該電子機器に実現させる。

【0133】

例えば、前記電子機器は図１に示すステップを実現することができ、即ち、ステップＳ１１０において、検出すべき医用画像を取得し、前記検出すべき医用画像は複数枚のスライスマップを含み、ステップＳ１２０において、前記検出すべき医用画像における各スライスマップについて、ディープニューラルネットワークにより当該スライスマップを取得するＮ枚の基本特徴マップを抽出し、前記Ｎは１よりも大きい整数であり、ステップＳ１３０において、前記検出すべき医用画像における各スライスマップについて、前記ディープニューラルネットワークにより当該スライスマップのＮ枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのＭ枚の拡張特徴マップを取得し、前記Ｍは１よりも大きい整数であり、ステップＳ１４０において、前記検出すべき医用画像における各スライスマップについて、前記ディープニューラルネットワークにより当該スライスマップのＭ枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成し、ステップＳ１５０において、前記ディープニューラルネットワークにより、前記検出すべき医用画像における各スライスマップの重畳特徴マップに応じて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測する。

【0134】

注意すべきことであるが、上記の詳細な説明では、動作実行のためのデバイスのいくつかのモジュール又はユニットが言及されているが、このような区分は強制的なものではない。実際には、本出願の実施形態によれば、上記に記載された２つ以上のモジュール又はユニットの特徴と機能は１つのモジュール又はユニットで具体化されることができる。逆に、上記に記載された１つのモジュール又はユニットの特徴と機能はさらに複数のモジュール又はユニットによって具体化されるように区分されることができる。

【0135】

以上の実施形態の説明によれば、当業者が容易に理解できるように、ここで説明された例示的な実施形態はソフトウェアにより実現されてもよいし、ソフトウェアを必要なハードウェアと組み合わせることで実現されてもよい。従って、本出願の実施形態による技術案は、ソフトウェア製品という態様で表されることができ、当該ソフトウェア製品は、不揮発性記憶媒体（ＣＤ－ＲＯＭ、ＵＳＢメモリ、リムーバブルハードディスク等であってもよい）又はネットワーク上に格納され、一台のコンピューティングデバイス（パソコン、サーバ、モバイル端末、又はネットワークデバイス等であってもよい）が本出願の実施形態による方法を実行できるように、いくつかの命令を含んでもよい。

【0136】

当業者は、本明細書を考慮し、かつここで開示された発明を実施した後、本出願の他の実施案を容易に想到し得る。本出願は、本出願のいかなる変形、用途又は適応的な変化も含むことを意図しており、これらの変形、用途又は適応的な変化は、本出願の一般的な原理に従っており、本出願に開示されていない本分野の公知常識又は慣用の技術的手段を含む。本明細書及び実施例は例示的なものとみなされるだけであり、本出願の実際の範囲と趣旨は添付の特許請求の範囲によって指摘される。

【0137】

なお、本出願は、以上に説明され、図面に示された精確な構造に限らず、その範囲を逸脱せずに各種の修正及び変更を行うことができる。本出願の範囲は、添付の特許請求の範囲のみによって制限される。

【符号の説明】

【0138】

810 画像取得モジュール
820 特徴抽出モジュール
830 特徴融合モジュール
840 膨張畳み込みモジュール
850 関心領域予測モジュール
905 Ｉ／Ｏインターフェース
906 入力部
907 出力部
908 記憶部
909 通信部
910 ドライバ
911 リムーバブル媒体

【図1】