特表2023-518160 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 上▲海▼商▲湯▼智能科技有限公司の特許一覧

特表2023-518160画像検出方法、装置、デバイス、媒体及びプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-28

(54)【発明の名称】画像検出方法、装置、デバイス、媒体及びプログラム

(51)【国際特許分類】

G06V 10/77 20220101AFI20230421BHJP

G06T 7/00 20170101ALI20230421BHJP

【ＦＩ】

G06V10/77

G06T7/00 612

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022549312

(86)(22)【出願日】2021-09-10

(85)【翻訳文提出日】2022-08-16

(86)【国際出願番号】 CN2021117801

(87)【国際公開番号】W WO2022179083

(87)【国際公開日】2022-09-01

(31)【優先権主張番号】202110214861.X

(32)【優先日】2021-02-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520180323

【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩＳＥＮＳＥＴＩＭＥＩＮＴＥＬＬＩＧＥＮＴＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ１６０５Ａ，Ｂｕｉｌｄｉｎｇ３，３９１ＧｕｉｐｉｎｇＲｏａｄ，ＸｕｈｕｉＤｉｓｔｒｉｃｔ，Ｓｈａｎｇｈａｉ２００２３３Ｃｈｉｎａ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本健策

(72)【発明者】

【氏名】▲孫▼▲輝▼

(72)【発明者】

【氏名】▲韓▼泓▲澤▼

(72)【発明者】

【氏名】▲劉▼星▲龍▼

(72)【発明者】

【氏名】黄▲寧▼

(72)【発明者】

【氏名】▲張▼少霆

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096DA01

5L096DA02

5L096EA12

5L096FA02

5L096FA69

5L096GA30

5L096GA51

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

本発明の実施例は、画像検出方法、装置、デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを開示し、ここで、画像検出方法は、検出対象医学画像を取得するステップと、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップと、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するステップであって、病巣確率マップは検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るステップと、を含む。

【特許請求の範囲】

【請求項1】

画像検出方法であって、
検出対象医学画像を取得するステップと、
前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップと、
プリセット次元の前記第１特徴マップを参考特徴マップとして、前記参考特徴マップを利用して病巣確率マップを生成するステップであって、前記病巣確率マップは前記検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、
前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、
前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るステップと、を含む
画像検出方法。

【請求項2】

前記参考特徴マップを利用して病巣確率マップを生成する前に、前記方法はさらに、
前記参考特徴マップを利用して予測処理を行い、前記検出対象医学画像に前記病巣が含まれる第１確率値を得るステップと、
前記第１確率値に基づいて、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップと、を含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記第１確率値に基づいて、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、
前記第１確率値が第１プリセット条件を満たす場合、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップを含み、又は
前記検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、前記第１確率値に基づいて、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、
前記２次元の医学画像に対応する第１確率値を大きい順に従ってソートし、先頭のプリセット数量の前記第１確率値を選択するステップと、
前記プリセット数量の前記第１確率値に対してプリセット処理を行い、第２確率値を得るステップと、
前記第２確率値が第２プリセット条件を満たす場合、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップと、を含むことを特徴とする
請求項２に記載の方法。

【請求項4】

前記第１プリセット条件は、前記第１確率値が第１確率閾値以上であることを含み、
前記第２プリセット条件は、前記第２確率値が第２確率閾値以上であることを含み、
前記プリセット処理が平均演算であり、
及び／又は、前記方法はさらに、
前記第１確率値が第１プリセット条件を満たさない場合、又は、前記第２確率値が第２プリセット条件を満たさない場合、前記検出対象医学画像に前記病巣が含まれないと決定するステップを含むことを特徴とする
請求項３に記載の方法。

【請求項5】

前記参考特徴マップを利用して病巣確率マップを生成するステップは、
前記参考特徴マップにおける各画素点の前記病巣に関する勾配値を統計し、クラス活性化マップを生成し、前記クラス活性化マップを前記病巣確率マップとするステップを含むことを特徴とする
請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、
前記病巣確率マップを利用して前記参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップと、
前記第２特徴マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、を含むことを特徴とする
請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記病巣確率マップを利用して前記参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップは、
前記病巣確率マップにおける第１画素点の画素値を前記参考特徴マップにおける前記第１画素点に対応する第２画素点の画素値と乗算し、前記第２特徴マップの対応する画素点の画素値を得るステップを含み、
及び／又は、前記第２特徴マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、
次元の高い順という順序に従って、前記第２特徴マップを前記順序でソートされた各次元の前記第１特徴マップと融合し、最終融合特徴マップを得るステップを含むことを特徴とする
請求項６に記載の方法。

【請求項8】

前記参考特徴マップは次元が最も高い前記第１特徴マップであり、
前記次元の高い順という順序に従って、前記第２特徴マップを前記順序でソートされた各次元の前記第１特徴マップと融合し、最終融合特徴マップを得るステップは、
前記参考特徴マップを第１低次元特徴マップと融合し、次元が前記第１低次元特徴マップと同様である第１融合特徴マップを得るステップであって、前記第１低次元特徴マップは前記参考特徴マップより一次元低い前記第１特徴マップであるステップと、
前記第２特徴マップを前記第１融合特徴マップと融合し、次元が前記第１融合特徴マップと同様である第２融合特徴マップを得るステップと、
前記１つ以上の次元の前記第１特徴マップの融合が完了するまで、前記第２融合特徴マップを第２低次元特徴マップと融合して次元が前記第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行するステップであって、前記第２低次元特徴マップは、現在の前記第２融合特徴マップより一次元低い前記第１特徴マップであるステップと、
最終的に融合して得られた前記第２融合特徴マップを前記最終融合特徴マップとするステップと、を含むことを特徴とする
請求項７に記載の方法。

【請求項9】

前記検出結果は、前記検出対象医学画像における前記病巣の検出領域を含み、
前記方法はさらに、
前記検出対象医学画像に対して臓器検出を行い、前記検出対象医学画像における臓器領域を得るステップと、
前記病巣の検出領域が前記臓器領域に占める病巣割合を取得するステップと、を含み、
及び／又は、前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る前に、前記方法はさらに、
前記検出対象医学画像に対して前処理を行うステップであって、前記前処理の操作は少なくとも、プリセットウィンドウ値を利用して前記検出対象医学画像の画素値をプリセット範囲内に正規化することを含むステップを含むことを特徴とする
請求項１～８のいずれか１項に記載の方法。

【請求項10】

前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップは、
画像検出モデルの特徴抽出サブネットワークを利用して前記検出対象医学画像に対して特徴抽出を行い、前記１つ以上の次元の前記第１特徴マップを得るステップを含み、
前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、
前記画像検出モデルの融合処理サブネットワークを利用して前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを含み、
前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るステップは、
前記画像検出モデルの融合処理サブネットワークを利用して前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るステップを含むことを特徴とする
請求項１～９のいずれか１項に記載の方法。

【請求項11】

前記画像検出モデルの特徴抽出サブネットワークを利用して前記検出対象医学画像に対して特徴抽出を行い、前記１つ以上の次元の前記第１特徴マップを得る前に、前記方法はさらに、
サンプル医学画像を取得するステップであって、前記サンプル医学画像に病巣の実際領域が含まれるステップと、
前記特徴抽出サブネットワークを利用して前記サンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得るステップと、
プリセット次元の前記第１サンプル特徴マップを参考サンプル特徴マップとして、前記参考サンプル特徴マップを利用して病巣サンプル確率マップを生成するステップであって、前記病巣サンプル確率マップは前記サンプル医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、
前記融合処理サブネットワークを利用して前記病巣サンプル確率マップを前記１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得るステップと、
前記融合処理サブネットワークを利用して前記最終融合サンプル特徴マップに対して検出処理を行い、前記サンプル医学画像における前記病巣に関する検出領域を得るステップと、
前記実際領域と前記検出領域との間の差異を利用して、前記画像検出モデルのネットワークパラメータを調整するステップと、を含むことを特徴とする
請求項１０に記載の方法。

【請求項12】

前記実際領域と前記検出領域との間の差異を利用して、前記画像検出モデルのネットワークパラメータを調整するステップは、
集合類似度損失関数を採用して前記実際領域及び前記検出領域を処理し、前記画像検出モデルの損失値を決定するステップと、
前記損失値を利用してプリセット学習率で前記画像検出モデルのネットワークパラメータを調整するステップと、を含むことを特徴とする
請求項１１に記載の方法。

【請求項13】

画像検出装置であって、
検出対象医学画像を取得するように構成される画像取得モジュールと、
前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成される特徴抽出モジュールと、
プリセット次元の前記第１特徴マップを参考特徴マップとして、前記参考特徴マップを利用して病巣確率マップを生成するように構成される画像生成モジュールであって、前記病巣確率マップは前記検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられる画像生成モジュールと、
前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成される画像融合モジュールと、
前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るように構成される検出処理モジュールと、を含む
画像検出装置。

【請求項14】

電子デバイスであって、
互いにカップリンブされたメモリとプロセッサを含み、
前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して請求項１～１２のいずれか１項に記載の画像検出方法を実現するように構成される
電子デバイス。

【請求項15】

コンピュータ可読記憶媒体であって、
プログラム命令が記憶されており、
前記プログラム命令はプロセッサに、請求項１～１２のいずれか１項に記載の画像検出方法を実行させる
コンピュータ可読記憶媒体。

【請求項16】

コンピュータプログラムであって、
コンピュータ可読コードを含み、
前記コンピュータ可読コードは、電子デバイスにおけるプロセッサに請求項１～１２のいずれか１項に記載の画像検出方法を実行させる
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、出願番号が２０２１１０２１４８６１．Ｘであり、出願日が２０２１年２月２５日であり、名称が「画像検出方法及関連装置、デバイス」である中国特許出願に基づいて提出され、当該中国特許出願に基づいて優先権を主張し、当該中国特許出願の全ての内容が参照として本発明に組み込まれる。

【0002】

本発明は、人工知能技術分野に関し、画像検出方法、装置、デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムに関するがこれらに限定されない。

【背景技術】

【0003】

コンピュータ断層走査(ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ、ＣＴ)等の医学画像は臨床において重要な意味を有する。例えば、医師は、医学画像から肺炎等の臓器の病巣を見つけることができる。そして、情報技術の発展に伴って、コンピュータ等のような処理能力を備える電子デバイスは、人工に代わって各業界でタスクを実行するようになってきている。臨床の適用分野では、電子デバイスによって医学画像に対して検出を行うことにより、医学画像における病巣の検出結果を得て、臨床において医師を補助する。

【発明の概要】

【課題を解決するための手段】

【0004】

本発明の実施例は、画像検出方法、装置、デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを提供する。

【0005】

本発明の実施例は、画像検出方法を提供し、当該方法は、検出対象医学画像を取得するステップと、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップと、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するステップであって、病巣確率マップは検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るステップと、を含む。

【0006】

そのため、取得された検出対象医学画像に対して特徴抽出を行うことにより、１つ以上の次元の第１特徴マップを得、そして、プリセット次元の第１特徴マップを参考特徴マップとすることにより、参考特徴マップを利用して病巣確率マップを生成し、また、病巣確率マップは検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられ、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るため、病巣確率マップがグローバル特徴として第１特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、さらに最終融合特徴マップにより検出処理を行って検出対象医学画像における病巣の検出結果を得る場合、画像検出の正確性を向上させることができる。

【0007】

ここで、参考特徴マップを利用して病巣確率マップを生成する前に、方法はさらに、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得るステップと、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップと、を含む。

【0008】

そのため、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することにより、検出対象医学画像に病巣が含まれないが偽陽検出結果が検出された問題を解決することに役立つ。さらに、画像検出の正確性をさらに向上させることに役立つことができ、そして、検出の前に陰性データを予め除去することができるため、画像検出の効率を向上させることができる。

【0009】

ここで、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップを含み、又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、を含む、２次元の医学画像に対応する第１確率を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択するステップと、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得るステップと、第２確率値が第２プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップと、を含む。

【0010】

そのため、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択し、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得、それにより、第２確率値が第２プリセット条件を満たすとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。

【0011】

ここで、第１プリセット条件は、第１確率値が第１確率閾値以上であることを含み、第２プリセット条件は、第２確率値が第２確率閾値以上であることを含み、プリセット処理が平均演算である。

【0012】

そのため、第１プリセット条件を第１確率値が第１確率閾値以上であると設定し、第２プリセット条件を第２確率値が第２確率閾値以上であると設定し、プリセット処理を平均演算に設定することにより、第２確率値の計算量を低減させることができ、第２確率値が３次元の医学画像に病巣が含まれる可能性を正確に反映することができ、そのため、第１確率値が第１確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、第２確率値が第２確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。

【0013】

ここで、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定する。

【0014】

そのため、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定することにより、ユーザーに検出対象医学画像の陰性検出結果を速やかに感知させることができ、それによりユーザーの体験を向上させることに役立つことができる。

【0015】

ここで、参考特徴マップを利用して病巣確率マップを生成するステップは、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成し、クラス活性化マップを病巣確率マップとするステップを含む。

【0016】

そのため、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成して病巣確率マップとすることにより、病巣確率マップの正確性を向上させることができ、それにより後続の画像検出の正確性を向上させることに役立つことができる。

【0017】

ここで、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップと、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、を含む。

【0018】

そのため、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得、且つ第２特徴マップを１つ以上の次元の第１特徴マップと融合することにより、最終融合特徴マップを得るため、病巣確率マップをグローバル特徴として特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、それにより、後続の画像検出の正確性を向上させることに役立つことができる。

【0019】

ここで、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップは、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得るステップを含む。

【0020】

そのため、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得ることにより、参考特徴マップに対する病巣確率マップのエンコード処理エンコード処理を実現するため、計算量を低減させることに役立つことができる。

【0021】

ここで、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、次元の高い順という順序に従って、第２特徴マップを順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを含む。

【0022】

そのため、次元の高い順に従って、第２特徴マップを各次元の第１特徴マップと融合し、最終融合特徴マップを得ることにより、次元ごとに特徴マップの融合を行うことに役立つことができ、それによりコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることに役立つことができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。

【0023】

ここで、参考特徴マップは次元が最も高い第１特徴マップであり、次元の高い順という順序に従って、第２特徴マップを順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得るステップであって、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップであるステップと、第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得るステップと、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行するステップであって、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとするステップと、を含む。

【0024】

そのため、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップであり、そして第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得ることにより、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行し、そして、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとすることにより、病巣確率マップをグローバル特徴として画像検出のデコードプロセスと結合させることができ、最終融合特徴マップが病巣に対する特異性を強化することができ、特徴マップのコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。

【0025】

ここで、検出結果は、検出対象医学画像における病巣の検出領域を含み、方法はさらに、検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得るステップと、病巣の検出領域が臓器領域に占める病巣割合を取得するステップと、を含む。

【0026】

そのため、検出対象医学画像に対して臓器検出を行うことにより検出対象医学画像における臓器領域を得、病巣の検出領域が臓器領域に占める病巣割合を取得することにより、検出結果を利用して臨床に有利な参照情報をさらに生成することに役立つことができ、ユーザーの体験を向上させることができる。

【0027】

ここで、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る前に、方法はさらに、検出対象医学画像に対して前処理を行うステップであって、前処理の操作は少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含むステップを含む。

【0028】

そのため、検出対象医学画像に対して特徴抽出を行う前に、検出対象医学画像に対して前処理を行い、そして、前処理の操作が少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含むことにより、検出対象医学画像コントラストを補強することに役立つことができ、それにより、後続に抽出された第１特徴マップの正確性を向上させることに役立つことができる。

【0029】

ここで、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップは、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップを含み、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを含み、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るステップは、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における前記病巣の検出結果を得るステップを含む。

【0030】

そのため、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得、そして、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得ることにより、画像検出モデルによって特徴抽出、融合処理、画像検出のタスクを実行し、さらに、画像検出の効率を向上させることに役立つことができる。

【0031】

ここで、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る前に、方法はさらに、サンプル医学画像を取得するステップであって、サンプル医学画像に病巣の実際領域が含まれるステップと、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得るステップと、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成するステップであって、病巣サンプル確率マップはサンプル医学画像の異なる領域が病巣に属する確率を示すために用いられるステップと、融合処理サブネットワークを利用して病巣サンプル確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得るステップと、融合処理サブネットワークを利用して最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得るステップと、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するステップと、を含む。

【0032】

そのため、サンプル医学画像を取得し、サンプル医学画像に病巣の実際領域が含まれ、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得ることにより、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成し、そして、病巣サンプル確率マップはサンプル医学画像の異なる領域が病巣に属する確率を示すために用いられることで、病巣確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得て、最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するため、画像検出モデルに対するトレーニングプロセスにおいて、病巣サンプル確率マップをグローバル特徴として利用して画像検出のデコードプロセスと結合させることができ、それにより、最終融合サンプル特徴マップが病巣に対する特異性を強化することができ、それにより、病巣に対する画像検出モデルの感度を補強することができ、さらに、モデルのトレーニング速度を向上させることに役立つことができる。

【0033】

ここで、実際領域と検出領域との間の差異を利用して、特徴抽出サブネットワーク及び融合処理サブネットワークのネットワークパラメータを調整するステップは、集合類似度損失関数を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定するステップと、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整するステップと、を含む。

【0034】

そのため、集合類似度損失関数を利用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値の正確性を確保することができ、それにより、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整することで、トレーニングプロセスにおいて、検出領域と実際領域との間の差異を低減させ、画像検出モデルの正確性を向上させることができる。

【0035】

本発明の実施例はさらに、画像検出装置を提供し、当該装置は、画像取得モジュール、特徴抽出モジュール、画像生成モジュール、画像融合モジュール及び画像検出モデルを含み、画像取得モジュールは、検出対象医学画像を取得するように構成され、特徴抽出モジュールは、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成され、画像生成モジュールは、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するように構成され、ここで、病巣確率マップが検出対象医学画像の異なる領域が病巣に属する確率を示すために用いられ、画像融合モジュールは、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成され、検出処理モジュールは、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るように構成される。

【0036】

本発明の実施例はさらに、電子デバイスを提供し、当該電子デバイスは、互いにカップリンブされたメモリとプロセッサを含み、プロセッサは、メモリに記憶されたプログラム命令を実行して上記第１態様における画像検出方法を実現するように構成される。

【0037】

本発明の実施例はさらに、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体にはプログラム命令が記憶されており、プログラム命令がプロセッサによって実行されるとき、上記第１態様における画像検出方法を実現する。

【0038】

本発明の実施例はさらに、コンピュータプログラムを提供し、当該コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが電子デバイスで実行されるとき、前記電子デバイスにおけるプロセッサが上記いずれかの画像検出方法を実行する。

【0039】

上記技術的手段は、取得された検出対象医学画像に対して特徴抽出を行うことにより、１つ以上の次元の第１特徴マップを得、そして、プリセット次元の第１特徴マップを参考特徴マップとすることにより、参考特徴マップを利用して病巣確率マップを生成し、且つ、病巣確率マップが検出対象医学画像の異なる領域が病巣に属する確率を示すために用いられ、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るため、病巣確率マップがグローバル特徴として第１特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、さらに最終融合特徴マップにより検出処理を行って検出対象医学画像における病巣の検出結果を得る場合、画像検出の正確性を向上させることができる。

【0040】

以上の一般的な説明及び後述する詳細な説明は示例的且つ解釈的なものに過ぎず、本開示を限定するものではないことを理解される。

【図面の簡単な説明】

【0041】

【図1】本発明の画像検出方法の一実施例のフローチャート。

【図2】画像検出モデルの一実施例のブロック図。

【図3】本発明の画像検出方法の別の実施例のフローチャート。

【図4】画像検出モデルをトレーニングする一実施例のフローチャート。

【図5】本発明の画像検出装置の一実施例のブロック図。

【図6】本発明の電子デバイスの一実施例のブロック図。

【図7】本発明のコンピュータ可読記憶媒体の一実施例のブロック図。

【発明を実施するための形態】

【0042】

以下、明細書の図面を参照しながら本発明の実施例の技術的手段について詳細に説明する。

【0043】

以下の説明では、本発明を明瞭に理解するために提出された特定のシステム構成、インタフェース、技術などのような具体的な詳細は、限定的なものでなく、説明のためのものである。

【0044】

本明細書における用語「システム」及び「ネットワーク」は、本明細書において交換可能に使用されることが多い。本明細書における用語「及び／又は」は、関連対象を説明する関連関係だけであり、３種の関係が存在することを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する場合、ＡとＢが同時に存在する場合、Ｂが単独で存在する場合の３種の場合を示すことができる。また、本明細書におけるシンボル「／」は、一般的に前後の関連対象が「又は」の関係にあることを示す。また、本明細書における「複数の」は、２つ以上を意味する。

【0045】

図１を参照して、図１は本発明の画像検出方法の一実施例のフローチャートである。当該方法は具体的に以下のステップを含んでもよい。

【0046】

ステップＳ１１は、検出対象医学画像を取得する。

【0047】

検出対象医学画像は、ＣＴ画像、核磁気共鳴(ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅ、ＭＲ)画像を含んでもよく、ここで限定しない。一つの実施場面において、検出対象医学画像は、肺部領域、肝部領域、心臓領域等に対して走査して得られた画像であってもよく、ここで限定せず、具体的に実際の適用場合に応じて設定してもよい。例えば、肺炎を感染するか否かをスクリーニングするために肺部を検査する必要がある場合、肺部領域を走査することができ、又は、肝部に病変が発生するか否かをスクリーニングするために肝部を検査する必要がある場合、肝部領域を走査することができるなど、他の適用場合は、このように類推することができ、ここで一つずつ例を挙げない。

【0048】

一つの実施場面において、検出対象医学画像は２次元の医学画像であってもよく、別の実施場面において、検出対象医学画像はさらに、３次元の医学画像に含まれる２次元の医学画像であってもよく、例えば、走査対象をＣＴ走査して３次元のＣＴデータを取得すれば、検出対象医学画像は３次元のＣＴデータに含まれる２次元の医学画像であってもよい。

【0049】

ステップＳ１２は、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る。

【0050】

一つの実施場面において、特徴抽出を行う前に、さらに検出対象医学画像に対して前処理を行ってもよく、例えば、少なくともプリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化し、それにより検出対象医学画像のコントラストを補強し、抽出される第１特徴マップの正確性を向上させることができる。具体的には、プリセットウィンドウ値は走査部位に応じて設定してもよく、例えば、検出対象医学画像が肺部に対して走査して得られたＣＴ画像である場合、プリセットウィンドウ値は、－１４００～１００ヘンシュ単位(ＨｏｕｎｓｆｉｅｌｄＵｎｉｔ、ＨＵ)であってもよく、他の部位は実際の場合に応じて設定してもよく、ここで一つずつ例を挙げない。また、プリセット範囲は、０～１に設定されてもよく、それにより、検出対象医学画像が肺部に対して走査して得られたＣＴ画像であり、且つプリセットウィンドウ値が－１４００～１００ヘンシュ単位である場合、画素値が－１４００未満である画素を－１４００にし、画素値が１００より大きい画素値を１００にし、最終的に－１４００～１００範囲にある画素値を０～１の範囲内にマッピングすることができる。プリセットウィンドウ値、プリセット範囲が他の数値である場合、このように類推することができ、ここで一つずつ例を挙げない。

【0051】

一つの実施場面において、特徴抽出の利便性を向上させるために、さらに画像検出モデルを予めトレーニングすることができ、画像検出モデルは特徴抽出サブネットワークを含むことができ、それにより画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得ることができる。１つ以上の次元は、一つの次元であってもよく、複数の次元、例えば、二つの次元、三の次元等であってもよく、ここで限定せず、具体的に実際の場合に応じて特徴抽出サブネットワークのネットワーク深さを設定することにより、異なる次元の第１特徴マップを得る。ここで、次元が高いほど、対応する第１特徴マップのチャンネル数が大きくなり、且つ解像度が小さくなる。

【0052】

図２を参照して、図２は画像検出モデルの一実施例のブロック図である。図２に示すように、特徴抽出サブネットワークは複数の順次接続された特徴抽出サブモジュールを含んでもよく、特徴抽出サブモジュールは畳み込み、正則、活性化及びプール化等の処理タスクを実行することができ、具体的には、特徴抽出サブモジュールは、残差ブロック(ＲｅｓｉｄｕａｌＢｌｏｃｋ)、感知ブロック(ＩｎｃｅｐｔｉｏｎＢｌｏｃｋ)、稠密ブロック(ＤｅｎｓｅＢｌｏｃｋ)のうちのいずれか１種を含んでもよく、ここで限定しない。具体的には、プール化処理は最大プール化(ＭａｘＰｏｏｌｉｎｇ)、平均プール化(ＡｖｅｒａｇｅＰｏｏｌｉｎｇ)、ストライド(Ｓｔｒｉｄｅ)が２である畳み込み層のうちのいずれか１種を含んでもよく、ここで限定しない。順次接続された特徴抽出サブモジュールで特徴抽出を実行するプロセスにおいて、低次元から高次元までの第１特徴マップを順次得ることができ、特徴抽出サブモジュールが実行するとき、チャンネル数が倍になり且つ解像度が半分になり得る。例えば、検出対象医学画像の解像度が２５６*２５６であり、図２における最初の特徴抽出サブモジュールによって抽出される第１特徴マップのチャンネル数が６４であり、解像度が１２８*１２８である場合、説明の便宜上、第１特徴マップの大きさをチャンネル数*解像度、即ち６４*１２８*１２８で統一的に示し、順次接続された２番目の特徴抽出サブモジュールによって抽出された第１特徴マップの大きさが１２８*６４*６４であり、３番目の特徴抽出サブモジュールによって抽出された第１特徴マップの大きさが２５６*３２*３２であり、４番目の特徴抽出サブモジュールによって抽出された第１特徴マップの大きさが５１２*１６*１６であり。特徴抽出サブネットワークが他の構成である場合、このように類推することができ、ここで一つずつ例を挙げない。

【0053】

ステップＳ１３は、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成する。

【0054】

病巣確率マップは、検出対象医学画像における異なる領域が病巣に属する確率を示すためのものである。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、参考特徴マップは、次元が最も高い第１特徴マップ、即ち大きさが５１２*１６*１６である第１特徴マップを含んでもよく、参考特徴マップにおける各画素点は、検出対象医学画像における一つの１６*１６の領域を対応して示すことができ、従って参考特徴マップを利用して生成される病巣確率マップにおける各画素点の画素値は、検出対象医学画像における一つの１６*１６領域が病巣に属する確率を示すことができる。また、参考特徴マップは他の第１特徴マップを含んでもよく、例えば、参考特徴マップは次元が最も高い第１特徴マップよりさらに一次元低い第１特徴マップを含んでもよく、ここで限定しない。他の実施場面において、具体的な適用場合に応じて、参考特徴マップはさらに他の次元の第１特徴マップを選択してもよく、ここで限定しない。

【0055】

一つの実施場面において、病巣確率マップの正確性を向上させるために、具体的に参考特徴マップにおける各画素点の病巣に関する勾配値を統計することにより、クラス活性化マップを生成し(ＣｌａｓｓＡｃｔｉｖａｔｅＭａｐ、ＣＡＭ)、クラス活性化マップを病巣確率マップとすることができる。一つの具体的な実施場面において、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値y^cを得ることにより、参考特徴マップにおける各画素点

【0056】

【化1】

【0057】

に対する第１確率値y^cの勾配値

【0058】

【化2】

【0059】

を算出し、ここで、

【0060】

【化3】

【0061】

におけるｋは複数のチャンネルの参考特徴マップにおけるｋ番目の参考特徴マップを示し、ｉｊは、ｋ番目の参考特徴マップにおけるｉ行ｊ列目の画素点を示す。具体的には、画像検出モデルを予めトレーニングすることができ、画像検出モデルに予測処理サブネットワークが含まれ、それにより、予測処理サブネットワークを利用して参考特徴マップに対して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得ることができる。引き続き図２を参照し、予測処理サブネットワークはグローバル平均プール化層及び全結合層を含んでもよく、依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、大きさが５１２*１６*１６である参考特徴マップに対してグローバル平均プール化(ＧｌｏｂａｌＡｖｅｒａｇｅＰｏｏｌｉｎｇ、ＧＡＰ)処理を行って、大きさが５１２*１*１であるベクトルを得、そして、全結合層を利用して当該ベクトルを処理し、検出対象医学画像に病巣が含まれる第１確率値を得る。

【0062】

一つの実施場面において、検出の前に陰性データを予め除去し、後続の検出で偽陽結果を得るという問題を解決するために、即ち、検出対象医学画像に病巣が存在していないが、検出対象医学画像に対して検出を行うことにより病巣を得るという問題を解決するために、しかも偽陽結果が臨床の適用に干渉を与えるため、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得るとともに、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することができる。一つの具体的な実施場面において、参考特徴マップを利用して予測処理を行って第１確率値を得る方式は具体的に上述した実施場面における関連説明を参照すればよく、ここで説明を省略する。別の具体的な実施場面において、確率閾値を予め設定することができ、そして第１確率値が確率閾値未満である場合、検出対象医学画像に病巣が含まれないと見なし、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行しなくてもよく、それにより、この場合に依然として検出対象医学画像に対して画像検出を行って偽陽結果を得られた可能性を大幅に低減させることができる。確率閾値は、実際の適用場合に応じて設定してもよく、例えば、２０％未満、３０％未満等の数値に設定してもよく、それにより、比較的大きい確率で病巣が含まれない検出対象医学画像に対していずれも後続の検出を行わず、検出効率を向上させ、偽陽結果が発生する可能性を低減させる。

【0063】

ステップＳ１４は、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得る。

【0064】

具体的には、融合のプロセスにおいて、次元の高い順に従って病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得ることができる。一つの実施場面において、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得ることにより、病巣確率マップをグローバル特徴として特徴マップの融合に関与させることができ、最終融合特徴マップが病巣に対する特異性を強化することができ、それにより、後続の画像検出の正確性を向上させることに役立つことができる。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、参考特徴マップの大きさが５１２*１６*１６であり、５１２個のチャンネルの各参考特徴マップに対応して、対応する病巣確率マップを取得するため、病巣確率マップの大きさが５１２*１６*１６であり、さらに大きさが５１２*１６*１６である病巣確率マップと、大きさが５１２*１６*１６である参考特徴マップと、大きさが２５６*３２*３２である第１特徴マップと、大きさが１２８*６４*６４である第１特徴マップと、大きさが６４*１２８*１２８である第１特徴マップとに対して融合を行い、チャンネル数が１である最終融合特徴マップを得ることができる。

【0065】

一つの具体的な実施場面において、エンコード処理の計算量を低減させるために、直接、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得ることができる。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、上記処理により大きさが５１２*１６*１６である参考特徴マップ、及びそれに対応する大きさが５１２*１６*１６である病巣確率マップを得ることができるため、各チャンネルに対して、病巣確率マップにおける第１画素点の画素値を対応するチャンネルの参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、対応するチャンネルの第２特徴マップの対応する画素点の画素値を得ることができ、５１２個のチャンネルに対して同様の処理を行うことにより、大きさが５１２*１６*１６である第２特徴マップを得ることができる。検出対象医学画像が他の解像度の画像である場合、又は、参考特徴マップが他の大きさの画像である場合、このように類推することができ、ここで一つずつ例を挙げない。

【0066】

別の具体的な実施場面において、最終融合画像の正確性及び豊富度を向上させるために、次元の高い順という順序に従って、第２特徴マップを上記順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得ることができ、それにより、コンテキスト情報を十分に融合することに役立つことができる。具体的には、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得ることができ、第１低次元特徴マップは参考特徴マップより一次元低い第１特徴マップであり、第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得、さらに、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行し、ここで、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとすることができる。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、大きさが５１２*１６*１６である参考特徴マップと、それに対応する第１低次元特徴マップ、即ち大きさが２５６*３２*３２である第１特徴マップと融合することができ、融合プロセスにおいて、まず、大きさが５１２*１６*１６である参考特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさをそれに対応する第１低次元特徴マップと同様になるように調整し、さらに調整後の参考特徴マップと、大きさが２５６*３２*３２である第１低次元特徴マップとを、大きさが５１２*３２*３２である特徴マップに統合することができ、後続の融合を容易にするために、さらにそのチャンネル数を半分にし、大きさが第１低次元特徴マップと同様である第１融合特徴マップ、即ち大きさが２５６*３２*３２である第１融合特徴マップを得ることできる。さらに大きさが５１２*１６*１６である第２特徴マップを第１融合特徴マップと融合し、同様に、融合プロセスにおいて、まず、大きさが５１２*１６*１６である第２特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさを第１融合特徴マップと同様であるように調整し、さらに調整後の第２特徴マップと、大きさが２５６*３２*３２である第１融合特徴マップとを大きさが５１２*３２*３２である特徴マップと統合することができ、後続の融合を容易にするために、さらにそのチャンネル数を半分にし、大きさが第１融合特徴マップと同様である第２融合特徴マップ、即ち大きさが２５６*３２*３２である第２融合特徴マップを得ることができる。さらに、大きさが２５６*３２*３２である第２融合特徴マップを対応する第２低次元特徴マップ(即ち、大きさが１２８*６４*６４である第２特徴マップ)と融合するステップを実行し、同様に、融合プロセスにおいて、まず、大きさが２５６*３２*３２である第２融合特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさを対応する第２低次元特徴マップと一致するように調整し、さらに調整後の第２融合特徴マップと、対応する第２低次元特徴マップ(即ち、大きさが１２８*６４*６４である第２特徴マップ)とを、大きさが２５６*６４*６４である特徴マップに統合することができ、後続の融合を容易にするために、さらにそのチャンネル数を半分にし、大きさが対応する第２低次元特徴マップと同様である新たな第２融合特徴マップ、即ち、大きさが１２８*６４*６４である第２融合特徴マップを得ることができる。さらに、大きさが１２８*６４*６４である第２融合特徴マップを対応する第２低次元特徴マップ(即ち、大きさが６４*１２８*１２８である第２特徴マップ)と融合するステップを実行し、同様に、融合プロセスにおいて、まず、大きさが１２８*６４*６４である第２融合特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさを対応する第２低次元特徴マップと一致するように調整し、さらに調整後の第２融合特徴マップと、対応する第２低次元特徴マップ(即ち、大きさが６４*１２８*１２８である第２特徴マップ)とを、大きさが１２８*１２８*１２８である特徴マップに統合することができ、後続の処理を容易にするために、同様に、さらにそのチャンネル数を半分にし、大きさが対応する第２低次元特徴マップと同様である新たな第２融合特徴マップ、即ち、大きさが６４*１２８*１２８である第２融合特徴マップを得、１つ以上の次元のうちの各次元の第１特徴マップの融合が全て完了しているため、最終的に融合して得られた大きさが６４*１２８*１２８である第２融合特徴マップを最終融合特徴マップとすることができる。他の場合、このように類推することができ、ここで一つずつ例を挙げない。

【0067】

もう一つの具体的な実施場面において、融合処理の効率を向上させるために、画像検出モデルを予めトレーニングすることができ、そして、画像検出モデルに融合処理サブネットワークが含まれ、それにより、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得ることができる。具体的には、引き続き図２を結合して参照し、図２に示すように、融合処理サブネットワークは、複数の順次接続された融合処理サブモジュールを含み、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを実行するように構成される。各融合処理サブモジュールは上記サンプリング、畳み込み、正則、活性化、統合、畳み込み、正則、活性化等の処理操作を実行することができる。上述実施場面において大きさが５１２*１６*１６である比較的高い次元の特徴マップ及びそれに対応する大きさが２５６*３２*３２である低次元特徴マップの融合プロセスを例にして、上記サンプリング処理は、融合プロセスにおいて大きさが５１２*１６*１６である比較的高い次元の特徴マップの解像度を倍にし、大きさが５１２*３２*３２である特徴マップを得るために用いられるものであり、最初の畳み込み処理は、融合プロセスにおいて解像度が倍になった後の比較的高い次元の特徴マップ(即ち、大きさが５１２*３２*３２である特徴マップ)のチャンネル数を半分にし、大きさが対応する低次元特徴マップと同様である特徴マップ(即ち、大きさを２５６*３２*３２に調整した特徴マップ)を得るために用いられるものであり、統合処理は、融合プロセスにおいて調整後の比較的高い次元の特徴マップとそれに対応する低次元特徴マップとを統合することによりそのチャンネル数を倍にするために用いられるものであり、即ち、統合後の特徴マップの大きさが５１２*３２*３２であり、２番目の畳み込み処理は、融合プロセスにおいて統合後に得られたチャンネル数が倍になった特徴マップをさらに半分にし、それにより今回融合して得られた融合特徴マップの大きさが対応する低次元特徴マップの大きさと同様になり、即ち、大きさが２５６*３２*３２である融合特徴マップを得るために用いられるものである。具体的に上述実施場面における関連ステップを結合して参照すればよく、ここで説明を省略する。

【0068】

ステップＳ１５は、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得る。

【0069】

一つの実施場面において、医師の閲覧を容易にするために、検出結果は、検出対象画像における病巣の検出領域を含んでもよい。具体的には、プリセット色、プリ線状の線を採用して検出領域を示すことができ、ここで限定しない。別の実施場面において、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像であるため、２次元の医学画像における検出された検出領域を利用して、３次元の医学画像における病巣の検出領域を得ることができ、例えば、２次元の医学画像における検出された検出領域を３次元の空間に積層等の方式のような融合処理を行うことにより、３次元の医学画像における病巣の検出領域を得ることができ、具体的に実際の適用に応じて設定してもよく、ここで限定しない。

【0070】

別の実施場面において、検出処理の効率を向上させるために、画像検出モデルを予めトレーニングすることができ、画像検出モデルに融合処理サブネットワークが含まれることができ、それにより、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得ることができる。具体的には、引き続き図２を結合して参照し、融合処理サブネットワークにおいて、順次接続された複数の融合処理サブモジュール以外に、順次接続された複数の融合処理サブモジュールにおける最後の一つの融合処理サブモジュールに接続される活性化処理サブモジュールがさらに含まれてもよく、活性化処理サブモジュールは、最終融合特徴画像に対して畳み込み及び活性化処理を行った後、チャンネル数が１である特徴マップを得、当該特徴マップを正規化して病巣の検出結果を得るように構成される。具体的には、活性化処理サブモジュールは、順次接続された畳み込み層及び活性化層を含んでもよく、活性化層はｓｉｇｍｏｉｄ活性化関数を採用してもよく、具体的に実際の適用場合に応じて設定してもよく、ここで限定しない。

【0071】

もう一つの実施場面において、臨床参考を提供するために、さらに検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得ることができ、それにより病巣の検出領域が臓器領域に占める病巣割合を取得することができ、さらに医師に対して臨床に有利な参照情報を提供し、ユーザーの体験を向上させることができる。例えば、検出対象医学画像に対して肺部検出を行い、検出対象医学画像における肺叶領域を得ることができ、それにより病巣の検出領域が肺叶領域に占める病巣割合を取得することができる。他の適用場面において、このように類推することができ、ここで限定しない。具体的には、臓器検出の効率を向上させるために、さらに臓器検出モデルを予めトレーニングすることができ、それにより臓器検出モデルを利用して検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得ることができる。具体的には、臓器検出モデルは、Ｕ－ｎｅｔ、全畳み込みネットワーク(ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ、ＦＣＮ)等に基づいたものであってもよく、ここで限定しない。

【0072】

【0073】

図３を参照して、図３は本発明の画像検出方法の別の実施例のフローチャートである。当該方法は具体的に以下のステップを含んでもよい。

【0074】

ステップＳ３１は、検出対象医学画像を取得する。

【0075】

具体的に上述の実施例における関連ステップを参照してもよい。

【0076】

ステップＳ３２は、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る。

【0077】

具体的に上述の実施例における関連ステップを参照してもよい。

【0078】

ステップＳ３３は、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得る。

【0079】

具体的には、画像検出モデルを予めトレーニングすることができ、そして、画像検出モデルに予測処理サブネットワークが含まれ、それにより、予測処理サブネットワークを利用して参考特徴マップに対して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得ることができる。具体的に上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。

【0080】

ステップＳ３４は、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定し、実行する場合ステップＳ３５を実行し、実行しない場合にステップＳ３８を実行する。

【0081】

一つの実施場面において、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行すると決定することができる。具体的には、第１プリセット条件は、第１確率値が第１確率閾値以上であることを含んでもよく、第１確率閾値は、実際の適用に応じて設定してもよく、例えば、１５％、２０％、２５％等に設定してもよく、ここで限定しない。

【0082】

別の実施場面において、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像であるため、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択することができ、プリセット数量は、実際の場合に応じて設定してもよく、例えば、５個、６個等に設定してもよく、ここで限定しない。そして、プリセット数量の第１確率値に対してプリセット処理を行い、例えば、プリセット数量の第１確率値に対して平均演算を行って第２確率値を得、第２確率値が第２プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行すると決定することができる。具体的には、第２プリセット条件は第２確率値が第２確率閾値以上であることを含んでもよく、第２確率閾値は実際の適用に応じて設定してもよく、例えば、１５％、２０％、２５％等に設定してもよく、ここで限定しない。

【0083】

ステップＳ３５は、参考特徴マップを利用して病巣確率マップを生成する。

【0084】

具体的に上述の実施例における関連ステップを参照してもよい。

【0085】

ステップＳ３６は、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得る。

【0086】

具体的に上述の実施例における関連ステップを参照してもよい。

【0087】

ステップＳ３７は、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得る。

【0088】

具体的に上述の実施例における関連ステップを参照してもよい。

【0089】

ステップＳ３８は、検出対象医学画像に病巣が含まれないと提示する。

【0090】

第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行しないと決定する場合、検出対象医学画像に病巣が含まれないと決定することができる。また、さらに文字、画像、音声等の方式により医護人員に対して検出対象医学画像に病巣が含まれないと提示することができ、ここで限定しない。

【0091】

以上から分かるように、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得、そして、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することにより、検出対象医学画像に病巣が含まれないが、偽陽検出結果が検出されることを回避することができ、ひいては、画像検出の正確性をさらに向上させることに役立つことができ、そして、検出の前に陰性データを予め除去することができるため、画像検出の効率を向上させることができる。

【0092】

図４を参照して、図４は画像検出モデルをトレーニングする一実施例のフローチャートである。具体的には、画像検出モデルは、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行う前にトレーニングしてもよく、画像検出モデルのネットワーク構成は、上述の実施例を参照すればよく、ここで説明を省略する。具体的には、トレーニングステップは、以下のステップＳ４１～Ｓ４６を含んでもよい。

【0093】

ステップＳ４１は、サンプル医学画像を取得し、ここで、サンプル医学画像に病巣の実際領域が含まれる。

【0094】

サンプル医学画像は、ＣＴ画像、ＭＲ画像を含んでもよく、ここで限定しない。具体的には、サンプル医学画像は、肺部領域、肝部領域、心臓領域等に対して走査して得られた画像であってもよく、ここで限定せず、具体的に実際の適用場合に応じて設定してもよい。一つの実施場面において、サンプル医学画像は、３次元の医学画像に含まれる２次元の医学画像であってもよく、例えば、走査対象をＣＴ走査して３次元のＣＴデータを取得すれば、サンプル医学画像は、３次元のＣＴデータに含まれる２次元の医学画像であってもよい。

【0095】

一つの実施場面において、サンプルの多様性を向上させるために、さらにサンプル医学画像に対してデータ補強を行うことができ、別の実施場面において、サンプル医学画像のコントラストを向上させるために、さらにプリセットウィンドウ値を利用してサンプル医学画像の画素値をプリセット範囲内に正規化することができる。プリセットウィンドウ値及びプリセット範囲の具体的な設定方式は、上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。

【0096】

ステップＳ４２は、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得る。

【0097】

具体的に上述の実施例における関連ステップを参照してもよい。

【0098】

ステップＳ４３は、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成する。

【0099】

病巣サンプル確率マップは、サンプル医学画像における異なる領域が病巣に属する確率を示すために用いられる。病巣サンプル確率マップの取得方式は具体的に上述の実施例における病巣確率マップを取得することに関するステップを参照すればよく、ここで説明を省略する。

【0100】

ステップＳ４４は、融合処理サブネットワークを利用して病巣サンプル確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得る。

【0101】

具体的に上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。

【0102】

ステップＳ４５は、融合処理サブネットワークを利用して最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得る。

【0103】

具体的に上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。

【0104】

ステップＳ４６は、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整する。

【0105】

一つの実施場面において、集合類似度損失関数(Ｄｉｃｅｌｏｓｓ)を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値を利用してプリセット学習率(例えば、３ｅ－４)で画像検出モデルのネットワークパラメータを調整することができる。別の実施場面において、さらに交差エントロピー損失関数(ＣＥｌｏｓｓ)を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値を利用してプリセット学習率(例えば、３ｅ－４)で画像検出モデルのネットワークパラメータを調整する。ここで限定しない。もう一つの実施場面において、図２を参照し、画像検出モデルはさらに予測処理サブネットワークを含み、予測処理サブネットワークは、参考サンプル特徴マップに対して予測処理を行って、参考サンプル特徴マップに病巣が含まれる予測確率を得るように構成され、トレーニングプロセスにおいて、さらにバイナリ交差エントロピー損失関数を利用して予測確率を処理し、画像検出モデルの分類損失値を決定し、実際領域及び検出領域を処理して決定された画像検出モデルの損失値及び分類損失値に対して重み付け処理を行い、画像検出モデルの重み付け損失値を得、さらに重み付け損失値を利用して画像検出モデルのネットワークパラメータを調整する。

【0106】

一つの実施場面において、さらにトレーニング終了条件を予め設定することができ、プリセットトレーニング終了条件を満たす場合、画像検出モデルに対するトレーニングを終了することができる。具体的には、トレーニング終了条件は、損失値がプリセット損失閾値より小さいことと、トレーニング回数がプリセット回数閾値に達することと、のうちのいずれか一つを含むことができ、ここで限定しない。具体的には、プリセット損失閾値、プリセット回数閾値は、実際の場合に応じて設定してもよく、例えば、プリセット回数閾値を１０００回、２０００回等設定してもよい。ここで限定しない。

【0107】

一つの実施場面において、確率的勾配降下法(ＳｔｏｃｈａｓｔｉｃＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ、ＳＧＤ)、バッチ勾配降下法(ＢａｔｃｈＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ、ＢＧＤ)、小バッチ勾配降下法(Ｍｉｎｉ－ＢａｔｃｈＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ、ＭＢＧＤ)等の方式により、損失値を利用して画像検出モデルのネットワークパラメータを調整することができる。ここで、バッチ勾配降下法とは、毎回の反復する際に、全てのサンプルを使用してパラメータの更新を行うことを意味し、確率的勾配降下法とは、毎回の反復する際に、一つのサンプルを使用してパラメータの更新を行うことを意味し、小バッチ勾配降下法とは、毎回の反復する際に、１ロットのサンプルを使用してパラメータの更新を行うことを意味し、ここで説明を省略する。

【0108】

以上から分かるように、サンプル医学画像を取得し、サンプル医学画像に病巣の実際領域が含まれ、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得ることにより、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成し、病巣サンプル確率マップはサンプル医学画像における異なる領域が病巣に属する確率を示すために用いられるため、さらに病巣確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得て、最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するため、画像検出モデルに対するトレーニングプロセスにおいて、病巣サンプル確率マップを利用してグローバル特徴として画像検出のデコードプロセスと結合させることができ、それにより、最終融合サンプル特徴マップが病巣に対する特異性を強化することができ、それにより、病巣に対する画像検出モデルの感度を補強することができ、さらに、モデルのトレーニング速度を向上させることに役立つことができる。

【0109】

図５を参照して、図５は本発明の画像検出装置５０の一実施例のブロック図である。画像検出装置５０は、画像取得モジュール５１、特徴抽出モジュール５２、画像生成モジュール５３、画像融合モジュール５４及び検出処理モジュール５５を含み、画像取得モジュール５１は、検出対象医学画像を取得するように構成され、特徴抽出モジュール５２は、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成され、画像生成モジュール５３は、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するように構成され、ここで、病巣確率マップは、検出対象医学画像の異なる領域が病巣に属する確率を示すためのものであり、画像融合モジュール５４は、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成され、検出処理モジュール５５は、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るように構成される。

【0110】

【0111】

いくつかの実施例において、画像検出装置５０はさらに予測処理モジュールを含み、予測処理モジュールは、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得るように構成され、画像検出装置５０はさらに実行決定モジュールを含み、実行決定モジュールは、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するように構成される。

【0112】

以上から分かるように、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得、そして、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することにより、検出対象医学画像に病巣が含まれないが偽陽検出結果が検出されたことを回避することができ、ひいては、画像検出の正確性をさらに向上させることに役立つことができ、そして、検出の前に陰性データを予め除去することができるため、画像検出の効率を向上させることができる。

【0113】

実行決定モジュールは具体的に、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するように構成される。

【0114】

又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、実行決定モジュールはさらに確率選択サブモジュールを含み、確率選択サブモジュールは、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択するように構成され、実行決定モジュールはさらに確率処理サブモジュールを含み、確率処理サブモジュールは、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得るように構成され、実行決定モジュールはさらに決定サブモジュールを含み、決定サブモジュールは、第２確率値が第２プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するように構成される。

【0115】

以上から分かるように、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像であるとき、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択し、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得、それにより、第２確率値が第２プリセット条件を満たすとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。

【0116】

いくつかの実施例において、第１プリセット条件は、第１確率値が第１確率閾値以上であることを含み、第２プリセット条件は、第２確率値が第２確率閾値以上であることを含み、プリセット処理が平均演算である。

【0117】

以上から分かるように、第１プリセット条件を第１確率値が第１確率閾値以上であると設定し、第２プリセット条件を第２確率値が第２確率閾値以上であると設定し、プリセット処理を平均演算に設定することにより、第２確率値の計算量を低減させることができ、第２確率値が３次元の医学画像に病巣が含まれる可能性を正確に反映することができ、そのため、第１確率値が第１確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、第２確率値が第２確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。

【0118】

いくつかの実施例において、実行決定モジュールはさらに、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定するように構成される。

【0119】

以上から分かるように、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定することにより、ユーザーに検出対象医学画像の陰性検出結果を速やかに感知させることができ、それによりユーザーの体験を向上させることに役立つことができる。

【0120】

いくつかの実施例において、画像生成モジュール５３は具体的に、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成し、クラス活性化マップを病巣確率マップとするように構成される。

【0121】

以上から分かるように、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成して病巣確率マップとすることにより、病巣確率マップの正確性を向上させることができ、それにより後続の画像検出の正確性を向上させることに役立つことができる。

【0122】

いくつかの実施例において、画像融合モジュール５４は、エンコード処理サブモジュールを含み、エンコード処理サブモジュールは、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るように構成され、画像融合モジュール５４は、融合処理サブモジュールを含み、融合処理サブモジュールは、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成される。

【0123】

以上から分かるように、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得、且つ第２特徴マップを１つ以上の次元の第１特徴マップと融合することにより、最終融合特徴マップを得るため、病巣確率マップをグローバル特徴として特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、それにより、後続の画像検出の正確性を向上させることに役立つことができる。

【0124】

いくつかの実施例において、エンコード処理サブモジュールは具体的に、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得るように構成される。

【0125】

以上から分かるように、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得ることにより、参考特徴マップに対する病巣確率マップのエンコード処理エンコード処理を実現するため、計算量を低減させることに役立つことができる。

【0126】

いくつかの実施例において、融合処理サブモジュールは具体的に、次元の高い順という順序に従って、第２特徴マップを順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成される。

【0127】

以上から分かるように、次元の高い順に従って、第２特徴マップを各次元の第１特徴マップと融合し、最終融合特徴マップを得ることにより、次元ごとに特徴マップの融合を行うことに役立つことができ、それによりコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることに役立つことができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。

【0128】

いくつかの実施例において、参考特徴マップは次元が最も高い第１特徴マップであり、融合処理サブモジュールは、第１融合ユニットを含み、第１融合ユニットは、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得るように構成され、ここで、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップである。

【0129】

融合処理サブモジュールは、第２融合ユニットを含み、第２融合ユニットは、第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得るように構成される。

【0130】

融合処理サブモジュールは第３融合ユニットを含み、第３融合ユニットは、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行するように構成され、ここで、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップである。

【0131】

融合処理サブモジュールは、最終融合ユニットを含み、最終融合ユニットは、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとするように構成される。

【0132】

以上から分かるように、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップであり、そして第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得ることにより、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行し、そして、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとすることにより、病巣確率マップをグローバル特徴として画像検出のデコードプロセスと結合させることができ、最終融合特徴マップが病巣に対する特異性を強化することができ、特徴マップのコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。

【0133】

いくつかの実施例において、検出結果は、検出対象医学画像における病巣の検出領域を含み、画像検出装置５０はさらに臓器検出モジュールを含み、臓器検出モジュールは、検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得るように構成され、画像検出装置５０はさらに割合取得モジュールを含み、割合取得モジュールは、病巣の検出領域が臓器領域に占める病巣割合を取得するように構成される。

【0134】

以上から分かるように、検出対象医学画像に対して臓器検出を行うことにより検出対象医学画像における臓器領域を得、病巣の検出領域が臓器領域に占める病巣割合を取得することにより、検出結果を利用して臨床に有利な参照情報をさらに生成することに役立つことができ、ユーザーの体験を向上させることができる。

【0135】

いくつかの実施例において、画像検出装置５０はさらに、を含み、前処理モジュール、前処理モジュールは、ように構成される、検出対象医学画像に対して前処理を行うステップであって、前処理の操作は少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含む。

【0136】

以上から分かるように、検出対象医学画像に対して特徴抽出を行う前に、検出対象医学画像に対して前処理を行い、そして、前処理の操作が少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含むことにより、検出対象医学画像コントラストを補強することに役立つことができ、それにより、後続に抽出された第１特徴マップの正確性を向上させることに役立つことができる。

【0137】

いくつかの実施例において、特徴抽出モジュール５２は具体的に、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成され、画像融合モジュール５４は具体的に、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成され、検出処理モジュール５５は具体的に、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るように構成される。

【0138】

以上から分かるように、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得、そして、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得ることにより、画像検出モデルによって特徴抽出、融合処理、画像検出のタスクを実行し、さらに、画像検出の効率を向上させることに役立つことができる。

【0139】

いくつかの実施例において、画像検出装置５０はサンプル画像取得モジュールを含み、サンプル画像取得モジュールは、サンプル医学画像を取得するように構成され、ここで、サンプル医学画像に病巣の実際領域が含まれ、画像検出装置５０はサンプル特徴抽出モジュールを含み、サンプル特徴抽出モジュールは、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得るように構成され、画像検出装置５０は確率画像生成モジュールを含み、確率画像生成モジュールは、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成するように構成され、ここで、病巣サンプル確率マップはサンプル医学画像における異なる領域が病巣に属する確率を示すために用いられ、画像検出装置５０はサンプル画像融合モジュールを含み、サンプル画像融合モジュールは、融合処理サブネットワークを利用して病巣サンプル確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得るように構成され、画像検出装置５０はサンプル検出処理モジュールを含み、サンプル検出処理モジュールは、融合処理サブネットワークを利用して最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得るように構成され、画像検出装置５０はトレーニング調整モジュールを含み、トレーニング調整モジュールは、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するように構成される。

【0140】

【0141】

いくつかの実施例において、トレーニング調整モジュールは損失決定サブモジュールを含み、損失決定サブモジュールは、集合類似度損失関数を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定するように構成され、トレーニング調整モジュールはパラメータ調整サブモジュールを含み、パラメータ調整サブモジュールは、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整するように構成される。

【0142】

以上から分かるように、集合類似度損失関数を利用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値の正確性を確保することができ、それにより、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整することで、トレーニングプロセスにおいて、検出領域と実際領域との間の差異を低減させ、画像検出モデルの正確性を向上させることができる。

【0143】

図６を参照して、図６は本発明の電子デバイス６０の一実施例のブロック図である。電子デバイス６０は、互いにカップリンブされたメモリ６１及びプロセッサ６２を含み、プロセッサ６２は、メモリ６１に記憶されたプログラム命令を実行して、上記いずれかの画像検出方法の実施例のステップを実現するように構成される。一つの具体的な実施場面において、電子デバイス６０は、マイクロコンピュータ、サーバを含んでもよいがそれらに限定されず、また、電子デバイス６０はさらに、ノートパソコン、タブレットパソコン等の携帯デバイスを含んでもよく、ここで限定しない。

【0144】

具体的には、プロセッサ６２は、その自体及びメモリ６１を制御して上記いずれかの画像検出方法の実施例のステップを実現するように構成される。プロセッサ６２はさらに、中央処理ユニット(ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵ)と呼ばれることもある。プロセッサ６２は信号の処理能力を有する集積回路チップであってもよい。プロセッサ６２はさらに、汎用プロセッサ、デジタル信号プロセッサ(ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ、ＤＳＰ)、専用集積回路(ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、ＡＳＩＣ)、フィールドプログラマブルゲートアレイ(Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ)又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウエアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、如何なる通常のプロセッサ等であってもよい。また、プロセッサ６２は、集積回路チップによって共通で実現されてもよい。

【0145】

上記技術的手段は、画像検出の正確性を向上させることができる。

【0146】

図７を参照して、図７は本発明のコンピュータ可読記憶媒体７０の一実施例のブロック図である。コンピュータ可読記憶媒体７０は、プロセッサによって実行可能なプログラム命令７０１を記憶しており、プログラム命令７０１は、上記いずれかの画像検出方法の実施例のステップを実現するために用いられる。

【0147】

上記技術的手段は、画像検出の正確性を向上させることができる。

【0148】

本願により提供されるいくつかの実施例では、開示された方法及び装置は、他の形態で実現されることができることを理解すべきである。例えば、以上に記載の装置の実施形態は模式的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、ユニット又はコンポーネントは、別のシステムに結合又は集積してもよく、又は一部の特徴を省略もしくは実行しなくてもよい。また、図示又は説明した相互間の結合、又は直接結合、又は通信接続は、いくつかのインタフェース、デバイス又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0149】

分離部材として説明した上記ユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示した部材は物理的ユニットであってもなくてもよく、つまり、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよく、実際の必要に応じてその一部又は全てのユニットを選択して本実施形態の技術的手段の目的を実現できる。

【0150】

また、本発明の各実施例における各機能ユニットは、一つの処理ユニットに集積してもよく、それぞれ単独して一つのユニットとして物理的に存在してもよく、２つ以上のユニットで一つのユニットに集積してもよい。上記の集積したユニットは、ハードウェアの形で実現されてもよいし、ソフトウェア機能ユニットの形で実現されてもよい。

【0151】

集積したユニットは、ソフトウェア機能ユニットの形で実現され、そして独立した製品として販売又は使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本実施例の技術的解決手段は、実質的に又は従来技術に寄与する部分又はこの技術的手段の全部又は一部がソフトウェア製品の形で具現化されることができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、そして、コンピュータデバイス(パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい)又はプロセッサ(ｐｒｏｃｅｓｓｏｒ)に本発明の各実施形態の方法における全部又は一部のステップを実行させるための複数の命令を含む。上述の記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読み取り専用メモリ(Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ )、ランダムアクセスメモリ(ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ)、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。
[産業実用性]

【0152】

【図1】