特表 2022-537781 画像認識方法、認識モデルの訓練方法及び関連装置、機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-29

(54)【発明の名称】画像認識方法、認識モデルの訓練方法及び関連装置、機器

(51)【国際特許分類】

   G06V 20/69 20220101AFI20220822BHJP

   G06T 7/00 20170101ALI20220822BHJP

【ＦＩ】

G06V20/69

G06T7/00 630

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021576344

(86)(22)【出願日】2020-07-22

(85)【翻訳文提出日】2021-12-21

(86)【国際出願番号】 CN2020103628

(87)【国際公開番号】W WO2021169161

(87)【国際公開日】2021-09-02

(31)【優先権主張番号】202010121559.5

(32)【優先日】2020-02-26

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519290264

【氏名又は名称】シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ヤン シュアン

(72)【発明者】

【氏名】リー ジアフイ

(72)【発明者】

【氏名】ホアン シオアディー

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096DA02

5L096HA09

5L096HA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

本願の実施例は、画像認識方法、認識モデルの訓練方法及び関連装置、機器を提供する。ここで、画像認識方法は、認識されるべき病理学的画像を取得することと、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることと、認識モデルにおける分類サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得ることと、を含む。

【特許請求の範囲】

【請求項1】

画像認識方法であって、
認識されるべき病理学的画像を取得することと、
認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることと、
認識モデルにおける分類サブモデルを用いて、前記検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得ることと、を含む、画像認識方法。

【請求項2】

前記認識モデルにおける検出サブモデルを用いて、前記認識されるべき病理学的画像に対してターゲット検出を行い、前記認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることは、
前記検出サブモデルの第１部分を利用して、前記認識されるべき病理学的画像に対して第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得ることであって、前記画像分類結果は、前記認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである、ことと、
前記画像分類結果が、前記認識されるべき病理学的画像に前記ターゲット細胞が含まれることを表す場合、前記検出サブモデルの第２部分を利用して、前記認識されるべき病理学的画像に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得ることと、を含むことを特徴とする
請求項１に記載の画像認識方法。

【請求項3】

前記検出サブモデルの第１部分を利用して、前記認識されるべき病理学的画像に対して第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得た後、
前記画像分類結果が、前記認識されるべき病理学的画像にターゲット細胞が含まれないことを表す場合、前記第１部分が、前記認識されるべき病理学的画像に前記ターゲット細胞が含まれないことを表す検出結果提示を出力することを更に含むことを特徴とする
請求項２に記載の画像認識方法。

【請求項4】

前記認識モデルにおける検出サブモデルを用いて、前記認識されるべき病理学的画像に対してターゲット検出を行い、前記認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることは、
前記検出サブモデルの第３部分を利用して、前記認識されるべき病理学的画像に対して特徴抽出を行い、前記認識されるべき病理学的画像の画像特徴を得ることを更に含むことを特徴とする
請求項２又は３に記載の画像認識方法。

【請求項5】

前記検出サブモデルの第１部分を利用して、前記認識されるべき病理学的画像に対して、第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得ることは、
前記検出サブモデルの第１部分を利用して、前記画像特徴に対して第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得ることを含むことを特徴とする
請求項４に記載の画像認識方法。

【請求項6】

前記検出サブモデルの第２部分を利用して、前記認識されるべき病理学的画像に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得ることは、
前記検出サブモデルの第２部分を利用して、前記画像特徴に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得ることを含むことを特徴とする
請求項４に記載の画像認識方法。

【請求項7】

前記第１部分は、グローバル分類ネットワークであり、前記第２部分は、画像検出ネットワークであり、前記第３部分は、特徴抽出ネットワークであり、ここで、前記特徴抽出ネットワークは、変形可能な畳み込み層、及びグローバル情報強化モジュールのうちの少なくとも１つを含むことを特徴とする
請求項４から６のうちいずれか一項に記載の画像認識方法。

【請求項8】

前記認識モデルにおける分類サブモデルを利用して、前記検出領域に対して第１分類処理を行い、前記ターゲット細胞のクラスを得ることは、
前記分類サブモデルを利用して、前記認識されるべき病理学的画像の検出領域に対して特徴抽出を行い、前記検出領域の画像特徴を得ることと、
前記検出領域の画像特徴に対して第１分類処理を行い、前記ターゲット細胞のクラスを得ることと、を含むことを特徴とする
請求項１又は２に記載の画像認識方法。

【請求項9】

前記ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、前記ターゲット細胞のクラスは、前記ターゲット細胞の病変程度を表すためのものであることを特徴とする
請求項１から８のうちいずれか一項に記載の画像認識方法。

【請求項10】

認識モデルの訓練方法であって、前記認識モデルは、検出サブモデルと、分類サブモデルと、を備え、前記訓練方法は、
第１サンプル画像及び第２サンプル画像を取得することであって、前記第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、前記第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされている、ことと、
前記検出サブモデルを利用して、前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得て、前記分類サブモデルを利用して、前記第２サンプル画像に対して第１分類処理を行い、前記ターゲット細胞の予測クラスを得ることと、
前記実際領域と前記予測領域に基づいて、前記検出サブモデルの第１損失値を決定し、前記実際クラスと前記予測クラスに基づいて、前記分類サブモデルの第２損失値を決定することと、
前記第１損失値及び前記第２損失値を利用して、前記検出サブモデル及び前記分類サブモデルのパラメータを調整することと、を含む、訓練方法。

【請求項11】

前記検出サブモデルを利用して、前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得ることは、
前記第１サンプル画像に対して第２分類処理を行い、前記第１サンプル画像の画像分類結果を得ることであって、前記画像分類結果は、前記第１サンプル画像に前記ターゲット細胞が含まれるかどうかを表すためのものである、ことと、
前記画像分類結果が、前記第１サンプル画像にターゲット細胞が含まれることを表す場合、前記第１サンプル画像に対して領域検出を行い、前記ターゲット細胞を含む予測領域を得ることと、を含むことを特徴とする
請求項１０に記載の訓練方法。

【請求項12】

前記検出サブモデルを利用して前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得て、前記分類サブモデルを利用して前記第２サンプル画像に対して第１分類処理を行い、前記ターゲット細胞の予測クラスを得る前に、
前記第１サンプル画像及び前記第２サンプル画像に対してデータ強化を行うこと、及び／又は、
第１サンプル画像及び第２サンプル画像の画素値に対して正規化処理を行うこと、を更に含み、
前記ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、前記ターゲット細胞のクラスは、前記ターゲット細胞の病変程度を表すためのものであることを特徴とする
請求項１０又は１１に記載の訓練方法。

【請求項13】

画像認識装置であって、
認識されるべき病理学的画像を取得するように構成される画像取得モジュールと、
認識モデルにおける検出サブモデルを用いて、前記認識されるべき病理学的画像に対してターゲット検出を行い、前記認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得るように構成される画像検出モジュールと、
前記認識モデルにおける分類サブモデルを用いて、前記検出領域に対して第１分類処理を行い、前記ターゲット細胞のクラスを得るように構成される画像分類モジュールと、を備える、画像認識装置。

【請求項14】

前記画像検出モジュールは、
前記検出サブモデルの第１部分を利用して、前記認識されるべき病理学的画像に対して第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得るように構成される第１部分サブモジュールであって、前記画像分類結果は、前記認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである、第１部分サブモジュールと、
前記画像分類結果が、前記認識されるべき病理学的画像に前記ターゲット細胞が含まれることを表す場合、前記検出サブモデルの第２部分を利用して、前記認識されるべき病理学的画像に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得るように構成される第２部分サブモジュールと、を備えることを特徴とする
請求項１３に記載の画像認識装置。

【請求項15】

前記画像検出モジュールは、
前記画像分類結果が、前記認識されるべき病理学的画像にターゲット細胞が含まれないことを表す場合、前記第１部分が、前記認識されるべき病理学的画像に前記ターゲット細胞が含まれないことを表す検出結果提示を出力するように構成される結果提示サブモジュールを更に備えることを特徴とする
請求項１４に記載の画像認識装置。

【請求項16】

前記画像検出モジュールは、
前記検出サブモデルの第３部分を利用して、前記認識されるべき病理学的画像に対して特徴抽出を行い、前記認識されるべき病理学的画像の画像特徴を得るように構成される第３部分サブモジュールを更に備えることを特徴とする
請求項１４又は１５に記載の画像認識装置。

【請求項17】

前記第１部分サブモジュールは更に、前記検出サブモデルの第１部分を利用して、前記画像特徴に対して第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得るように構成されることを特徴とする
請求項１６に記載の画像認識装置。

【請求項18】

前記第２部分サブモジュールは、前記検出サブモデルの第２部分を利用して、前記画像特徴に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得るように構成されることを特徴とする
請求項１６に記載の画像認識装置。

【請求項19】

前記第１部分は、グローバル分類ネットワークであり、前記第２部分は、画像検出ネットワークであり、前記第３部分は、特徴抽出ネットワークであり、ここで、前記特徴抽出ネットワークは、変形可能な畳み込み層、及びグローバル情報強化モジュールのうちの少なくとも１つを含むことを特徴とする
請求項１６から１８のうちいずれか一項に記載の画像認識装置。

【請求項20】

前記画像分類モジュールは、
前記分類サブモデルを利用して、前記認識されるべき病理学的画像の検出領域に対して特徴抽出を行い、前記検出領域の画像特徴を得るように構成される特徴抽出サブモジュールと、
前記検出領域の画像特徴に対して第１分類処理を行い、前記ターゲット細胞のクラスを得るように構成される分類処理サブモジュールと、を備えることを特徴とする
請求項１３又は１４に記載の画像認識装置。

【請求項21】

前記ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、前記ターゲット細胞のクラスは、前記ターゲット細胞の病変程度を表すためのものであることを特徴とする
請求項１３から２０のうちいずれか一項に記載の画像認識装置。

【請求項22】

認識モデルの訓練装置であって、前記認識モデルは、検出サブモデルと、分類サブモデルと、を備え、前記訓練装置は、
第１サンプル画像及び第２サンプル画像を取得するように構成される画像取得モジュールであって、前記第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、前記第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされている、画像取得モジュールと、
前記検出サブモデルを利用して、前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得て、前記分類サブモデルを利用して、前記第２サンプル画像に対して第１分類処理を行い、前記ターゲット細胞の予測クラスを得るように構成されるモデル実行モジュールと、
前記実際領域と前記予測領域に基づいて、前記検出サブモデルの第１損失値を決定し、前記実際クラスと前記予測クラスに基づいて、前記分類サブモデルの第２損失値を決定するように構成される損失決定モジュールと、
前記第１損失値及び前記第２損失値を利用して、前記検出サブモデル及び前記分類サブモデルのパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、訓練装置。

【請求項23】

前記モデル実行モジュールは、
前記第１サンプル画像に対して第２分類処理を行い、前記第１サンプル画像の画像分類結果を得るように構成される初期分類サブモジュールであって、前記画像分類結果は、前記第１サンプル画像に前記ターゲット細胞が含まれるかどうかを表すためのものである、初期分類サブモジュールと、
前記画像分類結果が、前記第１サンプル画像にターゲット細胞が含まれることを表す場合、前記第１サンプル画像に対して領域検出を行い、前記ターゲット細胞を含む予測領域を得るように構成される領域検出サブモジュールと、を備えることを特徴とする
請求項２２に記載の訓練装置。

【請求項24】

前記訓練装置は、
前記第１サンプル画像及び前記第２サンプル画像に対してデータ強化を行うように構成されるデータ強化モジュール、
又は、前記第１サンプル画像及び前記第２サンプル画像の画素値に対して正規化処理を行うように構成される正規化処理モジュールを更に備え、
前記ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、前記ターゲット細胞のクラスは、前記ターゲット細胞の病変程度を表すためのものであることを特徴とする
請求項２２又は２３に記載の訓練装置。

【請求項25】

電子機器であって、前記電子機器は、互いに結合されるメモリとプロセッサを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行して、請求項１から９のうちいずれか一項に記載の画像認識方法、又は、請求項１０から１２のうちいずれか一項に記載の認識モデルの訓練方法を実現するように構成される、電子機器。

【請求項26】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にプログラム命令が記憶されており、プログラム命令がプロセッサにより実行されると、前記プロセッサに請求項１から９のうちいずれか一項に記載の画像認識方法、又は、請求項１０から１２のうちいずれか一項に記載の認識モデルの訓練方法を実現させる、コンピュータ可読記憶媒体。

【請求項27】

コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサに、請求項１から９のうちいずれか一項に記載の画像認識方法、又は、請求項１０から１２のうちいずれか一項に記載の認識モデルの訓練方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２０年０２月２６日に提出された、出願番号が２０２０１０１２１５５９．５である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願は、人工知能技術分野に関し、特に画像認識方法、認識モデルの訓練方法及び関連装置、機器に関する。

【背景技術】

【0003】

ニューラルネットワーク、深層学習などの人工知能技術の成長に伴い、ニューラルネットワークモデルに対して訓練を行い、訓練されたニューラルネットワークモデルにより、医療分野における関連サービスの需要を満たすことは、ますます注目されている。

【0004】

関連サービス需要において、国内で細胞病理学的医者が厳しく不足しているため、人工知能技術を利用して病理学的画像に対して補助認識を行い、病変細胞などのターゲット細胞をスクリーニングすることは、現在の細胞病理学的医療資源が厳しく不足している場合、重要な意義を有する。これに鑑み、病理学的画像におけるターゲット細胞を正確かつ効果的に認識することは、解決されるべき課題である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、画像認識方法、認識モデルの訓練方法及び関連装置、機器を提供する。

【課題を解決するための手段】

【0006】

本願の実施例は、画像認識方法を提供する。前記方法は、認識されるべき病理学的画像を取得することと、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることと、認識モデルにおける分類サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得ることと、を含む。

【0007】

認識モデルにおける検出サブモデルを用いて、取得された認識されるべき病理学的画像に対してターゲット検出を行うことで、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得る。また、認識モデルにおける分析サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得る。従って、ターゲット細胞の検出を行ってから、ターゲット細胞の分類を行うことができ、検出と分類を分離させることができる。これにより、病理学的画像におけるターゲット細胞を正確かつ効率的に認識することができる。

【0008】

本願の幾つかの実施例において、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることは、検出サブモデルの第１部分を利用して、認識されるべき病理学的画像に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得ることであって、画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである、ことと、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれることを表す場合、検出サブモデルの第２部分を利用して、認識されるべき病理学的画像に対して領域検出を行い、ターゲット細胞を含む検出領域を得ることと、を含む。

【0009】

従って、検出サブモデルの第１部分により、認識されるべき病理学的画像に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得る。画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである。画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれることを表す時、検出サブモデルの第２部分を利用して、認識されるべき病理学的画像に対して領域検出を行い、ターゲット細胞を含む検出領域を得る。従って、ターゲット細胞の動的検出を実現させ、ターゲット細胞の認識効率を向上させることができる。

【0010】

本願の幾つかの実施例において、検出サブモデルの第１部分を利用して、認識されるべき病理学的画像に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得た後、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す場合、第１部分が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す検出結果提示を出力することを更に含む。

【0011】

従って、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す場合、第１部分は、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す検出結果提示を出力するため、ターゲット細胞の動的検出を実現させ、ターゲット細胞の認識効率を向上させることができる。

【0012】

本願の幾つかの実施例において、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることは、検出サブモデルの第３部分を利用して、認識されるべき病理学的画像に対して特徴抽出を行い、認識されるべき病理学的画像の画像特徴を得ることを更に含む。

【0013】

従って、検出サブモデルの第３部分を利用して、認識されるべき病理学的画像に対して特徴抽出を行い、認識されるべき病理学的画像の画像特徴を得ることで、まず、認識されるべき病理学的画像に対して処理を行い、更に、後続でこれを基に、検出サブモデルを利用して他の処理を行うことができるため、モデルの運転効率の向上に寄与する。

【0014】

本願の幾つかの実施例において、検出サブモデルの第１部分を利用して、認識されるべき病理学的画像に対して、第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得ることは、検出サブモデルの第１部分を利用して、画像特徴に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得ることを含む。

【0015】

従って、検出サブモデルの第１部分を利用して、第３部分により抽出された画像特徴に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得ることで、分類処理の正確性を向上させることができる。

【0016】

本願の幾つかの実施例において、検出サブモデルの第２部分を利用して、認識されるべき病理学的画像に対して領域検出を行い、ターゲット細胞を含む検出領域を得ることは、検出サブモデルの第２部分を利用して、画像特徴に対して領域検出を行い、ターゲット細胞を含む検出領域を得ることを含む。

【0017】

従って、検出サブモデルの第２部分を利用して、画像特徴に対して領域検出を行い、ターゲット細胞を含む検出領域を得ることで、ターゲット細胞の認識の正確性の向上に寄与する。

【0018】

本願の幾つかの実施例において、第１部分は、グローバル分類ネットワークであり、第２部分は、画像検出ネットワークであり、第３部分は、特徴抽出ネットワークであり、ここで、特徴抽出ネットワークは、変形可能な畳み込み層、及びグローバル情報強化モジュールのうちの少なくとも１つを含む。

【0019】

従って、特徴抽出ネットワークを、変形可能な畳み込み層を含むものとすることで、多形態のターゲット細胞に対する認識の正確性を向上させることができる。特徴抽出ネットワークを、グローバル情報強化モジュールを含むもののうちの少なくとも１つとすることで、距離が長くて依存関係を有する特徴の取得に寄与し、ターゲット細胞の認識の正確性の向上に寄与する。

【0020】

本願の幾つかの実施例において、認識モデルにおける分類サブモデルを利用して、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得ることは、分類サブモデルを利用して、認識されるべき病理学的画像の検出領域に対して特徴抽出を行い、検出領域の画像特徴を得ることと、検出領域の画像特徴に対して第１分類処理を行い、ターゲット細胞のクラスを得ることと、を含む。

【0021】

従って、認識されるべき病理学的画像の検出領域に対して特徴抽出を行い、検出領域の画像特徴を得て、検出領域の画像特徴に対して第１分類処理を行い、ターゲット細胞のクラスを得ることで、分類処理の効率の向上に寄与する。

【0022】

本願の幾つかの実施例において、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。

【0023】

従って、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含む。単一の病変細胞及び病変細胞クラスタの認識に寄与する。また、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。ターゲット細胞の病変の等級付けの実現に寄与する。

【0024】

本願の実施例は、認識モデルの訓練方法を提供する。認識モデルは、検出サブモデルと、分類サブモデルと、を備え、訓練方法は、第１サンプル画像及び第２サンプル画像を取得することであって、第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされている、ことと、検出サブモデルを利用して、第１サンプル画像に対してターゲット検出を行い、第１サンプル画像における、ターゲット細胞を含む予測領域を得て、分類サブモデルを利用して、第２サンプル画像に対して第１分類処理を行い、ターゲット細胞の予測クラスを得ることと、実際領域と予測領域に基づいて、検出サブモデルの第１損失値を決定し、実際クラスと予測クラスに基づいて、分類サブモデルの第２損失値を決定することと、第１損失値及び第２損失値を利用して、検出サブモデル及び分類サブモデルのパラメータを調整することと、を含む。

【0025】

従って、訓練プロセスにおいて、ターゲット細胞の検出を行ってから、ターゲット細胞の分類を行い、検出と分類を分離させることで、サンプルデータのクラスのバランスが取れないという問題を解決することができ、更に、訓練で得られたモデルの正確性の向上に寄与し、ターゲット細胞の認識の正確性及び効率の向上に寄与する。

【0026】

本願の幾つかの実施例において、検出サブモデルを利用して、第１サンプル画像に対してターゲット検出を行い、第１サンプル画像における、ターゲット細胞を含む予測領域を得ることは、第１サンプル画像に対して第２分類処理を行い、第１サンプル画像の画像分類結果を得ることであって、画像分類結果は、第１サンプル画像にターゲット細胞が含まれるかどうかを表すためのものである、ことと、画像分類結果が、第１サンプル画像にターゲット細胞が含まれることを表す場合、第１サンプル画像に対して領域検出を行い、ターゲット細胞を含む予測領域を得ることと、を含む。

【0027】

従って、訓練プロセスにおいて、画像分類結果が、第１サンプル画像にターゲット細胞が含まれることを表す場合、第１サンプル画像に対して領域検出を行い、ターゲット細胞を含む予測領域を得る。モデルの、ポジティブサンプルとネガティブサンプルの認識能力を向上させ、誤検出確率を低下させることができる。訓練で得られたモデルの正確性の向上に寄与し、ターゲット細胞の認識の正確性の向上に寄与する。

【0028】

本願の幾つかの実施例において、検出サブモデルを利用して第１サンプル画像に対してターゲット検出を行い、第１サンプル画像における、ターゲット細胞を含む予測領域を得て、分類サブモデルを利用して第２サンプル画像に対して第１分類処理を行い、ターゲット細胞の予測クラスを得る前に、方法は、第１サンプル画像及び第２サンプル画像に対してデータ強化を行うこと、及び／又は、第１サンプル画像及び第２サンプル画像の画素値に対して正規化処理を行うこと、を更に含み、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。

【0029】

従って、第１サンプル画像及び第２サンプル画像に対してデータ強化を行うことで、サンプルの多様性を向上させることができ、オーバーフィッティングを避けることに寄与し、モデルの汎化性能を向上させる。第１サンプル画像及び第２サンプル画像における画素値に対して正規化処理を行うことで、モデルの収束速度の向上に寄与する。ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。単一の病変細胞及び病変細胞クラスタの認識に寄与する。また、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。ターゲット細胞の病変の等級付けの実現に寄与する。

【0030】

本願の実施例は、画像認識装置を提供する。前記装置は、画像取得モジュールと、画像検出モジュールと、画像分類モジュールと、を備え、画像取得モジュールは、認識されるべき病理学的画像を取得するように構成され、画像検出モジュールは、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得るように構成され、画像分類モジュールは、認識モデルにおける分類サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得るように構成される。

【0031】

本願の実施例は、認識モデルの訓練装置を提供する。認識モデルは、検出サブモデルと、分類サブモデルと、を備え、認識モデルの訓練装置は、画像取得モジュールと、モデル実行モジュールと、損失決定モジュールと、パラメータ調整モジュールと、を備え、画像取得モジュールは、第１サンプル画像及び第２サンプル画像を取得するように構成され、第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされており、モデル実行モジュールは、検出サブモデルを利用して、第１サンプル画像に対してターゲット検出を行い、第１サンプル画像における、ターゲット細胞を含む予測領域を得て、分類サブモデルを利用して、第２サンプル画像に対して第１分類処理を行い、ターゲット細胞の予測クラスを得るように構成され、損失決定モジュールは、実際領域と予測領域に基づいて、検出サブモデルの第１損失値を決定し、実際クラスと予測クラスに基づいて、分類サブモデルの第２損失値を決定するように構成され、パラメータ調整モジュールは、第１損失値及び第２損失値を利用して、検出サブモデル及び分類サブモデルのパラメータを調整するように構成される。

【0032】

本願の実施例は、電子機器を提供する。前記電子機器は、互いに結合されるメモリとプロセッサを備え、プロセッサは、メモリに記憶されているプログラム命令を実行して、上記１つ又は複数の実施例における画像認識方法、又は、上記１つ又は複数の実施例における認識モデルの訓練方法を実現するように構成される。

【0033】

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にプログラム命令が記憶されており、プログラム命令がプロセッサにより実行されると、前記プロセッサに上記１つ又は複数の実施例における画像認識方法、又は、上記１つ又は複数の実施例における認識モデルの訓練方法を実現させる。

【0034】

本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサに、上記１つ又は複数の実施例における画像認識方法、又は、上記１つ又は複数の実施例における認識モデルの訓練方法を実行させる。

【発明の効果】

【0035】

上記技術的解決手段は、認識モデルにおける検出サブモデルを用いて、取得された認識されるべき病理学的画像に対してターゲット検出を行うことで、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得る。また、認識モデルにおける分析サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得る。従って、ターゲット細胞の検出を行ってから、ターゲット細胞の分類を行うことができ、検出と分類を分離させることができる。これにより、病理学的画像におけるターゲット細胞を正確かつ効率的に認識することができる。

【図面の簡単な説明】

【0036】

【図1】本願の実施例による画像認識方法を示すフローチャートである。

【図2】本願の実施例による画像認識方法の状態を示す概略図である。

【図3】本願の実施例による画像認識方法を示すフローチャートである。

【図4】本願の実施例による画像認識方法の状態を示す概略図である。

【図5】本願の実施例による認識モデルの訓練方法を示すフローチャートである。

【図6】本願の実施例による画像認識装置の構造フレームワークを示す概略図である。

【図7】本願の実施例による認識モデルの訓練装置の構造フレームワークを示す概略図である。

【図8】本願の実施例による電子機器の構造フレームワークを示す概略図である。

【図9】本願の実施例によるコンピュータ可読記憶媒体の構造フレームワークを示す概略図である。

【発明を実施するための形態】

【0037】

以下、明細書の図面を参照しながら、本願の実施例の技術的解決手段を詳しく説明する。

【0038】

下記説明において、本願の実施例を深く理解するために、特定システム構造、インタフェース、技術等の具体的な細部を提出し、これは、本願を解釈するためのものに過ぎず、本願を限定するためのものではない。

【0039】

本明細書において、「システム」と「ネットワーク」は相互交換可能に用いられる。本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。なお、本明細書において、文字「／」は一般的には、前後関連対象が「又は」という関係であることを示す。また、本明細書における「複数」は、２つ又は２つより多いことを表す。

【0040】

図１を参照すると、図１は、本願の実施例による画像認識方法を示すフローチャートである。具体的には、下記ステップを含み得る。

【0041】

ステップＳ１１において、認識されるべき病理学的画像を取得する。

【0042】

認識されるべき病理学的画像は、子宮頸部病理学的画像、肝臓病理学的画像、腎臓病理学的画像を含むが、これらに限定されない。

【0043】

ステップＳ１２において、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得る。

【0044】

認識モデルは、検出サブモデルを含む。具体的な実施シーンにおいて、検出サブモデルとして、Ｆａｓｔｅｒ ＲＣＮＮ（Ｒｅｇｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）ネットワークモデルを用いてもよい。もう１つの具体的な実施シーンにおいて、検出サブモデルとして、Ｆａｓｔ ＲＣＮＮ、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）などをもちいてもよく、ここで限定しない。

【0045】

検出サブモデルを用いて、認識されるべき病理学的画像に対して検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得る。例えば、子宮頸部病理学的画像に対して検出を行い、子宮頸部病理学的細胞における、扁平上皮細胞を含む検出領域を得る。又は、肝臓病理学的画像に対して検出を行い、肝臓病理学的画像における、病変細胞を含む検出領域を得る。認識されるべき病理学的画像が他の画像である場合、このように類推してもよく、ここで、一々列挙しない。１つの実施シーンにおいて、検出領域は、具体的には、ターゲット細胞を含む矩形の中心座標及び矩形の長さと幅で表されてもよい。例えば、（５０，６０，１０，２０）で、認識されるべき病理学的画像における、画素座標（５０，６０）を中心として、長さが１０であって幅が２０である矩形を表す。なお、ターゲット細胞を含む矩形の中心座標、矩形の長さ及び幅と所定の矩形の長さ及び幅との比で表されてもよい。例えば、所定の矩形は、長さが１０であって幅が２０である矩形であると、（５０，６０，１，１）で、認識されるべき病理学的画像における、画素座標（５０，６０）を中心として長さが１０であって幅が２０である矩形を表してもよい。ここで、限定しない。

【0046】

本願の幾つかの実施例において、認識されるべき病理学的画像は、ターゲット細胞を含まない画像である可能性もある。この場合、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行うと、検出領域を得ないため、認識されるべき病理学的画像にターゲット細胞が含まれないという提示を出力することができる。これにより、後続の分類処理ステップを省略し、モデルの運転効率を向上させることができる。例えば、子宮頸部病理学的画像に扁平上皮細胞が含まれないという提示を直接的に出力することができる。他の病理学的画像は、このように類推してもよく、ここで、一々列挙しない。

【0047】

本願の幾つかの実施例において、図２を参照する。図２は、本願の実施例による画像認識方法の状態を示す概略図である。図２に示すように、認識されるべき病理学的画像は、子宮頸部病理学的画像である。認識されるべき病理学的画像に対して認識モデルにおける検出サブモデルによりターゲット検出を行うことで、ターゲット細胞を含む２つの検出領域を得る。

【0048】

ステップＳ１３において、認識モデルにおける分類サブモデルを利用して、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得る。

【0049】

認識モデルは、分類サブモデルを更に含み得る。具体的な実施シーンにおいて、分類サブモデルとして、ＥｆｆｉｃｉｅｎｔＮｅｔネットワークモデルを用いてもよい。もう１つの具体的な実施シーンにおいて、分類サブモデルとして、ＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔ等を用いてもよく、ここで、限定しない。

【0050】

認識モデルにおける分類サブモデルを利用して、検出領域に対して分類処理を行うことで、ターゲット細胞のクラスを得ることができる。具体的には、分類効率を向上させるために、分類サブモデルを利用して、認識されるべき病理学的画像の検出領域に対して特徴抽出を行い検出領域の画像特徴を得ることができる。これにより、検出領域の画像特徴に対して第１分類処理を行い、ターゲット細胞のクラスを得る。例えば、検出領域の画像特徴に対してプーリング処理、全結合処理を行い、ターゲット細胞のクラスを得ることができる。ここで、詳細な説明を省略する。

【0051】

本願の幾つかの実施例において、ターゲット細胞に対する病変等級付けを実現させるために、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すことができる。認識されるべき病変画像が子宮頸部病理学的画像であることを例として、ターゲット細胞は具体的には、高度扁平上皮内病変（Ｈｉｇｈ－ｇｒａｄｅ Ｓｑｕａｍｏｕｓ Ｉｎｔｒａｅｐｉｔｈｅｌｉａｌ Ｌｅｓｉｏｎ：ＨＳＩＬ）、軽度扁平上皮内病変（Ｌｏｗ－ｇｒａｄｅ Ｓｑｕａｍｏｕｓ Ｉｎｔｒａｅｐｉｔｈｅｌｉａｌ Ｌｅｓｉｏｎ：ＬＳＩＬ）、意義不明な異型扁平上皮（Ａｔｙｐｉｃａｌ Ｓｑｕａｍｏｕｓ Ｃｅｌｌｓ ｏｆ Ｕｎｄｅｔｅｒｍｉｎｅｄ Ｓｉｇｎｉｆｉｃａｎｃｅ：ＡＳＣ－ＵＳ）、高度扁平上皮内病変を除外できない異型扁平上皮細胞（Ａｔｙｐｉｃａｌ Ｓｑｕａｍｏｕｓ Ｃｅｌｌｓ－ｃａｎｎｏｔ ｅｘｃｌｕｄｅ ＨＳＩＬ：ＡＳＣ－Ｈ）を含んでもよく、これらに限定されない。認識されるべき病理学的画像は、他の病理学的画像である場合、このように類推してもよく、ここで、一々列挙しない。１つの実施シーンにおいて、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み得る。これにより、単一の病変細胞又は病変細胞クラスタに対する認識を実現させることができる。

【0052】

本願の幾つかの実施例において、引き続き図２を参照する。分類サブモデルは、検出サブモデルにより検出された２つの検出領域に対してそれぞれ分類処理を行い、２つの検出領域に含まれるターゲット細胞のクラスを得る。そのうちの１つの検出領域におけるターゲット細胞は、高度扁平上皮内病変（ＨＳＩＬ）であり、もう１つの検出領域におけるターゲット細胞は、高度扁平上皮内病変を除外できない異型扁平上皮細胞（ＡＳＣ－Ｈ）である。

【0053】

本願の幾つかの実施例において、分類サブモデルは、検出領域に対して第１分類処理を行い、ターゲット細胞のクラス及びその信頼度を得ることもできる。ここで、信頼度は、ターゲット細胞の真実クラスがモデルにより予測されたクラスである信頼度を表す。信頼度が高いほど、確信度が高くなる。引き続き図２を参照する。分類サブモデルは、検出領域に対してそれぞれ分類処理を行い、ターゲット細胞のクラス及びその信頼度を得る。そのうちの１つの検出領域におけるターゲット細胞は、高度扁平上皮内病変（ＨＳＩＬ）であり、且つその信頼度は、０．９７（即ち、９７％の確信度）である。もう１つの検出領域におけるターゲット細胞は、高度扁平上皮内病変を除外できない異型扁平上皮細胞（ＡＳＣ－Ｈ）であり、且つその信頼度は、０．９８（即ち、９８％の確信度）である。

【0054】

上記技術的解決手段は、認識モデルにおける検出サブモデルを用いて、取得された認識されるべき病理学的画像に対してターゲット検出を行うことで、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得る。また、認識モデルにおける分析サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得る。従って、ターゲット細胞の検出を行ってから、ターゲット細胞の分類を行うことができ、検出と分類を分離させることができる。これにより、病理学的画像におけるターゲット細胞を正確かつ効率的に認識することができる。

【0055】

図３を参照すると、図３は、本願の実施例による画像認識方法を示すフローチャートである。具体的には、下記ステップを含み得る。

【0056】

ステップＳ３１において、認識されるべき病理学的画像を取得する。

【0057】

具体的には、前記実施例における関連ステップを参照する。

【0058】

ステップＳ３２において、検出サブモデルの第１部分を利用して、認識されるべき病理学的画像に対して分類処理を行い、認識されるべき病理学的画像の画像分類結果を得る。

【0059】

ここで、画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである。具体的には、「０」で、認識されるべき病理学的画像にターゲット細胞が含まれないことを表し、「１」で、認識されるべき病理学的画像にターゲット細胞が含まれることを表すことができ、ここで、限定しない。

【0060】

本願の幾つかの実施例において、検出サブモデルの第１部分は、グローバル分類ネットワークであり、グローバル分類ネットワークは、ニューロンを含むニューラルネットワークモデルである。前記実施例における分類サブモデルと異なっており、グローバル分類ネットワークは、認識されるべき病理学的画像に対して二分類処理を行い、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを示す画像分類結果を得るために用いられる。１つの具体的な実施シーンにおいて、分類サブモデルによる分類処理と区別するために、検出サブモデルの第１部分による分類処理は、第２分類処理と呼ばれてもよく、ここで、限定しない。

【0061】

ステップＳ３３において、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれることを表すかどうかを判定し、認識されるべき病理学的画像にターゲット細胞が含まれることを表す場合、ステップＳ３４を実行し、そうでなければ、Ｓ３６を実行する。

【0062】

画像分類結果により、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを判定し、ターゲット細胞が含まれると、認識されるべき病理学的画像に対して次の処理を実行することができ、そうでなければ、次の処理を実行する必要がない。これにより、ターゲット細胞を含むかどうかを検出するための分類処理とターゲット細胞の検出領域の具体的な検出処理とを分離させ、モデルの運転効率を更に向上させ、画像におけるターゲット細胞の認識効率を向上させることができる。

【0063】

ステップＳ３４において、検出サブモデルの第２部分を利用して、認識されるべき病理学的画像に対して領域検出を行い、ターゲット細胞を含む検出領域を得る。

【0064】

本願の幾つかの実施例において、検出サブモデルの第２部分は、画像検出ネットワークであり、画像検出ネットワークは、ニューロンを含むニューラルネットワークモデルである。検出サブモデルがとしてＦａｓｔｅｒ ＲＣＮＮを用いることを例として、第２部分は、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ）ネットワークであってもよい。検出サブモデルが他のネットワークモデルである場合、このように類推してもよく、ここで、一々列挙しない。

【0065】

本願の幾つかの実施例において、図２を参照する。図２は、本願の実施例による画像認識方法の状態を示す概略図である。図２に示すように、認識されるべき病理学的画像は、子宮頸部病理学的画像であり、認識されるべき病理学的画像に対して、認識モデルにおける検出サブモデルによりターゲット検出を行い、ターゲット細胞を含む２つの検出領域を得る。

【0066】

本願の幾つかの実施例において、ターゲット細胞の認識の正確性を向上させるために、検出サブモデルの第３部分を利用して、認識されるべき病理学的画像に対して特徴抽出を行い、認識されるべき病理学的画像の画像特徴を得ることもできる。具体的には、第３部分は、特徴抽出ネットワークであってもよい。本願の幾つかの実施例において、特徴抽出ネットワークは、ＲｅｓＮｅｔ５０ネットワークなどであってもよく、ここで、限定しない。本願の幾つかの実施例において、多形態のターゲット細胞に対する認識の正確性を向上させるために、特徴抽出ネットワークは、変形可能な畳み込み層（ｄｅｆｏｒｍａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）を含み得る。変形可能な畳み込み層は、空間に対して用いられる位置情報に基づいて、さらなる変位調整を行い、異なる形態の細胞に対する特徴抽出を実現させる。本願の幾つかの実施例において、距離が長くて依存関係を有する特徴を取得し、ターゲット細胞の認識の正確性を向上させるために、特徴抽出ネットワークは、グローバル情報強化モジュールを更に備えてもよい。図４を参照すると、図４は、本願の実施例による画像認識方法の状態を示す概略図である。認識されるべき病理学的画像に対して特徴抽出を行った後、検出サブモデルの第１部分を利用して、画像特徴に対して分類処理を行い、認識されるべき病理学的画像の画像分類結果を得て、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれる時（即ち、画像分類結果が陽性である時）、検出サブモデルの第２部分を利用して、画像特徴に対して領域検出を行い、ターゲット細胞を含む検出領域を得て、後続の分類処理を行うことができる。具体的には、本実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。

【0067】

ステップＳ３５において、認識モデルにおける分類サブモデルを利用して検出領域に対して分類処理を行い、ターゲット細胞のクラスを得る。

【0068】

具体的には、前記実施例における関連ステップを参照する。

【0069】

本願の幾つかの実施例において、図２を参照する。図２は、本願の実施例による画像認識方法の状態を示す概略図である。図２示すように、認識されるべき病理学的画像は、子宮頸部病理学的画像であり、認識されるべき病理学的画像に対して、認識モデルにおける検出サブモデルにより、ターゲット検出を行い、ターゲット細胞を含む２つの検出領域を得る。

【0070】

ステップＳ３６において、第１部分が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す検出結果提示を出力する。

【0071】

画像検出結果が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す時（即ち、画像分類結果が陰性である場合、次の処理を行う必要がない。これにより、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す検出結果提示（即ち、結果が陰性であることを表す提示）を直接的に出力し、モデルの運転効率を向上させ、画像におけるターゲット細胞の認識効率を向上させることができる。

【0072】

前記実施例と異なっており、検出サブモデルの第１部分により、認識されるべき病理学的画像に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得る。また、画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである。画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれることを表す時、検出サブモデルの第２部分を利用して、認識されるべき病理学的画像に対して領域検出を行い、ターゲット細胞を含む検出領域を得る。従って、ターゲット細胞の動的検出を実現させ、ターゲット細胞の動的検出を実現させ、ターゲット細胞の認識効率を向上させることができる。

【0073】

図５を参照すると、図５は、本願の実施例による認識モデルの訓練方法を示すフローチャートである。本願の実施例において、認識モデルは具体的には、検出サブモデルと、分類サブモデルと、を備えてもよく、具体的には、下記ステップを含み得る。

【0074】

ステップＳ５１において、第１サンプル画像及び第２サンプル画像を取得する。

【0075】

本願の実施例において、第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、実際領域は、ターゲット細胞を含む矩形の中心座標及び矩形の長さと幅で表されてもよい。例えば、（５０，６０，１０，２０）で、第１サンプル画像に位置する、画素点（５０，６０）を中心として、長さが１０であり、幅が２０である矩形を表すことができる。第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされている。本願の幾つかの実施例において、ターゲット細胞の実際クラスは、ターゲット細胞の病変程度を表すためのものである。第２サンプル画像が子宮頸部病理学的画像であることを例として、ターゲット細胞は具体的には、高度扁平上皮内病変（ＨＳＩＬ）、軽度扁平上皮内病変（ＬＳＩＬ）、意義不明な異型扁平上皮（ＡＳＣ－ＵＳ）、高度扁平上皮内病変を除外できない異型扁平上皮細胞（ＡＳＣ－Ｈ）を含んでもよく、これらに限定されない。認識されるべき病理学的画像が他の病理学的画像である場合、このように類推してもよく、ここで、一々列挙しない。本願の幾つかの実施例において、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み得る。これにより、単一の病変細胞又は病変細胞クラスタに対する認識を実現させることができる。

【0076】

本願の幾つかの実施例において、第１サンプル画像及び第２サンプル画像は、病理学的画像であり、例えば、子宮頸部病理学的画像、肝臓病理学的画像、腎臓病理学的画像を含むが、これらに限定されない。第１サンプル画像及び第２サンプル画像が子宮頸部病理学的画像であることを例として、ターゲット細胞は、扁平上皮細胞であってもよい。第１サンプル画像及び第２サンプル画像が他の病理学的画像である場合、このように類推してもよく、ここで、一々列挙しない。

【0077】

本願の幾つかの実施例において、取得された第１サンプル画像及び第２サンプル画像に対してデータ強化を行うことで、サンプルの多様性を向上させることができ、オーバーフィッティングを避けることに寄与し、モデルの汎化性能を向上させることもできる。具体的な実施シーンにおいて、ランダム切断、ランダム回転、ランダム反転、色的な外乱、ガンマ補正、ガウス雑音のような操作を行うことでデータ強化を行うことができるが、これらに限定されない。

【0078】

本願の幾つかの実施例において、第１サンプル画像及び第２サンプル画像における画素値に対して正規化処理を行い、モデルの収束速度を向上させることもできる。本願の幾つかの実施例において、まず、全ての第１サンプル画像の画素値の第１平均値及び第１分散を統計し、次に、各第１サンプル画像における画素値から第１平均値を減算し、第１分散で除算することで、各第１サンプル画像に対して正規化処理を行うことができる。また、全ての第２サンプル画像の画素値の第２平均値及び第２分散を統計し、次に、各第２サンプル画像における画素値から第２平均値を減算し、第２分散で除算することで、各第２サンプル画像に対して正規化処理を行うことができる。

【0079】

ステップＳ５２において、検出サブモデルを利用して、第１サンプル画像に対してターゲット検出を行い、第１サンプル画像における、ターゲット細胞を含む予測領域を得て、分類サブモデルを利用して第２サンプル画像に対して第１分類処理を行い、ターゲット細胞の予測クラスを得る。

【0080】

検出サブモデルとして、Ｆａｓｔｅｒ ＲＣＮＮを用いることができる。具体的には、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。予測領域は、矩形の中心座標及び矩形の長さと幅で表されてもよい。例えば、（７０，８０，１０，２０）で、第１サンプル画像に位置する、画素点（７０，８０）を中心として、長さが１０であって幅が２０である予測領域を表すことができる。予測領域は、矩形の中心座標、矩形の長さ及び幅と所定の矩形の長さ及び幅との比で表されてもよい。例えば、所定の矩形を設定する。所定の矩形の長さは、１０であって且つ幅は２０であると、（７０，８０，１，１）で、第１サンプル画像に位置する、（７０，８０）を画像中心として、長さが１０であって且つ幅が２０である予測領域を表すことができる。分類サブモデルとして、ＥｆｆｉｃｉｅｎｔＮｅｔネットワークモデルを用いることができる。具体的には、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。

【0081】

本願の幾つかの実施例において、モデルの、ポジティブサンプルとネガティブサンプルの認識能力を向上させ、動的予測を実現させ、モデル運転効率を向上させるために、検出サブモデルを利用して、第１サンプル画像に対してターゲット検出を行い、第１サンプル画像における、ターゲット細胞を含む予測領域を得る過程において、第１サンプル画像に対して第２分類処理を行い、第１サンプル画像の画像分類結果を得ることもできる。ここで、画像分類結果は、第１サンプル画像にターゲット細胞が含まれるかどうかを表すためのものである。画像分類結果が、第１サンプル画像にターゲット細胞が含まれることを表す場合、第１サンプル画像に対して領域検出を行い、ターゲット細胞を含む予測領域を得る。具体的には、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。なお、検出サブモデルは、第１部分と、第２部分と、を更に備えてもよく、第１部分は、第１サンプル画像に対して分類処理を行い、第１サンプル画像にターゲット細胞が含まれるかどうかを表す画像分類結果を得るように構成され、第２部分は、第１サンプル画像にターゲット細胞が含まれる時、第１サンプル画像に対して領域検出を行い、ターゲット細胞を含む予測領域を得るように構成される。具体的には、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。なお、検出サブモデルは、第３部分を備えてもよく、第３部分は、第１サンプル画像に対して特徴抽出を行い、第１サンプル画像の画像特徴を得るように構成される。これにより、第１部分は、画像特徴に対して特徴抽出を行い、第１サンプル画像の画像分類結果を得て、第２部分は、画像特徴に対して領域検出を行い、ターゲット細胞を含む予測領域を得る。具体的には、第１部分は、グローバル分類ネットワークであり、第２部分は、画像検出ネットワークであり、第３部分は、特徴抽出ネットワークである。ここで、特徴抽出ネットワークは、変形可能な畳み込み層、及びグローバル情報強化モジュールのうちの少なくとも１つを含む。具体的には、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。

【0082】

Ｓ５３において、実際領域と予測領域に基づいて、検出サブモデルの第１損失値を決定し、実際クラスと予測クラスに基づいて、分類サブモデルの第２損失値を決定する。

【0083】

本願の幾つかの実施例において、平均平方誤差損失関数、クロスエントロピー損失関数などを用いて、検出サブモデルの第１損失値を決定することができる。本願の幾つかの実施例において、クロスエントロピー損失関数を用いて分類サブモデルの第２損失値を決定することができる。ここで、詳細な説明を省略する。

【0084】

ステップＳ５４において、第１損失値及び第２損失値を利用して、検出サブモデル及び分類サブモデルのパラメータを調整する。

【0085】

具体的には、確率的勾配降下、指数平均化重み付け、Ａｄａｍ等の勾配降下最適化方法で、検出サブモデル及び分類サブモデルのパラメータに対して調整を行うことができる。ここで、詳細な説明を省略する。

【0086】

なお、第１サンプル画像及び第２サンプル画像を複数のバッチ（ｂａｔｃｈ）に分け、ミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）の訓練方式で、検出サブモデル及び分類サブモデルに対して訓練を行うことができる。本願の幾つかの実施例において、訓練終了条件を設定することもできる。訓練終了条件を満たす場合、訓練を終了することができる。具体的には、訓練終了条件は、訓練の反復回数が所定の閾値（例えば、１００回、５００回など）以上であることと、第１損失値及び第２損失値が所定の損失閾値未満であり、減少しなくなることと、検証データ集合を利用して検出サブモデル及び分類サブモデルに対してそれぞれ検証を行うことで得られたモデルの性能が向上しなくなることと、を含み得るが、これらに限定されない。

【0087】

上記技術的解決手段は、訓練プロセスにおいて、ターゲット細胞の検出を行ってから、ターゲット細胞の分類を行い、検出と分類を分離させることで、サンプルデータのクラスのバランスが取れないという問題を解決することができ、更に、訓練で得られたモデルの正確性の向上に寄与し、ターゲット細胞の認識の正確性及び効率の向上に寄与する。

【0088】

図６を参照すると、図６は、本願の実施例による画像認識装置６０の構造フレームワークを示す概略図である。画像認識装置６０は、画像取得モジュール６１と、画像検出モジュール６２と、画像分類モジュール６３と、を備え、画像取得モジュール６１は、認識されるべき病理学的画像を取得するように構成され、画像検出モジュール６２は、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得るように構成され、画像分類モジュール６３は、認識モデルにおける分類サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得るように構成される。

【0089】

上記技術的解決手段は、認識モデルにおける検出サブモデルを用いて、取得された認識されるべき病理学的画像に対してターゲット検出を行うことで、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得る。また、認識モデルにおける分析サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得る。従って、ターゲット細胞の検出を行ってから、ターゲット細胞の分類を行うことができ、検出と分類を分離させることができる。これにより、病理学的画像におけるターゲット細胞を正確かつ効率的に認識することができる。

【0090】

本願の幾つかの実施例において、画像検出モジュール６２は、第１部分サブモジュールを備え、第１部分サブモジュールは、検出サブモデルの第１部分を利用して、認識されるべき病理学的画像に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得るように構成され、画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものであり、画像検出モジュール６２は、第２部分サブモジュールを更に備え、第２部分サブモジュールは、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれることを表す場合、検出サブモデルの第２部分を利用して、認識されるべき病理学的画像に対して領域検出を行い、ターゲット細胞を含む検出領域を得るように構成される第２部分サブモジュールを更に備える。

【0091】

前記実施例と異なっており、検出サブモデルの第１部分により、認識されるべき病理学的画像に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得る。画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである。画像分類結果は、認識されるべき病理学的画像にターゲット細胞が含まれることを表す時、検出サブモデルの第２部分を利用して、認識されるべき病理学的画像に対して領域検出を行い、ターゲット細胞を含む検出領域を得る。従って、ターゲット細胞の動的検出を実現させ、ターゲット細胞の認識効率を向上させることができる。

【0092】

本願の幾つかの実施例において、画像検出モジュール６２は、結果提示サブモジュールを更に備え、結果提示サブモジュールは、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す場合、第１部分が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す検出結果提示を出力するように構成される。

【0093】

前記実施例と異なっており、検出サブモデルの第１部分を利用して、認識されるべき病理学的画像に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得た後、画像分類結果が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す場合、第１部分が、認識されるべき病理学的画像にターゲット細胞が含まれないことを表す検出結果提示を出力することを更に含む。

【0094】

本願の幾つかの実施例において、画像検出モジュール６２は、第３部分サブモジュールを更に備え、第３部分サブモジュールは、検出サブモデルの第３部分を利用して、認識されるべき病理学的画像に対して特徴抽出を行い、認識されるべき病理学的画像の画像特徴を得るように構成される。

【0095】

前記実施例と異なっており、検出サブモデルの第３部分を利用して、認識されるべき病理学的画像に対して特徴抽出を行い、認識されるべき病理学的画像の画像特徴を得ることで、まず、認識されるべき病理学的画像に対して処理を行い、更に、後続でこれを基に、検出サブモデルを利用して他の処理を行うことができるため、モデルの運転効率の向上に寄与する。

【0096】

本願の幾つかの実施例において、第１部分サブモジュールは具体的には、検出サブモデルの第１部分を利用して、画像特徴に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得るように構成される。

【0097】

前記実施例と異なっており、検出サブモデルの第１部分を利用して、第３部分により抽出された画像特徴に対して第２分類処理を行い、認識されるべき病理学的画像の画像分類結果を得ることで、分類処理の正確性を向上させることができる。

【0098】

本願の幾つかの実施例において、第２部分サブモジュールは具体的には、検出サブモデルの第２部分を利用して、画像特徴に対して領域検出を行い、ターゲット細胞を含む検出領域を得るように構成される。

【0099】

前記実施例と異なっており、検出サブモデルの第２部分を利用して、画像特徴に対して領域検出を行い、ターゲット細胞を含む検出領域を得ることで、ターゲット細胞の認識の正確性の向上に寄与する。

【0100】

本願の幾つかの実施例において、第１部分は、グローバル分類ネットワークであり、第２部分は、画像検出ネットワークであり、第３部分は、特徴抽出ネットワークであり、ここで、特徴抽出ネットワークは、変形可能な畳み込み層を含み、グローバル情報強化モジュールのうちの少なくとも１つを含む。

【0101】

前記実施例と異なっており、特徴抽出ネットワークを、変形可能な畳み込み層を含むものとすることで、多形態のターゲット細胞に対する認識の正確性を向上させることができる。特徴抽出ネットワークを、グローバル情報強化モジュールを含むもののうちの少なくとも１つとすることで、距離が長くて依存関係を有する特徴の取得に寄与し、ターゲット細胞の認識の正確性の向上に寄与する。

【0102】

本願の幾つかの実施例において、画像分類モジュール６３は、特徴抽出サブモジュールを備え、特徴抽出サブモジュールは、分類サブモデルを利用して、認識されるべき病理学的画像の検出領域に対して特徴抽出を行い、検出領域の画像特徴を得るように構成され、画像分類モジュール６３は、分類処理サブモジュールを備え、分類処理サブモジュールは、検出領域の画像特徴に対して第１分類処理を行い、ターゲット細胞のクラスを得るように構成される。

【0103】

前記実施例と異なっており、認識されるべき病理学的画像の検出領域に対して特徴抽出を行い、検出領域の画像特徴を得て、検出領域の画像特徴に対して第１分類処理を行い、ターゲット細胞のクラスを得ることで、分類処理の効率の向上に寄与する。

【0104】

本願の幾つかの実施例において、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。

【0105】

前記実施例と異なっており、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含む。単一の病変細胞及び病変細胞クラスタの認識に寄与する。また、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。ターゲット細胞の病変の等級付けの実現に寄与する。

【0106】

図７を参照すると、図７は、本願の実施例による認識モデルの訓練装置７０の構造フレームワークを示す概略図である。認識モデルは、検出サブモデルと、分類サブモデルと、を備え、認識モデルの訓練装置７０は、画像取得モジュール７１と、モデル実行モジュール７２と、損失決定モジュール７３と、パラメータ調整モジュール７４と、を備え、画像取得モジュール７１は、第１サンプル画像及び第２サンプル画像を取得するように構成され、第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされており、モデル実行モジュール７２は、検出サブモデルを利用して、第１サンプル画像に対してターゲット検出を行い、第１サンプル画像における、ターゲット細胞を含む予測領域を得て、分類サブモデルを利用して、第２サンプル画像に対して第１分類処理を行い、ターゲット細胞の予測クラスを得るように構成され、損失決定モジュール７３は、実際領域と予測領域に基づいて、検出サブモデルの第１損失値を決定し、実際クラスと予測クラスに基づいて、分類サブモデルの第２損失値を決定するように構成され、パラメータ調整モジュール７４は、第１損失値及び第２損失値を利用して、検出サブモデル及び分類サブモデルのパラメータを調整するように構成される。

【0107】

上記技術的解決手段は、訓練プロセスにおいて、ターゲット細胞の検出を行ってから、ターゲット細胞の分類を行い、検出と分類を分離させることで、サンプルデータのクラスのバランスが取れないという問題を解決することができ、更に、訓練で得られたモデルの正確性の向上に寄与し、ターゲット細胞の認識の正確性及び効率の向上に寄与する。

【0108】

本願の幾つかの実施例において、モデル実行モジュール７２は、初期分類サブモジュールを備え、初期分類サブモジュールは、第１サンプル画像に対して第２分類処理を行い、第１サンプル画像の画像分類結果を得るように構成され、画像分類結果は、第１サンプル画像にターゲット細胞が含まれるかどうかを表すためのものであり、モデル実行モジュール７２は、領域検出サブモジュールを備え、領域検出サブモジュールは、画像分類結果が、第１サンプル画像にターゲット細胞が含まれることを表す場合、第１サンプル画像に対して領域検出を行い、ターゲット細胞を含む予測領域を得るように構成される。

【0109】

前記実施例と異なっており、訓練プロセスにおいて、画像分類結果が、第１サンプル画像にターゲット細胞が含まれることを表す場合、第１サンプル画像に対して領域検出を行い、ターゲット細胞を含む予測領域を得る。モデルの、ポジティブサンプルとネガティブサンプルの認識能力を向上させ、誤検出確率を低下させることができる。訓練で得られたモデルの正確性の向上に寄与し、ターゲット細胞の認識の正確性の向上に寄与する。

【0110】

本願の幾つかの実施例において、認識モデルの訓練装置７０は、データ強化モジュールを更に備え、データ強化サブモジュールは、第１サンプル画像及び第２サンプル画像に対してデータ強化を行うように構成される。

【0111】

前記実施例と異なっており、第１サンプル画像及び第２サンプル画像に対してデータ強化を行うことで、サンプルの多様性を向上させることができ、オーバーフィッティングを避けることに寄与し、モデルの汎化性能を向上させる。

【0112】

本願の幾つかの実施例において、認識モデルの訓練装置７０は、正規化処理モジュールを更に備え、正規化処理モジュールは、第１サンプル画像及び第２サンプル画像の画素値に対して正規化処理を行うように構成される。

【0113】

前記実施例と異なっており、第１サンプル画像及び第２サンプル画像における画素値に対して正規化処理を行うことで、モデルの収束速度の向上に寄与する。

【0114】

本願の幾つかの実施例において、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。

【0115】

前記実施例と異なっており、ターゲット細胞は、ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。単一の病変細胞及び病変細胞クラスタの認識に寄与する。また、ターゲット細胞のクラスは、ターゲット細胞の病変程度を表すためのものである。ターゲット細胞の病変の等級付けの実現に寄与する。

【0116】

図８を参照すると、図８は、本願の実施例による電子機器８０の構造フレームワークを示す概略図である。電子機器８０は、互いに結合されたメモリ８１及びプロセッサ８２を備え、プロセッサ８２は、メモリ８１に記憶されたプログラム命令を実行して、上記いずれか１つの画像認識方法の実施例のステップ又は上記いずれか１つの認識モデルの訓練方法の実施例のステップを実現するように構成される。具体的な実施シーンにおいて、電子機器８０は、マイクロコンピュータ、サーバを含み得るが、これらに限定されない。なお、電子機器８０は、ノートパソコン、タブレットなどの携帯機器を含んでもよく、ここで、これを限定しない。

【0117】

具体的には、プロセッサ８２は、その自体及びメモリ８１を制御して、上記いずれか１つの画像認識方法の実施例のステップ又は上記いずれか１つの認識モデルの訓練方法の実施例のステップを実現させるように構成される。プロセッサ８２は、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）と呼ばれてもよい。プロセッサ８２は、信号処理能力を持つ集積回路チップであってもよい。プロセッサ８２は、汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）又は他のプログラマブルゲートアレイ、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、該プロセッサは、如何なる従来のプロセッサなどであってもよい。なお、プロセッサ８２は、集積回路チップにより共同で実現してもよい。

【0118】

上記技術的解決手段は、病理学的画像におけるターゲット細胞を正確かつ効果的に認識することができる。

【0119】

図９を参照すると、図９は、本願の実施例によるコンピュータ可読記憶媒体９０の構造フレームワークを示す概略図である。コンピュータ可読記憶媒体９０に、プロセッサにより実行可能なプログラム命令９０１が記憶されており、プログラム命令９０１は、プロセッサに上記いずれか１つの画像認識方法の実施例のステップ又は上記いずれか１つの認識モデルの訓練方法の実施例のステップを実現させるように構成される。

【0120】

上記技術的解決手段は、病理学的画像におけるターゲット細胞を正確かつ効果的に認識することができる。

【0121】

本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサに、本願の実施例で提供されるいずれか１つの画像認識方法、又は、本願の実施例で提供されるいずれか１つの認識モデルの訓練方法を実行させる。

【0122】

本願で提供される幾つかの実施例において、開示される方法及び装置は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施形態はただ例示的なもので、例えば、前記モジュール又はコンポーネントの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のコンポーネント又はユニットを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はコンポーネントによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

【0123】

分離部材として説明したコンポーネントは、物理的に別個のものであってもよいし、そうでなくてもよい。コンポーネントとして示された部材は、物理的コンポーネントであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークコンポーネントに分布してもよい。実際の需要に応じてそのうちの一部又は全てのコンポーネントにより本実施例の方策の目的を実現することができる。

【0124】

また、本願の各実施例における各機能コンポーネントは一つの処理コンポーネントに集積されてもよいし、各コンポーネントが物理的に別個のものとして存在してもよいし、２つ以上のコンポーネントが一つのユニットに集積されてもよい。上記集積したコンポーネントはハードウェアとして実現してもよく、ソフトウェア機能コンポーネントとして実現してもよい。

【0125】

集積したものは、ソフトウェア機能コンポーネントの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ設備（パソコン、サーバ、又はネットワーク装置など）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。

【産業上の利用可能性】

【0126】

本願の実施例は、画像認識方法、認識モデルの訓練方法及び関連装置、機器を提供する。ここで、画像認識方法は、認識されるべき病理学的画像を取得することと、認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることと、認識モデルにおける分類サブモデルを用いて、検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得ることと、を含む。本願の実施例の画像認識方法によれば、病理学的画像におけるターゲット細胞を正確かつ効果的に認識することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2021-12-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像認識方法であって、
認識されるべき病理学的画像を取得することと、
認識モデルにおける検出サブモデルを用いて、認識されるべき病理学的画像に対してターゲット検出を行い、認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることと、
認識モデルにおける分類サブモデルを用いて、前記検出領域に対して第１分類処理を行い、ターゲット細胞のクラスを得ることと、を含む、画像認識方法。

【請求項2】

前記認識モデルにおける検出サブモデルを用いて、前記認識されるべき病理学的画像に対してターゲット検出を行い、前記認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることは、
前記検出サブモデルの第１部分を利用して、前記認識されるべき病理学的画像に対して第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得ることであって、前記画像分類結果は、前記認識されるべき病理学的画像にターゲット細胞が含まれるかどうかを表すためのものである、ことと、
前記画像分類結果が、前記認識されるべき病理学的画像に前記ターゲット細胞が含まれることを表す場合、前記検出サブモデルの第２部分を利用して、前記認識されるべき病理学的画像に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得、及び／又は、前記画像分類結果が、前記認識されるべき病理学的画像にターゲット細胞が含まれないことを表す場合、前記第１部分が、前記認識されるべき病理学的画像に前記ターゲット細胞が含まれないことを表す検出結果提示を出力することと、を含むことを特徴とする
請求項１に記載の画像認識方法。

【請求項3】

前記認識モデルにおける検出サブモデルを用いて、前記認識されるべき病理学的画像に対してターゲット検出を行い、前記認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得ることは、
前記検出サブモデルの第３部分を利用して、前記認識されるべき病理学的画像に対して特徴抽出を行い、前記認識されるべき病理学的画像の画像特徴を得ることを更に含むことを特徴とする
請求項２に記載の画像認識方法。

【請求項4】

前記検出サブモデルの第１部分を利用して、前記認識されるべき病理学的画像に対して、第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得ることは、前記検出サブモデルの第１部分を利用して、前記画像特徴に対して第２分類処理を行い、前記認識されるべき病理学的画像の画像分類結果を得ることを含み、
及び／又は
前記検出サブモデルの第２部分を利用して、前記認識されるべき病理学的画像に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得ることは、前記検出サブモデルの第２部分を利用して、前記画像特徴に対して領域検出を行い、前記ターゲット細胞を含む検出領域を得ることを含むことを特徴とする
請求項３に記載の画像認識方法。

【請求項5】

前記第１部分は、グローバル分類ネットワークであり、前記第２部分は、画像検出ネットワークであり、前記第３部分は、特徴抽出ネットワークであり、ここで、前記特徴抽出ネットワークは、変形可能な畳み込み層、及びグローバル情報強化モジュールのうちの少なくとも１つを含むことを特徴とする
請求項３又は４に記載の画像認識方法。

【請求項6】

前記認識モデルにおける分類サブモデルを利用して、前記検出領域に対して第１分類処理を行い、前記ターゲット細胞のクラスを得ることは、
前記分類サブモデルを利用して、前記認識されるべき病理学的画像の検出領域に対して特徴抽出を行い、前記検出領域の画像特徴を得ることと、
前記検出領域の画像特徴に対して第１分類処理を行い、前記ターゲット細胞のクラスを得ることと、を含むことを特徴とする
請求項１又は２に記載の画像認識方法。

【請求項7】

前記ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、前記ターゲット細胞のクラスは、前記ターゲット細胞の病変程度を表すためのものであることを特徴とする
請求項１から６のうちいずれか一項に記載の画像認識方法。

【請求項8】

認識モデルの訓練方法であって、前記認識モデルは、検出サブモデルと、分類サブモデルと、を備え、前記訓練方法は、
第１サンプル画像及び第２サンプル画像を取得することであって、前記第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、前記第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされている、ことと、
前記検出サブモデルを利用して、前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得て、前記分類サブモデルを利用して、前記第２サンプル画像に対して第１分類処理を行い、前記ターゲット細胞の予測クラスを得ることと、
前記実際領域と前記予測領域に基づいて、前記検出サブモデルの第１損失値を決定し、前記実際クラスと前記予測クラスに基づいて、前記分類サブモデルの第２損失値を決定することと、
前記第１損失値及び前記第２損失値を利用して、前記検出サブモデル及び前記分類サブモデルのパラメータを調整することと、を含む、訓練方法。

【請求項9】

前記検出サブモデルを利用して、前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得ることは、
前記第１サンプル画像に対して第２分類処理を行い、前記第１サンプル画像の画像分類結果を得ることであって、前記画像分類結果は、前記第１サンプル画像に前記ターゲット細胞が含まれるかどうかを表すためのものである、ことと、
前記画像分類結果が、前記第１サンプル画像にターゲット細胞が含まれることを表す場合、前記第１サンプル画像に対して領域検出を行い、前記ターゲット細胞を含む予測領域を得ることと、を含むことを特徴とする
請求項８に記載の訓練方法。

【請求項10】

前記検出サブモデルを利用して前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得て、前記分類サブモデルを利用して前記第２サンプル画像に対して第１分類処理を行い、前記ターゲット細胞の予測クラスを得る前に、
前記第１サンプル画像及び前記第２サンプル画像に対してデータ強化を行うこと、及び／又は、
第１サンプル画像及び第２サンプル画像の画素値に対して正規化処理を行うこと、を更に含み、
前記ターゲット細胞は、単一の病変細胞、及び病変細胞クラスタのうちのいずれか１つを含み、前記ターゲット細胞のクラスは、前記ターゲット細胞の病変程度を表すためのものであることを特徴とする
請求項８又は９に記載の訓練方法。

【請求項11】

画像認識装置であって、
認識されるべき病理学的画像を取得するように構成される画像取得モジュールと、
認識モデルにおける検出サブモデルを用いて、前記認識されるべき病理学的画像に対してターゲット検出を行い、前記認識されるべき病理学的画像における、ターゲット細胞を含む検出領域を得るように構成される画像検出モジュールと、
前記認識モデルにおける分類サブモデルを用いて、前記検出領域に対して第１分類処理を行い、前記ターゲット細胞のクラスを得るように構成される画像分類モジュールと、を備える、画像認識装置。

【請求項12】

認識モデルの訓練装置であって、前記認識モデルは、検出サブモデルと、分類サブモデルと、を備え、前記訓練装置は、
第１サンプル画像及び第２サンプル画像を取得するように構成される画像取得モジュールであって、前記第１サンプル画像に、ターゲット細胞に対応する実際領域がアノテーションされており、前記第２サンプル画像に、ターゲット細胞の実際クラスがアノテーションされている、画像取得モジュールと、
前記検出サブモデルを利用して、前記第１サンプル画像に対してターゲット検出を行い、前記第１サンプル画像における、ターゲット細胞を含む予測領域を得て、前記分類サブモデルを利用して、前記第２サンプル画像に対して第１分類処理を行い、前記ターゲット細胞の予測クラスを得るように構成されるモデル実行モジュールと、
前記実際領域と前記予測領域に基づいて、前記検出サブモデルの第１損失値を決定し、前記実際クラスと前記予測クラスに基づいて、前記分類サブモデルの第２損失値を決定するように構成される損失決定モジュールと、
前記第１損失値及び前記第２損失値を利用して、前記検出サブモデル及び前記分類サブモデルのパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、訓練装置。

【請求項13】

電子機器であって、前記電子機器は、互いに結合されるメモリとプロセッサを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行して、請求項１から７のうちいずれか一項に記載の画像認識方法、又は、請求項８から１０のうちいずれか一項に記載の認識モデルの訓練方法を実行する、電子機器。

【請求項14】

コンピュータに請求項１から７のうちいずれか一項に記載の画像認識方法、又は、請求項８から１０のうちいずれか一項に記載の認識モデルの訓練方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。

【請求項15】

コンピュータに、請求項１から７のうちいずれか一項に記載の画像認識方法、又は、請求項８から１０のうちいずれか一項に記載の認識モデルの訓練方法を実行させる、コンピュータプログラム。

【国際調査報告】