特表2023-502814画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-26
(54)【発明の名称】画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20230119BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 614
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021576592
(86)(22)【出願日】2021-03-11
(85)【翻訳文提出日】2021-12-23
(86)【国際出願番号】 CN2021080322
(87)【国際公開番号】W WO2022088581
(87)【国際公開日】2022-05-05
(31)【優先権主張番号】202011193266.4
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】黄▲いぇ▼▲ちょん▼
(72)【発明者】
【氏名】▲羅▼祥▲悳▼
(72)【発明者】
【氏名】叶宇翔
(72)【発明者】
【氏名】朱雅靖
(72)【発明者】
【氏名】▲陳▼翼男
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096EA13
5L096EA39
5L096FA06
5L096FA32
5L096FA34
5L096FA59
5L096FA64
5L096FA66
5L096FA68
5L096FA69
5L096GA30
5L096GA51
5L096HA11
5L096KA04
5L096KA11
(57)【要約】
本発明の実施例は、画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体を開示し、前記画像検出モデルのトレーニング方法は、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得することと、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得することと、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得することと、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
画像検出モデルのトレーニング方法であって、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得することと、
前記画像検出モデルを使用して前記サンプル医用画像に対して検出を実行して、前記サンプル医用画像内の前記目標対象の検出領域を取得することと、
同じ前記目標対象の実際領域及び検出領域の形態特徴を分析して、対応する前記目標対象の実際領域と検出領域との間の形態差異情報を取得することと、
前記形態差異情報を使用して、前記画像検出モデルのネットワークパラメータを調整することと、を含む、前記画像検出モデルのトレーニング方法。
【請求項2】
前記形態特徴は、形状特徴、プリセットされた次元空間特徴、及びエッジ曲率特徴のうちの少なくとも１つを含む、請求項１に記載の画像検出モデルのトレーニング方法。
【請求項3】
前記形態特徴は、形状特徴を含み、前記形態差異情報は、前記形状特徴に関連する第１損失値を含み、前記同じ前記目標対象の実際領域及び検出領域の形態特徴を分析して、対応する前記目標対象の実際領域と検出領域との間の形態差異情報を取得することは、いくつかのサンプル医用画像内の同じ前記目標対象の実際領域を融合して、対応する前記目標対象の融合領域を含む融合画像を取得することと、
前記検出領域の第１画素点の重み値を使用して、対応する前記第１画素点が前記目標対象に属する確率値に対して重み付け処理して、前記形状特徴に関連する第１損失値を取得することと、を含み、
前記第１画素点の重み値は、前記融合画像内の前記第１画素点と一致する第２画素点から前記融合領域のエッジまでの距離と正の相関関係を有し、前記第１画素点は、前記検出領域のエッジ上の画素点である、
請求項１又は２に記載の画像検出モデルのトレーニング方法。
【請求項4】
前記形態特徴は、プリセットされた次元空間特徴を含み、前記形態差異情報は、前記プリセットされた次元空間特徴に関連する第２損失値を含み、前記同じ前記目標対象の実際領域及び検出領域の形態特徴を分析して、対応する前記目標対象の実際領域と検出領域との間の形態差異情報を取得することは、プリセットされた次元空間で同じ前記目標対象の実際領域に対して特徴分析を実行して、対応する前記目標対象の特徴値範囲を取得し、及び、前記プリセットされた次元空間で前記目標対象の検出領域に対してい特徴分析を実行して、対応する前記目標対象の特徴値を取得することと、
前記特徴値と前記特徴値範囲との間のサイズ関係に基づいて、前記サイズ関係に対応する処理方式を採用して前記特徴値を処理して、前記プリセットされた次元空間特徴に関連する第２損失値を取得することと、を含む、
請求項１又は２に記載の画像検出モデルのトレーニング方法。
【請求項5】
前記プリセットされた次元空間特徴は、一次元空間長さ特徴、二次元空間面積特徴、及び三次元空間体積特徴のうちの少なくとも１つを含み、及び／又は、前記特徴値は、エッジ長さ値、面積値、及び体積値のうちの少なくとも１つを含む、
請求項４に記載の画像検出モデルのトレーニング方法。
【請求項6】
前記特徴値範囲は、上限値及び下限値を含み、前記特徴値と前記特徴値範囲との間のサイズ関係に基づいて、前記サイズ関係に対応する処理方式を採用して前記特徴値を処理して、前記プリセットされた次元空間特徴に関連する第２損失値を取得することは、前記特徴値が前記特徴値範囲内にある場合、前記第２損失値はプリセット値であることと、
前記特徴値が前記下限値より小さい場合、前記特徴値と前記下限値との絶対差は、前記第２損失値と正の相関関係を有することと、
前記特徴値が前記上限値より大きい場合、前記特徴値と前記上限値との絶対差は、前記第２損失値と正の相関関係を有することと、を含む、
請求項４又は５に記載の画像検出モデルのトレーニング方法。
【請求項7】
前記形態特徴は、エッジ曲率特徴を含み、前記形態差異情報は、前記エッジ曲率特徴に関連する第３損失値を含み、前記同じ前記目標対象の実際領域及び検出領域の形態特徴を分析して、対応する前記目標対象の実際領域と検出領域との間の形態差異情報を取得することは、前記検出領域に対してエッジ抽出を実行して、前記検出領域のエッジ曲率値を取得し、前記エッジ曲率値を、エッジ曲率特徴に関連する第３損失値として使用することを含む、
請求項１又は２に記載の画像検出モデルのトレーニング方法。
【請求項8】
前記サンプル医用画像は、複数の目標対象を含み、前記画像検出モデルを使用して前記サンプル医用画像に対して検出を実行して、前記サンプル医用画像内の前記目標対象の検出領域を取得した後、前記画像検出モデルのトレーニング方法は、前記複数の目標対象間のプリセットされた包含関係に基づいて、検出された目標対象がプリセットされた共起条件を満たすか否かを決定することと、
前記検出された目標対象がプリセットされた共起条件を満たさない場合、前記検出された目標対象の検出領域のプリセットされた特徴を使用して、共起差異情報を取得することと、をさらに含み、
前記形態差異情報を使用して、前記画像検出モデルのネットワークパラメータを調整することは、
前記共起差異情報及び前記形態差異情報を使用して、前記画像検出モデルのネットワークパラメータを調整することを含む、
請求項１ないし７のいずれか一項に記載の画像検出モデルのトレーニング方法。
【請求項9】
前記プリセットされた共起条件は、検出された目標対象の数が１つである場合、前記検出された目標対象は、前記プリセットされた包含関係において最大の包含範囲を有し、前記検出された目標対象の数が複数である場合、前記検出された複数の目標対象は、前記プリセットされた包含関係において連続包含関係を有し、前記検出された複数の目標対象のうちの１つの前記目標対象は、前記プリセットされた包含関係において最大の包含範囲を有すること、及び／又は、前記プリセットされた特徴は、二次元空間面積特徴及び三次元空間体積特徴のいずれかであること、
及び／又は、前記共起差異情報は、前記二次元空間面積特徴に関連する損失値及び前記三次元空間体積特徴に関連する損失値のいずれかであること、を含む、
請求項８に記載の画像検出モデルのトレーニング方法。
【請求項10】
前記目標対象は、臓器、組織、及び病巣のうちの少なくとも１つを含み、及び／又は、前記サンプル医用画像は、二次元画像及び三次元画像のいずれか１つを含み、
及び／又は、前記サンプル医用画像は異なるフィールドに属し、
及び／又は、前記サンプル医用画像は同じフィールドに属し、前記画像検出モデルは、別のフィールドに属するサンプル医用画像を使用して事前にトレーニングすることによって取得されたものである、
請求項１ないし９のいずれか一項に記載の画像検出モデルのトレーニング方法。
【請求項11】
画像検出モデルのトレーニング装置であって、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得するように構成される、画像取得部と、
前記画像検出モデルを使用して前記サンプル医用画像に対して検出を実行して、前記サンプル医用画像内の前記目標対象の検出領域を取得するように構成される、領域検出部と、
同じ前記目標対象の実際領域及び検出領域の形態特徴を分析して、対応する前記目標対象の実際領域と検出領域との間の形態差異情報を取得するように構成される、形態分析部と、
前記形態差異情報を使用して、前記画像検出モデルのネットワークパラメータを調整するように構成される、パラメータ調整部と、を備える、前記画像検出モデルのトレーニング装置。
【請求項12】
電子機器であって、相互に結合されているメモリ及びプロセッサを備え、前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを実行することにより、請求項１ないし１０のいずれか一項に記載の画像検出モデルのトレーニング方法を実行するように構成される、前記電子機器。
【請求項13】
コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されるときに、請求項１ないし１０のいずれか一項に記載の画像検出モデルのトレーニング方法を実現する、前記コンピュータ可読記憶媒体。
【請求項14】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項１ないし１０のいずれか一項に記載の方法を実現させる、前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本願は、２０２０年１０月３０日に中国特許局に提出された、出願番号が２０２０１１１９３２６６．４である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に援用される。
［技術分野］
本発明の実施例は、画像処理の技術分野に関し、特に、画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体に関する。
本願は、２０２０年１０月３０日に中国特許局に提出された、出願番号が２０２０１１１９３２６６．４である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に援用される。
［技術分野］
本発明の実施例は、画像処理の技術分野に関し、特に、画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体に関する。
【背景技術】
【0002】
ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、コンピュータ断層撮影）及びＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、磁気共鳴撮影）などの医用画像は、臨床において重要な役割を果たしている。医用画像内の臓器や血管などの目標対象を検出して認識することにより、解剖学的構造研究や放射線治療計画などの臨床応用において医療スタッフに強力に支援することができる。これを鑑みて、医用画像検出の精度をどのように向上させるかは、研究価値の高い課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の実施例は、画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体を提供する。
【課題を解決するための手段】
【0004】
本発明の実施例の第１態様によれば、画像検出モデルのトレーニング方法を提供し、当該方法は、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得することと、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得することと、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得することと、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することと、を含む。
【0005】
したがって、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得し、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得し、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得し、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することにより、画像検出モデルをトレーニングするプロセスで、医用画像内の目標対象の形態特徴を導入することができ、目標対象の実際領域と検出領域との間の形態差異情報によって画像検出モデルの学習を制約することにより、実際領域の形態特徴に適合しない検出結果を抑制し、画像検出モデルの精度を向上させ、さらに、医用画像検出の精度を向上させることができる。
【0006】
ここで、形態特徴は、形状特徴、プリセットされた次元空間特徴、及びエッジ曲率特徴のうちの少なくとも１つを含む。
【0007】
したがって、形状特徴、プリセットされた次元空間特徴、及びエッジ曲率特徴の少なくとも１つを含むように形態特徴を設定することにより、様々な形態特徴により画像検出モデルの学習を制約することができ、画像検出モデルの精度をさらに向上させることができる。
【0008】
ここで、形態特徴は形状特徴を含み、形態差異情報は、形状特徴に関連する第１損失値を含み、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得することは、いくつかのサンプル医用画像内の同じ目標対象の実際領域を融合して、対応する目標対象の融合領域を含む融合画像を取得することと、検出領域の第１画素点の重み値を使用して、対応する第１画素点が目標対象に属する確率値に対して重み付け処理を実行して、形状特徴に関連する第１損失値を取得することと、を含み、ここで、第１画素点の重み値は、融合画像内の第１画素点と一致する第２画素点から融合領域のエッジまでの距離と正の相関関係を有し、第１画素点は、検出領域のエッジ上の画素点である。
【0009】
したがって、形態特徴が形状特徴を含む場合、いくつかのサンプル医用画像内の同じ目標対象の実際領域を融合して、対応する目標対象の融合領域を含む融合画像を取得し、検出領域の第１画素点の重み値を使用して、対応する第１画素点が目標対象に属する確率値に対して重み付け処理を実行して、形状特徴に関連する第１損失値を取得し、第１画素点の重み値は、融合画像内の第１画素点と一致する第２画素点から融合領域のエッジまでの距離と正の相関関係を有するため、融合領域のエッジから遠く離れた異常画素点を効果的に抑制することができ、画像検出モデルの精度を向上させることができる。
【0010】
ここで、形態特徴は、プリセットされた次元空間特徴を含み、形態差異情報は、プリセットされた次元空間特徴に関連する第２損失値を含み、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得することは、プリセットされた次元空間で同じ目標対象の実際領域に対して特徴分析を実行して、対応する目標対象の特徴値範囲を取得し、及び、プリセットされた次元空間で対応する目標対象の検出領域に対して特徴分析を実行して、対応する目標対象の特徴値を取得することと、特徴値と特徴値範囲との間のサイズ関係に基づいて、サイズ関係に対応する処理方式を採用して特徴値を処理して、プリセットされた次元空間特徴に関連する第２損失値を取得することと、を含む。
【0011】
したがって、形態特徴がプリセットされた次元空間特徴を含む場合、プリセットされた次元空間で同じ目標対象の実際領域に対して特徴分析を実行して、対応する目標対象の特徴値範囲を取得し、プリセットされた次元空間で対応する目標対象の検出領域に対して特徴分析を実行して、対応する目標対象の特徴値を取得し、特徴値と特徴値範囲との間のサイズ関係に基づいて、サイズ関係に対応する処理方式を採用して特徴値を処理して、プリセットされた次元空間特徴に関連する第２損失値を取得することにより、目標対象の特徴値範囲を介して、プリセットされた次元空間での目標対象の特徴値を制約することができ、複数検出又は検出漏れなど、プリセットされた次元空間特徴に適合しない状況を抑制することができ、これにより、検出モデルの精度を向上させることができる。
【0012】
ここで、プリセットされた次元空間特徴は、一次元空間長さ特徴、二次元空間面積特徴、及び三次元空間体積特徴のうちの少なくとも１つを含み、及び／又は、特徴値は、エッジ長さ値、面積値、及び体積値のうちの少なくとも１つを含む。
【0013】
したがって、一次元空間長さ特徴、二次元空間面積特徴、及び三次元空間体積特徴のうちの少なくとも１つを含むようにプリセットされた次元空間特徴を設定することにより、様々な次元空間で画像検出モデル学習を制約することができ、画像検出モデルの精度を向上させることができ、エッジ長さ値、面積値、及び体積値のうちの少なくとも１つを含むように特徴値を設定することにより、様々な次元空間で画像検出モデル学習を制約することができ、画像検出モデルの精度を向上させることができる。
【0014】
ここで、特徴値範囲は、上限値及び下限値を含み、特徴値と特徴値範囲との間のサイズ関係に基づいて、サイズ関係に対応する処理方式を採用して特徴値を処理して、第２損失値を取得することは、特徴値が特徴値範囲内にある場合、第２損失値はプリセット値であることと、特徴値が下限値より小さい場合、特徴値と下限値との絶対差は、第２損失値と正の相関関係を有することと、特徴値が上限値より大きい場合、特徴値と上限値との絶対差は、第２損失値と正の相関関係を有することと、を含む。
【0015】
したがって、特徴値が特徴値範囲内にある場合、第２損失値をプリセット値に設定し、特徴値が下限値より小さい場合、特徴値と下限値との絶対差は、第２損失値と正の相関関係を有し、特徴値が上限値より大きい場合、特徴値と上限値との絶対差は、第２損失値と正の相関関係を有するため、画像検出モデルのトレーニングプロセスで、プリセットされた次元空間での目標対象の特徴値が特徴値範囲内にあるように制約できる、これにより、画像検出モデルの精度を向上させることができる。
【0016】
ここで、形態特徴は、エッジ曲率特徴を含み、形態差異情報は、エッジ曲率特徴に関連する第３損失値を含み、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得することは、検出領域に対してエッジ抽出を実行して、検出領域のエッジ曲率値を取得し、エッジ曲率値を、エッジ曲率特徴に関連する第３損失値として使用することを含む。
【0017】
したがって、形態特徴がエッジ曲率特徴を含む場合、検出領域に対してエッジ抽出を実行して、検出領域のエッジ曲率値を取得し、エッジ曲率値を、エッジ曲率特徴に関連する第３損失値として使用し、エッジ曲率値を使用して画像検出モデル学習を制約することにより、複雑なエッジの状況を抑制し、画像検出モデルの精度を向上させることができる。
【0018】
ここで、サンプル医用画像は、複数の目標対象を含み、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得した後、画像検出モデルのトレーニング方法は、複数の目標対象間のプリセットされた包含関係に基づいて、検出された目標対象がプリセットされた共起条件を満たすか否かを決定することと、検出された目標対象がプリセットされた共起条件を満たさない場合、検出された目標対象の検出領域のプリセットされた特徴を使用して、共起差異情報を取得することと、をさらに含み、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することは、共起差異情報及び形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することを含む。
【0019】
したがって、サンプル医用画像が複数の目標対象を含む場合、複数の目標対象間のプリセットされた包含関係に基づいて、検出された目標対象がプリセットされた共起条件を満たすか否かを決定し、検出された目標対象がプリセットされた共起条件を満たさない場合、検出された目標対象の検出領域のプリセットされた特徴を使用して、共起差異情報を取得し、共起差異情報及び形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することにより、複数の目標対象が存在する場合、形態差異情報を使用して、複数の目標対象間のプリセットされた包含関係に基づいて、画像検出モデル学習を制約することができ、これにより、複数の目標対象を検出するための画像検出モデルの精度を向上させることができる。
【0020】
ここで、プリセットされた共起条件は、検出された目標対象の数が１つである場合、検出された目標対象は、プリセットされた包含関係において最大の包含範囲を有し、検出された目標対象の数が複数である場合、検出された複数の目標対象は、プリセットされた包含関係において連続包含関係を有し、前記検出された複数の目標対象のうちの１つの目標対象は、プリセットされた包含関係において最大の包含範囲を有すること、及び／又は、プリセットされた特徴は、二次元空間面積特徴及び三次元空間体積特徴のいずれかであること、及び／又は、共起差異情報は、二次元空間面積特徴に関連する損失値及び三次元空間体積特徴に関連する損失値のいずれかであること、を含む。
【0021】
したがって、検出された目標対象の数が１つである場合、検出された目標対象が、プリセットされた包含関係において最大の包含範囲を有し、検出された目標対象の数が複数である場合、検出された複数の目標対象が、プリセットされた包含関係において連続包含関係を有し、前記検出された複数の目標対象のうちの１つの目標対象が、プリセットされた包含関係において最大の包含範囲を有するように、プリセットされた共起条件を設定することにより、画像検出モデルのトレーニングプロセスで、関連関係のない対象を学習することを抑制し、複数の目標対象を検出するための画像検出モデルの精度及び完全性を向上させることができる。
【0022】
ここで、目標対象は、臓器、組織、及び病巣のうちの少なくとも１つを含み、及び／又は、サンプル医用画像は、二次元画像及び三次元画像のいずれか１つを含み、及び／又は、サンプル医用画像は異なるフィールドに属し、及び／又は、サンプル医用画像は同じフィールドに属し、画像検出モデルは、別のフィールドに属するサンプル医用画像を使用して事前にトレーニングすることによって取得されたものである。
【0023】
したがって、臓器、組織、及び病巣のうちの少なくとも１つを含むように目標対象を設定することにより、画像検出モデルが臓器や病変を検出しやすくなり、画像検出モデルの検出範囲を広げることができ、二次元画像及び三次元画像のいずれか１つを含むようにサンプル医用画像を設定することにより、画像検出モデルが二次元画像又は三次元画像の検出に適用できるようにし、画像検出モデルの使用範囲を広げることができる。サンプル医用画像が異なるフィールドに属するように設定することにより、画像検出モデルが異なるフィールドの画像の検出に適用できるようにし、画像検出モデルの使用範囲を広げることができ、トレーニングプロセスで形態特徴を導入することにより、画像検出モデルの収束を支援でき、トレーニング効率を向上させることができる。サンプル医用画像が同じフィールドに属するように設定し、別のフィールドに属するサンプル医用画像を使用して画像検出モデルを事前にトレーニングすることにより、検出モデルの適用範囲を、あるフィールドから別のフィールドまで広げることができ、トレーニングプロセスで形態特徴を導入することにより、ネットワークの過剰適合を回避でき、画像検出モデルの精度を向上させることができる。
【0024】
本発明の実施例の第２態様によれば、画像取得部、領域検出部、形態分析部及びパラメータ調整部を備える、画像検出モデルのトレーニング装置を提供し、前記画像取得部は、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得するように構成され、前記領域検出部は、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得するように構成され、前記形態分析部は、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得するように構成され、前記パラメータ調整部は、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整するように構成される。
【0025】
本発明の実施例の第３態様によれば、相互に結合されているメモリ及びプロセッサを備える、電子機器を提供し、前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを実行することにより、上記の第１態様における画像検出モデルのトレーニング方法を実現する。
【0026】
本発明の実施例の第４態様によれば、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサによって実行されるときに、上記の第１態様における像検出モデルのトレーニング方法を実現する。
【0027】
本発明の実施例の第５態様によれば、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の第１態様におけるステップを実行させる。
【発明の効果】
【0028】
上記の解決策によれば、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得し、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得し、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得し、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することにより、画像検出モデルをトレーニングするプロセスで、医用画像内の目標対象の形態特徴を導入することができ、目標対象の実際領域と検出領域との間の形態差異情報によって画像検出モデルの学習を制約することにより、実際領域の形態特徴に適合しない検出結果を抑制し、画像検出モデルの精度を向上させ、さらに、医用画像検出の精度を向上させることができる。
【図面の簡単な説明】
【0029】
【図1】本発明の実施例による画像検出モデルのトレーニング方法の１つの実施例のフローチャートである。
【図2】本発明の実施例による画像検出モデルのトレーニング方法の１つの実施例の状態図である。
【図3】本発明の実施例による、形状特徴に関連する損失値の計算方法の１つの実施例の概略図である。
【図4】本発明の実施例による画像検出モデルのトレーニング方法の別の実施例のフローチャートである。
【図5】本発明の実施例におけるプリセットされた包含関係の１つの実施例の概略図である。
【図6】本発明の実施例におけるプリセットされた包含関係の別の実施例の概略図である。
【図7】本発明の実施例による画像検出モデルトレーニング装置の１つの実施例のフレームワークの概略図である。
【図8】本発明の実施例による電子機器の１つの実施例のフレームワークの概略図である。
【図9】本発明の実施例によるコンピュータ可読記憶媒体の１つの実施例のフレームワークの概略図である。
【発明を実施するための形態】
【0030】
以下、添付の図面を参照して、本発明の実施例の技術的解決策ついて詳細に説明する。
【0031】
以下の説明では、限定するためではなく説明の目的で、本発明の実施例を明白に理解させるために、特定のシステム構造、インターフェース、及び技術などの特定の詳細が提供される。
【0032】
本明細書における「システム」及び「ネットワーク」という用語は、本明細書で常に互換可能に使用される。本明細書における「及び／又は」という用語は、関連付けられた対象を説明する関連関係のみであり、３つの関係が存在し得ることを表示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢの両方が存在する場合、Ｂが独立で存在する場合の３つの場合を表示することができる。さらに、本明細書における記号「／」は、通常、関連付けられた対象間の関係が、「又は」という関係にあることを表示する。さらに、本明細書における「複数」は、２つ又は２つ以上であることを表示する。
【0033】
医用画像には、複雑性が高いかつ単純な線形態特徴がないという特性があるため、医用画像から目標対象を自動的に分割することは非常に困難な作業である。さらに、分割結果の精度は、部分容積効果（ｐａｒｔｉａｌ ｖｏｌｕｍｅ ｅｆｆｅｃｔ）、グレースケールの不均一性、アーチファクト、異なる軟組織間のグレースケールの近接性、異なる患者の個人差及び同じ病気の異なる表現などの要因の影響を受ける。これらの課題があるため、従来の方法で、これらの複雑な環境で補助診断のためのしっかりした信頼できる分割結果を取得することは困難である。近年、深層学習の急速な発展に伴い、畳み込みニューラルネットワークは、多くの医用画像分割タスクで良好な分割結果を達成している。また、多くの研究者が、多くの作業を行い、深層学習に基づいた多くの新しい医用画像分割アルゴリズムを提案した。これらの方法は主にネットワーク設計に焦点を合わせており、ネットワークの幅と深さを拡張したり、いくつかのアテンションメカニズムモジュールを追加したりするなどの方法で、ネットワークのフィッティング機能をさらに向上させる。あるいは、損失関数設計に焦点を合わせて、類似度に基づく損失関数を設計することにより、ネットワーク予測結果が医師の注釈により類似するようにし、評価指標からより良い分割結果を取得する。
【0034】
これらの方法は多くのタスクで良好な分割効果を達成しているが、本発明の実施例の発明者は、これらの方法のほとんどが、画素点又はボクセルの類似性のみを考慮し、医用画像における多くの固有の制約条件及び形態学的先験情報を考慮していない。自然画像とは異なり、医用画像には、臓器の位置情報、方向情報、輪郭情報など、抽出可能な多くの固有の先験情報が含まれている。これらの先験情報をどのようにニューラルネットワークと組み合わせて、ネットワークがより多くの画像固有の情報を認識できるようにして、より良い分割結果を取得することにより、モデルの検出精度を向上させるかは、研究する価値のある課題である。
【0035】
そして、本願の発明者はまた、医用画像には常に多施設の差異という問題があることを発見した。つまり、異なる病院、異なる撮像機器、及び異なる撮像パラメータは、同じ物体の最終的な医用画像の撮像効果に大きな影響を与えるため、モデルの汎用性が大幅に低下し、多くのモデルは、他の機器又は病院の画像データで信頼できる結果を取得できず、各撮像効果の医用画像に対して、個別の方法とネットワークモデルを設計して提供することは、困難で時間と労力を要する。モデルの適用範囲どのように改善するかも、研究する価値のある課題である。図１を参照すると、図１は、本発明の実施例による画像検出モデルのトレーニング方法の１つの実施例のフローチャートである。
【0036】
当該トレーニング方法は、端末機器又は他の電子機器によって実行でき、ここで、端末機器は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、コンピューティング機器、車載機器、ウェアラブル機器などであり得る。他の処理機器は、サーバ又はクラウドサーバであり得る。いくつかの実施例では、当該トレーニング方法は、プロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すことで実現することができる。いくつかの実施例では、端末機器又は他の電子機器は、画像検出モデルのトレーニング装置を含み得る。
【0037】
当該トレーニング方法は、以下のステップを含み得る。
【0038】
ステップＳ１１において、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得する。
【0039】
１つの実施シナリオにおいて、サンプル医用画像は、ＭＲ画像、ＣＴ画像などであり得、ここでは限定しない。
【0040】
１つの実施シナリオにおいて、サンプル医用画像は、同じフィールドに属する。この場合、異なるサンプル医用画像は、同じ特徴を有し、特徴分布も同じであり得る。例えば、サンプル医用画像は、同じ部位をスキャンすることによって取得されたものであり、異なるサンプル医用画像の撮像効果は同じである。例えば、異なるサンプル医用画像において、同じ臓器又は組織に対して同じ表現方式（色、コントラストなど）を採用する。ここで、サンプル医用画像は、同じ医療機関（病院、健康診断センターなど）で収集されたものであってもよく、又は、サンプル医用画像は、同じメーカによって製造された医療機器（ＣＴ装置、ＭＲＩ装置など）でスキャンすることによって取得されたものであってもよく、又は、サンプル医用画像は、同じスキャンパラメータを使用してスキャンすることによって取得されたものであってもよい。
【0041】
別の実施シナリオにおいて、画像検出モデルの適用範囲を広げるために、サンプル医用画像は、異なるフィールドに属してもよい。この場合、異なるサンプル医用画像は同じ特徴を有し得るが、特徴の分布は同じではない。例えば、サンプル医用画像は、同じ部位をスキャンすることによって取得されたものであるが、異なるサンプル医用画像の撮像効果は異なる。例えば、異なるサンプル医用画像は、同じ臓器又は組織に対して異なる表現方式（色、コントラストなど）を採用する。ここで、サンプル医用画像は、異なる医療機関（病院、健康診断センターなど）で収集されたものであってもよく、又は、サンプル医用画像は、異なるメーカによって製造された医療機器（ＣＴ装置、ＭＲＩ装置など）でスキャンすることによって取得されたものであってもよく、又は、サンプル医用画像は、異なるスキャンパラメータを使用してスキャンすることによって取得されたものであってもよい。
【0042】
１つの実施シナリオにおいて、画像検出モデルの適用範囲を広げるために、サンプル医用画像は、二次元画像であってもよいし、三次元画像であってもよく、ここでは限定しない。
【0043】
１つの実施シナリオにおいて、サンプル医用画像内のマークされている目標対象は１つであり得、例えば、サンプル医用画像には肝臓がマークされていてもよいし、又は、サンプル医用画像には腎臓がマークされていてもよいし、又は、サンプル医用画像には脾臓がマークされていてもよく、実際の応用に応じて設定でき、ここでは限定しない。
【0044】
別の実施シナリオにおいて、サンプル医用画像内のマークされている目標対象は複数であり得、例えば、サンプル医用画像には肝臓、腎臓、脾臓などがマークされていてもよく、実際の応用に応じて設定でき、ここでは限定しない。
【0045】
１つの実施シナリオにおいて、サンプル医用画像内のマークされている目標対象は、前述した肝臓、腎臓、脾臓などの臓器であっもよく、ここでは限定しない。別の実施シナリオにおいて、サンプル医用画像内のマークされている目標対象は、腫瘍、血腫、滲出液などの病巣であっもよく、ここでは限定しない。別の実施シナリオにおいて、サンプル医用画像内のマークされている目標対象は、肝臓及び肝臓の腫瘍、又は腎臓及び腎臓の腫瘍など、臓器及び病巣を含んでもよく、ここでは限定しない。
【0046】
ステップＳ１２において、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得する。
【0047】
本発明の各実施例では、サンプル医用画像を画像検出モデルに入力することにより、即ち、画像検出モデルを使用してサンプル医用画像に対して検出を実行することにより、サンプル医用画像内の目標対象に対応する検出領域を取得できる。例えば、肝臓及び肝臓の腫瘍がマークされているサンプル医用画像に対して検出を実行することにより、サンプル医用画像内の肝臓に対応する検出領域及び腫瘍に対応する検出領域を取得でき、他の場合でも同様であり、ここでは繰り返して説明しない。図２を参照すると、図２は、本発明の実施例による画像検出モデルのトレーニング方法の１つの実施例の状態図である。図２に示されるように、図２の左側に示されているサンプル医用画像には、白い線で目標対象の実際領域がマークされている。ここで、最大範囲は、肝臓に対応する実際領域であり、肝臓に対応する実際領域にマークされているのは、腫瘍に対応する実際領域であり、図２の右側に示されているのは、肝臓に対応する検出領域及び腫瘍に対応する検出領域である。他のシナリオでも同様であり、ここでは繰り返して説明しない。
【0048】
１つの実施シナリオにおいて、画像検出モデルは、例えば、Ｕ－Ｎｅｔなどの畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）であり得、実際の応用に応じて設定でき、ここでは限定しない。
【0049】
１つの実施シナリオにおいて、サンプル医用画像が同じフィールドに属するように設定し、別のフィールドに属するサンプル医用画像を使用して画像検出モデルを事前にトレーニングすることにより、画像検出モデルの適用範囲を、あるフィールドから別のフィールドまで広げることができ、トレーニングプロセスで形態学特徴を導入することにより、ネットワークの過剰適合を回避でき、画像検出モデルの精度を向上させることができる。
【0050】
ステップＳ１３において、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得する。
【0051】
１つの実施シナリオにおいて、形態特徴が、形状特徴、プリセットされた次元空間特徴、及びエッジ曲率特徴のうちの少なくとも１つを含み得ることにより、様々な形態特徴により画像検出モデルの学習を制約することができ、画像検出モデルの精度を向上させることができる。ここで、形状特徴は、目標対象の全体的な形状が円錐や紡錘体であることなど、目標対象の形状に関連する特徴を表し、エッジ曲率特徴は、目標対象のエッジの曲率に関連する特徴を表し、例えば、目標対象のエッジが滑らかであること、又は、目標対象のエッジが凸凹であることなどを表す。さらに、プリセットされた次元空間特徴は、目標対象のエッジ長さなどの一次元空間長さ特徴を含んでもよいし、又は、目標対象の占有面積などの二次元空間面積特徴をんでもよいし、又は、目標対象の占有体積などの三次元空間体積特徴を含んでもよい。プリセットされた次元空間は、実際の応用に応じて設定でき、例えば、サンプル医用画像が二次元画像である場合、プリセットされた次元空間特徴は、一次元空間長さ特徴であってもよいし、又は二次元空間領域特徴であってもよく、サンプル医用画像が三次元画像である場合、プリセット次元空間特徴は、三次元空間体積特徴であり得、ここでは限定しない。１つの実施シナリオにおいて、形態特徴がプリセットされた次元空間特徴を含む場合、プリセットされた次元空間で同じ目標対象の実際領域に対して特徴分析を実行して、対応する目標対象の特徴値範囲を取得し、プリセットされた次元空間で対応する目標対象の検出領域に対して特徴分析を実行して、対応する目標対象の特徴値を取得することにより、特徴値と特徴値範囲との間のサイズ関係に基づいて、サイズ関係に対応する処理方式を採用して特徴値を処理して、プリセットされた次元空間特徴に関連する第２損失値を取得することができる。上記の方法によれば、目標対象の特徴値範囲を介して、プリセットされた次元空間での目標対象の特徴値を制約することができ、複数検出（即ち、検出によって取得された実際領域が、実際に目標対象に属しない画素点を含む）又は検出漏れ（即ち、検出によって取得された実際領域に、実際に目標対象に属する画素点が完全に含まれていない）など、プリセットされた次元空間特徴に適合しない状況を抑制することができ、これにより、画像検出モデルの精度を向上させることができる。
【0052】
１つの実施シナリオにおいて、一次元空間長さ特徴を例として、検出領域に対してエッジ抽出を実行して、検出領域のエッジ長さ値を取得し、それを、形態特徴が一次元空間長さ特徴を含む場合の特徴値として使用できる。ここで、ｓｏｂｅｌ、ｃａｎｎｙなどのエッジ抽出演算子又は差分法を採用してエッジ抽出を実行でき、ここでは限定しない。例えば、
の２つのｓｏｂｅｌ演算子を採用できる。例えば、肝臓に対応する検出領域に対してエッジ抽出を実行して、肝臓検出領域のエッジ長さ値を取得するか、又は、腫瘍に対応する検出領域に対してエッジ抽出を実行して、腫瘍検出領域のエッジ長さ値を取得することができ、他の場合でも同様であり、ここでは繰り返して説明しない。さらに、複数のサンプル医用画像内の同じ目標対象の実際領域に対してエッジ抽出を実行して、複数の実際領域にそれぞれ対応するエッジ長さ値を取得することもでき、次に、複数のエッジ長さ値に対して統計分析を実行して、長さ値の範囲を取得でき、それを、形態特徴が一次元空間長さ特徴を含む場合の特徴値範囲として使用できる。ここで、複数のエッジ長さ値の最小値を、長さ値の範囲の下限値として使用し、複数のエッジ長さ値の最大値を、長さ値の範囲の上限値として使用してもよく、又は、複数のエッジ長さ値を昇順で並べ替えて、１番目の比率（５％など）のエッジ長さ値を、長さ値の範囲の下限値として使用し、２番目の比率（９５％など）のエッジ長さ値を、長さ値の範囲の上限値として使用してもよく、実際の応用に応じて設定でき、ここでは限定しない。例えば、複数のサンプル医用画像内の肝臓の実際領域に対してエッジ抽出を実行することにより、肝臓の長さ値の範囲を最終的に取得するか、又は、複数のサンプル医用画像内の腫瘍の実際領域に対してエッジ抽出を実行することにより、腫瘍の長さ値の範囲を最終的に取得し、他の場合でも同様であり、ここでは繰り返して説明しない。
【化1】
【0053】
別の実施シナリオにおいて、二次元空間領域特徴を例として、検出領域に含まれる画素点の数を検出領域の面積値として使用してもよく、又は、検出領域に含まれる画素点の数が目標対象に属する確率値の合計を検出領域の面積値として使用してもよく、それにより、上記の面積値を、形態特徴が二次元空間領域特徴を含む場合の特徴値として使用することができ、それは実際の応用に応じて設定でき、ここでは限定しない。例えば、肝臓に対応する検出領域に対して統計分析を実行して、肝臓検出領域の面積値を取得するか、又は、腫瘍に対応する検出領域を統計分析して、腫瘍検出領域の面積値を取得できる。また、複数のサンプル医用画像内の同じ目標対象の実際領域に対して統計分析を実行して、複数の実際領域に対応する面積値を取得することにより、複数の面積値に対して統計分析を実行して、面積値範囲を取得でき、それを、形態特徴が二次元空間領域特徴を含む場合の特徴値範囲として使用できる。ここで、複数の面積値の最小値を面積値範囲の下限値として使用し、複数の面積値の最大値を面積値範囲の上限値として使用してもよく、又は、複数の面積値を昇順で並べ替えて、１番目の比率（５％など）の面積値を面積値範囲の下限値として使用し、２番目の比率（９５％など）の面積値を面積値範囲の上限値として使用してもよく、それは実際の応用に応じて設定でき、ここでは限定しない。例えば、複数のサンプル医用画像内の肝臓の実際領域に対して統計分析を実行することにより、肝臓の面積値範囲を最終的に取得するか、又は、複数のサンプル医用画像内の腫瘍の実際領域に対して統計分析を実行することにより、腫瘍の面積値範囲を最終的に取得することができ、他の場合でも同様であり、ここでは繰り返して説明しない。
【0054】
別の実施シナリオにおいて、三次元空間体積特徴を例として、サンプル医用画像が三次元画像である場合、検出領域に含まれる画素点の数を検出領域の体積値として使用してもよく、又は、検出領域に含まれる画素点の数が目標対象に属する確率値の合計を検出領域の体積値として使用してもよく、それにより、上記の体積値を、形態特徴が三次元空間領域特徴を含む場合の特徴値として使用し、それは実際の応用に応じて設定でき、ここでは限定しない。例えば、肝臓に対応する検出領域に対して統計分析を実行して、肝臓検出領域の体積値を取得するか、又は、腫瘍に対応する検出領域に対して統計分析を実行して、腫瘍検出領域の体積値を取得できる。また、複数のサンプル医用画像内の同じ目標対象の実際領域に対して統計分析を実行して、複数の実際領域に対応する体積値を取得でき、それにより、複数の体積値に対して統計分析を実行して、体積値範囲を取得し、それを形態特徴が三次元空間領域特徴を含む場合の特徴値範囲として使用することができる。ここで、複数の体積値の最小値を体積値範囲の下限値として使用し、複数の体積値の最大値を体積値範囲の上限値として使用してもよく、又は、複数の体積値を昇順で並べ替えて、１番目の比率（５％など）の体積値を体積値範囲の下限値として使用し、２番目の比率（９５％など）の体積値を体積値範囲の上限値として使用してもよく、それは実際の応用に応じて設定でき、ここでは限定しない。例えば、複数のサンプル医用画像内の肝臓の実際領域に対して統計分析を実行することにより、肝臓の体積値範囲を最終的に取得するか、又は、複数のサンプル医用画像内の腫瘍の実際領域に対して統計分析を実行することにより、腫瘍の体積値範囲を最終的に取得することができ、他の場合でも同様であり、ここでは繰り返して説明しない。
【0055】
別の実施シナリオにおいて、説明の便宜上、上記の特徴値をｐｒｅと表記し、上記の特徴値に対応する特徴値範囲の下限値をｍｉｎと表記し、上記の特徴値に対応する特徴値範囲の上限値をｍａｘと表記できる。そうすると、特徴値ｐｒｅが特徴値範囲（即ち、ｍｉｎからｍａｘの範囲）にある場合、プリセットされた次元空間特徴に関連する第２損失値は、プリセット値（０など）であり、特徴値ｐｒｅが下限値ｍｉｎより小さい場合、特徴値ｐｒｅと下限値ｍｉｎとの絶対差は、損失値と正の相関関係を有し、つまり、ｐｒｅとｍｉｎとの絶対差が大きいほど、損失値は大きくなり、特徴値ｐｒｅが上限値ｍａｘより大きい場合、特徴値ｐｒｅと上限値ｍａｘとの絶対差は、損失値と正の相関関係を有し、つまり、ｐｒｅとｍａｘとの絶対差が大きいほど、損失値は大きくなる。実際の応用に応じて設定でき、例えば、下記式で表すとおりであり得る。
【0056】
【数1】
【0057】
【化2】
【0058】
【化3】
【0059】
別の実施シナリオにおいて、形態特徴が形状特徴を含む場合、いくつかのサンプル医用画像内の同じ目標対象の実際領域を融合して、対応する目標対象の融合領域を含む融合画像を取得し、検出領域の第１画素点の重み値を使用して、対応する第１画素点が目標対象に属する確率値に対して重み付け処理を実行して、形状特徴に関連する第１損失値を取得し、第１画素点の重み値は、融合画像内の第１画素点と一致する第２画素点から融合領域のエッジまでの距離と正の相関関係を有し（即ち、距離が大きいほど、重み値は大きくなる）、例えば、重み値を距離として直接設定するか、又は、重み値を、距離と特定の係数との積として設定することができ、ここでは限定しない。上記の方法は、融合領域のエッジから遠く離れた異常画素点を効果的に抑制することができ、画像検出モデルの精度を向上させることができる。
【0060】
１つの実施シナリオにおいて、同じ目標対象の実際領域に対して、剛体レジストレーション（Ｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ）、プロクラステス分析（Ｐｒｏｃｒｕｓｔｅｓ ａｎａｌｙｓｉｓ）などの方法によって空間変換を実行して、同じ空間座標系に変換する、実際領域に対してスケール正規化処理を実行することができる。ここで、サンプル医用画像が三次元画像である場合、ボクセル（ｖｏｘｅｌｓ）に対して正規化を実行でき、サンプル医用画像が二次元画像である場合、実際領域の長さと幅などに対して正規化を実行でき、最後に、実際領域の対応する画素点の画素値に対して平均化処理を実行して、融合領域を含む融合画像を取得することができ、当該融合領域は、対応する目標対象の平均形状モデルと見なすことができる。
【0061】
以上のように、形状特徴を計算する際には、平均形状モデルを使用でき、平均形状モデルは、（１）位置合せ（ａｌｉｇｎｍｅｎｔ）、（２）スケーリング（ｓｃａｌｉｎｇ）、（３）平均化の３つのステップ介して取得できる。ここで、オリジネーションとは、同じセマンティック情報を有する複数のサンプル医用画像に対して剛体レジストレーション又はプロクラステス分析などの方法を使用して、各サンプル医用画像の特徴に対して空間変換を実行して、同じ空間座標系に変換することを指す。スケーリングとは、各サンプル医用画像内の分割結果に対してスケール正規化を実行することを指し、ここで、３Ｄサンプル医用画像の場合、対応する原画像のＳｐａｃｉｎｇに従って正規化を実行でき、２Ｄサンプル医用画像の場合、分割結果の長さと幅などの統計量を使用して正規化を実行できる。オリジネーションと正規化の後、すべてのサンプル医用画像の分割結果を平均して、平均形状モデルを取得する。
【0062】
１つの実施シナリオにおいて、融合領域に対してユークリッド距離変換（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ Ｔｒａｎｓｆｏｒｍ）を実行して、融合領域に対応する距離ヒートマップ（ｈｅａｔｍａｐ）を取得でき、距離ヒートマップ内の各画素点の画素値は、対応する画素点から融合領域のエッジまでの距離を表し、ここで、距離が大きいほど、画素値は大きくなる。次に、サンプル医用画像を、融合画像が属する空間に一致させて、サンプル医用画像の実際領域が融合画像内の融合領域にレジストレーションされるようにし、次に、そのレジストレーションされたサンプル医用画像に対して検出を実行して、サンプル医用画像内の検出領域を取得する。それにより、検出領域と距離ヒートマップに基づいて、融合画像内の検出領域の第１画素点と一致する第２画素点から融合領域のエッジまでの距離を取得でき、当該距離に基づいて、それと正の相関関係を有する重み値を取得し、第１画素点が画像検出モデルの検出を経過して目標対象に属するものとして検出される確率値に対して重み付け処理を実行して、その処理結果を、形状特徴に関連する第１損失値として使用する。ここで、検出領域の第１画素点は、検出領域のエッジ上の画素点を指し得る。図３を参照すると、図３は、形状特徴に関連する損失値の計算方法の１つの実施例の概略図である。図３に示されるように、融合画像の実線で囲まれた領域は融合領域を表し、破線で囲まれた領域は検出領域を表し、ｐ１とｐ２は両方とも検出領域の第１画素点を表し、ｐ１１は融合画像内の第１画素点ｐ１と一致する第２画素点を表し、ｐ２１は、融合画像内の第１画素点ｐ２と一致する第２画素点を表し、ｄ１は、第２画素点ｐ１１から融合領域のエッジまでの距離を表し、ｄ２は、第２画素点ｐ２１から融合領域のエッジまでの距離を表す。そうすると、距離ｄ１を、第１画素点ｐ１が目標対象に属する確率値Ｐ１の重み値として使用し、距離ｄ２を、第１画素点ｐ２が目標対象に属する確率値Ｐ２の重み値として使用でき、これによって類推すると、最終的に、検出領域の第１画素点の加重和を、形態特徴に関連する第１損失値として使用できる。他の場合でも同様であり、ここでは繰り返して説明しない。
【0063】
別の実施シナリオにおいて、形態特徴がエッジ曲率特徴を含む場合、検出領域に対してエッジ抽出を直接実行して、検出領域のエッジ曲率値を取得することもでき、エッジ曲率値を、エッジ曲率特徴に関連する第３損失値として使用できる。ここで、差分法又は
【0064】
【化4】
【0065】
【化5】
【0066】
ここで、差分法を使用する場合、Ｍａｘｐｏｏｌｉｎｇなどの非線形法によって、分割結果の侵食又は膨張された結果を取得し、これらの結果を減算して、差分シミュレーションのエッジを取得することができる。
【0067】
ここで、上記の損失値は、実際の応用に応じて選択でき、例えば、形状特徴に関連する第１損失値を選択するか、又は、プリセットされた次元空間特徴に関連する第２損失値を選択するか、又は、エッジ曲率特徴に関連する第２損失値を選択するか、又は、上記の３つの任意の組み合わせを選択でき、ここでは限定しない。また、損失関数を事前に設定でき、当該損失関数は、二次元空間面積特徴、一次元空間長さ特徴、及びエッジ曲率特徴を含み、これに関しては前述した関連する説明を参照でき、ここでは繰り返して説明しない。
【0068】
ステップＳ１４において、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整する。
【0069】
１つの実施シナリオにおいて、画像検出の精度を向上させるために、形態差異情報に加えて、同じ目標対象の実際領域と検出領域との間の領域差異情報を計算することもでき、クロスエントロピー損失関数（ｃｒｏｓｓ ｅｎｔｒｏｐｙ ｌｏｓｓ）、ｄｉｃｅ ｌｏｓｓなどを使用して当該領域差異情報を計算することができ、ここでは限定しない。それにより、形態差異情報と領域差異情報に基づいて、画像検出モデルのネットワークパラメータを調整することができる。
【0070】
１つの実施シナリオにおいて、確率的勾配降法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＳＧＤ）、バッチ勾配降下法（Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＢＧＤ）、ミニ・バッチ勾配降下法（Ｍｉｎｉ－Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＭＢＧＤ）などの方法を採用して、損失値を使用して、画像検出モデルのパラメータを調整できる。ここで、バッチ勾配降下法は、各反復において、すべてのサンプルを使用してパラメータを更新することであり、確率的勾配降下法は、各反復において、１つのサンプルを使用してパラメータを更新することであり、ミニバッチ勾配降下法は、各反復において、１バッチのサンプルを使用してパラメータを更新することであり、ここでは繰り返して説明しない。
【0071】
１つの実施シナリオにおいて、トレーニング終了条件も設定でき、トレーニング終了条件を満たす場合、画像検出モデルのトレーニングを終了できる。ここで、トレーニング終了条件は、損失値がプリセットされた損失閾値未満であり、かつ損失値が減少しなくなること、現在のトレーニング回数がプリセットされた回数閾値（５００回、１０００回など）に達したことを含み得、ここでは限定しない。
【0072】
１つの実施シナリオにおいて、トレーニングよって取得された画像検出モデルを使用して、検出対象となる医用画像に対して検出を実行するとき、検出対象となる医用画像内の、検出によって取得された検出領域に対して形態特徴分析などの後処理を実行して、検出によって取得された検出領域が目標対象の形態特徴に適合するか否かを決定する。例えば、エッジ長さ特徴、二次元空間面積特徴、三次元空間体積特徴などの態様から、検出によって取得された検出領域を分析することができ、エッジの長さ値が長さ値範囲を超える場合、又は面積値が面積値範囲を超える場合、又は体積値が体積値範囲を超える場合、検出によって取得された検出領域に、複数検出又は検出漏れの可能性があると見なすことができ、この場合、関連するプロンプト情報を出力することもできる。
【0073】
上記の解決策によれば、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得し、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得し、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得し、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することにより、画像検出モデルをトレーニングするプロセスで、医用画像内の目標対象の形態特徴を導入することができ、目標対象の実際領域と検出領域との間の形態差異情報によって画像検出モデルの学習を制約することにより、実際領域の形態特徴に適合しない検出結果を抑制し、画像検出モデルの精度を向上させ、さらに、医用画像検出の精度を向上させることができる。
【0074】
図４を参照すると、図４は、本発明の実施例による画像検出モデルのトレーニング方法の別の実施例のフローチャートである。ここで、図４は、複数の目標対象を含む場合の画像検出モデルのトレーニング方法の例示的なフローチャートであり、以下のステップを含み得る。
【0075】
ステップＳ４１において、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得する。
【0076】
前述した本発明の実施例の関連するステップを参照でき、ここでは繰り返して説明しない。
【0077】
ステップＳ４２において、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得する。
【0078】
前述した本発明の実施例の関連するステップを参照でき、ここでは繰り返して説明しない。
【0079】
ステップＳ４３において、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得する。
【0080】
前述した本発明の実施例の関連するステップを参照でき、ここでは繰り返して説明しない。
【0081】
ステップＳ４４において、複数の目標対象間のプリセットされた包含関係に基づいて、検出された目標対象がプリセットされた共起条件を満たすか否かを決定する。
【0082】
本発明の実施例では、複数の目標対象間のプリセットされた包含関係は、実際の検出タスクに応じて設定できる。例えば、図５を参照すると、図５は、プリセットされた包含関係の１つの実施例の概略図であり、実際の検出タスクが胴体に対して検出を実行することにより、肝臓及び肝臓の腫瘍を検出することである場合、複数の目標対象間のプリセットされた包含関係は、胴体が肝臓を含み、肝臓が腫瘍を含むことであり、即ち、胴体が最大の包含範囲を有し、胴体と肝臓は連続包含関係を有し、肝臓と腫瘍も連続包含関係を有するが、胴体と腫瘍は連続包含関係を有しない。又は、図６を参照すると、図６は、プリセットされた包含関係の別の実施例の概略図であり、実際の検出タスクが胴体に対して検出を実行することにより、胆嚢、腎臓、肝臓、及び胴体、肝臓の血管、及び肝臓と腎臓の腫瘍を検出することである場合、複数の目標対象間のプリセットされた包含関係は、胴体が血管（下大静脈など）、肝臓、腎臓及び胆嚢を含み、肝臓が血管（肝内静脈など）、肝臓を含み、腎臓が腫瘍を含むことであり、即ち、胴体が最大の包含範囲を有し、胴体と肝臓は連続包含関係を有し、胴体と腎臓も連続包含関係を有し、胴体と腫瘍は連続包含関係を有しない。また、他の実施シナリオでは、腎臓は血管（腎臓内血管など）も含み得、実際の応用に応じて設定でき、ここでは限定しない。他の場合でも同様であり、ここでは繰り返して説明しない。
【0083】
１つの実施シナリオにおいて、検出された目標対象の数が１つである場合、プリセットされた共起条件は、検出された目標対象が、プリセットされた包含関係において最大の包含範囲を有することを含む。図５に示されるプリセットされた包含関係を例として、１つの目標対象が検出され、且つ当該目標対象が胴体である場合、検出された目標対象がプリセットされた共起条件を満たすと見なすことができ、１つの目標対象が検出されたが、当該目標対象が肝臓又は腫瘍である場合、検出された目標対象がプリセットされた共起条件を満たさないと見なすことができる。別の実施シナリオにおいて、検出された目標対象の数が複数である場合、プリセットされた共起条件は、検出された複数の目標対象が、プリセットされた包含関係において連続包含関係を有し、前記検出された複数の目標対象のうちの１つの目標対象がプリセットされた包含関係において最大の包含範囲を有することを含み得る。依然として図５に示されるプリセットされた包含関係を例として、検出された複数の目標対象が胴体と肝臓である場合、この２つが連続包含関係を有し、胴体が最大の包含範囲を有するため、検出された胴体と肝臓が、プリセットされた共起条件を満たすと見なすことができ、又は、検出された複数の目標対象が肝臓と腫瘍である場合、この２つが連続包含関係を有するが、どちらも最大の包含範囲を有しないため、検出された肝臓と腫瘍が、プリセットされた共起条件を満たさないと見なすことができる。表１を参照すると、表１は、図５に示されるプリセットされた包含関係に対応する共起状況である。
【0084】
【表1】
【0085】
ステップＳ４５において、検出された目標対象がプリセットされた共起条件を満たさない場合、検出された目標対象の検出領域のプリセットされた特徴を使用して、共起差異情報を取得する。
【0086】
依然として図５に示されるプリセットされた包含関係を例として、表１を参照すると、腫瘍が検出された場合、胴体と肝臓以外の腫瘍の検出領域のプリセットされた特徴を使用して、共起差異情報を取得でき、つまり、検出された腫瘍の、胴体と肝臓の外側の実際領域のプリセットされた特徴を使用して、共起差異情報を取得できる。又は、胴体と腫瘍が検出された場合、肝臓以外かつ胴体内の腫瘍の検出領域のプリセットされた特徴を使用して、共起差異情報を取得でき、つまり、検出された腫瘍の、胴体の内側にあり且つ肝臓の外側にある実際領域のプリセットされた特徴を使用して、共起差異情報を取得でき、他の場合でも同様であり、ここでは繰り返して説明しない。
【0087】
１つの実施シナリオにおいて、上記のプリセットされた特徴は、二次元空間面積特徴及び三次元空間体積特徴のいずれかであり得る。共起差異情報は、二次元空間面積特徴に関連する損失値であってもよく、又は、三次元空間体積特徴に関連する損失値であってもよい。ここで、サンプル医用画像が二次元画像である場合、プリセットされた特徴は二次元空間面積特徴であり得、サンプル医用画像が三次元画像である場合、プリセットされた特徴は三次元空間体積特徴であり得る。二次元空間面積特徴、三次元空間体積特徴、及び関連する損失値については、前述した本発明の実施例の関連する説明を参照でき、ここでは繰り返して説明しない。
【0088】
１つの実施シナリオにおいて、上記のステップＳ４３及びステップＳ４４、ステップＳ４５は、順番に実行でき、例えば、まずステップＳ４３を実行し、次にステップＳ４４、ステップＳ４５を実行するか、又は、まずステップＳ４４、ステップＳ４５を実行し、次にステップＳ４３を実行することもできる。別の実施シナリオにおいて、上記のステップＳ４３及びステップＳ４４、ステップＳ４５を同時に実行することもでき、すなわち、形態差異情報及び共起差異情報を同時に取得することができる。
【0089】
１つの実施シナリオにおいて、検出された目標対象がプリセットされた共起条件を満たす場合、共起差異情報がないと見なすことができ、以下のステップＳ４６を直接実行することができる。
【0090】
ステップＳ４６において、共起差異情報及び形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整する。
【0091】
１つの実施シナリオにおいて、共起差異情報及び形態差異情報に加えて、クロスエントロピー損失関数（ｃｒｏｓｓ ｅｎｔｒｏｐｙ ｌｏｓｓ）、ｄｉｃｅ ｌｏｓｓなどを使用して実際領域と検出領域との領域差異情報を計算することもでき、それにより、共起差異情報、形態差異情報及び領域差異情報を使用して、画像検出モデルのネットワークパラメータを調整することができる。前述した本発明の実施例の関連する説明を参照でき、ここでは繰り返して説明しない。
【0092】
前述の実施例とは異なり、サンプル医用画像が複数の目標対象を含む場合、複数の目標対象間のプリセットされた包含関係に基づいて、検出された目標対象がプリセットされた共起条件を満たすか否かを決定し、検出された目標対象がプリセットされた共起条件を満たさない場合、検出された目標対象の検出領域のプリセットされた特徴を使用して、共起差異情報を取得し、共起差異情報及び形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整する。それにより、複数の目標対象が存在する場合、形態差異情報を使用して、複数の目標対象間のプリセットされた包含関係に基づいて、画像検出モデル学習を制約することができ、これにより、複数の目標対象を検出するための画像検出モデルの精度を向上させることができる。
【0093】
図７を参照すると、図７は、本発明の実施例による画像検出モデルトレーニング装置７０の１つの実施例のフレームワークの概略図である。前記画像検出モデルトレーニング装置７０は、画像取得部７１、領域検出部７２、形態分析部７３及びパラメータ調整部７４を備え、前記画像取得部７１は、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得するように構成され、前記領域検出部７２は、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得するように構成され、前記形態分析部７３は、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得するように構成され、前記パラメータ調整部７４は、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整するように構成される。
【0094】
上記の解決策によれば、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得し、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得し、同じ目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得し、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することにより、画像検出モデルをトレーニングするプロセスで、医用画像内の目標対象の形態特徴を導入することができ、目標対象の実際領域と検出領域との間の形態差異情報によって画像検出モデルの学習を制約することにより、実際領域の形態特徴に適合しない検出結果を抑制し、画像検出モデルの精度を向上させ、さらに、医用画像検出の精度を向上させることができる。
【0095】
本発明のいくつかの実施例では、形態特徴は、形状特徴、プリセットされた次元空間特徴、及びエッジ曲率特徴のうちの少なくとも１つを含む。
【0096】
前述の実施例とは異なり、形状特徴、プリセットされた次元空間特徴、エッジ曲率特徴の少なくとも１つを含むように形態特徴を設定することにより、様々な形態特徴により画像検出モデルの学習を制約することができ、画像検出モデルの精度をさらに向上させることができる。
【0097】
本発明のいくつかの実施例では、形態特徴は形状特徴を含み、形態差異情報は、形状特徴に関連する第１損失値を含み、形態分析部７３は、領域融合サブパートを備え、前記領域融合サブパートは、いくつかのサンプル医用画像内の同じ目標対象の実際領域を融合して、対応する目標対象の融合領域を含む融合画像を取得するように構成される。形態分析部７３は、重み付け処理サブパートを備え、前記重み付け処理サブパートは、検出領域の第１画素点の重み値を使用して、対応する第１画素点が目標対象に属する確率値に対して重み付け処理を実行して、形状特徴に関連する第１損失値を取得するように構成され、ここで、第１画素点の重み値は、融合画像内の第１画素点と一致する第２画素点から融合領域のエッジまでの距離と正の相関関係を有し、第１画素点は、検出領域のエッジ上の画素点である。
【0098】
前述の実施例とは異なり、形態特徴が形状特徴を含む場合、いくつかのサンプル医用画像内の同じ目標対象の実際領域を融合して、対応する目標対象の融合領域を含む融合画像を取得し、検出領域の第１画素点の重み値を使用して、対応する第１画素点が目標対象に属する確率値に対して重み付け処理を実行して、形状特徴に関連する第１損失値を取得し、第１画素点の重み値は、融合画像内の第１画素点と一致する第２画素点から融合領域のエッジまでの距離と正の相関関係を有するため、融合領域のエッジから遠く離れた異常画素点を効果的に抑制することができ、画像検出モデルの精度を向上させることができる。
【0099】
本発明のいくつかの実施例では、形態特徴は、プリセットされた次元空間特徴を含み、形態差異情報は、プリセットされた次元空間特徴に関連する第２損失値を含み、形態分析部７３は、特徴分析サブパートを備え、前記特徴分析サブパートは、プリセットされた次元空間で同じ目標対象の実際領域に対して特徴分析を実行して、対応する目標対象の特徴値範囲を取得し、及び、プリセットされた次元空間で対応する目標対象の検出領域に対して特徴分析を実行して、対応する目標対象の特徴値を取得するように構成される。形態分析部７３は、特徴処理サブパートを備え、前記特徴処理サブパートは、特徴値と特徴値範囲との間のサイズ関係に基づいて、サイズ関係に対応する処理方式を採用して特徴値を処理して、プリセットされた次元空間特徴に関連する第２損失値を取得するように構成される。
【0100】
前述の実施例とは異なり、形態特徴がプリセットされた次元空間特徴を含む場合、プリセットされた次元空間で同じ目標対象の実際領域に対して特徴分析を実行して、対応する目標対象の特徴値範囲を取得し、プリセットされた次元空間で対応する目標対象の検出領域に対して特徴分析を実行して、対応する目標対象の特徴値を取得することにより、特徴値と特徴値範囲との間のサイズ関係に基づいて、サイズ関係に対応する処理方式を採用して特徴値を処理して、プリセットされた次元空間特徴に関連する第２損失値を取得する。それにより、目標対象の特徴値範囲を介して、プリセットされた次元空間での目標対象の特徴値を制約することができ、複数検出又は検出漏れなど、プリセットされた次元空間特徴に適合しない状況を抑制することができ、これにより、画像検出モデルの精度を向上させることができる。
【0101】
本発明のいくつかの実施例では、プリセットされた次元空間特徴は、一次元空間長さ特徴、二次元空間面積特徴、及び三次元空間体積特徴のうちの少なくとも１つを含み、及び／又は、特徴値は、エッジ長さ値、面積値、及び体積値のうちの少なくとも１つを含む。
【0102】
前述の実施例とは異なり、一次元空間長さ特徴、二次元空間面積特徴、及び三次元空間体積特徴のうちの少なくとも１つを含むようにプリセットされた次元空間特徴を設定することにより、様々な次元空間で画像検出モデル学習を制約することができ、画像検出モデルの精度を向上させることができる。そして、エッジ長さ値、面積値、及び体積値のうちの少なくとも１つを含むように特徴値を設定することにより、様々な次元空間で画像検出モデル学習を制約することができ、画像検出モデルの精度を向上させることができる。
【0103】
本発明のいくつかの実施例では、特徴値範囲は、上限値及び下限値を含み、特徴処理サブパートはさらに、特徴値が特徴値範囲内にある場合、第２損失値はプリセット値であり、特徴値が下限値より小さい場合、特徴値と下限値との絶対差は、第２損失値と正の相関関係を有し、特徴値が上限値より大きい場合、特徴値と上限値との絶対差は、第２損失値と正の相関関係を有するように構成される。
【0104】
前述の実施例とは異なり、特徴値が特徴値範囲内にある場合、第２損失値をプリセット値に設定し、特徴値が下限値より小さい場合、特徴値と下限値との絶対差は、第２損失値と正の相関関係を有し、且つ特徴値が上限値より大きい場合、特徴値と上限値との絶対差は、第２損失値と正の相関関係を有するため、画像検出モデルのトレーニングプロセスで、プリセットされた次元空間での目標対象の特徴値が特徴値範囲内にあるように制約でき、これにより、画像検出モデルの精度を向上させることができる。
【0105】
本発明のいくつかの実施例では、形態特徴は、エッジ曲率特徴を含み、形態差異情報は、エッジ曲率特徴に関連する第３損失値を含み、形態分析部７３は、曲率分析サブパートを備え、前記曲率分析サブパートは、検出領域に対してエッジ抽出を実行して、検出領域のエッジ曲率値を取得し、エッジ曲率値を、エッジ曲率特徴に関連する第３損失値として使用するように構成される。
【0106】
前述の実施例とは異なり、形態特徴がエッジ曲率特徴を含む場合、検出領域に対してエッジ抽出を実行して、検出領域のエッジ曲率値を取得し、エッジ曲率値を、エッジ曲率特徴に関連する第３損失値として使用し、エッジ曲率値を使用して画像検出モデル学習を制約することにより、複雑なエッジの状況を抑制し、画像検出モデルの精度を向上させることができる。
【0107】
本発明のいくつかの実施例では、サンプル医用画像は、複数の目標対象を含み、画像検出モデルトレーニング装置７０はさらに、共起検査パートを備え、前記共起検査パートは、前記画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得した後、複数の目標対象間のプリセットされた包含関係に基づいて、検出された目標対象がプリセットされた共起条件を満たすか否かを決定するように構成される。画像検出モデルトレーニング装置７０はさらに、共起差異パートを備え、前記共起差異パートは、検出された目標対象がプリセットされた共起条件を満たさない場合、検出された目標対象の検出領域のプリセットされた特徴を使用して、共起差異情報を取得するように構成される。パラメータ調整部７４はさらに、共起差異情報及び形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整するように構成される。
【0108】
前述の実施例とは異なり、サンプル医用画像が複数の目標対象を含む場合、複数の目標対象間のプリセットされた包含関係に基づいて、検出された目標対象がプリセットされた共起条件を満たすか否かを決定し、検出された目標対象がプリセットされた共起条件を満たさない場合、検出された目標対象の検出領域のプリセットされた特徴を使用して、共起差異情報を取得し、共起差異情報及び形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することにより、複数の目標対象が存在する場合、形態差異情報を使用して、複数の目標対象間のプリセットされた包含関係に基づいて、画像検出モデル学習を制約することができ、これにより、複数の目標対象を検出するための画像検出モデルの精度を向上させることができる。
【0109】
本発明のいくつかの実施例では、プリセットされた共起条件は、検出された目標対象の数が１つである場合、検出された目標対象は、プリセットされた包含関係において最大の包含範囲を有し、検出された目標対象の数が複数である場合、検出された複数の目標対象は、プリセットされた包含関係において連続包含関係を有し、前記検出された複数の目標対象のうちの１つの目標対象は、プリセットされた包含関係において最大の包含範囲を有すること、及び／又は、プリセットされた特徴は、二次元空間面積特徴及び三次元空間体積特徴のいずれかであること、及び／又は、共起差異情報は、二次元空間面積特徴に関連する損失値及び三次元空間体積特徴に関連する損失値のいずれかであること、を含む。
【0110】
前述の実施例とは異なり、検出された目標対象の数が１つである場合、検出された目標対象は、プリセットされた包含関係において最大の包含範囲を有し、検出された目標対象の数が複数である場合、検出された複数の目標対象は、プリセットされた包含関係において連続包含関係を有し、前記検出された複数の目標対象のうちの１つの目標対象が、プリセットされた包含関係において最大の包含範囲を有するようにプリセットされた共起条件を設定することは、画像検出モデルのトレーニングプロセスで、関連関係のない対象を学習することを抑制し、複数の目標対象を検出するための画像検出モデルの精度を向上させることができる。
【0111】
本発明のいくつかの実施例では、目標対象は、臓器、組織、及び病巣のうちの少なくとも１つを含み、及び／又は、サンプル医用画像は、二次元画像及び三次元画像のいずれか１つを含み、及び／又は、サンプル医用画像は異なるフィールドに属し、及び／又は、サンプル医用画像は同じフィールドに属し、画像検出モデルは、別のフィールドに属するサンプル医用画像を使用して事前にトレーニングすることによって取得されたものである。
【0112】
前述の実施例とは異なり、臓器、組織、及び病巣のうちの少なくとも１つを含むように目標対象を設定することにより、画像検出モデルが臓器や病変を検出しやすくなり、画像検出モデルの検出範囲を広げることができ、二次元画像及び三次元画像のいずれか１つを含むようにサンプル医用画像を設定することにより、画像検出モデルが二次元画像又は三次元画像の検出に適用できるようにし、画像検出モデルの使用範囲を広げることができる。サンプル医用画像が異なるフィールドに属するように設定することにより、画像検出モデルが異なるフィールドの画像の検出に適用できるようにし、画像検出モデルの使用範囲を広げることができ、トレーニングプロセスで形態特徴を導入することにより、画像検出モデルの収束を支援でき、トレーニング効率を向上させることができる。サンプル医用画像が同じフィールドに属するように設定し、別のフィールドに属するサンプル医用画像を使用して画像検出モデルを事前にトレーニングすることにより、画像検出モデルの適用範囲を、あるフィールドから別のフィールドまで広げることができ、トレーニングプロセスで形態特徴を導入することにより、ネットワークの過剰適合を回避でき、画像検出モデルの精度を向上させることができる。
【0113】
図８を参照すると、図８は、本発明の実施例による電子機器の１つの実施例のフレームワークの概略図である。電子機器８０は、相互に結合されているメモリ８１とプロセッサ８２を備え、プロセッサ８２は、メモリ８１に記憶されたコンピュータプログラムを呼び出して実行することにより、上記の実施例における画像検出モデルのトレーニング方法のいずれかを実行するように構成される。１つの実施シナリオにおいて、電子機器８０は、マイクロコンピュータ、サーバの他に、ノートブックコンピュータ、タブレットコンピュータなどのモバイルデ機器を含み得るが、これらに限定されない。
【0114】
ここで、プロセッサ８２は、それ自体及びメモリ８１を制御して、上記の実施例における画像検出モデルのトレーニング方法のいずれかを実行するように構成される。プロセッサ８２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれる。プロセッサ８２は、信号処理機能を備えた集積回路チップであり得る。プロセッサ８２はまた、汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又はその他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであり得る。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、任意の従来のプロセッサなどであってもよい。さらに、プロセッサ８２は、集積回路チップによって共同で実現することができる。
【0115】
上記の解決策は、医用画像検出の精度を向上させることができる。
【0116】
図９を参照すると、図９は、本発明の実施例によるコンピュータ可読記憶媒体の１つの実施例のフレームワークの概略図である。コンピュータ可読記憶媒体９０には、プロセッサによって実行可能なコンピュータプログラム９０１が記憶され、コンピュータプログラム９０１は、上記の実施例における画像検出モデルのトレーニング方法のいずれかを実現するように構成される。
【0117】
上記の解決策は、医用画像検出の精度を向上させることができる。
【0118】
いくつかの実施例では、本発明の実施例に係る装置に含まれる機能又はモジュールは、上記の方法の実施例で説明された方法を実行するように構成でき、その具体的な実現については、上記の方法の実施例の説明を参照することができ、簡潔にするため、ここでは繰り返して説明しない。
【0119】
本発明の実施例及び他の実施例において、「部分」は、部分回路、部分プロセッサ、部分プログラム又はソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュール又は非モジュール化であってもよい。
【0120】
本発明の実施例は、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラム命令がプロセッサによって実行されるときに、上記の実施例における画像検出モデルのトレーニング方法を実現する。
【0121】
本発明の実施例は、コンピュータ可読コードを含むコンピュータプログラムをさらに提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の方法を実行させる。
【0122】
各実施例の上記の説明は、各実施例間の違いを強調する傾向があり、その同じ又は類似なところは相互に参照することができ、簡潔にするために、ここでは繰り返して説明しない。
【0123】
本発明で提供されるいくつかの方法の実施例では、開示された方法及び装置は、他の方式で実現できることを理解されたい。例えば、上記で説明された装置の実施例は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり得、例えば、ユニット又はコンポーネントを組み合わせたり、別のシステムに統合したり、又は特徴の一部を無視するか実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェースを使用して実現することができ、装置又はユニット間の間接的な結合又は通信接続は、電気的又は機械的な形であってよいし、他の形であってもよい。
【0124】
前記個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本実施形態における技術的解決策の目的を達成することができる。
【0125】
さらに、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、又は各ユニットが物理的に別々に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。
【0126】
統合されたユニットがソフトウェア機能の形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の実施例の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであリ得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本発明の実施例の各実施方法における全部又は一部の処理を実行させるためのいくつかの命令を含む。上記した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【産業上の利用可能性】
【0127】
本発明の実施例は、画像検出モデルのトレーニング方法及びその関連装置、機器、記憶媒体を開示し、前記画像検出モデルのトレーニング方法は、少なくとも１つの目標対象の実際領域がマークされているサンプル医用画像を取得することと、画像検出モデルを使用してサンプル医用画像に対して検出を実行して、サンプル医用画像内の目標対象の検出領域を取得することと、同じ前記目標対象の実際領域及び検出領域の形態特徴を分析して、対応する目標対象の実際領域と検出領域との間の形態差異情報を取得することと、形態差異情報を使用して、画像検出モデルのネットワークパラメータを調整することと、を含む。上記の解決策では、画像検出モデルは、医用画像内の肝臓、心臓、肺などの規則的な形状の組織や臓器を検出するように構成でき、医用画像検出の精度を向上させることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】