(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-24
(45)【発行日】2023-12-04
(54)【発明の名称】医用画像処理方法、装置、機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/11 20170101AFI20231127BHJP
G06T 7/00 20170101ALI20231127BHJP
G06V 10/82 20220101ALI20231127BHJP
A61B 5/00 20060101ALI20231127BHJP
【FI】
G06T7/11
G06T7/00 614
G06T7/00 350C
G06V10/82
A61B5/00 G
(21)【出願番号】P 2023513235
(86)(22)【出願日】2021-10-19
(86)【国際出願番号】 CN2021124781
(87)【国際公開番号】W WO2022089257
(87)【国際公開日】2022-05-05
【審査請求日】2023-02-22
(31)【優先権主張番号】202011205406.5
(32)【優先日】2020-11-02
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技(深▲セン▼)有限公司
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】王 ▲亮▼
(72)【発明者】
【氏名】姚 建▲華▼
【審査官】伊知地 和之
(56)【参考文献】
【文献】特表2020-518915(JP,A)
【文献】米国特許出願公開第2018/0300878(US,A1)
【文献】米国特許出願公開第2020/0234445(US,A1)
【文献】中国特許出願公開第110148113(CN,A)
【文献】中国特許出願公開第111127466(CN,A)
【文献】中国特許出願公開第110909756(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/01
A61B 5/055
A61B 6/00 - 6/14
G06T 1/00
G06T 3/00 - 3/60
G06T 5/00 - 5/50
G06T 7/00 - 7/90
G06V10/00 - 20/90
G06V30/418
G06V40/16
G06V40/20
CSDB(日本国特許庁)
(57)【特許請求の範囲】
【請求項1】
コンピュータ機器によって実行される医用画像処理方法であって、
医用画像セットを取得するステップであって、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含む、ステップと、
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップと、
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するステップと、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するステップと、を含む、医用画像処理方法。
【請求項2】
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップは、
前記参照医用画像を目標色空間の画像に変換して、変換された参照医用画像を取得し、前記目標医用画像を前記目標色空間の画像に変換して、変換された目標医用画像を取得するステップと、
前記変換された参照医用画像内の画素点の輝度情報、及び前記変換された目標医用画像内の画素点の輝度情報を取得するステップと、
前記変換された参照医用画像内の画素点の輝度情報及び前記変換された目標医用画像内の画素点の輝度情報に基づいて、前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップと、を含む、
請求項1に記載の医用画像処理方法。
【請求項3】
前記変換された参照医用画像内の画素点の輝度情報及び前記変換された目標医用画像内の画素点の輝度情報に基づいて、前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップは、
前記変換された参照医用画像内の画素点の輝度情報と、前記変換された目標医用画像内の対応する画素点の輝度情報との差異度を取得するステップと、
前記変換された目標医用画像から、輝度情報の差異度が差異度閾値より大きい画素点を識別して、第1目標画素点とするステップと、
前記目標医用画像における前記第1目標画素点の所在領域を、前記目標医用画像内の候補非病巣領域として決定するステップと、を含む、
請求項2に記載の医用画像処理方法。
【請求項4】
前記候補領域サイズ情報は、前記目標医用画像における前記候補非病巣領域の候補領域割合を含み、前記ラベリング領域サイズ情報は、前記目標医用画像内の非病巣領域の前記目標医用画像におけるラベリング領域割合を含み、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するステップは、
前記候補領域割合と前記ラベリング領域割合との領域割合差分を取得するステップと、
前記領域割合差分が割合閾値より大きい場合、前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしないと決定するステップと、
前記ラベリング領域割合に基づいて前記候補非病巣領域を調整して、前記目標非病巣領域を取得するステップと、を含む、
請求項1に記載の医用画像処理方法。
【請求項5】
前記ラベリング領域割合に基づいて前記候補非病巣領域を調整して、前記目標非病巣領域を取得するステップは、
前記候補領域割合が前記ラベリング領域割合より小さい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して拡張処理を行い、前記目標非病巣領域を取得するステップと、
前記候補領域割合が前記ラベリング領域割合より大きい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して縮小処理を行い、前記目標非病巣領域を取得するステップと、を含む、
請求項4に記載の医用画像処理方法。
【請求項6】
前記候補領域割合が前記ラベリング領域割合より小さい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して拡張処理を行い、前記目標非病巣領域を取得するステップは、
前記候補領域割合が前記ラベリング領域割合より小さい場合、拡張パラメータを取得するステップであって、前記拡張パラメータは、拡張形状及び拡張サイズを含む、ステップと、
前記拡張パラメータに基づいて前記候補非病巣領域に対して反復拡張を行い、拡張された候補非病巣領域を取得するステップと、
前記目標医用画像における前記拡張された候補非病巣領域の領域割合を、拡張領域割合として取得するステップと、
前記拡張領域割合と前記ラベリング領域割合との領域割合差分が前記割合閾値より小さい拡張された候補非病巣領域を、前記目標非病巣領域として決定するステップと、を含む、
請求項5に記載の医用画像処理方法。
【請求項7】
前記候補領域割合が前記ラベリング領域割合より小さい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して拡張処理を行い、前記目標非病巣領域を取得するステップは、
前記候補領域割合が前記ラベリング領域割合より小さい場合、前記目標医用画像における前記候補非病巣領域に隣接する画素点の画素値、及び前記候補非病巣領域内の画素点の画素値を取得するステップと、
前記候補非病巣領域内の画素点の画素値、及び前記候補非病巣領域に隣接する画素点の画素値に基づいて、前記候補非病巣領域内の画素点及び前記候補非病巣領域に隣接する画素点に対してクラスタリング処理を行い、クラスタ領域を取得するステップと、
前記目標医用画像における前記クラスタ領域の領域割合を、クラスタ領域割合として取得するステップと、
前記クラスタ領域割合と前記ラベリング領域割合との領域割合差分が前記割合閾値より小さい場合、前記クラスタ領域を前記目標非病巣領域として決定するステップと、を含む、
請求項5に記載の医用画像処理方法。
【請求項8】
前記候補非病巣領域内の画素点の画素値、及び前記候補非病巣領域に隣接する画素点の画素値に基づいて、前記候補非病巣領域内の画素点及び前記候補非病巣領域に隣接する画素点に対してクラスタリング処理を行い、クラスタ領域を取得するステップは、
前記候補非病巣領域に隣接する画素点の画素値と、前記候補非病巣領域内の画素点の画素値との画素差分を取得するステップと、
前記候補非病巣領域に隣接する画素点から、対応する画素差分が画素差分閾値より小さい画素点を、第2目標画素点として決定するステップと、
前記目標医用画像における前記第2目標画素点の所在領域を前記候補非病巣領域とマージして、前記クラスタ領域を取得するステップと、を含む、
請求項7に記載の医用画像処理方法。
【請求項9】
前記候補領域割合が前記ラベリング領域割合より大きい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して縮小処理を行い、前記目標非病巣領域を取得するステップは、
前記候補領域割合が前記ラベリング領域割合より大きい場合、縮小処理パラメータを取得するステップであって、前記縮小処理パラメータは、縮小処理の形状及び縮小処理のサイズを含む、ステップと、
前記縮小処理パラメータに基づいて、前記候補非病巣領域に対して反復縮小処理を行い、縮小処理された候補非病巣領域を取得するステップと、
前記目標医用画像における前記縮小処理された候補非病巣領域の領域割合を、縮小処理後の領域割合として取得するステップと、
前記縮小処理後の領域割合と前記ラベリング領域割合との領域割合差分が前記割合閾値より小さい、縮小処理された候補非病巣領域を、前記目標非病巣領域として決定するステップと、を含む、
請求項5に記載の医用画像処理方法。
【請求項10】
前記候補領域サイズ情報は、前記候補非病巣領域の候補領域サイズを含み、前記ラベリング領域サイズ情報は、前記目標医用画像における非病巣領域のラベリング領域サイズを含み、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するステップは、
前記候補領域サイズと前記ラベリング領域サイズとの領域サイズ差分を取得するステップと、
前記領域サイズ差分がサイズ閾値より大きい場合、前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしないと決定するステップと、
前記ラベリング領域サイズに基づいて前記候補非病巣領域を調整して、前記目標非病巣領域を取得するステップと、を含む、
請求項1に記載の医用画像処理方法。
【請求項11】
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するステップは、
前記候補非病巣領域の領域サイズ、及び前記目標医用画像の画像サイズを取得し、前記候補非病巣領域の領域サイズと前記目標医用画像の画像サイズとの比率を、前記候補領域割合として決定するか、又は、
前記候補非病巣領域内の画素点の数、及び前記目標医用画像内の画素点の数を取得し、前記候補非病巣領域内の画素点の数と前記目標医用画像内の画素点の数との比率を、前記候補領域割合として決定するステップと、
前記候補領域割合を前記候補領域サイズ情報として決定するステップと、を含む、
請求項4に記載の医用画像処理方法。
【請求項12】
前記医用画像処理方法は、
前記目標医用画像内で前記目標非病巣領域をラベリングして、ラベリングされた目標医用画像を取得するステップと、
画像分割モデルを採用して前記目標医用画像を予測して、前記目標医用画像内の予測非病巣領域を取得し、前記目標医用画像内で前記予測非病巣領域をラベリングして、予測された目標医用画像を取得するステップと、
前記ラベリングされた目標医用画像及び前記予測された目標医用画像に基づいて前記画像分割モデルを調整して、目標医用画像分割モデルを取得するステップと、をさらに含む、
請求項1に記載の医用画像処理方法。
【請求項13】
前記ラベリングされた目標医用画像及び前記予測された目標医用画像に基づいて前記画像分割モデルを調整して、目標医用画像分割モデルを取得するステップは、
前記ラベリングされた目標医用画像及び前記予測された目標医用画像に基づいて、前記画像分割モデルの予測損失値を決定するステップと、
前記予測損失値が収束条件を満たさない場合、前記予測損失値に基づいて前記画像分割モデルを調整して、目標医用画像分割モデルを取得するステップと、を含む、
請求項12に記載の医用画像処理方法。
【請求項14】
前記目標医用画像内で前記目標非病巣領域をラベリングして、ラベリングされた目標医用画像を取得するステップは、
前記目標非病巣領域内の画素点に基づいて、前記目標医用画像に対して二値化処理を行うステップと、
二値化処理された目標医用画像を、前記ラベリングされた目標医用画像として決定するステップと、を含む、
請求項12に記載の医用画像処理方法。
【請求項15】
医用画像処理装置であって、
医用画像セットを取得するように構成される取得モジュールであって、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含む、取得モジュールと、
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するように構成される識別モジュールと、
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するように構成される決定モジュールと、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するように構成される、調整モジュールと、を備える、医用画像処理装置。
【請求項16】
コンピュータ機器であって、プロセッサと、メモリと、を備え、
前記プロセッサは、前記メモリに接続され、前記メモリは、コンピュータプログラムを記憶するように構成され、前記プロセッサは、前記コンピュータプログラムを呼び出して、請求項1~14のいずれか一項に記載の医用画像処理方法を実行するように構成される、コンピュータ機器。
【請求項17】
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、プログラム又は命令を含み、前記プログラム又は命令は、プロセッサに請求項1~14のいずれか一項に記載の医用画像処理方法を実行させる、コンピュータ可読記憶媒体。
【請求項18】
コンピュータに、請求項1~14のいずれか一項に記載の医用画像処理方法を実行させる
ように構成される、コンピュータプログラ
ム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願への相互参照)
本願は、2020年11月02日に中国特許局に提出された、出願番号が202011205406.5である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。
【0002】
本願は、人工知能技術分野に関し、特に、医用画像処理方法、装置、コンピュータ機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関するものである。
【背景技術】
【0003】
画像分割は、画像を固有の特性を持ついくつかの特定の領域に分割し、関心のある領域を識別するプロセスである。コンピュータ技術や医療分析技術の発展に伴い、医用画像の分割は、医療分析技術の最優先事項となり、医用画像の分割は、医用画像が臨床診療において信頼できる根拠を提供できるかどうかを決定する重要な問題となっている。例えば、乳癌の病理分析では、乳腺を含む医用画像から非病巣領域を取得し、即ち、非病巣領域とは、当該医用画像において病変が生じていない領域、即ち、免疫細胞が存在する領域を指し、実際の適用では、非病巣領域に応じて乳癌の治療方案を策定することができる。しかしながら、医用画像における非病巣領域の識別に関しては、関連技術では、主に手動で医用画像を読影し、医用画像から関心領域(非病巣領域など)をラベリングするが、手動で読影する方式の主観性により、識別された領域の精度は比較的低くなる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、非病巣領域の識別効率と精度を向上させることができる、医用画像処理方法、装置、コンピュータ機器、コンピュータ可読記憶媒体、及びコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【0005】
本願の実施例は、医用画像処理方法を提供し、前記方法は、
医用画像セットを取得するステップであって、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含む、ステップと、
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップと、
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するステップと、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するステップと、を含む。
【0006】
本願の実施例は、医用画像処理装置をさらに提供し、前記装置は、
医用画像セットを取得するように構成される取得モジュールであって、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含む、取得モジュールと、
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するように構成される識別モジュールと、
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するように構成される決定モジュールと、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するように構成される調整モジュールと、を備える。
【0007】
本願の実施例は、プロセッサと、メモリと、を備えるコンピュータ機器をさらに提供し、
前記プロセッサは、前記メモリに接続され、前記メモリは、コンピュータプログラムを記憶するように構成され、前記プロセッサは、前記コンピュータプログラムを呼び出して、本願の実施例によって提供される上記の医用画像処理方法を実行するように構成される。
【0008】
本願の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラムは、プログラム又は命令を含み、前記プログラム又は命令は、プロセッサに本願の実施例によって提供される上記の医用画像処理方法を実行させる。
【0009】
本願の実施例は、コンピュータプログラム又は命令を含むコンピュータプログラム製品をさらに提供し、前記コンピュータプログラム又は命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から前記コンピュータプログラム又は命令を読み取り、プロセッサは、前記コンピュータプログラム又は命令を実行するときに、前記コンピュータ機器に、
医用画像セットを取得するステップであって、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含む、ステップと、
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップと、
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するステップと、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するステップと、を実行させる。
【0010】
本願の実施例は、プロセッサと、メモリと、を備えるコンピュータ機器をさらに提供し、
前記プロセッサは、メモリに記憶された機器制御アプリケーションを呼び出して、
医用画像セットを取得するステップであって、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含む、ステップと、
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップと、
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するステップと、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するステップと、を実現するように構成される。
【0011】
本願の実施例では、コンピュータ機器は、目標医用画像と参照医用画像との差異を識別して、目標医用画像の候補非病巣領域を取得し、当該候補非病巣領域の領域サイズ情報を取得して、候補領域サイズ情報を取得することができる。当該候補領域サイズ情報が目標医用画像のラベリング領域サイズ情報とマッチングしない場合、識別された候補非病巣領域と目標医用画像の実際の非病巣領域との間に大きな差異が存在すること、即ち、識別された候補非病巣領域の精度が比較的に低いことを表し、したがって、ラベリング領域サイズ情報に基づいて候補非病巣領域を調整して、目標医用画像の目標非病巣領域を取得することができる。つまり、参照医用画像及び目標医用画像に基づいて、目標医用画像内の候補非病巣領域を手動で関与することなく自動的に識別することにより、非病巣領域を識別する精度と効率を向上させることができ、ラベリング領域サイズ情報に基づいて、識別された候補非病巣領域を調整することにより、非病巣領域を識別する精度を向上させることができる。
【図面の簡単な説明】
【0012】
【
図1】本願の実施例による医用画像処理システムのアーキテクチャ図である。
【
図2A】本願の実施例によるデータ交換シーンの概略図である。
【
図2B】本願の実施例によるデータ交換シーンの概略図である。
【
図3】本願の実施例による医用画像処理方法のフローチャートである。
【
図4】本願の実施例による候補非病巣領域の取得シーンの概略図である。
【
図5】本願の実施例による候補非病巣領域の反復拡張シーンの概略図である。
【
図6】本願の実施例による画像分割モデルの調整シーンの概略図である。
【
図7】本願の実施例による画像分割モデルの概略図である。
【
図8】本願の実施例による医用画像処理装置の概略構造図である。
【
図9】本願の実施例によるコンピュータ機器の概略構造図である。
【発明を実施するための形態】
【0013】
以下では、本願の実施例における図面を参照して、本願の実施例の技術的解決策について、明確且つ完全に説明するが、明らかに、説明される実施例は、本願の実施例の一部のみであり、全部の実施例ではない。本願の実施例に基づいて、当業者が創造的な労力を払わずに得られる他のすべての実施例は、本願の保護範囲に含まれる。
【0014】
以下の説明において、「いくつかの実施例」という用語は、全ての可能な実施例のサブセットを説明するが、「いくつかの実施例」は、全ての可能な実施例の同じサブセット又は異なるサブセットであり得、競合することなく互いに組み合わせできることが理解できる。
【0015】
本願の実施例における「第1/第2」などの用語は、特定の順番を限定するものではなく、類似する対象を区別するものであり、「第1/第2」は、適切な場合において特定の順番又は前後順番を変換できるので、本明細書に記載の本願の実施例は、本明細書に図示又は記載されたもの以外の順番で実行できることが理解できる。
【0016】
人工知能(AI:Artificial Intelligence)は、デジタルコンピュータ又はデジタルコンピュータによって制御される機械を利用して、人間の知性をシミュレート、拡張及び拡大し、環境を知覚し、知識を取得し、知識を使用して最良の結果を取得する理論、方法、技術、及びアプリケーションシステムである。言い換えれば、人工知能は、知能の本質を理解し、人間の知能と同様の方式で反応できる新しい知能機械を作ろうとする、コンピュータ科学における総合的な技術である。人工知能は、機械が知覚、推論、意思決定の機能を有するように、様々な知能機械の設計原理及び実現方法を研究することである。
【0017】
人工知能技術は、ハードウェアレベルの技術とソフトウェアレベルの技術の両方を含む幅広い分野を含む総合的な分野である。人工知能の基本技術には、一般的に、センサ、専用の人工知能チップ、クラウドコンピューティング、分散ストレージ、医用画像処理技術、操作/相互作用システム、メカトロニクスなどの技術が含まれる。人工知能ソフトウェア技術には、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習/深層学習などが含まれる。
【0018】
ここで、コンピュータビジョン技術(CV:Computer Vision)は、機械が「見る」方法を研究する科学であり、つまり、人間の目の代わりにカメラ及びコンピュータを使用して、目標を識別、追跡、測定などを実行する機械ビジョンであり、さらにグラフィックス処理を実行して、コンピュータが目標を処理して、人間の目で観察するのにより適した画像にするか、検出のためにデバイスに伝送される画像にする。科学分野として、コンピュータビジョンは、関連する理論と技術を研究し、画像又は多次元データから情報を取得できる人工知能システムの確立を試む。コンピュータビジョン技術には通常、画像処理、画像認識、画像セマンティック理解、画像検索、光学式文字認識(OCR:Optical Character Recognition)、ビデオ処理、ビデオセマンティック理解、ビデオコンテンツ/動作認識、三次元オブジェクト再構築、3D技術、仮想現実、拡張現実、位置推定と地図生成の同時実行(SLAM)が含まれ、顔認識や指紋認識などの一般的な生物学的特徴認識技術も含まれる。
【0019】
本願の実施例によって提供される医用画像処理方法は、主に、人工知能のコンピュータビジョン技術に関し、例えば、コンピュータビジョン技術を利用して、医用画像内の非病巣領域を自動的に識別することにより、非病巣領域識別の精度を向上させることができる。
【0020】
まず、本願の実施例による医用画像処理方法を実現するための医用画像処理システムを紹介する。
図1に示すように、当該医用画像処理システムには、サーバ及び少なくとも1つの端末が含まれる。
【0021】
ここで、サーバは、医用画像内の関心領域(病巣領域又は非病巣領域など)を識別するための機器を指し得、本願の実施例は、関心領域が非病巣領域である場合を例として説明する。端末は、ユーザ向けのフロントエンドデバイスを指し得、例えば、端末は、医用画像を取得するための機器を指し得、例えば、端末は、人体又は動物の特定の部位をスキャンして、医用画像を取得できる医療機器を指し得るか、又は、端末は、医療機器から医用画像を取得できる非医療機器(スマートフォンなど)を指し得る。
【0022】
ここで、サーバは、独立した物理サーバであってもよいし、複数の物理サーバで構成されたサーバクラスタ又は分散システムでもあってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、コンテンツ配信ネットワーク(CDN:Content Delivery Network)、ビッグデータ及び人工知能プラットフォームなどの基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末は、医療機器、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、スマートスピーカ、スマートウォッチなどであり得るが、これらに限定されない。各端末及びサーバは、有線又は無線通信を介して直接又は間接的に接続することができ、さらに、端末の数及びサーバの数は、1つ又は複数であり得、本願の実施例はこれらに限定されない。
【0023】
ここで、医用画像は、人体又は動物の特定の部位をスキャンして得られ、例えば、医用画像は、胸部CTスキャン画像、磁気共鳴イメージング(MRI)画像などの他の医用画像を含む。医用画像は、通常、病巣領域、非病巣領域、及び病巣領域と非病巣領域の両方を含み、病巣領域は、医用画像において病変が生じた領域を反映するための領域を指し得、非病巣領域は、医用画像において病変が生じていない領域を反映するための領域を指し得、例えば、当該非病巣領域は、医用画像において免疫細胞が存在する領域を指し得る。
【0024】
理解を容易にするために、
図2A及び
図2Bを参照すると、
図2A及び
図2Bは、本願の実施例によるデータ交換シーンの概略図であり、医用画像が乳腺に関する医用画像である場合を例として説明しており、乳癌治療の過程では、医用画像内の非病巣領域を取得し、非病巣領域に基づいて乳癌患者の対応する治療方案を策定する必要があり、したがって、本願の実施例は、主に、医用画像から非病巣領域を識別する方法に関する。当該端末が医療機器であると仮定すると、
図2Aに示すように、端末は、ユーザの乳腺をスキャンして、乳腺を含む全スライド画像11(WSI:Whole Slide Image)を取得することができ、当該全スライド画像11(WSI:Whole Slide Image)は、腫瘍領域12を含み、腫瘍領域12は、腫瘍病変を反映するための領域を指し、腫瘍領域には、免疫細胞及び病変細胞も含まれ、腫瘍領域12を分割して、複数のサブ領域を取得し、各サブ領域を1つの候補医用画像13とすることができる。ここで、各候補医用画像にはすべて、病変細胞が含まれ、即ち、各候補医用画像はすべて、病巣領域を含み、候補医用画像には、免疫細胞も含まれ、即ち、候補医用画像には、非病巣領域も含まれる。ここで、当該全スライド画像のサイズは、50000mm*50000mm、0.344μm/pixel(ミクロン/ピクセル)であり得、各候補医用画像の画像サイズはすべて同じであり、例えば、候補医用画像のサイズは、2160mm*2160mm、0.524μm/pixelであり得、もちろん、当該全スライド画像及び候補医用画像のサイズは、他の値であってもよく、本願の実施例はこれらに限定されない。
図2Aに示すように、端末は、医用画像に関する採点インタフェースを展示することができ、当該採点インタフェースには、候補医用画像及び候補医用画像の採点オプションが含まれ、ユーザは、採点オプションを介して当該候補医用画像を採点して、採点結果を取得し、当該採点結果は、候補医用画像内の非病巣領域の領域サイズ(即ち、ラベリング領域サイズ)、候補医用画像内の非病巣領域の当該候補医用画像における領域割合(即ち、ラベリング領域割合)のうちの少なくとも1つを含み得る。これに対応して、端末は、候補医用画像に対するユーザの採点結果を取得し、当該採点結果を候補医用画像のラベリング領域サイズ情報とすることができる。例示的に、候補医用画像からラベリング領域割合がゼロ(又はラベリング領域サイズがゼロ)である候補医用画像を、参照医用画像として選別することができ、即ち、参照医用画像には、病巣領域のみが含まれ、非病巣領域は含まれず、候補医用画像から、ラベリング領域割合がゼロでない(又はラベリング領域サイズがゼロでない)候補医用画像を、目標医用画像として選別することができ、即ち、目標医用画像は、病巣領域及び非病巣領域を含む。
【0025】
端末は、目標医用画像、参照医用画像、及び目標医用画像のラベリング領域サイズ情報を取得した後、目標医用画像、参照医用画像、及び目標医用画像のラベリング領域サイズ情報に基づいて、医用画像セットを生成することができ、即ち、目標医用画像、参照医用画像、及び目標医用画像のラベリング領域サイズ情報を、医用画像セットに追加し、当該医用画像セットをサーバに送信する。参照医用画像は、病巣領域のみ含み、目標医用画像は、病巣領域及び非病巣領域を含むため、参照医用画像内の病巣領域と、目標医用画像の病巣領域とは類似性を有し、参照医用画像の病巣領域と、目標医用画像の非病巣領域とは差異性を有する。したがって、
図2Bに示すように、サーバは、当該参照医用画像と目標医用画像との差異を識別して、当該目標医用画像の候補非病巣領域を取得することができ、即ち、当該参照医用画像と目標医用画像とを比較して、目標医用画像において参照医用画像と差異がある領域を取得し、差異性を有する領域を目標医用画像の候補非病巣領域とすることができる。
図2Bに示すように、目標医用画像には、複数の候補非病巣領域が含まれ、
図2Bでは、白色領域で候補非病巣領域を示し、
図2Bは、3つの候補非病巣領域のみを示しているが、通常、目標医用画像には、3つ以上の候補領域が含まれ、各候補非病巣領域の領域サイズと形状は異なる。
【0026】
図2Bに示すように、サーバは、候補非病巣領域を取得した後、当該候補非病巣領域の候補領域サイズ情報を取得し、当該候補領域サイズ情報とラベリング領域サイズ情報とを比較することができ、当該候補領域サイズ情報がラベリング領域サイズ情報とマッチングしない場合、候補非病巣領域と目標医用画像内の実際の非病巣領域との差異が比較的に大きいことを示す。したがって、サーバは、候補非病巣領域が目標医用画像内の実際の非病巣領域と同じになるか、又はそれとの差異がほとんどなくなるまで、ラベリング領域サイズ情報に基づいて当該候補非病巣領域を調整して、調整された候補非病巣領域を取得し、調整された候補非病巣領域を目標非病巣領域として決定することができる。当該目標非病巣領域は、患者の治療方案を策定するために使用され得るか、又は、画像分割モデルを訓練するために使用され得(即ち、目標非病巣領域を、画像分割モデルを訓練するためのラベリングデータとして使用する)、画像分割モデルは、医用画像内の非病巣領域を識別するためのモデルを指し得る。
【0027】
なお、上記の目標医用画像内の非病巣領域の識別過程は、サーバによって実行されてもよいし、端末によって実行されてもよく、もちろん、端末とサーバによって共同で実行されてもよく、本願の実施例はこれらに限定されない。ここで、端末によって実行される上記の目標医用画像内の非病巣領域の識別過程、及び端末とサーバによって共同で実行される上記の目標医用画像内の非病巣領域の識別過程は、いずれもサーバによって実行される上記の目標医用画像内の非病巣領域の識別過程を参照することができ、ここでは繰り返して説明しない。
【0028】
上記の説明に基づき、
図3を参照すると、
図3は、本願の実施例による医用画像処理方法のフローチャートである。当該方法は、コンピュータ機器によって実行され得、当該コンピュータ機器は、
図1の端末又はサーバを指し得るか、又は、当該コンピュータ機器は、
図1の端末及びサーバを指し得、即ち、当該方法は、端末とサーバによって共同で実行されることができる。
図3に示すように、当該医用画像処理方法は、以下のステップS101~ステップS104を含み得る。
【0029】
ステップS101において、医用画像セットを取得し、当該医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び当該目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、当該目標医用画像は、病巣領域及び非病巣領域を含み、当該参照医用画像は、病巣領域を含む。
【0030】
コンピュータ機器は、医用画像セットを取得することができ、当該医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び当該目標医用画像のラベリング領域サイズ情報を含み、当該目標医用画像は、病巣領域及び非病巣領域を含み、当該参照医用画像は、病巣領域を含み、当該ラベリング領域サイズ情報は、目標医用画像内の非病巣領域の領域サイズ(即ち、ラベリング領域サイズ)、及び目標医用画像内の非病巣領域の当該目標医用画像における領域割合(即ち、ラベリング領域割合)のうちの少なくとも1つを含む。当該ラベリング領域サイズ情報は、当該目標医用画像内の非病巣領域をラベリングする(手動でラベリングするなど)ことによって得られたものを指し得、即ち、ラベリング領域サイズ情報を目標医用画像の標準領域サイズ情報とすることができる。
【0031】
いくつかの実施例では、コンピュータ機器は、目標医用画像のラベリング領域サイズ情報を取得することに関するタスクを生成し、当該タスクを複数のユーザ(複数の医師など)に発行し、当該目標医用画像に対する複数のユーザの採点を取得して、目標医用画像に対応する複数のスコアを取得することができ、目標医用画像に対応するスコアは、当該目標医用画像における非病巣領域の領域割合を反映するか、又は非病巣領域の領域サイズを反映するために使用される。コンピュータ機器は、目標医用画像に対応する各スコアの出現回数を取得し、出現回数が最も多いスコアを、目標医用画像のラベリング領域サイズ情報として決定することができる。目標医用画像に対応するスコアの出現回数に基づいて、目標医用画像のラベリング領域サイズ情報を決定することにより、ラベリング領域サイズ情報取得の精度を向上させることができる。いくつかの実施例では、コンピュータ機器は、目標医用画像に対応する各スコアに対して平均化処理を行い、平均化処理後のスコアを取得し、平均化処理後のスコアを目標医用画像のラベリング領域サイズ情報として決定することができる。目標医用画像に対応するスコアに対して平均化処理を行い、目標医用画像のラベリング領域サイズ情報を決定することにより、ラベリング領域サイズ情報取得の精度を向上させることができる。
【0032】
ステップS102において、当該参照医用画像及び当該目標医用画像に対して差異識別を行い、当該目標医用画像内の候補非病巣領域を取得する。
【0033】
ここで、当該参照医用画像及び当該目標医用画像に対して差異識別を行い、即ち、参照医用画像と目標医用画像との差異を識別することにより、当該目標医用画像内の候補非病巣領域を取得する。
【0034】
目標医用画像は、一般に大量の非病巣領域を含むため、目標医用画像の非病巣領域を手動でラベリングするのは時間がかかり、また、手動でラベリングする方法は主観的であるため、取得された非病巣領域の精度が低くなる。したがって、コンピュータ機器は、当該参照医用画像と当該目標医用画像との差異を識別して、当該目標医用画像内の候補非病巣領域を取得することができ、即ち、参照医用画像及び目標医用画像に基づいて、目標医用画像内の非病巣領域を自動的に識別することにより、非病巣領域識別の精度と効率を向上させることができる。
【0035】
いくつかの実施例では、参照医用画像内の病巣領域と、目標医用画像の病巣領域とは類似性を有する(即ち、類似度が類似度閾値に達する)ため、参照医用画像の病巣領域と目標医用画像の非病巣領域とは差異性を有し、したがって、参照医用画像と目標医用画像とを比較するか、又は病巣領域をマッチングすることにより、参照医用画像と目標医用画像との差異を識別することができ、それにより、目標医用画像内の病巣領域及び候補非病巣領域を決定することができる。
【0036】
ステップS103において、候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定する。
【0037】
ステップS104において、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしない場合、当該ラベリング領域サイズ情報に基づいて当該候補非病巣領域を調整して、当該目標医用画像の目標非病巣領域を取得する。
【0038】
ステップS103及びステップS104において、目標医用画像の候補非病巣領域を取得した後、識別された候補非病巣領域と目標医用画像の実際の非病巣領域との間に差異が存在する場合、識別された候補非病巣領域の精度が比較的に低いと見なされ、したがって、コンピュータ機器は、目標医用画像内の候補非病巣領域が目標医用画像の実際の非病巣領域とマッチングするように、候補非病巣領域を調整する必要がある。
【0039】
例えば、コンピュータ機器は、当該候補非病巣領域の領域サイズ情報を決定して、候補領域サイズ情報を取得することができ、当該候補領域サイズ情報は、目標医用画像内の候補非病巣領域の領域サイズ(即ち、候補領域サイズ)、及び当該目標医用画像における候補非病巣領域の領域割合(即ち、候補領域割合)のうちの少なくとも1つを含む。例えば、候補非病巣領域の画素点の数及び目標医用画像内の画素点の数に基づいて、当該目標医用画像における当該候補非病巣領域の領域割合を決定して、候補領域割合を取得するか、又は、候補非病巣領域のサイズ及び目標医用画像のサイズに基づいて、当該目標医用画像における当該候補非病巣領域の領域割合を決定して、候補領域割合を取得することができ、例示的に、候補領域割合に基づいて候補領域サイズ情報を決定することができる。
【0040】
又は、候補非病巣領域の領域サイズに基づいて、候補領域サイズ情報を決定することができる。当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしない場合、識別された候補非病巣領域と目標医用画像の実際の非病巣領域との間に大きな差異が存在すること、即ち、識別された候補非病巣領域の精度が比較的に低いことを示し、したがって、ラベリング領域サイズ情報に基づいて候補非病巣領域を調整して、目標医用画像の目標非病巣領域を取得することができる。当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングする場合、識別された候補非病巣領域と目標医用画像の実際の非病巣領域との間に差異が存在しないことを示すか、又は、識別された候補非病巣領域と目標医用画像の実際の非病巣領域との間の差異が小さいこと、即ち、識別された候補非病巣領域の精度が比較的に高いことを示し、したがって、当該候補非病巣領域を当該目標医用画像の目標非病巣領域として決定することができる。
【0041】
本願の実施例では、目標医用画像と参照医用画像の両方が病巣領域を含み、両者の病巣領域の類似度が類似度閾値に達することができるため、コンピュータ機器は、目標医用画像と参照医用画像との差異を識別して、目標医用画像の候補非病巣領域を取得し、当該候補非病巣領域の領域サイズ情報を取得して、候補領域サイズ情報を取得することができる。当該候補領域サイズ情報が目標医用画像のラベリング領域サイズ情報とマッチングしない場合、識別された候補非病巣領域と目標医用画像の実際の非病巣領域との間に大きな差異が存在すること、即ち、識別された候補非病巣領域の精度が比較的に低いことを示し、したがって、ラベリング領域サイズ情報に基づいて候補非病巣領域を調整して、目標医用画像の目標非病巣領域を取得することができる。つまり、参照医用画像及び目標医用画像に基づいて、目標医用画像内の候補非病巣領域を手動で関与することなく自動的に識別することにより、非病巣領域識別の精度と効率を向上させることができ、ラベリング領域サイズ情報に基づいて識別された候補非病巣領域を調整することにより、非病巣領域識別の精度を向上させることができる。
【0042】
いくつかの実施例では、上記のステップS102は、以下のステップs11~ステップs13を含み得る。
【0043】
ステップs11において、コンピュータ機器は、当該参照医用画像を目標色空間の画像に変換して、変換された参照医用画像を取得し、当該目標医用画像を当該目標色空間の画像に変換して、変換された目標医用画像を取得する。
【0044】
ステップs12において、当該変換された参照医用画像内の画素点の輝度情報、及び当該変換された目標医用画像内の画素点の輝度情報を取得する。
【0045】
ステップs13において、当該変換された参照医用画像内の画素点の輝度情報及び当該変換された目標医用画像内の画素点の輝度情報に基づいて、当該参照医用画像と当該目標医用画像との差異を識別して、当該目標医用画像内の候補非病巣領域を取得する。
【0046】
ステップs11~ステップs13において、異なる色空間における、医用画像内の同一画素点の対応する輝度情報が一致しないため、医用画像の色空間の違いによる非病巣領域の識別精度への影響を回避することができる。コンピュータ機器は、当該参照医用画像を目標色空間の画像に変換して、変換された参照医用画像を取得し、当該目標医用画像を当該目標色空間の画像に変換して、変換された目標医用画像を取得することができる。当該目標色空間は、HED色空間、RGB色空間又は他の色空間を指してもよいが、本願の実施例はこれらに限定されない。
【0047】
いくつかの実施例では、当該変換された参照医用画像内の画素点の輝度情報及び当該変換された目標医用画像内の画素点の輝度情報を取得することができ、輝度情報は、輝度値又は輝度レベルを指し得、当該変換された参照医用画像内の画素点の輝度情報と当該変換された目標医用画像内の画素点の輝度情報とを比較することにより、当該参照医用画像と当該目標医用画像との差異を識別して、当該目標医用画像内の候補非病巣領域を取得する。目標医用画像及び参照医用画像を変換することにより、即ち、目標医用画像と参照医用画像とを統一した色空間に変換することにより、医用画像の色空間の違いによる非病巣領域の識別精度への影響を回避し、候補非病巣領域識別の精度を向上させることができる。
【0048】
例えば、
図4に示すように、コンピュータ機器は、目標医用画像をHED色空間の画像に変換して、変換された目標医用画像を取得し、変換された目標医用画像からdabチャネルの画像を分解して、目標dabチャネル画像を取得することができる。同様に、コンピュータ機器は、参照医用画像をHED色空間の画像に変換して、変換された参照医用画像を取得し、変変換された目標医用画像からdabチャネルの画像を分解して、参照dabチャネル画像(
図4には図示せず)を取得することができる。次に、ヒストグラムを採用して、目標dabチャネル画像及び参照dabチャネル画像内の画素点の輝度レベルを示し、
図4の横軸は、医用画像の画素点に対応する画素値を表し、縦軸は、医用画像内の画素点の輝度レベルを表す。
図4において、点線は、目標dabチャネル画像(即ち、変換された目標医用画像)の画素点の輝度レベルを表し、実線は、参照dabチャネル画像(即ち、変換された参照医用画像)の画素点の輝度レベルを表す。
図4から分かるように、目標dabチャネル画像において画素値が[165,195]に位置する画素点に対応する輝度レベルと、参照dabチャネル画像において画素値が[165,195]に位置する画素点に対応する輝度レベルとの差異は比較的に大きく、他の画素値の画素点の輝度レベルの差異は比較的に小さい。したがって、変換された目標医用画像における画素値が[165,195]に位置する画素点を、第1目標画素点とすることができ、目標医用画像における第1目標画素点の所在領域を、目標医用画像の候補非病巣領域とすることができる。
【0049】
いくつかの実施例では、上記のステップS13は、以下のステップs21~ステップs23を含み得る。
【0050】
ステップs21において、コンピュータ機器は、当該変換された参照医用画像内の画素点の輝度情報及び当該変換された目標医用画像内の対応する画素点の輝度情報との差異度を取得する。
【0051】
ステップs22において、当該変換された目標医用画像から、輝度情報に対応する差異度が差異度閾値より大きい画素点を識別して、第1目標画素点とする。
【0052】
ステップs23において、当該目標医用画像における当該第1目標画素点の所在領域を、当該目標医用画像内の候補非病巣領域として決定する。
【0053】
ステップs21~ステップs23において、コンピュータ機器は、当該変換された参照医用画像内の画素点の輝度情報と、当該変換された目標医用画像内の対応する画素点の輝度情報との差異度を取得することができ、即ち、当該差異度は、当該変換された参照医用画像内の画素点の輝度値と、当該変換された目標医用画像内の対応する画素点の輝度値との差分を指し得、即ち、当該差異度は、当該変換された参照医用画像内と当該変換された目標医用画像との、同じ位置にある2つの画素点の輝度値の差分を指し得る。2つの画素点がいずれも病巣領域内の画素点である場合、この2つの画素点の輝度情報間の差異度は比較的に小さいか、又はこの2つの画素点の輝度情報が同じであり、一方の画素点が病巣領域内の画素点であり、他方の画素点が非病巣領域内の画素点である場合、この2つの画素点の輝度情報間の差異度は比較的に大きい。したがって、コンピュータ機器は、当該変換された目標医用画像から、輝度情報に対応する差異度が差異度閾値より大きい画素点を識別して、第1目標画素点とし、目標医用画像における第1目標画素点の所在領域を、当該目標医用画像内の候補非病巣領域として決定することができる。当該変換された参照医用画像内の画素点の輝度情報と、当該変換された目標医用画像内の対応する画素点の輝度情報との差異度に基づいて、候補非病巣領域を決定することにより、非病巣領域識別の精度を向上させることができる。
【0054】
いくつかの実施例では、ステップS103は、コンピュータ機器が、当該候補非病巣領域の領域サイズ、及び当該目標医用画像の画像サイズを取得し、当該候補非病巣領域の領域サイズと当該目標医用画像の画像サイズとの比率を、当該候補領域割合として決定するステップ、又は、当該候補非病巣領域内の画素点の数、及び当該目標医用画像内の画素点の数を取得し、当該候補非病巣領域内の画素点の数と当該目標医用画像内の画素点の数との比率を、当該候補領域割合として決定するステップを含み得る。
【0055】
コンピュータ機器は、当該候補非病巣領域の領域サイズ、及び当該目標医用画像の画像サイズを取得することができ、当該領域サイズは、候補非病巣領域の面積を指し得、即ち、領域サイズは、目標医用画像内のすべての候補非病巣領域の面積の累積和であり、画像サイズは、目標医用画像の面積を指し得る。当該候補非病巣領域の領域サイズと当該目標医用画像の画像サイズとの比率を、当該候補領域割合として決定する。例えば、当該目標医用画像は、乳癌患者の乳腺の医用画像であり、次の式1で候補領域割合を表すことができ、式1において、免疫細胞(IC:Immune Cell)値は、候補領域割合を表し、IC領域面積は、候補非病巣領域の面積を表し、腫瘍領域面積は、目標医用画像の面積を指す。ここで、識別された候補非病巣領域には、一定の誤差があるため、即ち、候補非病巣領域には、染色された免疫細胞(即ち、非病巣領域)及び免疫細胞周囲の非免疫細胞領域(病巣領域)が含まれるため、IC領域面積は、IC領域面積=染色された免疫細胞面積+細胞周囲領域の面積として表すことができる。
【数1】
又は、コンピュータ機器は、目標医用画像における各当該候補非病巣領域内の画素点の数の累積和を取得して、候補非病巣領域内の画素点の数(即ち、候補非病巣領域の画素点の総数)を取得し、当該目標医用画像内の画素点の数を取得し、当該候補非病巣領域内の画素点の数と当該目標医用画像内の画素点の数との比率を、当該候補領域割合として決定することができる。例えば、当該目標医用画像は、乳癌患者の乳腺の医用画像であり、次の式2で候補領域割合を表すことができ、式2において、IC値は、候補領域割合を表し、IC領域の画素点の数は、候補非病巣領域内の画素点の数を表し、腫瘍領域の画素点の数は、目標医用画像内の画素点の数を表す。
【数2】
いくつかの実施例では、候補非病巣領域の候補領域割合を取得した後、当該候補領域割合を当該候補非病巣領域の候補領域サイズ情報として決定することができる。
【0056】
いくつかの実施例では、当該候補領域サイズ情報は、当該目標医用画像における当該候補非病巣領域の候補領域割合を含み、当該ラベリング領域サイズ情報は、当該目標医用画像における、当該目標医用画像内の非病巣領域のラベリング領域割合を含み、ステップS104は、以下のステップs31~ステップs33を含み得る。
【0057】
ステップs31において、コンピュータ機器は、当該候補領域割合と当該ラベリング領域割合との領域割合差分を取得する。
【0058】
ステップs32において、当該領域割合差分が割合閾値より大きい場合、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしないと決定する。
【0059】
ステップs33において、当該ラベリング領域割合に基づいて当該候補非病巣領域を調整して、当該目標非病巣領域を取得する。
【0060】
ステップs31~ステップs33において、コンピュータ機器は、当該候補領域割合と当該ラベリング領域割合との領域割合差分を取得することができ、当該領域割合差分が領域割合閾値より小さいか等しい場合、候補非病巣領域と目標医用画像の実際領域との差異が比較的に小さいか又は同じであることを示し、この場合、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングすると決定する。当該領域割合差分が割合閾値より大きい場合、候補非病巣領域と目標医用画像の実際領域との差異が比較的に大きいことを示し、この場合、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしないと決定する。したがって、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしない場合、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して縮小処理を行い、当該目標非病巣領域を取得する必要があり、即ち、目標非病巣領域が目標医用画像内の実際の非病巣領域と同じにするか又はより近似するようにする。候補非病巣領域と目標医用画像の実際領域との差異が比較的に大きい場合、ラベリング領域割合に基づいて当該候補非病巣領域を調整することにより、非病巣領域識別の精度を向上させることができる。
【0061】
いくつかの実施例では、ステップs33は、以下のステップs41~ステップs42を含み得る。
【0062】
ステップs41において、コンピュータ機器は、当該候補領域割合が当該ラベリング領域割合より小さい場合、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して拡張処理を行い、当該目標非病巣領域を取得する。
【0063】
ステップs42において、当該候補領域割合が当該ラベリング領域割合より大きい場合、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して縮小処理を行い、当該目標非病巣領域を取得する。
【0064】
ステップs41~ステップs42において、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしない場合、コンピュータ機器は、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して縮小処理を行い、当該目標非病巣領域を取得することができる。例えば、当該候補領域割合が当該ラベリング領域割合より小さい場合、候補非病巣領域が目標医用画像内の実際の非病巣領域より小さいことを示し、この場合、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して拡張処理を行い、当該目標非病巣領域を取得し、即ち、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して拡大処理を行い、当該目標非病巣領域を取得する。当該候補領域割合が当該ラベリング領域割合より大きい場合、候補非病巣領域が目標医用画像内の実際の非病巣領域より大きいことを示し、この場合、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して縮小処理を行い、当該目標非病巣領域を取得することができる。ラベリング領域割合に基づいて候補非病巣領域に対して拡張処理又は縮小処理を行うことにより、非病巣領域識別の精度を向上させることができる。
【0065】
いくつかの実施例では、ステップs41は、以下のステップs51~ステップs54を含み得る。
【0066】
ステップs51において、当該候補領域割合が当該ラベリング領域割合より小さい場合、コンピュータ機器は、拡張パラメータを取得し、当該拡張パラメータは、拡張形状及び拡張サイズを含む。
【0067】
ステップs52において、当該拡張パラメータに基づいて当該候補非病巣領域に対して反復拡張を行い、拡張された候補非病巣領域を取得する。
【0068】
ステップs53において、当該目標医用画像における当該拡張された候補非病巣領域の領域割合を、拡張領域割合として取得する。
【0069】
ステップs54において、当該拡張領域割合と当該ラベリング領域割合との領域割合差分が当該割合閾値より小さい拡張された候補非病巣領域を、当該目標非病巣領域として決定する。
【0070】
ステップs51~ステップs54において、当該候補領域割合が当該ラベリング領域割合より小さい場合、候補非病巣領域が目標医用画像内の実際の非病巣領域より小さいことを示し、したがって、コンピュータ機器は、拡張パラメータを取得することができ、当該拡張パラメータは、拡張形状及び拡張サイズを含み、拡張形状は、長方形、台形、菱形などの少なくとも1つを含み、拡張サイズは、毎回の拡張のサイズを指す。いくつかの実施例では、当該拡張パラメータに基づいて当該候補非病巣領域に対して反復拡張を行い、拡張された候補非病巣領域を取得することができ、即ち、拡張パラメータに基づいて当該候補非病巣領域に対して複数回の拡張を行い、複数の拡張された候補非病巣領域を取得することができ、例えば、まず、拡張パラメータに基づいて候補非病巣領域を拡張して、第1の拡張された候補非病巣領域を取得し、次に、拡張パラメータに基づいて第1の拡張された候補非病巣領域を拡張して、第2の拡張された候補非病巣領域を取得することができ、以下同様に繰り返す。拡張された候補非病巣領域を取得した後、コンピュータ機器は、当該目標医用画像における当該拡張された候補非病巣領域の領域割合を、拡張領域割合として取得することができ、即ち、拡張された候補非病巣領域の領域サイズと目標医用画像の画像サイズとの比率を求めて、拡張領域割合を取得するか、又は、拡張された候補非病巣領域の画素点の数と目標医用画像の画素点の数との比率を求めて、拡張領域割合を取得することができる。拡張領域割合を取得した後、当該拡張領域割合とラベリング領域割合との領域割合差分を取得することができ、当該拡張領域割合とラベリング領域割合との領域割合差分が当該割合閾値より小さい拡張された候補非病巣領域を、当該目標非病巣領域として決定することができる。候補非病巣領域に対して反復拡張を行う方式で、候補非病巣領域を調整することにより、即ち、候補非病巣領域に対して複数回微調整を行うことにより、非病巣領域取得の精度を向上させることができる。
【0071】
例えば、当該候補領域割合が0.6%で、ラベリング領域割合が2.0%であり、即ち、候補領域割合がラベリング領域割合より小さい場合、
図5に示すように、コンピュータ機器は、拡張パラメータに基づいて候補非病巣領域を調整することができる。区別しやすいように、候補非病巣領域を調整する前に、当該候補非病巣領域に基づいて目標医用画像に対して二値化処理を行うことができ、例えば、目標医用画像内の病巣領域を黒色で表し、目標医用画像内の非病巣領域を白色で表すことにより、処理後の目標医用画像21を取得することができる。反復パラメータが次のとおりであると仮定する。
【0072】
kernel = disk(1).astype(np.uint8)
mask_ic = cv2.dilate(mask_init,kernel,iterations = ITERATION)
ここで、ITERATIONは、反復回数を表し、即ち、反復回数は、5であり得、もちろん、他の値でもよく、mask_initは、前回の反復結果を表し、mask_icは、今回の反復結果を表し、即ち、拡張パラメータに基づいて、前回の反復結果に基づいて反復を行い、今回の反復結果を取得する。反復パラメータは、拡張パラメータをさらに含み、即ち、拡張される形状は、台形であり、拡張サイズは、8つの画素点に対応する領域のサイズである。
図5に示すように、拡張パラメータに基づいて処理後の目標医用画像21内の候補非病巣領域に対して拡張処理を行い、1回目の拡張後の目標医用画像22を取得し、いくつかの実施例では、拡張パラメータに基づいて、1回目の拡張後の目標医用画像22内の、1回目の拡張後の候補非病巣領域に対して拡張処理を行い、2回目の拡張後の目標医用画像23を取得し、このようにして、3回目の拡張後の目標医用画像24、4回目の拡張後の目標医用画像25、及び5回目の拡張後の目標医用画像26を取得することができる。
図5から分かるように、拡張された目標医用画像内の候補非病巣領域の形状は、台形に近似しており、拡張された候補非病巣領域の領域サイズは、増大し続け、即ち、拡張領域割合は、増大し続ける。
図5に示すように、1回目の反復の後、拡張領域割合(即ち、目標医用画像における拡張された候補非病巣領域の領域割合)は、1.1%であり、2回目の反復の後、拡張領域割合は、1.8%である。3回目の反復の後、拡張領域割合は、2.5%であり、4回目の反復の後、拡張領域割合は、3.4%であり、5回目の反復の後、拡張領域割合は、4.3%である。拡張領域割合1.8%の方が、ラベリング領域割合2%により近似しているため、2回目の反復の後に取得された拡張候補非病巣領域を、目標非病巣領域とすることができる。
【0073】
なお、候補非病巣領域の調整中では、目標医用画像の画像サイズは変化せず、候補非病巣領域の領域サイズ及び形状のみが変化するか、又は、候補非病巣領域の領域サイズのみが変化する。
【0074】
いくつかの実施例では、ステップs41は、以下のステップs61~ステップs64を含み得る。
【0075】
ステップs61において、当該候補領域割合が当該ラベリング領域割合より小さい場合、当該目標医用画像における当該候補非病巣領域に隣接する画素点の画素値、及び当該候補非病巣領域内の画素点の画素値を取得する。
【0076】
ステップs62において、当該候補非病巣領域内の画素点の画素値、及び当該候補非病巣領域に隣接する画素点の画素値に基づいて、当該候補非病巣領域内の画素点及び当該候補非病巣領域に隣接する画素点に対してクラスタリング処理を行い、クラスタ領域を取得する。
【0077】
ステップs63において、当該目標医用画像における当該クラスタ領域の領域割合を、クラスタ領域割合として取得する。
【0078】
ステップs64において、当該クラスタ領域割合と当該ラベリング領域割合との領域割合差分が当該割合閾値より小さい場合、当該クラスタ領域を当該目標非病巣領域として決定する。
【0079】
ステップs61~ステップs64において、当該候補領域割合が当該ラベリング領域割合より小さい場合、候補非病巣領域が目標医用画像内の実際の非病巣領域より小さいことを示し、したがって、コンピュータ機器は、当該目標医用画像における当該候補非病巣領域に隣接する画素点の画素値、及び当該候補非病巣領域内の画素点の画素値を取得することができる。いくつかの実施例では、当該候補非病巣領域内の画素点の画素値、及び当該候補非病巣領域に隣接する画素点の画素値に基づいて、当該候補非病巣領域内の画素点及び当該候補非病巣領域に隣接する画素点に対してクラスタリング処理を行い、クラスタ領域を取得することができ、即ち、隣接する画素点の画素値と候補非病巣領域の画素点の画素値との差分が画素差分閾値より小さい画素点と、候補非病巣領域の画素点とをクラスタリングし、候補非病巣領域の画素点と同クラスの画素点及び候補非病巣領域の画素点の所在領域を、クラスタ領域として決定する。次に、当該目標医用画像における当該クラスタ領域の領域割合を、クラスタ領域割合として取得することができ、即ち、クラスタ領域の領域サイズと目標医用画像の画像サイズとの比率を求めて、クラスタ領域割合を取得するか、又は、クラスタ領域の画素点の数と目標医用画像の画素点の数との比率を求めて、クラスタ領域割合を取得することができる。クラスタ領域割合を取得した後、当該クラスタ領域割合と当該ラベリング領域割合との領域割合差分を取得することができ、当該クラスタ領域割合と当該ラベリング領域割合との領域割合差分が当該割合閾値より小さい場合、当該クラスタ領域を当該目標非病巣領域として決定する。当該クラスタ領域割合と当該ラベリング領域割合との領域割合差分が当該割合閾値より大きいか等しい場合、当該候補非病巣領域内の画素点及び当該候補非病巣領域に隣接する画素点に対して再度クラスタリング処理を行い、クラスタ領域を取得する。
【0080】
いくつかの実施例では、ステップs62は、以下のステップs71~ステップs73を含み得る。
【0081】
ステップs71において、コンピュータ機器は、当該候補非病巣領域に隣接する画素点の画素値と、当該候補非病巣領域内の画素点の画素値との画素差分を取得する。
【0082】
ステップs72において、当該候補非病巣領域に隣接する画素点から、対応する画素差分が画素差分閾値より小さい画素点を第2目標画素点として決定する。
【0083】
ステップs73において、当該目標医用画像における当該第2目標画素点の所在領域を当該候補非病巣領域とマージして、当該クラスタ領域を取得する。
【0084】
ステップs71~ステップs73において、コンピュータ機器は、当該候補非病巣領域に隣接する画素点の画素値と、当該候補非病巣領域内の画素点の画素値との画素差分を取得することができ、2つの画素点間の画素差分が画素差分閾値より小さい場合、この2つの画素点間に類似性があることを示し、したがって、当該候補非病巣領域に隣接する画素点から、対応する画素差分が画素差分閾値より小さい画素点を第2目標画素点として決定し、当該目標医用画像における当該第2目標画素点の所在領域を当該候補非病巣領域とマージして、当該クラスタ領域を取得することができる。
【0085】
いくつかの実施例では、上記のステップs42は、以下のステップs81~ステップs84を含み得る。
【0086】
ステップs81において、当該候補領域割合が当該ラベリング領域割合より大きい場合、コンピュータ機器は、縮小処理パラメータを取得し、当該縮小処理パラメータは、縮小処理の形状及び縮小処理のサイズを含む。
【0087】
ステップs83において、当該縮小処理パラメータに基づいて当該候補非病巣領域に対して反復縮小処理を行い、縮小処理された候補非病巣領域を取得する。
【0088】
ステップs84において、当該目標医用画像における当該縮小処理された候補非病巣領域の領域割合を、縮小処理後の領域割合として取得する。
【0089】
ステップs85において、当該縮小処理後の領域割合と当該ラベリング領域割合との領域割合差分が当該割合閾値より小さい、縮小処理された候補非病巣領域を、当該目標非病巣領域として決定する。
【0090】
ステップs81~ステップs84において、当該候補領域割合が当該ラベリング領域割合より大きい場合、候補非病巣領域が目標医用画像内の実際の非病巣領域より大きいことを示し、したがって、コンピュータ機器は、縮小処理パラメータを取得することができ、当該縮小処理パラメータは、縮小処理の形状及び縮小処理のサイズを含み、縮小処理のサイズは、縮小処理量を指し得る。いくつかの実施例では、当該縮小処理パラメータに基づいて当該候補非病巣領域に対して反復縮小処理を行い、縮小処理された候補非病巣領域を取得することができ、即ち、縮小処理パラメータに基づいて当該候補非病巣領域に対して複数回の縮小処理を行い、複数の縮小処理された候補非病巣領域を取得し、例えば、まず、縮小処理パラメータに基づいて候補非病巣領域に対して縮小処理を行い、第1の縮小処理された候補非病巣領域を取得し、次に、縮小処理パラメータに基づいて第1の縮小処理された候補非病巣領域に対して縮小処理を行い、第2の縮小処理された候補非病巣領域を取得することができ、以下同様に繰り返す。当該目標医用画像における当該縮小処理された候補非病巣領域の領域割合を、縮小処理後の領域割合として取得する。次に、当該目標医用画像における当該縮小処理された候補非病巣領域の領域割合を、縮小処理後の領域割合として取得することができ、即ち、縮小処理された候補非病巣領域の領域サイズと目標医用画像の画像サイズとの比率を求めて、縮小処理後の領域割合を取得するか、又は、縮小処理された候補非病巣領域的画素点の数と目標医用画像の画素点の数との比率を求めて、縮小処理後の領域割合を取得することができる。縮小処理後の領域割合を取得した後、当該縮小処理後の領域割合と当該ラベリング領域割合との領域割合差分を取得することができ、当該縮小処理後の領域割合と当該ラベリング領域割合との領域割合差分が当該割合閾値より小さい、縮小処理された候補非病巣領域を、当該目標非病巣領域として決定する。縮小処理パラメータに基づいて候補非病巣領域に対して反復縮小処理を行う方式で候補非病巣領域を調整することにより、即ち、候補非病巣領域に対して複数回微調整を行うことにより、非病巣領域取得の精度を向上させることができる。
【0091】
いくつかの実施例では、上記のステップs42は、当該候補領域割合が当該ラベリング領域割合より大きい場合、コンピュータ機器が候補非病巣領域内の画素点の画素値に基づいて、候補非病巣領域の画素点に対してクラスタリング処理を行い、同クラスの画素点の所在領域を、縮小処理された候補非病巣領域とするステップを含み得る。即ち、候補非病巣領域内の各画素点の画素値間の画素差分を取得し、候補非病巣領域から、画素差分が画素差分閾値より大きい画素点の所在領域を除去して、縮小処理された候補非病巣領域を取得する。いくつかの実施例では、当該目標医用画像における当該縮小処理された候補非病巣領域の領域割合を、縮小処理後の領域割合として取得することができる。当該縮小処理後の領域割合と当該ラベリング領域割合との領域割合差分が当該割合閾値より小さい、縮小処理された候補非病巣領域を、当該目標非病巣領域として決定する。
【0092】
いくつかの実施例では、ステップS103は、コンピュータ機器が、当該候補非病巣領域の領域サイズを取得して、候補領域サイズを取得し、当該候補領域サイズを当該候補領域サイズ情報として決定するステップを含み得る。
【0093】
コンピュータ機器は、当該候補非病巣領域の領域サイズを取得して、候補領域サイズを取得することができ、即ち、当該候補領域サイズは、当該候補非病巣領域の面積を指し得、当該候補領域サイズを候補領域サイズ情報として決定することができる。
【0094】
いくつかの実施例では、当該候補領域サイズ情報は、当該候補非病巣領域の候補領域サイズを含み、当該ラベリング領域サイズ情報は、当該目標医用画像内の非病巣領域のラベリング領域サイズを含み、上記のステップS104は、以下のステップs91~ステップs93を含み得る。
【0095】
ステップs91において、コンピュータ機器は、当該候補領域サイズと当該ラベリング領域サイズとの領域サイズ差分を取得する。
【0096】
ステップs92において、当該領域サイズ差分がサイズ閾値より大きい場合、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしないと決定する。
【0097】
ステップs93において、当該ラベリング領域サイズに基づいて当該候補非病巣領域を調整して、当該目標非病巣領域を取得する。
【0098】
ステップs91~ステップs93において、コンピュータ機器は、当該候補領域サイズと当該ラベリング領域サイズとの領域サイズ差分を取得することができ、当該領域サイズ差分がサイズ閾値より小さいか等しい場合、候補非病巣領域と目標医用画像の実際の非病巣領域との差異性が比較的に小さいことを示し、この場合、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングすると決定し、候補非病巣領域を目標医用画像の目標非病巣領域として決定することができる。当該領域サイズ差分がサイズ閾値より大きい場合、候補非病巣領域と目標医用画像の実際の非病巣領域との差異性が比較的に大きいことを示し、この場合、当該候補領域サイズ情報が当該ラベリング領域サイズ情報とマッチングしないと決定し、当該ラベリング領域サイズに基づいて当該候補非病巣領域を調整して、当該目標非病巣領域を取得する。
【0099】
いくつかの実施例では、上記の当該ラベリング領域サイズに基づいて当該候補非病巣領域を調整して、当該目標非病巣領域を取得することは、当該候補領域サイズが当該ラベリング領域サイズより小さい場合、当該ラベリング領域サイズに基づいて当該候補非病巣領域に対して拡張処理を行い、当該目標非病巣領域を取得することを含む。当該候補領域サイズが当該ラベリング領域サイズより大きい場合、当該ラベリング領域サイズに基づいて当該候補非病巣領域に対して縮小処理を行い、当該目標非病巣領域を取得する。
【0100】
ここで、コンピュータ機器が当該ラベリング領域サイズに基づいて当該候補非病巣領域に対して拡張処理を行い、当該目標非病巣領域を取得する実現方式は、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して拡張処理を行い、当該目標非病巣領域を取得する上記の実現方式を参照でき、コンピュータ機器が当該ラベリング領域サイズに基づいて当該候補非病巣領域に対して縮小処理を行い、当該目標非病巣領域を取得する実現方式は、当該ラベリング領域割合に基づいて当該候補非病巣領域に対して縮小処理を行い、当該目標非病巣領域を取得する上記の実現方式を参照でき、ここでは繰り返して説明しない。
【0101】
いくつかの実施例では、当該方法は、以下のステップs111~ステップs113をさらに含み得る。
【0102】
ステップs111において、当該目標医用画像内で当該目標非病巣領域をラベリングして、ラベリングされた目標医用画像を取得する。
【0103】
ステップs112において、画像分割モデルを採用して当該目標医用画像を予測して、当該目標医用画像内の予測非病巣領域を取得し、当該目標医用画像内で当該予測非病巣領域をラベリングして、予測された目標医用画像を取得する。
【0104】
ステップs113において、当該ラベリングされた目標医用画像及び当該予測された目標医用画像に基づいて当該画像分割モデルを調整して、目標医用画像分割モデルを取得する。
【0105】
ステップs111~ステップs113において、
図6に示すように、当該目標医用画像の目標非病巣領域は、画像分割モデルを訓練するために使用され得、例えば、コンピュータ機器は、当該目標医用画像内で当該目標非病巣領域をラベリングして、ラベリングされた目標医用画像(即ち、二値化された目標医用画像)を取得することができ、即ち、目標医用画像内で目標非病巣領域をマークすることにより、目標医用画像内の目標非病巣領域と病巣領域とを区別し、ラベリングされた目標医用画像を取得する。いくつかの実施例では、画像分割モデルを採用して当該目標医用画像を予測して、当該目標医用画像内の予測非病巣領域を取得し、当該目標医用画像内で当該予測非病巣領域をラベリングして、予測された目標医用画像を取得することができ、当該画像分割モデルは、医用画像内の非病巣領域を識別するためのモデルを指し得る。
図6から分かるように、ラベリングされた目標医用画像を採用して画像分割モデルを訓練した後、画像分割モデルによって出力される予測された目標医用画像内の非病巣領域のエッジがより滑らかで自然になり、これにより、非病巣領域の識別精度を向上させることができる。
【0106】
ここで、
図7に示すように、当該画像分割モデルは、FC-DenseNetモデル(画像セマンティックセグメンテーションモデル)を指し得、当該FC-DenseNetモデルは、1つのダウンサンプリングパス、1つのアップサンプリングパス、及び残差接続(skip connections)を含み得、skip connectionsは、特徴マップを再利用することにより、アップサンプリングパスにより空間詳細情報を復元するのを支援する。ここで、ダウンサンプリングパスは、入力層、畳み込み層、全結合層、関連層、下向き遷移層を含み、アップサンプリングパスは、出力層、畳み込み層、全結合層、関連層、上向き遷移層を含む。いくつかの実施例では、当該画像分割モデルは、他のモデルであってもよく、例えば、ニューラルネットワーク(FCN:Fully Convolutional Network)、セマンティックセグメンテーションネットワーク(SegNet)、PSPNetなどを含むが、これらに限定されない。
【0107】
いくつかの実施例では、上記のステップs113は、以下のステップs121~ステップs122を含み得る。
【0108】
ステップs121において、コンピュータ機器は、当該ラベリングされた目標医用画像及び当該予測された目標医用画像に基づいて、当該画像分割モデルの予測損失値を決定する。
【0109】
ステップs123において、当該予測損失値が収束条件を満たさない場合、当該予測損失値に基づいて当該画像分割モデルを調整して、目標医用画像分割モデルを取得する。
【0110】
ステップs121~ステップs122において、コンピュータ機器は、ラベリングされた目標医用画像を、画像分割モデルを訓練するためのラベリングデータとし、当該ラベリングされた目標医用画像及び当該予測された目標医用画像に基づいて、当該画像分割モデルの予測損失値を決定することができ、当該予測損失値は、医用画像の非病巣領域を予測するための画像分割モデルの精度を反映するために使用され、即ち、予測損失値が大きいほど、当該画像分割モデルに対応する精度が低いことを示し、予測損失値が小さいほど、当該画像分割モデルに対応する精度が高いことを示す。当該予測損失値が収束条件を満たす場合、医用画像の非病巣領域を予測するための当該画像分割モデルの精度が比較的に高いことを示し、したがって、当該画像分割モデルを目標医用画像分割モデルとすることができる。当該予測損失値が収束条件を満たさない場合、医用画像の非病巣領域を予測するための当該画像分割モデルの精度が比較的に低いことを示し、したがって、当該予測損失値に基づいて当該画像分割モデルを調整して、目標医用画像分割モデルを取得することができる。
【0111】
いくつかの実施例では、上記のステップs111は、当該目標非病巣領域内の画素点に基づいて、当該目標医用画像に対して二値化処理を行い、二値化処理された目標医用画像を、当該ラベリングされた目標医用画像として決定するステップを含み得る。
【0112】
コンピュータ機器は、当該目標非病巣領域内の画素点に基づいて、当該目標医用画像に対して二値化処理を行うことができ、即ち、目標医用画像における目標非病巣領域内の画素点を第1の色でマークし、目標医用画像における病巣領域内の画素点を第2の色でマークすることができ、第1の色と第2の色は異なり、例えば、第1の色は白色であり、第2の色は黒色であり得る。いくつかの実施例では、二値化処理された目標医用画像を、当該ラベリングされた目標医用画像として決定することができ、目標医用画像内の目標非病巣領域と病巣領域とに対して二値化処理を行うことにより、目標医用画像内の目標非病巣領域と病巣領域とを区別するのに有利である。
【0113】
図8を参照すると、
図8は、本願の実施例による医用画像処理装置の概略構造図である。上記の医用画像処理装置は、コンピュータ機器で実行される1つのコンピュータプログラム(プログラムコードを含む)であってもよく、例えば、当該医用画像処理装置は、1つのアプリケーションソフトウェアであり、当該装置は、本願の実施例によって提供される方法における対応するステップを実行するために使用され得る。
図8に示すように、当該医用画像処理装置は、取得モジュール801、識別モジュール802、決定モジュール803、調整モジュール804、ラベリングモジュール805、及び予測モジュール806を備えることができる。
【0114】
取得モジュール801は、医用画像セットを取得するように構成され、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含み、
識別モジュール802は、前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するように構成され、
決定モジュール803は、前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するように構成され、
調整モジュール804は、前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するように構成される。
【0115】
いくつかの実施例では、前記識別モジュール802が前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得する方法は、
前記参照医用画像を目標色空間の画像に変換して、変換された参照医用画像を取得し、前記目標医用画像を前記目標色空間の画像に変換して、変換された目標医用画像を取得するステップと、
前記変換された参照医用画像内の画素点の輝度情報及び前記変換された目標医用画像内の画素点の輝度情報を取得するステップと、
前記変換された参照医用画像内の画素点の輝度情報及び前記変換された目標医用画像内の画素点の輝度情報に基づいて、前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップと、を含む。
【0116】
いくつかの実施例では、前記識別モデルが前記変換された参照医用画像内の画素点の輝度情報及び前記変換された目標医用画像内の画素点の輝度情報に基づいて、前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得する方法は、
前記変換された参照医用画像内の画素点の輝度情報と、前記変換された目標医用画像内の対応する画素点の輝度情報との差異度を取得するステップと、
前記変換された目標医用画像から、輝度情報に対応する差異度が差異度閾値より大きい画素点を識別して、第1目標画素点とするステップと、
前記目標医用画像における前記第1目標画素点の所在領域を、前記目標医用画像内の候補非病巣領域として決定するステップと、を含む。
【0117】
いくつかの実施例では、前記候補領域サイズ情報は、前記目標医用画像における前記候補非病巣領域の候補領域割合を含み、前記ラベリング領域サイズ情報は、前記目標医用画像内の非病巣領域の前記目標医用画像におけるラベリング領域割合を含み、
前記調整モジュール804が、前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得する方法は、
前記候補領域割合と前記ラベリング領域割合との領域割合差分を取得するステップと、
前記領域割合差分が割合閾値より大きい場合、前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしないと決定するステップと、
前記ラベリング領域割合に基づいて前記候補非病巣領域を調整して、前記目標非病巣領域を取得するステップと、を含む。
【0118】
いくつかの実施例では、前記調整モジュール804が、前記ラベリング領域割合に基づいて前記候補非病巣領域を調整して、前記目標非病巣領域を取得する方法は、
前記候補領域割合が前記ラベリング領域割合より小さい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して拡張処理を行い、前記目標非病巣領域を取得するステップと、
前記候補領域割合が前記ラベリング領域割合より大きい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して縮小処理を行い、前記目標非病巣領域を取得するステップと、を含む。
【0119】
いくつかの実施例では、前記調整モジュール804が、前記候補領域割合が前記ラベリング領域割合より小さい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して拡張処理を行い、前記目標非病巣領域を取得する方法は、
前記候補領域割合が前記ラベリング領域割合より小さい場合、拡張パラメータを取得するステップであって、前記拡張パラメータは、拡張形状及び拡張サイズを含む、ステップと、
前記拡張パラメータに基づいて前記候補非病巣領域に対して反復拡張を行い、拡張された候補非病巣領域を取得するステップと、
前記目標医用画像における前記拡張された候補非病巣領域の領域割合を、拡張領域割合として取得するステップと、
前記拡張領域割合と前記ラベリング領域割合との領域割合差分が前記割合閾値より小さい、拡張された候補非病巣領域を、前記目標非病巣領域として決定するステップと、を含む。
【0120】
いくつかの実施例では、前記調整モジュール804が、前記候補領域割合が前記ラベリング領域割合より小さい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して拡張処理を行い、前記目標非病巣領域を取得する方法は、
前記候補領域割合が前記ラベリング領域割合より小さい場合、前記目標医用画像における前記候補非病巣領域に隣接する画素点の画素値、及び前記候補非病巣領域内の画素点の画素値を取得するステップと、
前記候補非病巣領域内の画素点の画素値、及び前記候補非病巣領域に隣接する画素点の画素値に基づいて、前記候補非病巣領域内の画素点及び前記候補非病巣領域に隣接する画素点に対してクラスタリング処理を行い、クラスタ領域を取得するステップと、
前記目標医用画像における前記クラスタ領域の領域割合を、クラスタ領域割合として取得するステップと、
前記クラスタ領域割合と前記ラベリング領域割合との領域割合差分が前記割合閾値より小さい場合、前記クラスタ領域を前記目標非病巣領域として決定するステップと、を含む。
【0121】
いくつかの実施例では、前記調整モジュール804が、前記候補非病巣領域内の画素点の画素値、及び前記候補非病巣領域に隣接する画素点の画素値に基づいて、前記候補非病巣領域内の画素点及び前記候補非病巣領域に隣接する画素点に対してクラスタリング処理を行い、クラスタ領域を取得する方法は、
前記候補非病巣領域に隣接する画素点の画素値と、前記候補非病巣領域内の画素点の画素値との画素差分を取得するステップと、
前記候補非病巣領域に隣接する画素点から、対応する画素差分が画素差分閾値より小さい画素点を、第2目標画素点として決定するステップと、
前記目標医用画像における前記第2目標画素点の所在領域を前記候補非病巣領域とマージして、前記クラスタ領域を取得するステップと、を含む。
【0122】
いくつかの実施例では、前記調整モジュール804が、前記候補領域割合が前記ラベリング領域割合より大きい場合、前記ラベリング領域割合に基づいて前記候補非病巣領域に対して縮小処理を行い、前記目標非病巣領域を取得する方法は、
前記候補領域割合が前記ラベリング領域割合より大きい場合、縮小処理パラメータを取得するステップであって、前記縮小処理パラメータは、縮小処理の形状及び縮小処理のサイズを含む、ステップと、
前記縮小処理パラメータに基づいて、前記候補非病巣領域に対して反復縮小処理を行い、縮小処理された候補非病巣領域を取得するステップと、
前記目標医用画像における前記縮小処理された候補非病巣領域の領域割合を、縮小処理後の領域割合として取得するステップと、
前記縮小処理後の領域割合と前記ラベリング領域割合との領域割合差分が前記割合閾値より小さい、縮小処理された候補非病巣領域を、前記目標非病巣領域として決定するステップと、を含む。
【0123】
いくつかの実施例では、前記候補領域サイズ情報は、前記候補非病巣領域の候補領域サイズを含み、前記ラベリング領域サイズ情報は、前記目標医用画像における非病巣領域のラベリング領域サイズを含み、
前記調整モジュール804が、前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得する方法は、
前記候補領域サイズと前記ラベリング領域サイズとの領域サイズ差分を取得するステップと、
前記領域サイズ差分がサイズ閾値より大きい場合、前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしないと決定するステップと、
前記ラベリング領域サイズに基づいて前記候補非病巣領域を調整して、前記目標非病巣領域を取得するステップと、を含む。
【0124】
いくつかの実施例では、前記決定モジュール803が、前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定する方法は、
前記候補非病巣領域の領域サイズ、及び前記目標医用画像の画像サイズを取得し、前記候補非病巣領域の領域サイズと前記目標医用画像の画像サイズとの比率を、前記候補領域割合として決定するか、又は、
前記候補非病巣領域内の画素点の数、及び前記目標医用画像内の画素点の数を取得し、前記候補非病巣領域内の画素点の数と前記目標医用画像内の画素点の数との比率を、前記候補領域割合として決定するステップと、
前記候補領域割合を前記候補領域サイズ情報として決定するステップと、を含む。
【0125】
いくつかの実施例では、前記決定モジュール803が、前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定する方法は、
前記候補非病巣領域の領域サイズを取得して、候補領域サイズを取得するステップと、
前記候補領域サイズを前記候補領域サイズ情報として決定するステップと、を含む。
【0126】
いくつかの実施例では、当該医用画像処理装置はさらに、
前記目標医用画像内で前記目標非病巣領域をラベリングして、ラベリングされた目標医用画像を取得するように構成されるラベリングモジュール805と、
画像分割モデルを採用して前記目標医用画像を予測して、前記目標医用画像内の予測非病巣領域を取得し、前記目標医用画像内で前記予測非病巣領域をラベリングして、予測された目標医用画像を取得するように構成される予測モジュール806と、を備え、
上記の調整モジュール804はさらに、前記ラベリングされた目標医用画像及び前記予測された目標医用画像に基づいて前記画像分割モデルを調整して、目標医用画像分割モデルを取得するように構成される。
【0127】
いくつかの実施例では、前記調整モジュール804が、前記ラベリングされた目標医用画像及び前記予測された目標医用画像に基づいて前記画像分割モデルを調整して、目標医用画像分割モデルを取得する方法は、
前記ラベリングされた目標医用画像及び前記予測された目標医用画像に基づいて、前記画像分割モデルの予測損失値を決定するステップと、
前記予測損失値が収束条件を満たさない場合、前記予測損失値に基づいて前記画像分割モデルを調整して、目標医用画像分割モデルを取得するステップと、を含む。
【0128】
いくつかの実施例では、前記ラベリングモジュール805が、前記目標医用画像内で前記目標非病巣領域をラベリングして、ラベリングされた目標医用画像を取得する方法は、
前記目標非病巣領域内の画素点に基づいて、前記目標医用画像に対して二値化処理を行うステップと、
二値化処理された目標医用画像を、前記ラベリングされた目標医用画像として決定するステップと、を含む。
【0129】
本願の1つの実施例によれば、
図3に示す医用画像処理方法におけるステップは、
図8に示す医用画像処理装置の各モジュールによって実行され得る。例えば、
図3に示すステップS101は、
図8の取得モジュール801によって実行され得、
図3に示すステップS102は、
図8の識別モジュール802によって実行され得、
図3に示すステップS103は、
図8の決定モジュール803によって実行され得、
図3に示すステップS104は、
図8の調整モジュール804によって実行され得る。
【0130】
本願の1つの実施例によれば、
図8に示す医用画像処理装置の各モジュールは、別々に、又はすべてを組み合わせて1つ又は複数のユニットに統合して構成してもよく、又はユニットの1つ(一部)を複数の機能的に小さなサブユニットにさらに分割することもでき、本願の実施例の技術的効果の実現に影響を与えることなく、同様の動作を実現することができる。上記のモジュールは、論理的な機能に基づいて分割されているが、実際の適用では、1つのモジュールの機能は複数のユニットによって実現されてもよく、複数のモジュールの機能は1つのユニットによって実現されてもよい。本願の他の実施例では、医用画像処理装置は、他のユニットを備えていてもよく、実際の適用では、これらの機能は、他のユニットの支援によって実現してもよく、複数のユニットが連携して実現してもよい。
【0131】
本願の1つの実施例によれば、中央処理装置(CPU:Central Processing Unit)、ランダムアクセス記憶媒体(RAM:Random Access Memory)、読み取り専用記憶媒体(ROM:Read-Only Memory)などの処理要素と記憶要素とを含む、コンピュータなどの汎用コンピュータ機器上で、
図3に示す対応する方法に係る各ステップを実行できるコンピュータプログラム(プログラムコードを含む)を実行することにより、
図8に示す医用画像処理装置を構成し、本願の実施例の医用画像処理方法を実現することができる。上記のコンピュータプログラムは、例えば、コンピュータ可読記憶媒体に記録され、コンピュータ可読記憶媒体を介して上記コンピューティング機器にロードされ、コンピューティング機器によって実行される。
【0132】
本願の実施例では、コンピュータ機器は、目標医用画像と参照医用画像との差異を識別して、目標医用画像の候補非病巣領域を取得し、当該候補非病巣領域の領域サイズ情報を取得して、候補領域サイズ情報を取得することができる。当該候補領域サイズ情報が目標医用画像のラベリング領域サイズ情報とマッチングしない場合、識別された候補非病巣領域と目標医用画像の実際の非病巣領域との間に大きな差異が存在すること、即ち、識別された候補非病巣領域の精度が比較的に低いことを示し、したがって、ラベリング領域サイズ情報に基づいて候補非病巣領域を調整して、目標医用画像の目標非病巣領域を取得することができる。つまり、参照医用画像及び目標医用画像に基づいて、目標医用画像内の候補非病巣領域を手動で関与することなく自動的に識別することにより、非病巣領域識別の精度及び効率を向上させることができ、ラベリング領域サイズ情報に基づいて識別された候補非病巣領域を調整することにより、非病巣領域識別の精度を向上させることができる。
【0133】
図9を参照すると、
図8は、本願の実施例によるコンピュータ機器の概略構造図である。
図9に示すように、上記のコンピュータ機器1000は、プロセッサ1001、ネットワークインターフェース1004、メモリ1005を備えることができ、また、上記のコンピュータ機器1000は、ユーザインターフェース1003、及び少なくとも1つの通信バス1002を備えることもできる。ここで、通信バス1002は、これらのコンポーネント間の接続通信を実現するように構成される。ここで、ユーザインターフェース1003は、ディスプレイ(Display)、キーボード(Keyboard)を含み得、オプションとして、ユーザインターフェース1003は、標準の有線インターフェース及び無線インターフェースも含み得る。ネットワークインターフェース1004は、標準の有線インターフェース及び無線インターフェース(WI-FIインターフェースなど)を含み得る。メモリ1005は、高速RAMメモリであってもよく、少なくとも1つのディスクストレージなどの非揮発性メモリ(non-volatile memory)であってもよい。メモリ1005は、前述のプロセッサ1001から離れた位置に位置する少なくとも1つの記憶装置であってもよい。
図9に示すように、コンピュータ可読記憶媒体としてのメモリ1005は、オペレーティングシステム、ネットワーク通信モジュール、ユーザインターフェースモジュール及び機器制御アプリケーションを含み得る。
【0134】
図9に示すコンピュータ機器1000では、ネットワークインターフェース1004は、ネットワーク通信機能を提供することができ、ユーザインターフェース1003は、主に、ユーザに入力インターフェースを提供するために使用され、プロセッサ1001は、メモリ1005に記憶された機器制御アプリケーションを呼び出して、
医用画像セットを取得するステップであって、前記医用画像セットは、参照医用画像、識別対象となる目標医用画像、及び前記目標医用画像の非病巣領域のラベリング領域サイズ情報を含み、前記目標医用画像は、病巣領域及び非病巣領域を含み、前記参照医用画像は、病巣領域を含む、ステップと、
前記参照医用画像と前記目標医用画像との差異を識別して、前記目標医用画像内の候補非病巣領域を取得するステップと、
前記候補非病巣領域の領域サイズ情報を、候補領域サイズ情報として決定するステップと、
前記候補領域サイズ情報が前記ラベリング領域サイズ情報とマッチングしない場合、前記ラベリング領域サイズ情報に基づいて前記候補非病巣領域を調整して、前記目標医用画像の目標非病巣領域を取得するステップと、を実行するように構成され得る。
【0135】
なお、本願の実施例で説明されるコンピュータ機器1000は、上記の
図3に対応する実施例における上記の医用画像処理方法の説明を実行してもよく、
図8に対応する実施例における上記の医用画像処理装置の説明を実行してもよく、ここでは繰り返して説明しない。また、同様の方法を採用することによる有益な効果についても、繰り返して説明しない。
【0136】
本願は、コンピュータ命令を含む、コンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から当該コンピュータ命令を読み取り、当該コンピュータ命令を実行することにより、当該コンピュータ機器に、
図3に対応する実施例に係る上記の医用画像処理方法を実行させ、ここでは繰り返して説明しない。また、同様の方法を採用することによる有益な効果についても、繰り返して説明しない。本願の実施例に係るコンピュータ可読記憶媒体の実施例に開示されていない技術的詳細については、本願の方法の実施例の説明を参照することができる。
【0137】
例として、上記のプログラム命令は、1つのコンピュータ機器上で実行されるように展開されてもよく、又は同じ場所にある複数のコンピュータ機器上で実行されるように展開されてもよく、又は、複数の場所に分散され且つ通信ネットワークを介して相互接続されている複数のコンピュータ機器上で実行されるように展開されてもよく、複数の場所に分散され且つ通信ネットワークを介して相互接続されている複数のコンピュータ機器は、ブロックチェーンネットワークを構成することができる。
【0138】
当業者なら、上記の実施例の各方法におけるプロセスの全部又は一部は、関連するハードウェアに命令するコンピュータプログラムを使用することによって実装され得ることを理解することができ、上記のプログラムは、1つのコンピュータ可読記憶媒体に記憶され、当該プログラムが実行されるとき、上記の各方法の実施例におけるプロセスが実行される。ここで、上記の記憶媒体は、磁気ディスク、ROM又はRAMなどであり得る。
【0139】
上記に開示されたことは、本願の好ましい実施例に過ぎず、もちろん、本願の請求範囲を限定するものではなく、したがって、本願の請求項に基づく同等の変更は、本願の範囲に属するものとする。
【符号の説明】
【0140】
11 全スライド画像
12 腫瘍領域
13 候補医用画像