知財求人 - 知財ポータルサイト「IP Force」
▶ テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッドの特許一覧
特許7412636人工知能に基づく画像処理方法、装置、コンピュータ装置及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-28
(45)【発行日】2024-01-12
(54)【発明の名称】人工知能に基づく画像処理方法、装置、コンピュータ装置及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/11 20170101AFI20240104BHJP
G06T 7/00 20170101ALI20240104BHJP
【ＦＩ】
G06T7/11
G06T7/00 350B
【請求項の数】
14
(21)【出願番号】P 2023513664
(86)(22)【出願日】2021-10-18
(65)【公表番号】
(43)【公表日】2023-10-26
(86)【国際出願番号】 CN2021124384
(87)【国際公開番号】W WO2022089236
(87)【国際公開日】2022-05-05
【審査請求日】2023-04-12
(31)【優先権主張番号】202011202281.0
(32)【優先日】2020-11-02
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514187420
【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ワン，リアン
(72)【発明者】
【氏名】ヤオ，ジャンホア
【審査官】伊知地 和之
(56)【参考文献】
【文献】特表２００３－５２０６５８（ＪＰ，Ａ）
【文献】米国特許第９７７９５０４（ＵＳ，Ｂ１）
【文献】中国特許出願公開第１１１０４７５７２（ＣＮ，Ａ）
【文献】国際公開第２０１９／２３５２９８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００ － ６／１４
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／００ － ３／６０
Ｇ０６Ｔ ５／００ － ５／５０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ１０／００ － ２０／９０
Ｇ０６Ｖ３０／４１８
Ｇ０６Ｖ４０／１６
Ｇ０６Ｖ４０／２０
ＣＳＤＢ（日本国特許庁）
(57)【特許請求の範囲】
【請求項1】
コンピュータ装置により実行される人工知能に基づく画像処理方法であって、処理対象画像を取得するステップと、
前記処理対象画像に対して要素領域検出を行うことにより、前記処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、前記処理対象画像内の目標要素領域を検出するステップと、
検出された前記目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
前記要素領域と前記目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを含むことを特徴とする方法。
【請求項2】
前記処理対象画像に対して要素領域検出を行うことにより、前記処理対象画像内の要素領域を特定するステップは、前記処理対象画像における各画素点に対応するチャネル差分値特徴を特定するステップと、
前記各画素点に対応するチャネル差分値特徴に基づいて前記処理対象画像に対して色分割を行い、色分割画像を取得するステップと、
前記色分割画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップとを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記処理対象画像における各画素点に対応するチャネル差分値特徴を特定するステップは、前記処理対象画像における各画素点に対応する画素値を特定するステップと、
前記画素値により該当画素点の各色チャネル値を取得するステップと、
前記各色チャネル値の間の最大チャネル差分値を特定し、前記最大チャネル差分値によりチャネル差分値特徴を取得するステップとを含み、
前記各画素点に対応するチャネル差分値特徴に基づいて前記処理対象画像に対して色分割を行い、色分割画像を取得するステップは、前記各画素点に対応する最大チャネル差分値で、前記処理対象画像に対して画素値マッピングを行い、色分割画像を取得するステップを含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記色分割画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップは、前記色分割画像に対してノイズ除去処理を行い、ノイズ除去画像を取得するステップと、
二値化分割閾値を取得するステップと、
前記二値化分割閾値と前記ノイズ除去画像における各画素点に対応する画素値により、前記ノイズ除去画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップとを含むことを特徴とする請求項２に記載の方法。
【請求項5】
前記二値化分割閾値と前記ノイズ除去画像における各画素点に対応する画素値により、前記ノイズ除去画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップは、前記ノイズ除去画像における各画素点に対応する画素値を特定するステップと、
前記二値化分割閾値により前記ノイズ除去画像における画素点のそれぞれに対応する画素値に対して画素二値化マッピングを行い、前記ノイズ除去画像における各画素点に対応する画素マッピング結果を取得するステップと、
前記ノイズ除去画像における各画素点に対応する画素マッピング結果に基づいて前記処理対象画像内の要素領域を取得するステップとを含むことを特徴とする請求項４に記載の方法。
【請求項6】
前記人工知能に基づく目標要素領域検出方式を採用し、前記処理対象画像内の目標要素領域を検出するステップは、目標要素領域がアノテーションされた訓練画像データを用いて予め訓練された目標要素領域検出モデルをクエリするステップと、
前記目標要素領域検出モデルによって前記処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得するステップと、
前記目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて前記処理対象画像内の目標要素領域を取得するステップとを含むことを特徴とする請求項１に記載の方法。
【請求項7】
前記目標要素領域検出モデルによって前記処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得するステップは、領域区分処理が行われた前記処理対象画像における各関心領域を取得するステップと、
前記各関心領域を前記目標要素領域検出モデルに入力して目標要素領域検出を行い、前記目標要素領域検出モデルから出力された前記各関心領域に対応する関心領域確率図を取得するステップと、
前記各関心領域確率図を繋ぎ合わせて、前記処理対象画像に対応する目標要素領域確率図を取得するステップとを含むことを特徴とする請求項６に記載の方法。
【請求項8】
前記目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて前記処理対象画像内の目標要素領域を取得するステップは、確率閾値を取得するステップと、
前記確率閾値と前記目標要素領域確率図における各画素点に対応する確率値により、前記目標要素領域確率図に対して確率二値化マッピングを行い、前記目標要素領域確率図における各画素点の確率マッピング結果を取得するステップと、
前記目標要素領域確率図における各画素点の確率マッピング結果により、前記処理対象画像内の目標要素領域を取得するステップとを含むことを特徴とする請求項６に記載の方法。
【請求項9】
検出された前記目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップは、前記処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成するステップと、
前記目標要素連結領域内にある非目標要素領域を除去し、更新された目標要素連結領域を取得するステップと、
更新された目標要素連結領域に対して形態学的拡張を行い、目標要素包絡領域を取得するステップとを含むことを特徴とする請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成するステップは、前記処理対象画像内の目標要素領域と非目標領域をフィルタリング区分し、各フィルタリング領域を取得するステップと、
前記各フィルタリング領域における画素点の画素値により領域タイプ分析を行い、分析結果を取得するステップと、
分析結果が連結領域タイプであるフィルタリング領域を連結し、目標要素連結領域を生成するステップとを含むことを特徴とする請求項９に記載の方法。
【請求項11】
当該方法はさらに、前記目標要素領域輪郭を前記処理対象画像に重畳し、所定の識別方式により前記処理対象画像内の前記目標要素領域輪郭を識別するステップを含むことを特徴とする請求項１から１０のいずれか一項に記載の方法。
【請求項12】
人工知能に基づく画像処理装置であって、処理対象画像を取得するための画像取得モジュールと、
前記処理対象画像に対して要素領域検出を行うことにより、前記処理対象画像内の要素領域を特定するための要素領域検出モジュールと、
人工知能に基づく目標要素領域検出方式を採用し、前記処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュールと、
検出された前記目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュールと、
前記要素領域と前記目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュールとを含むことを特徴とする装置。
【請求項13】
コンピュータ可読命令が格納されているメモリと、一つ又は複数のプロセッサとを含むコンピュータ装置であって、前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、請求項１から１１のいずれか一項に記載の方法のステップを実行させることを特徴とするコンピュータ装置。
【請求項14】
プロセッサによって実行されると、請求項１から１１のいずれか一項に記載の方法のステップを前記プロセッサに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２０年１１月０２日に中国専利局に提出した、出願番号が２０２０１１２０２２８１０であり、発明の名称が「人工知能に基づく画像処理方法、装置およびコンピュータ機器」である中国特許出願の優先権を主張し、その全内容は援用により本出願に結合される。
【0002】
本出願はコンピュータ技術分野に関し、特に人工知能に基づく画像処理方法、装置、コンピュータ装置及び記憶媒体に関する。
【背景技術】
【0003】
コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ＣＶ）は、コンピュータ及び関連装置を用いた生体ビジョンに対するシミュレーションであり、その主なタスクは、人間及び多くの他の生物が毎日行うように、その収集された画像又はビデオを処理することによって対応するシーンの三次元情報を取得することである。ここで、物体の認識及び検出はコンピュータビジョンにおける非常に基本的かつ重要な研究方向である。物体識別及び検出については、一枚の入力画像が与えられて、画像内の一般的な物体を自動的に識別し、その属するクラス及び位置を出力することであり、具体的には例えば顔検出、車両検出、組織検出などがあり、製造業、検査、文書分析、医療診断及び軍事などの分野において広く応用されている。
【0004】
現在の物体認識及び検出処理方法では、単一のオブジェクトに対して認識検出を行うものであり、画像における目標オブジェクトが含まれる領域輪郭に対して効果的に認識及びセグメンテーションを行うことができず、画像領域セグメンテーションの精度が低くなってしまう。
【発明の概要】
【0005】
本出願の各実施例によれば、人工知能に基づく画像処理方法、装置、コンピュータ装置及び記憶媒体が提供される。
【0006】
コンピュータ装置により実行される人工知能に基づく画像処理方法であって、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを含むことを特徴とする方法。
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを含むことを特徴とする方法。
【0007】
人工知能に基づく画像処理装置であって、
処理対象画像を取得するための画像取得モジュールと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するための要素領域検出モジュールと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュールと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュールと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュールとを含むことを特徴とする装置。
処理対象画像を取得するための画像取得モジュールと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するための要素領域検出モジュールと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュールと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュールと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュールとを含むことを特徴とする装置。
【0008】
コンピュータ可読命令が格納されているメモリと、一つ又は複数のプロセッサとを含むコンピュータ装置であって、
前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
【0009】
コンピュータ可読命令が記憶されている一つ又は複数の不揮発性可読記憶媒体であって、
前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
【0010】
本出願の一つ又は複数の実施例の詳細は、以下の図面および説明に記載されている。本出願の他の特徴、目的、および利点は、説明書、図面、および特許請求の範囲から明らかになる。
【図面の簡単な説明】
【0011】
本発明の実施例における技術案をより明らかに説明するために、以下は実施例の記載にとって必要な図面を簡単に説明し、明らかに、以下の記載における図面は、本発明の実施例のみであり、当業者にとって、進歩性に値する労働をしない前提で、さらに提供された図面に応じて他の図面を取得できる。
【図1】一実施例における人工知能に基づく画像処理方法の応用環境図である。
【図2】一実施例における人工知能に基づく画像処理方法のフローチャートである。
【図3】実施例における要素領域検出のフローチャートである。
【図4】一実施例におけるＨＥ染色画像内の腫瘍の概略図である。
【図5】従来のＩＣの占める割合の分析方法のフローチャートである。
【図6】一実施例におけるＨＥ染色ＷＳＩ画像とＰＤ－Ｌ１染色ＷＳＩ画像との比較図である。
【図7】別の実施例におけるＨＥ染色ＷＳＩ画像とＰＤ－Ｌ１染色ＷＳＩ画像との比較図である。
【図8】さらに別の実施例におけるＨＥ染色ＷＳＩ画像とＰＤ－Ｌ１染色ＷＳＩ画像との比較図である。
【図9】別の実施例における人工知能に基づく画像処理方法のフローチャートである。
【図10】一実施例における色分割処理の結果の概略図である。
【図12】一実施例における染色画像である。
【図14】実施例におけるネットワークモデル構造である。
【図15】一実施例においてモデルから出力された癌細胞領域確率図である。
【図22】一実施例における人工知能に基づく画像処理装置の構成ブロック図である。
【図23】一実施例におけるコンピュータ装置の内部構造図である。
【発明を実施するための形態】
【0012】
本出願の目的、技術案及び利点をさらに明確にするために、以下は、図面及び実施例を参照して、本出願をさらに詳細に説明する。なお、ここで説明する具体的な実施例は本出願を説明するためだけであり、本出願を限定するものではないことが理解されるべきである。
【0013】
本出願の実施例にかかる技術案は人工知能のコンピュータビジョン技術に関し、具体的には以下の実施例にて説明する。
【0014】
本出願にかかる人工知能に基づく画像処理方法は、コンピュータ装置により実行されるものであり、具体的には図１に示す応用環境に応用されてもよい。ここで、端末１０２は、サーバ１０４とネットワークを介して通信する。端末１０２が、画像処理を行う必要がある処理対象画像、例えば風景画像、シーン画像、切片画像等の様々なシーンにおける画像などを収集し、端末１０２が処理対象画像をサーバ１０４に送信して目標要素領域輪郭の検出セグメンテーション処理を行う。サーバ１０４が、処理対象画像を受信すると、人工知能に基づく目標要素領域検出方式によって処理対象画像における目標要素領域を検出し、目標要素領域に対して包絡を探して目標要素包絡領域を取得し、さらに要素領域検出によって特定された要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。また、サーバ１０４が、データベースから処理対象画像を直接に取得して画像処理を行うことにより、処理対象画像における目標要素領域輪郭を識別してもよい。ここで、端末１０２は撮影機能を備える各種のパソコン、ノートパソコン、スマートフォン、タブレットコンピュータ及び携帯型ウェアラブル装置に限定されるものではなく、各種の撮像装置又はスキャナ装置等の画像を収集可能な装置であってもよく、サーバ１０４は独立したサーバ又は複数のサーバで構成されるサーバクラスタで実現されてもよい。
【0015】
【0016】
ステップ２０２で、処理対象画像を取得する。
【0017】
ここで、処理対象画像は領域検出セグメンテーションを行う必要がある画像であり、処理対象画像は様々なシーンで撮影又は走査された画像、例えば野外シーンで撮影された風景画像、人群集シーンで撮影されたシーン画像、医学シーンで走査された切片（スライス）画像等の様々な種類の画像であってもよい。処理対象画像には、撮影され又は走査されてキャプチャされた要素が含まれ、例えば風景画像で撮影された樹木、シーン画像で撮影された人等であり、且つ要素には異なる種別があり、例えば異なる種類の樹木、異なる性別の人等であり、現在の画像認識では画像内の要素を判断するだけであることが多く、異なる種別の要素の領域を正確に判断できず、目標要素領域輪郭の画像における分布を取得することができず、後続の処理対象画像に基づく画像分析、例えば画像の樹木における各種のポプラの形状、シーン画像における各男性の形体等の分析に不利である。
【0018】
具体的には、処理対象画像は撮影装置で撮影されたもの又は走査装置で走査されたものであり、ネットワークを介してサーバに送信され、サーバにより受信された処理対象画像に対して目標要素領域輪郭の識別セグメンテーション処理を行い、それにより処理対象画像における目標要素領域輪郭の分布を特定し、後続の画像分析に便利である。具体的に実現される場合、目標要素は実際の必要に応じて設定されることができ、例えば処理対象画像に含まれる要素が樹木である場合、目標要素は設定された特定の種類の樹木であってもよく、例えば処理対象画像に含まれる要素が細胞である場合、目標要素は、白細胞、体細胞、癌細胞などの特定の種類の細胞であってもよい。
【0019】
ステップ２０４で、処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定する。
【0020】
ここで、要素は処理対象画像内の撮影され又は走査されてキャプチャされたオブジェクトであり、検出される必要がある目標要素の領域輪郭は要素におけるあるタイプであり、例えば樹木が要素である場合、目標要素は樹木の異なる器官（例えば葉、幹など）又は異なる種類の樹木などであってもよく、また、例えば要素が犬である場合、目標要素は犬の異なる部分であってもよい。要素領域とは、処理対象画像における各種の樹木の分布の範囲など、処理対象画像における要素の分布の範囲を指す。具体的に応用される場合、要素は画像処理の実際のシーンに基づいて特定されたものであり、例えば要素が切片画像内の細胞である場合、要素領域は切片画像内の細胞領域であり、すなわち切片組織領域である。要素領域検出については、処理対象画像における要素領域を検出するために用いられ、具体的には様々なオブジェクト検出アルゴリズム、例えばＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｅａｔｕｒｅｓ、コンボリューションニューラルネットワーク特徴に基づく領域）アルゴリズム、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、一回のみを見る）アルゴリズム、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、単レンズ検出器）アルゴリズムなどにより処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定する。また、事前知識が利用されることもでき、例えば処理対象画像における要素及び非要素の色特徴の事前知識が利用され、処理対象画像における各画素点の色特徴が利用されて処理対象画像内の要素領域が検出される。
【0021】
具体的には、サーバは処理対象画像を取得した後、処理対象画像における要素のタイプ特性に基づいて対応する要素領域検出方式を特定し、該要素領域検出方式により処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定する。
【0022】
ステップ２０６で、人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出する。
【0023】
ここで、目標要素は要素におけるサブクラス要素であってもよく、すなわち目標要素は要素における検出される必要がある要素に属する。目標要素領域は処理対象画像における目標要素の分布範囲である。目標要素領域検出方式は人工知能に基づいて実現されることができ、例えば機械学習モデルに基づいて目標要素領域検出が実現されることができる。例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、全コンボリューションネットワーク）モデル、ＳｅｇＮｅｔ（Ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ、画像セグメンテーションに用いられる深度コンボリューションコード－デコードアーキテクチャ）モデル、Ｌｉｎｋｎｅｔ（Ｒｅｌａｔｉｏｎａｌ Ｅｍｂｅｄｄｉｎｇ ｆｏｒ Ｓｃｅｎｅ Ｇｒａｐｈ、シーングラフの関係埋め込み）モデルなどの様々な画像セグメンテーションアルゴリズムモデルによって目標要素領域が検出され、処理対象画像内の目標要素領域が得られることができる。
【0024】
具体的には、処理対象画像に対して目標要素領域検出を行うとき、サーバは人工知能の目標要素領域検出方式に基づき、例えば予め訓練された検出モデルを用いて処理対象画像に対して目標要素領域検出方式を行い、処理対象画像内の目標要素領域を検出する。
【0025】
ステップ２０８で、検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成する。
【0026】
目標要素包絡領域は、目標要素領域に基づいて包絡を探して得られた最初の目標要素領域輪郭である。具体的には、人工知能に基づく目標要素領域検出方式で処理対象画像内の目標要素領域が検出された後、サーバは該目標要素領域に対して包絡を探し、具体的には、各目標要素領域を連結することにより、各目標要素領域を含む包絡線を探し、包絡線で囲まれた領域に基づいて目標要素包絡領域を生成し、目標要素領域に対して包絡を探すことにより、画像処理プロセスにおける誤差の影響を低減し、正確な目標要素包絡領域を取得することができる。
【0027】
具体的に実施する際、サーバは目標要素領域を連結し、連結領域を取得し、さらにサーバによって連結領域の範囲内の非目標要素領域が除去され、それにより連結領域範囲内がいずれも正確な目標要素識別結果であることが確保され、最後にサーバによって非目標要素領域が除去された連結領域に対して平滑化処理を行い、例えば形態学的拡張によって平滑化処理を行い、平滑エッジを有する目標要素包絡領域を取得するとともに、形態学的拡張によって小さい領域に対してノイズ除去処理を行い、目標要素包絡領域の識別セグメンテーションの精度を向上させる。
【0028】
ステップ２１０で、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。
【0029】
要素領域と目標要素包絡領域を取得すると、両者を融合して目標要素領域輪郭を取得し、処理対象画像全体における目標要素の分布範囲を示す。具体的には、サーバは要素領域と目標要素包絡領域との共通部分を求め、要素領域と目標要素包絡領域との共通部分を最終的な目標要素領域輪郭として特定することができる。目標要素領域輪郭は、処理対象画像について要素領域検出をした検出結果と、処理対象画像について人工知能に基づく目標要素領域検出をした検出結果とが統合され、単一検出方式における誤差影響を効果的に低減することができ、目標要素領域輪郭の検出セグメンテーションの精度が高い。
【0030】
上記の人工知能に基づく画像処理方法において、人工知能に基づく目標要素領域検出方式によって処理対象画像内の目標要素領域を検出し、目標要素領域に対して包絡を探して目標要素包絡領域を取得し、さらに要素領域検出により特定された要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。人工知能に基づく目標要素領域検出方式により検出された目標要素領域に対して包絡を探すことにより、人工知能の目標要素領域検出方式の検出結果を効果的に利用し、正確な目標要素包絡領域を取得することができるとともに、処理対象画像における要素領域と目標要素包絡領域を融合することにより、要素領域検出の結果を利用して目標要素包絡領域を補正し、目標要素領域輪郭の検出セグメンテーションの精度を向上させることができる。
【0031】
一実施例では、図３に示すように、要素領域検出の処理プロセスであって、処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定することは以下のステップを含む。
【0032】
ステップ３０２で、処理対象画像における各画素点に対応するチャネル差分値特徴を特定する。
【0033】
本実施例では、要素色特徴の事前知識を利用して処理対象画像に対して要素領域検出を行うことにより、処理対象画像における要素領域を特定する。具体的には、処理対象画像における要素と非要素は明らかに異なる色差を有しており、例えば雪シーンの処理対象画像における雪と雪以外が明らかな色差を有する場合、処理対象画像における各画素点の色特徴に基づいて要素領域検出を実現することができ、また、例えば生理学的切片の染色画像において、染色要素と非染色要素が明らかな色差を有する場合、染色画像における各画素点の色特徴に基づいて染色要素領域の検出を実現することができる。
【0034】
ここで、チャネル差分値特徴は処理対象画像における各画素点の色特徴を説明するためのものであって、具体的にはサーバによる画素点の各色チャネルに対応するチャネル値の間の差分値により得られるものである。例えば、処理対象画像がＲＧＢカラー画像である場合、処理対象画像における各画素点はそれぞれＲ、Ｇ及びＢという三つの色チャネルに対応し、それによりチャネル差分値特徴はＲ、Ｇ及びＢという三つの色チャネルのチャネル値の間の差分値により得られたものであり、例えばＲ、Ｇ及びＢという三つの色チャネルのチャネル値のうちの最大差分値により得られるものである。具体的に応用される際、サーバは処理対象画像における各画素点が各色チャネルに対応するチャネル値をトラバースし、各チャネル値により該当画素点のチャネル差分値特徴を特定することができる。
【0035】
ステップ３０４で、各画素点にそれぞれ対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、色分割画像を取得する。
【0036】
ここで、色分割画像は各画素点に対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割処理を行って得られたものであり、例えば各画素点に対応するチャネル差分値特徴に基づいて処理対象画像の各画素点の画素値を更新することで、各画素点に対応するチャネル差分値特徴を利用して処理対象画像に対して色分割を行うことを実現し、色分割画像を取得する。色分割画像は処理対象画像の色特徴を反映しており、例えば、チャネル差分値特徴が各色チャネルのチャネル値における最大差分値である場合、色分割時にチャネル差分値特徴を該当画素点の画素値に直接に置き換えると、得られた色分割画像は処理対象画像の各画素点がグレースケール又はカラーに偏っていることを反映しており、グレースケールに偏っていると、各色チャネルのチャネル値における最大差分値が小さく、チャネル差分値特徴の数値が小さいと、色分割画像における該当画素点が黒色に偏っており、逆に言えば色分割画像における該当画素点は白色に偏っており、それにより色分割画像に基づいて処理対象画像におけるカラー領域と非カラー領域を直感的に特定することができ、処理対象画像が要素が染色されて得られた染色画像である場合、処理対象画像におけるカラー領域はすなわち要素領域であり、それにより事前知識を利用して要素領域に対する効果的な検出を実現する。
【0037】
具体的には、処理対象画像における各画素点に対応するチャネル差分値特徴を取得した後、サーバは各チャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、例えばサーバは各チャネル差分値特徴に基づいて処理対象画像における該当画素点の画素値を更新することで、チャネル差分値特徴を利用して処理対象画像に対して色分割を行って色分割画像を取得することを実現する。
【0038】
ステップ３０６で、色分割画像に対して二値化分割を行い、処理対象画像における要素領域を取得する。
【0039】
ここで、二値化分割とは、二値化処理により色分割画像をさらに分割することで、処理対象画像における要素領域を特定することである。具体的には、予め設定された二値化分割閾値によって色分割画像における画素点をトラバースして二値化処理を行って、色分割画像における各画素点の画素値に対して二値化マッピングを行うことができ、例えば白色又は黒色にマッピングすることができ、それにより二値化分割結果に基づいて処理対象画像内の要素領域を直感的に特定することができる。二値化分割閾値は実際の必要に応じて柔軟に設定されることができ、例えば特定の画素値に設定されることができ、色分割画像における各画素点の画素値により適応的に設定されることもでき、例えば各画素点の画素値の平均値により対応する二値化分割閾値を設定ことにより、より正確に色分割画像に対して二値化分割を行う。
【0040】
具体的には、色分割画像が得られた後、サーバは色分割画像に対して二値化分割を行い、例えばサーバは予め設定された二値化分割閾値を取得することができ、又は処理対象画像における各画素点に対応するチャネル差分値特徴に基づいて二値化分割閾値を設定し、該二値化分割閾値によって色分割画像に対して二値化分割を行い、それにより二値化分割結果に基づいて処理対象画像内の要素領域を取得する。
【0041】
具体的に応用される場合、予め処理対象画像に対して関心領域区分を行うことができ、例えばサイズが１００＊１００画素の関心領域で処理対象画像を区分し、処理対象画像に対応する各関心領域を取得し、それぞれ各関心領域に対して要素領域検出を行って各関心領域内の要素領域を取得し、最後に各関心領域内の要素領域を繋ぎ合わせる（スプライシングする）ことにより、処理対象画像内の要素領域を取得する。関心領域によって処理対象画像を区分した後に要素領域検出を行うことにより、単一要素領域検出処理のデータ量を低減することができ、且つ各関心領域に対して並列処理を行うことができ、要素領域検出の処理効率を効果的に向上させることができる。
【0042】
本実施例では、要素色特徴の事前知識を利用して処理対象画像に対して色分割を行い、二値化分割を組み合わせてさらに色分割画像に対してマッピング分割を行い、経験知識を効果的に利用して正確な要素領域検出を行うことができるとともに、二値化分割によって要素領域と非要素領域とのコントラストの程度を増加させ、さらに要素領域検出の精度を向上させ、それにより処理対象画像における要素領域を正確に特定することができる。
【0043】
一実施例では、処理対象画像における各画素点に対応するチャネル差分値特徴を特定することは、処理対象画像における各画素点に対応する画素値を特定することと、画素値により該当画素点の各色チャネル値を取得することと、各色チャネル値の間の最大チャネル差分値を特定し、最大チャネル差分値によりチャネル差分値特徴を取得することとを含む。
【0044】
本実施例では、処理対象画像における各画素点が各色チャネルに対応するチャネル値の間の最大チャネル差分値によりチャネル差分値特徴を取得し、該最大チャネル差分値により処理対象画像における各画素点に対して画素値マッピングを行うことにより、処理対象画像に対する色分割を実現して色分割画像を取得する。ここで、処理対象画像における各画素点の色チャネル値は各色チャネルにある画素点の数値に対応し、色チャネル値の値は処理対象画像が位置する色空間に関連する。例えば、処理対象画像がＲＧＢ画像である場合、処理対象画像の色空間にはＲ、Ｇ及びＢが含まれ、それに対応して３つの色チャンネル値が含まれ、例えばある画素点の画素値が（１２３、１５、２５５）である場合、該画素点の色チャンネル値はそれぞれ１２３、１５及び２５５である。最大チャネル差分値とは画素点に対応する各色チャネル値の間の差分値の最大値を指し、具体的には各色チャネル値を二つずつにして差分値を求め、計算された差分値により最大値を探すことで得られたものである。最大チャネル差分値は画素点の各色チャネルにおける差異程度を反映しており、最大チャネル差分値が大きいほど、画素点が各色チャネルに対応する差異は大きく、画素点の色が豊かになり、該画素点がカラーに偏り、最大チャネル差分値が小さいほど、画素点が各色チャネルに対応する差異は小さく、画素点の色が豊かではなく、該画素点はグレースケールに偏る。
【0045】
具体的には、処理対象画像における各画素点に対応するチャネル差分値特徴を特定する時、サーバは処理対象画像における各画素点に対応する画素値を特定し、具体的にはサーバによって処理対象画像における各画素点をトラバースし、各画素点の画素値を読み取ることができる。各画素点に対応する画素値が取得された後、サーバは各画素点に対応する画素値を解析し、各画素点の各色チャネル値を特定する。一般に、画素点の画素値は各色チャンネルの色チャンネル値が一定の順序で組み合わされたものであり、画素値と色チャンネル画像との組合せルールに基づいて、画素値から各色チャンネルに対応する色チャンネル値を特定することができる。サーバは各色チャネル値を二つずつにして差分値を求め、差分値結果に基づいて該画素点の最大チャネル差分値を特定する。また、サーバは各色チャネル値から最大値と最小値をそれぞれ特定し、該最大値と最小値の差分値の絶対値により該画素点の最大チャネル差分値を直接に特定してもよい。サーバは得られた最大チャネル差分値によりチャネル差分値特徴を得て、例えば直接に最大チャネル差分値を該当画素点のチャネル差分値特徴とすることができる。
【0046】
さらに、各画素点に対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、色分割画像を取得することは、各画素点に対応する最大チャネル差分値により処理対象画像に対して画素値マッピングを行い、色分割画像を取得することを含む。
【0047】
ここで、画素値マッピングとは最大チャネル差分値により処理対象画像における各画素点の画素値に対してマッピング処理を行って、最大チャネル差分値により処理対象画像に対して色分割を行い、例えば最大チャネル差分値により対応するチャネル差分値画素を特定し、チャネル差分値画素により処理対象画像における該当画素点の画素値を更新し、それにより処理対象画像に対する色分割を実現し、処理対象画像における全ての画素点をトラバースした後、色分割画像を取得する。
【0048】
具体的には、サーバは処理対象画像における各画素点に対応する最大チャネル差分値を特定した後、各画素点に対応する最大チャネル差分値により処理対象画像における該当画素点の画素値に対して画素値マッピングを行って、最大チャネル差分値により該当画素点の画素値を更新し、処理対象画像に対する色分割を実現する。例えば、サーバは最大チャネル差分値によりチャネル差分値画素を生成することができ、処理対象画像における、ある画素点の最大チャネル差分値が２００であれば、ＲＧＢチャネル差分値画素（２００、２００、２００）を生成することができ、該チャネル差分値画素を該画素点の画素値にマッピングして、最大チャネル差分値によって画素点の画素値をマッピングして、処理対象画像に対する色分割を実現し、色分割画像を取得する。
【0049】
本実施例では、処理対象画像における各画素点が各色チャネルに対応するチャネル値の間の最大チャネル差分値によりチャネル差分値特徴を得て、該最大チャネル差分値により処理対象画像における各画素点に対して画素値マッピングを行うことにより、各画素点の色特徴を効果的に利用して処理対象画像に対して正確な色分割を行い、色分割画像の精度を確保することができる。
【0050】
一実施例では、色分割画像に対して二値化分割を行い、処理対象画像内の要素領域を取得することは、色分割画像に対してノイズ除去処理を行い、ノイズ除去画像を取得することと、二値化分割閾値を取得することと、二値化分割閾値とノイズ除去画像における各画素点に対応する画素値に基づき、ノイズ除去画像に対して二値化分割を行い、処理対象画像内の要素領域を取得することとを含む。
【0051】
ここで、色分割画像に対してノイズ除去を行い、例えば色分割画像に対してぼけノイズ除去を行い、それにより色分割画像におけるノイズを除去し、さらに色分割画像の信頼度を向上させる。二値化分割閾値は実際の必要に応じて予め設定されることができ、例えば所定の画素値に予め設定されることができ、色分割画像における各画素点の画素値により予め設定されることもできる。二値化分割とは二値化処理によって色分割画像をさらに分割することであり、具体的には二値化分割閾値とノイズ除去画像における各画素点に対応する画素値との間の大小関係に基づいて各画素点を二値化分割することにより、二値化分割に基づいて処理対象画像内の要素領域を取得することができる。
【0052】
具体的には、色分割画像に対して二値化分割を行う場合、サーバは色分割画像に対してノイズ除去処理を行い、例えばサーバは色分割画像に対してガウシアンぼかしノイズ除去を行うことができ、ガウシアンぼかしノイズ除去により一つの画素点の強度を周囲の点と相関させ、突然の変化の影響を低減させ、干渉が除去されたノイズ除去画像を取得することができる。サーバは二値化分割閾値を取得し、具体的には予め設定された二値化分割閾値をクエリすることができ、色分割画像又はノイズ除去画像における各画素点の画素値により二値化分割閾値を特定することもできる。例えば、処理対象画像における各画素点に対応する最大チャネル差分値により二値化分割閾値を特定することができる。また、処理対象画像が各関心領域に区分されてそれぞれ要素領域検出が行われる場合、二値化分割閾値は各関心領域に基づいてそれぞれ設定されることができ、例えば各関心領域における各画素点に対応する最大チャネル差分値により二値化分割閾値を特定することにより、各関心領域の二値化分割閾値を柔軟に設定し、各関心領域に対する二値化分割閾値の適応性を向上させ、二値化分割の有効性を向上させ、要素領域のセグメンテーション精度を確保する。二値化分割閾値を得た後、サーバは二値化分割閾値及びノイズ除去画像における各画素点に対応する画素値によりノイズ除去画像に対して二値化分割を行い、例えばサーバは二値化分割閾値及びノイズ除去画像における各画素点に対応する画素値の大小関係に基づき、ノイズ除去画像における各画素点に対応する画素値に対して二値化マッピングを行って、ノイズ除去画像に対する二値化分割を実現し、処理対象画像内の要素領域を取得することができる。
【0053】
本実施例では、色分割画像に対してノイズ除去処理を行って色分割画像におけるノイズを除去した後、二値化分割閾値によりノイズ除去画像に対して二値化分割を行うことにより、二値化分割閾値によってノイズ除去画像を分割し、処理対象画像内の要素領域と非要素領域を正確にセグメンテーションする。
【0054】
一実施例では、二値化分割閾値とノイズ除去画像における各画素点に対応する画素値に基づき、ノイズ除去画像に対して二値化分割を行い、処理対象画像内の要素領域を取得することは、ノイズ除去画像における各画素点に対応する画素値を確定することと、二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値それぞれに対して画素二値化マッピングを行い、ノイズ除去画像における各画素点に対応する画素マッピング結果を取得することと、ノイズ除去画像における各画素点に対応する画素マッピング結果に基づいて処理対象画像内の要素領域を取得することとを含む。
【0055】
本実施例では、二値化分割閾値によってノイズ除去画像における各画素点に対応する画素値に対して画素二値化マッピングを行い、各画素点に対応する画素マッピング結果に基づいて前記処理対象画像内の要素領域を取得する。具体的には、ノイズ除去画像に対して二値化分割を行う時に、サーバはノイズ除去画像における各画素点に対応する画素値を特定し、例えばノイズ除去画像における各画素点をトラバースし、各画素点に対応する画素値を特定することができる。サーバはノイズ除去画像における各画素点をトラバースし、二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値に対して画素二値化マッピングを行い、具体的には二値化分割閾値と各画素点に対応する画素値それぞれに対して数値の比較を行って、画素値が二値化分割閾値より大きい画素点及び画素値が二値化分割閾値より大きくない画素点をそれぞれ異なる画素値にマッピングし、例えばそれぞれ黒又は白の画素値にマッピングし、それにより処理対象画像内の要素画素点と非要素画素点を直感的に区分し、各要素画素点に基づいて処理対象画像内の要素領域を特定することができる。ここで、要素画素点とは処理対象画像内の要素に属する画素点を指し、非要素画素点は要素に属さない画素点であり、すなわち要素領域の各画素点はいずれも要素画素点であり、非要素領域における画素点はいずれも非要素画素点である。二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値それぞれに対して画素二値化マッピングを行い、ノイズ除去画像における各画素点に対応する画素マッピング結果を取得した後、サーバは各画素点に対応する画素マッピング結果に基づいて処理対象画像内の要素領域を取得する。例えば、ノイズ除去画像における各画素点に対応する画素値を二値化マッピングした後、画素マッピング結果において要素画素値にマッピングされた画素点を要素画素点に特定し、非要素画素値にマッピングされた画素点を非要素画素点に特定することができる。例えば、要素画素値が白色であり、非要素画素値が黒色である場合、ノイズ除去画像における画素マッピング結果が白色である画素点を要素画素点に特定し、画素マッピング結果が黒色である画素点を非要素画素点に特定し、画素マッピング結果が白色である領域内の全ての要素画素点に基づいて処理対象画像内の要素領域を特定することができ、それにより要素領域への正確なセグメンテーションを実現する。
【0056】
一実施例では、人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出することは、目標要素領域がアノテーションされた訓練画像データを用いて予め訓練された目標要素領域検出モデルをクエリすることと、目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得することと、目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて処理対象画像内の目標要素領域を取得することとを含む。
【0057】
ここで、目標要素領域検出モデルは目標要素領域がアノテーションされた訓練画像データの事前訓練によって得られたものであり、目標要素領域検出モデルは入力された画像に対して目標要素領域検出を行って、目標要素領域確率図を出力することができる。目標要素領域確率図は処理対象画像における各画素点が目標要素である確率を示し、目標要素領域確率図における確率を判定することにより、処理対象画像内の目標要素領域を特定することができる。
【0058】
具体的には、処理対象画像に対して目標要素領域検出を行うとき、サーバは予め訓練された目標要素領域検出モデルをクエリし、目標要素領域検出モデルは目標要素領域がアノテーションされた訓練画像データの訓練によって得られたものであり、目標要素領域がアノテーションされた訓練画像データの訓練では、目標要素領域輪郭がアノテーションされたことに比べて、特徴が顕著な目標要素に基づいて直接にアノテーションされることができ、アノテーションがより正確であり、訓練画像データの訓練効果を確保することができる。サーバはクエリされた目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、具体的には処理対象画像を目標要素領域検出モデルに入力して目標要素領域検出を行うことができ、それにより目標要素領域検出モデルが検出結果を出力し、検出結果は目標要素領域確率図を含む。サーバは目標要素領域検出モデルから出力された目標要素領域確率図を判定して、目標要素領域確率図における各画素点が目標要素であるか否かを特定することにより、判定結果に基づいて処理対象画像内の目標要素領域を特定する。
【0059】
本実施例では、目標要素領域がアノテーションされた訓練画像データの事前訓練によって得られた目標要素領域検出モデルが処理対象画像に対して目標要素領域検出を行い、目標要素領域検出モデルから出力された目標要素領域確率図を判定し、処理対象画像内の目標要素領域を特定し、予め訓練された目標要素領域検出モデルによって目標要素領域検出を行うことにより、目標要素領域に対する効果的な検出を実現し、処理対象画像から正確な目標要素領域を識別することができる。
【0060】
一実施例では、目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得することは、処理対象画像による領域区分処理によって得られた各関心領域を取得することと、各関心領域を目標要素領域検出モデルに入力してそれぞれ目標要素領域検出を行い、目標要素領域検出モデルから出力された各関心領域にそれぞれ対応する関心領域確率図を取得することと、各関心領域確率図を繋ぎ合わせて、処理対象画像に対応する目標要素領域確率図を取得することとを含む。
【0061】
本実施例では、処理対象画像を各関心領域に区分した後、目標要素領域検出モデルによって各関心領域に対して目標要素領域検出をそれぞれ行い、各関心領域に対応する検出結果を繋ぎ合わせて、処理対象画像に対応する目標要素領域検出結果を取得する。ここで、関心領域は処理対象画像に対して領域区分を行うことで得られたものであり、例えば予め設定されたサイズに基づいて処理対象画像に対して領域区分を行うことができ、それにより処理対象画像を複数の関心領域に区分し、単一処理のデータ量を低減させ、データの処理効率を向上させる。具体的に実現される際、関心領域のサイズは実際の必要に応じて設定されることができ、固定のサイズを直接に設定することができ、例えば、１０００＊１０００画素に設定する。
【0062】
具体的には、目標要素領域検出モデルにより処理対象画像に対して目標要素領域検出を行うとき、サーバは、処理対象画像による領域区分処理により得られた各関心領域を取得する。ここで、関心領域の領域区分については処理対象画像に対して要素領域検出を行う時に実現されることができ、処理対象画像に対して目標要素領域検出を行う際、要素領域検出時に領域区分された各関心領域を直接に取得する。サーバは各関心領域を目標要素領域検出モデルに入力して目標要素領域検出を行い、目標要素領域検出モデルから出力された各関心領域確率図を取得する。関心領域確率図は、対応する関心領域内の画素点が目標要素領域として検出される確率を記録する。サーバは各関心領域にそれぞれ対応する関心領域確率図を繋ぎ合わせて、処理対象画像に対応する目標要素領域確率図を取得することで、処理対象画像に対する目標要素領域検出を実現する。
【0063】
本実施例では、目標要素領域検出モデルにより、処理対象画像による領域区分処理によって得られた各関心領域に対してそれぞれ目標要素領域検出を行い、各関心領域に対応する検出結果を繋ぎ合わせて、処理対象画像に対応する目標要素領域検出結果を得て、単一の目標要素領域検出処理のデータ量を低減することができ、且つ各関心領域に対して並列処理を行うことができ、目標要素領域検出の処理効率を効果的に向上させることができる。
【0064】
一実施例では、目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて処理対象画像内の目標要素領域を取得することは、確率閾値を取得することと、確率閾値と目標要素領域確率図における各画素点に対応する確率値に基づき、目標要素領域確率図に対して確率二値化マッピングを行い、目標要素領域確率図における各画素点の確率マッピング結果を取得することと、目標要素領域確率図における各画素点の確率マッピング結果に基づいて処理対象画像内の目標要素領域を取得することとを含む。
【0065】
ここで、確率閾値は実際の必要に応じて予め設定され、例えば０．５に設定されることができ、確率閾値は目標要素領域確率図に対して目標要素領域判定を行うために用いられ、目標要素領域判定に基づいて処理対象画像における目標要素領域を特定する。具体的には、目標要素領域検出モデルから出力された目標要素領域確率図が得られた後、サーバは予め設定された確率閾値を取得し、確率閾値は目標要素領域確率図における各画素点の確率値に対して二値化マッピングを行うために用いられる。サーバは確率閾値と目標要素領域確率図における各画素点に対応する確率値に基づき、目標要素領域確率図に対して確率二値化マッピングを行い、具体的にはサーバによって目標要素領域確率図における各画素点に対応する確率値と確率閾値の大きさをそれぞれ比較し、比較結果に基づいて各画素点に対して確率二値化マッピングを行い、目標要素領域確率図における各画素点の確率マッピング結果を取得する。例えば、確率閾値は０．５であり、目標要素領域確率図における画素点Ａの確率値が０．８であり、画素点Ｂの確率値が０．２であれば、画素点Ａの画素値を白色画素値にマッピングし、画素点Ｂの画素値を黒色画素値にマッピングすることにより、画素点Ａ及び画素点Ｂに対する二値化マッピングを実現し、全ての画素点をトラバースした後、目標要素領域確率図に対する二値化マッピングを実現する。目標要素領域確率図における各画素点の確率マッピング結果が得られた後、サーバは各確率マッピング結果に基づいて前記処理対象画像内の目標要素領域を得て、例えばサーバは各確率マッピング結果において目標要素画素値にマッピングされた画素点に基づいて目標要素画素点を特定することができ、全ての目標要素画素点に基づいて処理対象画像内の目標要素領域が特定される。
【0066】
本実施例では、予め設定された確率閾値によって目標要素領域確率図に対して確率二値化マッピングを行うことにより、目標要素領域確率図における各画素点の確率マッピング結果に基づいて処理対象画像内の目標要素領域を特定し、二値化マッピングによって直感的に処理対象画像内の目標要素領域と非目標要素領域を正確にセグメンテーションすることができ、目標要素領域セグメンテーションの精度を確保することができる。
【0067】
一実施例では、検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成することは、処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成することと、目標要素連結領域内にある非目標要素領域を除去し、更新された目標要素連結領域を取得することと、更新された目標要素連結領域に対して形態学的拡張を行い、目標要素包絡領域を取得することとを含む。
【0068】
本実施例では、検出された目標要素領域が領域連結された後、連結領域内の非目標要素が除去されることにより、連結領域の範囲内部に対して非目標要素フィルタリングを行い、さらに形態学的拡張により連結領域のエッジに対して平滑化処理を行うとともに、連結領域の辺の比較的小さい領域に対するノイズ除去を実現し、それにより検出された目標要素領域に対して包絡を探すことを実現し、識別セグメンテーション精度の高い目標要素包絡領域を取得する。
【0069】
具体的には、処理対象画像内の目標要素領域が検出された後、サーバは処理対象画像内の目標要素領域に対して領域連結を行い、具体的には予め設定されたサイズのフィルタにより処理対象画像内の目標要素領域及び非目標要素領域をトラバースすることができ、フィルタにより処理対象画像内の目標要素領域に対して領域連結を行って、目標要素連結領域を生成する。サーバはさらに生成された目標要素連結領域範囲内の非目標要素をフィルタすることにより、目標要素連結領域内部がいずれも目標要素であることを確保する。具体的には、サーバは目標要素連結領域内にある非目標要素領域を除去し、例えばサーバは目標要素連結領域内にある非目標要素領域を目標要素領域に直接に更新することができ、更新された目標要素連結領域を取得する。更新された目標要素連結領域の内部はいずれも目標要素領域である。さらに、サーバは更新された目標要素連結領域のエッジに対して平滑化処理を行い、具体的には更新された目標要素連結領域に対して形態学的拡張を行うことにより、目標要素包絡領域を取得する。更新された目標要素連結領域に対して形態学的拡張を行うことにより、更新された目標要素連結領域のエッジに対して平滑化処理を行うことができるとともに、更新された目標要素連結領域エッジの小さい領域に対して効果的なノイズ除去を行い、目標要素包絡領域の識別セグメンテーション精度をさらに向上させる。
【0070】
一実施例では、処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成することは、処理対象画像内の目標要素領域と非目標要素領域をフィルタリング区分し、各フィルタリング領域を取得することと、各フィルタリング領域における画素点の画素値により領域タイプ分析を行い、分析結果を取得することと、分析結果が連結領域タイプであるフィルタリング領域を連結し、目標要素連結領域を生成することとを含む。
【0071】
本実施例では、処理対象画像内の目標要素領域及び非目標要素領域を各フィルタリング領域に区分した後、各フィルタリング領域に対して領域タイプ分析をそれぞれ行い、分析結果に基づいてフィルタリング領域が連結領域タイプであるか否かを特定し、連結領域タイプのフィルタリング領域を連結し、目標要素連結領域を生成する。
【0072】
具体的には、処理対象画像内の目標要素領域を連結する際に、サーバは処理対象画像内の目標要素領域と非目標要素領域に対してフィルタリング区分を行い、各フィルタリング領域を取得する。ここで、フィルタリング区分のサイズはフィルタのサイズに基づいて特定されることができ、例えばフィルタのサイズが１０＊１０画素である場合、フィルタに基づいて処理対象画像内の目標要素領域と非目標要素領域を区分して複数の１０＊１０画素のサイズのフィルタリング領域を取得する。各フィルタリング領域が特定された後、サーバは各フィルタリング領域における画素点の画素値に対して領域タイプ分析を行い、具体的にはサーバによって各フィルタリング領域をトラバースすることができ、各フィルタリング領域の各画素点に対して、目標要素画素点があると検出し、すなわちフィルタリング領域に目標要素画素点があれば、該フィルタリング領域のタイプが連結領域タイプであると特定され、すなわち該フィルタリング領域を目標要素領域の領域と認定することができ、すなわち該フィルタリング領域を連結することができる。各フィルタの分析結果が得られた後、サーバは各フィルタリング領域において分析結果が連結領域タイプであることに対応するフィルタリング領域を連結し、目標要素連結領域を取得する。具体的に実現される際、連結領域タイプの各フィルタリング領域が連結される際に、サーバは連結領域タイプの各フィルタリング領域における画素点の画素値をいずれも目標要素画素値にマッピングし、さらにマッピング処理後の連結領域タイプの各フィルタリング領域を連結し、それにより目標要素連結領域を生成する。
【0073】
具体的な応用において、設定されたフィルタにより処理対象画像を直接にトラバースすることができ、フィルタにより処理された各フィルタリング領域の範囲において、目標要素画素点があれば、フィルタにより処理された範囲における各画素点の画素値により判断することができ、目標要素画素点に対応する画素値があれば、目標要素画素点があると考え、該フィルタリング領域を連結領域タイプに特定し、該連結領域内の各画素点の画素値を目標要素画素点に対応する画素値にマッピングする。例えば、目標要素画素点に対応する画素値が白色画素値である場合、フィルタがフィルタリング領域において白色画素点を検出すれば、該フィルタリング領域の全ての画素点をいずれも白色画素点にマッピングし、すなわち該フィルタリング領域が連結処理を行う必要がある領域であると特定する。フィルタが処理対象画像に対するトラバース処理を完了した後、連結領域タイプの各フィルタリング領域を連結し、目標要素連結領域を生成する。
【0074】
一実施例では、人工知能に基づく画像処理方法はさらに、目標要素領域輪郭を処理対象画像に重畳し、所定の識別方式により処理対象画像において目標要素領域輪郭を識別することとを含む。
【0075】
ここで、識別方式は実際の必要に応じて予め柔軟に設定されることができ、例えばハイライト色の輪郭線、記号等であってもよい。具体的には、処理対象画像から目標要素領域輪郭がセグメンテーションされて検出された後、サーバは該目標要素領域輪郭を処理対象画像に重畳し、所定の識別方式により処理対象画像内の目標要素領域輪郭を識別し、それにより処理対象画像内の目標要素領域輪郭を直感的に識別し、目標要素領域輪郭及び処理対象画像に基づく後続の画像分析に便利である。
【0076】
本出願はさらに応用シーンを提供しており、該応用シーンは上記の人工知能に基づく画像処理方法が応用される。具体的には、該人工知能に基づく画像処理方法の該応用シーンにおける応用は以下のとおりである。
【0077】
処理対象画像は風景画像、シーン画像等であり、ここで要素は風景における風景物体オブジェクトであり、例えば樹木、雪、砂利等であり、又は要素はシーン画像における人物又は動物であり、目標要素は異なる種類の数又は数の異なる部位であり、又は異なる人物又は動物であり、例えば男性、女性、子供又は老人等であり、目標要素はシーン画像における犬、猫等の異なる種類の動物であってもよく、また、目標要素は人物又は動物の異なる部位であってもよく、例えば人物の毛髪、顔等の様々な部位であり、また例えば動物の胴体、四肢又は頭部等であり、目標要素は、検出される必要がある領域輪郭に従って特定される。
【0078】
一つの具体的な応用において、サーバは撮影された風景画像を取得し、風景画像に対して要素領域検出を行い、風景画像内の樹木領域を特定する。一方、人工知能に基づく目標要素領域検出方式を採用して風景画像内の葉領域を検出し、検出された葉領域に対して包絡を探し、葉包絡領域を生成し、樹木領域と葉包絡領域を融合し、葉領域輪郭を得て、該葉領域輪郭は風景画像における葉領域輪郭の分布を直感的に示し、後続の画像分析に便利である。
【0079】
本出願はさらに応用シーンを提供しており、該応用シーンは上記の人工知能に基づく画像処理方法が応用される。具体的には、該人工知能に基づく画像処理方法の該応用シーンにおける応用は以下のとおりである。
【0080】
本応用シーンにおいて、処理対象画像はＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ、全視野デジタル病理切片）染色画像であり、要素は切片内の細胞であり、目標要素は異なるタイプの細胞であり、例えば白細胞、Ｔ細胞又は癌細胞等であってもよい。
【0081】
一つの具体的な応用において、ＷＳＩ染色画像は、乳房病理ＰＤ－Ｌ１（ｐｒｏｇｒａｍｍｅｄ ｃｅｌｌ ｄｅａｔｈ－Ｌｉｇａｎｄ １、プログラム死因子リガンド１、ＰＤ－１のリガンドである）方法に基づく切片画像である。乳癌の治療において、ＰＤ－Ｌ１方法で免疫細胞数（ＰＤ－Ｌ１の発現）を取得することができ、該免疫細胞数に基づいて癌を防御する能力をさらに評価し、すなわち染色された免疫細胞（ＩＣ、ｉｍｍｕｎｅ ｃｅｌｌ）の腫瘍領域における占める割合を推定することにより、癌治療の投与方法を選択する。しかしながら、免疫細胞数の推定は、現在では定性的な方法に過ぎず、定量的な方法ではなく、ＩＣの占める割合の推定が不正確になる。
【0082】
現在、免疫組織化学的評価は、ＰＤ－１（ｐｒｏｇｒａｍｍｅｄ ｄｅａｔｈ １、プログラム死分子受容体１、免疫細胞Ｔの細胞表面の受容体タンパク質である）／ＰＤ－Ｌ１に基づく免疫学的有効性が研究の焦点となっている。ＰＤ－Ｌ１発現の変化は、腫瘍進行および予後不良と関連しており、ＰＤ－Ｌ１は、予後を予測するための有効なバイオマーカーであると考えられる。乳癌は女性の最も一般的な悪性腫瘍であり、精密医学は乳癌の更なる洗練され個別化された治療のためのきっかけを提供する。現在、パクリタキセルタンパク質結合剤と結合されて、切除不能な局所進行性ＴＮＢＣ（Ｔｒｉｐｌｅ－Ｎｅｇａｔｉｖｅ Ｂｒｅａｓｔ Ｃａｎｃｅｒ、トリプルネガティブ乳癌）または転移性ＴＮＢＣの治療のための治療法が提案されている。図４に示すように、５種類のＨＥ染色画像における腫瘍の発現状況が含まれる。図Ａでは、ＨＥ染色画像を１０倍に拡大した局所観察画像であり、切片組織は染色後に腫瘍周囲間質と腫瘍領域中の腫瘍内間質に分けられることが分かる。図Ｂ、図Ｃ、図Ｄ及び図Ｅは異なる切片組織染色の結果であり、該ＨＥ染色画像により腫瘍の分布状況を特定することができ、後続の診療分析に便利である。ＲｏｃｈＥ社はＳＰ１４２染色剤に基づいてＩＣ値を判読する指導方法を提供し、具体的にはまずＨＥ染色（ｈｅｍａｔｏｘｙｌｉｎ－ｅｏｓｉｎ ｓｔａｉｎｉｎｇ、ヘマトキシリン－エオシン染色法）ＷＳＩ画像を観察し、ＨＥ染色画像内の腫瘍領域を取得し、さらに観察結果をＰＤ－Ｌ１の染色画像に対応させ、さらにＨＥ染色画像とＰＤ－Ｌ１染色画像を結合して推定してＩＣの占める割合（ＩＣ ｓｃｏｒｅ）を特定する。
【0083】
図５に示すように、従来のＩＣの占める割合の分析プロセスにおいては、まずＨＥ染色ＷＳＩ画像を観察して腫瘍領域を特定し、さらにＨＥ染色ＷＳＩ画像の観察結果をＰＤ－Ｌ１染色ＷＳＩ画像に対応させ、両者を結合してＩＣの占める割合を推定して画像分析を行う。具体的には、ＨＥ染色ＷＳＩ画像を観察する際には、ＨＥ染色ＷＳＩ画像に腫瘍や壊死が存在するか否かを確認する必要があるとともに、十分性を確保するために少なくとも５０個の生きている腫瘍細胞や間質を検出する必要があり、さらに腫瘍領域の面積を推定することも可能である。これから分かるように、従来のＩＣの占める割合の推定の処理方法では、２種類の異なるＷＳＩ染色画像が必要となり、すなわち２つのスライドが作製される必要があり、一つはＨＥ染色剤で染色され、一つはＰＤ－Ｌ１染色剤で染色され、画像分析の作業量を著しく増加させる。また、２種類の染色剤により取得された画像は完全に一致しにくく、２つの異なる染色のスライドが作製されるために、ワックスブロックから２枚の異なる癌組織を切り出す必要があり、取得された画像から誤差、及び位置の並進、回転などがあり、ＩＣの占める割合の推定に影響を与える。図６－図８に示すように、異なる実施例におけるＨＥ染色ＷＳＩ画像及びＰＤ－Ｌ１染色ＷＳＩ画像の比較であり、図６におけるＨＥ染色ＷＳＩ画像及びＰＤ－Ｌ１染色ＷＳＩ画像はある程度の回転を有し、図７におけるＨＥ染色ＷＳＩ画像及びＰＤ－Ｌ１染色ＷＳＩ画像は反転を生じ、図８におけるＨＥ染色ＷＳＩ画像及びＰＤ－Ｌ１染色ＷＳＩ画像はある程度の回転及び並進を有することが分かる。そのため、ＨＥ染色ＷＳＩ画像から腫瘍組織領域を取得し、ＰＤ－Ｌ１染色ＷＳＩ画像内で同じ領域を見つけ、腫瘍領域をＰＤ－Ｌ１染色ＷＳＩ画像に対応させてＩＣの占める割合の推定を行う場合、効果的な対応を行うことが困難であり、ＩＣの占める割合の推定の精度が大きく損なわれ、画像分析の精度が低くなってしまう。
【0084】
これに基づき、本出願は人工知能に基づく画像処理方法を提供してそれを該シーンに応用し、目標要素領域輪郭を効果的に正確にセグメンテーションして検出することができ、後続のＩＣの占める割合の画像分析処理に便利である。具体的には、図９に示すように、サーバは染色画像を取得し、染色画像はＰＤ－Ｌ１染色剤によってＷＳＩ画像に対して染色処理を行って得られた画像であり、サーバは染色画像に対してそれぞれ組織細胞検出及び癌細胞領域検出を行い、切片組織領域及び癌細胞領域を得て、サーバは切片組織領域及び癌細胞領域を融合した後に腫瘍領域輪郭を特定し、腫瘍領域輪郭を染色画像に重畳し、それにより、続いて、直接に重畳結果に基づいてＩＣの占める割合の推定を行うことができ、二枚の染色画像を比較して分析する必要がなく、ＩＣの占める割合の推定の精度を効果的に確保することができる。
【0085】
さらに、切片組織領域検出について、事前知識を利用して効果的な検出を行うことができ、すなわち非組織領域はよりグレースケールに偏っており、組織領域に明らかな染色が存在し、そのため、一つの画素点がよりグレースケール又はよりカラーに近いと判断すれば、該画素点が背景領域に属するか又は染色された組織細胞に属するかを判断することができる。ＷＳＩ画像のサイズが比較的大きいことが考慮され、まず染色画像を領域区分して各ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、関心領域）を得て、各ＲＯＩを一つずつトラバースして処理することにより、組織領域検出を実現する。具体的には、各ＲＯＩで、画素点色差分値を利用して局所閾値を算出し、現在のＲＯＩに基づく背景領域及び組織領域のセグメンテーションを実現し、それにより染色画像から切片組織領域をセグメンテーションする。切片組織領域検出は、各ＲＯＩについて、以下の式（１）のとおりである。
【0086】
【数1】
【0087】
ここで、Ｄｉｆｆｒｏｉ（ｘ、ｙ）とはＲＯＩ内の（ｘ、ｙ）点の異なる三つの色チャンネル（ｉ＝１、２、３）において、画素値の最大値と最小値の差分値を指す。ここで、Ｍａｘ［ＲＯＩ（ｘ，ｙ，ｉ）］｜ｉ＝１，２，３は（ｘ、ｙ）点の三つの色チャンネルの最大値を特定するために用いられ、Ｍｉｎ［ＲＯＩ（ｘ，ｙ，ｉ）］｜ｉ＝１，２，３は（ｘ、ｙ）点の三つの色チャンネルの最小値を特定するために用いられ、Ａｂｓ｛｝は最大値と最小値の差分値の絶対値を特定するために用いられる。本実施例では、画像の色チャネル（ｉ＝１、２、３）はＲ、Ｇ及びＢという三つのチャネルであり、他の色空間のチャネルであってもよく、例えばＨＳＶ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｖａｌｕｅ、色相－彩度－明度）色空間である。一般的に、ある画素点がカラー画素であれば、Ａｂｓ｛｝の値が大きく、グレースケール画素であれば、Ａｂｓ｛｝の値が相対的に小さい。図１０に示すように、一実施例では、左側の染色画像ＲＯＩ（ｘ、ｙ）に対して色分割を行った後に右側の色分割画像Ｄｉｆｆｒｏｉ（ｘ、ｙ）を得て、色分割画像において、灰色画素領域は切片組織領域である。
【0088】
色分割画像を得た後、さらに色分割画像に対して二値化分割を行い、それにより処理対象画像内の要素領域を特定する。具体的な処理は以下の式（２）のとおりである。
【0089】
【数2】
【0090】
ここで、まず色分割画像Ｄｉｆｆｒｏｉ（ｘ、ｙ）に対してぼけノイズ除去を行い、具体的にはガウシアンぼかしノイズ除去ＧａｕｓｓｉａｎＢｌｕｒ［］を用い、続いて、各画素点に対して二値化Ｂｉｎａｒｙ｛｝計算を行い、具体的には二値化分割閾値Ｔｈｒｅｓｈ＝Ｄｉｆｆ（ｘ，ｙ）／１０で二値化分割を行い、二値化分割結果Ｍａｓｋｒｏｉ（ｘ，ｙ）を得て、二値化分割結果に基づいて染色画像内の切片組織を特定することができる。図１１に示すように、図１０に示す実施例において色分割画像に対して二値化分割処理を行って得られた二値化分割結果であり、ここで、白色領域はすなわち切片組織領域である。
【0091】
【0092】
一方、癌細胞領域検出処理について、予め訓練されたＬｉｎｋｎｅｔネットワークモデル（Ｃｈａｕｒａｓｉａ２０１７）により、染色画像に対して癌細胞領域検出が行われる。図１４に示すように、Ｌｉｎｋｎｅｔネットワークモデル構造において、コンボリューション処理とはｃｏｎｖによりコンボリューション操作を行うことを示し、転置コンボリューションとは、ｆｕｌｌ－ｃｏｎｖによりコンボリューション操作を行うことを示す。／２は、因子が２であるダウンサンプリングを表し、帯域ステップの長いコンボリューションが使用されることで実現される。＊２は、因子が２であるアップサンプリングを示す。コンボリューション層の間にＢＮ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、バッチ標準化）とＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ、線形整流関数）を利用する。左半分はエンコーダ（Ｅｎｃｏｄｅｒ Ｂｌｏｃｋ）であり、右半分はデコーダ（Ｄｅｃｏｄｅｒ Ｂｌｏｃｋ）である。Ｅｎｃｏｄｅｒ Ｂｌｏｃｋは最初に一つのｉｎｉｔｉａｌ ｂｌｏｃｋ（初期ブロック）があり、残りの部分は残差ブロックで構成される。訓練ネットワークモデルは、９００アノテーション画像（８３２×８３２画素、０．８４８ミクロン／画素）を利用する。具体的に応用される際、腫瘍細胞領域に対するアノテーションデータがあれば、モデルを直接に訓練して腫瘍領域検出を行うことができるが、実際のエンジニアリングでは、十分なアノテーションを取得することが非常に困難であり、且つ腫瘍領域は実際に複雑な各種の病理組織を含み、アノテーションを行っても、深層学習ネットワークを訓練することが困難であり、すなわち実際に利用可能な腫瘍領域を取得することが困難である。これに基づいて、癌細胞の特徴が他の病理組織と非常に異なることを考慮し、腫瘍領域をアノテーションせず、癌細胞領域のみをアノテーションすればよく、癌細胞領域がアノテーションされたアノテーション画像によりモデル訓練を行う。モデル精度は、２００マルチ画像のテストセットにおいて、Ｆ１（Ｆ－ｍｅａｓｕｒｅ、Ｆ値）＝０．８９、Ｒｅｃａｌｌ（リコール率）＝０．８９、Ｐｒｅｃｉｓｉｏｎ（正解率）＝０．９１のレベルに達したときに訓練を終了し、訓練済みのモデルを取得することができる。
【0093】
訓練済みのＬｉｎｋｎｅｔネットワークモデルを用いて染色画像のＲＯＩを一つずつ予測し、続いて繋ぎ合わせて、予測癌細胞領域確率図を取得し、その値は０－１である。癌細胞領域確率図に基づいて、０．５の確率閾値を用いて二値化マッピングを行い、二値化の癌細胞領域結果を得た。図１５に示すように、一実施例においてＬｉｎｋｎｅｔネットワークモデルに基づいて染色画像に対して癌細胞領域予測を行って得られた癌細胞領域確率図であり、図１６に示すように、０．５の確率閾値を用いて癌細胞領域確率図に対して二値化マッピング処理を行って得られた癌細胞領域結果である。ここで、白色領域が癌細胞領域である。
【0094】
さらに、切片組織領域と癌細胞領域を取得する後処理では、癌細胞領域間を結ぶ間質を考慮して、癌細胞領域全体の包絡を探し、すなわち腫瘍領域を特定する。癌細胞領域の包絡を探す際、連結領域を計算することで実現され、具体的には１０＊１０画素のフィルタを利用して癌細胞領域の画像を一つずつトラバースして検出し、１０＊１０画素範囲内に、画素が０より大きい画素（白色画素点）が存在すれば、全体の１０＊１０画素のＲＯＩを連結領域とみなす。ここで、１０×１０画素のフィルタは、約５０ミクロン／画素のスケーリングされた画像に対応して使用される。さらに、４＊４の円形ｋｅｒｎｅｌ（核）を利用して形態学的拡張を実現し、平滑なエッジを取得するとともに、小さい領域に対してノイズ除去を行い、癌領域全体輪郭の精度をさらに向上させる。
【0095】
図１７に示すように、図１６に示す癌細胞領域に対して領域連結を行って得られた連結領域の検出結果であり、図１８は図１７における連結領域の検出結果に対してブラックホールが除去された除去結果であり、図１９は図１８の除去結果に対して形態学的拡張を行って得られた癌領域の全体輪郭結果である。
【0096】
癌領域の全体輪郭結果を得た後、切片組織領域と癌領域の全体輪郭結果を融合し、具体的には両者の共通部分を計算することにより、腫瘍領域を取得することができる。腫瘍領域とは、癌細胞領域、および癌細胞領域の間の部分間質を指す。切片組織領域検出については全ての組織の領域を取得することができ、これらの領域は腫瘍領域及び非腫瘍領域が含まれ、癌細胞領域検出で非腫瘍領域を判定することができ、この二つの結果を融合して腫瘍領域の検出結果を取得することができる。図２０に示すように、図１８の癌細胞領域と図１６の切片組織領域が融合された癌細胞領域輪郭、すなわち腫瘍領域の結果である。さらに、腫瘍領域を最初の染色画像に重畳することにより、検出された腫瘍領域をそのまま染色画像にマークする。図２１に示すように、図２０における腫瘍領域を染色画像に重畳した後にマークする表現効果であり、腫瘍領域のエッジが比較的合っているのとともに、非腫瘍領域の染色領域も比較的よく除去されることが分かる。
【0097】
なお、図２～図３のフローチャートにおける各ステップは、矢印の指示に従って順次表示されるが、必ずしも矢印の指示に従って順次実行される必要はない。本明細書に明示的に示されない限り、これらのステップの実行は厳密な順序に限定されず、これらのステップは他の順序で実行されてもよい。また、図２－図３における少なくとも一部のステップは複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は必ずしも同じ時に実行されるとは限らず、異なる時に実行されることができ、これらのステップ又は段階の実行順序も必ずしも順次行われるとは限らず、他のステップ又は他のステップにおけるステップ又は段階の少なくとも一部と順番に又は交互に実行されることができる。
【0098】
一実施例では、図２２に示すように、人工知能に基づく画像処理装置２２００が提供され、該装置はソフトウェアモジュール又はハードウェアモジュールを用いることができ、又は両者を結合してコンピュータ装置の一部になり、具体的に、該装置は、処理対象画像を取得するための画像取得モジュール２２０２と、処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を確定するための要素領域検出モジュール２２０４と、人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュール２２０６と、検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュール２２０８と、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュール２２１０とを含む。
【0099】
本実施例では、目標要素領域検出モジュールが人工知能に基づく目標要素領域検出方式によって処理対象画像内の目標要素領域を検出し、包絡生成モジュールが目標要素領域に対して包絡を探して目標要素包絡領域を取得し、領域融合モジュールがさらに要素領域検出モジュールによる要素領域検出によって特定された要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。人工知能に基づく目標要素領域検出方式によって検出された目標要素領域に対して包絡を探すことにより、人工知能の目標要素領域検出方式の検出結果を効果的に利用し、正確な目標要素包絡領域を取得することができるとともに、処理対象画像内の要素領域と目標要素包絡領域を融合することにより、要素領域検出の結果で目標要素包絡領域を補正し、検出セグメンテーションされた目標要素領域輪郭の精度を向上させることができる。
【0100】
一実施例では、要素領域検出モジュール２２０４は、処理対象画像における各画素点にそれぞれ対応するチャネル差分値特徴を特定するためのチャネル差分値特徴特定モジュールと、各画素点にそれぞれ対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、色分割画像を取得するための色分割モジュールと、色分割画像に対して二値化分割を行い、処理対象画像内の要素領域を取得するための二値化分割モジュールとを含む。
【0101】
一実施例では、チャネル差分値特徴特定モジュールは、処理対象画像における各画素点にそれぞれ対応する画素値を特定するための画素値特定モジュールと、画素値により該当画素点の各色チャネル値を取得するためのチャネル値特定モジュールと、各色チャネル値の間の最大チャネル差分値を特定し、最大チャネル差分値によりチャネル差分値特徴を取得するための最大チャネル差分値特定モジュールとを含み、色分割モジュールはさらに、各画素点に対応する最大チャネル差分値により処理対象画像に対して画素値マッピングを行い、色分割画像を取得するために用いられる。
【0102】
一実施例では、二値化分割モジュールは、色分割画像に対してノイズ除去処理を行い、ノイズ除去画像を取得するためのノイズ除去モジュールと、二値化分割閾値を取得するための分割閾値取得モジュールと、二値化分割閾値とノイズ除去画像における各画素点に対応する画素値に基づき、ノイズ除去画像に対して二値化分割を行い、処理対象画像内の要素領域を取得するための分割処理モジュールとを含む。
【0103】
一実施例では、分割処理モジュールは、ノイズ除去画像における各画素点に対応する画素値を特定するための画素値分析モジュールと、二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値それぞれに対して画素二値化マッピングを行い、ノイズ除去画像における各画素点に対応する画素マッピング結果を取得するための二値化マッピングモジュールと、ノイズ除去画像における各画素点に対応する画素マッピング結果に基づいて処理対象画像内の要素領域を取得するためのマッピング結果分析モジュールとを含む。
【0104】
一実施例では、目標要素領域検出モジュール２２０６は、目標要素領域がアノテーションされた訓練画像データを用いて予め訓練された目標要素領域検出モデルをクエリするためのモデルクエリモジュールと、目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得するためのモデル処理モジュールと、目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて処理対象画像内の目標要素領域を取得するためのモデル結果処理モジュールとを含む。
【0105】
一実施例では、モデル処理モジュールは、処理対象画像による領域区分処理によって得られた各関心領域を取得するための関心領域モジュールと、各関心領域を目標要素領域検出モデルにそれぞれ入力して目標要素領域検出を行い、目標要素領域検出モデルから出力された各関心領域にそれぞれ対応する関心領域確率図を取得するための確率図取得モジュールと、各関心領域確率図を繋ぎ合わせて、処理対象画像に対応する目標要素領域確率図を取得するための確率図スプライシングモジュールとを含む。
【0106】
一実施例では、モデル結果処理モジュールは、確率閾値を取得するための確率閾値取得モジュールと、確率閾値と目標要素領域確率図における各画素点に対応する確率値に基づき、目標要素領域確率図に対して確率二値化マッピングを行い、目標要素領域確率図における各画素点の確率マッピング結果を取得するための確率閾値マッピングモジュールと、目標要素領域確率図における各画素点の確率マッピング結果に基づいて処理対象画像内の目標要素領域を取得するための目標要素領域モジュールとを含む。
【0107】
一実施例では、包絡生成モジュール２２０８は、処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成するための領域連結モジュールと、目標要素連結領域内にある非目標要素領域を除去し、更新された目標要素連結領域を取得するための領域充填モジュールと、更新された目標要素連結領域に対して形態学的拡張を行い、目標要素包絡領域を取得するための領域拡張モジュールとを含む。
【0108】
一実施例では、領域連結モジュールは、処理対象画像内の目標要素領域と非目標領域をフィルタリング区分し、各フィルタリング領域を取得するためのフィルタリング領域取得モジュールと、各フィルタリング領域における画素点の画素値により領域タイプ分析を行い、分析結果を取得するための領域タイプ分析モジュールと、分析結果が連結領域タイプであるフィルタリング領域を連結し、目標要素連結領域を生成する連結処理モジュールとを含む。
【0109】
一実施例では、さらに、目標要素領域輪郭を処理対象画像に重畳し、所定の識別方式により処理対象画像内の目標要素領域輪郭を識別するための重畳処理モジュールとを含む。
【0110】
人工知能に基づく画像処理装置に関する具体的な限定について、上記の人工知能に基づく画像処理方法に対する限定を参照することができる。上記の人工知能に基づく画像処理装置における各モジュールは全部又は一部がソフトウェア、ハードウェア及びその組み合わせによって実現されることができる。上記各モジュールはハードウェアの形態でコンピュータ装置におけるプロセッサに埋め込まれ又は独立されてもよく、ソフトウェアの形態でコンピュータ装置におけるメモリに記憶されてもよく、プロセッサが以上の各モジュールに対応する操作を呼び出して実行することに便利である。
【0111】
一実施例では、コンピュータ装置が提供され、該コンピュータ装置はサーバであってもよく、その内部構造図は図２３に示すとおりであってもよい。該コンピュータ装置は、システムバスによって接続されたプロセッサ、メモリ、およびネットワークインターフェースを含む。ここで、該コンピュータ装置のプロセッサは計算及び制御能力を提供するためのものである。該コンピュータ装置のメモリは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体は、オペレーティングシステム、コンピュータ可読命令、及びデータベースを記憶する。該内部メモリは、不揮発性記憶媒体内のオペレーティングシステム及びコンピュータ可読命令の実行のための環境を提供する。該コンピュータ装置のデータベースは、データを記憶するためのものである。該コンピュータ装置のネットワークインターフェースは外部の端末とネットワークを介して接続して通信するためのものである。該コンピュータ可読命令はプロセッサによって実行されることにより、人工知能に基づく画像処理方法が実現される。
【0112】
当業者であれば理解できるように、図２３に示す構造は、本出願の技術案に関連する部分構造のブロック図だけであり、本出願の解決手段が適用されるコンピュータ装置を限定するものではなく、具体的なコンピュータ装置は図に示すものより多い又は少ない部品を含み、又はいくつかの部品を組み合わせ、又は異なる部品配置を有することができる。
【0113】
一実施例では、さらに、コンピュータ可読命令が格納されたメモリと、一つ又は複数のプロセッサとを含むコンピュータ装置が提供され、該コンピュータ可読命令がプロセッサによって実行されると、一つ又は複数のプロセッサに上記の各方法実施例のステップを実行させる。
【0114】
一実施例では、コンピュータ可読命令が記憶された一つ又は複数の不揮発性可読記憶媒体が提供され、コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、一つ又は複数のプロセッサに上記の各方法実施例のステップを実行させる。
【0115】
一実施形態では、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令が含まれるコンピュータプログラム製品又はコンピュータプログラムが提供される。コンピュータ装置のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ可読命令を読み取り、プロセッサは、該コンピュータ可読命令が実行されることにより、該コンピュータ装置に上述の各方法実施例のステップを実行させる。
【0116】
当業者であれば上記実施例方法における全部又は一部のフローを実現するために、コンピュータプログラムによって関連するハードウェアを指令して完了することができると理解することができ、前記コンピュータプログラムは不揮発性コンピュータ可読記憶媒体に記憶されることができ、該コンピュータプログラムが実行されると、上記各方法実施例のフローが含まれることができる。ここで、本出願の提供する各実施例で使用されるメモリ、記憶、データベース又は他の媒体に対する任意の参照は、いずれも不揮発性及び揮発性メモリのうちの少なくとも一方が含まれることができる。不揮発性メモリには、リードオンリメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フレキシブルディスク、フラッシュメモリ、又は光メモリなどが含まれることができる。揮発性メモリには、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）または外部キャッシュメモリが含まれることができる。限定ではなく例示として、ＲＡＭは様々な形態であってもよく、例えば静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）または動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）などである。
【0117】
以上の実施例の各技術的特徴は任意の組み合わせが行われることができ、説明を簡潔にするために、上記実施例における各技術的特徴の全ての可能な組み合わせを説明せず、しかしながら、これらの技術的特徴の組み合わせに矛盾が存在しない限り、いずれも本明細書に記載の範囲と考えるべきである。
【0118】
以上に記載の実施例は本出願のいくつかの実施形態のみが表現され、その説明はより具体的かつ詳細であるが、発明の権利範囲を限定するものと理解すべきではない。なお、当業者であれば、本出願の概念から逸脱することなく、さらにいくつかの変形及び改良を行うことができ、これらはいずれも本出願の保護範囲に属する。したがって、本出願特許の保護範囲は添付の請求項に準じる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
