特表2024-545566 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ▲騰▼▲訊▼科技（深▲セン▼）有限公司の特許一覧 ▶ 河北医科大学第四医院（河北省▲腫▼瘤医院）の特許一覧

特表2024-545566画像処理方法、装置、機器、及びプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-10

(54)【発明の名称】画像処理方法、装置、機器、及びプログラム

(51)【国際特許分類】

G06V 10/70 20220101AFI20241203BHJP

G06T 7/10 20170101ALI20241203BHJP

G06T 7/00 20170101ALI20241203BHJP

G01N 33/48 20060101ALI20241203BHJP

G01N 33/483 20060101ALI20241203BHJP

G01N 21/27 20060101ALI20241203BHJP

【ＦＩ】

G06V10/70

G06T7/10

G06T7/00 350B

G01N33/48 M

G01N33/483 C

G01N21/27 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525788

(86)(22)【出願日】2022-11-16

(85)【翻訳文提出日】2024-04-24

(86)【国際出願番号】 CN2022132171

(87)【国際公開番号】W WO2023142615

(87)【国際公開日】2023-08-03

(31)【優先権主張番号】202210086842.8

(32)【優先日】2022-01-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＨＯＴＯＳＨＯＰ

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

【氏名又は名称原語表記】ＴＥＮＣＥＮＴＴＥＣＨＮＯＬＯＧＹ（ＳＨＥＮＺＨＥＮ）ＣＯＭＰＡＮＹＬＩＭＩＴＥＤ

【住所又は居所原語表記】３５／Ｆ，ＴｅｎｃｅｎｔＢｕｉｌｄｉｎｇ，ＫｅｊｉｚｈｏｎｇｙｉＲｏａｄ，ＭｉｄｗｅｓｔＤｉｓｔｒｉｃｔｏｆＨｉ－ｔｅｃｈＰａｒｋ，ＮａｎｓｈａｎＤｉｓｔｒｉｃｔ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ５１８０５７，ＣＨＩＮＡ

(71)【出願人】

【識別番号】524158634

【氏名又は名称】河北医科大学第四医院（河北省▲腫▼瘤医院）

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】廖俊

(72)【発明者】

【氏名】姚建▲華▼

(72)【発明者】

【氏名】▲劉▼ 月平

(72)【発明者】

【氏名】▲張▼ 玲玲

【テーマコード（参考）】

2G045

2G059

5L096

【Ｆターム（参考）】

2G045AA26

2G045CB02

2G045FA16

2G059AA06

2G059BB08

2G059BB12

2G059CC16

2G059EE02

2G059EE11

2G059EE12

2G059FF01

2G059FF03

2G059GG02

2G059HH01

2G059HH02

2G059KK04

2G059MM01

2G059MM09

2G059MM10

5L096BA13

5L096CA17

5L096EA12

5L096EA45

5L096FA02

5L096KA04

(57)【要約】

医学データの処理分野に関する、画像処理方法、装置、機器、読み取り可能な記憶媒体、及びプログラム製品であって、当該方法は、サンプル画像を取得するステップであって、サンプル画像は、予め設定された波長帯内で分析対象サンプルを採集して得られた画像を含むものであるステップ（２１０）と、サンプル画像のうち、予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得るステップ（２２０）と、サンプル画像におけるサンプル要素タイプの差異に基づいて、サンプル画像に対して領域分割を行うことにより、領域分割結果を得るステップ（２３０）と、疑似カラー画像及び領域分割結果に基づいて、サンプル画像において識別対象要素タイプを含む画像領域を決定するステップ（２４０）と、を含む。

【特許請求の範囲】

【請求項1】

サーバが実行する画像処理方法であって、
サンプル画像を取得するステップであって、前記サンプル画像は、予め設定された波長帯内で分析対象サンプルを採集して得られた画像を含むものであるステップと、
前記サンプル画像のうち、前記予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得るステップと、
前記サンプル画像におけるサンプル要素タイプの差異に基づいて、前記サンプル画像に対して領域分割を行うことにより、領域分割結果を得るステップであって、前記サンプル要素タイプは、識別すべき識別対象要素タイプを含むものであるステップと、
前記疑似カラー画像及び前記領域分割結果に基づいて、前記サンプル画像において前記識別対象要素タイプを含む画像領域を決定するステップと、を含む、
ことを特徴とする画像処理方法。

【請求項2】

前記サンプル画像のうち、前記予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得る前記ステップは、
前記予め設定された波長帯内の予め設定された波長に対応する第１の画像に対して色付け処理を行うことにより、前記疑似カラー画像を得るステップ、または
前記予め設定された波長帯内の少なくとも２つの予め設定された波長に対応する少なくとも２つの第１の画像に対して合成処理を行い、合成した画像に対して色付け処理を行うことにより、前記疑似カラー画像を得るステップを含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記予め設定された波長帯内の少なくとも２つの予め設定された波長に対応する少なくとも２つの第１の画像に対して合成処理を行い、合成した画像に対して色付け処理を行うことにより、前記疑似カラー画像を得る前記ステップは、
前記少なくとも２つの予め設定された波長に基づいて、前記少なくとも２つの予め設定された波長にそれぞれ対応する少なくとも２つの第１の画像を決定するステップであって、i番目の予め設定された波長は、i番目の第１の画像に対応し、iは正の整数であるステップと、
前記少なくとも２つの第１の画像に対して合成処理を行うことにより候補画像を得るステップと、
前記候補画像に対して色付け処理を行うことにより前記疑似カラー画像を得るステップと、を含む、
ことを特徴とする請求項２に記載の画像処理方法。

【請求項4】

前記少なくとも２つの第１の画像に対して合成処理を行うことにより候補画像を得る前記ステップは、
前記少なくとも２つの第１の画像に対応する画素点の第１の画素値に対して平均化処理を行うことにより、前記対応する画素点の第２の画素値を得るステップと、
各画素点に対応する第２の画素値に基づいて前記候補画像を決定するステップと、を含む、
ことを特徴とする請求項３に記載の画像処理方法。

【請求項5】

前記候補画像に対して色付け処理を行うことにより前記疑似カラー画像を得る前記ステップは、
前記候補画像における画素点の輝度値に基づいて、前記候補画像における画素点に対して輝度グレーディングを行うことにより、少なくとも２つの輝度レベルを決定するステップと、
前記少なくとも２つの輝度レベルに対してそれぞれ色付けを行うことにより、前記疑似カラー画像を得るステップと、を含む、
ことを特徴とする請求項３に記載の画像処理方法。

【請求項6】

前記サンプル画像におけるサンプル要素タイプの差異に基づいて、前記サンプル画像に対して領域分割を行うことにより、領域分割結果を得る前記ステップは、
前記サンプル画像を予め訓練された画像分割モデルに通過させることにより、前記要素タイプの差異表現を決定するステップと、
前記要素タイプの差異表現に基づいて、前記サンプル画像に対して領域分割を行うことにより、前記サンプル画像に対応する前記領域分割結果を決定するステップと、を含む、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。

【請求項7】

前記サンプル画像は、スペクトル情報を有する画像であり、
前記サンプル画像を予め訓練された画像分割モデルに通過させることにより、前記要素タイプの差異表現を決定する前記ステップは、
前記サンプル画像に対してスペクトル分析を行うことにより、スペクトル分析結果を得るステップと、
前記スペクトル分析結果に基づいて、前記サンプル画像に対応する前記要素タイプの差異表現を決定するステップと、を含む、
ことを特徴とする請求項６に記載の画像処理方法。

【請求項8】

第２の画像を取得するステップであって、前記第２の画像は、前記分析対象サンプルを採集して得られた、スペクトル情報を有する事前標識画像であるステップと、
前記第２の画像で候補分割モデルを訓練するステップと、
前記候補分割モデルに対する訓練が訓練効果を達成したことに応答して、画像分割モデルを得るステップであって、前記画像分割モデルは、前記第１の画像に対して領域分割を行うためのものであるステップと、をさらに含む、
ことを特徴とする請求項７に記載の画像処理方法。

【請求項9】

サンプル画像を取得する前記ステップは、
前記分析対象サンプルに対してプッシュブルーム採集操作を行うことにより、前記サンプル画像を得るステップを含む、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。

【請求項10】

前記プッシュブルーム採集操作は、採集装置によって行われ、
サンプル画像を取得する前記ステップは、
前記予め設定された波長帯範囲内で波長可変フィルタを用いて少なくとも１つの予め設定された波長を決定するステップと、
前記採集装置によって前記分析対象サンプルに対してプッシュブルーム採集操作を行うことにより、前記少なくとも１つの予め設定された波長に対応するサンプル画像を取得するステップと、を含む、
ことを特徴とする請求項９に記載の画像処理方法。

【請求項11】

前記疑似カラー画像及び前記領域分割結果に基づいて、前記サンプル画像において前記識別対象要素タイプを含む画像領域を決定する前記ステップは、
前記疑似カラー画像と前記領域分割結果との重複領域を決定するステップと、
前記サンプル画像において、前記重複領域を前記識別対象要素タイプを含む前記画像領域とするステップと、を含む、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。

【請求項12】

サンプル画像を取得するサンプル取得モジュールであって、前記サンプル画像は、予め設定された波長帯内で分析対象サンプルを採集して得られた画像を含むものであるサンプル取得モジュールと、
前記サンプル画像のうち、前記予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得る画像取得モジュールと、
前記サンプル画像におけるサンプル要素タイプの差異に基づいて、前記サンプル画像に対して領域分割を行うことにより、領域分割結果を得る領域分割モジュールであって、前記サンプル要素タイプは、識別すべき識別対象要素タイプを含むものである領域分割モジュールと、
前記疑似カラー画像及び前記領域分割結果に基づいて、前記サンプル画像において前記識別対象要素タイプを含む画像領域を決定する領域決定モジュールと、を含む、
ことを特徴とする画像処理装置。

【請求項13】

プロセッサとメモリとを含むコンピュータ装置であって、
前記メモリには、前記プロセッサがロードして実行することによって請求項１乃至１１のいずれか１項に記載の画像処理方法を実現する少なくとも一部のプログラムが記憶される、
ことを特徴とするコンピュータ装置。

【請求項14】

プロセッサがロードして実行することによって請求項１乃至１１のいずれか１項に記載の画像処理方法を実現する少なくとも一部のプログラムが記憶されている、
ことを特徴とするコンピュータ読取可能な記憶媒体。

【請求項15】

プロセッサによって実行されると、請求項１乃至１１のいずれか１項に記載の画像処理方法を実現するコンピュータプログラムまたは命令を含む、
ことを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２２年１月２５日に提出された出願番号が２０２２１００８６８４２.８であり、発明名称が「画像処理方法、装置、機器、読み取り可能な記憶媒体、及びプログラム製品」である中国特許出願についての優先権を主張し、その全ての内容は参照により本願に組み込まれる。

【0002】

本願の実施例は、医学データの処理分野に関し、特に画像処理方法、装置、機器、読み取り可能な記憶媒体及びプログラム製品に関する。

【背景技術】

【0003】

手術によって腫瘍組織を含む病理標本を切除した後、通常、採取した病理標本をさらに研究し、病理標本における腫瘍組織の境界の見出し及び識別を行うことにより、腫瘍組織をより正確に分析し、より価値のある医学分析結果を得るようになっている。

【0004】

関連技術において、手術によって切除された病理標本をホルマリンで固定した後、通常、病理医が肉眼で観察する方法によって腫瘍組織の境界を決定するか、あるいは、Ｘ線装置を用いて病理標本を走査し、医師がＸ線画像を解読して腫瘍組織の境界を決定し、腫瘍組織の採取作業を行うようになっている。

【0005】

しかしながら、上記の方法を用いて腫瘍組織の境界を決定する場合、腫瘍床が不明瞭である一部の病変について、肉眼で識別することが困難である一方、Ｘ線装置も高価であるため、広く普及することが難しい。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本願の実施例は、異なる波長での第１のサンプルのスペクトル特性を利用して、分析対象サンプルを分析することによって、病理採取の正確性を向上することができる画像処理方法、装置、機器、読み取り可能な記憶媒体、及びプログラム製品を提供する。

【課題を解決するための手段】

【0007】

本願は、以下の技術案を講じる。

【0008】

本発明の一方面によれば、
サンプル画像を取得するステップであって、前記サンプル画像は、予め設定された波長帯内で分析対象サンプルを採集して得られた画像を含むものであるステップと、
前記サンプル画像のうち、前記予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得るステップと、
前記サンプル画像におけるサンプル要素タイプの差異に基づいて、前記サンプル画像に対して領域分割を行うことにより、領域分割結果を得るステップであって、前記サンプル要素タイプは、識別すべき識別対象要素タイプを含むものであるステップと、
前記疑似カラー画像及び前記領域分割結果に基づいて、前記サンプル画像において前記識別対象要素タイプを含む画像領域を決定するステップと、を含む画像処理方法を提供する。

【0009】

本発明の他方面によれば、
サンプル画像を取得するサンプル取得モジュールであって、前記サンプル画像は、予め設定された波長帯内で分析対象サンプルを採集して得られた画像を含むものであるサンプル取得モジュールと、
前記サンプル画像のうち、前記予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得る画像取得モジュールと、
前記サンプル画像におけるサンプル要素タイプの差異に基づいて、前記サンプル画像に対して領域分割を行うことにより、領域分割結果を得る領域分割モジュールであって、前記サンプル要素タイプは、識別すべき識別対象要素タイプを含むものである領域分割モジュールと、
前記疑似カラー画像及び前記領域分割結果に基づいて、前記サンプル画像において前記識別対象要素タイプを含む画像領域を決定する領域決定モジュールと、を含む画像処理装置を提供する。

【0010】

本願の他方面によれば、プロセッサとメモリとを備えるコンピュータ装置であって、前記メモリには、前記プロセッサがロードして実行することにより本願の上記実施例のいずれか１つに記載の画像処理方法を実現する少なくとも１つの命令、少なくとも一部のプログラム、コードセットまたは命令セットが記憶されているコンピュータ装置を提供する。

【0011】

本願の他方面によれば、プロセッサがロードして実行することにより上記本願の実施例のいずれか１つに記載の画像処理方法を実現する少なくとも１つの命令、少なくとも一部のプログラム、コードセットまたは命令セットが記憶されているコンピュータ読取可能な記憶媒体を提供する。

【0012】

本願の他方面によれば、コンピュータ読取可能な記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品またはコンピュータプログラムを提供する。コンピュータ装置のプロセッサがコンピュータ読取可能な記憶媒体から当該コンピュータ命令を読み取って実行することにより、当該コンピュータ装置に上記実施例のいずれか１つに記載の画像処理方法を実行させる。

【発明の効果】

【0013】

本願の実施例が提供する技術案は、少なくとも以下のような有益な効果を達成できる。

【0014】

疑似カラー画像と領域分割結果を組み合わせて画像領域を決定することにより、医師による裸眼観察及び説明のみによって腫瘍組織の大きさや領域などを判断することを回避することができ、患者の腫瘍組織の領域に対する判断の不正確性を低下させる。予め設定された波長帯に基づいて分析対象サンプルを採集してサンプル画像を取得し、予め設定された波長帯から効果の良い少なくとも１つの予め設定された波長を選択し、サンプル画像から予め設定された波長に対応する第１の画像を決定し、第１の画像を処理することで、予め設定された波長の利点を比較的正確に表すことができる疑似カラー画像を取得する。また、サンプル画像における識別対象要素タイプの差異に基づいて、サンプル画像に対して領域分割を行うことにより、領域分割結果を得る。疑似カラー画像と領域分割結果を組み合わせて、識別対象要素タイプを含む画像領域を決定することにより、識別対象領域（例えば、腫瘍組織）の位置情報を決定し、病理採取の正確性を向上させつつ病理採取の難度を低下させ、異なる波長での分析対象サンプルに対応するスペクトル特性を利用して分析することにより、操作が比較的簡便になるだけでなく、コストも比較的低くなり、幅広く応用することがより容易になる。

【図面の簡単な説明】

【0015】

【図1】本願の１つの例示的な実施例に係る実施環境を示す図である。

【図2】本願の１つの例示的な実施例に係る画像処理方法のフローチャートである。

【図3】本願の１つの例示的な実施例に係るサンプル画像の取得を示す図である。

【図4】本願の１つの例示的な実施例に係る予め設定された波長帯内のサンプル画像を示す図である。

【図5】本願の１つの例示的な実施例に係るサンプル画像に対応するスペクトル特徴のグラフである。

【図6】本願の１つの例示的な実施例に係る分析対象サンプルに対して画像処理を行うことを示す図である。

【図7】本願の１つの例示的な実施例に係る疑似カラー画像への合成を示す図である。

【図8】本願の別の例示的な実施例に係る画像処理方法のフローチャートである。

【図9】本願の別の例示的な実施例に係る病理サンプルの採取を示す図である。

【図10】本願の１つの例示的な実施例に係るサンプル画像に対して領域分割を行うフローチャートである。

【図11】本願の１つの例示的な実施例に係る中空臓器に対応するスペクトル特徴のグラフである。

【図12】本願の１つの例示的な実施例に係る腎臓に対応するスペクトル特徴のグラフである。

【図13】本願の１つの例示的な実施例に係る乳腺に対応するスペクトル特徴のグラフである。

【図14】本願の１つの例示的な実施例に係る肺に対応するスペクトル特性のグラフである。

【図15】本願の１つの例示的な実施例に係る単色充填ヒントを示す図である。

【図16】本願の１つの例示的な実施例に係る予測結果の取得を示すフローチャートである。

【図17】本願の１つの例示的な実施例に係る４種の組織分類の画像表現を示す図である。

【図18】本願の１つの例示的な実施例に係る腎がんの異なる画像表現を示す図である。

【図19】本願の１つの例示的な実施例に係る乳腺の異なる画像表現を示す図である。

【図20】本願の別の例示的な実施例に係る乳腺の異なる画像表現を示す図である。

【図21】本願の１つの例示的な実施例に係る画像処理装置の構造を示すブロック図である。

【図22】本願の別の例示的な実施例に係る画像処理装置の構造を示すブロック図である。

【図23】本願の１つの例示的な実施例に係るサーバの構造を示す図である。

【発明を実施するための形態】

【0016】

まず、本願の実施例に係る用語を簡単に説明する。

【0017】

人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）とは、デジタルコンピュータまたはデジタルコンピュータで制御される機器を利用して、人の知能をシミュレーション、延長及び拡張し、環境への感知、知識の取得及び知識を用いた最適な結果の取得を行う理論、方法、技術及び応用システムのことである。換言すれば、人工知能は、コンピュータ科学の総合技術として、知能の実質を理解して、人間の知能と類似する方式で反応可能な新規の知能機械を製造することを意図している。つまり、人工知能は、各種の知能機械の設計原理と実現方法を研究することによって、機器に感知、推論及び意思決定の機能を持たせるものである。

【0018】

人工知能技術は、１つの総合的な学科として、幅広い分野に係っており、ハードウェア的技術もソフトウェア的技術も含まれる。人工知能の基盤技術は、一般的に例えばセンサ、専用人工知能チップ、クラウドコンピューティング、分散型記憶、ビッグデータ処理技術、操作／対話システム、機電一体化などの技術を含む。人工知能のソフトウェア技術は、主にコンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などの幾つかの方向を含む。

【0019】

機械学習（ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ、ＭＬ）は、複数の分野が交差する学科として、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの多くの学科に係っており、コンピュータがどのように人間の学習行為をシミュレーションまたは実現するかを専門的に研究することにより、新たな知識やスキルを取得して、既存の知識構造を再組織することにより自己の性能を絶えずに改善させるものである。機械学習は、人工知能のコアとして、コンピュータに知能を持たせるための根本的ルートであり、人工知能の各分野にわたって応用されている。機械学習及び深層学習は、通常、人工ニューラルネットワーク、信頼ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。

【0020】

関連技術において、通常、病理医が肉眼で観察する方法で腫瘍組織の境界を決定するか、あるいは、Ｘ線装置を用いて病理標本を走査し、医師がＸ線画像を解読して腫瘍組織の境界を決定し、腫瘍組織の採取作業を行うようになっている。しかしながら、上記の方法を用いて腫瘍組織の境界を決定する場合、腫瘍床が不明瞭である一部の病変について、肉眼で識別することが困難である一方、Ｘ線装置も高価であるため、広く普及することが難しい。

【0021】

本願の実施例では、異なる波長での分析対象サンプルのスペクトル特性を利用して分析対象サンプルを分析することにより、病理採取の正確性を向上させる画像処理方法を提供する。本願に係る訓練によって得られた画像処理方法は、応用の際に以下のようなシーンのうちの少なくとも１つを含む。

【0022】

一、医学分野への応用
腫瘍切除手術では、腫瘍領域を完全に切除する過程を実現し、患者の病状の再発を防止して二次手術を回避するために、腫瘍辺縁の位置を正確に知る必要があり、術後の組織病理分析は、腫瘍診断のゴールドスタンダードである。患者の病巣情報を正確に取得するために、医師による病理組織ブロックの選択過程は特に重要であり、病巣を含む組織ブロックの選び落としは、病理医によるより正確な判断を制限する一方、過剰な組織ブロックの選択は、スライス作製の作業量を大幅に増加させ、医療効率を低下させる。例示的に、上記の画像処理方法を用いる場合、病巣を有する組織（例えば、腎臓器官、乳腺など）を分析対象サンプルとし、分析対象サンプルを予め設定された波長帯内で採集してサンプル画像を取得し、サンプル画像から予め設定された波長に対応する第１の画像を選択して疑似カラー（Pseudo-color）画像を取得し、そして、サンプル画像のサンプル要素タイプに基づいてサンプル画像に対して領域分割を行うことにより領域分割結果を取得し、領域分割結果及び疑似カラー画像を総合的に分析することにより、最終的に腫瘍組織に対応する画像領域を比較的正確に決定し、画像領域に対する識別過程を実現することができる。上記の方法によれば、病理医が病巣領域をより迅速に見つけることを支援することができ、Ｘ線などの映像装置を用いた機器コストを低減することもでき、応用範囲がより広くかつ経済的なスペクトロメーターを用いてサンプル画像を取得し、スペクトル情報を有するサンプル画像を分析することにより、医学コストを低減した上で、腫瘍組織の判断正確性を向上させることができる。

【0023】

二、食品検査分野への応用
食品安全は、生命安全に繋がっており、食品には異なる構成成分、不健康な成分または不正確な成分割合が含まれることが多いが、いずれも食品安全事故を引き起こす可能性がある。例示的に、上記の画像処理方法を用いて、被検出食品を分析対象サンプルとし、分析対象サンプルを予め設定された波長帯内で採集してサンプル画像を取得し、サンプル画像から予め設定された波長に対応する第１の画像を選択して疑似カラー画像を取得し、そして、サンプル画像のサンプル要素タイプに基づいてサンプル画像に対して領域分割を行うことにより領域分割結果を取得し、領域分割結果及び疑似カラー画像を総合的に分析することにより、最終的に被検出食品における異なる成分に対応する領域を比較的正確に決定するとともに、不健康な成分に対応する画像領域を決定し、画像領域に対する識別過程を実現することができる。上記の方法によれば、食品監督管理機構が食品をよりよく監督することを支援することができ、予め設定された波長に基づく疑似カラー画像の決定と領域分割結果とに基づいて、画像領域をより正確に識別することができる。

【0024】

なお、上記の応用シーンは、例示的なものに過ぎず、本実施例に係る画像処理方法は、他のシーンに応用することもでき、本願の実施例ではこれを限定しない。

【0025】

なお、本願の具体的な実施形態では、ユーザ情報などの関連データに関し、本願の上記実施例を具体的な製品または技術に応用する場合、ユーザから許可または同意を得る必要があり、また、関連データの収集、使用や処理は、関連国及び地域の関連法規制及び規格を遵守する必要がある。

【0026】

次に、本願の実施例に係る実施環境について説明する。例示的に、図１に示すように、当該実施環境は、端末１１０及びサーバ１２０に係り、端末１１０とサーバ１２０とは通信ネットワーク１３０を介して接続される。

【0027】

幾つかの実施例では、端末１１０には、画像採集機能を有するアプリケーションプログラムがインストールされている。幾つかの実施例では、端末１１０は、サンプル画像をサーバ１２０に送信するために用いられる。サーバ１２０は、サンプル画像に対応するスペクトル情報に基づいて、画像処理モデル１２１によってサンプル画像における識別対象の要素タイプを含む画像領域を決定して、当該画像領域を特別な方式で標識するとともに、端末１１０にフィードバックして表示させることができる。

【0028】

ここで、画像処理モデル１２１の応用方式は、以下のとおりである。すなわち、予め設定された波長帯から予め設定された波長を選択し、予め設定された波長に基づいてサンプル画像から予め設定された波長に対応する第１の画像を決定し、第１の画像を処理して疑似カラー画像を得る。また、サンプル画像におけるサンプル要素タイプに基づいてサンプル画像に対して領域分割を行うことにより、サンプル画像に対応する領域分割結果を得て、領域分割結果と疑似カラー画像を組み合わせて、サンプル画像における、識別対象要素タイプの位置情報を示すための画像領域を決定する。例えば、分析対象サンプルは、病理サンプルであり、分析対象サンプルを分析して決定された画像領域は、腫瘍組織に対応する領域となり、これにより、腫瘍組織に対応する領域情報をより正確に決定することができる。上記の過程は、画像処理モデル１２１の応用過程の非ユニーク状況の例示である。

【0029】

なお、上記端末は、携帯電話、タブレットコンピュータ、ポータブルラップトップコンピュータ、スマート音声対話装置、スマート家電、車載端末などの移動端末を含むが、卓上型コンピュータなどとして実現されてもよい。上記サーバは、独立した物理サーバであってもよいし、複数の物理サーバからなるサーバクラスタまたは分散システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツ配信ネットワーク（ＣｏｎｔｅｎｔＤｅｌｉｖｅｒｙＮｅｔｗｏｒｋ、ＣＤＮ）、及びビッグデータと人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。

【0030】

そのうち、クラウド技術（ＣｌｏｕｄＴｅｃｈｎｏｌｏｇｙ）とは、広域ネットワークまたはローカルエリアネットワーク内でハードウェア、アプリケーションプログラム、ネットワークなどの一連のリソースを統合して、データの計算、記憶、処理及び共有を実現する１種の信託技術を意味する。

【0031】

幾つかの実施例では、上記サーバは、ブロックチェーンシステムにおけるノードとして実現されてもよい。

【0032】

本願に係る画像処理方法について、上記の用語説明及び応用シーンを参照しながら説明し、サーバに応用されることを例にすると、図２に示すように、当該方法は、以下のステップ２１０～ステップ２４０を含む。

【0033】

ステップ２１０において、サンプル画像を取得する。

【0034】

ここで、サンプル画像は、予め設定された波長帯内で分析対象サンプルを採集して得られた画像を含む。

【0035】

波長帯は、波長の範囲を示すためのものであり、例えば、可視光波長帯は、３８０ｎｍ～７５０ｎｍの波長範囲を示すためのものであり、近赤外波長帯は、７５０ｎｍ～２５００ｎｍの波長範囲を示すためのものであり、中赤外波長帯は、２５００ｎｍ～２５０００ｎｍの波長範囲を示すためのものである。

【0036】

選択的に、波長を提供する照明光源は、ハロゲンランプを含んでもよく、白熱電球、発光ダイオード（ＬＥＤ、ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）光源などを含んでもよい。例示的に、予め設定された波長帯は、予め設定済みの波長帯を示すためのものであり、波長を提供する照明光源は、予め設定された波長帯をカバーする。例えば、予め設定された波長帯は、４００ｎｍ～１７００ｎｍの波長帯であり、選択された照明光源は、４００ｎｍ～１７００ｎｍの波長帯をカバーする。或いは、予め設定された波長帯は、４００ｎｍ～１７００ｎｍの波長帯であり、照明光源Ａは、４００ｎｍ～１２００ｎｍの波長帯を提供し、照明光源Ｂは、１１００ｎｍ～１８００ｎｍの波長帯を提供し、照明光源Ａと照明光源Ｂを予め設定された波長帯を提供する照明光源などとしてもよい。

【0037】

分析対象サンプルは、分析対象であるサンプルを示すためのものである。選択的に、分析対象サンプルは、手術で切除された病理サンプルであり、手術で切除された病理サンプルを分析すると、病理サンプルの位置情報、性質情報などを知ることができる。または、分析対象サンプルは、化学混合物であり、当該化学混合物を分析すると、混合物における成分情報、割合情報などを知ることができる。または、分析対象サンプルは、宝石であり、当該宝石を分析すると、宝石における構造情報などを知ることができる。

【0038】

１つの選択可能な実施例では、分析対象サンプルに対してプッシュブルーム採集操作を行うことによりサンプル画像を得る。

【0039】

ここで、プッシュブルーム採集は、走査線に沿ってポイントごとに走査してイメージングする採集方式であり、プッシュブルーム採集操作は、採集装置によって行われる。例示的に、図３は、プッシュブルーム型短波長赤外線イパースペクトルイメージングシステムを示すものであり、当該システムは、サンプルホルダー３１０と、短波長赤外ハイパースペクトルカメラ３２０と、線光源３３０と、分析対象サンプル３４０とを含む。そのうち、短波長赤外ハイパースペクトルカメラ３２０は、イメージング技術とスペクトル検出技術との組み合わせであり、スペクトル情報を有するサンプル画像を採集するために用いられる。サンプル画像は、３次元のハイパースペクトル画像として、x軸及びy軸は、２次元情報の座標値を示し、z軸は、波長情報を示す。一般的なイメージング技術と比べて、ハイパースペクトル画像は、画像のスペクトル情報を増加させ、より高いスペクトル分解能を有し、より広い波長帯範囲及びより多くのレベルのスペクトル次元から分析対象サンプルのサンプル状況を反映することができ、サンプル画像が分析対象サンプルの空間情報及びスペクトル情報を同時に反映することが可能となる。ハイパースペクトルのサンプル画像に対して分析を行う場合、より広い波長帯範囲から分解能がより高く、分析効果がより良い波長を選択し、サンプル画像に対して後続の分析を行うことも便利となる。すなわち、サンプル画像は、スペクトル情報を有する画像である。

【0040】

例示的に、実効感光範囲が９００ｎｍ～１７００ｎｍである反射型のハイパースペクトルカメラを用いて、スペクトル分解能が約５ｎｍであり、画像分解能が３０万画素であるハイパースペクトル画像を撮影する。

【0041】

選択的に、予め設定された波長帯を決定した後、照明光源で分析対象サンプルを照射し、予め設定された波長帯内において異なる波長の照射条件下で分析対象サンプルを複数回撮影することにより、複数の分析対象サンプルに対応するサンプル画像を取得する。例示的に、予め設定された波長帯は、９００ｎｍ～１７００ｎｍ（近赤外波長帯から選択された波長帯）であり、分析対象サンプルは、手術で切除された病理標本であり、ハロゲンランプを照明光源とし、ハイパースペクトルカメラを画像採集装置とすることにより、異なる波長下で手術で切除された病理標本を採取する。例えば、予め設定された波長帯内において、ハイパースペクトルカメラを用いて波長ごとに１つの画像を採集することにより、異なる波長で対応する複数のサンプル画像を取得する。

【0042】

図３に示すように、線光源３３０によって分析対象サンプル３４０を照射し、短波長赤外ハイパースペクトルカメラ３２０によって異なる波長で照射された分析対象サンプル３４０を撮影することにより、複数の異なる波長での複数のサンプル画像の取得過程を実現する。図４は、短波長赤外ハイパースペクトルカメラ３２０を用いて採集された複数のサンプル画像４１０を示すものであり、複数のサンプル画像は、９００ｎｍ～１７００ｎｍの波長範囲に従って上から下へ順番に配列され、複数のサンプル画像４１０は、スペクトル情報を有する３次元ハイパースペクトル画像である。

【0043】

例示的に、図５に示すように、サンプル画像４１０におけるＭ点４２０及びＮ点４３０を任意に選択し、サンプル画像４１０に対応するスペクトル情報に基づいて、Ｍ点４２０に対応するスペクトル特性曲線５１０及びＮ点４３０に対応するスペクトル特性曲線５２０を得る。ここで、スペクトル特性グラフは、光反射率と波長との間の関係を示す図として、横座標は波長であり、縦座標は反射率であり、反射率は、分析対象サンプルで反射された光束と分析対象サンプルに入射された光束との比率を示すものである。選択的に、図５におけるスペクトル特性曲線は、反射率が補正された曲線である。

【0044】

１つの選択可能な実施例では、予め設定された波長帯範囲内において、波長可変フィルタを用いて少なくとも１つの波長を決定し、採集装置によって分析対象サンプルに対してプッシュブルーム採集操作を行うことにより、少なくとも１つの波長に対応するサンプル画像を取得する。

【0045】

選択的に、ハイパースペクトルカメラよりも前に液晶波長可変フィルタ（ＬＣＴＦ、ＬｉｑｕｉｄＣｒｙｓｔａｌＴｕｎａｂｌｅＦｉｌｔｅｒ）を追加し、液晶波長可変フィルタは、予め設定された波長帯をカバーする照明光源から波長を選択することにより、可視光波長帯内または近赤外波長帯内の波長を迅速かつ振動無しで選択することができる。例えば、照明光源がカバーする波長帯は、９００ｎｍ～１７００ｎｍであり、照明光源から発射された光を液晶波長可変フィルタに通過させると、波長が１１３０ｎｍの光を取得し、すなわち、液晶波長可変フィルタは、予め設定された波長帯内の１１３０ｎｍの波長以外の波長の光をフィルタリングして除去する。

【0046】

選択的に、採集装置は、ハイパースペクトルカメラであり、ハイパースペクトルカメラは、格子プッシュブルーム構造を内蔵したカメラとして、格子の配列方式に応じて、分析対象サンプルに対してプッシュブルーム採集操作を行うことによりサンプル画像を得る。または、ハイパースペクトルカメラは、プッシュブルーム構造外付けのハイパースペクトル撮影方式であり、図３に示すように、サンプルホルダー３１０を移動させてプッシュブルーム撮影などを行う。なお、以上は例示的なものに過ぎず、本願の実施例はこれを限定しない。

【0047】

幾つかの実施例では、ハイパースペクトルカメラにおけるレンズは、光学変倍によって視野を調整するズームレンズであってもよい。選択的に、物理的昇降光学ホルダーによって視野マッチングを行うことによりサンプル画像を取得するか、または、変倍レンズと昇降ホルダーとの組み合わせによってサンプル画像を取得するなどとしてもよい。

【0048】

ステップ２２０において、サンプル画像のうち、予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得る。

【0049】

例示的に、サンプル画像は、分析対象サンプルを採集して得られた複数の画像であり、サンプル画像に対応する波長は、予め設定された波長帯内にある。予め設定された波長帯内において複数の波長から少なくとも１つの予め設定された波長を選択し、予め設定された波長に対応するサンプル画像を第１の画像とし、最終的に疑似カラー画像を得る。

【0050】

選択的に、１つの予め設定された波長にとって、当該予め設定された波長に対応する少なくとも１つのサンプル画像が存在する。例示的に、選択された予め設定された波長に対応して複数のサンプル画像が存在する場合、複数のサンプル画像から１つのサンプル画像を当該予め設定された波長に対応する第１の画像としてランダムに選択してもよいし、複数のサンプル画像に対して結合分析を行うことにより、当該予め設定された波長に対応する第１の画像を決定してもよい。

【0051】

または、１つの予め設定された波長にとって、当該予め設定された波長に対応する１つのサンプル画像が存在し、当該サンプル画像を第１の画像とする。選択的に、１つの予め設定された波長が１つの第１の画像に対応することを例として、選択された予め設定された波長の数に応じて、第１の画像に対する処理方式には差異が存在する。例示的に、１つの予め設定された波長を選択する場合と、複数の予め設定された波長を選択する場合とをそれぞれ分析する。

【0052】

（１）１つの予め設定された波長を選択する場合
１つの選択可能な実施例では、予め設定された波長帯内の１つの予め設定された波長に対応する第１の画像に対して色付け処理を行うことにより、疑似カラー画像を得る。

【0053】

例示的に、予め設定された波長帯は、近赤外波長帯から選択された９００ｎｍ～１７００ｎｍの波長帯であり、予め設定された波長帯が不可視波長帯であるため、当該波長帯に対応する画像は、グレースケール画像である。予め設定された波長帯から１つの予め設定された波長を選択し、当該予め設定された波長に対応する第１の画像は、１つのグレースケール画像であり、当該グレースケール画像に対して色付け処理を行うことにより疑似カラー画像を得る。

【0054】

疑似カラー画像処理は、白黒のグレースケール画像をカラー画像に変換する技術過程を示すことにより、画像内容の視認性を向上させるためのものである。例示的に、グレースケール分割法、グレースケール変換法などの方法を用いて、疑似カラー画像処理を行う。

【0055】

選択的に、グレースケール画像は、各画素点の色を表す値が１つだけである単一チャネル画像として、その画素値が０～２５５の間に位置し、０が黒色を示し、２５５が白色を示し、中間値が異なるレベルの灰色を示す。または、グレースケール画像が３チャネル画像である場合、３チャネルの画素値はいずれも同様である。

【0056】

選択的に、単一チャンネル画像に相対する画像は、各画素点がいずれも３つの値で表される３チャンネル画像を含む。例示的に、ＲＧＢ画像は、３チャンネル画像として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャンネルの変化及びそれら同士の重畳によって様々な色を得る。ここで、各画素点は、３つの値で表される。

【0057】

例示的に、分析対象サンプルは、手術で切除された病理サンプルであり、図６は、分析対象サンプルに対して異なる画像処理を行うことを示す図である。ここで、図６１０は、分析対象サンプルを示すためのものであり（表示しやすくするために、通常のカメラで撮影されたものにする）、図６２０は、波長が１３００ｎｍのハイパースペクトル画像を示すものであり、図６３１～図６３４は、ヘマトキシリン・エオジン染色（ＨＥ、ＨｅｍａｔｏｘｙｌｉｎＥｏｓｉｎ）法によって観察された組織表現を示すためのものであり、そのうち、図６３１は、がん組織（図６１０または図６２０におけるＡ点で示されるもの）を示すためのものであり、図６３２は、脂肪組織（図６１０または図６２０におけるＢ点で示されるもの）を示すためのものであり、図６３３は、正常な粘膜組織（図６１０または図６２０におけるＣ点で示されるもの）を示すためのものであり、図６３４は、筋組織（図６１０または図６２０におけるＤ点で示されるもの）を示すためのものである。

【0058】

例示的に、１３００ｎｍの波長を選択された予め設定された波長とし、図６２０に対応するハイパースペクトル画像を予め設定された波長に対応する第１の画像とし、第１の画像に対して上記色付け処理を行うことにより、疑似カラー画像を得る。

【0059】

（２）複数の予め設定された波長を選択する場合
例示的に、少なくとも２つの予め設定された波長に基づいて、少なくとも２つの予め設定された波長にそれぞれ対応する少なくとも２つの第１の画像を決定する。そのうち、ｉ番目の予め設定された波長は、ｉ番目の第１の画像に対応し、ｉは正の整数である。

【0060】

１つの選択可能な実施例では、予め設定された波長帯内の少なくとも２つの予め設定された波長に対応する少なくとも２つの第１の画像に対して合成処理を行い、合成された画像に対して色付け処理を行うと、疑似カラー画像を得る。

【0061】

例示的に、予め設定された波長帯から少なくとも２つの予め設定された波長を選択し、予め設定された波長のそれぞれが１つの第１の画像に対応する。選択的に、少なくとも２つの第１の画像に対して合成処理を行うことにより、候補画像を得る。

【0062】

例示的に、複数の第１の画像に対して合成処理を行う方式は、以下のうちの少なくとも１つの方式を含む。

【0063】

（１）画素値処理
１つの選択可能な実施例では、少なくとも２つの第１の画像に対応する画素点の第１の画素値に対して平均化処理を行うことにより、対応する画素点の第２の画素値を取得し、各画素点に対応する第２の画素値に基づいて候補画像を決定する。

【0064】

例示的に、少なくとも２つの予め設定された波長に対応する少なくとも２つの第１の画像を取得した後、少なくとも２つの第１の画像に対応する画素点の第１の画素値を加算して平均値を取ることにより、対応する画素点の画素値として、異なる第１の画像に対応する画素点の第１の画素値を総合分析して得られた平均値である第２の画素値を取得する。選択的に、各画素点に対応する第２の画素値を決定した後、画素点の位置情報に基づいて、各画素点の画素値が対応する第２の画素値である候補画像を取得する。

【0065】

選択的に、異なる予め設定された波長にそれぞれ対応する第１の画像を合成する場合、異なる第１の画像に対応する画素点の第１の画素値を利用し、複数の第１の画素値に対して平均値処理が行われた第２の画素値を第２の画像に対応する画素点の画素値とすることにより、画像に対応する画素点によって複数の異なる第１の画像に対して総合的に均衡処理を行い、異なる第１の画像の均衡レベルをよりよく表すことができる。

【0066】

（２）ソフトウェア処理
１つの選択可能な実施例では、予め設定された波長に対応する第１の画像を決定した後、少なくとも２つの第１の画像をソフトウェアによって合成処理することにより、候補画像を得る。

【0067】

例示的に、少なくとも２つの第１の画像をＰｈｏｔｏｓｈｏｐに入力して、整列、接合及び色整合、継ぎ目消し、導出などの操作を行うことによって、少なくとも２つの第１の画像が合成された候補画像を得る。

【0068】

以上は例示的なものに過ぎず、本願の実施例ではこれを限定しない。選択的に、選択された予め設定された波長が予め設定された波長帯内の複数の予め設定された波長として実現される場合、異なる予め設定された波長にそれぞれ対応する第１の画像に対して総合分析を行い、すなわち、上記の合成方法によって、異なる予め設定された波長にそれぞれ対応する第１の画像を合成し、複数の波長次元から分析対象サンプルに対してより全面的な分析過程を行うことができ、複数の波長にそれぞれ対応する第１の画像によって候補画像を合成することにより、候補画像に複数の波長に共有するサンプル情報を含ませ、波長差による画像情報の差異を平滑化させ、分析の制約性を回避させる。

【0069】

例示的に、候補画像における画素点の輝度値に基づいて、候補画像における画素点に対して輝度グレーディングを行うことにより、少なくとも２つの輝度レベルを決定し、少なくとも２つの輝度レベルに対してそれぞれ色付けすることにより、疑似カラー画像を得る。

【0070】

選択的に、第１の画像は、グレースケール画像であり、第１の画像に基づいて合成された候補画像は、グレースケール画像であり、グレースケール画像における各画素点に対応する第２の画素値は、候補画像の輝度を示すためのものである。例示的に、第２の画素値は、０～２５５の間に位置し、０は黒色（輝度が最も小さい）を示し、２５５は白色（輝度が最も大きい）を示すためのものであり、すなわち、第２の画素値の数値が小さいほど輝度が小さくなり、第２の画素値の数値が大きいほど輝度が大きくなる。

【0071】

例示的に、図７は、３つの予め設定された波長（１１００ｎｍの波長、１３００ｎｍの波長、及び１４５０ｎｍの波長）に対応する第１の画像に対して合成処理及び色付け処理を行うことにより疑似カラー画像を得る過程を示す図である。

【0072】

そのうち、図７１０は、波長が１１００ｎｍのハイパースペクトル画像を示すものであり、図７２０は、波長が１３００ｎｍのハイパースペクトル画像を示すものであり、図７３０は、波長が１４５０ｎｍのハイパースペクトル画像を示すものである。選択的に、上記３つの予め設定された波長に対応するハイパースペクトル画像に対して合成処理及び色付け処理を行うと、図７４０に示す疑似カラー画像を得る。

【0073】

例示的に、１つの予め設定された波長に対応する第１の画像、または複数の予め設定された波長にそれぞれ対応する第１の画像が合成された候補画像を得た後、第１の画像または候補画像における画素点の輝度値に基づいて、その中の画素点に対して輝度グレーディングを行い、少なくとも２つの輝度レベルを決定することにより、異なる輝度レベルに対してそれぞれ色付けして疑似カラー画像を得る。上記の色付け処理により、画像の画素点の輝度変化によって、異なる輝度レベルに対応する画素点に対して色付けを行うことにより、色付け処理された疑似カラー画像が人間の目による画像の観察習慣により適合し、専門家が疑似カラー画像における異なる色によって異なる画像領域を区別することが便利となる。

【0074】

ステップ２３０において、サンプル画像におけるサンプル要素タイプの差異に基づいて、サンプル画像に対して領域分割を行うことにより、領域分割結果を得る。

【0075】

ここで、サンプル要素タイプは、識別すべき識別対象要素タイプを含む。

【0076】

選択的に、サンプル要素タイプは、サンプル画像における異なるサンプル領域に対応するサンプル性質の差異を示すためのものである。例示的に、サンプル画像が病理サンプルを撮影した画像である場合、サンプル要素タイプは、当該病理サンプルにおける腫瘍組織、当該病理サンプルにおける脂肪組織、当該病理サンプルにおける粘膜組織、当該病理サンプルにおける筋組織などを含む。サンプル画像が化学混合物（Ａ化合物、Ｂ化合物、及び不純物を含む）を撮影した画像である場合、サンプル要素タイプは、Ａ化合物、Ｂ化合物、及び不純物を含む。

【0077】

例示的に、サンプル画像が病理サンプルを撮影した病理画像である場合、識別対象要素タイプは、予め決定された識別対象の腫瘍組織（当該病理画像に対応するサンプル要素タイプのうちの１つ）であるか、または予め決定された識別対象の脂肪組織などである。選択的に、サンプル画像が化学混合物を撮影した化学画像である場合、識別対象要素タイプは、予め決定された識別対象のＢ化合物（当該化学画像に対応するサンプル要素タイプのうちの１つ）などである。

【0078】

例示的に、サンプル画像は、スペクトル情報を有する画像であり、異なる物質の性質の差異に応じて、スペクトル情報に差異があり、サンプル画像に対応するスペクトル情報に基づいてサンプル画像に対して領域分割を行うことにより、領域分割結果を得る。

【0079】

例示的に、サンプル画像におけるスペクトル情報の表示が異なり、例えば、サンプル画像がグレースケール画像である場合、Ａサンプル要素に対応する領域の色を最も濃くし、分析対象サンプル要素に対応する領域の色を最も薄くすることにより、サンプル画像に対応する領域分割結果を得る。

【0080】

１つの選択可能な実施例では、区別しやすくするために、異なる領域に異なる色を充填し、色を有する領域分割結果を得ることができ、または、濃い輪郭線を用いて異なる領域を分割することにより、明らかに分割された領域分割結果などを得ることができる。

【0081】

なお、以上は例示的なものに過ぎず、本願の実施例はこれを限定しない。

【0082】

ステップ２４０において、疑似カラー画像及び領域分割結果に基づいて、サンプル画像において識別対象要素タイプを含む画像領域を決定する。

【0083】

例示的に、疑似カラー画像は、予め設定された波長に対応する第１の画像を処理して得られた画像であり、領域分割結果は、サンプル画像におけるサンプル要素タイプに基づいて領域分割を行った結果である。選択的に、疑似カラー画像において異なる色で疑似カラー画像を分割し、例えば、サンプル画像が病理サンプルを撮影した画像である場合、そのうちの腫瘍組織が橙色を呈し、脂肪組織が明るい黄色を呈し、粘膜組織が腫瘍組織よりも色が薄い薄橙色を呈し、筋組織が腫瘍組織よりも色が濃い濃橙色を呈している。

【0084】

１つの選択可能な実施例では、疑似カラー画像と領域分割結果との重複領域を決定する。

【0085】

サンプル画像において、重複領域を識別対象要素タイプを含む画像領域とする。

【0086】

例示的に、分析対象サンプルは病理サンプルであり、病理サンプルを採集してスペクトル情報を有するサンプル画像を取得し、サンプル画像における腫瘍組織を観察しようとする場合、サンプル画像に対して上記の処理過程を行うことにより、選択された予め設定された波長に対応する疑似カラー画像及びサンプル画像に対する領域分割結果を得る。疑似カラー画像において決定された腫瘍組織の領域、及び領域分割結果に含まれる識別対象要素タイプ（腫瘍組織）の識別結果に基づいて、重複領域を識別対象要素タイプ（腫瘍組織）を含む画像領域として、腫瘍組織領域に対する識別過程を実現する。

【0087】

例示的に、スペクトル効果が良好な予め設定された波長に対応する第１の画像の疑似カラー画像、及びサンプル画像に対して領域分割が行われた領域分割結果を得た後、色付け処理後に得られた疑似カラー画像及びスペクトル分析結果を統合して、サンプル画像に対してより全面的な分析過程を行うことにより、識別対象要素タイプを含む画像領域は、疑似カラー画像で表される画像情報を含むだけでなく、領域分割結果で表されるスペクトル情報も含み、画像領域を決定する正確性を十分に向上させる。

【0088】

以上は例示的なものに過ぎず、本願の実施例ではこれを限定しない。

【0089】

以上のように、サンプル画像から予め設定された波長に対応する第１の画像を取得して疑似カラー画像を取得し、サンプル画像に対して領域分割を行うことにより領域分割結果を取得し、疑似カラー画像と領域分割結果を組み合わせて画像領域を決定する。上記の方法によれば、医師による裸眼観察及び説明のみによって腫瘍組織の大きさ、領域などを判断することを回避することができる。予め決定された予め設定された波長帯に基づいて、分析対象サンプルを採集してサンプル画像を取得し、予め設定された波長帯から効果の良い少なくとも１つの予め設定された波長を選択し、また、少なくとも１つの予め設定された波長に基づいて、サンプル画像から予め設定された波長に対応する第１の画像を決定し、第１の画像を処理することで、予め設定された波長の利点を比較的正確に表すことができる疑似カラー画像を取得する。サンプル画像におけるサンプル要素タイプの差異に基づいて、サンプル画像に対して領域分割を行うことにより領域分割結果を得る。疑似カラー画像と領域分割結果を組み合わせて、識別対象要素タイプを含む画像領域を決定することにより、識別対象領域（例えば、腫瘍組織）の位置情報を決定し、病理採取の正確性を向上させつつ病理採取の難度を低下させ、異なる波長で分析対象サンプルに対応するスペクトル特性を利用して分析対象サンプルを分析することにより、操作が比較的簡便になるだけでなく、コストも比較的に低くなり、応用及び幅広い普及がより容易になる。

【0090】

１つの選択可能な実施例では、サンプル画像に対して領域分割を行う過程は、異なるサンプル要素タイプに対応する異なるスペクトル情報によって決定される。例示的に、図８に示すように、上記の図２に示す実施例におけるステップ２３０は、以下のステップ８１０～ステップ８５０として実現されてもよい。

【0091】

ステップ８１０において、第２の画像を取得する。

【0092】

ここで、第２の画像は、分析対象サンプルを採集して得られた、スペクトル情報を有する事前標識画像である。

【0093】

選択的に、サンプル画像及び第２の画像は、分析対象サンプルを採集して得られた画像であり、分析対象サンプルに対して採集を行う場合、サンプル画像のゴールドスタンダードを決定し、すなわち、第２の画像を決定する。ゴールドスタンダードは、現在の臨床医学界で認められている疾患診断の信頼できる方法を示すためのものである。

【0094】

１つの選択可能な実施例では、分析対象サンプルは、手術で切除された病理サンプルである。例示的には、図９は、病理サンプルを採取するフローを示す図であり、まず、医師は、腫瘍切除手術９１０によって患者の病理サンプルを切除し（病理サンプルは、腫瘍組織を含む）、その後、病理サンプルに対して切断９２０を行うことにより適切な体積の組織ブロックを得た後、ホルマリン浸漬などの方法を用いて組織ブロックに対して固定９３０を行う。例えば、手術によって病理サンプルを切除してから３０分間以内に、組織ブロックを十分な量の３.７％中性ホルマリン溶液に入れて固定を行い、固定時間は、１２ｈ～４８ｈである。その後、固定された組織ブロックから、腫瘍組織及びその周囲の１～２ｃｍの正常組織を含む厚さが５ｍｍ±１ｍｍの組織スライス（平均で約５ｍｍ）を切り取る。選択的に、病理サンプルに対して固定が行われた組織ブロックを分析対象サンプルとしてもよく、組織ブロックがスライシングされた組織スライスを分析対象サンプルとしてもよい。

【0095】

１つの選択可能な実施例では、分析対象サンプルを取得した後、組織スライスに対して大体採取、通常脱水、埋め込み及びＨＥ染色スライス作製処理を行うことにより染色画像９４０を取得し、染色画像９４０をデジタルスキャナー９５０で走査して、複数のＷＳＩ（ＷｈｏｌｅＳｌｉｄｅＩｍａｇｅ）画像９６０を得る。ここで、ＷＳＩは、デジタルスキャナー９５０（一種の電動顕微鏡構造）で採取された当該病理サンプルの画像である。例示的に、単一のＷＳＩ画像のサイズが小さいと、分析されるＷＳＩ画像は、複数の病理スライスをスプライシングして形成されたものであってもよく、例えば、ＷＳＩスプライシングソフトウェアを用いて複数のＷＳＩフラグメント（ｆｒａｇｍｅｎｔｓ）をスプライシングすることによって、仮想大スライス９７０を復元して得る。

【0096】

選択的に、仮想大スライス９７０においてＡＳＡＰ（ＡｄｖａｎｃｅｄＳｙｓｔｅｍｓＡｎａｌｙｓｉｓＰｒｏｇｒａｍ）を用いて標識してゴールドスタンダードとし、当該病理サンプルに対して走査して得られた、標識を有する複数のＷＳＩ画像を取得する。ここで、標識は、領域に対して標識を行う方式で行われてもよく、標識領域は、１種または複数種の病巣の位置する領域を含むだけでなく、ヒント作用を有する特別領域なども含む。例示的に、中空臓器において、腫瘍組織を赤色、正常粘膜を緑色、脂肪組織を黄色、筋組織を青色とそれぞれ標識し、実質臓器において、腫瘍組織を赤色、正常組織を緑色、脂肪組織を黄色と標識するなどとする。選択的に、上記色標識は例示的なものに過ぎず、選択された組織を異なる色で標識してもよく、例えば、実質臓器における乳腺組織を標識する場合、乳腺組織における腫瘍組織を赤色、脂肪組織を黄色、繊維性結合組織を緑色とそれぞれ標識するなどとしてもよい。選択的に、観察される臓器において対応する色の組織が存在しない場合、標識しなくてもよく、例えば、上記の色標識方式で実質臓器を標識する場合、観察される臓器に脂肪組織が存在しない場合、黄色を標識しなくてもよい。例示的に、標識されたＷＳＩ画像を第２の画像として、第２の画像の取得過程を実現する。

【0097】

ステップ８２０において、第２の画像で候補分割モデルを訓練する。

【0098】

ここで、候補分割モデルは、訓練されていない一定の領域分割機能を有するモデルである。例示的に、第２の画像をゴールドスタンダードとして、候補分割モデルを訓練し、大量の第２の画像で訓練することによって、候補分割モデルを学習させ、徐々に病巣領域などの特別領域を自動的に識別可能となり、かつ徐々に領域分割機能を備えるようになる。

【0099】

ステップ８３０において、候補分割モデルに対する訓練が訓練効果を達成したことに応答して、画像分割モデルを得る。

【0100】

ここで、画像分割モデルは、第１の画像に対して領域分割を行うためのものである。例示的に、候補分割モデルを訓練する過程において、候補分割モデルに対する訓練が訓練目標を達成したことにより画像分割モデルを取得し、選択的に、損失値で候補分割モデルの訓練効果を判断し、訓練目標は、少なくとも以下の１つの場合を含む。

【0101】

１、損失値が収束状態に達したことに応答して、直近の１回の反復訓練で得られた候補分割モデルを画像分割モデルとする。

【0102】

例示的に、損失値が収束状態に達したことは、損失関数によって得られた損失値の数値が変化しなくなったか、または変化幅が予め設定された閾値よりも小さくなったことを示す。例えば、ｎ番目の第２の画像に対応する損失値が０.１であり、ｎ＋１番目の第２の画像に対応する損失値も０.１である場合、当該損失値が収束状態に達したと見なされ、ｎ番目の第２の画像またはｎ＋１番目の第２の画像に対応する損失値が調整された候補分割モデルを画像分割モデルとして、候補分割モデルに対する訓練過程を実現する。

【0103】

２、損失値の取得回数が回数閾値に達したことに応答して、直近の１回の反復訓練によって得られた候補分割モデルを画像分割モデルとする。

【0104】

例示的に、１回の取得によって１つの損失値を得ることができ、画像分割モデルを訓練するための損失値の取得回数を予め設定し、１つの第２の画像が１つの損失値に対応する場合、損失値の取得回数は第２の画像の個数であり、または、１つの第２の画像が複数の損失値に対応する場合、損失値の取得回数は、損失値の個数である。例えば、１回の取得によって１つの損失値を取得し、損失値の取得回数閾値が１０回であると予め設定すると、取得回数閾値に達した場合、直近の１回の損失値が調整された候補分割モデルを画像分割モデルとするか、または、損失値の１０回の調整過程における最小損失値が調整された候補分割モデルを画像分割モデルとすることにより、候補分割モデルに対する訓練過程を実現する。

【0105】

なお、以上は例示的なものに過ぎず、本願の実施例はこれを限定しない。

【0106】

１つの選択可能な実施例では、候補分割モデルに係る深層学習ネットワークは、生物医学画像分割用の畳み込みネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓｆｏｒＢｉｏｍｅｄｉｃａｌＩｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎ、Ｕ－ｎｅｔ）、敵対的生成ネットワーク（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ、ＧＡＮ）、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ、ＣＮＮ）などの深層学習ネットワークであってもよい。ここで、深層学習ネットワークは、領域分割を行うポリシーである。

【0107】

選択的に、深層学習以外の機械学習アルゴリズム、例えば主成分分析方法（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ、ＰＣＡ）などを用いてもよく、または、他の非機械学習アルゴリズム、例えばサポートベクターマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ、ＳＶＭ）、最大尤度法、スペクトル角、スペクトル情報ダイバージェンス、マハラノビス距離などを用いてもよい。

【0108】

例示的には、病理サンプルにおける病理領域を標識することにより、現在の臨床医学界で認められている疾患診断ゴールドスタンダードを代表可能な第２の画像を取得し、当該第２の画像は、病理サンプルに対応する病理位置を比較的正確に示すことができ、さらに候補分割モデルのより正確な訓練に便利であり、候補分割モデルのロバスト性を徐々に向上させ、訓練効果を満たす画像分割モデルを得ることができる。

【0109】

ステップ８４０において、サンプル画像を予め訓練された画像分割モデルに通過させることにより、要素タイプの差異表現を決定する。

【0110】

１つの選択可能な実施例では、サンプル画像に対して画像の前処理を行った後、予め訓練された画像分割モデルに入力する。

【0111】

例示的に、図１０に示すように、複数のサンプル画像１０１０を採集した後、サンプル画像１０１０に対して前処理１０２０を行う。ここで、サンプル画像に対して画像の前処理１０２０を行う過程は、サンプル画像に対して幾何変換操作、画像強調操作など（例えば、画像背景補正、レジストレーション、ノイズ除去など）のうちの少なくとも１つを含む操作を行うことにより、サンプル画像における重要な特徴を強調する。その後、前処理されたサンプル画像１０１０を予め訓練された画像分割モデル１０３０に通過させ、画像分割モデル１０３０によってサンプル画像における領域を分割する。

【0112】

１つの選択可能な実施例では、サンプル画像は、スペクトル情報を有する画像であり、サンプル画像に対してスペクトル分析を行うことにより、スペクトル分析結果を取得し、スペクトル分析結果に基づいて、サンプル画像に対応する要素タイプの差異表現を決定する。

【0113】

サンプル画像に対応する分析対象サンプルの差異に基づいて、異なるサンプル画像に対応する異なるスペクトル分析結果を得る。例示的に、スペクトル分析結果は、スペクトル特徴グラフとして表され、スペクトル特徴グラフの横座標は波長であり、縦座標は反射率であり、異なるスペクトル曲線は、異なる波長での異なる分析対象サンプルの反射率の変化状況、すなわちスペクトル分析結果を示すためのものである。

【0114】

１つの選択可能な実施例では、６２例の異なるシステム組織のハイパースペクトル画像を分析した結果、異なる器官において腫瘍組織と正常組織を区別する波長が１２９６～１３０８ｎｍ（当該波長範囲内であれば効果が良い）であることを初歩的に決定した。例示的に、腫瘍組織が存在する中空臓器（例えば、食道、胃、結腸直腸）、腎臓、乳腺及び肺を分析対象サンプルとして分析を行うことにより、中空臓器、腎臓、乳腺及び肺に対応するサンプル画像を取得し、サンプル画像は、３次元ハイパースペクトル画像であり、３次元ハイパースペクトル画像に対応するデータに基づいて、中空臓器、腎臓、乳腺及び肺にそれぞれ対応するスペクトル特徴グラフを得る。

【0115】

図１１は、中空臓器１１１０に対応するスペクトル特性グラフであり、そのうち、腫瘍組織（がん組織）に対応する波長曲線は、腫瘍波長曲線１１２０であり、脂肪組織に対応する波長曲線は、脂肪波長曲線１１３０であり、正常粘膜に対応する波長曲線は、粘膜波長曲線１１４０であり、筋組織に対応する波長曲線は、筋組織波長曲線１１５０である。

【0116】

図１２は、腎臓１２１０に対応するスペクトル特性グラフであり、そのうち、腫瘍組織（がん組織）に対応する波長曲線は、腫瘍波長曲線１２２０であり、脂肪組織に対応する波長曲線は、脂肪波長曲線１２３０であり、正常粘膜に対応する波長曲線は、粘膜波長曲線１２４０である。

【0117】

図１３は、乳腺１３１０に対応するスペクトル特性グラフであり、そのうち、腫瘍組織（がん組織）に対応する波長曲線は、腫瘍波長曲線１３２０であり、脂肪組織に対応する波長曲線は、脂肪波長曲線１３３０であり、正常粘膜に対応する波長曲線は、粘膜波長曲線１３４０である。

【0118】

図１４は、肺１４１０に対応するスペクトル特性グラフであり、そのうち、腫瘍組織（がん組織）に対応する波長曲線は、腫瘍波長曲線１４２０であり、正常な肺に対応する波長曲線は、正常波長曲線１４３０である。

【0119】

ここで、サンプル画像に対応する要素タイプの差異表現は、例えば腫瘍組織と脂肪組織が異なるなど、異なる組織の間の差異である。以上は例示的なものに過ぎず、本願の実施例ではこれを限定しない。

【0120】

図１１～図１４を総合的に分析すると、波長が１３００ｎｍ程度である場合、中空臓器の組織のサンプルにおいて異なる組織が良好な区別性を示している。実質臓器（例えば、乳腺、腎臓及び肺）における腫瘍組織も、その周囲の正常組織及び脂肪組織と比較的良好な区別性を示している。

【0121】

例示的に、結腸がんを例として、肉眼で観察する場合、１３００ｎｍのハイパースペクトル画像における腫瘍組織は灰色を呈し、正常な筋組織は腫瘍組織よりも色が濃い灰黒色を呈し、脂肪組織は灰白色を呈し、正常粘膜は筋層よりも薄く腫瘍組織よりもやや濃い濃灰色を呈し、１３００ｎｍのハイパースペクトル画像は、脂肪、筋層及び腫瘍組織に対する良好な区別性を示している。

【0122】

１つの選択可能な実施例では、ハイパースペクトル画像における１１００ｎｍ、１３００ｎｍ及び１４５０ｎｍの３つの波の山谷を特徴波長帯として抽出し、短波長赤外カラー合成画像を合成することにより、医師による異なる組織の識別のために、人間の目の観察習慣により合致する疑似カラー画像を提供する。短波長赤外カラー合成画像において、がん組織は橙色を呈し、筋組織は腫瘍組織よりも色が濃い橙色を呈し、正常粘膜はがん組織よりも薄い橙色を呈し、脂肪組織は明るい黄色を呈している。

【0123】

例示的に、サンプル画像が有するスペクトル情報に基づいて、サンプル画像に対してスペクトル分析を行うことにより、サンプル画像に対応するスペクトル分析結果を利用して、異なる波長での分析対象サンプルの反射率変化状況をより直感的に決定し、さらに異なる組織間の差異状況を決定し、当該差異に基づいてサンプル画像に対して領域分析を行うことに有利である。

【0124】

ステップ８５０において、要素タイプの差異表現に基づいてサンプル画像に対して領域分割を行うことによって、サンプル画像に対応する領域分割結果を決定する。

【0125】

例示的に、スペクトル分析結果を得た後、画像分割モデルによって対応する領域情報ヒントをサンプル画像に提供し、領域情報ヒントは、以下の少なくとも１つの方式を含む。

【0126】

（１）輪郭線ヒント
例示的に、輪郭線を用いてサンプル画像における異なる領域を分割処理することにより、異なる分割領域を取得する。ここで、輪郭線は、濃い曲線であってもよいし、色のある曲線などであってもよい。

【0127】

（２）ヒートマップヒント
例示的に、特別なハイライト方式で腫瘍組織の位置する領域を表示する。

【0128】

（３）単色充填ヒント
例示的に、図１５に示すように、異なる領域に対して、異なる色で充填されることにより区別し、例えば、腫瘍組織領域に赤色１５１０を充填し、脂肪組織領域に緑色１５２０を充填するなどとする。選択的に、正確に分割できない領域に対して、白色を充填したり、充填しなかったりするなどとする。

【0129】

１つの選択可能な実施例では、図１６に示すように、短波長赤外ハイパースペクトル画像１６１０（サンプル画像）及び標識済みのＷＳＩ１６２０に基づいて深層学習を行い、最終的に短波長赤外ハイパースペクトル画像１６１０を予測した予測結果１６３０を取得し、例示的に、予測結果１６３０は、単色充填の方式でヒントする。以上は例示的なものに過ぎず、本願の実施例ではこれを限定しない。

【0130】

例示的に、画像分割モデルによって要素タイプの差異表現を決定した後、要素タイプの差異表現が示す異なる波長での分析対象サンプルの反射率の変化状況を十分に利用して、サンプル画像に対して領域分割を行って、予め設定された波長帯内のサンプル画像に対応する領域分割結果を決定することにより、領域としてサンプル画像の分析次元を細分化させ、サンプル画像に対する分析の正確性の向上に有利である。

【0131】

以上をまとめると、予め決定された予め設定された波長帯に基づいて分析対象サンプルを採集してサンプル画像を取得し、予め設定された波長帯から効果の良い少なくとも１つの予め設定された波長を選択し、少なくとも１つの予め設定された波長に基づいてサンプル画像から予め設定された波長に対応する第１の画像を決定し、第１の画像を処理することで、予め設定された波長の利点を比較的正確に表すことができる疑似カラー画像を取得する。サンプル画像におけるサンプル要素タイプの差異に基づいて、サンプル画像に対して領域分割を行うことにより領域分割結果を得る。疑似カラー画像と領域分割結果を組み合わせて、識別対象要素タイプを含む画像領域を決定することにより、識別対象領域（例えば、腫瘍組織）の位置情報を決定する。上記の方法によれば、医師の裸眼観察及び説明のみによって腫瘍組織の大きさ、領域などを判断することを回避し、病理採集の難度を低下させることができ、操作が比較的簡便になるだけでなく、コストも比較的低くなる。

【0132】

本願の実施例では、領域分割モデルの訓練過程及び応用過程について説明した。領域分割モデルを訓練する際に、ＷＳＩ画像を第２の画像とし、収束条件に達するまで第２の画像で未訓練の候補分割モデルを訓練して画像分割モデルを取得し、画像分割モデルでサンプル画像に対して領域分割を行い、サンプル画像における要素タイプの差異表現に基づいて、サンプル画像に対応する領域分割結果を決定する。上記の方法によれば、モデルで切除された組織の病巣領域を学習し、モデルによって病巣領域などの特別領域を自動的に識別し、モデルから出力された画像において領域情報ヒントの方式で画像領域を特別に標識することにより、モデルによって画像をよりよく分析することができ、病理採集の正確性を向上させる。

【0133】

１つの選択可能な実施例では、上記の画像処理方法を医学分野に応用して、病理画像を処理する。異なる部位に対応する、赤外ハイパースペクトル情報を有する病理画像を取得した後、狭帯域合成疑似カラー画像と深層学習を組み合わせて、切除された組織の病巣領域を予測することにより、手術中の腫瘍辺縁の決定及び手術後の病理採集の支援のために新しい解決策を提供する。例示的に、上記の画像処理方法を、（一）中空臓器の腫瘍組織に対する識別、及び（二）実質臓器の腫瘍組織に対する識別の少なくとも２つの識別過程に応用する。

【0134】

（一）中空臓器の腫瘍組織に対する識別
中空臓器は、例えば胃、腸、膀胱、胆嚢などの管腔状であって、臓器の内部に多くの空間を含む臓器である。実質臓器は、中空臓器に対して、心臓、肺部、腎臓、肝臓、脾臓などを含む。その相違点としては、前者が中空なものであるが、後者が中実なものであることにある。例えば、腹部の実質臓器は、肝臓、脾臓、腎臓、副腎、膵臓などを含む。腹部の中空臓器は、胆嚢、胃、十二指腸、空腸、回腸、虫垂、結腸などを含む。

【0135】

１つの選択可能な実施例では、中空臓器における結腸がん組織、直腸がん組織、胃がん組織、及び食道がん組織を研究する。４種類の異なる腫瘍組織において、ＨＳＩ１３００ｎｍは、比較的良好な区別性を示し、かつイメージングされた色が類似している。

【0136】

Ｘ線画像と比べて、ハイパースペクトルイメージングは、中空臓器の筋層の識別に対して大きなメリットを示している。腫瘍の境界を判断する際に、ハイパースペクトル画像は、通常のカラー画像より明らかに明瞭である。特に１１００ｎｍ、１３００ｎｍ及び１４５０ｎｍのＨＳＩ画像を選択してカラー画像を合成することにより、腫瘍組織の範囲を明瞭に表示することができ、異なる組織は、黄色から橙色までの異なる強度の色彩を呈している。

【0137】

例示的に、図１７は、中空臓器から選択された４種類の組織分類の画像表現である。そのうち、サンプル１は、結腸がん組織であり、サンプル２は、直腸がん組織であり、サンプル３は、胃がん組織であり、サンプル４は、食道がん組織である。

【0138】

ここで、１行目に示す図１７１０～図１７４０は、普通のカメラで撮影された通常のカラー画像（肉眼観察に相当する）を示すためのものである。

【0139】

２行目に示す図１７１１～図１７４１は、Ｘ線装置を用いて取得されたＸ線画像を示すためのものであり、腫瘍領域の概略輪郭を表示することができるが、効果が明瞭ではなく、筋層構造を区別することもできない。

【0140】

３行目に示す図１７１２～図１７４２は、ハイパースペクトルカメラによって採集された波長が１３００ｎｍのハイパースペクトル画像（ＨＳＩ１３００ｎｍの画像）を示すためのものであり、ハイパースペクトル画像は、グレースケール画像であり、かつ異なる組織は、濃淡が異なる色を示しており、肉眼で区別可能である。

【0141】

４行目に示す図１７１３～１７４３は、波長が１１００ｎｍのハイパースペクトル画像、波長が１３００ｎｍのハイパースペクトル画像、波長が１４５０ｎｍのハイパースペクトル画像を用いて合成された疑似カラー画像を示すためのものである。

【0142】

５行目に示す図１７１４～図１７４４は、人工知能によって分割された画像を示すためのものであり、例えば、上記の領域分割モデルを用いて得られた出力画像であり、当該画像は、より多くの詳細な採取情報を提供することができる。例えば、Ａ色は腫瘍組織を表し、Ｂ色は筋層組織を表し、Ｃ色は正常粘膜組織を表し、Ｄ色は脂肪組織を表し、選択的に、色が濃いほど信頼度が高くなる。

【0143】

６行目に示す図１７１５～図１７４５は、ＷＳＩ画像（ゴールドスタンダード）を示すものであって、腫瘍組織の真実な範囲を表示するためのものである。

【0144】

（二）実質臓器の腫瘍組織に対する識別
１つの選択可能な実施例では、病巣を有する（例えば、腫瘍組織を有する）実質臓器における腎臓、肺及び乳腺を研究し、腫瘍組織が比較的大きいサンプルにおいて、肉眼で識別することはそれほど困難ではない。例示的に、図１８は、腎がんにおける異なる画像の表現形式である。

【0145】

図１８１０は、腎組織における通常のカラー画像（肉眼観察）を示すためのものであり、通常のカラー画像において、腫瘍組織は灰色白を呈し、脂肪組織は黄色を呈し、正常な腎組織は薄茶色を呈している。図１８１１は、通常のカラー画像が拡大された腫瘍境界を示す図である。ここで、拡大画像に表示される腫瘍組織と正常な腎組織との境界は区別しにくい。

【0146】

図１８２０は、Ｘ線装置を用いて採集されたＸ線画像を示すためのものである。ここで、Ｘ線画像は、腫瘍の輪郭を示すことができるが、その境界が不明瞭であり、正常な腎組織と腫瘍組織とを良好に区別することができない。

【0147】

図１８３０は、波長が１３００ｎｍのハイパースペクトル画像を示すものであり、図１８３１は、波長が１３００ｎｍのハイパースペクトル画像が拡大された腫瘍境界を示す図である。１３００ｎｍのハイパースペクトルイメージングされた画像において、腫瘍組織は灰白色を呈し、正常な腎組織は灰色を呈し、脂肪組織は明るい灰白色を呈し、拡大図において、腫瘍組織とその周囲の正常組織との境界は明瞭である。

【0148】

図１８４０は、疑似カラー画像を示すためのものであり、図１８３２は、合成された疑似カラー画像が拡大された腫瘍境界を示すためのものである。

【0149】

例示的に、疑似カラー画像は、１つの波長に対応する１つのハイパースペクトル画像に対して色付け処理を行うことにより得られたものであってもよく、複数の波長に対応する複数のハイパースペクトル画像に対して合成処理及び色付け処理を行うことにより得られたものであってもよい。ここで、波長の選択は、ランダムに選択してもよいし、予め決定されてもよい。例示的に、実験結果を総合して判断すると、効果の良い少なくとも１つの波長を予め選択し、少なくとも１つの波長に対応するハイパースペクトル画像に基づいて疑似カラー画像を得る。

【0150】

例えば、効果の良い波長１３００ｎｍを予め選択し、波長１３００ｎｍに対応するハイパースペクトル画像を色付けして疑似カラー画像を得るか、または、波長１２５０ｎｍをランダムに選択し、波長１２５０ｎｍに対応するハイパースペクトル画像を色付けして疑似カラー画像を得る。または、波長１３００ｎｍ、波長１１００ｎｍ及び波長１４５０ｎｍの効果の良い３つの波長を予め選択し、３つの波長にそれぞれ対応するハイパースペクトル画像に対して合成処理及び色付け処理を行うことにより疑似カラー画像を得る。

【0151】

短赤外合成カラー画像において、腎がん組織はオレンジ色を呈し、脂肪組織は明るい黄色を呈し、正常な腎組織領域は黒色に偏ったオレンジ色を示し、拡大図に示すように、腫瘍組織と周囲組織との境界は明瞭で区別しやすい。

【0152】

図１８５０は、サンプル画像に対して領域分割を行うための人工知能分割画像を示すためのものである。例示的に、例えば腫瘍組織が赤色を呈し、正常な腎組織が緑色を呈し、脂肪組織が黄色を呈するなどとして、色が濃いほど信頼度が高いような異なる形式で異なる領域を区別する。人工知能分割画像は、赤色が腫瘍組織であり、緑色が正常な腎組織であり、黄色が脂肪組織であり、色が濃いほど信頼度が高く、腫瘍の輪郭がＷＳＩの腫瘍境界とより一致するものである。

【0153】

図１８６０は、ＷＳＩ腫瘍領域の輪郭を示すためのものである。

【0154】

１つの選択可能な実施例では、実質臓器における乳腺を例として説明する。肉眼で腫瘍の境界を判断することは容易ではなく、例えば、普通のカメラで撮影された写真によって腫瘍組織の境界を正確に識別することができない。図１９に示すように、図１９１０は、普通のカメラによって撮影された通常のカラー画像を示すためのものであり、丸印で囲まれた部分は、腫瘍組織の境界部分であり、当該部分における腫瘍組織と周囲組織との境界は、通常のカラー画像では明確に区別することができない。

【0155】

Ｘ線画像は、腫瘍組織の判断において良好な効果を有し、従来から病理の採取において主な支援ツールとされ、病理医が腫瘍床範囲を探すことを支援してきた。図１９２０は、Ｘ線装置を用いて採集されたＸ線画像を示すためのものであり、表示された症例において、Ｘ線画像に表示された腫瘍輪郭の辺縁は、バリ状となっており、ＷＳＩに表示された腫瘍輪郭と比べて、範囲が明らかに大きい。

【0156】

図１９３０は、波長が１３００ｎｍのハイパースペクトル画像を示すためのものであり、腫瘍組織は濃灰色を呈し（不規則な形状に対応する部分）、丸印で囲まれた部分は周囲の正常な乳腺組織であり、薄い灰色を呈している。

【0157】

図１９４０は、少なくとも１つの選択された波長に対応するハイパースペクトル画像に基づいて決定された疑似カラー画像を示すためのものである。例示的に、短波長赤外線で合成された疑似カラー画像において、腫瘍組織の領域は、周囲の乳腺組織に比べて濃い橙色であり、脂肪組織は明るい黄色を呈している。

【0158】

図１９５０は、人工知能分割画像（サンプル画像を深層学習モデルで処理して得られた処理結果）を示すためのものであり、比較的に正確な腫瘍組織範囲の情報参照を提供しており、図１９６０は、ＷＳＩ画像（ＷＳＩはゴールドスタンダードである）を示すためのものである。

【0159】

選択的に、乳腺の症例において、Ｘ線装置によって得られたＸ線画像は、点状の石灰化を表示することができる。例示的に、図２０に示すように、図２０１０は、普通のカメラで撮影された通常のカラー画像を示すためのものであり、腫瘍領域は灰白色を呈しており、腫瘍組織の概略範囲を識別することができる。図２０２０は、Ｘ線装置を用いて採集されたＸ線画像を示すためのものであり、当該Ｘ線画像は、腫瘍組織の辺縁を大まかに表示することができ、辺縁がバリ状と現れており、かつその中に点状の石灰化（図２０２０における矢印で示される位置）が見える。図２０３０は、波長が１３００ｎｍのハイパースペクトル画像を示すためのものであり、その中の腫瘍組織は濃灰色を呈しており、正常な乳腺組織は、腫瘍組織領域よりも階調が浅くなり、脂肪組織は灰白色を呈している。図２０４０は、上記選択された少なくとも１つの波長に対応するハイパースペクトル画像を処理して得られた短波長赤外カラー画像を示すためのものであり、当該短波長赤外カラー画像は、より明瞭な腫瘍輪郭を表示することができる。図２０５０は、人工分割による画像結果表示を示すためのものであり、図２０６０は、ゴールドスタンダードとしてのＷＳＩを示すためのものである。例示的に、短波長赤外カラー画像と人工分割による画像結果表示を組み合わせて腫瘍組織を含む画像領域を決定し、当該画像領域に表示される輪郭とゴールドスタンダード（ＷＳＩ）との一致度が最も高い。

【0160】

【0161】

本願の実施例では、上記の画像処理方法を医学分野に応用し、中空臓器及び実質臓器を分析し、上記の画像処理方法による有益性を証明した。一方、上記の画像処理方法は、医師による裸眼観察及び手で触れる方法よりも信頼性が高く、画像の一致性がより確保される。一方、ハイパースペクトル撮影システムは、損傷、接触及び電離放射がないという特徴を有し、また、そのハードウェアコストがＸ線装置のコストよりも低い。

【0162】

図２１は、本願の１つの例示的な実施例に係る画像処理装置の構造を示すブロック図であり、図２１に示すように、当該装置は、
サンプル画像を取得するサンプル取得モジュールであって、前記サンプル画像は、予め設定された波長帯内で分析対象サンプルを採集して得られた画像を含むサンプル取得モジュール２１１０と、
前記サンプル画像のうち、前記予め設定された波長帯内の少なくとも１つの予め設定された波長に対応する第１の画像を取得することにより、疑似カラー画像を得る画像取得モジュール２１２０と、
前記サンプル画像におけるサンプル要素タイプの差異に基づいて、前記サンプル画像に対して領域分割を行うことにより、領域分割結果を得る領域分割モジュールであって、前記サンプル要素タイプは、識別すべき識別対象要素タイプを含む領域分割モジュール２１３０と、
前記疑似カラー画像及び前記領域分割結果に基づいて、前記サンプル画像から前記識別対象要素タイプを含む画像領域を決定する領域決定モジュール２１４０とを含む。

【0163】

１つの選択可能な実施例では、前記画像取得モジュール２１２０は、さらに、前記予め設定された波長帯内の予め設定された波長に対応する第１の画像に対して色付け処理を行うことにより前記疑似カラー画像を得るか、または、前記予め設定された波長帯内の少なくとも２つの予め設定された波長に対応する少なくとも２つの第１の画像に対して合成処理を行い、合成した画像に対して色付け処理を行うことにより前記疑似カラー画像を得るためにも用いられる。

【0164】

１つの選択可能な実施例では、前記画像取得モジュール２１２０は、さらに、前記少なくとも２つの予め設定された波長に基づいて、前記少なくとも２つの予め設定された波長にそれぞれ対応する少なくとも２つの第１の画像を決定し（ｉ番目の予め設定された波長は、ｉ番目の第１の画像に対応し、ｉは正の整数である）、前記少なくとも２つの第１の画像に対して合成処理を行うことにより候補画像を取得し、前記候補画像に対して色付け処理を行うことにより前記疑似カラー画像を得るためにも用いられる。

【0165】

１つの選択可能な実施例では、前記画像取得モジュール２１２０は、さらに、前記少なくとも２つの第１の画像に対応する画素点の画素値に対して平均化処理を行うことにより、前記対応する画素点の第２の画素値を取得し、各画素点に対応する第２の画素値に基づいて前記候補画像を決定するためにも用いられる。

【0166】

１つの選択可能な実施例では、前記画像取得モジュール２１２０は、さらに、前記候補画像における画素点の輝度値に基づいて前記候補画像における画素点に対して輝度グレーディングを行うことにより、少なくとも２つの輝度レベルを決定し、前記少なくとも２つの輝度レベルに対してそれぞれ色付けを行うことにより、前記疑似カラー画像を得るためにも用いられる。

【0167】

図２２に示すように、１つの選択可能な実施例では、前記領域分割モジュール２１３０は、
前記サンプル画像を予め訓練された画像分割モデルに通過させることにより、前記要素タイプの差異表現を決定する決定ユニット２１３１と、
前記要素タイプの差異表現に基づいて、前記サンプル画像に対して領域分割を行うことにより、前記サンプル画像に対応する前記領域分割結果を決定する分割ユニット２１３２と、を含む。

【0168】

１つの選択可能な実施例では、前記サンプル画像は、スペクトル情報を有する画像であり、
前記決定ユニット２１３１は、さらに、前記サンプル画像に対してスペクトル分析を行うことにより、スペクトル分析結果を取得し、前記スペクトル分析結果に基づいて、前記サンプル画像に対応する前記要素タイプの差異表現を決定するためにも用いられる。

【0169】

１つの選択可能な実施例では、前記装置は、さらに、前記分析対象サンプルを採集して得られた、スペクトル情報を有する事前標識画像である第２の画像を取得し、前記第２の画像で候補分割モデルを訓練し、前記候補分割モデルに対する訓練が訓練効果を達成したことに応答して、前記第１の画像に対して領域分割を行うための画像分割モデルを得るためにも用いられる。

【0170】

１つの選択可能な実施例では、前記サンプル取得モジュール２１１０は、さらに、前記分析対象サンプルに対してプッシュブルーム採集操作を行うことにより、前記サンプル画像を得るためにも用いられる。

【0171】

１つの選択可能な実施例では、前記プッシュブルーム採集操作は、採集装置によって行われ、前記サンプル取得モジュール２１１０は、さらに、前記予め設定された波長帯範囲内で波長可変フィルタを用いて少なくとも１つの波長を決定し、前記採集装置によって前記分析対象サンプルに対してプッシュブルーム採集操作を行うことにより、前記少なくとも１つの波長に対応するサンプル画像を取得するためにも用いられる。

【0172】

１つの選択可能な実施例では、前記領域決定モジュール２１４０は、さらに、前記疑似カラー画像と前記領域分割結果との重複領域を決定し、前記サンプル画像において、前記重複領域を前記識別対象要素タイプを含む前記画像領域とするためにも用いられる。

【0173】

以上をまとめると、予め決定された予め設定された波長帯に基づいて分析対象サンプルを採集してサンプル画像を取得し、予め設定された波長帯から効果の良い少なくとも１つの予め設定された波長を選択し、少なくとも１つの予め設定された波長に基づいてサンプル画像から予め設定された波長に対応する第１の画像を決定し、第１の画像を処理することで、予め設定された波長の利点を比較的正確に表すことができる疑似カラー画像を取得する。サンプル画像におけるサンプル要素タイプの差異に基づいて、サンプル画像に対して領域分割を行うことにより領域分割結果を得る。疑似カラー画像と領域分割結果を組み合わせて、識別対象要素タイプを含む画像領域を決定することにより、識別対象領域（例えば、腫瘍組織）の位置情報を決定する。上記の装置によれば、医師の裸眼観察及び説明のみによって腫瘍組織の大きさ、領域などを判断することを回避し、病理採集の難度を低下させることができ、操作が比較的簡便になるだけでなく、コストも比較的低くなる。

【0174】

なお、上記の実施例に係る画像処理装置は、上記の各機能モジュールの分割を例として説明したが、実際の応用において、必要に応じて、上記機能を異なる機能モジュールに割り当てて完成させることができ、すなわち、機器の内部構造を異なる機能モジュールに分割して、上記の全部または一部の機能を完成させることができる。また、上記の実施例に係る画像処理装置は画像処理方法の実施例と同一の思想であり、その具体的な実現過程の詳細は方法の実施例を参照できるので、ここでは説明を省略する。

【0175】

図２３は、本願の１つの例示的な実施例に係るサーバの構造を示す図である。当該サーバ２３００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、中央処理ユニット）２３０１と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ランダムアクセスメモリー）２３０２及びＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ、リードオンリーメモリー）２３０３を含むシステムメモリ２３０４と、システムメモリ２３０４とＣＰＵ１２０１とを接続するシステムバス２３０５とを含む。サーバ２３００は、オペレーティングシステム２３１３、アプリケーションプログラム２３１４及び他のプログラムモジュール２３１５を記憶する大容量記憶装置２３０６をさらに含む。

【0176】

大容量記憶装置２３０６は、システムバス２３０５に接続される大容量記憶コントローラ（図示せず）を介してＣＰＵ１２０１に接続されている。大容量記憶装置２３０６及びそれと関連するコンピュータ読取可能な媒体は、サーバ２３００に不揮発性記憶を提供する。

【0177】

一般性を失うことなく、コンピュータ読取可能な媒体は、コンピュータ記憶媒体及び通信媒体を含み得る。

【0178】

本願の各種の実施例によれば、サーバ２３００は、システムバス２３０５に接続されるネットワークインタフェースユニット２３１１によってネットワーク２３１２に接続されてもよく、またはネットワークインタフェースユニット２３１１を使用することによって他のタイプのネットワークまたはリモートコンピュータシステム（図示せず）に接続されてもよい。

【0179】

上記メモリは、１つまたはそれ以上のプログラムをさらに含み、１つまたはそれ以上のプログラムは、メモリに記憶され、ＣＰＵによって実行されるように構成される。

【0180】

本願の実施例は、プロセッサとメモリとを含み、当該メモリには、プロセッサがロードして実行することによって上記の各方法実施例に係る画像処理方法を実現する少なくとも１つの命令、少なくとも一部のプログラム、コードセットまたは命令セットが記憶されるコンピュータ装置をさらに提供する。

【0181】

本願の実施例は、プロセッサがロードして実行することによって上記の各方法実施例に係る画像処理方法を実現する少なくとも１つの命令、少なくとも一部のプログラム、コードセットまたは命令セットが記憶されるコンピュータ読取可能な記憶媒体を提供する。

【0182】

本願の実施例は、コンピュータ読取可能な記憶媒体に記憶されているコンピュータ命令を含むコンピュータプログラム製品またはコンピュータプログラムを提供する。コンピュータ装置のプロセッサがコンピュータ読取可能な記憶媒体から当該コンピュータ命令を読み取って実行することによって、当該コンピュータ装置に上記の実施例のいずれかに係る画像処理方法を実行させる。

【0183】

選択的に、当該コンピュータ読取可能な記録媒体は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ、リードオンリーメモリー）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ランダムアクセスメモリー）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅｓ、ソリッドステートドライブ）または光ディスクなどを含んでもよい。そのうち、RAMは、ＲｅＲＡＭ（ＲｅｓｉｓｔａｎｃｅＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、抵抗変化型ランダムアクセスメモリー）及びＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ダイナミックランダムアクセスメモリー）を含むことができる。上記の本願の実施例の順序番号は、説明のためのものに過ぎず、実施例の優劣を表すものではない。

【図1】