特許 7404535 コンピュータビジョンに基づく導管特徴取得方法、並びに知能顕微鏡、導管組織特徴取得装置、コンピュータプログラム、及びコンピュータ機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-15

(45)【発行日】2023-12-25

(54)【発明の名称】コンピュータビジョンに基づく導管特徴取得方法、並びに知能顕微鏡、導管組織特徴取得装置、コンピュータプログラム、及びコンピュータ機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231218BHJP

【ＦＩ】

G06T7/00 630

【請求項の数】 14

(21)【出願番号】P 2022534297

(86)(22)【出願日】2020-11-03

(65)【公表番号】

(43)【公表日】2023-02-07

(86)【国際出願番号】 CN2020126102

(87)【国際公開番号】W WO2021164320

(87)【国際公開日】2021-08-26

【審査請求日】2022-06-06

(31)【優先権主張番号】202010108133.6

(32)【優先日】2020-02-21

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ

【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】江 ▲チェン▼

(72)【発明者】

【氏名】▲孫▼ 嘉睿

(72)【発明者】

【氏名】王 ▲亮▼

(72)【発明者】

【氏名】沈 ▲榮▼波

(72)【発明者】

【氏名】姚 建▲華▼

【審査官】山田 辰美

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３５３６４４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータ機器が実行するコンピュータビジョン技術に基づく導管組織特徴取得方法であって、
導管組織を含む画像を取得するステップと、
前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するステップであって、前記導管組織の導管形態に適応する少なくとも二つの前記特徴取得領域は、いずれもリング領域であり、前記リング領域のエッジ形状は、前記導管形態に適応する、ステップと、
それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するステップと、
前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するステップと、を含み、
前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定する前記ステップは、
前記導管形態に基づき、前記リング領域のエッジ形状を決定し、及び前記リング領域の数を決定するステップであって、前記リング領域の数が少なくとも二つである、ステップと、
前記画像の前記導管組織に対応する画像領域の面積を取得するステップと、
前記リング領域のエッジ形状と数、及び前記画像の前記導管組織に対応する画像領域の面積に基づき、前記画像の前記導管組織に対応する画像領域を、相応な数であり、且つエッジ形状が前記導管形態に適応するリング領域として区分し、前記少なくとも二つの特徴取得領域を得るステップと、を含む、導管組織特徴取得方法。

【請求項2】

前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定する前記ステップの前に、
前記画像の前記導管組織に対応する画像領域のエッジを、導管組織領域エッジとするステップと、
前記導管組織領域エッジのエッジ形状に基づき、前記導管組織の導管形態を決定するステップと、をさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

相応な数であり、且つエッジ形状が前記導管形態に適応する前記リング領域において、各リング領域のリング幅は、同じである、ことを特徴とする請求項１に記載の方法。

【請求項4】

それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の前記細胞特徴は、相応な特徴取得領域における前記細胞の細胞統計特徴と細胞構造特徴のうちの少なくとも一つを含む、ことを特徴とする請求項１に記載の方法。

【請求項5】

コンピュータ機器が実行するコンピュータビジョン技術に基づく導管組織特徴取得方法であって、
導管組織を含む画像を取得するステップと、
前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するステップと、
それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するステップと、
前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するステップと、
を含み、
前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得する前記ステップの前に、
前記画像の前記導管組織に対応する画像領域に基づき、前記導管組織における篩孔の篩孔特徴を取得するステップをさらに含み、
前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得する前記ステップは、
前記篩孔特徴及び前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を得るステップを含む、ことを特徴とする方法。

【請求項6】

前記画像の前記導管組織に対応する画像領域に基づき、前記導管組織における篩孔の篩孔特徴を取得する前記ステップは、
前記画像の前記導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を前記篩孔に対応する篩孔領域として認識するステップであって、前記輝度閾値は、前記画像における前記細胞の輝度に基づいて決定される、ステップと、
前記篩孔領域に基づき、前記篩孔の篩孔特徴を取得するステップと、を含む、ことを特徴とする請求項５に記載の方法。

【請求項7】

前記画像の前記導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を前記篩孔に対応する篩孔領域として認識する前記ステップの前に、
前記画像の前記導管組織に対応する画像領域において、前記導管組織の細胞の細胞核輝度と細胞質輝度を取得するステップと、
前記細胞核輝度と細胞質輝度に基づき、前記輝度閾値を取得するステップと、をさらに含む、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記篩孔特徴は、篩孔構造特徴と篩孔統計特徴のうちの少なくとも一つを含む、ことを特徴とする請求項５に記載の方法。

【請求項9】

前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得する前記ステップの後に、
前記導管組織の特徴に基づき、前記画像領域における前記特徴取得領域の区分方式に対応する導管組織クラシファイアを利用し、前記導管組織の分類結果を取得するステップをさらに含む、ことを特徴とする請求項１から８のいずれか１項に記載の方法。

【請求項10】

画像収集機器と画像分析機器とを含む知能顕微鏡であって、
前記画像収集機器は、導管組織を含む画像を取得し、前記画像分析機器に送信するために用いられ、及び
前記画像分析機器は、請求項１から９のいずれか１項に記載の方法のステップを実行するために用いられる、知能顕微鏡。

【請求項11】

コンピュータビジョン技術に基づく導管組織特徴取得装置であって、
導管組織を含む画像を取得するための導管画像取得モジュールと、
前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するための特徴領域決定モジュールであって、前記導管組織の導管形態に適応する少なくとも二つの前記特徴取得領域は、いずれもリング領域であり、前記リング領域のエッジ形状は、前記導管形態に適応する、特徴領域決定モジュールと、
それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するための細胞特徴取得モジュールと、
前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するための導管特徴の取得モジュールと、を含み、
前記特徴領域決定モジュールはさらに、
前記導管形態に基づき、前記リング領域のエッジ形状を決定し、及び前記リング領域の数を決定し、前記リング領域の数が少なくとも二つであり、
前記画像の前記導管組織に対応する画像領域の面積を取得し、
前記リング領域のエッジ形状と数、及び前記画像の前記導管組織に対応する画像領域の面積に基づき、前記画像の前記導管組織に対応する画像領域を、相応な数であり、且つエッジ形状が前記導管形態に適応するリング領域として区分し、前記少なくとも二つの特徴取得領域を得る、導管組織特徴取得装置。

【請求項12】

コンピュータビジョン技術に基づく導管組織特徴取得装置であって、
導管組織を含む画像を取得するための導管画像取得モジュールと、
前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するための特徴領域決定モジュールと、
それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するための細胞特徴取得モジュールと、
前記画像の前記導管組織に対応する画像領域に基づき、前記導管組織における篩孔の篩孔特徴を取得する篩孔特徴取得モジュールと、
前記篩孔特徴及び前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するための導管特徴の取得モジュールと、を含む、導管組織特徴取得装置。

【請求項13】

コンピュータに請求項１から９のいずれか１項に記載の方法のステップを実行させるコンピュータプログラム。

【請求項14】

メモリとプロセッサとを含むコンピュータ機器であって、コンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサによって実行される時、前記プロセッサに請求項１から９のいずれか１項に記載の方法のステップを実行させる、コンピュータ機器。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2020年2月21日に中国特許庁に出願され、出願番号202010108133.6で、「コンピュータビジョンに基づく導管特徴の取得方法、装置及び知能顕微鏡」と名付けられる中国特許出願の優先権を主張し、その全部の内容を参照により本願に組み込む。

【0002】

本出願は、人工知能技術分野に関し、特にコンピュータビジョン技術に基づく導管組織特徴取得方法、装置、知能顕微鏡、コンピュータ可読記憶媒体とコンピュータ機器に関する。

【背景技術】

【0003】

人工知能技術分野の発展と伴に、人工知能技術に基づく画像分類処理技術が現れており、該技術は、人工知能技術を画像における乳管組織などのような導管組織に対する特徴抽出、認識と分類などの処理に応用することができる。

【0004】

画像における導管組織を分割することで導管組織の画像を得ることができ、導管組織の画像に基づいて導管組織の関連特徴を抽出することができるが、現在の導管組織特徴抽出技術は、主に画像における導管組織の細胞核の全体数を該導管組織の主な特徴として、しかし、導管組織における細胞核の全体数は、往々にして比較的に多くて統計しにくく、且つ細胞核の全体数だけに基づいては往々にして導管組織の特徴を正確に反映しにくく、このような技術による導管組織特徴の取得の精度が比較的に低いことになる。

【発明の概要】

【課題を解決するための手段】

【0005】

本出願による様々な実施例に基づき、コンピュータビジョン技術に基づく導管組織特徴取得方法、装置、知能顕微鏡、コンピュータ可読記憶媒体とコンピュータ機器を提供する。

【0006】

一実施例では、本発明の実施例は、コンピュータ機器が実行するコンピュータビジョン技術に基づく導管組織特徴取得方法を提供する。前記方法は、導管組織を含む画像を取得するステップと、前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するステップと、それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するステップと、前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するステップとを含む。

【0007】

一実施例では、本発明の実施例は、コンピュータビジョン技術に基づく導管組織特徴取得装置を提供する。前記装置は、導管組織を含む画像を取得するための導管画像取得モジュールと、前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するための特徴領域決定モジュールと、それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するための細胞特徴取得モジュールと、前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するための導管特徴の取得モジュールとを含む。

【0008】

一実施例では、本発明の実施例は、知能顕微鏡を提供する。前記知能顕微鏡は、導管組織を含む画像を取得し、前記画像分析機器に送信するための画像収集機器と、上述した方法のステップを実行するための画像分析機器とを含む。

【0009】

一実施例では、本発明の実施例は、コンピュータ可読命令が記憶されている一つ又は複数の不揮発性記憶媒体を提供する。前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行される時、前記プロセッサに、導管組織を含む画像を取得するステップ、前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するステップ、それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するステップ、前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するステップを実行させる。

【0010】

一実施例では、本発明の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリとプロセッサとを含み、前記メモリは、コンピュータ可読命令を記憶しており、前記コンピュータ可読命令が前記プロセッサによって実行される時、前記プロセッサに、導管組織を含む画像を取得するステップ、前記画像の前記導管組織に対応する画像領域において、前記導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するステップ、それぞれ前記少なくとも二つの特徴取得領域における前記導管組織の細胞の細胞特徴を取得するステップ、前記少なくとも二つの特徴取得領域における細胞特徴に基づき、前記導管組織の特徴を取得するステップを実行させる。

【0011】

本出願の一つ又は複数の実施例の詳細は、以下の添付図面と記述において提示される。本出願の他の特徴、目的と利点は、明細書、添付図面及び請求項から明らかになる。

【0012】

本出願の実施例における技術案をより明瞭に説明するために、以下、実施例の記述において使用される必要がある添付図面を簡単に紹介する。自明なことに、以下の記述における添付図面は、本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な労力を払わない前提で、これらの添付図面に基づいて他の添付図面も得られる。

【図面の簡単な説明】

【0013】

【図1】一実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得方法のアプリケーション環境図である。

【図2】一実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得方法のフロー概略図である。

【図3】一実施例における特徴取得領域を決定するステップのフロー概略図である。

【図4】一実施例における篩孔の篩孔特徴を取得するステップのフロー概略図である。

【図5】一実施例における篩孔領域抽出結果の概略図である。

【図6】別の実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得方法のフロー概略図である。

【図7】一つの適用例における導管組織分類方法のフロー概略図である。

【図8】一つの適用例における導管組織の種別判定のリファレンスフローの概略図である。

【図9】一つの適用例における篩孔領域抽出方法のフロー概略図である。

【図10】一つの適用例における導管組織の種別判定結果概略図である。

【図11】一実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得装置の構造ブロック図である。

【図12】一実施例における知能顕微鏡の構造ブロック図である。

【図13】一実施例におけるコンピュータ機器の構造ブロック図である。

【発明を実施するための形態】

【0014】

本出願の目的、技術案及び利点をより明確にするために、以下、添付図面及び実施例を結び付けながら、本出願についてさらに詳細に説明する。理解すべきなことは、ここに記述される具体的な実施例は、単に本出願を解釈するためのものであり、本出願を限定するものではない。

【0015】

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、デジタルコンピュータ又はデジタルコンピュータにより制御される機械シミュレーションを利用して、人の知能を延長し拡張し、環境を感知し、知識を取得し、且つ知識を使用して最適な結果を得る理論、方法、技術及び応用システムである。

【0016】

言い換えれば、人工知能は、コンピュータ科学の一つの総合技術であり、知能の実質を理解し、人間の知能に似ている方法で反応できる新たな知能機械を生産することを意図している。人工知能とは、様々な知能機械の設計原理と実現方法を研究し、機械に感知、推理と意思決定の機能を有させるものである。

【0017】

人工知能技術は、一つの総合学科であり、関する分野が広く、ハードウェアレベルの技術もあれば、ソフトウェアレベルの技術もある。人工知能基礎技術は、一般的には、例えば、センサ、専用人工知能チップ、クラウドコンピューティング、分散記憶、ビッグデータ処理技術、操作とインタラクティブシステム、メカトロニクスなどの技術を含む。人工知能ソフトウェア技術は主に、コンピュータビジョン技術、ボイス処理技術、自然言語処理技術及び機械学習と深層学習などのいくつかの方向を含む。

【0018】

そのうち、コンピュータビジョン技術（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ＣＶ）は、機械に「見させる」方法を研究する科学であり、さらにいうと、人間の目の代わりにカメラとコンピュータを用いてターゲットに対して認識、追跡、測定などの機械ビジョンを行い、グラフィックス処理をさらに行い、コンピュータ処理を人間の目で観察するか、又は検出するよう計器に伝送することにより適する画像にすることである。一つの科学学科として、コンピュータビジョンは、関連する理論と技術を研究し、画像又は多次元データから情報を取得できる人工知能システムの構築を意図している。コンピュータビジョン技術は通常、画像処理、画像認識、画像意味理解、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味理解、ビデオコンテンツと行為認識、三次元物体再構築、３Ｄ技術、仮想現実、拡張現実、同期ポジショニングと地図構築などの技術を含み、よく見られる顔認識、指紋認識などの生物特徴認識技術をさらに含む。

【0019】

本出願によるコンピュータビジョン技術に基づく導管組織特徴取得方法は、人工知能技術におけるコンピュータビジョン技術を、画像における導管組織に対する迅速で、正確な特徴抽出処理に応用することができ、さらに導管組織特徴抽出に基づいて、人工知能技術を応用して導管組織に対して正確に識別分類して、コンピュータビジョン技術に頼って導管組織特徴と分類処理過程を実現させることができる。具体的には、図１を参照すると、本出願によるコンピュータビジョン技術に基づく導管組織特徴取得方法は、図１に示されるアプリケーション環境に用いられてもよい。図１は、一実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得方法のアプリケーション環境図である。該アプリケーション環境は、画像プロセッシングデバイス１００を含んでもよく、そのうち、該画像プロセッシングデバイス１００は、画像収集、分析と表示などの画像処理能力を備えるコンピュータ機器であってもよく、このコンピュータ機器は、具体的には、携帯電話、タブレットパソコン、デスクトップコンピュータとノートパソコンのうちの少なくとも一つであってもよく、それによって画像プロセッシングデバイス１００が備える画像収集、分析などの画像処理能力に基づき、コンピュータビジョン技術を該画像プロセッシングデバイス１００によって導管組織特徴に対する抽出に応用することができ、画像プロセッシングデバイス１００は、導管組織の画像を収集することによって、例えば、導管組織の輪郭に基づいて画像における該導管組織の位置を位置決めることができ、それによって画像上の該導管組織に対して特徴抽出と分類などの画像処理過程をさらに行うことができる。

【0020】

また、該画像プロセッシングデバイス１００は、具体的には、知能顕微鏡であってもよく、そのうち、知能顕微鏡には、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、英語ではＡｌと略称される）のビジョン、ボイス、自然言語処理技術、及び拡張現実（ＡＲ）技術が溶け込められており、ユーザは、知能によって入力、例えば、ボイス命令などの制御命令として表示することができ、知能顕微鏡は、該命令に基づいて、例えば自動認識、検出、定量計算と生成レポートなどの操作を実行することができ、検出結果をユーザが見る接眼レンズに示される視野にリアルタイムに表示し、ユーザの閲覧フローをタイムリーに注意し、且つ邪魔しないようにすることができ、処理効率と精度を向上させることができる。つまり、導管組織を知能顕微鏡の下に置くことができ、知能顕微鏡は、レンズのスケーリング倍数を自動的に調整して該導管組織の画像を収集することができ、さらに収集された画像から導管組織を識別し、該導管組織を含む画像を分割し、導管組織の特徴に基づいて導管組織に対して自動分類を行い、自動分類結果を、例えば、異なる色の表示などの形式でユーザが見る接眼レンズに示される視野に表示して、視野内の相応な分類の導管組織に対して種別表示を行って、ユーザが知能顕微鏡上で導管組織の病理スライスなどのような画像を閲覧するよう支援することができる。

【0021】

具体的には、本出願によるコンピュータビジョン技術に基づく導管組織分類方法において、画像プロセッシングデバイス１００は、スキャンするなどの方式によって導管組織を含む画像を収集することができ、そして、画像プロセッシングデバイス１００は、画像の導管組織に対応する画像領域において、導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定することができ、次に画像プロセッシングデバイス１００は、それぞれ少なくとも二つの特徴取得領域における導管組織の細胞の細胞特徴を取得し、最後に画像プロセッシングデバイス１００は、少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を取得することができる。該方法は、コンピュータ機器、知能顕微鏡などのような画像プロセッシングデバイス１００に用いられてもよく、病理スライス画像に含まれる様々な形態の導管組織に対して導管組織特徴の正確な取得を行うことを完了させる。

【0022】

なお、図１に示されるアプリケーションシナリオにおいて、画像プロセッシングデバイス１００を利用してローカルに導管組織をスキャンし、且つスキャンして得た画像における様々な形態の導管組織に対して特徴取得処理を行うことができる。これ以外に、遠隔通信の方式によって導管組織特徴に対する取得処理を完了することもできる。例示的には、第５世代移動通信技術（５ｔｈ ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｎｅｔｗｏｒｋｓ又は５ｔｈ ｇｅｎｅｒａｔｉｏｎ ｗｉｒｅｌｅｓｓ ｓｙｓｔｅｍｓ、５ｔｈ－Ｇｅｎｅｒａｔｉｏｎ、５Ｇ又は５Ｇ技術と略称される）に基づいて導管組織特徴に対する非ローカルの取得処理を実現することもでき、ユーザは、携帯電話、タブレットパソコンなどのような端末機器で導管組織を含む画像を取得することができ、そして５Ｇ通信ネットワークに基づいて画像を遠隔の画像プロセッシングデバイス１００にリアルタイムに送信することができ、そして画像プロセッシングデバイス１００は、該画像における導管組織に対して特徴取得処理を行い、特徴の取得結果を５Ｇ通信ネットワークによってユーザの端末機器に返信することができ、それによって、ユーザは、端末機器によって特徴の取得結果を把握することができ、５Ｇ通信技術はリアルタイム性が強いなどの利点を有するため、遠隔の画像プロセッシングデバイス１００によってユーザが現場で収集した画像における導管組織に対して特徴抽出処理を行っても、ユーザが現場で相応な導管組織特徴抽出結果をリアルタイムに取得することができ、リアルタイム性を確保する条件で、クライアントの画像データ処理ストレスを軽減することもできる。

【0023】

一実施例では、コンピュータビジョン技術に基づく導管組織特徴取得方法を提供する。図２に示すように、図２は、一実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得方法のフロー概略図である。本実施例は主に、該方法を上記図１における画像プロセッシングデバイス１００に応用することを例示するが、上記した図１に示される画像プロセッシングデバイス１００について説明したように、該画像プロセッシングデバイス１００は、具体的には、画像収集、分析と表示などのような画像処理能力を備える携帯電話、タブレットパソコン、デスクトップコンピュータとノートパソコンなどのようなコンピュータ機器を採用してもよい。図２を参照すると、該方法は、具体的には、以下のステップを含む。

【0024】

ステップＳ２０１：導管組織を含む画像を取得する。

【0025】

本ステップでは、画像プロセッシングデバイス１００は、導管組織をスキャンするなどの方式によって導管組織を含む画像をリアルタイムに収集し、携帯電話、デスクトップコンピュータなどの電子機器に予め記憶されているものから、該導管組織を含む画像を取得してもよい。該画像は、導管組織の病理スライス画像であってもよく、病理スライス画像は、一定のサイズの病変導管組織を取得し、病理組織学方法で病理スライスを作製してもよく、病理スライス画像は、ＨＥ染色処理を経て導管組織を含むＨＥ病理スライス画像を形成してもよく、ＨＥ染色処理とは、ヘマトキシリンエオシン染色法（ｈｅｍａｔｏｘｙｌｉｎ－ｅｏｓｉｎ ｓｔａｉｎｉｎｇ、ＨＥ染色法と略称され）であり、導管組織における細胞核、細胞質などに着色させることができ、画像における導管組織に対する認識と特徴抽出を容易にすることができる。また、画像プロセッシングデバイス１００により取得された導管組織を含む画像は、二値化又は多値化処理された画像をさらに含んでもよく、そのうち、二値化処理に対して、導管組織と画像背景をと区別してもよく、例えば、導管組織の画素値を１に設定し、画像背景を０として設定して、画像から導管組織及びその輪郭特徴を認識させることができる。

【0026】

ステップＳ２０２、画像の導管組織に対応する画像領域において、導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定する。

【0027】

本ステップでは、画像プロセッシングデバイス１００は、まず、画像の導管組織に対応する画像領域を決定することができ、導管組織を含む画像において、導管組織のエッジが囲まれた領域全体を、通常、該画像における導管組織に対応する画像領域とすることができる。該画像領域では、画像プロセッシングデバイス１００は、特徴取得領域を区分することができ、該特徴取得領域は、主に該特徴取得領域における導管組織の細胞の細胞特徴を抽出するために用いられる。そのうち、特徴取得領域の数は、少なくとも二つが必要であり、即ち、画像プロセッシングデバイス１００は、画像の導管組織に対応する画像領域において、少なくとも二つの特徴取得領域を選択して、該二つの領域における導管組織細胞の細胞特徴をそれぞれ取得する必要がある。

【0028】

そのうち、特徴取得領域の選択に対し、導管組織の導管形態にも適応する必要があり、このような目的は、導管の異なる増殖タイプ又は成長方式に対し、且つ導管形態の相違性に適応するために、導管組織の導管形態に基づいてそれに適合する特徴取得領域を自己適応して選択することができる。例をあげると、導管形態が円形である導管組織に対し、導管組織を中心に異なる半径に対応する円形領域を特徴取得領域などとして選択することができるが、少なくとも二つの特徴取得領域を選択することで、異なる特徴取得領域における導管組織の細胞特徴などの相違特性を比較しやすく、導管組織特徴を正確に取得することができる。これにより、それによって画像プロセッシングデバイス１００は、導管組織の導管形態の特徴に応じて、少なくとも二つの特徴取得領域を自己適応して選択することができる。

【0029】

ステップＳ２０３、それぞれ少なくとも二つの特徴取得領域における導管組織の細胞の細胞特徴を取得する。

【0030】

本ステップでは、画像プロセッシングデバイス１００は、それぞれ各特徴取得領域において、相応な領域における導管組織の細胞の細胞特徴をそれぞれ取得する必要がある。そのうち、画像プロセッシングデバイス１００は、細胞特徴を抽出する前に、どれらの細胞特徴を抽出する必要があるかをまず決定することができ、しかし、導管組織の特徴をより正確に決定するために、各特徴取得領域において、抽出した細胞特徴の種類は、一致していてもよく、つまり、画像プロセッシングデバイス１００が特徴取得領域Ａにおいて抽出した細胞特徴が細胞特徴Ｘと細胞特徴Ｙとを含むとすると、画像プロセッシングデバイス１００は、特徴取得領域Ｂにおいても、該領域における細胞の細胞特徴Ｘと細胞特徴Ｙを抽出する。

【0031】

細胞特徴の種類に対し、例示的には、一実施例では、それぞれ該少なくとも二つの特徴取得領域における導管組織の細胞の細胞特徴は、該相応な特徴取得領域における細胞の細胞統計特徴と細胞構造特徴のうちの少なくとも一つを含んでもよい。そのうち、細胞構造特徴は、単一の細胞自体の基礎特徴に対し、例えば、形状、サイズ、色などは、いずれも細胞構造特徴としてもよいが、細胞統計特徴は、相応な特徴取得領域において、複数の細胞の全体特徴、例えば、相応な特徴取得領域において、細胞の密度、細胞の分布状況に対し、及び特徴取得領域において、細胞核サイズの平均値と分散値などの細胞統計特徴、細胞円形度の平均値と分散値などの細胞統計特徴をそれぞれ取得してもよい。

【0032】

具体的なアプリケーションでは、画像プロセッシングデバイス１００は、特徴取得領域における細胞核サイズ、細胞核の円形度と細胞核の密度を細胞特徴として取得することができる。そのうち、細胞核サイズの抽出に対し、主に細胞核の分割結果に基づき、各接続エンティティ即ち細胞核の画像における面積を求めて得られたものである。しかし、細胞核の円形度の計算に対し、該式：ｅ＝（４πＡ１）／Ｌ^２によって算出することができ、そのうち、ｅは、細胞核の円形度を表し、Ａ１は、細胞核の面積を表し、Ｌは、細胞核の周囲長を表し、細胞核の密度に対し、細胞核の面積を相応な特徴取得領域における該細胞核が占有している領域面積で割って得ることができる。

【0033】

ステップＳ２０４、少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を取得する。

【0034】

本ステップでは、画像プロセッシングデバイス１００は、前述した少なくとも二つの特徴取得領域における導管組織の細胞の細胞構造特徴と細胞統計特徴などのような細胞特徴を、該導管組織の特徴とすることができるが、このような導管組織特徴の取得方式は、導管の異なる形態特性に自己適応して、細胞学特徴及び導管内の構造特徴を結び付ける方式で導管組織特徴を取得することができる。

【0035】

上記導管組織特徴取得方法は、まず、画像プロセッシングデバイス１００は、導管組織を含む画像を取得し、そして、画像プロセッシングデバイス１００は、該画像の導管組織に対応する画像領域において、該導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定し、そして、画像プロセッシングデバイス１００は、それぞれこれらの特徴取得領域における該導管組織の細胞の細胞特徴を取得し、それぞれこれらの特徴取得領域における該導管組織の細胞の細胞特徴に基づき、画像プロセッシングデバイス１００は、導管組織の特徴を取得する。本出願の上記実施例による技術案では、画像プロセッシングデバイス１００は、様々な導管組織の形態特性に基づき、相応な特徴取得領域から細胞特徴を自己適応して抽出し、各領域の細胞特徴を総合して導管組織の特徴を得て、細胞特徴と導管形態特性を結び付ける方式で導管組織特徴を取得する精度を向上させることができる。

【0036】

一実施例では、ステップＳ２０２における画像の導管組織に対応する画像領域において、導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定する前に、以下の方式によって導管組織の導管形態を取得することができ、具体的には、
画像の導管組織に対応する画像領域のエッジを、導管組織領域エッジとするステップと、導管組織領域エッジのエッジ形状に基づき、導管組織の導管形態を決定するステップとを含む。

【0037】

本実施例では、画像プロセッシングデバイス１００は、導管組織を含む二値化画像において、導管組織の外側輪郭に基づいて該導管組織に対応する画像領域エッジを決定することによって、導管組織領域エッジを得ることができ、そして、画像プロセッシングデバイス１００は、該導管組織領域エッジのエッジ形状を得ることができ、例示的には、エッジ形状は、円形、四角形などの規則的な形状であってもよく、一定のランダム性を有する不規則な形状であってもよく、画像プロセッシングデバイス１００は、該エッジ形状に基づいて導管組織の導管形態を決定することができ、例えば、いくつかの円形に偏ったエッジ形状に対し、画像プロセッシングデバイス１００は、その導管形態を円形又は楕円形状として判別することができ、画像プロセッシングデバイス１００は直接に、エッジ形状を該導管組織の導管形態とすることもでき、本実施例の方案によって、画像プロセッシングデバイス１００は、導管組織領域エッジに基づいて導管組織の導管形態を迅速に認識することができ、それによって導管組織の特徴の取得効率の向上に有利である。

【0038】

一実施例では、導管組織の導管形態に適応する少なくとも二つの特徴取得領域は、いずれもリング領域であってもよく、そのうち、該リング領域のエッジ形状は、導管形態に適応する。

【0039】

本実施例では、リングを採用して特徴取得領域の形状としてもよいが、即ち、各特徴取得領域は、いずれもリング領域であり、該リング領域は、導管組織の内部から導管組織のエッジへ均一に配列してもよく、しかし、導管組織の異なる導管形態に自己適応することができるために、該リング領域のエッジ形状は、導管形態に適応し、例示的なリング領域の内環エッジと外環エッジのエッジ形状は、導管組織領域エッジのエッジ形状と同じであってもよく、このように、各特徴取得領域の領域エッジは、いずれも導管エッジと平行に設置されてもよく、それに導管組織の形態特性により適合させ、特徴取得の精度を向上させることができる。

【0040】

一実施例では、図３に示すように、図３は、一実施例における特徴取得領域を決定するステップのフロー概略図である。ステップＳ２０２における画像の導管組織に対応する画像領域において、導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するステップは、具体的には、以下のステップを含んでもよい。

【0041】

ステップＳ３０１：導管形態に基づき、リング領域のエッジ形状を決定し、及び、リング領域の数を決定する。

【0042】

本ステップでは、画像プロセッシングデバイス１００は、特徴取得領域を区分する前に、まず、導管形態に基づいてリング領域のエッジ形状を決定し、即ち、リング領域を特徴取得領域として採用することができるが、導管形態は、導管組織領域エッジのエッジ形状に基づいて決定されてもよく、画像プロセッシングデバイス１００は、導管組織領域エッジのエッジ形状をリング領域のエッジ形状とすることができる。なお、画像プロセッシングデバイス１００は、リング領域の数を決定する必要もあり、該リング領域の数は、少なくとも二つであるように設置される必要があり、それによって画像の導管組織に対応する画像領域から、少なくとも二つの特徴取得領域を区分して細胞特徴抽出を行う。

【0043】

ステップＳ３０２、画像の導管組織に対応する画像領域の面積を取得する。

【0044】

本ステップでは、画像プロセッシングデバイス１００は、画像における導管組織に対応する画像領域の面積を取得することができる。

【0045】

ステップＳ３０３、リング領域のエッジ形状と数、及び画像の導管組織に対応する画像領域の面積に基づき、画像の導管組織に対応する画像領域を、相応な数であり、且つエッジ形状が導管形態に適応するリング領域として区分し、少なくとも二つの特徴取得領域を得る。

【0046】

本ステップでは、画像プロセッシングデバイス１００は、リング領域のエッジ形状と数を決定し、及び導管組織に対応する画像領域の面積を取得した後、画像の導管組織に対応する画像領域に対して特徴取得領域の区分を行い、該画像領域を、前記数に一致しており、及びエッジ形状が導管組織領域エッジのエッジ形状と同じである複数のリング領域として区分し、細胞特徴抽出のための特徴取得領域とする。

【0047】

上記実施例の技術案は、画像の導管組織に対応する画像領域において複数の特徴取得領域を決定するために簡単に実行可能な方式を提供し、導管組織領域エッジ形状と同じである複数のリング領域区分によって、画像プロセッシングデバイス１００は、細胞特徴の抽出のための複数の特徴取得領域を迅速に得ることができるが、これらのリング領域はさらに、エッジが導管エッジと平行である特徴を有し、導管の形態特性に合って、導管組織特徴に対する画像プロセッシングデバイス１００の取得がより正確且つ安定である。

【0048】

各リング領域の分布をより均一にして、各リング領域における細胞特徴をより正確に取得することによって、導管組織特徴を取得する精度を向上させるために、いくつかの実施例では、前記実施例では、相応な数であり、且つエッジ形状が導管形態に適応するリング領域において、各リング領域のリング幅は、同じであると設置されて、画像上に均一で且つ多層の細胞特徴取得領域を形成してもよい。

【0049】

以下では、多層リング領域の具体的な分割方式を提供し、主なステップは、以下の通りである。

【0050】

ステップＡ．画像プロセッシングデバイス１００は、リング領域数ｎを決定し、リング領域数ｎに基づいて形態学スライダのサイズ（Ｋｓｉｚｅ＝２Ｘｓｑｒｔ（Ａ２／π）／ｎ）を算出し、そのうち、Ａ２は、画像における導管組織に対応する画像領域の面積を表す。

【0051】

ステップＢ．画像プロセッシングデバイス１００は、ループ繰り返し数ｉ＝ｌを設置し、そのうち、初期領域は、導管領域全体であり、ｉ＜ｎである場合、Ａステップで定義したスライダを使用して現在の領域に対して形態学エッチング操作を行ってから、現在領域を使用してエッチング後の領域を減算することでリング領域Ｃｉを得ることができ、エッチング後の領域を次回繰り返す初期領域とする。

【0052】

ステップＣ．ｉ＝ｎである場合、画像プロセッシングデバイス１００は、初期領域を最内側のリング領域として直接出力し、循環を終了することができる。

【0053】

上述した形態学を使用してリング領域を分割する方式は、画像プロセッシングデバイス１００が導管の異なる形態に直接自己適応してもよく、分割して得たリング領域とエッジが導管エッジと平行であることが利点であり、この時に統計した導管組織特徴が医学分野の判定と比較的に高い一致性を有する。

【0054】

一実施例では、ステップＳ２０４における少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を取得する前に、
画像の導管組織に対応する画像領域に基づき、導管組織における篩孔の篩孔特徴を取得するステップをさらに含む。

【0055】

本実施例は、主に導管組織の特徴を取得する前に、画像プロセッシングデバイス１００はさらに、画像から導管組織の他の特徴を取得してもよく、例えば、導管組織内のカルシウム化と壊死は、導管組織特徴の取得根拠としてもよい。本実施例では、画像プロセッシングデバイス１００は、画像の導管組織に対応する画像領域から、導管組織における篩孔の篩孔特徴を取得することもできる。そのうち、導管組織における篩孔の篩孔特徴は、導管組織特徴を取得する重要なリファレンスフロー要素であり、もう一方、医学上で異なる導管内増殖性病変を鑑別する重要な根拠でもある。

【0056】

一実施例では、ステップＳ２０４における少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を取得するステップは、
画像プロセッシングデバイス１００が篩孔特徴及び少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を得るステップをさらに含んでもよい。

【0057】

本実施例では、画像プロセッシングデバイス１００は、篩孔特徴と少なくとも二つの特徴取得領域における細胞特徴を結び付けて導管組織の特徴を共同で决定して、導管組織特徴を取得する精度を向上させる。例示的には、いくつかの実施例では、篩孔特徴は、篩孔構造特徴と篩孔統計特徴のうちの少なくとも一つを含んでもよい。そのうち、篩孔構造特徴とは、単一の篩孔の基礎特徴、例えば篩孔の形状、サイズと篩孔エッジ平滑度などであるが、篩孔統計特徴とは、該画像の導管組織に対応する画像領域において、篩孔数、篩孔分布状況などの統計特徴である。このように、画像プロセッシングデバイス１００は、多様性の篩孔特徴及び細胞特徴を結び付けて導管組織特徴をより正確に決定することができ、後続的には、異なるタイプの導管組織と他のタイプの導管組織とを正確に区別することに有利である。

【0058】

一実施例では、図４に示すように、図４は、一実施例における篩孔の篩孔特徴を取得するステップのフロー概略図である。前記実施例における画像の導管組織に対応する画像領域に基づき、導管組織における篩孔の篩孔特徴を取得するステップは、具体的には、
ステップＳ４０１、画像の導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を篩孔に対応する篩孔領域として認識するステップを含んでもよい。

【0059】

本ステップでは、画像プロセッシングデバイス１００は、画像の導管組織に対応する画像領域から、篩孔に対応する篩孔領域を認識することができ、具体的には、画像プロセッシングデバイス１００は、画像の導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を篩孔に対応する篩孔領域として認識することができ、そのうち、該輝度閾値は、該画像における該導管組織の細胞の輝度によって決定されてもよく、つまり、画像プロセッシングデバイス１００は、導管組織において該画像における導管組織各細胞の輝度値を統計することができ、それによって該画像における各細胞の輝度値を相応な輝度閾値として設置することによって、画像の導管組織に対応する画像領域のうち、有する輝度が輝度閾値よりも大きい画像領域を認識すると、それを篩孔に対応する篩孔領域として認識することができ、画像外のパラメータに頼ることなく篩孔領域に対する認識を実現させることができる。

【0060】

輝度閾値をより正確に設定して篩孔領域を正確に抽出するために、一実施例では、ステップＳ４０１における画像の導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を篩孔に対応する篩孔領域として認識する前に、以下の方式によって輝度閾値を設置してもよく、具体的には、
画像の導管組織に対応する画像領域において、導管組織の細胞の細胞核輝度と細胞質輝度を取得するステップと、細胞核輝度と細胞質輝度に基づき、輝度閾値を取得するステップとを含む。

【0061】

具体的には、画像プロセッシングデバイス１００は、画像の導管組織に対応する画像領域において、導管組織の各細胞の細胞核と細胞質を認識し、画像における各細胞の細胞核と細胞質輝度を統計し、細胞核輝度と細胞質輝度を得ることができるが、一般的には、篩孔領域の輝度は、通常、細胞核と細胞質領域よりも高く、具体的なシーンでは、画像プロセッシングデバイス１００は、該方式に基づいて輝度閾値、輝度閾値＝２Ｘ細胞質輝度平均値－細胞核輝度平均値を設定してもよく、つまり、画像プロセッシングデバイス１００は、画像における各細胞の細胞核と細胞質の平均輝度を結び付けて輝度閾値を決定して、篩孔領域が画像プロセッシングデバイス１００によって正確に認識されるようにすることができる。

【0062】

ステップＳ４０２、篩孔領域に基づき、篩孔の篩孔特徴を取得する。

【0063】

本ステップでは、画像プロセッシングデバイス１００は、篩孔が位置する篩孔領域を正確に決定した後、画像における篩孔領域の特徴を篩孔の篩孔特徴とすることができる。具体的には、画像プロセッシングデバイス１００は、画像における篩孔領域の数と分布を統計し、篩孔統計特徴を得ることができ、画像における各篩孔領域の形状とサイズを取得し、篩孔構造特徴を得ることができる。図５に示すように、図５は、一実施例における篩孔領域抽出結果の概略図である。画像プロセッシングデバイス１００は、第一の例の画像５１０における輝度が例えば、前記方式によって設定された輝度閾値よりも高い第一の例の画像領域５１００を篩孔領域とすることができ、例えば、第二の例の画像５２０で示された第二の例の画像領域５２００は、第一の例の画像領域５１００に対応する篩孔領域の分割結果であり、画像プロセッシングデバイス１００は、第二の例の画像領域５２００に基づいて相応な篩孔の篩孔特徴を取得することができる。

【0064】

一実施例では、ステップＳ２０４における少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を取得した後、以下のステップによって導管組織に対する分類結果を取得することもでき、具体的には、
導管組織の特徴に基づき、画像領域における特徴取得領域の区分方式に対応する導管組織クラシファイアを利用し、導管組織の分類結果を取得するステップを含む。

【0065】

本実施例では、画像プロセッシングデバイス１００は、導管組織の特徴に基づき、導管組織を分類することによって導管組織の分類結果を得ることができる。そのうち、導管組織クラシファイアを採用して導管組織の特徴に基づいて導管組織を分類することができ、導管組織クラシファイアは、ＳＶＭモデルに基づいてサンプルデータをトレーニングして得ることができ、理解できるように、データ量は、導管組織クラシファイアの分類性能をさらに向上させることができる。

【0066】

しかし、本実施例で採用した導管組織クラシファイアは、画像領域における特徴取得領域の区分方式を結び付けて選択されてもよく、異なる特徴取得領域区分方式に対応する導管組織の特徴が異なるため、同一の種類の導管組織クラシファイアを採用して異なる区分方式で特徴取得領域を区分して得た導管組織特徴を分類すれば、分類結果は、正確ではない。具体的には、区分方式は、リング領域を採用して特徴取得領域の区分を行うことであってもよく、しかし、リング領域という区分方式に対し、異なる数のリング領域にさらに細分化してもよく、即ち、異なる数のリング領域区分方式に対し、異なる導管組織クラシファイアを採用して導管組織を分類して、分類精度を向上させることができる。導管組織の種別に対し、例示的には、例えば、乳管の種別は、正常導管、ＵＤＨ（ｕｓｕａｌ ｄｕｃｔａｌ ｈｙｐｅｒｐｌａｓｉａ、通常の乳管過形成）、ＡＤＨ（ａｔｙｐｉｃａｌ ｄｕｃｔａｌ ｈｙｐｅｒｐｌａｓｉａ、非定型乳管過形成）とＤＣＩＳ（ｄｕｃｔａｌ ｃａｒｃｉｎｏｍａ ｉｎ ｓｉｔｕ、非浸潤性乳管癌）などに区分されてもよい。

【0067】

一実施例では、コンピュータビジョン技術に基づく導管組織特徴取得方法を提供する。図６に示すように、図６は、別の実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得方法のフロー概略図である。該方法は、図１に示される画像プロセッシングデバイス１００によって実行されてもよく、該導管組織特徴取得方法は、
画像プロセッシングデバイス１００が導管組織を含む画像を取得するステップＳ６０１と、
画像プロセッシングデバイス１００が画像の導管組織に対応する画像領域のエッジを、導管組織領域エッジとするステップＳ６０２と、
画像プロセッシングデバイス１００が導管組織領域エッジのエッジ形状に基づき、導管組織の導管形態を決定するステップＳ６０３と、
画像プロセッシングデバイス１００が導管形態に基づいてリング領域のエッジ形状を決定し、及びリング領域の数を決定するステップＳ６０４と、
画像プロセッシングデバイス１００が画像の導管組織に対応する画像領域の面積を取得するステップＳ６０５と、
画像プロセッシングデバイス１００がリング領域のエッジ形状と数、及び画像の導管組織に対応する画像領域の面積に基づき、画像の導管組織に対応する画像領域を、相応な数であり、且つエッジ形状が導管形態に適応するリング領域（リング領域の数が少なくとも二つである）として区分し、少なくとも二つの特徴取得領域を得るステップＳ６０６と、
画像プロセッシングデバイス１００が画像の導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を篩孔に対応する篩孔領域として認識するステップＳ６０７と、
画像プロセッシングデバイス１００が篩孔領域に基づき、篩孔の篩孔特徴を取得するステップＳ６０８と、
画像プロセッシングデバイス１００が篩孔特徴及び少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を得るステップＳ６０９と、
導管組織の特徴に基づき、画像プロセッシングデバイス１００が画像領域における特徴取得領域の区分方式に対応する導管組織クラシファイアを利用し、導管組織の分類結果を取得するステップＳ６１０と、を含んでもよい。

【0068】

上述したコンピュータビジョン技術に基づく導管組織特徴取得方法において、画像プロセッシングデバイス１００は、コンピュータビジョン技術を利用し、導管組織の画像を収集することができ、そして画像内の様々な導管組織の形態特性に基づき、それに適合するリング領域から細胞特徴を自己適応して抽出し、各領域の細胞特徴を総合し、及び該導管組織における篩孔特徴を結び付けて導管組織の特徴を得ることができ、画像プロセッシングデバイス１００はさらに、画像領域におけるリング領域の区分方式に対応する導管組織クラシファイアを利用し、該導管組織を分類することによって、相応な分類結果を得て、導管組織特徴を抽出する精度を向上させ、及び導管組織を分類する精度を向上させることができる。

【0069】

理解すべきことは、上記フローチャートにおける各ステップが矢印の指示に従って順に表示されるが、これらのステップは、必ず矢印により指示される順序で順に実行されなければならないわけではない。本明細書に明確な説明がない限り、これらのステップの実行には、厳密な順序制限がなく、これらのステップは、他の順序で実行されてもよい。そして、上記フローチャートにおける少なくとも一部のステップは、複数のサブステップ又は複数のフェーズを含んでもよく、これらのサブステップ又はフェーズは、必ずしも同じ時点で実行が完了しなければならないわけではなく、異なる時点で実行されてもよく、これらのサブステップ又はフェーズの実行順序も、必ずしも順次でなく、他のステップ又は他のステップのサブステップ又はフェーズの少なくとも一部と順番に又は交互に実行されてもよい。

【0070】

本出願の技術案を、ＨＥ染色乳腺病理画像における乳管を分類するシーンに応用して説明し、図７から図１０を参照する。

【0071】

そのうち、図１０に示すように、図１０は、一つの適用例における導管組織の種別判定結果概略図である。本応用例では、乳管の分類に対してソフトウェアインターフェースの方式でサービスを提供し、ソフトウェアインターフェースの入力は、ＨＥ染色乳腺病理画像における分割導管及び細胞核分割結果であり、ソフトウェアインターフェースの出力は、導管内増殖性病変判定結果である。しかし、導管内増殖性病変の判定フローに対し、図８を参照してもよく、図８は、一つの適用例における導管組織の種別判定のリファレンスフローの概略図である。図８によるリファレンスフローに基づいて機械学習実現方式を結び付けて、入力画像に対する本応用例の技術処理フローは、図７に示すように、図７は、一つの適用例における導管組織分類方法のフロー概略図である。具体的には、以下の通り説明される。

【0072】

分割モジュールに対し、導管分割と細胞核分割とを含み、ｕ－ｎｅｔ分割ネットワークに基づき、大量のサンプルを使用してディープニューラルネットワーク導管スプリッタをトレーニングして得て、及びｍａｓｋ－ＲＣＮＮ分割ネットワークに基づき、大量のサンプルを使用してディープニューラルネットワーク細胞核スプリッタをトレーニング得ることができ、それによって現在の病理画像をこの二つのスプリッタにそれぞれ入力して導管と細胞核分割結果を得ることができ、そのうち、細胞核分割結果は、多層リング領域の細胞特徴を抽出するために用いられてもよいが、細胞核分割と導管分割結果は、篩孔特徴抽出に共同で用いられてもよい。なお、導管分割と細胞核分割の詳細に対し、ここで具体的に限定しない。画像上で導管と細胞核に対する分割を完了すればよい。

【0073】

多層リング領域の細胞特徴抽出に対し、主に、以下を含む。

【0074】

（１）細胞核サイズの抽出、
細胞核サイズの抽出は、主に細胞核分割結果に基づき、各接続エンティティ（細胞核）の面積を求めて得られる。

【0075】

（２）細胞核の円形度の計算、
細胞核の円形度の計算は、以下の式ｅ＝（４πＡｌ）／Ｌ^２で得られ、そのうち、ｅは、細胞核の円形度を表し、Ａ１は、細胞核の面積であり、Ｌは、細胞核の周囲長である。

【0076】

（３）細胞核の密度の計算：
細胞核の密度は、細胞核の面積を占めるリング領域面積で割ったものである。

【0077】

（４）多層リングの抽出方法：
導管組織では、細胞核の数が比較的に多く、且つ異なる導管の細胞核数と分布がそれぞれ異なるため、細胞核のサイズ、円形度と密度などの特徴を直接使用することができず、導管の異なる増殖タイプに対する特徴統計に基づき、且つ導管形態の相違性に適応するために、本応用例は、形態学方法を使用して導管領域を複数のリング領域に分割し、リング領域において、細胞核サイズの平均値と分散値などの統計特徴、細胞円形度の平均値と分散値などの統計特徴、及びリング領域における細胞核の密度特徴などをそれぞれ統計する。
リング領域の分割方法に対し、具体的には、以下の通りである。

【0078】

ステップＡ、リング領域数ｎを決定し、リング領域数ｎに基づいて形態学スライダのサイズＫｓｉｚｅ＝２Ｘｓｑｒｔ（Ａ２／π）／ｎを算出し、そのうち、Ａ２は、画像における導管組織に対応する画像領域の面積を表す。

【0079】

ステップＢ．ループ繰り返し数ｉ＝ｌを設置し、そのうち、初期領域は、導管領域全体であり、ｉ＜ｎである場合、Ａステップで定義されるスライダを使用して現在の領域に対して形態学エッチング操作を行い、そして、現在領域からエッチング後の領域を減算することでリング領域Ｃｉを得ることができ、エッチング後の領域を次回繰り返す初期領域とする。

【0080】

ステップＣ．ｉ＝ｎである場合、初期領域を最内側のリング領域として直接出力し、循環を終了することができる。

【0081】

上述した形態学を使用する分割方式は、リング領域の設置が導管の異なる形態に直接自己適応することによって、分割して得たリング領域とエッジが導管エッジと平行であってもよいことが利点であり、この場合で統計した特徴は、医学の判定と比較的に高い一致性を有する。

【0082】

篩孔特徴の抽出について、
そのうち、篩孔形態は、異なる導管内増殖性病変を鑑別する重要な根拠であり、篩孔領域の分割フローは、図９を参照してもよく、図９は、一つの適用例における篩孔領域抽出方法のフロー概略図であり、対応する篩孔領域分割効果は、図５を参照してもよい。そのうち、初回選別篩孔領域は、輝度値が細胞核と細胞質領域よりも高いため、それによって経験的に調整してもよく、経験閾値を２Ｘ細胞質輝度平均値‐細胞核輝度平均値としてもよい。具体的には、篩孔特徴は、篩孔の数及び各篩孔の円形度特徴を含んでもよいが、円形度の計算とリファレンス細胞核の円形度の計算方式は、なお、篩孔のエッジ平滑性などの特徴を考慮してもよい。

【0083】

クラシファイアのトレーニングについて、
該クラシファイアのトレーニングは、ＳＶＭモデルを採用してもよく、具体的なアプリケーションシナリオにおいて、ＳＶＭモデルは、ＲＢＦコアを使用してもよく、正則化パラメータが１に設定され、トレーニングモデルに使用されるサンプルデータは、若干の例の正常導管、ＵＤＨ、ＡＤＨとＤＣＩＳなどのデータを含んでもよく、これらのサンプルは、医学分野専門家の審査によって決定されてもよく、且つ免疫組織化学結果に一致して、トレーニングサンプルデータの精度を確保する。理解できるように、サンプルデータ量の増加は、クラシファイア性能をさらに向上させることができる。

【0084】

上記適用例による導管組織特徴に対する抽出及び分類の方案は、正常導管、ＵＤＨ、ＡＤＨとＤＣＩＳの４種類の分類精度に対して８０％以上に達することができ、正常導管＋ＵＤＨとＡＤＨ＋ＤＣＩＳの２種類の分類精度に対して９０％以上に達することができ、それによって医学分類クロマトグラムに基づき、同時に細胞学特徴と導管内構造特徴を使用してＳＶＭクラシファイアが導管内増殖性病変に対して自動的且つ正確に分類処理を結びつけて学習することを実現させており、且つ多層リング細胞学特徴抽出方法を採用することで、特徴抽出と分類の精度とロバスト性を大いに向上させた。

【0085】

一実施例では、コンピュータビジョン技術に基づく導管組織特徴取得装置を提供する。図１１に示すように、図１１は、一実施例におけるコンピュータビジョン技術に基づく導管組織特徴取得装置の構造ブロック図である。該導管組織特徴取得装置１１００は、
導管組織を含む画像を取得するための導管画像取得モジュール１１０１と、
画像の導管組織に対応する画像領域において、導管組織の導管形態に適応する少なくとも二つの特徴取得領域を決定するための特徴領域決定モジュール１１０２と、
それぞれ少なくとも二つの特徴取得領域における導管組織の細胞の細胞特徴を取得するための細胞特徴取得モジュール１１０３と、
少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴を取得するための導管特徴の取得モジュール１１０４と、を含んでもよい。

【0086】

一実施例では、上記装置１１００は、画像の導管組織に対応する画像領域のエッジを、導管組織領域エッジとし、導管組織領域エッジのエッジ形状に基づき、導管組織の導管形態を決定するための導管形態決定モジュールをさらに含む。

【0087】

一実施例では、導管組織の導管形態に適応する少なくとも二つの特徴取得領域は、いずれもリング領域であり、そのうち、リング領域のエッジ形状は、導管形態に適応する。

【0088】

一実施例では、特徴領域決定モジュール１１０２はさらに、導管形態に基づき、リング領域のエッジ形状を決定し、及び、リング領域の数（数が少なくとも二つであり）を決定し、画像の導管組織に対応する画像領域の面積を取得し、リング領域のエッジ形状と数、及び画像の導管組織に対応する画像領域の面積に基づき、画像の導管組織に対応する画像領域を、相応な数であり、且つエッジ形状が導管形態に適応するリング領域として区分し、少なくとも二つの特徴取得領域を得るために用いられる。

【0089】

一実施例では、相応な数であり、且つエッジ形状が導管形態に適応するリング領域において、各リング領域のリング幅は、同じである。

【0090】

一実施例では、それぞれ少なくとも二つの特徴取得領域における導管組織の細胞の細胞特徴は、相応な特徴取得領域における細胞の細胞統計特徴と細胞構造特徴のうちの少なくとも一つを含む。

【0091】

一実施例では、上記装置１１００は、画像の導管組織に対応する画像領域に基づき、導管組織における篩孔の篩孔特徴を取得するための篩孔特徴の取得モジュールと、篩孔特徴及び少なくとも二つの特徴取得領域における細胞特徴に基づき、導管組織の特徴をさらに得るための導管特徴の取得モジュール１１０４とをさらに含む。

【0092】

一実施例では、篩孔特徴の取得モジュールはさらに、画像の導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を篩孔に対応する篩孔領域として認識し、そのうち、輝度閾値は、画像における細胞の輝度に基づいて決定され、篩孔領域に基づき、篩孔の篩孔特徴を取得するために用いられる。

【0093】

一実施例では、篩孔特徴の取得モジュールはさらに、画像の導管組織に対応する画像領域のうち、輝度が輝度閾値よりも大きい画像領域を篩孔に対応する篩孔領域として認識する前に、像の導管組織に対応する画像領域において、導管組織の細胞の細胞核輝度と細胞質輝度を取得し、細胞核輝度と細胞質輝度に基づき、輝度閾値を取得するために用いられる。

【0094】

一実施例では、篩孔特徴は、篩孔構造特徴と篩孔統計特徴のうちの少なくとも一つを含む。

【0095】

一実施例では、上記装置１１００は、導管組織の特徴に基づき、画像領域における特徴取得領域の区分方式に対応する導管組織クラシファイアを利用し、導管組織の分類結果を取得するための導管分類モジュールをさらに含む。

【0096】

一実施例では、知能顕微鏡を提供する。図１２に示すように、図１２は、一実施例における知能顕微鏡の構造ブロック図である。該知能顕微鏡１２００は、画像収集機器１２１０と画像分析機器１２２０を含んでもよい。そのうち、
画像収集機器１２１０は、導管組織を含む画像を取得し、画像分析機器１２２０に送信するために用いられ、
画像分析機器１２２０、上記のいずれか１項の実施例に記載の方法のステップを実行するために用いられる。

【0097】

上記実施例による知能顕微鏡は、乳管などの導管組織に対する特徴抽出処理に用いられてもよく、画像収集機器１２１０は、様々な形態特性を含む乳管の画像を取得し、画像分析機器１２２０によって特徴抽出処理を行い、画像分析機器１２２０は、画像処理機能を有するプロセッサを配置することができ、このプロセッサによって上記のいずれか１項の実施例に記載のコンピュータビジョン技術に基づく導管組織特徴取得方法のステップを実行させ、様々な形態特性を有する乳管に対して特徴抽出を行い、抽出した導管特徴に基づいて導管内増殖性病変認識を行い、特徴抽出の精度及び病変認識の精度を向上させることもできる。

【0098】

図１３は、一実施例におけるコンピュータ機器の構造ブロック図である。このコンピュータ機器は、具体的には、図１における画像プロセッシングデバイス１０００としてもよい。図３に示すように、このコンピュータ機器は、システムバスによって接続されるプロセッサと、メモリと、ネットワークインターフェースと、入力装置とディスプレイとを含む。そのうち、メモリは、不揮発性記憶媒体とメモリとを含む。このコンピュータ機器の不揮発性記憶媒体には、オペレーティングシステムが記憶されており、コンピュータ可読命令が記憶されてもよく、このコンピュータ可読命令がプロセッサによって実行される時、プロセッサにコンピュータビジョン技術に基づく導管組織特徴取得方法を実現させることができる。該内部メモリには、コンピュータ可読命令が記憶されてもよく、このコンピュータ可読命令がプロセッサによって実行される時、プロセッサにコンピュータビジョン技術に基づく導管組織特徴取得方法を実行させることができる。コンピュータ機器のディスプレイは、液晶ディスプレイ又は電子インクディスプレイであってもよく、コンピュータ機器の入力装置は、ディスプレイ上に覆われたタッチ層であってもよく、コンピュータ機器筐体に設置されるボタン、トラックボール又はタッチパネルであってもよく、外部に接続されるキーボード、タッチパネル又はマウスなどであってもよい。

【0099】

当業者が理解できるように、図１３に示す構造は、本出願方案に関連する一部の構造のブロック図に過ぎず、本出願方案のその上に適用されるコンピュータ機器の限定を構成しなく、具体的なコンピュータ機器は、図に示された部品の数よりも多く又は少ない部品を含んでもよく、又はなんらかの部品を組み合わせてもよく、又は異なる部品の配置を有してもよい。

【0100】

一実施例では、コンピュータ機器を提供する。このコンピュータ機器は、メモリとプロセッサとを含み、メモリには、コンピュータ可読命令が記憶されている。コンピュータ可読命令がプロセッサによって実行される時、プロセッサに上述したコンピュータビジョン技術に基づく導管組織特徴取得方法のステップを実行させる。ここでコンピュータビジョン技術に基づく導管組織特徴取得方法のステップは、上記各実施例のコンピュータビジョン技術に基づく導管組織特徴取得方法におけるステップであってもよい。

【0101】

一実施例では、コンピュータ可読記憶媒体を提供する。コンピュータ可読命令を記憶しており、コンピュータ可読命令がプロセッサによって実行される時、プロセッサに上述したコンピュータビジョン技術に基づく導管組織特徴取得方法のステップを実行させる。ここでコンピュータビジョン技術に基づく導管組織特徴取得方法のステップは、上記各実施例のコンピュータビジョン技術に基づく導管組織特徴取得方法におけるステップであってもよい。

【0102】

一実施例では、コンピュータ可読命令製品又はコンピュータ可読命令を提供する。このコンピュータ可読命令製品又はコンピュータ可読命令は、コンピュータ命令を含み、このコンピュータ命令は、コンピュータ可読記憶媒体に記憶されている。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体からこのコンピュータ命令を読み取り、プロセッサは、このコンピュータ命令を実行し、このコンピュータ機器に上記各方法実施例におけるステップを実行させる。

【0103】

当業者が理解できるように、上記実施例の方法における全て又は一部のフローを実現することは、コンピュータ可読命令によって関連するハードウェアに完了させるように命令してもよく、前記のコンピュータ可読命令は、一つの不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このコンピュータ可読命令が実行される時、上記各方法の実施例のようなフローを含んでもよい。そのうち、本出願による各実施例において使用されるメモリ、記憶、データベース又は他の媒体の任意の運用は、いずれも不揮発性と揮発性メモリのうちの少なくとも一つを含んでもよい。不揮発性メモリは、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、テープ、フロッピーディスク、フラッシュ又は光メモリなどを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）又は外部高速キャッシュメモリを含んでもよい。説明とするが限定ではなく、ＲＡＭは、複数の形式、例えばスタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）又はダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）などであってもよい。

【0104】

以上の実施例の各技術的特徴は、任意の組み合わせを行ってもよく、記述を簡潔にするために、上記実施例における各技術的特徴のすべての可能な組み合わせについて記述していないが、これらの技術的特徴の組み合わせに矛盾がない限り、本明細書に記載された範囲と考えるべきである。

【0105】

上述した実施例は、本出願のいくつかの実施の形態のみを示しており、その記述は、比較的に具体的かつ詳細であるが、それによって本出願特許範囲に対する制限として理解することができない。指摘すべきなのは、当業者にとって、本出願の構想から逸脱しない前提で、若干の変形と改良を行ってもよく、これらは、いずれも本出願の保護範囲に属する。そのため、本出願特許の保護範囲は、添付される請求項を基準とするべきである。

【符号の説明】

【0106】

５１０ 第一の例の画像
５２０ 第二の例の画像
５１００ 第一の例の画像領域
５２００ 第二の例の画像領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】