特表 2024-547196 機械学習に基づく細胞のセグメンテーション及びタイピング方法、装置、機器並びに媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】機械学習に基づく細胞のセグメンテーション及びタイピング方法、装置、機器並びに媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241219BHJP

   G06V 10/82 20220101ALI20241219BHJP

   G06T 7/60 20170101ALI20241219BHJP

   G06T 7/11 20170101ALI20241219BHJP

   G01N 33/48 20060101ALI20241219BHJP

   G01N 33/483 20060101ALI20241219BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350C

G06V10/82

G06T7/60 150S

G06T7/11

G01N33/48 M

G01N33/483 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024540035

(86)(22)【出願日】2022-11-10

(85)【翻訳文提出日】2024-06-28

(86)【国際出願番号】 CN2022130989

(87)【国際公開番号】W WO2023124562

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】202111628829.2

(32)【優先日】2021-12-29

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】524247352

【氏名又は名称】北京航空航天大学

【氏名又は名称原語表記】ＢＥＩＨＡＮＧ ＵＮＩＶＥＲＳＩＴＹ

【住所又は居所原語表記】３７ Ｘｕｅｙｕａｎ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １００１９１， Ｃｈｉｎａ

(71)【出願人】

【識別番号】524247363

【氏名又は名称】北京腫瘤医院（北京大学腫瘤医院）

【氏名又は名称原語表記】ＰＥＫＩＮＧ ＵＮＩＶＥＲＳＩＴＹ ＣＡＮＣＥＲ ＨＯＳＰＩＴＡＬ ＆ ＩＮＳＴＩＴＵＴＥ

【住所又は居所原語表記】５２ Ｆｕｃｈｅｎｇ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １００１４２， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100161883

【弁理士】

【氏名又は名称】北出 英敏

(74)【代理人】

【識別番号】100227927

【弁理士】

【氏名又は名称】中村 拓

(72)【発明者】

【氏名】岳 蜀華

(72)【発明者】

【氏名】陳 ▲シュン▼

(72)【発明者】

【氏名】呉 舟橋

(72)【発明者】

【氏名】李 子禹

(72)【発明者】

【氏名】季 加孚

(72)【発明者】

【氏名】李 忠武

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045AA24

2G045CB01

2G045FA12

2G045FA14

2G045GC11

2G045JA03

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096FA04

5L096FA52

5L096FA59

5L096FA64

5L096FA67

5L096FA69

5L096GA34

5L096HA11

5L096JA03

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

本開示は、機械学習に基づく細胞のセグメンテーション及びタイピング方法、装置、機器並びに媒体を提供する。前記細胞のセグメンテーション及びタイピング方法は、ターゲットオブジェクトの少なくとも１つの細胞の代謝画像を取得することと、機械学習のセグメンテーションモデルによって少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することと、複数の単細胞の代謝画像のうち各単細胞の代謝画像に対して単細胞特徴を抽出し、単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを取得することと、複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、ターゲットオブジェクトの画像特徴スペクトルを取得することと、ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって細胞をタイピングすることと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ターゲットオブジェクトの少なくとも１つの細胞の代謝画像を取得することと、
機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することと、
前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対して単細胞特徴を抽出し、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを取得することであって、前記単細胞の画像特徴スペクトルは、細胞の代謝特徴を少なくとも含むことと、
前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得することと、
前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングすることであって、前記タイピングは、前記細胞が所属される細胞の種類を指示することと、を含む、機械学習に基づく細胞のセグメンテーション及びタイピング方法。

【請求項2】

前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングすることは、
前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することと、
前記異なる種類の細胞の数に基づき、前記細胞をタイピングすることと、を含む、請求項１に記載の細胞のセグメンテーション及びタイピング方法。

【請求項3】

ｋ平均クラスタリング方式と、階層的クラスタリング方式と、自己組織化マップによるクラスタリング方式と、ファジークラスタリング方式と、のうち少なくとも１つの方式で、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得する、請求項２に記載の細胞のセグメンテーション及びタイピング方法。

【請求項4】

サポートベクトルマシン分類器と、線形判別分類器と、Ｋ近傍分類器と、ロジスティック回帰分類器と、ランダムフォレスト決定木分類器と、人工ニューラルネットワーク分類器と、深層学習畳み込みニューラルネットワーク分類器と、のうち少なくとも１つの分類器で、前記異なる種類の細胞の数に基づいて前記細胞をタイピングする、請求項２に記載の細胞のセグメンテーション及びタイピング方法。

【請求項5】

前記細胞のセグメンテーション及びタイピング方法は、
前記ターゲットオブジェクトの画像特徴スペクトルに対して主成分を分析して、各単細胞の画像特徴スペクトルに対応する主成分情報を取得することであって、異なる種類の細胞の主成分情報が異なることと、
前記主成分情報に基づき、同じ種類の細胞の代謝特徴標的を取得することと、
代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定することと、をさらに含む、請求項２に記載の細胞のセグメンテーション及びタイピング方法。

【請求項6】

前記代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定することは、
前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を決定することを含む、請求項５に記載の細胞のセグメンテーション及びタイピング方法。

【請求項7】

前記機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することは、
転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、前記複数の単細胞の代謝画像を取得することを含む、請求項１に記載の細胞のセグメンテーション及びタイピング方法。

【請求項8】

前記機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することは、
転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して１回目の単細胞の画像セグメンテーションを行うことと、
ウォーターシェッドセグメンテーション方式又はフラッディングセグメンテーション方式により、１回目の単細胞のセグメンテーションが行われた画像に対して２回目のセグメンテーションを行い、前記複数の単細胞の代謝画像を取得することと、を含む、請求項１に記載の細胞のセグメンテーション及びタイピング方法。

【請求項9】

前記単細胞の画像特徴スペクトルは、細胞の形態学的特徴をさらに含む、請求項１に記載の細胞のセグメンテーション及びタイピング方法。

【請求項10】

前記細胞の形態学的特徴は、細胞面積と、細胞形状の球形度と、細胞境界の円形度と、細胞の中心と、細胞の中心偏心量と、相当直径と、細胞周長と、長軸の長さと、短軸の長さと、長軸／短軸の比率と、長軸／短軸の回転角度と、のうち少なくとも１つを含む、請求項９に記載の細胞のセグメンテーション及びタイピング方法。

【請求項11】

前記細胞の代謝特徴は、脂質の含有量と、脂質の濃度と、タンパク質の含有量と、タンパク質の濃度と、デオキシリボ核酸の濃度と、脂質／タンパク質の含有量の比率と、脂質／タンパク質の濃度の比率と、脂質／デオキシリボ核酸の濃度の比率と、脂肪滴の数と、脂肪滴の面積と、細胞の総面積を占める脂肪滴の面積の比率と、脂肪滴の範囲の脂質／タンパク質の濃度の比率と、脂質成分／タンパク質成分の面積の比率と、脂質成分／デオキシリボ核酸成分の面積の比率と、細胞の総面積を占める脂質成分の比率と、細胞の総面積を占めるタンパク質成分の比率と、脂質成分範囲の脂質／タンパク質の濃度の比率と、のうち少なくとも１つを含む、請求項９に記載の細胞のセグメンテーション及びタイピング方法。

【請求項12】

前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得することは、
所定の順番で、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを配列し、前記ターゲットオブジェクトの画像特徴スペクトルを取得することを含む、請求項１に記載の細胞のセグメンテーション及びタイピング方法。

【請求項13】

前記細胞の代謝画像は、ラマンイメージングに基づく画像である、請求項１～１２のいずれか一項に記載の細胞のセグメンテーション及びタイピング方法。

【請求項14】

前記細胞の種類は、がん細胞、免疫細胞、リンパ球、中皮細胞、上皮細胞、血球又は顆粒球を含む、請求項１～１２のいずれか一項に記載の細胞のセグメンテーション及びタイピング方法。

【請求項15】

ターゲットオブジェクトの少なくとも１つの細胞の代謝画像を取得する取得モジュールと、
機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得するセグメンテーションモジュールと、
前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対して単細胞特徴を抽出し、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを取得する特徴抽出モジュールであって、前記単細胞の画像特徴スペクトルは、細胞の代謝特徴を少なくとも含む特徴抽出モジュールと、
前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得するスペクトル組み合わせモジュールと、
前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングするタイピングモジュールであって、前記タイピングは、前記細胞が所属される細胞の種類を指示するタイピングモジュールと、を含む、機械学習に基づく細胞のセグメンテーション及びタイピング装置。

【請求項16】

前記タイピングモジュールは、
前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することと、
前記異なる種類の細胞の数に基づき、前記細胞をタイピングすることと、を含む、請求項１５に記載の細胞のセグメンテーション及びタイピング装置。

【請求項17】

ｋ平均クラスタリング方式と、階層的クラスタリング方式と、自己組織化特徴マップによるクラスタリング方式と、ファジークラスタリング方式と、のうち少なくとも１つの方式で、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得する、請求項１６に記載の細胞のセグメンテーション及びタイピング装置。

【請求項18】

サポートベクトルマシン分類器と、線形判別分類器と、Ｋ近傍分類器と、ロジスティック回帰分類器と、ランダムフォレスト決定木分類器と、人工ニューラルネットワーク分類器と、深層学習畳み込みニューラルネットワーク分類器と、のうち少なくとも１つの分類器で、前記異なる種類の細胞の数に基づいて前記細胞をタイピングする、請求項１６に記載の細胞のセグメンテーション及びタイピング装置。

【請求項19】

前記細胞のセグメンテーション及びタイピング装置は、
前記ターゲットオブジェクトの画像特徴スペクトルに対して主成分を分析して、各単細胞の画像特徴スペクトルに対応する主成分情報を取得する主成分分析モジュールであって、異なる種類の細胞の主成分情報が異なる主成分分析モジュールと、
前記主成分情報に基づき、同じ種類の細胞の代謝特徴標的を取得する標的取得モジュールと、
代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定する病変決定モジュールと、をさらに含む、請求項１６に記載の細胞のセグメンテーション及びタイピング装置。

【請求項20】

前記病変決定モジュールは、さらに、前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を決定する、請求項１９に記載の細胞のセグメンテーション及びタイピング装置。

【請求項21】

前記セグメンテーションモジュールは、さらに、転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、前記複数の単細胞の代謝画像を取得する、請求項１５に記載の細胞のセグメンテーション及びタイピング装置。

【請求項22】

前記セグメンテーションモジュールは、
転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して１回目の単細胞の画像セグメンテーションを行う１回目のセグメンテーションモジュールと、
ウォーターシェッドセグメンテーション方式又はフラッディングセグメンテーション方式により１回目の単細胞のセグメンテーションが行われた画像に対して２回目のセグメンテーションを行い、前記複数の単細胞の代謝画像を取得する２回目のセグメンテーションモジュールと、を含む、請求項１５に記載の細胞のセグメンテーション及びタイピング装置。

【請求項23】

前記単細胞の画像特徴スペクトルは、細胞の形態学的特徴をさらに含む、請求項１５に記載の細胞のセグメンテーション及びタイピング装置。

【請求項24】

前記細胞の形態学的特徴は、細胞面積と、細胞形状の球形度と、細胞境界の円形度と、細胞の中心と、細胞の中心偏心量と、相当直径と、細胞周長と、長軸の長さと、短軸の長さと、長軸／短軸の比率と、長軸／短軸の回転角度と、のうち少なくとも１つを含む、請求項２３に記載の細胞のセグメンテーション及びタイピング装置。

【請求項25】

前記細胞の代謝特徴は、脂質の含有量と、脂質の濃度と、タンパク質有含有量と、タンパク質の濃度と、デオキシリボ核酸の濃度と、脂質／タンパク質の含有量の比率と、脂質／タンパク質の濃度の比率と、脂質／デオキシリボ核酸の濃度の比率と、脂肪滴の数と、脂肪滴の面積と、細胞の総面積を占める脂肪滴の面積の比率と、脂肪滴の範囲の脂質／タンパク質の濃度の比率と、脂質成分／タンパク質成分の面積の比率と、脂質成分／デオキシリボ核酸成分の面積の比率と、細胞の総面積を占める脂質成分の比率と、細胞の総面積を占めるタンパク質成分の比率と、脂質成分範囲の脂質／タンパク質の濃度の比率と、のうち少なくとも１つを含む、請求項２３に記載の細胞のセグメンテーション及びタイピング装置。

【請求項26】

前記スペクトル組み合わせモジュールは、さらに、所定の順番で、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを配列し、前記ターゲットオブジェクトの画像特徴スペクトルを取得する、請求項１５に記載の細胞のセグメンテーション及びタイピング装置。

【請求項27】

前記細胞の代謝画像は、ラマンイメージングに基づく画像である、請求項１５～２６のいずれか一項に記載の細胞のセグメンテーション及びタイピング装置。

【請求項28】

前記細胞の種類は、がん細胞、免疫細胞、リンパ球、中皮細胞、上皮細胞、血球又は顆粒球を含む、請求項１５～２６のいずれか一項に記載の細胞のセグメンテーション及びタイピング装置。

【請求項29】

プロセッサと、
コンピュータ実行可能な指令が記憶されるメモリと、を含み、
プロセッサによって前記コンピュータ実行可能な指令が実行される場合、プロセッサにより請求項１～１４のいずれか一項に記載の方法が実行される、機械学習に基づく細胞のセグメンテーション及びタイピング機器。

【請求項30】

コンピュータ実行可能な指令が記憶されるコンピュータ可読記録媒体であって、
プロセッサによって前記コンピュータ実行可能な指令が実行される場合プロセッサにより請求項１～１４のいずれか一項に記載の方法が実行されるコンピュータ可読記録媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は、２０２１年１２月２９日に提出された出願番号が第２０２１１１６２８８２９．２である中国特許出願の優先権を主張し、上記中国特許出願に開示されている内容の全体が本願の一部として援用される。

【技術分野】

【0002】

本開示は、画像のセグメンテーション及びタイピング分野に関し、より具体的には、機械学習に基づく細胞のセグメンテーション（Ｃｅｌｌ ｓｅｇｍｅｎｔａｔｉｏｎ）及びタイピング（ｃｅｌｌ ｔｙｐｉｎｇ）方法、装置、機器並びに媒体に関する。

【背景技術】

【0003】

現在、臨床では脱落細胞に対して細胞病理の検査（例えばＨ＆Ｅ或いはＲＡＰ染色による検査）を行うことによって、がん細胞（例えば胃がん細胞、肺がん細胞）、がん細胞の数などのがん細胞に関する情報を決定する。しかし、上記検査方法は、病理医の主観的要素による影響が比較的に大きく、しかも異なる症例、異なる病理医の間の一致性も比較的に低く、しかもその感度が比較的に低い（一般的に６０％よりも低い）。

【0004】

さらに、細胞の病理を検査することは、組織病理と異なり、細胞病理の検査は、組織位置決め情報が不足し、さらに、細胞が染色、塗抹、固定などの処理を行えて細胞の形態が損傷されてしまい、単細胞の正確な定量化を実現することが難しくなり、これは後続のターゲットオブジェクトの病変程度に対する判断に非常に不利である。

【0005】

このため、上記問題を解決するために、新たな方法を必要とする。

【発明の概要】

【0006】

上記問題に対して、本開示は、機械学習に基づく細胞のセグメンテーション及びタイピング方法を提供する。本開示による上記方法は、病理医の主観的要素による影響を受けることなく、細胞形態への損傷を回避し、細胞の正確なタイピングを実現することにより、ターゲットオブジェクトの病変程度を決定することができる。

【0007】

本開示の実施例は、機械学習に基づく細胞のセグメンテーション及びタイピング方法を提供し、前記細胞のセグメンテーション及びタイピング方法は、ターゲットオブジェクトの少なくとも１つの細胞の代謝画像を取得することと、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することと、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対して単細胞の特徴抽出を行い、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを取得することであって、前記単細胞の画像特徴スペクトルは、細胞の代謝特徴を少なくとも含むことと、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得することと、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングすることであって、前記タイピングは、前記細胞が所属される細胞の種類を指示することと、を含む。

【0008】

本開示の実施例によれば、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングすることは、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することと、前記異なる種類の細胞の数に基づき、前記細胞をタイピングすることと、を含む。

【0009】

本開示の実施例によれば、ｋ平均クラスタリング方式（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）と、階層的クラスタリング方式と、自己組織化マップ（ＳＯＭ：Ｓｅｌｆ－Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ）によるクラスタリング方式と、ファジークラスタリング方式（ｆｕｚｚｙ ｃｌｕｓｔｅｒｉｎｇ ｔｅｃｈｎｉｑｕｅ）と、のうち少なくとも１つの方式で、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得する。

【0010】

本開示の実施例によれば、サポートベクトルマシン分類器（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）と、線形判別分類器と、Ｋ近傍分類器（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｅｒ； ｋ－ＮＮ）と、ロジスティック回帰分類器と、ランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）決定木分類器と、人工ニューラルネットワーク分類器（Ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と、深層学習畳み込みニューラルネットワーク分類器（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、略称：ＣＮＮまたはＣｏｎｖＮｅｔ））とのうち少なくとも１つの分類器で、前記異なる種類の細胞の数に基づいて前記細胞をタイピングする。

【0011】

本開示の実施例によれば、前記細胞のセグメンテーション及びタイピング方法は、前記ターゲットオブジェクトの画像特徴スペクトルに対して主成分を分析して、各単細胞の画像特徴スペクトルに対応する主成分情報を取得することであって、異なる種類の細胞の主成分情報が異なることと、前記主成分情報に基づき、同じ種類の細胞の代謝特徴標的（Ｍｅｔａｂｏｌｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｔａｒｇｅｔｓ）を取得することと、代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定することと、をさらに含む。

【0012】

本開示の実施例によれば、代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定することは、前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を決定することを含む。

【0013】

本開示の実施例によれば、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することは、転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、前記複数の単細胞の代謝画像を取得することを含む。

【0014】

本開示の実施例によれば、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することは、転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して１回目の単細胞の画像セグメンテーションを行うことと、ウォーターシェッドセグメンテーション（Ｗａｔｅｒｓｈｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ）方式又はフラッディングセグメンテーション（ｆｌｏｏｄ－ｆｉｌｌ Ｓｅｇｍｅｎｔａｔｉｏｎ）方式により１回目の単細胞のセグメンテーションが行われた画像に対して２回目のセグメンテーションを行い、前記複数の単細胞の代謝画像を取得することと、を含む。

【0015】

本開示の実施例によれば、前記単細胞の画像特徴スペクトルは、細胞の形態学的特徴をさらに含む。

【0016】

本開示の実施例によれば、前記細胞の形態学的特徴は、細胞面積と、細胞形状の球形度（Ｓｐｈｅｒｉｔｙ）と、細胞境界の円形度（Ｃｉｒｃｕｌａｒｉｔｙ）と、細胞の中心と、細胞の中心偏心量と、相当直径と、細胞周長と、長軸の長さと、短軸の長さと、長軸／短軸の比率と、長軸／短軸の回転角度と、のうち少なくとも１つを含む。

【0017】

本開示の実施例によれば、前記細胞の代謝特徴は、脂質の含有量と、脂質の濃度と、タンパク質の含有量と、タンパク質の濃度と、デオキシリボ核酸（ｄｅｏｘｙｒｉｂｏｎｕｃｌｅｉｃ ａｃｉｄ）の濃度と、脂質／タンパク質の含有量の比率と、脂質／タンパク質の濃度の比率と、脂質／デオキシリボ核酸の濃度の比率と、脂肪滴の数（ｌｉｐｉｄ ｄｒｏｐｌｅｔ、ＬＤ）と、脂肪滴の面積と、細胞の総面積を占める脂肪滴の面積の比率と、脂肪滴の範囲の脂質／タンパク質の濃度の比率と、脂質成分／タンパク質成分の面積の比率と、脂質成分／デオキシリボ核酸成分の面積の比率と、細胞の総面積を占める脂質の成分の比率と、細胞の総面積を占めるタンパク質成分の比率と、脂質成分範囲の脂質／タンパク質の濃度の比率と、のうち少なくとも１つを含む。

【0018】

本開示の実施例によれば、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得することは、所定の順番で前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを配列し、前記ターゲットオブジェクトの画像特徴スペクトルを取得することを含む。

【0019】

本開示の実施例によれば、前記細胞の代謝画像は、ラマンイメージングに基づく画像である。

【0020】

本開示の実施例によれば、前記細胞の種類は、がん細胞、免疫細胞、リンパ球、中皮細胞（ｍｅｓｏｔｈｅｌｉａｌ ｃｅｌｌ）、上皮細胞、血球又は顆粒球（Ｇｒａｎｕｌｏｃｙｔｅｓ）を含む。

【0021】

本開示の実施例は、機械学習に基づく細胞のセグメンテーション及びタイピング装置を提供し、前記細胞のセグメンテーション及びタイピング装置は、ターゲットオブジェクトの少なくとも１つの細胞の代謝画像を取得するように構成される取得モジュールと、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得するように構成されるセグメンテーションモジュールと、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対して単細胞特徴を抽出し、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを取得するように構成される特徴抽出モジュールであって、前記単細胞の画像特徴スペクトルは、細胞の代謝特徴を少なくとも含む特徴抽出モジュールと、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得するように構成されるスペクトル組み合わせモジュールと、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングするように構成されるタイピングモジュールであって、前記タイピングは、前記細胞が所属される細胞の種類を指示するタイピングモジュールと、を含む。

【0022】

本開示の実施例によれば、前記タイピングモジュールは、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することと、前記異なる種類の細胞の数に基づき、前記細胞をタイピングすることと、を含む。

【0023】

本開示の実施例によれば、ｋ平均クラスタリング方式と、階層的クラスタリング方式と、自己組織化特徴マップによるクラスタリング方式と、ファジークラスタリング方式と、のうち少なくとも１つの方式で前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得する。

【0024】

本開示の実施例によれば、サポートベクトルマシン分類器と、線形判別分類器と、Ｋ近傍分類器と、ロジスティック回帰分類器と、ランダムフォレスト決定木分類器と、人工ニューラルネットワーク分類器と、深層学習畳み込みニューラルネットワーク分類器と、のうち少なくとも１つの分類器で前記異なる種類の細胞の数に基づいて前記細胞をタイピングする。

【0025】

本開示の実施例によれば、前記細胞のセグメンテーション及びタイピング装置は、前記ターゲットオブジェクトの画像特徴スペクトルに対して主成分を分析して、各単細胞の画像特徴スペクトルに対応する主成分情報を取得するように構成される主成分分析モジュールであって、異なる種類の細胞の主成分情報が異なる主成分分析モジュールと、前記主成分情報に基づき、同じ種類の細胞の代謝特徴標的を取得するように構成される標的取得モジュールと、代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定するように構成される病変決定モジュールと、をさらに含む。

【0026】

本開示の実施例によれば、前記病変決定モジュールは、さらに、前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を決定する。

【0027】

本開示の実施例によれば、前記セグメンテーションモジュールは、転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、前記複数の単細胞の代謝画像を取得することを含む。

【0028】

本開示の実施例によれば、前記セグメンテーションモジュールは、転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して１回目の単細胞の画像セグメンテーションを行うように構成される１回目のセグメンテーションモジュールと、ウォーターシェッドセグメンテーション方式又はフラッディングセグメンテーション方式により１回目の単細胞のセグメンテーションが行われた画像に対して２回目のセグメンテーションを行い、前記複数の単細胞の代謝画像を取得するように構成される２回目のセグメンテーションモジュールと、を含む。

【0029】

本開示の実施例によれば、前記単細胞の画像特徴スペクトルは、細胞の形態学的特徴をさらに含む。

【0030】

本開示の実施例によれば、前記細胞の形態学的特徴は、細胞面積と、細胞形状の球形度と、細胞境界の円形度と、細胞の中心と、細胞の中心偏心量と、相当直径と、細胞周長と、長軸の長さと、短軸の長さと、長軸／短軸の比率と、長軸／短軸の回転角度と、のうち少なくとも１つを含む。

【0031】

本開示の実施例によれば、前記細胞の代謝特徴は、脂質の含有量と、脂質の濃度と、タンパク質の含有量と、タンパク質の濃度と、デオキシリボ核酸の濃度と、脂質／タンパク質の含有量の比率と、脂質／タンパク質の濃度の比率と、脂質／デオキシリボ核酸の濃度の比率と、脂肪滴の数と、脂肪滴の面積と、細胞の総面積を占める脂肪滴の面積の比率と、脂肪滴の範囲の脂質／タンパク質の濃度の比率と、脂質成分／タンパク質成分の面積の比率と、脂質成分／デオキシリボ核酸成分の面積の比率と、細胞の総面積を占める脂質成分の比率と、細胞の総面積を占めるタンパク質成分の比率と、脂質成分範囲の脂質／タンパク質の濃度の比率と、のうち少なくとも１つを含む。

【0032】

本開示の実施例によれば、前記スペクトル組み合わせモジュールは、所定の順番で前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを配列し、前記ターゲットオブジェクトの画像特徴スペクトルを取得することを含む。

【0033】

本開示の実施例によれば、前記細胞の代謝画像は、ラマンイメージングに基づく画像である。

【0034】

本開示の実施例によれば、前記細胞の種類は、がん細胞、免疫細胞、リンパ球、中皮細胞、上皮細胞、血球又は顆粒球を含む。

【0035】

本開示の実施例は、プロセッサと、プロセッサによって実行される場合プロセッサに上記方法の実行を促すコンピュータ実行可能な指令が記憶されるメモリと、を含む、機械学習に基づく細胞のセグメンテーション及びタイピング機器を提供する。

【0036】

本開示の実施例は、プロセッサによって実行される場合プロセッサに上記方法の実行を促すコンピュータ実行可能な指令が記憶されるコンピュータ可読記録媒体を提供する。

【0037】

本開示の実施例は、プロセッサと、プロセッサによって実行される場合プロセッサに上記方法の実行を促すコンピュータ実行可能な指令が記憶されるメモリと、を含む、多層ニューラルネットワークモデルが画像セグメンテーションを実行する機器を提供する。

【0038】

本開示の実施例は、プロセッサによって実行される場合プロセッサに上記方法の実行を促すコンピュータ実行可能な指令が記憶されるコンピュータ可読記録媒体を提供する。

【0039】

本開示の実施例は、機械学習に基づく細胞のセグメンテーション及びタイピング方法、装置、機器並びに媒体を提供する。本開示による機械学習に基づく細胞のセグメンテーション及びタイピング方法に基づいて、機械学習のセグメンテーションモデルによって細胞を正確にセグメンテーションすることができ、細胞の特徴スペクトルをクラスタリングすることによって細胞の正確なタイピングを実現し、さらにターゲットオブジェクトの病変程度の正確な判断を実現することができる。本開示による上記方法は、病理医の主観的要素による影響を効果的に回避し、細胞形態に損傷を与える必要がない。

【図面の簡単な説明】

【0040】

本開示の実施例の技術案をより明確に説明するために、以下では、実施例の記述に使用される必要がある添付図面を簡単に説明する。自明なことに、以下の記述における添付図面は、ただ本開示のいくつかの例示的な実施例に過ぎず、当業者にとって、創造的な労力を払わない前提で、それらの添付図面に基づき、他の添付図面を取得することもできる。

【図1】本開示の実施例による機械学習に基づく細胞のセグメンテーション及びタイピング方法のフローチャートを示す。

【図2】本開示による機械学習のセグメンテーションモデルに基づいて細胞の代謝画像に対して単細胞のセグメンテーションを行う効果図を示す。

【図3A】取得された、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルにおける脂質の含有量の分布図を示す。

【図3B】当該単一症例に対して取得された特徴スペクトルを示す。

【図3C】がん細胞と正常細胞の模式図を示す。

【図4】本開示の実施例による細胞のセグメンテーション及びタイピング方法の例示的な図を示す。

【図5】陽性細胞系と陰性細胞系の単細胞をタイピングする効果図を示す。

【図6】代謝特徴有意差パラメータ（ｐ－ｖａｌｕｅ）の値の模式図を示す。

【図7】単細胞代謝撮像が胃がんの腹膜転移症例診断を実現する感度（Ｓｅｎｓｉｔｉｖｉｔｙ）と特異度（ｓｐｅｃｉｆｉｃｉｔｙ）の模式図を示す。

【図8】本開示の実施例による機械学習に基づく細胞のセグメンテーション及びタイピング装置８００のブロック図を示す。

【図9】本開示の実施例による機械学習に基づく細胞のセグメンテーション及びタイピング機器９００の構造図を示す。

【発明を実施するための形態】

【0041】

本開示の目的、技術案、及び利点をより明確にするために、以下では添付図面を参照して本開示による例示的な実施例について詳細に記述する。明らかに、記述された実施例は、本開示の一部の実施例に過ぎず、本開示の全ての実施例ではなく、本開示は、ここで記述された例示的な実施例の制限を受けないことを理解すべきである。

【0042】

本明細書及び添付図面において、実質的に同一又は類似のステップ及び要素は、同一又は類似の符号で表され、それらのステップ及び要素の繰り返しの記述は省略される。同時に、本開示の記述において、「第１」、「第２」などの用語は、記述を区別するためにのみ使用され、相対的な重要性または順序付けを指示または示唆するものとして理解されるべきではない。

【0043】

現在、臨床でがん細胞関連情報を決定する方法は、病理医の主観的要素による影響が大きく、一致性が低く、細胞形態に損傷を与えることもあり、これは、後続のターゲットオブジェクトの病変程度に対する判断に非常に不利である。

【0044】

上記問題を解決するために、本開示は、機械学習に基づく細胞のセグメンテーション及びタイピング方法を提供する。本開示による方法に基づいて、機械学習のセグメンテーションモデルによって細胞を正確にセグメンテーションすることができ、細胞の特徴スペクトルをクラスタリングすることによって細胞の正確なタイピングを実現し、さらに実現ターゲットオブジェクトの病変程度の正確な判断を実現することができる。本開示による上記方法は、病理医の主観的要素による影響を効果的に回避し、細胞形態に損傷を与える必要がない。

【0045】

以下では、添付図面を参照して上記本開示による機械学習に基づく細胞のセグメンテーション及びタイピング方法を詳細に説明する。

【0046】

図１は、本開示の実施例による機械学習に基づく細胞のセグメンテーション及びタイピング方法のフローチャートを示す。

【0047】

本開示による方法は、標識なし、誘導ラマンイメージング（例えば誘導ラマン散乱（Ｓｔｉｍｕｌａｔｅｄ Ｒａｍａｎ Ｓｃａｔｔｅｒｉｎｇ、ＳＲＳ）に基づいてイメージングされる）方法に基づいて細胞のセグメンテーション及びタイピングを行うことができる。誘導ラマン技術は、２つのレーザの波長差を利用してＣ－Ｈ領域の特定の化学結合の分子振動を励起する。

【0048】

図１を参照すると、ステップＳ１１０において、ターゲットオブジェクトの少なくとも１つの細胞の代謝画像を取得することができる。

【0049】

例として、ターゲットオブジェクトは、胃、肺等の人体の器官又は組織であってもよい。ターゲットオブジェクトは、胃部のがん細胞の状況を判断するために、胃部から取得された脱落細胞など、人体の器官又は組織から取得された脱落細胞であってもよい。

【0050】

例として、細胞の代謝画像は、ラマンイメージング（ｒａｍａｎ ｉｍａｇｉｎｇ）に基づく画像であってもよい。

【0051】

例として、細胞の代謝画像は、タンパク質チャンネル（ｐｒｏｔｅｉｎ ｃｈａｎｎｅｌ）、脂質チャンネル又はＤＮＡチャンネルなどの、１つのチャンネルによって取得されたものであってもよい。

【0052】

別の例として、細胞の代謝画像は、タンパク質チャンネルと、脂質（ｌｉｐｉｄ）チャンネルと、ＤＮＡチャンネルとの３つのチャンネルを含む、複数のチャンネルによって取得されたものであってもよい。

【0053】

例として、１つの症例（例えば、胃がんの症例又は肺がんの症例）について、１つ又は複数のチャンネルによって上記少なくとも１つの細胞の代謝画像を取得することができる。

【0054】

ステップＳ１２０において、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することができる。

【0055】

本開示の実施例によれば、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することは、転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）に基づくニューラルネットワークにより前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、前記複数の単細胞の代謝画像を取得することを含んでもよい。

【0056】

例として、既存の単細胞のセグメンテーションデータベースとニューラルネットワークセグメンテーションモデル（例えば、蛍光画像の単細胞のセグメンテーションに関するデータベースとニューラルネットワークセグメンテーションモデル）、及び少量の誘導ラマン細胞画像と人工マーキングデータにより、転移学習を使用して上記内容をトレーニングすれば、使用する必要な機械学習のセグメンテーションモデルを取得することができ、それにより高精度な単細胞の代謝画像セグメンテーションを実現することができる。

【0057】

従来のニューラルネットワークアルゴリズムが画像セグメンテーションを実現する方式とは異なり、本開示による上記画像セグメンテーションの方式は、転移学習（transfer learning）に基づいて得られた上記機械学習のセグメンテーションモデルが用いられたため、大量の臨床データの収集及び大量の人工（例えば、病理医専門家）マーキングを回避し、これは、関連学習モデルの開発周期を大幅に短縮し、単細胞代謝撮像技術の臨床応用を大いに普及させた。

【0058】

本開示の実施例によれば、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得することは、転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して１回目の単細胞の画像セグメンテーションを行うことと、ウォーターシェッドセグメンテーション方式又はフラッディングセグメンテーション方式により１回目の単細胞のセグメンテーションが行われた画像に対して２回目のセグメンテーションを行い、前記複数の単細胞の代謝画像を取得することと、を含んでもよい。

【0059】

例として、既存の単細胞のセグメンテーションデータベースとニューラルネットワークセグメンテーションモデル（例えば、蛍光画像の単細胞のセグメンテーションに関するデータベースとニューラルネットワークセグメンテーションモデル）、及び少量の誘導ラマン細胞画像と人工マーキングデータにより、転移学習を使用して上記内容をトレーニングすれば、使用する必要な転移学習に基づくニューラルネットワークを取得し、それによって細胞の代謝画像に対して１回目の単細胞の画像セグメンテーションを行うことができる。１回目の単細胞の画像セグメンテーションを行った後の細胞の代謝画像には、細胞が非常に近く、セグメンテーションが不十分になるという問題が現れる可能性があり、単細胞のセグメンテーションの正確性をさらに向上させるために、ウォーターシェッドセグメンテーション方式（例えばウォーターシェッド（ＷａｔｅｒＳｈｅｄ）セグメンテーションアルゴリズム）又はフラッディングセグメンテーション方式（例えばフラッディング（ｆｌｏｏｄ－ｆｉｌｌ）アルゴリズム）で１回目の単細胞のセグメンテーションが行われた画像に対して２回目のセグメンテーションを行い、それによって前記複数の単細胞の代謝画像を取得する。

【0060】

本開示による上記セグメンテーション方式は、従来の人工リングによる単細胞セグメンテーション方式と比較し、ｆ１ ｓｃｏｒｅパラメータの値が９５％に達することができ、ＤＩＣＥパラメータの値が８９％に達することができるなど、単細胞セグメンテーション効果を評価する関連パラメータにおいて優れた値を有することができる。図２は、本開示による機械学習のセグメンテーションモデルに基づいて細胞の代謝画像に対して単細胞のセグメンテーションを行う効果図を示し、図２における（ａ）は、本開示による機械学習のセグメンテーションモデルの概念図を示し、６４、１２８、２５６と５１２は、コンボリューションカーネルの大きさがそれぞれ６４×６４、１２８×１２８、２５６×２５６と５１２×５１２であることをそれぞれ示し、図２における（ｂ）は、２つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行った後の効果図を示し、ここで複数の単細胞の代謝画像がセグメンテーションされる。効果図から分かるように、本開示による機械学習のセグメンテーションモデルは、細胞の代謝画像に対して単細胞の画像セグメンテーションを非常に正確に行うことができる。なお、本開示による機械学習のセグメンテーションモデルは、上記細胞の代謝画像に対して単細胞の画像セグメンテーションを行うことに限らない。実際には、本開示による機械学習のセグメンテーションモデルは、任意の画像に対して単細胞のセグメンテーションを行うことができ、例えば蛍光イメージングされた画像と免疫組織化学的に撮影された画像に対して単細胞の画像セグメンテーションを行うことができる。

【0061】

図１を引き続き参照すると、ステップＳ１３０において、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対して単細胞特徴を抽出し、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトル（ｓｐｅｃｔｒｕｍ）を取得することができ、前記単細胞の画像特徴スペクトルは、細胞の代謝特徴を少なくとも含む。

【0062】

例として、測定、算出等の既知の任意の方式で単細胞特徴を抽出することができる。各単細胞の代謝画像は、複数の単細胞特徴を抽出することができ、前記複数の単細胞特徴を組み合わせれば（例えば配列すれば）、当該単細胞の画像特徴スペクトルを取得することができる。

【0063】

例として、細胞の代謝特徴は、脂質の含有量（Ｌｉｐｉｄ Ｉｎｔｅｎｓｉｔｙ）と、脂質の濃度と、タンパク質の含有量と、タンパク質の濃度と、デオキシリボ核酸（ＤＮＡ）濃度と、脂質／タンパク質の含有量の比率（Ｌｉｐｉｄ ／Ｐｒｏｔｅｉｎ Ｉｎｔｅｎｓｉｔｙ）と、脂質／タンパク質の濃度の比率と、脂質／デオキシリボ核酸の濃度の比率と、脂肪滴の数と、脂肪滴の面積と、細胞の総面積を占める脂肪滴の面積の比率と、脂肪滴の範囲の脂質／タンパク質の濃度の比率と、脂質成分／タンパク質成分の面積の比率と、脂質成分／デオキシリボ核酸成分の面積の比率と、細胞の総面積を占める脂質成分比（Ｌｉｐｉｄ Ａｒｅａ Ｆｒａｃｔｉｏｎ）と、細胞の総面積を占めるタンパク質成分の比率と、脂質成分範囲の脂質／タンパク質の濃度の比率と、のうち少なくとも１つを含んでもよい。

【0064】

図３Ａに示すように、取得された、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルにおける脂質の含有量の分布図を示す。図３Ａに示された脂質の含有量分布図から分かるように、当該単細胞の代謝画像では脂質の含有量が１．０～３．０の間の細胞数が多く、脂質の含有量が増加するにつれて細胞の色が濃くなっている。図３Ａに示すように、脂質の含有量が比較的に低い時（例えば０．０～１．０の間）、細胞の色が比較的に薄く、図３Ａにおける（ａ）に示すように、脂質の含有量の比率が比較的に多い時（例えば１．０～３．０の間）、細胞の色が比較的に濃く、図３Ａにおける（ｂ）に示すように、脂質の含有量が多い時（例えば３．０～４．０の間）、細胞の色が最も濃く、図３Ａにおける（ｃ）に示される。

【0065】

本開示の実施例によれば、前記単細胞の画像特徴スペクトルは、細胞の形態学的特徴をさらに含んでもよい。

【0066】

例として、前記細胞の形態学的特徴は、細胞面積（Ａｒｅａ）と、細胞形状の球形度（Ｒｏｕｎｄ）と、細胞境界の円形度（Ｃｉｒｃｕｌａｒｉｔｙ）と、細胞の中心（Ｃｅｎｔｅｒ）と、細胞の中心偏心量（Ｅｃｃｅｎｔｒｉｃｉｔｙ）と、相当直径（Ｅｑｕｉｖａｌｅｎｔ Ｄｉａｍｅｔｅｒ）と、細胞周長（Ｐｅｒｉｍｅｔｅｒ）と、長軸の長さ（Ｍａｘ Ａｘｉｓ Ｌｅｎｇｔｈ）と、短軸の長さと、長軸／短軸の比率と、長軸／短軸の回転角度（Ｏｒｉｅｎｔａｔｉｏｎ）と、のうち少なくとも１つを含む。

【0067】

ステップＳ１４０において、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得することができる。

【0068】

本開示の実施例によれば、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得することは、所定の順番で前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを配列し、前記ターゲットオブジェクトの画像特徴スペクトルを取得することを含んでもよい。

【0069】

例として、各単細胞の代謝画像に対応する単細胞図形特徴スペクトルを順番に組み合わせれば、胃部からの脱落細胞に関する特徴スペクトルを取得するなど、ターゲットオブジェクトの特徴スペクトルを取得することができる。つまり、各単細胞の代謝画像に対応する単細胞図形特徴スペクトルを配列して組み合わせれば、単一症例（例えば、胃がん）に対する特徴スペクトルを取得することができる。図３Ｂに示すように、当該単一症例について得られた特徴スペクトルが示され、横軸は、各単細胞を示し、１番目の単細胞から最後の単細胞までの値を取り、縦軸は、特徴を示し、上記形態学特徴と代謝特徴のうち７つの特徴を例として選択し、横軸と縦軸で囲まれた領域に示された色の濃淡の異なる図形は、特徴値の高低を示し、特徴の値が高いほど、色が濃くなる。

【0070】

図１を引き続き参照すると、ステップＳ１５０において、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）することによって前記細胞をタイピングすることができ、前記タイピングは、前記細胞が所属される細胞の種類を指示する。

【0071】

本開示の実施例によれば、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングすることは、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することと、前記異なる種類の細胞の数に基づき、前記細胞をタイピングすることとを含んでもよい。

【0072】

例として、ｋ平均値（Ｋ－ｍｅａｎｓ）クラスタリング方式と、階層的クラスタリング方式と、自己組織化マップ（ｓｅｌｆ－ｏｒｇａｎｉｚａｔｉｏｎ ｍａｐ、ＳＯＭ）によるクラスタリング方式と、ファジー（Ｆｕｚｚｙ ｃ－ｍｅａｎｓ、ＦＣＭ）クラスタリング方式と、のうち少なくとも１つの方式によって前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することができる。

【0073】

例として、前記細胞の種類は、がん細胞、免疫細胞（例えば、好中球、嗜酸性顆粒球）、リンパ球、中皮細胞、上皮細胞、血球又は顆粒球を含んでもよい。

【0074】

例として、サポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、ＳＶＭ）分類器と、線形判別分類器と、Ｋ近傍（Ｋ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ、ＫＮＮ）分類器と、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ、ＬＲ）分類器と、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ、ＲＦ）決定木分類器と、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＡＮＮ）分類器と、深層学習畳み込みニューラルネットワーク（例えばＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、ＮＡＳｎｅｔ、ＶＧＧ等）分類器と、のうち少なくとも１つの分類器によって前記異なる種類の細胞の数に基づいて前記細胞をタイピングすることができる。

【0075】

上のクラスタリング方式によって、同じまたは類似の特徴を集め、異なる種類の細胞の数を得るのに役立ち、そしてクラスタリング後の同じ種類のすべての特徴値の平均値に基づき、当該細胞の種類を決定することができる。例えば、第１種の細胞数は、２０００であり、第２種の細胞数は、１０００であり、第３種の細胞数は、１００００であり、第１種の全ての特徴値について得られた平均値は、例えば１．３であり、第２種の全ての特徴値について得られた平均値は、例えば０．８であり、第３種の全ての特徴値について得られた平均値は、例えば２．２であり、例えば予め臨床試験に基づいて平均値が１以下のものを上皮細胞、１～２の間のものをリンパ球、２～３の間のものをがん細胞に設定する場合、上記結果から分かるように、第１種の細胞は、リンパ球、第２種の細胞は、上皮細胞、第３種の細胞は、がん細胞であり、上記は、単に例示的な例として、当業者は、実際の状況に応じて適切な値を柔軟に設定することができる。

【0076】

本開示の実施例によれば、本開示による細胞のセグメンテーション及びタイピング方法は（図１には図示せず）、前記ターゲットオブジェクトの画像特徴スペクトルに対して主成分を分析して、各単細胞の画像特徴スペクトルに対応する主成分情報を取得することであって、異なる種類の細胞の主成分情報が異なることと、前記主成分情報に基づき、同じ種類の細胞の代謝特徴標的を取得することと、代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定することと、をさらに含んでもよい。

【0077】

例として、ターゲットオブジェクトの画像特徴スペクトルに対する主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）は、取得された細胞の特徴を次元圧縮するのに役立ち、それにより各特徴の定量化を容易にする。

【0078】

例として、異なる種類の細胞の主成分情報が異なり、且つ主成分情報に基づいて同じ種類の細胞の代謝特徴標的（有意特徴点ともいう）を取ることができ、同じ種類の脱落細胞の代謝特徴の中心位置を取るのに役立つ。例えば、主成分分析後、１つの単細胞のすべての特徴を３つの特徴に次元圧縮し、そしてすべての当該同じ種類の各単細胞のすべての次元圧縮後の特徴をまとめて分析すれば、当該種類の細胞の代謝特徴の中心位置、すなわち代謝特徴標的を決定することができる。

【0079】

例として、がん細胞の代謝特徴の主成分は、他の種類の脱落細胞と明らかな差異があり、上記主成分分析と教師なし学習クラスタリングアルゴリズムを経て単細胞のセグメンテーション及びタイピングを実現した後、図３Ｃに示すようながん細胞と正常細胞の模式図を得て、ＰＯＳは陽性症例を表し、ＮＥＧは陰性症例を表し、ＰＣ１とＰＣ２は主成分分析の軸であり、直交関係である。図３Ｃにおいて、大きな丸で囲まれたのは、正常細胞の領域であり、小さな丸で囲まれたのは、腫瘍細胞の領域であり、ここで各点は、１つの細胞を表し、図３ＣのＡ、ＢおよびＣは、細胞の代謝画像における腫瘍細胞の位置を指示する。

【0080】

上記教師なし学習クラスタリングアルゴリズムが単細胞タイピングを実現することから分かるように、本開示による方法は、大量のＳＲＳ画像や人工マーキングを必要とせずに高精度の単細胞タイピングを実現することができ、関連モデルの開発期間をさらに短縮することができる。また、主成分分析連合クラスタリング方式による異種脱落細胞数と代謝特徴標的の定量化は、例えば胃がん腹膜診断モデルをトレーニングするための特徴入力として、未処理の画像特徴トレーニングを入力する機械学習モデルよりも高い精度を有する。

【0081】

本開示の実施例によれば、代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定することは、前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を決定することを含んでもよい。

【0082】

例として、胃がんを例として、例えばがん細胞の数、上皮細胞の数、免疫細胞の数、血球の数、がん細胞の代謝特徴標的、上皮細胞の代謝特徴標的、免疫細胞の代謝特徴標的、血球の代謝特徴標的、及び対応する実際の検査結果（例えばがん早期、がん中期、がん中晩期及びがん晩期）を機械学習の分類モデルに入力してトレーニングすれば、予めトレーニングされた機械学習の分類モデルを取得することができる。

【0083】

前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を迅速に正確に決定することができ、それにより、ターゲットオブジェクトを迅速に正確に診断することができる。例えば、ターゲットオブジェクトの病変程度を腹膜転移陽性と決定すれば、「がん晩期」という結果を迅速かつ正確に診断するのに役立ち、それにより医師が的確な治療を行うのに役立つ。

【0084】

上述した図１～図３Ｃを結び付けて本開示による機械学習に基づく細胞のセグメンテーション及びタイピング方法から分かるように、本開示による方法は、単細胞のセグメンテーションを転移学習を用いて実現すること、および教師なし学習クラスタリング方式を用いて実現することにより、大量のＳＲＳ画像や人工マーキングを必要とせずに高精度な単細胞のセグメンテーションを実現することができ、モデル開発期間を大幅に短縮することができる。また、主成分分析連合クラスタリング方式による異種脱落細胞数と代謝特徴標的の定量化のため、トレーニングされた機械学習モデルは、より高い精度を有する。上記内容から分かるように、本開示による上記方法は、病理医の主観的要素による影響を受けることなく、細胞形態への損傷を回避し、細胞の正確なタイピングを実現することにより、単細胞代謝撮像技術の臨床応用を大幅に普及させることができる。

【0085】

上記本開示による機械学習に基づく細胞のセグメンテーション及びタイピング方法をより明確にするために、次に本開示による上記方法を一例として説明する。

【0086】

図４は、本開示の実施例による細胞のセグメンテーション及びタイピング方法の例示的な図を示す。

【0087】

図４を参照すると、ステップａにおいて、ラマン撮像技術に基づき、胃がん患者の胃部から取得された脱落細胞について、タンパク質チャンネルと脂質チャンネルのこの２つのチャンネルによって２つのＳＲＳ単細胞の代謝画像を取得した。

【0088】

ステップｂにおいて、上記機械学習のセグメンテーションモデルにより上記２つのＳＲＳ単細胞の代謝画像に対して単細胞のセグメンテーションをそれぞれ行い、図に示されるように、複数の単細胞の代謝画像を取得する。

【0089】

ステップｃにおいて、前記２つのＳＲＳ単細胞の代謝画像におけるセグメンテーションされた各単細胞の代謝画像に対して単細胞特徴を抽出し、抽出された特徴は、脂質の含有量と、脂質／タンパク質の含有量の比率と、細胞の総面積を占める脂質成分の比率と、細胞の総面積を占めるタンパク質成分の比率と、脂質成分範囲の脂質／タンパク質の濃度の比率と、細胞形状の球形度と、細胞の中心偏心量と、長軸／短軸の比率と、の計８つの特徴を含む。上述した各単細胞の代謝画像毎に抽出された単細胞特徴を組み合わせれば、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを取得することができ（図にそのうち脂質の含有量分布図が示される）、上記２つのＳＲＳ単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを順番に組み合わせれば、図に示されるように、胃がんに対する特徴スペクトルを取得することができる。

【0090】

ステップｄにおいて、当該胃がんの症例の特徴スペクトルに対してクラスタリング（すなわち教師なし学習の方法を採用して）と主成分分析を行い、異なる種類の細胞の数と同じ種類の細胞の代謝特徴標的を取得する。図には、当該症例の各単細胞ごとの主成分分析の３つの成分ＰＣ１、ＰＣ２とＰＣ３の模式図及び単細胞分類の効果図が示される。

【0091】

ステップｅにおいて、ステップｄで取得された異なる種類の細胞の数と同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデル（すなわち教師あり学習を採用するモデル）に入力し、当該胃がんの症例を腹膜転移陽性と決定し、その時点でがん晩期に達していることを説明する。

【0092】

上述した図４を結び付けて例の形式で詳細に記述された、本開示による細胞のセグメンテーション及びタイピング方法から分かるように、本開示による方法は、教師あり学習及び教師なし学習をうまく組み合わせ、細胞のセグメンテーション、タイピング及びオブジェクトの病変程度の決定の正確性を高め、病理医の主観的要素による影響を回避し、細胞形態に損傷を与えない。

【0093】

本開示による上記方法は、図５～図７に示されるように、肺がんおよび胃がんの脱落細胞を検出する例において優れた効果を有する。

【0094】

図５は、陽性細胞系（ＣｅｌｌＬｉｎｅ）と陰性細胞系の単細胞をタイピングする効果図を示す。図５において、胃がん細胞内の異常な脂質代謝を細胞系を用いて検証した。２つの細胞系（それぞれ陽性細胞系（ＳＮＵなど）と陰性細胞系（ＧＥＳなど）である）を選択でテストした。７つの細胞の代謝特徴を選択して抽出し、それぞれは、脂質／タンパク質の含有量の比率（Ｌｉｐｉｄ／ＰＲＯ Ｉｎｔ）、細胞の総面積を占める脂質成分比（Ｌｉｐｉｄ ａｒｅａ ｆｒａｃｔｉｏｎ）、タンパク質の含有量（Ｐｒｏｔｅｉｎ Ｉｎｔ）、脂質の含有量（Ｌｉｐｉｄ Ｉｎｔ）、細胞面積（Ａｒｅａ）、細胞形状の球形度（Ｒｏｕｎｄ）、細胞境界の円形度（Ｃｉｒｃｌｅ）である。図５中の（ａ）に示されるのは、マルチチャネルＳＲＳ画像であり、（ｂ）に示されるのは、主成分分析及びクラスタリング後の図であり、（ｃ）に示されるのは、細胞の代謝特徴の自己相関係数であり、（ｄ）は、統計的単細胞タイピングの感度と特異度を交差検証し、真陽性正確率９８．３６％、偽陽性誤り率１．６４％、偽陰性誤り率０％、および真陰性正確率１００％を示す。図から分かるように、本開示による方法に基づいて実現される細胞タイピングの正確率は、９８．３６％であり、特異度は、１００％である。

【0095】

図６は、代謝特徴有意差パラメータ（ｐ－ｖａｌｕｅ）の値の模式図を示す。図６を参照すると、胃がんの腹膜転移／非転移症例の腹腔洗浄脱落細胞の代謝特徴を統計して比較し、腹膜転移と非転移症例を比較し、単細胞の代謝特徴は、明らかな差異があり、しかも代謝特徴は、形態学特徴のｐ－ｖａｌｕｅよりも小さく、腹膜転移診断のための単細胞代謝撮像技術によって提供される代謝と形態情報が、従来の検査方法が形態学情報のみを提供するよりも正確であることがさらに証明されている。つまり、図６に示される結果から分かるように、本開示による方法に基づいて抽出された細胞の代謝特徴を含む単細胞の画像特徴スペクトルは、細胞の形態学的特徴のみを抽出する従来の方法よりも、胃がんの病変程度を決定する上でより正確である。

【0096】

図７は、単細胞代謝撮像が胃がんの腹膜転移症例診断を実現する感度（Ｓｅｎｓｉｔｉｖｉｔｙ）と特異度（ｓｐｅｃｉｆｉｃｉｔｙ）の模式図を示す。３４個の症例の脱落細胞の代謝特徴を初歩的に研究し、単一症例の脱落細胞数と代謝特徴標的を抽出し、機械学習アルゴリズムは、胃がんの腹膜転移／非転移の予測を実現した。術中腹腔鏡転移巣の探査結果をゴールド標準とすることに基づいて、統計的機械学習診断モデルの感度と特異度を交差検証した。

【0097】

図７を参照すると、（ａ）は、３４個の陽性（ＰＯＳ）症例と陰性（ＮＥＧ）症例のがん細胞（例えば、異常リンパ球（ａｔｙｐｉｃａｌ ｌｙｍｐｈｏｃｙｔｅ））の代謝特徴の主成分を比較したものであり、（ｂ）は、交差検証した結果であり、（ｃ）は、感度と特異度曲線を作成して算出した曲線下面積ＡＵＣである。図７から分かるように、本開示による方法に基づいて実現された感度および特異度は、それぞれ８４．６２５％および８５．７１％であり、曲線下面積ＡＵＣ＝０．８７９である。

【0098】

図５から図７までの詳細な実験データから分かるように、本開示による方法に基づく単細胞セグメンテーションの正確性は９５％程度であり、陽性／陰性細胞系が単細胞タイピングを検証する正確性は９８％以上に達し、陰性／陽性胃がんの症例の単細胞代謝特徴は有意差があり、ｐ－ｖａｌｕｅは０．０５よりはるかに小さく、腹膜転移予測のための単細胞代謝撮像の感度、特異度は８５％に達し、感度と（１－特異度）の関係図を作成してＲＯＣ曲線を生成し、曲線下面積（ＡＵＣ＝０．８９）を算出した。

【0099】

また、膵臓がん脱落細胞検査を例として実験を行った。

【0100】

具体的には、膵臓がん症例の膵臓組織から少量の膵臓がん脱落細胞を抽出し、標本の塗抹（ｓｍｅａｒ）を行い、各サンプルは、上記と同様なサンプルを処理すること、サンプルをイメージングすること、イメージングデータを分析することを行った後、正常組織／切縁組織／がん組織を区別し、術中の切縁検査を実現する。

【0101】

得られた実験データは以下の通りである。正常組織／がん組織の単細胞の代謝特徴は、明らかに差異があり、ｐ－ｖａｌｕｅは０．０５よりはるかに小さい。脱落細胞タイピングのための単細胞代謝撮像の感度、特異度は７０％と８５％に達し、感度と（１－特異度）の関係図を作成してＲＯＣ曲線を生成し、曲線下面積（ＡＵＣ＝０．８）を算出した。組織切縁検査のための単細胞代謝撮像の感度、特異度は９８％と９８％に達し、感度と（１－特異度）の関係図を作成してＲＯＣ曲線を生成し、曲線下面積（ＡＵＣ＝０．９８）を算出した。

【0102】

上記様々な実験からも分かるように、本開示による細胞のセグメンテーション及びタイピング方法は、感度および特異度が共に高く、臨床によく適用され、がんの治療のために有効かつ迅速で正確な新しい方法を提供する。

【0103】

本開示は、上述した機械学習に基づく細胞のセグメンテーション及びタイピング方法のほか、機械学習に基づく細胞のセグメンテーション及びタイピング装置をさらに提供する。以下では図８を結び付けて説明する。

【0104】

図８は、本開示の実施例による機械学習に基づく細胞のセグメンテーション及びタイピング装置８００のブロック図を示す。機械学習に基づく細胞のセグメンテーション及びタイピング方法に関する上述の説明は、特に明確な説明がない限り、装置８００にも同様に適用される。

【0105】

図８を参照すると、前記装置８００は、取得モジュール８１０、セグメンテーションモジュール８２０、特徴抽出モジュール８３０、スペクトル組み合わせモジュール８４０とタイピングモジュール８５０を含んでもよい。

【0106】

本開示の実施例によれば、取得モジュール８１０は、ターゲットオブジェクトの少なくとも１つの細胞の代謝画像を取得するように構成されてもよい。

【0107】

例として、ターゲットオブジェクトは、胃、肺等の人体の器官又は組織であってもよい。ターゲットオブジェクトは、胃部のがん細胞の状況を判断するために、胃部から取得された脱落細胞など、人体の器官又は組織から取得された脱落細胞であってもよい。

【0108】

例として、細胞の代謝画像は、ラマンイメージングに基づく画像であってもよい。

【0109】

例として、細胞の代謝画像は、タンパク質チャンネル、脂質チャンネル又はＤＮＡチャンネルなどの、１つのチャンネルによって取得されたものであってもよい。

【0110】

別の例として、細胞の代謝画像は、タンパク質チャンネルと、脂質チャンネルと、ＤＮＡチャンネルとの３つのチャンネルを含む、複数のチャンネルによって取得されたものであってもよい。

【0111】

例として、１つの症例（例えば、胃がんの症例又は肺がんの症例）について、１つ又は複数のチャンネルによって上記少なくとも１つの細胞の代謝画像を取得することができる。

【0112】

本開示の実施例によれば、セグメンテーションモジュール８２０は、機械学習のセグメンテーションモデルによって前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、複数の単細胞の代謝画像を取得するように構成されてもよい。

【0113】

例として、セグメンテーションモジュール８２０は、転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）に基づくニューラルネットワークにより前記少なくとも１つの細胞の代謝画像に対して単細胞の画像セグメンテーションを行い、前記複数の単細胞の代謝画像を取得することを含んでもよい。

【0114】

既存の単細胞のセグメンテーションデータベースとニューラルネットワークセグメンテーションモデル（例えば蛍光画像の単細胞のセグメンテーションに関するデータベースとニューラルネットワークセグメンテーションモデル）、及び少量の誘導ラマン細胞画像と人工マーキングデータにより、転移学習を使用して上記内容をトレーニングすることによって、使用する必要な機械学習のセグメンテーションモデルを取得することができ、それにより高精度な単細胞の代謝画像セグメンテーションを実現することができる。

【0115】

従来のニューラルネットワークアルゴリズムが画像セグメンテーションを実現する方式とは異なり、本開示による上記画像セグメンテーションの方式は、転移学習に基づいて得られた上記機械学習のセグメンテーションモデルが用いられたため、大量の臨床データの収集及び大量の人工（例えば病理医専門家）マーキングを回避し、これは、関連学習モデルの開発周期を大幅に短縮し、単細胞代謝撮像技術の臨床応用を大いに普及させた。

【0116】

別の例として、セグメンテーションモジュール８２０は、転移学習に基づくニューラルネットワークによって前記少なくとも１つの細胞の代謝画像に対して１回目の単細胞の画像セグメンテーションを行うように構成される１回目のセグメンテーションモジュールと、ウォーターシェッドセグメンテーション方式又はフラッディングセグメンテーション方式により１回目の単細胞のセグメンテーションが行われた画像に対して２回目のセグメンテーションを行い、前記複数の単細胞の代謝画像を取得するように構成される２回目のセグメンテーションモジュールと、を含んでもよい。

【0117】

本開示の実施例によれば、特徴抽出モジュール８３０は、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対して単細胞特徴を抽出して、前記単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを取得するように構成されてもよく、前記単細胞の画像特徴スペクトルは、細胞の代謝特徴を少なくとも含む。

【0118】

例として、測定、算出等の既知の任意の方式で単細胞特徴を抽出することができる。各単細胞の代謝画像は、複数の単細胞特徴を抽出することができ、前記複数の単細胞特徴を組み合わせれば（例えば、配列すれば）当該単細胞の画像特徴スペクトルを取得することができる。

【0119】

例として、細胞の代謝特徴は、脂質の含有量（Ｌｉｐｉｄ Ｉｎｔｅｎｓｉｔｙ）と、脂質の濃度と、タンパク質の含有量と、タンパク質の濃度と、デオキシリボ核酸（ＤＮＡ）濃度と、脂質／タンパク質の含有量の比率（Ｌｉｐｉｄ ／Ｐｒｏｔｅｉｎ Ｉｎｔｅｎｓｉｔｙ）と、脂質／タンパク質の濃度の比率と、脂質／デオキシリボ核酸の濃度の比率と、脂肪滴の数と、脂肪滴の面積と、細胞の総面積を占める脂肪滴の面積の比率と、脂肪滴の範囲の脂質／タンパク質の濃度の比率と、脂質成分／タンパク質成分の面積の比率と、脂質成分／デオキシリボ核酸成分の面積の比率と、細胞の総面積を占める脂質成分比（Ｌｉｐｉｄ Ａｒｅａ Ｆｒａｃｔｉｏｎ）と、細胞の総面積を占めるタンパク質成分の比率と、脂質成分範囲の脂質／タンパク質の濃度の比率と、のうち少なくとも１つを含んでもよい。

【0120】

本開示の実施例によれば、前記単細胞の画像特徴スペクトルは、細胞の形態学的特徴をさらに含んでもよい。

【0121】

例として、前記細胞の形態学的特徴は、細胞面積（Ａｒｅａ）と、細胞形状の球形度（Ｒｏｕｎｄ）と、細胞境界の円形度（Ｃｉｒｃｕｌａｒｉｔｙ）と、細胞の中心（Ｃｅｎｔｅｒ）と、細胞の中心偏心量（Ｅｃｃｅｎｔｒｉｃｉｔｙ）と、相当直径（Ｅｑｕｉｖａｌｅｎｔ Ｄｉａｍｅｔｅｒ）と、細胞周長（Ｐｅｒｉｍｅｔｅｒ）と、長軸の長さ（Ｍａｘ Ａｘｉｓ Ｌｅｎｇｔｈ）と、短軸の長さと、長軸／短軸の比率と、長軸／短軸の回転角度（Ｏｒｉｅｎｔａｔｉｏｎ）と、のうち少なくとも１つを含む。

【0122】

本開示の実施例によれば、スペクトル組み合わせモジュール８４０は、前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを組み合わせ、前記ターゲットオブジェクトの画像特徴スペクトルを取得するように構成されてもよい。

【0123】

例として、スペクトル組み合わせモジュール８４０は、所定の順番で前記複数の単細胞の代謝画像のうち各単細胞の代謝画像に対応する単細胞の画像特徴スペクトルを配列し、前記ターゲットオブジェクトの画像特徴スペクトルを取得することを含んでもよい。例えば、各単細胞の代謝画像に対応する単細胞図形特徴スペクトルを順番に組み合わせ、胃部からの脱落細胞に関する特徴スペクトルを取得するなど、ターゲットオブジェクトの特徴スペクトルを取得することができる。つまり、各単細胞の代謝画像に対応する単細胞図形特徴スペクトルを配列して組み合わせれば、単一症例（例えば胃がん）に対する特徴スペクトルを取得することができる。

【0124】

本開示の実施例によれば、タイピングモジュール８５０は、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングすることによって前記細胞をタイピングするように構成されてもよく、前記タイピングは、前記細胞が所属される細胞の種類を指示する。

【0125】

例として、タイピングモジュール８５０は、前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することと、前記異なる種類の細胞の数に基づき、前記細胞をタイピングすることと、を含んでもよい。

【0126】

例として、ｋ平均値（Ｋ－ｍｅａｎｓ）クラスタリング方式と、階層的クラスタリング方式と、自己組織化マップ（ｓｅｌｆ－ｏｒｇａｎｉｚａｔｉｏｎ ｍａｐ、ＳＯＭ）によるクラスタリング方式と、ファジー（Ｆｕｚｚｙ ｃ－ｍｅａｎｓ、ＦＣＭ）クラスタリング方式と、のうち少なくとも１つの方式によって前記ターゲットオブジェクトの画像特徴スペクトルをクラスタリングして、異なる種類の細胞の数を取得することができる。

【0127】

例として、前記細胞の種類は、がん細胞、免疫細胞（例えば、好中球（ｎｅｕｔｒｏｐｈｉｌｉｃｇｒａｎｕｌｏｃｙｔｅ）、嗜酸性顆粒球）、リンパ球、中皮細胞、上皮細胞、血球又は顆粒球を含んでもよい。

【0128】

例として、サポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、ＳＶＭ）分類器と、線形判別分類器、Ｋ近傍（Ｋ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ、ＫＮＮ）分類器と、ロジスティック回帰（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ、ＬＲ）分類器と、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ、ＲＦ）決定木分類器と、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＡＮＮ）分類器と、深層学習畳み込みニューラルネットワーク（例えばＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、ＮＡＳｎｅｔ、ＶＧＧ等）分類器と、のうち少なくとも１つの分類器によって前記異なる種類の細胞の数に基づいて前記細胞をタイピングすることができる。

【0129】

上のクラスタリング方式によって、同じまたは類似の特徴を集め、異なる種類の細胞の数を得るのに役立ち、そしてクラスタリング後の同じ種類のすべての特徴値の平均値に基づき、当該細胞の種類を決定することができる。例えば、第１種の細胞数は、２０００であり、第２種の細胞数は、１０００であり、第３種の細胞数は、１００００であり、第１種の全ての特徴値について得られた平均値は、例えば１．３であり、第２種の全ての特徴値について得られた平均値は、例えば０．８であり、第３種の全ての特徴値について得られた平均値は、例えば２．２であり、例えば予め臨床試験に基づいて平均値が１以下のものを上皮細胞、１～２の間のものをリンパ球、２～３の間のものをがん細胞に設定する場合、上記結果から分かるように、第１種の細胞は、リンパ球、第２種の細胞は、上皮細胞、第３種の細胞は、がん細胞であり、上記は、単に例示的な例として、当業者は、実際の状況に応じて適切な値を柔軟に設定することができる。

【0130】

本開示の実施例によれば、本開示による細胞のセグメンテーション及びタイピング装置は、主成分分析モジュール、標的取得モジュールと病変決定モジュールをさらに含んでもよく（図８には図示せず）、主成分分析モジュールは、前記ターゲットオブジェクトの画像特徴スペクトルに対して主成分を分析して、各単細胞の画像特徴スペクトルに対応する主成分情報を取得するように構成されてもよく、異なる種類の細胞の主成分情報が異なり、標的取得モジュールは、前記主成分情報に基づき、同じ種類の細胞の代謝特徴標的を取得するように構成されてもよく、病変決定モジュールは、代謝特徴標的に基づいてターゲットオブジェクトの病変程度を決定するように構成されてもよい。

【0131】

例として、ターゲットオブジェクトの画像特徴スペクトルに対する主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）は、取得された細胞の特徴を次元圧縮するのに役立ち、それにより各特徴の定量化を容易にする。

【0132】

本開示の実施例によれば、前記病変決定モジュールは、さらに、前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を決定する。

【0133】

例として、胃がんを例として、例えば、がん細胞の数、上皮細胞の数、免疫細胞の数、血球の数、がん細胞の代謝特徴標的、上皮細胞の代謝特徴標的、免疫細胞の代謝特徴標的、血球の代謝特徴標的、及び対応する実際的な検査結果（例えば、がん早期、がん中期、がん中晩期及びがん晩期）を機械学習の分類モデルに入力してトレーニングすれば、予めトレーニングされた機械学習の分類モデルを取得することができる。

【0134】

前記異なる種類の細胞の数及び前記同じ種類の細胞の代謝特徴標的を予めトレーニングされた機械学習の分類モデルに入力し、前記ターゲットオブジェクトの病変程度を迅速に正確に決定することができ、それにより、ターゲットオブジェクトを迅速に正確に診断することができる。例えば、ターゲットオブジェクトの病変程度を腹膜転移陽性と決定すれば、「がん晩期」という結果を迅速かつ正確に診断するのに役立ち、それにより医師が的確な治療を行うのに役立つ。

【0135】

以上、本開示による機械学習に基づく細胞のセグメンテーション及びタイピング方法の説明にあたって、上記動作に係る内容の詳細について紹介したので、ここでは簡潔のために言及しないが、関連する詳細は、図１～図７に関して上述した記述を参照することができる。

【0136】

以上は、開示の実施例による機械学習に基づく細胞のセグメンテーション及びタイピング方法並びに装置について図１～図８を参照して記述した。しかしながら、理解すべきこととして、図８に示された装置中の各モジュールは、それぞれ、特定の機能を実行するソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせとして構成されてもよい。例えば、これらのモジュールは、専用の集積回路に対応してもよく、純粋なソフトウェアコードに対応してもよく、また、ソフトウェアとハードウェアとを組み合わせたモジュールに対応してもよい。

【0137】

なお、以上、機械学習に基づく細胞のセグメンテーション及びタイピング装置８００について記述した際には、それぞれの処理を実行するためのモジュールに分割したが、各モジュールが実行する処理は、機械学習に基づく細胞のセグメンテーション及びタイピング装置が何ら具体的なモジュール分割を行わないか、またはモジュール間に明確な境界がない場合にも実行できることは、当業者には明らかである。また、図８を参照して上述された装置は、上述されたモジュールを含むことに限るものではなく、必要に応じて他のモジュール（例えば、記憶モジュール、データ処理モジュール等）を追加してもよく、または以上のモジュールは組み合わせられてもよい。

【0138】

なお、本開示による機械学習に基づく細胞のセグメンテーション及びタイピング方法は、コンピュータ可読記録媒体に記録することができる。具体的には、本開示によれば、プロセッサによって実行される場合プロセッサに上述した機械学習に基づく細胞のセグメンテーション及びタイピング方法の実行を促すことができるコンピュータ実行可能な指令が記憶されるコンピュータ可読記録媒体を提供する。コンピュータ可読記録媒体の例としては、磁気媒体（例えば、ハードディスク、フロッピーディスク、磁気テープ）、光学媒体（ＣＤ－ＲＯＭやＤＶＤなど）、光磁気媒体（例えば、光ディスク）、プログラム命令を記憶して実行するために特別に用意されたハードウェア装置（例えば、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ等）を含んでもよい。

【0139】

なお、本開示は、機械学習に基づく細胞のセグメンテーション及びタイピング機器をさらに提供し、次に図９を結び付けて説明する。

【0140】

図９は、本開示の実施例による機械学習に基づく細胞のセグメンテーション及びタイピング機器９００の構造図を示す。機械学習に基づく細胞のセグメンテーション及びタイピング方法に関する上述の説明は、特に明確な説明がない限り、機器９００にも同様に適用される。

【0141】

図９を参照すると、機器９００は、プロセッサ９０１とメモリ９０２とを含んでもよい。プロセッサ９０１とメモリ９０２とは、いずれもバス９０３によって接続されることができる。

【0142】

プロセッサ９０１は、メモリ９０２に記憶されるプログラムに基づいて様々な動作と処理を実行することができる。具体的には、プロセッサ９０１は、集積回路チップであってもよく、信号の処理能力を有する。上記プロセッサは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定の用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、個別ハードウェアアセンブリであってもよい。本願の実施例において開示された各方法、ステップ、及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、任意の通常のプロセッサ等であってもよく、Ｘ８６アーキティクチャ又はＡＲＭアーキティクチャであってもよい。

【0143】

メモリ９０２にコンピュータ実行可能な指令が記憶されており、コンピュータ実行可能な指令がプロセッサ９０１によって実行される場合上記プロセッサによって実行された機械学習に基づく細胞のセグメンテーション及びタイピング方法を実現する。メモリ９０２は、揮発性メモリ又は不揮発性メモリであってもよく、又は揮発性メモリと不揮発性メモリの両方を含んでもよい。不揮発性メモリは、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）又はフラッシュメモリであってもよい。揮発性メモリは、外部キャッシュとして使用されるランダムアクセスメモリ（ＲＡＭ）であってもよい。例示的であるが、限定的ではない説明により、多くの形式のＲＡＭが使用可能であり、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ）、拡張型同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ）、同期接続ダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ）、及びダイレクトランバスランダムアクセスメモリ（ＤＲ ＲＡＭ）である。なお、本明細書に記述された方法のメモリは、これら及び任意の他の適切な種類のメモリを含むが、それらに限らないことを意図する。

【0144】

なお、添付図面におけるフローチャートとブロック図は、本開示の様々な実施例のシステム、方法とコンピュータプログラム製品に従って実現できるアーキテクチャ、機能と操作を図示している。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、前記モジュール、プログラムセグメント、又はコードの一部は、所定のロジック機能を実現するための少なくとも一つの実行可能な指令を含む。なお、代替としての一部の実現において、ブロックに表示された機能は、添付図面に表示された順序と異なる順番で発生してもよい。例えば、連続的に表された２つのブロックは、実際には実質的に並列に実行されてもよく、係る機能に応じて逆の順番で実行されてもよい場合がある。なお、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアベースのシステムによって実現されてもよく、又は専用ハードウェアとコンピュータ指令との組み合わせによって実現されてもよい。

【0145】

一般的に、本開示の様々な例示的な実施例は、ハードウェアまたは専用回路、ソフトウェア、ファームウェア、ロジック、またはそれらの任意の組み合わせで実施することができる。いくつかの態様は、ハードウェアで実施されてもよく、他の態様は、コントローラ、マイクロプロセッサ、または他のコンピューティングデバイスによって実行されてもよいファームウェアまたはソフトウェアで実施されてもよい。本開示の実施例の様々な態様がブロック図、フローチャート、または何らかの他の図形表現として図示または記述されている場合、本明細書に記述されたブロック、装置、システム、技術、または方法は、ハードウェア、ソフトウェア、ファームウェア、専用回路または論理、汎用ハードウェアまたはコントローラ、または他のコンピューティングデバイス、またはそれらのいくつかの組み合わせにおいて、非限定的な例として実施され得ることが理解される。

【0146】

上記で詳細に記述された本開示の例示的な実施例は、単に例示的なものであり、限定的なものではない。当業者は、本開示の原理および精神を逸脱することなく、これらの実施例又はその特徴を様々な修正および組み合わせ可能であり、そのような修正は、本開示の範囲内に入るべきであることを理解すべきである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】