特許 7473893 診断支援方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-16

(45)【発行日】2024-04-24

(54)【発明の名称】診断支援方法及びそのシステム

(51)【国際特許分類】

   G01N 33/48 20060101AFI20240417BHJP

   G01N 33/483 20060101ALI20240417BHJP

   G06T 7/00 20170101ALI20240417BHJP

   C12M 1/34 20060101ALN20240417BHJP

【ＦＩ】

G01N33/48 M

G01N33/483 C

G06T7/00 630

C12M1/34 D

【請求項の数】 4

(21)【出願番号】P 2020052424

(22)【出願日】2020-03-24

(65)【公開番号】P2021152463

(43)【公開日】2021-09-30

【審査請求日】2023-01-06

(73)【特許権者】

【識別番号】599024540

【氏名又は名称】株式会社ブレイン

(73)【特許権者】

【識別番号】513099603

【氏名又は名称】兵庫県公立大学法人

(74)【代理人】

【識別番号】100086830

【弁理士】

【氏名又は名称】塩入 明

(74)【代理人】

【識別番号】100096046

【弁理士】

【氏名又は名称】塩入 みか

(72)【発明者】

【氏名】森本 雅和

(72)【発明者】

【氏名】初田 真幸

(72)【発明者】

【氏名】土橋 康成

【審査官】小澤 理

(56)【参考文献】

【文献】特開２０１６－１０５０７２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１７１９０９（ＷＯ，Ａ１）

【文献】特開２０１５－１１４１７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００２７１７４（ＵＳ，Ａ１）

【文献】甲斐千遥, 外，Radiogenomicsによるトリプルネガティブ乳がんの鑑別における特徴量の決定，日本放射線技術学会誌，2019年，Vol.75, No.1，p.24-31

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／４８

Ｇ０１Ｎ ３３／４８３

Ｇ０６Ｔ ７／００

Ｃ１２Ｍ １／３４

(57)【特許請求の範囲】

【請求項1】

被検者から採取された細胞群あるいは生体組織から成るサンプル画像を、診断支援システムにより画像認識することにより、複数の特徴量を得ると共に、
得られた複数の特徴量を用い、回帰分析により疾病の可能性を評価するための指標を提示する、診断支援方法において、
a：前記サンプル画像を、画像認識により得られた特徴量の全体を用いて回帰分析することにより、疾病の可能性を全体的に評価するための指標を作成するステップと、
b：前記サンプル画像を、画像認識により得られた特徴量全体の真部分集合を複数用いて回帰分析することにより、疾病の可能性を真部分集合毎に評価するための指標を作成するステップと、
ｃ：疾病の可能性の全体的評価に関する指標と真部分集合毎の評価に関する指標を共に提示するステップを行い、
さらに、前記複数の真部分集合は複数の特徴量から成る真部分集合を含む、ことを特徴とする診断支援方法。

【請求項2】

ステップａ，ｂでは、ランダムフォレストにより回帰分析することを特徴とする、請求項１の診断支援方法。

【請求項3】

ステップａ，ｂではそれぞれ、回帰分析により疾病の可能性の中間評価のための中間指標を作成する第１のサブステップを実行し、
ｄ：正常であると細胞検査士あるいは細胞診専門医により判定済みのサンプル画像、及び異常であると細胞検査士あるいは細胞診専門医により判定済みのサンプル画像に対して、ステップａ，ｂの第１のサブステップでの中間指標の分布を記憶するステップを予め実行しておくと共に、
ステップａ，ｂのそれぞれで、前記第１のサブステップを実行した後に、ステップｄで記憶した２種類の中間指標の分布に対する、前記第１のサブステップで回帰分析により求めた中間指標の位置に基づいて、疾病の可能性を評価するための指標を作成する第２のサブステップを実行することを特徴とする、請求項１の診断支援方法。

【請求項4】

被検者から採取された細胞群あるいは生体組織から成るサンプル画像を画像認識することにより、複数の特徴量を得るための、画像認識手段と、
得られた複数の特徴量を用い回帰分析により疾病の可能性を評価するための、回帰分析手段と、
回帰分析手段により得られた評価を外部へ提示するための、提示手段を備える、診断支援システムにおいて、
前記回帰分析手段は、
a：前記サンプル画像を、画像認識により得られた特徴量の全体を用いて回帰分析することにより、疾病の可能性を全体的に評価する機能と、
b：前記サンプル画像を、画像認識により得られた特徴量全体の真部分集合を複数用いて回帰分析することにより、疾病の可能性を真部分集合毎に評価する機能とを備え、さらに前記複数の真部分集合は複数の特徴量から成る真部分集合を含み、
前記提示手段は、疾病の可能性の全体的評価と真部分集合毎の評価を共に外部へ提示するように構成されている、ことを特徴とする診断支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、画像認識を用いた、細胞診、組織診断等の支援に関する。

【背景技術】

【0002】

細胞診では被検者の細胞サンプルを採取し、細胞診ガラス標体とし、細胞画像を撮像する。この明細書では、このようにして得られた画像をサンプル画像といい、ガラス標体に含まれる細胞のサンプルを単にサンプルという。癌等の疾病と関連する特徴を持つ細胞の画像を画像認識により抽出し、疾病を有するリスクを評価する。リスクがあると判断された細胞の画像を細胞検査士あるいは細胞診専門医に提示し、細胞診の診断支援とする。これによって細胞診専門医等の負担を軽減できる。なお細胞診に限らず、組織診断等でも、同様に生体組織サンプル画像を画像認識により評価し、リスクが高いと評価した画像を細胞検査士、細胞診専門医等に提示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2019-56600

【文献】WO2016/103501

【発明の概要】

【発明が解決しようとする課題】

【0004】

リスクがあると判断されたサンプル画像が最終の判断者である細胞検査士あるいは細胞診専門医に提示されても、どのような点において異常度が高いのかまでは提示されない。このため、細胞検査士あるいは細胞診専門医は確認に時間を要する。

【0005】

この発明の課題は、細胞診等の支援において、サンプル画像がどのような点において異常度が高いのかを自動的に提示することにより、細胞検査士あるいは細胞診専門医の負担を軽減することを課題とする。

【課題を解決するための手段】

【0006】

この発明の診断支援方法では、被検者から採取した細胞群あるいは生体組織から成るサンプル画像を、診断支援システムにより画像認識することにより、複数の特徴量を得ると共に、得られた複数の特徴量を用い、回帰分析により疾病の可能性を評価する。この発明は、
a：前記サンプル画像を、画像認識に用いる特徴量の全体を用いて回帰分析することにより、疾病の可能性を全体的に評価するステップと、
b：前記サンプル画像を、画像認識に用いる特徴量全体の部分集合を複数用いて回帰分析することにより、疾病の可能性を部分集合毎に評価するステップと、
ｃ：疾病の可能性の全体的評価と部分集合毎の評価を共に提示するステップ、とを行うことを特徴とする。

【0007】

この発明の診断支援システムは、被検者から採取した細胞群あるいは生体組織から成るサンプル画像を画像認識することにより、複数の特徴量を得るための、画像認識手段と、得られた複数の特徴量を用い回帰分析により疾病の可能性を評価するための、回帰分析手段と、回帰分析手段により得られた評価を外部へ提示するための、提示手段とを備えている。この発明は、前記回帰分析手段が、
a：前記サンプル画像を、画像認識に用いる特徴量の全体を用いて回帰分析することにより、疾病の可能性を全体的に評価する機能と、
b：前記サンプル画像を、画像認識に用いる特徴量全体の部分集合を複数用いて回帰分析することにより、疾病の可能性を部分集合毎に評価する機能とを備え、
前記提示手段が、疾病の可能性の全体的評価と部分集合毎の評価を共に外部へ提示するように構成されていることを特徴とする。

【0008】

回帰分析の手法は任意である。しかし好ましくは、決定木を自動的に構成できる、ランダムフォレストにより回帰分析する。

【0009】

マニュアルで疾病の有無を確認済みのサンプルでの評価値の分布に対する、被検者のサンプルへの評価値の位置を用いると、より確実に疾病の有無を評価できる。そこで好ましくは、
ステップａ，ｂでは、回帰分析により疾病の可能性を中間評価として評価し、
ｄ：疾病であるか否かを細胞検査士あるいは細胞診専門医により判定済みのサンプル画像に対する、ステップａ，ｂでの中間評価の分布を記憶するステップをさらに実行すると共に、
ステップａ，ｂでは、ステップｄで記憶した中間評価の分布に対する、回帰分析により求めた中間評価の位置に基づいて、疾病の可能性を評価する。この詳細は図４に示す。なお、好ましくは、中間評価の分布として、正常と判定された細胞への分布と、異常と判定された細胞への分布の２種類の分布を記憶する。そして２種類の分布での位置を求め、これらを平均する。このようにすると、正常と異常の分布が重なっていても、信頼性の有る評価ができる。

【0010】

この発明では、サンプル画像を、画像認識に用いる特徴量の全体を用いて回帰分析することにより、疾病の可能性を全体的に評価する。この発明では、このような全体的評価に加えて、画像認識に用いる特徴量全体の部分集合を複数用いて回帰分析することにより、疾病の可能性を部分集合毎に評価する。部分集合毎の評価により、どのような画像上の特徴において疾病のリスクが高いのかを提示できる。従ってサンプル画像を確認する細胞診専門医及び細胞検査士の負担を軽減できる。また全体的な評価では疾病のリスクが低い画像でも、部分集合毎の評価では疾病のリスクが高く評価されることがある。従って、疾病のリスクを見落とす確率を小さくできる。

【図面の簡単な説明】

【0011】

【図1】実施例の診断支援システムのブロック図

【図2】癌細胞の特徴の模式図

【図3】実施例での回帰分析（ランダムフォレストと評価値の分布を利用）を示す模式図

【図4】実施例での、分布を用いた評価の例を示す図

【図5】実施例での、判定結果の提示例を示す模式図

【図6】実施例の診断支援方法のフローチャート

【発明を実施するための形態】

【0012】

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

【実施例】

【0013】

被検者の尿路上皮細胞群をサンプルとし、その画像から膀胱癌の可能性を提示ことを例に、実施例を示す。図１～図６に実施例を示す。ただし対象とする疾病の種類は任意である。図１は実施例の診断支援システム２の構成を示し、入力手段のカメラ４は支援システム２の一部としても、システム２には属さない外部入力としても良い。またシステム２は、複数のコンピュータ上に分散配置されていても良い。メモリ６はサンプル画像（検査対象の細胞群の画像、あるいは検査対象の生体組織の画像）を記憶すると共に、画像認識手段８による認識結果等を記憶する。

【0014】

画像処理手段８は、前処理手段１０とマスク手段１２及び特徴量算出手段１４を備えている。細胞診でのサンプル中にはしばしば白血球が含まれている。白血球の画像を正常画像と見なすように画像認識を実行すると、癌を見逃す確率が増加した。そこで前処理手段１０により、白血球と他の細胞とを画像認識により識別し、白血球を画像認識の対象から除外する。前処理手段１０は、白血球と他の細胞とを画像上で識別するための手段で、構成は任意で、設けなくても良い。

【0015】

U-netを用いて、サンプル画像から細胞質と（細胞の）核とから成る画像を切り出す。この処理をマスク手段１２により実行するが、切り出しの手段は任意である。特徴量算出手段１４は、切り出した細胞質の画像と核の画像に対し、画像認識により特徴量を算出する。癌細胞の画像の例と特徴を図２に示す。

【0016】

特徴量は例えば３７種類で、その種類は任意である。実施例では、特徴量の集合は以下の５つのグループ（関連する特徴量をまとめた部分集合）に分けることができる。特徴量算出手段１４は、サンプル画像中の各細胞について３７種類の特徴量を求め、メモリ６に対象の細胞と紐付けて特徴量を記憶させる。
NC比（核の面積／細胞質の面積）：１個の特徴量で１グループである。
形状の特徴量：細胞形状の異常に関する１２種類の特徴量である。
サイズの特徴量：核腫大に関する４種類の特徴量で、核の面積、核の周囲長、核を楕円近似した際の長軸長と短軸長である。
テクスチャの特徴量：クロマチンパターン（細～粗顆粒状変化）及び核小体数の増加と大型化の発生に関する１５種類の特徴量である。
輝度の特徴量：癌細胞では核が濃く染色される。核の濃染に関する５種類の特徴量である。

【0017】

回帰分析手段２０は、求めた３７種類全部の特徴量、及び５種類の特徴量のグループを用い、癌のリスクを細胞毎に回帰分析する。そして最もリスクが高い細胞の分析結果、あるいはリスクの高さが上位の複数個の分析結果を出力する。回帰分析はランダムフォレスト２２，２６により行うが、サポートベクトルマシン等の他の回帰分析を用いても良い。ランダムフォレストの利点は、どの特徴量をどのように組み合わせることにより決定木を構成するかを、自動的に処理できる点にある。

【0018】

分布評価手段２４，２８は、ランダムフォレスト２２，２６の評価（分析結果）を、疾病の有無を細胞診専門医等が確認済みのサンプルに対する評価の分布での位置に、換算する。例えば疾病が無い（正常）とされたサンプルの分布と、疾病がある（異常）とされたサンプルの２つの分布を用い、２つの分布での位置を求める。求めた２つの位置を、正常か異常かの評価に換算する。ランダムフォレスト２２と分布評価手段２４は特徴量全体を評価するためのもので、ランダムフォレスト２６と分布評価手段２８は特徴量の５個の部分集合を評価するためのもので、例えば５セット有る。

【0019】

ランダムフォレスト２２（２６）の例を図３に示す。特徴量の全体、あるいは特徴量のグループ（部分集合）を入力とする。ランダムフォレストは一般に複数の決定木４０を備え、特徴量を決定木により処理し、決定木毎の評価を求める。決定木毎の評価を例えば加算器４２で加算し、１個のランダムフォレストの出力とする。なお決定木４０を構成するため、細胞毎の特徴量の集合と正常／異常の評価結果とを、教師データとして入力する。ランダムフォレストは、評価結果に適合するように個々の決定木４０を構成すると共に、一般に複数の決定木を構成する。このためランダムフォレストの構成を、ほぼ自動的にできる。

【0020】

分布評価手段２４，２８での処理を図４に示す。この例では、加算器４２で得られた評価が０.５であるとする。図４の左側の分布は正常であると細胞診専門医等が確認したサンプル画像の分布で、区間毎の個数が等しくなるように、分布を－５～０の６区間に区分してある。右側の分布は異常があると確認されたサンプル画像の分布で、個数が等しい０～５の６区間に区分してある。－５～５の値はリスクの大小を示す。正常分布に対する位置は－２の区間にあり、異常分布に対する位置は１の区間にあり、これらを加算した評価は－１で、「核形不整は存在するが悪性ではない」（評価－１～－３）と「悪性が疑われる」（評価－１～１）との境界にある。なおサンプル画像には多数の細胞が含まれ、多数の細胞の平均ではなく、悪性の細胞が含まれているかどうかを評価する。以上のようにして、全体的評価（特徴量全体を用いた回帰分析）、NC比等の要素毎の評価（特徴量の部分集合を用いた回帰分析で５種類）の評価が得られる。

【0021】

図１に戻り、出力インターフェース３０（提示手段）は、全体的評価（特徴量全体を用いた回帰分析）と、NC比等の特徴量の部分集合毎の評価（５種類）を出力する。またメモリ６からサンプル画像を読み出し、リスクが高い細胞（評価対象の細胞）の画像を抽出し出力する。

【0022】

データベース３２は、システム２が過去に評価したサンプル画像と、これらに対する細胞診専門医、細胞検査士等による確認結果とを記憶する。データベース３２は例えば評価の値によりソートでき、好ましくは全体的評価と部分的評価の計６種類の評価値の組によりソートできる。データベース３２は、ソートした類似画像と評価値の組を参考資料として出力する。出力インターフェース３０は、データベース３２からの類似画像と評価値の組を、常にあるいは設定に応じて出力する。

【0023】

図５は出力インターフェース３０からの出力の例で、評価は－５～５の１１段階、＋の評価はリスクが高く、－の評価はリスクが低い。総合評価以外に部分集合毎の評価が示されているので、どのような要素に着目して総合評価が下されているのかが分かる。図の上の例では、NC比と核腫大の２つの点が問題であることが分かり、細胞診専門医等はどの点に着目してサンプル画像を見るかの助けになる。図の下の例では、総合評価は正常であるが、テクスチャ特徴に問題があることが分かる。この場合、癌を見逃す危険性を小さくできる。

【0024】

評価には、問題となった細胞の画像を添付する。図５の左の画像は、NC比が異常な細胞、核腫大が見られる細胞、テクスチャ特徴に問題がある細胞を示している。

【0025】

図６に実施例での評価アルゴリズムをまとめて示す。特徴量全体への処理では、セル（細胞）毎に特徴量のセット（ここでは特徴量全体）を抽出し、回帰分析により異常度（仮の評価）を算出する。この異常度が異常細胞の分布において占める位置（前記の区間）と、正常細胞の分布の分布において占める位置を求め、２つの区間での評価を平均し、特徴量全体を用いた回帰分析での評価とする。グループ（特徴量の部分集合）毎の評価を求めるため、同様の処理を特徴量のグループ毎に実行する。

【0026】

全体的な評価とグループ毎の評価を図５のようにして提示する。好ましくはこれ以外に、類似の評価の細胞の画像と、それに対する細胞診専門医等の判定結果をデータベースから呼び出し、出力に添付する。

【符号の説明】

【0027】

２ 診断支援システム
４ カメラ
６ メモリ
８ 画像認識手段
１０ 前処理手段
１２ マスク手段
１４ 特徴量算出手段
２０ 回帰分析手段
２２，２６ ランダムフォレスト
２４，２８ 分布評価手段
３０ 出力インターフェース（提示手段）
３２ データベース
４０ 決定木
４２ 加算器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】