特開 2022-146530 病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022146530

(43)【公開日】2022-10-05

(54)【発明の名称】病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220928BHJP

   G02B 21/00 20060101ALI20220928BHJP

   G01N 33/48 20060101ALI20220928BHJP

【ＦＩ】

G06T7/00 612

G02B21/00

G01N33/48 M

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2021047532

(22)【出願日】2021-03-22

(71)【出願人】

【識別番号】518161916

【氏名又は名称】ピンポイントフォトニクス株式会社

(74)【代理人】

【識別番号】715008975

【氏名又は名称】木島 公一朗

(72)【発明者】

【氏名】木島 公一朗

【テーマコード（参考）】

2G045

2H052

5L096

【Ｆターム（参考）】

2G045AA24

2G045CB01

2G045FA19

2G045JA01

2G045JA03

2G045JA07

2H052AC05

2H052AD16

2H052AF14

2H052AF25

5L096AA06

5L096BA06

5L096BA13

5L096DA02

5L096EA02

5L096HA09

5L096KA04

5L096KA15

(57)【要約】

【課題】機械学習による病理診断スライドの自動診断工程においては、顕微鏡画像に対してテキスチャー解析などの画像解析を行い画像の数値化を行うが、顕微鏡画像の明るさがばらつくとテキスチャー解析値がばらつくため、照明量のばらつきを加味した多くの学習データを用いる準備する必要があった。
【解決手段】
テキスチャー情報およびモルフォロジー情報の解析を行う前に、境界検出処理工程により病理スライドの顕微鏡画像から輝度情報を除去することにより、テキスチャー情報およびモルフォロジー情報の解析結果から明るさのばらつきの影響を除外することが可能となる。そのため、多くの照明状態に対応した学習データを準備する必要が低減される。
【選択図】図１０

【特許請求の範囲】

【請求項1】

疾患の診断あるいはリスク分類を行うことを目的として作製された試料の顕微鏡画像に対して、画像解析手法を適用し、その画像解析結果をスコアー化あるいはクラス分類し、機械学習の学習データとする機械学習データの構築システム、あるいは、機械学習の学習データに基づき疾患のリスク分類を行うリスク判定システムにおいて、
前記画像解析手法はテキスチャー解析手法を含み、境界・テキスチャー抽出ツールにより画像の背景輝度情報を除去した画像に対して前記画像解析手法が適用される工程を有することを特徴とする病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項2】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
前記画像解析手法はテキスチャー解析手法およびモルフォロジー解析手法を含むことを特徴とする請求項１に記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項3】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
上記境界・テキスチャー抽出ツールにより画像の背景輝度情報を除去する工程は、フェーズストレッチトランスフォームを用いた背景輝度情報除去法であることを特徴とする請求項１又は２に記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項4】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、画像の背景輝度情報を除去する工程は、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像に対して背景輝度情報を除去する工程がなされたことを特徴とする請求項１より３のいずれかに記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項5】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、画像の背景輝度情報を除去する工程は、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像を構成する隣接する複数の領域の画像タイルを読み込み、連続する画像を構築しその画像に対して背景輝度情報を除去する工程がなされたことを特徴とする請求項４に記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項6】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、画像の背景輝度情報を除去する工程は、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像を構成する隣接する複数の領域の画像タイルを読み込み、連続する画像を構築しその画像に対して背景輝度情報を除去した画像から輪郭部を除外した画像を背景輝度情報除去画像として切り出す工程であることを特徴とする請求項５に記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項7】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像を構成する隣接する複数の領域の画像タイルを読み込み、連続する画像を構築しその画像に対して背景輝度情報を除去した画像から輪郭部を除外した画像を背景輝度情報除去画像として切り出す画像の背景輝度情報を除去する工程を、複数回行うことにより、ベースラインの画像を構成するすべての画像タイルに対して、背景輝度情報の除去工程を適用することを特徴とする請求項６に記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項8】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
前記病理診断機械学習データの構築システムおよび病理診断リスク判定システムは、疾患の診断あるいはリスク分類を行うことを目的として作製された試料の顕微鏡画像の撮影機能を有することを特徴とする請求項１から７のいずれかに記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項9】

上記病理診断機械学習データの構築システムおよび病理診断リスク判定システムにおいて、
前記画像解析工程、あるいは、境界・テキスチャー抽出ツールにより画像の背景輝度情報を除去する工程は、ネットワーク回線により接続された画像処理サーバーにより行われることを特徴とする請求項１から８のいずれかに記載の病理診断機械学習データの構築システムおよび病理診断リスク判定システム

【請求項10】

疾患の診断あるいはリスク分類を行うことを目的として作製された試料の顕微鏡画像に対して、画像解析手法を適用し、その画像解析結果をスコアー化あるいはクラス分類し、機械学習の学習データとする病理診断機械学習データの構築方法、あるいは、機械学習の学習データに基づき疾患のリスク分類を行う病理診断リスク判定方法において、
テキスチャー解析手法を含む前記画像解析工程を行う前に、境界・テキスチャー抽出ツールにより画像の背景輝度情報を除去する工程が行われることを特徴とする病理診断機械学習データの構築方法および病理診断リスク判定方法

【請求項11】

上記病理診断機械学習データの構築方法および病理診断リスク判定方法において、
前記画像解析工程はテキスチャー解析手法およびモルフォロジー解析手法を含むことを特徴とする請求項１０に記載の病理診断機械学習データの構築方法および病理診断リスク判定方法

【請求項12】

上記病理診断機械学習データの構築方法および病理診断リスク判定方法において、上記境界・テキスチャー抽出ツールにより画像の背景輝度情報を除去する工程は、フェーズストレッチトランスフォームを用いた画像特徴解析法であることを特徴とする請求項１０又は請求項１１に記載の病理診断機械学習データの構築方法および病理診断リスク判定方法

【請求項13】

上記病理診断機械学習データの構築方法および病理診断リスク判定方法において、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、画像の背景輝度情報を除去する工程は、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像に対して背景輝度情報を除去する工程がなされたことを特徴とする請求項１０から１２のいずれかに記載の病理診断機械学習データの構築方法および病理診断リスク判定方法

【請求項14】

上記病理診断機械学習データの構築方法および病理診断リスク判定方法において、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、画像の背景輝度情報を除去する工程は、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像を構成する隣接する複数の領域の画像タイルに対して背景輝度情報を除去する工程がなされたことを特徴とする請求項１３に記載の病理診断機械学習データの構築方法および病理診断リスク判定方法

【請求項15】

上記病理診断機械学習データの構築方法および病理診断リスク判定方法において、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、画像の背景輝度情報を除去する工程は、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像を構成する隣接する複数の領域の画像タイルを読み込み、連続する画像を構築しその画像に対して背景輝度情報を除去した画像から輪郭部を除外した画像を背景輝度情報除去画像として切り出す工程であることを特徴とする請求項１４に記載の病理診断機械学習データの構築方法および病理診断リスク判定方法

【請求項16】

上記病理診断機械学習データの構築方法および病理診断リスク判定方法において、
前記試料の顕微鏡画像は、バーチャルスライドシステムにより取得された画像であり、
前記、バーチャルスライドシステムの画像ファイルにおけるベースラインの画像を構成する隣接する複数の領域の画像タイルを読み込み、連続する画像を構築しその画像に対して背景輝度情報を除去した画像から輪郭部を除外した画像を背景輝度情報除去画像として切り出す画像の背景輝度情報を除去する工程を、複数回行うことにより、ベースラインの画像を構成するすべての画像タイルに対して、背景輝度情報の除去工程を適用することを特徴とする請求項１５に記載の病理診断機械学習データの構築方法および病理診断リスク判定方法

【発明の詳細な説明】

【技術分野】

【0001】

病理診断とは、患者から検査を目的として採取した切片あるいは手術により摘出したブロックから、固定化・薄切化・染色工程を経て製作した病理切片スライドを顕微鏡観察することにより行う診断であり、患者の疾患の確定を行う診断である。近年は、分子標的薬剤と呼ばれる患者の疾患の形態に適した治療薬の出現により、病理診断は、腫瘍の良性あるいは悪性の診断に限らず、治療に用いる薬剤を決定するという目的に際しても、行われるようになってきている。

【0002】

図１に病理診断のフローを示すが、生検あるいは手術により患者から検査に用いる臓器ブロックを取得（敵出）する工程１、取得した生検試料あるいは手術ブロックをホルマリンなどの溶剤により固定化する工程２、固定化したブロックを顕微鏡観察が容易となるように約４~６ミクロンメートルの厚さに薄切化しスライドガラス上に載せる工程３、さらに例えばＨＥ染色と呼ばれるヘマトキシレン・エオジン染色などを行う染色工程４、カバーガラスの貼り付け工程５の後に顕微鏡を用いた病理診断工程６がなされる。

【0003】

近年のコンピュータの高機能化、顕微鏡の画像を撮影するカメラの高機能化、画像データを記録するストレージの低価格化などの背景により、特許文献１にその例を示すようなバーチャルスライドシステムが製品化されている。図２にバーチャルスライドシステム１１の構成概略図を示す。カバーガラス２１が貼り付けられた病理切片スライド２０は、ＸＹステージ２２に搭載され、そのＸＹステージは、顕微鏡の視野を移動させることができるモーター２３が具備されている。照明ユニット２４により病理切片スライド２０の観察領域を観察に適した光量の照明を行う。照明された病理切片の画像は、対物レンズ２５および結像レンズ２６によりカメラ２７に拡大投影される。カメラ２７により取得した画像はシステムコントローラー３０を経由し画像サーバー３１に蓄積される。ここで、照明ユニット２４は、光源ユニット３３とミラー３４、３５とミラー３６よりなり、対物レンズ２５に適したケーラー照明条件を実現するような構成とされている。また対物レンズ２５は、フォーカスコントロール機構２８に搭載されており、撮影される画像の焦点が病理切片スライドに合焦するように調整がなされる。

【0004】

システムコントローラー３０により、カメラ２７による病理切片スライドの対物レンズ２５の視野に対応する画像の撮影と、モーター２３によるＸＹステージの移動が、協調的になされ、病理切片の全体の顕微鏡観察画像が画像サーバー３１に蓄積される。
図２に示したバーチャルスライドシステム１１の出現により、病理医がバーチャルスライドシステムにより取得した画像により診断を行うか、病理医が光学顕微鏡により病理スライドを見ながら診断を行うかに関わらず、病理診断のアノテーション（注釈）を顕微鏡画像につけることが容易となった。

【0005】

バーチャルスライドシステムの製品化により画像サーバー内に病理スライドの顕微鏡観察画像の蓄積が容易にできるようになったこと、そして病理医によるアノテーションが顕微鏡観察画像に与えることができるようになったこと、さらに、ＡＩおよび機械学習の発展もあり、特許文献２および特許文献３に示すように、コンピュータによる画像特徴解析を行う検討、さらには、機械学習を組合わせ病理診断および疾患のクラス分類などを行うシステムが出現し始めている。図３に示すように、機械学習による病理自動診断の工程概略は、バーチャルスライドシステムによる画像取得工程４１、画像特徴解析工程４２、および機械学習による診断工程４３よりなる。
画像特徴解析工程４２は、特許文献３に示すように、領域抽出工程５１により病理診断に適した画像領域の抽出後、その抽出された画像領域の色情報解析工程５２、寸法計測などのモルフォロジー解析工程５３，テキスチャー解析工程５４などが適用され数値情報化がなされる。スコアー化・クラス分類工程５５によりこれら複数の数値情報がまとめられる。

【0006】

図３における機械学習工程は、画像特徴解析工程４２により解析された数値と病理医がつけたアノテーションを比較することにより学習データを蓄積する。機械による病理自動診断が運用されれば、病理医の負担軽減のみではなく、診断時間の短縮などのメリットがある。

【背景技術】

【0007】

ここで、一般の画像解析システムに用いられているテキスチャー、モルフォロジーの解析値が照明状態によりばらつきを有する事例を説明する。図５は、ＨＥ染色した非浸潤性乳管癌（面疱型）の乳がんの病理切片の顕微鏡画像である。
そして、図６（ａ）～（ｄ）には、異なる照明状態にて撮影された画像の例として、図５に示した写真の輝度情報を変化させた写真である。図６（ａ）は、写真の右端は、図５に示した写真と同様の輝度であるが、写真の左端が７５％の輝度になるように輝度情報を変化させた写真である。具体的には、図７に示すように画像の左上の座標を（０，０）、右上の座標を（Ｘ，０）、左下の座標を（０，Ｙ）、右下の座標を（Ｘ，Ｙ）として、図６（ａ）の各座標（ｉ，ｊ）の輝度Ｉ（ｉ，ｊ）は、数式１に示すように図５に示した画像の輝度Ｐ（ｉ，ｊ）に対して０．７５倍された後、座標ｘに応じて直線的に輝度が変化するような輝度とされた画像である。図６（ｂ）も同様に、写真の右端は、図５に示した写真と同様の輝度であるが、写真の左端が５０％の輝度になるように輝度情報を変化させた写真である。数式２に示すように図５に示した画像の輝度Ｐ（ｉ，ｊ）に対して０．５倍された後、座標ｘに応じて直線的に輝度が変化するような輝度とされた画像である。したがって、図６（ａ）に示す画像は照明状態が２５％の傾斜をもった画像であり、図６（ｂ）に示す画像は照明状態が５０％の傾斜をもった画像となる。

【0008】

【数1】

【0009】

【数2】

【0010】

図６（ｃ）に示す画像は照明状態が一様に２５％少なくなった画像であり、図６（ｄ）に示す画像は照明状態が一様に５０％少なくなった画像となる。図６（ｃ）に示す画像および図６（ｄ）に示す画像は数式３および数式４に示すように図５に示した画像の輝度Ｐ（ｉ，ｊ）に対して座標位置に依存することなく、０．７５倍および０．５倍された画像である。

【0011】

【数3】

【0012】

【数4】

【0013】

図５に示した画像および図６に示した４つの画像において黒線で示した３つのエリアの部分のテキスチャー解析を行った結果を図８に示す。図８においてｏｒｉｇｉｎａｌと記載したキャプションは図５の画像のａｒｅａ１～ａｒｅａ３に示した部分のテキスチャー解析を行った結果であり、（ａ）ｇｒａｄａｔｉｏｎ（２５％）、（ｂ）ｇｒａｄａｔｉｏｎ（５０％）、（ｃ）ｒｅｄｕｃｔｉｏｎ（２５％）、（ｄ）ｒｅｄｕｃｔｉｏｎ（５０％）と記載したキャプションは、それぞれ図６（ａ）～（ｄ）に示した画像のａｒｅａ１～ａｒｅａ３に示した部分のテキスチャー解析を行った結果である。なお、テキスチャーの解析手法は一般的なｅｎｔｒｏｐｙを用いた。

【0014】

この結果は、照明状態がばらつくことに起因して、テキスチャーの画像データがばらつくことを示しており、多くの照明状態に対応した学習データを準備する必要があることを示している。２５％の明るさの変化により、５％程度テキスチャーの値がばらつき、５０％の明るさの変化により、８％～１２％程度のテキスチャーの値がばらついている。病理薄切切片の顕微鏡画像の撮影に際しては、図２に示したようにスライドガラスに対して、照明ユニットとカメラは、対向する位置であり、試料を透過した光がカメラに入射するため、照明ユニットの照明光量を固定し、カメラの撮影条件を固定したとしても図１に示した薄切切片スライドの作製工程において薄切された試料の厚さがばらつくことにより、画像の明るさがばらつくことを示している。また図１に示した染色工程に用いる染色液の濃度がばらつくことにおいても明るさが異なることとなるので、画像の明るさを常に一定にすることは困難である。また、モルフォロジー情報についての解析については、照明状態のばらつき、および薄切切片の厚さのばらつきにより稜線の幅が異なることおよび境界が不明瞭になることがある。モルフォロジー情報の解析における細胞の境界線の認識は、細胞の大きさ計測および細胞の存在の認識において重要である。モルフォロジー解析にいても、照明状態がばらついたことに起因して、細胞の境界線の認識データがばらつくことがあり、多くの照明状態に対応した学習データを準備する必要があることを示している。

【0015】

テキスチャー情報およびモルフォロジー情報の解析を正確に行うためには、顕微鏡画像の明るさに依存しない方法で、テキスチャー情報およびモルフォロジー情報の解析を行うことが望ましい。そこで、境界検出処理工程をテキスチャー情報およびモルフォロジー情報の解析工程である特徴パラメータの抽出工程の前に行い、輝度情報を除外する検討を試みた。
図９は、図５および図６（ａ）～（ｄ）に示した画像に、特許文献４および非特許文献１に示す境界検出処理工程であるフェーズストレッチトランスフォームを用いた画像特徴解析法を適用した後に、黒線で示した３つのエリアの部分のテキスチャー解析行った結果を示す。テキスチャーの解析手法は図８の結果と同じく一般的なｅｎｔｒｏｐｙを用いた。

【0016】

図９に示した結果から、テキスチャー情報およびモルフォロジー情報の解析を行う前に、境界検出処理工程により輝度情報を除去することにより、テキスチャーの解析結果が顕微鏡画像の明るさばらつきの影響を受けにくくなることがわかる。２５％の明るさの変化によるテキスチャーの値のばらつきは、０．５％以下となっており、５０％の明るさの変化によるテキスチャーの値のばらつきは、１％～４％程度となった。テキスチャーの解析結果が照明状態のばらつきなどによる顕微鏡画像の明るさのばらつきの影響を受けにくくなることは、ユーザーが撮影する画像の照明状態などがばらついたとしても、そのばらつきの影響を受けることなく、テキスチャーの解析を行うことができることを示しているので、多くの照明状態に対応した学習データを準備する必要がなくなることを示している。

【先行技術文献】

【特許文献】

【0017】

【特許文献1】特許第５７０３６０９号明細書

【特許文献2】特許第６１６１１４６号明細書

【特許文献3】米国特許公開第２０１６／０２５３４６６号明細書

【特許文献4】米国特許第１０２７５８９１号明細書

【特許文献5】特許第５５８４１９３号明細書

【非特許文献】

【0018】

【非特許文献1】Ｍｏｈａｍｍａｄ Ｈ． Ａｓｇｈａｒｉ ａｎｄ Ｂａｈｒａｍ Ｊａｌａｌｉ、“Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｄｉｓｐｅｒｓｉｖｅ Ｐｈａｓｅ Ｓｔｒｅｔｃｈ Ｔｒａｎｓｆｏｒｍ”、ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、Ｖｏｌｕｍｅ ２０１５、 ＡｒｔｉｃｌｅＩＤ６８７８１９

【発明の概要】

【発明が解決しようとする課題】

【0019】

本発明は以上の点を考慮してなされたもので、顕微鏡画像を撮影する際の照明状態など顕微鏡画像の明るさに影響を与えるパラメータのばらつきを許容することにより、テキスチャー、モルフォロジーなどの画像データのばらつきが大きくなり、そのため、多くの照明状態に対応した学習データを準備する必要があるという課題の解決手法を提供するものである。

【課題を解決するための手段】

【0020】

かかる課題を解決するため本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法においては、テキスチャー情報およびモルフォロジー情報の解析を行う前に、境界検出処理工程により顕微鏡画像を取得した際の撮影された画像から輝度情報を除去することにより、テキスチャー情報およびモルフォロジー情報の解析結果から照明状態のばらつきの影響を除外する。

【発明の効果】

【0021】

本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法は、テキスチャー情報およびモルフォロジー情報の解析結果から顕微鏡画像の明るさのばらつきの影響を除外することができるため、多くの照明状態などに対応した学習データを準備する必要が低減される。
多くの照明状態などに対応した学習データを取得する必要がなくなるということは、学習データを蓄積するサーバー容量の縮小という効果がある。

【図面の簡単な説明】

【0022】

【図1】病理診断を行う概略フロー図である。

【図2】バーチャルスライドシステムの構成概略図である。

【図3】機械学習による病理診断を行う場合の概略フロー図である。

【図4】画像特徴解析の概略フロー図である。

【図5】病理診断に供する顕微鏡撮影画像の例である。

【図6】明るさにばらつきのある病理診断に供する顕微鏡撮影画像の例である。

【図7】明るさにばらつきのある病理診断に供する顕微鏡撮影画像の作成方法を示す図である。

【図8】従来技術としての画像特徴解析において、テキスチャー解析結果が顕微鏡画像の明るさのばらつきによりばらつくことを示す実験結果の図である。

【図9】テキスチャー解析工程の前に境界検出処理による輝度情報の除外工程を行うことにより、テキスチャー情報の解析結果から顕微鏡画像の明るさのばらつきの影響が低減されることを示す実験結果の図である。

【図10】本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法における画像特徴解析工程の概略構成図である。

【図11】本発明の病理診断機械学習データの構築システムおよび病理診断リスク判定システムの実施形態を示す概略構成図である。

【図12】本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法に用いる、バーチャルスライドシステムのデータ構造の概略構成を示す図である。

【図13】本発明において背景輝度情報除外工程として用いるフェーズストレッチトランスフォームを用いた画像特徴解析法において、高精度な解析が得られる領域を示す図である。

【図14】本発明において背景輝度情報除外工程として用いるフェーズストレッチトランスフォームによる画像特徴解析をバーチャルスライドシステムのベースラインデータを構成する画像タイルに適用する場合の画像処理範囲と画像特徴解析結果の出力範囲を示す図である。

【図15】本発明において背景輝度情報除外工程として用いるフェーズストレッチトランスフォームによる画像特徴解析をバーチャルスライドシステムのベースラインデータを構成する画像タイルに適用する場合の画像処理範囲と画像特徴解析結果の出力範囲を示す図である。

【図16】本発明において背景輝度情報除外工程として用いるフェーズストレッチトランスフォームによる画像特徴解析をバーチャルスライドシステムのベースラインデータを構成する画像タイルに適用する場合の画像処理範囲と画像特徴解析結果の出力範囲の他の例を示す図である。

【図17】本発明において背景輝度情報除外工程として用いるフェーズストレッチトランスフォームによる画像特徴解析をバーチャルスライドシステムのベースラインデータを構成する画像タイルに適用する場合の画像処理範囲と画像特徴解析結果の出力範囲の他の例を示す図である。

【図18】本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法における、顕微鏡画像取得機能を有する例のシステム構成概略図である。

【図19】本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法における、顕微鏡画像取得機能を有する例のシステム構成概略図である。

【発明を実施するための形態】

【0023】

本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法における画像特徴解析フローを図１０に示す。本発明においては、上述の図９に示したようにテキスチャー解析およびモルフォロジー解析の前に、輝度情報を除外することにより、顕微鏡画像の明るさのばらつきに依存しないテキスチャーの数値およびモルフォロジーの数値を検出することができる。そのため、病理医がアノテーションをつけた画像を機械学習の学習データとして用いる際に、異なる明るさの画像からテキスチャーの数値およびモルフォロジーの数値を学習データに採用する必要もなく、少ない画像数で学習データの構築が可能である。

【0024】

本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法を、バーチャルスライドシステムにより取得された病理スライドの画像に適用する形態を図１１に示す。バーチャルスライドシステム１１の画像サーバー３１に格納されている画像データにアクセスが可能な画像処理サーバー５９により、サーバー３１に格納されている画像データを読み出し、図１０に示した画像特徴解析工程を実行する。

【0025】

図１２にバーチャルスライドシステムのデータ構造として、特許文献５に示されているデータ構造６１を示すが、バーチャルスライドシステムは病理医がＰＣ画面にて顕微鏡画像を観察する際に、高倍率表示の画像と低倍率表示の画像との切り替えがスムーズに行うことができるように、複数の倍率の画像データにより構成されている。具体的にはベースライン画像と呼ばれる顕微鏡を用いて病理スライドの顕微鏡を取得した際の高倍率画像６２と、その画像から生成したさまざまな倍率の低倍率画像である中間レベル画像６３およびスライド全体の表示画像であるサムネイル画像６４が階層構造となったファイル構成となっている。

【0026】

図１０に示した本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法における画像特徴解析は、顕微鏡画像の明るさに影響されないテキスチャーの数値およびモルフォロジーの数値の取得を目的として行われる工程であるので、図１２に示したバーチャルスライドのデータ構造６１のうち、ベースライン画像６２に対して適用することにより目的は達成できるので、中間レベル画像６３およびサムネイル画像６４に対しては適用する必要はない。したがって、本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法は、バーチャルスライドのデータ６１に適用する場合、ベースライン画像６２に対してのみ適用することにより、データ６１の全体に対して、輝度情報の除外のための画像処理およびテキスチャー解析さらにはモルフォロジー解析を適用する場合に比較して短時間にて処理を終えることができる。中間倍率の画像におけるテキスチャー数値およびモルフォロジー数値が必要な場合には、ベースライン画像６２に対して得た数値から算出することができる。

【0027】

次に境界検出処理工程であるフェーズストレッチトランスフォームを用いた画像特徴解析法を適用した場合の処理特性についての図１３を用いて説明する。特許文献４および非特許文献１に示されているように、フェーズストレッチトランスフォームを用いた画像特徴解析法は、画像のフーリエ変換工程を含む工程である。したがって、図１３に示すように、背景輝度情報除去処理適用範囲９１に示す大きさの画像の処理を適用した場合、外周の輪郭付近は検出性能が低下する。病理画像のテキスチャー解析およびモルフォロジー解析を行う場合における性能が低下する範囲は、概ね１６ピクセル程度以下である。そのため、テキスチャー解析およびモルフォロジー解析を高精度で行う場合には、背景輝度情報除去処理適用範囲９１から外周部を除外した領域９２の画像を用いることが望ましい。

【0028】

一方、バーチャルスライドのデータ６１におけるベースライン画像６２は、顕微鏡により観察される高倍率の画像であるので、病理スライドの全体の画像を同時に１つのモニターに表示できる大きさではない。そのため、コンピュータによるアクセス速度を早くするためという背景もあり、特許文献５に示すようにタイル画像とよばれる複数の画像に分割されて保存されている。例えば、一辺の長さが１５ｍｍの正方形の大きさの病理スライドを倍率２０倍の対物レンズにて、０．４ミクロンが１ピクセルとなるように撮影した場合、データの大きさは一辺が３７５００画素の正方形の画像データとなる。表示モニターの画素サイズはおよそ２０００ピクセル程度が一般的であるので、一辺が３７５００画素の正方形の画像データを表示することはできない。そこで、例えば一辺が２５６画素のタイル画像に分割・保存するとともに、表示すべき部分のタイル画像を読み出し表示を行うことにより、表示の高速化とともに使用メモリーの低減がなされている。タイル画像とよばれる複数の画像に分割されて保存する方法は、ベースライン画像６２のみではなく、中間倍率の画像６３においても通常なされている。

【0029】

本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法をバーチャルスライドの画像データ６１のベースライン画像６２に対して適用する場合の画像処理方法を図１４に示す。図１４においては、ベースライン画像６２は、破線で区切られた複数のタイル画像６５により構成されることを示しており、フェーズストレッチトランスフォームを用いた画像特徴解析法は、実線６６ａに囲まれる隣接する複数のタイル画像６５の画像を読み出し、連続する画像データを構成し、この範囲を背景輝度情報除去工程における画像処理範囲として処理を行うようにするとともに、上述したように外周部は画像処理範囲性能が劣るので、実線６７ａに示す範囲を背景輝度情報除去工程における出力領域とする。実線６６ａに示す範囲および実線６７ａに示す範囲をともに、もとのタイル画像６５と同じ境界位置とすることにより、バーチャルスライドの画像データ６１からのデータの読み出しが容易となるとともに、データ管理も容易となる。

【0030】

図１５は、図１４に示した範囲が終了した次の工程における背景輝度情報除去工程における画像処理範囲６６ｂと背景輝度情報除去工程における出力領域６７ｂを示す。本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法をバーチャルスライドの画像データ６１のベースライン画像６２に対して適用する場合においては、図１４、図１５に示したように、処理を複数回に分割することにより、画像処理サーバーに膨大な容量のメモリーを搭載することなくバーチャルスライドの画像データ６１のベースライン画像６２に対して行うことができる。
また、図１４および図１５に示した背景輝度情報除去工程における出力領域６７は、ベースライン画像６２の外周部のタイル画像の背景輝度情報除去工程がされないこととなるので、処理を行うタイル画像が外周部に接するタイル画像６５ａ、６５ｂ、６５ｃ、６５ｄ、６５ｅ、６５ｆ、６５ｇの場合には、図１６に示す背景輝度情報除去工程における出力領域６９ａのように出力領域を外周部の近くまで拡大することにより、処理範囲を広げることも可能である。

【0031】

図１４および図１５に示した背景輝度情報除去工程における出力領域６７は、タイル画像６５の境界と、出力範囲６７の境界を一致させた例を示したが、図１７に示すように背景輝度情報除去工程における出力領域６９ｂを背景輝度情報除去工程における画像処理範囲６８ａに近くした処理を全体に行うことも可能である。

【0032】

図１４から図１７に示した例においては、背景輝度情報除去工程における画像処理範囲６６および６８を、隣接する２５枚のタイル画像６５を処理する例を示したが、タイル画像の処理枚数は、２５枚に限定する必要はなく、画像処理サーバー５９の性能と、処理に許容される時間に応じて選定を行うことができる。

【0033】

バーチャルスライドの画像データ６１のベースライン画像６２は、複数のタイル画像６５により構成されているので、背景輝度情報除去工程における画像処理範囲６６および６８の範囲は、タイル画像の境界により区切られる範囲とすることにより、画像読み出し工程の簡易化がなされる。

【0034】

本発明の第２の実施例として、本発明の病理診断機械学習データの構築システム、および病理診断リスク判定システムが、バーチャルスライドの病理スライドの画像データ取得の機能も有するシステム７０の構成図を図１８に示す。
バーチャルスライドシステム機能を有する病理診断機械学習データの構築システム、および病理診断リスク判定システム７０においては、カバーガラス２１が貼り付けられた病理切片スライド２０は、ＸＹステージ２２に搭載され、そのＸＹステージは、顕微鏡の視野を移動させることができるモーター２３が具備されている。照明ユニット２４により病理切片スライド２０の観察領域の観察に適した光量の照明を行う。照明された病理切片の画像は、対物レンズ２５および結像レンズ２６によりカメラ２７に拡大投影される。カメラ２７により取得した画像はシステムコントローラー３０を経由し画像サーバー３１に蓄積される。ここで、照明ユニット２４は、光源ユニット３３とミラー３４、３５とミラー３６よりなり、対物レンズ２５に適したケーラー照明条件を実現するような構成とされている。また対物レンズ２５は、フォーカスコントロール機構２８に搭載されており、撮影される画像の焦点が病理切片スライドに合焦するように調整がなされる。

【0035】

システムコントローラー３０により、カメラ２７により病理切片スライドの対物レンズ２５の視野に対応する画像の撮影と、モーター２３によるＸＹステージの移動が、協調的になされ、病理切片の全体の顕微鏡観察画像が画像サーバー７１に蓄積される。また、画像サーバー７１は、図１０に示したテキスチャー解析およびモルフォロジー解析の前に、輝度情報を除外することにより、顕微鏡画像の明るさのばらつきに依存しないテキスチャーの数値およびモルフォロジーの数値の検出を行う。

【0036】

本発明の第３の実施例として、本発明の病理診断機械学習データの構築システム、および病理診断リスク判定システムが、バーチャルスライドの病理スライドの画像データ取得の機能も有するシステム８０の構成図を図１９に示す。図１９に示したシステム８０においては、図２に示した通常のバーチャルスライドシステム１１における画像サーバー３１と、図１０に示したテキスチャー解析およびモルフォロジー解析の前に、輝度情報を除外することにより、顕微鏡画像の明るさのばらつきに依存しないテキスチャーの数値およびモルフォロジーの数値の検出を行うサーバー７２との機能を分離した構成例である。

【0037】

バーチャルスライドシステム１１の画像サーバー３１は、画像データ取得中にビジーとなる可能性が高いので、機械学習されたデータ蓄えるサーバー７２が遠隔にある他のシステムよりアクセスされる可能性がある場合においては、図１９に示すように機械学習されたデータ蓄えるサーバー７２は、バーチャルスライドシステム１１の画像サーバー３１と分離するほうがサーバーの遠隔からのアクセスに遅延を生じさせる危険性が低いシステムの構築が可能である。

【0038】

なお、本発明の実施例においては、背景輝度情報を除去する工程として、フェーズストレッチトランスフォームを用いた背景輝度情報除去方法を用いたが、同様の効果が得られれば、背景輝度情報を除去する工程に、フェーズストレッチトランスフォーム以外の方法を用いることも可能である。

【産業上の利用可能性】

【0039】

本発明の病理診断機械学習データの構築システムおよび構築方法、および病理診断リスク判定システムおよび判定方法は、テキスチャー情報およびモルフォロジー情報の解析結果から顕微鏡画像の明るさのばらつきの影響を除外することができるため、多くの照明状態などに対応した学習データを準備する必要が低減される。そのため、学習データを蓄積するサーバー容量の縮小という効果に加えて、学習データを作製するために必要な時間が従来よりも短縮されることにより、自動診断の導入が加速されるという効果もある。

【符号の説明】

【0040】

１……病理診断工程１（検査ブロックの取得）、２……病理診断工程２（検査ブロックの固定化）、３……病理診断工程３（薄切切片スライドの作製）、４……病理診断工程４（スライドの染色工程）、５……病理診断工程５（カバーガラスの貼り付け工程）、６……病理診断工程６（病理診断）、１１……バーチャルスライドシステム、２０……スライドガラス、２１……カバーガラス、２２……ＸＹステージ、２３……モーター、２４……照明ユニット、２５……対物レンズ、２６……結像レンズ、２７……撮像素子（カメラ）、２８……照明調整モーター、３０……機器制御ユニット、３１、７１……画像サーバー、３３……光源ユニット、３４、３５……レンズ、３６……ミラー、４１……画像取得工程、４２……画像特徴解析工程、４３……機械学習による診断工程、５１……領域抽出工程、５２……色情報解析工程、５３……モルフォロジー解析工程、５４……テキスチャー解析工程、５５……スコアー化・クラス分類工程、５９……背景輝度情報の除去工程用画像処理サーバー、６０……背景輝度情報の除去工程、６１……バーチャルライド画像ファイルフォーマット、６２……ベースラインの画像、６３……中間レベル画像、６４……サムネイル画像、６５……タイル画像、６６、６８……背景輝度情報除去工程における画像処理範囲、６７、６９……背景輝度情報除去工程における出力領域、７０、８０……スライドの顕微鏡画像取得機能を有する機械学習データの構築システムおよびリスク判定システム、７２……クラウド処理システム、９１……背景輝度情報除去処理適用範囲、９２……有効な背景輝度情報除去処理画像範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】