特許 7470339 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-10

(45)【発行日】2024-04-18

(54)【発明の名称】染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム

(51)【国際特許分類】

   G01N 21/64 20060101AFI20240411BHJP

   G01N 21/27 20060101ALI20240411BHJP

   C12M 1/34 20060101ALI20240411BHJP

   G02B 21/36 20060101ALI20240411BHJP

   G02B 21/00 20060101ALI20240411BHJP

【ＦＩ】

G01N21/64 E

G01N21/27 A

C12M1/34 A

G02B21/36

G02B21/00

【請求項の数】 8

(21)【出願番号】P 2019041046

(22)【出願日】2019-03-06

(65)【公開番号】P2020144012

(43)【公開日】2020-09-10

【審査請求日】2022-02-21

【前置審査】

(73)【特許権者】

【識別番号】504013775

【氏名又は名称】学校法人 埼玉医科大学

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】石川 雅浩

(72)【発明者】

【氏名】小林 直樹

(72)【発明者】

【氏名】鈴木 賢治

(72)【発明者】

【氏名】小尾 高史

(72)【発明者】

【氏名】鈴木 裕之

【審査官】嶋田 行志

(56)【参考文献】

【文献】国際公開第２０１９／１９１６９７（ＷＯ，Ａ１）

【文献】特表２０１３－５０６１２９（ＪＰ，Ａ）

【文献】特表２０１４－５２１９７９（ＪＰ，Ａ）

【文献】特開２０１３－１１４２３３（ＪＰ，Ａ）

【文献】特表２０１３－５０７６１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０３１４９３０（ＵＳ，Ａ１）

【文献】Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning，NATURE BIOMEDICAL ENGINEERING，2019年03月04日，Vol. 3，pp. 466-476, S1-S10，doi: 10.1038/s41551-019-0362-y

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００―Ｇ０１Ｎ ２１／８３

Ｇ０２Ｂ ２１／００―Ｇ０２Ｂ ２１／３６

Ｇ０６Ｔ １／００―Ｇ０６Ｔ ７／９０

Ｃ１２Ｍ １／３４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

Ｎａｔｕｒｅ

Ｓｃｉｅｎｃｅ

ＰｕｂＭｅｄ

Ｓｃｉｅｎｃｅ Ｄｉｒｅｃｔ

ＫＡＫＥＮ

ＡＣＳ ＰＵＢＬＩＣＡＴＩＯＮＳ

Ｏｘｆｏｒｄ Ｊｏｕｒｎａｌｓ

Ｗｉｌｅｙ Ｏｎｌｉｎｅ Ｌｉｂｒａｒｙ

(57)【特許請求の範囲】

【請求項1】

生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を多波長分光カメラにより複数の周波数帯で撮影した染色画像を取得する画像取得部と、
前記画像取得部が取得した前記自家蛍光画像と前記染色画像とに基づいて、前記複数の周波数帯で撮影した染色画像のそれぞれの周波数帯成分の画像を推定する複数の染色画像推定器を学習する染色画像推定器学習部と、
を備える染色画像推定器学習装置。

【請求項2】

前記染色画像推定器学習部は、前記自家蛍光画像を入力データとし、前記染色画像を前記入力データに対する教師データとして機械学習を行うことにより、前記染色画像推定器を学習する、請求項１に記載の染色画像推定器学習装置。

【請求項3】

生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得する画像取得部と、
前記画像取得部が取得した前記自家蛍光画像に基づいて、前記生体物質試料を染色液で染色した前記生体物質試料が多波長分光カメラにより複数の周波数帯で撮影されたそれぞれの周波数帯成分の画像を模擬する模擬染色画像を推定する複数の染色画像推定器と、
前記複数の染色画像推定器により推定される複数の模擬染色画像を合成する模擬染色画像生成部と、を備える、
画像処理装置。

【請求項4】

前記染色画像推定器は、前記自家蛍光画像と異なる、他の生体物質試料を前記励起光による自家蛍光を撮影した他の自家蛍光画像を入力データとし、前記染色液で染色した前記他の生体物質試料を撮影した染色画像を前記入力データに対する教師データとして機械学習を行うことにより学習される、
請求項３に記載の画像処理装置。

【請求項5】

染色画像推定器学習装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
所定の染色液で染色した前記生体物質試料を多波長分光カメラにより複数の周波数帯で撮影した染色画像を取得し、
取得された前記自家蛍光画像と前記染色画像とに基づいて、前記複数の周波数帯で撮影した染色画像のそれぞれの周波数帯成分の画像を推定する複数の染色画像推定器を学習する、
ことを実行する染色画像推定器学習方法。

【請求項6】

画像処理装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
取得された前記自家蛍光画像に基づいて、前記生体物質試料を染色液で染色した前記生体物質試料が多波長分光カメラにより複数の周波数帯で撮影されたそれぞれの周波数帯成分の画像を模擬する模擬染色画像を、複数の染色画像推定器を用いてそれぞれ推定し、
前記複数の染色画像推定器により推定された複数の模擬染色画像を合成する、
ことを実行する画像処理方法。

【請求項7】

染色画像推定器学習装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
所定の染色液で染色した前記生体物質試料を多波長分光カメラにより複数の周波数帯で撮影した染色画像を取得し、
取得された前記自家蛍光画像と前記染色画像とに基づいて、前記複数の周波数帯で撮影した染色画像のそれぞれの周波数帯成分の画像を推定する複数の染色画像推定器を学習する、
ことを実行するための染色画像推定器学習プログラム。

【請求項8】

画像処理装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
取得された前記自家蛍光画像に基づいて、前記生体物質試料を染色液で染色した前記生体物質試料が多波長分光カメラにより複数の周波数帯で撮影されたそれぞれの周波数帯成分の画像を模擬する模擬染色画像、複数の染色画像推定器を用いてそれぞれ推定し、推定された複数の模擬染色画像を合成する、
ことを実行するための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラムに関する。

【背景技術】

【0002】

病理診断等で使用される細胞や組織の標本は、無色透明であることが多いため観察しにくいことがある。そこで、顕微鏡での観察を容易にするために、あらかじめ細胞や組織を染色してから、観察することが行われている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－１１３６８９号公報

【文献】特開２０１１－１８５８４３号公報

【文献】特開２００８－５１７７２号公報

【文献】特開２０１３－１１４２３３号公報

【文献】特開２０１２－２３３７８４号公報

【文献】特開２０１６－１６１４１７号公報

【文献】国際公開第２０１２／１６３２１１号

【非特許文献】

【0004】

【文献】Suzuki K, Armato SG, 3rd, Li F, Sone S, Doi K: Massive training artificial neural network (MTANN) for reduction of false positives in computerized detection of lung nodules in low-dose computed tomography, Med. Phys., 30(7), 1602-1617, 2003.

【文献】Suzuki K, Horiba I, Sugie N, Nanki M: Extraction of left ventricular contours from left ventriculograms by means of a neural edge detector, IEEE Trans. Med. Imaging, 23(3), 330-339, 2004.

【文献】Suzuki K, Horiba I, Sugie N: Neural edge enhancer for supervised edge enhancement from noisy images, IEEE Trans. Pattern Anal. Mach. Intell., 25(12), 1582-1596, 2003.

【文献】Xu JW, Suzuki K: Massive-training support vector regression and Gaussian process for false-positive reduction in computer-aided detection of polyps in CT colonography, Med. Phys., 38(4), 1888-1902, 2011.

【発明の概要】

【発明が解決しようとする課題】

【0005】

染色することによって組織や細胞の状態は観察しやすくなるが、染色には時間がかかることが問題である。また、染色すると脱色等の処理を行うことが求められる。さらに、質のよい染色をするには、所定の染色設備や染色技術が求められる。そこで、染色をせずに組織や細胞を観察しやすくすることが求められる。

【0006】

本発明は、組織や細胞を染色することなく観察できる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、以下の手段を採用する。

【0008】

即ち、第１の態様は、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を撮影した染色画像を取得する画像取得部と、
前記画像取得部が取得した前記自家蛍光画像と前記染色画像とに基づいて、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の染色された前記生体物質試料が撮影された画像を推定する染色画像推定器を学習する染色画像推定器学習部と、
を備える画像処理装置である。

【0009】

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。

【発明の効果】

【0010】

本発明によれば、組織や細胞を染色することなく観察できる技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態１のシステムの構成例を示す図である。

【図2】図２は、画像処理装置の機能構成例を示す図である。

【図3】図３は、情報処理装置のハードウェア構成例を示す図である。

【図4】図４は、画像処理装置における色素量推定器の生成の際の動作フローの例を示す図である。

【図5】図５は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例（１）を示す図である。

【図6】図６は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例（２）を示す図である。

【図7】図７は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例（３）を示す図である。

【図8】図８は、染色液等の分光吸収係数の波長依存性のグラフの例を示す図である。

【図9】図９は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。

【図10】図１０は、実施形態２のシステムの構成例を示す図である。

【図11】図１１は、染色画像推定器学習装置における染色画像推定器の学習の際の動作フローの例を示す図である。

【図12】図１２は、染色画像推定器学習部における染色画像推定器の学習を説明する図である。

【図13】図１３は、実施形態２の模擬染色画像生成のシステムの構成例を示す図である。

【図14】図１４は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。

【図15】図１５は、模擬染色画像生成部における模擬染色画像の生成を説明する図である。

【図16】図１６は、画像型深層学習器の一例として、ＭＴＡＮＮの構造を示す図である。

【図17】図１７は、ＭＴＡＮＮの学習を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0013】

〔実施形態１〕
（構成例１）
図１は、本実施形態のシステムの構成例を示す図である。本実施形態のシステム１０は、画像処理装置１００、蛍光顕微鏡２００、マルチスペクトルカメラ３００を含む。

【0014】

画像処理装置１００は、蛍光顕微鏡２００から試料の自家蛍光画像を取得し、マルチスペクトルカメラ３００からバンドごとの試料の染色画像を取得する。画像処理装置１００は、染色画像から、色素量を検出する。画像処理装置１００は、検出された色素量と、自家蛍光画像とを対応付けて、色素量推定器を生成する。画像処理装置１００は、生成した色素量推定器を使用して、他の自家蛍光画像に基づいて、染色画像を出力する。試料は、例えば、細胞や組織などの生体物質である。画像処理装置１００と、蛍光顕微鏡２００及びマルチスペクトルカメラ３００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。

【0015】

蛍光顕微鏡２００は、試料に励起光を照射し、当該試料からの自家蛍光を観察することによって、試料を観察する顕微鏡である。蛍光顕微鏡２００は、試料に対して、複数の種類の励起光（波長の異なる励起光）を照射し、それぞれの自家蛍光画像を取得することができる。

【0016】

マルチスペクトルカメラ３００は、撮影対象を複数に分けられたバンド（周波数帯、波長帯）毎に撮影することができるカメラである。マルチスペクトルカメラ３００は、染色された試料をバンドごとに撮影する。

【0017】

図２は、画像処理装置の機能構成例を示す図である。画像処理装置１００は、画像取得部１０２、色情報取得部１０４、色素量検出部１０６、色素量推定部１０８、画像生成部１１０を含む。

【0018】

画像取得部１０２は、蛍光顕微鏡２００から試料の自家蛍光画像を取得し、マルチスペクトルカメラ３００から試料の染色画像を取得する。

【0019】

色情報取得部１０４は、マルチスペクトルカメラ３００で撮影された染色された試料の染色画像から、色情報を取得する。

【0020】

色素量検出部１０６は、取得されたマルチバンドの染色画像の色情報から、色素量を推定する。

【0021】

色素量推定部１０８は、自家蛍光画像と染色画像の色素量とに基づいて、色素量推定器を生成する。

【0022】

画像生成部１１０は、蛍光顕微鏡２００で撮影された試料の自家蛍光画像に基づいて、色素量推定器を用いて、デジタル染色画像（模擬染色画像）を生成する。

【0023】

図３は、情報処理装置のハードウェア構成例を示す図である。図３に示す情報処理装置
９０は、一般的なコンピュータの構成を有している。画像処理装置１００は、図３に示すような情報処理装置９０を用いることによって、実現される。図３の情報処理装置９０は、プロセッサ９１、メモリ９２、記憶部９３、入力部９４、出力部９５、通信制御部９６を有する。これらは、互いにバスによって接続される。メモリ９２及び記憶部９３は、コンピュータ読み取り可能な記録媒体である。情報処理装置のハードウェア構成は、図３に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。

【0024】

情報処理装置９０は、プロセッサ９１が記録媒体に記憶されたプログラムをメモリ９２の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。

【0025】

プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。

【0026】

メモリ９２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。メモリ９２は、主記憶装置とも呼ばれる。

【0027】

記憶部９３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスク
ドライブ（ＨＤＤ、Hard Disk Drive）である。また、記憶部９３は、リムーバブルメデ
ィア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。記憶部９３は、二次記憶装置とも呼ばれる。

【0028】

記憶部９３は、情報処理装置９０で使用される、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。記憶部９３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。記憶部９３に格納される情報は、メモリ９２に格納されてもよい。また、メモリ９２に格納される情報は、記憶部９３に格納されてもよい。

【0029】

オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部９６を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他の情報処理装置、外部記憶装置等が含まれる。

【0030】

入力部９４は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部９４は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。

【0031】

出力部９５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）パ
ネル、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Panel）等の表示装置、プリンタ等の出力装置を含む。また、出力部９５は、スピーカのような音声の出力装置を含むことができる。

【0032】

通信制御部９６は、他の装置と接続し、情報処理装置９０と他の装置との間の通信を制御する。通信制御部９６は、例えば、ＬＡＮ（Local Area Network）インタフェースボード、無線通信のための無線通信回路、有線通信のための通信回路である。ＬＡＮインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。

【0033】

情報処理装置９０は、プロセッサが補助記憶部に記憶されたプログラムを主記憶部の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器等の制御を行う。これにより、情報処理装置は、所定の目的に合致した機能を実現することができる。主記憶部及び補助記憶部は、情報処理装置が読み取り可能な記録媒体である。

【0034】

（動作例１）
〈色素量推定器生成〉
図４は、画像処理装置における色素量推定器の生成の際の動作フローの例を示す図である。

【0035】

Ｓ１０１では、画像処理装置１００の画像取得部１０２は、蛍光顕微鏡２００で撮影された試料の自家蛍光画像を蛍光顕微鏡２００から取得する。自家蛍光画像は、試料に所定の周波数の励起光を照射して、試料の自家蛍光を撮影したものである。蛍光顕微鏡２００では、試料には複数の種類（複数の波長）の励起光が照射され、それぞれの励起光に対する試料の自家蛍光が撮影される。試料は、例えば、細胞や組織等の生体物質の切片標本である。Ｓ１０１及びＳ１０２で使用される試料は、同一の生体物質から生成される切片標本である。取得される自家蛍光画像は、１種類の励起光によるものであってもよい。

【0036】

図５、図６、図７は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例を示す図である。図５、図６、図７において、色が白いほど、明るいことを示す。図５の自家蛍光画像では、励起光の波長が４７０ｎｍであり、４９５ｎｍ以上の波長の光を通すフィルタが使用されている。図６の自家蛍光画像では、励起光の波長が５４５ｎｍであり、５６５ｎｍ以上の波長の光を通すフィルタが使用されている。図７の自家蛍光画像では、励起光の波長が３６０ｎｍであり、４００ｎｍ以上の波長の光を通すフィルタが使用されている。自家蛍光画像には励起光は含まれていない。

【0037】

Ｓ１０２では、画像取得部１０２は、マルチスペクトルカメラ３００で撮影された染色された試料の染色画像をマルチスペクトルカメラ３００から取得する。染色画像は、所定の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。マルチスペクトルカメラ３００では、複数のバンド（周波数帯）で染色画像が撮影される。染色液は、例えば、ヘマトキシリン（Haematoxylin）、エオジン（Eosin）である。染色液として、複数の
染色液が使用されてもよい。マルチスペクトルカメラ３００を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。

【0038】

Ｓ１０３では、色情報取得部１０４は、各バンドの染色画像から、画像における各ピクセル（位置）の吸光度を求める。吸光度は、光が媒質を通った際に光の強度がどの程度弱まるかを示す量である。各ピクセルの吸光度は、各ピクセルの明るさに依存する。色情報取得部１０４は、バンド毎に、染色画像における各ピクセルの明るさから各ピクセルの吸光度を求める。各バンドの吸光度は、試料に取り込まれた染色液の色素量及び染色液の吸光係数に依存する。

【0039】

Ｓ１０４では、色素量検出部１０６は、Ｓ１０３で求めた吸光度、既知である染色液の分光吸収係数に基づいて、ピクセル毎に、試料に取り込まれた染色液の色素量を算出する。分光吸収係数は、光が媒質に入射したときに媒質がどの程度光を吸収するかを示す量である。染色液の吸収係数は、入射する光の波長に依存する。吸光度ベクトルをａ、分光吸収係数行列をＸ、色素量をＣとすると、ランバートベールの法則により、次のように表される。吸光度ベクトルは、バンド毎の吸光度をベクトル表示したものである。分光吸収係数行列は、染色液毎、バンド毎の吸収係数を行列表示したものである。

【数1】

これらの式より、推定行列Ｘ^＋を吸光度ベクトルａに乗算することによって、試料に取り込まれた染色液毎のピクセル毎（位置毎）の色素量Ｃを求めることができる。色素量検出部１０６は、ピクセル毎の色素量に基づいて、試料の各位置の色素量を示す色素量画像を生成する。色素量画像は、試料に取り込まれた染色液の分布を示す。色素量画像では、例えば、染色液が多く取り込まれた位置はより明るくなる。

【0040】

図８は、染色液等の分光吸収係数の波長依存性のグラフの例を示す図である。図８の例では、ヘマトキシリン、エオジン、赤血球の分光吸収係数を示す。図８の例では、例えば、エオジンの分光吸収係数は、５５０ｎｍ近辺でピークとなる。分光吸収係数行列は、当該グラフに基づいて生成される。

【0041】

Ｓ１０５では、色素量検出部１０６は、Ｓ１０１で取得した自家蛍光画像と、Ｓ１０４で生成した色素量画像との関係を機械学習等により分析する。分析には、ニューラルネットワークによるディープラーニング、Regression SVM、Regression Random Forest、多重回帰分析、Look Up Table等の学習空間を利用する手法等が使用され得る。分析には、連
続値を予測するような手法が適用可能である。色素量検出部１０６は、例えば、ニューラルネットワークであれば、複数の条件（励起光）で励起された試料の自家蛍光画像を入力データとし、試料を染色して得られたマルチスペクトル画像から求められた色素量画像を出力データとする。色素量検出部１０６は、当該入力データと当該出力データとが紐付けられた教師あり学習により、ニューラルネットワークのニューロン間の重み付け係数を最適化して、色素量推定器を構築する。色素量推定器は、より多くの自家蛍光画像と色素量画像との組を用いることで最適化される。また、色素量推定器は、染色液毎に生成することができる。また、入力データとして、テクスチャ情報等の画像処理特徴量（組織や細胞の特徴を示す情報など）が含まれてもよい。

【0042】

また、試料を様々な染色液で染色した染色画像を用いて、色素量推定器を生成することで、様々な染色液の色素量推定器を生成することができる。

【0043】

〈模擬染色画像生成〉
図９は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。模擬染色画像（デジタル染色画像）は、試料の自家蛍光画像を使用して色素量推定器により推定された推定色素量画像に基づいて得られる、模擬的な染色画像である。模擬染色画像は、試料を実際に染色した染色画像を模擬したものである。ここでは、画像処理装置１００は、染色されていない試料の自家蛍光画像と、上記の色素量推定器とを用いて、模擬染色画像を生成する。

【0044】

Ｓ２０１では、画像処理装置１００の画像取得部１０２は、蛍光顕微鏡２００で撮影された試料の自家蛍光画像を蛍光顕微鏡２００から取得する。蛍光顕微鏡２００では、試料には複数の種類（複数の波長）の励起光が照射され、それぞれの励起光に対する試料の自家蛍光が撮影される。試料は、例えば、細胞や組織等の生体物質の切片標本である。ここで使用される自家蛍光画像に対応する試料は、色素量推定器の生成の際に使用された自家蛍光画像に対応する試料と異なる試料である。

【0045】

Ｓ２０２では、色素量推定部１０８は、画像取得部１０２で取得された自家蛍光画像を
入力データとして、所望の染色液に対応する色素量推定器を用いて、推定された所望の染料液の色素量画像を生成する。色素量画像では、例えば、色素量が多いほど明るい色で表示される。色素量画像は、推定される試料に取り込まれた染色液の色素量を示す画像である。

【0046】

Ｓ２０３では、画像生成部１１０は、色素量画像（または色素量）と、染色液毎の分光吸収係数とから、バンド毎の各ピクセルについての吸光度を算出する。画像生成部１１０は、算出されたバンド毎の吸光度からバンド毎の光の透過率を算出し、ピクセルごとにＲＧＢ（Red Green Blue）の成分毎に積分して、各ピクセルの画素値（ＲＧＢ値）を算出する。画像生成部１１０は、算出された各ピクセルの画素値に基づいて、模擬染色画像（デジタル染色画像）を生成する。これにより、画像処理装置１００は、所望の染色液についての擬似染色画像を、試料を染色することなく生成することができる。

【0047】

（実施形態１の作用、効果）
画像処理装置１００は、蛍光顕微鏡２００で撮影された細胞や組織などの生体物質の試料の自家蛍光画像を取得する。画像処理装置１００は、マルチスペクトルカメラ３００で撮影された染色液で染色された染色画像を取得する。画像処理装置１００は、染色画像と、染色液の分光吸収係数とに基づいて、試料に取り込まれた染色液の色素量を算出する。画像処理装置１００は、自家蛍光画像と、算出された色素量（色素量画像）とに基づいて、色素量推定器を生成する。

【0048】

画像処理装置１００は、試料の自家蛍光画像と、所望の染色液に対応する色素量推定器とを用いて、推定された色素量画像を生成する。画像処理装置１００は、色素量画像と、染料液毎の分光吸収係数とから、バンド毎の吸光度を算出する。画像処理装置１００は、バンド毎の吸光度からバンド毎の透過率を算出し、バンド毎の透過率をＲＧＢの成分毎に積分することで、各ピクセルの画素値を算出し、擬似染色画像を生成する。

【0049】

画像処理装置１００は、従来、染色の際にノイズとされてきた自家蛍光を使用して、染色したときの色素量を推定してデジタル染色画像（模擬染色画像）を生成することで、標本（試料）を染色することなく、染色画像を得ることができる。画像処理装置１００によれば、貴重な試料であっても、試料を襲侵することなく、模擬的な染色画像を得ることができる。未染色標本等を観察するための特殊な顕微鏡を用意することなく、未染色標本を容易に観察することができる。また、画像処理装置１００によれば、試料を染色しないため、１つの試料で様々な染色液による擬似染色画像の生成をすることができる。

【0050】

〔実施形態２〕
（構成例２）
図１０は、本実施形態のシステムの構成例を示す図である。本実施形態のシステム４０は、染色画像推定器学習装置４００、自家蛍光画像撮影装置５００、染色画像撮影装置６００を含む。

【0051】

染色画像推定器学習装置４００は、自家蛍光画像撮影装置５００から試料の自家蛍光画像を取得し、染色画像撮影装置６００から試料を染色した染色画像を取得する。染色画像推定器学習装置４００は、自家蛍光画像と、染色画像とを対応付けて、染色画像推定器を学習する。試料は、例えば、細胞や組織などの生体物質試料である。染色画像推定器学習装置４００と、自家蛍光画像撮影装置５００と染色画像撮影装置６００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。

【0052】

染色画像推定器学習装置４００は、画像取得部４１０、位置合わせ部４２０、染色画像推定器学習部４３０を含む。また、画像処理装置４００は、染色画像推定器（赤色）４５
１、染色画像推定器（緑色）４５２、染色画像推定器（青色）４５３を含む。染色画像推定器（赤色）４５１、染色画像推定器（緑色）４５２、染色画像推定器（青色）４５３をまとめて、各色の染色画像推定器ともいう。

【0053】

画像取得部４１０は、自家蛍光画像撮影装置５００から試料の自家蛍光画像を取得し、染色画像撮影装置６００から試料の染色画像を取得する。自家蛍光画像を撮影する際に使用された試料が、試薬により染色されて染色画像を撮影する際に使用される試料となる。自家蛍光画像を撮影する際に使用された試料と、試薬により染色されて染色画像を撮影する際に使用された試料とが、ほとんど差異のない極近傍で採取された２つの試料であってもよい。この２つの試料は、同一の試料であるとみなせる。

【0054】

位置合わせ部４２０は、自家蛍光画像における試料の位置と、染色画像における試料の位置とを合わせる。自家蛍光画像と染色画像との位置合わせを行うことで、染色画像推定器の精度が向上する。

【0055】

染色画像推定器学習部４３０は、自家蛍光画像と染色画像との組に基づいて、各色の染色画像推定器を学習する。

【0056】

染色画像推定器学習装置４００は、図３に示すような情報処理装置９０を用いることによって、実現される。染色画像推定器（赤色）４５１、染色画像推定器（緑色）４５２、染色画像推定器（青色）４５３は、情報処理装置９０のメモリ９２、記憶部９３等の記憶手段に格納され得る。

【0057】

自家蛍光画像撮影装置５００は、蛍光顕微鏡５１０、撮像部５２０を含む。蛍光顕微鏡５１０は、試料に励起光を照射し、当該試料からの自家蛍光を観察することによって、試料を観察する顕微鏡である。蛍光顕微鏡５１０は、試料に対して、複数の種類の励起光（波長の異なる励起光）を照射することができる。撮像部５２０は、蛍光顕微鏡５１０に設置され、蛍光顕微鏡５１０で拡大された試料を撮影する。撮像部５２０は、試料の励起光ごとの自家蛍光画像を取得することができる。撮像部５２０は、例えば、グレイスケールカメラ、マルチスペクトルカメラ（Hyper Spectral Imaging（ＨＳＩ）カメラ）、ＲＧＢ（Red Green Blue）カメラなどである。マルチスペクトルカメラは、撮影対象（被写体）を複数に分けられたバンド（周波数帯、波長帯）毎に撮影することができるカメラである。ＲＧＢカメラは、撮影対象を、赤色、緑色、青色の色毎に撮影することができるカメラである。ＲＧＢカメラでは、赤色、緑色、青色の色毎の画像が取得され得る。赤色、緑色、青色の明度の画像を合わせることで、フルカラーの画像を得ることができる。撮像部５２０は、試料の自家蛍光を撮影した画像を取得することができる。また、撮像部５２０には、所定の周波数帯の光を透過するフィルタが設けられ、撮像部５２０は、当該所定の周波数帯の光（試料の自家蛍光等）を撮影してもよい。

【0058】

染色画像撮影装置６００は、光学顕微鏡６１０、撮像部６２０を含む。光学顕微鏡６１０は、試薬により染色された試料を、可視光により観察する顕微鏡である。撮像部６２０は、光学顕微鏡６１０に設置され、光学顕微鏡６１０で拡大された試料を撮影する。撮像部６２０は、ＲＧＢカメラである。撮像部６２０は、マルチスペクトルカメラ等の他のカメラであってもよい。

【0059】

自家蛍光画像撮影装置５００と染色画像撮影装置６００とは、一体化して、顕微鏡と撮像部とを有する１つの撮影装置であってもよい。当該顕微鏡は、蛍光顕微鏡５１０としての機能と光学顕微鏡６１０としての機能を有する。また、当該撮像部は、撮像部５２０としての機能と、撮像部６２０としての機能を有する。

【0060】

〈染色画像推定器の学習〉
図１１は、染色画像推定器学習装置における染色画像推定器の学習の際の動作フローの例を示す図である。

【0061】

Ｓ３０１では、画像処理装置４００の画像取得部４１０は、自家蛍光画像撮影装置５００で撮影された試料の自家蛍光画像を自家蛍光画像撮影装置５００から取得する。自家蛍光画像は、試料に所定の周波数の励起光を照射して、試料の自家蛍光を撮影したものである。励起光には、可視光だけでなく、赤外線や紫外線も含まれ得る。自家蛍光画像撮影装置５００では、蛍光顕微鏡５１０により試料には複数の種類（複数の波長）の励起光が照射され、撮像部５２０によりそれぞれの励起光に対する試料の自家蛍光が撮影される。即ち、自家蛍光画像撮影装置５００の撮像部５２０は、励起光毎に、試料の自家蛍光を撮影する。試料は、例えば、細胞や組織等の生体物質の切片標本である。Ｓ３０１及びＳ３０２で使用される試料は、同一の生体物質から生成される切片標本である。取得される自家蛍光画像は、１種類の励起光によるものであってもよい。

【0062】

Ｓ３０２では、画像取得部４１０は、染色画像撮影装置６００で撮影された染色された試料の染色画像を染色画像撮影装置６００から取得する。染色画像は、所定の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。染色画像撮影装置６００では、撮像部６２０のＲＧＢカメラで染色画像が撮影される。染色液は、例えば、ヘマトキシリン（Haematoxylin）、エオジン（Eosin）である。染色液として、複数の染色液が使用され
てもよい。画像取得部４１０は、染色画像を、赤色、緑色、青色の色毎の染色画像として取得し得る。また、画像取得部４１０は、染色画像を、使用する染色液毎に取得し得る。

【0063】

Ｓ３０３では、位置合わせ部４２０は、自家蛍光画像における試料の位置と、染色画像における試料の位置とを合わせる。同じ試料を撮影した画像であっても、各撮像部の位置や、染色過程、顕微鏡の性能などの影響により、試料の特定の位置が、一方の画像における座標と他方の画像における座標とで異なることがある。位置合わせ部４２０は、２つの画像の位置合わせを、２つの画像における試料の複数の同じ位置を利用者が指定することにより行ってもよいし、周知の画像認識技術により自動的に行ってもよい。例えば、位置合わせ部４２０は、一方の画像に対して他方の画像の位置をずらしながら、２つの画像の各画素の画素値の差分値の和を算出し、当該和が最小のときを２つの画像の位置が合っているとする。位置合わせ部４２０は、位置合わせの際に、一方の画像を拡大、縮小、回転してもよい。位置合わせ部４２０は、位置合わせ後、２つの画像において、試料の同じ位置には、同じ座標を割り当てる。位置合わせ部４２０は、２つの画像に共通して存在する部分を各画像からトリミングして、それぞれ、新たな自家蛍光画像、新たな染色画像としてもよい。Ｓ３０３の処理は省略されてもよい。

【0064】

Ｓ３０４では、染色画像推定器学習部４３０は、Ｓ３０１で取得された自家蛍光画像とＳ３０２で取得された染色画像との関係（Ｓ３０３で位置合わせが行われた自家蛍光画像と染色画像との関係）を機械学習等により分析する。分析には、画像出力型深層学習等の画像を直接学習する手法等が使用され得る。画像出力型深層学習の例として、ＭＴＡＮＮ（massive-training artificial neural network）が挙げられる。ＭＴＡＮＮは、画像を出力することができる高度な非線形深層学習モデルである。ここでは、染色画像推定器学習部４３０は、ＭＴＡＮＮによる推定器を各色の染色画像推定器として学習する。染色画像推定器は、画像出力型深層学習器の１つである。また、分析には他の深層学習が利用されてもよい。他の深層学習の例として、convolutional neural networks（ＣＮＮ）、shift-invariant neural networks、deep belief networks（ＤＢＮ）、deep neural networks（ＤＮＮ）、fully convolutional neural networks（ＦＣＮ）、U-Net、V-Net、multi-resolution massive-training artificial neural networks、multiple expert massive
-training artificial neural networks、SegNet、VGG-16、LeNet、AlexNet、ResNet、Auto encoders and decoders、Generative adversarial networks（ＧＡＮ）、Recurrent Neural Networks（ＲＮＮ）、Recursive Neural Networks、Long Short-Term Memory（Ｌ
ＳＴＭ）等が挙げられる。ここで使用される深層学習は、これらに限定されるものではない。分析には、画像を予測して出力するような手法が適用可能である。ここでは、染色画像推定器学習部４３０は、複数の条件（励起光）で励起された試料の、複数の自家蛍光画像を入力データとし、試料を染色して得られた染色試料の赤色、緑色、青色の染色画像（染色画像の赤色、緑色、青色の成分）を教師データとする。染色画像推定器学習部４３０は、当該入力データと当該教師データとが紐付けられた教師あり学習により、ニューラルネットワークのニューロン間の重み付け係数を最適化して、染色画像推定器を構築する。このとき、染色画像推定器学習部４３０は、染色画像の色毎（赤色、緑色、青色）に染色画像推定器を構築する。各色の染色画像推定器は、入力データである自家蛍光画像から、教師データである染色画像（各色の染色画像）を推定する推定器である。当該推定器からの出力は、模擬染色画像となる。染色画像推定器学習部４３０は、各画像の画素毎もしくは所定の領域（所定のブロック）毎に画素値を比較することなどにより、各色の染色画像推定器を構築する。各色の染色画像推定器は、より多くの自家蛍光画像と染色画像との組（学習データ）を用いることで最適化される。また、各色の染色画像推定器は、使用する染色液毎に構築され得る。また、入力データとして、テクスチャ情報等の画像処理特徴量（組織や細胞の特徴を示す情報など）が含まれてもよい。教師データは、染色画像のフルカラーの画像であってもよい。

【0065】

図１２は、染色画像推定器学習部における染色画像推定器の学習を説明する図である。図１２の画像５１、画像５２、画像５３は、入力データである、撮像部５２０で撮影された試料の自家蛍光画像の例を示す。ここで使用される試料は同一の生体試料である。入力データは、各色の染色画像推定器に入力される。図１２の画像５４、画像５５、画像５６は、それぞれ、各色（赤色、緑色、青色）の染色画像推定器から出力される各色の出力画像の例を示す。図１２の画像５７、画像５８、画像５９は、教師データである、撮像部６２０のＲＧＢカメラで撮影された各色の染色画像（染色画像の各色の成分）の例を示す。各画像において、色が白いほど、明るい（画素値が大きい）ことを示す。

【0066】

画像５１は、波長４０５ｎｍの励起光を照射したときの自家蛍光画像である。画像５２は、試料に対して、波長５９９ｎｍの励起光を照射したときの自家蛍光画像である。画像５３は、試料に対して、波長４３６ｎｍの励起光を照射したときの自家蛍光画像である。それぞれの自家蛍光画像の撮影時には所定のフィルタが使用されることにより、励起光が自家蛍光画像に含まれないようにされている。ここでは、入力データとして、３種類の励起光による自家蛍光画像を使用しているが、励起光の種類は３種類に限定されるものではない。

【0067】

画像５７は、試料に対してＨＥ（Hematoxylin and Eosin）染色を施した染色画像の赤
色成分の画像（赤色の染色画像）である。画像５８は、試料に対してＨＥ染色を施した染色画像の緑色成分の画像（緑色の染色画像）である。画像５９は、試料に対してＨＥ染色を施した染色画像の青色成分の画像（青色の染色画像）である。

【0068】

染色画像推定器学習部４３０は、入力データである画像（画像５１、画像５２、画像５３）と教師データである画像（画像５７、画像５８、画像５９）とを紐づけて学習データとし、染色画像推定器（赤色）４５１、染色画像推定器（緑色）４５２、染色画像推定器（青色）４５３を構築する。例えば、染色画像推定器学習部４３０は、３つの自家蛍光画像（画像５１、画像５２、画像５３）を染色画像推定器（赤色）４５１に入力する。染色画像推定器（赤色）４５１は、赤色の染色画像（出力画像）として画像５４を出力する。染色画像推定器学習部４３０は、染色画像推定器（赤色）４５１の出力データである画像
５４と、実際の赤色の染色画像である画像５７とを比較する。染色画像推定器学習部４３０は、比較結果（例えば、両画像の画素値の差分や平均二乗誤差）に基づいて、染色画像推定器（赤色）４５１を更に学習する。染色画像推定器学習部４３０は、出力画像である画像５４が実際の染色画像である画像５７に近づくように、染色画像推定器（赤色）４５１を学習する。染色画像推定器学習部４３０は、例えば、画像５４の各画素値と画像５７の各画素値との差分（あるいは平均二乗誤差）が所定の範囲内になるまで、繰り返し、染色画像推定器（赤色）４５１を学習する。染色画像推定器の学習は、各画像を複数の領域に分割して、当該領域毎に行われてもよい。染色画像推定器の学習は、各画像からサンプルをランダムに抜き出し、抜き出されたサンプルを使って行われてもよい。染色画像推定器学習部４３０は、染色画像推定器（緑色）４５２、染色画像推定器（青色）４５３についても同様に、学習する。このようにして、染色画像推定器学習部４３０は、染色画像推定器（赤色）４５１、染色画像推定器（緑色）４５２、染色画像推定器（青色）４５３を構築する。学習データとして使用される画像の組（入力データである画像と教師データである画像との組）は、１組だけではなく、複数組の画像が教師データとして使用される。より多くの組の教師データが使用されることで、染色画像推定器の精度が向上する。

【0069】

〈模擬染色画像生成〉
図１３は、本実施形態の模擬染色画像生成のシステムの構成例を示す図である。模擬染色画像生成のシステム７０は、画像処理装置７００、自家蛍光画像撮影装置５００を含む。自家蛍光画像撮影装置５００は、図１０の自家蛍光画像撮影装置５００と同様である。

【0070】

画像処理装置７００は、自家蛍光画像撮影装置５００から試料の自家蛍光画像を取得する。画像処理装置７００は、上記の染色画像推定器を使用して、自家蛍光画像撮影装置５００から取得した自家蛍光画像に基づいて、染色画像を出力する。試料は、例えば、細胞や組織などの生体物質試料である。画像処理装置７００と、自家蛍光画像撮影装置５００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。

【0071】

画像取得部７１０は、自家蛍光画像撮影装置５００から試料の自家蛍光画像を取得する。

【0072】

模擬染色画像生成部７４０は、自家蛍光画像撮影装置５００で撮影された試料の自家蛍光画像に基づいて、各色の染色画像推定器を用いて、デジタル染色画像（模擬染色画像）を生成する。

【0073】

染色画像推定器（赤色）７５１、染色画像推定器（緑色）７５２、染色画像推定器（青色）７５３は、それぞれ、染色画像推定器学習装置４００の染色画像推定器学習部４３０で構築された、染色画像推定器（赤色）４５１、染色画像推定器（緑色）４５２、染色画像推定器（青色）４５３である。

【0074】

図１４は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。模擬染色画像（デジタル染色画像）は、試料の自家蛍光画像を使用して染色画像推定器により推定される模擬的な染色画像である。模擬染色画像は、試料を実際に染色した染色画像を模擬したものである。ここでは、画像処理装置７００は、染色されていない試料の自家蛍光画像と、上記の染色画像推定器とを用いて、模擬染色画像を生成する。

【0075】

Ｓ４０１では、画像処理装置７００の画像取得部７１０は、自家蛍光画像撮影装置５００の蛍光顕微鏡５１０で励起光を照射され、撮像部５２０で撮影された試料の自家蛍光画像を自家蛍光画像撮影装置５００から取得する。自家蛍光画像撮影装置５００の蛍光顕微鏡５１０では、試料に複数の種類（複数の波長）の励起光が照射され、それぞれの励起光に対する試料の自家蛍光が撮影される。試料は、例えば、細胞や組織等の生体物質の切片
標本である。ここで使用される自家蛍光画像に対応する試料は、染色画像推定器の生成の際に使用された自家蛍光画像に対応する試料と異なる試料である。

【0076】

Ｓ４０２では、模擬染色画像生成部７４０は、画像取得部７１０で取得された自家蛍光画像を入力データとして、所望の染色液に対応する染色画像推定器を用いて、推定された染色画像を生成する。ここでは、模擬染色画像生成部７４０は、各色（赤色、緑色、青色）の染色画像推定器を用いることで、赤色の模擬染色画像、緑色の模擬染色画像、青色の模擬染色画像を生成する。模擬染色画像生成部７４０は、画像取得部７１０で取得された自家蛍光画像を入力データとして、赤色の染色画像推定器を用いて、赤色の模擬染色画像（模擬染色画像の赤色成分）を生成する。模擬染色画像生成部７４０は、同様にして、緑色の染色画像推定器を用いて緑色の模擬染色画像を生成し、青色の染色画像推定器を用いて青色の模擬染色画像を生成する。

【0077】

模擬染色画像生成部７４０は、生成された、赤色の模擬染色画像、緑色の模擬染色画像、青色の模擬染色画像を合成して、フルカラーの模擬染色画像を生成する。これにより、所定の染色液により染色した試料の模擬染色画像が生成される。画像処理装置７００は、自家蛍光画像から所望の染色液についての模擬染色画像を、試料を染色することなく生成することができる。

【0078】

図１５は、模擬染色画像生成部における模擬染色画像の生成を説明する図である。図１５の画像６１、画像６２、画像６３は、入力データである、撮像部５２０で撮影された試料の自家蛍光画像の例を示す。ここで使用される試料は同一の生体試料である。入力データは、各色の染色画像推定器に入力される。図１５の画像６４、画像６５、画像６６は、それぞれ、各色（赤色、緑色、青色）の染色画像推定器から出力される各色の出力画像（各色の模擬染色画像）の例を示す。例えば、画像６４は、染色画像推定器（赤色）４５１から出力される赤色の模擬染色画像（模擬染色画像の赤色成分）である。各画像において、色が白いほど明るい（画素値が大きい）ことを示す。

【0079】

画像６１は、波長４０５ｎｍの励起光を照射したときの自家蛍光画像である。画像６２は、試料に対して、波長５９９ｎｍの励起光を照射したときの自家蛍光画像である。画像６３は、試料に対して、波長４３６ｎｍの励起光を照射したときの自家蛍光画像である。ここで使用される励起光は、学習データの入力データに含まれる自家蛍光画像の励起光と同じである。

【0080】

模擬染色画像生成部７４０は、入力データである画像（画像６１、画像６２、画像６３）を、染色画像推定器（赤色）７５１、染色画像推定器（緑色）７５２、染色画像推定器（青色）７５３に入力して、各色の模擬染色画像を取得する。例えば、模擬染色画像生成部７４０は、３つの自家蛍光画像（画像６１、画像６２、画像６３）を染色画像推定器（赤色）７５１に入力する。染色画像推定器（赤色）７５１は、赤色の模擬染色画像（出力画像）として画像６４を出力する。このようにして、模擬染色画像生成部７４０は、赤色の模擬染色画像を取得する。同様にして、模擬染色画像生成部７４０は、３つの自家蛍光画像（画像６１、画像６２、画像６３）を、染色画像推定器（緑色）７５２、染色画像推定器（青色）７５３に入力して、緑色の模擬染色画像、青色の模擬染色画像を取得する。さらに、模擬染色画像生成部７４０は、赤色の模擬染色画像、緑色の模擬染色画像、青色の模擬染色画像を合成して、フルカラーの模擬染色画像６７を生成する。赤色の模擬染色画像がフルカラーの模擬染色画像６７の赤色成分、緑色の模擬染色画像がフルカラーの模擬染色画像６７の緑色成分、青色の模擬染色画像がフルカラーの模擬染色画像６７の青色成分に相当する。このようにして、模擬染色画像生成部７４０は、（フルカラーの）模擬染色画像６７を取得することができる。

【0081】

染色画像推定器の学習を行う染色画像推定器学習装置４００と模擬染色画像の生成を行う画像処理装置７００とは、一体化して１つの装置として動作してもよい。

【0082】

（ＭＴＡＮＮについて）
〈ＭＴＡＮＮの構造（非特許文献１）〉
図１６は、画像型深層学習器の一例として、ＭＴＡＮＮの構造を示す図である。ＭＴＡＮＮは、階層型ニューラルネット（Artificial Neural Network: ＡＮＮ)回帰モデル（非特許文献２、非特許文献３）を演算の核として用いて画像処理を行う深層学習モデルである。ＭＴＡＮＮでは、画素値そのものを階層型ＡＮＮ回帰モデルの入力とする。また、通常の深層学習モデルの出力は、画像中にある対象物の属するクラスである（例えば、異常陰影、正常陰影に、それぞれ、１、０を割り当てる）が、ＭＴＡＮＮの階層型ＡＮＮ回帰モデルの出力は、画素値そのものであり、ＭＴＡＮＮの出力は画像である。ＭＴＡＮＮにおける、階層型ＡＮＮ回帰モデルへの入力は、次式のように、入力画像から抽出した局所領域（画像パッチ）Ｒ_Ｓ内の画素値である。各画素値は、各入力層ユニット（ニューロン）のそれぞれに入力する。出力層ユニットは１個で、局所領域の中心位置（ｘ，ｙ）に対応する画素値ｆ（ｘ，ｙ）を出力する。

【数2】

ただし、ＮＮ（・）は、階層型ＡＮＮ回帰モデルの出力、ｇ（ｘ，ｙ）は入力画像の画素値である。例えば、Ｒ_Ｓが、３ｘ３画素の領域である場合、階層型ＡＮＮ回帰モデルへの入力は、以下のようになる。

【数3】

従って、この場合の階層型ＡＮＮ回帰モデルの入力層ユニット数は、９個である。ＭＴＡＮＮでは、出力が連続値であるため、階層型ＡＮＮ回帰モデルに、線形出力ＡＮＮモデル（非特許文献２、非特許文献３）を用いる。これは、出力層ユニットの応答関数に、通常使われるシグモイド関数の代わりに、次式の線形関数を用いたＡＮＮのモデルであり、連続値を出力とする応用に大変適している（非特許文献２、非特許文献３）。

【数4】

従って、入力層、中間層、出力層のユニットの応答関数は、それぞれ、恒等関数、シグモイド関数、線形関数である。階層型ＡＮＮ回帰モデルを、入力画像上で、畳み込み演算のように走査することにより、出力画像を得る。また、畳み込み演算により中間層上に得られる中間画像上で、階層型ＡＮＮ回帰モデルを畳み込み演算のように走査し、これを繰り返すことによって、深い層を形成する。

【0083】

中間層のユニットの応答関数は、シグモイド関数以外の関数、例えば、正規化線形関数、ランプ関数（Rectified Linear: ＲｅＬ）、切断冪関数などの準線形関数を用いることもできる。

【0084】

ＭＴＡＮＮ以外にも、他の深層学習、例えば、convolutional neural networks（ＣＮ
Ｎ）、shift-invariant neural networks、deep belief networks（ＤＢＮ）、deep neur
al networks（ＤＮＮ）、fully convolutional neural networks（ＦＣＮ）、U-Net、V-Net、SegNet、VGG-16、LeNet、AlexNet、ResNet、Auto encoders and decoders、Generative adversarial networks（ＧＡＮ）、Recurrent Neural Networks（ＲＮＮ）、Recursive Neural Networks、Long short-term memory（ＬＳＴＭ）を用いることもできる。演算
の核として用いられる階層型ＡＮＮ回帰モデルは、他の機械学習モデル、例えば、サポートベクトル回帰モデル、非線形ガウス過程回帰モデルに置き換えることができる（非特許文献４）。

【0085】

〈ＭＴＡＮＮの学習〉
図１７は、ＭＴＡＮＮの学習を示す図である。ＭＴＡＮＮは、入力画像とそれに対する理想的な教師画像を与えて学習することにより、所望の画像処理を獲得する。学習により最小化する誤差は、次式で定義される。

【数5】

ただし、Ｔ（ｘ，ｙ）は教師画像、ｆ（ｘ，ｙ）は出力画像、Ｒ_Ｔは学習領域である。学習には、誤差逆伝播学習法を線形出力ＡＮＮモデル用に修正した学習法を用いる。線形出力ＡＮＮモデルでは、線形関数を出力層ユニットに用いているため、通常の階層型ＡＮＮ回帰モデルの修正量を決める偏微分が、次式となる。

【数6】

（３）式の線形関数を微分すると、次式となる。

【数7】

従って、中間層・出力層間の重みの修正量は、次式となる。

【数8】

ここで、

【数9】

とおくことにより、入力層・中間層間の重みの修正量も、誤差逆伝播学習法の導出と同様に、求めることができる。ＭＴＡＮＮでは、対象に応じて入力画像と教師画像を所望のものに変え、学習を行うことにより、様々な対象に対する画像処理を実現可能である。

【0086】

（実施形態２の作用、効果）
染色画像推定器学習装置４００は、自家蛍光画像撮影装置５００で撮影された細胞や組織などの生体物質の試料の自家蛍光画像を取得する。染色画像推定器学習装置４００は、染色画像撮影装置６００で撮影された染色液で染色された染色画像を取得する。染色画像推定器学習装置４００は、自家蛍光画像と染色画像とに基づいて、画像出力型深層学習であるＭＴＡＮＮ等を用いて、各色の染色画像推定器を構築する。

【0087】

画像処理装置７００は、試料の自家蛍光画像と、所望の染色液に対応する各色の染色画像推定器とを用いて、推定された模擬染色画像を生成する。画像処理装置７００は、自家蛍光画像と各色の染色画像とに基づいて各色の染色画像推定器を構築することで、染色による色素量の推定をすることなく、模擬染色画像を生成することができる。

【0088】

画像処理装置７００は、従来、染色の際にノイズとされてきた自家蛍光を使用して、模擬染色画像（デジタル染色画像）を生成することで、標本（試料）を染色することなく、染色画像を得ることができる。画像処理装置７００によれば、貴重な試料であっても、試料を襲侵することなく、模擬的な染色画像を得ることができる。画像処理装置７００によれば、未染色標本等を観察するための特殊な顕微鏡を用意することなく、未染色標本を容易に観察することができる。また、画像処理装置７００によれば、試料を染色しないため、１つの試料で様々な染色液による模擬染色画像の生成をすることができる。

【0089】

各実施形態の模擬染色画像を生成する方法は、自家蛍光をするあらゆる組織に対して適用可能である。

【0090】

〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0091】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。

【0092】

また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。

【0093】

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

【0094】

（その他）
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。

【符号の説明】

【0095】

１０ ：システム
１００ ：画像処理装置
１０２ ：画像取得部
１０４ ：色情報取得部
１０６ ：色素量検出部
１０８ ：色素量推定部
１１０ ：画像生成部
２００ ：蛍光顕微鏡
３００ ：マルチスペクトルカメラ
４０ ：システム
４００ ：染色画像推定器学習装置
４１０ ：画像取得部
４２０ ：位置合わせ部
４３０ ：染色画像推定器学習部
５００ ：自家蛍光画像撮影装置
５１０ ：蛍光顕微鏡
５２０ ：撮像部
６００ ：染色画像撮影装置
６１０ ：光学顕微鏡
６２０ ：撮像部
７０ ：システム
７００ ：画像処理装置
７１０ ：画像取得部
７４０ ：模擬染色画像生成部
９０ ：情報処理装置
９１ ：プロセッサ
９２ ：メモリ
９３ ：記憶部
９４ ：入力部
９５ ：出力部
９６ ：通信制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】