(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023083684
(43)【公開日】2023-06-16
(54)【発明の名称】顕微鏡システム、投影ユニット、画像投影方法
(51)【国際特許分類】
G02B 21/00 20060101AFI20230609BHJP
【ＦＩ】
G02B21/00
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021197518
(22)【出願日】2021-12-06
(71)【出願人】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(72)【発明者】
【氏名】櫻井 歩
【テーマコード（参考）】
2H052
【Ｆターム（参考）】
2H052AA13
2H052AF22
2H052AF24
2H052AF25
(57)【要約】
【課題】顕微鏡装置を用いた目視観察における画像検査を支援する。
【解決手段】顕微鏡システム１は、接眼レンズ１０３の物体側に標本Ｓの光学像Ｐを形成する顕微鏡光学系１１０と、標本Ｓに対する検査に関する検査情報と顕微鏡光学系１１０の倍率に関する倍率情報に基づいて、光学像Ｐと比較するための比較画像の画像データを生成する処理装置２００と、処理装置２００で生成された画像データに基づいて、比較画像を、光学像Ｐが形成される像面に重畳する重畳装置である投影ユニット１２０と、を備える。
【選択図】図１
【解決手段】顕微鏡システム１は、接眼レンズ１０３の物体側に標本Ｓの光学像Ｐを形成する顕微鏡光学系１１０と、標本Ｓに対する検査に関する検査情報と顕微鏡光学系１１０の倍率に関する倍率情報に基づいて、光学像Ｐと比較するための比較画像の画像データを生成する処理装置２００と、処理装置２００で生成された画像データに基づいて、比較画像を、光学像Ｐが形成される像面に重畳する重畳装置である投影ユニット１２０と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
接眼レンズを含み、前記接眼レンズの物体側に標本の光学像を形成する顕微鏡光学系と、
前記標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記光学像と比較するための比較画像の画像データを生成する処理装置と、
前記処理装置で生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する重畳装置と、を備える
ことを特徴とする顕微鏡システム。
前記標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記光学像と比較するための比較画像の画像データを生成する処理装置と、
前記処理装置で生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する重畳装置と、を備える
ことを特徴とする顕微鏡システム。
【請求項2】
請求項１に記載の顕微鏡システムにおいて、
前記検査情報は、前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の大きさを表現するものを含み、
前記処理装置は、前記疾病情報と前記倍率情報とに基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
前記検査情報は、前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の大きさを表現するものを含み、
前記処理装置は、前記疾病情報と前記倍率情報とに基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
【請求項3】
請求項１に記載の顕微鏡システムにおいて、
前記検査情報は、
前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報と、
前記疾病の進行度を特定する進行度情報と、を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の大きさを表現するものを含み、
前記処理装置は、前記疾病情報と前記進行度情報と前記倍率情報とに基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
前記検査情報は、
前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報と、
前記疾病の進行度を特定する進行度情報と、を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の大きさを表現するものを含み、
前記処理装置は、前記疾病情報と前記進行度情報と前記倍率情報とに基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
【請求項4】
請求項１に記載の顕微鏡システムにおいて、
前記検査情報は、前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の画像を含み、
前記処理装置は、
前記疾病情報に基づいて、前記比較画像の内容を決定し、
前記倍率情報に基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
前記検査情報は、前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の画像を含み、
前記処理装置は、
前記疾病情報に基づいて、前記比較画像の内容を決定し、
前記倍率情報に基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
【請求項5】
請求項１に記載の顕微鏡システムにおいて、
前記検査情報は、
前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報と、
前記疾病の進行度を特定する進行度情報と、を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の画像を含み、
前記処理装置は、
前記疾病情報と前記進行度情報とに基づいて、前記比較画像の内容を決定し、
前記倍率情報に基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
前記検査情報は、
前記標本を用いて行われる病理診断で診断される疾病を特定する疾病情報と、
前記疾病の進行度を特定する進行度情報と、を含み、
前記比較画像の内容は、前記疾病に関連する注目部分の画像を含み、
前記処理装置は、
前記疾病情報と前記進行度情報とに基づいて、前記比較画像の内容を決定し、
前記倍率情報に基づいて、前記比較画像の大きさを決定する
ことを特徴とする顕微鏡システム。
【請求項6】
請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記標本の容器に付された識別情報を読み出す識別情報リーダと、を備え、
前記処理装置は、
前記識別情報リーダで読み出した前記識別情報に基づいて、外部システムから前記標本に関する標本情報と前記標本を採取された患者に関する患者情報の少なくとも一方を含む補足情報を取得し、
前記検査情報と前記倍率情報と前記補足情報とに基づいて、前記画像データを生成する
ことを特徴とする顕微鏡システム。
前記標本の容器に付された識別情報を読み出す識別情報リーダと、を備え、
前記処理装置は、
前記識別情報リーダで読み出した前記識別情報に基づいて、外部システムから前記標本に関する標本情報と前記標本を採取された患者に関する患者情報の少なくとも一方を含む補足情報を取得し、
前記検査情報と前記倍率情報と前記補足情報とに基づいて、前記画像データを生成する
ことを特徴とする顕微鏡システム。
【請求項7】
請求項６に記載の顕微鏡システムにおいて、
前記処理装置は、複数の検査候補の中から前記補足情報に基づいて選択された検査候補の情報を前記検査情報として取得する
ことを特徴とする顕微鏡システム。
前記処理装置は、複数の検査候補の中から前記補足情報に基づいて選択された検査候補の情報を前記検査情報として取得する
ことを特徴とする顕微鏡システム。
【請求項8】
請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、
前記処理装置は、複数の検査候補の中からユーザの操作によって選択された検査候補の情報を前記検査情報として取得し、
前記重畳装置は、
前記処理装置が前記検査情報を取得する前に、前記複数の検査候補を前記像面に重畳し、
前記処理装置が前記検査情報を取得した後に、前記比較画像を前記像面に重畳する
ことを特徴とする顕微鏡システム。
前記処理装置は、複数の検査候補の中からユーザの操作によって選択された検査候補の情報を前記検査情報として取得し、
前記重畳装置は、
前記処理装置が前記検査情報を取得する前に、前記複数の検査候補を前記像面に重畳し、
前記処理装置が前記検査情報を取得した後に、前記比較画像を前記像面に重畳する
ことを特徴とする顕微鏡システム。
【請求項9】
請求項１乃至請求項６のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記標本の像を撮像する撮像装置を備え、
前記処理装置は、複数の検査候補の中から前記撮像装置で生成された標本画像の画像データに基づいて選択された検査候補の情報を前記検査情報として取得する
ことを特徴とする顕微鏡システム。
前記標本の像を撮像する撮像装置を備え、
前記処理装置は、複数の検査候補の中から前記撮像装置で生成された標本画像の画像データに基づいて選択された検査候補の情報を前記検査情報として取得する
ことを特徴とする顕微鏡システム。
【請求項10】
請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
前記標本の容器に付された識別情報を読み出す識別情報リーダと、を備え、
前記処理装置は、前記識別情報リーダで読み出した前記識別情報と、外部システムから取得した検査対象標本に関する標本情報と前記検査対象標本を採取された患者に関する患者情報の少なくとも一方を含む補足情報と、に基づいて、前記標本が前記検査対象標本か否かを判定し、
前記重畳装置は、前記処理装置が前記標本は前記検査対象標本ではないと判定すると、警告画像を前記像面に重畳する
ことを特徴とする顕微鏡システム。
前記標本の容器に付された識別情報を読み出す識別情報リーダと、を備え、
前記処理装置は、前記識別情報リーダで読み出した前記識別情報と、外部システムから取得した検査対象標本に関する標本情報と前記検査対象標本を採取された患者に関する患者情報の少なくとも一方を含む補足情報と、に基づいて、前記標本が前記検査対象標本か否かを判定し、
前記重畳装置は、前記処理装置が前記標本は前記検査対象標本ではないと判定すると、警告画像を前記像面に重畳する
ことを特徴とする顕微鏡システム。
【請求項11】
請求項１乃至請求項１０のいずれか１項に記載の顕微鏡システムにおいて、
前記標本は、スライドガラスとカバーガラスに挟まれている
ことを特徴とする顕微鏡システム。
前記標本は、スライドガラスとカバーガラスに挟まれている
ことを特徴とする顕微鏡システム。
【請求項12】
顕微鏡光学系を含む顕微鏡システム用の投影ユニットであって、
標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記顕微鏡光学系に含まれる接眼レンズの物体側に形成される光学像と比較するための比較画像の画像データを生成する処理部と、
前記処理部で生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する重畳部と、を備える
ことを特徴とする投影ユニット。
標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記顕微鏡光学系に含まれる接眼レンズの物体側に形成される光学像と比較するための比較画像の画像データを生成する処理部と、
前記処理部で生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する重畳部と、を備える
ことを特徴とする投影ユニット。
【請求項13】
顕微鏡光学系を含む顕微鏡システムが行う画像投影方法であって、
前記顕微鏡光学系に含まれる接眼レンズの物体側に標本の光学像を形成し、
前記標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記光学像と比較するための比較画像の画像データを生成し、
生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する
ことを特徴とする画像投影方法。
前記顕微鏡光学系に含まれる接眼レンズの物体側に標本の光学像を形成し、
前記標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記光学像と比較するための比較画像の画像データを生成し、
生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する
ことを特徴とする画像投影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、顕微鏡システム、投影ユニット、画像投影方法に関する。
【背景技術】
【0002】
病理診断の分野では、色と濃淡の情報は極めて重要である。このため、接眼レンズを覗いて光学像で診断を行いたいといったニーズが存在する。これは、一般に、デジタル画像は、光学像と比較して、色再現性とダイナミックレンジにおいて劣ることがあるためである。
【0003】
しかしながら、接眼レンズを覗いて診断を行う場合、診断中に病理医が様々な参考情報を確認するためには、その度、接眼レンズから目を離さなければならず、効率良く診断作業を進めることが難しい。このような技術的な課題に関連する技術は、例えば、特許文献１に記載されている。特許文献１に記載の装置によれば、透過型の液晶素子を用いて視野内にスケールを表示することで、光学像とスケールを同時に観察することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平０５－１５７９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
病理診断において、多くの場合、長さや大きさは重要な判断要素である。しかしながら、単にスケールを視野内に表示するだけでは、病理医へのサポートは必ずしも十分ではない。これは、診断する疾病の種類や進行度によって判断基準となる長さや大きさが異なるためである。従って、たとえスケールが表示されていたとしても、病理医には診断中にその判断基準となる情報を得るために接眼レンズから目を離す必要性が生じ得る。
【0006】
以上では、病理診断を例に説明したが、病理診断に限らず、各種診断を含む人間の判断を伴う検査において、同様の技術的な課題が生じ得る。以上のような実情を踏まえ、本発明の一側面に係る目的は、顕微鏡装置を用いた目視観察における画像検査を支援する技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る顕微鏡システムは、接眼レンズを含み、前記接眼レンズの物体側に標本の光学像を形成する顕微鏡光学系と、前記標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記光学像と比較するための比較画像の画像データを生成する処理装置と、前記処理装置で生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する重畳装置と、を備える。
【0008】
本発明の一態様に係る投影ユニットは、顕微鏡光学系を含む顕微鏡システム用の投影ユニットであって、標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記顕微鏡光学系に含まれる接眼レンズの物体側に形成される光学像と比較するための比較画像の画像データを生成する処理部と、前記処理部で生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する重畳部と、を備える。
【0009】
本発明の一態様に係る画像投影方法は、顕微鏡光学系を含む顕微鏡システムが行う画像投影方法であって、前記顕微鏡光学系に含まれる接眼レンズの物体側に標本の光学像を形成し、前記標本に対する検査に関する検査情報と前記顕微鏡光学系の倍率に関する倍率情報に基づいて、前記光学像と比較するための比較画像の画像データを生成し、生成された前記画像データに基づいて、前記比較画像を、前記光学像が形成される像面に重畳する。
【発明の効果】
【0010】
上記の態様によれば、顕微鏡装置を用いた目視観察における画像検査を支援する技術を提供することができる。
【図面の簡単な説明】
【0011】
【図1】第１の実施形態に係る顕微鏡システム１の構成を例示した図である。
【図2】顕微鏡システム１が行う画像投影処理のフローチャートの一例である。
【図4】処理装置２００の構成を例示した図である。
【図5】顕微鏡システム１が行う画像投影処理のフローチャートの別の例である。
【図6】顕微鏡システム１の接眼レンズ１０３経由で観察される画像の一例である。
【図7】顕微鏡システム１の接眼レンズ１０３経由で観察される画像の別の例である。
【図8】顕微鏡システム１の接眼レンズ１０３経由で観察される画像の更に別の例である。
【図9】顕微鏡システム１の接眼レンズ１０３経由で観察される画像の更に別の例である。
【図10】顕微鏡システム１の接眼レンズ１０３経由で観察される画像の更に別の例である。
【図11】処理装置４００の構成を例示した図である。
【図12】第２の実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。
【図13】第２の実施形態に係る顕微鏡システムの接眼レンズ１０３経由で観察される画像の一例である。
【図14】第３の実施形態に係る顕微鏡システム２の構成を例示した図である。
【図15】処理装置５００の構成を例示した図である。
【図16】処理装置５１０の構成を例示した図である。
【図17】第３の実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。
【図18】処理装置７００の構成を例示した図である。
【図19】処理装置７１０の構成を例示した図である。
【図20】第４の実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。
【図21】処理装置８００の構成を例示した図である。
【図22】処理装置８１０の構成を例示した図である。
【図23】第５の実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。
【図24】第５の実施形態に係る顕微鏡システムの接眼レンズ１０３経由で観察される画像の一例である。
【図25】第６の実施形態に係る顕微鏡システム３の構成を例示した図である。
【図26】処理装置９００の構成を例示した図である。
【図27】処理装置９１０の構成を例示した図である。
【図28】第６の実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。
【図29】第７の実施形態に係る顕微鏡システム４の構成を例示した図である。
【図30】処理装置を実現するためのコンピュータ１０００のハードウェア構成を例示した図である。
【発明を実施するための形態】
【0012】
［第１の実施形態］
図１は、本実施形態に係る顕微鏡システム１の構成を例示した図である。顕微鏡システム１は、病理医が病理診断で用いる顕微鏡システムである。顕微鏡システム１は、少なくとも、接眼レンズ１０３を含む顕微鏡光学系１１０と、処理装置２００と、投影ユニット１２０を備えている。
図１は、本実施形態に係る顕微鏡システム１の構成を例示した図である。顕微鏡システム１は、病理医が病理診断で用いる顕微鏡システムである。顕微鏡システム１は、少なくとも、接眼レンズ１０３を含む顕微鏡光学系１１０と、処理装置２００と、投影ユニット１２０を備えている。
【0013】
顕微鏡システム１では、処理装置２００は、病理診断において病理医が標本Ｓの像（光学像Ｐ）と比較するための比較画像の画像データを生成する。さらに、投影ユニット１２０は、処理装置２００が生成した画像データに基づいて比較画像を顕微鏡光学系１１０によって光学像Ｐが形成される像面に重畳する。これにより、接眼レンズ１０３を覗いて標本Ｓを観察する病理医は、病理診断中に標本Ｓと比較すべき情報（比較画像）が光学像Ｐ上に重畳した画像を見ることができる。このため、顕微鏡システム１によれば、病理医は、診断中に接眼レンズ１０３から目を離す機会が減少し、効率良く診断作業を進めることが可能となる。
【0014】
さらに、顕微鏡システム１では、処理装置２００は、標本Ｓに対する検査に関する検査情報と顕微鏡光学系１１０の倍率に関する倍率情報に基づいて、比較画像の画像データを生成する。ここで、標本Ｓに対する検査に関する検査情報とは、典型的には、標本Ｓを用いて行われる病理診断で診断される疾病を特定する疾病情報である。例えば、病理医が標本Ｓを観察して大腸がんを診断する場合であれば、“大腸がん”という疾病名（疾病の種類）は、検査情報の一例である。また、疾病の進行度まで診断する場合であれば、検査情報には進行度に関する情報が含まれてもよく、“大腸がんのステージ２”という疾病名と進行度の組み合わせも、検査情報の一例である。
【0015】
処理装置２００が検査情報に基づいて比較画像の画像データを生成することで、病理医へ検査目的（診断目的）に応じた情報（比較画像）が提供されることになるため、病理医による診断を技術的に支援することができる。さらに、検査情報に加えて倍率情報を加味することで、光学像面に光学像Ｐに対して適切なサイズの比較画像を重畳することができる。例えば、対物レンズ１０１の倍率が１０倍の場合と４０倍の場合では、像面に投影される比較画像のサイズを異ならせることができる。すでに述べたように病理診断において大きさは非常に重要な情報である。標本Ｓと比較すべき情報が適切な大きさで提供されることで、病理医による診断をさらに支援することができる。
【0016】
【0017】
顕微鏡１００は、例えば、正立顕微鏡であるが、倒立顕微鏡であってもよい。顕微鏡１００は、対物レンズ１０１と結像レンズ１０２と接眼レンズ１０３とを含む顕微鏡光学系１１０を備えている。顕微鏡光学系１１０は、接眼レンズ１０３の物体側に、対物レンズ１０１と結像レンズ１０２によって標本Ｓの光学像Ｐを形成する。顕微鏡１００では、病理医は、標本Ｓの光学像Ｐを、接眼レンズ１０３を介して観察することが可能であり、目視観察のメリットを享受することができる。
【0018】
標本Ｓは、例えば、図１に示すように、検体ＴＳがスライドガラスＳＧとカバーガラスＣＧに挟まれた状態で固定されたプレパラート（スライド標本）である。ただし、標本Ｓは、スライド標本に限らず、ウェルプレートやディッシュなど他の容器に収容されたものであってもよい。
【0019】
顕微鏡１００は、さらに、接眼レンズ１０３を備えた接眼鏡筒と、対物レンズ１０１が固定される顕微鏡本体との間に、投影ユニット１２０を備えている。投影ユニット１２０は、比較画像を光学像面に重畳する重畳装置の一例であり、この例では、顕微鏡本体から出力される無限遠光束に作用する中間鏡筒である。投影ユニット１２０は、顕微鏡１００に対して着脱可能であってもよい。
【0020】
投影ユニット１２０は、投影装置１２１を備えている。投影装置１２１が発光することで、投影ユニット１２０は、比較画像を光学像面に投影する。投影装置１２１は、例えば、液晶デバイス、デジタルミラーデバイスなどであり、処理装置２００で生成された画像データに基づいてその発光が制御される。投影ユニット１２０には、さらに、投影装置１２１からの光を接眼レンズ１０３へ至る観察光路に導くための、ハーフミラーなどの光偏向素子やレンズなどが設けられている。
【0021】
処理装置２００は、例えば、顕微鏡１００を制御するコントロールボックスである。処理装置２００は、処理装置２００に含まれる処理回路が所定のプログラムを実行することで上述した比較画像を生成し、その比較画像を投影ユニット１２０へ出力するように構成されている。
【0022】
入力装置３００は、顕微鏡システム１の利用者である病理医が操作する装置であり、処理装置２００に接続されている。入力装置３００は、例えば、キーボード、マウス、ジョイスティック、タッチパネルなどを含んでもよい。
【0023】
以上のように構成された顕微鏡システム１は、図２及び図３に示す画像投影処理を行う。図２は、顕微鏡システム１が行う画像投影処理のフローチャートの一例である。図３は、図２に示す画像データ生成処理のフローチャートの一例である。以下、図２及び図３を参照しながら、顕微鏡システム１の画像投影方法について説明する。
【0024】
まず、顕微鏡システム１は、標本Ｓの光学像Ｐを形成する（ステップＳ１０）。ここでは、対物レンズ１０１が取り込んだ標本Ｓからの光を結像レンズ１０２が像面に集光することで、顕微鏡光学系１１０が接眼レンズ１０３の物体側に標本Ｓの光学像Ｐを形成する。
【0025】
次に、顕微鏡システム１は、比較画像の画像データを生成する（ステップＳ２０）。ここでは、処理装置２００が所定のプログラムを実行して図３に示す画像データ生成処理を実行する。具体的には、まず、処理装置２００は、比較画像の内容を光学像Ｐとの比較に適した内容に決定し（ステップＳ２１）、比較画像の大きさを光学像Ｐとの比較に適した大きさに決定する（ステップＳ２２）。その後、処理装置２００は、ステップＳ２１とステップＳ２２で決定した内容と大きさに従って、比較画像の画像データを生成する（ステップＳ２３）。生成された画像データは、投影ユニット１２０へ出力される。
【0026】
最後に、顕微鏡システム１は、比較画像を光学像面に重畳する（ステップＳ３０）。ここでは、投影装置１２１が画像データに基づいて発光制御されることで、投影装置１２１から出射した光が光学像面に結像し、比較画像が形成される。これにより、光学像Ｐに比較画像が重畳される。
【0027】
顕微鏡システム１では、処理装置２００によって生成された比較画像が標本Ｓの光学像とともに接眼レンズ１０３を経由で目視観察される。これにより、病理医は、標本Ｓの光学像に基づく病理診断中に、接眼レンズ１０３から目を離すことなく比較画像と光学像を比較して効率診断を行うことができる。また、比較画像が診断に適した内容と大きさで投影されることで、比較作業を容易に行うことができる。
【0028】
図４は、処理装置２００の構成を例示した図である。図５は、顕微鏡システム１が行う画像投影処理のフローチャートの別の例である。図６から図９は、顕微鏡システム１の接眼レンズ１０３経由で観察される画像の例である。以下、図４から図９を参照しながら、顕微鏡システム１が行う画像投影方法の具体例について詳細に説明する。
【0029】
まず、処理装置２００の構成について説明する。処理装置２００は、図４に示すように、検査情報取得部２０１と、内容決定部２０２と、大きさ決定部２０３と、画像データ生成部２０４を含んでいる。処理装置２００では、例えば、プログラムが実行されることで、処理装置２００に含まれる電気回路がこれらの各部として動作する。
【0030】
検査情報取得部２０１は、検査情報を取得する。検査情報は、標本Ｓを用いて行われる病理診断で診断される疾病を特定する疾病情報を含んでいる。この例では、疾病の名称である。検査情報取得部２０１は、検査候補リストとユーザの選択とを入力として受け付けて、検査情報を大きさ決定部２０３へ出力するように構成されている。
【0031】
内容決定部２０２は、比較画像の内容を決定する。比較画像の内容には、疾病に関連する注目部分の大きさを表現するものが含まれている。ここで、注目部分とは例えば病変部分である。内容決定部２０２は、予め決められた形状で注目部分の大きさを表現する画像を比較画像の内容として決定し、その内容を画像データ生成部２０４へ出力するように構成されている。予め決められた形状は、特に限定しないが、例えば、Ｕ字型、矢印、直線などであってもよい。
【0032】
大きさ決定部２０３は、比較画像の大きさを決定する。大きさ決定部２０３は、検査情報取得部２０１から出力された検査情報（疾病情報）と、顕微鏡光学系１１０の倍率に関する倍率情報とに基づいて、比較画像の大きさを決定し、その大きさを画像データ生成部２０４へ出力するように構成されている。
【0033】
なお、大きさ決定部２０３は、比較画像の大きさを、光学像Ｐと直接対比可能な大きさに決定することが望ましい。例えば、癌細胞がどの層まで及んでいるか、また、どのくらいの深さまで達しているかといった基準で診断が行われる場合であれば、診断基準となる深さの光学像上での大きさが比較画像によって確認できることが望ましい。このため、大きさ決定部２０３は、検査情報に基づいてその診断基準となる深さを特定し、倍率情報に基づいてその深さに対応する光学像上における長さを特定することで、比較画像の大きさを決定することが望ましい。
【0034】
画像データ生成部２０４は、比較画像の画像データを生成する。画像データ生成部２０４は、内容決定部２０２から出力された比較画像の内容と、大きさ決定部２０３から出力された比較画像の大きさに基づいて、比較画像の画像データを生成し、投影ユニット１２０へ出力する。
【0035】
図５に示す画像投影処理が開始されると、顕微鏡システム１は、光学像を形成する（ステップＳ１０１）。ステップＳ１０１の処理は、顕微鏡１００によって行われる。なお、ステップＳ１０１の処理は、図２に示すステップＳ１０の処理で説明したとおりである。
【0036】
さらに、顕微鏡システム１は、疾病リストを取得する（ステップＳ１０２）。ここでは、処理装置２００（検査情報取得部２０１）が、処理装置２００が有する記憶装置から、複数の疾病情報がリストされた疾病リストを取得する。疾病リストには、例えば、“疾病Ａ”、“疾病Ｂ”、“疾病Ｃ”が含まれている。
【0037】
顕微鏡システム１は、疾病リスト画像を光学像面へ重畳する（ステップＳ１０３）。ここでは、処理装置２００がステップＳ１０２で取得した疾病リストに基づいて複数の疾病の名称を並べた画像（疾病リスト画像）の画像データを生成し、投影ユニット１２０へ出力する。投影ユニット１２０が画像データに基づいて疾病リスト画像を光学像面へ重畳する。これにより、図６に示す画像が接眼レンズ１０３経由で観察される。図６に示す光学像Ｍ１は、上述した光学像Ｐに相当し、リスト画像Ｌ１が上述した疾病リスト画像に相当する。
【0038】
その後、病理医が入力装置３００を操作して、リスト画像Ｌ１中の複数の疾病（換言すると、複数の検査候補）の中から特定の疾病を選択すると、顕微鏡システム１では、処理装置２００（検査情報取得部２０１）が、その選択を検出して（ステップＳ１０４ＹＥＳ）、選択された疾病（検査候補）の情報を検査情報として取得する（ステップＳ１０５）。
【0039】
顕微鏡システム１は、顕微鏡光学系１１０の倍率情報を取得する（ステップＳ１０６）。ここでは、処理装置２００が、病理医が入力装置３００を用いて手動で入力した倍率情報を取得してもよく、顕微鏡１００が読み取った顕微鏡光学系１１０に付された識別情報に基づいて倍率情報を取得してもよい。なお、倍率情報は、光学像Ｐの投影倍率を特定できる情報であればよい。倍率そのものであってもよいし、既知の情報に基づいて倍率に換算可能な焦点距離などの情報であってもよい。
【0040】
検査情報と倍率情報が取得されると、顕微鏡システム１は、比較画像の内容と大きさを決定する（ステップＳ１０７、ステップＳ１０８）。ステップＳ１０７では、処理装置２００（内容決定部２０２）が比較画像の内容を、疾病に関連する注目部分の大きさを表現する形状の画像（例えばＵ字型の画像）に決定する。
【0041】
ステップＳ１０８では、処理装置２００（大きさ決定部２０３）が検査情報と倍率情報に基づいて比較画像の大きさを決定する。より具体的には、処理装置２００は、検査情報から診断する疾病を特定することで疾病に関連する基準となる長さを特定し、光学像面においてその長さを光学像の倍率だけ拡大した長さになるように比較画像の大きさを決定する。例えば、大腸がんの診断では、粘膜下層への湿潤の程度（ＳＭ湿潤距離）が判断材料として利用されることがあるため、検査情報が大腸がんを特定している場合であれば、処理装置２００は、判断基準となる湿潤距離（μｍ）を特定し、特定した湿潤距離から比較画像の大きさを決定してもよい。
【0042】
なお、検査情報から湿潤距離のような判断基準となる長さを決定する際には、処理装置２００は、予め用意された参考基準情報を参照してもよい。参考基準情報の具体例は、例えば、各種の疾病の診断ガイドラインなどである。また、処理装置２００は、予め診断ガイドラインから抽出した疾病ごとの判断基準となる長さを疾病と関連付けて記憶してもよく、その関連付けられた情報を参照して、検査情報から判断基準となる長さを決定してもよい。
【0043】
内容と大きさが決定されると、顕微鏡システム１は、比較画像の画像データを生成する（ステップＳ１０９）。ここでは、処理装置２００（画像データ生成部２０４）がステップＳ１０７で決定した内容で且つステップＳ１０８で決定した大きさを有する比較画像の画像データを生成し、投影ユニット１２０へ出力する。
【0044】
最後に、顕微鏡システム１は、比較画像を光学像面へ重畳する（ステップＳ１１０）。ここでは、投影ユニット１２０が処理装置２００から出力された画像データに基づいて光学像面に比較画像を投影する。これにより、図７に示す画像が接眼レンズ１０３経由で観察される。
【0045】
図７に示すリスト画像Ｌ２はステップＳ１０４で検出した病理医によって選択された疾病Ａを示している。また、比較画像Ｃ１は、光学像Ｍ１と比較すべき大きさを表現する画像（Ｕ字型画像）であり、病理医が選択した疾病Ａに関連する基準長さを示している。病理医が異なる疾病を選択することで、例えば、図８に示すように、リスト画像Ｌ３が示す疾病Ｂに関連する基準長さに対応する比較画像Ｃ２が像面に投影される。病理医は、比較画像Ｃ２を光学像Ｍ１中の注目部分を比較することで、標本Ｓが採取された患者が疾病Ｂに罹患しているなどを診断することができる。このため、比較画像Ｃ２は、注目部分との比較を容易にするために、図９に示すように、病理医が入力装置３００を操作することで視野内の任意の位置に投影できることが望ましい。
【0046】
なお、リスト画像を光学像Ｍ１が投影される領域からずらして投影する例を示したが、リスト画像は光学像Ｍ１に重なって投影されてもよい。また、検査情報として疾病情報を例示したが、検査情報は、疾病情報に加えて、その疾病の進行度を特定する進行度情報を含んでもよい。進行度は、例えば、ステージ（病期）である。検査情報が進行度情報を含む場合には、図１０に示すように、像面に投影されるリスト画像Ｌ４は、疾病の名称と進行度との組み合わせを並べた画像であってもよい。処理装置２００（大きさ決定部２０３）は、病理医が選択した組み合わせに応じて、疾病情報と進行度情報と倍率情報に基づいて比較画像の大きさを決定してもよく、その結果、組み合わせで選択した進行度の疾病に関連する基準長さを有する比較画像が光学像Ｍ１とともに像面に投影されてもよい。
【0047】
本実施形態に係る顕微鏡システム１及び画像投影方法によれば、光学像に基づく目視観察による病理診断を支援することが可能であり、病理医の作業負担を軽減することができる。
【0048】
［第２の実施形態］
図１１は、処理装置４００の構成を例示した図である。図１２は、本実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。図１３は、本実施形態に係る顕微鏡システムの接眼レンズ１０３経由で観察される画像の一例である。以下、図１１から図１３を参照しながら、本実施形態に係る顕微鏡システムが行う画像投影方法の具体例について詳細に説明する。
図１１は、処理装置４００の構成を例示した図である。図１２は、本実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。図１３は、本実施形態に係る顕微鏡システムの接眼レンズ１０３経由で観察される画像の一例である。以下、図１１から図１３を参照しながら、本実施形態に係る顕微鏡システムが行う画像投影方法の具体例について詳細に説明する。
【0049】
なお、本実施形態に係る顕微鏡システムは、処理装置２００の代わりに処理装置４００を含む点が顕微鏡システム１とは異なっている。処理装置４００は、図１１に示すように、検査情報取得部４０１と、内容決定部４０２と、大きさ決定部４０３と、画像データ生成部４０４を含んでいる。処理装置４００では、例えば、プログラムが実行されることで、処理装置４００に含まれる電気回路がこれらの各部として動作する。
【0050】
検査情報取得部４０１は、検査情報を取得する。検査情報取得部４０１は、取得した検査情報を内容決定部４０２に出力する点が、第１の実施形態に係る処理装置２００の検査情報取得部２０１とは異なっている。
【0051】
内容決定部４０２は、比較画像の内容を決定する。より具体的には、内容決定部４０２は、検査情報取得部４０１から出力された検査情報（疾病情報）に基づいて、比較画像の内容を決定し、画像データ生成部４０４へ出力する。比較画像の内容には、検査情報によって特定される疾病に関連する注目部分の画像が含まれている。ここで、注目部分とは例えば病変部分である。即ち、内容決定部４０２は、予め記憶されている複数の疾病の病変部分の画像の中から検査情報によって特定される疾病の病変部分の画像を比較画像の内容として決定する。
【0052】
大きさ決定部４０３は、比較画像の大きさを決定する。より具体的には、大きさ決定部４０３は、顕微鏡光学系１１０の倍率に関する倍率情報に基づいて、比較画像の大きさを決定し、その大きさを画像データ生成部４０４へ出力するように構成されている。大きさ決定部４０３は、例えば、倍率情報が示す顕微鏡光学系１１０の倍率と予め記憶されている病変部分の画像の倍率に基づいて画像変換の倍率を算出し、算出した倍率から比較画像の大きさを決定してもよい。
【0053】
画像データ生成部４０４は、比較画像の画像データを生成する。画像データ生成部４０４の動作は、第１の実施形態に係る処理装置２００の画像データ生成部４０４と同様であり、生成した画像データを投影ユニット１２０へ出力する。
【0054】
【0055】
検査情報と倍率情報が取得されると、顕微鏡システムは、比較画像の内容と大きさを決定する（ステップＳ２０７、ステップＳ２０８）。ステップＳ２０７では、処理装置４００（内容決定部４０２）は、検査情報に基づいて比較画像の内容を決定する。より具体的には、処理装置４００は、比較画像の内容を、予め処理装置４００に記憶されている複数の疾病の病変部分の画像の中から、検査情報によって特定される疾病に関連する注目部分の画像（例えばがん細胞の画像）に決定し、その画像を読み出して画像データ生成部４０４へ出力する。
【0056】
ステップＳ２０８では、処理装置４００（大きさ決定部４０３）が倍率情報に基づいて比較画像の大きさを決定する。より具体的には、処理装置４００は、例えば光学像の倍率が４０倍であれば、比較画像の倍率も４０倍に決定し、その情報を画像データ生成部４０４へ出力する。
【0057】
内容と大きさが決定されると、顕微鏡システムは、比較画像の画像データを生成する（ステップＳ２０９）。ここでは、処理装置４００（画像データ生成部４０４）がステップＳ２０７で内容決定部４０２から出力された画像をステップＳ２０８で大きさ決定部４０３から出力された情報に基づいて拡大又は縮小して比較画像の画像データを生成する。生成した画像データは、投影ユニット１２０へ出力される。
【0058】
最後に、顕微鏡システムは、比較画像を光学像面へ重畳する（ステップＳ２１０）。ここでは、投影ユニット１２０が処理装置４００から出力された画像データに基づいて光学像面に比較画像を投影する。これにより、図１３に示す画像が接眼レンズ１０３経由で観察される。
【0059】
図１３に示す比較画像Ｃ３は、リスト画像Ｌ３が示す疾病Ｂの病変部分の画像であり、光学像Ｍ１と同じ倍率を有している。これにより、病理医は、例えば、比較画像Ｃ３が示す病変を光学像Ｍ１中の注目部分を比較することで、標本Ｓが採取された患者が疾病Ｂに罹患しているかを診断することができる。なお、比較画像Ｃ３も比較画像Ｃ２と同様に、病理医が入力装置３００を操作することで視野内の任意の位置に投影できることが望ましい。
【0060】
本実施形態に係る顕微鏡システム及び画像投影方法によっても、第１の実施形態と同様に、光学像に基づく目視観察による病理診断を支援することが可能であり、病理医の作業負担を軽減することができる。
【0061】
［第３の実施形態］
図１４は、本実施形態に係る顕微鏡システム２の構成を例示した図である。本実施形態に係る顕微鏡システム２は、処理装置２００の代わりに処理装置５００を含む点と、識別装置６００を含む点と、処理装置５００が外部システム１０に接続されている点が、顕微鏡システム１とは異なっている。また、本実施形態に係る顕微鏡システム２に用いられる標本Ｓｉは、標本Ｓｉ（スライドガラスＳＧ）に識別情報ＩＤが付されている点が、標本Ｓとは異なっている。
図１４は、本実施形態に係る顕微鏡システム２の構成を例示した図である。本実施形態に係る顕微鏡システム２は、処理装置２００の代わりに処理装置５００を含む点と、識別装置６００を含む点と、処理装置５００が外部システム１０に接続されている点が、顕微鏡システム１とは異なっている。また、本実施形態に係る顕微鏡システム２に用いられる標本Ｓｉは、標本Ｓｉ（スライドガラスＳＧ）に識別情報ＩＤが付されている点が、標本Ｓとは異なっている。
【0062】
識別装置６００は、標本Ｓｉに付された識別情報を読み出す識別情報リーダである。識別情報は、例えば、一次元又は２次元コードである。なお、識別情報は手書き又は印刷された文字情報であってもよい。その場合、識別装置６００は撮像装置を含んでもよく、撮像装置で取得した画像から文字認識により識別情報を読み出してもよい。
【0063】
外部システム１０は、例えば、標本作成者が入力した標本に関する情報（標本情報）と臨床医が入力した患者に関する情報（患者情報）を管理するシステムである。以降では、外部システム１０で管理されている標本情報と患者情報を補足情報と記す。なお、補足情報は、標本情報のみを意味してもよく、患者情報のみを意味してもよく、その両方を意味してもよい。
【0064】
図１５は、処理装置５００の構成を例示した図である。処理装置５００は、検査情報取得部５０１と、内容決定部５０２と、大きさ決定部５０３と、画像データ生成部５０４と、補足情報取得部５０５を含んでいる。処理装置５００では、例えば、プログラムが実行されることで、処理装置５００に含まれる電気回路がこれらの各部として動作する。
【0065】
処理装置５００は、第１の実施形態に係る処理装置２００の変形例と見做すことができる。処理装置５００は、補足情報取得部５０５を含む点と、大きさ決定部５０３が補足情報に基づいて比較画像の大きさを決定する点が、第１の実施形態に係る処理装置２００とは異なっている。検査情報取得部５０１、内容決定部５０２、画像データ生成部５０４は、検査情報取得部２０１、内容決定部２０２、画像データ生成部２０４と同様である。
【0066】
補足情報取得部５０５は、識別装置６００が標本Ｓｉから読み出した識別情報ＩＤに基づいて外部システム１０から補足情報を取得して、大きさ決定部５０３へ出力する。なお、外部システム１０で管理される補足情報は、予め識別情報ＩＤと関連付けられている。これにより、補足情報取得部５０５は、識別情報に基づいて標本Ｓｉ（検体ＴＳ）に関する標本情報と標本Ｓｉ（検体ＴＳ）が採取された患者に関する患者情報を取得することができる。
【0067】
標本情報は、特に限定しないが、材料（例えば、細胞、組織の種類、細胞、組織の採取場所）、染色（例えば、染色の有無、染色方法）、その他（作成方法）を含んでもよい。また、患者情報は、特に限定しないが、患者名、性別、年齢、既往歴、その他（月経周期、最終月経）を含んでもよい。
【0068】
大きさ決定部５０３は、比較画像の大きさを決定する。より具体的には、大きさ決定部５０３は、検査情報と倍率情報と補足情報に基づいて、比較画像の大きさを決定し、その大きさを画像データ生成部５０４へ出力するように構成されている。大きさ決定部５０３は、検査情報と倍率情報に加えて、補足情報を考慮する点が、大きさ決定部２０３とは異なっている。これにより、補足情報に含まれる患者の性別や年齢などに応じて診断基準が異なる場合であっても、比較画像の大きさを適切に決定することができる。
【0069】
なお、画像データ生成部５０４は、画像データ生成部２０４と同様に動作するが、画像データ生成部５０４に入力される比較画像の内容と大きさは、検査情報と倍率情報と補足情報をから導かれる。従って、画像データ生成部２０４とは異なり、画像データ生成部５０４は、検査情報と倍率情報と補足情報に基づいて画像データを生成している。
【0070】
顕微鏡システム２は、処理装置５００の代わりに図１６に示す処理装置５１０を含んでもよい。処理装置５１０は、第２の実施形態に係る処理装置４００の変形例と見做すことができる。処理装置５１０は、補足情報取得部５１５を含む点と、内容決定部５１２が補足情報に基づいて比較画像の内容を決定する点が、処理装置４００とは異なっている。検査情報取得部５１１、大きさ決定部５１３、画像データ生成部５１４は、検査情報取得部４０１、大きさ決定部４０３、画像データ生成部４０４と同様である。
【0071】
補足情報取得部５１５は、識別装置６００が標本Ｓｉから読み出した識別情報ＩＤに基づいて外部システム１０から補足情報を取得して、内容決定部５１２へ出力する。内容決定部５１２は、比較画像の内容を決定する。より具体的には、内容決定部５１２は、検査情報と補足情報に基づいて、比較画像の内容を決定し、その内容を画像データ生成部５１４へ出力するように構成されている。内容決定部５１２は、検査情報に加えて、補足情報を考慮する点が、内容決定部４０２とは異なっている。これにより、補足情報に含まれる患者の性別や年齢などに応じて病変部分の形態に変化が生じる場合であっても、比較画像の内容を適切に決定することができる。
【0072】
【0073】
図１７に示す画像投影処理が開始されると、顕微鏡システム２は、識別装置６００から識別情報を取得し（ステップＳ３０１）、取得した識別情報に基づいて外部システム１０から補足情報を取得する（ステップＳ３０２）。補足情報には、標本Ｓｉに関する標本情報と標本Ｓｉが採取された患者に関する患者情報の少なくとも一方が含まれている。その後、行われるステップＳ３０３からステップＳ３０９の処理は、図５に示す画像投影処理のステップＳ１０１からステップＳ１０７の処理と同様である。
【0074】
比較画像の内容が決定すると、さらに、顕微鏡システム２は、比較画像の大きさを決定する（ステップＳ３１０）。ステップＳ３１０では、処理装置５００（大きさ決定部５０３）が検査情報と倍率情報と補足情報に基づいて比較画像の大きさを決定し、その情報を画像データ生成部４０４へ出力する。その後、行われるステップＳ３１１からステップＳ３１２の処理は、図５に示す画像投影処理のステップＳ１０９からステップＳ１１０の処理と同様である。
【0075】
本実施形態に係る顕微鏡システム及び画像投影方法によっても、第１の実施形態と同様に、光学像に基づく目視観察による病理診断を支援することが可能であり、病理医の作業負担を軽減することができる。さらに、本実施形態では、病理医は、患者に関連する情報（患者情報、標本情報）に基づいて作成されたその患者の診断に適した比較画像を用いて診断を行うことできる。
【0076】
［第４の実施形態］
図１８は、処理装置７００の構成を例示した図である。本実施形態に係る顕微鏡システムは、処理装置５００の代わりに処理装置７００を含む点が顕微鏡システム２とは異なっている。処理装置７００は、図１８に示すように、検査情報取得部７０１と、内容決定部７０２と、大きさ決定部７０３と、画像データ生成部７０４と、補足情報取得部７０５を含んでいる。処理装置７００では、例えば、プログラムが実行されることで、処理装置７００に含まれる電気回路がこれらの各部として動作する。
図１８は、処理装置７００の構成を例示した図である。本実施形態に係る顕微鏡システムは、処理装置５００の代わりに処理装置７００を含む点が顕微鏡システム２とは異なっている。処理装置７００は、図１８に示すように、検査情報取得部７０１と、内容決定部７０２と、大きさ決定部７０３と、画像データ生成部７０４と、補足情報取得部７０５を含んでいる。処理装置７００では、例えば、プログラムが実行されることで、処理装置７００に含まれる電気回路がこれらの各部として動作する。
【0077】
処理装置７００は、第３の実施形態に係る処理装置５００の変形例と見做すことができる。処理装置７００は、補足情報取得部７０５が補足情報を検査情報取得部７０１にも出力する点、検査情報取得部７０１が病理医の選択操作なしで検査情報を取得する点が、第３の実施形態に係る処理装置５００とは異なっている。内容決定部７０２、大きさ決定部７０３、画像データ生成部７０４は、内容決定部５０２、大きさ決定部５０３、画像データ生成部５０４と同様である。
【0078】
検査情報取得部７０１は、検査情報を取得する。検査情報取得部７０１は、検査候補リストに含まれる複数の検査候補の中から、補足情報取得部７０５で取得した補足情報に基づいて選択された検査候補の情報を検査情報として取得する点が、処理装置５００の検査情報取得部５０１とは異なっている。例えば、補足情報に標本Ｓｉを採取した採取場所（例えば、大腸など）の情報が含まれている場合には、その情報に基づいて、検査情報取得部７０１は、複数の検査候補の中から特定の疾病（例えば、大腸がん）を選択して検査情報として取得してもよい。
【0079】
本実施形態に係る顕微鏡システムは、処理装置７００の代わりに図１９に示す処理装置７１０を含んでもよい。処理装置７１０は、第３の実施形態に係る処理装置５１０の変形例と見做すことができる。処理装置７１０は、補足情報取得部７１５が補足情報を検査情報取得部７１１にも出力する点、検査情報取得部７１１が病理医の選択操作なしで検査情報を取得する点が、第３の実施形態に係る処理装置５１０とは異なっている。内容決定部７１２、大きさ決定部７１３、画像データ生成部７１４は、内容決定部５１２、大きさ決定部５１３、画像データ生成部５１４と同様である。なお、検査情報取得部７１１は、検査情報を内容決定部７１２に出力する点を除き、検査情報取得部７０１と同様である。
【0080】
【0081】
【0082】
疾病リストが取得されると、顕微鏡システムは、補足情報に基づいて選択された疾病情報を検査情報として出力する（ステップＳ４０５）。ここでは、処理装置７００（検査情報取得部７０１）は、ステップＳ４０４で取得した疾病リストの中からステップＳ４０２で取得した補足情報に基づいて選択した疾病の情報を検査情報として出力する。その後、行われるステップＳ４０６からステップＳ４１０の処理は、図１７に示す画像投影処理のステップＳ３０８からステップＳ３１２の処理と同様である。
【0083】
本実施形態に係る顕微鏡システム及び画像投影方法によっても、第１の実施形態と同様に、光学像に基づく目視観察による病理診断を支援することが可能であり、病理医の作業負担を軽減することができる。また、本実施形態では、第３の実施形態と同様に、病理医は、患者に関連する情報（患者情報、標本情報）に基づいて作成されたその患者の診断に適した比較画像を用いて診断を行うことできる。さらに、本実施形態では、病理医は、診断する疾病を選択する操作を省略することが可能であり、即座に診断に取り掛かることができる。
【0084】
［第５の実施形態］
図２１は、処理装置８００の構成を例示した図である。本実施形態に係る顕微鏡システムは、処理装置７００の代わりに処理装置８００を含む点が第４の実施形態に係る顕微鏡システムとは異なっている。処理装置８００は、図２１に示すように、検査情報取得部８０１と、内容決定部８０２と、大きさ決定部８０３と、画像データ生成部８０４と、補足情報取得部８０５と、警告判定部８０６を含んでいる。処理装置８００では、例えば、プログラムが実行されることで、処理装置８００に含まれる電気回路がこれらの各部として動作する。
図２１は、処理装置８００の構成を例示した図である。本実施形態に係る顕微鏡システムは、処理装置７００の代わりに処理装置８００を含む点が第４の実施形態に係る顕微鏡システムとは異なっている。処理装置８００は、図２１に示すように、検査情報取得部８０１と、内容決定部８０２と、大きさ決定部８０３と、画像データ生成部８０４と、補足情報取得部８０５と、警告判定部８０６を含んでいる。処理装置８００では、例えば、プログラムが実行されることで、処理装置８００に含まれる電気回路がこれらの各部として動作する。
【0085】
処理装置８００は、第４の実施形態に係る処理装置７００の変形例と見做すことができる。処理装置８００は、警告判定部８０６を含む点と、補足情報取得部８０５が識別情報を用いることなく補足情報を取得する点と、補足情報取得部８０５が補足情報を警告判定部８０６にも出力する点が、第４の実施形態に係る処理装置７００とは異なっている。検査情報取得部８０１、内容決定部８０２、大きさ決定部８０３、画像データ生成部８０４は、検査情報取得部７０１、内容決定部７０２、大きさ決定部７０３、画像データ生成部７０４と同様である。
【0086】
補足情報取得部８０５は、外部システム１０から補足情報を取得する点は、補足情報取得部７０５と同様である。ただし、補足情報取得部７０５が識別情報に基づいて補足情報を取得するのに対して、補足情報取得部８０５は外部システム１０から自動的に配信される補足情報を取得する点が異なっている。
【0087】
警告判定部８０６は、識別情報と補足情報とに基づいて、識別情報が付された標本Ｓｉが補足情報に関する検査対象標本か否かを判定する。これは、処理装置８００では、補足情報取得部８０５が取得した補足情報は外部システム１０から配信された補足情報であり、その補足情報が標本Ｓｉに関する情報であるか否かについては確証がないためである。警告判定部８０６は、標本Ｓｉが補足情報取得部８０５で取得した補足情報に関する検査対象標本でないと判定すると、警告画像を投影ユニット１２０へ出力する。
【0088】
本実施形態に係る顕微鏡システムは、処理装置８００の代わりに図２２に示す処理装置８１０を含んでもよい。処理装置８１０は、第４の実施形態に係る処理装置７１０の変形例と見做すことができる。処理装置８１０は、警告判定部８１６を含む点と、補足情報取得部８１５が識別情報を用いることなく補足情報を取得する点と、補足情報取得部８１５が補足情報を警告判定部８１６にも出力する点が、第４の実施形態に係る処理装置７１０とは異なっている。検査情報取得部８１１、内容決定部８１２、大きさ決定部８１３、画像データ生成部８１４は、検査情報取得部７１１、内容決定部７１２、大きさ決定部７１３、画像データ生成部７１４と同様である。
【0089】
図２３は、本実施形態に係る顕微鏡システムが行う画像投影処理のフローチャートの一例である。図２４は、本実施形態に係る顕微鏡システムの接眼レンズ１０３経由で観察される画像の一例である。以下、図２３及び図２４を参照しながら、本実施形態に係る顕微鏡システムが行う画像投影方法の具体例について詳細に説明する。
【0090】
【0091】
識別情報と補足情報が取得されると、顕微鏡システムは、識別情報と補足情報に基づいて標本Ｓｉの正誤を判定する（ステップＳ５０４）。ここでは、処理装置８００（警告判定部８０６）は、標本Ｓｉに付された識別情報を用いて、外部システム１０から取得した補足情報が標本Ｓｉに関する情報か否かを判定する。
【0092】
標本Ｓｉが正しい標本であると判定されると（ステップＳ５０５ＹＥＳ）、その後、顕微鏡システムは、ステップＳ５０６からステップＳ５１２の処理を行う。これらの処理は、図２０に示す画像投影処理のステップＳ４０４からステップＳ４１０の処理と同様である。
【0093】
一方、標本Ｓｉが誤った標本であると判定されると（ステップＳ５０５ＮＯ）、顕微鏡システムは、警告画像を光学像面へ重畳する（ステップＳ５１３）。ここでは、処理装置８００（警告判定部８０６）が警告画像の画像データを生成し、投影ユニット１２０へ出力する。投影ユニット１２０は、処理装置８００から出力された警告画像の画像データに基づいて、光学像面に警告画像を投影する。これにより、図２４に示す画像が接眼レンズ１０３経由で観察される。
【0094】
図２４に示す警告画像Ｗ１は、標本Ｓｉを取り違えている可能性について病理医に通知するための画像である。病理医は、警告画像Ｗ１によって標本の取り違えの可能性を把握することができる。なお、注意を促すマークからなる警告画像Ｗ１を投影する例を示したが、警告画像Ｗ１は警告内容を文字情報で示した画像であってもよい。
【0095】
本実施形態に係る顕微鏡システム及び画像投影方法によっても、第１の実施形態と同様に、光学像に基づく目視観察による病理診断を支援することが可能であり、病理医の作業負担を軽減することができる。また、本実施形態では、第３の実施形態と同様に、病理医は、患者に関連する情報（患者情報、標本情報）に基づいて作成されたその患者の診断に適した比較画像を用いて診断を行うことできる。また、本実施形態では、第５の実施形態と同様に、病理医は、診断する疾病を選択する操作を省略することが可能であり、即座に診断に取り掛かることができる。さらに、本実施形態では、観察する標本が診断すべき標本か否かが自動的に確認されるため、標本の取り違えを防止することができる。
【0096】
［第６の実施形態］
図２５は、本実施形態に係る顕微鏡システム３の構成を例示した図である。本実施形態に係る顕微鏡システム３は、顕微鏡１００の代わりに顕微鏡１００ａを含む点と、処理装置２００の代わりに処理装置９００を含む点が、顕微鏡システム１とは異なっている。
図２５は、本実施形態に係る顕微鏡システム３の構成を例示した図である。本実施形態に係る顕微鏡システム３は、顕微鏡１００の代わりに顕微鏡１００ａを含む点と、処理装置２００の代わりに処理装置９００を含む点が、顕微鏡システム１とは異なっている。
【0097】
顕微鏡１００ａは、撮像装置１３０を含んでいる点と、接眼鏡筒が３眼鏡筒であり、接眼鏡筒に撮像装置１３０が装着されている点が顕微鏡１００とは異なっている。撮像装置１３０は、標本Ｓの像を撮像し、標本画像の画像データを処理装置９００へ出力する。
【0098】
図２６は、処理装置９００の構成を例示した図である。処理装置９００は、検査情報取得部９０１と、内容決定部９０２と、大きさ決定部９０３と、画像データ生成部９０４と、画像解析部９０５を含んでいる。処理装置９００では、例えば、プログラムが実行されることで、処理装置９００に含まれる電気回路がこれらの各部として動作する。
【0099】
処理装置９００は、画像解析部９０５を含む点と、検査情報取得部９０１が病理医の選択操作なしで検査情報を取得する点が、第１の実施形態に係る処理装置２００とは異なっている。内容決定部９０２、大きさ決定部９０３、画像データ生成部９０４は、内容決定部２０２、大きさ決定部２０３、画像データ生成部２０４と同様である。
【0100】
画像解析部９０５は、撮像装置１３０から取得した標本画像の画像データを解析し、解析結果を検査情報取得部９０１へ出力する。画像解析部９０５で行われる解析は、特に限定しないが、例えば、深層学習により得られた学習済みモデルを用いた画像分類である。画像解析部９０５は、標本画像に写っている標本Ｓを分類して分類結果を解析結果として検査情報取得部９０１へ出力する。
【0101】
検査情報取得部９０１は、検査情報を取得する。検査情報取得部９０１は、検査候補リストに含まれる複数の検査候補の中から、画像解析部９０５から出力された解析結果に基づいて選択された検査候補の情報を検査情報として取得し、大きさ決定部９０３へ出力する。即ち、処理装置９００は、標本画像の画像データに基づいて選択された検査候補の情報を検査情報として取得する。
【0102】
本実施形態に係る顕微鏡システムは、処理装置９００の代わりに図２７に示す処理装置９１０を含んでもよい。処理装置９１０は、画像解析部９１５を含む点と、検査情報取得部９１１が病理医の選択操作なしで検査情報を取得する点が、第２の実施形態に係る処理装置４００とは異なっている。内容決定部９１２、大きさ決定部９１３、画像データ生成部９１４は、内容決定部４１２、大きさ決定部４１３、画像データ生成部４１４と同様である。
【0103】
【0104】
図２８に示す画像投影処理が開始されると、本実施形態に係る顕微鏡システムでは、処理装置９００が撮像装置１３０から標本画像の画像データを取得し（ステップＳ６０１）、取得した標本画像の画像データを解析し、解析結果を生成する（ステップＳ６０２）。その後、行われるステップＳ６０３からステップＳ６０４の処理は、図５に示す画像投影処理のステップＳ１０１からステップＳ１０２の処理と同様である。
【0105】
解析結果と疾病リストを取得すると、顕微鏡システムは、解析結果に基づいて選択された疾病の情報を検査情報として取得する（ステップＳ６０５）。ここでは、処理装置９００（検査情報取得部９０１）は、疾病リストに含まれる複数の検査情報の中から解析結果に基づいて選択された検査候補の情報を検査情報として取得する。処理装置９００は、例えば、解析結果が標本Ｓを大腸から採取した組織であることを示している場合であれば、複数の疾病の中から例えば大腸がんを検査情報として選択してもよい。
【0106】
その後、行われるステップＳ６０６からステップＳ６１０の処理は、図５に示す画像投影処理のステップＳ１０６からステップＳ１１０の処理と同様である。
【0107】
本実施形態に係る顕微鏡システム及び画像投影方法によっても、第１の実施形態と同様に、光学像に基づく目視観察による病理診断を支援することが可能であり、病理医の作業負担を軽減することができる。さらに、本実施形態では、第５の実施形態と同様に、病理医は、診断する疾病を選択する操作を省略することが可能であり、即座に診断に取り掛かることができる。
【0108】
［第７の実施形態］
図２９は、本実施形態に係る顕微鏡システム４の構成を例示した図である。本実施形態に係る顕微鏡システム４は、顕微鏡１００の代わりに顕微鏡１００ｂを含む点と、処理装置２００の代わりに処理装置２００ａを含む点が、顕微鏡システム１とは異なっている。
図２９は、本実施形態に係る顕微鏡システム４の構成を例示した図である。本実施形態に係る顕微鏡システム４は、顕微鏡１００の代わりに顕微鏡１００ｂを含む点と、処理装置２００の代わりに処理装置２００ａを含む点が、顕微鏡システム１とは異なっている。
【0109】
顕微鏡１００ｂは、投影ユニット１２０の代わりに投影ユニット１２０ａを含む点が顕微鏡１００とは異なっている。投影ユニット１２０ａは、顕微鏡システム用の投影ユニットであり、投影ユニット１２０に相当する投影部１２２に加えて、処理部１２３を備えている点が、投影ユニット１２０とは異なっている。投影部１２２は、像面に比較画像を投影する重畳部の一例である。
【0110】
処理部１２３は、図４に示す処理装置２００の構成と同様の構成を有している。即ち、処理部１２３は、検査情報取得部２０１、内容決定部２０２、大きさ決定部２０３、画像データ生成部２０４と同様の処理を実行する。一方、処理装置２００ａは、処理装置２００と同様に顕微鏡装置のコントロールボックスであるが、投影ユニット１２０の投影制御に関与しない点が、処理装置２００とは異なる。
【0111】
本実施形態に係る顕微鏡システム及び画像投影方法によっても、第１の実施形態と同様に、光学像に基づく目視観察による病理診断を支援することが可能であり、病理医の作業負担を軽減することができる。さらに、本実施形態では、既存の顕微鏡システムに投影ユニット１２０ａを取り付けることで、顕微鏡システム１と同様の画像投影処理を実行することができる。
【0112】
以上では、処理部１２３が図４に示す処理装置２００の機能的な構成の全てを有する例で説明したが、処理部１２３は、図４に示す処理装置２００の機能的な構成の一部を有してもよく、処理装置２００ａが残りの構成を有してもよい。また、以上では、処理部１２３が図４に示す処理装置２００の機能的な構成の一部または全部を有する例で説明したが、処理部１２３は、他の実施形態に係る処理装置の機能的な構成の一部又は全部を有してもよい。例えば、処理部１２３は、図１１に示す処理装置４００の機能的な構成の一部又は全部を有してもよい。
【0113】
図３０は、上述した処理装置又は投影ユニット１２０ａを実現するためのコンピュータ１０００のハードウェア構成を例示した図である。図３０に示すハードウェア構成は、例えば、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７を備える。なお、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７は、例えば、入出力インタフェース１００８を介して互いに接続されている。
【0114】
プロセッサ１００１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ１００１は、記憶装置１００３に格納されているプログラムを読み出して実行することで、上述した検査情報取得部、内容決定部、大きさ決定部、画像データ生成部、補足情報取得部、警告判定部、画像解析部として動作する。
【0115】
メモリ１００２は、例えば、半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１００３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。
【0116】
読取装置１００４は、例えば、プロセッサ１００１の指示に従って記憶媒体１００５にアクセスする。記憶媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ等（Ｂｌｕ－ｒａｙは登録商標）である。
【0117】
通信インタフェース１００６は、例えば、プロセッサ１００１の指示に従って、他の装置と通信する。入出力インタフェース１００７は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、入力装置３００と識別装置６００を含んでもよい。また、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスであってもよい。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。
【0118】
プロセッサ１００１が実行するプログラムは、例えば、下記の形態でコンピュータ１０００に提供される。
（１）記憶装置１００３に予めインストールされている。
（２）記憶媒体１００５により提供される。
（３）プログラムサーバなどのサーバから提供される。
（１）記憶装置１００３に予めインストールされている。
（２）記憶媒体１００５により提供される。
（３）プログラムサーバなどのサーバから提供される。
【0119】
なお、図３０を参照して述べた処理装置、及び、投影ユニットを実現するためのコンピュータ１０００のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の電気回路の一部または全部の機能がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによるハードウェアとして実装されてもよい。
【0120】
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【0121】
上述した実施形態では、重畳装置の一例として投影ユニットを例示したが、顕微鏡システムは、重畳装置として対物レンズ１０１と接眼レンズ１０３の間の光路上に配置された透過型液晶素子を含む表示装置を有してもよい。透過型液晶素子は、光学像が形成される像面に配置されて、投型液晶素子で表示した画像を光学像に直接重畳してもよい。
【0122】
以上では、診断の判断基準となる長さ（基準長さ）の一例として深達度に関連する湿潤距離を例示したが、基準長さは、深達度に限らず侵襲度や分化度に関連する長さであってもよい。また、以上では、長さを含む大きさに注目して比較画像が生成される例を示したが、比較画像は、大きさよりもむしろ形状に注目したものであってもよい。顕微鏡システムは、形状に注目した比較画像を用いることで、異形細胞の発見を支援することによって診断を支援してもよい。
【0123】
本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。
【符号の説明】
【0124】
１、２、３、４ 顕微鏡システム
１０ 外部システム
１００、１００ａ、１００ｂ 顕微鏡
１０１ 対物レンズ
１０２ 結像レンズ
１０３ 接眼レンズ
１１０ 顕微鏡光学系
１２０、１２０ａ 投影ユニット
１２１ 投影装置
１２２ 投影部
１２３ 処理部
１３０ 撮像装置
２００、４００、５００、５１０、７００、７１０、８００、８１０、９００、９１０
処理装置
２０１、４０１、５０１、５１１、７０１、７１１、８０１、８１１、９０１、９１１
検査情報取得部
２０２、４０２、５０２、５１２、７０２、７１２、８０２、８１２、９０２、９１２
内容決定部
２０３、４０３、５０３、５１３、７０３、７１３、８０３、８１３、９０３、９１３
大きさ決定部
２０４、４０４、５０４、５１４、７０４、７１４、８０４、８１４、９０４、９１４
画像データ生成部
３００ 入力装置
５０５、５１５、７０５、７１５、８０５、８１５ 補足情報取得部
６００ 識別装置
８０６、８１６ 警告判定部
９０５、９１５ 画像解析部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ 読取装置
１００５ 着脱可能記記憶媒体
１００６ 通信インタフェース
１００７ 入出力インタフェース
１００８ バス
Ｓ、Ｓｉ 標本
ＳＧ スライドガラス
Ｐ 光学像
Ｌ１、Ｌ２、Ｌ３、Ｌ４ リスト画像
Ｍ１ 光学像
ＣＧ カバーガラス
Ｃ１、Ｃ２、Ｃ３ 比較画像
Ｗ１ 警告画像
ＴＳ 検体
ＩＤ 識別情報
１０ 外部システム
１００、１００ａ、１００ｂ 顕微鏡
１０１ 対物レンズ
１０２ 結像レンズ
１０３ 接眼レンズ
１１０ 顕微鏡光学系
１２０、１２０ａ 投影ユニット
１２１ 投影装置
１２２ 投影部
１２３ 処理部
１３０ 撮像装置
２００、４００、５００、５１０、７００、７１０、８００、８１０、９００、９１０
処理装置
２０１、４０１、５０１、５１１、７０１、７１１、８０１、８１１、９０１、９１１
検査情報取得部
２０２、４０２、５０２、５１２、７０２、７１２、８０２、８１２、９０２、９１２
内容決定部
２０３、４０３、５０３、５１３、７０３、７１３、８０３、８１３、９０３、９１３
大きさ決定部
２０４、４０４、５０４、５１４、７０４、７１４、８０４、８１４、９０４、９１４
画像データ生成部
３００ 入力装置
５０５、５１５、７０５、７１５、８０５、８１５ 補足情報取得部
６００ 識別装置
８０６、８１６ 警告判定部
９０５、９１５ 画像解析部
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ 読取装置
１００５ 着脱可能記記憶媒体
１００６ 通信インタフェース
１００７ 入出力インタフェース
１００８ バス
Ｓ、Ｓｉ 標本
ＳＧ スライドガラス
Ｐ 光学像
Ｌ１、Ｌ２、Ｌ３、Ｌ４ リスト画像
Ｍ１ 光学像
ＣＧ カバーガラス
Ｃ１、Ｃ２、Ｃ３ 比較画像
Ｗ１ 警告画像
ＴＳ 検体
ＩＤ 識別情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】