(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163524
(43)【公開日】2023-11-10
(54)【発明の名称】顕微鏡システム、投影ユニット、画像投影方法
(51)【国際特許分類】
G02B 21/00 20060101AFI20231102BHJP
G02B 21/36 20060101ALI20231102BHJP
G02B 21/18 20060101ALI20231102BHJP
【ＦＩ】
G02B21/00
G02B21/36
G02B21/18
【審査請求】未請求
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2022074487
(22)【出願日】2022-04-28
(71)【出願人】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(72)【発明者】
【氏名】河野 高之
(72)【発明者】
【氏名】富岡 正治
(72)【発明者】
【氏名】日下 健一
(72)【発明者】
【氏名】櫻井 歩
【テーマコード（参考）】
2H052
【Ｆターム（参考）】
2H052AB10
2H052AB25
2H052AD16
2H052AD33
2H052AF13
2H052AF14
2H052AF25
(57)【要約】
【課題】ＡＲ顕微鏡における撮像装置のフォーカスずれに対処する。
【解決手段】顕微鏡システム１は、接眼レンズ１１３よりも物体側に標本Ｓの光学像を形成する観察光学系１１０と、光学像が形成される像面Ｐに補助情報を重畳する重畳装置である投影装置３０１と、観察光学系１１０の光路から分岐した光路上に設けられた撮像装置４００と、投影装置３０１を制御する制御装置５００を備える。制御装置５００は、顕微鏡システム１の状態に応じて、投影装置３０１に像面Ｐ上に重畳させる補助情報を、撮像画像と撮像画像に対する画像解析の結果に関する解析情報との間で切り替える。
【選択図】図１
【解決手段】顕微鏡システム１は、接眼レンズ１１３よりも物体側に標本Ｓの光学像を形成する観察光学系１１０と、光学像が形成される像面Ｐに補助情報を重畳する重畳装置である投影装置３０１と、観察光学系１１０の光路から分岐した光路上に設けられた撮像装置４００と、投影装置３０１を制御する制御装置５００を備える。制御装置５００は、顕微鏡システム１の状態に応じて、投影装置３０１に像面Ｐ上に重畳させる補助情報を、撮像画像と撮像画像に対する画像解析の結果に関する解析情報との間で切り替える。
【選択図】図１
【特許請求の範囲】
【請求項1】
顕微鏡システムであって、
接眼レンズよりも物体側に標本の光学像を形成する観察光学系と、
前記光学像が形成される像面に補助情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、
前記重畳装置を制御する制御装置と、を備え、
前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする顕微鏡システム。
接眼レンズよりも物体側に標本の光学像を形成する観察光学系と、
前記光学像が形成される像面に補助情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、
前記重畳装置を制御する制御装置と、を備え、
前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする顕微鏡システム。
【請求項2】
請求項１に記載の顕微鏡システムにおいて、
前記制御装置は、前記接眼レンズへ導かれる観察光量と前記撮像装置へ導かれる撮像光量の比率に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記制御装置は、前記接眼レンズへ導かれる観察光量と前記撮像装置へ導かれる撮像光量の比率に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項3】
請求項２に記載の顕微鏡システムにおいて、さらに、
前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる位置に選択的に配置され、前記接眼レンズと前記撮像装置の少なくとも一方へ光を導く複数の光学素子を備え、
前記制御装置は、前記複数の光学素子から選択して、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置された光学素子に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる位置に選択的に配置され、前記接眼レンズと前記撮像装置の少なくとも一方へ光を導く複数の光学素子を備え、
前記制御装置は、前記複数の光学素子から選択して、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置された光学素子に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項4】
請求項３に記載の顕微鏡システムにおいて、
前記制御装置は、前記複数の光学素子のうちの前記撮像光量が最も多くなる光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
前記制御装置は、前記複数の光学素子のうちの前記撮像光量が最も多くなる光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
【請求項5】
請求項３に記載の顕微鏡システムにおいて、
前記制御装置は、前記複数の光学素子のうちの前記撮像光量の比率が閾値以上になる光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
前記制御装置は、前記複数の光学素子のうちの前記撮像光量の比率が閾値以上になる光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
【請求項6】
請求項３に記載の顕微鏡システムにおいて、
前記制御装置は、前記複数の光学素子のうちの前記撮像装置へのみ光を導く光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
前記制御装置は、前記複数の光学素子のうちの前記撮像装置へのみ光を導く光学素子が、前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる前記位置に配置されているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
【請求項7】
請求項２に記載の顕微鏡システムにおいて、さらに、
前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる位置に配置された光路分割素子と、
前記光路分割素子と前記接眼レンズとの間に配置されたシャッタ機構と、を備え、
前記制御装置は、
前記シャッタ機構が前記光路分割素子経由で前記接眼レンズへ向かう光を遮光しているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させ、
前記シャッタ機構が前記光路分割素子経由で前記接眼レンズへ向かう光を遮光していないときに、前記重畳装置に、前記解析情報を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
前記観察光学系の光路と前記観察光学系の光路から分岐した光路が交わる位置に配置された光路分割素子と、
前記光路分割素子と前記接眼レンズとの間に配置されたシャッタ機構と、を備え、
前記制御装置は、
前記シャッタ機構が前記光路分割素子経由で前記接眼レンズへ向かう光を遮光しているときに、前記重畳装置に、前記撮像画像を前記像面に重畳させ、
前記シャッタ機構が前記光路分割素子経由で前記接眼レンズへ向かう光を遮光していないときに、前記重畳装置に、前記解析情報を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
【請求項8】
請求項１に記載の顕微鏡システムにおいて、
前記制御装置は、前記標本に対する前記観察光学系の視野の位置又は範囲の変化に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記制御装置は、前記標本に対する前記観察光学系の視野の位置又は範囲の変化に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項9】
請求項８に記載の顕微鏡システムにおいて、さらに、
前記標本を配置するステージを備え、
前記制御装置は、前記ステージの移動に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記標本を配置するステージを備え、
前記制御装置は、前記ステージの移動に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項10】
請求項８に記載の顕微鏡システムにおいて、さらに、
前記観察光学系に含まれる対物レンズを切り替える切り替え機構を備え、
前記制御装置は、前記切り替え機構による前記対物レンズの切り替えに応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記観察光学系に含まれる対物レンズを切り替える切り替え機構を備え、
前記制御装置は、前記切り替え機構による前記対物レンズの切り替えに応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項11】
請求項１に記載の顕微鏡システムにおいて、さらに、
前記標本に対する前記観察光学系の焦点面の位置を前記観察光学系の光軸方向に調整する焦準機構を備え、
前記制御装置は、前記焦準機構の移動に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記標本に対する前記観察光学系の焦点面の位置を前記観察光学系の光軸方向に調整する焦準機構を備え、
前記制御装置は、前記焦準機構の移動に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項12】
請求項１に記載の顕微鏡システムにおいて、さらに、
前記標本に照射する照明光を出射する光源を備え、
前記制御装置は、前記照明光の光量に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記標本に照射する照明光を出射する光源を備え、
前記制御装置は、前記照明光の光量に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項13】
請求項１に記載の顕微鏡システムにおいて、
前記制御装置は、前記撮像画像に基づいて特定される前記撮像装置のフォーカス状態に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
前記制御装置は、前記撮像画像に基づいて特定される前記撮像装置のフォーカス状態に応じて、前記補助情報を、前記撮像画像と前記解析情報の間で切り替える
ことを特徴とする顕微鏡システム。
【請求項14】
請求項１３に記載の顕微鏡システムにおいて、さらに、
前記接眼レンズへ導かれる観察光量と前記撮像装置へ導かれる撮像光量の比率を、前記比率の異なる２以上の設定の間で、切り替える切り替え機構を備え、
前記制御装置は、前記補助情報の切り替えに連動して、前記切り替え機構に前記比率の設定を切り替えさせる
ことを特徴とする顕微鏡システム。
前記接眼レンズへ導かれる観察光量と前記撮像装置へ導かれる撮像光量の比率を、前記比率の異なる２以上の設定の間で、切り替える切り替え機構を備え、
前記制御装置は、前記補助情報の切り替えに連動して、前記切り替え機構に前記比率の設定を切り替えさせる
ことを特徴とする顕微鏡システム。
【請求項15】
請求項１４に記載の顕微鏡システムにおいて、
前記制御装置は、
前記撮像画像に基づいて前記撮像装置のフォーカス状態に関するフォーカス情報を生成し、
前記フォーカス情報が所定の閾値未満のときに、
前記切り替え機構に、前記比率の設定を前記２以上の設定のうちの第１設定に設定させ、
前記重畳装置に、前記撮像画像を前記像面に重畳させ、
前記フォーカス情報が所定の閾値以上のときに、
前記切り替え機構に、前記比率の設定を前記２以上の設定のうちの前記第１設定よりも前記撮像光量の比率が小さい第２設定に設定させ、
前記重畳装置に、前記解析情報を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
前記制御装置は、
前記撮像画像に基づいて前記撮像装置のフォーカス状態に関するフォーカス情報を生成し、
前記フォーカス情報が所定の閾値未満のときに、
前記切り替え機構に、前記比率の設定を前記２以上の設定のうちの第１設定に設定させ、
前記重畳装置に、前記撮像画像を前記像面に重畳させ、
前記フォーカス情報が所定の閾値以上のときに、
前記切り替え機構に、前記比率の設定を前記２以上の設定のうちの前記第１設定よりも前記撮像光量の比率が小さい第２設定に設定させ、
前記重畳装置に、前記解析情報を前記像面に重畳させる
ことを特徴とする顕微鏡システム。
【請求項16】
請求項１乃至１５のいずれか１項に記載の顕微鏡システムにおいて、
前記制御装置は、前記補助情報を前記撮像画像へ切り替えてから所定時間経過後に、前記補助情報を前記解析情報へ切り替える
ことを特徴とする顕微鏡システム。
前記制御装置は、前記補助情報を前記撮像画像へ切り替えてから所定時間経過後に、前記補助情報を前記解析情報へ切り替える
ことを特徴とする顕微鏡システム。
【請求項17】
請求項１乃至１５のいずれか１項に記載の顕微鏡システムにおいて、
前記重畳装置は、投影装置であり、
前記重畳装置からの光を前記観察光学系の光路に合流させる光路合成素子を、さらに含む
ことを特徴とする顕微鏡システム。
前記重畳装置は、投影装置であり、
前記重畳装置からの光を前記観察光学系の光路に合流させる光路合成素子を、さらに含む
ことを特徴とする顕微鏡システム。
【請求項18】
請求項１乃至１５のいずれか１項に記載の顕微鏡システムにおいて、
前記撮像画像は、前記撮像装置で取得した画像に対して画像処理を施した画像処理後の画像を含む
ことを特徴とする顕微鏡システム。
前記撮像画像は、前記撮像装置で取得した画像に対して画像処理を施した画像処理後の画像を含む
ことを特徴とする顕微鏡システム。
【請求項19】
請求項１乃至１５のいずれか１項に記載の顕微鏡システムにおいて、
前記解析情報は、前記撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報を含む
ことを特徴とする顕微鏡システム。
前記解析情報は、前記撮像画像に基づく前記撮像装置のフォーカス状態に関するフォーカス情報を含む
ことを特徴とする顕微鏡システム。
【請求項20】
請求項１乃至請求項１５のいずれか１項に記載の顕微鏡システムにおいて、
前記制御装置は、前記撮像画像に対して前記画像解析を行うことで、前記解析情報を生成し、
前記画像解析は、機械学習で学習済みのニューラルネットワークモデルを用いた推論処理を含む
ことを特徴とする顕微鏡システム。
前記制御装置は、前記撮像画像に対して前記画像解析を行うことで、前記解析情報を生成し、
前記画像解析は、機械学習で学習済みのニューラルネットワークモデルを用いた推論処理を含む
ことを特徴とする顕微鏡システム。
【請求項21】
顕微鏡システム用の投影ユニットであって、
前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する前記像面に補助情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、
前記重畳装置を制御する制御装置と、を備え、
前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする投影ユニット。
前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する前記像面に補助情報を重畳する重畳装置と、
前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、
前記重畳装置を制御する制御装置と、を備え、
前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする投影ユニット。
【請求項22】
観察光学系を含む顕微鏡システムが行う画像投影方法であって、
前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記観察光学系が標本の光学像を形成する前記像面に補助情報を重畳し、
前記顕微鏡システムの状態に応じて、前記補助情報を、前記観察光学系の光路から分岐した光路上に設けられた撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする画像投影方法。
前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記観察光学系が標本の光学像を形成する前記像面に補助情報を重畳し、
前記顕微鏡システムの状態に応じて、前記補助情報を、前記観察光学系の光路から分岐した光路上に設けられた撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える
ことを特徴とする画像投影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、顕微鏡システム、投影ユニット、画像投影方法に関する。
【背景技術】
【0002】
近年、顕微鏡下で行う作業をＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）でサポートすることが期待されている。このようなＡＩサポートを提供可能な顕微鏡として、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）顕微鏡が知られている。
【0003】
ＡＲ顕微鏡は、接眼レンズを覗いて観察する標本の光学像上に補助的な情報を重ねて表示する顕微鏡であり、例えば、特許文献１に記載されている。ＡＲ顕微鏡が表示する補助的な情報は、典型的には、その標本を撮像した撮像画像を解析することによって生成される。特に、撮像画像の解析にディープラーニングなどのＡＩ技術を用いることで、顕微鏡利用者に、ＡＩによる高度なサポートを提供することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０２０／０６６０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、目視観察では、目の調整能力の分だけカメラ撮影よりも焦点深度が深くなる。このことは、例えば、ＢＥＲＥＫの式からも明らかである。このため、ＡＲ顕微鏡の利用者が目視観察で試料にフォーカスを合わせても、カメラではフォーカスが合っておらず、撮像画像がぼけてしまうといった事態が生じ得る。
【0006】
このような課題は、目視用の観察光学系の光路と観察光学系から分岐し撮像装置へ至る光路とを有する従来の顕微鏡でも生じるが、従来の顕微鏡では、撮像装置へ至る光路を使用する時にはモニタに表示される撮像画像でフォーカスが合っているかどうか確認可能である。これに対して、ＡＲ顕微鏡は、利用者の視線が接眼レンズとモニタを行き来する機会を減らすことで効率的な作業を可能とするといったメリットを享受するものである。従って、従来の顕微鏡のように、モニタで撮像画像を都度確認するといった対応は望ましくない。
【0007】
以上のような実情を踏まえ、本発明の一側面に係る目的は、ＡＲ顕微鏡における撮像装置のフォーカスずれに対処する技術を提供することである。
【課題を解決するための手段】
【0008】
本発明の一態様に係る顕微鏡システムは、接眼レンズよりも物体側に標本の光学像を形成する観察光学系と、前記光学像が形成される像面に補助情報を重畳する重畳装置と、前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、前記重畳装置を制御する制御装置と、を備える。前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える。
【0009】
本発明の一態様に係る投影ユニットは、顕微鏡システム用の投影ユニットであって、前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記顕微鏡システムに含まれる観察光学系が標本の光学像を形成する前記像面に補助情報を重畳する重畳装置と、前記観察光学系の光路から分岐した光路上に設けられた撮像装置と、前記重畳装置を制御する制御装置と、を備える。前記制御装置は、前記顕微鏡システムの状態に応じて、前記重畳装置に前記像面上に重畳させる前記補助情報を、前記撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替える。
【0010】
本発明の一態様に係る画像投影方法は、観察光学系を含む顕微鏡システムが行う画像投影方法であって、前記顕微鏡システムに含まれる接眼レンズよりも物体側に位置する像面であって前記観察光学系が標本の光学像を形成する前記像面に補助情報を重畳し、前記顕微鏡システムの状態に応じて、前記補助情報を、前記観察光学系の光路から分岐した光路上に設けられた撮像装置で取得した前記標本の撮像画像と前記撮像画像に対する画像解析の結果に関する解析情報との間で切り替えることを含む。
【発明の効果】
【0011】
上記の態様によれば、ＡＲ顕微鏡における撮像装置のフォーカスずれに対処することができる。
【図面の簡単な説明】
【0012】
【図1】一実施形態に係る顕微鏡システムの構成を例示した図である。
【図2】一実施形態に係る画像投影処理のフローチャートの一例である。
【図3】第１の実施形態に係る接眼鏡筒の内部構成を例示した図である。
【図4】第１の実施形態に係る光路切替ユニットの構成を例示した図である。
【図5】第１の実施形態に係る画像投影処理のフローチャートの一例である。
【図6】第１の実施形態において接眼レンズ経由で観察される画像の一例である。
【図7】第１の実施形態において接眼レンズ経由で観察される画像の別の例である。
【図8】第１の実施形態において接眼レンズ経由で観察される画像の更に別の例である。
【図9】顕微鏡利用者の作業手順を示すフローチャートの一例である。
【図10】フォーカスモードにおける像面に投影する画像と撮像面との関係を説明するための図である。
【図11】フレームモードにおける像面に投影する画像と撮像面の関係を説明するための図である。
【図12】第１の実施形態において接眼レンズ経由で観察される画像の更に別の例である。
【図13】第２の実施形態に係る接眼鏡筒の内部構成を例示した図である。
【図14】シャッタ機構が光を遮断した状態を説明するための図である。
【図15】シャッタ機構が光を遮断していない状態を説明するための図である。
【図16】第２の実施形態に係る画像投影処理のフローチャートの一例である。
【図17】第３の実施形態に係る画像投影処理のフローチャートの一例である。
【図18】第３の実施形態において接眼レンズ経由で観察される画像の一例である。
【図19】第３の実施形態において接眼レンズ経由で観察される画像の別の例である。
【図20】第４の実施形態に係る画像投影処理のフローチャートの一例である。
【図21】第５の実施形態に係る画像投影処理のフローチャートの一例である。
【図22】制御装置を実現するためのコンピュータのハードウェア構成を例示した図である。
【図23】接眼レンズ経由で観察される画像の変形例である。
【発明を実施するための形態】
【0013】
図１は、一実施形態に係る顕微鏡システムの構成を例示した図である。顕微鏡システム１は、生物系の顕微鏡システムであってもよく、工業用の顕微鏡システムであってもよい。顕微鏡利用者は、例えば、顕微鏡システム１を用いて、スライド標本の解析等を行ってもよい。顕微鏡システム１は、少なくとも、接眼レンズ１１３を含む観察光学系１１０と、投影装置３０１と、撮像装置４００と、制御装置５００を備えている。
【0014】
顕微鏡システム１は、図１に示すように、顕微鏡と、顕微鏡を制御する制御装置５００を備えている。顕微鏡には、顕微鏡本体１００と、ランプハウス２００と、接眼鏡筒３００と、撮像装置４００が設けられている。なお、図１では、顕微鏡は、正立顕微鏡であるが、倒立顕微鏡であってもよい。
【0015】
顕微鏡本体１００は、標本Ｓを配置するステージ１０１と、対物レンズ１１１が取り付けられるレボルバ１０５を備えている。ランプハウス２００と接眼鏡筒３００は、顕微鏡本体１００に取り付けられていて、撮像装置４００は、接眼鏡筒３００に取り付けられている。
【0016】
ステージ１０１は、ラックアンドピニオン機構１０３によって焦準ハンドル１０２と接続されている。焦準ハンドル１０２の回転運動がラックアンドピニオン機構１０３によりステージ１０１の直線運動に変換される。これにより、ステージ１０１は、焦準ハンドル１０２を回転することで上下へ移動する。ステージ１０１は、標本Ｓに対する観察光学系１１０の焦点面の位置を観察光学系１１０の光軸方向に調整する焦準機構の一例である。
【0017】
また、ステージ１０１は、観察光学系１１０の光軸方向と直交する方向に移動するＸＹステージを含んでいる。図示しないハンドルを操作することで、ステージ１０１は、観察光学系１１０の光軸方向と直交する方向に移動する。なお、ステージ１０１には、コンデンサからの照明光が通過する、標本Ｓが落下しない程度の大きさの開口が形成されている。
【0018】
レボルバ１０５には、複数の対物レンズを取り付け可能であり、望ましくは倍率の異なる複数の対物レンズが取り付けられる。レボルバ１０５が回転することで、観察光学系１１０の光路上に配置される対物レンズが切り替わる。レボルバ１０５は、観察光学系１１０に含まれる対物レンズを切り替える切り替え機構の一例である。
【0019】
ランプハウス２００は、標本Ｓに照射する照明光を出射する光源２０１を含んでいる。図示しない電源スイッチを入れることで光源２０１は点灯し、電源スイッチをオフにすることで光源２０１は消灯する。光源２０１は、例えば、ハロゲンランプなどである。光源２０１から出射した照明光は、顕微鏡本体１００に設けられたコンデンサ経由で、ステージ１０１に配置された標本Ｓに照射される。光源２０１から出射する照明光の光量は、ステージ１０１に設けられたダイヤル１０４で調整可能である。調光入力部として機能するダイヤル１０４の回転に応じて、ダイヤル１０４に接続された制御装置５００が、光源２０１から発光される照明光の光量を制御する。
【0020】
照明光が照射された標本Ｓからの光は、観察光学系１１０に入射する。観察光学系１１０は、対物レンズ１１１と、結像レンズ１１２と、接眼レンズ１１３を含んでいる。観察光学系１１０は、接眼レンズ１１３よりも物体側（像面Ｐ）に標本Ｓの光学像を形成する。より詳細には、対物レンズ１１１と結像レンズ１１２は、光源２０１からの光で照明された標本Ｓの光学像を、接眼レンズ１１３よりも物体側に位置する像面Ｐに形成する。
【0021】
なお、対物レンズ１１１は、レボルバ１０５に取り付けられ、観察光学系１１０の光路上に配置されている。結像レンズ１１２は、接眼鏡筒３００内に設けられている。接眼レンズ１１３は、接眼鏡筒３００の接眼スリーブに装着されている。
【0022】
接眼鏡筒３００は、撮像装置４００を装着可能な３眼鏡筒である。顕微鏡システム１は、接眼鏡筒３００へ入射した光が、接眼鏡筒３００内で接眼レンズ１１３へ至る光と撮像装置４００へ至る光へ分割される。
【0023】
さらに、接眼鏡筒３００は、投影装置３０１を備えている。投影装置３０１は、光学像が形成される像面Ｐに補助的な情報（以降、単に、補助情報と記す）を重畳する重畳装置の一例であり、例えば、ＤＭＤ（登録商標）を用いたＤＬＰ（登録商標）プロジェクタである。ただし、投影装置３０１、液晶パネルを用いた液晶プロジェクタであってもよい。
【0024】
撮像装置４００は、例えば、撮像素子を備えたデジタルカメラであり、標本Ｓを撮像して、標本Ｓの画像を取得する。以降、撮像装置４００で取得した標本Ｓの画像を撮像画像と記すが、撮像画像は、静止画に限らず、ライブ画像や動画であっても良い。また、撮像画像は、撮像装置４００で取得した画像を制御装置５００で加工した画像を含んでもよい。撮像画像は、撮像装置４００で取得した画像に基づく標本Ｓの画像であればよい。撮像装置４００は、接眼鏡筒３００に装着されることで、観察光学系１１０の光路から分岐した光路上に設けられる。撮像装置４００が備える撮像素子は、ＣＣＤやＣＭＯＳを用いたイメージセンサである。
【0025】
制御装置５００は、顕微鏡を制御する装置であり、顕微鏡に含まれる投影装置３０１も制御する。制御装置５００の構成の詳細については後述する。なお、図１では、制御装置５００は、単一の装置として示されているが、制御装置５００は、２以上の装置の集合であってもよい。制御装置５００は、例えば、顕微鏡制御専用のコントロールボックスと、汎用のコンピュータとで構成されてもよい。
【0026】
図２は、一実施形態に係る画像投影処理のフローチャートの一例である。以下、図２を参照しながら、顕微鏡システム１の画像投影方法について説明する。上述した顕微鏡システム１は、図２に示す画像投影処理を実行することで、顕微鏡利用者が接眼レンズ１１３を覗いて標本Ｓを観察する際に、顕微鏡利用者に、コンピュータが行う画像解析を用いた高度なサポートを提供することができる。また、顕微鏡システム１は、顕微鏡利用者に、撮像装置４００に生じたフォーカスずれを接眼レンズ１１３から目を離すことなく認識させることができる。
【0027】
まず、顕微鏡システム１は、標本Ｓの光学像を形成するとともに標本Ｓの撮像画像を取得する（ステップＳ１）。観察光学系１１０の光路では、対物レンズ１１１が取り込んだ標本Ｓからの光を結像レンズ１１２が像面Ｐに集光することで、観察光学系１１０が接眼レンズ１１３よりも物体側に標本Ｓの光学像を形成する。一方で、観察光学系１１０の光路から分岐した光路では、撮像装置４００が観察光学系１１０の光路から入射した光で標本Ｓを撮像し、標本Ｓの撮像画像を取得する。なお、撮像装置４００で取得した撮像画像は制御装置５００へ出力される。
【0028】
次に、顕微鏡システム１は、撮像画像に基づいて、補助情報を像面Ｐへ重畳する（ステップＳ２）。ここでは、制御装置５００が所定のプログラムを実行することで、例えば、撮像画像に基づいて補助情報を生成し、投影装置３０１に、生成した補助情報を像面Ｐに重畳させる。
【0029】
制御装置５００は、ステップＳ２において、撮像画像に対して画像解析を実行することで、画像解析の結果に関する情報（以降、解析情報と記す。）を生成し、解析情報を含む補助情報を、投影装置３０１に像面Ｐに重畳させてもよい。なお、画像解析には、特に限定しないが、機械学習によって得られた学習済みモデルが用いられてもよく、機械学習で学習済みのニューラルネットワークモデルを用いた推論処理を含んでもよい。より具体的には、画像解析は、例えば、深層学習によって得られたニューラルネットワークモデルを用いて行われる画像分類、物体検出、セグメンテーション、又はこれらの組み合わせであってもよい。
【0030】
また、制御装置５００は、ステップＳ２において、撮像画像そのものを含む補助情報を、投影装置３０１に像面Ｐに重畳させてもよい。なお、補助画像として像面Ｐに投影する撮像画像は、撮像装置４００で取得した画像に対して画像処理を施した画像処理後の画像であってもよい。画像処理は、特に限定しないが、エッジ強調処理、色調変更処理などを含んでもよい。
【0031】
その後、顕微鏡システム１は、顕微鏡システム１の状態に応じて、補助情報を撮像画像と解析情報の間で切り替える（ステップＳ３）。ここでは、制御装置５００が顕微鏡システム１の状態変化を検出し、その検出結果に応じて、投影装置３０１に、撮像画像又は解析情報を含む補助情報を像面Ｐに重畳させる。より詳細には、制御装置５００は、例えば、検出結果によって顕微鏡利用者が必要とする情報が撮像画像か解析情報かを特定し、特定した情報を重畳されるように投影装置３０１を制御する。
【0032】
なお、解析情報は、主に、顕微鏡利用者が光学像を観察しながら行う各種作業をサポートするために、顕微鏡利用者に提供される。これに対して、撮像画像は、主に、接眼レンズ１１３を覗きながらでは把握することが困難な撮像装置４００のフォーカスずれ、つまり、カメラ撮影における焦点深度が目視観察における焦点深度よりも浅いことに起因するフォーカスずれに対処するために、顕微鏡利用者に提供される。このため、制御装置５００は、フォーカスずれが生じていることが疑われる場合に補助情報を撮像画像に切り替えればよく、それ以外の場合には、解析情報を像面Ｐに重畳すればよい。
【0033】
以上のように、顕微鏡システム１が図２に示す画像投影処理を実行することで、標本Ｓの光学像が形成される像面Ｐに、顕微鏡利用者の作業をサポートするための解析情報を重畳することができる。これにより、顕微鏡システム１は、顕微鏡利用者の作業の質及び／又は効率の改善に貢献することができる。
【0034】
また、顕微鏡システム１では、顕微鏡システム１の状態から撮像装置４００にフォーカスずれが生じていることが疑われる場合には、自動的に補助情報が撮像画像に切り替わり、撮像画像が像面Ｐに重畳される。これにより、顕微鏡利用者は、像面Ｐに投影された撮像画像を観察することで撮像装置４００にフォーカスずれが生じているかどうかを把握することが可能である。さらに、フォーカスずれが生じている場合には、顕微鏡利用者は、焦準ハンドル１０２を操作してステージ１０１を上下させることで、撮像装置４００のフォーカスを標本Ｓに合わせることができる。
【0035】
顕微鏡システム１によれば、接眼レンズ１１３を覗きながら撮像装置４００のフォーカス合わせを行うことが可能である。このため、接眼レンズ１１３から目を離すことなく種々の情報を得ることができるといったＡＲ顕微鏡のメリットを犠牲にすることなく撮像装置４００のフォーカスずれに対処することができる。
【0036】
また、撮像装置４００に生じるフォーカスずれを解消することで、画像解析に適した撮像画像が制御装置５００へ提供される。このため、顕微鏡システム１は、ボケた撮像画像によって画像解析が適切に行われない状態や信頼性の低い解析情報が像面Ｐに投影されてしまう状態を解消することができる。従って、顕微鏡システム１によれば、ＡＲ顕微鏡（顕微鏡システム１）が有する本来の機能を十分発揮して、解析情報による高度なサポートを顕微鏡利用者に提供することができる。
【0037】
以下、図２に示す画像投影処理の具体例について、各実施形態で説明する。なお、各実施形態は、補助情報を切り替える基準として利用される顕微鏡システムの状態が、それぞれ異なっている。
（第１の実施形態）
図３は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図４は、本実施形態に係る光路切替ユニットの構成を例示した図である。本実施形態に係る顕微鏡システムは、接眼鏡筒３００の代わりに接眼鏡筒３００ａを備える点が顕微鏡システム１とは異なり、その他の点は、図１に示す顕微鏡システム１と同様である。以下、図３及び図４を参照しながら、接眼鏡筒３００ａ内の構成について詳細に説明する。
（第１の実施形態）
図３は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図４は、本実施形態に係る光路切替ユニットの構成を例示した図である。本実施形態に係る顕微鏡システムは、接眼鏡筒３００の代わりに接眼鏡筒３００ａを備える点が顕微鏡システム１とは異なり、その他の点は、図１に示す顕微鏡システム１と同様である。以下、図３及び図４を参照しながら、接眼鏡筒３００ａ内の構成について詳細に説明する。
【0038】
接眼鏡筒３００ａは、撮像装置４００を装着可能な３眼鏡筒である。接眼鏡筒３００ａは、接眼鏡筒３００ａ内に結像レンズ１１２と投影装置３０１を備えている点、接眼鏡筒３００ａに接眼レンズ１１３と撮像装置４００が取り付けられている点は、接眼鏡筒３００と同様である。
【0039】
接眼鏡筒３００ａは、結像レンズ１１２の後段に、光路切替ユニット３１０を備えている。接眼鏡筒３００ａ内では、光路切替ユニット３１０によって接眼レンズ１１３へ至る観察光学系１１０の光路１１０ｐから撮像装置４００へ至る光路４００ｐが分岐する。なお、撮像装置４００へ至る光路４００ｐは、鉛直方向（Ｚ方向）に設けられ、接眼レンズ１１３へ至る光路１００ｐは、光路切替ユニット３１０によって、奥行き方向（Ｙ方向）に向けられる。
【0040】
光路切替ユニット３１０は、接眼鏡筒３００ａに入射した光を導く光路を切り替える。具体的には、光路切替ユニット３１０は、図４に示すように、スライダ３１４に固定された３つのプリズム（プリズム３１１、プリズム３１２、プリズム３１３）を含んでいる。スライダ３１４の一部は、接眼鏡筒３００ａから突出している。顕微鏡利用者は、その突出部分を操作してスライダ３１４を動かすことで、結像レンズ１１２の光軸上に配置されるプリズムをこれらの間で切り替えることができる。光路切替ユニット３１０は、光軸上に配置されたプリズムに応じて、光路切替ユニット３１０へ入射した光を（１）接眼レンズ１１３と撮像装置４００の両方へ導く、（２）接眼レンズ１１３に導くことなく撮像装置４００に導く、（３）撮像装置４００に導くことなく接眼レンズ１１３に導く、のいずれかを行う。
【0041】
より具体的には、プリズム３１１は、入射光を５０：５０で透過光と反射光に変換する光学素子であり、プリズム３１１が光軸上に配置されることで、接眼鏡筒３００ａに入射した光は接眼レンズ１１３と撮像装置４００の両方に導かれる。また、プリズム３１２は、入射光を１００：０で透過光に変換する光学素子であり、プリズム３１２が光軸上に配置されることで、接眼鏡筒３００ａに入射した光は撮像装置４００へのみ導かれる。また、プリズム３１３は、入射光を０：１００で反射光に変換する光学素子であり、プリズム３１３が光軸上に配置されることで、接眼鏡筒３００ａに入射した光は接眼レンズ１１３へのみ導かれる。
【0042】
なお、図４に示すように、スライダ３１４の各プリズムと対応する位置には、磁石が取り付けられている。磁石は対応するプリズムに応じてそれぞれ異なる数だけ取り付けられている。この例では、プリズム３１１に対応する位置には１つの磁石３１１ｍが、プリズム３１２に対応する位置には２つの磁石３１２ｍが、プリズム３１３に対応する位置には３つの磁石３１３ｍが取り付けられている。
【0043】
これらの磁石は、制御装置５００が光路切替ユニット３１０の状態を識別するために用いられる。具体的には、接眼鏡筒３００ａに設けられた図示しない３つのホールセンサが磁石をいくつ検出するかによって、制御装置５００が、光路切替ユニット３１０の状態、つまり、どのプリズムが光軸上に配置されているか、を識別する。
【0044】
３つのホールセンサのいずれか１つが磁石を検出したことを示す信号を制御装置５００へ出力することで、制御装置５００は、光路切替ユニット３１０の状態をプリズム３１１が光軸上に配置された状態として識別する。また、３つのホールセンサのうち２つが磁石を検出したことを示す信号を制御装置５００へ出力することで、制御装置５００は、光路切替ユニット３１０の状態をプリズム３１２が光軸上に配置された状態として識別する。さらに、３つのホールセンサのすべてが磁石を検出したことを示す信号を制御装置５００へ出力することで、制御装置５００は、光路切替ユニット３１０の状態をプリズム３１３が光軸上に配置された状態として識別する。
【0045】
このように、光路切替ユニット３１０には、接眼レンズ１１３に至る観察光学系１１０の光路１１０ｐと観察光学系１１０の光路１１０ｐから分岐し撮像装置４００へ至る光路４００ｐとが交わる位置に選択的に配置され、接眼レンズ１１３と撮像装置４００の少なくとも一方へ光を導く複数の光学素子（プリズム３１１、プリズム３１２、プリズム３１３）が設けられている。
【0046】
接眼鏡筒３００ａは、光路切替ユニット３１０で分岐した光路のうち、接眼レンズ１１３へ至る観察光学系１１０の光路１１０ｐ上に、さらに、結像レンズ１１２が形成する像をリレーするリレーレンズであるレンズ３２１と３２６を含んでいる。また、接眼鏡筒３００ａは、レンズ３２１とレンズ３２６の間に、光路を曲げてレンズ３２１から出射した光をレンズ３２６に導く複数のミラー（ミラー３２２、ミラー３２３、３２５）を含んでいる。さらに、接眼鏡筒３００ａは、レンズ３２６と接眼レンズ１１３の間に、光を接眼レンズ１１３の光軸の方向へ向けて反射するミラー３２７を含んでいる。なお、ミラー３２７は、接眼レンズ１１３を取り付ける接眼部をチルトするチルト機構を構成する回転自在なミラーであってもよい。
【0047】
接眼鏡筒３００ａは、さらに、ミラー３２３とミラー３２５の間には、ハーフミラー３２４を含んでいる。ハーフミラー３２４は、投影装置３０１からの光を上述した接眼レンズ１１３へ至る観察光学系１１０の光路１１０ｐに合流させる光路合成素子の一例である。投影装置３０１から出射した光は、投影装置３０１とハーフミラー３２４の間に設けられたコリメータレンズ（レンズ３０２）により平行光に変換され、その後、ハーフミラー３２４を反射することで、観察光学系１１０の光路１１０ｐへ合流する。観察光学系１１０の光路１１０ｐへ合流した光は、レンズ３２６によって光学像が形成される像面Ｐに集光する。これにより、像面Ｐに補助情報が投影される。また、標本Ｓからの光は、レンズ３２１で平行光束に変換された後にハーフミラー３２４を透過する。このように、ハーフミラー３２４は、結像性能の劣化が生じにくい位置に配置されている。
【0048】
【0049】
顕微鏡システムが図５に示す画像投影処理を開始すると、まず、制御装置５００は、接眼鏡筒３００ａのホールセンサからの出力信号に基づいて、撮像装置４００に至る光路４００ｐと接眼レンズ１１３に至る光路１１０ｐとが交差する位置に配置されている光学素子を特定する（ステップＳ１１）。ここでは、制御装置５００は、例えば、検出した磁石の数に基づいて、光学素子を特定する。
【0050】
光学素子がプリズム３１３であると判定されると、つまり、接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率が１００：０の場合には、顕微鏡システムでは、以下の処理が行われる。なお、上記のとおり光量比が１００：０のときには、標本Ｓの光学像は、接眼レンズ１１３へ至る光路１１０ｐ上の像面Ｐにのみ投影され、撮像装置４００には投影されない。
【0051】
制御装置５００は、投影装置３０１が像（補助情報）を投影しないように、投影装置３０１を制御する。観察光学系１１０が標本Ｓの光学像を像面Ｐに形成する（ステップＳ１３）。従って、顕微鏡利用者は、図６に示すように、接眼レンズ１１３を覗くことで光学像１０のみを観察することができる。
【0052】
光学素子がプリズム３１１であると判定されると、つまり、接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率が５０：５０の場合には、顕微鏡システムは、次の処理を行う。なお、上記のとおり光量比が５０：５０のときには、標本Ｓの光学像は、接眼レンズ１１３へ至る光路１１０ｐ上の像面Ｐと撮像装置４００との両方に投影される。
【0053】
まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成する（ステップＳ１４）。さらに、撮像装置４００が標本Ｓの撮像画像を取得し（ステップＳ１５）、取得した撮像画像に基づいて画像解析を行い、解析情報を生成する（ステップＳ１６）。その後、制御装置５００は、投影装置３０１に、ステップＳ１６で取得した解析情報を補助情報として像面Ｐに重畳させる（ステップＳ１７）。
【0054】
ステップＳ１７では、制御装置５００は、ステップＳ１６で生成した解析情報を投影装置３０１に出力することで、図７に示すように、投影装置３０１が解析情報２０を補助画像として、光学像１０が形成されている像面Ｐへ投影する。なお、補助画像とは、投影装置３０１が像面Ｐに投影する画像のことである。
【0055】
図７には、細胞の核をマーキングした解析情報２０が像面Ｐに重畳されて、光学像１０と同時に観察される様子が示されている。なお、以降では、制御装置５００が、予め機械学習によって画像中の細胞の核を検出するように深層学習で学習した学習済みモデルを用いて、核にマーキングする解析情報を生成する場合を例に説明する。
【0056】
光学素子がプリズム３１２であると判定されると、つまり、接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率が０：１００の場合には、顕微鏡システムは、次の処理を行う。なお、上記のとおり光量比が０：１００のときには、標本Ｓの光学像は、撮像装置４００にのみ投影され、接眼レンズ１１３へ至る光路１１０ｐ上の像面Ｐには投影されない。本実施形態に係る顕微鏡システムでは、この状態において、顕微鏡利用者に撮像装置４００のフォーカス合わせに適した情報を提供することで、フォーカス合わせの実施を促す。
【0057】
まず、撮像装置４００が標本Ｓの撮像画像を取得する（ステップＳ１８）。その後、制御装置５００は、投影装置３０１に、ステップＳ１８で取得した撮像画像を補助情報として像面Ｐに重畳させる（ステップＳ１９）。
【0058】
図８には、撮像画像３０が像面Ｐに重畳されて、観察される様子が示されている。なお、ここでは、撮像画像３０は、像面Ｐ上のＯＦＮ（Ｏｂｊｅｃｔｉｖｅ Ｆｉｅｌｄ Ｎｕｍｂｅｒ）に対応する領域１１内に投影される例が示されているが、撮像画像３０は、顕微鏡利用者が観察可能な領域に投影されればよく、接眼レンズ１１３の視野数に対応する領域内に投影されればよい。
【0059】
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示（ステップＳ２０ＹＥＳ）があるまで繰り返し行われることで、像面Ｐに投影される補助情報は、制御装置５００によって、接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率に応じて、撮像画像と解析情報の間で切り替えられる。より具体的には、制御装置５００は、複数の光学素子から選択して撮像装置４００に至る光路４００ｐと接眼レンズ１１３に至る光路１１０ｐとが交差する位置に配置された光学素子に応じて、補助情報を、撮像画像と解析情報の間で切り替える。
【0060】
光学像が像面Ｐに投影されている期間中、顕微鏡利用者は、顕微鏡システムを用いた通常の作業を実施していることが予想される。本実施形態に係る顕微鏡システムは、撮像画像が取得されている場合には、この期間中、顕微鏡利用者に画像解析結果（解析情報）を提供する。さらに、顕微鏡利用者が光路切替ユニット３１０を操作して光学像の観察を一旦中断し、カメラ撮影のみが行われるように顕微鏡システムを設定した場合には、本実施形態に係る顕微鏡システムは、撮像画像を像面Ｐに投影する。これにより、顕微鏡利用者が接眼レンズ１１３から目を離すことなく撮像画像を観察して撮像装置４００のフォーカスずれの有無を把握することが可能であり、フォーカスずれが生じている場合にフォーカス合わせを行うことができる。
【0061】
従って、本実施形態に係る顕微鏡システムによれば、ＡＲ顕微鏡における撮像装置４００のフォーカスずれに起因する課題に対処することができる。特に、本実施形態に係る顕微鏡システムによれば、ＡＲ顕微鏡特有の機能であり且つ本来的な機能である顕微鏡利用者が光学像を観察中に解析情報を提供する機能に悪影響を与えることなく、撮像装置４００のフォーカスずれに対処することができる。
【0062】
【0063】
最初に、顕微鏡利用者は、観察準備を行う（ステップＳ２１）。ここでは、顕微鏡利用者は、例えば、標本Ｓをステージ１０１に配置する。また、接眼レンズ１１３へ至る光路１１０ｐに光が導かれるように、光路切替ユニット３１０を操作する。さらに、ランプハウス２００の電源スイッチをＯＮにする。これにより、光源２０１から出射した照明光によって標本Ｓが照明され、顕微鏡利用者が標本Ｓを目視で観察できる状態が実現される。なお、ステップＳ２１では、投影装置３０１の電源スイッチもＯＮにする。
【0064】
次に、顕微鏡利用者は、レボルバ１０５を操作して、注目すべき標本Ｓ上の領域を探すのに適した低倍対物レンズを観察光学系１１０の光路１１０ｐに挿入する（ステップＳ２２）。そして、接眼レンズ１１３を覗いて標本Ｓの光学像を観察しながら焦準ハンドル１０２を操作してフォーカス合わせを行う（ステップＳ２３）。なお、このとき、像面Ｐには、例えば、図７に示すように、光学像１０とともに解析情報２０が投影されていてもよい。
【0065】
光学像を見ながら行うフォーカス合わせが終了すると、顕微鏡利用者は、撮像装置４００のフォーカスずれに対処するために、光路を切り替える（ステップＳ２４）。具体的には、顕微鏡利用者は、光路切替ユニット３１０を操作してプリズム３１２を光軸上に挿入し、観察光学系１１０の光路１１０ｐから分岐した光路４００ｐにのみ光が導かれるように顕微鏡システム状態を変更する。
【0066】
顕微鏡利用者がプリズム３１２を挿入すると、像面Ｐには、投影装置３０１によって撮像画像が投影される。このとき、像面Ｐには、図８に示すように、撮像画像３０のみが投影される。顕微鏡利用者は、接眼レンズ１１３を覗いて標本Ｓの撮像画像を観察しながら焦準ハンドル１０２を操作して改めてフォーカス合わせを行う（ステップＳ２５）。これにより、顕微鏡システムでは、目視観察とカメラ撮影の両方についてフォーカス合わせが適切に行われた状態になる。
【0067】
フォーカス合わせが終了すると、顕微鏡利用者は、再び目視観察を行うために、光路を切り替える（ステップＳ２６）。この時、光路１１０ｐに挿入されている対物レンズは、ステップＳ２２で挿入した低倍対物レンズである。顕微鏡利用者は、低倍対物レンズの広い視野を利用して、注目すべき標本Ｓ上の領域を探す標本探索を実施する（ステップＳ２７）。
【0068】
そして、注目すべき領域が見つかると、顕微鏡利用者は、より詳細な観察を行うために、レボルバ１０５を操作して、高倍対物レンズを観察光学系１１０の光路１１０ｐに挿入し（ステップＳ２８）、高倍対物レンズを用いて詳細な観察を行う（ステップＳ２９）。なお、ステップＳ２７及びステップＳ２９では、像面Ｐには、例えば、図７に示すように、光学像１０とともに解析情報２０が投影される。ここで、より厳密にフォーカス合わせをするために、再度光路を切り換えて撮影画像でフォーカス合わせを行うという手順を踏んでも良い。
【0069】
図９に示す作業手順で作業を行うことで、顕微鏡利用者は、接眼レンズ１１３から目を離すことなく、目視観察とカメラ撮影の両方についてフォーカス合わせを行うことができる。従って、カメラ撮影における焦点深度が目視観察における焦点深度よりも浅いことに起因する撮像装置４００のフォーカスずれに対処することができる。
【0070】
本実施形態では、光路切替ユニット３１０の状態を識別するために、磁石とホールセンサを用いる例を示したが、光路切替ユニット３１０の状態は他の構成を用いて識別されてもよい。例えば、磁石とホールセンサの代わりに、フォトインタラプタなどの光センサが利用されてもよい。また、顕微鏡利用者からの明示の入力によって光路切替ユニット３１０の状態が識別されてもよい。例えば、光路切替ユニット３１０の状態を制御装置５００へ知らせるための機械的なボタンなどが設けられてもよく、利用者によるボタン操作を制御装置５００が検出することで光路切替ユニット３１０の状態を識別してもよい。
【0071】
図１０は、フォーカスモードにおける像面Ｐに投影する画像と撮像面との関係を説明するための図である。図１１は、フレームモードにおける像面Ｐに投影する画像と撮像面の関係を説明するための図である。図１２は、本実施形態において接眼レンズ経由で観察される画像の更に別の例である。
【0072】
補助情報として投影される撮像画像の表示モードは、顕微鏡利用者が複数のモードから選択可能であってもよい。表示モードは、例えば、図１０に示すフォーカスモードと、図１１に示すフレームモードから選択してもよい。
【0073】
本実施形態では、撮像画像は、撮像装置４００のフォーカス合わせに利用される。このため、撮像画像は、フォーカス合わせに適した高い解像度で表示されることが望ましい。このような場合は、顕微鏡利用者はフォーカスモードを選択してもよく、制御装置５００は、例えば、図８に示すように、撮像画像の倍率が像面Ｐに形成される光学画像の倍率と一致するように、投影装置３０１に撮像画像を像面Ｐに重畳させてもよい。
【0074】
図１０に示す領域４０１は撮像素子の領域であり、領域６０１は撮像素子によって撮像される標本Ｓ上の領域に対応する像面Ｐ上の領域である。領域６０２は投影装置３０１が補助情報を投影する領域であり、領域４０２は領域６０２に対応する標本Ｓ上の領域に対応する撮像素子上の領域である。フォーカスモードでは、制御装置５００は、撮像装置４００で取得した画像から領域４０２の画像を切り出して、切り出した画像を撮像画像として投影装置３０１に領域６０２に投影させる。
【0075】
顕微鏡利用者はフォーカスモードの代わりに、フレームモードを選択してもよい。この場合、制御装置５００は、例えば、図１１に示すように、撮像装置４００の撮像範囲全体（領域４０１）を撮像画像として利用してもよく、図１２に示すように、投影装置３０１に、像面Ｐに形成される光学画像の倍率よりも低い倍率の撮像画像３１を像面Ｐに重畳させてもよい。フレームモードを利用することで、顕微鏡利用者は、標本Ｓのより広い範囲を撮像した撮像画像を見ながら、撮像装置４００のフォーカス合わせと同時に標本Ｓ中の注目領域を探す標本探索を行ってもよい。
【0076】
さらに、制御装置５００は、撮像装置４００で取得した撮像画像に対して画像処理を施した画像処理後の撮像画像を、投影装置３０１に像面Ｐに重畳させてもよい。画像処理の内容は特に限定しないが、フォーカス合わせをしやすくするため、例えば、画像の輪郭を強調する処理、色を変える処理などであってもよい。
【0077】
（第２の実施形態）
図１３は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図１４は、シャッタ機構が光を遮断した状態を説明するための図である。図１５は、シャッタ機構が光を遮断していない状態を説明するための図である。本実施形態に係る顕微鏡システムは、接眼鏡筒３００の代わりに接眼鏡筒３００ｂを備える点が顕微鏡システム１とは異なり、その他の点は、図１に示す顕微鏡システム１と同様である。以下、図１３から図１５を参照しながら、接眼鏡筒３００ｂ内の構成について詳細に説明する。
図１３は、本実施形態に係る接眼鏡筒の内部構成を例示した図である。図１４は、シャッタ機構が光を遮断した状態を説明するための図である。図１５は、シャッタ機構が光を遮断していない状態を説明するための図である。本実施形態に係る顕微鏡システムは、接眼鏡筒３００の代わりに接眼鏡筒３００ｂを備える点が顕微鏡システム１とは異なり、その他の点は、図１に示す顕微鏡システム１と同様である。以下、図１３から図１５を参照しながら、接眼鏡筒３００ｂ内の構成について詳細に説明する。
【0078】
接眼鏡筒３００ｂは、撮像装置４００を装着可能な３眼鏡筒である。接眼鏡筒３００ｂは、光路切替ユニット３１０の代わりにプリズム３１１を備える点、プリズム３１１とレンズ３２１の間にシャッタ機構７００を備える点が、第１の実施形態に係る接眼鏡筒３００ａとは異なっている。その他の点は、接眼鏡筒３００ａと同様である。
【0079】
プリズム３１１は、観察光学系１１０の光路１１０ｐと観察光学系１１０の光路１１０ｐから分岐した光路４００ｐが交わる位置に配置された光路分割素子であり、入射光を５０：５０で透過光と反射光に変換する。接眼鏡筒３００ｂでは、接眼鏡筒３００ｂに入射した光は観察光学系１１０の光路１１０ｐと観察光学系１１０の光路１１０ｐから分岐した光路４００ｐの両方に導かれる。
【0080】
シャッタ機構７００は、プリズム３１１と接眼レンズ１１３との間に配置された、観察光学系１１０の光路１１０ｐに導かれた光を選択的に遮光する機構である。シャッタ機構７００は、図１４及び図１５に示すように、２つの状態を検出するセンサ（センサ７０１、センサ７０２）と、遮光板７１３と、遮光板７１３を支持するアーム７１２と、アーム７１２の回転軸７１１と、図示しないモータを含んでいる。センサ７０１とセンサ７０２は、それぞれ、例えばフォトインタラプタである。
【0081】
シャッタ機構７００では、モータの回転により回転軸７１１周りにアーム７１２が回転することで、遮光板７１３がプリズム３１１とレンズ３２１の間の光路（観察光学系１１０の光路１１０ｐ）上に配置され、接眼レンズ１１３へ至る光路１１０ｐに導かれた光を遮光する状態（図１４に示すＩＮ状態）と、遮光板７１３がプリズム３１３とレンズ３２１の間の光路（観察光学系１１０の光路１１０ｐ）から逸れた位置に配置され、観察光学系１１０の光路１１０ｐに導かれた光を遮らない状態（図１５に示すＯＵＴ状態）と、が切り替わる。
【0082】
シャッタ機構７００のＩＮ状態は、センサ７０１で検出され、制御装置５００へ通知される。また、シャッタ機構７００のＯＵＴ状態は、センサ７０２で検出され、制御装置５００へ通知される。
【0083】
図１６は、本実施形態に係る画像投影処理のフローチャートの一例である。顕微鏡システムが図１６に示す画像投影処理を開始すると、まず、制御装置５００は、シャッタ機構７００のセンサ（センサ７０１、センサ７０２）からの出力信号に基づいて、シャッタ機構７００の状態を特定する（ステップＳ３１）。
【0084】
シャッタ機構７００がＯＵＴ状態、つまり、プリズム３１１経由で接眼レンズ１１３へ向かう光を遮光していないときには（ステップＳ３２ＮＯ）、顕微鏡システムは、次の処理を行う。なお、上記のとおりシャッタ機構７００が光を遮光していないときには、標本Ｓの光学像は、接眼レンズ１１３へ至る光路１１０ｐ上の像面Ｐと撮像装置４００との両方に投影される。
【0085】
まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成する（ステップＳ３３）。さらに、撮像装置４００が標本Ｓの撮像画像を取得し（ステップＳ３４）、取得した撮像画像に基づいて画像解析を行い、解析情報を生成する（ステップＳ３５）。その後、制御装置５００は、投影装置３０１に、ステップＳ３５で取得した解析情報を補助情報として像面Ｐに重畳させる（ステップＳ３６）。これにより、顕微鏡利用者は、例えば、図７に示すような光学像１０と解析情報２０が重なった画像を観察することができる。
【0086】
シャッタ機構７００がＩＮ状態、つまり、プリズム３１１経由で接眼レンズ１１３へ向かう光を遮光しているときには（ステップＳ３２ＹＥＳ）、顕微鏡システムは、次の処理を行う。なお、上記のとおりシャッタ機構７００が光を遮光しているときには、標本Ｓの光学像は、撮像装置４００にのみ投影され、接眼レンズ１１３へ至る光路１１０ｐ上の像面Ｐには投影されない。本実施形態に係る顕微鏡システムでは、この状態において、顕微鏡利用者に撮像装置４００のフォーカス合わせに適した情報を提供することで、フォーカス合わせの実施を促す。
【0087】
まず、撮像装置４００が標本Ｓの撮像画像を取得する（ステップＳ３７）。その後、制御装置５００は、投影装置３０１に、ステップＳ３７で取得した撮像画像を補助情報として像面Ｐに重畳させる（ステップＳ３８）。なお、この場合、観察光学系１１０は標本Ｓの光学像を像面Ｐに形成しないため、顕微鏡利用者は、例えば、図８に示すような撮像画像３０のみを観察することができる。
【0088】
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示（ステップＳ３９ＹＥＳ）があるまで繰り返し行われることで、像面Ｐに投影される補助情報は、制御装置５００によって、接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率に応じて、撮像画像と解析情報の間で切り替えられる。より具体的には、制御装置５００は、接眼レンズ１１３へ向かい光を遮光するシャッタ機構７００の状態に応じて、補助情報を、撮像画像と解析情報の間で切り替える。
【0089】
従って、本実施形態に係る顕微鏡システムによっても、第１の実施形態に係る顕微鏡システムと同様の効果を得ることができる。また、本実施形態に係る顕微鏡システムでは、第１の実施形態における光路切替ユニット３１０に比べて質量の小さな遮光板７１３の挿脱によって補助情報が切り替わる。このため、切り替え作業を高速に行うことが可能であり、その結果、投影される補助情報の切替も素早く行うことができる。
【0090】
なお、本実施形態では、シャッタ機構７００がモータを備えた電動シャッタである場合を例に説明したが、シャッタ機構は、顕微鏡利用者によって手動で操作されてもよい。
【0091】
第１の実施形態と第２の実施形態では、接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率に応じて、撮像画像と解析情報の間で補助情報を切り替える例を示した。しかしながら、補助情報は、顕微鏡システムの状態に応じて切り替えられれば良く、例えば、制御装置５００は、標本Ｓに対する顕微鏡本体１００の視野の位置又は範囲の変化に応じて、補助情報を、撮像画像と解析情報の間で切り替えてもよい。これは、視野の位置や範囲が変化するときには、フォーカスずれが生じやすいからである。以下、第３の実施形態では、視野の位置（座標）が変化する場合について説明し、第３の実施形態では、視野の範囲（大きさ）が変化する場合について説明する。
【0092】
（第３の実施形態）
図１７は、本実施形態に係る画像投影処理のフローチャートの一例である。図１８及び図１９は、本実施形態において接眼レンズ経由で観察される画像の例である。なお、本実施形態に係る顕微鏡システムの構成は、シャッタ機構７００を有しない点を覗き、第２の実施形態に係る顕微鏡システムの構成と同様である。
図１７は、本実施形態に係る画像投影処理のフローチャートの一例である。図１８及び図１９は、本実施形態において接眼レンズ経由で観察される画像の例である。なお、本実施形態に係る顕微鏡システムの構成は、シャッタ機構７００を有しない点を覗き、第２の実施形態に係る顕微鏡システムの構成と同様である。
【0093】
顕微鏡システムが図１７に示す画像投影処理を開始すると、まず、制御装置５００は、ステージ１０１の状態を特定する（ステップＳ４１）。制御装置５００は、例えば、ステージ１０１が移動中であるかどうかを特定してもよく、ステージ１０１の状態は、例えば、ステージ１０１に設けられたエンコーダからの出力に基づいて特定されてもよい。
【0094】
さらに、制御装置５００は、ステージ１０１の移動から所定時間内か否かを判定する（ステップＳ４２）。制御装置５００がステージ１０１の移動から所定時間内ではないと判定すると（ステップＳ４２ＮＯ）、顕微鏡システムは、次の処理を行う。まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成する（ステップＳ４３）。さらに、撮像装置４００が標本Ｓの撮像画像を取得し（ステップＳ４４）、取得した撮像画像に基づいて画像解析を行い、解析情報を生成する（ステップＳ４５）。その後、制御装置５００は、投影装置３０１に、ステップＳ４５で取得した解析情報を補助情報として像面Ｐに重畳させる（ステップＳ４６）。これにより、顕微鏡利用者は、例えば、図７に示すような光学像１０と解析情報２０が重なった画像を観察することができる。
【0095】
一方で、制御装置５００がステージ１０１の移動から所定時間内であると判定すると（ステップＳ４２ＹＥＳ）、顕微鏡システムは、次の処理を行う。まず、観察光学系１１０が標本Ｓの光学像を像面Ｐに形成する（ステップＳ４７）。さらに、撮像装置４００が標本Ｓの撮像画像を取得する（ステップＳ４８）。その後、制御装置５００は、投影装置３０１に、ステップＳ４７で取得した撮像画像を補助情報として像面Ｐに重畳させる（ステップＳ４９）。これにより、顕微鏡利用者は、例えば、図１８に示すような光学像１０と撮像画像３２が重なった画像を観察することができる。なお、この例では、光学像１０と撮像画像３２を容易に区別できるように、撮像画像３２にはエッジ強調処理や色調変更処理が施されているが、これらの処理は必ずしも行われなくてもよい。撮像画像３２のコントラストを光学像１０と比較して十分に高くすることで、光学像１０と識別可能である。
【0096】
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示（ステップＳ５０ＹＥＳ）があるまで繰り返し行われることで、像面に投影される補助情報は、制御装置５００によって、ステージ１０１の移動に応じて、撮像画像と解析情報の間で切り替えられる。
【0097】
これは、ステージ１０１が移動すると、標本Ｓ（視野内に位置する領域）と焦点面の位置関係が変化し、フォーカスがずれる可能性があるためである。そこで、本実施形態では、ステージ１０１の移動が検出されると、フォーカス合わせが行われる可能性が高いと判断して、制御装置５００は、投影装置３０１に、撮像画像を補助情報として光学像が形成されている像面に投影させる。これにより、ステージ１０１の移動によってフォーカスがずれた場合であっても、顕微鏡利用者は、光学像を見ながら観察光学系１１０のフォーカス合わせを行うとともに、撮像画像を見ながら撮像装置４００のフォーカス合わせも同時に行うことができる。
【0098】
また、撮像画像を投影する期間を、ステージ１０１の移動から所定時間経過までに、つまり、補助情報を撮像画像に切り替えてから所定時間経過までに限ることで、顕微鏡利用者が補助情報の切替を手動で行う手間を解消することができる。ステージ１０１の移動から所定時間経過後に、補助情報を自動的に解析情報へ切り替えることで、顕微鏡利用者は、所定時間内にフォーカス合わせを終了させ、その後、特に追加の操作を行うことなく、通常の観察作業に復帰することができる。
【0099】
以上の様に、本実施形態に係る顕微鏡システムによっても、上述した実施形態に係る顕微鏡システムと同様の効果を得ることができる。また、フォーカスずれが生じる可能性があるタイミングで補助情報が自動的に切り替わるため、顕微鏡利用者は最小限の操作を行うだけでフォーカス合わせを行うことができる。また、フォーカスずれが生じる可能性があるタイミングで補助情報が自動的に切り替わるため、フォーカスずれが生じるタイミングで確実に顕微鏡利用者に注意喚起してフォーカスずれが生じているかどうかを確認させることができる。
【0100】
なお、本実施形態では、図１８に示すように、光学像１０と同じ倍率の撮像画像３２を、光学像１０の対応する領域に重畳する例を示したが、図１９に示すように、制御装置５００は、投影装置３０１に、撮像画像３２を光学像１０の対応する領域からずらした位置に投影させてもよい。これにより、顕微鏡利用者が光学像１０と撮像画像３２で標本Ｓの同じ部分を同時に観察することができるため、観察光学系１１０のフォーカス合わせと撮像装置４００のフォーカス合わせを同時に行う作業が容易になる。
【0101】
また、本実施形態では、ステージ１０１が手動ステージである場合を例に説明したが、顕微鏡システムのステージは、電動ステージであってもよい。電動ステージであっても、手動ステージの場合と同様に、エンコーダからの出力に基づいて電動ステージの移動を検出してもよい。また、電動ステージの場合には、制御装置５００から電動ステージへの命令に基づいて電動ステージの移動を検出してもよい。
【0102】
また、本実施形態では、ステージ１０１の移動に応じて、補助情報を撮像画像と解析情報の間で切り替える例を示したが、制御装置５００は、ステージ１０１の移動に応じて、補助情報の切替とともに光路切替ユニット３１０やシャッタ機構７００を制御してもよい。例えば、第１の実施形態に係る顕微鏡システムにおいて、制御装置５００は、ステージ１０１の移動を検出すると、補助情報の切替に連動して光路切替ユニット３１０を制御して、撮像装置４００に至る光路４００ｐと接眼レンズ１１３に至る光路１１０ｐとが交差する位置にプリズム３１２を配置してもよい。また、第２の実施形態に係る顕微鏡システムにおいて、制御装置５００は、ステージ１０１の移動を検出すると、補助情報の切替に連動してシャッタ機構７００を制御して、遮光板７１３を光路１１０ｐ上に挿入してもよい。これにより、像面Ｐに撮像画像のみを投影することで、顕微鏡利用者に撮像装置４００のフォーカス合わせにより適した環境を提供してもよい。また、制御装置５００は、ステージ１０１の移動から所定時間が経過すると、補助情報の切替に連動して光路切替ユニット３１０又はシャッタ機構７００を制御して、これらをステージ１０１の移動前の元の状態に復帰させてもよい。このようにして、制御装置５００は、フォーカス合わせ前後の補助情報の切替と光学素子の切替を自動化してもよい。
【0103】
（第４の実施形態）
図２０は、本実施形態に係る画像投影処理のフローチャートの一例である。なお、本実施形態に係る顕微鏡システムの構成は、第３の実施形態に係る顕微鏡システムの構成と同様である。
図２０は、本実施形態に係る画像投影処理のフローチャートの一例である。なお、本実施形態に係る顕微鏡システムの構成は、第３の実施形態に係る顕微鏡システムの構成と同様である。
【0104】
顕微鏡システムが図２０に示す画像投影処理を開始すると、まず、制御装置５００は、レボルバ１０５の状態を特定する（ステップＳ５１）。制御装置５００は、例えば、レボルバ１０５に設けられたセンサからの出力信号に基づいて、レボルバ１０５に取り付けられたどの対物レンズが光軸上に挿入されているかを特定する。
【0105】
さらに、制御装置５００は、対物レンズの切替から所定時間内か否かを判定する（ステップＳ５２）。制御装置５００が対物レンズの切替から所定時間内ではないと判定すると（ステップＳ５２ＮＯ）、顕微鏡システムは、ステップＳ５３からステップＳ５６の処理を行う。なお、ステップＳ５３からステップＳ５６の処理は、図１７のステップＳ４３からステップＳ４６の処理と同様である。これにより、顕微鏡利用者は、例えば、図７に示すような光学像１０と解析情報２０が重なった画像を観察することができる。
【0106】
一方で、制御装置５００が対物レンズの切替から所定時間内であると判定すると（ステップＳ５２ＹＥＳ）、顕微鏡システムは、ステップＳ５７からステップＳ５９の処理を行う。なお、ステップＳ５７からステップＳ５９の処理は、図１７のステップＳ４７からステップＳ４９の処理と同様である。これにより、顕微鏡利用者は、例えば、図１８又は図１９に示すような光学像１０と撮像画像３２が重なった画像を観察することができる。
【0107】
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示（ステップＳ６０ＹＥＳ）があるまで繰り返し行われることで、像面に投影される補助情報は、制御装置５００によって、レボルバ１０５による対物レンズの切替に応じて、撮像画像と解析情報の間で切り替えられる。
【0108】
本実施形態に係る顕微鏡システムによっても、第３の実施形態に係る顕微鏡システムと同様の効果を得ることができる。
【0109】
第３の実施形態と第４の実施形態では、フォーカスずれが生じる可能性がある例として、標本Ｓに対する顕微鏡本体１００の視野の位置又は範囲が変化する場合を示した。しかしながら、顕微鏡利用者によるフォーカス調整に応じて、補助情報を撮像画像と解析情報の間で切り替えてもよい。第５の実施形態では、フォーカス調整に応じて、補助情報を撮像画像と解析情報の間で切り替える例について説明する。
【0110】
（第５の実施形態）
図２１は、本実施形態に係る画像投影処理のフローチャートの一例である。顕微鏡システムが図２１に示す画像投影処理を開始すると、まず、制御装置５００は、焦準機構であるステージ１０１の状態を特定する（ステップＳ６１）。制御装置５００は、例えば、ステージ１０１に設けられたエンコーダからの出力信号に基づいて、ステージ１０１の位置を特定する。
図２１は、本実施形態に係る画像投影処理のフローチャートの一例である。顕微鏡システムが図２１に示す画像投影処理を開始すると、まず、制御装置５００は、焦準機構であるステージ１０１の状態を特定する（ステップＳ６１）。制御装置５００は、例えば、ステージ１０１に設けられたエンコーダからの出力信号に基づいて、ステージ１０１の位置を特定する。
【0111】
さらに、制御装置５００は、ステージ１０１のＺ方向への移動から所定時間内か否かを判定する（ステップＳ６２）。制御装置５００がステージ１０１のＺ方向への移動から所定時間内ではないと判定すると（ステップＳ６２ＮＯ）、顕微鏡システムは、ステップＳ６３からステップＳ６６の処理を行う。なお、ステップＳ６３からステップＳ６６の処理は、図１７のステップＳ４３からステップＳ４６の処理と同様である。これにより、顕微鏡利用者は、例えば、図７に示すような光学像１０と解析情報２０が重なった画像を観察することができる。
【0112】
一方で、制御装置５００がステージ１０１のＺ方向への移動から所定時間内であると判定すると（ステップＳ６２ＹＥＳ）、顕微鏡システムは、ステップＳ６７からステップＳ６９の処理を行う。なお、ステップＳ６７からステップＳ６９の処理は、図１７のステップＳ４７からステップＳ４９の処理と同様である。これにより、顕微鏡利用者は、例えば、図１８又は図１９に示すような光学像１０と撮像画像３２が重なった画像を観察することができる。
【0113】
本実施形態に係る顕微鏡システムでは、以上の処理が、終了指示（ステップＳ７０ＹＥＳ）があるまで繰り返し行われることで、像面に投影される補助情報は、制御装置５００によって、焦準機構の移動に応じて、撮像画像と解析情報の間で切り替えられる。
【0114】
本実施形態に係る顕微鏡システムによっても、第３の実施形態に係る顕微鏡システムと同様の効果を得ることができる。
【0115】
なお、本実施形態では、ステージ１０１が焦準機構として機能する例を示したが、焦準機構はステージ１０１に限らない。焦準機構は、標本Ｓに対する観察光学系１１０の焦点面の位置を観察光学系１１０の光軸方向に調整するものであればよく、例えば、対物レンズが取り付けられたレボルバ１０５を光軸方向に動かす機構であってもよい。
【0116】
図２２は、上述した制御装置５００を実現するためのコンピュータ１０００のハードウェア構成を例示した図である。図２２に示すハードウェア構成は、例えば、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７を備える。なお、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、及び入出力インタフェース１００７は、例えば、バス１００８を介して互いに接続されている。
【0117】
プロセッサ１００１は、任意の電気回路であり、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ１００１は、記憶装置１００３に格納されているプログラムを読み出して実行することで、上述した画像投影処理を行ってもよい。
【0118】
メモリ１００２は、例えば、半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１００３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。
【0119】
読取装置１００４は、例えば、プロセッサ１００１の指示に従って記憶媒体１００５にアクセスする。記憶媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ等（Ｂｌｕ－ｒａｙは登録商標）である。
【0120】
通信インタフェース１００６は、例えば、プロセッサ１００１の指示に従って、他の装置と通信する。入出力インタフェース１００７は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスであってもよい。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。
【0121】
プロセッサ１００１が実行するプログラムは、例えば、下記の形態でコンピュータ１０００に提供される。
（１）記憶装置１００３に予めインストールされている。
（２）記憶媒体１００５により提供される。
（３）プログラムサーバなどのサーバから提供される。
（１）記憶装置１００３に予めインストールされている。
（２）記憶媒体１００５により提供される。
（３）プログラムサーバなどのサーバから提供される。
【0122】
なお、図２２を参照して述べた制御装置５００を実現するためのコンピュータ１０００のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の電気回路の一部または全部の機能がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによるハードウェアとして実装されてもよい。
【0123】
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、画像投影方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【0124】
上述した実施形態では、重畳装置の一例として投影装置３０１を例示したが、顕微鏡システムは、重畳装置として対物レンズ１１１と接眼レンズ１１３の間の光路上に配置された透過型液晶素子を有してもよい。光学像が形成される像面に透過型液晶素子が配置されることで、透過型液晶素子で表示した画像を光学像に直接重畳してもよい。
【0125】
上述した実施形態では、撮像装置４００のフォーカス合わせを行う顕微鏡利用者による意思表示の例として光路切替を例示したが、フォーカス合わせ時に特有のルーティン作業を検出することで、顕微鏡利用者が撮像装置４００のフォーカス合わせを行おうとしていることを検出してもよい。例えば、光源２０１から出射される照明光の光量を最大光量にしてからフォーカス合わせを行うことが通常の場合であれば、制御装置５００は、照明光の光量に応じて、補助情報を、撮像画像と解析情報の間で切り替えてもよい。
【0126】
上述した実施形態では、光路切替ユニット３１０に含まれる複数の光学素子のうちの撮像装置４００へのみ光を導く光学素子（プリズム３１２）が、撮像装置４００に至る光路４００ｐと接眼レンズ１１３に至る光路１１０ｐとが交差する位置に配置されているときに、投影装置３０１に、撮像画像を像面に重畳させる例を示した。しかしながら、撮像装置４００へのみ光を導く場合に限らず、制御装置５００は、例えば、複数の光学素子のうちの撮像光量が最も多くなる光学素子が撮像装置４００に至る光路４００ｐと接眼レンズ１１３に至る光路１１０ｐとが交差する位置に配置されているときに、投影装置３０１に、撮像画像を像面に重畳させてもよい。また、制御装置５００は、複数の光学素子のうちの撮像光量の比率が閾値以上になる光学素子が撮像装置４００に至る光路４００ｐと接眼レンズ１１３に至る光路１１０ｐとが交差する位置に配置されているときに、投影装置３０１に、撮像画像を像面に重畳させてもよい。
【0127】
上述した実施形態では、撮像装置４００のフォーカスずれが生じる可能性があるケースとしてステージ１０１の移動を例示したが、標本Ｓを交換することによってもフォーカスずれは生じ得る。このため、顕微鏡システムは、標本Ｓの交換を検出し、制御装置５００は、標本Ｓの交換に応じて、補助情報を、撮像画像と解析情報の間で切り替えてもよい。具体的には、例えば、標本Ｓを交換する度に、観察を開始する前に、標本Ｓの容器に付されたＱＲコード（登録商標）をＱＲコード（登録商標）リーダで読み込んで、標本Ｓの情報を確認する場合であれば、ＱＲコード（登録商標）リーダによるＱＲコード（登録商標）の読み取りが発生したことをもって、顕微鏡システムは、標本Ｓの交換を検出してもよい。
【0128】
上述した実施形態では、解析情報の一例として、細胞の核をマーキングする情報を例示したが、解析情報には、撮像装置４００のフォーカス状態に関するフォーカス情報が含まれてもよい。フォーカス情報は、撮像画像に基づいて生成されてもよく、例えば、撮像画像のコントラスト値そのものであってもよく、また、コントラスト値に基づいて判定した合焦／非合焦を示す２値のいずれかであってもよい。
【0129】
図２３は、接眼レンズ経由で観察される画像の変形例である。図２３には、光学像１０とともに解析情報２２（解析情報２０、解析情報２１）が像面に重畳されている例が示されている。解析情報２０は、細胞の核をマーキングする情報であり、解析情報２１は、撮像装置４００のフォーカス状態を示すフォーカスインジケータである。図２３に示すように、顕微鏡利用者が光学像１０の観察中に撮像装置４００のフォーカス状態を把握できるように、解析情報にフォーカス情報を含めてもよい。これにより、顕微鏡利用者は、光学像１０を見ながら撮像装置４００のフォーカス合わせを行うことが可能となる。
【0130】
上述した実施形態では、フォーカス情報を解析情報として像面Ｐに重畳する例を示したが、フォーカス情報は、補助情報の切替に用いられてもよい。制御装置５００は、フォーカス情報が示すフォーカス状態に応じて、補助情報を撮像画像と解析情報の間で切り替えてもよい。例えば、フォーカス状態が合焦状態の場合には補助情報が解析情報となり、フォーカス状態が非合焦状態の場合には補助情報が撮像画像になるように、補助情報を切り替えてもよい。これにより、顕微鏡利用者は、撮像装置４００のフォーカスが合っていないときに像面Ｐに投影された撮像画像を見ながら撮像装置４００のフォーカス合わせを行うことができる。
【0131】
さらに、フォーカス情報に基づく補助情報の切替に連動して接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率が自動的に変更されてもよい。制御装置５００は、フォーカス情報に基づく補助情報の切替に連動して、上述した光路切替ユニット３１０やシャッタ機構７００を制御してもよい。なお、光路切替ユニット３１０やシャッタ機構７００は、接眼レンズ１１３へ導かれる観察光量と撮像装置４００へ導かれる撮像光量の比率を異なる２以上の設定の間で切り替える切り替え機構の例である。つまり、制御装置５００は、補助情報の切り替えに連動して、切り替え機構に上述した比率の設定を切り替えさせてもよい。
【0132】
具体的には、制御装置５００は、まず、撮像画像に基づいて、撮像装置４００のフォーカス状態に関するフォーカス情報を生成する。フォーカス情報は、上述したように、例えば、撮像画像のコントラスト値である。その後、制御装置５００は、フォーカス情報が所定の閾値未満のときに、切り替え機構に、比率の設定を撮像光量が比較的大きい第１設定に設定させ、投影装置３０１に、撮像画像を像面Ｐに重畳させてもよい。また、制御装置５００は、フォーカス情報が所定の閾値以上のときに、切り替え機構に、比率の設定を第１設定よりも撮像光量の小さい第２設定に設定させ、投影装置３０１に、解析情報を像面Ｐに重畳させてもよい。これにより、フォーカスレベルが低いときには、フォーカス合わせを促すために撮像画像がコントラスト良く像面Ｐに投影され、且つ、フォーカスレベルが高いときには解析情報が像面Ｐに投影される。
【0133】
上述した実施形態では、解析情報を撮像画像に基づいて生成する例を示したが、解析情報は、例えば、病理標本のリファレンス画像などであってもよく、リファレンス画像は、撮像画像に基づいて適切な画像が選択されてもよい。また、解析情報に加えて、その他の情報が像面に投影されてもよい。例えば、照明光量、焦準機構やステージ１０１の位置、顕微鏡本体１００内部に配置されたフィルタの情報など、顕微鏡システムの状態を示す情報が像面に投影されてもよい。
【0134】
図２４は、図１に示す顕微鏡システムの構成の変形例を示した図である。上述した実施形態では、顕微鏡システムに含まれる制御装置５００が画像解析を行って解析情報を生成する例を示した。しかしながら、制御装置５００は、顕微鏡システムの状態に応じて、補助情報を撮像画像と解析情報の間で切り替えればよく、解析情報は、制御装置５００が生成する代わりに他の装置から取得してもよい。
【0135】
図２４に示すように、顕微鏡システム２に含まれる制御装置５００は、外部システム８００と通信してもよい。制御装置５００は、撮像画像を外部システム８００へ送信することで、外部システム８００に画像解析を依頼して、処理結果（解析情報）を外部システム８００から取得してもよい。
【0136】
顕微鏡システム２によっても、上述した顕微鏡システムと同様に、ＡＲ顕微鏡における撮像装置４００のフォーカスずれに対処することができる。
【0137】
図２５は、図１に示す顕微鏡システムの構成の別の変形例を示した図である。上述した実施形態では、顕微鏡とは異なる制御装置５００が補助画像を投影する処理を制御する例を示したが、補助画像を投影する処理は、顕微鏡に取り付けられた、顕微鏡システム用の投影ユニットにより行われてもよい。
【0138】
図２５に示すように、顕微鏡システム３は、投影装置９０１と撮像装置９０２の両方を含む投影ユニットである接眼鏡筒９００を備えてもよい。接眼鏡筒９００は、顕微鏡システム１における制御装置５００と同様の機能する制御部９０３を備えている。即ち、制御部９０３は、制御装置の一例であり、撮像装置９０２で取得した撮像画像に基づいて投影装置９０１に補助情報を像面Ｐに投影させる。また、制御部９０３は、顕微鏡システム３の状態に応じて補助情報を撮像画像と解析情報の間で切り替える。
【0139】
接眼鏡筒９００によっても、上述した顕微鏡システム１と同様に、ＡＲ顕微鏡における撮像装置４００のフォーカスずれに対処することができる。なお、図２５では、接眼鏡筒９００が投影ユニットとして機能する例を示したが、上述した投影ユニットは、接眼鏡筒から独立した中間鏡筒として構成されてもよい。
【0140】
なお、画像解析は照明光の揺らぎ(短時間の輝度の変化)や外部振動により動作が不安定となる可能性がある。このため、撮像装置４００での画像取得及び制御装置５００への転送は制御装置５００での画像処理タイミングに合わせて行われることが望ましい。これにより、より確実な解析結果を検鏡者に提供可能となる。
【0141】
本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。
【符号の説明】
【0142】
１、２、３ ：顕微鏡システム
１０ ：光学像
２０、２１、２２ ：解析情報
３０、３１、３２ ：撮像画像
１００ ：顕微鏡本体
１０１ ：ステージ
１０２ ：焦準ハンドル
１０５ ：レボルバ
１１０ ：観察光学系
１１１ ：対物レンズ
１１２ ：結像レンズ
１１３ ：接眼レンズ
１３１、９０１ ：投影装置
２０１ ：光源
３００、３００ａ、３００ｂ、９００：接眼鏡筒
３０１ ：投影装置
３１０ ：光路切替ユニット
３１１、３１２、３１３ ：プリズム
３１１ｍ、３１２ｍ、３１３ｍ ：磁石
３２４ ：ハーフミラー
４００、９０２ ：撮像装置
５００ ：制御装置
７００ ：シャッタ機構
７０１、７０２ ：センサ
７１３ ：遮光板
８００ ：外部システム
９０３ ：制御部
１０００ ：コンピュータ
１００１ ：プロセッサ
１００２ ：メモリ
１００３ ：記憶装置
Ｐ ：像面
Ｓ ：標本
１０ ：光学像
２０、２１、２２ ：解析情報
３０、３１、３２ ：撮像画像
１００ ：顕微鏡本体
１０１ ：ステージ
１０２ ：焦準ハンドル
１０５ ：レボルバ
１１０ ：観察光学系
１１１ ：対物レンズ
１１２ ：結像レンズ
１１３ ：接眼レンズ
１３１、９０１ ：投影装置
２０１ ：光源
３００、３００ａ、３００ｂ、９００：接眼鏡筒
３０１ ：投影装置
３１０ ：光路切替ユニット
３１１、３１２、３１３ ：プリズム
３１１ｍ、３１２ｍ、３１３ｍ ：磁石
３２４ ：ハーフミラー
４００、９０２ ：撮像装置
５００ ：制御装置
７００ ：シャッタ機構
７０１、７０２ ：センサ
７１３ ：遮光板
８００ ：外部システム
９０３ ：制御部
１０００ ：コンピュータ
１００１ ：プロセッサ
１００２ ：メモリ
１００３ ：記憶装置
Ｐ ：像面
Ｓ ：標本
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】