特許 6962725 観察装置および観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6962725

(24)【登録日】2021年10月18日

(45)【発行日】2021年11月5日

(54)【発明の名称】観察装置および観察方法

(51)【国際特許分類】

   G06T 3/40 20060101AFI20211025BHJP

   G02B 21/36 20060101ALI20211025BHJP

【ＦＩ】

   G06T3/40 730

   G02B21/36

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2017-133432(P2017-133432)

(22)【出願日】2017年7月7日

(65)【公開番号】特開2019-16182(P2019-16182A)

(43)【公開日】2019年1月31日

【審査請求日】2020年7月2日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】服部 敏征

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１７−００３８６３（ＪＰ，Ａ）

【文献】 特開２０１５−１７６５００（ＪＰ，Ａ）

【文献】 特開２０１５−２３２８６９（ＪＰ，Ａ）

【文献】 特開２０１０−０８５４２１（ＪＰ，Ａ）

【文献】 特開２０１０−０８５４２０（ＪＰ，Ａ）

【文献】 Jianchao Yang, John Wright, Thomas Huang, Yi Ma，Image Super-Resolution as Sparse Representation of Raw Image Patches，2008 IEEE Conference on Computer Vision and Pattern Recognition，米国，IEEE，2008年06月23日，8 pages in total，https://ieeexplore.ieee.org/document/4587647/

【文献】 本橋 直樹, 中村 聡史, 鈴木 俊博，複数の縮小基底辞書を用いたスパースコーディングに基づく学習型超解像の高速化，電子情報通信学会技術研究報告，日本，電子情報通信学会，2015年02月26日，SIS2014-106 (2015-3)，pp. 85-90

【文献】 Jianchao Yang, John Wright, Thomas S. Huang, Yi Ma，Image Super-Resolution Via Sparse Representation，IEEE Transactions on Image Processing，米国，IEEE，2010年05月18日，Vol. 19, No. 11, Nov. 2010，pp. 2861-2873，https://ieeexplore.ieee.org/document/5466111/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ １／００

Ｇ０２Ｂ ２１／３６

(57)【特許請求の範囲】

【請求項1】

高解像度画像を作成するための第１解像度および該第１解像度よりも低い第２解像度を設定する解像度設定部と、
該解像度設定部により設定された前記第１解像度と前記第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成部と、
前記解像度設定部により設定された前記第２解像度で標本を撮影して低解像度画像を取得する画像取得部と、
該画像取得部により取得された前記低解像度画像を展開して表される前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数の内、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の前記高解像度画像を構築する画像構築部とを備える観察装置。

【請求項2】

前記画像取得部が、前記解像度設定部により設定された前記第１解像度で複数の高解像度撮影画像を取得し、
前記辞書作成部が、前記画像取得部により取得された複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成する請求項１に記載の観察装置。

【請求項3】

前記辞書作成部が、他の顕微鏡により前記第１解像度よりも高い解像度で取得された複数の高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成する請求項１に記載の観察装置。

【請求項4】

前記辞書作成部が、前記画像取得部により取得される前記低解像度画像と同じ前記標本を撮影して得られた複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成する請求項２または請求項３に記載の観察装置。

【請求項5】

前記高解像度基底画像の前記標本または解像度が異なる複数の前記高解像度辞書から使用する該高解像度辞書を選択する辞書選択部を備える請求項１から請求項４のいずれかに記載の観察装置。

【請求項6】

前記辞書選択部が、使用する前記高解像度辞書をネットワーク上から選択する請求項５に記載の観察装置。

【請求項7】

前記画像構築部が、前記画像取得部によりタイムラプス撮影にて前記第２解像度かつ所定の時間間隔で前記標本を撮影して得られた複数の前記低解像度画像に基づいて、前記標本の複数の前記高解像度画像を構築する請求項１から請求項６のいずれかに記載の観察装置。

【請求項8】

前記画像構築部が、前記画像取得部によりタイリング撮影にて前記標本を複数の撮影範囲に分割して前記第２解像度で撮影して得られた複数の前記低解像度画像に基づいて、前記標本の複数の部分的な前記高解像度画像を構築し、これら複数の部分的な前記高解像度画像を繋ぎ合わせて前記標本の全体的な前記高解像度画像を構築する請求項１から請求項６のいずれかに記載の観察装置。

【請求項9】

高解像度画像を取得するための第１解像度および該第１解像度よりも低い第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成工程と、
前記第２解像度かつ所定の時間間隔で標本を撮影して複数の低解像度画像を取得するタイムラプス観察工程と、
該タイムラプス観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の前記高解像度画像を構築する画像構築工程とを含む観察方法。

【請求項10】

高解像度画像を取得するための第１解像度および該第１解像度よりも低い第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成工程と、
標本の撮影範囲を複数に分割して、各撮影範囲を前記第２解像度で撮影して複数の低解像度画像を取得するマップ観察工程と、
該マップ観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の部分的な前記高解像度画像を構築し、これら複数の部分的な前記高解像度画像を繋ぎ合わせて前記標本の全体的な前記高解像度画像を構築する画像構築工程とを含む観察方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、観察装置および観察方法に関するものである。

【背景技術】

【0002】

従来、サンプルの画像を取得する観察装置として、走査型レーザ顕微鏡やカメラが知られている（例えば、特許文献１参照。）。これら走査型レーザ顕微鏡やカメラのような観察装置においては、サンプルの画像を高解像度かつ高速で取得したいという普遍的な要求がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−０９０２４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の走査型レーザ顕微鏡においては、画素数を所定の数以下にすることでサンプルの高速な現象を捉えることが可能になるが、画素数を所定の数以下にすると解像度が足りなくなり、高速な現象の詳細を解析することができないという不都合がある。また、カメラは、サンプルの画像を高速に取得することはできるものの、解像度が低いという不都合がある。また、カメラにおいて、画素をずらしながら（ピクセルシフト）撮像した複数の画像を合成することによって高解像化することもできるが、この場合は、複数回撮影しなければならないため、サンプルの高速な現象を捉えることができないという問題がある。

【0005】

本発明は上述した事情に鑑みてなされたものであって、高解像度と高速性を両立して標本を観察することができる観察装置および観察方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第１態様は、高解像度画像を作成するための第１解像度および該第１解像度よりも低い第２解像度を設定する解像度設定部と、該解像度設定部により設定された前記第１解像度と前記第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成部と、前記解像度設定部により設定された前記第２解像度で標本を撮影して低解像度画像を取得する画像取得部と、該画像取得部により取得された前記低解像度画像を展開して表される前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数の内、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の前記高解像度画像を構築する画像構築部とを備える観察装置である。

【0007】

本態様によれば、高解像度画像は、高解像度辞書を構成する複数の高解像度基底画像の線形和で表現することができ、低解像度画像は、低解像度辞書を構成する複数の低解像度基底画像の線形和で表現することができる。また、低解像度辞書は辞書作成部により高解像度辞書をダウンサンプリングして作成されるので、高解像度辞書を構成する複数の高解像度基底画像と低解像度辞書を構成する複数の低解像度基底画像は相関関係を有する。さらに、画像取得部により解像度が低い第２解像度で標本を撮影して得られる低解像度画像は、解像度が高い第１解像度で撮影する場合と比較して、現象の詳細を解析することはできないものの標本の高速な現象を捉えることはできる。

【0008】

したがって、画像構築部により、画像取得部によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本を撮影して高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を作成することができる。これにより、高解像度と高速性を両立して標本を観察することができる。

【0009】

上記態様においては、前記画像取得部が、前記解像度設定部により設定された前記第１解像度で複数の高解像度撮影画像を取得し、前記辞書作成部が、前記画像取得部により取得された複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成することとしてもよい。
このように構成することで、高解像度撮影画像の取得および高解像度辞書の作成から、高解像度辞書を用いた高解像度画像の構築までの全てをこの観察装置により行うことができる。

【0010】

上記態様においては、前記辞書作成部が、他の顕微鏡により前記第１解像度よりも高い解像度で取得された複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成することとしてもよい。
このように構成することで、画像構築部により、この観察装置だけでは取得できない高い解像度の高解像度画像を構築することができる。

【0011】

上記態様においては、前記辞書作成部が、前記画像取得部により取得される前記低解像度画像と同じ前記標本を撮影して得られた複数の前記高解像度撮影画像を線形和で表すことができる複数の前記高解像度基底画像を集合させて前記高解像度辞書を作成することとしてもよい。

【0012】

このように構成することで、画像構築部において、画像取得部によって取得される標本の低解像度画像がその標本の複数の低解像度基底画像により展開され、その標本の高解像度画像がその標本の複数の高解像度基底画像の線形結合によって構築される。したがって、低解像度画像の標本と異なる標本の複数の高解像度基底画像が集合してなる高解像度辞書を使用する場合と比較して、画像構築部により構築される高解像度画像の精度を向上することができる。

【0013】

上記態様においては、前記高解像度基底画像の前記標本または解像度が異なる複数の前記高解像度辞書から使用する該高解像度辞書を選択する辞書選択部を備えることとしてもよい。

【0014】

このように構成することで、複数の高解像度辞書を予め用意しておいて、辞書選択部によりその中から使用する高解像度辞書を選択するだけで済むので、高解像度辞書を作成するための時間を省くことができる。また、辞書選択部により、標本に合わせて最適な高解像度辞書を選択すれば、画像構築部により構築される高解像度画像の精度を向上することができる。

【0015】

上記態様においては、前記辞書選択部が、使用する前記高解像度辞書をネットワーク上から選択することとしてもよい。
このように構成することで、多くの選択肢から適当な高解像度辞書を選択して使用することができる。

【0016】

上記態様においては、前記画像構築部が、前記画像取得部によりタイムラプス撮影にて前記第２解像度かつ所定の時間間隔で前記標本を撮影して得られた複数の前記低解像度画像に基づいて、前記標本の複数の前記高解像度画像を構築することとしてもよい。
このように構成することで、標本の高速な現象を逃すことなく、標本の時間変化を詳細に観察することができる。

【0017】

上記態様においては、前記画像構築部が、前記画像取得部によりタイリング撮影にて前記標本を複数の撮影範囲に分割して前記第２解像度で撮影して得られた複数の前記低解像度画像に基づいて、前記標本の複数の部分的な前記高解像度画像を構築し、これら複数の部分的な前記高解像度画像を繋ぎ合わせて前記標本の全体的な前記高解像度画像を構築することとしてもよい。
このように構成することで、標本の高速な現象を逃すことなく、標本の広い範囲を詳細に観察することができる。

【0018】

本発明の第２態様は、高解像度画像を作成するための第１解像度および該第１解像度よりも低い第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成工程と、前記第２解像度かつ所定の時間間隔で標本を撮影して複数の低解像度画像を取得するタイムラプス観察工程と、該タイムラプス観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の前記高解像度画像を構築する画像構築工程とを含む観察方法である。

【0019】

本態様によれば、高解像度画像は、高解像度辞書を構成する複数の高解像度基底画像の線形和として表現することができ、低解像度画像は、低解像度辞書を構成する複数の低解像度基底画像の線形和として表現することができる。また、低解像度辞書は辞書作成工程により高解像度辞書をダウンサンプリングして作成されるので、高解像度辞書を構成する複数の高解像度基底画像と低解像度辞書を構成する複数の低解像度基底画像は相関関係を有する。さらに、タイムラプス観察工程により解像度が低い第２解像度で標本を撮影して得られる複数の低解像度画像は、解像度が高い第１解像度で撮影する場合と比較して、標本の高速な現象を捉えることができる。

【0020】

したがって、画像構築工程により、タイムラプス観察工程によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度かつ所定の時間間隔で標本を撮影して複数の高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を取得することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の時間変化を詳細に観察することができる。

【0021】

本発明の第３態様は、高解像度画像を作成するための第１解像度および該第１解像度よりも低い第２解像度との比率に応じて、所望の前記高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像が集合してなる高解像度辞書をダウンサンプリングし、前記高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させてなる低解像度辞書を作成する辞書作成工程と、標本の撮影範囲を複数に分割して、各撮影範囲を前記第２解像度で撮影して複数の低解像度画像を取得するマップ観察工程と、該マップ観察工程により取得された複数の前記低解像度画像を展開して前記低解像度辞書の複数の前記低解像度基底画像とそれぞれの係数とで表し、該それぞれの係数は変えずに複数の前記低解像度基底画像を前記高解像度辞書の対応する複数の前記高解像度基底画像に置き換えて、線形結合により前記標本の複数の部分的な前記高解像度画像を構築し、これら複数の部分的な前記高解像度画像を繋ぎ合わせて前記標本の全体的な前記高解像度画像を構築する画像構築工程とを含む観察方法である。

【0022】

本態様によれば、画像構築工程により、マップ観察工程によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本の各撮影範囲を撮影して複数の部分的な高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を取得することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の広い範囲を詳細に観察することができる。

【発明の効果】

【0023】

本発明によれば、高解像度と高速性を両立して標本を観察することができるという効果を奏する。

【図面の簡単な説明】

【0024】

【図1】本発明の第１実施形態に係る観察装置を示すブロック図である。

【図2】高解像度辞書の一例を示す図である。

【図3】低解像度辞書の一例を示す図である。

【図4】図１の観察装置により標本の高解像度画像を作成する工程を説明するフローチャートである。

【図5】モニタ画面上に表される撮影条件の一例を示す図である。

【図6】図１の観察装置により取得する標本の低解像度画像の一例を示す図である。

【図7】図６の低解像度画像を展開して複数の低解像度基底画像とそれぞれの係数とで表した線形和の一例を示す図である。

【図8】図７の線形和をそれぞれの係数を変えずに複数の低解像度基底画像を複数の高解像度基底画像に置き換えた一例を示す図である。

【図9】図８の線形和を線形結合して構築される高解像度画像の一例を示す図である。

【図10】本発明の第１実施形態の変形例に係る観察装置により標本の高解像度画像を作成する工程を説明するフローチャートである。

【図11】本発明の第１実施形態の別の変形例に係る観察装置により標本の高解像度画像を作成する工程を説明するフローチャートである。

【図12】本発明の第２実施形態に係る観察装置を示すブロック図である。

【図13】図１２の観察装置により標本の高解像度画像を作成する工程を説明するフローチャートである。

【図14】モニタ画面上に表される撮影条件の一例を示す図である。

【図15】本発明の第１，２実施形態の変形例に係る観察装置および観察方法により、タイムラプス観察で標本を観察してその高解像度画像を作成する工程を説明するフローチャートである。

【図16】本発明の第１，２実施形態の変形例に係る観察装置および観察方法により、マップ観察で標本を観察してその高解像度画像を作成する工程を説明するフローチャートである。

【発明を実施するための形態】

【0025】

〔第１実施形態〕
本発明の第１実施形態に係る観察装置について図面を参照して以下に説明する。
本実施形態に係る観察装置１は、図１に示すように、標本（図示略）を観察する顕微鏡３と、ユーザからの指示を入力するユーザインターフェース５と、ユーザインターフェース５からの指示に基づいて顕微鏡３の制御および演算処理を行う制御演算装置７とを備えている。また、観察装置１には、ユーザが指示を入力するマウスやキーボード等の入力部と、撮影条件や画像等を表示するモニタとが接続されている（いずれも図示略）。

【0026】

顕微鏡３は、光源（図示略）から発せられたレーザ光を標本上で２次元的に走査させるガルバノミラー等の走査光学系９と、レーザ光が照射された標本からの観察光を集光する対物レンズ（図示略）と、対物レンズにより集光された観察光を撮影して画像を取得する撮像素子（画像取得部）１１とを備えている。

【0027】

ユーザインターフェース５は、ユーザが所望する解像度を画像サイズとして設定する高解像度画像サイズ設定部（解像度設定部）１３および低解像度画像サイズ設定部（解像度設定部）１５と、ユーザの入力により制御演算装置７に撮影開始を指示する撮影開始指示部１７と、ユーザの入力により高解像度画像を構築するための高解像度辞書を作成するのに用いる複数の高解像度撮影画像を指定する高解像画像指定部１９とを備えている。高解像度辞書は、所望の高解像度画像を線形結合により構築するための基底となる複数の高解像度基底画像を集合させたものである。

【0028】

高解像度画像サイズ設定部１３は、高解像度画像を作成するための第１解像度を第１画像サイズとして設定するようになっている。
低解像度画像サイズ設定部１５は、第１解像度よりも低い第２解像度を第２画像サイズとして設定するようになっている。

【0029】

撮影開始指示部１７は、ユーザの選択により、制御演算装置７に対して、高解像度画像サイズ設定部１３によって設定された第１画像サイズでの撮影開始を指示したり、低解像度画像サイズ設定部１５によって設定された第２画像サイズでの撮影開始を指示したりするようになっている。

【0030】

制御演算装置７は、顕微鏡３の走査光学系９および撮像素子１１を制御する撮影制御部２１と、高解像度辞書を作成する高解像度辞書作成部（辞書作成部）２３と、低解像度辞書を作成する低解像度辞書作成部（辞書作成部）２５と、高解像度画像を作成する高解像度画像作成部（画像構築部）２７とを備えている。

【0031】

撮影制御部２１は、撮影開始指示部１７からの撮影開始の指示に応じて、第１画像サイズで標本を撮影したりまたは第２画像サイズで標本を撮影したりするように、走査光学系９および撮像素子１１を制御するようになっている。

【0032】

高解像度辞書作成部２３は、高解像画像指定部１９により指定された互いに異なる複数の高解像度撮影画像を線形和で表すことができる複数の高解像度基底画像を内部処理にて生成し、生成した複数の高解像度基底画像を集合させて、例えば図２に示すような高解像度辞書を作成するようになっている。高解像度辞書を構成する複数の高解像度基底画像は、同一の被写体の撮影部位が異なるものでもよいし被写体自体が異なるものでもよく、また、枚数が多いほど好ましい。図２において、Ｄｈは高解像度辞書を示し、Ｂｈは高解像度基底画像を示している。

【0033】

低解像度辞書作成部２５は、高解像度画像サイズ設定部１３により設定される第１画像サイズと低解像度画像サイズ設定部１５により設定される第２画像サイズとの比率に応じて高解像度辞書をダウンサンプリングし、高解像度基底画像よりも解像度が低い複数の低解像度基底画像を集合させて、例えば図３に示すような低解像度辞書を作成するようになっている。図３において、Ｄｌは低解像度辞書を示し、Ｂｌは低解像度基底画像を示している。

【0034】

高解像度辞書をダウンサンプリングして低解像度辞書を作成することで、高解像度辞書を構成する複数の高解像度基底画像と低解像度辞書を構成する複数の低解像度基底画像は相関関係を有する。ここでのダウンサンプリングは、例えば、高解像度辞書を構成する複数の高解像度基底画像にボケやノイズを加えて疑似的な劣化を施すことにより、解像度を低下させた複数の低解像度基底画像に変換するようになっている。

【0035】

高解像度画像作成部２７は、低解像度画像サイズ設定部１５により設定される第２画像サイズで撮像素子１１により取得された低解像度画像を展開し、展開した低解像度画像を低解像度辞書を構成する複数の低解像度基底画像とそれぞれの係数とで表すようになっている。また、高解像度画像作成部２７は、低解像度画像を展開して表した複数の低解像度基底画像とそれぞれの係数の内、それぞれの係数は変えずに、複数の低解像度基底画像を高解像度辞書の対応する複数の高解像度基底画像に置き換えて、それらを線形結合させることにより、標本の高解像度画像を構築するようになっている。

【0036】

このように構成された観察装置１の作用について、図４のフローチャートを参照して以下に説明する。
本実施形態に係る観察装置１により標本の高解像度画像を作成するには、まず、ユーザは、例えば図５に示すようなモニタ画面上で、高解像度画像サイズ設定部１３により、作成したい高解像度画像の第１解像度（高解像度）として所望の第１画像サイズ（図５に示す例では５１２×５１２）を設定する（ステップＳＡ１）。

【0037】

続いて、ユーザは、低解像度画像サイズ設定部１５により、第１解像度よりも低い第２解像度（低解像度）として所望の第２画像サイズ（図５に示す例では６４×６４）を設定する（ステップＳＡ２）。

【0038】

次いで、同じく図５に示すようなモニタ画面上で、ユーザが高解像度（第１画像サイズ）での撮影開始の指示を入力すると、撮影開始指示部１７からの指示に従い、撮影制御部２１により顕微鏡３の走査光学系９および撮像素子１１が第１画像サイズで標本を撮影するように制御される。

【0039】

顕微鏡３では、図示しない光源からレーザ光が発せられて走査光学系９により標本上で２次元的に走査され、撮像素子１１により、高解像度画像サイズ設定部１３により設定された第１画像サイズで標本からの観察光が撮影される。同様にして、撮像素子１１により複数の標本を第１画像サイズで撮影し、複数の高解像度撮影画像を取得する（ステップＳＡ３）。撮像素子１１により取得された複数の高解像度撮影画像は、撮影制御部２１を介して高解像度辞書作成部２３に送られる。

【0040】

次いで、ユーザは、高解像度辞書作成部２３に送られた複数の高解像度撮影画像をモニタ等で確認し、図５に示すようなモニタ画面上で、高解像画像指定部１９により、その中から高解像度辞書を作成するのに用いる複数の高解像度撮影画像を指定する（ステップＳＡ４）。

【0041】

次いで、ユーザが、図５に示すようなモニタ画面上で辞書作成を指示すると、まず、高解像度辞書作成部２３により、高解像画像指定部１９によってユーザが指定した複数の高解像度撮影画像を線形和で表すことができる複数の高解像度基底画像が生成され、生成された複数の高解像度基底画像が集合させられて、図２に示すような高解像度辞書が作成される（ステップＳＡ５）。

【0042】

次いで、低解像度辞書作成部２５により、高解像度画像サイズ設定部１３によって設定された第１画像サイズと低解像度画像サイズ設定部１５によって設定された第２画像サイズとの比率に応じて、高解像度辞書作成部２３によって作成された高解像度辞書がダウンサンプリングされ、高解像度辞書を構成する複数の高解像度基底画像が低解像度の複数の低解像度基底画像に変換される。そして、低解像度辞書作成部２５により、これら複数の低解像度基底画像が集合させられて、図３に示すような低解像度辞書が作成される（ステップＳＡ６）。

【0043】

次いで、ユーザが図５に示すようなモニタ画面上で、低解像度（第２画像サイズ）での撮影開始の指示を入力すると、撮影開始指示部１７からの指示に従い、撮影制御部２１により顕微鏡３の走査光学系９および撮像素子１１が第２画像サイズで標本を撮影するように制御される。

【0044】

そして、撮像素子１１により、低解像度画像サイズ設定部１５によって設定された第２画像サイズで標本からの観察光が撮影されて、図６に示すような標本の低解像度画像が取得される（ステップＳＡ７）。撮像素子１１により解像度が低い第２解像度で標本を撮影して得られる低解像度画像は、解像度が高い第１解像度で撮影する場合と比較して、現象の詳細を解析することはできないものの標本の高速な現象を捉えることはできる。

【0045】

続いて、高解像度画像作成部２７により、例えば、図７に示すように、撮像素子１１によって取得された標本の低解像度画像が展開されて、低解像度辞書の複数の低解像度基底画像とそれぞれの係数とで表される。図７においてａ，ｂ，ｃ，ｄは係数である。図８においても同様である。

【0046】

そして、高解像度画像作成部２７により、例えば、図８に示すように、その複数の低解像度基底画像とそれぞれの係数の内、それぞれの係数は変えずに、複数の低解像度基底画像が高解像度辞書の対応する複数の高解像度基底画像に置き換えられて、複数の高解像度基底画像とそれぞれの係数が線形結合される。これにより、図９に示すような標本の高解像度画像が作成される（ステップＳＡ８）。

【0047】

以上説明したように、本実施形態に係る観察装置１によれば、高解像度画像は、高解像度辞書を構成する複数の高解像度基底画像の線形和で表現することができ、低解像度画像は、低解像度辞書を構成する複数の低解像度基底画像の線形和で表現することができる。そして、高解像度画像作成部２７により、撮像素子１１によって第２解像度で取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本を撮影して高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を作成することができる。これにより、高解像度と高速性を両立して標本を観察することができる。

【0048】

本実施形態は以下のように変形することができる。
第１変形例としては、例えば、図１０のフローチャートに示されるように、低解像度画像サイズ設定部１５により第２画像サイズを設定した後（ステップＳＡ２）、予め取得してある高解像度撮影画像を複数用意し（ステップＳＢ３）、その中から使用する複数の高解像度撮影画像を指定して（ステップＳＡ４）、高解像度辞書を作成することとしてもよい（ステップＳＡ５）。

【0049】

予め取得してある高解像度撮影画像としては、自然画像を使用することとしてもよいし、顕微鏡３により予め取得しておいたものを使用することとしてもよい。また、顕微鏡３とは異なる他の顕微鏡により取得した高解像度撮影画像を予め取得してある高解像度撮影画像として使用することとしてもよい。この場合、予め取得してある高解像度撮影画像として、例えば電子顕微鏡のような他の顕微鏡により第１解像度よりも高い解像度で取得された複数の高解像度撮影画像を用いることとしてもよい。

【0050】

予め取得してある複数の高解像度撮影画像を用いることで、観察直前に複数の高解像度撮影画像を取得する手間を省くことができる。これにより、標本に無駄なダメージを与えるのを抑制することができる。また、高解像度辞書作成部２３により、他の顕微鏡によって第１解像度よりも高い解像度で取得された複数の高解像度撮影画像を用いて複数の高解像度基底画像が集合してなる高解像度辞書を作成した場合は、高解像度画像作成部２７により、この観察装置１だけでは取得できない高い解像度の高解像度画像を構築することができる。

【0051】

第２変形例としては、例えば、図１１のフローチャートに示されるように、高解像画像指定部１９により、複数の高解像度撮影画像の中から、低解像度画像と同じ標本を撮影して得られた複数の高解像度撮影画像を指定することとしてもよい（ステップＳＣ４）。例えば、培養細胞のような標本の核の部分を観察する場合は、その核の部分を含む高解像度撮影画像を指定することとすればよい。

【0052】

この場合、顕微鏡３により、低解像度画像と同じ標本を第１画像サイズで撮影して複数の高解像度撮影画像を取得するか（図４のフローチャートのステップＳＡ３参照。）、または、顕微鏡３または顕微鏡３よりも解像度が高い他の顕微鏡により、低解像度画像と同じ標本を第１画像サイズまたはそれよりも高い解像度で撮影して複数の高解像度撮影画像を予め取得しておいて、それらを用意することとすればよい（図１０のフローチャートのステップＳＢ３参照）。

【0053】

高解像度辞書作成部２３により、低解像度画像と同じ標本を撮影して得られた複数の高解像度撮影画像を線形和で表すことができる複数の高解像度基底画像を内部処理にて生成し、生成した複数の高解像度基底画像を集合させて高解像度辞書を作成することで、高解像度画像作成部２７において、撮像素子１１によって取得される標本の低解像度画像がその標本の複数の低解像度基底画像により展開され、その標本の高解像度画像がその標本の複数の高解像度基底画像の線形結合によって構築される。

【0054】

したがって、低解像度画像の標本と異なる標本の複数の高解像度基底画像が集合してなる高解像度辞書を使用する場合と比較して、高解像度画像作成部２７により構築される高解像度画像の精度を向上することができる。

【0055】

〔第２実施形態〕
次に、本発明の第２実施形態に係る観察装置について説明する。
本実施形態に係る観察装置３１は、図１２に示すように、制御演算装置７が高解像度辞書作成部２３を備えず、また、ユーザインターフェース５が、高解像画像指定部１９に代えて高解像画像辞書指定部（辞書選択部）３３を備える点で第１実施形態と異なる。
以下、第１実施形態に係る観察装置１と構成を共通する箇所には、同一符号を付して説明を省略する。

【0056】

高解像画像辞書指定部３３は、高解像度基底画像の標本または解像度が異なる複数の高解像度辞書を記憶しており、ユーザがいずれかの高解像度辞書を指定することができるようになっている。また、高解像画像辞書指定部３３は、ユーザが指定した高解像度辞書を低解像度辞書作成部２５に送るようになっている。

【0057】

このように構成された観察装置３１の作用について、図１３に示されるフローチャートを参照して以下に説明する。
本実施形態に係る観察装置３１においては、第２画像サイズが設定された後（ステップＳＡ２）、ユーザは、高解像画像辞書指定部３３に記憶されている複数の高解像度辞書をモニタ等で確認し、図１４に示すようなモニタ画面上で、高解像画像辞書指定部３３により、所望の高解像度辞書を指定する（ステップＳＤ３）。これにより、ユーザが指定した高解像度辞書が低解像度辞書作成部２５に送られて、低解像度辞書作成部２５において低解像度辞書が作成される（ステップＳＡ６）。

【0058】

本実施形態に係る観察装置３１によれば、複数の高解像度辞書を予め用意しておいて、高解像画像辞書指定部３３によりその中から使用する高解像度辞書を選択するだけで済むので、高解像度辞書を作成するための時間を省くことができる。また、高解像画像辞書指定部３３により、標本に合わせて最適な高解像度辞書を選択すれば、高解像度画像作成部２７により構築される高解像度画像の精度を向上することができる。例えば、低解像度画像の標本と同種の標本の高解像度基底画像を含む高解像度辞書を選択すれば、高解像度画像の構築に係る時間の短縮と高解像度画像の精度の向上を図ることができる。

【0059】

本実施形態においては、高解像画像辞書指定部３３が、記憶してある高解像度辞書から使用する高解像度辞書を選択するのでなく、使用する高解像度辞書をネットワーク上から選択することとしてもよい。
このようにすることで、多くの選択肢から観察する標本に適当な高解像度辞書を選択して使用することができる。

【0060】

上記各実施形態においては、撮像素子１１によりタイムラプス撮影にて第２画像サイズかつ所定の時間間隔で標本を撮影して複数の低解像度画像を取得し、高解像度画像作成部２７が、タイムラプス撮影により取得された複数の低解像度画像に基づいて、標本の複数の高解像度画像を構築することとしてもよい。

【0061】

この場合、観察方法としては、図１５のフローチャートに示されるように、画像サイズ設定工程ＳＥ１と、辞書作成工程ＳＥ２と、タイムラプス観察工程ＳＥ３と、画像構築工程ＳＥ４とを含むこととすればよい。

【0062】

画像サイズ設定工程ＳＥ１は、第１画像サイズおよび第２画像サイズを設定するようになっている。
辞書作成工程ＳＥ２は、第１画像サイズと第２画像サイズとの比率に応じて高解像度辞書をダウンサンプリングして、低解像度辞書を作成するようになっている。

【0063】

タイムラプス観察工程ＳＥ３は、撮像素子１１により、第２画像サイズかつ所定の時間間隔で標本を撮影して、同一の標本の複数の低解像度画像を取得するようになっている。
画像構築工程ＳＥ４は、タイムラプス観察工程ＳＥ３により取得された複数の低解像度画像を展開して低解像度辞書の複数の低解像度基底画像とそれぞれの係数とで表し、それぞれの係数は変えずに複数の低解像度基底画像を高解像度辞書の対応する複数の高解像度基底画像に置き換えて、線形結合により標本の複数の高解像度画像を構築するようになっている。

【0064】

このようにすることで、タイムラプス観察工程ＳＥ３によって取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することにより、第１解像度かつ所定の時間間隔で標本を撮影して複数の高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を撮影することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の時間変化を詳細に観察することができる。

【0065】

また、上記各実施形態においては、撮像素子１１によりタイリング撮影にて標本を複数の撮影範囲に分割して第２画像サイズで撮影して複数の低解像度画像を取得し、高解像度画像作成部２７が、取得された複数の低解像度画像に基づいて、標本の複数の部分的な高解像度画像を構築して、これら複数の部分的な高解像度画像を繋ぎ合わせて標本の全体的な高解像度画像を構築することとしてもよい。

【0066】

この場合、観察方法としては、図１６のフローチャートに示されるように、画像サイズ設定工程ＳＥ１と、辞書作成工程ＳＥ２と、マップ観察工程ＳＦ３と、画像構築工程ＳＥ４とを含んでいる。画像サイズ設定工程ＳＥ１および辞書作成工程ＳＥ２は、上述した変形例と同様である。

【0067】

マップ観察工程ＳＦ３は、標本の撮影範囲を複数に分割して、各撮影範囲を第２解像度で撮影して複数の低解像度画像を取得するようになっている。
画像構築工程ＳＥ４は、マップ観察工程ＳＦ３により取得された複数の低解像度画像を展開して低解像度辞書の複数の低解像度基底画像とそれぞれの係数とで表し、それぞれの係数は変えずに複数の低解像度基底画像を高解像度辞書の対応する複数の高解像度基底画像に置き換えて、線形結合により標本の複数の高解像度画像を構築するようになっている。

【0068】

このようにすることで、マップ観察工程ＳＦ３によって取得された標本の低解像度画像から低解像度辞書および高解像度辞書を用いて標本の高解像度画像を構築することで、第１解像度で標本の各撮影範囲を撮影して複数の部分的な高解像度画像を取得する場合と比較して、標本の高速な現象を捉えつつその高速な現象の詳細を表した高解像度画像を作成することができる。これにより、高解像度と高速性を両立して、標本の高速な現象を逃すことなく標本の広い範囲を詳細に観察することができる。

【0069】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

【符号の説明】

【0070】

１，３１ 観察装置
１１ 撮像素子（画像取得部）
１３ 高解像度画像サイズ設定部（解像度設定部）
１５ 低解像度画像サイズ設定部（解像度設定部）
２３ 高解像度辞書作成部（辞書作成部）
２５ 低解像度辞書作成部（辞書作成部）
２７ 高解像度画像作成部（画像構築部）
３３ 高解像画像辞書指定部（辞書選択部）
ＳＥ２ 辞書作成工程
ＳＥ３ タイムラプス観察工程
ＳＥ４ 画像構築工程
ＳＦ３ マップ観察工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】