ホーム > 特許ランキング > シスメックス株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023052796
(43)【公開日】2023-04-12
(54)【発明の名称】顕微鏡システムの制御方法、顕微鏡システム
(51)【国際特許分類】
G02B 21/36 20060101AFI20230404BHJP
G01N 21/64 20060101ALI20230404BHJP
G02B 21/06 20060101ALN20230404BHJP
【ＦＩ】
G02B21/36
G01N21/64 E
G02B21/06
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023013168
(22)【出願日】2023-01-31
(62)【分割の表示】P 2018185592の分割
【原出願日】2018-09-28
(71)【出願人】
【識別番号】390014960
【氏名又は名称】シスメックス株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】岡田 昌也
(72)【発明者】
【氏名】岩永 茂樹
(57)【要約】
【課題】所望の超解像画像の取得をより容易化する。
【解決手段】顕微鏡システム（３００）の制御方法は、撮像部（１０ｂ）により順次撮像された複数の第１の画像を順次第１表示領域に表示する工程と、順次撮像された複数の第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を第２表示領域に表示する工程と、第２の画像を第２表示領域に表示した後、超解像画像を構築するために第３の画像の撮像を行う指示を受け付ける工程と、第３の画像の撮像を行う指示を受け付けた後、複数の第３の画像を撮像部により順次撮像する工程と、複数の第３の画像に基づいて、超解像画像の構築を行う工程と、を含む。
【選択図】図１０
【解決手段】顕微鏡システム（３００）の制御方法は、撮像部（１０ｂ）により順次撮像された複数の第１の画像を順次第１表示領域に表示する工程と、順次撮像された複数の第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を第２表示領域に表示する工程と、第２の画像を第２表示領域に表示した後、超解像画像を構築するために第３の画像の撮像を行う指示を受け付ける工程と、第３の画像の撮像を行う指示を受け付けた後、複数の第３の画像を撮像部により順次撮像する工程と、複数の第３の画像に基づいて、超解像画像の構築を行う工程と、を含む。
【選択図】図１０
【特許請求の範囲】
【請求項1】
撮像部と、第１表示領域および第２表示領域を有する表示部と、備える顕微鏡システムの制御方法であって、
前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示する工程と、
順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を前記第２表示領域に表示する工程と、
前記第２の画像を前記第２表示領域に表示した後、前記超解像画像を構築するために第３の画像の撮像を行う指示を受け付ける工程と、
前記第３の画像の撮像を行う指示を受け付けた後、複数の前記第３の画像を前記撮像部により順次撮像する工程と、
複数の前記第３の画像に基づいて、前記超解像画像の構築を行う工程と、
を含む、顕微鏡システムの制御方法。
前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示する工程と、
順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を前記第２表示領域に表示する工程と、
前記第２の画像を前記第２表示領域に表示した後、前記超解像画像を構築するために第３の画像の撮像を行う指示を受け付ける工程と、
前記第３の画像の撮像を行う指示を受け付けた後、複数の前記第３の画像を前記撮像部により順次撮像する工程と、
複数の前記第３の画像に基づいて、前記超解像画像の構築を行う工程と、
を含む、顕微鏡システムの制御方法。
【請求項2】
複数の前記第１の画像に対し第１の処理を行い前記第２の画像を生成する工程をさらに含み、
前記超解像画像の構築を行う工程において、前記複数の前記第３の画像に対し前記第１の処理とは異なる第２の処理を行い前記超解像画像の構築を行う、
請求項１に記載の、顕微鏡システムの制御方法。
前記超解像画像の構築を行う工程において、前記複数の前記第３の画像に対し前記第１の処理とは異なる第２の処理を行い前記超解像画像の構築を行う、
請求項１に記載の、顕微鏡システムの制御方法。
【請求項3】
前記第２の処理において、テンプレートマッチングにより複数の前記第１の画像から輝点を抽出する処理を行い、
前記第１の処理において、前記テンプレートマッチングを行わない、
請求項２に記載の、顕微鏡システムの制御方法。
前記第１の処理において、前記テンプレートマッチングを行わない、
請求項２に記載の、顕微鏡システムの制御方法。
【請求項4】
前記第２の処理において、抽出した前記輝点に対し点像分布関数に基づくフィッティングにより前記輝点の中心位置を特定し、
前記第１の処理において、前記点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わない、
請求項３に記載の、顕微鏡システムの制御方法。
前記第１の処理において、前記点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わない、
請求項３に記載の、顕微鏡システムの制御方法。
【請求項5】
前記第２の処理において、撮像中のステージドリフトに対する補正を行い、
前記第１の処理において、前記ステージドリフトに対する補正を行わない、
請求項２から４のいずれか１項に記載の、顕微鏡システムの制御方法。
前記第１の処理において、前記ステージドリフトに対する補正を行わない、
請求項２から４のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項6】
前記第２の画像を前記第２表示領域に表示した後、第１の撮像条件を変更する入力を受け付け、
前記第１の撮像条件を変更する入力を受け付けた後、前記第３の画像の撮像を行う前記指示を受け付ける、
請求項１から５のいずれか１項に記載の、顕微鏡システムの制御方法。
前記第１の撮像条件を変更する入力を受け付けた後、前記第３の画像の撮像を行う前記指示を受け付ける、
請求項１から５のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項7】
前記第３の画像の撮像に第１の撮像条件と一緒に用いる第２の撮像条件の入力を受け付ける工程をさらに含む、
請求項１から６のいずれか１項に記載の、顕微鏡システムの制御方法。
請求項１から６のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項8】
前記第１の撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類を含む、
請求項７に記載の、顕微鏡システムの制御方法。
請求項７に記載の、顕微鏡システムの制御方法。
【請求項9】
前記第２の撮像条件は、複数の前記第３の画像の数を含む、
請求項８に記載の、顕微鏡システムの制御方法。
請求項８に記載の、顕微鏡システムの制御方法。
【請求項10】
前記第１の画像は、蛍光画像であり、
前記第１の画像から抽出した情報は、前記第１の画像の輝点に関する情報である、
請求項１から９のいずれか１項に記載の、顕微鏡システムの制御方法。
前記第１の画像から抽出した情報は、前記第１の画像の輝点に関する情報である、
請求項１から９のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項11】
複数の前記第３の画像は、試料を連続的に撮像した連続画像である、
請求項１から１０のいずれか１項に記載の、顕微鏡システムの制御方法。
請求項１から１０のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項12】
前記超解像画像を構築するための処理条件として、前記第３の画像における構築対象となる領域を指定する情報、および複数の前記第３の画像のうちの構築対象となる画像を特定する情報の少なくとも一方の入力を受け付ける工程をさらに含む、
請求項１から１１のいずれか１項に記載の、顕微鏡システムの制御方法。
請求項１から１１のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項13】
撮像された複数の前記第３の画像の少なくとも一部、または前記複数の第３の画像を合成することで得られた合成画像を前記表示部に表示する工程と、
前記複数の第３の画像の少なくとも一部を用いて超解像画像を構築する工程と、
構築された前記超解像画像を前記表示部に表示する工程とをさらに含む、
請求項１から１２のいずれか１項に記載の、顕微鏡システムの制御方法。
前記複数の第３の画像の少なくとも一部を用いて超解像画像を構築する工程と、
構築された前記超解像画像を前記表示部に表示する工程とをさらに含む、
請求項１から１２のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項14】
前記撮像部が撮像する試料の範囲を変化させながら複数の第１の画像を取得する工程をさらに含む、
請求項１から１３のいずれか１項に記載の、顕微鏡システムの制御方法。
請求項１から１３のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項15】
撮像する試料の範囲を変化させながら複数の撮像位置で撮像した複数の蛍光画像を繋ぎ合わせた広視野の蛍光画像を前記表示部に表示する工程をさらに含む、
請求項１４に記載の、顕微鏡システムの制御方法。
請求項１４に記載の、顕微鏡システムの制御方法。
【請求項16】
前記第３の画像は、蛍光画像であり、
前記撮像部の撮像位置を変化させながら各撮像位置で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において複数の前記第３の画像を撮像する、
請求項１から１５のいずれか１項に記載の、顕微鏡システムの制御方法。
前記撮像部の撮像位置を変化させながら各撮像位置で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において複数の前記第３の画像を撮像する、
請求項１から１５のいずれか１項に記載の、顕微鏡システムの制御方法。
【請求項17】
撮像部と、第１表示領域および第２表示領域を有する表示部と、制御装置と、を備える顕微鏡システムであって、
前記制御装置は、
前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示し、
順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を前記第２表示領域に表示し、
前記第２の画像を前記第２表示領域に表示した後、前記超解像画像を構築するために第３の画像の撮像を行う指示を受け付け、
前記第３の画像の撮像を行う指示を受け付けた後、複数の前記第３の画像を前記撮像部に順次撮像させ、
前記撮像部により順次撮像された複数の第３の画像に基づいて構築された超解像画像を表示し、
複数の前記第３の画像に基づいて、前記超解像画像の構築を行う、
顕微鏡システム。
前記制御装置は、
前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示し、
順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を前記第２表示領域に表示し、
前記第２の画像を前記第２表示領域に表示した後、前記超解像画像を構築するために第３の画像の撮像を行う指示を受け付け、
前記第３の画像の撮像を行う指示を受け付けた後、複数の前記第３の画像を前記撮像部に順次撮像させ、
前記撮像部により順次撮像された複数の第３の画像に基づいて構築された超解像画像を表示し、
複数の前記第３の画像に基づいて、前記超解像画像の構築を行う、
顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡システムの制御方法、および、当該超解像画像を取得するための顕微鏡システムに関する。
【背景技術】
【0002】
生きた状態の細胞を観察できる蛍光イメージング法は、生命現象を解明するために重要な役割を担っている。光学顕微鏡の解像度は、光の回折限界によりおよそ２００ｎｍ程度であるため、細胞の中に存在する複雑な構造を観察するためには不十分であった。
【0003】
しかし、近年では、光の回折限界を超える解像度を実現した画像（以下、超解像画像と記す）を取得するための様々な技術が考案され、超解像画像を利用した研究および検査が身近なものとなってきている。超解像画像を取得する顕微鏡装置は、例えば、特許文献１に開示されている。
【0004】
特許文献１には、超解像画像を取得するための顕微鏡装置が開示されている。特許文献１の顕微鏡装置は、（ｉ）試料設置部と光学系と撮像部とが内部に配置された筐体部と、（ｉｉ）撮像部により撮像された画像を表示する表示部が一体的に設けられ、試料設置部に対して相対移動可能な移動部と、を備える。
【0005】
特許文献１の顕微鏡装置では、表示部の表示画面には、カメラ画面表示領域と超解像画像表示領域とが含まれる。カメラ画面表示領域には、撮像部（より厳密には撮像素子）によってリアルタイムで撮像されるカメラ画像が表示される。超解像画像表示領域には、顕微鏡装置によって構築された超解像画像が表示される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１８－４４９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
超解像画像の利用は身近になってきているものの、所望の超解像画像を取得することは容易ではない。例えば、特許文献１の顕微鏡装置を用いて超解像画像を構築する場合、下記に示す（工程１）～（工程６）によって行われる。
（工程１）試料をセットして撮像を開始
（工程２）カメラ画面表示領域に、リアルタイムで撮像されたカメラ画像を表示
（工程３）撮像する視野の決定および撮像パラメータの設定
（工程４）撮像開始
（工程５）撮像された複数の画像を保存
（工程６）超解像画像の構築を決定
（工程７）超解像画像表示領域に、構築された超解像画像を表示。
（工程１）試料をセットして撮像を開始
（工程２）カメラ画面表示領域に、リアルタイムで撮像されたカメラ画像を表示
（工程３）撮像する視野の決定および撮像パラメータの設定
（工程４）撮像開始
（工程５）撮像された複数の画像を保存
（工程６）超解像画像の構築を決定
（工程７）超解像画像表示領域に、構築された超解像画像を表示。
【0008】
上記の工程のうち、特に、（工程３）および（工程６）は容易ではなく、所望の超解像画像の取得に失敗する原因となり得る。例えば、（工程３）において、リアルタイムで撮像されたカメラ画像から、視野を決定し、撮像パラメータを適切に設定することは、経験を積んだユーザであっても、多くの場合、試行錯誤が必要である。また、（工程６）においては、ユーザはどのような超解像画像が構築されるのかが分からない段階で、超解像画像の構築をするか否かを決定しなければならない。
【0009】
また、（工程７）において表示された超解像画像が、所望の画像ではなかった場合、（工程３）～（工程７）をやり直す必要がある。しかし、試料の観察のために使用された蛍光色素分子が発する蛍光を撮像した画像を用いて超解像画像を構築する場合、蛍光色素分子からの蛍光強度は光の照射によって減衰してしまうため、何度も繰り返し撮像し直すことができない。
【0010】
本発明は、上述の問題点に鑑みてなされたものであり、所望の超解像画像の取得をより容易化することを目的とする。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、本発明の一態様に係る制御方法は、撮像部と、第１表示領域および第２表示領域を有する表示部と、備える顕微鏡システムの制御方法であって、前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示する工程と、順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を前記第２表示領域に表示する工程と、前記第２の画像を前記第２表示領域に表示した後、前記超解像画像を構築するために第３の画像の撮像を行う指示を受け付ける工程と、前記第３の画像の撮像を行う指示を受け付けた後、複数の前記第３の画像を前記撮像部により順次撮像する工程と、複数の前記第３の画像に基づいて、前記超解像画像の構築を行う工程と、
を含む。
を含む。
【0012】
前記制御方法において、複数の前記第１の画像に対し第１の処理を行い前記第２の画像を生成する工程をさらに含み、前記超解像画像の構築を行う工程において、前記複数の前記第３の画像に対し前記第１の処理とは異なる第２の処理を行い前記超解像画像の構築を行ってもよい。
【0013】
前記第２の処理において、テンプレートマッチングにより複数の前記第１の画像から輝点を抽出する処理を行い、前記第１の処理において、前記テンプレートマッチングを行わない構成であってもよい。
【0014】
前記第２の処理において、抽出した前記輝点に対し点像分布関数に基づくフィッティングにより前記輝点の中心位置を特定し、前記第１の処理において、前記点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わない構成であってもよい。
【0015】
前記第２の処理において、撮像中のステージドリフトに対する補正を行い、前記第１の処理において、前記ステージドリフトに対する補正を行わない構成であってもよい。
【0016】
前記制御方法において、前記第２の画像を前記第２表示領域に表示した後、第１の撮像条件を変更する入力を受け付け、前記第１の撮像条件を変更する入力を受け付けた後、前記第３の画像の撮像を行う前記指示を受け付けてもよい。
【0017】
前記制御方法において、前記第３の画像の撮像に第１の撮像条件と一緒に用いる第２の撮像条件の入力を受け付ける工程をさらに含んでいてもよい。
【0018】
前記制御方法において、前記第１の撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類を含んでいてもよい。
【0019】
前記制御方法において、前記第２の撮像条件は、複数の前記第３の画像の数を含んでいてもよい。
【0020】
前記制御方法において、前記第１の画像は、蛍光画像であり、前記第１の画像から抽出した情報は、前記第１の画像の輝点に関する情報であってもよい。
【0021】
前記制御方法において、複数の前記第３の画像は、試料を連続的に撮像した連続画像であってもよい。
【0022】
前記制御方法において、前記超解像画像を構築するための処理条件として、前記第３の画像における構築対象となる領域を指定する情報、および複数の前記第３の画像のうちの構築対象となる画像を特定する情報の少なくとも一方の入力を受け付ける工程をさらに含んでいてもよい。
【0023】
前記制御方法において、撮像された複数の前記第３の画像の少なくとも一部、または前記複数の第３の画像を合成することで得られた合成画像を前記表示部に表示する工程と、前記複数の第３の画像の少なくとも一部を用いて超解像画像を構築する工程と、構築された前記超解像画像を前記表示部に表示する工程とをさらに含んでいてもよい。
【0024】
前記制御方法において、前記撮像部が撮像する試料の範囲を変化させながら複数の第１の画像を取得する工程をさらに含んでいてもよい。
【0025】
前記制御方法において、撮像する試料の範囲を変化させながら複数の撮像位置で撮像した複数の蛍光画像を繋ぎ合わせた広視野の蛍光画像を前記表示部に表示する工程をさらに含んでいてもよい。
【0026】
前記制御方法において、前記第３の画像は、蛍光画像であり、
前記撮像部の撮像位置を変化させながら各撮像位置で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において複数の前記第３の画像を撮像してもよい。
前記撮像部の撮像位置を変化させながら各撮像位置で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において複数の前記第３の画像を撮像してもよい。
【0027】
本発明の一態様に係る顕微鏡システムは、撮像部と、第１表示領域および第２表示領域を有する表示部と、制御装置と、を備える顕微鏡システムであって、前記制御装置は、前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示し、順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された、超解像画像を模したプレビュー画像である第２の画像を前記第２表示領域に表示し、前記第２の画像を前記第２表示領域に表示した後、前記超解像画像を構築するために第３の画像の撮像を行う指示を受け付け、前記第３の画像の撮像を行う指示を受け付けた後、複数の前記第３の画像を前記撮像部に順次撮像させ、前記撮像部により順次撮像された複数の第３の画像に基づいて構築された超解像画像を表示し、複数の前記第３の画像に基づいて、前記超解像画像の構築を行う。
【発明の効果】
【0028】
本発明によれば、超解像画像の取得時間を従来よりも低減できる。
【図面の簡単な説明】
【0029】
【図1】本発明の実施形態１に係る顕微鏡システムの一構成例を示す斜視図である。
【図5】第１ステージにおける表示部のレイアウトの一例を示す図である。
【図6】プレビュー画像生成部におけるプレビュー画像生成処理について説明するための図である。
【図7】超解像画像構築部における超解像画像構築処理について説明するための図である。
【図8】第１ステージにおける処理の流れを例示するフローチャートである。
【図9】第２ステージにおける表示部のレイアウトの一例を示す図である。
【図10】第２ステージにおける処理の流れを例示するフローチャートである。
【図11】本発明の実施形態１の一変形例に係る顕微鏡システムの構成を概略的に示す機能ブロック図である。
【図12】本発明の実施形態２における処理の流れを示すフローチャートである。
【図13】広視野蛍光イメージングモードにおける処理の流れを例示する。
【図14】（ａ）および（ｂ）はそれぞれ、視野の移動方法の一例を示す図である。
【図15】複数視野のプレビュー画像が表示される画面の一例を示す図である。
【図16】複数視野撮像モードにおける処理の流れを例示するフローチャートである。
【発明を実施するための形態】
【0030】
〔実施形態１〕
本発明の実施形態１に係る顕微鏡システム３００について説明する。図１は、顕微鏡システム３００の一構成例を示す斜視図である。図１に示すように、顕微鏡システム３００は、顕微鏡装置１００および制御装置２００を備えている。顕微鏡装置１００および制御装置２００は、互いに信号を送受信可能に接続されている。例えば、顕微鏡装置１００および制御装置２００は、有線または無線により互いに通信可能に接続されている。
本発明の実施形態１に係る顕微鏡システム３００について説明する。図１は、顕微鏡システム３００の一構成例を示す斜視図である。図１に示すように、顕微鏡システム３００は、顕微鏡装置１００および制御装置２００を備えている。顕微鏡装置１００および制御装置２００は、互いに信号を送受信可能に接続されている。例えば、顕微鏡装置１００および制御装置２００は、有線または無線により互いに通信可能に接続されている。
【0031】
（顕微鏡装置１００の構成）
図２は、顕微鏡装置１００の一構成例を示す斜視図である。顕微鏡装置１００は、試料設置部１１に載置された試料を拡大して表示するための装置である。顕微鏡装置１００の解像度は、例えば、水平方向２０～５０ｎｍ、Ｚ軸方向約２０～５０ｎｍであってもよい。顕微鏡装置１００の解像度は、従来の光学顕微鏡のおよそ１０倍である。試料は、被検体（被験者）から採取した生体試料であり、例えば、細胞、生体組織などである。但し、後述するように、試料は生体試料に限定されない。
図２は、顕微鏡装置１００の一構成例を示す斜視図である。顕微鏡装置１００は、試料設置部１１に載置された試料を拡大して表示するための装置である。顕微鏡装置１００の解像度は、例えば、水平方向２０～５０ｎｍ、Ｚ軸方向約２０～５０ｎｍであってもよい。顕微鏡装置１００の解像度は、従来の光学顕微鏡のおよそ１０倍である。試料は、被検体（被験者）から採取した生体試料であり、例えば、細胞、生体組織などである。但し、後述するように、試料は生体試料に限定されない。
【0032】
図２に示すように、顕微鏡装置１００は、筐体部１０と、移動部２０とを備える。顕微鏡装置１００は、撮像部１０ｂと、試料設置部１１とを備える。撮像部１０ｂは、対物レンズ１２と、光源１３と、撮像素子１４とを備える。試料設置部１１は、筐体部１０の上面（Ｚ１方向側の面）に設けられている。
【0033】
対物レンズ１２と、光源１３と、撮像素子１４とは、筐体部１０の内部に設けられている。顕微鏡装置１００は、表示部２１を備える。表示部２１は、移動部２０の前面（Ｙ１方向側の面）に設けられている。表示部２１の表示面２１ａは、移動部２０の前面側に配置されている。顕微鏡装置１００は、筐体部１０に対して移動部２０を相対移動させる駆動部１０ａを備える。但し、後述の変形例に示すように、本発明の顕微鏡システムにおいて、顕微鏡装置１００に表示部２１が一体として設けられている必要はなく、例えば、表示部を顕微鏡装置１００とは別体として設けてもよい。
【0034】
以下では、顕微鏡装置１００の設置面に平行な面内（すなわち、水平な面内）で直交する２方向をそれぞれＸ方向、Ｙ方向とする。図１に示すように、顕微鏡装置１００が、平面視でＸ方向およびＹ方向にそれぞれ沿う略矩形形状の外形形状を有する。Ｘ方向を顕微鏡装置１００の左右方向とし、Ｙ方向を顕微鏡装置１００の前後方向とする。Ｙ１方向が同装置本体の前面方向であり、Ｙ２方向が同装置本体の背面方向である。水平な面と直交する上下方向をＺ方向とする。Ｚ１方向が上方向であり、Ｚ２方向が下方向である。
【0035】
移動部２０は、試料設置部１１を覆う遮光位置（図２の（ａ）参照）と、試料設置部１１を開放する開放位置（図２の（ｂ）参照）とに、筐体部１０に対して表示部２１とともに相対移動可能である。具体的には、移動部２０は、筐体部１０の設置面に略平行な方向に、筐体部１０に対して相対的にスライド移動することにより、遮光位置および開放位置に相対移動する。
【0036】
これにより、筐体部１０に対して上下方向（Ｚ方向）ではなく横方向（Ｘ方向）に移動部２０を相対的に移動させることができるので、重力の影響を抑制して、筐体部１０に対して移動部２０を遮光位置または開放位置に容易に相対移動させることができる。また、遮光位置および開放位置を平行な位置に配置することができるので、移動部２０に設けられた表示部２１を、開放位置においても遮光位置と同様の高さ位置において見ることができる。これにより、表示部２１の視認性を向上させることができる。
【0037】
試料設置部１１は、筐体部１０の設置面と略平行な筐体部１０上面（Ｚ１方向の面）に配置されている。そのため、移動部２０を開放位置に相対移動させた場合に、試料設置部１１の上方を開放することができるので、試料設置部１１に容易にアクセスすることができる。
【0038】
移動部２０が筐体部１０に対して開放位置に相対移動された状態で、試料設置部１１に試料が設置される。移動部２０が筐体部１０に対して遮光位置に相対移動された状態で、試料設置部１１の試料が撮像される。
【0039】
試料設置部１１は、水平方向の一方向側および上側を除く部分が壁に囲まれるように筐体部１０の上面に凹状に設けられている。例えば、試料設置部１１は、筐体部１０の前面側および上側を除く部分が壁に囲まれるように筐体部１０の上面に凹状に設けられている。試料設置部１１は、移動部２０が開放位置に位置する場合に、上側および水平方向の一方向側が開放される。例えば、試料設置部１１は、移動部２０が開放位置に位置する場合に、上方（Ｚ１方向）および前方（Ｙ１方向）が開放される。これにより、移動部２０が開放位置に位置する場合に、試料設置部１１へのアクセスをより容易にすることができる。
【0040】
試料設置部１１は、ステージ１１ａを含む。ステージ１１ａは、水平方向（Ｘ方向およびＹ方向）と、上下方向（Ｚ方向）とに移動可能である。ステージ１１ａは、Ｘ方向、Ｙ方向およびＺ方向において、互いに独立して移動可能である。これにより、試料を対物レンズ１２に対して相対移動させることができるので、試料の所望の位置を拡大して見ることが可能である。
【0041】
図２の（ｂ）に示すように、対物レンズ１２は、試料設置部１１のステージ１１ａに近接して配置されている。対物レンズ１２は、試料設置部１１のステージ１１ａの下方（Ｚ２方向）において、試料設置部１１に対向するように設けられている。対物レンズ１２は、試料設置部１１に対して上下方向に相対移動可能である。
【0042】
光源１３は、対物レンズ１２を介して、撮像素子１４と同じ側から光を試料に照射する。光源１３は、所定の波長の光を出力するものでも、異なる複数の波長の光を出力するものでもよい。光源１３は、発光素子を含む。発光素子は、例えば、ＬＥＤ（Light Emitting Diode）素子、または、レーザ素子などを含む。
【0043】
図３は、光源１３の一構成例を示す図である。図３に示すように、光源１３は、第１光源１３１ａと、第２光源１３１ｂと、ミラー１３２ａと、光学フィルタ１３２ｂと、ファン１３３とを含む。第１光源１３１ａおよび第２光源１３１ｂは、互いに異なる波長の光を出力する。実施形態１では、顕微鏡装置１００が、誘導放出抑制顕微鏡（Stimulated emission depletion microscopy: ＳＴＥＤ）法を用いて、蛍光画像を取得する場合を説明する。この場合、例えば、第１光源１３１ａは励起光を出射し、第２光源１３１ｂはＳＴＥＤ光を出射する。第１光源１３１ａおよび第２光源１３１ｂは、それぞれ、レーザ光を出力することが可能である。なお、第２光源１３１ｂの出力する光は、可視光領域の光であってもよいし、赤外領域または紫外領域の非可視光領域の光であってもよい。
【0044】
第１光源１３１ａにより出力された光は、ミラー１３２ａにより反射されるとともに、光学フィルタ１３２ｂを透過して、光源１３から出力される。第２光源１３１ｂにより出力された光は、光学フィルタ１３２ｂにより反射されて、光源１３から出力される。これらにより、第１光源１３１ａから出力される光と、第２光源１３１ｂから出力される光とが、互いに光軸が一致された状態で、光源１３から出力される。光学フィルタ１３２ｂは、例えば、ダイクロイックミラーまたはロングパスフィルタ等である。
【0045】
ファン１３３は、筐体部１０の内部に配置され、光源１３を冷却するために設けられている。具体的には、ファン１３３は、駆動することにより、光源１３の周辺に空気の流れを発生させて、光源１３から発生する熱を取り除くように構成されている。ファン１３３は、撮像素子１４による試料の撮像中に動作が停止されることが好ましい。これにより、撮像中にファン１３３による振動が撮像素子１４や試料設置部１１などに伝わるのを防止することができるので、試料を精度よく撮像することができる。但し、撮像素子１４による試料の撮像中に動作中にファン１３３が駆動されても構わない。
【0046】
撮像素子１４は、光源１３から照射された光に基づいて試料を撮像する。具体的には、撮像素子１４は、光源１３から照射された光によって試料から発せられる光に基づいて、試料の静止画または連続画像を撮像する。撮像素子１４により撮像される画像には、例えば、暗視野画像、蛍光画像または明視野画像が含まれる。撮像素子１４は、例えば、ＣＣＤ（Charge Coupled Device）素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子を含む。
【0047】
後述するように、試料には複数の蛍光色素分子が結合されており、あるタイミングにおいて複数の蛍光色素分子のうち一部が蛍光を発する。撮像素子１４は、所定の時間間隔（例えば、３０～１００ミリ秒間隔）で撮像することにより、複数の蛍光色素分子のうち、明滅している状態の「明」のタイミングで蛍光色素分子から発せられた光を撮像するように構成されている。これにより、各蛍光色素分子が発する蛍光を空間的に分離して捉えた画像を撮像することができる。
【0048】
表示部２１は、撮像素子１４により撮像された画像、および撮像画像に基づいて生成された画像を表示する。特に、表示部２１は、後述するライブ画像、プレビュー画像、対象画像および超解像画像を表示する。また、表示部２１は、顕微鏡装置１００を操作するための画面、および顕微鏡装置１００の状態を示す画面を表示することが可能である。表示部２１は、試料を撮像する際のプログラムに基づく画面、および外部の制御装置２００からの信号に基づく画面を表示することが可能である。
【0049】
表示部２１は、例えば、液晶ディスプレイである。実施形態１の例では、表示部２１は、移動部２０の側面に配置されている。例えば、表示部２１は、移動部２０における前方側（Ｙ１方向側）に配置されている。移動部２０に、表示部２１を一体的に設けることによって、顕微鏡装置１００に加えて表示部を別個に設けて設置する必要がなくなるため、顕微鏡システム３００の設置面積を小さくすることができる。但し、後述のように、表示部２１を顕微鏡装置１００の外部に設けてもよい。
【0050】
（試料）
撮像対象となる物質は、例えば、生体から採取した組織または細胞である。当該組織および細胞の種類は特に限定されない。撮像対象の物質は、生体試料に含まれる物質に限らず、生体試料に由来しない物質であってもよい。例えば、撮像対象の物質は、蛍光ビーズなど、蛍光を生じる粒子等の蛍光物質であってもよい。以下の説明では、撮像対象の物質として生体組織を使用するものとする。
撮像対象となる物質は、例えば、生体から採取した組織または細胞である。当該組織および細胞の種類は特に限定されない。撮像対象の物質は、生体試料に含まれる物質に限らず、生体試料に由来しない物質であってもよい。例えば、撮像対象の物質は、蛍光ビーズなど、蛍光を生じる粒子等の蛍光物質であってもよい。以下の説明では、撮像対象の物質として生体組織を使用するものとする。
【0051】
ＳＴＥＤ法では、誘導放出を利用して蛍光画像が取得される。誘導放出とは、活性状態にある蛍光色素分子に、励起光より低いエネルギーの光を照射した場合に、当該蛍光色素分子が蛍光を発することなく、強制的に非活性状態に戻される現象である。ＳＴＥＤ法によって蛍光画像を取得する処理の流れは、例えば次の通りである。（１）まず、試料に蛍光色素分子を一様に分布させる。（２）続いて、スポット光としての励起光を、所定の位置に存在する試料に向けて照射する。（３）そして、励起光のスポットを取り囲むように、ＳＴＥＤ光を上記試料に照射する。これにより、スポットを除いた周囲の領域では、蛍光色素分子による蛍光の出射が抑制されるので、当該スポットに対応する位置においてのみ、蛍光を観測できる。（４）そして、励起光のスポットを別の位置に変更し、上記（２）～（４）を繰り返す。このようにして、異なる位置に存在する各蛍光色素分子を選択的に明滅させることができる。すなわち、誘導放出を利用して、１分子単位での蛍光観察を行うことができる。なお、顕微鏡装置１００には、活性状態の蛍光色素分子に対して光を照射して、蛍光画像を取得する任意の公知の方法が適用され得る。あるいは、顕微鏡装置１００は、活性状態と非活性状態とを自発的にスイッチングするように修飾された蛍光色素分子を用いて蛍光画像を取得してもよい。以上のように、各蛍光色素分子は、所定の時間間隔で明滅する。ただし、各蛍光色素分子は、明滅を繰り返すことで徐々に崩壊していく。そのため、できるだけ短時間で撮像を終えることが好ましい。
【0052】
第１光源１３１ａからの光が所定時間、生体組織に照射されると、各蛍光色素分子が常時活性化状態で、明滅する。第１光源１３１ａからの光の照射時間を調整することにより、活性化される蛍光色素分子の割合が変化する。
【0053】
（制御装置２００の構成）
図４は、制御装置２００およびその周辺の各部の構成を概略的に示す機能ブロック図である。図４において、顕微鏡装置１００の構成要素については、制御装置２００の制御下にある構成要素のみを図示している。制御装置２００は、顕微鏡装置１００を制御するように構成されている。制御装置２００は、例えば、コンピュータにより構成されており、ＣＰＵ（中央演算処理装置）、メモリなどを含む。制御装置２００は、顕微鏡装置１００による試料の撮像処理を制御し、撮像された画像の処理を行う。制御装置２００は、処理した画像を顕微鏡装置１００に出力し、顕微鏡装置１００の表示部２１に表示させることが可能である。また、制御装置２００は、顕微鏡装置１００により撮像した試料の画像を表示部２１に拡大表示することが可能である。制御装置２００は、顕微鏡装置１００の移動部２０の遮光位置と開放位置との移動を制御する。
図４は、制御装置２００およびその周辺の各部の構成を概略的に示す機能ブロック図である。図４において、顕微鏡装置１００の構成要素については、制御装置２００の制御下にある構成要素のみを図示している。制御装置２００は、顕微鏡装置１００を制御するように構成されている。制御装置２００は、例えば、コンピュータにより構成されており、ＣＰＵ（中央演算処理装置）、メモリなどを含む。制御装置２００は、顕微鏡装置１００による試料の撮像処理を制御し、撮像された画像の処理を行う。制御装置２００は、処理した画像を顕微鏡装置１００に出力し、顕微鏡装置１００の表示部２１に表示させることが可能である。また、制御装置２００は、顕微鏡装置１００により撮像した試料の画像を表示部２１に拡大表示することが可能である。制御装置２００は、顕微鏡装置１００の移動部２０の遮光位置と開放位置との移動を制御する。
【0054】
図４に示すように、制御装置２００は、処理部２０１と、記憶部２０２とを備える。制御装置２００には、入力部２０４が接続されている。
【0055】
処理部２０１は、例えば、ＣＰＵを含み、顕微鏡装置１００の動作を制御する。記憶部２０２は、例えば、ＨＤＤ（Hard Disk Drive）や、ＳＳＤ（Solid State Drive）などを含み、制御装置２００により実行するプログラムや、情報が格納される。入力部２０４は、ユーザの操作（指示）を受け付ける。入力部２０４は、例えば、マウスやキーボードなどを含む。
【0056】
図４に示すように、処理部２０１は、プレビュー画像生成部１、超解像画像構築部２、表示制御部３、および撮像制御部４を備えている。顕微鏡システム３００において超解像画像を取得する工程は、第１ステージ（キャプチャーイメージモード）と第２ステージ（プロセスイメージモード）とに大別される。第１ステージは、超解像画像を疑似的に表現したプレビュー画像を生成し、表示する工程と、超解像画像を構築するための複数の対象画像を撮像部１０ｂにより順次撮像する工程とを含む。第２ステージは、第１ステージで得られた画像を用いて超解像画像を構築する工程を含む。
【0057】
プレビュー画像生成部１は、撮像制御部４の制御下で撮像された複数のライブ画像からプレビュー画像を生成する。ライブ画像とは、第１ステージにおいて、撮像部１０ｂによってリアルタイムで撮像された画像を意味する。ライブ画像は、第１の画像とも称される。これに対し、プレビュー画像は、第２の画像とも称される。プレビュー画像を生成する処理の具体例については、後述する。
【0058】
なお、プレビュー画像は、以下に述べる超解像画像を簡易的に模した画像である（後述の図６・７を参照）。このことから、プレビュー画像は、擬似超解像画像と称されてもよい。表示部２１は、撮像部１０ｂにより順次撮像された複数のライブ画像を順次第１表示領域に表示し、順次撮像された複数のライブ画像から抽出した情報に基づいて生成されたプレビュー画像を第２表示領域に表示する。顕微鏡システム３００のユーザは、第１ステージの時点でプレビュー画像を参照することで、将来の第２ステージにおいて構築される超解像画像の表示内容を予測できる。
【0059】
超解像画像構築部２は、撮像制御部４の制御下で撮像された複数の対象画像から超解像画像を構築する。対象画像とは、撮像部１０ｂによって撮像された画像のうち、超解像画像を構築するための画像を意味する。撮像部１０ｂは、超解像画像を構築するための複数の対象画像を順次撮像する。対象画像は、第３の画像とも称される。超解像画像を生成する処理の具体例については、後述する。
【0060】
すなわち、プレビュー画像生成部１は、複数の第１の画像に対し第１の処理を行い第２の画像を生成し、超解像画像構築部２は、複数の第３の画像に対し第１の処理とは異なる第２の処理を行い超解像画像の構築を行う。
【0061】
表示制御部３は、各種の画像を表示部２１に表示する。図５は、第１ステージにおける表示部２１のレイアウトの一例を示す図である。図５に示すように、表示部２１は、主要な表示領域として、第１表示領域３１および第２表示領域３２を備えている。第１表示領域３１および第２表示領域３２は、表示部２１の表示画面において、左右に並ぶように設けられている。
【0062】
また、図５に示すように、表示部２１には、ＧＵＩ（Graphical User Interface）による操作をユーザに提供できるように、各種のボタン（アイコン）が表示されている。以下の説明では、説明の便宜上、表示部２１がタッチパネルである場合を例示する。この場合、ユーザは、所定のボタンを押下（タッチ）することで、当該所定のボタンに応じた操作を行うことができる。説明の便宜上、図５では、各種のボタンのうち、実施形態１との関連性が特に高い主要なボタンのみについて、部材番号を付して説明を行うものとする。但し、入力部２０４を用いて、第１ステージおよび第２ステージにおける各種の操作をユーザに行わせてもよい。つまり、表示部２１はタッチパネルでなくともよい。
【0063】
表示制御部３は、第１ステージにおいて、ライブ画像（第１の画像）を第１表示領域３１に表示し、プレビュー画像（第２の画像）を第２表示領域３２に表示する。表示制御部３は、第２ステージにおいて、対象画像（第３の画像）を第１表示領域３１に表示し、超解像画像を第２表示領域３２に表示する。
【0064】
撮像制御部４は、撮像部１０ｂを制御する。具体的には、撮像制御部４は、所定の撮像条件下で各種の画像を撮像するように、撮像部１０ｂを制御する。図４の例では、顕微鏡装置１００は、コントローラ１１０を備える。図４の例では、表示制御部３および撮像制御部４はそれぞれ、コントローラ１１０を介して、表示部２１および撮像部１０ｂを制御する。但し、表示制御部３は、コントローラ１１０を介さずに、表示部２１を制御してもよい。同様に、撮像制御部４は、コントローラ１１０を介さずに、撮像部１０ｂを制御してもよい。
【0065】
なお、顕微鏡システム３００の制御ブロック（特に処理部２０１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0066】
後者の場合、顕微鏡システム３００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0067】
（プレビュー画像を生成する処理の一例）
図６は、プレビュー画像生成部１におけるプレビュー画像生成処理について説明するための図である。図６の例では、プレビュー画像生成部１は、３つのライブ画像４１～４３から抽出した情報に基づいて、１つのプレビュー画像４４を生成する。実際には、例えば、リアルタイム超解像画像の構築開始タイミングから現時点に至るまでに取得された全てのライブ画像から、１つのプレビュー画像４４が生成される。あるいは、計算負荷を低減するため、上記全てのライブ画像から一部のライブ画像を間引いて、１つのプレビュー画像が生成されてもよい。
図６は、プレビュー画像生成部１におけるプレビュー画像生成処理について説明するための図である。図６の例では、プレビュー画像生成部１は、３つのライブ画像４１～４３から抽出した情報に基づいて、１つのプレビュー画像４４を生成する。実際には、例えば、リアルタイム超解像画像の構築開始タイミングから現時点に至るまでに取得された全てのライブ画像から、１つのプレビュー画像４４が生成される。あるいは、計算負荷を低減するため、上記全てのライブ画像から一部のライブ画像を間引いて、１つのプレビュー画像が生成されてもよい。
【0068】
ライブ画像４１～４３は、撮像部１０ｂによって撮像された蛍光画像である。ライブ画像４１には、２つの輝点（蛍光輝点）４１Ａ・４１Ｂが写っている。同様に、ライブ画像４２・４３のそれぞれにも、２つの輝点が写っている。なお、ライブ画像における各輝点は、顕微鏡装置１００の光学系の影響により、蛍光色素分子の大きさよりも大きく写っている。この点については、後述の図７における各対象画像（対象画像５１～５３）の各輝点についても同様である。
【0069】
まず、プレビュー画像生成部１は、フィルタ処理を行い、各ライブ画像からノイズを除去する。プレビュー画像生成処理についての以下の説明では、特に明示されない限り、ノイズ除去後の各ライブ画像を、単にライブ画像と称する。そして、プレビュー画像生成部１は、各ライブ画像から、所定の閾値以上の輝度を有する輝点を検出（抽出）する。そして、プレビュー画像生成部１は、各ライブ画像における、各輝点の中心位置（重心位置）の座標を特定する。すなわち、プレビュー画像生成部１が抽出する情報は、ライブ画像の輝点に関する情報である。
【0070】
続いて、プレビュー画像生成部１は、各ライブ画像の輝点の抽出結果に基づき、プレビュー画像４４を生成する。具体的には、プレビュー画像生成部１は、各ライブ画像において特定された各輝点の重心位置を、別の画像にマッピングする。この別の画像が、プレビュー画像４４である。
【0071】
より具体的には、プレビュー画像生成部１は、各ライブ画像の各輝点の中心位置と同一の座標に、１画素（１ピクセル）分の大きさの輝点をプロット（描画）した画像を、プレビュー画像４４として生成する。あるいは、プレビュー画像生成部１は、上記座標を中心点として、複数画素分の大きさの輝点を、均一の輝度でプロットしてもよい。図６に示されるように、プレビュー画像４４の６つの輝点はそれぞれ、各ライブ画像の各輝点に１対１に対応する。このように、プレビュー画像４４は、ライブ画像４１～４３から抽出された各輝点（より具体的には、ライブ画像４１～４３の各輝点の位置）を示す画像である。
【0072】
なお、プレビュー画像４４の各輝点は、各ライブ画像の各輝点とは異なり、ぼやけて写っていない。これは、上述のように、プレビュー画像４４の各輝点は、１画素分または複数画素分の大きさとして、均一の輝度でプロットされているためである。
【0073】
例えば、プレビュー画像生成処理では、後述する超解像画像構築処理とは異なり、下記の処理は行わない。
・テンプレートマッチング
・点像分布関数に基づくフィッティングによる輝点の中心位置の特定
・ステージドリフトに対する補正。
それゆえ、プレビュー画像生成処理は、以下に述べる超解像画像構築処理に比べ、処理の工数（ステップ数）が少なく、かつ、各処理の計算負荷が非常に小さい。このため、プレビュー画像生成処理は、超解像画像構築処理に比べて極めて高速である。つまり、プレビュー画像は、超解像画像に比べ、十分に短時間で取得可能である。但し、プレビュー画像生成処理では、超解像画像構築処理に比べ、各輝点の中心位置の検出精度が低い。
・テンプレートマッチング
・点像分布関数に基づくフィッティングによる輝点の中心位置の特定
・ステージドリフトに対する補正。
それゆえ、プレビュー画像生成処理は、以下に述べる超解像画像構築処理に比べ、処理の工数（ステップ数）が少なく、かつ、各処理の計算負荷が非常に小さい。このため、プレビュー画像生成処理は、超解像画像構築処理に比べて極めて高速である。つまり、プレビュー画像は、超解像画像に比べ、十分に短時間で取得可能である。但し、プレビュー画像生成処理では、超解像画像構築処理に比べ、各輝点の中心位置の検出精度が低い。
【0074】
（超解像画像を構築する処理の一例）
図７は、超解像画像構築部２における超解像画像構築処理について説明するための図である。図７は、図６と対になる図である。図７の例では、超解像画像構築部２は、３つの対象画像５１～５３から、１つの超解像画像５４を構築する。実際には、数百～数千枚程度の対象画像から１つの超解像画像５４が生成される。
図７は、超解像画像構築部２における超解像画像構築処理について説明するための図である。図７は、図６と対になる図である。図７の例では、超解像画像構築部２は、３つの対象画像５１～５３から、１つの超解像画像５４を構築する。実際には、数百～数千枚程度の対象画像から１つの超解像画像５４が生成される。
【0075】
但し、超解像画像構築部２は、複数の対象画像の一部から、１つの超解像画像５４を構築することもできる。例えば、超解像画像構築部２は、各対象画像の所定の領域のみに基づいて、各領域に対応する超解像画像５４を構築することもできる。超解像画像構築部２は、対象画像の少なくとも一部から、１つの超解像画像５４を構築すればよい。
【0076】
対象画像５１～５３も、ライブ画像４１～４３と同様に、撮像部１０ｂによって撮像された蛍光画像である。対象画像５１には、２つの輝点（蛍光輝点）５１Ａ・５１Ｂが写っている。同様に、対象画像５２・５３のそれぞれにも、２つの輝点が写っている。なお、図６・図７に示されるように、各対象画像に写っている各輝点の位置は、各ライブ画像に写っている各輝点の位置と概ね同様である。
【0077】
まず、超解像画像構築部２は、バックグラウンド画像情報に基づき、各対象画像からノイズを除去する。超解像画像構築処理についての以下の説明では、特に明示されない限り、ノイズ除去後の各対象画像を、単に対象画像と称する。
【0078】
そして、超解像画像構築部２は、テンプレートマッチングにより、各対象画像から、当該対象画像に写っている輝点を抽出する。続いて、超解像画像構築部２は、各輝点に対して、点像分布関数に基づくフィッティングを行う。このようなフィッティングを行うことにより、各対象画像における輝点の中心位置を、１分子単位で高精度に特定できる。
【0079】
続いて、超解像画像構築部２は、点像分布関数に基づくフィッティング結果に基づき、各輝点が妥当な輝点であるか否かを判定する。具体的には、超解像画像構築部２は、上記フィッティング結果を照合し、各輝点が所定の判定基準を満たすか否かを判定する。超解像画像構築部２は、判定基準を満たす輝点のみを、各対象画像の輝点として特定する。
【0080】
続いて、超解像画像構築部２は、撮像中のステージドリフトに対する補正を行う。その後、超解像画像構築部２は、超解像画像５４を構築（生成）する。具体的には、超解像画像構築部２は、各対象画像の輝点を、点像分布関数に基づいたぼかしをかけながら、別の画像にプロットする。この別の画像が、超解像画像５４である。ぼかしをかけることにより、超解像画像５４における各輝点に、実際の輝点に近しい輝きを持たせることができる。
【0081】
このように、１分子単位の位置精度で輝点の位置が特定された対象画像（蛍光画像）が合成されることにより、解像度の限界を超える超解像画像５４を取得することが可能である。
【0082】
なお、上記の例では、超解像画像構築部２が、各輝点に対してぼかしをかけるように、超解像画像５４における各輝点を描画している場合を説明した。但し、超解像画像構築部２は、各輝点に対してぼかしをかけないように、超解像画像５４における各輝点を描画してもよい。
【0083】
超解像画像のデータは、数千ピクセル四方～数万ピクセル四方程度の解像度を有する。ここで、表示部２１の大きさが大きいほど、超解像画像の表示面積を大きくすることができるので、表示部２１の面積が大きいことが好ましい。特に、第２表示領域３２の面積をなるべく大きくすることが好ましい。
【0084】
超解像画像構築処理は、上述のプレビュー画像生成処理に比べ、処理の工数が多く、かつ、各処理の計算負荷が非常に大きい。このため、超解像画像構築処理は、プレビュー画像生成処理に比べて低速である。但し、超解像画像構築処理では、プレビュー画像生成処理に比べ、各輝点の中心位置の検出精度が高い。
【0085】
以上のことから、超解像画像構築処理には、数十秒～数分程度の比較的長い時間を要する。これに対し、蛍光色素分子が発する蛍光強度は、時間の経過に伴って比較的速やかに低下する。このため、適切な超解像画像を構築するためには、各対象画像を短時間で撮像する必要がある。従って、各対象画像は、試料を短時間で連続的に撮像した連続画像であることが好ましい。
【0086】
以上の通り、プレビュー画像４４および超解像画像５４はいずれも、蛍光画像の各輝点の位置を反映するように生成された画像である。このため、プレビュー画像４４の表示内容は、超解像画像５４の表示内容に概ね近くなる。それゆえ、プレビュー画像４４を、超解像画像５４の表示内容を事前に予測するための擬似的な超解像画像として利用できる。
【0087】
（第１ステージおける処理の流れ）
図８は、第１ステージにおける処理の流れを例示するフローチャートである。
図８は、第１ステージにおける処理の流れを例示するフローチャートである。
【0088】
ステップＳ１では、ユーザによって、試料設置部１１に、試料（すなわち撮像対象物）がセットされる。ステップＳ１の処理を具体的に説明すると、次の通りである。
【0089】
まず、ユーザによって、表示部２１に表示された所定のボタン（例：図５のＢＴ１）が押下された場合、顕微鏡システム３００は第１ステージに移行する。表示制御部３は、ＢＴ１の押下に伴い、表示部２１の表示画面を、基本画面へと変更する。ＢＴ１は、顕微鏡システム３００を第１ステージに移行させるためのボタンであり、例えば「Capture Image」ボタンと称される。
【0090】
また、表示部２１には、移動部２０の位置を変更するためのボタン（カバー開閉ボタン）（図示せず）が表示されている。ユーザによって、カバー開閉ボタンが押下されると、遮光位置に位置していた移動部２０はユーザによって開放位置まで移動させられる。続いて、ユーザは、開放状態となった試料設置部１１に、試料（すなわち撮像対象物）をセットする。セット完了後、ユーザによって、カバー開閉ボタンが再び押下されることで、顕微鏡システム３００は、開放位置に位置していた移動部２０を遮光位置まで移動させる。
【0091】
ステップＳ２・Ｓ３では、撮像部１０ｂによって試料のライブ画像を複数撮像し、当該ライブ画像を第１表示領域３１に表示する。ステップＳ２の処理を具体的に説明すると、次の通りである。なお、表示部２１には、撮像部１０ｂの撮像条件を設定するためのボタン（撮像条件設定ボタン）（図示せず）が表示されているものとする。
【0092】
ステップＳ２では、処理部２０１は、ユーザによる撮像条件設定ボタンの押下に伴い、各種の撮像パラメータを設定する。撮像パラメータは、撮像部１０ｂによる撮像の撮像条件を示す各種のパラメータを意図している。撮像パラメータには、例えば、
・プレビュー画像生成用の光源の条件（光源の種類、出射光の波長、出射光の強度等）、
・撮像範囲（試料の撮像範囲）、
・露光時間（撮像部１０ｂの露光時間）、
・コントラスト（第１表示領域３１に表示されるライブ画像のコントラスト）、
・表示スケール（第１表示領域３１の表示スケール）、
・試料設置部１１（ステージ１１ａ）の位置（換言すれば移動量）、
・超解像画像構築用の光源の条件（光源の種類、出射光の波長、出射光の強度、撮像する対象画像のフレーム数（枚数）等）、
・視野（撮像時の視野）、
が含まれる。但し、撮像パラメータは上記の例に限定されず、その他の撮像パラメータが設けられてもよい。表示部２１には、ユーザに撮像条件を設定させるためのダイアログ画面が表示されてよい。
・プレビュー画像生成用の光源の条件（光源の種類、出射光の波長、出射光の強度等）、
・撮像範囲（試料の撮像範囲）、
・露光時間（撮像部１０ｂの露光時間）、
・コントラスト（第１表示領域３１に表示されるライブ画像のコントラスト）、
・表示スケール（第１表示領域３１の表示スケール）、
・試料設置部１１（ステージ１１ａ）の位置（換言すれば移動量）、
・超解像画像構築用の光源の条件（光源の種類、出射光の波長、出射光の強度、撮像する対象画像のフレーム数（枚数）等）、
・視野（撮像時の視野）、
が含まれる。但し、撮像パラメータは上記の例に限定されず、その他の撮像パラメータが設けられてもよい。表示部２１には、ユーザに撮像条件を設定させるためのダイアログ画面が表示されてよい。
【0093】
撮像条件の設定後、ユーザによって、表示部２１に表示された所定のボタン（例：図５のＢＴ４）が押下されると、撮像部１０ｂは撮像を行う。ＢＴ４は、撮像部１０ｂによる撮像を開始する指示の入力を受け付けるためのボタンであり、例えば「撮像」ボタンと称される。ＢＴ４の押下に伴い、撮像部１０ｂは、撮像パラメータによって指定されたプレビュー画像生成用の光源を用いて、ライブ画像を撮像する。プレビュー画像生成用の光源としては、レーザ素子が用いられる。レーザ素子を光源として用いることで、蛍光画像としてのライブ画像を取得できる。そして、ステップＳ３では、表示制御部３は、撮像部１０ｂによって撮像されたライブ画像を、第１表示領域３１に表示させる。
【0094】
なお、ユーザは、撮像条件の事前検討のために、ライブ画像の確認に先立ち、明視野画像を確認することを所望する場合がある。このような場合、ＬＥＤ素子を光源として用いることで、撮像部１０ｂに明視野画像を撮像させることができる。そして、撮像部１０ｂによって撮像された明視野画像を、第１表示領域３１に表示させればよい。
【0095】
ステップＳ４では、プレビュー画像生成部１は、ライブ画像からプレビュー画像を生成する。プレビュー画像生成部１は、ユーザが表示部２１に表示された所定のボタン（例：図５のＢＴ３）を押下したことを契機として、プレビュー画像生成部１にプレビュー画像の生成を開始する。ＢＴ３は、プレビュー画像生成部１にプレビュー画像の生成を許可するためのボタンであり、例えば「Realtime」ボタンと称される。ＢＴ４の押下に伴い、各ライブ画像の輝点の抽出が開始される。そして、プレビュー画像生成部１は、各ライブ画像の各輝点の抽出結果に基づき、プレビュー画像を生成する。
【0096】
ステップＳ５では、表示制御部３は、プレビュー画像生成部１によって生成されたプレビュー画像を、第２表示領域３２に表示させる。ステップＳ４の時点で、ユーザにプレビュー画像を参照させることができる。よって、ユーザは第２ステージにおいて構築される超解像画像の表示内容を予測できる。ステップＳ５において、第２表示領域３２に表示されたプレビュー画像をユーザに参照させることにより、当該プレビュー画像に問題がないか否か（すなわち、当該プレビュー画像が目的とする画像であるか否か）をユーザに判断させることができる。
【0097】
ステップＳ６では、プレビュー画像に問題があるか否かを判断したユーザによる操作を受け付ける。プレビュー画像に問題が無い（すなわち、プレビュー画像が目的とする画像である）と判断したユーザによる所定の入力（例えば、「問題無し」ボタンの押下など）が行われた場合（ステップＳ６でＹＥＳ）、ステップＳ６に進む。他方、プレビュー画像に問題がある（すなわち、プレビュー画像が目的とする画像ではない）と判断したユーザによる所定の入力（例えば、「問題有り」ボタンの押下など）が行われた場合（ステップＳ６でＮＯ）、ステップＳ２に戻り、同様の処理を繰り返す。これにより、適切なプレビュー画像が撮像されるまで、視野、および撮像する試料の範囲、露光時間、撮像のための光源の種類などの撮像条件を繰り返し再設定できる。
【0098】
このように、第２ステージに先立ち、第１ステージの時点でユーザにプレビュー画像を確認させることにより、当該第２ステージにおいて不適切な超解像画像が構築されてしまう可能性を低減できる。従って、対象画像の撮像および超解像画像の構築をやり直す必要が生じる可能性を低下できるので、従来よりも効率的に超解像画像を取得できる。すなわち、超解像画像の取得時間を従来よりも低減することが可能となる。
【0099】
ステップＳ７では、プレビュー画像に問題がないことが確認された後に、撮像条件（各撮像パラメータ）が再設定される。具体的には、ステップＳ６において、プレビュー画像に問題がないことが確認された場合に、ステップＳ７において、対象画像の撮像に適するように、撮像条件が再設定される。処理部２０１は、ユーザによる撮像条件設定ボタンの押下に伴い、撮像条件を再設定する。なお、プレビュー画像を取得するためにステップＳ２の時点で設定された撮像条件を変更せずに、対象画像を取得するための撮像条件として用いる場合には、ステップＳ７を省略できる。
【0100】
ステップＳ８では、再設定された撮像条件下で、対象画像の撮像が実行される。具体的には、撮像部１０ｂは、ユーザによるＢＴ４の押下に伴い、複数の対象画像を撮像する。このように、第１ステージでは、プレビュー画像に基づいて、対象画像の撮像（超解像画像を構築するための撮像）を行う否かの指示を入力する工程が含まれる。撮像部１０ｂは、蛍光色素が明滅している状態において、試料の画像を連続的に撮像する。以下では、連続的に撮像された試料の画像を「連続画像」と記す。この場合、各対象画像は、連続画像を構成する各フレーム（画像フレーム）である。蛍光色素が明滅する時間間隔は、数ミリ秒～数十ミリ秒であるため、連続画像の撮像間隔を、３０ミリ秒～１００ミリ秒に設定すればよい。ある１つの蛍光色素分子が発する蛍光を最低１度撮像できればよい。
【0101】
ステップＳ９では、撮像部１０ｂは、撮像した対象画像（より厳密には、対象画像のデータ）を記憶部２０２に保存する。
【0102】
ステップＳ１０では、超解像画像を構築するか否か（第２ステージに進むか否か）をユーザに判断させる。ユーザが第２ステージに進むことを希望した場合、当該ユーザによって、表示部２１に表示された所定のボタン（例：図５のＢＴ２）が押下され（ステップＳ１０でＹＥＳ）、顕微鏡システム３００は、超解像画像を構築するための一連の処理を開始する。すなわち、ステップＳ１１に進む。ステップＳ１１は、第２ステージの各処理を総称的に示す。ステップＳ１１の具体的な処理の内容については、後述する（図１０を参照）。ＢＴ２は、顕微鏡システム３００を第１ステージから第２ステージへと移行させるためのボタンであり、例えば「Process Image」ボタンと称される。
【0103】
他方、ユーザが第２ステージに進むことを希望しなかった場合、当該ユーザはＢＴ２を押下しない。この場合、第２ステージに進むことなく、当該ユーザの所定の操作に応じて（ステップＳ１０でＮＯ）、第１ステージの処理が終了する。例えば、ユーザによって、カバー開閉ボタンが再び押下された場合、顕微鏡システム３００は、遮光位置に位置していた移動部２０を開放位置まで移動させる。そして、ユーザは、開放状態となった試料設置部１１から試料を取り除く。これにより、第１ステージの処理が終了する。
【0104】
（第２ステージおける処理の流れ）
図９は、第２ステージにおける表示部２１のレイアウトの一例を示す図である。図９に示すように、第２ステージにおける表示部２１の表示画面は、第１ステージにおける表示画面と同様に、第１表示領域３１および第２表示領域３２を備えている。第２ステージにおける表示画面は、第１ステージにおける表示画面とは、異なる各種のボタンが表示されている。
図９は、第２ステージにおける表示部２１のレイアウトの一例を示す図である。図９に示すように、第２ステージにおける表示部２１の表示画面は、第１ステージにおける表示画面と同様に、第１表示領域３１および第２表示領域３２を備えている。第２ステージにおける表示画面は、第１ステージにおける表示画面とは、異なる各種のボタンが表示されている。
【0105】
図１０は、第２ステージにおける処理の流れを例示するフローチャートである。図１０は、図８のステップＳ１０の処理の内容をより具体的に示す。なお、ステップＳ２１に先立ち、表示制御部３は、ユーザによるＢ２の押下（図８のステップＳ９）に伴い、表示部２１の表示画面を、超解像画像を構築するための解析画面へと変更する。
【0106】
ステップＳ２１では、超解像画像構築部２は、記憶部２０２に保存されている対象画像を読み込む。
【0107】
ステップＳ２２では、表示制御部３は、記憶部２０２から読み出された対象画像を、第１表示領域３１に表示させる。一例として、表示制御部３は、ユーザによる所定のボタン（例：図９のＢＴ５）の操作に伴い、複数の対象画像のうち所定の１つの対象画像を、第１表示領域３１に表示させる。ユーザによってＢＴ５が操作されることにより、表示対象とする連続画像のフレーム番号が指定され、指定されたフレーム番号を処理部２０１が受け付けることができる。例えば、ＢＴ５には、連続画像を構成する各フレームを自動的に順次表示させるためのスライダーバー（ＳＬ）が含まれている。ユーザは、ＳＬをスライドさせることにより、表示対象とする初期フレーム番号を指定できる。
【0108】
あるいは、処理部２０１は、ユーザから、連続画像に含まれる複数の画像フレームを指定した情報を受け付けることもできる。この場合、処理部２０１は、指定された複数の画像フレームに対し平均化処理を施し、平均化画像を生成してもよい。表示制御部３は、当該平均化画像を、第１表示領域３１に表示させてもよい。平均化画像を表示することは一例に過ぎず、表示制御部３は、複数の対象画像を合成することで得られた合成画像を第１表示領域３１に表示させてもよい。
【0109】
なお、第２ステージにおいて、表示部２１には、超解像画像の構築条件（超解像画像を構築するための処理条件）を設定するためのボタン（構築条件設定ボタン）（図示せず）が表示されているものとする。従って、ステップＳ２２において、ユーザに構築条件を設定させることができる。処理部２０１は、ユーザによる構築条件設定ボタンの押下に伴い、各種の構築パラメータを設定する。構築パラメータには、例えば、
・構築範囲（各対象画像における、超解像画像を構築する対象となる範囲（領域））、
・フレーム番号（超解像画像を構築する対象となるフレーム番号の範囲）
が含まれる。但し、構築パラメータは上記の例に限定されず、その他の構築パラメータが設けられてもよい。表示部２１には、ユーザに構築条件を設定させるためのダイアログ画面が表示されてよい。
・構築範囲（各対象画像における、超解像画像を構築する対象となる範囲（領域））、
・フレーム番号（超解像画像を構築する対象となるフレーム番号の範囲）
が含まれる。但し、構築パラメータは上記の例に限定されず、その他の構築パラメータが設けられてもよい。表示部２１には、ユーザに構築条件を設定させるためのダイアログ画面が表示されてよい。
【0110】
このように、第１表示領域３１には、複数の対象画像の少なくとも一部が表示されればよい。あるいは、第１表示領域３１には、複数の対象画像を合成することで得られた合成画像が表示されてもよい。上述の平均化処理は、合成処理の一例である。すなわち、上述の平均化画像は、合成画像の一例である。
【0111】
ステップＳ２３では、ユーザは、第１表示領域３１に表示された対象画像を参照し、当該対象画像に問題がないか否かを判断する。ユーザによって対象画像に問題がないと判断され、当該ユーザによる所定の入力（例えば、「問題無し」ボタンの押下など）が行われた場合（ステップＳ２３でＹＥＳ）、ステップＳ２４に進む。他方、ユーザによって対象画像に問題があると判断され、当該ユーザによる所定の入力（例えば、「問題有り」ボタンの押下など）が行われた場合（ステップＳ２３でＮＯ）、ステップＳ２２に戻り、同様の処理が繰り返される。これにより、適切な対象画像が表示されるまで、構築条件を繰り返し再設定できる。
【0112】
ステップＳ２３において第１表示領域３１に表示されている対象画像は、後のステップＳ２５において構築される超解像画像の表示内容を、大まかに予測するための画像であると言える。このため、超解像画像の構築に先立ち、ユーザに対象画像を確認させることにより、ステップＳ２５において不適切な超解像画像が構築されてしまう可能性を低減できる。従って、超解像画像の構築をやり直す必要が生じる可能性を低下できるので、従来よりも効率的に超解像画像を取得できる。この点からも、超解像画像の取得時間を従来よりも低減することが可能となる。
【0113】
なお、第１表示領域３１に、対象画像の一部、または、合成画像を表示させた場合でああっても、ユーザに対象画像に問題がないか否かの判断を行わせることができる。対象画像の一部および合成画像はいずれも、対象画像と近い表示内容を含んでいるためである。
【0114】
ユーザにより対象画像に問題がないことが確認された後（ステップＳ２３でＹＥＳ）、ステップＳ２４では、構築条件（各構築パラメータ）が再設定される。具体的には、ステップＳ２４では、超解像画像の構築に適するように、構築条件が再設定される。処理部２０１は、ユーザによる構築条件設定ボタンの押下に伴い、構築条件を再設定する。なお、ステップＳ２２の時点で設定された構築条件を変更する必要がない場合には、ステップＳ２４を省略できる。
【0115】
ステップＳ２５では、再設定された構築条件下で、超解像画像構築処理が実行される。具体的には、超解像画像構築部２は、ユーザによる所定のボタン（例：図８のＢＴ６）の操作に伴い、超解像画像構築処理を開始する。ＢＴ６は、超解像画像構築部２に超解像画像構築処理を開始させるためのボタンであり、例えば「解析」ボタンと称される。
【0116】
ステップＳ２６では、表示制御部３は、超解像画像構築部２によって生成された超解像画像を、第２表示領域３２に表示させる。
【0117】
ステップＳ２７では、ユーザは、第２表示領域３２に表示された超解像画像を参照し、当該超解像画像に問題がないか否かを判断する。より具体的には、ユーザは、当該超解像画像を参照し、対象画像を変更する必要があるか否かを判断する。ユーザによって対象画像を変更する必要がないと判断され、当該ユーザによる所定の入力（例えば、「対象画像の変更不要」ボタンの押下など）が行われた場合（ステップＳ２７でＮＯ）、第２ステージの処理が終了する。他方、ユーザによって対象画像を変更する必要があると判断され、当該ユーザによる所定の入力（例えば、「対象画像の変更要」ボタンの押下など）が行われた場合（ステップＳ２７でＹＥＳ）、ステップＳ２１に戻り、同様の処理が繰り返される。これにより、適切な超解像画像が構築されるまで、対象画像の選択および構築条件の設定を繰り返し行うことができる。
【0118】
〔変形例〕
図１１は、顕微鏡システム３００の一変形例を示す機能ブロック図である。図１１の顕微鏡システムを顕微鏡システム３００Ｖと称する。顕微鏡システム３００Ｖは、顕微鏡装置１００Ｖを備えている。顕微鏡システム３００Ｖでは、顕微鏡システム３００とは異なり、顕微鏡装置１００Ｖと表示部２１とが別体（別の装置）として設けられている。つまり、顕微鏡装置１００Ｖは、顕微鏡装置１００とは異なり、表示部２１を有していない。顕微鏡装置１００Ｖは、表示部２１と通信可能に接続されている。このように、本発明の顕微鏡システムにおいて、顕微鏡装置１００に表示部２１が一体として設けられている必要はない。
図１１は、顕微鏡システム３００の一変形例を示す機能ブロック図である。図１１の顕微鏡システムを顕微鏡システム３００Ｖと称する。顕微鏡システム３００Ｖは、顕微鏡装置１００Ｖを備えている。顕微鏡システム３００Ｖでは、顕微鏡システム３００とは異なり、顕微鏡装置１００Ｖと表示部２１とが別体（別の装置）として設けられている。つまり、顕微鏡装置１００Ｖは、顕微鏡装置１００とは異なり、表示部２１を有していない。顕微鏡装置１００Ｖは、表示部２１と通信可能に接続されている。このように、本発明の顕微鏡システムにおいて、顕微鏡装置１００に表示部２１が一体として設けられている必要はない。
【0119】
〔実施形態２〕
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0120】
図１２は、顕微鏡システム３００における別の処理の流れを示すフローチャートである。図１１に示すように、顕微鏡システム３００では、通常撮像モード、広視野蛍光イメージングモードおよび複数視野撮像モードの３つのモードを選択可能としてもよい。この場合、処理部２０１は、どのモードで撮像するかについてのユーザからの指示を、入力部２０４を介して受け付ける（ステップＳ３０）。
【0121】
通常撮像モードが選択された場合、ユーザからの指示に基づいて設定された領域を１視野として超解像画像取得のための撮像が行われる（ステップＳ７０）。
【0122】
図１３は、広視野蛍光イメージングモードにおける処理の流れの一例を示すフローチャートである。図１２のステップＳ３０において広視野蛍光イメージングモードが選択された場合、図１３の一連の処理が行われる（図１２のステップＳ４０）。
【0123】
広視野蛍光イメージングモードは、通常の顕微鏡で搭載されているズーム機能を複数視野撮像することで実現する機能である。図１２に示すように、広視野蛍光イメージングモードでは、制御装置２００は、ユーザが決定した視野数の入力を受け付ける（ステップＳ４１）。視野数として、例えば、１０×１０、５×５、２×２、１等を設定することができる。視野数が増えるほど、撮像できる範囲が拡大される。
【0124】
ユーザからの撮像開始指示の入力を受け付けると（ステップＳ４２）、撮像制御部４は、ステージ１１ａを移動させることによって、設定された各位置に視野を移動させながら、撮像部１０ｂを制御することによって蛍光画像を撮像する（ステップＳ４３）。すなわち、撮像制御部４は、撮像部１０ｂの撮像位置を移動させながら所定の数の蛍光画像を撮像する。表示制御部３は、各視野における所定の数の蛍光画像を用いて、広視野の蛍光画像を生成する。
【0125】
図１４は、視野の移動方法の一例を示す図である。図１４の（ａ）および（ｂ）では、５×５に設定された視野を移動する場合の例を示している。図１４の（ａ）に示すように、横方向に視野を移動させてもよい。図１４の（ｂ）に示すように、縦方向に視野を移動させてもよい。視野の移動順序は、これらの例に限定されず、任意である。例えば、円状に視野を移動させてもよいし、各視野を飛び飛びに移動させてもよい。
【0126】
撮像が終了すると、表示制御部３は、各視野のプレビュー画像を繋ぎ合わせた広視野の蛍光画像を表示部２１に表示する（ステップＳ４４）。
【0127】
図１５は、複数視野のプレビュー画像が表示される画面の一例を示す図である。図１５に示すように、広視野の蛍光画像は、ポップアップ領域３１０に表示される。図１５では、視野が５×５の場合の例を示している。各視野の蛍光画像３１０ａには、連番が表示されてもよい。当該連番の表示は、表示と非表示とを切り替え可能であってもよい。ユーザから各視野の蛍光画像３１０ａを指定した情報を受け付けることにより、表示制御部３は、当該蛍光画像３１０ａを拡大表示する。例えば、ユーザがダブルクリックすることにより当該蛍光画像３１０ａが拡大表示される。なお、広視野の蛍光画像を、ポップアップ領域３１０および第１表示領域３１の両方に表示させてもよい。あるいは、広視野の蛍光画像を、第１表示領域３１のみに表示させてもよい。
【0128】
ステップＳ４５では、処理部２０１は、広視野の蛍光画像上で、超解像画像構築のための撮像（以下、超解像撮像と略称する）を行う視野の指定を受け付ける。視野の指定を受け付けることにより、超解像撮像によって撮像される領域が指定される。具体的には、表示制御部３は、視野の指定の入力を受け付けるためのＧＵＩを表示部２１に表示させる。このＧＵＩには、蛍光画像３１０ａが含まれている。例えば、ステップＳ４５において、ユーザは、複数の視野のうち、超解像撮像を行う視野に対応する蛍光画像３１０ａをクリックすることによって、所望の視野を指定することができる。なお、ステップＳ４５において、超解像画像構築の対象としない視野の指定を受け付ける構成であってもよい。
【0129】
ユーザから、超解像撮像を行う領域を示す情報を受け付けた後、撮像開始指示を受け付けると（ステップＳ４６）、撮像制御部４は、設定された各位置に視野を移動させながら、撮像部１０ｂを制御することによって超解像撮像を行う（ステップＳ４７）。
【0130】
表示制御部３は、超解像撮像によって得られた画像を記憶部２０２に保存する。表示制御部３は、当該画像を例えばポップアップ領域３１０に表示させてもよい（ステップＳ４８）。
【0131】
このように、複数の視野のうち、超解像画像の構築に適した視野についてのみ超解像撮像を行うことにより、撮像時間を低減できる。加えて、その後の超解像画像構築の処理時間を低減することもできる。
【0132】
図１６は、複数視野撮像モードにおける処理の流れの一例を示すフローチャートである。図１２のステップＳ３０において複数視野撮像モードが選択された場合、図１６の一連の処理が行われる（図１２のステップＳ５０）。
【0133】
複数視野撮像モードは、あらかじめ指定した範囲について連続で各視野でのタイリング用画像のための撮像と超解像撮像とを実行するためのモードである。ユーザは、ステージ１１ａを動かす回数や間隔、移動方向と超解像撮像の実行条件などを設定することで、複数視野での撮像を自動実行することができる。
【0134】
図１６に示すように、複数視野撮像モードでは、まず、ユーザは、視野に関する条件を設定する（ステップＳ５１）。撮像制御部４は、設定された条件を示す情報を受け付ける。当該条件には、ステージ１１ａの移動方向および移動回数（視野数）、後述する蛍光強度閾値等が含まれる。ステージ１１ａの移動方向については、図１４に示したものがその一例として挙げられる。
【0135】
ユーザからの撮像開始指示の入力を受け付けると（ステップＳ５２）、撮像制御部４は、ステージ１１ａを移動させることによって、設定された各位置に視野を移動させながら、撮像部１０ｂを制御することによって蛍光画像を撮像する（ステップＳ５３）。
【0136】
このとき、撮像制御部４は、撮像した蛍光画像中の蛍光強度の最大値と蛍光強度閾値とを比較する（ステップＳ５４）。例えば、撮像制御部４は、所定の数の蛍光画像のそれぞれについて、蛍光強度の最大値を求め、求めた最大値を平均することで、蛍光強度閾値と比較する最大値を算出してもよい。蛍光画像中の蛍光強度の最大値が、蛍光強度閾値より大きい場合（ステップＳ５４でＹＥＳ）、撮像制御部４は、当該視野に対し超解像撮像を実行する（ステップＳ５５）。すなわち、撮像制御部４は、撮像部１０ｂの撮像視野を移しながら各視野で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像視野において、超解像画像を構築するための複数の画像を撮像する。超解像撮像が完了すると、撮像制御部４は、撮像対象となる視野を次の視野に移動させる（ステップＳ５６）。そして、撮像制御部４は、撮像対象となる視野が、最後の視野か否かを判定する（ステップＳ５８）。
【0137】
一方、蛍光画像中の蛍光強度の最大値が、蛍光強度閾値以下の場合（ステップＳ５４でＮＯ）、撮像制御部４は、当該視野に対し超解像撮像を実行することなく、次の視野に移動する（ステップＳ５７）。
【0138】
このようにして設定された全ての視野について、ユーザにより超解像撮像の適否が判定された後（ステップＳ５８でＹＥＳ）、表示制御部３は、超解像撮像によって得られた画像を記憶部２０２に保存する。表示制御部３は、当該画像を例えばポップアップ領域３１０に表示させてもよい（ステップＳ５９）。
【0139】
このように、複数の視野のうち、蛍光画像中の蛍光強度の最大値が、蛍光強度閾値よりも大きい視野についてのみ超解像撮像を行うことにより、撮像時間を低減できる。加えて、その後の超解像画像構築の処理時間を低減することもできる。
【0140】
なお、ユーザは、通常モードにおいてプレビュー画像を確認することによって、当該試料を超解像撮像の対象とするかどうかについて判断した後、広視野蛍光イメージングモードまたは複数視野撮像モード、若しくはその両方を実行してもよい。このようにすることで、超解像撮像の対象とする試料および視野をより効率的に特定することができる。
【0141】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0142】
〔その他の態様１〕
本発明には、以下の態様も含まれる。
本発明には、以下の態様も含まれる。
【0143】
上記の課題を解決するために、本発明の一態様に係る顕微鏡システム（３００）の制御方法は、撮像部（１０ｂ）と、第１表示領域（３１）および第２表示領域（３２）を有する表示部（２１）と、備える顕微鏡システム（３００）の制御方法であって、撮像部（１０ｂ）により順次撮像された複数の第１の画像を順次第１表示領域（３１）に表示する工程（ステップＳ２）と、順次撮像された複数の第１の画像から抽出した情報に基づいて生成された第２の画像を第２表示領域（３２）に表示する工程（ステップＳ４）と、を含む。
【0144】
ここで、「第１の画像」とは、第２の画像を生成するステージ（第１ステージ）において、撮像部（１０ｂ）によってリアルタイムで撮像された画像を意図している。「第１の画像」は、「ライブ画像」とも称される。また、「第２の画像」とは、超解像画像が構築される前に、当該超解像画像に含まれる領域、および当該超解像画像の構図などを顕微鏡システム（３００）のユーザに確認させるための画像を意図している。このことから、「第２の画像」は、「プレビュー画像」とも称される。
【0145】
上記の構成によれば、第２の画像（プレビュー画像）を第２表示領域（３２）に表示させることにより、顕微鏡システム（３００）のユーザに、超解像画像の表示内容を大まかに予測させることができる。すなわち、現時点の撮像条件が超解像画像の構築に適しているかを、当該超解像画像を構築する前に確認できる。それゆえ、従来に比べ、所望の超解像画像の取得をより容易化することができる。さらに、超解像画像の取得時間を低減できるという効果も奏する。
【0146】
また、顕微鏡システム（３００）の制御方法は、超解像画像を構築するための複数の第３の画像を撮像部（１０ｂ）により順次撮像する工程をさらに含んでいてもよい。
【0147】
「第３の画像」とは、超解像画像を構築するステージ（第２ステージ）において、撮像部（１０ｂ）により撮像された画像のうち、当該超解像画像を構築する対象となる画像を意図している。「第３の画像」は、「対象画像」とも称される。
【0148】
上記の構成により、超解像画像を構築するための第３の画像を撮像できる。
【0149】
また、顕微鏡システム（３００）の制御方法は、複数の第１の画像に対し第１の処理を行い第２の画像を生成する工程と、複数の第３の画像に対し第１の処理とは異なる第２の処理を行い超解像画像の構築を行う工程と、をさらに含んでいてもよい。
【0150】
また、顕微鏡システム（３００）の制御方法では、第２の処理において、テンプレートマッチングにより複数の第１の画像から輝点を抽出する処理を行い、第１の処理において、テンプレートマッチングを行わなくてもよい。
【0151】
また、顕微鏡システム（３００）の制御方法では、第２の処理において、抽出した輝点に対し点像分布関数に基づくフィッティングにより輝点の中心位置を特定し、第１の処理において、点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わなくてもよい。
【0152】
また、顕微鏡システム（３００）の制御方法では、第２の処理において、撮像中のステージドリフトに対する補正を行い、第１の処理において、ステージドリフトに対する補正を行わなくてもよい。
【0153】
上記の構成により、複数の第３の画像から好適に超解像画像を構築することができる。
【0154】
また、顕微鏡システム（３００）の制御方法では、前記第２の画像は、超解像画像を簡易的に模したプレビュー画像であってもよい。
【0155】
上記の構成によれば、プレビュー画像を第２表示領域（３２）に表示させることにより、顕微鏡システム（３００）のユーザに、超解像画像の表示内容を大まかに予測させることができる。
【0156】
また、顕微鏡システム（３００）の制御方法は、第２の画像を第２表示領域（３２）に表示した後、第１の撮像条件を変更する入力を受け付ける工程（ステップＳ６）をさらに含んでいてもよい。
【0157】
また、顕微鏡システム（３００）の制御方法は、第１の撮像条件を変更する入力を受け付けた後、当該変更された第１の撮像条件を用いて第１の画像の撮像を行う構成であってもよい。
【0158】
また、顕微鏡システム（３００）の制御方法は、第２の画像を第２表示領域（３２）に表示した後、超解像画像を構築するために第３の画像の撮像を行う指示を受け付ける工程（ステップＳ９）をさらに含んでいてもよい。
【0159】
第１の画像から抽出された輝点を示す第２の画像を生成し、疑似的な超解像画像として表示することにより、実際に超解像画像を構築しなくとも、撮像対象や、その時点の撮像位置が適切かどうかをユーザに判断させることができる。撮像対象および撮像位置が適切であるとユーザが判断した後に、超解像画像を構築するための撮像を行うことにより、不適切な画像を用いて超解像画像の構築が行われることを防止することができる。
【0160】
顕微鏡システム（３００）の制御方法は、前記指示を受け付けた後、第３の画像の撮像に第１の撮像条件と一緒に用いる第２の撮像条件の入力を受け付ける工程（ステップＳ６）をさらに含んでいてもよい。
【0161】
また、顕微鏡システム（３００）の制御方法では、撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類を含んでいてもよい。
【0162】
第３の画像を撮像する撮像条件を適切に設定することにより、超解像画像を構築するための画像として好適な画像を撮像できる。
【0163】
また、顕微鏡システム（３００）の制御方法では、第２の撮像条件は、複数の第３の画像の数を含んでいてもよい。
【0164】
また、顕微鏡システム（３００）の制御方法では、第１の画像は、蛍光画像であり、第１の画像から抽出した情報は、第１の画像の輝点に関する情報であってもよい。
【0165】
上記の構成により、超解像画像を模した画像をプレビュー画像として生成することができる。
【0166】
また、顕微鏡システム（３００）の制御方法では、前記撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類、または撮像する第３の画像の数を含んでいてもよい。
【0167】
また、顕微鏡システム（３００）の制御方法では、複数の第３の画像は、試料を連続的に撮像した連続画像であってもよい。
【0168】
試料を連続的に撮像した連続画像を用いることにより、蛍光が明滅する試料の超解像画像を好適に構築することができる。
【0169】
また、顕微鏡システム（３００）の制御方法は、超解像画像を構築するための処理条件として、前記第３の画像における構築対象となる領域を指定する情報、および前記複数の第３の画像のうちの構築対象となる画像を特定する情報の少なくとも一方の入力を受け付ける工程（ステップＳ２４）をさらに含んでいてもよい。
【0170】
上記の構成により、撮像された複数の第３の画像から、超解像画像の構築に用いるに適した画像またはその領域を絞り込むことができ、超解像画像の構築に要する時間を短縮することができる。
【0171】
また、顕微鏡システム（３００）の制御方法は、撮像された複数の第３の画像の少なくとも一部、または複数の第３の画像を合成することで得られた合成画像を表示部（２１）に表示する工程（ステップＳ２１）と、複数の第３の画像の少なくとも一部を用いて超解像画像を構築する工程（ステップＳ２５）と、構築された超解像画像を表示部（２１）に表示する工程（ステップＳ２６）とをさらに含んでいてもよい。
【0172】
撮像された複数の第３の画像の少なくとも一部、または複数の第３の画像を合成することで得られた合成画像を表示部（２１）に表示することにより、撮像された第３の画像が、超解像画像を構築するための画像として適切であるかどうかをユーザに確認させることができる。このユーザによる確認を踏まえて超解像画像の構築が行われるため、不適切な画像を用いて超解像画像の構築が行われることを防止することができる。
【0173】
また、顕微鏡システム（３００）の制御方法は、撮像部（１０ｂ）が撮像する試料の範囲を変化させながら複数の第１の画像を取得する工程（ステップＳ４３）をさらに含んでいてもよい。
【0174】
また、顕微鏡システム（３００）の制御方法は、撮像する試料の範囲を変化させながら複数の撮像位置で撮像した複数の蛍光画像を繋ぎ合わせた広視野の蛍光画像を表示部（２１）に表示する工程（ステップＳ４４）をさらに含んでいてもよい。広視野の蛍光画像は、第１表示領域（３１）に表示されてもよいし、ポップアップ画面（３１０）として表示されてもよいし、その両方が行われてもよい。
【0175】
上記の構成によれば、撮像位置を変化させながら複数の第１の画像を撮像することにより、広視野の画像を取得することができる。このように取得した複数の第１の画像を繋ぎ合わせた画像を表示することにより、広視野の撮像画像をユーザに示すことができる。
【0176】
また、顕微鏡システム（３００）の制御方法において、前記第３の画像は、蛍光画像であり、撮像部（１０ｂ）の撮像位置を変化させながら各撮像位置で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において前記複数の第３の画像を撮像してもよい。
【0177】
上記の構成により、所定の閾値以下の蛍光強度を有する画像が超解像画像の構築に用いられることがなくなり、超解像画像の構築に要する時間を短縮することができる。
【0178】
また、本発明の他の態様に係る顕微鏡システム（３００）は、撮像部（１０ｂ）と、第１表示領域（３１）および第２表示領域（３２）を有する表示部（２１）とを備える顕微鏡システムであって、表示部（２１）は、撮像部（１０ｂ）により順次撮像された複数の第１の画像を順次第１表示領域（３１）に表示し、順次撮像された複数の第１の画像から抽出した情報に基づいて生成された第２の画像を第２表示領域（３２）に表示する。
【0179】
当該顕微鏡システム（３００）によっても、第２の画像（プレビュー画像）を第２表示領域（３２）に表示させることにより、ユーザに、超解像画像の表示内容を大まかに予測させることができる。それゆえ、所望の超解像画像の取得をより容易化することができる。
【0180】
また、顕微鏡システム（３００）では、撮像部（１０ｂ）は、超解像画像を構築するための複数の第３の画像を順次撮像してもよい。
【0181】
また、顕微鏡システム（３００）では、制御装置（２００）をさらに備え、制御装置（２００）は、複数の前記第１の画像に対し第１の処理を行い第２の画像を生成し、複数の第３の画像に対し前記第１の処理とは異なる第２の処理を行い超解像画像の構築を行ってもよい。
【0182】
また、顕微鏡システム（３００）では、制御装置（２００）は、第２の処理において、テンプレートマッチングにより複数の前記第１の画像から輝点を抽出する処理を行い、第１の処理において、前記テンプレートマッチングを行わなくてもよい。
【0183】
また、顕微鏡システム（３００）では、制御装置（２００）は、第２の処理において、抽出した輝点に対し点像分布関数に基づくフィッティングにより輝点の中心位置を特定し、第１の処理において、点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わなくてもよい。
【0184】
また、顕微鏡システム（３００）では、制御装置（２００）は、第２の処理において、撮像中のステージドリフトに対する補正を行い、第１の処理において、ステージドリフトに対する補正を行わなくてもよい。
【0185】
上記の構成により、複数の第３の画像から好適に超解像画像を構築することができる。
【0186】
また、顕微鏡システム（３００）では、第２の画像は、超解像画像を簡易的に模したプレビュー画像であってもよい。
【0187】
上記の構成によれば、プレビュー画像を第２表示領域（３２）に表示させることにより、顕微鏡システム（３００）のユーザに、超解像画像の表示内容を大まかに予測させることができる。
【0188】
また、本発明の他の態様に係るプログラムは、顕微鏡システム（３００）に用いられるコンピュータ用のプログラムであって、撮像部（１０ｂ）により順次撮像された複数の第１の画像を表示部（２１）の第１表示領域（３１）に順次表示する工程（ステップＳ２１）と、順次撮像された複数の第１の画像から抽出した情報に基づいて生成された第２の画像を表示部（２１）の第２表示領域に表示する工程（ステップＳ２５）と、をコンピュータに実行させるプログラムである。
【0189】
また、上記プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の技術的範囲に含まれる。
【0190】
また、本発明の他の態様に係る顕微鏡システム（３００）の制御方法は、撮像部および表示部を備える顕微鏡システムの制御方法であって、撮像部（１０ｂ）により順次撮像された複数の第１の画像を表示部（２１）に順次表示する工程と、順次撮像された複数の第１の画像から抽出した情報に基づいて生成された第２の画像を表示部（２１）に表示する工程と、撮像部（１０ｂ）により順次撮像された複数の第３の画像に基づいて構築された超解像画像を表示部（２１）に表示する工程と、を含む。
【0191】
また、本発明の他の態様に係る顕微鏡システム（３００）は、撮像部（１０ｂ）および表示部（２１）を備える顕微鏡システムであって、表示部（２１）は、第１表示領域（３１）および第２表示領域（３２）を備え、撮像部（１０ｂ）により順次撮像された複数の第１の画像を順次第１表示領域（３１）に表示し、順次撮像された複数の第１の画像から抽出した情報に基づいて生成された第２の画像を第２表示領域（３２）に表示し、撮像部（１０ｂ）により順次撮像された複数の第３の画像に基づいて構築された超解像画像を表示する。
【0192】
上記の構成によれば、第２の画像（プレビュー画像）を第２表示領域（３２）に表示させることにより、顕微鏡システム（３００）のユーザに、超解像画像の表示内容を大まかに予測させることができる。すなわち、現時点の撮像条件が超解像画像の構築に適しているかを、当該超解像画像を構築する前に確認できる。それゆえ、従来に比べ、所望の超解像画像の取得をより容易化することができる。さらに、超解像画像の取得時間を低減できるという効果も奏する。
【0193】
〔その他の態様２〕
本発明には、以下の態様も含まれる。
本発明には、以下の態様も含まれる。
【0194】
本発明の一態様に係る制御方法は、撮像部と、第１表示領域および第２表示領域を有する表示部と、備える顕微鏡システムの制御方法であって、前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示する工程と、順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された第２の画像を前記第２表示領域に表示する工程と、を含む。
【0195】
本発明の一態様に係る制御方法において、超解像画像を構築するための複数の第３の画像を前記撮像部により順次撮像する工程をさらに含んでいてもよい。
【0196】
本発明の一態様に係る制御方法において、複数の前記第１の画像に対し第１の処理を行い前記第２の画像を生成する工程と、複数の前記第３の画像に対し前記第１の処理とは異なる第２の処理を行い前記超解像画像の構築を行う工程と、をさらに含んでいてもよい。
【0197】
本発明の一態様に係る制御方法において、前記第２の処理において、テンプレートマッチングにより複数の前記第１の画像から輝点を抽出する処理を行い、前記第１の処理において、前記テンプレートマッチングを行わない構成であってもよい。
【0198】
本発明の一態様に係る制御方法において、前記第２の処理において、抽出した前記輝点に対し点像分布関数に基づくフィッティングにより前記輝点の中心位置を特定し、前記第１の処理において、前記点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わない構成であってもよい。
【0199】
本発明の一態様に係る制御方法において、前記第２の処理において、撮像中のステージドリフトに対する補正を行い、前記第１の処理において、前記ステージドリフトに対する補正を行わない構成であってもよい。
【0200】
本発明の一態様に係る制御方法において、前記第２の画像は、前記超解像画像を簡易的に模したプレビュー画像であってもよい。
【0201】
本発明の一態様に係る制御方法において、前記第２の画像を前記第２表示領域に表示した後、第１の撮像条件を変更する入力を受け付ける工程をさらに含んでいてもよい。
【0202】
本発明の一態様に係る制御方法において、前記第１の撮像条件を変更する入力を受け付けた後、当該変更された第１の撮像条件を用いて前記第１の画像の撮像を行ってもよい。
【0203】
本発明の一態様に係る制御方法において、前記第２の画像を前記第２表示領域に表示した後、超解像画像を構築するために第３の画像の撮像を行う指示を受け付ける工程をさらに含んでいてもよい。
【0204】
本発明の一態様に係る制御方法において、前記指示を受け付けた後、前記第３の画像の撮像に第１の撮像条件と一緒に用いる第２の撮像条件の入力を受け付ける工程をさらに含んでいてもよい。
【0205】
本発明の一態様に係る制御方法において、前記第１の撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類を含んでいてもよい。
【0206】
本発明の一態様に係る制御方法において、前記第２の撮像条件は、複数の前記第３の画像の数を含んでいてもよい。
【0207】
本発明の一態様に係る制御方法において、前記第１の画像は、蛍光画像であり、前記第１の画像から抽出した情報は、前記第１の画像の輝点に関する情報であってもよい。
【0208】
本発明の一態様に係る制御方法において、前記第１または第２の撮像条件は、撮像する試料の範囲、露光時間、撮像のための光源の種類、または撮像する第３の画像の数を含んでいてもよい。
【0209】
本発明の一態様に係る制御方法において、複数の前記第３の画像は、試料を連続的に撮像した連続画像であってもよい。
【0210】
本発明の一態様に係る制御方法において、前記超解像画像を構築するための処理条件として、前記第３の画像における構築対象となる領域を指定する情報、および複数の前記第３の画像のうちの構築対象となる画像を特定する情報の少なくとも一方の入力を受け付ける工程をさらに含んでいてもよい。
【0211】
本発明の一態様に係る制御方法において、撮像された複数の前記第３の画像の少なくとも一部、または前記複数の第３の画像を合成することで得られた合成画像を前記表示部に表示する工程と、前記複数の第３の画像の少なくとも一部を用いて超解像画像を構築する工程と、構築された前記超解像画像を前記表示部に表示する工程とをさらに含んでいてもよい。
【0212】
本発明の一態様に係る制御方法において、前記撮像部が撮像する試料の範囲を変化させながら複数の第１の画像を取得する工程をさらに含んでいてもよい。
【0213】
本発明の一態様に係る制御方法において、撮像する試料の範囲を変化させながら複数の撮像位置で撮像した複数の蛍光画像を繋ぎ合わせた広視野の蛍光画像を前記表示部に表示する工程をさらに含んでいてもよい。
【0214】
本発明の一態様に係る制御方法において、前記第３の画像は、蛍光画像であり、前記撮像部の撮像位置を変化させながら各撮像位置で蛍光強度を検出し、所定の閾値より大きい蛍光強度が検出された撮像位置において複数の前記第３の画像を撮像してもよい。
【0215】
本発明の一態様に係る顕微鏡システムは、撮像部と、第１表示領域および第２表示領域を有する表示部と、を備える顕微鏡システムであって、前記表示部は、前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示し、順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された第２の画像を前記第２表示領域に表示する。
【0216】
前記撮像部は、超解像画像を構築するための複数の第３の画像を順次撮像してもよい。
【0217】
本発明の一態様に係る顕微鏡システムは、制御装置をさらに備え、前記制御装置は、複数の前記第１の画像に対し第１の処理を行い前記第２の画像を生成し、複数の前記第３の画像に対し前記第１の処理とは異なる第２の処理を行い前記超解像画像の構築を行ってもよい。
【0218】
本発明の一態様に係る顕微鏡システムにおいて、前記制御装置は、前記第２の処理において、テンプレートマッチングにより複数の前記第１の画像から輝点を抽出する処理を行い、前記第１の処理において、前記テンプレートマッチングを行わない構成であってもよい。
【0219】
本発明の一態様に係る顕微鏡システムにおいて、前記制御装置は、前記第２の処理において、抽出した前記輝点に対し点像分布関数に基づくフィッティングにより前記輝点の中心位置を特定し、前記第１の処理において、前記点像分布関数に基づくフィッティングによる輝点の中心位置の特定を行わない構成であってもよい。
【0220】
本発明の一態様に係る顕微鏡システムにおいて、前記制御装置は、前記第２の処理において、撮像中のステージドリフトに対する補正を行い、前記第１の処理において、前記ステージドリフトに対する補正を行わない構成であってもよい。
【0221】
本発明の一態様に係る顕微鏡システムにおいて、前記第２の画像は、前記超解像画像を簡易的に模したプレビュー画像であってもよい。
【0222】
本発明の一態様に係るプログラムは、顕微鏡システムに用いられるコンピュータ用のプログラムであって、撮像部により順次撮像された複数の第１の画像を表示部の第１表示領域に順次表示する工程と、順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された第２の画像を前記表示部の第２表示領域に表示する工程と、をコンピュータに実行させるプログラムである。
【0223】
本発明の一態様に係る記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0224】
本発明の一態様に係る制御方法は、撮像部および表示部を備える顕微鏡システムの制御方法であって、前記撮像部により順次撮像された複数の第１の画像を前記表示部に順次表示する工程と、順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された第２の画像を前記表示部に表示する工程と、前記撮像部により順次撮像された複数の第３の画像に基づいて構築された超解像画像を前記表示部に表示する工程と、を含み、前記第２の画像は、前記超解像画像を簡易的に模したプレビュー画像である。
【0225】
本発明の一態様に係る顕微鏡システムは、撮像部および表示部を備える顕微鏡システムであって、前記表示部は、第１表示領域および第２表示領域を備え、前記撮像部により順次撮像された複数の第１の画像を順次前記第１表示領域に表示し、順次撮像された複数の前記第１の画像から抽出した情報に基づいて生成された第２の画像を前記第２表示領域に表示し、前記撮像部により順次撮像された複数の第３の画像に基づいて構築された超解像画像を表示し、前記第２の画像は、前記超解像画像を簡易的に模したプレビュー画像である。
【符号の説明】
【0226】
１ プレビュー画像生成部
２ 超解像画像構築部
３ 表示制御部
４ 撮像制御部
１０ｂ 撮像部
１１ 試料設置部
２０ 移動部
２１ 表示部
３１ 第１表示領域
３１０ａ 蛍光画像
３２ 第２表示領域
４１、４２、４３ ライブ画像（第１の画像）
４４ プレビュー画像（第２の画像）
５１、５２、５３ 対象画像（第３の画像）
５４ 超解像画像
１００ 顕微鏡装置
２００ 制御装置
３００ 顕微鏡システム
２ 超解像画像構築部
３ 表示制御部
４ 撮像制御部
１０ｂ 撮像部
１１ 試料設置部
２０ 移動部
２１ 表示部
３１ 第１表示領域
３１０ａ 蛍光画像
３２ 第２表示領域
４１、４２、４３ ライブ画像（第１の画像）
４４ プレビュー画像（第２の画像）
５１、５２、５３ 対象画像（第３の画像）
５４ 超解像画像
１００ 顕微鏡装置
２００ 制御装置
３００ 顕微鏡システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】