特許7586167 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7586167顕微鏡装置、画像取得システム、及び画像取得方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】顕微鏡装置、画像取得システム、及び画像取得方法

(51)【国際特許分類】

G02B 21/36 20060101AFI20241112BHJP

G02B 21/06 20060101ALI20241112BHJP

G01N 21/17 20060101ALI20241112BHJP

G01N 21/64 20060101ALI20241112BHJP

【ＦＩ】

G02B21/36

G02B21/06

G01N21/17 A

G01N21/64 E

【請求項の数】 20

(21)【出願番号】P 2022505092

(86)(22)【出願日】2021-02-15

(86)【国際出願番号】 JP2021005418

(87)【国際公開番号】W WO2021177004

(87)【国際公開日】2021-09-10

【審査請求日】2023-12-21

(31)【優先権主張番号】P 2020037742

(32)【優先日】2020-03-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100112874

【弁理士】

【氏名又は名称】渡邊薫

(72)【発明者】

【氏名】辰田寛和

(72)【発明者】

【氏名】中村友彦

(72)【発明者】

【氏名】渡辺真司

(72)【発明者】

【氏名】山根健治

(72)【発明者】

【氏名】相馬芳男

【審査官】殿岡雅仁

(56)【参考文献】

【文献】国際公開第２０１３／１７９７２３（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０２２４６２（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０３９０３５（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０４４４２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ２１／００－２１／３６

Ｇ０１Ｎ２１／００－２１／７４

Ｈ０４Ｎ５／２２２－５／２５７

Ｈ０４Ｎ２３／００

Ｈ０４Ｎ２３／４０－２３／７６

Ｈ０４Ｎ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

生体組織を含む対象を撮像して画像データを取得する第一撮像素子と、
前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像素子と、
を備え、
前記第一撮像素子は、前記画像データに基づいて、前記対象に関する特徴を判別する判別部を備え、
前記第二撮像素子は、前記特徴に関するデータに基づき制御される、
顕微鏡装置。

【請求項2】

前記第二撮像素子は、更に、前記撮像が行われた領域を、複数の領域に分割し、前記複数の領域の少なくとも１つを撮像し画像データを取得することを特徴とする、請求項１に記載の顕微鏡装置。

【請求項3】

前記第一撮像素子は、前記判別部と撮像を行う撮像部とが単一のチップ内に配置されている撮像素子である、請求項１に記載の顕微鏡装置。

【請求項4】

前記第二撮像素子は、前記第一撮像素子よりも高倍率で前記複数の領域それぞれを撮像する、請求項２に記載の顕微鏡装置。

【請求項5】

前記画像データは、明視野画像データ及び／又は蛍光画像データである、請求項１に記載の顕微鏡装置。

【請求項6】

前記画像データは、輝度値及び／又は周波数を含む画像信号である、請求項１に記載の顕微鏡装置。

【請求項7】

前記対象に関する特徴が、前記対象の属性に関する特徴を含む、請求項１に記載の顕微鏡装置。

【請求項8】

前記対象の属性に関する特徴が、前記生体組織の属性に関する特徴、自家蛍光成分に関する特徴、および前記生体組織における病変に関する特徴から選択される１つ以上を含む、請求項７に記載の顕微鏡装置。

【請求項9】

前記対象に関する特徴が、前記対象の領域に関する特徴を含む、請求項１に記載の顕微鏡装置。

【請求項10】

前記対象の領域に関する特徴が、前記生体組織における病変領域に関する特徴および前記対象中の異物に関する特徴から選択される１つ以上を含む、請求項９に記載の顕微鏡装置。

【請求項11】

前記判別部が、学習済みモデルを用いて前記判別を行う、請求項１に記載の顕微鏡装置。

【請求項12】

前記顕微鏡装置が、前記判別部による判別結果に基づき、前記第二撮像素子による前記対象の撮像制御又は前記第二撮像素子により得られた画像の処理の制御を行う制御部をさらに備えている、請求項１に記載の顕微鏡装置。

【請求項13】

前記制御部が、前記対象の領域に関する特徴に基づいて撮像順序を制御する撮像シーケンス制御部を更に含む、請求項１２に記載の顕微鏡装置。

【請求項14】

前記第二撮像素子は、更に、前記撮像が行われた領域を、複数の領域に分割し、前記複数の領域の少なくとも１つを撮像し画像データを取得し、
前記撮像シーケンス制御部は、
前記複数の領域のつなぎ目が、前記対象中の関心領域に重なり合わないように撮像制御する、又は、
前記対象中の関心領域が複数回撮像されるように撮像制御する、
請求項１３に記載の顕微鏡装置。

【請求項15】

前記制御部が、ゲイン及び／又は露光時間を制御する露光制御部を更に含む、請求項１２に記載の顕微鏡装置。

【請求項16】

前記露光制御部が、ゲイン及び／又は露光時間をピクセル単位及び／又は波長単位で制御する、請求項１５に記載の顕微鏡装置。

【請求項17】

前記制御部が、光源の光量を制御する光量制御部を更に含む、請求項１２に記載の顕微鏡装置。

【請求項18】

前記画像の処理が蛍光分離処理を含む、請求項１２に記載の顕微鏡装置。

【請求項19】

生体組織を含む対象を撮像して画像データを取得する第一撮像素子と、前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像素子と、を備え、前記第一撮像素子は、前記画像データに基づいて、前記対象に関する特徴を判別する判別部を更に備え、前記第二撮像素子は、前記特徴に関するデータに基づき制御される、顕微鏡装置と；
当該判別の結果に基づき、前記第二撮像素子による前記対象の撮像制御又は前記第二撮像素子により得られた画像の処理の制御を行う制御部と、
を含む画像取得システム。

【請求項20】

第一撮像素子により生体組織を含む対象を撮像して画像データを取得する第一撮像工程と、
前記画像データに基づく前記対象に関する特徴の判別を、前記第一撮像素子に備えられている判別部により行う判別工程と、
第二撮像素子により前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像工程と、
を含み、
前記第二撮像素子は、前記特徴に関するデータに基づき制御される、
画像取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、顕微鏡装置、画像取得システム、及び画像取得方法に関する。より詳細には、本技術は、生体組織を撮像する顕微鏡装置、当該顕微鏡装置を含む画像取得システム、及び生体組織の画像取得方法に関する。

【背景技術】

【0002】

病理診断のために、顕微鏡装置により得られた生体組織画像が用いられることがある。近年では、生体組織のデジタル画像を取得し、当該デジタル画像に基づき病理診断が行われることもある。当該デジタル画像の取得に関する技術について、これまでにいくつか提案されている。

【0003】

例えば、下記特許文献１には、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析部と、該画像解析部の判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御部と、を有し、前記撮像制御部は、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１３／１７９７２３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

病理診断を行うために、生体組織のデジタル画像が用いられることがあり、当該デジタル画像は例えば顕微鏡装置を用いて取得されうる。顕微鏡装置を用いた前記デジタル画像の取得において、例えば、最初に対象の全体画像を取得し、次に、全体画像のうちの関心領域について部分画像を取得することが行われることがある。上記特許文献１に記載されるように、前記全体画像は、前記部分画像の撮像の制御のために用いられうる。

【0006】

上記で述べたような部分画像の取得処理をより効率的に又はより適切に行うことができれば、ユーザにとっての利便性の向上又はユーザへの有用な情報の提供に資すると考えられる。そこで、本技術は、より効率的に又はより適切に部分画像を取得するための技術を提供することを主目的とする。

【課題を解決するための手段】

【0007】

本技術は、生体組織を含む対象を撮像して画像データを取得する第一撮像素子と、
前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像素子と、
を備え、
前記第一撮像素子は、前記画像データに基づいて、前記対象に関する特徴を判別する判別部を備え、
前記第二撮像素子は、当該判別の結果に基づき制御される、
顕微鏡装置を提供する。
前記第二撮像素子は、前記撮像が行われた領域を、複数の領域に分割し、前記複数領域の少なくとも１つを撮像し画像データを取得しうる。
前記第一撮像素子は、前記判別部と撮像を行う撮像部とが単一のチップ内に配置されている撮像素子として構成されていてよい。
前記第二撮像素子は、前記第一撮像素子よりも高倍率で前記複数の領域それぞれを撮像しうる。
前記画像データは、明視野画像データ及び／又は蛍光画像データでありうる。
前記画像データは、輝度値及び／又は周波数を含む画像信号でありうる。
前記対象に関する特徴が、前記対象の属性に関する特徴を含みうる。
前記対象の属性に関する特徴が、前記生体組織の属性に関する特徴、自家蛍光成分に関する特徴、および前記生体組織における病変に関する特徴から選択される１つ以上を含みうる。
前記対象に関する特徴が、前記対象の領域に関する特徴を含みうる。
前記対象の領域に関する特徴が、前記生体組織における病変領域に関する特徴および前記対象中の異物に関する特徴から選択される１つ以上を含みうる。
前記判別部が、学習済みモデルを用いて前記判別を行いうる。
前記顕微鏡装置が、前記判別部による判別結果に基づき、前記第二撮像素子による前記対象の撮像制御又は前記第二撮像素子により得られた画像の処理の制御を行う制御部をさらに備えていてよい。
前記制御部が、前記対象の領域に関する特徴に基づいて撮像順序を制御する撮像シーケンス制御部を更に含みうる。
前記撮像シーケンス制御部は、
前記複数の領域のつなぎ目が、前記対象中の関心領域に重なり合わないように撮像制御してよく、又は、
前記対象中の関心領域が複数回撮像されるように撮像制御しうる。
前記制御部が、ゲイン及び／又は露光時間を制御する露光制御部を更に含みうる。
前記露光制御部が、ゲイン及び／又は露光時間をピクセル単位及び／又は波長単位で制御しうる。
前記制御部が、光源の光量を制御する光量制御部を更に含みうる。
前記画像の処理が蛍光分離処理を含みうる。

【0008】

また、本技術は、生体組織を含む対象を撮像して画像データを取得する第一撮像素子と、前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像素子と、を備え、前記第一撮像素子は、前記画像データに基づいて、前記対象に関する特徴を判別する判別部を更に備え、前記第二撮像素子は、当該判別の結果に基づき制御される、顕微鏡装置と；
当該判別の結果に基づき、前記第二撮像素子による前記対象の撮像制御又は前記第二撮像素子により得られた画像の処理の制御を行う制御部と、
を含む画像取得システムを提供する。

【0009】

また、本技術は、第一撮像素子により生体組織を含む対象を撮像して画像データを取得する第一撮像工程と、
前記前記画像データに基づく前記対象に関する特徴の判別を、前記第一撮像素子に備えられている判別部により行う判別工程と、
前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する撮像する第二撮像工程と、
を含み、
前記第二撮像素子は、前記判別の結果に基づき制御される、
画像取得方法も提供する。

【図面の簡単な説明】

【0010】

【図1A】本技術に従う顕微鏡装置の構成例を説明するための模式図である。

【図1B】本技術に従う顕微鏡装置の構成例を説明するための模式図である。

【図2】第一撮像素子の構成例を示す模式図である。

【図3】第一撮像素子の外観構成例の概要を示す斜視図である。

【図4】ラインスキャン方式で撮像を行う画像取得装置の構成例を示す図である。

【図5】ラインスキャン方式で撮像を行う画像取得装置の光学系の構成例を示す図である。

【図6】撮像対象の一例を説明するための図である。

【図7】照明エリア及び撮影エリアを説明するための、撮像対象の一部の拡大図である。

【図8】撮像素子が単一のイメージセンサで構成される場合の分光データの取得方法を説明する図である。

【図9】図８で取得される分光データの波長特性を示す図である。

【図10】撮像素子が複数のイメージセンサで構成される場合の分光データの取得方法を説明する図である。

【図11】対象に照射されるライン照明の走査方法を説明する概念図である。

【図12】複数のライン照明で取得される３次元データ（Ｘ、Ｙ、λ）を説明する概念図である。

【図13】照射部の波長の構成例を示す図である。

【図14】制御部のブロック図の一例を示す図である。

【図15】本技術の顕微鏡装置による撮像処理の処理フロー図の一例である。

【図16】撮像領域の設定の仕方を説明するための図である。

【図17】撮像領域の設定の仕方を説明するための図である。

【図18】撮像領域の設定の仕方を説明するための図である。

【図19】露光時間の設定の仕方を説明するための図である。

【図20】露光時間の設定の仕方を説明するための図である。

【図21】対象が解析対象外の領域を含む場合の撮像制御の仕方を説明するための図である。

【図22】対象が解析対象外の領域を含む場合の撮像制御の仕方を説明するための図である。

【図23】対象が解析対象外の領域を含む場合の撮像制御の仕方を説明するための図である。

【図24】自家蛍光シグナルの除去について説明するための図である。

【図25】自家蛍光シグナルの除去について説明するための図である。

【図26】情報処理装置の構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、本技術を実施するための好適な形態について説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、本技術の範囲がこれらの実施形態のみに限定されることはない。なお、本技術の説明は以下の順序で行う。
１．第１の実施形態（顕微鏡装置）
（１）第１の実施形態の説明
（２）第１の実施形態の第１の例
（２－１）第一撮像ユニット
（２－１－１）第一撮像素子により行われる判別
（２－１－２）第一撮像素子の構成例
（２－２）第二撮像ユニット
（２－２－１）第二撮像ユニットの構成例
（２－３）制御部
（２－４）ステージ
（２－５）撮像制御の第一の例（蛍光分離処理）
（２－５－１）処理フロー
（２－５－２）蛍光分離処理
（２－６）撮像制御の第二の例（撮像シーケンス制御）
（２－７）撮像制御の第三の例（撮像パラメータ制御）
（２－８）撮像制御の第四の例（不要領域を含む対象の撮像制御）
（２－８－１）アーチファクトを含む対象の撮像制御
（２－８－２）解析対象外の生体組織を含む対象の撮像制御
（３）第１の実施形態の第２の例
２．第２の実施形態（画像取得システム）
３．第２の実施形態（画像取得方法）

【0012】

１．第１の実施形態（顕微鏡装置）

【0013】

（１）第１の実施形態の説明

【0014】

生体組織を含む対象の全体画像を、当該生体組織のより詳細な画像を取得する撮像の制御のために用いることが考えられる。この場合において、対象の全体画像データを、対象全体の画像を取得した撮像素子から、当該撮像素子に接続された情報処理装置へと出力し、そして、当該情報処理装置が、より詳細な画像を取得する処理の制御のために当該全体画像データを用いることが考えられる。

【0015】

しかしながら、例えば全体画像データのデータ量が多い場合などにおいて、前記情報処理装置が前記撮像素子から全体画像データを受信するまでに時間を要することがあり、これは例えば前記撮像素子の出力インタフェース又はデータ通信速度などによって律速されうる。また、前記情報処理装置により前記全体画像データの情報処理が行われるので、前記情報処理装置に負荷もかかる。

【0016】

本技術に従う顕微鏡装置は、生体組織を含む対象全体を撮像して全体画像データを取得する第一撮像素子と、前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像素子とを備えている。前記第一撮像素子は、前記画像データに基づいて、前記対象に関する特徴を判別する判別部を備えており、且つ、前記第二撮像素子は、当該判別の結果に基づき制御される。前記第一撮像素子が前記判別部を備えているので、前記第一撮像素子が、前記画像データ自体でなく、例えば前記対象の特徴に関するデータを出力することができ、前記第二撮像素子が、前記特徴に関するデータに基づき制御される。これにより、上記で述べた律速の影響が低減される。さらには、前記第二撮像素子を制御するためのデータ取得も効率的に行うことができ、より良い部分画像を取得することも可能となる。このように、本技術に従う顕微鏡装置によって、より効率的に又はより適切に部分画像を取得することができる。

【0017】

（２）第１の実施形態の第１の例

【0018】

本技術に従う顕微鏡装置の例及び当該顕微鏡装置による画像取得処理の例を、以下で図１Ａを参照しながら説明する。

【0019】

図１Ａは、本技術に従う顕微鏡装置の構成例を説明するための模式図である。図１Ａに示される顕微鏡装置１００は、第一撮像ユニット１１０、第二撮像ユニット１２０、制御部１３０、及びステージ１４０を備えている。

【0020】

（２－１）第一撮像ユニット

【0021】

図１Ａに示されるとおり、第一撮像ユニット１１０は、例えば第一撮像素子１１１、第一観察光学系１１２、及び第一照明光学系１１３を備えている。第一撮像ユニット１１０は、生体組織を含む対象Ｓを撮像することができるように構成されている。

【0022】

第一撮像素子１１１は、生体組織を含む対象Ｓ（特には対象Ｓの全体）を撮像して少なくとも一つの画像データ（特には対象Ｓの全体画像データ）を取得する。前記少なくとも一つの画像データは、例えば明視野画像データ及び／又は蛍光画像データであってよい。また、前記画像データは、輝度値及び／又は周波数を含む画像信号であってもよい。

【0023】

第一撮像素子１１１は、対象Ｓの画像データを取得する撮像部１１４に加えて、当該画像データに基づき対象Ｓに関する特徴を判別する判別部１１５を備えている。撮像部１１４及び判別部１１５を含め、第一撮像素子１１１の構成例については、以下で別途詳細に説明する。

【0024】

第一観察光学系１１２は、第一撮像素子１１１が対象Ｓを拡大して撮像することができるように構成されていてよい。第一観察光学系１１２は、例えば対物レンズを含みうる。当該対物レンズは、例えば第一撮像素子１１１が対象Ｓ全体を撮像することができる倍率を有していてよい。また、第一観察光学系１１２は、対物レンズによって拡大された像を第一撮像素子１１１に中継するためのリレーレンズを含んでもよい。第一観察光学系１１２の構成は、例えば対象Ｓ又は取得されるべき画像データの種類などに応じて当業者により適宜選択されてよく、前記対物レンズ及び前記リレーレンズ以外の光学部品を含んでもよい。

【0025】

第一照明光学系１１３は、第一撮像素子１１１による撮像において対象Ｓを照明するための光学系である。第一照明光学系１１３は、当該照明のための光源を含み、例えば可視光又は紫外光を対象Ｓに照射しうる。第一照明光学系１１３に含まれる光源は、第一撮像素子１１１により取得されるべき画像データの種類に応じて当業者により適宜選択されてよく、例えばハロゲンランプ、ＬＥＤランプ、水銀ランプ、及びキセノンランプから選ばれる少なくとも一つを含みうる。例えば、前記画像データが明視野画像データである場合、第一照明光学系１１３は、例えばＬＥＤランプ又はハロゲンランプを含みうる。前記画像データが蛍光画像データである場合、第一照明光学系１１３は、例えばＬＥＤランプ、水銀ランプ、又はキセノンランプを含みうる。蛍光を発する蛍光体の種類に応じて、照射される光の波長又はランプの種類は選択されてよい。

【0026】

（２－１－１）第一撮像素子により行われる判別

【0027】

第一撮像素子１１１は、前記画像データに基づいて、対象Ｓに関する特徴を判別する判別部１１５を備えている。第一撮像素子１１１は、当該判別によって、対象Ｓに関する特徴をデータとして取得してよい。当該判別の結果に基づき、第二撮像素子１２１が制御される。対象Ｓに関する特徴は、例えば、対象Ｓに含まれる生体組織に関する特徴を含みうる。

【0028】

対象Ｓに関する特徴は、例えば対象Ｓの属性に関する特徴を含みうる。より具体的には、対象Ｓの属性に関する特徴は、前記生体組織の属性に関する特徴、自家蛍光成分に関する特徴、および前記生体組織における病変に関する特徴から選択される１つ以上を含みうる。

【0029】

前記生体組織の属性に関する特徴は、例えば、前記生体組織が由来する生物の種類、前記生体組織の種類、前記生体組織が有する細胞の種類、又は、前記生体組織が有しうる疾患に関する特徴を含みうる。
前記生体組織が由来する生物の種類は、例えば生物の分類学的な種類（例えばヒトなど）、性別的な種類（例えば男性又は女性など）、又は齢に関する種類（例えば年齢、月齢、又は日齢など）であってよい。
前記生体組織の種類は、例えば当該生体組織が由来する器官の種類（例えば胃など）、器官の構成要素の種類（例えば胃の粘膜層又は筋層など）、又は体液の種類（例えば血液など）でありうる。
前記生体組織が有する細胞の種類は、例えば形態、機能、及び細胞構成成分のうちの一つ以上の観点からの分類に基づく種類であってよく、又は、細胞に付された標識（例えば蛍光体又は抗体など）に基づく種類であってよい。
前記生体組織が有しうる疾患に関する特徴は、例えば前記生体組織が疾患を有するかどうか、前記生体組織が疾患を有する可能性、又は当該疾患の種類（例えば疾患の名称又は疾患の進行の程度など）であってよい。

【0030】

対象Ｓに関する特徴は、例えば対象Ｓの領域に関する特徴を含みうる。対象Ｓの領域に関する特徴は、例えば、前記生体組織中の病変領域に関する特徴及び対象Ｓ中の異物に関する特徴から選択される１つ以上を含みうる。また、対象Ｓの領域に関する特徴は、前記生体組織中の細胞の領域、非細胞領域、又は細胞小器官（例えば細胞核、核小体、小胞体、又はミトコンドリアなど）の領域などであってよい。前記対象中の異物は、例えば対象Ｓ中のゴミ又はアーチファクトなどであってよい。

【0031】

対象Ｓに関する特徴は、例えば対象Ｓの配置に関する特徴を含んでもよい。対象Ｓの配置に関する特徴は、例えば対象Ｓの傾きであってよく、より具体的にはスライドガラスの傾きであってもよい。

【0032】

本技術の好ましい実施態様において、判別部１１５は、学習済みモデルを用いて前記判別を行う。前記学習済みモデルは、取得されるべき判別結果に応じて選択されてよい。例えば、前記学習済みモデルは、生体組織を含む対象の画像と当該画像に関連付けられた特徴（特には当該対象に関する特徴）とを含む教師データを、少なくとも一つ、好ましくは複数用いて機械学習された学習済みモデルであってよい。

【0033】

前記学習済みモデルは、例えば深層学習（ディープラーニング）により生成された学習済みモデルであってよい。例えば、前記学習済みモデルは、多層ニューラルネットワークであってよく、例えば深層ニューラルネットワーク（ＤＮＮ：ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）であってよく、より具体的には畳込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）であってもよい。前記多層ニューラルネットワークは、第一撮像素子により取得された画像データを入力する入力層と、前記対象に関する特徴を抽出するために用いられる画像データ又は前記対象に関する特徴を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層、例えば２層～１０層の中間層とを有しうる。

【0034】

本技術の好ましい実施態様において、判別部１１５は、学習済みモデルを用いて、前記対象に関する特徴を判別し、より具体的には前記対象の属性に関する判別及び／又は前記対象の領域に関する判別を行いうる。このような判別が、第一撮像素子１１１に備えられている判別部１１５によって行われることで、第二撮像素子１２１による撮像の制御又は撮像された画像の処理の制御を、より効率的に又はより適切に行うことができる。

【0035】

（２－１－２）第一撮像素子の構成例

【0036】

第一撮像素子１１１の構成例を図２に示す。図２に示されるとおり、第一撮像素子１１１は、撮像ブロック２０と信号処理ブロック３０とを有する。撮像ブロック２０と信号処理ブロック３０とは、接続線（内部バス）ＣＬ１、ＣＬ２、及びＣＬ３によって電気的に接続されている。

【0037】

撮像ブロック２０は、撮像部２１、撮像処理部２２、出力制御部２３、出力Ｉ／Ｆ２４、及び撮像制御部２５を有する。撮像部２１は、上記で述べた撮像部１１４に相当する。
信号処理ブロック３０は、ＣＰＵ(Central Processing Unit)３１、ＤＳＰ(Digital Signal Processor)３２、及びメモリ３３を含みうる。信号処理ブロック３０は、さらに通信Ｉ／Ｆ３４、画像圧縮部３５、及び、入力Ｉ／Ｆ３６を有していてもよい。信号処理ブロック３０は、撮像ブロック２０（特には撮像部２１及び撮像処理部２２）により得られた画像データを用いて、所定の信号処理を行う。信号処理ブロック３０によって、上記「（２－１－１）第一撮像素子により行われる判別」において説明した判別部による判別処理が実現される。
以下で、第一撮像素子１１１に含まれるこれら構成要素について説明する。

【0038】

撮像部２１は、生体組織を含む対象Ｓを撮像する。撮像部２１は、例えば撮像処理部２２によって駆動されて、前記撮像を行いうる。撮像部２１は、例えば２次元に並んで配列された複数の画素を備えていてよい。撮像部２１に含まれる各画素は、光を受光し、光電変換を行い、そして、受光した光に基づくアナログ画像信号を出力する。

【0039】

撮像部２１が出力する画像（信号）のサイズは、例えば１２Ｍ（3968×2976）ピクセル又はＶＧＡ（Video Graphics Array）サイズ（640×480ピクセル）などの複数のサイズの中から選択することができる。撮像部２１が出力する画像は、カラー画像又は白黒画像であってよい。カラー画像は、例えばＲＧＢ（赤、緑、青）により表されうる。白黒画像は、例えば輝度のみによって表されうる。これらの選択は、撮影モードの設定の一種として行うことができる。

【0040】

撮像処理部２２は、撮像部２１による画像の撮像に関連する撮像処理を行いうる。例えば、撮像処理部２２は、撮像制御部２５の制御に従い、撮像部２１の駆動、撮像部２１が出力するアナログの画像信号のＡＤ(Analog to Digital)変換、又は撮像信号処理などの
撮像処理を行いうる。

【0041】

前記撮像信号処理は、より具体的には、例えば、撮像部２１が出力する画像について、所定の小領域ごとに、画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理、撮像部２１が出力する画像をＨＤＲ(High Dynamic Range)画像に変換する処理、欠陥補正、又は現像でありうる。

【0042】

撮像処理部２２は、撮像部２１が出力するアナログの画像信号のＡＤ変換等によって得られるデジタルの画像信号（例えば１２Ｍピクセル又はＶＧＡサイズの画像）を、撮像画像として出力しうる。

【0043】

撮像処理部２２が出力する撮像画像は、出力制御部２３に供給されうる。また、撮像処理部２２が出力する撮像画像は、接続線ＣＬ２を介して信号処理ブロック３０（特には画像圧縮部３５）に供給されうる。

【0044】

出力制御部２３には、撮像処理部２２から撮像画像が供給されうる。また、出力制御部２３には、信号処理ブロック３０から、接続線ＣＬ３を介して、例えば撮像画像データなどを用いた判別結果が供給されうる。

【0045】

出力制御部２３は、撮像処理部２２から供給された撮像画像、及び、信号処理ブロック３０による判別結果を、（１つの）出力Ｉ／Ｆ２４から第一撮像素子１１１の外部に選択的に出力させる出力制御を行う。本技術の顕微鏡装置に含まれる撮像素子は、好ましくは、当該出力制御を行う出力制御部を含む。

【0046】

すなわち、出力制御部２３は、撮像処理部２２からの撮像画像、又は、信号処理ブロック３０からの判別結果を選択し、出力Ｉ／Ｆ２４に供給する。

【0047】

出力Ｉ／Ｆ２４は、出力制御部２３から供給される撮像画像、及び、判別結果を外部に出力するＩ／Ｆである。出力Ｉ／Ｆ２４としては、例えばＭＩＰＩ(Mobile Industry Processor Interface)などの比較的高速なパラレルＩ／Ｆを採用することができる。出力Ｉ／Ｆ２４は、出力制御部２３による出力制御に応じて、撮像処理部２２からの撮像画像又は信号処理ブロック３０からの判別結果を、外部に出力する。したがって、例えば、外部において、信号処理ブロック３０からの判別結果だけが必要であり、撮像画像そのものが必要でない場合には、判別結果だけを出力することができ、出力Ｉ／Ｆ２４から外部に出力するデータ量を削減することができる。
また、信号処理ブロック３０が、判別処理を行って、第一撮像素子１１１の外部の構成要素（例えば第二撮像素子１２１及び／又は制御部１３０）で用いられる判別結果を得、当該判別結果が、出力Ｉ／Ｆ２４から出力される。これにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。

【0048】

撮像制御部２５は、レジスタ群２７に記憶された撮像情報に従って、撮像処理部２２を制御し、これにより、撮像部２１による撮像を制御しうる。

【0049】

レジスタ群２７は、撮像情報、撮像処理部２２での撮像信号処理の結果、出力制御部２３での出力制御に関する出力制御情報を記憶することができる。出力制御部２３は、レジスタ群２７に記憶された出力制御情報に従って、撮像画像及び判別結果を選択的に出力させる出力制御を行うことができる。

【0050】

撮像制御部２５と信号処理ブロック３０に含まれるＣＰＵとは接続線ＣＬ１を介して接続されていてよい。当該ＣＰＵは当該接続線を介して、レジスタ群２７に対して、情報の読み書きを行うことができる。すなわち、レジスタ群２７に対する情報の読み書きは、通信Ｉ／Ｆ２６から行われてよく、又は、当該ＣＰＵからも行われてよい。

【0051】

信号処理ブロック３０は、例えば前記少なくとも一つの画像データ（特には対象Ｓの全体画像データ）に基づいて、対象Ｓに関する特徴を判別する信号処理ブロック３０を構成するＣＰＵ３１、ＤＳＰ３２、メモリ３３、通信Ｉ／Ｆ３４、入力Ｉ／Ｆ３６は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。
信号処理ブロック３０による前記判別は、例えば信号処理ブロック３０が、撮像部により得られた画像データを用いて所定の信号処理を行うことによって実行されうる。以下で、信号処理ブロック３０に含まれうる構成要素について説明する。

【0052】

ＣＰＵ３１は、メモリ３３に記憶されたプログラムを実行することで、例えば信号処理ブロック３０の制御又は撮像制御部２５のレジスタ群２７への情報の読み書きなどの各種の処理を行う。例えば、ＣＰＵ３１は、プログラムを実行することにより、ＤＳＰ３２での信号処理により得られる信号処理結果を用いて、撮像情報を算出する撮像情報算出部として機能し、信号処理結果を用いて算出した新たな撮像情報を、接続線ＣＬ１を介して、撮像制御部２５のレジスタ群２７にフィードバックして記憶させうる。したがって、ＣＰＵ３１は、撮像画像の信号処理結果に応じて、撮像部２１による撮像及び／又は撮像処理部２２による撮像信号処理を制御することができる。また、ＣＰＵ３１がレジスタ群２７に記憶させた撮像情報は、通信Ｉ／Ｆ２６から外部に提供（出力）することができる。例えば、レジスタ群２７に記憶された撮像情報のうちのフォーカスの情報は、通信Ｉ／Ｆ２６から、フォーカスを制御するフォーカスドライバ（図示せず）に提供することができる。

【0053】

ＤＳＰ３２は、メモリ３３に記憶されたプログラムを実行することで、撮像処理部２２から、接続線ＣＬ２を介して、信号処理ブロック３０に供給される画像データや、入力Ｉ／Ｆ３６が外部から受け取る情報を用いた信号処理（例えば判別処理）を行う信号処理部として機能する。

【0054】

メモリ３３は、ＳＲＡＭ(Static Random Access Memory)やＤＲＡＭ(Dynamic RAM)等で構成されうる。メモリ３３は、例えば信号処理ブロック３０の処理のために用いられるデータなどの各種データを記憶する。

【0055】

例えば、メモリ３３は、通信Ｉ／Ｆ３４を介して外部から受信したプログラム、画像圧縮部３５で圧縮された撮像画像データ、特にはＤＳＰ３２での信号処理において用いられる撮像画像データ、ＤＳＰ３２で行われた信号処理の信号処理結果（例えば判別結果）、又は、入力Ｉ／Ｆ３６が受け取った情報などを記憶する。

【0056】

通信Ｉ／Ｆ３４は、例えば、ＳＰＩ(Serial Peripheral Interface)等のシリアル通信Ｉ／Ｆ等の第２の通信Ｉ／Ｆであり、外部の構成要素（例えば、第一撮像素子１１１外部のメモリ又は情報処理装置など）との間で、ＣＰＵ３１又はＤＳＰ３２が実行するプログラム等の必要な情報のやりとりを行う。

【0057】

例えば、通信Ｉ／Ｆ３４は、ＣＰＵ３１又はＤＳＰ３２が実行するプログラムを外部からダウンロードし、メモリ３３に供給して記憶させる。したがって、通信Ｉ／Ｆ３４がダウンロードするプログラムによって、ＣＰＵ３１又はＤＳＰ３２で様々な処理を実行することができる。なお、通信Ｉ／Ｆ３４は、外部との間で、プログラムだけでなく、任意のデータのやりとりを行うことができる。例えば、通信Ｉ／Ｆ３４は、ＤＳＰ３２での信号処理により得られる信号処理結果を、外部に出力することができる。また、通信Ｉ／Ｆ３４は、ＣＰＵ３１の指示に従った情報を、外部の装置に出力し、これにより、ＣＰＵ３１の指示に従って、外部の装置を制御することができる。

【0058】

ここで、ＤＳＰ３２での信号処理により得られる信号処理結果は、通信Ｉ／Ｆ３４から外部に出力する他、ＣＰＵ３１によって、撮像制御部２５のレジスタ群２７に書き込むことができる。レジスタ群２７に書き込まれた信号処理結果は、通信Ｉ／Ｆ２６から外部に出力することができる。ＣＰＵ３１で行われた処理の処理結果についても同様である。

【0059】

画像圧縮部３５には、撮像処理部２２から接続線ＣＬ２を介して、撮像画像が供給される。画像圧縮部３５は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。
画像圧縮部３５で生成された圧縮画像は、バスを介して、メモリ３３に供給されて記憶される。

【0060】

ここで、ＤＳＰ３２での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部３５で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、ＤＳＰ３２での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ３３の記憶容量の節約を図ることができる。

【0061】

画像圧縮部３５での圧縮処理としては、例えば、１２Ｍ（3968×2976）ピクセルの撮像画像を、ＶＧＡサイズの画像に変換するスケールダウンを行うことができる。また、ＤＳＰ３２での信号処理が輝度を対象として行われ、かつ、撮像画像がＲＧＢの画像である場合には、圧縮処理としては、ＲＧＢの画像を、例えば、ＹＵＶの画像に変換するＹＵＶ変換を行うことができる。
なお、画像圧縮部３５は、ソフトウエアにより実現することもできるし、専用のハードウェアにより実現することもできる。
入力Ｉ／Ｆ３６は、外部から情報を受け取るＩ／Ｆである。入力Ｉ／Ｆ３６は、例えば、外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介して、メモリ３３に供給して記憶させる。
入力Ｉ／Ｆ３６としては、例えば、出力Ｉ／Ｆ２４と同様に、ＭＩＰＩ(Mobile Industriy Processor Interface)等のパラレルＩ／Ｆ等を採用することができる。
また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、第一撮像素子１１１とは別のイメージセンサを採用することができる。

【0062】

ＤＳＰ３２では、撮像画像（から生成された圧縮画像）を用いる他、入力Ｉ／Ｆ３６が上述のような外部のセンサから受け取り、メモリ３３に記憶される外部センサ出力を用いて、信号処理を行うことができる。

【0063】

以上のように構成される１チップの第一撮像素子１１１では、撮像部２１での撮像により得られる撮像画像（又は撮像画像から生成される圧縮画像）を用いた信号処理（例えば判別処理）がＤＳＰ３２で行われ、その信号処理の信号処理結果、及び、撮像画像が、出力Ｉ／Ｆ２４から選択的に出力される。したがって、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができる。

【0064】

ここで、第一撮像素子１１１において、ＤＳＰ３２の信号処理を行わず、したがって、第一撮像素子１１１から、信号処理結果を出力せず、撮像画像を出力する場合、すなわち、第一撮像素子１１１を、単に、画像を撮像して出力するだけのイメージセンサとして構成する場合、第一撮像素子１１１は、出力制御部２３を設けない撮像ブロック２０だけで構成することができる。

【0065】

図３は、図２の第一撮像素子１１１の外観構成例の概要を示す斜視図である。

【0066】

第一撮像素子１１１は、例えば、図３に示すように、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。すなわち、本技術において、第一撮像素子１１１は、前記判別部と撮像を行う撮像部とが単一のチップ内に配置されている撮像素子として構成されてよい。

【0067】

図３では、第一撮像素子１１１は、ダイ５１及び５２の２枚のダイが積層されて構成される。

【0068】

図３において、上側のダイ５１には、撮像部２１が搭載され、下側のダイ５２には、撮像処理部２２ないし撮像制御部２５、及び、ＣＰＵ３１ないし入力Ｉ／Ｆ３６が搭載されている。上側のダイ５１と下側のダイ５２とは、例えば、ダイ５１を貫き、ダイ５２にまで到達する貫通孔を形成することにより、又は、ダイ５１の下面側に露出したＣｕ配線と、ダイ５２の上面側に露出したＣｕ配線とを直接接続するＣｕ－Ｃｕ接合を行うこと等により、電気的に接続される。

【0069】

ここで、撮像処理部２２において、撮像部２１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。

【0070】

列並列ＡＤ方式では、例えば、撮像部２１を構成する画素の列に対してＡＤＣ(AD Converter)が設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行う撮像処理部２２の一部が、上側のダイ５１に搭載されることがある。

【0071】

エリアＡＤ方式では、撮像部２１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ＡＤＣが設けられる。そして、各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、撮像部２１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出し及びＡＤ変換）を行うことができる。

【0072】

なお、第一撮像素子１１１の面積が大になることが許容されるのであれば、第一撮像素子１１１は、１枚のダイで構成することができる。

【0073】

また、図３では、２枚のダイ５１及び５２を積層して、１チップの第一撮像素子１１１を構成することとしたが、１チップの第一撮像素子１１１は、３枚以上のダイを積層して構成することができる。３枚のダイを積層して１チップの第一撮像素子１１１を構成する場合には、例えば、図３のメモリ３３を別のダイに搭載することができる。

【0074】

（２－２）第二撮像ユニット

【0075】

第二撮像ユニット１２０の模式的な構成例を図１Ａに示す。第二撮像ユニット１２０は、例えば第一撮像ユニット１１０（より具体的には第一撮像素子１１１）と異なる倍率で前記対象を撮像して画像データを取得することができるように構成されていてよい。例えば、第二撮像ユニット１２０は、第一撮像ユニット１１０（より具体的には第一撮像素子１１１）により撮像された領域を、複数の領域に分割して撮像することができるように構成されていてよい。第二撮像ユニット１２０は、第二撮像素子１２１、第二観察光学系１２２、及び第二照明光学系１２３を備えている。

【0076】

第二撮像素子１２１は、例えば第一撮像素子１１１により前記撮像が行われた領域を、複数の領域に分割し、前記複数領域の少なくとも１つを撮像し画像データを取得することができるように構成されていてよい。例えば、第二撮像素子１２１は、第一撮像素子１１１よりも高倍率で又は高解像度で前記複数の領域それぞれを撮像しうる。

【0077】

第二撮像素子１２１は、第一撮像素子により撮像が行われた領域（以下「全体領域」ともいう）を複数の領域に分割して撮像する（以下、分割された領域を「分割領域」ともいう）。当該分割の方式としては、例えばラインスキャン方式又はタイリング方式を挙げることができるがこれらに限定されない。
ラインスキャン方式では、前記全体領域は、複数の帯状の領域へと分割されうる。当該複数の帯状の分割領域のそれぞれについて第二撮像素子１２１が撮像を行いうる。
タイリング方式では、前記全体領域は、複数のタイル状の領域へと分割されうる。当該複数のタイル状の分割領域のそれぞれについて第二撮像素子１２１が撮像を行いうる。

【0078】

第二観察光学系１２２は、前記複数の分割領域のそれぞれの拡大画像を、第二撮像素子１２１が撮像することができるように構成されている光学系である。第二観察光学系１２２は、例えば対物レンズを含みうる。当該対物レンズは、第二撮像素子１２１が前記複数の分割領域のそれぞれを撮像することができる倍率を有しうる。例えば、第二観察光学系１２２に含まれる対物レンズは、第一観察光学系１１２に含まれる対物レンズよりも高倍率であってよい。また、第二観察光学系１２２は、対物レンズによって拡大された像を第二撮像素子１２１に中継するためのリレーレンズを含んでもよい。

【0079】

第二照明光学系１２３は、対象Ｓを照明するための光学系である。第二照明光学系１２３は、例えば可視光又は紫外光を対象Ｓに照射しうる。第二照明光学系１２３は、取得される画像データの種類に応じて当業者により適宜選択されてよく、例えばハロゲンランプ、ＬＥＤランプ、水銀ランプ、及びキセノンランプから選ばれる少なくとも一つを含みうる。前記画像データは例えば蛍光画像データであり、この場合、第二照明光学系１２３は、例えばＬＥＤランプ、水銀ランプ、又はキセノンランプを含みうる。蛍光を発する蛍光体の種類に応じて、ランプの種類は選択されてよい。

【0080】

対象Ｓが第二撮像ユニット１２０により撮像が行われるときに、対象Ｓが載せられているステージ１４０が、例えば図１Ｂに示されるように、第二観察光学系１２２を介した撮像が可能な位置に移動されうる。当該移動のために、顕微鏡装置１００は、ステージ１４０を、第一撮像ユニット１１０による撮像可能位置と第二撮像ユニット１２０による撮像可能位置との間で移動させるステージ制御部（図示されていない）を含みんでもよい。当該ステージ制御部は、例えば制御部１３０により制御されうる。

【0081】

（２－２－１）第二撮像ユニットの構成例

【0082】

第二撮像ユニット１２０がラインスキャン方式で撮像を行う撮像ユニットである場合の構成例を以下で図４及び５を参照しながら説明する。

【0083】

第二撮像ユニット１２０は、ライン状に励起された生体組織の蛍光スペクトル（分光データ）を取得する分光イメージング部１５０、第二観察光学系１２２、及び、異軸平行に配置された波長の異なる複数のライン照明を対象Ｓに照射する第二照明光学系１２３を有する。分光イメージング部１５０に、図５に示されるとおり、第二撮像素子１２１が含まれている。ステージ１４０は、第一撮像素子１１１による撮像後に、第二撮像ユニット１２０により撮像可能な位置に移動されうる。

【0084】

ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意昧での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。

【0085】

ステージ１４０に対して、対物レンズ４４などを含む第二観察光学系１２２を介して、第二照明光学系１２３と分光イメージング部１５０が接続されている。第二観察光学系１２２はフォーカス機構６０によって最適な焦点に追従する機能を持っている。第二観察光学系１２２には、暗視野観察又は明視野観察などを行う非蛍光観察部７０が接続されていてもよい。

【0086】

第二照明光学系１２３は複数の励起波長Ｅｘ１、Ｅｘ２、・・・、及びＥｘｎ（ｎは例えば１～１０、特には１～８）の光を出力することができる複数の光源Ｌ１、Ｌ２、・・・、及びＬｎ（ｎは例えば１～１０、特には１～８）を備える。複数の光源は、典型的には、発光ダイオード（ＬＥＤ）、レーザダイオード（ＬＤ）、水銀ランプなどで構成され、それぞれの光がライン照明化され、ステージ１４０に保持された対象Ｓに照射される。

【0087】

対象Ｓは、典型的には、図６に示すように、例えば組織切片などの生体組織Ｓａを含むスライドで構成されるが、勿論それ以外であってもよい。対象Ｓは、複数の蛍光色素によって染色されていてよい。第二撮像ユニット１２０は、対象Ｓを所望の倍率に拡大して観察する。図６のＡの部分を拡大すると、第二照明光学系１２３は図７に示すように、ライン照明が複数（図７では２つ（Ｅｘ１及びＥｘ２））配置されており、それぞれの照明エリアに重なるように分光イメージング部１５０の撮影エリアＲ１及びＲ２が配置される。２つのライン照明Ｅｘ１及びＥｘ２はそれぞれＸ軸方向に沿って平行であり、Ｙ軸方向に所定の距離（Δｙ）離れて配置される。

【0088】

撮影エリアＲ１及びＲ２は、分光イメージング部１５０における観測スリット５１（図５）の各スリット部にそれぞれ対応する。つまり、分光イメージング部１５０のスリット部もライン照明と同数配置される。図７では照明のライン幅の方がスリット幅よりも広くなっているが、これらの大小関係はどちらであってもよい。照明のライン幅がスリット幅よりも大きい場合、分光イメージング部１５０に対する第二照明光学系１２３の位置合わせマージンを大きくすることができる。

【0089】

１つめのライン照明Ｅｘ１を構成する波長と、２つめのライン照明Ｅｘ２を構成する波長は相互に異なっている。これらライン照明Ｅｘ１及びＥｘ２により励起されるライン状の蛍光は、第二観察光学系１２２を介して分光イメージング部１５０により受光される。

【0090】

分光イメージング部１５０は、複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリット５１と、観測スリット５１を通過した蛍光を個々に受光可能な少なくとも１つの第二撮像素子１２１とを有する。第二撮像素子１２１には、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの２次元イメージャが採用される。観測スリット５１を光路上に配置することで、それぞれのラインで励起された蛍光スペクトルを重なりなく検出することができる。

【0091】

分光イメージング部１５０は、それぞれのライン照明Ｅｘ１及びＥｘ２から、撮像素子１２１の１方向（例えば垂直方向）の画素アレイを波長のチャンネルとして利用した蛍光の分光データ（ｘ、λ）を取得する。得られた分光データ（ｘ、λ）は、それぞれどの励起波長から励起された分光データであるかが紐づけられた状態で、例えば制御部に記録される。

【0092】

第二撮像ユニット１２０は、図５に示すように、光路の途中にダイクロイックミラー４２やバンドパスフィルタ４５が挿入され、励起光（Ｅｘ１、Ｅｘ２）が第二撮像素子１２１に到達しないように構成されている。この場合、第二撮像素子１２１上に結像する蛍光スペクトルには間欠部が生じる（図８及び９参照）。当該間欠部を読出し領域から除外することによって、フレームレートを向上させることができる。

【0093】

第二撮像素子１２１は、図５に示すように、観測スリット５１を通過した蛍光をそれぞれ受光可能な複数の撮像素子１２１ａ及び１２１ｂを含んでもよい。この場合、各ライン照明Ｅｘ１及びＥｘ２によって励起される蛍光スペクトルＦｓ１及びＦｓ２は、撮像素子１２１ａ及び１２１ｂ上に図１０に示すように取得され、記憶部（図示せず）に励起光と紐づけて記憶される。

【0094】

ライン照明Ｅｘ１及びＥｘ２は単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ｅｘ１及びＥｘ２がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部１５０は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、例えば回折格子又はプリズムなどで構成され、典型的には、観測スリット５１と撮像素子１２１との間の光路上に配置される。

【0095】

第二撮像ユニット１２０はさらに、ステージ１４０に対して複数のライン照明Ｅｘ１及びＥｘ２をＹ軸方向、つまり、各ライン照明Ｅｘ１及びＥｘ２の配列方向に走査する走査機構（図示されていない）を備える。前記走査機構を用いることで、サンプルＳ（観察対象Ｓａ）上において空間的にΔｙだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル（蛍光スペクトル）をＹ軸方向に連続的に記録することができる。この場合、例えば図１１に示すように撮影領域ＲｓがＸ軸方向に複数に分割され、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される。１回のスキャンで数種の励起波長によって励起されたサンプル由来の分光スペクトルイメージを撮影することができる。

【0096】

前記走査機構は、典型的には、ステージ１４０がＹ軸方向に走査されるが、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ｅｘ１及びＥｘ２がＹ軸方向に走査されてもよい。最終的に、図１２に示すような（Ｘ、Ｙ、λ）の３次元データが複数のライン照明Ｅｘ１及びＥｘ２についてそれぞれ取得される。各ライン照明Ｅｘ１及びＥｘ２由来の３次元データはＹ軸についてΔｙだけ座標がシフトしたデータになるので、あらかじめ記録されたΔｙ、または第二撮像素子１２１の出力から計算されるΔｙの値に基づいて、補正され出力される。

【0097】

ここまでの例では励起光としてのライン照明は２本で構成されたが、これに限定されず、３本、４本あるいは５本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるベく劣化しないように選択された複数の励起波長を含んでもよい。またライン照明が１本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子で取得されるＲｏｗデータとを組づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。例えば図１３に示すような構成がとられてもよい。

【0098】

続いて、図５を参照して第二撮像ユニット１２０の詳細について説明する。ここでは、図１３における構成例２で第二撮像ユニット１２０が構成される例について説明する。

【0099】

第二照明光学系１２３は、複数（本例では４つ）の励起光源Ｌ１、Ｌ２、Ｌ３、及びＬ４を有する。各励起光源Ｌ１～Ｌ４は、波長がそれぞれ４０５ｎｍ、４８８ｎｍ、５６１ｎｍ及び６４５ｎｍのレーザ光を出力するレーザ光源で構成される。

【0100】

第二照明光学系１２３は、各励起光源Ｌ１～Ｌ４に対応するように複数のコリメータレンズ１１及びレーザラインフィルタ１２と、ダイクロイックミラー１３Ａ、１３Ｂ、１３ｃと、ホモジナイザ１４と、コンデンサレンズ１５と、入射スリット１６とをさらに有する。

【0101】

励起光源Ｌ１から出射されるレーザ光と励起光源Ｌ３から出射されるレーザ光は、それぞれコリメータレンズ１１によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ１２を透過し、ダイクロイックミラー１３Ａによって同軸にされる。同軸化された２つのレーザ光は、さらに、ライン照明Ｅｘ１となるベくフライアイレンズなどのホモジナイザ１４とコンデンサレンズ１５によってビーム成形される。

【0102】

励起光源Ｌ２から出射されるレーザ光と励起光源Ｌ４から出射されるレーザ光も同様にダイクロイックミラー１３Ｂ及び１３ｃによって同軸化され、ライン照明Ｅｘ１とは異軸のライン照明Ｅｘ２となるようにライン照明化される。ライン照明Ｅｘ１及びＥｘ２は、各々が通過可能な複数のスリット部を有する入射スリット１６（スリット共役）においてΔｙだけ離れた異軸ライン照明（１次像）を形成する。

【0103】

この１次像は、第二観察光学系１２２を介してステージ１４０上の対象Ｓに照射される。第二観察光学系１２２は、コンデンサレンズ４１と、ダイクロイックミラー４２及び４３と、対物レンズ４４と、バンドパスフィルタ４５と、コンデンサレンズ４６とを有する。ライン照明Ｅｘ１及びＥｘ２は、対物レンズ４４と対になったコンデンサレンズ４１で平行光にされ、ダイクロイックミラー４２及び４３を反射して対物レンズ４４を透過し、対象Ｓに照射される。

【0104】

対象Ｓ面においては図７のような照明が形成される。これらの照明によって励起された蛍光は、対物レンズ４４によって集光され、ダイクロイックミラー４３を反射し、ダイクロイックミラー４２及び励起光をカットするバンドパスフィルタ４５を透過し、コンデンサレンズ４６で再び集光されて、分光イメージング部１５０へ入射する。

【0105】

分光イメージング部１５０は、観測スリット５１と、第二撮像素子１２１（１２１ａ，１２１ｂ）と、第１プリズム５３と、ミラー５４と、回折格子５５（波長分散素子）と、第２プリズム５６とを有する。

【0106】

観測スリット５１は、コンデンサレンズ４６の集光点に配置され、励起ライン数と同じ数のスリット部を有する。観測スリット５１を通過した２つの励起ライン由来の蛍光スペクトルは、第１プリズム５３で分離され、それぞれミラー５４を介して回折格子５５の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。このようにして分離された４つの蛍光スペクトルは、ミラー５４及び第２プリズム５６を介して撮像素子１２１ａ及び１２１ｂに入射し、分光データとして（ｘ、λ）情報に展開される。

【0107】

第二撮像素子１２１ａ及び１２１ｂの画素サイズ（ｎｍ／Ｐｉｘｅｌ）は、例えば２ｎｍ以上２０ｎｍ以下に設定されるが、これに限定されない。この分散値は、回折格子３５のピッチや光学的に実現しても良いし、撮像素子１２１ａ及び１２１ｂのハードウェアビニングをつかって実現しても良い。

【0108】

ステージ１４０及び走査機構５０は、Ｘ－Ｙステージを構成し、対象Ｓの蛍光画像を取得するため、対象ＳをＸ軸方向及びＹ軸方向へ移動させる。ＷＳＩ（Whole slide imaging）では、Ｙ軸方向に対象Ｓをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される（図１１参照）。

【0109】

非蛍光観察部７０は、光源７１、ダイクロイックミラー４３、対物レンズ４４、コンデンサレンズ７２、撮像素子７３などにより構成される。非蛍光観察系においては、図５では、暗視野照明による観察系を示している。

【0110】

光源７１は、ステージ２０の下方に配置され、ステージ１４０上の対象Ｓに対して、ライン照明Ｅｘ１及びＥｘ２とは反対側から照明光を照射する。暗視野照明の場合、光源７１は、対物レンズ４４のＮＡ（開口数）の外側から照明し、対象Ｓで回折した光（暗視野像）を対物レンズ４４、ダイクロイックミラー４３及びコンデンサレンズ７２を介して撮像素子７３で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。

【0111】

なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部７０は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム（In-line hologram）画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージの下方に限られず、ステージの上方や対物レンズの周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、あらかじめフォーカス座標（Ｚ座標）を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。

【0112】

（２－３）制御部

【0113】

制御部１３０は、例えば、判別部１１５による判別結果に基づき、第二撮像素子１２１による対象Ｓの撮像制御を行い、又は、第二撮像素子１２１により得られた画像の処理の制御を行いうる。第一撮像素子１１１から制御部１３０へ画像データが送信されることなく、制御部１３０が前記判別結果に基づきこれら制御を行うことによって、上記で述べた律速の影響が低減される。
また、制御部１３０は、第一撮像素子１１１により取得された画像データ自体に基づく第二撮像素子１２１の制御及び判別部１１５による判別結果に基づく第二撮像素子１２１の制御を選択的に行ってもよい。

【0114】

制御部１３０は、第二撮像素子１２１による対象Ｓの撮像制御のために、例えば、判別部１１５による判別結果に基づき、ステージ１４０と第二撮像素子１２１との間の位置関係を調整しうる。当該調整のために、例えば、制御部１３０はステージ１４０若しくは第二撮像素子１２１を移動させてよく、又は、ステージ１４０及び第二撮像素子１２１の両方を移動させうる。

【0115】

制御部１３０は、第二撮像素子１２１による対象Ｓの撮像制御のために、例えば、第二観察光学系１２２及び／又は第二照明光学系１２３を調整してもよい。例えば、制御部１３０は、当該撮像制御のために、第二観察光学系１２２に含まれる対物レンズを、他の倍率の対物レンズへと切り替えうる。また、制御部１３０は、当該撮像制御のために、第二照明光学系１２３に含まれる光源を制御して、照明光を変更しうる。

【0116】

図１４に、制御部１３０のブロック図の一例を示す。図１４に示されるとおり、制御部１３０は、さらに、撮像シーケンス制御部１３１、露光制御部１３２、光量制御部１３３、画像処理部１３４、及び演算パラメータ制御部１３５などから選ばれる少なくとも一つを含みうる。

【0117】

制御部１３０は、例えば対象Ｓの領域に関する特徴に基づいて撮像順序を制御する撮像シーケンス制御部１３１を更に含みうる。撮像シーケンス制御部１３１によって、より効率的に又はより適切に対象Ｓの複数の部分を撮像することができる。

【0118】

撮像シーケンス制御部１３１は、前記複数の領域のつなぎ目が、前記対象中の関心領域に重なり合わないように撮像制御しうる。前記複数の領域のつなぎ目は、画質が悪化する可能性があるので、上記のとおりに撮像制御が行われることで、関心領域の画質悪化を防ぐことができる。

【0119】

撮像シーケンス制御部１３１は、前記対象中の関心領域が複数回撮像されるように撮像制御しうる。当該複数回の撮像における撮像領域は、好ましくは互いにずれていてよいが、前記関心領域を含むように設定されうる。より好ましくは、当該複数回の撮像における撮像領域は、当該関心領域が各回の撮像領域の縁に重ならないように設定されうる。

【0120】

制御部１３０は、ゲイン及び／又は露光時間を制御する露光制御部１３２を更に含みうる。露光制御部１３２は、前記対象の領域に関する特徴に基づいて、ゲイン及び／又は露光時間を制御しうる。当該露光制御部は、例えばゲイン及び／又は露光時間をピクセル単位及び／又は波長単位で制御しうる。

【0121】

露光制御部１３２は、例えば第二撮像素子１２１、第二観察光学系１２２、又は第二照明光学系１２３のいずれかを制御することによって、ゲイン及び／又は露光時間を制御しうる。例えば、露光制御部１３２は、シャッター（第二撮像素子１２１、第二観察光学系１２２、又は第二照明光学系１２３のいずれかに含まれていてよい）を制御することによって、露光時間を制御しうる。また、露光制御部１３２は、第二撮像素子１２１（例えば第二撮像素子１２１に含まれるＡＤ変換器など）を制御することによって、ゲインを制御しうる。

【0122】

制御部１３０は、光源の光量を制御する光量制御部１３３をさらに含みうる。光量制御部１３３は、例えば第二撮像ユニット１２０の第二照明光学系１２３の光量を制御しうる。

【0123】

制御部１３０は、第二撮像素子１２１により得られた画像を処理する画像処理部１３４、及び、当該画像処理において用いられる演算パラメータ制御部１３５を含みうる。

【0124】

画像処理部１３４による画像処理は、例えば蛍光分離処理を含みうる。すなわち、画像処理部１３４は、例えば第二撮像素子１２１により得られた画像の蛍光分離処理を行いうる。当該蛍光分離処理は、例えば、生体組織を標識した蛍光体に由来する蛍光シグナルと自家蛍光シグナル（例えば生体組織由来の自家蛍光シグナル、対物レンズ由来の自家蛍光シグナル、及びイマージョンオイル由来の自家蛍光シグナル）とを分離する分離処理、又は、生体組織を標識した複数の蛍光体それぞれに由来する蛍光シグナルを互いに分離する分離処理であってよい。画像処理部１３４による蛍光分離処理の詳細については後述する。

【0125】

演算パラメータ制御部１３５は、画像処理部１３４による画像処理において用いられる演算パラメータを調整する。好ましくは、演算パラメータ制御部１３５は、当該調整を、判別部１１５による判別の結果に基づき行う。

【0126】

演算パラメータ制御部１３５は、例えば、画質補正用パラメータを調整しうる。画質補正用パラメータの例として、ホワイトバランス調整用パラメータ、彩度補正用パラメータ，コントラスト補正用パラメータを挙げることができる。

【0127】

また、演算パラメータ制御部１３５は、前記蛍光分離処理において用いられるパラメータを調整しうる。例えば、前記演算パラメータ制御部は、蛍光分離処理用の計算行列を調整しうる。

【0128】

制御部１３０の機能（例えば上記で述べた撮像シーケンス制御部、露光制御部、光量制御部、画像処理部、及び演算パラメータ制御部などの機能）は、情報処理装置により実現されてよい。制御部１３０の機能を実現するための情報処理装置のハードウェア構成例を以下で、図２６を参照しながら説明する。なお、情報処理装置の構成は以下に限定されない。

【0129】

図２６に示される情報処理装置１０００は、ＣＰＵ（Central Processing Unit）１００１、ＲＡＭ１００２、及びＲＯＭ１００３を備えている。ＣＰＵ１００１、ＲＡＭ１００２、及びＲＯＭ１００３は、バス１００４を介して相互に接続されている。バス１００４には、さらに入出力インタフェース１００５が接続されている。

【0130】

入出力インタフェース１００５には、通信装置１００６、記憶部１００７、ドライブ１００８、出力部１００９、及び入力部１０１０が接続されている。

【0131】

通信装置１００６は、情報処理装置１０００をネットワーク１０１１に有線又は無線で接続する。通信装置１００６によって、情報処理装置１０００は、ネットワーク１０１１を介して各種データ（例えば画像データなど）を取得することができる。取得したデータは、例えばディスク１００７に格納されうる。通信装置１００６の種類は当業者により適宜選択されてよい。

【0132】

記憶部１００７は、オペレーティング・システム（例えば、ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）、又はｉＯＳ（登録商標）など）、本技術に従う画像取得方法を顕微鏡装置において実行させるためのプログラム、及び他の種々のプログラム、並びに、各種データ（例えば画像データ及び特徴データなど）が格納されうる。

【0133】

ドライブ１００８は、記録媒体に記録されているデータ（例えば画像データ及び特徴データなど）又はプログラムを読み出して、ＲＡＭ１００２に出力することができる。記録媒体は、例えば、ｍｉｃｒｏＳＤメモリカード、ＳＤメモリカード、又はフラッシュメモリであるが、これらに限定されない。

【0134】

出力部１００９は、画像データに基づき、画像表示部に画像表示光を出力させる。入力部１０１０は、例えばユーザによる顕微鏡装置の操作を受け付ける。

【0135】

（２－４）ステージ

【0136】

ステージ１４０は、生体組織を含む対象Ｓを保持する。例えば、対象Ｓはステージ１４０上に載せられてよく、又は、対象Ｓはステージ１４０に取り付けられてもよい。ステージ１４０は、移動可能であるように構成されうる。ステージ１４０の移動は、例えば制御部１３０により制御されうる。

【0137】

（２－５）撮像制御の第一の例（蛍光分離処理）

【0138】

生体組織の蛍光観察において、蛍光分離処理が行われることがある。本技術の顕微鏡装置は、蛍光分離処理が行われる蛍光観察への使用に適している。以下で、本技術の顕微鏡装置により蛍光標識された生体組織の撮像が行われるところの例を、図１Ａ及びＢ並びに図１５を参照しながら説明する。図１Ａ及びＢは上記で説明したとおりであり、図１５は、当該撮像処理の処理フロー図の一例である。

【0139】

（２－５－１）処理フロー

【0140】

図１５のステップＳ１０１において、本技術の顕微鏡装置を用いた撮像処理が開始される。当該撮像処理の開始に先立ち、図１Ａに示されるとおり、生体組織を含む対象Ｓがステージ１４０に置かれる。また、ステージ１４０は、第一撮像ユニット１１０による撮像が可能な位置に配置される。

【0141】

ステップＳ１０２の第一撮像工程において、第一撮像ユニット１１０による対象Ｓの撮像が行われる。当該撮像は例えば以下の通りに行われうる。

【0142】

ステップＳ１０２において、第一照明光学系１１３が、ステージ１４０上の対象Ｓに光を照射する。当該光は、例えば対象Ｓに含まれる蛍光体、特には観察対象領域を標識した蛍光体を励起する励起光であってよい。ステップＳ１０２において、制御部１３０又はユーザが第一照明光学系１１３を制御して、前記光の照射が行われうる。

【0143】

ステップＳ１０２において、第一撮像素子１１１が、前記光が対象Ｓに照射された状態で、第一観察光学系１１２を介して対象Ｓを撮像して、画像データを取得する。当該画像データは、対象Ｓの全体又は一部の画像データであってよい。当該画像データは、撮像により得られた画像データ自体、若しくは、撮像により得られた画像データを圧縮して得られた圧縮画像データ、又は、前記画像データと前記圧縮画像データの両方であってもよい。当該撮像は、特には、第一撮像素子１１１が、対象Ｓに含まれる生体組織の少なくとも一部を撮像するように行われうる。ステップＳ１０２における前記撮像は、制御部１３０又はユーザが第一撮像素子１１１を制御して行われうる。

【0144】

ステップＳ１０３の判別工程において、第一撮像素子１１１（特には第一撮像素子１１１に備えらえた判別部１１５）が、ステップＳ１０２において取得された画像データに基づいて、対象Ｓに関する特徴を判別する。例えば、判別部１１５が、対象Ｓの属性に関する判別若しくは対象Ｓの領域に関する判別、又は、これら両方の判別を行いうる。

【0145】

例えば、判別部１１５は、前記画像データに基づき、対象Ｓに含まれる生体組織が、どの器官若しくは部位に由来する生体組織であるか、又は、どの組織に属する生体組織であるかを判別しうる。例えば、判別部１１５は、前記生体組織が、脳、口腔、肺、気管、心臓、食道、胃、腸、腎臓、肝臓、膵臓、乳腺、又は皮膚の組織であるかを判別しうる。また、判別部１１５は、前記生体組織が、上皮組織、結合組織、筋組織、及び神経組織のいずれに属するかを判別してもよい。

【0146】

判別部１１５は、前記画像データに基づき、前記生体組織中の構成要素の大きさ及び／又は数に関する判定を行ってもよい。当該構成要素は、例えば上皮組織、結合組織、筋組織、若しくは神経組織であってよく、又は、細胞若しくは細胞小器官であってもよい。より具体的には、判別部１１５は、前記生体組織中の脂肪組織の大きさ、又は、前記生体組織中の赤血球の大きさ及び／又は数に関する判別を行いうる。

【0147】

判別部１１５は、前記画像データに基づき、前記生体組織が病変部を有するかの判別、前記生体組織がどの疾患を有するかの判別、又は、疾患の進行度の判別を行ってもよい。

【0148】

判別部１１５は、前記画像データに基づき、自家蛍光レベルの判別を行ってもよい。当該自家蛍光は、例えば、前記生体組織に由来する自家蛍光であってよく、前記生体組織を封入するための封入材に由来する自家蛍光であってよく、又は、撮像環境に由来する自家蛍光（例えば第一観察光学系１１２の対物レンズ由来の自家蛍光又はイマージョンオイルの自家蛍光など）であってもよい。前記封入材に関して、例えばスライドガラスとカバーガラスとの間に組織を封入する際に用いられる媒質又は使用する薬剤によってスペクトル又は輝度が異なりうる。

【0149】

判別部１１５は、好ましくは学習済みモデルを用いて、対象Ｓに関する特徴を判別する。当該学習済みモデルは、例えば、教師データとして、生体組織を含む対象の画像データと当該対象に関する特徴との組合せを１つ又は複数用いて生成されたものであってよい。当該学習済みモデルに関して、上記「（２－１－１）第一撮像素子により行われる判別」における説明が、本例においても当てはまる。

【0150】

ステップＳ１０３において、第一撮像素子１１１は、判別部１１５による判別結果を制御部１３０に送信する。ステップＳ１０３において、例えば判別結果に加えて、対象Ｓの画像データ及び／又は圧縮画像データが制御部１３０に送信されてもよいが、好ましくは対象Ｓの画像データ及び／又は圧縮画像データは制御部１３０に送信されない。このように、第一撮像素子１１１が、判別結果だけを制御部１３０へ出力することによって、第一撮像素子１１１の出力インタフェース等による律速の影響が低減される。また、制御部１３０が判別結果だけを受け取ることで、制御部１３０の処理負担が軽減される。

【0151】

ステップＳ１０４の制御工程において、制御部１３０が、第一撮像素子１１１から送信された前記判別結果を受信する。制御部１３０は、当該判別結果に基づき、第二撮像ユニット１２０による撮像を制御するための撮像制御データ、第二撮像ユニット１２０による撮像によって得られた画像データの処理を制御するための画像処理制御データ、又は、これらデータの両方を生成しうる。

【0152】

前記撮像制御データは、例えば第二撮像素子１２１による分割撮像の仕方に関する撮像制御データを含み、より具体的には、例えば分割の仕方、分割された領域の撮像の順序、又は撮像条件（例えば倍率、ゲイン、露光時間、及び光量など）などに関するデータを含みうる。好ましくは、制御部１３０は、対象Ｓ中の関心領域（例えば疾患領域、特には腫瘍領域）が、分割された領域のつなぎ目に重ならないように、分割の仕方を設定しうる。分割された領域のつなぎ目は画質が劣化する可能性があるところ、制御部がこのように分割の仕方を設定することで、関心領域の画質劣化を防ぐことができる。
撮像制御データは、例えば上記で説明した撮像シーケンス制御部１３１、露光制御部１３２、又は光量制御部１３３によって生成されうる。

【0153】

前記画像処理制御データは、例えば後述のステップＳ１０６において制御部１３０により行われる画像処理を制御するためのデータを含みうる。前記画像処理制御データは、より具体的には、ステップＳ１０５において取得された複数の画像データのつなぎ方に関するデータ、当該複数の画像データそれぞれの画像処理の仕方に関するデータ、ステップＳ１０６における蛍光分離処理に関するデータであってよい。
画像処理制御データは、例えば上記で説明した画像処理部１３４又は演算パラメータ制御部により生成されうる。

【0154】

ステップＳ１０５の第二撮像工程において、制御部１３０は、ステップＳ１０４において生成された撮像制御データに基づき第二撮像ユニット１２０を制御して、第二撮像ユニット１２０に対象Ｓを撮像させうる。当該撮像について、以下でより詳細に説明する。
なお、当該撮像に先立ち、制御部１３０は、対象Ｓが置かれているステージ１４０を、第二撮像ユニット１２０による撮像が可能な位置に移動させる。移動後の状態の例が、図１Ｂに示されている。代替的には、制御部１３０が、対象Ｓを移動又は操作する装置を駆動して、当該装置により、対象Ｓを、ステージ１４０から、第二撮像ユニット１２０に別途設けられているステージへと移動させてもよい。

【0155】

例えば、ステップＳ１０５において、第二照明光学系１２３が、ステージ１４０上の対象Ｓに、対象Ｓに含まれる蛍光体の励起光を照射する。当該励起光は、ステップＳ１０２において照射された光と同じであってよく、又は、異なっていてもよい。ステップＳ１０５において、制御部１３０又はユーザが第二照明光学系１２３を制御して、前記励起光の照射が行われうる。

【0156】

ステップＳ１０５において、前記光が対象Ｓに照射された状態で、第二撮像素子１２１が、前記撮像制御データに基づき、例えば、対象Ｓを第一撮像素子１１１と異なる倍率で撮像しうる。例えば、第二撮像素子１２１は、前記撮像制御データに基づき、第一撮像素子１１１により撮像が行われた領域を複数の領域に分割して撮像しうる。例えば、第二撮像素子１２１による撮像は複数回行われ、これにより複数の画像データ（以下「分割画像データ」ともいう）が得られる。当該分割撮像は、例えばタイリング方式又はラインスキャン方式で行われうる。

【0157】

ステップＳ１０５において、第二撮像素子１２１は、励起光照射が行われることで対象Ｓから生じた蛍光を、第二観察光学系１２２を介して受光する。第二観察光学系１２２は、所望の蛍光を分離して受光するために、波長分離素子（例えばフィルタ又は分光器など）を含みうる。

【0158】

第二撮像素子１２１は、ステップＳ１０５における撮像により取得された画像データ（１又は複数の分割画像データ、特には複数の分割画像データ）を制御部１３０に送信する。

【0159】

ステップＳ１０６の画像処理工程において、制御部１３０は、ステップＳ１０５において取得された画像データ（１又は複数の分割画像データ、特には複数の分割画像データ）を受信し、当該画像データを用いて画像処理を行う。制御部１３０は、例えば前記画像処理制御データに基づき、当該画像処理を行いうる。

【0160】

例えば、ステップＳ１０６において、制御部１３０は、前記複数の分割画像データのうちの２つ以上の分割画像データを用いて、当該２つ以上の分割画像データの領域に関する１つの画像データを生成しうる。例えば、制御部１３０は、前記複数の画像データを用いて、ステップＳ１０２において撮像された領域全体の画像データを生成しうる。

【0161】

また、ステップＳ１０６において、制御部１３０は、前記画像データ（１又は複数の分割画像データ、特には複数の分割画像データ）に対して蛍光分離処理を行いうる。ステップＳ１０６において、制御部１３０は、ステップＳ１０２において撮像された領域全体の画像データに対して蛍光分離処理を行ってもよい。当該蛍光分離処理は、例えば、生体組織を標識した蛍光体に由来する蛍光シグナルと自家蛍光シグナルとを分離する分離処理、又は、生体組織を標識した複数の蛍光体それぞれに由来する蛍光シグナルを互いに分離する分離処理であってよい。蛍光分離処理の詳細は、以下「（２－５－２）蛍光分離処理」において別途説明する。

【0162】

ステップＳ１０６における画像処理によって生成された画像データは、例えば顕微鏡装置１００に備えられている記憶媒体に格納されてよく、又は、顕微鏡装置１００と有線又は無線により接続された外部の記憶媒体へと出力されてもよい。

【0163】

ステップＳ１０７において、顕微鏡装置１００は撮像処理を終了する。
以上の画像取得処理によって、第一撮像素子１１１から制御部１３０へ画像データを送信することなく、第二撮像素子１２１が制御される。これにより、効率的又は適切な画像取得が可能となる。

【0164】

（２－５－２）蛍光分離処理

【0165】

ステップＳ１０６において、制御部１３０に含まれる画像処理部１３４は、例えば、少なくとも１つの蛍光体で標識された生体組織の画像データから、生体組織の自家蛍光シグナルと少なくとも一つの蛍光体の蛍光シグナルとを分離する蛍光分離処理を行いうる。また、画像処理部１３４は、２以上の蛍光体で標識された生体色素の画像データから、２以上の蛍光体それぞれの蛍光シグナルを分離する蛍光分離処理を行いうる。これらの蛍光分離処理は、例えば、生体組織に関する情報及び蛍光体に関する情報に基づいて行われてよい。

【0166】

ここで、「生体組織に関する情報」（以降、便宜的に「生体組織情報」と呼称する）とは、生体組織に含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。「計測チャネル」とは、自家蛍光シグナルを構成する１以上の要素を示す概念である。より具体的に説明すると、自家蛍光スペクトルは、１以上の自家蛍光成分が有する蛍光スペクトルが混合されたものである。例えば、図２４には、蛍光試薬としてAlexa Fluor 488（図中には「Alexa 488」と表記）、Alexa Fluor 555（図中には「Alexa 555」と表記）、およびAlexa Fluor 647（図中には「Alexa 647」と表記）が用いられた場合の、自家蛍光を含む蛍光スペクトルが示されている。自家蛍光成分としては、NADH（nicotinamide adenine dinucleotide還元型）、FAD（flavin adenine dinucleotide）、およびPorphinが含まれており、これらの自家蛍光成分が有する蛍光スペクトルが混合されたものが自家蛍光スペクトルとして図２４に含まれている。本技術に係る計測チャネルとは、図２４の例では、自家蛍光スペクトルを構成するNADH、FAD、およびPorphinを指す概念であり、計３チャネルが用いられていることになる（換言すると、本技術に係る計測チャネルは、生体組織に含まれる自家蛍光成分を示す情報である）。自家蛍光成分の数は生体組織によって様々であるため、計測チャネルは、生体組織情報として各生体組織に紐づけられて管理されている。また、生体組織情報に含まれる「スペクトル情報」とは、各生体組織に含まれる自家蛍光成分それぞれが有する自家蛍光スペクトルに関する情報である。なお、生体組織情報の内容は上記に限定されない。生体組織情報については後段にてさらに詳細に説明する。

【0167】

「蛍光体に関する情報」（以降、便宜的に「蛍光体情報」と呼称する）とは、蛍光体に含まれる蛍光成分のスペクトル情報を含む情報である。蛍光体情報に含まれる「スペクトル情報」とは、各蛍光体に含まれる蛍光成分それぞれが有する蛍光スペクトルに関する情報である。なお、蛍光体情報の内容は上記に限定されない。蛍光体情報については後段にてさらに詳細に説明する。

【0168】

画像処理部１３４は、生体組織情報に含まれる計測チャネルおよびスペクトル情報と、蛍光体情報に含まれるスペクトル情報に基づいて、生体組織由来の自家蛍光シグナルを推定し、画像データから自家蛍光シグナルを除去することで蛍光体の蛍光シグナルを抽出することができる。例えば、画像処理部１３４は、自家蛍光成分であるNADH、FAD、およびPorphinによる自家蛍光シグナルを画像情報から除去することによって、図２５に示すようにAlexa Fluor 488、Alexa Fluor 555、およびAlexa Fluor 647による蛍光シグナルを抽出することができる。

【0169】

画像処理部１３４による上記処理では、自家蛍光シグナルの減算処理のために非標識の生体組織の蛍光シグナルを測定することが不要であるため、ユーザの負担が軽減される。また、画像処理部１３４は、生体組織情報または蛍光体情報のいずれか一方ではなく、生体組織情報および蛍光体情報の両方を用いることによってより高い精度で自家蛍光シグナルと蛍光シグナルとを分離することができる。

【0170】

また、従来、計測対象である蛍光シグナルを取得するために、生体組織由来の自家蛍光シグナルを無視できる程度にまで計測対象となる蛍光シグナルを増幅させる方法が広く一般的に行われているところ、上記の蛍光分離処理では生体組織由来の自家蛍光シグナルの取得は困難である。一方、画像処理部１３４は、画像データから生体組織由来の自家蛍光シグナルを抽出することができる。したがって、画像処理部１３４は、画像データにおける自家蛍光シグナルおよび蛍光シグナルの分布に基づいて、画像データに含まれる物体（例えば、細胞、細胞内構造（細胞質、細胞膜、核、など）、または組織（腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など））の領域を認識するセグメンテーション（または領域分割）を行うことができる。

【0171】

また、生体組織の固定化状態（例えば、固定化方法など）によって生体組織全体の自家蛍光シグナルは変化するため、画像処理部１３４は、抽出した自家蛍光シグナルに基づいて生体組織の固定化状態を解析（評価）することができる。より具体的には、画像処理部１３４は、自家蛍光を発する２以上の成分それぞれの自家蛍光シグナルの構成比に基づいて生体組織の固定化状態を解析することができる。

【0172】

より具体的には、画像処理部１３４は、生体組織情報に含まれる計測チャネルに基づいて自家蛍光シグナルを構成する１以上の要素を認識する。例えば、画像処理部１３４は、自家蛍光シグナルを構成する１以上の自家蛍光成分を認識する。そして、画像処理部１３４は、生体組織情報に含まれる、これらの自家蛍光成分のスペクトル情報を用いて画像データに含まれる自家蛍光シグナルを予想又は推定する。そして、画像処理部１３４は、蛍光体情報に含まれる、蛍光体の蛍光成分のスペクトル情報、および予想又は推定した自家蛍光シグナルに基づいて画像データから自家蛍光シグナルと蛍光シグナルとを分離する。

【0173】

ここで、生体組織が２以上の蛍光体で染色されている場合、画像処理部１３４は、生体組織情報および蛍光体情報に基づいて画像データ（または、自家蛍光シグナルと分離された後の蛍光シグナル）からこれら２以上の蛍光体それぞれの蛍光シグナルを分離する。例えば、画像処理部１３４は、蛍光体情報に含まれる、各蛍光体の蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光体それぞれの蛍光シグナルを分離する。

【0174】

また、自家蛍光シグナルが２以上の自家蛍光成分によって構成されている場合、画像処理部１３４は、生体組織情報および蛍光体情報に基づいて画像データ（または、蛍光シグナルと分離された後の自家蛍光シグナル）から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。例えば、画像処理部１３４は、生体組織情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。

【0175】

蛍光シグナルおよび自家蛍光シグナルを分離した画像処理部１３４は、これらのシグナルを用いて各種処理を行う。例えば、画像処理部１３４は、分離後の自家蛍光シグナルを用いて、他の生体組織の画像データに対して減算処理（「バックグラウンド減算処理」とも呼称する）を行うことで当該他の生体組織の画像データから蛍光シグナルを抽出してもよい。生体組織に使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の生体組織が複数存在する場合、これらの生体組織の自家蛍光シグナルは類似している可能性が高い。ここでいう類似の標本とは、例えば染色される組織切片（以下切片）の染色前の組織切片、染色された切片に隣接する切片、同一ブロック（染色切片と同一の場所からサンプリングされたもの）における染色切片と異なる切片、又は同一組織における異なるブロック（染色切片と異なる場所からサンプリングされたもの）における切片等）、異なる患者から採取した切片などが含まれる。そこで、画像処理部１３４は、ある生体組織から自家蛍光シグナルを抽出できた場合、他の生体組織の画像データから当該自家蛍光シグナルを除去することで、当該他の生体組織の画像データから蛍光シグナルを抽出してもよい。また、画像処理部１３４は、他の生体組織の画像データを用いてＳ／Ｎ値を算出する際に、自家蛍光シグナルを除去した後のバックグラウンドを用いることでＳ／Ｎ値を改善することができる。

【0176】

また、画像処理部１３４は、バックグラウンド減算処理以外にも分離後の蛍光シグナルまたは自家蛍光シグナルを用いて様々な処理を行うことができる。例えば、画像処理部１３４は、これらのシグナルを用いて生体組織の固定化状態の解析を行ったり、画像データに含まれる物体（例えば、細胞、細胞内構造（細胞質、細胞膜、核、など）、または組織（腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など））の領域を認識するセグメンテーション（または領域分割）を行ったりすることができる。生体組織の固定化状態の解析およびセグメンテーションについては後段にて詳述する。

【0177】

画像処理部１３４は、上記蛍光分離処理によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて画像データを生成（再構成）しうる。例えば、画像処理部１３４は、蛍光シグナルのみが含まれる画像データを生成したり、自家蛍光シグナルのみが含まれる画像データを生成したりすることができる。その際、蛍光シグナルが複数の蛍光成分によって構成されていたり、自家蛍光シグナルが複数の自家蛍光成分によって構成されたりしている場合、画像処理部１３４は、それぞれの成分単位で画像データを生成することができる。さらに、画像処理部１３４が分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理（例えば、生体組織の固定化状態の解析、セグメンテーション、またはＳ／Ｎ値の算出など）を行った場合、画像処理部１３４は、それらの処理の結果を示す画像データを生成してもよい。画像処理部１３４による画像生成によって、標的分子を標識した蛍光体の分布情報、つまり蛍光の二次元的な広がりや強度、波長、及びそれぞれの位置関係が可視化され、特に標的物質の情報が複雑な組織画像解析領域においてユーザである医師や研究者の視認性を向上させることができる。

【0178】

また画像処理部１３４は、上記蛍光分離処理によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて自家蛍光シグナルに対する蛍光シグナルを区別するよう制御し、画像データを生成しても良い。具体的には、標的分子を標識した蛍光体の蛍光スペクトルの輝度を向上させる、標識した蛍光体の蛍光スペクトルのみを抽出し変色させる、２以上の蛍光体によって標識された生体組織から２以上の蛍光体の蛍光スペクトルを抽出しそれぞれを別の色に変色する、生体組織の自家蛍光スペクトルのみを抽出し除算または減算する、ダイナミックレンジを向上させる、等を制御し画像データを生成してもよい。これによりユーザは目的となる標的物質に結合した蛍光体由来の色情報を明確に区別することが可能となり、ユーザの視認性を向上させることができる。

【0179】

（２－６）撮像制御の第二の例（撮像シーケンス制御）

【0180】

生体組織を顕微鏡観察する場合、例えば目的とする生体組織を高い画質で撮像し、その他の領域を低い画質で撮像することで、生成されるデータ量を削減することができる。本技術の顕微鏡装置は、目的とする生体組織を選択的に高画質で撮像するために適している。例えば、本技術の顕微鏡装置により、目的とする生体組織の領域（以下「関心領域」ともいう）を含む領域を高画質で撮像し、関心領域を含まない領域を低画質で撮像することが可能となる。このように、本技術の顕微鏡装置は、撮像領域に応じて撮像条件を変更することができ、これにより、生成される画像データの量を削減することができる。以下では、このような撮像処理の例を説明する。

【0181】

本技術の顕微鏡装置によって、関心領域の抽出が行われ、そして、当該抽出の結果に基づき当該顕微鏡装置の撮像シーケンスが制御されるところの撮像処理の例を、図１Ａ及びＢ並びに図１５を参照しながら説明する。

【0182】

ステップＳ１０１及びＳ１０２は、上記「（２－５）撮像制御の第一の例（蛍光分離処理）」において説明したとおりであり、その説明が本例においても当てはまる。

【0183】

ステップＳ１０３の判別工程において、第一撮像素子１１１（特には判別部１１５）が、ステップＳ１０２において取得された画像データに基づいて、対象Ｓに関する特徴を判別する。例えば、判別部１１５が、対象Ｓの領域に関する判別を行いうる。また、判別部１１５は、対象Ｓの領域に関する判別に加えて、対象Ｓの属性に関する判別を行ってもよい。

【0184】

例えば、判別部１１５は、前記画像データに基づき、対象Ｓの領域に関する判別を行いうる。判別部１１５は、例えば、当該判別によって、対象Ｓ中の関心領域を抽出しうる。関心領域は、例えば特定の細胞又は組織の領域、又は、病変領域などでありうる。また、判別部１１５は、当該判別によって、目的外の物体の領域を抽出してもよい。当該目的外の物体は、例えばゴミ又はアーチファクトでありうる。

【0185】

判別部１１５は、例えば、対象Ｓの領域に関する判別の結果に基づき、第一撮像素子１１１により撮像された領域を、関心領域とそれ以外の領域とに区別された画像データを生成しうる。当該区別のために、例えば関心領域に所定のクラスが割り当てられ、且つ、それ以外の領域に、前記クラスと異なるクラスが割り当てられうる。これらのクラスは、これら領域それぞれの特徴に予め関連付けられていてよい。

【0186】

【0187】

ステップＳ１０３において、第一撮像素子１１１は、判別部１１５による判別結果を制御部１３０に送信する。

【0188】

【0189】

制御部１３０は、例えば、前記撮像制御データとして、第二撮像素子１２１による分割撮像の仕方に関する撮像制御データを生成しうる。撮像制御データは、例えば撮像領域の設定の仕方、分割の仕方、分割された領域の撮像の順序、及び撮像条件（例えば倍率、ゲイン、露光時間、及び光量など）などに関するデータを含みうる。

【0190】

制御部１３０により生成される前記撮像制御データは、例えば、関心領域を含む領域の撮像条件と、関心領域以外の領域の撮像条件とを含みうる。例えば、関心領域を含む領域の撮像における解像度又は倍率が、関心領域以外の領域の撮像における解像度又は倍率よりも高くなるように、これらの撮像条件が設定されうる。

【0191】

制御部１３０により生成される前記撮像制御データは、例えば、分割の仕方に関するデータを含みうる。制御部１３０は、例えば、第一撮像素子１１１により撮像された領域を、ステップＳ２０３における判別結果に基づき、関心領域を含む領域と、関心領域を含まない領域とに分割しうる。

【0192】

例えば図１６に示されるように、制御部１３０は、第一撮像素子１１１により撮像された領域Ｒを、関心領域ＲＯＩを含む領域Ｒ１と、関心領域ＲＯＩを含まない領域Ｒ２とに分割しうる。

【0193】

例えば、図１６に示されるとおり、領域Ｒ１の一部と領域Ｒ２の一部とが重なり合うつなぎ目領域Ｒｓが存在するように、領域Ｒ１及びＲ２が設定されうる。このように、好ましくは、制御部１３０は、分割された複数の領域のつなぎ目が重なり合うように設定しうる。つなぎ目領域によって、前記複数の領域の画像をつなぎ合わせて全体画像を再構成する場合に、より正確な再構成が可能となる。

【0194】

例えば、図１６に示されるとおり、つなぎ目領域Ｒｓに関心領域ＲＯＩが含まれないように、領域Ｒ１及びＲ２が設定されうる。このように、好ましくは、制御部１３０は、分割された複数の領域のつなぎ目領域に、関心領域が重なり合わないように、これら複数の領域を設定しうる。
なお、つなぎ目領域Ｒｓの画質は劣化する場合がある。そのため、図１７に示されるように、つなぎ目領域Ｒｓに関心領域ＲＯＩが含まれる場合は、関心領域ＲＯＩの画質が劣化する場合がある。

【0195】

また、制御部１３０は、図１８に示されるように、１つの関心領域ＲＯＩにつき、複数の撮像領域Ｒ３が設定されてよい。図１８において、関心領域ＲＯＩ－１に対して、撮像領域Ｒ３－１、Ｒ３－２、及びＲ３－３が設定されており、すなわち、撮像領域Ｒ３－１、Ｒ３－２、及びＲ３－３のいずれもが、関心領域ＲＯＩ－１を含む。これにより、関心領域ＲＯＩ－１の高画質化が可能となる。このように、好ましくは、制御部１３０は、１つの関心領域につき複数回の撮像が行われるように撮像条件を設定しうる。
なお、関心領域ＲＯＩを含まない領域については、図１８に示されるように、１つの撮像領域Ｒ４が設定されてよい。

【0196】

また、制御部１３０は、１つの関心領域ＲＯＩ－１につき複数回の撮像が行われる場合、図１８に示されるように、当該複数回の撮像の撮像領域Ｒ３－１、Ｒ３－２、及びＲ３－３は互いにずらされて設定されうる。これにより、関心領域ＲＯＩ－１の高画質化が可能となる。このように、好ましくは、制御部１３０は、１つの関心領域に対して、当該関心領域を含み且つ互いにずれている複数の撮像領域を設定しうる。

【0197】

ステップＳ１０４において、制御部１３０は、生成された撮像制御データを第二撮像ユニット１２０（例えば第二撮像素子１２１など）に送信する。

【0198】

ステップＳ１０５の第二撮像工程において、第二撮像ユニット１２０は、ステップＳ１０４において生成された撮像制御データを受信し、当該撮像制御データに基づき、対象Ｓを撮像する。前記撮像に先立ち、制御部１３０は、対象Ｓが載置されているステージ１４０を、第二撮像ユニット１２０による撮像が可能な位置に移動させる。

【0199】

【0200】

ステップＳ１０５において、前記光が対象Ｓに照射された状態で、第二撮像素子１２１が、当該撮像制御データに基づき、例えば、対象Ｓを第一撮像素子１１１と異なる倍率で撮像して画像データを取得しうる。例えば、第二撮像素子１２１は、当該撮像制御データに基づき、第一撮像素子１１１により撮像が行われた領域を、複数の領域に分割し、前記複数の領域の少なくとも１つを撮像し画像データを取得してもよい。すなわち、第一撮像素子１１１により撮像が行われた領域が、複数の領域に分割して撮像されうる。このように、第二撮像素子１２１による撮像は複数回行われてよく、これにより複数の画像データが得られる。

【0201】

【0202】

第二撮像素子１２１は、ステップＳ１０５における撮像により取得された画像データ（１又は複数の画像データ、特には複数の画像データ）を制御部１３０に送信する。

【0203】

ステップＳ１０６の画像処理工程において、制御部１３０は、ステップＳ１０５において取得された画像データ（１又は複数の画像データ、特には複数の画像データ）を受信し、当該複数の画像データを用いて画像処理を行う。

【0204】

例えば、ステップＳ１０６において、制御部１３０は、前記複数の画像データのうちの２つ以上の画像データを用いて、１つの画像データを生成しうる。例えば、制御部１３０は、前記複数の画像データを用いて、ステップＳ１０２において撮像された領域全体の画像データを生成しうる。

【0205】

ステップＳ１０６における画像処理によって生成された画像データは、例えば顕微鏡装置１００に備えられている記憶媒体に格納されてよく、又は、顕微鏡装置１００と有線又は無線により接続された外部の記憶媒体に格納されてもよい。

【0206】

ステップＳ１０７において、顕微鏡装置１００は撮像処理を終了する。

【0207】

（２－７）撮像制御の第三の例（撮像パラメータ制御）

【0208】

信号強度に対して適切な露光時間が設定されずに撮像が行われた場合、撮像により得られた画像中に白飛び又は黒つぶれが発生しうる。そのため、露光時間の調整が行われることが望ましい。本技術の顕微鏡装置により、そのような調整を行うことが可能となる。

【0209】

本技術の顕微鏡装置によって、関心領域の抽出が行われ、そして、当該抽出の結果に基づき当該顕微鏡装置の撮像パラメータ（例えば露光時間及び／又はゲイン）が制御されるところの撮像処理の例を、図１Ａ及びＢ並びに図１５を参照しながら説明する。

【0210】

図１５のステップＳ１０１及びＳ１０２は、上記「（２－５）撮像制御の第一の例（蛍光分離処理）」において説明したとおりであり、その説明が本例においても当てはまる。

【0211】

【0212】

例えば、判別部１１５は、前記画像データに基づき、対象Ｓの領域に関する判別を行いうる。
判別部１１５は、例えば、当該判別によって、対象Ｓ中の高信号領域及び低信号領域を抽出しうる。高信号領域は、第一撮像素子１１１により撮像された領域のうち、信号強度が所定の値以上の領域である。低信号領域は、第一撮像素子１１１により撮像された領域のうち、信号強度が所定の値未満の領域である。当該所定の値は、予め設定されていてよい。例えば、関心領域は、蛍光体によって標識されているため、その他の領域に比べて信号強度がより高くなる。
また、判別部１１５は、第一撮像素子１１１により撮像された領域を、上記の２つの領域でなく、信号強度の値に応じて、３以上の領域に分割してもよい。当該３以上の領域のそれぞれに、互いに異なる信号強度数値範囲が予め割り当てられていてよい。

【0213】

【0214】

ステップＳ１０３において、第一撮像素子１１１は、判別部１１５による判別結果を制御部１３０に送信する。

【0215】

【0216】

【0217】

制御部１３０により生成される前記撮像制御データは、例えば、高信号領域の撮像条件と低信号領域の撮像条件とを含みうる。例えば、高信号領域の撮像における露光時間が、低信号領域の撮像における露光時間よりも短くなるように、撮像条件が設定されうる。この撮像条件に従い第二撮像素子１２１による撮像を行うことで、白飛び又は黒つぶれを防ぐことができる。

【0218】

また、例えば、複数の波長の蛍光が検出される場合、例えば信号強度が波長に応じて異なる場合において、制御部１３０は、波長毎に異なる露光時間を設定しうる。

【0219】

例えば図１９のａに示されるように、第一撮像素子１１１により撮像された領域Ｒ中に、複数の関心領域Ｒ５とその他の領域Ｒ６とが存在するとする。関心領域Ｒ５は、例えば蛍光体により標識された細胞が存在する領域であり、その他の領域Ｒ６よりも明るい。図１９のａの画像データについて、判別部１１５による判別が行われ、これにより、図１９のｂに示されるとおり、判別部１１５は、関心領域Ｒ５を抽出し、且つ、領域Ｒを破線で示されるとおりに分割する。図１９のｃに示されるとおり、制御部１３０が、分割された各領域について露光時間を設定する。具体的には、制御部１３０は、関心領域Ｒ５を含む分割領域について露光時間ｔ－Δｔを設定し、且つ、その他の分割領域について露光時間ｔを設定する。すなわち、関心領域を含む分割領域の露光時間は、その他の分割領域の露光時間よりも短い。このように、制御部１３０は、分割の仕方と、分割された各領域に割り当てられた露光時間とを含む撮像制御データを生成しうる。

【0220】

図１９では、領域Ｒは２種類の領域Ｒ５及びＲ６を含むが、３種類以上の領域を含んでもよい。例えば、関心領域の信号強度に応じて、露光時間を３種類以上の露光時間が、設定されてもよい。３種以上の露光時間が設定される例を、図２０を参照して説明する。

【0221】

例えば図２０のａに示されるように、第一撮像素子１１１により撮像された領域Ｒ中に、複数の関心領域Ｒ７－１、Ｒ７－２、及びＲ７－３とその他の領域Ｒ８とが存在するとする。関心領域Ｒ７－１、Ｒ７－２、及びＲ７－３の信号強度は互いに異なる。関心領域Ｒ７－１、Ｒ７－２、及びＲ７－３、例えば異なる蛍光体により標識された細胞が存在する領域であり、その他の領域Ｒ８よりも明るい。図２０のａの画像データについて、判別部１１５による判別が行われ、これにより、図２０のｂに示されるとおり、判別部１１５は、関心領域Ｒ７－１、Ｒ７－２、及びＲ７－３を抽出し、且つ、領域Ｒを破線で示されるとおりに分割する。図２０のｃに示されるとおり、制御部１３０が、分割された各領域について露光時間を設定する。具体的には、制御部１３０は、関心領域Ｒ７－１、Ｒ７－２、及びＲ７－３を分割領域について、それぞれ露光時間ｔ－Δｔ_０、ｔ－Δｔ_１、及びｔ－Δｔ_２を設定し、且つ、その他の分割領域について露光時間ｔを設定する。すなわち、関心領域を含む分割領域の露光時間は、その他の分割領域の露光時間よりも短く、且つ、関心領域の信号強度に応じて露光時間が設定される。例えば、例えば、信号強度がより強い関心領域を含む分割領域について、より短い露光時間が設定され、信号強度がより弱い関心領域を含む分割領域について、より長い露光時間が設定されうる。
制御部１３０は、分割の仕方と、分割された各領域に割り当てられた露光時間とを含む撮像制御データを以上のとおりに生成してもよい。

【0222】

以上のように、制御部１３０は、第一撮像素子１１１により撮像された領域を、関心領域とその他の領域とに分割し、そして、制御部１３０は、関心領域が、その他の領域よりも短い露光時間で撮像されるように第二撮像素子１２１を制御する撮像制御データを生成しうる。

【0223】

【0224】

【0225】

例えば、ステップＳ１０５において、第二照明光学系１２３が、ステージ１４０上の対象Ｓに、対象Ｓに含まれる蛍光体の励起光を照射する。当該励起光は、ステップＳ１０２において照射された光と同じでありうる。ステップＳ１０５において、制御部１３０又はユーザが第二照明光学系１２３を制御して、前記励起光の照射が行われうる。

【0226】

ステップＳ１０５において、前記光が対象Ｓに照射された状態で、第二撮像素子１２１が、当該撮像制御データに基づき、例えば、対象Ｓを第一撮像素子１１１と異なる倍率で撮像しうる。例えば、第二撮像素子１２１は、前記撮像制御データに基づき、第一撮像素子１１１により撮像が行われた領域を複数の領域に分割して撮像しうる。例えば、第二撮像素子１２１による撮像は複数回行われてよく、これにより複数の画像データが得られる。
例えば図１９に示された例に関して、第二撮像素子１２１は、関心領域Ｒ５を露光時間ｔ－Δｔで撮像し、且つ、その他の領域Ｒ６を露光時間ｔで撮像しうる。

【0227】

【0228】

【0229】

ステップＳ１０６の画像処理工程において、制御部１３０は、ステップＳ１０５において取得された画像データ（１又は複数の分割画像データ、特には複数の分割画像データ）を受信し、当該画像データを用いて画像処理を行う。

【0230】

【0231】

【0232】

ステップＳ１０７において、顕微鏡装置１００は撮像処理を終了する。

【0233】

（２－８）撮像制御の第四の例（不要領域を含む対象の撮像制御）

【0234】

生体組織を顕微鏡観察する場合、例えばガラス欠損領域、ガラス端部、ゴミ、気泡、包埋剤、及びマーカー（例えば印字又は手書きされたものなど）などのアーチファクトが視野内に存在することがある。アーチファクトは、関心領域の撮像に悪影響を及ぼすことがある。
また、生体組織を顕微鏡観察する場合、解析対象外の生体組織が視野内に存在することもある。解析対象外の生体組織についても、関心領域の撮像に悪影響を及ぼすことがある。また、解析対象外の生体組織については、詳細な画像が求められない場合もある。
本技術の顕微鏡装置により、例えばアーチファクト及び解析対象外の生体組織などの不要領域を撮像することなく関心領域を撮像することができ、又は、不要領域についてのデータ量が削減されるように関心領域を撮像することもできる。これにより、撮像失敗を防ぐことができる。また、不要領域によるフォーカスへの影響を低減することもできる。以下では、このような撮像処理の例を説明する。

【0235】

（２－８－１）アーチファクトを含む対象の撮像制御

【0236】

本技術の顕微鏡装置によって、不要領域としてアーチファクトの抽出が行われ、そして、当該抽出の結果に基づき当該顕微鏡装置の撮像シーケンスが制御されるところの撮像処理の例を、図１Ａ及びＢ並びに図１５を参照しながら説明する。

【0237】

【0238】

ステップＳ１０３の判別工程において、第一撮像素子１１１（特には判別部１１５）が、ステップＳ１０２において取得された画像データに基づいて、対象Ｓに関する特徴を判別する。

【0239】

ステップＳ１０３において、例えば、判別部１１５は、前記画像データに基づき、対象Ｓの領域に関する判別を行いうる。判別部１１５は、例えば、当該判別によって、対象Ｓ中の不要領域を抽出しうる。不要領域は、例えばアーチファクト領域又は解析対象外の生体組織領域でありうる。
例えば、ステップＳ１０３において、判別部１１５は、前記画像データ中の生体組織領域と、生体組織以外の物体領域（例えばスライド上にあるラベル、カバーガラス、及びスライドガラスなど）と、を抽出しうる。
ステップＳ１０３において、判別部１１５は、さらに、前記画像データ中のアーチファクトを抽出しうる。当該アーチファクトは、例えば、ガラス欠損、ゴミ、気泡、包埋剤、又はマジック（マーカーによる印字）でありうる。アーチファクトは、例えば生体組織領域内に存在してよく又は生体組織領域外に存在してもよい。

【0240】

また、ステップＳ１０３において、判別部１１５は、対象Ｓの領域に関する判別に加えて、対象Ｓの属性に関する判別を行ってもよい。例えば、生体組織の属性に関する判別を行いうる。

【0241】

【0242】

ステップＳ１０３において、第一撮像素子１１１は、判別部１１５による判別結果を制御部１３０に送信する。

【0243】

【0244】

【0245】

制御部１３０により生成される前記撮像制御データは、例えば、分割の仕方に関するデータを含みうる。分割の仕方に関するデータに従い、ステップＳ１０２において取得された画像データの領域が、複数の分割領域に分割される。

【0246】

制御部１３０により生成される前記撮像制御データは、例えば、不要領域を含む分割領域の撮像条件と不要領域を含まない分割領域の撮像条件とを含みうる。例えば、不要領域を含む分割領域の撮像における解像度又は倍率が、不要領域を含まない分割領域の撮像における解像度又は倍率よりも低くなるように、これら分割領域の撮像条件が設定されうる。
また、制御部１３０は、不要領域を含む分割領域は撮像しないという撮像条件を設定してもよい。

【0247】

また、例えば病理検体中の関心領域とアーチファクトとが重なっている場合がある。このような場合において、制御部１３０は、当該アーチファクトは不要領域として抽出されるが、当該不要領域は関心領域に含まれる。このように関心領域が不要領域を含む場合において、当該不要領域を含む分割領域は、第二撮像工程における撮像対象として（特には高解像度又は高倍率の撮像対象）として設定されてよい。
この場合において、好ましくは、制御部１３０は、当該不要領域を含む分割領域について、その周囲にある不要領域不含の分割領域よりも後に撮像されるように撮像シーケンスを設定しうる。当該不要領域を含む分割領域は、アーチファクトの存在の故に、オートフォーカスに失敗する可能性がある。上記のとおりに撮像シーケンスを設定することで、周囲の不要領域不含分割領域のオートフォーカス結果を利用することが可能となり、これによりオートフォーカスの失敗を回避することができる。

【0248】

以上のように、制御部１３０は、第一撮像素子１１１により撮像された領域を、不要領域を含む分割領域と不要領域を含まない分割領域とに分け、各分割領域について撮像条件を設定しうる。そして、制御部１３０は、不要領域を含まない分割領域が不要領域を含む分割領域よりも高い画質で撮像されるように第二撮像素子１２１を制御する撮像制御データを生成しうる。

【0249】

【0250】

【0251】

【0252】

ステップＳ１０５において、前記光が対象Ｓに照射された状態で、第二撮像素子１２１が、当該撮像制御データに基づき、例えば、対象Ｓを第一撮像素子１１１と異なる倍率で撮像しうる。例えば、第二撮像素子１２１は、前記撮像制御データに基づき、第一撮像素子１１１により撮像が行われた領域を、複数の分割領域に分割して撮像しうる。

【0253】

【0254】

【0255】

【0256】

【0257】

【0258】

ステップＳ１０７において、顕微鏡装置１００は撮像処理を終了する。

【0259】

（２－８－２）解析対象外の生体組織を含む対象の撮像制御

【0260】

本技術の顕微鏡装置によって、不要領域として解析対象外の生体組織領域の抽出が行われ、そして、当該抽出の結果に基づき当該顕微鏡装置の撮像シーケンス又は画像処理が制御されるところの撮像処理の例を、図１Ａ及びＢ並びに図１５を参照しながら説明する。

【0261】

図１５のステップＳ１０１及びＳ１０２は、上記「（２－５）撮像制御の第一の例（蛍光分離処理）」において説明したとおりであり、その説明が本例においても当てはまる。本例において、図２１に示される画像データが取得されたとする。当該画像データ中の生体組織のうち、図２２に示される斜線領域Ｒｈが解析対象外の生体組織であるとする。

【0262】

【0263】

ステップＳ１０３において、例えば、判別部１１５は、前記画像データに基づき、対象Ｓの領域に関する判別を行いうる。判別部１１５は、例えば、当該判別によって、図２２に示される斜線領域Ｒｈを解析対象外の領域であると判別する。その他の生体組織領域Ｒｓを、解析対象領域であると判別する。

【0264】

【0265】

ステップＳ１０３において、第一撮像素子１１１は、判別部１１５による判別結果を制御部１３０に送信する。

【0266】

【0267】

制御部１３０は、例えば、前記撮像制御データとして、第二撮像素子１２１による分割撮像の仕方に関する撮像制御データを生成しうる。
制御部１３０により生成される前記撮像制御データは、例えば、斜線領域Ｒｇについては第二撮像素子１２１により撮像しないが、その他の生体組織領域Ｒｓについては第二撮像素子１２１により撮像するという撮像制御データを含む。

【0268】

【0269】

【0270】

【0271】

ステップＳ１０５において、前記光が対象Ｓに照射された状態で、第二撮像素子１２１が、当該撮像制御データに基づき、例えば、対象Ｓを第一撮像素子１１１と異なる倍率で撮像しうる。例えば、第二撮像素子１２１は、前記撮像制御データに基づき、第一撮像素子１１１により撮像が行われた領域のうち、前記その他の生体組織領域を撮像する。

【0272】

第二撮像素子１２１は、ステップＳ１０５における撮像により取得された前記その他の生体組織領域の画像データを制御部１３０に送信する。

【0273】

ステップＳ１０６の画像処理工程において、制御部１３０は、ステップＳ１０５において取得された画像データを受信し、当該画像データを用いて画像処理を行う。例えば、当該画像データに対して蛍光分離処理が行われうる。

【0274】

また、ステップＳ１０６において、制御部１３０による画像合成処理が行われてよい。例えば、制御部１３０はステップＳ１０２において取得された画像データのうちの斜線領域Ｒｈ（解析対象外領域）の画像と、ステップＳ１０５において取得されたその他の生体組織領域Ｒｓ（解析対象領域）の画像とを合成して、例えば図２３に示されるような、異なる撮像条件で撮像された２つの画像の合成画像を生成しうる。
このように、本技術の顕微鏡装置の制御部は、異なる撮像条件で撮像された２以上の部分画像を合成して合成画像を生成しうる。

【0275】

【0276】

ステップＳ１０７において、顕微鏡装置１００は撮像処理を終了する。

【0277】

（３）第１の実施形態の第２の例

【0278】

本技術は、生体組織を含む対象を撮像して画像データを取得する第一撮像素子と、前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像素子と、前記画像データに基づいて、学習済みモデルを用いて前記対象に関する特徴を判別する判別部１１５と、を備え、前記第二撮像素子は、当該判別の結果に基づき制御される、顕微鏡装置も提供する。当該顕微鏡装置は、前記第二撮像素子が、学習済みモデルを用いる判別部１１５による判別結果に基づき制御される。そのため、生体組織中の特定領域（例えば関心領域など）の画像を効率的に又は適切に取得することができる。

【0279】

この第２の例における顕微鏡装置は、判別部１１５による判別が学習済みモデルを用いて行われることを必須とすること、及び、判別部１１５が第一撮像素子に備えられていなくてもよいこと以外は、上記第１の例における顕微鏡装置と同じである。

【0280】

前記学習済みモデルを用いた判別は、上記第１の例において述べたとおりに行われてよい。当該判別によって、効率的な又は適切な画像取得が可能となる。

【0281】

例えば、判別部１１５は、第一撮像素子１１１の外部に設けられていてよい。一つの実施態様において、判別部１１５は、顕微鏡装置１００内且つ第一撮像素子１１１外に設けられていてよく、例えば制御部１３０に含まれていてもよい。

【0282】

２．第２の実施形態（画像取得システム）

【0283】

本技術は、上記１．において述べた顕微鏡装置と、当該顕微鏡装置に備えられている判別部１１５による判別の結果に基づき、前記第二撮像素子による前記対象の撮像制御又は前記第二撮像素子により得られた画像の処理の制御を行う制御部と、を含む画像取得システムも提供する。

【0284】

この実施形態において、前記制御部は、前記顕微鏡装置内に設けられていてよく、又は、前記顕微鏡装置の外部に設けられていてもよい。例えば、前記制御部は、前記顕微鏡装置と有線又は無線により接続されている情報処理装置として構成されてよく、又は、前記制御部は、前記顕微鏡装置とネットワークを介して接続されたサーバとして構成されていてもよい。

【0285】

３．第２の実施形態（画像取得方法）

【0286】

本技術に従う画像取得方法は、第一撮像素子により生体組織を含む対象を撮像して画像データを取得する第一撮像工程と、前記前記画像データに基づく前記対象に関する特徴の判別を、前記第一撮像素子に備えられている判別部により行う判別工程と、前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像工程とを含み、前記第二撮像素子は、前記判別の結果に基づき制御される。

【0287】

前記第一撮像工程は、図１５中のステップＳ１０２の第一撮像工程であり、上記１．において説明したステップＳ１０２に関する内容が本実施形態においても当てはまる。
前記判別工程は、図１５中のステップＳ１０３の判別工程であり、上記１．において説明したステップＳ１０３に関する内容が本実施形態においても当てはまる。
前記第二撮像工程は、図１５中のステップＳ１０５の第二撮像工程であり、上記１．において説明したステップＳ１０５に関する内容が本実施形態においても当てはまる。

【0288】

また、前記画像取得方法は、上記１．において説明した図１５中の他の工程（制御工程Ｓ１０４、画像処理工程Ｓ１０６）を含みうる。

【0289】

また、前記画像取得方法は、例えば上記１．において説明した顕微鏡装置１００を用いて行われてよいが、他の顕微鏡装置によって行われてもよい。

【0290】

なお、本技術は、以下のような構成をとることもできる。
〔１〕
生体組織を含む対象を撮像して画像データを取得する第一撮像素子と、
前記第一撮像素子と異なる倍率で前記対象を撮像して画像データを取得する第二撮像素子と、
を備え、
前記第一撮像素子は、前記画像データに基づいて、前記対象に関する特徴を判別する判別部を備え、
前記第二撮像素子は、当該判別の結果に基づき制御される、
顕微鏡装置。
〔２〕
前記第二撮像素子は、更に、前記撮像が行われた領域を、複数の領域に分割し、前記複数領域の少なくとも１つを撮像し画像データを取得することを特徴とする、〔１〕に記載の顕微鏡装置。
〔３〕
前記第一撮像素子は、前記判別部と撮像を行う撮像部とが単一のチップ内に配置されている撮像素子である、〔１〕又は〔２〕に記載の顕微鏡装置。
〔４〕
前記第二撮像素子は、前記第一撮像素子よりも高倍率で前記複数の領域それぞれを撮像する、〔１〕～〔３〕のいずれか一つに記載の顕微鏡装置。
〔５〕
前記画像データは、明視野画像データ及び／又は蛍光画像データである、〔１〕～〔４〕のいずれか一つに記載の顕微鏡装置。
〔６〕
前記画像データは、輝度値及び／又は周波数を含む画像信号である、〔１〕～〔５〕のいずれか一つに記載の顕微鏡装置。
〔７〕
前記対象に関する特徴が、前記対象の属性に関する特徴を含む、〔１〕～〔６〕のいずれか一つに記載の顕微鏡装置。
〔８〕
前記対象の属性に関する特徴が、前記生体組織の属性に関する特徴、自家蛍光成分に関する特徴、および前記生体組織における病変に関する特徴から選択される１つ以上を含む、〔７〕に記載の顕微鏡装置。
〔９〕
前記対象に関する特徴が、前記対象の領域に関する特徴を含む、〔１〕～〔６〕のいずれか一つに記載の顕微鏡装置。
〔１０〕
前記対象の領域に関する特徴が、前記生体組織における病変領域に関する特徴および前記対象中の異物に関する特徴から選択される１つ以上を含む、〔９〕に記載の顕微鏡装置。
〔１１〕
前記判別部が、学習済みモデルを用いて前記判別を行う、〔１〕～〔１０〕のいずれか一つに記載の顕微鏡装置。
〔１２〕
前記顕微鏡装置が、前記判別部による判別結果に基づき、前記第二撮像素子による前記対象の撮像制御又は前記第二撮像素子により得られた画像の処理の制御を行う制御部をさらに備えている、〔１〕～〔１１〕のいずれか一つに記載の顕微鏡装置。
〔１３〕
前記制御部が、前記対象の領域に関する特徴に基づいて撮像順序を制御する撮像シーケンス制御部を更に含む、〔１２〕に記載の顕微鏡装置。
〔１４〕
前記撮像シーケンス制御部は、
前記複数の領域のつなぎ目が、前記対象中の関心領域に重なり合わないように撮像制御する、又は、
前記撮像シーケンス制御部は、前記対象中の関心領域が複数回撮像されるように撮像制御する、〔１３〕に記載の顕微鏡装置。
〔１５〕
前記制御部が、ゲイン及び／又は露光時間を制御する露光制御部を更に含む、〔１２〕～〔１４〕のいずれか一つに記載の顕微鏡装置。
〔１６〕
前記露光制御部が、ゲイン及び／又は露光時間をピクセル単位及び／又は波長単位で制御する、〔１５〕に記載の顕微鏡装置。
〔１７〕
前記制御部が、光源の光量を制御する光量制御部を更に含む、〔１２〕～〔１６〕のいずれか一つに記載の顕微鏡装置。
〔１８〕
前記画像の処理が蛍光分離処理を含む、〔１２〕～〔１７〕のいずれか一つに記載の顕微鏡装置。
〔１９〕
生体組織を含む対象を撮像して画像データを取得する第一撮像素子と、前記撮像が行われた領域を、複数の領域に分割して撮像する第二撮像素子と、を備え、前記第一撮像素子は、前記画像データに基づいて、前記対象に関する特徴を判別する判別部を更に備え、前記第二撮像素子は、当該判別の結果に基づき制御される、顕微鏡装置と；
当該判別の結果に基づき、前記第二撮像素子による前記対象の撮像制御又は前記第二撮像素子により得られた画像の処理の制御を行う制御部と、
を含む画像取得システム。
〔２０〕
第一撮像素子により生体組織を含む対象を撮像して画像データを取得する第一撮像工程と、
前記前記画像データに基づく前記対象に関する特徴の判別を、前記第一撮像素子に備えられている判別部により行う判別工程と、
前記撮像が行われた領域を、第二撮像素子によって複数の領域に分割して撮像する第二撮像工程と、
を含み、
前記第二撮像素子は、前記判別の結果に基づき制御される、
画像取得方法。

【符号の説明】

【0291】

１００顕微鏡装置
１１０第一撮像ユニット
１１１第一撮像素子
１１２第一観察光学系
１１３第一照明光学系
１２０第二撮像ユニット
１２１第二撮像素子
１２２第二観察光学系
１２３第二照明光学系
１３０制御部
１４０ステージ

【図1A】