(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177772
(43)【公開日】2023-12-14
(54)【発明の名称】顕微鏡システム及びデータ処理方法
(51)【国際特許分類】
G02B 21/36 20060101AFI20231207BHJP
G02B 21/24 20060101ALI20231207BHJP
G03B 35/00 20210101ALI20231207BHJP
H04N 23/60 20230101ALI20231207BHJP
H04N 23/66 20230101ALI20231207BHJP
H04N 19/85 20140101ALI20231207BHJP
H04N 19/46 20140101ALI20231207BHJP
【ＦＩ】
G02B21/36
G02B21/24
G03B35/00
H04N5/232 290
H04N5/232 030
H04N19/85
H04N19/46
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022090629
(22)【出願日】2022-06-03
(11)【特許番号】
(45)【特許公報発行日】2022-08-29
(71)【出願人】
【識別番号】519067666
【氏名又は名称】株式会社ＣＹＢＯ
(74)【代理人】
【識別番号】110000165
【氏名又は名称】弁理士法人グローバル・アイピー東京
(72)【発明者】
【氏名】新田 尚
(72)【発明者】
【氏名】杉村 武昭
(72)【発明者】
【氏名】荒船 晶
【テーマコード（参考）】
2H052
2H059
5C122
5C159
【Ｆターム（参考）】
2H052AA09
2H052AC05
2H052AD03
2H052AD09
2H052AD16
2H052AF14
2H052AF21
2H052AF25
2H059AA04
2H059AA18
2H059CA04
5C122EA61
5C122FA09
5C122FH18
5C122GC76
5C122HA09
5C122HA88
5C122HB01
5C122HB06
5C122HB10
5C159MA04
5C159MA05
5C159MA21
5C159MA23
5C159ME01
5C159ME11
5C159PP01
5C159PP13
5C159PP16
5C159UA02
5C159UA05
5C159UA31
(57)【要約】
【課題】３次元顕微鏡画像を、３次元の画像情報を保持したまま従来よりも高い圧縮率で圧縮し、データの保存や転送を容易にする顕微鏡システムを提供する。
【解決手段】顕微鏡システムは、焦点面における検体Ｓの画像を取得する顕微鏡２０と、顕微鏡２０が取得した画像を撮像する撮像部３０と、焦点面を顕微鏡２０の光軸方向に移動する焦点面移動機構４０と、撮像部３０が撮像した複数の画像の画像データを圧縮して、圧縮画像データを生成する圧縮部６０と、制御部５０であって、焦点面を所定の焦点座標に移動する焦点面制御信号を焦点面移動機構４０に送信し、複数の画像を撮像するタイミングを指示する複数の撮像タイミング信号を撮像部３０に送信し、複数の撮像タイミング信号の数を示すレイヤー数データを圧縮部６０に送信する、制御部５０と、を有する。
【選択図】図１
【解決手段】顕微鏡システムは、焦点面における検体Ｓの画像を取得する顕微鏡２０と、顕微鏡２０が取得した画像を撮像する撮像部３０と、焦点面を顕微鏡２０の光軸方向に移動する焦点面移動機構４０と、撮像部３０が撮像した複数の画像の画像データを圧縮して、圧縮画像データを生成する圧縮部６０と、制御部５０であって、焦点面を所定の焦点座標に移動する焦点面制御信号を焦点面移動機構４０に送信し、複数の画像を撮像するタイミングを指示する複数の撮像タイミング信号を撮像部３０に送信し、複数の撮像タイミング信号の数を示すレイヤー数データを圧縮部６０に送信する、制御部５０と、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
焦点面における検体の画像を取得する顕微鏡と、
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有する、顕微鏡システム。
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有する、顕微鏡システム。
【請求項2】
前記圧縮部は、
所定時間内に前記レイヤー数データに基づく撮像数の前記画像データを受信しなかった場合に、エラー処理を行う、
請求項１に記載の顕微鏡システム。
所定時間内に前記レイヤー数データに基づく撮像数の前記画像データを受信しなかった場合に、エラー処理を行う、
請求項１に記載の顕微鏡システム。
【請求項3】
前記検体が載置されるステージと、
前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動するステージ移動機構と、
を更に有し、
前記制御部は、前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動させるステージ移動制御信号を前記ステージ移動機構に送信する、
請求項１又は２に記載の顕微鏡システム。
前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動するステージ移動機構と、
を更に有し、
前記制御部は、前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動させるステージ移動制御信号を前記ステージ移動機構に送信する、
請求項１又は２に記載の顕微鏡システム。
【請求項4】
前記圧縮部が生成した前記圧縮画像データを記憶する記憶部を更に有する、
請求項１～３のいずれかに記載の顕微鏡システム。
請求項１～３のいずれかに記載の顕微鏡システム。
【請求項5】
前記制御部は、前記焦点面制御信号及び前記ステージ移動制御信号に基づき、前記焦点座標が所定の座標となるタイミングで前記撮像タイミング信号を前記撮像部に送信する、
請求項３又は４に記載の顕微鏡システム。
請求項３又は４に記載の顕微鏡システム。
【請求項6】
前記記憶部は、撮像位置データを、前記圧縮画像データとともに記録する、
請求項１～５のいずれかに記載の顕微鏡システム。
請求項１～５のいずれかに記載の顕微鏡システム。
【請求項7】
焦点面における検体の画像を顕微鏡で撮像部に結像し、
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成する、
データ処理方法。
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成する、
データ処理方法。
【請求項8】
所定時間内に前記レイヤー数データに基づく個数の前記画像データを受信しなかった場合に、前記圧縮部は、エラー処理を行う、
請求項７に記載のデータ処理方法。
請求項７に記載のデータ処理方法。
【請求項9】
ステージ移動制御信号に基づいて、前記検体が載置されるステージと前記顕微鏡とを、前記光軸方向に直交する方向に相対的に移動する、
請求項７又は８に記載のデータ処理方法。
請求項７又は８に記載のデータ処理方法。
【請求項10】
前記圧縮画像データを記憶する、
請求項７～９のいずれかに記載のデータ処理方法。
請求項７～９のいずれかに記載のデータ処理方法。
【請求項11】
前記焦点座標が所定の座標となるタイミングで、前記撮像タイミング信号を前記撮像部に送信する、
請求項７～１０のいずれかに記載のデータ処理方法。
請求項７～１０のいずれかに記載のデータ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡システム及びデータ処理方法に関する。
【背景技術】
【0002】
顕微鏡検査は、がんや感染症の診断や食品検査などに広く利用されている。検査を行う人材の不足や検査品質の向上などの課題に対応するために、顕微鏡画像をデジタル化して、人工知能を利用した検査の効率化や、画像データを遠隔地に転送する遠隔検査などが試みられている。
【0003】
細胞などの微細な対象物の顕微鏡観察画像をデジタルデータとして記録したい場合、顕微鏡にデジタルカメラを取り付けて顕微画像を撮像する。そして、得られた画像のデジタルデータを、カメラに取り付けた記録デバイスに直接書き込んだり、デジタルカメラをコンピュータ等に接続してコンピュータに転送したりする。特に、人工知能技術を顕微鏡検査に応用するため、顕微鏡画像のデジタル化が進んでいる。
【0004】
撮像対象物がデジタルカメラで撮像可能な視野に入りきらない場合、検体を載せたステージを移動させて位置を変えながら、撮像を繰り返す。これにより、デジタルカメラの視野より広い領域をデジタルデータとして記録できる。また、対象物と対物レンズとの間の距離を変えながら撮像を繰り返すことにより、対象物の奥行方向の情報を含む積層画像を記録できる。例えば、病理組織検体をスライド全体にわたりデジタル化するホールスライドスキャナが実用化されている（非特許文献１）。
【0005】
ホールスライドスキャナを用いた場合、例えば、１ピクセル当たり２５０ｎｍの分解能で１５ｍｍ角の領域をデジタル化する。これにより、６万ピクセル×６万ピクセルの膨大なデジタル画像が得られる。さらに、奥行き方向に３０層の３次元撮像を行うと、６万ピクセル×６万ピクセル×３０レイヤーの膨大なデジタル画像が得られる。このような膨大なデジタル画像は、データ保存や転送などの際に、大量の保存領域や通信帯域を必要とするため、扱いにくい。そのため、膨大なデジタル画像を圧縮処理して記録することがある。
【0006】
圧縮には、ＬＺＷ、ＪＰＥＧ、ＪＰＥＧ２０００等、ロスレス圧縮あるいはロッシー圧縮が一般に用いられる。典型的には、ＬＺＷでは、３～５倍程度で圧縮できる。ＪＰＥＧ２０００では、１５～２０倍程度で圧縮できる。例えば、ＪＰＥＧ２０００では、１５ＧＢ程度の検体データを３００ＭＢ程度に圧縮できる（非特許文献１）。
【0007】
Ｚレイヤー顕微鏡画像を圧縮する方法として、例えば、特許文献１や特許文献２が提案されている。しかし、特許文献１や特許文献２の方法では、圧縮効果が限定的であり、また、圧縮のエンコードやデコードに要する処理時間やコストなどが課題となり、広く活用されるには至っていない。
【0008】
一方、映画などの動画圧縮においては、ＭＰＥＧ－２以降、Ｈ.２６４／ＡＶＣ、Ｈ.２６５／ＨＥＶＣ、ＡＶ１などの各種圧縮技術が開発されている。例えば、映画のインターネット配信など、大量データを転送、記録する手段として広く活用されている。
【0009】
顕微鏡の撮像において高分解能の立体画像を取得する場合、膨大なデータの扱いが問題となる。例えば、細胞診やＦＩＳＨ法（Fluorescence in situ hybridization法）による染色体検査などの顕微鏡検査では、検体の立体的な撮像が必要となる。細胞診の検体では、細胞の塊が立体的に配置されているため、３次元でのデジタル化が必要となる。そのため、ホールスライドスキャナでスライド上の検体全域にわたって３次元でのデジタル化を行うと、データ量がさらに膨大となる。同様に、ＦＩＳＨ法では、染色体に結合した蛍光プローブの配置や数を測定する。蛍光プローブは、核内に立体的に配置されるため、３次元での撮像が必要となる。そのため、大量の細胞についてデータを取得すると、データ量は膨大になる。
【0010】
また、スフェロイドやオルガノイドなどの細胞の塊を大量に撮像したり、時間を追ってその変化を撮像したりすると、データ量は膨大になる。すると、データの保管のためにストレージ増設などの設備投資が必要となる。また、データの転送や記録に時間がかかり、待ち時間が増える。そのため、３次元顕微画像のデジタル化は、一部で実施されるにとどまり、顕微鏡検査の現場で広く実用されていない（非特許文献２）。
【0011】
ＪＰＥＧやＪＰＥＧ２０００などの２次元画像のデータ圧縮方法を、３次元画像中の個々の２次元レイヤーに適用しても、３次元ホールスライド画像には十分な圧縮効率が得られない。また、ＪＰＥＧ２０００は、比較的圧縮性能が高いが、対応できないコンピュータがあるなどの理由により利用されないことも多い。また、高度な圧縮技術では、コンピュータの負荷が大きくなる。そのため、圧縮や復元に要する計算時間が長く、実用的ではない。
【0012】
３次元画像の代わりに、３次元の画像からフォーカスの合った部分のみを重ね合わせた２次元画像を合成して、１つの２次元画像として記録する方法なども試みられている。しかし、これを細胞診に応用すると、多数の細胞が重積した細胞塊では、多くの細胞の画像が同じ個所に重ね合わされる。そのため、細胞核の構造など細胞内部の詳細構造が見えにくく、正確な判断が難しい。また、細胞診において、複数の細胞の配置に異常が生じる構造異形を識別するためには、立体のままの情報を確認する必要があり、２次元画像に圧縮する方法は適さない。
【先行技術文献】
【特許文献】
【0013】
【特許文献1】特開２００７－１１９７７号公報
【特許文献2】特開２０１４－２９５２８号公報
【非特許文献】
【0014】
【非特許文献1】Digital Imaging and Communications in Medicine (DICOM) Supplement 145: Whole Slide Microscopic Image IOD and SOP Classes Prepared by: DICOM Standards Committee, Working Groups 26, Pathology VERSION 9: For WG-06 meeting 2009/10/28
【非特許文献2】Ewen David McAlpine, Liron Pantanowitzk, and Pamela M. Michelow. Challenges Developing Deep Learning Algorithms in Cytology. Acta Cytologica 2021(65)301-309（DOI: 10.1159/000510991）
【発明の概要】
【発明が解決しようとする課題】
【0015】
本発明は、３次元顕微鏡画像を、３次元の画像情報を保持したまま従来よりも高い圧縮率で圧縮し、データの保存や転送を容易にする顕微鏡システム及びデータ処理方法を提供することを目的とする。
【課題を解決するための手段】
【0016】
本発明の第１の観点は、
焦点面における検体の画像を取得する顕微鏡と、
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有する、顕微鏡システムである。
焦点面における検体の画像を取得する顕微鏡と、
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有する、顕微鏡システムである。
【0017】
本発明の第２の観点は、
焦点面における検体の画像を顕微鏡で撮像部に結像し、
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成する、
データ処理方法である。
焦点面における検体の画像を顕微鏡で撮像部に結像し、
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成する、
データ処理方法である。
【発明の効果】
【0018】
本発明の顕微鏡システム及びデータ処理方法によれば、３次元顕微鏡画像を、３次元の画像情報を保持したまま従来よりも高い圧縮率で圧縮し、データを容易に保存や転送できる。
【図面の簡単な説明】
【0019】
【図1】実施形態のデータ処理システムの概略構成図
【図2A】３次元の顕微鏡画像を取得する方法を示す図
【図2B】単一スポット撮像時のフローチャート
【図3】３次元の顕微鏡画像を取得する方法を示す図
【図4】３次元の顕微鏡画像を取得する方法を示す図
【図5】顕微鏡画像のブロック分割の説明図
【図6】イントラレイヤー予測の説明図
【図7】インターレイヤー予測の説明図
【図8】タイリング処理の説明図
【図9】タイリング処理の説明図
【図10】照明ムラがある状態でのタイリング処理の説明図
【図11】輝度補正後のタイリング処理の説明図
【図12】フォーカス補正の説明図
【図13】実施例の圧縮後の積層画像サイズを示すグラフ
【発明を実施するための形態】
【0020】
以下、本実施形態の顕微鏡システムおよびデータ処理方法について、図面を参照して説明する。図１は、本実施形態のデータ処理システムの概略構成図を示す。本実施形態のデータ処理システムは、顕微鏡２０と、撮像部３０と、焦点面移動機構４０と、制御部５０と、圧縮部６０と、を有する。データ処理システムは、更に、ステージ１０と、ステージ移動機構４２と、画像バッファ５５と、記憶部７０と、送信部８０と、を有してもよい。また、データ処理システムは、照明２２を有してもよい。
【0021】
撮像対象物である検体Ｓは、ステージ１０に載置される。図１に示す例において、ステージ１０は、ＸＹ平面に平行である。
顕微鏡２０は、焦点面における検体Ｓの画像を取得する。顕微鏡２０は、レンズなどの光学系を有する。
撮像部３０は、撮像タイミング信号に基づいて、顕微鏡２０が取得した画像を撮像する。撮像部３０は、例えば、デジタルカメラである。
顕微鏡２０は、焦点面における検体Ｓの画像を取得する。顕微鏡２０は、レンズなどの光学系を有する。
撮像部３０は、撮像タイミング信号に基づいて、顕微鏡２０が取得した画像を撮像する。撮像部３０は、例えば、デジタルカメラである。
【0022】
焦点面移動機構４０は、焦点面制御信号に基づいて、顕微鏡２０の焦点面を光軸方向に移動する。光軸方向は、ステージ１０に直交する。図１に示す例において、光軸方向をＺ方向とする。本実施形態の光軸方向（Ｚ方向）は、鉛直方向であるが、光軸方向は、鉛直方向に限られない。
ステージ移動機構４２は、ステージ移動制御信号に基づいて、顕微鏡２０とステージ１０とを光軸方向に直交する方向（ＸＹ方向）に相対的に移動する。
ステージ移動機構４２は、ステージ移動制御信号に基づいて、顕微鏡２０とステージ１０とを光軸方向に直交する方向（ＸＹ方向）に相対的に移動する。
【0023】
画像バッファ５５は、撮像部３０と圧縮部６０との間に配置されてもよい。画像バッファ５５は、撮像部３０の出力側の一部として構成されてもよい。また、画像バッファ５５は、圧縮部６０の入力側の一部として構成してもよい。画像バッファ５５は、撮像部３０が撮像した複数の画像の画像データを一時的に保存する。
また、撮像部３０の出力側の一部として第１の画像バッファ５５が構成されるとともに、圧縮部６０の入力側の一部として第２の画像バッファ５５が構成されてもよい。
また、撮像部３０の出力側の一部として第１の画像バッファ５５が構成されるとともに、圧縮部６０の入力側の一部として第２の画像バッファ５５が構成されてもよい。
【0024】
圧縮部６０は、撮像部３０が撮像した複数の画像データ、もしくは、画像バッファ５５に一時的に保存された複数の画像の画像データを圧縮して、圧縮画像データを生成する。圧縮画像データは、撮像位置データを有する。
記憶部７０は、圧縮部６０が生成した圧縮画像データを記憶する。
送信部８０は、圧縮画像データを外部に送信する。
記憶部７０は、圧縮部６０が生成した圧縮画像データを記憶する。
送信部８０は、圧縮画像データを外部に送信する。
【0025】
制御部５０は、撮像部３０、焦点面移動機構４０、ステージ移動機構４２、圧縮部６０、記憶部７０、送信部８０を制御する。
具体的には、制御部５０は、焦点面を所定の焦点座標（Ｚ座標）に移動する焦点面制御信号を焦点面移動機構４０に送信する。制御部５０は、画像を撮像するタイミングを指示する撮像タイミング信号を撮像部３０に送信する。制御部５０は、焦点座標を有する撮像位置データを圧縮部６０に送信する。制御部５０は、この複数の撮像タイミング信号の数を示すレイヤー数データを圧縮部６０に送信する。ここで、レイヤー数データとは、１つのスポットにおけるＺ方向の撮像数を示すデータである。１つのスポットにおけるＺ方向の撮像数は、予め設定される。
具体的には、制御部５０は、焦点面を所定の焦点座標（Ｚ座標）に移動する焦点面制御信号を焦点面移動機構４０に送信する。制御部５０は、画像を撮像するタイミングを指示する撮像タイミング信号を撮像部３０に送信する。制御部５０は、焦点座標を有する撮像位置データを圧縮部６０に送信する。制御部５０は、この複数の撮像タイミング信号の数を示すレイヤー数データを圧縮部６０に送信する。ここで、レイヤー数データとは、１つのスポットにおけるＺ方向の撮像数を示すデータである。１つのスポットにおけるＺ方向の撮像数は、予め設定される。
【0026】
制御部５０は、撮像部３０が撮像した画像の画像データを圧縮部６０が適切に受け取り、適切なフォーマットで圧縮処理を行うように制御する。制御部５０は、顕微鏡２０とステージ１０とを光軸方向に直交する方向（ＸＹ方向）に相対的に移動させるステージ移動制御信号をステージ移動機構４２に送信する。制御部５０は、焦点面制御信号及びステージ移動制御信号に基づき、焦点座標が所定の座標となるタイミングで撮像タイミング信号を撮像部３０に送信する。これにより、撮像部３０は、所望の焦点面における検体Ｓの画像を撮像できる。
【0027】
制御部５０は、検体Ｓの識別情報を圧縮部６０に送信してもよい。制御部５０は、圧縮画像データを記憶部７０に保存するように制御してもよい。制御部５０は、圧縮画像データを外部に送信するように、送信部８０を制御してもよい。制御部５０は、記憶部７０に保存する圧縮画像データや、送信部８０から外部に送信する圧縮画像データに、撮像条件などの付加情報を付加してもよい。
【0028】
ここで、図２Ａを参照して、３次元の顕微鏡画像について説明する。図２Ａは、３次元の顕微鏡画像を取得する方法の一例を示す。３次元の顕微鏡画像は、顕微鏡２０において、異なる焦点面を有する複数のレイヤー（Ｌ１～Ｌ５）の平面画像を奥行方向に積層することにより得られる。例えば、ＣＣＤやＣＭＯＳなどのエリアセンサを搭載した撮像部３０を用いて、エリアセンサに検体Ｓ上の焦点面の画像を結像する光学系において、顕微鏡２０の対物レンズと検体Ｓとの距離を少しずつ変化させながら撮像を繰り返す。これにより、複数のレイヤー（Ｌ１～Ｌ５）の平面画像を連続的に取得して、３次元の顕微鏡画像が得られる。
【0029】
ここで平面画像は、例えば、レイヤー１層あたり２５０ｎｍや５００ｎｍなどのレイヤー間距離で撮像を繰り返す。レイヤー間距離は、典型的には、２００ｎｍから２μｍ程度である。
なお、焦点面付近における被写界深度は、光学系によって定まる。そのため、レイヤー間距離と被写体深度とが概ね同等程度となるように、光学系を設定することが好ましい。例えば、対物レンズの開口数や照明光の開口数によって、被写体深度が決まる。透過光により撮像する場合、検体Ｓに入射する透過照明光の開口を、開口絞りによって調整できる。
なお、焦点面付近における被写界深度は、光学系によって定まる。そのため、レイヤー間距離と被写体深度とが概ね同等程度となるように、光学系を設定することが好ましい。例えば、対物レンズの開口数や照明光の開口数によって、被写体深度が決まる。透過光により撮像する場合、検体Ｓに入射する透過照明光の開口を、開口絞りによって調整できる。
【0030】
顕微鏡２０の光学系の全部、もしくは対物レンズを含む光学系の一部を、垂直ステージ（Ｚステージ）で光軸方向に移動させることで、検体Ｓと対物レンズとの間の距離を変化させる。または、検体Ｓを搭載したステージ１０を垂直ステージに載せて光軸方向に移動させることで、検体Ｓと対物レンズとの間の距離を変化させてもよい。
垂直ステージは、単一のステージでもよい。また、垂直ステージは、光学系を退避させる粗動ステージと、対物レンズと検体の間の距離を微調整する微動ステージなど、２種類以上のステージを組み合わせた構成でもよい。積層画像のレイヤー間距離に対して十分な精度で、垂直ステージは微動動作できる。
垂直ステージは、単一のステージでもよい。また、垂直ステージは、光学系を退避させる粗動ステージと、対物レンズと検体の間の距離を微調整する微動ステージなど、２種類以上のステージを組み合わせた構成でもよい。積層画像のレイヤー間距離に対して十分な精度で、垂直ステージは微動動作できる。
【0031】
撮像時の垂直ステージの位置は、オートフォーカス処理により細胞像が結像する位置を検出して決定することが好ましい。具体的には、撮像した画像のフォーカシングの程度を数値化し、その値を垂直ステージ位置について評価し、最もフォーカスしている位置を撮像時の垂直ステージの位置としてもよい。また、レーザなどを用いた距離センサで検体Ｓと顕微鏡２０との距離を計測して、垂直ステージを最適な距離に移動してもよい。
【0032】
積層画像の撮影範囲は、フォーカス位置を基準として検体Ｓの特性を考慮して決定する。例えば、細胞診検体の場合、多くの細胞はスライドガラス直上に定着しており、その上に細胞が積層している構造であることが想定される。この場合、画像から判断したフォーカス位置をスライドガラス直上と想定して、スライドガラス表面から、積層している細胞の高さに対して十分な撮像範囲とレイヤー間距離を設定する。
【0033】
検体Ｓの種類によって、制御部５０は、フォーカス位置、撮像範囲、レイヤー間距離のパラメータを予め取得する。スライドの種類もしくはフォーカス処理により取得された画像データの内容と、垂直ステージの位置によって、制御部５０は、フォーカス位置、撮像範囲、レイヤー間距離のパラメータを切り替える。これにより、適切な３次元画像を復元するのに必要十分な品質の画像を効率的に取得できる。
取得した複数個所の積層画像を統合するため、制御部５０は、撮像時に、垂直ステージ位置のデータを記録する。例えば、制御部５０は、ステージ１０に搭載されたエンコーダを用いて、垂直ステージ位置を検出する。また、制御部５０は、ステージ１０の原点位置からの移動量を積算して、垂直ステージ位置を検出してもよい。また、制御部５０は、ステージ１０を動作させるステッピングモータのパルスや、ステッピングモータのコントローラに入力される制御パルスをデジタル回路により監視して、垂直ステージ位置を検出してもよい。
取得した複数個所の積層画像を統合するため、制御部５０は、撮像時に、垂直ステージ位置のデータを記録する。例えば、制御部５０は、ステージ１０に搭載されたエンコーダを用いて、垂直ステージ位置を検出する。また、制御部５０は、ステージ１０の原点位置からの移動量を積算して、垂直ステージ位置を検出してもよい。また、制御部５０は、ステージ１０を動作させるステッピングモータのパルスや、ステッピングモータのコントローラに入力される制御パルスをデジタル回路により監視して、垂直ステージ位置を検出してもよい。
【0034】
図２Ａに示す例において、焦点面の移動が完了して停止した後に、画像を撮像してもよい。また、焦点面を連続的に移動させ、焦点面が所定の位置に到達したタイミングで画像を撮像してもよい。後者の撮像方法は、前者の撮像方法よりも高速に画像を撮像できる。
なお、後者の撮像方法において、撮像部３０の露光時間中における焦点面の移動距離が光学系の被写体深度に対して十分に大きいと、画像がぼけることがある。これを避けるため、光学系の被写体深度に合わせて撮像部３０の露光時間と焦点面の移動速度とを設定することが好ましい。また、焦点面の移動速度をより高速にしたい場合は、照明２２にフラッシュランプを用いることにより、焦点面の移動による画像のボケを削減できる。
なお、後者の撮像方法において、撮像部３０の露光時間中における焦点面の移動距離が光学系の被写体深度に対して十分に大きいと、画像がぼけることがある。これを避けるため、光学系の被写体深度に合わせて撮像部３０の露光時間と焦点面の移動速度とを設定することが好ましい。また、焦点面の移動速度をより高速にしたい場合は、照明２２にフラッシュランプを用いることにより、焦点面の移動による画像のボケを削減できる。
【0035】
制御部５０は、顕微鏡２０とステージ１０とを光軸方向に直交する方向に相対的に移動させるステージ移動制御信号を送信する。また、制御部５０は、焦点面を所定の焦点座標に移動する焦点面制御信号を送信する。垂直ステージが撮像したい特定の位置に移動したら、制御部５０は、撮像部３０に対して、撮像タイミング信号を送信する。撮像部３０は、撮像タイミング信号を受信したタイミングで、画像を撮像する。
【0036】
ここで、図２Ｂは、単一スポット撮像時のフローチャートを示す。まず、制御部５０が撮像条件を設定する（ステップＳ１）。そして、制御部５０は、設定した撮像条件を、撮像部３０と、焦点面移動機構４０に対して設定する。使用する場合は画像バッファ５５に対しても撮像条件を設定する。
【0037】
具体的には、制御部５０は、撮像部３０に対して、露光時間、撮像のタイミング、１つのスポットにおけるＺ方向の撮像数などを設定する。これにより、撮像部３０は、所望の撮像タイミング信号のタイミングで撮像する。
また、制御部５０は、焦点面移動機構４０に対して、フォーカス位置、移動範囲、レイヤー間距離などを設定する。これにより、焦点面移動機構４０は、所望の焦点面制御信号のタイミングで動作する。
また、制御部５０は、焦点面移動機構４０に対して、フォーカス位置、移動範囲、レイヤー間距離などを設定する。これにより、焦点面移動機構４０は、所望の焦点面制御信号のタイミングで動作する。
【0038】
次に、制御部５０が圧縮部６０の設定を行う（ステップＳ２）。具体的には、制御部５０は、１つのスポットにおけるＺ方向の撮像数、圧縮品質などを決定する圧縮パラメータを設定する。
【0039】
続いて、１つのスポットにおけるＺ方向の撮像を開始する（ステップＳ３）。具体的には、制御部５０が焦点面移動機構４０に対して焦点面制御信号を送信するとともに、制御部５０が撮像部３０に対して撮像タイミング信号を送信する。ここで、焦点面制御信号と撮像タイミング信号は、同期している。そのため、焦点面移動機構４０が所定の位置に移動したタイミングで、撮像部３０が撮像できる。また、撮像部３０が撮像した各画像と、各レイヤーを関連付けられる。
なお、制御部５０は、必ずしも一定の時間間隔で撮像タイミング信号を送信しなくてもよい。
なお、制御部５０は、必ずしも一定の時間間隔で撮像タイミング信号を送信しなくてもよい。
【0040】
撮像部３０が撮像した画像の画像データは、圧縮部６０に転送される。（ステップＳ４）このとき、画像データを画像バッファ５５に一時的に保存してもよい。画像バッファ５５に一時的に保存された画像データは、順次、圧縮部６０に転送されてもよい。また、撮像タイミング信号の間隔が短い場合、１つのスポットにおけるＺ方向の撮像数の画像データは、まとめて圧縮部６０に転送されてもよい。画像バッファ５５を使用することで、撮像とその後の処理を分割して並列化することができることから、撮像から保存に至る全体の処理を高速化することができる。
【0041】
圧縮部６０は、受信した画像データの枚数を検出し、所定時間内に１つのスポットにおけるＺ方向の撮像数の画像データを受信したか否かを判断する。例えば、圧縮部６０は、最初の画像データを受信してから３秒以内に３０枚の画像データを受信したか否かを判断する。
所定時間内に１つのスポットにおけるＺ方向の撮像数の画像データを受信しなかった場合、圧縮部６０は、エラー処理を行う（ステップＳ６）。具体的には、撮像タイミング信号の数に比べて撮像数が少ない場合が有り得る。これは、撮像部３０が撮像タイミング信号を適切に処理できず、一部のレイヤーについて撮像できていない可能性がある。そのため、圧縮部６０は、エラー処理として、同じスポットに対して再度撮像を行うか、タイムアウト処理を行うほか、受信した画像データを圧縮して保存するなど、その後の処理に必要となる処理をおこなう。
所定時間内に１つのスポットにおけるＺ方向の撮像数の画像データを受信しなかった場合、圧縮部６０は、エラー処理を行う（ステップＳ６）。具体的には、撮像タイミング信号の数に比べて撮像数が少ない場合が有り得る。これは、撮像部３０が撮像タイミング信号を適切に処理できず、一部のレイヤーについて撮像できていない可能性がある。そのため、圧縮部６０は、エラー処理として、同じスポットに対して再度撮像を行うか、タイムアウト処理を行うほか、受信した画像データを圧縮して保存するなど、その後の処理に必要となる処理をおこなう。
【0042】
所定時間内に１つのスポットにおけるＺ方向の撮像数の画像データを受信した場合、圧縮部６０は、転送された複数の画像データを圧縮して、圧縮画像データを生成する（ステップＳ７）。画像バッファ５５に画像が一時的に保存されている場合は、画像バッファ５５から画像データを読み出して、圧縮画像データを生成してもよい。
そして、圧縮画像データは、記憶部７０に転送される。記憶部７０は、転送された圧縮画像データを記憶する（ステップＳ８）。
このようにして、単一スポットの撮像を行う。
そして、圧縮画像データは、記憶部７０に転送される。記憶部７０は、転送された圧縮画像データを記憶する（ステップＳ８）。
このようにして、単一スポットの撮像を行う。
【0043】
複数スポットを撮像する場合は、１つの撮像位置での撮影が完了したら、制御部５０は、次の撮像位置にステージ１０を移動して、撮像タイミング信号を送信する。複数の垂直ステージ位置で連続して撮像することで、積層画像が得られる。この際、各撮像位置において、図２Ｂで示したステップＳ３～Ｓ８を行う。
【0044】
垂直ステージ位置をリアルタイムに把握することで、高精度かつ遅延なく積層画像を取得できる。撮像部３０がグローバルシャッタ―のイメージセンサである場合、シャッターのタイミングは、全画素について同一である。そのため、撮像時の垂直ステージ位置は、全画素について同一となる。
一方、撮像部３０がローリングシャッターのイメージセンサの場合、シャッターのタイミングは、画素によって異なる。そのため、シャッターの動作タイミングから各画素のＺ位置を推定できる。または、露光時間をローリングシャッターの移動時間より十分に長くし、撮像タイミング信号から一定の遅延時間後に顕微鏡照明をパルス動作させることで、ストロボ露光により、全画素で同一のシャッタータイミングで露光できる。このようにして撮像された各レイヤーの垂直ステージの撮像位置情報は、画像情報と共に保存される。このとき、照明の絞りや光源の強度、撮像部３０のシャッタースピードやゲイン、ホワイトバランスなどの情報も記録されることが好ましい。
一方、撮像部３０がローリングシャッターのイメージセンサの場合、シャッターのタイミングは、画素によって異なる。そのため、シャッターの動作タイミングから各画素のＺ位置を推定できる。または、露光時間をローリングシャッターの移動時間より十分に長くし、撮像タイミング信号から一定の遅延時間後に顕微鏡照明をパルス動作させることで、ストロボ露光により、全画素で同一のシャッタータイミングで露光できる。このようにして撮像された各レイヤーの垂直ステージの撮像位置情報は、画像情報と共に保存される。このとき、照明の絞りや光源の強度、撮像部３０のシャッタースピードやゲイン、ホワイトバランスなどの情報も記録されることが好ましい。
【0045】
図３は、顕微鏡観察の対象となる検体Ｓが撮像部３０の視野よりも大きい場合に、３次元の顕微鏡画像を取得する方法を示す。図３に示すように、検体Ｓを載せたステージ１０を水平面上に移動して位置を変えながら、各位置での立体撮像を繰り返す。なお、検体Ｓを固定した状態で、顕微鏡２０の全体や顕微鏡２０の光学系を検体Ｓに対して移動させてもよい。すなわち、顕微鏡２０とステージ１０が、光軸方向に直交する方向に相対的に移動すればよい。
このとき、隣接するスポットをわずかに重複させることにより、撮像後に隣接するスポットの画像を貼り合わせ、１枚の大きな画像を形成できる。
このとき、隣接するスポットをわずかに重複させることにより、撮像後に隣接するスポットの画像を貼り合わせ、１枚の大きな画像を形成できる。
【0046】
図４は、顕微鏡２０の対物レンズと検体Ｓとの距離を少しずつ変化させながら撮像を繰り返す間に、検体Ｓの水平面上の位置を連続的に移動させて、３次元の顕微鏡画像を取得する方法を示す。
図３のように移動と停止を返す方法では、停止後に検体Ｓが完全に静止してから撮像を開始することが好ましい。そのため、待ち時間が発生する。これに対し、図４のように、奥行方向とともに水平面上の移動を連続的に行いながら撮像を行うことで、移動後の停止による揺れの影響を避けられる。これにより、待ち時間を削減し、高速で撮像できる。
図３のように移動と停止を返す方法では、停止後に検体Ｓが完全に静止してから撮像を開始することが好ましい。そのため、待ち時間が発生する。これに対し、図４のように、奥行方向とともに水平面上の移動を連続的に行いながら撮像を行うことで、移動後の停止による揺れの影響を避けられる。これにより、待ち時間を削減し、高速で撮像できる。
【0047】
顕微鏡２０と照明などの光学系と、検体Ｓを保持するステージ１０とを、２軸のステージ１０（Ｘステージ、Ｙステージ）で水平方向に相対的に移動して、複数回の撮像を行う。これにより、検体Ｓの撮像範囲の任意の位置を撮像できる。
予め検体Ｓ内の複数位置のフォーカス位置を取得し、その結果から、焦点面を推定する。ここで、焦点面とは、複数位置におけるフォーカス位置との距離の総和が最小となる平面である。これにより、ステージ１０の任意の撮像位置におけるフォーカス位置を計算できる。
なお、焦点面の推定には、他の最適化法を用いても良いし、光学特性から推定される焦点面は、平面に限られない。また、直前もしくはそれ以前のステージ１０の位置におけるフォーカス位置と撮像範囲から、現在の位置での焦点面を推定して、フォーカス位置を計算できる。
予め検体Ｓ内の複数位置のフォーカス位置を取得し、その結果から、焦点面を推定する。ここで、焦点面とは、複数位置におけるフォーカス位置との距離の総和が最小となる平面である。これにより、ステージ１０の任意の撮像位置におけるフォーカス位置を計算できる。
なお、焦点面の推定には、他の最適化法を用いても良いし、光学特性から推定される焦点面は、平面に限られない。また、直前もしくはそれ以前のステージ１０の位置におけるフォーカス位置と撮像範囲から、現在の位置での焦点面を推定して、フォーカス位置を計算できる。
【0048】
また、それまでの撮像データから画像処理によりフォーカス位置を取得し、その結果を反映してフォーカス位置を修正して撮像してもよい。これにより、全ての撮像位置について、適切な焦点面と撮像範囲を含む積層画像を撮像できる。
【0049】
複数個所の積層画像を統合するため、制御部５０は、撮像データと合わせて、ステージ１０の位置を記録する。ステージ１０に搭載されたエンコーダを用いて、ステージ１０の位置を検出する。また、ステージ１０の原点位置からの移動量を積算して取得して、ステージ１０の位置を記録してもよい。
【0050】
撮像部３０の解像度は、例えば、幅４０００ピクセル×高さ３０００ピクセルである。典型的な縦横のピクセル数は、各々１０００～１００００程度である。細胞の観察には、１ピクセルあたりのピクセルサイズが１５０ｎｍ～３０００ｎｍ程度となるように、光学倍率を設定することが好ましい。
【0051】
ここで、ピクセルサイズとは、１ピクセルあたりの検体Ｓ上の距離である。ピクセルサイズは、撮像部３０が有するＣＣＤやＣＭＯＳなどのセンサ上の画素サイズと光学倍率によって決定される。使用するセンサや光学倍率を変えることで、ピクセルサイズを調整できる。細胞や組織などの顕微鏡撮像において、通常の２０倍対物レンズや４０倍対物レンズに相当する画像を得るためには、例えば、ピクセルサイズが５００ｎｍや２５０ｎｍとなるように光学倍率などを調整することが好ましい。
【0052】
なお、光学的な分解能は、光学系の対物レンズの開口数および媒質の屈折率などに応じて変わる。ピクセルサイズは、光学系の分解能と同等程度かそれ以上となるように設計することが好ましい。また、ラインセンサや単チャネル検出器を用いて、空間をスキャンすることで、３次元顕微鏡画像を取得することも可能である。
【0053】
撮像部３０は、白黒画像、又は、カラー画像を取得する。カラー画像は、赤緑青（ＲＧＢ）などのカラー情報を有する。カラー画像を取得する場合、撮像部３０のイメージセンサの各画素上には、赤緑青のカラーフィルターが、例えば、ベイヤー配列で配置される。撮像部３０がＲＧＢのカラー画像を取得する場合、取得したＲＧＢデータに対して、以下に示す線形変換を行うことにより、ＹＵＶデータやＹＣｂＣｒデータに変換できる。ここで、Ｙは画像の輝度成分であり、Ｕ、ＶもしくはＣｂ、Ｃｒは色差成分である。
【数1】
【0054】
顕微鏡２０で細胞を観察する場合、細胞や細胞内部の構造の輪郭線や点在する微粒子を観察するために、輝度成分は高い解像度を有することが好ましい。他方、色差成分は、解像度がやや低くても問題無い場合がある。例えば、ヘマトキシンで青色に染色された細胞核を観察する場合、輪郭線が高解像度で得られていれば、細胞核であることが分かる程度の色情報が得られれば足りる。すなわち、ＲＧＢ画像を輝度成分と色差成分に分離するＹＵＶデータやＹＣｒＣｂデータへの変換により、輝度成分は高解像度で保持しつつ、色差成分は解像度を落とすクロマサンプリングを行う。これにより、細胞などの観察を阻害せずにデータを圧縮できる。クロマサンプリングの例として、輝度成分Ｙはオリジナルの解像度のままで、色差成分Ｕ、Ｖの水平方向の解像度を半分に落とす４：２：２や、色差成分Ｕ、Ｖの水平および垂直方向の解像度を各々半分に落とす４：２：０などがある。
【0055】
圧縮部６０は、３次元の顕微鏡画像を圧縮する。圧縮部６０は、各レイヤーの画像をブロック分割する。また、圧縮部６０は、ブロック単位で、イントラレイヤー予測、インターレイヤー予測、エントロピー符号化などの手法により、データを圧縮する。カラーの顕微鏡画像をブロック分割する場合、ＹＵＶ変換およびクロマサンプリングされた顕微鏡画像が好ましい。
【0056】
以下、図５を参照して、圧縮部６０によるブロック分割について説明する。例えば、４０００ピクセル×３０００ピクセルなどの大きな画像は、まずブロック分割を行うことで、圧縮のための各種演算を行いやすくなる。ブロック分割は、例えば、４ピクセル×４ピクセル、８ピクセル×８ピクセル、１６ピクセル×１６ピクセル、３２ピクセル×３２ピクセル、６４ピクセル×６４ピクセル、１２８ピクセル×１２８ピクセルなど、異なるブロックサイズを組み合わせることができる。
【0057】
圧縮部６０は、必ずしも正方形のブロックに分割する必要はない。例えば、圧縮部６０は、長方形のブロックに分割してもよい。圧縮部６０は、画像全体を均一にブロック分割しなくてもよい。例えば、圧縮部６０は、複雑な細胞構造を有する領域Ｒ１では、小さなブロックに分割して、緻密に符号化を行う。一方、圧縮部６０は、単調な画像パターンの領域Ｒ２では、大きなブロックに分割して、データ圧縮効果を高めることができる。細胞診などの検体Ｓは、細胞が存在しない領域Ｒ３も含まれる。圧縮部６０は、細胞が存在しない領域Ｒ３を大きなブロックに分割し、細胞核など精密な構造観察が必要な領域Ｒ１を小さなブロックに分割することで、データ圧縮効果が効果的に高まる。
【0058】
以下、図６を参照して、圧縮部６０によるイントラレイヤー予測について説明する。イントラレイヤー予測では、圧縮部６０は、輝度値の分布を適当な数式モデルにあてはめて、各レイヤーの各ブロック内の画像を予測する。そして、圧縮部６０は、元の画像を予測値と残差とで表現することにより、データ量を圧縮する。
【0059】
イントラレイヤー予測では、圧縮部６０は、隣接参照画素から、予測ブロック内の画素の輝度値を予測する。図６は、イントラレイヤー予測の一例であるＰｌａｎａｒ予測の説明図である。Ｐｌａｎａｒ予測では、圧縮部６０は、図６においてａ、ｂ、ｃ、ｄで示す隣接参照画素の輝度値を参照し、１つの画素Ｚの輝度値ｚを予測する。ここで、ｘ方向において、画素Ｚは、予測ブロックをｘ１：ｘ２に内分した位置にある。また、ｙ方向において、画素Ｚは、予測ブロックをｙ１：ｙ２に内分した位置にある。また、画素ｃ’と画素ｃの輝度値が同じであり、画素ｄ’と画素ｄの輝度値が同じであると仮定する。
【0060】
以下の数式に示すように、圧縮部６０は、輝度値ｂ、ｃを用いたｘ方向の線形予測から、予測値ｚ１を計算する。また、圧縮部６０は、輝度値ａ、ｄを用いたｙ方向の線形予測から、予測値ｚ２を計算する。そして、圧縮部６０は、予測値ｚ１、ｚ２の平均値ｚをＰｌａｎａｒ予測値とする
【数2】
【0061】
なお、圧縮部６０は、ＤＣ予測やＡｎｇｕｌａｒ予測など、Ｐｌａｎａｒ予測以外の方法でイントラレイヤー予測を行ってもよい。
また、圧縮部６０は、各予測ブロックに対して圧縮性能の高い予測方法を個別に選定できる。これにより、画像全体に対して、高い圧縮効果が得られる。なお、ＹＵＶ変換などによってカラー画像を輝度成分と色差成分に分離している場合、輝度成分および色差成分の各々に対して、イントラレイヤー予測を適用できる。
また、圧縮部６０は、各予測ブロックに対して圧縮性能の高い予測方法を個別に選定できる。これにより、画像全体に対して、高い圧縮効果が得られる。なお、ＹＵＶ変換などによってカラー画像を輝度成分と色差成分に分離している場合、輝度成分および色差成分の各々に対して、イントラレイヤー予測を適用できる。
【0062】
以下、図７を参照して、圧縮部６０によるインターレイヤー予測について説明する。インターレイヤー予測では、圧縮部６０は、複数のレイヤーにまたがった画像の変位を予測する。細胞などの顕微鏡画像においては、近傍のレイヤーの画像のパターンが類似する。そのため、圧縮部６０は、近傍レイヤーの画像を用いたインターレイヤー予測を行い、対象となるレイヤーの画像を、予測と残差とに分けて符号化する。予測の精度が高ければ、残差情報が非常に小さくなる。そのため、予測と残差情報を使用して目的フレームを符号化することで、単独で圧縮した際よりデータサイズが少なくなり、高い圧縮効果が得られる。
【0063】
対象となる３次元の顕微鏡画像のうちの一部は、インターレイヤー予測を用いずに、レイヤー単体で符号化した基準レイヤーとする。一連の積層画像に対して、少なくとも１つの基準レイヤーを設定することが好ましい。図３のように複数のスポットを連続して撮像する場合は、各スポットに対して少なくとも１つの基準レイヤーを設定することが好ましい。積層画像のうち任意のレイヤーを基準レイヤーとする。例えば、中央付近、最上端、最下端のレイヤー、あるいはスライドガラス直上の面を撮像したレイヤーを基準レイヤーにできる。
【0064】
基準レイヤー以外のレイヤー画像は、予測レイヤーとする。予測レイヤーは、近傍画像からの予測値と残差で符号化する。圧縮部６０は、図７においてＡで示される矢印のように、上方又は下方に隣接した１つの画像から、予測レイヤーを予測する。また、圧縮部６０は、上方および下方の双方向を含めた複数の隣接する画像を参照して、予測レイヤーを予測してもよい。
【0065】
大きな画像に対しては、顕微鏡画像をブロック分割したブロック単位で、インターレイヤー予測を行うことが好ましい。ここで用いるブロックは、上述のインターレイヤー予測に用いたブロックと同じものを用いてもよいし、そのブロックを例えば８ピクセル×４ピクセル、４ピクセル×８ピクセル、８ピクセル×８ピクセルなどの小さなブロックに分割したものを用いてもよい。
【0066】
なお、例えば、細胞の表面が斜めに傾斜した箇所などについては、図７においてＢで示される矢印のように、参照するレイヤー上の同一位置から離れた箇所の画像、すなわち、斜め下や斜め上の画像を参照して予測することにより、効果的に画像データを圧縮できることがある。また、圧縮部６０は、図７においてＣで示される矢印のように、２つ以上離れたレイヤーの画像を参照して、予測レイヤーを予測してもよい。予測のために参照するブロックの位置やレイヤーは、ブロックごとに適宜組み合わせて探索できることが好ましい。
【0067】
圧縮部６０は、分割した各ブロックに対して、イントラレイヤー予測とインターレイヤー予測を組み合わせることで、効果的にデータを圧縮できる。従来のＪＰＥＧやＪＰＥＧ２０００などは、２次元画像を一つずつ圧縮するものである。これに対し、細胞の３次元顕微鏡画像においてレイヤーを少しずつ移動した場合、隣接するレイヤーの画像は類似度が高い。そのため、インターレイヤー予測により、効率的に圧縮できる。
【0068】
圧縮部６０は、更に、イントラレイヤー予測およびインターレイヤー予測を経たデータに対して、直交変換を行ってもよい。直交変換は、画像の情報を周波数領域に変換して、データを圧縮する。圧縮部６０は、画像をブロック分割したブロック単位で、直交変換を行うことが好ましい。ブロックのサイズは、例えば、４ピクセル×４ピクセル、８ピクセル×８ピクセル、１６ピクセル×１６ピクセル、３２ピクセル×３２ピクセルである。
直交変換には、例えば、離散コサイン変換や離散サイン変換である。ブロックによっては、変換を行わなくてもよい。なお、離散コサイン変換や離散サイン変換は、実数精度ではなく整数精度で行うことが好ましい。これにより、環境に依存せず、一定した結果が得られ、演算が高速になる。
直交変換には、例えば、離散コサイン変換や離散サイン変換である。ブロックによっては、変換を行わなくてもよい。なお、離散コサイン変換や離散サイン変換は、実数精度ではなく整数精度で行うことが好ましい。これにより、環境に依存せず、一定した結果が得られ、演算が高速になる。
【0069】
圧縮部６０は、更に、各ブロックのデータをエントロピー符号化によって圧縮してもよい。エントロピー符号化の方式は、例えば、ハフマン符号やコンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応算術符号化（ＣＡＢＡＣ）である。
【0070】
上記の通り、圧縮部６０が３次元顕微鏡画像を圧縮することにより、画像の劣化を抑えつつ、データ容量を削減できる。一方、大量の入力画像に対して複雑な計算処理を行うため、圧縮の計算処理に要する時間が長くなる。そのため、計算処理の高速化が求められる。
計算処理に要する時間を短縮するためには、未圧縮の画像データの転送や保存を減らすことが好ましい。そのため、３次元画像を撮像したら、速やかに圧縮を行い、データ容量を速やかに削減する。３次元の顕微鏡画像は、例えば、ＣＭＯＳなどのエリアセンサを搭載した撮像部３０を用いて、複数レイヤーの平面画像を連続して撮像することで取得できる。この場合、撮像部３０の内部、もしくは撮像部３０から画像データの信号を受け取ったコンピュータ内部において、速やかに画像データを圧縮することが好ましい。
計算処理に要する時間を短縮するためには、未圧縮の画像データの転送や保存を減らすことが好ましい。そのため、３次元画像を撮像したら、速やかに圧縮を行い、データ容量を速やかに削減する。３次元の顕微鏡画像は、例えば、ＣＭＯＳなどのエリアセンサを搭載した撮像部３０を用いて、複数レイヤーの平面画像を連続して撮像することで取得できる。この場合、撮像部３０の内部、もしくは撮像部３０から画像データの信号を受け取ったコンピュータ内部において、速やかに画像データを圧縮することが好ましい。
【0071】
また、撮像部３０の内部で各平面画像をＹＵＶ変換して４：２：２や４：２：０などにクロマサンプリングを行い、更に、コンピュータ内部で複数の平面画像からなる３次元画像に対する圧縮計算を行うなど、処理を分担することもできる。また、例えば、撮像部３０がベイヤー配列のＲＧＢ画素を有するカラーセンサーを搭載したものである場合、ベイヤー配列の生データをそのままコンピュータに転送し、コンピュータ上でＹＵＶ変換やクロマサンプリングを行った後に、更なる圧縮処理を行ってもよい。
【0072】
複数レイヤーの平面画像の積層からなる３次元顕微鏡画像の圧縮計算は、専用の集積回路などのハードウェアを活用することで、高速に実行できる。例えば、撮像部３０の内部のＩＳＰ（Image Signal Processor）は、ベイヤー配列のデモザイキング処理の他、画像の色補正処理、正規化処理、クロッピング処理、レンズの収差補正処理、ノイズ除去処理などを行う並列ハードウェアを搭載している。これらの機能により、圧縮の際に圧縮率やデータサイズなどの品質を高めるための画像最適化処理を施してから、３次元画像を撮像部３０から出力して転送できる。この際、処理要素あたりの処理時間を１フレームの取得時間以下にして分割したハードウェアとすることや、カメラと処理要素の間、処理要素と出力の間にバッファを構成することで、リアルタイム処理を妨げずに高速化ができる構成としてもよい。
【0073】
撮像部３０からの出力には、ＵＳＢ３．０、ＵＳＢ３．１、ＭＩＰＩ、Ｅｔｈｅｒｎｅｔなどの高速インタフェースが用いられる。このような圧縮のための画像処理のためのハードウェアは、撮像部３０の内部に限らず、撮像部３０から画像データを受け取ったコンピュータもしくはＳｏＣ（System on Chip）内に設置してもよい。
転送された画像は、チップ上のフレームバッファもしくはＳＲＡＭの他、コンピュータに接続されたＤＲＡＭなどのメモリ上に保持される。圧縮のための画像処理には、撮像部３０の内部と同様に集積されたハードウェアであるＩＳＰを用いる他、並列に集積されるＧＰＵ（Graphics processing unit）を用いることもできる。ＧＰＵには、汎用的な画像処理が可能な並列演算器アレイの他、演算器と高速でデータの転送が可能なＶＲＡＭ（Video RAM）、画像処理のためのグラフィックスパイプラインが集積されており、ソフトウエア処理によりハードウェア処理に類似したリアルタイム処理を実現できる。
転送された画像は、チップ上のフレームバッファもしくはＳＲＡＭの他、コンピュータに接続されたＤＲＡＭなどのメモリ上に保持される。圧縮のための画像処理には、撮像部３０の内部と同様に集積されたハードウェアであるＩＳＰを用いる他、並列に集積されるＧＰＵ（Graphics processing unit）を用いることもできる。ＧＰＵには、汎用的な画像処理が可能な並列演算器アレイの他、演算器と高速でデータの転送が可能なＶＲＡＭ（Video RAM）、画像処理のためのグラフィックスパイプラインが集積されており、ソフトウエア処理によりハードウェア処理に類似したリアルタイム処理を実現できる。
【0074】
また、画像処理のためにＳｏＣ内部に集積されているＦＰＧＡ（Field programmable gate array）を用いて、必要な並列ハードウェアを実装してもよい。画像最適化処理後のデータは、チップ上のＲＡＭもしくは接続されたＤＲＡＭなどに保持される。画像最適化が完了した画像データの圧縮処理には、チップ上に集積されているハードウェアエンコーダを用いるほか、ＧＰＵやＦＰＧＡに実装されたエンコード処理を用いてもよい。これらのエンコーダを用いる場合、画像データは、前段の画像最適化処理でエンコードに適した画像サイズとフレーム数に分割もしくはクロップされ、チップ上のＲＡＭへのデータの格納もしくはエンコーダが接続されたデータ転送バスへのデータ転送を起点として圧縮処理を実行する。
【0075】
処理単位は、画像の類似度が高く、高い圧縮品質が得られる同一箇所の積層画像が好ましいが、それに限定されるものではない。複数個所の積層画像をまとめてエンコードすることで、効率を向上させてもよい。このとき、エンコーダも含めて複数の演算器を同時に使用し、途中経過のデータをチップ上のＲＡＭもしくは接続されているＤＲＡＭに画像バッファ５５を構成して保存して受け渡すことで、データの転送時間と演算時間をオーバーラップさせて全体の処理時間を短縮させる。これにより、リアルタイム処理を実現できる。
【0076】
撮像部３０の出力側の一部として画像バッファ５５が構成される場合、撮像部３０の撮像タイミング信号の間隔が撮像部３０からのデータ出力レートより短い場合でも、画像信号を画像バッファ５５に保存し、並行して出力することができる。これにより、撮像速度をセンサ上限まで向上する。
【0077】
また、圧縮部６０が入力側の一部として画像バッファ５５が構成される場合、画像バッファ５５に指定枚数の画像がそろったタイミングで、圧縮部６０が圧縮処理を実行できる。これにより、効率的な処理を行うことができる。
また、撮像部３０の出力画像の形式と、圧縮部６０が必要とする画像の形式が異なる場合に、圧縮部６０の入力側に複数の画像バッファを用意して、並列に変換処理を行ってもよい。これにより、撮像部３０の入力フレームレートと、圧縮部６０の動作フレームレートを、ハードウェアの取りうる最大の値に保ちながら、リアルタイム処理を実現できる。
また、撮像部３０の出力画像の形式と、圧縮部６０が必要とする画像の形式が異なる場合に、圧縮部６０の入力側に複数の画像バッファを用意して、並列に変換処理を行ってもよい。これにより、撮像部３０の入力フレームレートと、圧縮部６０の動作フレームレートを、ハードウェアの取りうる最大の値に保ちながら、リアルタイム処理を実現できる。
【0078】
圧縮処理の内容によっては、処理の一部もしくは全体をＣＰＵによるソフトウエア処理で実行することもある。この場合、エンコーダへのデータの入出力は、ＣＰＵがアクセス可能のメモリ領域で行うことで、ソフトウエアとエンコーダのパイプライン動作により、リアルタイム処理を行う。
圧縮が完了したデータは、チップ上のＲＡＭもしくは接続されたＤＲＡＭなどに保持された後、ＳＳＤやＨＤＤなどの外部ストレージに保存される。また、圧縮後にバッファを介すことなく、データ転送バスから直接外部ストレージに書き込まれてもよい。外部ストレージへのアクセスには時間を要するため、圧縮が完了したデータを保存が必要なタイミングで書き込むことが好ましい。また、必要に応じて、圧縮データに対して、追加の符号化処理や計算処理を行ってもよい。
圧縮が完了したデータは、チップ上のＲＡＭもしくは接続されたＤＲＡＭなどに保持された後、ＳＳＤやＨＤＤなどの外部ストレージに保存される。また、圧縮後にバッファを介すことなく、データ転送バスから直接外部ストレージに書き込まれてもよい。外部ストレージへのアクセスには時間を要するため、圧縮が完了したデータを保存が必要なタイミングで書き込むことが好ましい。また、必要に応じて、圧縮データに対して、追加の符号化処理や計算処理を行ってもよい。
【0079】
図２Ａを参照して説明した通り、制御部５０は、撮像部３０による撮像と同期して検体Ｓと顕微鏡２０の対物レンズとの間の距離を変化させる。このとき、制御部５０は、各レイヤーの垂直ステージの位置情報を、各レイヤーの画像とともに記録することが好ましい。また、図３や図４に示すように、検体Ｓの水平面上の位置を移動させながら撮像を繰り返し、撮像対象の検体Ｓの全体もしくは特定の部分の３次元顕微鏡画像を取得してもよい。この場合、垂直ステージの位置情報に加えて、ステージ１０の位置情報（Ｘ座標、Ｙ座標）も記録することで、全体の撮像時間を短縮しながら、各層により異なる位置の画像を正確に配置して統合できる。垂直ステージやステージ１０の位置情報は、各画像を撮像するタイミングで取得し、生成した圧縮画像とともに記録することが好ましい。例えば、垂直ステージを移動させながら撮像した積層画像におけるレイヤー間の距離の情報は、デコンボリューション計算などにおいて必要となる場合がある。また、図３のように複数スポットで撮像する場合、各スポットの位置情報は、各スポットの画像を貼り合わせて全体の画像を取得する場合などに有用である。
【0080】
なお、撮像の情報は、例えば、ステージ位置の他、対物レンズの倍率や種類、光学フィルタやダイクロイックミラーなどの光学素子の有無や種類、カメラの露光時間、ＩＳＯ感度、ゲイン、ホワイトバランスなどの設定値、照明光の強度や絞りの位置などである。
【0081】
また、複数の検体Ｓを連続して撮像するため、制御部５０は、例えば、検体Ｓに付与された番号など、撮像した検体Ｓの情報も取得することが好ましい。撮像対象とする検体Ｓがスライドグラスの場合、スライドグラスのラベル部に検体Ｓの情報を記入することが一般的である。そのため、スライドグラス全体の画像を撮像して一緒に記録することで、スライドガラスの情報と撮像した検体Ｓの積層画像が紐づけられる。
【0082】
このとき、個人情報を保護するため、制御部５０は、特定の部分を指定してスライドラベルの一部の情報を除外して保存してもよい。また、撮像に用いた装置に付与された番号や機種名、撮像を行ったユーザの情報なども必要となることがある。制御部５０は、これらの情報を、生成した圧縮画像と一体で管理し、保存や転送を行う際に添付してもよい。また、制御部５０は、これらの情報を別途データベース等に格納し、レコードに一意に割り当てられたＩＤ番号を、生成した圧縮画像とともに記録してもよい。
【0083】
制御部５０は、撮像時だけでなく、既に撮像済みの顕微鏡画像を圧縮する際に圧縮画像へ情報を付加してもよい。既に取得された顕微鏡積層画像について、位置情報、撮像情報、検体Ｓに関する情報などが付加されていれば、垂直スタック画像を圧縮した圧縮データと、撮像情報や検体情報を合わせて記録することで、圧縮画像をデコードした後にタイリングやデコンボリューションなどの処理を適切に行ったり、目的とする検体Ｓの画像を正しく選んで観察したりできる。
また、積層画像の位置情報は、既存の顕微鏡２０で取得された際に記録されている位置情報を用いる他、積層画像を配置して貼り合わせ、その一致度から各画像の位置を推定して位置情報を生成してもよい。撮像情報についても、個々の画像の背景や細胞の輝度情報や色情報から推定した情報などを付加してもよい。
また、積層画像の位置情報は、既存の顕微鏡２０で取得された際に記録されている位置情報を用いる他、積層画像を配置して貼り合わせ、その一致度から各画像の位置を推定して位置情報を生成してもよい。撮像情報についても、個々の画像の背景や細胞の輝度情報や色情報から推定した情報などを付加してもよい。
【0084】
制御部５０は、圧縮した３次元画像を記憶部７０に保存する。また、制御部５０は、圧縮した３次元画像を、送信部８０からサーバーやクラウド上のストレージなどにネットワークを介して転送する。圧縮によりデータサイズが小さくなり、より円滑にデータを転送できる。また、データ転送により、外部の計算機リソースにアクセスし、多人数や遠隔地からアクセス可能となる。
圧縮した３次元画像を、デコード計算で積層した２次元画像に復元することにより、容易に閲覧でき、画像処理計算に用いることができる。例えば、デコードした３次元画像を入力として、深層学習などの人工知能による画像処理を行うことで、特定の種類の細胞を自動的に検出し、また、検出した細胞を分類することもできる。閲覧などの処理に使用しない間は、データを圧縮ファイルの形式で保存し、必要になった際に都度デコードしてもよい。
圧縮した３次元画像を、デコード計算で積層した２次元画像に復元することにより、容易に閲覧でき、画像処理計算に用いることができる。例えば、デコードした３次元画像を入力として、深層学習などの人工知能による画像処理を行うことで、特定の種類の細胞を自動的に検出し、また、検出した細胞を分類することもできる。閲覧などの処理に使用しない間は、データを圧縮ファイルの形式で保存し、必要になった際に都度デコードしてもよい。
【0085】
デコード演算のためには、まずデータを圧縮画像データと、画像に付加して保存した座標データや撮像情報データ、検体情報データとに分離する。分離後の圧縮画像データには、１つ以上の箇所の積層画像が圧縮画像として含まれる。これを、各箇所、各層の２次元画像データにデコード演算により復元する。データの分離およびデコード計算は、サーバーやクラウド上のストレージから読み込まれたデータに対して、サーバーやクラウド上に準備したＣＰＵ、ＧＰＵ、デコード用のハードウェア、デコード用のハードウェアを実装したＦＰＧＡなどを用いる。クラウドの場合は、デコード演算に要求される時間とデータ処理量に応じた計算リソースを動的に割り当てることで、デコード演算を高速かつ安価に実施できる。デコードを行うとデータサイズは大きくなる。そのため、デコード後の画像は、大きな容量のメモリに保持したうえで後段の処理を行うか、大容量もしくは分散したストレージに保存することが好ましい。
【0086】
デコード後の画像は、１スポットもしくは複数スポットの積層画像データである。デコード後の画像が複数スポットの積層画像であり、複数スポットの画像を貼り合わせて１つの大きな画像に統合する場合には、各スポットの画像をタイル状に貼り合わせてタイリング処理を行う。図８、図９は、タイリング処理の一例を示す図である。タイリング処理では、隣接するスポットにおける重なり領域の画像を比較し、両者の画像パターンが一致する位置で画像を結合する。このとき、比較を行う隣接スポットの画像がぼけていると、正確な位置決めが難しい。そのため、各スポットの平面画像の中から焦点が合っている画像を選定し、選定した画像を用いて、隣接スポットの画像比較を行い、各スポットのタイリング後の画像位置を決定することが好ましい。その後、積層画像の各レイヤーについて、隣接スポットの画像を貼り合わせる画像統合の処理を行う。これにより、各スポットの積層画像を貼り合わせた統合した積層画像が得られる。このとき、統合処理後のレイヤー数は、撮像時のレイヤー数を上限として、焦点が合っている領域が含まれている画像のレイヤーのみを統合してもよい。
【0087】
タイリング処理を行う際、事前に標本全体の輝度情報やカラー情報を調整し、閲覧やその後のデータ処理に適した画像とするための画像処理を行うことが好ましい。特に、図１０に示すように、照明ムラなどにより画像中の位置によって輝度やコントラストが異なる場合、そのままタイリング処理を行うと貼り合わせ箇所に輝度のずれが生じ、見た目に違和感を与えることがある。これを避けるために、図１１に示すように、各スポットの画像全体の輝度やコントラストが概ね同一のレベルにそろうよう、輝度およびコントラストを予め調整することが好ましい。
【0088】
顕微鏡２０の光軸が対象物に対して完全に直交していない場合、撮像した画像中の位置によって画像フォーカスの具合が異なる場合がある。このような場合は、積層画像の中から同一フォーカス面の画像を合成するフォーカス処理により、画像全体のフォーカス具合が均一化された積層画像に変換できる。
また、タイリング処理の前もしくは後のいずれかにおいて、積層画像に対してデコンボリューション計算を行い、焦点ずれによるボケを削減した画像を取得してもよい。
また、タイリング処理の前もしくは後のいずれかにおいて、積層画像に対してデコンボリューション計算を行い、焦点ずれによるボケを削減した画像を取得してもよい。
【0089】
統合処理により、標本全体について、閲覧やその後のＡＩ解析に適した１レイヤー以上の統合画像データが得られる。統合処理におけるデータ依存性は、隣接した撮像位置との間のみである。そのため、統合処理を並列に実行し、処理を高速化できる。このため、統合処理に使用する画像ストレージ領域を分散して、並列のＣＰＵもしくはＧＰＵなどの演算器を用いて、並列に入出力と処理を実行できる。ストレージへのデータ入出力の実行時間が問題となる場合は、１レイヤーもしくは複数レイヤーの画像をメモリ上にマッピングして、並列に処理を実行してもよい。
【0090】
統合処理後の複数レイヤーの画像は、１ピクセルの解像度が２５０ｎｍである場合、標本領域の大きさが２０ｍｍ×２０ｍｍの場合、８００００×８００００ピクセルの大きさとなる。そのため、４Ｋモニタを使用しても表示できるのは１辺の長さの比で全体の約１／２０となり、そのまま閲覧することは現実的ではない。また、実際に画像を閲覧する場合、標本全体から詳細を拡大、縮小しながら、移動して閲覧することが望ましい。このため、フルサイズの画像から、段階的に縮小した画像を作成し、それを分割して保存することで、任意の倍率の任意の場所の画像を高速に読み出すことが有用である。例えば、元の画像サイズから、１／２、１／４、１／８と縮小していき、更に各サイズの画像を２５６ピクセル角や５１２ピクセル角などの小さなブロックに分割する。これにより、読み出しの画像サイズを小さくして、高速に読み出し可能となる。
【0091】
このように、段階的に解像度を変えた一連の画像は、画像ピラミッドなどと呼ばれる。画像ピラミッドの一例として、例えば、マイクロソフト社が発表したDeep Zoom File Formatは、各ピラミッドの各ブロック画像を個別のＪＰＥＧ形式やＰＮＧ形式などの画像ファイルとして保持し、更に画像全体の大きさや各ブロックのサイズなど画像ピラミッドの読み出しに必要となる情報をＸＭＬ形式で保持したものである。
【0092】
なお、画像ピラミッドはこれらに限らず、例えば、バイナリ形式で複数の倍率の画像を分割して連結して保存し、読み出し用のインデックスヘッダを設けて、ヘッダへのアクセスにより読み出し場所を特定して必要なデータを高速に読み出すデータ構成としても良い。また、ここで保存されるバイナリは、デコード後のビットマップ画像の他、デコード品質を妨げない程度に圧縮されたＪＰＥＧ形式もしくはその他の圧縮形式の画像でもよい。また、画像と付随して画像に付加されている撮影情報や、座標情報、３Ｄレイヤー情報、フォーカス位置情報、画像解析により得られている細胞に関する情報を一緒に読み出せるようにしてもよい。
【0093】
画像の読み出しのためには、高速に画像を読み出すためのソフトウエアならびにＡＰＩを提供することができる。ソフトウエアは、単一もしくは複数の画像読み出し処理を実行可能で、必要に応じて画像形式を変換して出力する。画像の読み出しの際には、ソフトウエアに対して必要な画像のＸ、Ｙ、Ｚ位置、解像度、画像形式を指定して、読み出しのコマンドを送出する。これにより、バイナリ形式の画像から、必要な画像データを取得することができる。また、画像に付随した情報を必要な形式に変換して出力できる。Ｚ位置を含む入力パラメータに対して、リアルタイムで該当箇所の画像を出力することで、顕微鏡２０の操作と同等のユーザインタフェースを３Ｄ撮像データに対して提供できる。
【0094】
表示や解析のためにＷｅｂアプリケーションからサーバーやクラウドからデータを読み出すためには、検体Ｓの識別情報とデータを取得する位置、必要な画像情報を符号化したＵＲＩをＷｅｂアプリケーション側よりリクエストとして送出し、サーバー・クラウド側から応答として必要な情報と画像データを転送する。この通信は、データのセキュリティを確保するため、暗号化やアクセストークンにより保護して、必要な認証に基づいてデータの送受信が実行される。もしくは、認証機能を有するデータ取得ＡＰＩとして、サーバー・クラウド側で実現される。この画像データへのアクセスは、１回のアクセスでは単一の標本に対して表示や解析のために限られた領域の画像データを取得するためのものである。そのため、サーバー側で必要となる画像データの依存性は極めて低い。このため、分散ストレージや並列アクセスが可能なＡＰＩサーバー、Ｗｅｂサーバーを利用することで、複数ユーザからの多数のアクセスに対して短時間で応答が可能なスケーラブルなシステムを実現できる。このような画像の読み出しのために、必要な画像の識別情報とＸ、Ｙ、Ｚ位置、解像度、画像形式、読み出すユーザの組織情報、認証情報を入力パラメータとして、画像と付随する情報を必要な形式で出力するＡＰＩを構成し、並列で動作させる。これにより、Ｗｅｂアプリケーションにおいても、顕微鏡２０の操作と同等のユーザインタフェースを３Ｄ撮像データに対して提供することができる。
【0095】
デコードした３次元画像をコンピュータ画面上に表示する際には、奥行き上の位置を前後に切り替えて表示することで、あたかも顕微鏡２０で奥行きを前後に移動したかのような見せ方をすることができる。奥行きの切り替えには、切り替えのスライダーやボタンなどのユーザインタフェースを画面上に用意して操作する他、マウスのトラックホイールや、キーボードへのキーバインド、さらに顕微鏡２０のフォーカスリングと同様のダイヤル状デバイスを利用して奥行きを切り替える。これにより、顕微鏡２０と類似の操作感にできる。また、同様のユーザインタフェースを用いて、水平面上の位置や拡大倍率を観察者が自在に変更してもよい。
【0096】
３次元表示を行う場合、デコードした画像に対してデコンボリューション処理を行うことで、より明瞭な表示結果が得られる。また、３次元画像の各レイヤーから焦点が合った部位のみを繋げて表示することにより、１枚の２次元画像を合成して表示できる。
【0097】
このように、３次元画像に対して顕微鏡２０と類似のインタフェースを実現するほか、３次元の顕微鏡画像に対して視点や向き、拡大倍率を自在に変更したり、断層画像を見せたり、３次元ディスプレイ上に表示したりできる。例えば、１つの表示形式として複数のレイヤー画像をその３次元位置を保持して仮想空間上に配置し、各ボクセルに対してその輝度情報や色情報に応じた色、透過率、もしくは反射率、もしくはその角度分布などを設定する。この仮想空間に対して、１つ以上の任意の点の照明と、任意の点の視点を設けることで、任意の方向から見た細胞の３次元画像を表示できる。
【0098】
また、ピクセル画像を点群に変換し、点群を３次元座標上に配置して、それぞれの点群の透過度や反射率、その方向を定めることで、３次元画像を表示できる。
また、例えば、細胞質や細胞核などの特定の領域を抽出もしくはセグメンテーションしてボクセルデータとして連結し、その表面に対して透過率と反射率を設定して画像を表示するボリュームレンダリングにより、３次元データを表示できる。
また、ボリュームレンダリングの表面情報のみを抽出し、その表面の法線方向のベクトルと、その位置の画像情報から、ボクセル情報を表面のポリゴン情報に変換し、ポリゴンで構成された３次元モデルとして表示できる。
また、例えば、細胞質や細胞核などの特定の領域を抽出もしくはセグメンテーションしてボクセルデータとして連結し、その表面に対して透過率と反射率を設定して画像を表示するボリュームレンダリングにより、３次元データを表示できる。
また、ボリュームレンダリングの表面情報のみを抽出し、その表面の法線方向のベクトルと、その位置の画像情報から、ボクセル情報を表面のポリゴン情報に変換し、ポリゴンで構成された３次元モデルとして表示できる。
【0099】
これらの画像データの変換や表示の際には、画像に対してデコンボリューション処理により表示したい３Ｄ位置以外のデータを分離する処理を行う他、表示したい領域や強調したい領域を指定して、その部分を特徴的に表示することもできる。例えば、核の情報を抽出、強調することにより、核の形状、核の内部の核小体、クロマチンなどの細胞診に重要な領域を強調表示して判断しやすくなる。また、その形状を分析することにより、物理的な計測結果を一緒に表示できる。
【実施例0100】
図１３は、各層の画像を従来の静止画像として保存した場合と積層画像として圧縮して保存した場合の比較を示す。５４７２×３４６８ピクセルの３０層の画像を用いて、各層をＪＰＥＧ画像（品質１００）で保存した場合と、積層画像として圧縮して保存した場合の、各積層画像のデータサイズと、ＪＰＥＧ画像に対する積層圧縮画像のピーク信号対雑音比ＰＳＮＲを調べた。画像１～３のＪＰＥＧ画像のデータサイズは、それぞれ、３０４ＭＢ、３０６ＭＢ、３００ＭＢである。積層圧縮後の画像サイズは、圧縮の際のパラメータにより、必要とされる画質や画像サイズに対して可変である。この結果、ＰＳＮＲはＪＰＥＧ画像と比較して見分けをつけるのが一般的に困難な４０以上の水準を維持しながら、画像サイズをＪＰＥＧ画像の合計と比較して１／１６～１／１００に大きく削減できた。
【符号の説明】
【0101】
１０ ステージ
２０ 顕微鏡
２２ 照明
３０ 撮像部（カメラ）
４０ 焦点面移動機構
４２ ステージ移動機構
５０ 制御部
５５ 画像バッファ
６０ 圧縮部
７０ 記録部
８０ 送信部
Ｓ 検体
２０ 顕微鏡
２２ 照明
３０ 撮像部（カメラ）
４０ 焦点面移動機構
４２ ステージ移動機構
５０ 制御部
５５ 画像バッファ
６０ 圧縮部
７０ 記録部
８０ 送信部
Ｓ 検体
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2022-06-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
焦点面における検体の画像を取得する顕微鏡と、
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有する、顕微鏡システム。
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有する、顕微鏡システム。
【請求項2】
前記圧縮部は、
所定時間内に前記レイヤー数データに基づく撮像数の前記画像データを受信しなかった場合に、エラー処理を行う、
請求項１に記載の顕微鏡システム。
所定時間内に前記レイヤー数データに基づく撮像数の前記画像データを受信しなかった場合に、エラー処理を行う、
請求項１に記載の顕微鏡システム。
【請求項3】
前記検体が載置されるステージと、
前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動するステージ移動機構と、
を更に有し、
前記制御部は、前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動させるステージ移動制御信号を前記ステージ移動機構に送信する、
請求項１又は２に記載の顕微鏡システム。
前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動するステージ移動機構と、
を更に有し、
前記制御部は、前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動させるステージ移動制御信号を前記ステージ移動機構に送信する、
請求項１又は２に記載の顕微鏡システム。
【請求項4】
前記圧縮部が生成した前記圧縮画像データを記憶する記憶部を更に有する、
請求項１又は２に記載の顕微鏡システム。
請求項１又は２に記載の顕微鏡システム。
【請求項5】
前記制御部は、前記焦点面制御信号及び前記ステージ移動制御信号に基づき、前記焦点座標が所定の座標となるタイミングで前記撮像タイミング信号を前記撮像部に送信する、
請求項３に記載の顕微鏡システム。
請求項３に記載の顕微鏡システム。
【請求項6】
前記記憶部は、撮像位置データを、前記圧縮画像データとともに記録する、
請求項１又は２に記載の顕微鏡システム。
請求項１又は２に記載の顕微鏡システム。
【請求項7】
焦点面における検体の画像を顕微鏡で撮像部に結像し、
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成する、
データ処理方法。
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成する、
データ処理方法。
【請求項8】
所定時間内に前記レイヤー数データに基づく個数の前記画像データを受信しなかった場合に、前記圧縮部は、エラー処理を行う、
請求項７に記載のデータ処理方法。
請求項７に記載のデータ処理方法。
【請求項9】
ステージ移動制御信号に基づいて、前記検体が載置されるステージと前記顕微鏡とを、前記光軸方向に直交する方向に相対的に移動する、
請求項７又は８に記載のデータ処理方法。
請求項７又は８に記載のデータ処理方法。
【請求項10】
前記圧縮画像データを記憶する、
請求項７又は８に記載のデータ処理方法。
請求項７又は８に記載のデータ処理方法。
【請求項11】
前記焦点座標が所定の座標となるタイミングで、前記撮像タイミング信号を前記撮像部に送信する、
請求項７又は８に記載のデータ処理方法。
請求項７又は８に記載のデータ処理方法。
【手続補正書】
【提出日】2022-07-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
焦点面における検体の画像を取得する顕微鏡と、
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有し、
前記圧縮部は、
所定時間内に前記レイヤー数データに基づく撮像数の前記画像データを受信しなかった場合に、エラー処理を行う、
顕微鏡システム。
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する、
制御部と、
を有し、
前記圧縮部は、
所定時間内に前記レイヤー数データに基づく撮像数の前記画像データを受信しなかった場合に、エラー処理を行う、
顕微鏡システム。
【請求項2】
前記検体が載置されるステージと、
前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動するステージ移動機構と、
を更に有し、
前記制御部は、前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動させるステージ移動制御信号を前記ステージ移動機構に送信する、
請求項１に記載の顕微鏡システム。
前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動するステージ移動機構と、
を更に有し、
前記制御部は、前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動させるステージ移動制御信号を前記ステージ移動機構に送信する、
請求項１に記載の顕微鏡システム。
【請求項3】
前記圧縮部が生成した前記圧縮画像データを記憶する記憶部を更に有する、
請求項１又は２に記載の顕微鏡システム。
請求項１又は２に記載の顕微鏡システム。
【請求項4】
前記制御部は、前記焦点面制御信号及び前記ステージ移動制御信号に基づき、前記焦点座標が所定の座標となるタイミングで前記撮像タイミング信号を前記撮像部に送信する、
請求項２に記載の顕微鏡システム。
請求項２に記載の顕微鏡システム。
【請求項5】
前記記憶部は、撮像位置データを、前記圧縮画像データとともに記録する、
請求項３に記載の顕微鏡システム。
請求項３に記載の顕微鏡システム。
【請求項6】
焦点面における検体の画像を顕微鏡で撮像部に結像し、
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成し、
所定時間内に前記レイヤー数データに基づく個数の前記画像データを受信しなかった場合に、前記圧縮部は、エラー処理を行う、
データ処理方法。
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像データを生成し、
所定時間内に前記レイヤー数データに基づく個数の前記画像データを受信しなかった場合に、前記圧縮部は、エラー処理を行う、
データ処理方法。
【請求項7】
ステージ移動制御信号に基づいて、前記検体が載置されるステージと前記顕微鏡とを、前記光軸方向に直交する方向に相対的に移動する、
請求項６に記載のデータ処理方法。
請求項６に記載のデータ処理方法。
【請求項8】
前記圧縮画像データを記憶する、
請求項６又は７に記載のデータ処理方法。
請求項６又は７に記載のデータ処理方法。
【請求項9】
前記焦点座標が所定の座標となるタイミングで、前記撮像タイミング信号を前記撮像部に送信する、
請求項６又は７に記載のデータ処理方法。
請求項６又は７に記載のデータ処理方法。