特開 2023-153767 画像取得装置および画像取得方法｛ＩＭＡＧＥ ＡＣＱＵＩＳＩＴＩＯＮ ＤＥＶＩＣＥ ＡＮＤ ＩＭＡＧＥ ＡＣＱＵＩＳＩＴＩＯＮ ＭＥＴＨＯＤ｝

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023153767

(43)【公開日】2023-10-18

(54)【発明の名称】画像取得装置および画像取得方法｛ＩＭＡＧＥ ＡＣＱＵＩＳＩＴＩＯＮ ＤＥＶＩＣＥ ＡＮＤ ＩＭＡＧＥ ＡＣＱＵＩＳＩＴＩＯＮ ＭＥＴＨＯＤ｝

(51)【国際特許分類】

   H04N 23/67 20230101AFI20231011BHJP

   H04N 23/45 20230101ALI20231011BHJP

   H04N 23/60 20230101ALI20231011BHJP

   G02B 21/36 20060101ALI20231011BHJP

   G02B 21/26 20060101ALI20231011BHJP

【ＦＩ】

H04N23/67 300

H04N23/45

H04N23/60 500

G02B21/36

G02B21/26

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023061407

(22)【出願日】2023-04-05

(31)【優先権主張番号】10-2022-0042246

(32)【優先日】2022-04-05

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】513303186

【氏名又は名称】ビューワークス カンパニー リミテッド

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】ジン ミンギュ

(72)【発明者】

【氏名】カン ユジュン

(72)【発明者】

【氏名】カン チャンウ

(72)【発明者】

【氏名】ソ キョンリョル

【テーマコード（参考）】

2H052

5C122

【Ｆターム（参考）】

2H052AD09

2H052AD18

2H052AF14

2H052AF25

5C122EA42

5C122FA09

5C122FA18

5C122FD10

5C122FH09

5C122FH11

5C122FH18

5C122FH23

5C122HA82

5C122HA88

5C122HB01

(57)【要約】      （修正有）

【課題】少なくとも１つのイメージセンサを用いて焦点位置が異なる複数の画像を取得し、複数の画像を重畳して拡張被写界深度画像を生成する画像取得装置および画像取得方法を提供する。
【解決手段】画像取得装置１は、サンプル１４が載せられたスライド１２が搭載されるステージ１０、対物レンズ２０、対物レンズを介して入射されたサンプルからの光を少なくとも２つに分離するビーム分割部３０、分離された光からサンプルの画像を取得する少なくとも２つのイメージセンサ部４０、４４、イメージセンサ部が取得した画像を合成して合成画像を生成する画像生成部及びステージ又は対物レンズと、イメージセンサ部と画像生成部の作動と、を制御する主制御部を有する。ステージは、対物レンズの光軸に対して少なくとも第１方向に相対移動でき、少なくとも２つのイメージセンサ部は、１回の撮影でサンプルに対する互いに異なる焦点位置における画像を夫々取得する。
【選択図】図１

【特許請求の範囲】

【請求項1】

サンプルが載せられたスライドが搭載されるステージ；
前記サンプルに対向して配置される対物レンズ；
前記対物レンズを介して入射された前記サンプルからの光を少なくとも２つに分離して伝達するビーム分割部；
前記ビーム分割部により分離された光から前記サンプルの画像を取得する少なくとも２つのイメージセンサ部；
前記イメージセンサ部から取得された画像を合成して合成画像を生成する画像生成部；および
前記ステージまたは前記対物レンズと、前記イメージセンサ部と、前記画像生成部とが作動するのを制御する主制御部；
を含み、
前記ステージは、前記対物レンズの光軸に対して少なくとも第１方向に相対移動が可能であり、前記少なくとも２つのイメージセンサ部は、１回の撮影で前記サンプルに対する互いに異なる焦点位置における画像をそれぞれ取得することを特徴とする、画像取得装置。

【請求項2】

前記主制御部は、前記ステージの前記第１方向への相対移動と前記対物レンズの前記サンプルに対する距離を制御し、前記対物レンズの前記サンプルに対する第１距離と第１ＦＯＶで前記サンプルに対する第１ＦＯＶ画像が複数の前記イメージセンサ部により取得され、前記対物レンズの前記サンプルに対する第２距離と前記第１ＦＯＶと少なくとも一部の領域が重畳する第２ＦＯＶで前記サンプルに対する第２ＦＯＶ画像が複数の前記イメージセンサ部により取得されるようにすることを特徴とする、請求項１に記載の画像取得装置。

【請求項3】

前記画像生成部は、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像を用いて前記合成画像を生成することを特徴とする、請求項２に記載の画像取得装置。

【請求項4】

前記画像生成部は、
前記第１ＦＯＶと前記第２ＦＯＶが重畳する重畳領域を考慮して、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像をそれぞれ分割し、分割領域別に分割画像を生成する画像分割部、および
前記分割画像を合成して前記合成画像を生成する画像合成部を含むことを特徴とする、請求項３に記載の画像取得装置。

【請求項5】

前記画像生成部は、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像における異なる焦点位置における画像の品質を評価して評価値を算出し、前記評価値を加重値として前記合成画像を生成することを特徴とする、請求項３に記載の画像取得装置。

【請求項6】

前記画像生成部は、
前記第１ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第１予備合成画像を生成し、前記第２ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第２予備合成画像を生成する画像前処理部、
前記第１予備合成画像と前記第２予備合成画像を臨時格納するバッファ、および
前記バッファに臨時格納された前記第１予備合成画像と前記第２予備合成画像を合成して前記合成画像を生成する画像後処理部を含むことを特徴とする、請求項４に記載の画像取得装置。

【請求項7】

前記画像前処理部は、前記分割画像の品質を評価して評価値を算出し、前記分割画像の前記評価値を加重値として前記第１予備合成画像または前記第２予備合成画像を生成することを特徴とする、請求項６に記載の画像取得装置。

【請求項8】

前記主制御部は、
前記対物レンズの前記サンプルに対する第１距離と第１ＦＯＶで前記サンプルに対する第１ＦＯＶ画像が複数の前記イメージセンサ部により取得されるように制御し、
前記第１ＦＯＶ画像の少なくとも一部の領域を焦点算出領域として前記焦点算出領域における焦点を評価し、第２ＦＯＶにおける前記対物レンズの前記サンプルに対する第２距離を算出して前記対物レンズの位置を調整することを特徴とする、請求項１に記載の画像取得装置。

【請求項9】

前記画像生成部は、前記サンプルに対する同一のＦＯＶにおける互いに異なる焦点位置における複数の画像の品質を評価して評価値を算出し、前記評価値を加重値として前記合成画像を生成することを特徴とする、請求項１に記載の画像取得装置。

【請求項10】

前記画像生成部は、前記合成画像として拡張被写界深度画像を生成し、前記拡張被写界深度画像は、周波数フィルタまたは畳み込みフィルタが適用されたものであることを特徴とする、請求項１～９のいずれか一項に記載の画像取得装置。

【請求項11】

サンプルが載せられたスライドが搭載されるステージ；
前記サンプルに対向して配置される対物レンズ；
前記対物レンズを介して前記サンプルの画像を取得する少なくとも１つのイメージセンサ部；
前記イメージセンサ部から取得された焦点位置が異なる複数の画像を合成して拡張被写界深度画像を生成する画像生成部；および
前記ステージが前記対物レンズの光軸に対して第１方向に相対移動するように制御し、少なくとも一部の領域が重畳する第１ＦＯＶと第２ＦＯＶで互いに異なる焦点位置の第１ＦＯＶ画像と第２ＦＯＶ画像が前記イメージセンサ部により取得されるように制御する制御部；
を含む、画像取得装置。

【請求項12】

前記画像生成部は、前記第１ＦＯＶと前記第２ＦＯＶが重畳する重畳領域を考慮して、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像を分割して分割領域別に分割画像を生成し、前記重畳領域に属する前記分割画像を用いて前記重畳領域に対する前記拡張被写界深度画像を生成することを特徴とする、請求項１１に記載の画像取得装置。

【請求項13】

少なくとも１つのイメージセンサ部が、ステージに搭載されたスライドのサンプルに対して、複数の焦点位置に対する複数の画像を取得する画像取得ステップ；および
画像生成部が、前記複数の画像を合成して合成画像を生成する画像合成ステップ；
を含む、画像取得方法。

【請求項14】

前記イメージセンサ部が複数備えられ、
前記画像取得ステップは、同一のＦＯＶに対して前記サンプルに対する互いに異なる焦点位置の画像を取得する複数の前記イメージセンサ部により行われることを特徴とする、請求項１３に記載の画像取得方法。

【請求項15】

前記画像取得ステップは、第１ＦＯＶで前記イメージセンサ部により第１ＦＯＶ画像が取得され、前記第１ＦＯＶと少なくとも一部の領域が重畳する第２ＦＯＶと第１ＦＯＶの焦点位置とは異なる焦点位置で前記イメージセンサ部により第２ＦＯＶ画像が取得されることで行われることを特徴とする、請求項１３に記載の画像取得方法。

【請求項16】

前記画像合成ステップは、
前記第１ＦＯＶと前記第２ＦＯＶの重畳領域を考慮して、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像を分割領域別に分割して分割画像を生成するステップ；および
前記分割画像を用いて前記重畳領域に対する前記合成画像を生成するステップ；を含むことを特徴とする、請求項１５に記載の画像取得方法。

【請求項17】

前記画像合成ステップは、前記分割画像の品質を評価して評価値を算出し、前記分割画像の前記評価値を加重値として前記合成画像を生成することを特徴とする、請求項１６に記載の画像取得方法。

【請求項18】

前記画像取得ステップは、１つのＦＯＶに対して互いに異なる焦点距離を有する複数の前記イメージセンサ部により行われ、
前記画像合成ステップは、
前記第１ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第１予備合成画像を生成し、前記第２ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第２予備合成画像を生成するステップ、および
前記第１予備合成画像と前記第２予備合成画像を合成して前記合成画像を生成するステップを含むことを特徴とする、請求項１６に記載の画像取得方法。

【請求項19】

前記画像合成ステップは、
前記サンプルに対する同一のＦＯＶにおける互いに異なる焦点位置における複数の画像の品質を評価して評価値を算出し、前記評価値を加重値として前記合成画像を生成することを特徴とする、請求項１３に記載の画像取得方法。

【請求項20】

前記画像生成部が前記合成画像に周波数フィルタまたは畳み込みフィルタを適用して画像鮮明度を向上させるステップをさらに含むことを特徴とする、請求項１３～１９のいずれか一項に記載の画像取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像取得装置および画像取得方法に関する。より詳細には、本発明は、サンプルに対する拡張被写界深度画像を取得することができる画像取得装置および画像取得方法に関する。

【背景技術】

【0002】

被写界深度（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ、ＤＯＦ）とは、焦点が鮮明になる深さの範囲をいい、拡張被写界深度画像とは、焦点が合う深さの範囲が広い画像をいう。被写界深度は、レンズの焦点距離とレンズ口径およびカメラと被写体の距離に応じて決められる。

【0003】

顕微鏡と連動して用いられるスキャン装置が知られている。一例として、スライドスキャナ（Ｓｌｉｄｅ Ｓｃａｎｎｅｒ）は、１つまたは複数のスライドを自動でスキャンしてイメージを格納および観察分析が可能な装置であり、様々な前臨床実験や病理検査における組織サンプルの画像取得に用いられている。

【0004】

スライドスキャナを用いてデジタルスライド画像を取得する際に、画像焦点の正確度を高めることが重要である。一般に、デジタルスライド画像を取得するための組織サンプルの場合は４μｍ以内の厚さを有し、細胞サンプルの場合は数十μｍの厚さを有する。

【0005】

ここで、組織サンプルまたは細胞サンプルの撮影時に被写体の被写界深度を高めることが重要である。ところが、このために対物レンズの倍率を２０～４０倍レベルに拡大する場合、対物レンズの被写界深度が約１μｍ内外となり、組織サンプルの厚さに比べて被写界深度が小さいという問題がある。

【0006】

このように対物レンズの被写界深度が組織サンプルの厚さに比べて小さいという問題を解決できるように、従来技術の場合、前述した対物レンズの被写体の被写界深度（例えば、約１μｍ内外）よりも厚い被写体を撮影するために、１つのＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）に対して焦点高さが異なる画像を複数枚撮影する。次に、各画像において焦点が最もよく合う部分が再び組み合わせられるように画像処理して１枚の拡張被写界深度（Ｅｘｔｅｎｄｅｄ ＤＯＦ）画像を生成する。

【0007】

しかしながら、このような従来の方法は、１枚の拡張被写界深度画像を取得するために同一領域を何度も撮影しなければならないため、多くの時間がかかるという短所があった。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】韓国公開特許第１０－２０２０－００４７９７１号

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、少なくとも１つのイメージセンサを用いて焦点位置が異なる複数の画像を取得し、複数の画像を重畳して拡張被写界深度画像を提供する画像取得装置および画像取得方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、サンプルが載せられたスライドが搭載されるステージ；前記サンプルに対向して配置される対物レンズ；前記対物レンズを介して入射された前記サンプルからの光を少なくとも２つに分離して伝達するビーム分割部；前記ビーム分割部により分離された光から前記サンプルの画像を取得する少なくとも２つのイメージセンサ部；前記イメージセンサ部から取得された画像を合成して合成画像を生成する画像生成部；および前記ステージまたは前記対物レンズと、前記イメージセンサ部および前記画像生成部の作動を制御する主制御部；を含み、前記ステージは、前記対物レンズの光軸に対して少なくとも第１方向に相対移動が可能であり、前記少なくとも２つのイメージセンサ部は、１回の撮影で前記サンプルに対する互いに異なる焦点位置における画像をそれぞれ取得することを特徴とする、画像取得装置を提供する。

【0011】

一実施形態において、前記主制御部は、前記ステージの前記第１方向への相対移動と前記対物レンズの前記サンプルに対する距離を制御し、前記対物レンズの前記サンプルに対する第１距離と第１ＦＯＶで前記サンプルに対する第１ＦＯＶ画像が複数の前記イメージセンサ部により取得され、前記対物レンズの前記サンプルに対する第２距離と前記第１ＦＯＶと少なくとも一部の領域が重畳する第２ＦＯＶで前記サンプルに対する第２ＦＯＶ画像が複数の前記イメージセンサ部により取得されるようにすることができる。

【0012】

また、前記画像生成部は、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像を用いて前記合成画像を生成することができる。

【0013】

一実施形態において、前記画像生成部は、前記第１ＦＯＶと前記第２ＦＯＶが重畳する重畳領域を考慮して、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像をそれぞれ分割し、分割領域別に分割画像を生成する画像分割部、および前記分割画像を合成して前記合成画像を生成する画像合成部を含む。

【0014】

また、前記画像生成部は、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像における異なる焦点位置における画像の品質を評価して評価値を算出し、前記評価値を加重値として前記合成画像を生成することができる。

【0015】

一実施形態において、前記画像生成部は、前記第１ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第１予備合成画像を生成し、前記第２ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第２予備合成画像を生成する画像前処理部、前記第１予備合成画像と前記第２予備合成画像を臨時格納するバッファ、および前記バッファに臨時格納された前記第１予備合成画像と前記第２予備合成画像を合成して前記合成画像を生成する画像後処理部を含むことができる。

【0016】

また、前記画像前処理部は、前記分割画像の品質を評価して評価値を算出し、前記分割画像の前記評価値を加重値として前記第１予備合成画像または前記第２予備合成画像を生成することができる。

【0017】

一実施形態において、前記主制御部は、前記対物レンズの前記サンプルに対する第１距離と第１ＦＯＶで前記サンプルに対する第１ＦＯＶ画像が複数の前記イメージセンサ部により取得されるように制御し、前記第１ＦＯＶ画像の少なくとも一部の領域を焦点算出領域として前記焦点算出領域における焦点を評価し、第２ＦＯＶにおける前記対物レンズの前記サンプルに対する第２距離を算出して前記対物レンズの位置を調整することができる。

【0018】

一実施形態において、前記画像生成部は、前記サンプルに対する同一のＦＯＶにおける互いに異なる焦点位置における複数の画像の品質を評価して評価値を算出し、前記評価値を加重値として前記合成画像を生成することができる。

【0019】

一実施形態において、前記画像生成部は、前記合成画像として拡張被写界深度画像を生成し、前記拡張被写界深度画像は、周波数フィルタまたは畳み込みフィルタが適用されたものであってもよい。

【0020】

また、本発明は、サンプルが載せられたスライドが搭載されるステージ；前記サンプルに対向して配置される対物レンズ；前記対物レンズを介して前記サンプルの画像を取得する少なくとも１つのイメージセンサ部；前記イメージセンサ部から取得された焦点位置が異なる複数の画像を合成して拡張被写界深度画像を生成する画像生成部；および前記ステージが前記対物レンズの光軸に対して第１方向に相対移動するように制御し、少なくとも一部の領域が重畳する第１ＦＯＶと第２ＦＯＶで互いに異なる焦点位置の第１ＦＯＶ画像と第２ＦＯＶ画像が前記イメージセンサ部により取得されるように制御する制御部；を含む、画像取得装置を提供する。

【0021】

一実施形態において、前記画像生成部は、前記第１ＦＯＶと前記第２ＦＯＶが重畳する重畳領域を考慮して、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像を分割して分割領域別に分割画像を生成し、前記重畳領域に属する前記分割画像を用いて前記重畳領域に対する前記拡張被写界深度画像を生成することができる。

【0022】

また、本発明は、少なくとも１つのイメージセンサ部が、ステージに搭載されたスライドのサンプルに対して、複数の焦点位置に対する複数の画像を取得する画像取得ステップ；および画像生成部が、前記複数の画像を合成して合成画像を生成する画像合成ステップ；を含む、画像取得方法を提供する。

【0023】

一実施形態において、前記イメージセンサ部が複数備えられ、前記画像取得ステップは、同一のＦＯＶに対して前記サンプルに対する互いに異なる焦点位置の画像を取得する複数の前記イメージセンサ部により行われることができる。

【0024】

一実施形態において、前記画像取得ステップは、第１ＦＯＶで前記イメージセンサ部により第１ＦＯＶ画像が取得され、前記第１ＦＯＶと少なくとも一部の領域が重畳する第２ＦＯＶと第１ＦＯＶの焦点位置とは異なる焦点位置で前記イメージセンサ部により第２ＦＯＶ画像が取得されることで行われることができる。

【0025】

また、前記画像合成ステップは、前記第１ＦＯＶと前記第２ＦＯＶの重畳領域を考慮して、前記第１ＦＯＶ画像と前記第２ＦＯＶ画像を分割領域別に分割して分割画像を生成するステップ；および前記分割画像を用いて前記重畳領域に対する前記合成画像を生成するステップ；を含むことができる。

【0026】

また、前記画像合成ステップは、前記分割画像の品質を評価して評価値を算出し、前記分割画像の前記評価値を加重値として前記合成画像を生成することができる。

【0027】

一実施形態において、前記画像取得ステップは、１つのＦＯＶに対して互いに異なる焦点距離を有する複数の前記イメージセンサ部により行われ、前記画像合成ステップは、前記第１ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第１予備合成画像を生成し、前記第２ＦＯＶ画像の前記分割画像を前記分割領域別に予備合成して第２予備合成画像を生成するステップ、および前記第１予備合成画像と前記第２予備合成画像を合成して前記合成画像を生成するステップを含むことができる。

【0028】

また、前記画像合成ステップは、前記サンプルに対する同一のＦＯＶにおける互いに異なる焦点位置における複数の画像の品質を評価して評価値を算出し、前記評価値を加重値として前記合成画像を生成することができる。

【0029】

一実施形態において、前記画像取得方法は、前記画像生成部が前記合成画像に周波数フィルタまたは畳み込みフィルタを適用して画像鮮明度を向上させるステップをさらに含むことができる。

【発明の効果】

【0030】

本発明の一実施形態によれば、１回の撮影でサンプルに対する複数の被写界深度画像を取得して画像を合成することでスキャニング速度を向上させることができる。

【0031】

また、本発明の一実施形態によれば、連続する撮影におけるＦＯＶを重畳させ、被写界深度を異にしてＦＯＶが重畳する領域でさらに多い被写界深度画像を取得することができるため、画像合成の品質を向上させることができる。

【図面の簡単な説明】

【0032】

【図1】本発明の第１実施形態による画像取得装置の構成を示す図である。

【図2】本発明の第１実施形態による画像取得装置において、異なる焦点位置における複数の画像を重畳して取得することを示す図である。

【図3】図２の状態で取得された画像の一例を示す図である。

【図4】本発明の第１実施形態による画像取得装置の画像生成部の構成を示すブロック図である。

【図5】本発明の第１実施形態による画像取得装置の画像生成部の他の実施形態を示すブロック図である。

【図6】図５に示された画像生成部における画像合成過程を例示する図である。

【図7】本発明の第１実施形態による画像取得装置において、画像生成部の画像後処理部における拡張被写界深度画像の処理過程の一例を示す図である。

【図8】本発明の第１実施形態による画像取得装置の画像取得方法を示すフローチャートである。

【図9】本発明の第１実施形態による画像取得装置および方法において、連続するＦＯＶが２／３ずつ領域が重畳する場合を例示する図である。

【図10】本発明の第２実施形態による画像取得装置の構成を示す図である。

【図11】本発明の第２実施形態による画像取得装置を介して取得された画像を用いて拡張被写界深度画像を生成する過程を概念的に示す図である。

【図12】本発明の第２実施形態による画像取得装置を介して取得された互いに異なる焦点位置の画像サンプルを例示する図である。

【図13】本発明の第２実施形態による画像取得装置において、連続する撮影における焦点設定のための方策を説明する図である。

【図14】本発明の第２実施形態による画像取得装置の画像取得方法を示すフローチャートである。

【図15】本発明の第３実施形態による画像取得装置の構成を示す図である。

【図16】本発明の第３実施形態による画像取得装置を用いて画像を取得する過程を説明する図である。

【発明を実施するための形態】

【0033】

以下、本発明の好ましい実施形態について添付図面を参照して詳しく説明する。先ず、各図面の構成要素に参照符号を付するに際し、同一の構成要素に対しては他の図面上に表示される際にも可能な限り同一の符号を付するようにしていることに留意しなければならない。また、本発明を説明するに際し、公知の構成または機能に関する具体的な説明が本発明の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明は省略する。また、以下に本発明の好ましい実施形態を説明するが、本発明の技術的思想は、これに限定または制限されず、当業者により変形されて多様に実施可能であることはいうまでもない。

【0034】

図１は、本発明の第１実施形態による画像取得装置の構成を示す図である。

【0035】

本発明の第１実施形態による画像取得装置１は、スキャニングの対象となるサンプル１４が載せられたスライド１２が搭載されるステージ１０と、サンプル１４からの光が入力されるレンズ２０、２２と、レンズ２０、２２を通過した光を分離して出力するビーム分割部３０と、ビーム分割部３０により分離された光からサンプルの画像をそれぞれ取得する第１イメージセンサ部４０および第２イメージセンサ部４４と、第１イメージセンサ部４０および第２イメージセンサ部４４により取得された画像を用いて拡張被写界深度画像を生成する画像生成部６０と、全体作動を制御する主制御部５０と、を含む。前記レンズ２０、２２は、サンプル１４に対向して配置される対物レンズ２０と、結像のためのチューブレンズ２２と、を含むことができる。

【0036】

ステージ１０は、主制御部５０の制御により、第１方向（一例として、以下、第１方向は、図１のｘ軸方向と説明される）に移動可能である。ただし、本発明の実施において、ステージ１０は固定され、対物レンズ２０をｘ軸方向に移動するか、または別の光学構造物を備えて光軸２１が移動するように構成されてもよい。ステージ１０と画像取得のための光軸２１は、ｘ軸方向に相対移動が可能であるものと理解することができる。

【0037】

対物レンズ２０は、主制御部５０の制御により、第２方向（一例として、以下、第２方向は、図１のｚ軸方向と説明される）に移動可能である。対物レンズ２０のｚ軸方向の移動によりサンプル１４内での焦点位置が可変することができる。場合によっては、ステージ１０をｚ軸方向に移動して焦点位置が可変するように構成されることも可能である。

【0038】

ビーム分割部３０は、対物レンズ２０に入力されたサンプル１４からの光を第１イメージセンサ部４０と第２イメージセンサ部４４に分割して提供する。ビーム分割部３０は、ビームスプリッタ（ｂｅａｍ ｓｐｌｉｔｔｅｒ）またはプリズムのような光学部材で構成されることができる。

【0039】

第１イメージセンサ部４０と第２イメージセンサ部４４は、それぞれ第１イメージセンサ４２と第２イメージセンサ４６を備え、第１イメージセンサ４２と第２イメージセンサ４６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のようなイメージ素子で構成されることができる。また、第１イメージセンサ４２と第２イメージセンサ４６は、ラインスキャン（ｌｉｎｅ ｓｃａｎ）またはエリアスキャン（ａｒｅａ ｓｃａｎ）方式のいずれか１つを適用することができる。

【0040】

本発明の第１実施形態において、第１イメージセンサ部４０と第２イメージセンサ部４４のサンプル１４に対する焦点位置が異なるように設定される。すなわち、サンプル１４に対して第１イメージセンサ部４０と第２イメージセンサ部４４の焦点位置が異なるように設定され、第１イメージセンサ部４０により取得される画像と第２イメージセンサ部４４により取得される画像は、サンプル１４内での異なる焦点位置における画像である。

【0041】

画像生成部６０は、第１イメージセンサ部４０と第２イメージセンサ部４４により取得された画像にフォーカススタッキング（ｆｏｃｕｓ ｓｔａｃｋｉｎｇ）を適用した拡張被写界深度画像を生成する。また、画像生成部６０は、主制御部５０の制御によりステージ１０がｘ軸方向に順次移動しつつ、複数のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）で取得された画像に基づいて、サンプル１４に対する拡張被写界深度画像を生成することができる。

【0042】

一方、図１の例示ではステージ１０がｘ軸方向に移動することを例示しているが、ステージ１０がｘ軸に垂直な水平方向（すなわち、ｘ軸とｚ軸に垂直なｙ軸方向）に移動し、ステージ１０のｙ軸方向の移動に沿ってスキャニングを行うことも可能であることはいうまでもない。また、ｘ軸方向とｙ軸方向の移動に沿ったｘ－ｙ平面におけるスキャニングが可能である。ただし、以下の説明では、ステージ１０がｘ軸方向に移動することを例示して説明する。

【0043】

図２は、本発明の第１実施形態による画像取得装置において、異なる焦点位置における複数の画像を重畳して取得することを示す図であり、図３は、図２の状態で取得された画像の一例を示す図である。

【0044】

図２の（ａ）、（ｂ）、（ｃ）は、ステージ１０をｘ軸方向に沿って左側にそれぞれ所定距離だけ移動させた状態であり、移動距離は、対物レンズ２０を介して取得される画像のＦＯＶサイズの１／２である。また、図２の（ａ）および（ｃ）において、対物レンズ２０からスライド１２の上面までの距離は、ｚ１として同一であり、図２の（ｂ）において、対物レンズ２０からスライド１２の上面までの距離は、ｚ１とは異なるｚ２である。図２の（ａ）および（ｃ）において、第１イメージセンサ部４０に入力される画像のサンプル内での焦点位置はｆ１１であり、第２イメージセンサ部４４に入力される画像のサンプル内での焦点位置はｆ２１である。一方、図２の（ｂ）において、第１イメージセンサ部４０に入力される画像のサンプル内での焦点位置はｆ１２であり、第２イメージセンサ部４４に入力される画像のサンプル内での焦点位置はｆ２２である。図２における図面符号１６は、サンプル１４内に含まれた組織や細胞を意味する。

【0045】

図２の（ａ）および図３の（ａ）を参照すれば、第１ＦＯＶにおいて、第１イメージセンサ部４０は、焦点位置ｆ１１に応じた画像（Ｐ１）を取得し、第２イメージセンサ部４４は、焦点位置ｆ２１に応じた画像（Ｑ１）を取得する。それぞれの画像（Ｐ１、Ｑ１）は、その後の撮影における画像と重畳する部分がＦＯＶの１／２であるため、それぞれ２つの分割画像（Ｐ１ａ、Ｐ１ｂ、Ｑ１ａ、Ｑ１ｂ）に分割されることができる。

【0046】

参考に、本発明の説明または請求の範囲において、イメージセンサ部４０、４４が第１ＦＯＶで取得する画像を「第１ＦＯＶ画像」と称し、イメージセンサ部４０、４４が第２ＦＯＶで取得する画像を「第２ＦＯＶ画像」と称することができる。これは、第３ＦＯＶや第４ＦＯＶにおける場合も同様である。

【0047】

図２の（ｂ）および図３の（ｂ）を参照すれば、第２ＦＯＶにおいて、第１イメージセンサ部４０と第２イメージセンサ部４４は、焦点位置ｆ１２と焦点位置ｆ２２に応じた画像（Ｐ２、Ｑ２）を取得する。これらの画像（Ｐ２、Ｑ２）は、それぞれ２つの分割画像（Ｐ２ａ、Ｐ２ｂ、Ｑ２ａ、Ｑ２ｂ）に分割されることができる。

【0048】

第１ＦＯＶと第２ＦＯＶが重畳する領域では、焦点位置が互いに異なる４つの分割画像（Ｐ１ｂ、Ｑ１ｂ、Ｐ２ａ、Ｑ２ａ）が取得される。画像生成部６０は、この４つの分割画像（Ｐ１ｂ、Ｑ１ｂ、Ｐ２ａ、Ｑ２ａ）をフォーカススタッキングして当該領域に対する拡張被写界深度画像を生成することができる。すなわち、本発明によれば、ＦＯＶが重畳するようにステージ１０を光軸２１に対して相対移動させつつサンプル１４に対する画像を取得することで、複数の焦点位置におけるサンプル画像を容易に取得することができる。ステージ１０を固定した状態で対物レンズ２０の高さを繰り返し調整することに比べて、ステージ１０の移動と対物レンズ２０の高さの調節を互いに組み合わせて行うことで、複数の焦点位置におけるサンプル画像の取得時間を短縮することができる。また、図１のように複数のイメージセンサ部４０、４２を備えることで、互いに異なる焦点位置におけるサンプル画像の個数が増加する。

【0049】

同様の方式で、図２の（ｃ）および図３の（ｃ）を参照すれば、第１イメージセンサ部４０は画像（Ｐ３）を、第２イメージセンサ部４４は画像（Ｑ３）を取得する。画像生成部６０は、分割画像（Ｐ２ｂ、Ｑ２ｂ、Ｐ３ａ、Ｑ３ａ）をフォーカススタッキングすることで、第２ＦＯＶの右側領域に対する拡張被写界深度画像を生成することができる。また、画像生成部６０は、第２ＦＯＶの左側領域に対して分割画像（Ｐ１ｂ、Ｑ１ｂ、Ｐ２ａ、Ｑ２ａ）で生成した拡張被写界深度画像と、第２ＦＯＶの右側領域に対して分割画像（Ｐ２ｂ、Ｑ２ｂ、Ｐ３ａ、Ｑ３ａ）で生成した拡張被写界深度画像とを継ぎ合わせて、第２ＦＯＶに対する拡張被写界深度画像を生成することができる。このような過程を繰り返すと、サンプル１４の全体または要求部分に対する拡張被写界深度画像が生成される。

【0050】

一方、本発明の実施において、図２の（ｃ）において、対物レンズ２０からスライド１２の上面までの距離は、ｚ１でもなく、ｚ２でもない他の値であってもよく、それにより、第１イメージセンサ部４０と第２イメージセンサ部４４が取得する画像の焦点位置も異なってもよい。

【0051】

また、ステージ１０がｘ軸方向に移動する距離も、ＦＯＶの１／２ではなく、ＦＯＶの１／３または１／４のように他の値であってもよい。ステージ１０がｘ軸方向に移動する距離を減少させると、重畳する画像の個数をさらに増加させることができる。例えば、ステージ１０がｘ軸方向に移動する距離をＦＯＶの１／３とし、対物レンズ２０のサンプル１４またはスライド１２に対する距離を異にして連続する３回の撮影が行われると、最初のＦＯＶの最後の１／３領域に対しては画像が３回重畳する。図１のように２つのイメージセンサ部４０、４４が備えられる場合、最初のＦＯＶの最後の１／３領域に対しては焦点位置が異なる６つの分割画像が存在することになり、フォーカススタッキングによる拡張被写界深度画像の品質が向上することができる。

【0052】

図４は、本発明の第１実施形態による画像取得装置の画像生成部の構成を示すブロック図である。

【0053】

画像生成部６０は、画像入力部６２、画像分割部６４、バッファ６６、および画像合成部６８を含むことができる。

【0054】

画像入力部６２は、第１イメージセンサ部４０と第２イメージセンサ部４４から取得された画像の入力を受ける。

【0055】

画像分割部６４は、連続する撮影におけるＦＯＶの重畳部分またはステージ１０の移動距離とＦＯＶの幅を考慮して、第１イメージセンサ部４０と第２イメージセンサ部４４から入力された画像をそれぞれ分割する。図２および図３の例示の場合、画像分割部６４は、第１イメージセンサ部４０と第２イメージセンサ部４４から入力された画像をそれぞれ２つに分割する。

【0056】

バッファ６６には、画像分割部６４により分割された分割画像が臨時格納される。一実施形態において、バッファ６６は、第１イメージセンサ部４０と第２イメージセンサ部４４から入力された画像を分割した分割画像をＦＯＶの順序通りに格納することができる。

【0057】

画像合成部６８は、ＦＯＶの分割領域に属する複数の焦点位置が異なる分割画像をバッファ６６から伝達を受け、フォーカススタッキングして合成する。一実施形態において、ＦＯＶの特定の分割領域に該当する分割画像がバッファ６６に全て格納された後、画像合成部６８は、特定の領域に対する分割画像を合成することができる。また、画像合成部６８は、分割領域別に生成された合成画像をステッチ（ｓｔｉｔｃｈｉｎｇ）して１つの拡張被写界深度画像として生成することができる。画像合成部６８により合成された画像は、別の格納装置に格納されるか、または外部の視覚ディスプレイなどに出力されることができる。

【0058】

図５は、本発明の第１実施形態による画像取得装置の画像生成部の他の実施形態を示すブロック図であり、図６は、図５に示された画像生成部における画像合成過程を例示する図である。

【0059】

図５に示された画像生成部６０の構成は、図４に示された画像生成部６０の構成と一部対応する。図５および図６を参照すれば、画像生成部６０は、画像入力部６２、画像前処理部６５、バッファ６６、画像後処理部６７、および画像出力部６９を含む。

【0060】

画像入力部６２は、第１イメージセンサ部４０と第２イメージセンサ部４４からＦＯＶの移動に沿って順次取得された画像の入力を受ける。

【0061】

画像前処理部６５は、第１イメージセンサ部４０と第２イメージセンサ部４４から伝達された画像をそれぞれ分割して分割画像として生成し、ＦＯＶの分割領域別に分割画像を予備合成する。ＦＯＶの分割領域に対する予備合成画像は、バッファ６６に格納される。

【0062】

図６を参照すれば、第１ＦＯＶにおいて、第１イメージセンサ部４０から入力された画像（Ｐ１）と、第２イメージセンサ部４４から入力された画像（Ｑ１）とが、画像前処理部６５に入力される。画像前処理部６５は、入力された画像（Ｐ１、Ｑ１）を連続するＦＯＶの重畳領域に応じて分割し、分割画像（Ｐ１ａ、Ｐ１ｂ、Ｑ１ａ、Ｑ１ｂ）を生成する。その後、画像前処理部６５は、第１ＦＯＶの分割領域別に分割画像を合成する。例示において、分割画像（Ｐ１ａ、Ｑ１ａ）が合成された第１予備合成画像（Ｒ１ａ）と、分割画像（Ｐ１ｂ、Ｑ１ｂ）が合成された第１予備合成画像（Ｒ１ｂ）とが生成され、第１バッファ６６ａに格納される。すなわち、第１ＦＯＶのサンプルに対する画像が２つに分割され、それぞれの分割された領域における焦点位置が異なる２つの画像が１つの予備合成画像に合成され、第１バッファ６６ａに格納される。

【0063】

次に、第２ＦＯＶにおいて、第１イメージセンサ部４０により取得された画像（Ｐ２）と、第２イメージセンサ部４４により取得された画像（Ｑ２）とが、画像前処理部６５に入力される。画像前処理部６５は、入力された画像（Ｐ２、Ｑ２）を連続するＦＯＶの重畳領域に応じて分割し、分割画像（Ｐ２ａ、Ｐ２ｂ、Ｑ２ａ、Ｑ２ｂ）を生成する。その後、画像前処理部６５は、第２ＦＯＶの分割領域別に分割画像を合成する。例示において、分割画像（Ｐ２ａ、Ｑ２ａ）が合成された第２予備合成画像（Ｒ２ａ）と、分割画像（Ｐ２ｂ、Ｑ２ｂ）が合成された第２予備合成画像（Ｒ２ｂ）とが生成され、第２バッファ６６ｂに格納される。すなわち、第２ＦＯＶのサンプルに対する画像が２つに分割され、それぞれの分割された領域における焦点位置が異なる２つの画像が１つの予備合成画像に合成され、第２バッファ６６ｂに格納される。

【0064】

画像後処理部６７は、バッファ６６に格納された第１予備合成画像と第２予備合成画像を用いて拡張被写界深度画像（Ｓ）を生成する。第１ＦＯＶと第２ＦＯＶが重畳する領域に対する分割画像（Ｐ１ｂ、Ｑ１ｂ、Ｐ２ａ、Ｑ２ａ）の合成による拡張被写界深度画像（Ｓ）の生成は、画像後処理部６７が第１予備合成画像（Ｒ１ｂ）と第２予備合成画像（Ｒ２ａ）を合成することで行われることができる。

【0065】

図２における第３ＦＯＶに対する画像は、画像前処理部６５を経て第１バッファ６６ａに格納されることができ、第３ＦＯＶと第２ＦＯＶが重畳する領域に対する拡張被写界深度画像も、上述したような方法により生成されることができる。

【0066】

一実施形態において、画像前処理部６５は、同一領域に対する分割画像を合成する際に、各分割画像の評価値を加重値として考慮することができる。分割画像の評価値は、画像の画質または焦点の一致可否に対するものであってもよい。一例として、分割画像の評価値としては、ブレナーグラジエント（Ｂｒｅｎｎｅｒ ｇｒａｄｉｅｎｔ）、トレネンバウムグラジエント（Ｔｒｅｎｅｎｂａｕｍ ｇｒａｄｉｅｎｔ）、エネルギ－ラプラス（ｅｎｅｒｇｙ ｌａｐｌａｃｅ）などを用いることができる。また、分割画像の評価値は、各分割画像の全体領域または一部の関心領域を対象に算出されることができる。分割画像の全体領域を対象に評価値を算出する場合（例えば、全体領域の平均的な焦点値を算出）、全体的な鮮明度は多少低下し得るが、品質の均一性を確保することができる。分割画像の中央部分を対象に評価値を算出する場合、歪みが発生する可能性が高い外郭部分を無視するという短所はあるが、高い鮮明度を得ることができる。サンプル内の細胞核が関心領域であれば、細胞核を検知し、細胞核を中心に画像の評価値を算出することで最適な鮮明度を得ることができる。

【0067】

例えば、図６における分割画像（Ｐ１ｂ）の評価値がＺ１であり、分割画像（Ｑ１ｂ）の評価値がＺ２である場合、Ｚ１とＺ２を加重値としてそれぞれの分割画像のピクセル値に乗じた結果を加算することで、分割画像（Ｐ１ｂ、Ｑ１ｂ）を合成した第１予備合成画像（Ｒ１ｂ）を生成することができる。分割画像それぞれの評価値または予備合成画像の評価値は、バッファ６６の画像評価値格納部６６ａ２、６６ｂ２に格納されることができる。また、画像後処理部６７における活用のために、分割画像の合成後に生成された予備合成画像の評価値（Ｚ１ａ、Ｚ１ｂ、Ｚ２ａ、Ｚ２ｂ）が再び算出されて格納されることも可能である。

【0068】

画像後処理部６７が第１予備合成画像と第２予備合成画像を合成して拡張被写界深度画像（Ｓ）を生成するに際しても、画像前処理部６５が分割画像を合成する際に用いた方式を同様に適用することができる。

【0069】

一実施形態において、バッファ６６は、１回の撮影時のＦＯＶが重畳する回数、言い換えれば、ｘ軸方向へのＦＯＶの幅と、連続する撮影におけるステージ１０のｘ軸方向への相対移動距離との比を考慮して備えられることができる。図１～図６の実施形態では重畳回数が「２」であるため、バッファ６６は、第１バッファ６６ａと第２バッファ６６ｂの２つを使用するものとして構成されることができる。また、第１バッファ６６ａと第２バッファ６６ｂの大きさは、連続的に入力される分割画像数を考慮して設定されることができる。

【0070】

一実施形態において、バッファ６６は、円形バッファ（ｃｉｒｃｕｌａｒ ｂｕｆｆｅｒ）で実現されることも可能である。円形バッファを用い、第１イメージセンサ部４０と第２イメージセンサ部４４から入力された画像を画像前処理部６５が前処理し、バッファのポインタ（ｐｏｉｎｔｅｒ）の移動に沿って順次格納すると、メモリの繰り返し割り当ておよび解除を繰り返さなくてもよいという長所がある。

【0071】

一方、画像後処理部６７は、拡張被写界深度画像（Ｓ）を生成するに際し、第１予備合成画像と第２予備合成画像を合成した後、合成された画像に対して周波数フィルタを適用することが可能である。一例として、前記周波数フィルタは、ハイパスフィルタ（ｈｉｇｈ ｐａｓｓ ｆｉｌｔｅｒ）であってもよい。

【0072】

一実施形態において、画像後処理部６７は、複数の焦点位置を有する画像を合成した後、合成された画像にフーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を適用して周波数領域に変換し、低周波数成分を除去した後、逆フーリエ変換（Ｉｎｖｅｒｓｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を行うことで高周波画像を取得することができる。このような過程により、画像における焦点が合わない部分または鮮明でない部分を除去することができる。

【0073】

一実施形態において、画像後処理部６７は、畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を適用し、低周波成分が除去された高周波画像を取得することも可能である。ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いた並列処理またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いたリアルタイム処理において、畳み込みフィルタを適用することが有利である。画像後処理部６７は、畳み込み形態のフィルタを用いて低周波のぼやけた画像（ｂｌｕｒｒｅｄ ｉｍａｇｅ）を生成し、原画像からぼやけた画像を除去することで、その差分画像である高周波画像を取得することができる。畳み込みのためのカーネル（ｋｅｒｎｅｌ）の大きさは、対物レンズの倍率、イメージセンサのピクセルピッチ（Ｐｉｘｅｌ Ｐｉｔｃｈ）、スキャニングするサンプルの種類に応じて異なり得る。

【0074】

一実施形態において、画像後処理部６７は、分割画像を合成して一次拡張被写界深度画像を生成した後、一次拡張被写界深度画像に対して複数のカーネルを用いて様々な周波数帯域の画像を抽出し、差分画像である高周波画像を一次拡張被写界深度画像に加重値を適用して合成することで、最終的な拡張被写界深度画像を生成することができる。

【0075】

図７は、本発明の第１実施形態による画像取得装置において、画像生成部の画像後処理部における拡張被写界深度画像の処理過程の一例を示す図である。

【0076】

図７を参照すれば、画像後処理部６７は、分割画像を合成して一次拡張被写界深度画像（Ｓ１）を生成する。画像後処理部６７は、少なくとも１つのカーネルを用いて低周波のぼやけた画像（Ｓ１ａ、Ｓ１ｂ）を生成し、一次拡張被写界深度画像からぼやけた画像（Ｓ１ａ、Ｓ１ｂ）を差し引いた差分画像を用いて最終的な拡張被写界深度画像（Ｓ）を生成することができる。一実施形態において、画像後処理部６７は、一次拡張被写界深度画像（Ｓ１）からぼやけた画像（Ｓ１ａ、Ｓ１ｂ）を差し引いて生成した差分画像に加重値を適用し、加重値が適用された差分画像を一次拡張被写界深度画像（Ｓ１）に合成して最終的な拡張被写界深度画像（Ｓ）を生成することができる。また、画像後処理部６７は、カーネルの大きさを小さくして一次拡張被写界深度画像（Ｓ１）内での境界領域を抽出した補助画像（Ｓ１ｃ）を一次拡張被写界深度画像（Ｓ１）に追加的に合成することで、合成画像における鮮明度を増大させることができる。

【0077】

図８は、本発明の第１実施形態による画像取得装置の画像取得方法を示すフローチャートであり、図９は、本発明の第１実施形態による画像取得装置および方法において、連続するＦＯＶが２／３ずつ領域が重畳する場合を例示する図である。

【0078】

サンプルが載せられたスライド１２をステージ１０に搭載し、スライド１２に対するスキャニングを開始する。

【0079】

第１位置において、対物レンズ２０の第１ＦＯＶに応じたサンプルの画像をイメージセンサ部４０、４４を介して取得する（Ｓ１０）。第１位置は、ステージ１０またはスライド１２に対する対物レンズ２０の水平面上での位置（ｘ軸方向の位置またはｘ軸およびｙ軸方向の位置）と垂直方向への位置（ｚ軸位置）に特定されることができる。対物レンズ２０を介して取得された画像は、ビーム分割部３０により分離され、第１イメージセンサ部４０と第２イメージセンサ部４４に伝達されることができる。また、第１イメージセンサ部４０と第２イメージセンサ部４４がそれぞれ取得する画像のＦＯＶは同一であり、サンプルにおける焦点位置は互いに異なり得る。

【0080】

画像生成部６０は、連続するＦＯＶの重畳領域を考慮して、第１ＦＯＶに応じて取得された画像を分割してバッファ６６に格納する（Ｓ１２）。

【0081】

第２位置において、対物レンズ２０の第２ＦＯＶに応じたサンプルの画像をイメージセンサ部４０、４４を介して取得する（Ｓ１４）。第２位置においてステージ１０またはスライド１２に対する対物レンズ２０の水平面上での位置は、第２ＦＯＶと第１ＦＯＶが少なくとも一部の領域で重畳する位置である。例えば、ステージ１０がｘ軸方向にＦＯＶの１／２だけ移動する場合、第１ＦＯＶと第２ＦＯＶは、ｘ軸方向に１／２の領域が重畳する。また、第２位置において対物レンズ２０の垂直方向への位置（ｚ軸位置）は、第１位置におけるｚ軸位置とは異なるように設定されることができ、これにより、第２ＦＯＶでイメージセンサ部４０、４４が取得する画像の焦点位置は、第１ＦＯＶとは異なることになる。

【0082】

画像生成部６０は、連続するＦＯＶの重畳領域を考慮して、第２ＦＯＶに応じて取得された画像を分割してバッファ６６に格納する（Ｓ１６）。

【0083】

画像生成部６０は、第１ＦＯＶに応じて取得された画像と第２ＦＯＶに応じて取得された画像において重畳する領域の分割画像を用いて拡張被写界深度画像を生成する（Ｓ１８）。

【0084】

Ｓ１２ステップにおいて、画像生成部６０は、第１ＦＯＶに応じて第１イメージセンサ部４０と第２イメージセンサ部４４により取得された画像を連続するＦＯＶの重畳領域を考慮してそれぞれ分割する。一実施形態において、画像生成部６０は、第１イメージセンサ部４０と第２イメージセンサ部４４の分割された画像を分割領域別に合成して第１予備合成画像を生成し、バッファ６６に格納することができる。

【0085】

Ｓ１６ステップにおいて、画像生成部６０は、第２ＦＯＶに応じて第１イメージセンサ部４０と第２イメージセンサ部４４により取得された画像を連続するＦＯＶの重畳領域を考慮してそれぞれ分割する。一実施形態において、画像生成部６０は、第１イメージセンサ部４０と第２イメージセンサ部４４の分割された画像を分割領域別に合成して第２予備合成画像を生成し、バッファ６６に格納することができる。

【0086】

Ｓ１８ステップにおいて、画像生成部６０は、第１ＦＯＶと第２ＦＯＶが重畳する領域に対する第１予備合成画像と第２予備合成画像を合成して拡張被写界深度画像を生成することができる。

【0087】

仮に、図９に示すように、連続するスキャニングにおいてスライド１２がｘ軸方向にＦＯＶの１／３だけ移動する場合であれば、第１ＦＯＶと第２ＦＯＶは、領域の２／３が重畳する。また、後続の第３ＦＯＶを考慮すれば、第１ＦＯＶのｘ軸方向への最後の１／３に該当する領域は、第１ＦＯＶ、第２ＦＯＶ、および第３ＦＯＶにより撮影された画像が全て存在することになる。この場合、画像生成部６０は、重畳する領域を考慮して、第１ＦＯＶ、第２ＦＯＶ、および第３ＦＯＶにより撮影された画像を３つにそれぞれ分割し、重畳する領域に該当する分割画像を全て用いて当該領域に対する拡張被写界深度画像を生成することができる。図９において、第１ＦＯＶ、第２ＦＯＶ、および第３ＦＯＶにおける対物レンズ２０のスライド１２またはサンプル１４に対する相対的な高さは同一または異なるように設定されることができる。図１に示すように、イメージセンサ部４０、４４が２つ備えられる場合であれば、第１、第２、第３ＦＯＶが全て重畳する領域では、総６個の焦点位置が異なる分割画像が存在することができる。

【0088】

また、前記バッファ６６は、重畳領域の大きさを考慮して複数備えられることができ、それぞれのバッファの大きさは、必要に応じて増減することができる。第１ＦＯＶと第２ＦＯＶが１／２重畳する場合、バッファは、第１ＦＯＶおよび第２ＦＯＶそれぞれのために個別的に備えられることができる（すなわち、バッファが２つ備えられる）。後続の第３ＦＯＶの画像情報は、第１ＦＯＶのためのバッファに連続して格納されることができ、第３ＦＯＶに後続の第４ＦＯＶの画像情報は、第２ＦＯＶのためのバッファに連続して格納されることができる。連続するＦＯＶが２／３重畳する場合には、第１ＦＯＶ、第２ＦＯＶ、および第３ＦＯＶのためのバッファがそれぞれ備えられ、総３つのバッファが備えられることができる。

【0089】

また、一実施形態において、バッファ６６は、円形バッファとして備えられることができる。

【0090】

Ｓ１８ステップにおいて、画像生成部６０は、複数の焦点位置を有する分割画像を合成した後に周波数フィルタを適用することができる。

【0091】

また、Ｓ１０～Ｓ１８ステップは、繰り返し行われることができ、画像生成部６０は、分割領域別に生成された拡張被写界深度画像を繋ぎ合わせ、サンプルの所定領域または全体領域に対する１つの拡張被写界深度画像を生成して出力することも可能である。

【0092】

図１０は、本発明の第２実施形態による画像取得装置の構成を示す図である。

【0093】

本発明の第２実施形態による画像取得装置１’は、第１実施形態による画像取得装置１の構成と同様に、スライド１２が搭載されるステージ１０、対物レンズ２０、およびチューブレンズ２２を含み、ビーム分割部３０’および３つのイメージセンサ部４０、４４、４８を含むという点で一部の差がある。

【0094】

ビーム分割部３０’は、対物レンズ２０とチューブレンズ２２を介して伝達されたサンプル１４からの光を３つに分割する。一実施形態において、ビーム分割部３０’は、複数のプリズムを結合して構成することができる。ただし、本発明の実施において、ビーム分割部３０’の構成は、様々な方式で実現されてもよい。例えば、複数のダイクロイックミラー（ｄｉｃｈｒｏｉｃ ｍｉｒｒｏｒ）を介して順次に画像の一部を反射し透過する方式でビーム分割部３０’を構成することも可能である。

【0095】

ビーム分割部３０’により分割された画像は、第１イメージセンサ部４０、第２イメージセンサ部４４、および第３イメージセンサ部４８に伝達される。第１イメージセンサ部４０、第２イメージセンサ部４４、および第３イメージセンサ部４８が取得するサンプル１４に対するそれぞれの画像は、サンプル１４内で異なる焦点位置となるように設定される。これにより、第１イメージセンサ部４０、第２イメージセンサ部４４、および第３イメージセンサ部４８によりそれぞれ取得される画像のサンプル１４における焦点位置が互いに異なる。画像生成部６０には、互いに異なる焦点位置のサンプル１４の画像が伝達される。

【0096】

第２実施形態による画像取得装置１’を介して取得された画像は、図２～図８を参照して説明したように処理されることで拡張被写界深度画像が生成されることができる。すなわち、第１実施形態による画像取得装置１は、１つのＦＯＶで２つの焦点位置が異なる画像を取得するが、第２実施形態による画像取得装置１’は、１つのＦＯＶで３つの焦点位置が異なる画像を取得することができる。これにより、画像生成部６０により生成される拡張被写界深度画像の品質が向上することができる。また、本発明の実施において、ビーム分割部３０、３０’が画像を４つ以上に分割し、イメージセンサ部もそれに相応する個数が備えられることも可能である。

【0097】

一方、第２実施形態による画像取得装置１’は、１つのＦＯＶで３つの焦点位置に応じたサンプルの画像を取得することができるため、ＦＯＶの重畳に応じた画像の分割なしに拡張被写界深度画像を生成するように作動することができる。

【0098】

この場合、図４に示された画像生成部６０の構成において、画像分割部６４が備えられなくてもよい。

【0099】

また、複数の焦点位置が異なるサンプル１４の画像を拡張被写界深度画像に合成する際に、前記画像生成部６０は、複数の画像の品質を評価して評価値を算出し、その評価値を加重値としてそれぞれの焦点位置に対する画像に適用することで拡張被写界深度画像を生成することも可能である。

【0100】

また、図４に示された画像生成部６０におけるバッファ６６を備えることなく、画像入力部６２に入力された画像が直ちに画像合成部６８に伝達され、複数の焦点位置が異なる画像をフォーカススタッキングして合成画像を生成することができる。

【0101】

第２実施形態による画像取得装置１’は、サンプル１４を連続的にスキャニングする際に、連続する撮影において（例えば、第１ＦＯＶの撮影後、第２ＦＯＶの撮影において）重畳領域が存在しないか、またはステッチのための最小限の重畳領域が設定されることができる。重畳領域を最小とすることで、サンプル１４に対する迅速なスキャニングを可能にする。

【0102】

図１１は、本発明の第２実施形態による画像取得装置を介して取得された画像を用いて拡張被写界深度画像を生成する過程を概念的に示す図であり、図１２は、本発明の第２実施形態による画像取得装置を介して取得された互いに異なる焦点位置の画像サンプルを例示する図である。

【0103】

図１１を参照すれば、第１イメージセンサ部４０、第２イメージセンサ部４４、および第３イメージセンサ部４８が同一のＦＯＶ内で同時に対物レンズ２０を介して取得するサンプル１４の画像は、互いに異なる焦点位置を有する。第１イメージセンサ部４０、第２イメージセンサ部４４、および第３イメージセンサ部４８は、図１２に例示したように、それぞれ焦点位置ｆ１、ｆ２、ｆ３における画像を取得し、画像生成部６０は、１つのＦＯＶ内での互いに異なる焦点位置の画像を用いて１つの拡張被写界深度画像（Ｓ）を生成することができる。

【0104】

画像生成部６０は、拡張被写界深度画像（Ｓ）を生成するに際し、第１イメージセンサ部４０、第２イメージセンサ部４４、および第３イメージセンサ部４８により取得された画像をフォーカススタッキングして合成した後、合成された画像に対して周波数フィルタを適用することができる。一例として、前記周波数フィルタは、ハイパスフィルタ（ｈｉｇｈ ｐａｓｓ ｆｉｌｔｅｒ）であってもよい。一実施形態において、画像生成部６０は、複数の焦点位置を有する画像を合成した後、合成された画像にフーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を適用して周波数領域に変換し、低周波数成分を除去した後、逆フーリエ変換（Ｉｎｖｅｒｓｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を行って高周波画像を取得することで画像の鮮明度を向上させることができる。一実施形態において、画像生成部６０は、畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を適用し、低周波成分が除去された高周波画像を取得することも可能である。このような画像の周波数フィルタの適用については、図７を参照して前述した画像処理過程が適用されることも可能である。

【0105】

図１３は、本発明の第２実施形態による画像取得装置において、連続する撮影における焦点設定のための方策を説明する図である。

【0106】

図１３の（ａ）を参照すれば、第１ＦＯＶで焦点位置ｆ１、ｆ２、ｆ３の複数の画像が第１～第３イメージセンサ部４０、４４、４８を介して取得される。第１ＦＯＶで取得された画像中の連続する第２ＦＯＶ側の一部の領域は、焦点算出領域（ＦＡ）として活用される。主制御部５０は、焦点算出領域（ＦＡ）における画像の焦点を評価し、第２ＦＯＶにおける焦点距離を算出して対物レンズ２０を調整することができる。図１３の（ｂ）を参照すれば、対物レンズ２０のｚ軸の高さが調整され、第２ＦＯＶでは焦点位置ｆ１’、ｆ２’、ｆ３’における画像を取得することができる。

【0107】

一実施形態において、第２ＦＯＶは、第１ＦＯＶに後続する部分であるか、または第１ＦＯＶと一部の領域が重畳することができる。第１ＦＯＶの焦点算出領域（ＦＡ）に属する細胞や組織を撮影しようとする場合であれば、第２ＦＯＶは、第１ＦＯＶの焦点算出領域（ＦＡ）を含んで設定されることができる。これを利用すると、焦点を算出するための別のカメラやイメージセンサを備えなくても、サンプル１４に含まれた細胞や組織を撮影するための焦点の調節が可能であるという長所がある。

【0108】

図１４は、本発明の第２実施形態による画像取得装置の画像取得方法を示すフローチャートである。

【0109】

サンプル１４が載せられたスライド１２をステージ１０に搭載し、スライド１２に対するスキャニングを開始する。

【0110】

同一のＦＯＶ内の互いに異なる焦点位置の複数の画像をイメージセンサ部４０、４４、４８を介して取得する（Ｓ２０）。対物レンズ２０を介したサンプルからの光は、ビーム分割部３０’により３つの光に分割され、第１～３イメージセンサ部４０、４４、４８に伝達される。第１～３イメージセンサ部４０、４４、４８は、サンプルに対する異なる焦点位置における画像を取得し、取得された画像は、画像生成部６０に伝達される。

【0111】

画像生成部６０は、複数の画像をフォーカススタッキングを適用して合成する（Ｓ２２）。

【0112】

画像生成部６０は、合成された画像の鮮明度を向上させる（Ｓ２４）。一実施形態において、画像生成部６０は、合成された画像に前述した周波数フィルタまたは畳み込みフィルタを適用し、画像鮮明度を向上させた拡張被写界深度画像を生成することができる。

【0113】

後続の撮影のために、主制御部５０は、Ｓ２０ステップで取得された複数の画像の焦点算出領域（ＦＡ）の画像焦点を評価し、後続ＦＯＶのための焦点を算出する（Ｓ２６）。

【0114】

主制御部５０は、ステージ１０を対物レンズ２０に対して水平面上で相対移動させ、対物レンズ２０を垂直方向に移動させて焦点を変更し、後続ＦＯＶに応じた画像を取得するように制御してＳ２０～Ｓ２６ステップを繰り返す。

【0115】

図１５は、本発明の第３実施形態による画像取得装置の構成を示す図であり、図１６は、本発明の第３実施形態による画像取得装置を用いて画像を取得する過程を説明する図である。

【0116】

本発明の第３実施形態による画像取得装置１’’は、第１実施形態による画像取得装置１の構成と同様に、スライド１２が搭載されるステージ１０、対物レンズ２０、チューブレンズ２２、画像生成部６０、および主制御部５０を含み、別のビーム分割部３０を備えることなく１つのイメージセンサ部４０のみを備えるという点で差がある。

【0117】

図１６を参照すれば、主制御部５０は、連続する撮影においてＦＯＶが重畳するようにステージ１０を対物レンズ２０に対して相対移動させ、サンプル１４内での焦点位置が異なるように対物レンズ２０のｚ軸方向の高さを制御する。図１６の（ａ）は、第１ＦＯＶに対して焦点位置をｆ１として画像を取得することを示し、図１６の（ｂ）および（ｃ）は、ステージ１０をｘ軸方向に沿って左側に第１ＦＯＶのｘ軸方向の大きさの１／３だけずつ移動させつつ、焦点位置がｆ２とｆ３となるように調整して第２ＦＯＶおよび第３ＦＯＶの画像を取得することを示す。これにより、第１ＦＯＶ、第２ＦＯＶ、および第３ＦＯＶで取得された画像は、重畳する領域が存在する。

【0118】

画像生成部６０は、ＦＯＶの重畳領域を考慮して、第１ＦＯＶ、第２ＦＯＶ、および第３ＦＯＶで取得された画像を分割する。図１６の（ｄ）を参照すれば、第１ＦＯＶの画像（Ｐ１）は、３つの分割画像（Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃ）に分割され、第２ＦＯＶの画像（Ｐ２）は、３つの分割画像（Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃ）に分割され、第３ＦＯＶの画像（Ｐ３）は、３つの分割画像（Ｐ３ａ、Ｐ３ｂ、Ｐ３ｃ）に分割される。第１ＦＯＶの画像（Ｐ１）の３番目の分割画像（Ｐ１ｃ）に該当する分割領域には、分割画像（Ｐ２ｂ）と分割画像（Ｐ３ａ）が重畳して存在する。

【0119】

画像生成部６０は、３つの分割画像（Ｐ１ｃ、Ｐ２ｂ、Ｐ３ａ）を合成し、周波数フィルタを適用することで、当該領域に対する拡張被写界深度画像を生成する。このような過程を繰り返して分割領域別に生成された拡張被写界深度画像を連結すると、サンプル１４の全体または関心領域に対する拡張被写界深度画像を生成することができる。

【0120】

図１６では、ＦＯＶの１／３サイズだけｘ軸方向にステージ１０を対物レンズ２０に対して相対移動させ、連続するＦＯＶの重畳領域がＦＯＶの２／３となるものを例示したが、ステージ１０の相対移動距離は、１／２、１／４、１／５などのように多様に設定可能であることはいうまでもない。一実施形態において、画像生成部６０は、バッファ６６をＦＯＶの分割領域の個数を考慮して備えることができ、前記バッファ６６は、円形バッファであってもよい。

【0121】

以上の説明では、１つのＦＯＶに対して１つ～３つのイメージセンサ部を介して１つ～３つの焦点位置に応じたサンプル画像を取得し、後続の撮影においてＦＯＶが１／２または２／３が重畳し、１つのＦＯＶの特定の分割領域に重畳する分割画像の個数が３つ、４つ、６つであるものを例示した。１つのＦＯＶに対して互いに異なる焦点位置の画像を取得するイメージセンサ部は４つ以上であってもよく、連続するＦＯＶの重畳に応じてＦＯＶの特定の分割領域に重畳する分割画像の個数は２つ以上であってもよい。すなわち、Ｍ個（Ｍは１以上の自然数）のイメージセンサ部で、１つのＦＯＶにおける連続するＦＯＶの重畳回数をＮ回（Ｎは１以上の自然数）とすると、特定の分割領域における重畳する分割画像の個数はＭ×Ｎとなる。画像生成部６０は、Ｍ×Ｎ個の分割画像を用いて、特定の分割領域に対する拡張被写界深度画像を生成することができる。

【0122】

また、以上の説明では複数の画像を用いて拡張被写界深度画像を生成することを主に説明したが、本発明により取得された互いに異なる焦点位置の画像を利用すると、サンプル１４に対する三次元画像を生成することも可能である。すなわち、画像生成部６０は、互いに異なる焦点位置の複数の画像を用いてサンプル１４に対する三次元画像を生成することができる。

【0123】

また、以上の説明において、第１～第３実施形態に区分して説明された画像取得装置および方法は、互いに組み合わせて適用することも可能である。

【0124】

以上の説明は本発明の技術思想を例示的に説明したものにすぎず、本発明が属する技術分野における通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲内で様々な修正、変更、および置換が可能である。したがって、本発明に開示された実施形態および添付された図面は、本発明の技術思想を限定するためのものではなく説明するためのものであって、このような実施形態および添付された図面により本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、後述の特許請求の範囲により解釈されなければならず、それと同等な範囲内の全ての技術思想は、本発明の権利範囲に含まれるものと解釈されなければならない。

【符号の説明】

【0125】

１、１’、１’’ ・・・画像取得装置
１０ ・・・ステージ
１２ ・・・スライド
２０ ・・・対物レンズ
２２ ・・・チューブレンズ
３０、３０’、３０’’ ・・・ビーム分割部
４０、４４、４８ ・・・イメージセンサ部
５０ ・・・主制御部
６０ ・・・画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】