特許 7037262 デジタルスライドスキャナのモデル化のスピードアップ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-08

(45)【発行日】2022-03-16

(54)【発明の名称】デジタルスライドスキャナのモデル化のスピードアップ方法

(51)【国際特許分類】

   G02B 21/26 20060101AFI20220309BHJP

   G02B 21/36 20060101ALI20220309BHJP

【ＦＩ】

G02B21/26

G02B21/36

【請求項の数】 1

(21)【出願番号】P 2020542005

(86)(22)【出願日】2019-04-16

(65)【公表番号】

(43)【公表日】2021-09-09

(86)【国際出願番号】 CN2019082784

(87)【国際公開番号】W WO2020062841

(87)【国際公開日】2020-04-02

【審査請求日】2020-11-20

(31)【優先権主張番号】201811142498.X

(32)【優先日】2018-09-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519033096

【氏名又は名称】麦克奥迪▲実▼▲業▼集▲団▼有限公司

(74)【代理人】

【識別番号】100130993

【弁理士】

【氏名又は名称】小原 弘揮

(72)【発明者】

【氏名】康▲軍▼

(72)【発明者】

【氏名】▲賈▼守礼

(72)【発明者】

【氏名】▲陳▼木旺

【審査官】殿岡 雅仁

(56)【参考文献】

【文献】国際公開第２０１４／１７５２２０（ＷＯ，Ａ１）

【文献】特表２００７－５２５６８９（ＪＰ，Ａ）

【文献】中国特許出願公開第１０３８５２８７８（ＣＮ，Ａ）

【文献】特表２０１２－５０７００９（ＪＰ，Ａ）

【文献】特開２０１８－００４９０５（ＪＰ，Ａ）

【文献】特開２０１４－０８９４１１（ＪＰ，Ａ）

【文献】特開２００６－０２３１７５（ＪＰ，Ａ）

【文献】中国特許出願公開第１０２４２７５０２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２１／００ － ２１／３６

(57)【特許請求の範囲】

【請求項1】

以下のステップを含むことを特徴とするデジタルスライドスキャナのモデル化のスピードアップ方法。
ステップ１：スライドのサンプルが置かれ、スライドのサンプルを動かしてＸ軸方向に運動させ、Ｙ軸方向に移動させるためのものであり、Ｘ、Ｙ軸方向が互いに垂直であり水平面を構成するステージと、スライドのサンプルの一部又は全部を明るく照らすための照明装置と、明るく照らされる部分のスライドのサンプルを観察するための対物レンズと、対物レンズをフォーカスしスライドのサンプルのはっきりとした画像を得るように、対物レンズを制御してＺ軸方向に移動させ、Ｚ軸方向が当該顕微鏡用スライドの全自動スキャンシステムのイメージング光軸方向に沿い、それぞれ、Ｘ軸、Ｙ軸と垂直であり、Ｘ、Ｙ、Ｚの三軸が直交座標系を構成するＺ軸コントローラとを備える、設備を組み付けること。
ステップ２：スライドのサンプルをステージに置き、照明装置でスライドのサンプルの一部又は全部の領域を明るく照らす、サンプルの準備。
ステップ３：対物レンズでスライドのサンプルにおける各領域のフォーカルプレーン位置を取得し、スキャンカメラを介してスライドのサンプルのフォーカルプレーンモデルを構築し、さらに視野の大きさを取得し、計算装置により、取得した視野の大きさに応じてスキャンされるストリップ及びストリップの幅及び数を決める、フォーカルプレーンモデル化。
ステップ４：スキャンストリップを単位にモデル化及びスキャンイメージングを行い、改行して次のスキャンストリップの行頭に戻る期間内に次のストリップにおけるモデルポイントのフォーカルプレーン位置を得てモデル化する、単方向イメージング。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は顕微技術の分野に属し、詳しくは、デジタルスライドスキャナのモデル化速度及び正確度を向上する方法に関する。

【背景技術】

【0002】

デジタルスライドスキャナは光学、機械、電子、コンピュータ等の学際的技術を一体にした精密機器であり、顕微イメージングシステム及びスライドを制御して所定の規則で動かせることにより、複数の連続する高解像度顕微画像を取り、１枚の高解像度のＷｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ（ＷＳＩ、バーチャルスライドとも言う）をスティッチングし生成する。従来のスライドを１枚の高解像度のデジタル画像に変えた後、ユーザは顕微鏡から離れ、いつでもどこでもコンピュータ又はモバイル機器にスライドを閲覧することができる。それとともに、永遠に退色せず、保存、管理、共有しやすく、全視野で見る場合任意に拡大縮小できること等のメリットを有する。病理診断、教育訓練、薬物研究及び科学研究等の分野に広くに用いられている。

【0003】

応用展開に伴い、スキャナの性能、特にスキャン品質及び速度に対する要求も高くなりつつある。良い画質を得ようとすれば、各視野のフォーカスが正確であることが求められ、通常１枚のスライドをデジタル化するには数多くの視野の画像を撮影する必要があるので、フォーカスの方式はスキャン速度に影響をもたらす。従来、視野ごとに焦点を合わせ、良い画質が得られるが、速度がボトルネックとなる。

【0004】

特許２０１３１０５４９３５３．２では、シングルフレーム画像のフォーカスにより最適化し、視野中の同一の視野画像の現在の画像Ｚによるフォーカスデータと、同一の視野で取られた異なる画像Ｚによるフォーカスデータとを解析することにより、高品質なスキャン画像を得ることができるが、スキャンの速度性能が影響される。

【0005】

現在、フォーカルプレーンモデル化の方法がより多く用いられており、例えば特許２０１１１０２８３７３２．２では、スライドのいくつかの視野を選択しフォーカルプレーン位置を計算してモデルポイントとし、これらのモデルポイントに応じてアルゴリズムによりスライドにおける各視野のフォーカルプレーン位置を推定する。このように、スキャンする場合、Ｚ軸を移動して複数枚の画像を取りデフォーカス量を計算することが必要ではなく、モデル化のフォーカルプレーン位置に応じてＺ軸を駆動さえすればよく、速度が顕著に向上する。しかし、前記技術方案には以下のデメリットがある。第１に、画質がモデルポイントの数に依存し、数が多いほど、そのフォーカルプレーンモデルが実際のフォーカルプレーンに近接し、画質が良くなるが、モデル化の速度も遅くなる。よって、モデル化速度はモデル化スキャン法の時間に影響する主な要素である。第２に、フォーカルプレーンモデルがスキャン前に計算したものであるので、スキャン過程においてステージに誤差が出ると、例えばモデルポイントがモデル化時、及びスキャンイメージング時のフォーカルプレーン位置が異なると、画像品質の低下にも繋がり、即ち、ステージに対する運動繰り返し精度が高い。

【発明の概要】

【0006】

本発明の目的は、デジタルスライドスキャナのモデル化のスピードアップ方法を提供することにある。スキャンストリップを単位にモデル化及びスキャンイメージングを行い、現在のストリップにおいてモデル化し、スキャンした後、次のストリップのモデル化及びスキャンイメージングを行う。なかでも、次のストリップのモデル化は現在のストリップの行末から改行し次のストリップの行頭に戻る時間を利用して、この期間にモデル化を完成させ、このようにモデル化時間とスキャン改行過程とを並行させ、等価のモデル化時間を効果的に減少する。

【0007】

前記技術目的を実現するために、本発明は以下の技術方案を用いる。
スキャンカメラを介してスキャン時にスキャン領域を複数のスキャンストリップに分割して、各スキャンストリップを順にスキャンイメージングしてから、１枚の完全なデジタルスライドにシームレスなスティッチングする。ストリップをスキャンする場合単方向を用い、即ち、イメージング時に全てスキャンストリップの行頭から行末方向へ行い、１つのストリップをスキャンし終わった際に全て次のスキャン待ちのストリップの行頭に戻らなければならず、この期間にスキャン待ちのストリップにおけるモデルポイントのフォーカルプレーン位置を得てモデル化した後、このパターンに従い行頭から行末方向へイメージングする。なかでも、前記スキャンカメラはラインスキャンカメラ又はエリアアレイカメラを用いる。

【0008】

具体的には、稼働時にまず１つ目のスキャンストリップの行末に行き、１つ目のストリップに幾つかの点をモデルポイントとして選択し、行頭に戻る期間にこれらのモデルポイントのフォーカルプレーン位置を得てモデル化し、行頭に着きモデル化した後１つ目のストリップをイメージングし始め、前記ストリップをスキャンイメージングした後、直接２つ目のスキャンストリップの行末に改行し、２つ目のスキャンストリップの行頭に戻る過程において、２つ目のストリップをモデル化し（モデルポイントを選択し、モデルポイントのフォーカルプレーン位置を得ることを含む）、２つ目のストリップの行頭に着いた後２つ目のストリップをイメージングし始める。これによって類推して、スキャン領域の全てのストリップのイメージングが完成するまで、続きのストリップのモデル化及びスキャンイメージングを行う。

【0009】

ストリップのモデル化を行う場合に用いられるモデルポイントの位置及び数は、何れも適当に決めることができ、一部のストリップにモデルポイントがなくてもよく、好ましくは、各ストリップに少なくとも１箇所をモデルポイントとして選択する。

【0010】

好ましくは、ストリップにモデルポイントがあるものについて、ストリップのモデル化を行う場合に前記ストリップにおけるモデルポイントのみを用いることができ、モデル化方法は区分的線形フィット、多項式フィット等を用いることができる。スキャン済みのストリップにおけるモデルポイントのような既存のモデルポイントと結合することもできるし、事前に取得しておいたモデルポイントを含むこともできる。モデル化方法は三角形パッチ法、非線性多項式法等を用いることができる。

【0011】

好ましくは、ストリップにモデルポイントのないものについて、スキャン済みのストリップにおけるモデルポイントのような既存のモデルポイントと結合することもできるし、事前に取得しておいたモデルポイントを含むこともできる。モデル化方法は三角形パッチ法、非線性多項式法等を用いることができる。

【0012】

本発明は従来技術に比べ、まず、スキャン速度が低減されない場合、モデルポイントを増やし、スキャン画質を向上する。次に、ストリップを単位にモデル化及びスキャンイメージングを行い、誤差が累積せず、ステージに対する要求が低い。

【図面の簡単な説明】

【0013】

本発明は添付図面に示される非限定的実施例により、さらに説明することができる

【図1】本発明に係るデジタルスライドスキャナのモデル化のスピードアップ方法のストリップのモデル化及びイメージングに基づく方法スケッチマップである。

【図2】本発明に係るデジタルスライドスキャナのモデル化のスピードアップ方法が区分的線形フィット、多項式フィットを用いるモデル化のスケッチマップである。

【図3】本発明に係るデジタルスライドスキャナのモデル化のスピードアップ方法が三角形パッチ法、非線性多項式法を用いるモデル化のスケッチマップである。

【図4】本発明に係るデジタルスライドスキャナのモデル化のスピードアップ方法の単方向イメージングスケッチマップである。

【発明を実施するための形態】

【0014】

当業者が本発明をより良く理解できるように、以下に添付図面及び実施例に基づき、本発明の技術方案をさらに説明する。

【0015】

図１、図２、図３、図４に示すように、デジタルスライドスキャナのモデル化のスピードアップ方法は、単方向でスキャンイメージングを行い、スキャンストリップを単位にモデル化及びスキャンイメージングを行い、改行して次のスキャンストリップの行頭に戻る期間内に次のストリップにおけるモデルポイントのフォーカルプレーン位置を得てモデル化する。

【0016】

具体的に、以下のステップを含む。

【0017】

ステップ１：スライドのサンプルが置かれ、スライドのサンプルを動かしてＸ軸方向に運動させ、Ｙ軸方向に移動させるためのものであり、Ｘ、Ｙ軸方向が互いに垂直であり水平面を構成するステージと、スライドのサンプルの一部又は全部を明るく照らすための照明装置と、明るく照らされる部分のスライドのサンプルを観察するための対物レンズと、対物レンズをフォーカスしスライドのサンプルのはっきりとした画像を得るように、対物レンズを制御してＺ軸方向に移動させ、Ｚ軸方向が当該顕微鏡用スライドの全自動スキャンシステムのイメージング光軸方向に沿い、それぞれ、Ｘ軸、Ｙ軸と垂直であり、Ｘ、Ｙ、Ｚの三軸が直交座標系を構成するＺ軸コントローラとを備える、設備を組み付けること。
なお、サンプルがＸＹステージに置かれるとは限らないことが言うまでもない。イメージングシステム及びサンプルが直交運動できることさえ確保すればよい。即ち、Ｘ軸のみがサンプルを動かして運動させ、Ｙ軸がイメージングシステムを動かして直交方向に運動させる。

【0018】

ステップ２：スライドのサンプルをステージに置き、照明装置でスライドのサンプルの一部又は全部の領域を明るく照らす、サンプルの準備。

【0019】

ステップ３：対物レンズでスライドのサンプルにおける各領域のフォーカルプレーン位置を取得し、スキャンカメラを介してスライドのサンプルのフォーカルプレーンモデルを構築し、さらに視野の大きさを取得し、計算装置により、取得した視野の大きさに応じてスキャンされるストリップ及びストリップの幅及び数を決める、フォーカルプレーンモデル化。

【0020】

ステップ４：スキャンストリップを単位にモデル化及びスキャンイメージングを行い、改行して次のスキャンストリップの行頭に戻る期間内に次のストリップにおけるモデルポイントのフォーカルプレーン位置を得てモデル化する、単方向イメージング。

【0021】

好ましくは、ストリップのモデル化時に、このストリップにおけるモデルポイントのみを選ぶ。モデル化方法は区分的線形フィット又は多項式フィット等を用いる。

【0022】

好ましくは、ストリップのモデル化時に、このストリップにおけるモデルポイントと、前のストリップにおける得られたモデルポイントとを組み合わせる。前のストリップにおける得られたモデルポイントはスキャン済みのストリップにおけるモデルポイントである。勿論、前のストリップにおける得られたモデルポイントは事前に取得しておいたモデルポイントであってもよい。モデル化方法は三角形パッチ法又は非線性多項式法等を用いる。

【0023】

［実施例１］
好ましい実施の方案として、ストリップのモデル化を行う場合に用いられるモデルポイントの位置及び数は、好ましくは、各ストリップに少なくとも１箇所をモデルポイントとして選択する。ストリップにモデルポイントがあるものについて、ストリップのモデル化を行う場合に前記ストリップにおけるモデルポイントのみを用いることができ、モデル化方法は区分的線形フィット、多項式フィット等を用いることができる。スキャン済みのストリップにおけるモデルポイントのような既存のモデルポイントと結合することもできるし、事前に取得しておいたモデルポイントを含むこともできる。モデル化方法は三角形パッチ法、非線性多項式法等を用いることができる。スキャンカメラを介してスキャン時にスキャン領域を複数のスキャンストリップに分割して、各スキャンストリップを順にスキャンイメージングしてから、１枚の完全なデジタルスライドにシームレスなスティッチングする。ストリップをスキャンする場合単方向を用い、即ち、イメージング時に全てスキャンストリップの行頭から行末方向へ行い、１つのストリップをスキャンし終わった際に全て次のスキャン待ちのストリップの行頭に戻らなければならず、この期間にスキャン待ちのストリップにおけるモデルポイントのフォーカルプレーン位置を得てモデル化した後、このパターンに従い行頭から行末方向へイメージングする。スキャンカメラはラインスキャンカメラ又はエリアアレイカメラを用いる。

【0024】

［実施例２］
好ましい実施の方案２として、ストリップのモデル化を行う場合に用いられるモデルポイントの位置及び数は、一部のストリップにモデルポイントがなくてもよい。ストリップにモデルポイントのないものについて、スキャン済みのストリップにおけるモデルポイントのような既存のモデルポイントと結合することもできるし、事前に取得しておいたモデルポイントを含むこともできる。モデル化方法は三角形パッチ法、非線性多項式法等を用いることができる。スキャンカメラを介してスキャン時にスキャン領域を複数のスキャンストリップに分割して、各スキャンストリップを順にスキャンイメージングしてから、１枚の完全なデジタルスライドにシームレスなスティッチングする。ストリップをスキャンする場合単方向を用い、即ち、イメージング時に全てスキャンストリップの行頭から行末方向へ行い、１つのストリップをスキャンし終わった際に全て次のスキャン待ちのストリップの行頭に戻らなければならず、この期間にスキャン待ちのストリップにおけるモデルポイントのフォーカルプレーン位置を得てモデル化した後、このパターンに従い行頭から行末方向へイメージングする。スキャンカメラはラインスキャンカメラ又はエリアアレイカメラを用いる。

【0025】

実施例１と実施例２の区別は、実施例１が区分的線形フィット、多項式フィットを用い、又は三角形パッチ法、非線性多項式法等を用いて、モデルポイントのあるストリップのモデル化を完成させることである。なかでも、モデルポイントのないストリップが出る場合、実施例２が三角形パッチ法、非線性多項式法を用いて、モデルポイントのないストリップのモデル化を完成させる。
以上、本発明が提供するデジタルスライドスキャナのモデル化のスピードアップ方法を詳述した。

【0026】

具体的な実施例の説明は本発明の方法及びその旨を理解させるためのものに過ぎない。なお、当業者にとって、本発明の原理を逸脱することなく、さらに本発明に対して何らかの改善及び修飾を行うことができる。これらの改善及び修飾も本発明の特許請求の範囲に属する。

【図1】

【図2】

【図3】

【図4】