特許 7290707 高速自動スライド走査ＡＩ支援型判断システム及びそのスライド走査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-06-05

(45)【発行日】2023-06-13

(54)【発明の名称】高速自動スライド走査ＡＩ支援型判断システム及びそのスライド走査方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20230606BHJP

   G02B 7/28 20210101ALI20230606BHJP

【ＦＩ】

G02B21/36

G02B7/28 J

【請求項の数】 10

(21)【出願番号】P 2021211906

(22)【出願日】2021-12-27

【審査請求日】2021-12-27

(31)【優先権主張番号】110144927

(32)【優先日】2021-12-02

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】520349034

【氏名又は名称】倍利科技股▲ふん▼有限公司

【氏名又は名称原語表記】Ｖ５ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】５Ｆ．， Ｎｏ． ７， Ｌｉｓｉｎｇ ３ｒｄ Ｒｄ．， Ｅａｓｔ Ｄｉｓｔ．， Ｈｓｉｎｃｈｕ Ｃｉｔｙ， Ｔａｉｗａｎ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ弁理士法人

(72)【発明者】

【氏名】沈 子貴

(72)【発明者】

【氏名】洪 國棟

(72)【発明者】

【氏名】楊 建霆

(72)【発明者】

【氏名】高 ▲ユ▼▲シュン▼

(72)【発明者】

【氏名】孫 光豪

(72)【発明者】

【氏名】朱 琳達

【審査官】瀬戸 息吹

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２５０３９６（ＵＳ，Ａ１）

【文献】国際公開第２００４／０９３００４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ １９／００ － ２１／３６

Ｇ０２Ｂ ７／２８ － ７／４０

(57)【特許請求の範囲】

【請求項1】

撮像装置の走査パラメーターを設定し、前記走査パラメーターは、一つのスライドを複数のブロックに分けたそのブロックの数量、前記複数のブロック中の複数のサブブロックの数量、前記複数のブロック中の中心ブロックの位置及び走査経路を含み、前記走査経路は時計回り又は反時計回りのらせん状走査であるステップと、
前記走査経路を選択し、前記撮像装置の合焦位置を前記スライド上の前記中心ブロックに合わせて合焦し、前記中心ブロック中の前記複数のサブブロックの画像をそれぞれ撮像するステップと、
選択された前記走査経路に基づき、前記撮像装置の前記合焦位置を前記中心ブロックから前記複数のブロック中の前記中心ブロックと隣り合う隣接ブロックまで移動させた後、前記隣接ブロックに対して合焦し、前記隣接ブロック中の前記複数のサブブロックの画像を撮像するステップと、
選択された前記走査経路に基づき、前記合焦位置を次の隣接ブロックまで移動させて合焦し、前記複数のサブブロックの画像を撮像するステップを、前記複数のブロック全ての走査が完了するまで繰り返すステップと、
を含み、
前記複数のサブブロックの画像はらせん状の走査経路により撮像されることを特徴とする高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法。

【請求項2】

前記複数のブロックの中で中心に位置するブロックは、前記走査パラメーターにより設定された前記中心ブロックであり、かつ前記中心ブロックは前記走査経路の始点であることを特徴とする請求項１に記載の高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法。

【請求項3】

前記走査パラメーターは前記走査経路の終点を含み、前記複数のブロックが全て前記走査経路上で一回走査されることを特徴とする請求項１に記載の高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法。

【請求項4】

前記走査経路が時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項１に記載の高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法。

【請求項5】

前記走査経路が反時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから反時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項１に記載の高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法。

【請求項6】

制御ホスト及び撮像装置を含み、
前記制御ホストは走査パラメーターを設定するパラメーター設定モジュールを含み、前記走査パラメーターは、一つのスライドを複数のブロックに分けたそのブロックの数量、前記複数のブロック中の複数のサブブロックの数量、前記複数のブロック中の中心ブロックの位置及び走査経路を含み、前記走査経路は時計回り又は反時計回りのらせん状走査であり、
前記撮像装置は、前記制御ホストと接続され、前記走査パラメーターに基づき前記撮像装置のレンズの焦点が前記スライド上の前記中心ブロックに合うように合焦し、前記中心ブロック中の前記複数のサブブロックの画像をそれぞれ撮像し、さらに、前記走査経路に基づき前記レンズを前記複数のブロック中の前記中心ブロックと隣り合う隣接ブロックまで移動させ、前記隣接ブロックに対して合焦して前記隣接ブロック中の前記複数のサブブロックの画像を撮像した後、前記撮像装置は、前記走査経路に基づき前記レンズを次の隣接ブロックまで移動させて合焦し、前記複数のサブブロックの画像を撮像するステップを、前記複数のブロック全ての走査が完了するまで繰り返し、
前記複数のサブブロックの画像はらせん状の走査経路により撮像されることを特徴とする高速自動スライド走査ＡＩ支援型判断システム。

【請求項7】

前記パラメーター設定モジュールは前記スライドの中心点を前記中心ブロック及び前記走査経路の始点として設定することを特徴とする請求項６に記載の高速自動スライド走査ＡＩ支援型判断システム。

【請求項8】

前記パラメーター設定モジュールは前記走査経路の終点を設定し、前記複数のブロック全てが前記走査経路上で一回走査されることを特徴とする請求項６に記載の高速自動スライド走査ＡＩ支援型判断システム。

【請求項9】

前記走査経路が時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項６に記載の高速自動スライド走査ＡＩ支援型判断システム。

【請求項10】

前記走査経路が反時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから反時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項６に記載の高速自動スライド走査ＡＩ支援型判断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関し、特に、高速自動スライド走査ＡＩ支援型判断システム及びそのスライド走査方法に関する。

【背景技術】

【0002】

試料の細胞検出を行なうには、細胞を検出溶液の中に入れ、細胞試料を含む液体で生検標本を作製し、生検標本を顕微鏡の下に載置する。高倍率で生検標本を拡大した後に画像を取り込み、コンピューター上に撮影した画像を表示し、観察を行う。

【0003】

各生検標本は、場合により９００枚から１６００枚の画像を撮影し、かつ画像は重複しない。つまり、生検標本を９００個から１６００個の小さいブロックに分割し、各ブロックにつき一回ずつ撮像する。
仮に一組の焦点距離で走査を行えば、多くの画像が無効になる可能性がある。
仮に毎回撮像のたびに合焦し直せば、９００回から１６００回合焦する必要があり、合焦回数が多すぎる。
仮に一定枚数の画像を撮像するたびに合焦し直せば、無効画像は減るが、レンズを端にあるブロックまで移動させて中間のブロックまで戻す時に二点の距離が大きすぎると焦点を戻せなくなる状況が起こりやすく、撮像した画像が無効になる可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の主な目的は、らせん状走査方式を利用し、隣接するブロックの画像をスライドの中心位置から時計回り又は反時計回りで連続的に走査することにより、毎回の合焦は焦点を微調節するだけで済み、高速でスライド走査ができ、画像一枚ごとに合焦する必要がなく、合焦の回数及び時間を大幅に減らすことができる高速自動スライド走査ＡＩ支援型判断システム及びそのスライド走査方法を提供することにある。

【0005】

本発明のもう一つ目的は、スライドの各ブロックをさらに細かい複数のサブブロックに分け、サブブロックの画像を撮像することにより、ブロックに対し合焦すれば、各サブブロックは一個ずつ合焦する必要がなくなるため、合焦の回数を大幅に減らすことができる、高速自動スライド走査ＡＩ支援型判断システム及びそのスライド走査方法を提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法は、撮像装置の走査パラメーターを設定し、前記走査パラメーターは、一つのスライドを複数のブロックに分けたそのブロックの数量、前記複数のブロック中の複数のサブブロックの数量、前記複数のブロック中の中心ブロックの位置及び走査経路を含み、前記走査経路は時計回り又は反時計回りのらせん状走査であるステップと、前記走査経路を選択し、前記撮像装置の合焦位置を前記スライド上の前記中心ブロックに合わせて合焦し、前記中心ブロック中の前記複数のサブブロックの画像をそれぞれ撮像するステップと、選択された前記走査経路に基づき、前記撮像装置の前記合焦位置を前記中心ブロックから前記複数のブロック中の前記中心ブロックと隣り合う隣接ブロックまで移動させた後、前記隣接ブロックに対して合焦し、前記隣接ブロック中の前記複数のサブブロックの画像を撮像するステップと、選択された前記走査経路に基づき、前記合焦位置を次の隣接ブロックまで移動させて合焦し、前記複数のサブブロックの画像を撮像するステップを、前記複数のブロック全ての走査が完了するまで繰り返すステップと、を含む。

【0007】

一実施形態において、前記複数のブロックの中で中心に位置するブロックは、前記走査パラメーターにより設定された前記中心ブロックであり、かつ前記中心ブロックは前記走査経路の始点である。

【0008】

一実施形態において、前記走査パラメーターは前記走査経路の終点を含み、前記複数のブロックが全て前記走査経路上で一回走査される。

【0009】

一実施形態において、前記走査経路が時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動する。

【0010】

一実施形態において、前記走査経路が反時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから反時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動する。

【0011】

一実施形態において、前記複数のサブブロックの画像はらせん状の走査経路により撮像される。

【0012】

本発明の高速自動スライド走査ＡＩ支援型判断システムは、制御ホスト及び撮像装置を含み、前記制御ホストは走査パラメーターを設定するパラメーター設定モジュールを含み、前記走査パラメーターは、一つのスライドを複数のブロックに分けたそのブロックの数量、前記複数のブロック中の複数のサブブロックの数量、前記複数のブロック中の中心ブロックの位置及び走査経路を含み、前記走査経路は時計回り又は反時計回りのらせん状走査であり、前記撮像装置は、前記制御ホストと接続され、前記走査パラメーターに基づき前記撮像装置のレンズの焦点が前記スライド上の前記中心ブロックに合うように合焦し、前記中心ブロック中の前記複数のサブブロックの画像をそれぞれ撮像し、さらに、前記走査経路に基づき前記レンズを前記複数のブロック中の前記中心ブロックと隣り合う隣接ブロックまで移動させ、前記隣接ブロックに対して合焦して前記隣接ブロック中の前記複数のサブブロックの画像を撮像した後、前記撮像装置は、前記走査経路に基づき前記レンズを次の隣接ブロックまで移動させて合焦し、前記複数のサブブロックの画像を撮像するステップを、前記複数のブロック全ての走査が完了するまで繰り返す。

【発明の効果】

【0013】

本発明の高速自動スライド走査ＡＩ支援型判断システム及びそのスライド走査方法は、試料の細胞検出時に電子顕微鏡によりスライド画像を撮像する際に用いられる走査技術に応用され、高速でのスライド走査が可能になり、かつ合焦の対象となるブロックがいずれも隣接するブロックであるため、変化が少ないことから、合焦エラーの発生確率が低くなる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る細胞試料含む液体を載置したスライドの平面図である。

【図2】本発明の実施形態に係る細胞試料含む液体を載置したスライドの側面図である。

【図3】本発明の実施形態を示す高速自動スライド走査ＡＩ支援型判断システムのブロック図である。

【図4】本発明の実施形態を示す高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法のフローチャートである。

【図5】本発明の実施形態に係る高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法の一例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、本発明は、実施形態に限定されないことはいうまでもない。

【0016】

図１は細胞試料含む液体を載置したスライドの平面図を示し、図２は同スライドの側面図である。
細胞試料を検出溶液に入れた後、ピペットを用いて細胞試料を含む液体を吸い取ってスライド１２２上に滴下し、図１及び図２に示すような、細胞試料含む液体１６を有するスライド１２２を形成する。
液体は表面張力を有するため、図１に示すように、細胞試料を含む液体１６の形状は円形になり、かつ図２に示すように、側面から見ると厚みがある。細胞試料を含む液体１６を上からカバーガラス１２４でカバーすれば、撮像装置上に載置して検出作業を行えるスライドとなる。本発明はカバーのないスライドへの応用にも適している。

【0017】

本発明の実施形態を示す高速自動スライド走査ＡＩ支援型判断システムのブロック図である図３を参照されたい。
高速自動スライド走査用ＡＩ支援型判断システム１０は撮像装置１２及び制御ホスト１４を含む。
撮像装置１２は少なくとも１つのデジタルレンズ、プログラマブルステージ及び合焦制御機構を備え、撮像装置１２は制御ホスト１４と信号接続される。
制御ホスト１４は、走査パラメーターを設定するパラメーター設定モジュール１４２を含む。走査パラメーターは、スライドを複数のブロックに分けたそのブロックの数量、ブロック中の複数のサブブロックの数量、ブロック中の中心ブロックの位置及び走査経路を含む。例えば、スライドをＮ×Ｎ個のブロックに分け、各ブロックはｎ×ｎ個のサブブロックをさらに含み、Ｎとｎはいずれも正の整数である。特に、走査経路は時計回り又は反時計回りのらせん状走査であり、横方向又は縦方向の往復走査ではない。また、走査経路は始点及び終点を含み、終点まで走査したということは、全てのブロックが一回走査されたことを意味する。
制御ホスト１４は走査パラメーターに基づき撮像装置１２のレンズを制御して移動、合焦及び画像の撮像を行う。
撮像装置１２が撮像した画像は制御ホスト１４に伝送された後、制御ホスト１４に保存され、或いはさらにバックエンドのデータベース（図中未表示）に伝送されて保存される。

【0018】

本発明の高速自動スライド走査ＡＩ支援型判断システムの自動スライド走査方法は図４のフローチャートに示すとおりである。図３と図４を同時に参照されたい。
まずステップＳ１０では、制御ホスト１４により撮像装置１２の走査パラメーターを設定する。上述したように走査パラメーターは、一枚のスライドを複数のブロックに分けたそのブロックの数量、ブロック中の複数のサブブロックの数量、ブロック中の中心ブロックの位置及び走査経路を含み、かつ走査経路は時計回り又は反時計回りのらせん状走査経路を含む。

【0019】

続いてステップＳ１２からステップＳ１４に示すように、走査経路を選択した後、制御ホスト１４は走査パラメーターに基づき撮像装置１２を制御し、撮像装置１２の合焦位置をスライド上の中心ブロックに合わせて合焦し、中心ブロック中のサブブロックの画像をそれぞれ撮像する。

【0020】

さらにステップＳ１６では、走査経路に基づき、撮像装置１２の合焦位置を中心ブロックからブロック中の中心ブロックと隣り合う隣接ブロックまで移動させる。
走査経路に基づき合焦位置を隣接ブロックまで移動させた後、ステップＳ１８に示すように、隣接ブロックに対して合焦し、隣接ブロック中のサブブロックの画像を撮像する。

【0021】

続いてステップＳ２０では、走査経路の走査が完了したか否かを判断し、走査が完了した場合は最後の１個のブロックまで走査したことを意味し、ステップＳ２６に示すように、この時スライド走査のプロセスは完了する。
ステップＳ２０で走査経路の走査が完了していないと判断した場合、ステップＳ２２からステップＳ２４に示すように、走査経路に基づき合焦位置を次の隣接ブロックまで移動させて合焦し、サブブロックの画像を撮像する。
さらにステップＳ２０に再度進み、走査経路の走査が完了したか否かを判断し、まだ完了していない場合は、全てのブロックの走査が完了するまで、ステップＳ２２からステップＳ２４を繰り返す。

【0022】

全てのサブブロックの画像は制御ホスト１４に伝送され、制御ホスト１４はこれらの画像をデータベースに保存し、後続プロセスで制御ホスト１４又はその他ホストによりＡＩ（人工知能）技術の支援を利用して当該画像に対する判断作業を行うことができる。

【0023】

走査経路が時計回りの走査を選択した場合、撮像装置１２の合焦位置は中心ブロックから時計回りで中心ブロックと隣り合う隣接ブロックまで移動する。
これに対し、走査経路が反時計回りの操作を選択した場合、撮像装置１２の合焦位置は中心ブロックから反時計回りで中心ブロックと隣り合う隣接ブロックまで移動する。

【0024】

図５は本発明の実施形態に係る高速自動スライド走査ＡＩ支援型判断システムのスライド走査方法の一例を示す図である。
図５に示す例において、スライド１２２は１０×１０個のブロック１２６に分割され、各ブロック１２６の中には３×３個のサブブロック１２８が含まれる。撮像装置１２は各サブブロックにつき１枚の画像を撮像するため、１個のブロックから９枚の画像が撮像され、１枚のスライド１２２からは合計９００枚の画像が撮像される。

【0025】

スライド１２２の中心位置にあるブロックを中心ブロックとし、制御ホストの設定では中心ブロックの位置の番号を１とする。
まず、番号１の中心ブロック１２７のサブブロック１２８に対して少なくとも１回合焦を行い、サブブロックの画像９枚を撮像する。
サブブロック１２８の画像を撮像するのも１から９の順序で行い、中心位置の１から反時計回りで番号９のサブブロックの位置まで撮影する。ただし、この順序は本発明のサブブロック１２８の撮像に限定されない。

【0026】

次に、この実施形態において反時計回りのらせん状走査であった場合、続いて撮像装置１２のレンズを番号２のブロックまで移動させ、合焦し直してサブブロックの画像９枚を撮像する。ブロック１２６の番号は設定された走査経路である。
続いて、レンズを番号３、４、・・・・・・、９９、１００の番号順に移動させ、それぞれ合焦してサブブロックの画像を撮像する。
毎回レンズを移動させる際は反時計回りで隣接ブロックまで移動させる。隣接ブロックの形状や厚さの変化は大きくないので、合焦時にエラーが発生する確率は低い。しかも、レンズの微調節を行うだけでよく、合焦し直す必要がない。しかし、従来のものは、横方向又は縦方向の往復走査であるために、レンズを端にあるブロックまで移動させた後、中間のブロックまで戻す時に、焦点を戻せなくなる状況が起こりやすいが、本発明は焦点が合わなくなる可能性を低減できる。

【0027】

また、各ブロック１２６につき一回合焦を行うだけで済むので、９００枚の画像を撮像するのに１００回合焦するだけでよい。従来は、１枚の画像を撮影するたびに合焦する必要があるため、９００回合焦する必要がある。スライド１２２を細かく分けたブロック１２６の数量が多くなるほど、本発明のものと従来のものとの合焦回数の差も大きくなる。したがって、本発明によれば合焦回数を大幅に減らし、走査の質を下げずに走査効率を上げることができるのは明らかである。

【0028】

以上は本発明の好ましい実施形態の説明に過ぎず、本発明の権利範囲を限定するものではなく、本発明の要旨を逸脱しない変更や修飾は全て、本発明の権利範囲内に含まれる。

【符号の説明】

【0029】

１０ 高速自動スライド走査用ＡＩ支援型判断システム
１２ 撮像装置
１２２ スライド
１２４ カバーガラス
１２６ ブロック
１２７ 中心ブロック
１２８ サブブロック
１４ 制御ホスト
１４２ パラメーター設定モジュール
１６ 細胞試料を含む液体

【要約】

【課題】高速でスライド走査ができ、画像一枚ごとに合焦する必要がなく、合焦の回数及び時間を大幅に減らすことができる高速自動スライド走査ＡＩ支援型判断システム及びそのスライド走査方法を提供すること。
【解決手段】制御ホストは走査パラメーターを設定し、走査パラメーターは、スライドを複数のブロックに分けた数量、ブロック中のサブブロックの数量、中心ブロックの位置、走査経路を含み、走査経路は時計回り又は反時計回りのらせん状であり、撮像装置は、走査パラメーターに基づき、レンズの焦点が中心ブロックに合うように合焦し、中心ブロック中のサブブロックの画像を撮像し、さらに、中心ブロックと隣り合う隣接ブロックまで移動させて合焦して隣接ブロック中のサブブロックの画像を撮像し、サブブロックの画像を撮像するステップを、複数のブロック全ての走査が完了するまで繰り返す。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】