特許 7277886 自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-11

(45)【発行日】2023-05-19

(54)【発明の名称】自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230512BHJP

   G02B 21/36 20060101ALI20230512BHJP

【ＦＩ】

G06T7/00 350C

G02B21/36

【請求項の数】 13

(21)【出願番号】P 2020536747

(86)(22)【出願日】2018-12-25

(65)【公表番号】

(43)【公表日】2021-02-25

(86)【国際出願番号】 CN2018123401

(87)【国際公開番号】W WO2019128971

(87)【国際公開日】2019-07-04

【審査請求日】2021-12-23

(31)【優先権主張番号】62/610,491

(32)【優先日】2017-12-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520231278

【氏名又は名称】云象科技股▲ふん▼有限公司

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】叶 肇元

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２００７－１３３８５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０２Ｂ ２１／３６

(57)【特許請求の範囲】

【請求項1】

自律顕微鏡システムを制御する方法であって、
装置で低倍率画像を得るステップと、
前記低倍率画像を第１のニューラルネットワークに入力して関心領域を選択するステップであって、前記第１のニューラルネットワークは強化学習スキームにおいて訓練される、ステップと、
前記関心領域を拡大して高倍率画像を生成するステップと、
前記高倍率画像を第２のニューラルネットワークに入力して前記高倍率画像が目標特徴を備えるかを分析し、前記目標特徴に関する統計結果を生成するステップと、
前記統計結果に従ってフィードバック信号を生成すると共に、前記フィードバック信号を前記第１のニューラルネットワークに送って、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練するステップと、
を備え、
前記第１のニューラルネットワークは、教師あり学習アルゴリズムを備え、
前記第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルであるように構成され、前記高倍率画像が前記目標特徴を備えるかを分析する、
方法。

【請求項2】

前記第１のニューラルネットワークは、第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
請求項１に記載の自律顕微鏡システムを制御する方法。

【請求項3】

前記低倍率画像を前記第１のニューラルネットワークに入力して前記関心領域を選択するステップは、前記低倍率画像を複数の領域に分割することをさらに備える、
請求項２に記載の自律顕微鏡システムを制御する方法。

【請求項4】

前記第１のニューラルネットワークは、前記第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークであり、前記複数の領域は、前記第１のニューラルネットワークに入力されて確率分布モデルを生成し、前記確率分布モデルは、前記複数の領域のうちのいずれか１つが関心領域である確率を表す、
請求項３に記載の自律顕微鏡システムを制御する方法。

【請求項5】

前記第１のニューラルネットワークが、前記複数の領域のうちのいずれか１つが前記関心領域であることを見いだすとき、正のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
請求項３に記載の自律顕微鏡システムを制御する方法。

【請求項6】

前記第１のニューラルネットワークが前記複数の領域のうちのいずれか１つを前記関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
請求項３に記載の自律顕微鏡システムを制御する方法。

【請求項7】

前記統計結果が全体目的を満たすかを判断すること
をさらに備える請求項１に記載の自律顕微鏡システムを制御する方法。

【請求項8】

前記統計結果が前記全体目的を満たさないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
請求項７に記載の自律顕微鏡システムを制御する方法。

【請求項9】

前記高倍率画像が前記目標特徴を備えないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
請求項１に記載の自律顕微鏡システムを制御する方法。

【請求項10】

前記第２のニューラルネットワークは、第２の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
請求項１に記載の自律顕微鏡システムを制御する方法。

【請求項11】

請求項１～１０のいずれか１項に記載の自律顕微鏡システムを制御する方法を実行するプロセッサを備えること
により特徴づけられる顕微鏡システム。

【請求項12】

光学ユニット、ステージ、電子制御ユニット、記憶ユニットまたはこれらの組み合わせ、
をさらに備える請求項１１に記載の顕微鏡システム。

【請求項13】

プログラムがコンピュータにロードされたとき、前記コンピュータが、請求項１～１０のいずれか１項に記載の自律顕微鏡システムを制御する方法を実行できる、
プログラムが記憶されたコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自律顕微鏡システムの分野、特に、自律顕微鏡システムの制御に関する方法、顕微鏡システム、および、コンピュータ可読記憶媒体を開示する。

【背景技術】

【0002】

生体試料の分析は、疾患の診断において重要な役割を果たす。例えば、血液サンプル、目標組織サンプルのスライス、組織液のサンプルなどが分析され、サンプルに疾患関連の特徴があるかを確認する。生物学的サンプルの分析における効率を改善するために、自律顕微鏡システムが当技術分野において使用され始めており、手動操作の時間を短縮している。具体的には、この種の自律顕微鏡システムの殆どは、検査者が分析に適した視野を見つけるのに有益なように、オートフォーカスの機能を提供できる。

【0003】

しかしながら、疾患の検出が普及し複雑になっているので、大量の画像が分析される必要があるとき、手動で画像を検出および分析することは、検出のエラーおよび障害のパーセンテージを増加させるかもしれない。オートフォーカスの機能を提供する従来の自律顕微鏡システムは、もはや、当技術分野における要求に応えていない。従って、適切な視野、能動分析および自己学習を見つけることができる自律顕微鏡システムが当該技術分野では必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の目的は、自律顕微鏡システムを制御する方法およびコンピュータ可読記憶媒体を提供することであって、この方法は生体試料の分析効率を改善できる。

【0005】

本開示の他の目的は、手動操作により引き起こされるエラーおよび障害を防止できる自律顕微鏡システムを提供することである。

【課題を解決するための手段】

【0006】

上述した目的を達成するために、本開示は、自律顕微鏡システムを制御する方法であって、装置で低倍率画像を得るステップと、前記低倍率画像を第１のニューラルネットワークに入力して関心領域を選択するステップであって、前記第１のニューラルネットワークは強化学習スキームにおいて訓練される、ステップと、前記関心領域を拡大して高倍率画像を生成するステップと、前記高倍率画像を第２のニューラルネットワークに入力して前記高倍率画像が目標特徴を備えるかを分析し、前記目標特徴に関する統計結果を生成するステップと、前記統計結果に従ってフィードバック信号を生成すると共に、前記フィードバック信号を前記第１のニューラルネットワークに送って、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練するステップと、を備える方法を提供する。

【0007】

好適には、前記第１のニューラルネットワークは、第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである。

【0008】

好適には、前記低倍率画像を前記第１のニューラルネットワークに入力して前記関心領域を選択するステップは、前記低倍率画像を複数の領域に分割することをさらに備える。

【0009】

好適には、前記第１のニューラルネットワークは、前記第１の畳み込みニューラルネットワークであり、前記複数の領域は、前記第１の畳み込みニューラルネットワークに入力されて確率分布モデルを生成し、前記確率分布モデルは、前記複数の領域のうちのいずれか１つが関心領域である確率を表す。

【0010】

好適には、前記第１のニューラルネットワークが、前記複数の領域のうちのいずれか１つが前記関心領域であることを見いだすとき、正のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。

【0011】

好適には、前記第１のニューラルネットワークが前記複数の領域のうちのいずれか１つを前記関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。

【0012】

好適には、前記第１のニューラルネットワークは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、模倣学習アルゴリズムまたはこれらの組み合わせをさらに備える。

【0013】

好適には、方法は、前記統計結果が全体目的を満たすかを判断することを備える。好適には、前記統計結果が前記全体目的を満たさないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。

【0014】

好適には、前記高倍率画像が前記目標特徴を備えないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。

【0015】

好適には、前記第２のニューラルネットワークは、第２の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである。

【0016】

好適には、前記第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルであるように構成され、前記高倍率画像が前記目標特徴を備えるかを分析する。

【0017】

本開示はさらに、前記自律顕微鏡システムを制御する方法を実行するプロセッサを備えることにより特徴づけられる顕微鏡システムを提供する。

【0018】

本開示はまたさらに、プログラムがコンピュータにロードされたとき、前記コンピュータが前記自律顕微鏡システムを制御する方法を実行する、プログラムが記憶されたコンピュータ可読記憶媒体を提供する。

【0019】

本開示は、以下の図面および記載を参照することにより、さらに理解されうる。以下の図面を参照して、非限定的で非網羅的な例が説明されるであろう。図面のなかの要素は、必ずしも実際のサイズで描かれていない。構造と原理の説明に重点が置かれている。

【図面の簡単な説明】

【0020】

【図1】本開示の特定の実施形態にかかる自律顕微鏡システムを制御する方法のフローチャートである。

【0021】

【図2】本開示の実施形態にかかる顕微鏡システムのブロック図である。

【発明を実施するための形態】

【0022】

本開示は、自律顕微鏡システムを制御する方法、顕微鏡システム、および、コンピュータ可読記憶媒体に関する。本開示の特徴は、手動操作を減らすと共に、自律的な学習および生体試料の分析を可能にすることである。

【0023】

本開示で開示される用語「装置」は、光学顕微鏡、特に、自律顕微鏡システムを指す。実現可能な実施形態において、自律顕微鏡システムは光学ユニットを備え、光学ユニットは異なる倍率の対物レンズの複数のセット（例えば、５ｘ、１０ｘ、２０ｘ、４０ｘおよび１００ｘ）を含む。

【0024】

顕微鏡を操作する従来の方法は、低倍率の対物レンズを用いて視野のなかの関心領域を見つけ、そして、さらなる詳細な観察のために高倍率の対物レンズに切り替えることである。従って、本開示で開示される用語「高倍率画像」が、比較的高い倍率の対物レンズを用いて得られる画像を指すのに対して、本開示において開示される用語「低倍率画像」は、比較的低倍率の対物レンズを用いて得られる画像を指す。特定の実施形態において、低倍率画像は、５ｘまたは１０ｘの対物レンズを用いて得られた画像を指す。特定の実施形態では、高倍率画像は、２０ｘ、４０ｘ、１００ｘまたはより高倍率の対物レンズを用いて得られた画像を指す。実現可能な実施形態において、低倍率画像は、高倍率画像に対して定義される。つまり、低倍率画像の拡大倍率は、高倍率画像の拡大倍率より低い。

【0025】

本開示で開示される用語「目標特徴」は、分析目標に関連する特徴を指す。特定の実施形態において、目標特徴は、特定のタイプの細胞、例えば骨髄細胞または癌細胞である。好ましい実施形態において、目標特徴は、特定の疾患またはその症状に関連する特徴を指す。

【0026】

本開示で開示される用語「関心領域」は、装置において分析中の生体試料の視野の領域を指し、この領域は分析目標に関連すると判断される。関心領域を判断する要素は、画像品質（例えば、焦点品質および／または生体試料の染色品質）、目標特徴の存在および分布、または、これらの組み合わせを含むが、これらに限定されない。上記の焦点品質は、例えば、高速フーリエ変換後の画像の特徴間隔の平均強度を計算し、または、ガウス値のラプラシアン（ＬｏＧ）を計算するといったさまざまな方法で判断されうる。実現可能な実施形態において、関心領域は、良好な画像品質および目標特徴を有する画像フレームと考えられうる。

【0027】

本開示で開示される用語「全体目的」は、分析目的に基づいて判断される。例えば、骨髄塗抹標本の実施形態において、分析目的は、塗抹標本のなかの骨髄細胞のカテゴリ分布を計算することである。従って、これは、定量的な全体目的に設定されうる。例えば、全体目的は、うまく分類されうる骨髄細胞の計数値が５００に達することである。リンパ節スライスの一実施形態では、分析目的は、スライスされた組織に癌細胞が存在するかを識別することである。従って、それは、定性的な全体目的に設定されうる。例えば、スライスにおいて識別されたがん細胞がある場合、全体目的が達成される。

【0028】

以下、添付図面を参照して、実施形態が詳細に記載されるであろう。添付図面において、同じおよび／または対応する要素は同じ参照番号で示される。

【0029】

図１は、本開示の一実施形態にかかる自律顕微鏡システムを制御する方法のフローチャートである。これらのステップは図において連続して示されているが、他の実施形態においては、ステップのいくつかが、交換されうること、または、同時に、実行されうることが当業者に理解されるべきである。

【0030】

ステップＳ１０２において、装置で低倍率画像が得られる。低倍率画像は、自律顕微鏡システムの光学要素により撮影された生体サンプルの画像である。一実施形態において、生体試料は骨髄塗抹標本である。骨髄塗抹標本の実施形態のための分析目的は、サンプルのなかの骨髄細胞のカテゴリ分布を検出することである。従って、目標特徴は骨髄細胞であり、全体目的は、５００個の骨髄細胞をうまく分類することに設定されうる。他の一実施形態において、生体試料はリンパ節スライスである。リンパ節スライスの実施形態のための分析目的は、リンパ節に癌細胞があるかを検出することである。従って、目標特徴はがん細胞であり、全体目的は、がん細胞が存在するかである。

【0031】

ステップＳ１０４において、低倍率画像が第１のニューラルネットワークに入力されて、関心領域を選択する。最初のニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、または、完全に接続されたニューラルネットワーク（多層パーセプトロンとしても知られる）であり得る。この実施形態において、第１のニューラルネットワークは、強化学習スキームにおいて訓練された第１の畳み込みニューラルネットワークである。従って、第１のニューラルネットワークは２つの部分：第１のたたみ込みニューラルネットワークと、強化学習アルゴリズムと、を備えると考えられ得る。この実施形態において、最初に、低倍率画像は複数の領域に分割され、各領域は関心領域の候補である。これに基づいて、複数の領域が第１の畳み込みニューラルネットワークに入力され、第１の畳み込みニューラルネットワークは、強化学習スキームにおいて訓練されて、確率分布モデルを出力する。確率分布モデルは、複数の領域のうちのいずれか１つを関心領域として選択する確率を表す。

【0032】

強化学習アルゴリズムは、訓練データから潜在的なルールを自動的に発見し、好適には、フィードバック機構を介して第１のニューラルネットワークを訓練する。例えば、第１のニューラルネットワークが良好な焦点品質を有する画像または目標特徴を有する画像を得るとき、正のフィードバック信号が生成される。このようにして、強化学習スキームにより、第１のニューラルネットワークの機能が最適化される。さらに、第１のニューラルネットワークが複数の領域のうちのいずれか１つを関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成され、第１のニューラルネットワークに送られる。このようにして、強化学習スキームは、第１のニューラルネットワークに、関心領域を見つけることに時間をかけすぎることは促されないことを理解させうる。

【0033】

実現可能な実施形態において、第１のニューラルネットワークは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、模倣学習アルゴリズム、またはこれらの組み合わせを備える。教師あり学習アルゴリズムを例にとると、事前に収集された骨髄塗抹標本の画像が訓練データとして使用される。訓練データから抽出されたデータの特徴は、システムがターゲットを認識することを助け、そして、第１のニューラルネットワークは、サンプルそれぞれに対応する答を通知される。例えば、骨髄塗抹標本の実施形態では、骨髄細胞の過度に疎な分布は処理効率を低下させるが、骨髄細胞の過度に密な分布は、後続の識別に好適でない。従って、好適には、関心領域は、良好な画像品質および適切な密度の骨髄細胞を有するべきである。適切な領域には、人間の専門家により、「１」とラベル付けされ、通常のサンプルには「０」とラベル付けされる。これに基づき、訓練データの量が蓄積されると、第１のニューラルネットワークは、目標特徴を備える領域（関心領域）を識別することを学習できる。その後、新しい画像データが入力されるとき、第１のニューラルネットワークは、画像の複数の領域のうちのいずれか１つが関心領域に属する確率を識別できる。

【0034】

ステップＳ１０６において、関心領域が得られた後、領域が拡大されて高倍率画像を得る。この実施形態において、第１のニューラルネットワークが関心領域を識別した後、自律顕微鏡システムが、関心領域を顕微鏡の視野の中心に自動的に移動させ、関心領域のさらなる詳細が示されうるように、高倍率の対物レンズで、関心領域の高倍率を得る。

【0035】

ステップＳ１０８において、高倍率画像が第２のニューラルネットワークに入力されて、高倍率画像が目標特徴を備えるかを分析し、目標特徴に関連する統計結果を生成する。第２のニューラルネットワークは、畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークでありうる。この実施形態では、第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルである第２の畳み込みニューラルネットワークを含む。この種のモデルは、画像のなかの個々のオブジェクトとその輪郭およびカテゴリを識別できるので、高倍率画像が目標特徴を備えるかを分析するために使用される。

【0036】

ステップＳ１１０において、骨髄塗抹標本の実施形態において、第２のニューラルネットワークは、関心領域の高倍率画像のなかの骨髄細胞を識別し、骨髄細胞を計数し、統計結果を生成するように構成される。第２のニューラルネットワークが高倍率画像のなかの骨髄細胞の存在を識別し、計数する場合、この関心領域が備える画像フレームは所望の画像フレームとして定義され、統計結果が保存される。一方、第２のニューラルネットワークが高倍率画像のなかの骨髄細胞の存在を識別しない場合、この関心領域が備える画像フレームは望ましくない画像フレームとして定義され、方法はステップＳ１１４に進み、強化学習スキームにおいて第１のニューラルネットワークを訓練するように、第１のニューラルネットワークへのフィードバック信号を生成する。

【0037】

好適な実施態様において、統計結果に従ってフィードバック信号が生成され、フィードバック信号は第１のニューラルネットワークに送られて、強化学習スキームにおいて第１ニューラルネットワークを訓練する。例えば、骨髄塗抹標本の実施形態では、全体目的は、高倍率画像が５００個の骨髄細胞を含むことである。高倍率画像において５００個、または５００個超の骨髄細胞が計数されると、第１のニューラルネットワークは肯定的な報酬を得る。一方、選択した関心領域を拡大して得られた高倍率画像に骨髄細胞が５００個未満しかない場合、第１のニューラルネットワークは、より低い報酬を得る。より具体的には、実現可能な具体化された実施態様において、強化学習アルゴリズムにおいて用いられる報酬関数の形式はｆ（ｎ）＝ｍｉｎ（ｎ／５００,１）でありえ、ここで、ｎは高倍率画像に含まれる骨髄細胞の数である。これから、報酬は、画像のなかの骨髄細胞の数により判断される。報酬の最大値は1であり、これは、高倍率画像において少なくとも５００個の骨髄細胞があることを意味する。報酬の最小は０であり、これは、高倍率画像に骨髄細胞がないことを意味する。報酬を最大化することにより（これは、少なくとも５００個の骨髄細胞を含む領域を選択することと同等である）、第１のニューラルネットワークは全体目的を達成するために学習するように訓練される。

【0038】

リンパ節スライスの実施形態において、第２のニューラルネットワークは、関心領域の高倍率画像において卵胞構造および癌細胞を識別するように構成される。第２のニューラルネットワークが高倍率画像のなかの卵胞構造の存在を識別する場合、この関心領域を含む画像フレームが所望の画像フレームとして定義され、統計結果が保存される。一方、第２のニューラルネットワークが高倍率画像における卵胞構造の存在を識別しない場合、この関心領域を含む画像フレームは望ましくない画像フレームとして定義され、方法はステップＳ１１４に進み、強化学習スキームにおいて第１のニューラルネットワークを訓練するように、第１のニューラルネットワークへのフィードバック信号を生成する。

【0039】

ステップＳ１１２において、統計結果が全体目的を満たしているかが判断され、全体目的は分析目的に依存する。統計結果が全体目的を満たすとき、方法はステップＳ１１６に進む。骨髄塗抹標本の実施形態において、関心領域それぞれの高倍率画像から計数された骨髄細胞の数の累積値が、全体目的（例えば、５００個の骨髄細胞）に達したとき、方法はステップＳ１１６に進んで、統計結果を出力する。リンパ節スライスの実施形態において、高倍率画像に癌細胞が存在することが見いだされたとき、全体目的が達成され、方法はステップＳ１１６に進み、統計結果を出力する。一方、統計結果が全体目的を満たさないとき、方法はステップＳ１１４に進み、そこでは、フィードバック信号が用いられて、第１のニューラルネットワークに、どのように全体目的を達成するかを学習させる。

【0040】

図２は、本開示の実施形態にかかる顕微鏡システムのブロック図である。この実施形態において、顕微鏡システムは、光学ユニット２０２、ステージ２０４、電子制御ユニット２０６、記憶ユニット２０８およびプロセッサ２１０を備える自律顕微鏡システム２００である。

【0041】

光学ユニット２０２は、対物レンズ、リレー光学系、三眼鏡筒およびデジタルカメラで構成される。対物レンズは、生体サンプルの画像を拡大するために用いられる。特定の例において、光学ユニットは、電動前輪に取り付けられた異なる倍率の複数の対物レンズ（例えば、５ｘ、１０ｘ、２０ｘ、４０ｘおよび１００ｘ）を備える。拡大された画像はリレー光学系を通過し、三眼鏡筒に達する。三眼鏡筒は、入射光を３本のビームに分割する。３本のビームのうちの２本は人間の目のために用いられ、他の１本はデジタルカメラのために用いられる。デジタルカメラが用いられて、サンプルの画像を得る。

【0042】

ステージ２０４は、その上に生物学的サンプルの顕微鏡スライドを配置するために使用される。ステージ２０４は、ｘ、ｙ、およびｚ方向に移動可能である。xおよびy方向に沿って移動すると、生体サンプルが観察される視野が変えられ、z方向に沿って移動すると、生体サンプルに焦点が合わせられる。

【0043】

電子制御ユニット２０６は、プロセッサ２１０の出力に従って、ステージ２０４の移動または光学ユニット２０２の動作（例えば、電動前輪を回転させて異なる倍率の対物レンズに切り替える）を制御するために用いられる。記憶ユニット２０８は、光学ユニット２０２より得られた画像および１つ以上のアルゴリズムおよび／または予め決められた規則を記憶するために用いられる。１つ以上のアルゴリズムおよび予め決められた規則が用いられ得て、プロセッサ２１０に、図１に記載されたような自律顕微鏡システムを制御する方法を実行させる。図１に記載された自律顕微鏡システムを制御する方法をうまく実行するために、記憶ユニット２０８は、第１のニューラルネットワークおよび第２のニューラルネットワーク（図示されず）をさらに記憶する。

【0044】

プロセッサ２１０は、１つ以上のアルゴリズムおよび予め決められた規則に基づいて自動化ステップを実行するように配置される。例えば、画像処理の手順は、画像を得ること、画像の内容を分析すること、および／または、分析に基づいて関連する統計結果を生成することを含んでよい。プロセッサ２１０を介して、１つ以上のアルゴリズムおよび予め決められた規則は、診断のための画像を識別すること、および、得ることにおいて、自律顕微鏡システムを支援しうる。例えば、本開示で言及される強化学習アルゴリズムは、最適化アクションを決定するために配置されうる。最高のフィードバックを得ることについて、アルゴリズムは、最適な焦点面を得るために、ステージを移動したり、対物レンズを変更したりする戦略を開発できる。

【0045】

特定の実施形態では、プロセッサ２１０は、電子制御ユニット２０６を介して光学ユニット２０２の動作を制御して、低倍率の対物レンズを利用して生体試料の低倍率画像を撮影し得る。光学ユニット２０２により生成された低倍率画像が受信された後、プロセッサ２１０は、低倍率画像を第１のニューラルネットワークに入力して、関心領域を選択する。関心領域が発見されると、プロセッサ２１０は電子制御ユニット２０６を介してステージ２０４を制御して、関心領域を視野の中心に移動させ、高倍率対物レンズを介して関心領域を拡大することにより高倍率画像を得る。この高倍率画像は、分析中の生体サンプルのより詳細を示す。

【0046】

そして、プロセッサ２１０は、高倍率画像を第２のニューラルネットワークに入力して、高倍率画像が目標特徴を含むかを分析し、目標特徴に関連する統計結果を生成する。最後に、プロセッサ２１０は、統計結果に従ってフィードバック信号を生成し、フィードバック信号を第１のニューラルネットワークに送って、第１のニューラルネットワークに、どのように全体目的を達成するかを学習させる。

【0047】

さらに、本開示の他の態様において、図１に記載された自律顕微鏡システムを制御する上述の方法の異なる態様は、ソフトウェアで具体化されてよく、通常は、コンピュータ可読記憶媒体上で運ばれ具体化される実行可能プログラムコードおよび／または関連データの形式の製品の概念として解釈されてよい。コンピュータ可読記憶媒体は、いつでもソフトウェアを記憶可能なさまざまな半導体メモリ、磁気テープ記憶装置、ハードディスクおよび他の類似の装置といった、任意のまたはすべてのタイプのメモリ、コンピュータまたはプロセッサなどに用いられる任意またはすべての他の記憶装置、または、これらの関連するモジュールを備える。

【0048】

プログラムのすべてまたは一部は、インターネットなどのネットワークまたは他のさまざまな通信ネットワークを介していつでも通信されてよい。このような通信は、例えば、１つの装置から、コンピュータ環境のハードウェアプラットフォーム、コンピュータ環境を実装する他のシステム、または、分散型機械学習技術に関する同様の機能の他のシステムへといったように、あるコンピュータまたはプロセッサから他のコンピュータまたはプロセッサにプログラムがロードされることを可能にしてよい。従って、光波、電波および電磁波を含む、ソフトウェアがロードされた他のタイプの媒体が、有線および光固定ネットワークおよびさまざまなエアリンクを介して、異なるローカル装置の間の物理インターフェースを横断して用いられうる。有線または無線ネットワーク、光ファイバネットワーク、または、他の同様なネットワークといった、上記電波を運ぶ物理的要素もまた、プログラムがロードされた媒体と考えられてよい。本開示で用いられる「コンピュータ可読記憶媒体」などの用語は、有形の記憶媒体に限定されない限り、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。

【0049】

さらに、コンピュータ可読記憶媒体の一般的な形式は、以下のとおり、磁気ディスク、フロッピーディスク、ハードディスク、磁気テープ、その他の任意の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、その他の任意の光学媒体、パンチテープ、パンチ穴を備えたその他の任意の物理記憶媒体、ＲＡＭ、ＰＲＯＭおよびＥＰＲＯＭ、フラッシュＥＰＲＯＭ、その他のメモリチップまたはカートリッジ、データまたは命令を運ぶ搬送波、この搬送波を伝送するケーブルまたはネットワーク、またはコンピュータが読み取るプログラムコードおよび／またはデータを記憶しているその他の任意の媒体である。

【0050】

当業者は、本教示が、さまざまな変形および／または拡張を受け入れることを認識するであろう。例えば、上記のさまざまなシステムコンポーネントの実施は、ハードウェア装置で実施できるが、ソフトウェアソリューションのみ、または、既存のサーバへのインストールにおいて実施されてもよい。さらに、本開示に開示される自律顕微鏡システムを制御する方法は、ファームウェア、ファームウェア／ソフトウェアの組み合わせ、ファームウェア／ハードウェアの組み合わせ、または、ハードウェア／ファームウェア／ソフトウェアの組み合わせとして実施されてよい。

【0051】

（付記）
（付記１）
自律顕微鏡システムを制御する方法であって、
装置で低倍率画像を得るステップと、
前記低倍率画像を第１のニューラルネットワークに入力して関心領域を選択するステップであって、前記第１のニューラルネットワークは強化学習スキームにおいて訓練される、ステップと、
前記関心領域を拡大して高倍率画像を生成するステップと、
前記高倍率画像を第２のニューラルネットワークに入力して前記高倍率画像が目標特徴を備えるかを分析し、前記目標特徴に関する統計結果を生成するステップと、
前記統計結果に従ってフィードバック信号を生成すると共に、前記フィードバック信号を前記第１のニューラルネットワークに送って、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練するステップと、
を備える方法。

【0052】

（付記２）
前記第１のニューラルネットワークは、第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
付記１に記載の自律顕微鏡システムを制御する方法。

【0053】

（付記３）
前記低倍率画像を前記第１のニューラルネットワークに入力して前記関心領域を選択するステップは、前記低倍率画像を複数の領域に分割することをさらに備える、
付記２に記載の自律顕微鏡システムを制御する方法。

【0054】

（付記４）
前記第１のニューラルネットワークは、前記第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークであり、前記複数の領域は、前記第１のニューラルネットワークに入力されて確率分布モデルを生成し、前記確率分布モデルは、前記複数の領域のうちのいずれか１つが関心領域である確率を表す、
付記３に記載の自律顕微鏡システムを制御する方法。

【0055】

（付記５）
前記第１のニューラルネットワークが、前記複数の領域のうちのいずれか１つが前記関心領域であることを見いだすとき、正のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記３に記載の自律顕微鏡システムを制御する方法。

【0056】

（付記６）
前記第１のニューラルネットワークが前記複数の領域のうちのいずれか１つを前記関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記３に記載の自律顕微鏡システムを制御する方法。

【0057】

（付記７）
前記第１のニューラルネットワークは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、模倣学習アルゴリズムまたはこれらの組み合わせによりさらに訓練される、
付記１に記載の自律顕微鏡システムを制御する方法。

【0058】

（付記８）
前記統計結果が全体目的を満たすかを判断すること
をさらに備える付記１に記載の自律顕微鏡システムを制御する方法。

【0059】

（付記９）
前記統計結果が前記全体目的を満たさないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記８に記載の自律顕微鏡システムを制御する方法。

【0060】

（付記１０）
前記高倍率画像が前記目標特徴を備えないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記１に記載の自律顕微鏡システムを制御する方法。

【0061】

（付記１１）
前記第２のニューラルネットワークは、第２の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
付記１に記載の自律顕微鏡システムを制御する方法。

【0062】

（付記１２）
前記第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルであるように構成され、前記高倍率画像が前記目標特徴を備えるかを分析する、
付記１に記載の自律顕微鏡システムを制御する方法。

【0063】

（付記１３）
付記１～１０のいずれか１つに記載の自律顕微鏡システムを制御する方法を実行するプロセッサを備えること
により特徴づけられる顕微鏡システム。

【0064】

（付記１４）
光学ユニット、ステージ、電子制御ユニット、記憶ユニットまたはこれらの組み合わせ、
をさらに備える付記１３に記載の顕微鏡システム。

【0065】

（付記１５）
プログラムがコンピュータにロードされたとき、前記コンピュータが、付記１～１２のいずれか１つに記載の自律顕微鏡システムを制御する方法を実行できる、
プログラムが記憶されたコンピュータ可読記憶媒体。

【図1】

【図2】