(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144331
(43)【公開日】2024-10-11
(54)【発明の名称】顕微鏡の手動焦点調整のためのコンピュータ実装式の方法および手動焦点調整を備えた顕微鏡
(51)【国際特許分類】
G02B 21/00 20060101AFI20241003BHJP
【FI】
G02B21/00
【審査請求】未請求
【請求項の数】16
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024050966
(22)【出願日】2024-03-27
(31)【優先権主張番号】23164758
(32)【優先日】2023-03-28
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】511079735
【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Leica Microsystems CMS GmbH
【住所又は居所原語表記】Ernst-Leitz-Strasse 17-37, D-35578 Wetzlar, Germany
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ゼバスティアン ティル
【テーマコード(参考)】
2H052
【Fターム(参考)】
2H052AA03
2H052AB19
2H052AC05
2H052AC07
2H052AC10
2H052AD06
2H052AF21
(57)【要約】 (修正有)
【課題】顕微鏡の手動焦点調整のためのコンピュータ実装式の方法を提供。
【解決手段】サンプルに対して相対的な手動調整焦点に関する情報を取得するステップと、-サンプルについての焦点候補に関する情報を決定するステップと、-調整焦点と焦点候補との差分を決定するステップと、-決定した差分に基づいて、信号に関する情報をユーザーに供給するステップと、を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
顕微鏡の手動焦点調整のためのコンピュータ実装式の方法であって、前記方法は、次のステップ、すなわち、
-顕微鏡(202)において、サンプル(210a)に対して相対的な手動調整焦点に関する情報を取得するステップと、
-前記サンプル(210a)についての焦点候補に関する情報を決定するステップと、
-調整焦点と焦点候補との差分を決定するステップと、
-前記決定した差分に基づいて、信号(212)に関する情報をユーザーに提供するステップと、
を含む方法。
【請求項2】
前記信号(212)に関する前記情報を、
-絶えず、または
-手動調整される焦点が変更される場合に更新する、
請求項1記載の方法。
【請求項3】
前記焦点候補は、前記調整焦点に基づく、
請求項1または2記載の方法。
【請求項4】
前記焦点候補は、あらかじめ定めた焦点に基づく、
請求項1から3までのいずれか1項記載の方法。
【請求項5】
あらかじめ定めた焦点をルックアップテーブルから選択する、
請求項1から4までのいずれか1項記載の方法。
【請求項6】
機械学習法に基づいて前記焦点候補を決定する、
請求項1から5までのいずれか1項記載の方法。
【請求項7】
前記信号(212)に関する前記情報は、視覚信号、聴覚信号または触覚信号のうちの少なくとも1つに関する情報を含んでいる、
請求項1から6までのいずれか1項記載の方法。
【請求項8】
前記差分は、方向または大きさのうちの少なくとも1つを含んでいる、
請求項1から7までのいずれか1項記載の方法。
【請求項9】
前記信号(212)に関する前記情報は、機械式焦点調整ノブ(204)に関連している、
請求項1から8までのいずれか1項記載の方法。
【請求項10】
前記信号(212)に関する前記情報は、前記顕微鏡(202)に取り付けられた、もしくは前記顕微鏡(202)の一部であるスクリーン(206)のための、または前記顕微鏡(202)の接眼レンズのための視覚的な矢印(212)に関連している、
請求項1から9までのいずれか1項記載の方法。
【請求項11】
前記信号をアクティブ化または非アクティブ化するための情報を取得するように構成されている、
請求項1から10までのいずれか1項記載の方法。
【請求項12】
前記方法は、
-1つまたは複数の付加的な焦点候補に関する情報を決定し、
-付加的な焦点候補の各々について、調整焦点に対して相対的な付加的な差分を決定するように構成されている、
請求項1から11までのいずれか1項記載の方法。
【請求項13】
前記方法は、
-複数の前記決定した差分のうちの1つの差分を選択し、
-前記選択した差分に基づいて、前記信号(402,404)に関する情報を提供するように構成されている、
請求項1から12までのいずれか1項記載の方法。
【請求項14】
前記方法は、1つまたは複数の前記付加的な焦点候補の各々に基づいて、1つまたは複数の付加的な信号(402,404)に関する情報を提供するように構成されている、
請求項12または13のいずれか1記載の方法。
【請求項15】
顕微鏡の手動焦点調整のためのコンピュータ実装式の方法であって、前記方法は、次のステップ、すなわち、
-顕微鏡(202)において、サンプル(210a)に対して相対的な手動調整焦点に関する情報を取得するステップと、
-前記サンプル(210a)について焦点候補に関する情報を取得するステップと、
-調整焦点と焦点候補との間の差分を決定するステップと、
-前記決定した差分に基づいて、信号(212)に関する情報をユーザーに対して割り当てるステップと、
を含む方法。
【請求項16】
手動調整可能な焦点(204)を備えた顕微鏡(202)であって、前記顕微鏡(202)は、
-請求項1から15までのいずれか1項記載の方法を実施するか、または
-請求項1から15までのいずれか1項記載の方法を動作させるコンピュータへのインタフェースを提供するように構成されている、
顕微鏡(202)。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法と、手動調整可能な焦点を備えた顕微鏡と、に関する。
【背景技術】
【0002】
手動焦点調整を備えた顕微鏡システムでは通常、システムのカメラまたは対物レンズによって取り込まれて、システムのスクリーンまたは接眼レンズに表示される顕微鏡画像を観察するために、焦点を選択することをユーザーに要求する。ユーザーは、例えば機械式焦点調整ノブを用いて、意識的に焦点位置を調整しなければならない。このような顕微鏡システムのユーザーによって報告されているのは、試料/サンプルを顕微鏡に配置した後、合焦するかまた適切な焦点を見つけることが困難であることである。これは、顕微鏡システム光学系が、試料/サンプル内の有効な焦平面よりも(かなり)高いまたは低い平面に合焦してしまうことがあるからである。その結果、表示される画像は、コントラストが低く、構造が明確に視認できない。この場合、満足のいくいく画像を取得することはユーザーだけにかかっている。これらの領域における改善が行われることが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本明細書で開示する実施形態の1つの目的は、手動焦点調整を備えた顕微鏡の操作を改善することである。
【課題を解決するための手段】
【0004】
この課題は、特に独立請求項の記載事項によって特定される、開示した実施形態によって解決される。従属請求項により、別の実施形態が提供される。以下では、付加的な特徴および利点を提供する、これらの態様のさまざまな態様および実施形態を開示する。
【0005】
第1の態様は、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法であって、この方法は次のステップ、すなわち、
-顕微鏡において、サンプルに対して相対的な手動調整焦点に関する情報を取得するステップと、
-サンプルについての焦点候補に関する情報を決定するステップと、
-調整焦点と焦点候補との差分を決定するステップと、
-決定した差分に基づいて、信号に関する情報をユーザーに供給するステップと、を含む方法に関する。
【0006】
手動焦点調整を備えた顕微鏡は、肉眼では見ることが困難な物体を検査するために使用される任意のタイプのデバイスであってよく、焦点は、少なくとも部分的に、手動で、例えば手で調整される。顕微鏡の例は、広視野顕微鏡または明視野顕微鏡、透過光顕微鏡、反射顕微鏡、位相差顕微鏡などであってよい。顕微鏡は、マクロスコープまたはステレオスコープであってもよい。
【0007】
情報を取得するステップは、顕微鏡から、または顕微鏡に接続されているデバイス、例えば共有メモリから、情報を受信することまたは取り出すことを含んでいてもよい。
【0008】
調整焦点は、顕微鏡のユーザーによって調整される焦点に関連する。手動調整は、機械式またはデジタル式に行うことができる。例えば、焦点調整は、機械式焦点調整ノブ、プッシュボタン、コンピュータマウス、タッチ入力デバイス、ジェスチャ認識等によって制御可能である。
【0009】
サンプルは、顕微鏡によって検査可能な任意のサンプルタイプのものであってもよい。顕微鏡におけるサンプルは、有機サンプルまたは無機サンプルであってもよい。付加的または択一的に、サンプルは、任意の他の要素または分子を含んでいてよい。例えば、サンプルは、組織でもよく、または別の材料、例えばプラスチックから作製されていてもよい。サンプルは、不透明または透明であってよく、またはこれらの中間のあらゆる状態であってもよい。
【0010】
サンプルについての焦点候補に関する情報を決定するステップは、自動ステップまたは半自動ステップであってもよい。これについては、さまざまな実施形態および図面に関連して後で説明する。焦点候補は、サンプルに基づいていてよく、調整焦点に基づいていてよく、またはあらかじめ定めた値に基づいていてよい。これについても、さまざまな実施形態および図面に関連して説明する。
【0011】
信号に関する情報をユーザーに提供するステップは、顕微鏡それ自体を、または顕微鏡と相互作用するデバイスを対象としていてもよい。このステップは、ハードウェアにより、ユーザーへの信号を生成するための情報を提供することに関連している。例えば、ユーザー信号に関する情報を取得した後、顕微鏡に接続されたディスプレイまたは顕微鏡それ自体によって信号が実現されてもよい。
【0012】
有利には、上で説明したような顕微鏡の手動焦点調整のためのコンピュータ実装式の方法により、このような顕微鏡のためのユーザーガイダンスを提供でき、かつ/または改善できる。
【0013】
信号に関する情報のユーザーへの提供に加え、本方法はユーザーに信号それ自体を提供することができる。
【0014】
顕微鏡の代わりに、本開示における実施形態は、他の光学デバイス、例えば写真用カメラ、スポッティングスコープまたは望遠鏡に関連していてもよい。この場合、観察対象の物体は、上で説明したようなサンプルではなく、別の物体であってもよい。顕微鏡およびサンプルに関して説明した特徴はまた、他のデバイスおよび観察対象の他の物体についても当てはまる。
【0015】
第1の態様の1つの実施形態は、信号に関する情報を、
-絶えず、または
-手動調整される焦点が変更される場合に更新する、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0016】
絶えず行われる更新は、ハードまたはソフトのリアルタイム要件に基づいていてもよい。例えば、ハードのリアルタイム条件の場合、信号に関する情報は、あらかじめ定めたインターバル後に、最高の優先度で更新される。ソフトのリアルタイム条件の場合、情報は、あらかじめ定めたインターバル後に、しかしながら低い優先度で更新されてもよい。したがって、方法を実施するシステムが他のタスクによって占有されている場合、信号に関する情報についての更新は、あらかじめ定めた時間インターバルの後に行われるが、十分なシステムリソースが利用可能である場合だけである。
【0017】
有利には、ユーザー信号に関する情報を絶えず更新することにより、調整焦点と焦点候補との間の差分についての正確なフィードバックを簡単に実装することができる。
【0018】
ユーザー信号に関する情報の更新は、イベントベースで行われてもよい。これは、例えば、手動調整焦点に関する新たな情報が取得された場合に行われてもよい。その後、新たな調整焦点と焦点候補との間の新たな差分を決定することができ、ユーザーのための信号情報を更新することができる。
【0019】
有利には、調整焦点に関する新たな情報が得られた場合にのみ、ユーザー信号に関する新たな情報が提供される。機械式焦点調整ノブの場合、ユーザーが機械式焦点調整ノブを回して焦点を調整した場合にのみ、ユーザー信号に関する新たな情報が提供される。
【0020】
第1の態様の1つの実施形態は、焦点候補が、調整焦点に基づく、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0021】
焦点候補は、サンプルのあらかじめ定められた構造に基づいて決定することができ、例えば、焦点候補は、特に調整焦点の情報に基づき、最大コントラストレベルを有する焦点として、かつ/またはあらかじめ定めたコントラストレベルを有する焦点として選択されてもよい。コントラストは、振幅コントラストおよび/または位相コントラストに関連していてもよい。
【0022】
調整焦点に基づき、焦点候補は、統計手法および/または機械学習法に基づいて定められてもよい。例えば、サンプルの視覚分析に基づき、トレーニングされた機械学習アルゴリズムであって、調整焦点によって取得された情報に基づき、焦点候補を自動的に決定する機械学習アルゴリズムが適用されてもよい。
【0023】
焦点候補は付加的または択一的には、サンプルの中央に配置された焦平面として決定されてもよい。サンプルの中央は、光軸がサンプルを横切る距離の半分として決定することができる。光軸におけるサンプルの厚さ、すなわち、光軸がサンプルと交差する全距離は、自動的に、例えば、調整焦点から取得された情報の視覚分析に基づいて、または手動で、例えば、ユーザーからの入力によって決定されてもよい。
【0024】
有利には、特定のサンプルについての焦点候補は、特に、サンプル、または特定のサンプルが割り当て可能なサンプルタイプの事前知識に基づいて、正確に計算されてもよい。後者は、調整焦点から推論することができる。
【0025】
第1の態様の1つの実施形態は、焦点候補が、あらかじめ定めた焦点に基づく、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0026】
焦点候補は、事前の計算および/または事前に評価されたモデルに基づいて決定されてもよい。したがって特に、サンプルに関する、または外部条件に関するいくつかの情報を考慮することができる。例えば、サンプルの次のパラメータ、すなわち、サンプルの材料、体積、幾何学的条件、位相コントラスト、照明のうちの1つまたは複数に基づいて、あらかじめ定めた焦点が決定されてもよい。これらの全てのパラメータは、例えば、焦点候補から、または少なくとも顕微鏡の光学系によって推測可能である。
【0027】
有利には、あらかじめ定めた焦点候補を、付加的な計算なしに単純かつ迅速に提供することができる。
【0028】
第1の態様の1つの実施形態は、あらかじめ定めた焦点をルックアップテーブルから選択する、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0029】
ルックアップテーブルは、1つまたは複数の付加的なパラメータに基づき、焦点候補を選択するための迅速かつリソース効率の良い仕方を提供することができる。ルックアップテーブルは、コントラスト、特に振幅コントラストまたは位相コントラストに応じた焦点レベルを含んでいてもよい。付加的または択一的には、ルックアップテーブルは、サンプルの条件に応じて、例えば、その材料、その幾何学的特性、そのテクスチャ等に応じて、焦点レベル、すなわち焦点候補を含んでいてもよい。
【0030】
第1の態様の1つの実施形態は、機械学習法に基づいて焦点候補を決定する、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0031】
機械学習を使用すると、本方法および/または顕微鏡は、既存の情報およびアルゴリズムに基づいて、1つまたは複数の焦点候補を認識することができる。焦点候補を決定するために機械学習法に使用可能な情報は、サンプルの幾何学情報、例えば、サンプルの高さおよび/または厚さであってもよい。機械学習法は付加的または択一的に、サンプルの材料品質、例えばサンプルの材料タイプまたはテクスチャに関する情報に基づいていてもよい。機械学習法は付加的または択一的に、サンプルの、またはサンプルが属するサンプルタイプの1つまたは複数の光学的特徴に基づいていてもよい。
【0032】
上述の情報タイプの種類を取得するために、手動焦点調整のための方法の1つの実施形態は、例えば、ユーザー入力を介して、またはパラメータもしくは上述のパラメータタイプのうちの1つもしくは複数の自動検出を介して、この情報を取得するステップを含んでいてもよい。特に、手動焦点調整のための方法は、複数の異なる機械学習法を含むことができるかまたはこれらにアクセスすることができ、また提供されるこれらのパラメータに基づいて、機械学習アルゴリズムが選択されて、1つまたは複数の焦点候補を決定することができる。
【0033】
有利には、機械学習法に基づく場合、経験および以前の結果に基づいて、1つまたは複数の焦点候補が決定されてもよい。
【0034】
別の1つの実施形態では、機械学習法を使用する手動焦点調整のための方法により、ユーザーが最終的にどの焦平面を調整するのかを決定することができる。これは、例えば、調整焦点の時間測定に基づいて行うことができる。比較的長い期間にわたって、例えば、30秒または1分よりも長い期間にわたって、ユーザーが焦点を維持している場合、この調整焦点は、サンプルに関する、関心を引く情報をユーザーに提供すると推測することができる。この場合、調整焦点に関する情報は、焦点候補のトレーニングに使用することができるか、または少なくとも、サンプルに関連する付加的なパラメータと共に焦点候補のデータベースに格納することができる。
【0035】
第1の態様の1つの実施形態は、信号に関する情報が、視覚信号、聴覚信号または触覚信号のうちの少なくとも1つに関する情報を含んでいる、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0036】
視覚信号は、例えば、ユーザーがサンプルの拡大画像も見ているのと同じスクリーン上でユーザーに提示することができる。視覚信号は付加的または択一的に、別のディスプレイ、例えば、顕微鏡の側方部の、特に手動焦点調整ノブの横の小型ディスプレイ上でユーザーに提示することができる。
【0037】
聴覚信号もまた、顕微鏡から、または顕微鏡に取り付けられたデバイス、例えばスピーカー等から得られてもよい。
【0038】
触覚信号は、ユーザーが手動で顕微鏡の焦点を調整するためのデバイスから得られてもよい。触覚信号は、運動感覚式の触覚信号および/または触知式の触覚信号、例えば圧電抵抗素子によって供給される振動等であってもよい。
【0039】
有利には、ユーザーに最も適合するフィードバックモダリティを選択することができる。さらに、顕微鏡に既に実装されているフィードバック信号を使用することもできる。
【0040】
第1の態様の1つの実施形態は、差分が、方向または大きさのうちの少なくとも1つを含んでいる、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0041】
方向は、焦点候補に到達するために調整焦点をどのように変更させるかに関する情報を含んでいる。ユーザーへの視覚信号の場合、この方向は、ユーザーに対して描かれる矢印シンボルの指示方向を介してエンコードすることができる。
【0042】
大きさは、焦点候補に到達するために、調整焦点をどの程度の距離まで調整しなければならないかという情報を含んでいる。ユーザーに対する視覚信号の場合、差分の大きさは、矢印シンボルの長さを介してエンコードされてもよい。矢印シンボルが長いほど、調整焦点と焦点候補の間の差分が大きくなる。
【0043】
有利には、方向および/または振幅に基づいて、焦点候補に到達するために目下の焦点をどのように調整しなければならないかについて正確にユーザーに通知することができる。
【0044】
別の1つの実施形態では、ユーザー信号に関する情報はまた、焦点候補に関する付加的な情報を含んでいてもよい。これは、例えば、照明の情報であってもよい。例えば、ユーザーが、焦点候補に到達すると、顕微鏡またはディスプレイは、ユーザー信号情報に基づき、焦平面における構造をユーザーに最適に表示することができるように照明を調整することがある。この付加情報は、サンプルに依存していてもよく、機械学習アルゴリズムによって生成され、かつ/またはデータベースから取り出されてもよい。
【0045】
第1の態様の1つの実施形態は、信号に関する情報が機械式焦点調整ノブに関連する、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0046】
機械式焦点調整ノブは、ユーザーが顕微鏡の焦点を手動で調整するための制御機構である。この制御機構は、顕微鏡におけるカメラ、レンズまたは対物レンズを移動させる機構に結合されている回転ノブまたはホイールを含んでいてよい。これにより、この制御機構によって顕微鏡の調整焦点が変化する。ユーザーが焦点調整ノブを回転させると、この機構は、サンプルに向かってまたはサンプルから離れるようにレンズ、対物レンズまたはカメラを移動させて、画像が鮮明および/または明瞭になるまで、ユーザーが焦点を調整できるようにする。一部の焦点調整ノブはまた、粗焦点調整および微焦点調整を有していてもよい。
【0047】
触覚式ユーザー信号の場合、触覚アクチュエータ、例えば、圧電抵抗アクチュエータまたはモータが、機械式焦点調整ノブの内部または横に実装されていてもよい。機械式焦点調整ノブが、粗調整および微調整を含んでいる場合、信号に関する情報は、同様に2重であってよく、粗調整フェーズおよび微調整フェーズに関連していてよい。
【0048】
有利には、機械式焦点調整ノブに信号を関連させることにより、ユーザーは、ノブをどのように変化させるべきかに関してユーザーが知覚した信号に基づいて、調整焦点を焦点候補に容易に変更することができる。
【0049】
第1の態様の1つの実施形態は、信号に関する情報が、顕微鏡に取り付けられた、もしくは顕微鏡の一部であるスクリーンのための、または顕微鏡の接眼レンズのための視覚的な矢印に関連している、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0050】
第1の態様の1つの実施形態は、信号をアクティブ化または非アクティブ化するための情報を取得するように構成されている、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0051】
ユーザー信号のアクティブ化または非アクティブ化の情報は、例えば、顕微鏡から得られてもよい。この情報は、手動焦点調整のための方法の独立したステップにおいて取得かつ処理することができる。例えば、信号に関する情報が方法によって提供され、ユーザーが、例えば顕微鏡のスイッチにより、信号をスイッチオフする場合、手動焦点調整のための方法は、信号をスイッチオフするための情報を受信した後、顕微鏡において信号を非アクティブ化させるステップを含んでいてもよい。
【0052】
付加的または択一的には、信号のアクティブ化および非アクティブ化のための情報は、サードパーティから得られてもよい。この情報は特に、特徴の利用可能性に関連していてもよい。
【0053】
有利には、機能が有効である場合にはこれをアクティブ化することができ、そうでない場合には非アクティブ化することができる。付加的または択一的に、この機能は、支払いのためにアクティブ化されてもよい。
【0054】
第1の態様の1つの実施形態は、
-1つまたは複数の付加的な焦点候補に関する情報を決定し、
-付加的な焦点候補の各々について、調整焦点に対して相対的な付加的な差分を決定する
ように構成されている、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0055】
サンプルは、関心を引くいくつかの部分を有していてもよく、部分の各々は、異なる焦平面に配置されていてもよい。この場合、いくつか焦点候補が決定されることがある。付加的には、異なる焦点候補に基づいて複数の差分を決定することもできる。さらに、各差分について、ユーザーに対するそれぞれの信号に関する情報を決定して提供することができる。付加的または択一的には、異なるパラメータおよび/または異なる計算モデル、例えば異なる機械学習法に基づいて、異なる焦点候補を決定することができる。
【0056】
有利には、複雑なサンプルについて、関心を引くいくつかの焦点層にユーザーをガイドすることができる。
【0057】
第1の態様の1つの実施形態は、
-複数の決定した差分のうちの1つの差分を選択し、
-選択した差分に基づいて、信号に関する情報を供給する
ように構成されている、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0058】
第1の態様の1つの実施形態は、1つまたは複数の付加的な焦点候補の各々に基づいて、1つまたは複数の付加的な信号に関する情報を提供するように構成されている、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法に関する。
【0059】
いくつかの焦点候補の場合、また異なる焦点候補に基づいて複数の差分が決定されるとき、ユーザーに対する信号に関する情報は、信号が基づいているパラメータに関する情報を含んでいてもよい。例えば、視覚的な矢印には、例えば「最大位相コントラスト」という言い回しにより、最大位相コントラストを有する焦点候補を対象とする情報が付加されていてもよい。別の1つの視覚的な矢印には、例えば、「サンプルの中央」という言い回しより、光軸上に位置しかつサンプルの中央に位置する別の1つの焦点候補を対象とする情報が付加されていてもよい。付加的または択一的には、どの焦点候補についてユーザーがガイダンスされたいかをユーザーが選択することができる。
【0060】
有利には、最も関連する焦点候補または選択された焦点のセットを自動的にまたは手動で選択することができ、選択した焦点についてガイドを提供することができる。
【0061】
第2の態様は、顕微鏡の手動焦点調整のためのコンピュータ実装式の方法であって、この方法は次のステップ、すなわち、
-顕微鏡において、サンプルに対して相対的な手動調整焦点に関する情報を取得するステップと、
-サンプルについて焦点候補に関する情報を取得するステップと、
-調整焦点と焦点候補との間の差分を決定するステップと、
-決定した差分に基づいて、信号に関する情報をユーザーに対して割り当てるステップと、を含む方法に関する。
【0062】
この方法は、トレーニング法である。
【0063】
1つの実施形態では、トレーニング法は、1つまたは複数の焦点候補を識別するために、またこれらをデータベース、例えばルックアップテーブルに格納して、第1の態様による方法において焦点候補を決定するために使用されてもよい。
【0064】
別の1つの実施形態では、トレーニング法は、与えられ状況において焦点候補を識別するために使用可能な機械学習アルゴリズム、例えばニューラルネットワークまたは変換モデルをトレーニングするために使用されてよい。
【0065】
有利には、これにより、特定の状況に対して焦点候補を提供するために、1つまたは複数の焦点候補を学習して、あらかじめ定められた焦点として提供することができるか、または機械学習法をトレーニングしてもよい。
【0066】
トレーニング法は、顕微鏡の通常動作中に、顕微鏡によって直接実行されるか、またはアプリケーションユーザーインタフェース(API)を介して顕微鏡と対話するかのいずれかによって動作することができる。トレーニング法は付加的または択一的に、調整焦点および焦点候補の情報をデータベースから取得することができる。
【0067】
第3の態様は、手動調整可能な焦点を備えた顕微鏡であって、この顕微鏡は、
-前の態様のうちの1つの方法を実施するか、または
-前の態様のうちの1つによる方法を動作させるコンピュータへのインタフェースを提供するように構成されている、顕微鏡に関する。
【0068】
択一的な第1の実施形態は、第1の態様または第2の態様による方法を実施することができるコンピュータを備えた顕微鏡に関する。このコンピュータは、コンピュータ、システムオンチップ、アナログ電気回路、FPGA等であってもよい。
【0069】
択一的な第2の実施形態は、例えばネットワークを介して、コンピュータと通信して、第1の態様または第2の態様による方法を実施するように構成された顕微鏡に関する。したがって、顕微鏡は、顕微鏡のハードウェアコンポーネント、例えばディスプレイまたは手動焦点調整ノブ等にアクセスするためのアプリケーションユーザーインタフェース(「API」)を有していてもよい。
【0070】
付加的または択一的に、顕微鏡は、第1の態様に従って焦点ガイダンスをアクティブ化させる/非アクティブ化させるためのスイッチを顕微鏡に有していてもよい。
【0071】
別の利点および特徴は、図面を参照する以下の実施形態から得られる。図面は、実施形態を基本的な考え方において説明しており、また縮尺通りではない。さまざまな特徴の寸法は、特に記載した技術の理解を容易にするために、拡大または縮小されていることもある。この目的のために、部分的に図式化されて示されているのは以下の図ある。
【図面の簡単な説明】
【0072】
【
図1】本開示の1つの実施形態による方法のフローチャートである。
【
図2】本開示の1つの実施形態による顕微鏡構成を示す図である。
【
図3】本開示の1つの実施形態による顕微鏡システムのアーキテクチャを示す図である。
【
図4】本開示の1つの実施形態による顕微鏡構成を示す図である。
【
図5】本開示の1つの実施形態によるシステムの概略図を示す図である。
【発明を実施するための形態】
【0073】
以下の説明において、同一の参照符号は、同一の特徴、または少なくとも機能的もしくは構造的に類似した特徴を参照する。
【0074】
以下の説明では、本開示の一部を形成しかつ本開示を理解することができる特定の側面を示す添付の図面を参照する。
【0075】
一般的に、記載した方法の開示は、方法を実施するための対応するデバイス(もしくは装置)、または1つまたは複数のデバイスを含んでいる対応するシステムにも適用され、その逆も同様である。例えば、特定のステップが説明される場合、対応するデバイスは、その特徴が明示的に説明または図に表されていない場合であっても、説明したステップを実行するための特徴を含んでいてもよい。他方では、例えば、特定のデバイスが機能ユニットに基づいて説明されている場合、対応する方法は、そのようなステップが明示的に説明または図面に表されていない場合であっても、説明した機能を実行するための1つまたは複数のステップを含んでいてもよい。同様に、システムには、対応するデバイス機能、または特定のステップを実行するための特徴が備えられていてもよい。上または下で説明するさまざまな例示的な態様および実施形態の特徴は、別に明示的に断らない限り、組み合わせられてもよい。
【0076】
図1には、顕微鏡の手動焦点調整のための方法100の1つの実施形態のフローチャートが示されている。この方法は、第1のステップ110において、手動調整焦点に関する情報を取得することを含んでいる。手動調整焦点は、顕微鏡によって分析されるサンプルを対象としている。この方法はさらに、ステップ120において、サンプルについての焦点候補に関する情報を決定することを含んでいる。焦点候補が決定された後、第3のステップ130では、調整焦点と焦点候補との差分を決定する。この差分に基づき、引き続きのステップ140では、決定した差分に基づき、信号に関する情報をユーザーに提供する。この情報に基づいて、ユーザー信号を生成して表示することができる。1つの実施形態では、信号生成および/または信号の表示は、顕微鏡の手動焦点調整のための方法の一部であってもよい。択一的な1つの実施形態では、信号生成および/または信号表示は、手動焦点調整のための方法から独立していてよく、例えば、顕微鏡によって、かつ/または顕微鏡に取り付けられておりユーザー信号に関する情報を受信する視覚表示ディスプレイによって提供される。
【0077】
図2には、本開示の1つの実施形態による、例えば
図1に開示されている実施形態による、手動焦点調整のための方法を動作させるための顕微鏡構成200が示されている。顕微鏡202は、手動焦点調整ノブ204と、取り付けられたスクリーン206と、組込み式カメラ208と、を含んでいる。サンプル210aはカメラ208の下に設けられており、これにより、このサンプル210aは、画像210bとして記録され、スクリーン206に表示される。顕微鏡は、照明が調整できるように構成されている。例えば、生体サンプルを分析するときに、自動焦点システムを用いずに正しい焦点に調整することは、特に経験の浅いユーザーにとっては、面倒でありかつ退屈になりがちである。ボケた構造の一部が表示される場合でもあっても、ユーザーは、関心を引く焦点面に到達するために、焦点調整ノブをどの方向に、またどの程度の距離で調整するかがわからないことがある。図示した実施形態は、目の前の適用タスクを実行するために、ユーザーを視覚的にガイドして、サンプルに迅速に合焦させることを目的とする。これは、システムスクリーン206に表示されるユーザーインタフェースにグラフィック要素212を追加することによって達成される。この要素によって示されるのは、ユーザーが手動焦点調整ノブをどの方向に回転させる必要があるか、またどの程度の調整が必要であるかである。図示したケースでは、グラフィック要素、すなわち矢印シンボル212によってユーザーに示されるのは、ユーザーが手動焦点調整ノブを下方に回転させると、焦点候補を見つけることができることである。提案された焦平面までの距離は、矢印シンボル212の長さによって示されている。択一的には、焦点調整ノブが矢印212の方向に回転させられると、ゼロに向かって減少する数によってこれを示すことができる。適切な焦平面に達すると、矢印サイズは、矢印のない小さなバーまたはターゲットフラグ等の別のシンボルに縮小される。距離が数によって示される場合、表示される数は、焦点候補が調整焦点に等しいとき、「0」として表示されてもよい。
【0078】
このガイダンスを表示するために、計算ユニットは、焦点候補位置からの距離および方向、すなわち正または負のオフセットを導出できるような仕方で、カメラによって記録された画像を処理すべきである。これを達成するためにさまざまな仕方がある。これは、古典的なアルゴリズムにより、または機械学習法により、例えば、リアルタイムに焦点外れの1つの画像から焦点オフセットを通知するために使用される、トレーニングされた(ディープ)ニューラルネットワーク(ディープラーニング)により、行うことができる。これにより、頻繁に、理想的には少なくとも1秒に1回、またはユーザーが焦点調整ノブを回すたびに、スクリーン上のグラフィック要素を更新することができる。ユーザーにとってみれば、更新の頻度が高いほど、ガイドされる焦点調整の使い勝手がよくなる。択一的には、計算アプローチは、焦点候補に向かうオフセットおよび方向を決定するために、古典的な画像処理方法を使用することができる。
【0079】
図3には、本開示の1つの実施形態による、顕微鏡システム314を備えた構成のアーキテクチャ300が示されている。顕微鏡システム314は、手動焦点を備えた顕微鏡302と、カメラ308と、処理ユニット320と、を含んでいる。システム314はさらに、画像信号およびユーザーio信号のためのデータ接続310を介して、ディスプレイと、IOインタフェース306、例えばコンピュータマウスと、に接続されている。システム314内では、顕微鏡302は、機械・光学接続304を介してカメラ308に接続されている。これは例えば、カメラが、例えば
図2に示したように、顕微鏡フレームに組み込まれている場合に実現可能である。カメラ308は、データ接続310を介して処理ユニット320と通信する。顕微鏡302は、ハードウェア制御接続312を介して処理ユニット320と通信する。この接続を介して、手動焦点調整ノブの移動情報を含んでいる信号が交換される。前方パスでは、機械式焦点調整ノブが回転させられると、顕微鏡によって処理ユニットに通知することができる。後方パスでは、処理ユニットにより、顕微鏡にユーザー信号情報を反映させることができる。例えば、ユーザーが、触覚信号を介して、焦点候補へガイドされると、処理ユニットは、顕微鏡に触覚情報を反映させることができ、顕微鏡は次いで、焦点候補に到達するための回転方向および/または回転の大きさをユーザーに示すために、手動焦点調整ノブに配置された圧電センサを制御することができる。視覚ユーザー信号は、データ接続310を介して処理ユニット320からディスプレイ306に送信される。ユーザー信号はまた、アクティブ化または非アクティブ化されてもよい。これは、例えばIOデバイス306、例えばコンピュータマウスを介して行うことができる。コンピュータマウス306により、ディスプレイ306上の視覚ユーザーインタフェース上のボタンを押すことができ、これにより、ユーザー信号をアクティブ化または非アクティブ化するように処理ユニット320に通知することができる。処理ユニット320は付加的に、制御通信パス312を介して、顕微鏡にアクティブ化または非アクティブ化コマンドを通信することができる。これは特に、焦点調整ノブにおける触覚エフェクタ、例えば圧電素子をアクティブ化または非アクティブ化するために、または視覚表示ディスプレイ306上の視覚ユーザーインタフェースにおいてだけではなく、顕微鏡それ自体において、機能の状態を示すためにLEDをアクティブ化または非アクティブ化するために有利であり得る。このシステムにより、手動焦点調整のための聴覚ユーザー信号が供給される場合、音響デバイスはまた処理ユニット320によって制御されてもよい。付加的または択一的に、処理ユニット320は、調整焦点、サンプルのタイプに基づいて、または他のパラメータに基づいて焦点候補を決定するために、アルゴリズムおよび/またはデータベース、例えばルックアップテーブルを格納および/または実行することができる。
【0080】
図4には、
図2の実施形態と類似した実施形態が示されている。
図2の実施形態との相違は、焦点候補についての情報を有するユーザー信号の個数にある。
図2では、単一のユーザー信号だけが、単一の焦点候補にユーザーをガイドする。
図4には、2つの焦点信号402、404を有するシステム400が示されており、ここでは、2つの焦点信号により、ユーザーは、2つの異なる焦点候補にガイドされる。したがって、システム400により、2つの焦点候補に関する情報が決定される。2つの焦点候補点の各々に基づいて、システム400により、ユーザーによって目下設定されている焦点との、対応する差分が決定される。有利には、複数の焦点候補を用いることにより、サンプルのいくつかの関心領域に向かってユーザーをガイドすることができる。システム400により、サンプル210a内の少なくとも2つの関心領域406,408か決定されている。これらの領域は、例えば、顕微鏡において目下分析されている特定のタイプのサンプルについてトレーニングされる機械学習アルゴリズムにより、関心領域として識別されている。この機械学習アルゴリズムはさらに、異なる2つの領域が最適に表示される焦平面が互いに異なっていることを識別している。したがって、システム400により、2つの焦点候補に関する2つの差分が決定される。サンプル領域406に対し、調整焦点と焦点候補との間の第1の差分が決定される。それから、サンプル領域408に対し、調整焦点から焦点候補までの第2の差分が決定される。第1の差分は、矢印シンボル402によって視覚的に示されている。矢印シンボル402により、サンプル領域406について決定された焦平面にユーザーがガイドされる。同様に、矢印シンボル404により、サンプル領域408について決定された焦平面にユーザーがガイドされる。有利には、ユーザーは、自身が最初にどちらの焦平面に行きたいのかを自身で決定することができる。サンプル領域406およびサンプル領域408の両方について、2つの焦点候補は絶えず更新される。したがって、ユーザーが、サンプル領域406について焦点候補に到達すると、矢印シンボル404はそれに対応して変更され、ユーザーは、残りの矢印を追従して、サンプル領域408についての焦点候補に到達することができる。システムは択一的に、例えば機械学習法により、決定された複数の焦点候補の中からそれ自体で選択し、選択した焦点候補だけをユーザーに提示することができる。
【0081】
いくつかの実施形態は、
図1~
図4のうちの1つまたは複数に関連して説明されたようなシステムまたは方法を含んでいる顕微鏡に関する。択一的に、顕微鏡は、
図1~
図4のうちの1つまたは複数に関連して説明されたようなシステムの一部であってもよいし、また
図1~
図4のうちの1つまたは複数に関連して説明されたようなシステムに接続されていてもよい。
図5は本明細書に記載された手動焦点調整のための方法を実施するように構成されたシステム500の概略図を示している。システム500は、顕微鏡510とコンピュータシステム520とを含んでいる。顕微鏡510は、撮像するように構成されており、かつコンピュータシステム520に接続されている。コンピュータシステム520は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム520は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム520と顕微鏡510は別個の存在物であってもよいが、1つの共通のハウジング内に一体化されていてもよい。コンピュータシステム520は、顕微鏡510の中央処理システムの一部であってもよく、かつ/またはコンピュータシステム520は、顕微鏡510のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡510の従属部品の一部であってもよい。
【0082】
コンピュータシステム520は択一的に、ネットワーク、例えばインターネットを介して顕微鏡510に接続されてもよい。この場合、顕微鏡510とコンピュータ520とは、アプリケーションユーザーインタフェース(API)、例えばRESTful-APIを介して連携して動作することができる。コンピュータ520は、本明細書に記載される実施形態に従って、例えば
図1に記載されているように方法を実施する。コンピュータ520は、ステップ110に従い、ネットワークを介して、調整焦点に関する情報を取得する。コンピュータは次いで、ステップ120に従って1つまたは複数の焦点候補を決定し、ステップ130に従って関連付けられた差分を決定する。最後に、コンピュータ520により、ステップ140に従い、決定した差分に基づいて、信号212に関する情報がユーザーに供給される。この情報はまた、RESTful-APIを使用してネットワークインターネットを介して変換される。
【0083】
コンピュータシステム520は、1つまたは複数のプロセッサおよび1つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス(例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話)であってもよく、または分散コンピュータシステム(例えば、ローカルクライアントおよび/または1つまたは複数のリモートサーバファームおよび/またはデータセンター等のさまざまな場所に分散されている1つまたは複数のプロセッサおよび1つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム)であってもよい。コンピュータシステム520は、任意の回路または回路の組み合わせを含んでいてもよい。1つの実施形態では、コンピュータシステム520は、任意の種類のものとすることができる、1つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品(例えばカメラ)のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ(DSP)、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム520に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路(ASIC)等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される1つまたは複数の回路(通信回路等)等である。コンピュータシステム520は、ランダムアクセスメモリ(RAM)の形態のメインメモリ等の特定の用途に適した1つまたは複数の記憶素子を含み得る1つまたは複数のストレージデバイス、1つまたは複数のハードドライブおよび/またはコンパクトディスク(CD)、フラッシュメモリカード、デジタルビデオディスク(DVD)等のリムーバブルメディアを扱う1つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム520はディスプレイ装置、1つまたは複数のスピーカーおよびキーボードおよび/またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム520に情報を入力すること、およびコンピュータシステム520から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。
【0084】
ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
【0085】
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
【0086】
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
【0087】
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
【0088】
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
【0089】
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
【0090】
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
【0091】
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
【0092】
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
【0093】
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
【0094】
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
【0095】
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
【0096】
本明細書で使用されるように、用語「および/または(かつ/または)」は、関連する記載項目のうちの1つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「/」として略記されることがある。
【0097】
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。
【符号の説明】
【0098】
100 本開示の1つの実施形態による方法
110 調整焦点に関する情報を得るステップ
120 焦点候補に関する情報を決定するステップ、
130 調整焦点と焦点候補との差分に関する情報を決定するステップ、
140 ユーザー信号を供給するステップ
200 本開示の1つの実施形態による顕微鏡構成
202 顕微鏡
204 機械式焦点調整ノブ
206 視覚表示ディスプレイ
208 カメラ
210a サンプルホルダにおけるサンプル
210b 視覚表示ディスプレイに表示されたサンプル
212 手動焦点調整のための信号
300 本開示の1つの実施形態による構成のアーキテクチャ
302 顕微鏡
304 機械式装置および通信パス
306 ディスプレイおよび/またはi/oデバイス
308 カメラ
310 データ通信パス
312 制御通信パス
314 構成の境界
320 処理ユニット(コンピュータ)
400 本開示の1つの実施形態による顕微鏡構成
402 手動焦点調整のための第1の信号
404 手動焦点調整のための第2の信号
406 サンプルの第1の関心領域
408 サンプルの第2の関心領域
500 本開示の1つの実施形態によるシステム
510 顕微鏡
520 コンピュータシステム
【外国語明細書】