特表2023-542619試料のデジタル画像の品質管理のためのコンピュータ実装方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-11
(54)【発明の名称】試料のデジタル画像の品質管理のためのコンピュータ実装方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231003BHJP
G02B 21/00 20060101ALI20231003BHJP
G06T 7/571 20170101ALI20231003BHJP
G01N 21/27 20060101ALI20231003BHJP
【ＦＩ】
G06T7/00 Q
G02B21/00
G06T7/571
G06T7/00 350C
G01N21/27 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023513082
(86)(22)【出願日】2021-08-24
(85)【翻訳文提出日】2023-03-14
(86)【国際出願番号】 EP2021073326
(87)【国際公開番号】W WO2022043289
(87)【国際公開日】2022-03-03
(31)【優先権主張番号】20192675.5
(32)【優先日】2020-08-25
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】591003013
【氏名又は名称】エフ． ホフマン－ラ ロシュ アーゲー
【氏名又は名称原語表記】Ｆ． ＨＯＦＦＭＡＮＮ－ＬＡ ＲＯＣＨＥ ＡＫＴＩＥＮＧＥＳＥＬＬＳＣＨＡＦＴ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】マイアー，アレクサンダー
(72)【発明者】
【氏名】デッパーマン，イェンス
(72)【発明者】
【氏名】レッピン，カイ
(72)【発明者】
【氏名】ファン デューレン，ヨースト
【テーマコード（参考）】
2G059
2H052
5L096
【Ｆターム（参考）】
2G059AA05
2G059BB08
2G059DD13
2G059EE13
2G059FF01
2G059FF02
2G059FF03
2G059KK04
2G059MM01
2G059MM09
2G059MM10
2G059PP04
2H052AA13
2H052AF25
5L096AA06
5L096CA06
5L096DA01
5L096DA02
5L096DA04
5L096GA02
5L096GA05
5L096GA51
5L096HA11
5L096KA04
5L096MA01
(57)【要約】
スライド（１１４）に搭載された試料（１１２）の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法が提案される。本方法は、以下のステップ、すなわち、ａ）スライド撮像装置（１１０）の少なくとも１つの撮像デバイス（１１６）を使用して、スライド（１１４）に搭載された試料（１１２）の少なくとも１つのデジタル画像を提供するステップと、ｂ）少なくとも１つのエッジ検出画像フィルタを使用することによってデジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、関心領域内のシャープネス値を比較することによってデジタル画像の品質を決定するステップであって、関心領域の品質が比較に応じて分類される、決定するステップと、ｃ）品質の分類に応じて、少なくとも１つの表示を生成するステップと、を含み、ステップｂ）およびｃ）が自動的に行われる。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
スライド（１１４）に搭載された試料（１１２）の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法であって、以下のステップ、すなわち、ａ）スライド撮像装置（１１０）の少なくとも１つの撮像デバイス（１１６）を使用して、前記スライド（１１４）に搭載された前記試料（１１２）の少なくとも１つのデジタル画像を提供するステップと、
ｂ）少なくとも１つのエッジ検出画像フィルタを使用することによって前記デジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、前記関心領域内の前記シャープネス値を比較することによって、前記デジタル画像の品質を決定するステップであって、前記関心領域の前記品質が前記比較に応じて分類される、決定するステップと、
ｃ）前記品質の前記分類に応じて、少なくとも１つの表示を生成するステップと、
を含み、ステップｂ）およびｃ）が自動的に行われる、
コンピュータ実装方法。
【請求項2】
前記表示がヒートマップを含むグラフィカル表示であり、前記ヒートマップが、前記サブ領域の前記シャープネス値を前記サブ領域の画像座標の関数としてマッピングすることによって生成される、請求項１に記載の方法。
【請求項3】
前記ヒートマップを生成することが前記シャープネス値のそれぞれに色空間の色値を割り当てることを含む、請求項２に記載の方法。
【請求項4】
前記色空間がＲＧＢ色空間であり、前記色空間が、高品質に対する白２５５から焦点が外れた状態に対する黒０までの範囲にわたる、請求項３に記載の方法。
【請求項5】
前記サブ領域が前記デジタル画像の画素に対応し、前記ヒートマップを生成することが、前記関心領域の画素群を選択することと、前記関心領域の前記画素群のそれぞれについて平均シャープネス値を決定することと、前記平均シャープネス値を前記画素群の画像座標の関数としてマッピングすることと、を含む、請求項２～４のいずれか一項に記載の方法。
【請求項6】
前記エッジ検出画像フィルタがラプラスフィルタである、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記シャープネス値が色勾配または強度勾配である、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記関心領域が前記デジタル画像全体または前記デジタル画像の一部である、請求項１～７のいずれか一項に記載の方法。
【請求項9】
スライド（１１４）に搭載された試料（１１２）の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法であって、以下のステップ、すなわち、ｉ）スライド撮像装置（１１０）の少なくとも１つの撮像デバイス（１１６）を使用して、前記スライドに搭載された前記試料（１１２）のデジタル画像のｚスタックを決定するステップであって、前記撮像デバイス（１１６）が焦点距離を有する少なくとも１つのトランスファデバイス（１１９）を備え、前記ｚスタックが前記トランスファデバイス（１１９）と前記スライド（１１４）との間の少なくとも３つの異なる距離で決定された複数のデジタル画像を含む、決定するステップと、
ｉｉ）請求項１～８のいずれか一項に記載の品質管理のためのコンピュータ実装方法を使用することによって、前記ｚスタックの前記デジタル画像のそれぞれの複数の画像領域のシャープネスに関する情報を決定するステップと、
ｉｉｉ）前記画像領域のそれぞれについて距離の関数としてシャープネスに関する前記情報のグラフィカル表示を生成するステップと、
を含む、コンピュータ実装方法。
【請求項10】
前記グラフィカル表示に応じて、前記トランスファデバイス（１１９）と前記スライドとの間の異なる距離に対して前記トランスファデバイス（１１９）のフォーカス設定を調整するステップを含む、請求項９に記載の方法。
【請求項11】
スライド撮像装置（１１０）の少なくとも１つの撮像デバイス（１１６）を使用して、スライド（１１４）に搭載された試料（１１２）の三次元デジタル画像を決定するためのコンピュータ実装方法であって、前記撮像デバイス（１１６）が焦点距離を有する少なくとも１つのトランスファデバイス（１１９）を備え、前記方法が、以下のステップ、すなわち、－ 二次元デジタル画像のｚスタックを決定するステップであって、前記ｚスタックがシードフォーカス面を起点として前記スライド（１１４）と前記トランスファデバイス（１１９）との間の少なくとも３つの異なる距離で前記試料（１１２）を撮像することによって決定され、前記シードフォーカス面が前記スライド撮像装置（１１０）によって決定された推奨最適フォーカス面であり、前記シードフォーカス面で撮像された第１の二次元画像が第１のシャープネス値を有し、前記距離が、前記異なる距離で決定された二次元デジタル画像のシャープネス値が前記第１のシャープネス値と異なり、かつ互いに異なるように、品質管理のための方法に言及する請求項１～８のいずれか一項に記載の品質管理のためのコンピュータ実装方法を使用することによって決定された前記シャープネス値に基づいて定義される、決定するステップと、
－ 前記品質の前記分類に応じた前記表示を使用することによって、前記ｚスタックの各デジタル二次元画像の焦点が合った領域を選択するステップと、
－ 前記シードフォーカス面と前記ｚスタックの各デジタル二次元画像の前記焦点が合った領域とに関する情報を組み合わせることによって前記三次元デジタル画像を決定するステップと、
を含む、コンピュータ実装方法。
【請求項12】
前記三次元画像の画素に色情報を適用することによって前記三次元画像を着色するステップを含む、請求項１１に記載の方法。
【請求項13】
スライド（１１４）に搭載された試料（１１２）の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法であって、前記方法が少なくとも１つの訓練データセットを生成することを含み、前記訓練データセットを生成することが、スライド撮像装置（１１０）の少なくとも１つの撮像デバイス（１１６）を使用して、前記スライド（１１４）に搭載された既知の試料の複数のデジタル画像を決定することによって、デジタル画像のｚスタックを決定することを含み、前記既知の試料が少なくとも１つの所定のまたは予め定義された特徴を有し、前記撮像デバイス（１１６）が焦点距離を有する少なくとも１つのトランスファデバイス（１１９）を備え、前記ｚスタックが前記トランスファデバイス（１１９）と前記スライド（１１４）との間の少なくとも３つの異なる距離で決定された複数のデジタル画像を含み、前記距離が、前記ｚスタックが前記トランスファデバイスの焦点が外れた状態で決定されたデジタル画像と前記トランスファデバイスの焦点が合った状態で決定されたデジタル画像とを含むように、品質管理のための方法に言及する請求項１～８のいずれか一項に記載の品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義され、
前記方法が、前記機械学習および深層学習モデルをデジタル画像の前記ｚスタックに適用することと、前記機械学習および深層学習モデルを調整することと、を含む、コンピュータ実装方法。
【請求項14】
前記機械学習および深層学習モデルが畳み込みニューラルネットワークおよび／または通常のニューラルネットワークに基づく、請求項１３に記載の方法。
【請求項15】
スライド撮像装置（１１０）であって、－ スライド（１１４）に搭載された試料（１１２）の少なくとも１つのデジタル画像を生成するように構成された少なくとも１つの撮像デバイス（１１６）と、
－ 少なくとも１つの制御および評価装置（１２２）と、
を備え、
前記スライド撮像装置（１１０）が、請求項１～１４に記載の方法のうちの少なくとも１つを実行するように構成されている、スライド撮像装置（１００）。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本開示は、試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法、スライド撮像装置の少なくとも１つの撮像デバイスを使用してスライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法、ならびにスライド撮像装置に関する。ここで、本装置および方法は、好ましくは、デジタル病理学において使用することができるが、さらなる用途が実現可能である。
本開示は、試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法、スライド撮像装置の少なくとも１つの撮像デバイスを使用してスライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法、ならびにスライド撮像装置に関する。ここで、本装置および方法は、好ましくは、デジタル病理学において使用することができるが、さらなる用途が実現可能である。
【背景技術】
【0002】
背景技術
デジタル病理学、すなわち組織のスライドのデジタル化のためのデジタル画像を分析するための複数の方法および装置が知られている。デジタル病理学のためのデジタル画像を分析することに関して、いくつかの問題が生じることがある。
デジタル病理学、すなわち組織のスライドのデジタル化のためのデジタル画像を分析するための複数の方法および装置が知られている。デジタル病理学のためのデジタル画像を分析することに関して、いくつかの問題が生じることがある。
【0003】
具体的には、デジタル画像のアーチファクトを正確に分析するために、計算病理学のための臨床デジタルワークフローのための統合自動分析が必要とされる。既知の技術では、焦点が外れた状態の領域は、アルゴリズムを用いた分類の妨げになるため、エラーを回避するためにフラグを立てている。焦点が外れた状態の領域にフラグを立てるために、デジタル画像を検査室の専門家が手作業で精査する必要がある。これには時間がかかり、特に局所的な焦点が外れた状態の領域は、スライドを４０倍などの高倍率で精査する必要があるため、検出するのが困難である。Ｊａｎｏｗｃｚｙｋ Ａ、Ｚｕｏ Ｒ、Ｇｉｌｍｏｒｅ Ｈ、Ｆｅｌｄｍａｎ Ｍ、Ｍａｄａｂｈｕｓｈｉ Ａ．ＨｉｓｔｏＱＣ：「Ａｎ Ｏｐｅｎ－Ｓｏｕｒｃｅ Ｑｕａｌｉｔｙ Ｃｏｎｔｒｏｌ Ｔｏｏｌ ｆｏｒ Ｄｉｇｉｔａｌ Ｐａｔｈｏｌｏｇｙ Ｓｌｉｄｅｓ．」、ＪＣＯ Ｃｌｉｎ Ｃａｎｃｅｒ Ｉｎｆｏｒｍ．２０１９；３：１－７は、アーチファクトを特定して描写し、コホートレベルの外れ値を発見するための品質管理を実行するためのツールについて記載している。このツールは、画像メトリクス（例えば、色ヒストグラム、輝度、コントラスト）、特徴（例えば、エッジ検出器）、および教師あり分類器（例えば、ペン検出）の組合せを用いて、デジタル化されたスライド上のアーチファクトのない領域を特定する。一般に、上記で概説したように、デジタル画像を分析するための自動化ツールは、アルゴリズムがデジタル画像に適用可能であることを保証するために品質管理が必要であるなど、鮮明な画像を必要とする。シャープネスを定義するための現在の測定には、マイケルソンコントラストとＲＭＳコントラストの２つの手法が考慮される。適用される画像設定、特徴、および教師あり分類器は、デジタル画像の品質管理を提供する。しかしながら、これらの戦略は、混合信号の結果に基づいており、アルゴリズムの適用可能性を直接定義するものではない。
【0004】
さらに、複数の焦点深度、いわゆるｚスタッキングが、焦点が外れた状態に対して異なる効果を有することが知られており、Ｋｏｈｌｂｅｒｇｅｒ Ｔ，Ｌｉｕ Ｙ，Ｍｏｒａｎ Ｍ，ｅｔ ａｌ．“Ｗｈｏｌｅ－Ｓｌｉｄｅ Ｉｍａｇｅ Ｆｏｃｕｓ Ｑｕａｌｉｔｙ：Ａｕｔｏｍａｔｉｃ Ａｓｓｅｓｓｍｅｎｔ ａｎｄ Ｉｍｐａｃｔ ｏｎ ＡＩ Ｃａｎｃｅｒ Ｄｅｔｅｃｔｉｏｎ”，Ｊ Ｐａｔｈｏｌ Ｉｎｆｏｒｍ，２０１９を参照されたい。しかしながら、この手法では、スキャン時間およびファイルサイズが非現実的なほど増加する。さらに、しかしながら、一般的な焦点が外れた状態を分類することは困難な場合がある。一般に、フォーカスコイルの公称位置への設定は、グラフィックを用いて確認することができる。しかしながら、この手法では、依然として解釈の余地が残る場合がある。
【0005】
さらに、デジタル病理学のための３Ｄ透視が、スライド上の配向可能性を高めるなどのために、接線方向断面に加えて要求されることがある。３Ｄ手法は、アーキテクチャの特徴および特殊な配置における改善された洞察を提供する。２Ｄ画像から３Ｄ画像を再構成するために様々な試みがなされてきた。大半は、スライドの手動セグメント化に基づいており、これは非常に手間のかかる作業であり、例えば、Ｊａｎｓｅｎ Ｉ，Ｌｕｃａｓ Ｍ，Ｓａｖｃｉ－Ｈｅｉｊｉｎｋ ＣＤ，ｅｔ ａｌ．“Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ：ｄｉｔｃｈ ｔｈｅ ｓｌｉｄｅｓ，ｂｅｃａｕｓｅ ｄｉｇｉｔａｌ ａｎｄ ３Ｄ ａｒｅ ｏｎ ｓｈｏｗ”，Ｗｏｒｌｄ Ｊ Ｕｒｏｌ．２０１８；３６（４）：５４９－５５５．ｄｏｉ：１０．１００７／ｓ００３４５－０１８－２２０２－１２を参照されたい。労働集約的なプロセスに加えて、最新文献における問題は、本技術の使用を制限する要因となっている。高解像度の３Ｄデータセットは、可視化するのが困難である。そのため、示されるデータセットの部分を最小限に抑えることが最も重要である。加えて、低い面外解像度は避けなければならない。
【0006】
焦点が外れた状態の領域は、アルゴリズム性能の精度にマイナスの影響を与える。病理学者が精査する前に焦点が外れた状態の程度が大きすぎる場合、スライドを再スキャンする必要があり、例えば、Ｌｉｕ Ｙ，Ｋｏｈｌｂｅｒｇｅｒ Ｔ，Ｎｏｒｏｕｚｉ Ｍ，Ｄａｈｌ ＧＥ，Ｓｍｉｔｈ ＪＬ，Ｍｏｈｔａｓｈａｍｉａｎ Ａ，ｅｔ ａｌ．“Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ－Ｂａｓｅｄ Ｂｒｅａｓｔ Ｃａｎｃｅｒ Ｎｏｄａｌ Ｍｅｔａｓｔａｓｉｓ Ｄｅｔｅｃｔｉｏｎ．Ａｒｃｈ Ｐａｔｈｏｌ Ｌａｂ Ｍｅｄ．２０１８”を参照されたい。アルゴリズムデータを訓練するために、様々な組織の形態を捕捉することが必要な場合がある。焦点が外れた状態の領域を認識するようにアルゴリズムを訓練するために、合成ＧｕａｓｉａｎぼかしまたはＢｏｋｅｈぼかしを介した実際の焦点が合った画像を用いてこのようなアーチファクトをシミュレートしている。Ｋｏｈｌｂｅｒｇｅｒら（２０１９年）は、ポイズンノイズまたはＪＰＥＧアーチファクトを加えることによって、焦点が外れた状態がさらにより現実的になり、それによってアルゴリズムを訓練するための優れたツールが提供されることを示した。しかしながら、この手法を適用したとしても、焦点が外れた状態が存在する場合には、自動アルゴリズムを使用してロバストで信頼性のある結果を得ることができない場合があり、アルゴリズムがアボートされる。
【0007】
したがって、上述した技術の成果にもかかわらず、デジタル画像の品質を向上させること、および計算病理学のためのデジタル画像の自動分析の必要性が依然として存在する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
解決される課題
したがって、本発明の目的は、試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法、スライド撮像装置の少なくとも１つの撮像デバイスを使用してスライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法、およびスライド撮像装置を提供することであり、これらは、この種の既知のデバイスおよび方法の欠点を少なくとも部分的に回避し、上述の課題に少なくとも部分的に対処する。具体的には、計算病理学のためのデジタル画像およびデジタル画像の自動分析の品質を向上させることである。
したがって、本発明の目的は、試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法、スライド撮像装置の少なくとも１つの撮像デバイスを使用してスライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法、およびスライド撮像装置を提供することであり、これらは、この種の既知のデバイスおよび方法の欠点を少なくとも部分的に回避し、上述の課題に少なくとも部分的に対処する。具体的には、計算病理学のためのデジタル画像およびデジタル画像の自動分析の品質を向上させることである。
【0009】
概要
この問題は、独立請求項の特徴を有する、試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法、スライド撮像装置の少なくとも１つの撮像デバイスを使用してスライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法、ならびにスライド撮像装置によって対処される。単独で、または任意の組合せで実現され得る有利な実施形態は、従属請求項および明細書全体に列挙されている。
この問題は、独立請求項の特徴を有する、試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法、スライド撮像装置の少なくとも１つの撮像デバイスを使用してスライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法、スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法、ならびにスライド撮像装置によって対処される。単独で、または任意の組合せで実現され得る有利な実施形態は、従属請求項および明細書全体に列挙されている。
【0010】
以下で使用される場合、「有する（ｈａｖｅ）」、「備える（ｃｏｍｐｒｉｓｅ）」、もしくは「含む（ｉｎｃｌｕｄｅ）」という用語、またはそれらの任意の文法上の変形は、非排他的な方法で使用される。したがって、これらの用語は、これらの用語によって導入される特徴に加えて、この文脈で説明されるエンティティにさらなる特徴が存在しない状況と、１つまたは複数のさらなる特徴が存在する状況との両方を指す場合がある。一例として、「ＡはＢを有する」、「ＡはＢを備える」および「ＡはＢを含む」という表現は、Ｂ以外に他の要素がＡに存在しない状況（すなわち、Ａが単独でかつ排他的にＢからなる状況）と、Ｂ以外に、要素Ｃ、要素ＣおよびＤ、またはさらにはさらなる要素などの、１つまたは複数のさらなる要素がエンティティＡに存在する状況との両方を指すことができる。
【0011】
さらに、特徴または要素が１回または複数回存在することができることを示す「少なくとも１つの」、「１つまたは複数の」という用語または同様の表現は、典型的には、それぞれの特徴または要素を導入するときに１回のみ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴または要素を指すとき、それぞれの特徴または要素が１回または複数回存在することができるという事実にもかかわらず、「少なくとも１つの」または「１つまたは複数の」という表現は、繰り返されない。
【0012】
さらに、以下で使用される場合、用語「好ましくは」、「より好ましくは」、「特に」、「より特に」、「具体的に」、「より具体的に」または同様の用語は、代替の可能性を制限することなく、任意の特徴と併せて使用される。したがって、これらの用語によって導入される特徴は、任意の特徴であり、特許請求の範囲をいかなる方法によっても制約することは意図されていない。本発明は、当業者が認識するように、代替の特徴を使用することによって実行されてもよい。同様に、「本発明の実施形態において」または同様の表現によって導入される特徴は、本発明の代替の実施形態に関するいかなる制約もなく、本発明の範囲に関するいかなる制約もなく、そのような方法で導入された特徴を本発明の他の任意または非任意の特徴と組み合わせる可能性に関するいかなる制約もない任意の特徴であることが意図されている。
【0013】
本発明の第１の態様では、スライドに搭載された試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法が提案される。
【0014】
本明細書で使用される「コンピュータ実装」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、少なくとも１つの処理ユニットを備えるデータ処理手段などの、データ処理手段を使用することによって完全にまたは部分的に実装されるプロセスを指すことができる。したがって、「コンピュータ」という用語は、一般に、少なくとも１つの処理ユニットなどの少なくとも１つのデータ処理手段を有する装置、または装置の組合せもしくはネットワークを指すことができる。コンピュータは、データ記憶装置、電子インターフェース、またはヒューマンマシンインターフェースのうちの少なくとも１つなどの、１つまたは複数のさらなる構成要素をさらに備えてもよい。
【0015】
本明細書で使用される「処理ユニット」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、コンピュータまたはシステムの基本動作を実行するように構成された任意の論理回路、および／または一般に、計算または論理演算を実行するように構成された装置を指すことができる。特に、処理ユニットは、コンピュータまたはシステムを駆動する基本的な命令を処理するように構成されてもよい。一例として、処理ユニットは、少なくとも１つの算術論理ユニット（ＡＬＵ）と、数値演算コプロセッサまたは数値コプロセッサなどの少なくとも１つの浮動小数点ユニット（ＦＰＵ）と、複数のレジスタ、具体的には、ＡＬＵにオペランドを供給し、演算の結果を記憶するように構成されたレジスタと、Ｌ１およびＬ２キャッシュメモリなどのメモリとを備えることができる。特に、処理ユニットは、マルチコアプロセッサであってもよい。具体的には、処理ユニットは、中央処理装置（ＣＰＵ）であってもよく、またはＣＰＵを備えてもよい。追加的または代替的に、処理ユニットは、マイクロプロセッサであってもよく、またはマイクロプロセッサを備えてもよく、したがって、具体的には、処理ユニットの要素は、単一の集積回路（ＩＣ）チップに含まれてもよい。追加的または代替的に、処理ユニットは、１つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）および／または１つもしくは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などであってもよく、またはそれらを備えてもよい。
【0016】
本明細書で使用される「試料」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、組織試料などの生物学的検体を指すことができる。試料は、組織または塗抹標本などの生物学的材料であってもよく、または生物学的材料を含んでもよい。しかしながら、他の種類の試料も実現可能であってもよい。
【0017】
本明細書で使用される「スライド」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、スライドの表面に搭載される試料のために指定された基材を指すことができる。特に、処理中にいかなる変化もなく試料をスライドに担持する目的で、基材は、機械的に安定しており、したがって、十分な機械的安定性を提供する任意の材料を含むことができる。特に生物学的検体を担持する目的で、基材は、好ましくは、生物学的材料と適合するように構成された表面を呈することができる。例として、ガラスは、一方では十分な機械的安定性を提供し、他方では生物学的材料との高い適合性を有することが知られているため、スライドは、ガラススライドである。しかしながら、スライドのためのさらなる種類の材料も実現可能であってもよい。試料の所望の画像を生成する目的で、スライドは、好ましくは、２Ｄ延在部および厚さを有するプレートであってもよく、プレートの２Ｄ延在部は、好ましくは、長方形または円形の形態を呈してもよく、プレートの厚さは、延在部のサイズと比較して小さくてもよく、プレートの２Ｄ延在部の直線的な広がりの尺度よりも、好ましくは２０％、より好ましくは１０％、特に５％、またはそれ未満であってもよい。
【0018】
さらに、スライドは、特に、スライドに搭載された試料の撮像を可能にすることができる形態を有することができる。本明細書で使用される「撮像する」または「画像を生成する」という用語は、広義の用語であり、当業者にとってそれらの通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。これらの用語は、具体的には、限定されるものではないが、「画像」という用語によっても表記される試料の少なくとも１つの特性の２Ｄ 二次元表現を提供することを指すことができ、２Ｄ 二次元表現は、典型的には、観察者の眼鏡は別として、好ましくはいかなるさらなる補助もなしに、観察者の眼によって見られるように処理され、画面上に表示され得る。この目的のために、以下でより詳細に開示されるような撮像デバイスが典型的には使用される。本明細書で使用される「デジタル画像」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、画像の離散的で不連続な表現を指すことができる。したがって、「デジタル画像」という用語は、二次元関数ｆ（ｘ，ｙ）を指すことができ、強度および／または色値は、デジタル画像内の任意のｘ、ｙ位置に対して与えられ、位置は、デジタル画像の記録画素に対応して離散化されていてもよい。
【0019】
本明細書で使用される「品質」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、自動分析に対する適合性に関するデジタル画像の状態を指すことができる。具体的には、「品質」という用語は、デジタル画像のシャープネスまたはぼやけまたは焦点が外れた状態の量の指標を指す。
【0020】
本明細書で使用される「シャープネス」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、解像度および鮮鋭度（ａｃｕｔａｎｃｅ）の尺度を指すことができるが、これらに限定されない。具体的には、シャープネスは、色値、グレースケール、強度、輝度のうちの１つまたは複数を使用することによって、デジタル画像の異なる領域の区別可能性および／または識別可能性を示す、デジタル画像の特性を指すことがある。シャープネスは、デジタル画像の領域間のコントラスト、すなわち、領域の輝度および／または色値の差または変化に関連してもよい。
【0021】
本明細書で使用される「品質管理」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、デジタル画像および／またはデジタル画像の少なくとも１つの関心領域のシャープネスを監視および／または判定することを指すことができる。
【0022】
コンピュータ実装方法は、所与の順序で実行されてもよい以下のステップを含む。しかしながら、異なる順序も可能である。さらに、ステップの１つまたは２つ以上またはさらには全てが、１回または繰り返し実行されてもよい。さらに、方法ステップは、適時重複して、またはさらには並行して実行されてもよい。本方法は、列挙されていない追加の方法ステップをさらに含むことができる。
【0023】
本方法は、以下のステップ、すなわち、
ａ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料の少なくとも１つのデジタル画像を提供するステップと、
ｂ）少なくとも１つのエッジ検出画像フィルタを使用することによってデジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、関心領域内のシャープネス値を比較することによってデジタル画像の品質を決定するステップであって、関心領域の品質が比較に応じて分類される、決定するステップと、
ｃ）品質の分類に応じて、少なくとも１つの表示を生成するステップと、
を含み、ステップｂ）およびｃ）が自動的に行われる。
ａ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料の少なくとも１つのデジタル画像を提供するステップと、
ｂ）少なくとも１つのエッジ検出画像フィルタを使用することによってデジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、関心領域内のシャープネス値を比較することによってデジタル画像の品質を決定するステップであって、関心領域の品質が比較に応じて分類される、決定するステップと、
ｃ）品質の分類に応じて、少なくとも１つの表示を生成するステップと、
を含み、ステップｂ）およびｃ）が自動的に行われる。
【0024】
本明細書で使用される「デジタル画像を提供するステップ」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、少なくとも１つのデジタル画像を撮像および／または生成することを指すことができる。
【0025】
本明細書で使用される「スライド撮像装置」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、スライドに搭載された試料を撮像するように構成された任意の装置を指すことができる。さらに、本明細書で使用される「装置」および「スライド撮像装置」という用語は、広義の用語であり、当業者にとってそれらの通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。これらの用語は、具体的には、限定されるものではないが、以下でより詳細に開示されるような複数の構成要素を有する装置を指すことができる。
【0026】
スライド撮像装置は、少なくとも１つの撮像デバイスを備える。本明細書で使用される「撮像デバイス」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、試料の少なくとも１つの視覚特性の２Ｄ表現を生成するために指定されたデバイスを指すことができる。特に、撮像デバイスは、２Ｄカメラまたはラインスキャン検出器から選択されてもよい。しかしながら、さらなる種類の撮像デバイスも実現可能であってもよい。
【0027】
スライド撮像装置は、複数のスライドを装填可能な、スライドを保管するように構成された保管装置を備えることができる。本明細書で使用される「保管装置」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、個々のスライドホルダ、あるいは２つ以上のスライドホルダを同時に受け入れるために指定されたスライドリポジトリを指すことができ、各スライドホルダが２つ以上のスライドを保持するように構成されている。保管装置は、スライドトレイまたはスライドラックから選択されてもよいが、さらなるタイプの保管装置も実現可能であってもよい。保管装置は、好ましくは手動で、少なくとも１つのスライドを装填可能であってもよいが、保管装置の自動装填も考えられ得る。
【0028】
スライド撮像装置は、少なくとも１つのスライドを保管装置から撮像デバイスに供給するように構成された供給装置を備えることができる。本明細書で使用される「供給装置」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、スライドを保管装置から撮像デバイスに移送するように構成されたデバイスを指すことができる。この目的のために、供給装置は、ロボットアームを備えることができる。
【0029】
本明細書で使用される「関心領域」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、分析されるデジタル画像の任意の形状の領域またはエリアを指すことができる。関心領域は、デジタル画像全体またはデジタル画像の一部であってもよい。関心領域は、分析される少なくとも１つの特徴を含むか、または含むと疑われる画像の領域であってもよい。デジタル画像は、例えば、ｍ行ｎ列を有する矩形配列などの画素配列で配置された複数の画素を含む画素化された画像であってもよく、ｍ、ｎは独立して正の整数である。関心領域は、任意の数の画素を含む画素群であってもよく、または画素群を含んでもよい。本明細書で使用される「サブ領域」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、少なくとも１つの画素または画素群を含む関心領域の任意の部分または要素、特に画像要素を指すことができる。サブ領域は、関心領域の正方形領域であってもよい。関心領域は、複数の画素などの複数のサブ領域を含むことができる。
【0030】
本明細書で使用される「エッジ」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、強度および／または色値が局所的な変化および／または不連続性を有するデジタル画像の領域を指すことができる。
【0031】
本明細書で使用される「エッジ検出画像フィルタ」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、関心領域のエッジを識別するように構成された少なくとも１つの画像処理ツールを指すことができる。好ましくは、エッジ検出画像フィルタは、ラプラスフィルタである。ラプラスフィルタは、強度および／または色値の二次微分に基づいてもよく、したがって、局所極値を決定することができる。エッジ検出画像フィルタは、局所極値に基づいてエッジ検出を行うように構成されてもよい。特に、エッジ検出フィルタは、強いエッジおよび／または勾配を強調することができる。具体的には、本方法は、ラプラスフィルタによって定義された１つのパラメータに基づいて、デジタル画像のシャープネスをサブ領域レベルで、好ましくは画素レベルで定義することを含むことができる。エッジ検出フィルタは、それぞれの局所極値に応じて、サブ領域のそれぞれにグレー値を割り当てるように構成されてもよい。ラプラスフィルタを使用することは、ＳｏｂｅｌまたはＣａｎｎｙフィルタのような一次微分フィルタで必要とされるような、カーネルを回転させてｘまたはｙ方向を得る必要性がないため、有利な場合がある。
【0032】
本発明は、シャープネスを定義するために、エッジおよび／または勾配フィルタとしてラプラシアンフィルタを使用することを提案する。ラプラシアンフィルタは、通常、画像の急激な変化の領域を見つけるために使用される微分フィルタであるため、シャープネスを定義するためにラプラシアンフィルタを使用することは、これまで提案されていなかった。画像処理などの他の用途、例えばエッジ検出および動き推定用途では、離散ラプラス演算子が広く使用されているが、関心領域内のシャープネスおよびシャープネス値の比較を定義するためには使用されていない。
【0033】
本明細書で使用される「シャープネス値」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、強度および／または色値の局所極値を指すことができる。シャープネス値は、色勾配または強度勾配をさらに指すことができる。
【0034】
本明細書で使用される「シャープネス値を比較する」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、関心領域のサブ領域の局所極値を比較するプロセスを指すことができる。本方法は、関心領域の最大の局所極値を決定することを含んでもよい。最大の局所極値は、関心領域のサブ領域の最高の局所極値であってもよい。本方法は、関心領域の最小の局所極値を含んでもよい。最小の局所極値は、関心領域のサブ領域の最低の局所極値であってよい。本方法は、最大の局所極値から開始して最小の局所極値まで降順にサブ領域の局所極値をソートすることを含んでもよい。しかしながら、昇順ソートも可能である。比較は、局所極値の関係を決定するための少なくとも１つの数学的演算を含むことができる。
【0035】
関心領域の品質が比較に応じて分類される。最大の局所極値は、最高のシャープネスとして分類されてもよい。最小の局所極値は、最低のシャープネスとして分類されてもよい。サブ領域の局所極値は、最大の局所極値から開始して最小の局所極値まで降順に分類されてもよい。
【0036】
本方法は、焦点が外れた状態のしきい値を設定することをさらに含んでもよい。本明細書で使用される「焦点が外れた状態のしきい値」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、最大の局所極値に対する最小値を定義するしきい値を指すことができる。例えば、焦点が外れた状態のしきい値は、最大の局所極値に対する最小値として、制御された画像セットの９９％で達成され得る高品質の絶対シャープネスに設定されてもよい。関心領域の決定された最大の局所極値が焦点が外れた状態のしきい値を下回る場合、デジタル画像は、拒絶され、および／または低品質として分類されてもよい。焦点が外れた状態のしきい値を使用することで、完全に焦点が外れた状態のデジタル画像が認識されないようにすることができる場合がある。
【0037】
上記で概説したように、本方法は、品質の分類に応じて少なくとも１つの表示を生成するステップを含む。本明細書で使用される「表示」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、関心領域の品質の可視化などの出力を指すことができる。例えば、表示は、フォーカスマップとも表記されるヒートマップを含むグラフィカル表示であってもよい。ヒートマップは、サブ領域のシャープネス値をサブ領域の画像座標の関数としてマッピングすることによって生成されてもよい。ヒートマップを生成することは、シャープネス値のそれぞれに色空間の色値を割り当てることを含んでもよい。例えば、色空間は、ＲＧＢ色空間であってもよい。ＲＧＢ色空間は、３つの色チャネル、すなわち、赤（Ｒ）用の色チャネル、緑（Ｇ）用の色チャネル、および青（Ｂ）用の色チャネルを有する色空間であってもよい。色空間は、高品質に対する白２５５から焦点が外れた状態に対する黒０までの範囲であってもよい。したがって、白の最大値２５５は、デジタル画像の最も鮮明な部分を表すことができる。ヒートマップは、高品質に対する白２５５から焦点が外れた状態に対する黒０までを伴う、赤と黄のみの色値など、１つまたは２つの色のみを含んでもよい。
【0038】
例えば、サブ領域は、デジタル画像の画素に対応してもよい。ヒートマップを生成することは、関心領域の画素群を選択することと、関心領域の画素群のそれぞれについて平均シャープネス値を決定することと、平均シャープネス値を関心領域の画像座標の関数としてマッピングすることと、を含むことができる。具体的には、ヒートマップを生成することは、画素群内の平均グレー値を決定することを含むことができる。平均グレー値は、全てのグレー値の合計を、画像領域のサブ領域の数、特に画素数で割って計算することによって決定されてもよい。平均グレー値を計算するために、黒画素は、含まれなくてもよく、または破棄されてもよい。黒画素は、組織のコントラストがなく、鮮明でも不鮮明でもあり得ない画素であってもよい。したがって、画素という用語は、記述的な測定値を指すことがある。
【0039】
シャープネス値に基づいて決定された品質は、計算病理学に使用される分類アルゴリズムの適用可能性に直結していてもよい。例えば、デジタル画像のサブ領域の品質が予め定義されたしきい値を超える場合、少なくとも１つの分類アルゴリズムを使用してデジタル画像をさらに評価することができる。例えば、予め定義されたしきい値は、最大のシャープネス値の１５％であってもよい。例えば、デジタル画像のサブ領域の焦点が外れた状態の割合が予め定義されたしきい値を下回る場合、少なくとも１つの分類アルゴリズムを使用してデジタル画像をさらに評価することができる。例えば、予め定義されたしきい値は、スライド画像全体の最大１０％であってもよい。生成された表示は、染色、組織の折り重なり、およびぼやけに起因するアーチファクトを識別することを可能にする場合がある。
【0040】
本方法は、少なくとも１つのユーザインターフェースを使用することによって、表示、特にヒートマップを表示することを含むことができる。本明細書で使用される「ユーザインターフェース」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、ディスプレイ、スクリーンなどの表示を行うように構成されたヒューマンマシンインターフェースを指すことができる。
【0041】
本方法は、必要に応じて新しいスキャンを自動的に順序付けることを含むことができる。特に、ヒートマップが望ましくない画像位置にアーチファクトまたはぼけを示す場合、本方法は、方法ステップａ）～ｃ）を自動的に繰り返すステップを含んでもよい。
【0042】
本方法は、自動的に、いかなる手動ステップまたはユーザとの相互作用もなしに、好ましくは完全に自動的に行われてもよい。しかしながら、ステップａ）が、上記で概説したような試料の装填などの手動ステップを含む実施形態も実現可能であってもよい。したがって、少なくともデジタル画像の品質を決定するステップｂ）および表示を生成するステップｃ）は、完全に自動的に行われる。完全に自動で品質を決定することおよび表示を生成することは、人間の目でデジタル画像を制御することと比較して、焦点が外れた状態の領域およびアーチファクトの識別に優れている。
【0043】
ステップｂ）およびｃ）は、少なくとも１つの制御および評価装置を使用して行われてもよい。本明細書でさらに使用されるように、「制御および評価装置」という用語は、一般に、好ましくは少なくとも１つのデータ処理デバイスを使用することによって、より好ましくは少なくとも１つのプロセッサおよび／または少なくとも１つの特定用途向け集積回路を使用することによって、指定された動作を実行するように構成された任意のデバイスを指す。したがって、一例として、少なくとも１つの制御および評価装置は、いくつかのコンピュータコマンドを含むソフトウェアコードが記憶された少なくとも１つのデータ処理デバイスを含むことができる。制御および評価装置は、指定された動作の１つまたは複数を実行するための１つまたは複数のハードウェア要素を提供することができ、および／または、指定された動作の１つまたは複数を実行するためのソフトウェアが実行される１つまたは複数のプロセッサを提供することができる。制御および評価装置は、ステップｂ）およびｃ）を実行するように構成された１つまたは複数のコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、１つまたは複数のプログラマブルデバイスを含むことができる。しかしながら、追加的または代替的に、制御および評価装置は、完全にまたは部分的にハードウェアによって具現化されてもよい。
【0044】
例えば、本発明に記載されるような品質管理は、以下のように行われてもよい。１２，０００画素未満の幅を有するデジタル画像を画像ピラミッドから選択することができる。ＲＧＢ色空間から、赤の色チャネル値のみ取得することができる。ガウスフィルタの近似である二項平滑化フィルタを適用して、例えば７×７画素のフィルタサイズで画素の強度および／または色値を変換することによって、小さな高周波の干渉を除去することができる。次のステップでは、二次微分に基づくラプラスフィルタが、近傍の８個の連結画素（３×３画素）を考慮して、エッジ検出に適用されてもよい。ヒートマップについては、画像の最も鮮明な部分に対する白２５５から、焦点が外れた状態かまたは情報が全くない部分に対する黒０までがある、ＲＧＢ色空間の赤の色チャネル値が採用されてもよい。焦点が外れた状態のサブ領域は、最大シャープネス値の１２％の所定のしきい値に基づいて定義されてもよい。サブ領域は、８個の連結画素を考慮して、サブ領域の近傍に関連していてもよい、直接的に関連するｎ個の画素から存在する。小さすぎる不鮮明な領域を回避するために、総画素数の１．５％のしきい値を設定することができ、これは、画素数ｎを画像の全画素数の割合に変換することによって計算することができる。
【0045】
本発明による品質管理のための方法は、デジタル画像のシャープネスを決定することを可能にすることができる。したがって、デジタル画像は、焦点が外れた状態である場合にフラグを立てられて、ぼやけた領域を見逃すこと、スライド画像の不良による遅延、およびデジタル画像の手動プレスキャンのうちの１つまたは複数を回避することができる。本発明による品質管理のための方法は、自動化された統合された画像分析を可能にすることができる。
【0046】
本発明のさらなる態様では、スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法が開示される。本方法は、具体的には所与の順序で実行されてもよい以下の方法ステップを含む。それでも、異なる順序も可能である。さらに、２つ以上の方法ステップを完全にまたは部分的に同時に実行することが可能である。さらに、方法ステップの１つもしくは複数またはさらには全てが、１回または数回繰り返されるなど、１回実行されてもよく、または繰り返し実行されてもよい。さらに、本方法は、列挙されていない追加の方法ステップを含むことができる。
【0047】
本方法は、以下のステップ、すなわち、
ｉ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料のデジタル画像のｚスタックを決定するステップであって、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイスとスライドとの間の少なくとも３つの異なる距離において決定される複数のデジタル画像を含む、決定するステップと、
ｉｉ）上述したようにまたは以下でより詳細に説明するように、品質管理のための本発明による品質管理のためのコンピュータ実装方法を使用することによって、ｚスタックのデジタル画像のそれぞれの複数の画像領域のシャープネスに関する情報を決定するステップと、
ｉｉｉ）画像領域のそれぞれについて距離の関数としてシャープネスに関する情報のグラフィカル表示を生成するステップと、
を含む。
ｉ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料のデジタル画像のｚスタックを決定するステップであって、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイスとスライドとの間の少なくとも３つの異なる距離において決定される複数のデジタル画像を含む、決定するステップと、
ｉｉ）上述したようにまたは以下でより詳細に説明するように、品質管理のための本発明による品質管理のためのコンピュータ実装方法を使用することによって、ｚスタックのデジタル画像のそれぞれの複数の画像領域のシャープネスに関する情報を決定するステップと、
ｉｉｉ）画像領域のそれぞれについて距離の関数としてシャープネスに関する情報のグラフィカル表示を生成するステップと、
を含む。
【0048】
上記で概説したように、ステップｉｉ）は、上述したようにまたは以下でより詳細に説明するように、品質管理のための本発明による品質管理のためのコンピュータ実装方法を使用するステップを含む。したがって、可能な定義、選択肢、または実施形態については、上記の説明を参照することができる。
【0049】
本明細書で使用される「トランスファデバイス」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、入射光ビームに応じた焦点距離を有する、１つまたは複数の光学素子を指すことができる。トランスファデバイスは、具体的には、少なくとも１つのレンズ、例えば、少なくとも１つの屈折レンズ、少なくとも１つの焦点調整可能レンズ、少なくとも１つの非球面レンズ、少なくとも１つの球面レンズ、少なくとも１つのフレネルレンズからなる群から選択された少なくとも１つのレンズ、少なくとも１つの回折光学素子、少なくとも１つのマルチレンズシステムのうちの１つまたは複数を含んでもよい。本明細書で使用される「焦点距離」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、トランスファデバイスに衝突することができる入射平行光線を合焦させる距離を指すことができ、焦点としても表記されることがある。したがって、焦点距離は、入射光ビームを集束させるトランスファデバイスの能力の尺度を構成する。
【0050】
トランスファデバイスは、座標系を構成することができ、「ｚ」は、光軸に沿った座標である。座標系は、トランスファデバイスの光軸がｚ軸を形成し、ｚ軸からの距離および極角が追加の座標として使用され得る、極座標系であってもよい。ｚ軸に沿った座標は、長手方向座標ｚと考えることができる。
【0051】
本明細書で使用される「ｚスタック」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、トランスファデバイスとスライドとの間の少なくとも３つの異なる距離で、すなわち異なるｚレベルで撮像された少なくとも３つのデジタル画像のセットを指すことができる。具体的には、２つのデジタル画像が、フォーカス面の１つ上の層および１つ下の層において決定されてもよい。ｚスタックのデジタル画像は、２０倍または４０倍の倍率などの高倍率ビューを含むことができる。
【0052】
ステップｉ）は、撮像デバイスを使用することによって第１のデジタル画像を撮像するステップを含むことができる。例えば、第１のデジタル画像は、スライド撮像装置によって自動的に決定された推奨最適フォーカス面である、いわゆるシードフォーカス面での撮像であってもよい。例えば、スライド撮像装置は、シードフォーカス面に関する情報が記憶された少なくとも１つのデータベースを備えてもよい。
【0053】
ｚスタックを決定するために、毎回２つの層が追加される。例えば、２つの追加のデジタル画像は、焦点を含む層から±εの距離にある層で撮像されてもよく、εは正の数である。具体的には、１つのデジタル画像は、第１のデジタル画像の画像面の上方で撮像されてもよく、１つのデジタル画像は、第１のデジタル画像の画像面の下方で撮像されてもよい。ｚスタックのデジタル画像の前記距離は、品質管理のための方法のステップｂ）で決定された相対強度および／または色の変化に基づいて定義することができる。具体的には、距離は、２つの層のデジタル画像のシャープネス値が関心領域において異なり得るように定義することができる。距離は、２つの層のデジタル画像のシャープネス値が、所定の許容範囲を超えて、例えば少なくとも５％を超えて異なってもよいように定義することができる。焦点を含む層からの距離±εは、精度に応じて選択することができる。例えば、ｚスタックは、被写界深度によって、および被写体のサイズを知ることによって定義される距離ε＝１μｍにおいて決定される複数のデジタル画像を含むことができる。しかしながら、距離εおよび／または等距離でない距離に対する他の値が実現可能である。ｚスタックの例では、距離εは、０．１μｍ、０．２μｍ、０．２５μｍ、０．５μｍであってもよい。さらに、１、３、５、７、９、１１、１３および１５層が選択されてもよい。
【0054】
本明細書で使用される「フォーカス品質」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、異なるｚレベルでの焦点が外れた状態の領域の量の尺度を指すことができる。例えば、フォーカス品質は、シャープネス値が予め定義されたしきい値を上回る場合は、良好または適切であると判定されてもよく、そうでない場合は、フォーカス品質は、悪いまたは適切でないと判定されてもよい。例えば、予め定義されたしきい値は、最大のシャープネス値の１５％であってもよい。
【0055】
グラフィカル表示は、特に予め定義された数の試料について、ｚレベルに対してプロットされたシャープネス値を含むことができる。シャープネスに関する情報を決定することおよびグラフィック表示を生成することは、少なくとも１つの制御および評価装置を使用することによって行われてもよい。
【0056】
本方法は、グラフィカル表示に応じて、トランスファデバイスとスライドとの間の異なる距離に対してトランスファデバイスのフォーカス設定を調整することを含むことができる。フォーカス機構アセンブリの高さを調整する手順は、被写界深度の調整を指す。フォーカスコイルを含むフォーカス機構の高さは、ｚ＝０で焦点を合わせ始めるときに最高の平均シャープネスが得られるように調整することができる。トランスファデバイスを備えるフォーカス機構アセンブリは、仕様レベルを超えることなく、その極値に設定されてもよい。フォーカスコイルの公称フォーカス位置の高さの設定を確認するために、フォーカスコイルが停止され、ライントレースがフォーカスカメラから表示される。ライントレースは、キャステレーション光学系に基づく受信信号を表す。表示された曲線の精度は、フォーカスコイルおよびトランスファデバイスを含むフォーカス機構アセンブリの高さが正しく調整されているかどうかを示すことができる。ライントレースは、上部の水平バーの３つの色が分離されている場合に許容可能である。既知のデバイスでは、フォーカス機構アセンブリは、ねじで固定されている場合があり、手動で調整しなければならない。本発明は、本発明に記載されるような品質管理に基づいてフォーカス機構アセンブリの高さを自動的に調整することを提案する。テストを正確に行わなければならず、時間がかかるため、このような自動化された手法は、特に有用である。ｚレベルに対する焦点が外れた状態のクラスに基づく強い「ｖ」字形状の傾向に基づいてｚ＝０を定義するために、品質の平均的尺度が達成される前に多くのテストを行う必要があった、Ｋｏｈｌｂｅｒｇｅｒ Ｔ，Ｌｉｕ Ｙ，Ｍｏｒａｎ Ｍ，ｅｔ ａｌ．“Ｗｈｏｌｅ－Ｓｌｉｄｅ Ｉｍａｇｅ Ｆｏｃｕｓ Ｑｕａｌｉｔｙ：Ａｕｔｏｍａｔｉｃ Ａｓｓｅｓｓｍｅｎｔ ａｎｄ Ｉｍｐａｃｔ ｏｎ ＡＩ Ｃａｎｃｅｒ Ｄｅｔｅｃｔｉｏｎ”，Ｊ Ｐａｔｈｏｌ Ｉｎｆｏｒｍ，２０１９に記載された手動手法とは対照的に、本発明によって提案される方法は、自動化により労働効率的である。
【0057】
被写界深度を調整するためのフォーカス設定の調整を自動的に行うことができる。具体的には、ｚスタックの決定、シャープネスに関する情報の決定、およびグラフィカル表示の生成は、少なくとも１つの制御および評価装置を使用することなどによって自動的に行うことができる。
【0058】
本方法は、少なくとも１つのユーザインターフェースを使用することなどによって、グラフィカル表示を行うことをさらに含むことができる。
【0059】
本発明によるフォーカス品質を決定するための方法は、ｚ＝０で焦点が外れた状態の領域を得る統計的可能性を減らすことを可能にすることができる。最適に設定された場合、ｚ＝０におけるぼけの予測確率は、可能な限り低い値であるべきであるが、統計的偏差は０％ではない。
【0060】
本発明のさらなる態様では、スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法が開示される。撮像デバイスは、焦点距離を有する少なくとも１つのトランスファデバイスを備える。本方法は、具体的には所与の順序で実行されてもよい以下の方法ステップを含む。それでも、異なる順序も可能である。さらに、２つ以上の方法ステップを完全にまたは部分的に同時に実行することが可能である。さらに、方法ステップの１つもしくは複数またはさらには全てが、１回または数回繰り返されるなど、１回実行されてもよく、または繰り返し実行されてもよい。さらに、本方法は、列挙されていない追加の方法ステップを含むことができる。
【0061】
本方法は、以下のステップ、すなわち、
－ 二次元デジタル画像のｚスタックを決定するステップであって、ｚスタックがスライド撮像装置によって決定された推奨最適フォーカス面であるシードフォーカス面を起点としてスライドとトランスファデバイスとの間の少なくとも３つの異なる距離で試料を撮像することによって決定され、シードフォーカス面で撮像された第１の二次元画像が第１のシャープネス値を有し、前記距離が、異なる距離で決定された二次元デジタル画像のシャープネス値が第１のシャープネス値と異なり、かつ互いに異なるように、上述したようにまたは以下でより詳細に説明するように、本発明による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される、決定するステップと、
－ 品質の分類に応じた表示を使用することによって、ｚスタックの各デジタル二次元画像の焦点が合った領域を選択するステップと、
－ シードフォーカス面とｚスタックの各デジタル二次元画像の焦点が合った領域とに関する情報を組み合わせることによって、三次元デジタル画像を決定するステップと、
を含む。
－ 二次元デジタル画像のｚスタックを決定するステップであって、ｚスタックがスライド撮像装置によって決定された推奨最適フォーカス面であるシードフォーカス面を起点としてスライドとトランスファデバイスとの間の少なくとも３つの異なる距離で試料を撮像することによって決定され、シードフォーカス面で撮像された第１の二次元画像が第１のシャープネス値を有し、前記距離が、異なる距離で決定された二次元デジタル画像のシャープネス値が第１のシャープネス値と異なり、かつ互いに異なるように、上述したようにまたは以下でより詳細に説明するように、本発明による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される、決定するステップと、
－ 品質の分類に応じた表示を使用することによって、ｚスタックの各デジタル二次元画像の焦点が合った領域を選択するステップと、
－ シードフォーカス面とｚスタックの各デジタル二次元画像の焦点が合った領域とに関する情報を組み合わせることによって、三次元デジタル画像を決定するステップと、
を含む。
【0062】
可能な定義、選択肢、または実施形態については、上記の方法の説明を参照することができる。
【0063】
本発明によるこの方法は、最良のフォーカス値を有するｚ＝０のｚスタックに基づく３Ｄ画像の構築を提案する。
【0064】
デジタル画像は、２０倍または４０倍の倍率のデジタル画像であってもよい。
【0065】
ｚスタックのデジタル画像の前記距離は、品質管理のための方法のステップｂ）で決定された相対強度および／または色の変化に基づいて定義することができる。具体的には、距離は、２つの層のデジタル画像のシャープネス値が関心領域において異なり得るように定義することができる。距離は、２つの層のデジタル画像のシャープネス値が、所定の許容範囲を超えて、例えば少なくとも５％を超えて異なってもよいように定義することができる。焦点を含む層からの距離±εは、精度に応じて選択することができる。例えば、ｚスタックは、被写界深度によって、および被写体のサイズを知ることによって定義される距離ε＝１μｍにおいて決定される複数のデジタル画像を含むことができる。しかしながら、距離εおよび／または等距離でない距離に対する他の値が実現可能である。ｚスタックの例では、距離εは、０．１μｍ、０．２μｍ、０．２５μｍ、０．５μｍであってもよい。さらに、１、３、５、７、９、１１、１３および１５層が選択されてもよい。
【0066】
スライド撮像装置は、試料の下縁上の最も高い垂直延長線付近のｚスタックに基づいて、シーディング点とも表記されるシード点を選ぶことによって、各スライドに対してフォーカス面を定義することができる。結果として、最良のフォーカス面、すなわちシード面を定義することができる。スライド撮像装置は、動的前方視焦点追跡機構から導出されるデータに基づいて、デジタル画像の走査中にフォーカス面を連続的に更新するように構成されてもよい。具体的には、スプリットミラーおよびキャステレーション光学系により、撮像カメラの隣のフォーカスカメラを同時に走査して、信号の焦点が合っているかどうかを定義することが可能になる場合がある。この情報を直接使用して、フォーカス機構アセンブリの動的フォーカスコイルの出力を調整し、トランスファデバイスの高さを調整することができる。ｚスタックの各層に対して、前方視追跡機構が適用されてもよい。
【0067】
本方法の第１のステップは、シード面において第１の二次元デジタル画像を撮像するステップと、スライドとトランスファデバイスとの間の２つの異なる距離において少なくとも２つのさらなる二次元デジタル画像を撮像するステップと、を含むことができる。二次元デジタル画像のそれぞれにおいて、被写界深度が浅いため、同じｚ平面上にあるそれぞれのデジタル画像の領域のみの焦点が合う。
【0068】
次のステップでは、全ての二次元デジタル画像が、特に制御および評価装置を使用することによって、各二次元画像から「鮮明な」画像領域を選択することによって分析されてもよい。本明細書で使用される「焦点が合った領域」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、シャープネス値が予め定義されたしきい値を上回るデジタル画像の領域を指すことができる。例えば、予め定義されたしきい値は、最大のシャープネス値の１５％であってもよい。
【0069】
３Ｄ情報は、焦点からの深度によって生成されてもよい。具体的には、三次元画像は、決定された焦点が合った領域とそれぞれのフォーカス面に関する知識とを組み合わせることによって決定することができる。デジタル画像の走査中にフォーカス面を更新することにより、低い面外解像度を大幅に回避することができる。高さ情報を統合することによって、三次元デジタル画像の再構成を行うことができる。
【0070】
本方法は、三次元デジタル画像を表示することをさらに含むことができる。三次元デジタル画像は、少なくとも１つのユーザインターフェースを使用することによって表示されてもよい。
【0071】
本方法は、色情報、すなわちテクスチャ画像を三次元デジタル画像の個々のボクセル、すなわち３Ｄ画素に適用することによって三次元デジタル画像を着色することを含むことができる。ｘ、ｙ、およびｚ座標を使用するテクスチャリングを介して、画素に色を定義することができる。これにより、より良好な基準比較を通して、より良好な被写体認識が可能になる場合がある。
【0072】
本発明による三次元デジタル画像を決定するための方法は、ｚスタック上の反対方向の二次元画像を、精度に応じた距離で最良のシードフォーカス面に自動的に追加することができるため、比較的非労働集約的なプロセスを可能にすることができる。さらに、最良のシードフォーカス面を拡大することによって、データセットの最小化された部分が示される。各二次元画像のシャープネス値の最小しきい値を大きくすることによって、上述した品質管理の方法に基づいて画像の精度を高めることができる。
【0073】
本発明のさらなる態様では、スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法が開示される。本方法は、具体的には所与の順序で実行されてもよい以下の方法ステップを含む。それでも、異なる順序も可能である。さらに、２つ以上の方法ステップを完全にまたは部分的に同時に実行することが可能である。さらに、方法ステップの１つもしくは複数またはさらには全てが、１回または数回繰り返されるなど、１回実行されてもよく、または繰り返し実行されてもよい。さらに、本方法は、列挙されていない追加の方法ステップを含むことができる。
【0074】
本方法は、少なくとも１つの訓練データセットを生成することを含む。訓練データセットを生成することは、スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された既知の試料の複数のデジタル画像を決定することによって、デジタル画像のｚスタックを決定することを含む。既知の試料は、少なくとも１つの所定のまたは予め定義された特徴を有する。撮像デバイスは、焦点距離を有する少なくとも１つのトランスファデバイスを備える。ｚスタックは、トランスファデバイスとスライドとの間の少なくとも３つの異なる距離で決定された複数のデジタル画像を含み、前記距離は、ｚスタックが、トランスファデバイスの焦点が外れた状態で決定されたデジタル画像と、トランスファデバイスの焦点が合った状態で決定されたデジタル画像とを含むように、上記で説明したようにまたは以下でより詳細に説明するように、品質管理のための本発明による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される。本方法は、機械学習モデルをデジタル画像のｚスタックに適用することと、機械学習および深層学習モデルを調整することと、を含む。
【0075】
一例として、本発明に記載されるような品質管理によって定義される最高のフォーカス値による機械学習または深層学習を使用して、好ましくは、ｚ＝０のｚスタックで得られる分析用の重要な特徴を定義することができる。機械学習または深層学習アルゴリズムによって使用される特性は、ヒートマップにおいて強調表示することができる。加えて、定義された特性は、異なるｚスタックに対して訓練されてもよい。加えて、より低いフォーカス値も、シャープネス値の最小しきい値を下げることによって、アルゴリズムの訓練に含めることができる。これにより、焦点が外れた状態の領域に関するアルゴリズムのロバスト性を向上させることが可能になる場合がある。
【0076】
可能な定義、選択肢、または実施形態については、上記の方法の説明を参照することができる。
【0077】
本明細書で使用される「機械学習および深層学習（ｍａｃｈｉｎｅ ａｎｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ）」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、機械学習モデル、特に予測モデルの自動的なモデル構築のために人工知能（ＡＩ）を使用する方法を指すことができる。制御および評価装置は、少なくとも１つの機械学習および深層学習アルゴリズムを実施および／または実行するように構成されてもよい。機械学習および深層学習モデルは、機械学習および深層学習アルゴリズムの結果に基づいてもよい。機械学習および深層学習モデルは、例えば、畳み込みニューラルネットワークおよび／または通常のニューラルネットワークに基づいてもよい。
【0078】
本明細書で使用される「訓練」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、訓練データセット上で機械学習および深層学習モデルのアルゴリズムのパラメータを決定するプロセスを指すことができる。訓練は、最良のパラメータの組合せが決定される、少なくとも１つの最適化または調整プロセスを含むことができる。本明細書で使用される「訓練データセット」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、機械学習および深層学習モデルが訓練されるデータセットを指すことができる。訓練データセットは、デジタル画像の複数のｚスタックを含むことができる。機械学習および深層学習モデルの訓練のために、少なくとも１つの所定のまたは予め定義された特徴を有する既知の試料のデジタル画像が使用されることがある。例えば、特徴は、色、テクスチャ、形態計測、およびトポロジーのうちの１つまたは複数を含むことができる。
【0079】
ｚスタックを決定するために、毎回、少なくとも２つの層（上の層と下の層）のデジタル画像を追加することができる。ｚスタックの決定に関しては、フォーカス品質を決定するための方法、および三次元デジタル画像を決定するための方法のｚスタックの決定に関する説明を参照されたい。これらのデジタル画像をどのレベルまで実際にアルゴリズムを訓練するために使用することができるかは、アルゴリズムの訓練中に定義することができる。例えば、品質管理値を、フォーカス面と比較して９５％、９０％、８５％、８０％、および７５％などと定義することができる。これらの値は、直接定義されなくてもよいが、品質管理ツールでしきい値を定義することによって間接的に推定されてもよい。これにより、デジタルの焦点が外れた状態は、最初に定義されず、または予め定義されないが、アルゴリズムは、より低いシャープネス値に対処することを学習する。
【0080】
本明細書で使用される「トランスファデバイスの焦点が外れたデジタル画像」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、シャープネス値が予め定義されたしきい値を下回るデジタル画像を指すことができる。しきい値は、コントラストの低い組織も画像に含まれるように選択されてもよい。例えば、しきい値は、最大のシャープネス値の１５％であってもよい。本明細書で使用される「トランスファデバイスの焦点が合ったデジタル画像」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、上記のこの段落で説明したしきい値を上回るなど、シャープネス値が予め定義されたしきい値を上回るデジタル画像を指すことができる。
【0081】
本発明による方法は、訓練された機械学習および深層学習モデルをよりロバストにすることを可能にすることができ、その結果、焦点の外れた領域またはあまり鮮明でない領域を、追加の訓練に基づいて特定のしきい値まで処理することができる。
【0082】
プログラムがコンピュータまたはコンピュータネットワーク上で実行されると、本明細書に含まれる実施形態の１つまたは複数において、本発明による方法の少なくとも１つを実行するためのコンピュータ実行可能命令を含むコンピュータプログラムが、本明細書にさらに開示および提案される。具体的には、コンピュータプログラムは、コンピュータ可読データキャリアおよび／またはコンピュータ可読記憶媒体に記憶されてもよい。
【0083】
本明細書で使用される場合、「コンピュータ可読データキャリア」および「コンピュータ可読記憶媒体」という用語は、具体的には、コンピュータ実行可能命令を記憶したハードウェア記憶媒体などの非一過性データ記憶手段を指すことができる。コンピュータ可読データキャリアまたは記憶媒体は、具体的には、ランダムアクセスメモリ（ＲＡＭ）および／または読み出し専用メモリ（ＲＯＭ）などの記憶媒体であってもよく、またはそれを含んでもよい。
【0084】
したがって、具体的には、上述した方法ステップのうちの１つ、２つ以上、またはさらには全てを、コンピュータまたはコンピュータネットワークを使用することによって、好ましくはコンピュータプログラムを使用することによって実行することができる。
【0085】
プログラムがコンピュータまたはコンピュータネットワーク上で実行されると、本明細書に含まれる実施形態の１つまたは複数において本発明による方法の少なくとも１つを実行するために、プログラムコード手段を有するコンピュータプログラム製品が本明細書にさらに開示および提案される。具体的には、プログラムコード手段は、コンピュータ可読データキャリアおよび／またはコンピュータ可読記憶媒体に記憶されてもよい。
【0086】
コンピュータまたはコンピュータネットワークのワーキングメモリまたはメインメモリなどのコンピュータまたはコンピュータネットワークにロードした後、本明細書に開示された実施形態の１つまたは複数による方法の少なくとも１つを実行することができる、データ構造が記憶されたデータキャリアが、本明細書にさらに開示および提案される。
【0087】
プログラムがコンピュータまたはコンピュータネットワーク上で実行されると、本明細書に開示される実施形態の１つまたは複数による方法の少なくとも１つを実行するために、機械可読キャリア上に記憶されたプログラムコード手段を有するコンピュータプログラム製品が、本明細書にさらに開示および提案される。本明細書で使用される場合、コンピュータプログラム製品は、取引可能な製品としてのプログラムを指す。製品は、一般に、紙のフォーマットなどの任意のフォーマットで、またはコンピュータ可読データキャリア上および／もしくはコンピュータ可読記憶媒体上に存在してもよい。具体的には、コンピュータプログラム製品は、データネットワーク上で配布されてもよい。
【0088】
最後に、本明細書に開示および提案されるのは、本明細書に開示される実施形態の１つまたは複数による方法の少なくとも１つを実行するための、コンピュータシステムまたはコンピュータネットワークによって読み取り可能な命令を含む変調されたデータ信号である。
【0089】
本発明のコンピュータ実装態様を参照すると、本明細書に開示される実施形態の１つまたは複数による方法の方法ステップの１つまたは複数、またはさらには方法ステップの全てが、コンピュータまたはコンピュータネットワークを使用することによって実行されてもよい。したがって、一般に、データの提供および／または操作を含む方法ステップのいずれも、コンピュータまたはコンピュータネットワークを使用することによって実行することができる。一般に、これらの方法ステップは、典型的には、検体の提供および／または実際の測定を行う特定の態様などの手作業を必要とする方法ステップを除いて、任意の方法ステップを含むことができる。
【0090】
具体的には、本明細書では、さらに、
－ 少なくとも１つのプロセッサを備えるコンピュータまたはコンピュータネットワークであって、プロセッサが、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されている、コンピュータまたはコンピュータネットワークと、
－ データ構造がコンピュータ上で実行されている間に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されているコンピュータロード可能データ構造と、
－ プログラムがコンピュータ上で実行されている間に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されているコンピュータプログラムと、
－ コンピュータプログラムであって、コンピュータ上またはコンピュータネットワーク上で実行されている間に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するためのプログラム手段を含む、コンピュータプログラムと、
－ 前述の実施形態によるプログラム手段を含むコンピュータプログラムであって、プログラム手段がコンピュータに読み取り可能な記憶媒体に記憶されている、コンピュータプログラムと、
－ 記憶媒体であって、データ構造が記憶媒体上に記憶され、データ構造が、コンピュータもしくはコンピュータネットワークの主記憶装置および／または作業記憶装置内にロードされた後に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されている、記憶媒体と、
－ プログラムコード手段を有するコンピュータプログラム製品であって、プログラムコード手段がコンピュータ上でまたはコンピュータネットワーク上で実行される場合、プログラムコード手段が、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するために、記憶媒体上に記憶され得るかまたは記憶される、コンピュータプログラム製品と、
が開示される。
－ 少なくとも１つのプロセッサを備えるコンピュータまたはコンピュータネットワークであって、プロセッサが、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されている、コンピュータまたはコンピュータネットワークと、
－ データ構造がコンピュータ上で実行されている間に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されているコンピュータロード可能データ構造と、
－ プログラムがコンピュータ上で実行されている間に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されているコンピュータプログラムと、
－ コンピュータプログラムであって、コンピュータ上またはコンピュータネットワーク上で実行されている間に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するためのプログラム手段を含む、コンピュータプログラムと、
－ 前述の実施形態によるプログラム手段を含むコンピュータプログラムであって、プログラム手段がコンピュータに読み取り可能な記憶媒体に記憶されている、コンピュータプログラムと、
－ 記憶媒体であって、データ構造が記憶媒体上に記憶され、データ構造が、コンピュータもしくはコンピュータネットワークの主記憶装置および／または作業記憶装置内にロードされた後に、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するように適合されている、記憶媒体と、
－ プログラムコード手段を有するコンピュータプログラム製品であって、プログラムコード手段がコンピュータ上でまたはコンピュータネットワーク上で実行される場合、プログラムコード手段が、本明細書に記載された実施形態のうちの１つによる方法の少なくとも１つを実行するために、記憶媒体上に記憶され得るかまたは記憶される、コンピュータプログラム製品と、
が開示される。
【0091】
本発明のさらなる態様において、スライド撮像装置が開示される。スライド撮像装置は、
－ スライドに搭載された試料の少なくとも１つのデジタル画像を生成するように構成された少なくとも１つの撮像デバイスと、
－ 少なくとも１つの制御および評価装置と、
を備え、
スライド撮像装置が上述したようにまたは以下でより詳細に説明するように、本発明による方法の少なくとも１つを実行するように構成されている。
－ スライドに搭載された試料の少なくとも１つのデジタル画像を生成するように構成された少なくとも１つの撮像デバイスと、
－ 少なくとも１つの制御および評価装置と、
を備え、
スライド撮像装置が上述したようにまたは以下でより詳細に説明するように、本発明による方法の少なくとも１つを実行するように構成されている。
【0092】
スライド撮像装置の可能な定義、選択肢、または実施形態については、上記の方法の説明を参照することができる。
【0093】
要約すると、さらなる実施形態の可能性を排除することなく、以下の実施形態が想定され得る。
【0094】
実施形態１．スライドに搭載された試料の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法であって、以下のステップ、すなわち、
ａ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料の少なくとも１つのデジタル画像を提供するステップと、
ｂ）少なくとも１つのエッジ検出画像フィルタを使用することによってデジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、関心領域内のシャープネス値を比較することによってデジタル画像の品質を決定するステップであって、関心領域の品質が比較に応じて分類される、決定するステップと、
ｃ）品質の分類に応じて、少なくとも１つの表示を生成するステップと、
を含み、ステップｂ）およびｃ）が自動的に行われる。
ａ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料の少なくとも１つのデジタル画像を提供するステップと、
ｂ）少なくとも１つのエッジ検出画像フィルタを使用することによってデジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、関心領域内のシャープネス値を比較することによってデジタル画像の品質を決定するステップであって、関心領域の品質が比較に応じて分類される、決定するステップと、
ｃ）品質の分類に応じて、少なくとも１つの表示を生成するステップと、
を含み、ステップｂ）およびｃ）が自動的に行われる。
【0095】
実施形態２．表示がヒートマップを含むグラフィカル表示であり、ヒートマップがサブ領域のシャープネス値をサブ領域の画像座標の関数としてマッピングすることによって生成される、実施形態１に記載の方法。
【0096】
実施形態３．ヒートマップを生成することがシャープネス値のそれぞれに色空間の色値を割り当てることを含む、実施形態２に記載の方法。
【0097】
実施形態４．色空間がＲＧＢ色空間であり、色空間が高品質に対する白２５５から焦点が外れた状態に対する黒０までの範囲にわたる、実施形態３に記載の方法。
【0098】
実施形態５．サブ領域がデジタル画像の画素に対応し、ヒートマップを生成することが関心領域の画素群を選択することと、関心領域の画素群のそれぞれについて平均シャープネス値を決定することと、平均シャープネス値を関心領域の画像座標の関数としてマッピングすることと、を含む、実施形態２～４のいずれか一項に記載の方法。
【0099】
実施形態６．エッジ検出画像フィルタがラプラスフィルタである、実施形態１～５のいずれか一項に記載の方法。
【0100】
実施形態７．シャープネス値が色勾配または強度勾配である、実施形態１～６のいずれか一項に記載の方法。
【0101】
実施形態８．関心領域がデジタル画像全体またはデジタル画像の一部である、実施形態１～７のいずれか一項に記載の方法。
【0102】
実施形態９．スライドに搭載された試料の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法であって、以下のステップ、すなわち、
ｉ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料のデジタル画像のｚスタックを決定するステップであって、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイスとスライドとの間の少なくとも３つの異なる距離において決定される複数のデジタル画像を含む、決定するステップと、
ｉｉ）前述の実施形態のいずれか１つによる品質管理のためのコンピュータ実装方法を使用することによって、ｚスタックのデジタル画像のそれぞれの複数の画像領域のシャープネスに関する情報を決定するステップと、
ｉｉｉ）画像領域のそれぞれについて距離の関数としてシャープネスに関する情報のグラフィカル表示を生成するステップと、
を含む。
ｉ）スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料のデジタル画像のｚスタックを決定するステップであって、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイスとスライドとの間の少なくとも３つの異なる距離において決定される複数のデジタル画像を含む、決定するステップと、
ｉｉ）前述の実施形態のいずれか１つによる品質管理のためのコンピュータ実装方法を使用することによって、ｚスタックのデジタル画像のそれぞれの複数の画像領域のシャープネスに関する情報を決定するステップと、
ｉｉｉ）画像領域のそれぞれについて距離の関数としてシャープネスに関する情報のグラフィカル表示を生成するステップと、
を含む。
【0103】
実施形態１０．グラフィカル表示に応じて、トランスファデバイスとスライドとの間の異なる距離に対してトランスファデバイスのフォーカス設定を調整することを含む、実施形態９に記載の方法。
【0104】
実施形態１１．スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライドに搭載された試料の三次元デジタル画像を決定するためのコンピュータ実装方法であって、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、本方法が、以下のステップ、すなわち、
－ 二次元デジタル画像のｚスタックを決定するステップであって、ｚスタックがスライド撮像装置によって決定された推奨最適フォーカス面であるシードフォーカス面を起点としてスライドとトランスファデバイスとの間の少なくとも３つの異なる距離で試料を撮像することによって決定され、シードフォーカス面で撮像された第１の二次元画像が第１のシャープネス値を有し、前記距離が、異なる距離で決定された二次元デジタル画像のシャープネス値が第１のシャープネス値と異なり、かつ互いに異なるように、品質管理のための方法に言及する実施形態１～１０のいずれか一項による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される、決定するステップと、
－ 品質の分類に応じた表示を使用することによって、ｚスタックの各デジタル二次元画像の焦点が合った領域を選択するステップと、
－ シードフォーカス面とｚスタックの各デジタル二次元画像の焦点が合った領域とに関する情報を組み合わせることによって、三次元デジタル画像を決定するステップと、
を含む。
－ 二次元デジタル画像のｚスタックを決定するステップであって、ｚスタックがスライド撮像装置によって決定された推奨最適フォーカス面であるシードフォーカス面を起点としてスライドとトランスファデバイスとの間の少なくとも３つの異なる距離で試料を撮像することによって決定され、シードフォーカス面で撮像された第１の二次元画像が第１のシャープネス値を有し、前記距離が、異なる距離で決定された二次元デジタル画像のシャープネス値が第１のシャープネス値と異なり、かつ互いに異なるように、品質管理のための方法に言及する実施形態１～１０のいずれか一項による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される、決定するステップと、
－ 品質の分類に応じた表示を使用することによって、ｚスタックの各デジタル二次元画像の焦点が合った領域を選択するステップと、
－ シードフォーカス面とｚスタックの各デジタル二次元画像の焦点が合った領域とに関する情報を組み合わせることによって、三次元デジタル画像を決定するステップと、
を含む。
【0105】
実施形態１２．三次元画像の画素に色情報を適用することによって三次元画像を着色するステップを含む、実施形態１１に記載の方法。
【0106】
実施形態１３．スライドに搭載された試料の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法であって、
本方法が少なくとも１つの訓練データセットを生成することを含み、訓練データセットを生成することが、スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライド上に搭載された既知の試料の複数のデジタル画像を決定することによって、デジタル画像のｚスタックを決定することを含み、既知の試料が少なくとも１つの所定のまたは予め定義された特徴を有し、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイスとスライドとの間の少なくとも３つの異なる距離で決定された複数のデジタル画像を含み、前記距離が、ｚスタックがトランスファデバイスの焦点が外れた状態で決定されたデジタル画像とトランスファデバイスの焦点が合った状態で決定されたデジタル画像とを含むように、品質管理のための方法に関する実施形態１～１２のいずれか一項による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義され、
本方法が、機械学習および深層学習モデルをデジタル画像のｚスタックに適用することと、機械学習および深層学習モデルを調整することと、を含む、コンピュータ実装方法。
本方法が少なくとも１つの訓練データセットを生成することを含み、訓練データセットを生成することが、スライド撮像装置の少なくとも１つの撮像デバイスを使用して、スライド上に搭載された既知の試料の複数のデジタル画像を決定することによって、デジタル画像のｚスタックを決定することを含み、既知の試料が少なくとも１つの所定のまたは予め定義された特徴を有し、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイスとスライドとの間の少なくとも３つの異なる距離で決定された複数のデジタル画像を含み、前記距離が、ｚスタックがトランスファデバイスの焦点が外れた状態で決定されたデジタル画像とトランスファデバイスの焦点が合った状態で決定されたデジタル画像とを含むように、品質管理のための方法に関する実施形態１～１２のいずれか一項による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義され、
本方法が、機械学習および深層学習モデルをデジタル画像のｚスタックに適用することと、機械学習および深層学習モデルを調整することと、を含む、コンピュータ実装方法。
【0107】
実施形態１４．機械学習および深層学習モデルが畳み込みニューラルネットワークおよび／または通常のニューラルネットワークに基づく、実施形態１３に記載の方法。
【0108】
実施形態１５．スライド撮像装置であって、
－ スライドに搭載された試料の少なくとも１つのデジタル画像を生成するように構成された少なくとも１つの撮像デバイスと、
－ 少なくとも１つの制御および評価装置と、
を備え、
スライド撮像装置が、実施形態１～１４に記載の方法の少なくとも１つを実行するように構成されている、スライド撮像装置。
－ スライドに搭載された試料の少なくとも１つのデジタル画像を生成するように構成された少なくとも１つの撮像デバイスと、
－ 少なくとも１つの制御および評価装置と、
を備え、
スライド撮像装置が、実施形態１～１４に記載の方法の少なくとも１つを実行するように構成されている、スライド撮像装置。
【図面の簡単な説明】
【0109】
さらなる任意の特徴および実施形態は、好ましくは従属請求項と併せて、実施形態の以下の説明においてより詳細に開示される。本説明では、それぞれの任意の特徴は、当業者が理解するように、単独で、ならびに任意の実現可能な組合せで実現され得る。本発明の範囲は、好ましい実施形態によって制約されない。実施形態は、図に概略的に示されている。実施形態において、これらの図における同一の参照番号は、同一のまたは機能的に同等の要素を指す。
【0110】
【図1A】本発明によるスライド撮像装置の実施形態の概略図および本発明による品質管理のための方法の好ましい実施形態のフローチャートの概略図である。
【図1B】本発明によるスライド撮像装置の実施形態の概略図および本発明による品質管理のための方法の好ましい実施形態のフローチャートの概略図である。
【図2A】実験結果を示す図である。
【図2B】実験結果を示す図である。
【図3】実験結果を示す図である。
【図4】実験結果を示す図である。
【図4A】実験結果を示す図である。
【図4B】実験結果を示す図である。
【図4C】実験結果を示す図である。
【図4D】実験結果を示す図である。
【図4E】実験結果を示す図である。
【図4F】実験結果を示す図である。
【図5】本発明によるフォーカス品質を決定するための方法の好ましい実施形態のフローチャートの概略図である。
【図6】実験結果を示す図である。
【図7A】実験結果を示す図である。
【図7B】実験結果を示す図である。
【図8】本発明による三次元デジタル画像を決定するための方法の好ましい実施形態のフローチャートの概略図である。
【図9A】実験結果を示す図である。
【図9B】実験結果を示す図である。
【図9C】実験結果を示す図である。
【図10】本発明による機械学習および深層学習モデルを訓練するための方法の好ましい実施形態のフローチャートの概略図である。
【図11】生物学的材料を含む組織試料のデジタル画像の品質管理のために開発されたプログラムの概要を示す図である。
【発明を実施するための形態】
【0111】
実施形態の詳細な説明
図１Ａは、本発明によるスライド撮像装置１１０の一実施形態を概略的に示す。スライド撮像装置１１０は、スライド１１４に搭載された試料１１２を撮像するように構成されている。試料１１２は、組織試料などの生物学的検体であってもよい。試料１１２は、組織または塗抹標本などの生物学的材料であってもよく、またはそれを含んでもよい。しかしながら、他の種類の試料も実現可能であってもよい。
図１Ａは、本発明によるスライド撮像装置１１０の一実施形態を概略的に示す。スライド撮像装置１１０は、スライド１１４に搭載された試料１１２を撮像するように構成されている。試料１１２は、組織試料などの生物学的検体であってもよい。試料１１２は、組織または塗抹標本などの生物学的材料であってもよく、またはそれを含んでもよい。しかしながら、他の種類の試料も実現可能であってもよい。
【0112】
スライド１１４は、スライドの表面に搭載される試料１１２のために指定された基材であってもよい。特に、処理中にいかなる変化もなく試料１１２をスライド１１４に担持する目的で、基材は、機械的に安定であり、したがって、十分な機械的安定性を提供する任意の材料を含むことができる。特に生物学的検体を担持する目的で、基材は、好ましくは、生物学的材料と適合するように構成された表面を呈することができる。例として、ガラスは、一方では十分な機械的安定性を提供し、他方では生物学的材料との高い適合性を有することが知られているため、スライドは、ガラススライドである。しかしながら、スライド１１４のためのさらなる種類の材料も実現可能であってもよい。試料の所望の画像を生成する目的で、スライド１１４は、好ましくは、２Ｄ延在部および厚さを有するプレートであってもよく、プレートの２Ｄ延在部は、好ましくは、長方形または円形の形態を呈してもよく、プレートの厚さは、延在部のサイズと比較して小さくてもよく、プレートの２Ｄ延在部の直線的な広がり尺度よりも、好ましくは２０％、より好ましくは１０％、特に５％、またはそれ未満であってもよい。
【0113】
スライド撮像装置１１０は、少なくとも１つの撮像デバイス１１６を備える。特に、撮像デバイス１１６は、２Ｄカメラ１１７またはラインスキャン検出器から選択されてもよい。しかしながら、さらなる種類の撮像デバイス１１６も実現可能であってもよい。スライド１１４は、特に、スライド１１４に搭載された試料１１２の撮像を可能にすることができる形態を有することができる。
【0114】
撮像デバイス１１６は、少なくとも１つのトランスファデバイス１１９を備えることができる。トランスファデバイス１１９は、具体的には、少なくとも１つのレンズ、例えば、少なくとも１つの屈折レンズ、少なくとも１つの焦点調整可能レンズ、少なくとも１つの非球面レンズ、少なくとも１つの球面レンズ、少なくとも１つのフレネルレンズからなる群から選択された少なくとも１つのレンズ、少なくとも１つの回折光学素子、少なくとも１つのマルチレンズシステムのうちの１つまたは複数を備えてもよい。トランスファデバイス１１９は、焦点距離を有する。トランスファデバイス１１９は、「ｚ」を光軸に沿った座標とする座標系を構成することができる。座標系は、トランスファデバイス１１９の光軸がｚ軸を形成し、ｚ軸からの距離および極角が追加の座標として使用され得る、極座標系であってもよい。ｚ軸に沿った座標は、長手方向座標ｚと考えることができる。
【0115】
スライド撮像装置１１０は、複数のスライド１１４を装填可能な、スライド１１４を保管するように構成された保管装置１１８を備えることができる。保管装置１１８は、スライドトレイまたはスライドラックから選択されてもよいが、さらなるタイプの保管装置も実現可能であってもよい。保管装置１１８は、好ましくは手動で、少なくとも１つのスライド１１４を装填可能であってもよいが、保管装置１１８の自動装填も考えられ得る。スライド撮像装置１１０は、少なくとも１つのスライド１１４を保管装置１１８から撮像デバイス１１６に供給するように構成された供給装置１２０を備えることができる。例えば、供給装置１２０は、ロボットアームを備えていてもよい。
【0116】
スライド撮像装置１１０は、少なくとも１つの制御および評価装置１２２を備える。少なくとも１つの制御および評価装置１２２は、いくつかのコンピュータコマンドを含むソフトウェアコードが記憶された少なくとも１つのデータ処理デバイスを含むことができる。制御および評価装置１２２は、指定された動作のうちの１つまたは複数を実行するための１つまたは複数のハードウェア要素を提供することができ、および／または、指定された動作のうちの１つまたは複数を実行するためのソフトウェアが実行される１つまたは複数のプロセッサを提供することができる。制御および評価装置１２２は、ステップｂ）およびｃ）を実行するように構成された１つまたは複数のコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、あるいはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つまたは複数のプログラマブルデバイスを含むことができる。しかしながら、追加的または代替的に、制御および評価装置１２２は、完全にまたは部分的にハードウェアによって具現化されてもよい。
【0117】
スライド撮像装置１１０は、スライド１１４に搭載された試料１１２の少なくとも１つのデジタル画像の品質管理のためのコンピュータ実装方法を実行するように構成される。図１Ｂは、本発明による品質管理のための方法の好ましい実施形態のフローチャートを概略的に示す。
【0118】
本方法は、自動的に分析されるための適合性に関するデジタル画像の状態を決定することを含むことができる。具体的には、本方法は、デジタル画像のシャープネスまたはぼやけの量の指標を決定することを含むことができる。
【0119】
本方法は、以下のステップ、すなわち、
ａ）（参照番号１２４で示される）スライド撮像装置１１０の少なくとも１つの撮像デバイス１１６を使用して、スライド１１４に搭載された試料１１２の少なくとも１つのデジタル画像を提供するステップと、
ｂ）（参照番号１２６で示される）少なくとも１つのエッジ検出画像フィルタを使用することによってデジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、関心領域内のシャープネス値を比較することによってデジタル画像の品質を決定するステップであって、関心領域の品質が比較に応じて分類される、決定するステップと、
ｃ）（参照番号１２８で示される）品質の分類に応じて、少なくとも１つの表示を生成するステップと、
を含み、ステップｂ）およびｃ）が自動的に行われる。
ａ）（参照番号１２４で示される）スライド撮像装置１１０の少なくとも１つの撮像デバイス１１６を使用して、スライド１１４に搭載された試料１１２の少なくとも１つのデジタル画像を提供するステップと、
ｂ）（参照番号１２６で示される）少なくとも１つのエッジ検出画像フィルタを使用することによってデジタル画像の少なくとも１つの関心領域のサブ領域のシャープネス値を決定し、関心領域内のシャープネス値を比較することによってデジタル画像の品質を決定するステップであって、関心領域の品質が比較に応じて分類される、決定するステップと、
ｃ）（参照番号１２８で示される）品質の分類に応じて、少なくとも１つの表示を生成するステップと、
を含み、ステップｂ）およびｃ）が自動的に行われる。
【0120】
デジタル画像を提供するステップは、撮像デバイス１１６を使用して、少なくとも１つのデジタル画像を撮像および／または生成するステップを含むことができる。
【0121】
関心領域は、分析されるデジタル画像の任意の形状の領域またはエリアであってもよい。関心領域は、デジタル画像全体またはデジタル画像の一部であってもよい。関心領域は、分析される少なくとも１つの特徴を含むか、または含むと疑われる画像の領域であってもよい。デジタル画像は、例えば、ｍ行ｎ列を有する矩形配列などの画素配列で配置された複数の画素を含む画素化された画像であってもよく、ｍ、ｎは独立して正の整数である。関心領域は、任意の数の画素を含む画素群であってもよく、または画素群を含んでもよい。サブ領域は、少なくとも１つの画素または画素群を含む関心領域の任意の部分または要素、特に画像要素であってもよい。サブ領域は、関心領域の正方形領域であってもよい。関心領域は、複数の画素などの複数のサブ領域を含むことができる。
【0122】
エッジ検出画像フィルタは、関心領域内のエッジを識別するように構成された少なくとも１つの画像処理ツールであってもよく、またはそれを含んでもよい。好ましくは、エッジ検出画像フィルタは、ラプラスフィルタである。ラプラスフィルタは、強度および／または色値の二次微分に基づいてもよく、したがって、局所極値を決定することができる。エッジ検出画像フィルタは、局所極値に基づいてエッジ検出を行うように構成されてもよい。特に、エッジ検出フィルタは、強いエッジおよび／または勾配を強調することができる。具体的には、本方法は、ラプラスフィルタによって定義される１つのパラメータに基づいて、デジタル画像のシャープネスをサブ領域レベルで、好ましくは画素レベルで定義するステップを含むことができる。エッジ検出フィルタは、それぞれの局所極値に応じて、サブ領域のそれぞれにグレー値を割り当てるように構成されてもよい。ラプラスフィルタを使用することは、ＳｏｂｅｌまたはＣａｎｎｙフィルタのような一次微分フィルタで必要とされるような、カーネルを回転させてｘまたはｙ方向を得る必要性がないため、有利な場合がある。図２Ａは、例示的な実験結果を示す。図２Ａの左部分は、スキャンされたデジタル画像を示し、右部分は、ラプラスフィルタによってグレー値で定義された正方形領域を示す。
【0123】
シャープネス値は、強度および／または色値の局所極値であってもよい。シャープネス値は、色勾配または強度勾配をさらに指すことができる。ステップ１２６におけるシャープネス値の比較は、関心領域のサブ領域の局所極値を比較するステップを含むことができる。本方法は、関心領域の最大の局所極値を決定することを含んでもよい。最大の局所極値は、関心領域のサブ領域の最高の局所極値であってもよい。本方法は、関心領域の最小の局所極値を含んでもよい。最小の局所極値は、関心領域のサブ領域の最低の局所極値であってよい。本方法は、最大の局所極値から開始して最小の局所極値まで降順にサブ領域の局所極値をソートすることを含んでもよい。しかしながら、昇順ソートも可能である。比較は、局所極値の関係を決定するための少なくとも１つの数学的演算を含むことができる。
【0124】
関心領域の品質は、ステップ１２６における比較に応じて分類される。最大の局所極値は、最高のシャープネスとして分類されてもよい。最小の局所極値は、最低のシャープネスとして分類されてもよい。サブ領域の局所極値は、最大の局所極値から開始して最小の局所極値まで降順に分類されてもよい。
【0125】
本方法は、焦点が外れた状態のしきい値を設定することをさらに含んでもよい。焦点が外れた状態のしきい値は、最大の局所極値に対する最小値を定義することができる。例えば、焦点が外れた状態のしきい値は、最大の局所極値に対する最小値として、制御された画像セットの９９％で達成され得る高品質の絶対シャープネスに設定されてもよい。関心領域の決定された最大の局所極値が焦点が外れた状態のしきい値を下回る場合、デジタル画像は、拒絶され、および／または低品質として分類されてもよい。焦点が外れた状態のしきい値を使用することで、完全に焦点が外れた状態のデジタル画像が認識されないようにすることができる場合がある。
【0126】
ステップ１２８において、例えば、表示は、フォーカスマップとも表記されるヒートマップを含むグラフィカル表示であってもよい。ヒートマップは、サブ領域のシャープネス値をサブ領域の画像座標の関数としてマッピングすることによって生成されてもよい。ヒートマップを生成することは、シャープネス値のそれぞれに色空間の色値を割り当てることを含んでもよい。例えば、色空間は、ＲＧＢ色空間であってもよい。ＲＧＢ色空間は、３つの色チャネル、すなわち、赤（Ｒ）用の色チャネル、緑（Ｇ）用の色チャネル、および青（Ｂ）用の色チャネルを有する色空間であってもよい。色空間は、高品質に対する白２５５から焦点が外れた状態に対する黒０までの範囲であってもよい。したがって、白の最大値２５５は、デジタル画像の最も鮮明な部分を表すことができる。ヒートマップは、高品質に対する白２５５から焦点が外れた状態に対する黒０までを伴う、赤と黄のみの色値など、１つまたは２つの色のみを含んでもよい。
【0127】
例えば、サブ領域は、デジタル画像の画素に対応してもよい。ヒートマップを生成することは、関心領域の画素群を選択することと、関心領域の画素群のそれぞれについて平均シャープネス値を決定することと、平均シャープネス値を関心領域の画像座標の関数としてマッピングすることと、を含むことができる。具体的には、ヒートマップを生成することは、画素群内の平均グレー値を決定することを含むことができる。平均グレー値は、全てのグレー値の合計を、画像領域のサブ領域の数、特に画素数で割って計算することによって決定されてもよい。平均グレー値を計算するために、黒画素は、含まれなくてもよく、または破棄されてもよい。黒画素は、組織のコントラストがなく、鮮明でも不鮮明でもあり得ない画素であってもよい。したがって、画素という用語は、記述的な測定値を指すことがある。
【0128】
シャープネス値に基づいて決定された品質は、計算病理学に使用される分類アルゴリズムの適用可能性に直結していてもよい。生成された表示は、染色、組織の折り重なり、およびぼやけに起因するアーチファクトを識別することを可能にする場合がある。
【0129】
本方法は、少なくとも１つのユーザインターフェース１３０を使用することによって、表示、特にヒートマップを表示することを含むことができる。ユーザインターフェース１３０は、ディスプレイ、スクリーンなどの表示を行うように構成されたヒューマンマシンインターフェースであってもよい。
【0130】
完全に自動で品質を決定することおよび表示を生成することは、人間の目でデジタル画像を制御することと比較して、焦点が外れた状態の領域およびアーチファクトの識別に優れている。図２Ｂは、肉眼では、高倍率で見ることによってシャープネスを定義することができないことを示す。本発明によるヒートマップで表される画素レベルでのラプラスフィルタの分析に基づくデジタル画像のシャープネスの特徴付けは、図２Ｂの左部分に示されている。ＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００スライドスキャナによって撮影された対応するサムネイルを右側に示す。
【0131】
図３は、さらなる実験結果を示す。４０倍の倍率で、ぼやけを検出することができる（上部参照）。本発明による画素レベルでのラプラス分析のヒートマップが左下部分に、ＶＥＮＴＡＮＡ（登録商標）ＤＰ ２００スライドスキャナによって撮影されたサムネイルビューが右側に表示されている。
【0132】
図４Ａ～図４Ｆは、さらなる実験結果を示す。図４は、本発明による画素レベルでの記載されたラプラスフィルタによって分析された異なるヒートマップを示す。図４Ａは、４０倍の倍率で検出された気泡を示す。図４Ｂは、低コントラストを引き起こす組織形態の欠如に起因する、４０倍の倍率で検出されたぼやけを示す。図４Ｃは、検出された鮮明なシグナル染色を４０倍の倍率で示す。デジタル画像の同じ領域を示す図４Ｄと図４Ｅの染色が異なるため、より低いまたはより高いシャープネスが４０倍の倍率で検出されている。図４Ｆは、４０倍の倍率で検出された低いシャープネスを有するデジタル画像の領域を示す。
【0133】
図５は、本発明による、スライド１１４に搭載された試料１１２の少なくとも１つのデジタル画像を決定するためのフォーカス品質を決定するためのコンピュータ実装方法の好ましい実施形態のフローチャートを概略的に示す。
【0134】
本方法は、以下のステップ、すなわち、
ｉ）（参照番号１３２で示される）スライド撮像装置１１０の少なくとも１つの撮像デバイス１１６を使用して、スライド１１４に搭載された試料１１２のデジタル画像のｚスタックを決定するステップであって、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイス１１９とスライド１１４との間の少なくとも３つの異なる距離において決定された複数のデジタル画像を含む、決定するステップと、
ｉｉ）（参照番号１３４で示される）上述したようにまたは以下でより詳細に説明するように、品質管理のための本発明による品質管理のためのコンピュータ実装方法を使用することによって、ｚスタックのデジタル画像のそれぞれの複数の画像領域のシャープネスに関する情報を決定するステップと、
ｉｉｉ）（参照番号１３６で示される）画像領域のそれぞれについて距離の関数としてシャープネスに関する情報のグラフィカル表示を生成するステップと、
を含む。
ｉ）（参照番号１３２で示される）スライド撮像装置１１０の少なくとも１つの撮像デバイス１１６を使用して、スライド１１４に搭載された試料１１２のデジタル画像のｚスタックを決定するステップであって、撮像デバイスが焦点距離を有する少なくとも１つのトランスファデバイスを備え、ｚスタックがトランスファデバイス１１９とスライド１１４との間の少なくとも３つの異なる距離において決定された複数のデジタル画像を含む、決定するステップと、
ｉｉ）（参照番号１３４で示される）上述したようにまたは以下でより詳細に説明するように、品質管理のための本発明による品質管理のためのコンピュータ実装方法を使用することによって、ｚスタックのデジタル画像のそれぞれの複数の画像領域のシャープネスに関する情報を決定するステップと、
ｉｉｉ）（参照番号１３６で示される）画像領域のそれぞれについて距離の関数としてシャープネスに関する情報のグラフィカル表示を生成するステップと、
を含む。
【0135】
ｚスタックは、トランスファデバイス１１９とスライド１１４との間の少なくとも３つの異なる距離で、すなわち異なるｚレベルで撮像された少なくとも３つのデジタル画像を含む。具体的には、２つのデジタル画像が、フォーカス面の１つ上の層および１つ下の層において決定されてもよい。ｚスタックのデジタル画像は、２０倍または４０倍の倍率などの高倍率ビューを含むことができる。
【0136】
ステップｉ）１３２は、撮像デバイス１１６を使用することによって第１のデジタル画像を撮像するステップを含むことができる。例えば、第１のデジタル画像は、スライド撮像装置１１０によって自動的に決定された推奨最適フォーカス面である、いわゆるシードフォーカス面において撮像されてもよい。例えば、スライド撮像装置１１０は、シードフォーカス面に関する情報が記憶された少なくとも１つのデータベースを備えることができる。
【0137】
ｚスタックを決定するために、毎回２つの層が追加される。例えば、２つの追加のデジタル画像は、焦点を含む層から±εの距離にある層で撮像されてもよく、εは正の数である。具体的には、１つのデジタル画像は、第１のデジタル画像の画像面の上方で撮像されてもよく、１つのデジタル画像は、第１のデジタル画像の画像面の下方で撮像されてもよい。焦点を含む層からの距離±εは、精度に応じて選択することができる。例えば、ｚスタックは、被写界深度によって、および被写体のサイズを知ることによって定義される距離ε＝１μｍにおいて決定される複数のデジタル画像を含むことができる。しかしながら、距離εおよび／または等距離でない距離に対する他の値が実現可能である。ｚスタックの例では、距離εは、０．１μｍ、０．２μｍ、０．２５μｍ、０．５μｍであってもよい。さらに、１、３、５、７、９、１１、１３および１５層が選択されてもよい。
【0138】
グラフィカル表示は、特に予め定義された数の試料について、ｚレベルに対してプロットされたシャープネス値を含むことができる。シャープネスに関する情報を決定することおよびグラフィカル表示を生成することは、少なくとも１つの制御および評価装置１２２を使用することによって実行されてもよい。
【0139】
本方法は、グラフィカル表示に応じて、トランスファデバイス１１９とスライド１１４との間の異なる距離に対してトランスファデバイス１１９のフォーカス設定を調整するステップを含むことができる。フォーカスコイルを含むフォーカス機構の高さは、ｚ＝０で焦点を合わせ始めるときに最高の平均シャープネスが得られるように調整することができる。トランスファデバイス１１９を備えるフォーカス機構アセンブリは、仕様レベルを超えることなく、その極値に設定されてもよい。フォーカスコイルの公称フォーカス位置の高さの設定を確認するために、フォーカスコイルが停止され、ライントレースがフォーカスカメラから表示される。ライントレースは、キャステレーション光学系に基づく受信信号を表す。表示された曲線の精度は、フォーカスコイルおよびトランスファデバイスを含むフォーカス機構アセンブリの高さが正しく調整されているかどうかを示すことができる。ライントレースは、上部の水平バーの３つの色が分離されている場合に許容可能である。既知のデバイスでは、フォーカス機構アセンブリは、ねじで固定されている場合があり、手動で調整しなければならない。本発明は、本発明に記載されるような品質管理に基づいてフォーカス機構アセンブリの高さを自動的に調整することを提案する。テストを正確に行わなければならず、時間がかかるため、このような自動化された手法は、特に有用である。ｚレベルに対する焦点が外れた状態のクラスに基づく強い「ｖ」字形状の傾向に基づいてｚ＝０を定義するために、品質の平均的尺度が達成される前に多くのテストを行う必要があった、Ｋｏｈｌｂｅｒｇｅｒ Ｔ，Ｌｉｕ Ｙ，Ｍｏｒａｎ Ｍ，ｅｔ ａｌ．“Ｗｈｏｌｅ－Ｓｌｉｄｅ Ｉｍａｇｅ Ｆｏｃｕｓ Ｑｕａｌｉｔｙ：Ａｕｔｏｍａｔｉｃ Ａｓｓｅｓｓｍｅｎｔ ａｎｄ Ｉｍｐａｃｔ ｏｎ ＡＩ Ｃａｎｃｅｒ Ｄｅｔｅｃｔｉｏｎ”，Ｊ Ｐａｔｈｏｌ Ｉｎｆｏｒｍ，２０１９に記載された手動手法とは対照的に、本発明によって提案される方法は、自動化により労働効率的である。
【0140】
被写界深度を調整するためのフォーカス設定の調整を自動的に行うことができる。具体的には、ｚスタックの決定、シャープネスに関する情報の決定、およびグラフィカル表示の生成は、少なくとも１つの制御および評価装置１２２を使用することなどによって自動的に行うことができる。
【0141】
本方法は、少なくとも１つのユーザインターフェース１３０を使用することなどによって、グラフィカル表示を行うステップをさらに含むことができる。
【0142】
図６は、実験結果を示す。特に、３つのデジタル画像を含むｚスタックの生成が示されている。シーディング面の上方の１つのデジタル画像を＋７μｍで撮像し、シーディング面の下方の１つのデジタル画像を－７μｍで撮像している。中間に、シーディング面で撮像されたデジタル画像が示されている。矢印はトランスファデバイス１１９を示し、細い矢印は焦点距離の変動を示す。
【0143】
【0144】
図８は、本発明によるスライド撮像装置１１０の少なくとも１つの撮像デバイス１１６を使用して、スライド１１４に搭載された試料１１２の三次元デジタル画像を決定するためのコンピュータ実装方法の好ましい実施形態のフローチャートを概略的に示す。
【0145】
本方法は、以下のステップ、すなわち、
－ （参照番号１３８で示される）二次元デジタル画像のｚスタックを決定するステップであって、ｚスタックがスライド撮像装置１１０によって決定された推奨最適フォーカス面であるシードフォーカス面を起点として、スライド１１４とトランスファデバイス１１９との間の少なくとも３つの異なる距離で試料１１２を撮像することによって決定され、シードフォーカス面で撮像された第１の二次元画像が第１のシャープネス値を有し、前記距離が、異なる距離で決定された二次元デジタル画像のシャープネス値が第１のシャープネス値とは異なり、かつ互いに異なるように、上述したようにまたは以下でより詳細に説明するように、本発明による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される、決定するステップと、
－ （参照番号１４０で示される）品質の分類に応じた表示を使用することによって、ｚスタックの各デジタル二次元画像の焦点が合った領域を選択するステップと、
－ （参照番号１４２で示される）シードフォーカス面とｚスタックの各デジタル二次元画像の焦点が合った領域とに関する情報を組み合わせることによって、三次元デジタル画像を決定するステップと、
を含む。
－ （参照番号１３８で示される）二次元デジタル画像のｚスタックを決定するステップであって、ｚスタックがスライド撮像装置１１０によって決定された推奨最適フォーカス面であるシードフォーカス面を起点として、スライド１１４とトランスファデバイス１１９との間の少なくとも３つの異なる距離で試料１１２を撮像することによって決定され、シードフォーカス面で撮像された第１の二次元画像が第１のシャープネス値を有し、前記距離が、異なる距離で決定された二次元デジタル画像のシャープネス値が第１のシャープネス値とは異なり、かつ互いに異なるように、上述したようにまたは以下でより詳細に説明するように、本発明による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される、決定するステップと、
－ （参照番号１４０で示される）品質の分類に応じた表示を使用することによって、ｚスタックの各デジタル二次元画像の焦点が合った領域を選択するステップと、
－ （参照番号１４２で示される）シードフォーカス面とｚスタックの各デジタル二次元画像の焦点が合った領域とに関する情報を組み合わせることによって、三次元デジタル画像を決定するステップと、
を含む。
【0146】
ｚスタックのデジタル画像の前記距離は、品質管理のための方法のステップｂ）１２６で決定された相対強度および／または色変化に基づいて定義することができる。具体的には、距離は、２つの層のデジタル画像のシャープネス値が関心領域において異なり得るように定義することができる。距離は、２つの層のデジタル画像のシャープネス値が、所定の許容範囲を超えて、例えば少なくとも５％を超えて異なってもよいように定義することができる。焦点を含む層からの距離±εは、精度に応じて選択することができる。例えば、ｚスタックは、被写界深度によって、および被写体のサイズを知ることによって定義される距離ε＝１μｍにおいて決定される複数のデジタル画像を含むことができる。しかしながら、距離εおよび／または等距離でない距離に対する他の値が実現可能である。ｚスタックの例では、距離εは、０．１μｍ、０．２μｍ、０．２５μｍ、０．５μｍであってもよい。さらに、１、３、５、７、９、１１、１３および１５層が選択されてもよい。
【0147】
スライド撮像装置１１０は、試料の下縁上の最も高い垂直延長線付近のｚスタックに基づいて、シーディング点とも表記されるシード点を選ぶことによって、各スライドに対してフォーカス面を定義することができる。結果として、最良のフォーカス面、すなわちシード面を定義することができる。スライド撮像装置１１０は、動的前方視焦点追跡機構から導出されるデータに基づいて、デジタル画像の走査中にフォーカス面を連続的に更新するように構成されてもよい。具体的には、スプリットミラーおよびキャステレーション光学系により、撮像カメラの隣のフォーカスカメラを同時に走査して、信号の焦点が合っているかどうかを定義することが可能になる。この情報を直接使用して、フォーカス機構アセンブリの動的フォーカスコイルの出力を調整し、トランスファデバイス１１９の高さを調整することができる。
【0148】
方法１３８の第１のステップは、シード面において第１の二次元デジタル画像を撮像するステップと、スライド１１４とトランスファデバイス１１９との間の２つの相対する方向において少なくとも２つのさらなる二次元デジタル画像を撮像するステップと、を含むことができる。二次元デジタル画像のそれぞれにおいて、被写界深度が浅いため、同じｚ平面上にあるそれぞれのデジタル画像の領域のみの焦点が合う。
【0149】
次のステップ１４０では、全ての二次元デジタル画像が、特に制御および評価装置を使用することによって、各二次元画像から「鮮明な」画像領域を選択することによって分析されてもよい。３Ｄ情報は、焦点からの深度によって生成されてもよい。具体的には、三次元画像は、決定された焦点が合った領域とそれぞれのフォーカス面に関する知識とを組み合わせることによって決定することができる。したがって、高さ情報を統合することによって、三次元デジタル画像の再構成を行うことができる。
【0150】
本方法は、三次元デジタル画像を表示することをさらに含むことができる。三次元デジタル画像は、少なくとも１つのユーザインターフェース１３０を使用することによって表示されてもよい。
【0151】
本方法は、色情報、すなわちテクスチャ画像を三次元デジタル画像の個々のボクセル、すなわち３Ｄ画素に適用することによって三次元デジタル画像を着色することを含むことができる。ｘ、ｙ、およびｚ座標を使用するテクスチャリングを介して、画素に色を定義することができる。これにより、より良好な基準比較を通して、より良好な被写体認識が可能になる場合がある。
【0152】
図９Ａ～９Ｃは、実験結果を示す。図９Ａでは、左上（背景）から右下（試料の最も高い点）までのデジタル画像のフォーカス領域が、－７から＋７まで０．２５μｍのステップで４０倍の倍率で示されている。図９Ｂは、膜貫通タンパク質ＨＥＲ２の半定量的検出を目的としたＶＥＮＴＡＮＡ（登録商標）ＨＥＲ２（４Ｂ５）抗体の例示的な二次元分析を示す。図９Ｃは、図９Ａに示すｚスタックに基づいた、膜貫通タンパク質ＨＥＲ２の半定量的検出を目的としたＶＥＮＴＡＮＡ（登録商標）ＨＥＲ２（４Ｂ５）抗体の三次元画像を示す。
【0153】
図１０は、本発明による、スライド１１４に搭載された試料１１２の少なくとも１つのデジタル画像を分析するための機械学習および深層学習モデルを訓練するためのコンピュータ実装方法の好ましい実施形態のフローチャートを概略的に示す。
【0154】
本方法は、少なくとも１つの訓練データセットを生成すること（参照番号１４４で示される）を含む。訓練データセットを生成することは、撮像デバイス１１６を使用して、スライドに搭載された既知の試料１１２の複数のデジタル画像を決定することによって、デジタル画像のｚスタックを決定することを含む。既知の試料１１２は、少なくとも１つの所定のまたは予め定義された特徴を有する。ｚスタックは、トランスファデバイス１１９とスライド１１４との間の少なくとも３つの異なる距離で決定された複数のデジタル画像を含み、前記距離が、ｚスタックがトランスファデバイスの焦点が外れた状態で決定されたデジタル画像と、トランスファデバイスの焦点が合った状態で決定されたデジタル画像とを含むように、上述したようにまたは以下でより詳細に説明するように、品質管理のための本発明による品質管理のためのコンピュータ実装方法を使用することによって決定されたシャープネス値に基づいて定義される。
【0155】
機械学習および深層学習モデルは、例えば、畳み込みニューラルネットワークおよび／または通常のニューラルネットワークに基づいてもよい。
【0156】
訓練は、訓練データセット上で機械深層学習モデルのアルゴリズムのパラメータを決定するプロセスを含むことができる。訓練は、最良のパラメータの組合せが決定される、少なくとも１つの最適化または調整プロセスを含むことができる。訓練データセットは、デジタル画像の複数のｚスタックを含むことができる。機械学習および深層学習モデルの訓練のために、少なくとも１つの所定のまたは予め定義された特徴を有する既知の試料のデジタル画像が使用されることがある。例えば、特徴は、色、テクスチャ、形態計測、およびトポロジーのうちの１つまたは複数を含むことができる。
【0157】
ｚスタックを決定するために、毎回、少なくとも２つの層（上の層と下の層）のデジタル画像を追加することができる。ｚスタックの決定に関しては、フォーカス品質を決定するための方法、および三次元デジタル画像を決定するための方法のｚスタックの決定に関する説明を参照されたい。これらのデジタル画像をどのレベルまで実際にアルゴリズムを訓練するために使用することができるかは、アルゴリズムの訓練中に定義することができる。例えば、品質管理値を、フォーカス面と比較して９５％、９０％、８５％、８０％、および７５％などと定義することができる。これらの値は、直接定義されなくてもよいが、品質管理ツールでしきい値を定義することによって間接的に推定されてもよい。これにより、デジタルの焦点が外れた状態は、最初に定義されず、または予め定義されないが、アルゴリズムは、より低いシャープネス値に対処することを学習する。
【0158】
本方法は、機械学習モデルをデジタル画像のｚスタックに適用すること（参照番号１４６で示す）と、機械学習および深層学習モデルを調整することと、を含む。
【0159】
本方法は、訓練された機械学習および深層学習モデルをよりロバストにすることが可能であってもよく、その結果、焦点が外れた状態のまたはあまり鮮明でない領域を、追加の訓練に基づいて特定のしきい値まで処理することができる。
【0160】
一例として、本発明に記載されるような品質管理によって定義される最高のフォーカス値による機械学習または深層学習を使用して、好ましくは、ｚ＝０のｚスタックで得られる分析用の重要な特徴を定義することができる。機械学習または深層学習アルゴリズムによって使用される特性は、ヒートマップにおいて強調表示することができる。加えて、定義された特性は、異なるｚスタックに対して訓練されてもよい。加えて、より低いフォーカス値も、シャープネス値の最小しきい値を下げることによって、アルゴリズムの訓練に含めることができる。これにより、焦点が外れた状態の領域に関するアルゴリズムのロバスト性を向上させることが可能になる場合がある。
【0161】
図１１は、本発明による生物学的材料を含む組織試料のデジタル画像の品質管理のために開発されたプログラムの概要を示す。描写された組織の画像は、７７８２４画素の幅および１１５７１２画素の高さを含む。スキャンするために、４０倍（０．２５００ｍｐｐ）の倍率を選択した。フォーカスはオートフォーカスであり、フォーカス品質ルーチンおよびスキャンモードは通常であった。フォーカス品質を定義するために、本発明に記載されるような品質管理を適用した。サブ図「Ａ」は、ヒートマップにおいて赤で表される「焦点が外れた状態のサブ領域」の表示を表す。サブ図「Ｂ」は、ＲＧＢ色空間の赤の色チャネルに基づいたラプラスの焦点が外れた状態のしきい値を示し、最も高いシャープネス値に対する白色の２５５の最大値から、焦点が外れた状態に対する黒色の０までがある。サブ図「Ｃ」は、全スライド画像の焦点が外れた状態の画素の割合を示す。
【符号の説明】
【0162】
１１０ スライド撮像装置
１１２ 試料
１１４ スライド
１１６ 撮像デバイス
１１７ ２Ｄカメラ
１１８ 保管装置
１１９ トランスファデバイス
１２０ 供給装置
１２２ 制御および評価装置
１２４ 少なくとも１つのデジタル画像を提供するステップ
１２６ デジタル画像の品質を決定するステップ
１２８ 少なくとも１つの表示を生成するステップ
１３０ ユーザインターフェース
１３２ デジタル画像のｚスタックを決定するステップ
１３４ シャープネスに関する情報を決定するステップ
１３６ グラフィカル表示を生成するステップ
１３８ 二次元デジタル画像のｚスタックを決定するステップ
１４０ 焦点が合った領域を選択するステップ
１４２ 三次元デジタル画像を決定するステップ
１４４ 少なくとも１つの訓練データセットを生成するステップ
１４６ 適用するステップ
１１２ 試料
１１４ スライド
１１６ 撮像デバイス
１１７ ２Ｄカメラ
１１８ 保管装置
１１９ トランスファデバイス
１２０ 供給装置
１２２ 制御および評価装置
１２４ 少なくとも１つのデジタル画像を提供するステップ
１２６ デジタル画像の品質を決定するステップ
１２８ 少なくとも１つの表示を生成するステップ
１３０ ユーザインターフェース
１３２ デジタル画像のｚスタックを決定するステップ
１３４ シャープネスに関する情報を決定するステップ
１３６ グラフィカル表示を生成するステップ
１３８ 二次元デジタル画像のｚスタックを決定するステップ
１４０ 焦点が合った領域を選択するステップ
１４２ 三次元デジタル画像を決定するステップ
１４４ 少なくとも１つの訓練データセットを生成するステップ
１４６ 適用するステップ
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【国際調査報告】