▶ ヴェリリー ライフ サイエンシズ エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-21
(45)【発行日】2022-09-30
(54)【発明の名称】高度な病理診断
(51)【国際特許分類】
G16H 30/40 20180101AFI20220922BHJP
G16H 50/20 20180101ALI20220922BHJP
【ＦＩ】
G16H30/40
G16H50/20
【請求項の数】
20
【外国語出願】
(21)【出願番号】P 2020213040
(22)【出願日】2020-12-23
(62)【分割の表示】P 2019505009の分割
【原出願日】2017-08-09
(65)【公開番号】P2021047911
(43)【公開日】2021-03-25
【審査請求日】2020-12-28
(31)【優先権主張番号】15/235,541
(32)【優先日】2016-08-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516035068
【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】バラール，ジョエル ケー．
【審査官】関 博文
(56)【参考文献】
【文献】特開２０１２－１５５４５５（ＪＰ，Ａ）
【文献】特表２００７－５２８７４６（ＪＰ，Ａ）
【文献】特開２０１６－０８５７１５（ＪＰ，Ａ）
【文献】特開２００５－１８２６７０（ＪＰ，Ａ）
【文献】特開平０５－２０５０１８（ＪＰ，Ａ）
【文献】特表２０１２－５２３８７７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
病理試料を拡大するように構成された顕微鏡、前記顕微鏡からの拡大病理画像を記録するように位置決めされたカメラ、
前記拡大病理画像を示すように構成された表示装置、および
前記カメラおよび前記表示装置に結合された処理装置
を備えるシステムであって、前記処理装置は、論理回路内に配置された機械学習アルゴリズムを含み、前記処理装置は、前記処理装置によって実行されたときに、
前記機械学習アルゴリズムを使用して、前記拡大病理画像内の１つまたは複数の対象領域を特定すること、および
前記病理試料が前記顕微鏡で拡大されている間に、前記表示装置を使用して、前記顕微鏡のユーザに前記拡大病理画像内の前記１つまたは複数の対象領域に注意するように警告すること
を含む動作を前記システムに実行させる命令を含み、前記ユーザに警告することは、前記ユーザに診断を報告することを含み、前記報告することは、前記診断について前記機械学習アルゴリズムから信頼区間を出力することを含み、前記診断は、前記１つまたは複数の対象領域内の構造に関連付けられる、システム。
【請求項2】
前記処理装置に結合されたネットワーク接続をさらに備え、前記処理装置は、前記処理装置によって実行されたときに、前記システムの前記ユーザから、前記ネットワーク接続を介して第三者と動画チャットを開始する命令を受信すること、
前記表示装置上で前記動画チャットを開始すること、
前記複数の拡大病理画像に含まれる１つまたは複数の画像を、前記ネットワーク接続を介して前記第三者と共有すること
を含むさらなることを前記システムに実行させる追加の命令を含む、請求項１に記載のシステム。
【請求項3】
前記処理装置は、前記機械学習アルゴリズムを使用して、前記１つまたは複数の対象領域をリアルタイムで特定するように構成され、前記機械学習アルゴリズムは、前記処理装置に結合された病理データベース内の参照病理画像を使用して前記１つまたは複数の対象領域を特定するように訓練される、請求項１に記載のシステム。
【請求項4】
前記病理データベースは、前記病理データベース内の前記参照病理画像に対応する注釈を含み、前記機械学習アルゴリズムは、前記注釈および前記参照病理画像の両方を使用して前記拡大病理画像内の前記１つまたは複数の対象領域を特定するように訓練される、請求項３に記載のシステム。
【請求項5】
前記機械学習アルゴリズムは、ニューラルネットワークを含む、請求項３に記載のシステム。
【請求項6】
前記機械学習アルゴリズムは、並行して、または間隔を置いて動作する複数のアルゴリズムを含み、前記複数のアルゴリズムの少なくとも１つは、前記ニューラルネットワークを含む、請求項５に記載のシステム。
【請求項7】
前記処理装置は、前記処理装置によって実行されたときに、前記ユーザの確認が不十分であると考えられる前記病理試料の部位について、前記ユーザが前記部位を閾値時間未満の間見ていることに基づいて特定すること、および
前記ユーザの確認が不十分であると考えられる前記部位内の注意対象である可能性がある１つまたは複数の領域を前記ユーザに報告すること
を含むさらなる動作を前記システムに実行させる追加の命令を含む、請求項１に記載のシステム。
【請求項8】
処理装置の作動方法であって、
前記処理装置がカメラから拡大病理画像を受信すること、
前記処理装置が、前記拡大病理画像内の１つまたは複数の対象領域を特定することであって、前記処理装置は、前記１つまたは複数の対象領域を特定する、論理回路内に配置された機械学習アルゴリズムを含むこと、および
病理試料が顕微鏡で拡大されている間に、前記処理装置が、前記処理装置に結合された表示装置を使用して、顕微鏡のユーザに前記拡大病理画像内の前記１つまたは複数の対象領域に注意するように警告することであって、前記ユーザに警告することは、前記１つまたは複数の対象領域に関連付けられた構造の診断を出力することであって、前記診断は、前記機械学習アルゴリズムからの前記診断の信頼区間を含む、前記ユーザに警告すること
を含む、方法。
【請求項9】
前記処理装置が、前記処理装置に結合されたスピーカを使用して、前記ユーザに前記診断を報告することをさらに含む、請求項８に記載の方法。
【請求項10】
前記処理装置が、前記ユーザから、前記処理装置に結合されたネットワーク接続を介して第三者と動画チャットを開始する命令を受信すること、および前記処理装置が、前記表示装置上で前記動画チャットを開始すること
をさらに含む、請求項９に記載の方法。
【請求項11】
前記動画チャットを開始することは、前記拡大病理画像内の１つまたは複数の画像を、前記ネットワーク接続を介して前記第三者と共有することを含む、請求項１０に記載の方法。
【請求項12】
前記機械学習アルゴリズムは、前記処理装置に結合された病理データベース内に配置された参照病理画像を使用して前記１つまたは複数の対象領域を特定するように訓練される、請求項８に記載の方法。
【請求項13】
前記機械学習アルゴリズムは、ニューラルネットワークを含む、請求項８に記載の方法。
【請求項14】
前記機械学習アルゴリズムは、並行して、または間隔を置いて動作する複数のアルゴリズムを含み、前記アルゴリズムの少なくとも１つは、前記ニューラルネットワークを含む、請求項１３に記載の方法。
【請求項15】
非一時的コンピュータ可読記憶媒体であって、処理装置によって実行されたときに、前記処理装置を使用して、顕微鏡に光学的に結合されたカメラから拡大病理画像を受信すること、
前記処理装置を使用して、前記拡大病理画像内の１つまたは複数の対象領域を特定することであって、前記コンピュータ可読記憶媒体は、前記１つまたは複数の対象領域を特定する機械学習アルゴリズムを含む、前記対象領域を特定すること
病理試料が顕微鏡で拡大されている間に、前記処理装置が、前記処理装置に結合された表示装置を使用して、顕微鏡のユーザに前記拡大病理画像内の前記１つまたは複数の対象領域に注意するように警告することであって、前記ユーザに警告することは、前記１つまたは複数の対象領域内の構造に関連付けられた診断を出力することであって、ここで前記診断は、前記機械学習アルゴリズムからの前記診断の信頼区間を含む、前記ユーザに警告すること
を含む動作を前記処理装置に実行させる命令を記憶する、非一時的コンピュータ可読記憶媒体。
【請求項16】
前記命令は、前記処理装置によって実行されたときに、前記処理装置に結合されたスピーカを介して、ユーザに前記診断を報告すること
を含むさらなる動作を前記処理装置に実行させる、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記命令は、前記処理装置によって実行されたときに、前記ユーザから、前記処理装置に結合されたネットワーク接続を介して第三者と動画チャットを開始する命令を受信すること、および
前記表示装置上で前記動画チャットを開始すること
を含むさらなる動作を前記処理装置に実行させる、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記動画チャットを開始することは、前記複数の拡大病理画像内の１つまたは複数の画像を、前記ネットワーク接続を介して前記第三者と共有することを含む、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記機械学習アルゴリズムは、前記処理装置に結合された病理データベース内に配置された参照病理画像を使用して前記１つまたは複数の対象領域を特定するように訓練される、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項20】
前記機械学習アルゴリズムは、ニューラルネットワークを含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
［0001］ 本開示は、全般的に、病理学を支援するシステム／方法に関する。
【背景技術】
【0002】
［0002］ 病理学は、病気の研究および診断に関連する医学分野である。病理学は、体液、組織、および細胞の試料の分析および検査を伴うことが最も多い。一般的な研究調査の分野として、病理学は、（１）病因、（２）発病、（３）形態学的変化、および（４）形態学的変化の結果の病気の４つの態様に関係する。
【0003】
［0003］ 病理学の分野は、古代まで遡る。多くの昔の社会は、解剖／検査の結果として生物学的状態の基本的な知識を持っていた。古代ギリシャのヘレニズム期までには、病気の因果関係の研究が人類文化に出現した。病理学を通した病気に対する人間の理解は、時代が進むにつれて少しずつ向上し続けた。例えば、病理学の多くの進歩はイスラムの中世時代の功績に起因する。
【0004】
［0004］ しかしながら、現代の病理学だけは、微生物学の出現によって、１８００年代後半に異なる分野の研究として生まれた。今日では、病理学は、多くの下位分野に分類される主な医療業務である。これらの全ての下位分野において、病理医の検査結果をチェックするためのセカンドオピニオンを受けることは、誤診をなくすのに有効である。病理学の診断ミスをなくすことは、結果として、より健康な人の集団を生じさせ、病理医の責任負担を低減し得る。
【0005】
［0005］ 以下の図面を参照しながら、本発明の非限定的かつ非包括的な実施形態を説明する。図面では、別段の定めのない限り、さまざまな図面全体を通して、同様の参照番号は同様の部品を指すものとする。図面は、必ずしも正確な縮尺で示されておらず、記載されている原理を示すことに重点が置かれている。
【図面の簡単な説明】
【0006】
【図1】［0006］本開示の一実施形態に係る、病理診断用のシステムを示す図である。
【図2】［0007］本開示の一実施形態に係る、機械学習アルゴリズムを訓練するための病理データベースを示す図である。
【図4】［0009］本開示のいくつかの実施形態に係る、病理診断の方法を示すフローチャートである。
【発明を実施するための形態】
【0007】
［0010］ 本明細書において、高度な病理診断のための装置および方法の実施形態を示す。以下の説明において、実施形態を十分に理解することができるように、多くの具体的詳細を説明する。しかしながら、当業者は、本明細書に記載されている技術は、１つまたは複数の具体的詳細なしに、または他の方法、構成要素、材料などを用いて実施可能であることを理解するであろう。他の例において、特定の態様を曖昧にするのを避けるために、既知の構造、材料、または動作は示されていない、または詳細に記載されていない。
【0008】
［0011］ 本明細書全体を通して、「１つの実施形態」または「一実施形態」という表現は、その実施形態に関連して示されている特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれるという意味である。したがって、本明細書全体を通して、さまざまな場所における「１つの実施形態において」または「一実施形態において」という表現は、必ずしも全てが同じ実施形態を指すとは限らない。さらに、特定の特徴、構造、または特性は、１つまたは複数の実施形態において、任意の適切な方法で組み合わせられ得る。
【0009】
［0012］ 本開示は、病理診断を向上させるためのシステムおよび方法を提供する。より詳細には、これらのシステムおよび方法は、病気の診断において病理医を支援するのに使用され得る。機械学習アルゴリズムは、機械学習アルゴリズムが病理試料内の対象領域（例えば、病変組織、異型細胞、異常成長など）を認識した場合に、病理医に試料内のこれらの領域に注意するように警告するように訓練され得る。病理医にセカンドオピニオンを提供することは、（病理医が個々のスライドに費やす時間を減らすことができることにより）病理医の効率を上げ、（病理医に試料内の対象領域に注意するように警告することにより）不正確な診断の確率を減らし得る。
【0010】
［0013］ 図１は、本開示の一実施形態に係る、病理診断用のシステム１００を示す。システム１００は、顕微鏡１０１と、デジタルカメラ１０３と、マイクロホン１０５と、スクリーン１０７と、処理装置１０９と、ネットワーク１１１と、記憶装置１２３と、スピーカ１２５と、第１の機械－電気変換器１１３と、第２の機械－電気変換器１１５とを含む。
【0011】
［0014］ 図示されている実施形態では、ユーザ（例えば、病理医）は、顕微鏡１０１を使用して拡大病理試料を見ている。顕微鏡１０１は、拡大病理画像を形成するために病理試料を拡大している。拡大病理画像は、顕微鏡１０１に光学的に結合されたデジタルカメラ１０３を使用して記録される。デジタルカメラ１０３は、処理装置１０９（例えば、デスクトップコンピュータ、サーバなど）に電気的に結合されて、拡大病理画像（静止画像または動画）を処理装置１０９に送信する。処理装置１０９は、拡大病理画像内の１つまたは複数の対象領域（例えば、スクリーン１０７上の枠線で囲まれた部分１３１）を特定するために、拡大病理画像を（リモートまたはローカル記憶装置１２３上に含まれている）病理データベース内に含まれる参照病理画像と比較する。拡大病理画像内に対象領域がある場合、システム１００は、顕微鏡１０１のユーザに１つまたは複数の対象領域に注意するように警告し得る。この警告は、１つまたは複数の対象領域の特定に応答して、音声警告（例えば、「癌があるかもしれない画像の左下隅を見なさい」とのスピーカ１２５からの音声）、視覚的警告（例えば、スクリーン１０７上の対象領域１３１を強調表示する）、または触覚的警告（例えば、顕微鏡１０１の載物台を振動させる）であり得る。
【0012】
［0015］ １つの実施形態では、機械学習アルゴリズム （以下の図２を参照）は、１つまたは複数の対象領域を特定するのに使用され、病理データベース内の参照病理画像を使用して１つまたは複数の対象領域を特定するように訓練される。病理データベースは、参照病理画像、病理医からの注釈、および病理医からのグレーディング／診断の多くの組み合わせを含み得る。処理装置１０９において、画像処理および機械学習アルゴリズムは、デジタルカメラ１０３からの画像データがリアルタイムで判断されるように動作し得、モニタ上で視覚的に、または音声フィードバック（例えば、「前立腺腺癌のグリソンスコア６」、「スライドに皺がある」、「画像の焦点がずれている」など）によって、ユーザ（病理医）に指示が出され得る。便宜上、システム１００にヘッドホンが追加されて、会話が記録され、デジタルカメラ１０３によって取り込まれた動画／画像に関してアーカイブされ得る。
【0013】
［0016］ 病理データベース内の参照画像は、機械学習アルゴリズムが病変組織または健康な組織として認識するように訓練された数十万枚あるいは数百万枚もの病理試料の画像を含み得る。さらに、病理データベースは、病理データベース内の参照病理画像に対応する熟練の病理医からの注釈も含み得る（以下の図２を参照）。機械学習アルゴリズムは、参照病理画像と共に病理医からの注釈を使用して、拡大病理画像内の１つまたは複数の対象領域を特定するように自身を訓練し得る。病理データベースは、参照病理画像が記録されたときに病理医が話した内容の音声転写テキストを含み得る。例えば、データベース内に画像を記録する病理医が、「試料のこの部分は正常に見える」と話したかもしれない。機械学習アルゴリズムは、データベースからこの発言を自然言語または音声転写テキストとして受け取り、病理医が指している試料のその部分には注意する所見がないことを認識し得る。機械学習アルゴリズムは、「正常」と判断された試料の特性に注目して、今後の画像におけるこれらの特性を認識し得る。あるいは、病理医は試料が悪性であると発言したかもしれない。機械学習アルゴリズムは、悪性試料の特性に注目して、この悪性試料の知識を今後の拡大病理画像に適用し得る。
【0014】
［0017］ １つの実施形態では、病理データベースはさらに、病理データベース内の参照病理画像に関するスライド位置情報および倍率情報を含む。例えば、参照試料が静止画像か動画のいずれかとしてデータベース内に含まれている場合、顕微鏡が焦点合わせしていた位置（スライド位置情報）が記録されている場合があり、この位置は、試料上の相対座標、顕微鏡載物台の位置などを含み得る。同様に、参照病理画像内の特徴を見るために使用される倍率レベルも記録され得る。例えば、「良性」か「悪性」かの判断を行うときに、機械学習アルゴリズムがどんな倍率が使用されたかを知ることは有益であり得る。それは、特定の特徴は、特定の倍率でしか目に見えないからである。機械学習アルゴリズムは、スライド位置情報および倍率情報を使用して、拡大病理画像内の１つまたは複数の対象領域を特定し得る。
【0015】
［0018］ 図示されている実施形態では、システム１００は、ユーザの確認が不十分であると考えられる病理試料の部位を特定し、ユーザの確認が不十分であると考えられた部位内に、注意対象である可能性がある１つまたは複数の領域（例えば、病変、癌性、またはそれ以外の対象の組織／体液／などを含むものとしてシステム１００に現れ得る試料の領域）をユーザに報告し得る。例えば、システム１００のユーザが、病理試料を検査しており、システム１００が重要である可能性があると認識している領域をうっかり見過ごしてしまった場合に、システム１００は、注意対象である可能性がある１つまたは複数の領域の存在をユーザに警告し得る。ユーザへの警告は、上述した方法（例えば、音声による、視覚による、触覚による、または他の方法で）で実現され得る。１つの実施形態では、機械学習アルゴリズムは、ユーザの確認が不十分であると考えられる病理試料の部位について、ユーザが閾値時間の間その部位を見ていることに基づいて特定するように訓練され得る。１つの実施例では、これは、閾値時間の間、試料がユーザの視野内にあったかどうかを機械学習アルゴリズムが追跡することを伴い得る。例えば、システム１００のユーザが病理試料内のある部位を見るのにかける時間が１秒未満である場合、システム１００は試料のこの部位が見過ごされたと推測し得る。
【0016】
［0019］ しかしながら、システム１００は、さらに精密であり、試料の一部の確認が不十分であるかどうかの唯一のメトリックとして単に時間を使用するだけではない場合がある。これは、熟練の病理医は病理試料の１つの部位を一見しただけで、注意対象でないことをすぐに認識することができるためである。したがって、システム１００は、凝視検出（図１の顕微鏡１０１の接眼レンズからの破線で示されている）、病理試料の位置（例えば、載物台位置または試料上の相対位置）、または顕微鏡１０１の倍率レベルの少なくとも１つを採用することによって、ユーザが特定の領域を見た／見なかったことを判断し得る 。したがって、熟練の病理医が病理試料内のある部位を全く見ることなく見逃した場合、システム１００は、凝視検出（例えば、蛹の拡張）を使用して、病理医に試料のこの部分を見過ごしたことを警告し得る。
【0017】
［0020］ 図示されている実施形態では、処理装置１０９は、ネットワーク１１１および／または記憶装置１２３に（有線または無線）接続される。ネットワーク１１１および記憶装置１２３は、ローカルまたはリモートであり得、分散されている、または分散されていないことがあり得る。記憶装置１２３は、ＲＡＭ、ＲＯＭ、ハードディスク、フラッシュメモリ、または任意の他の適切なメモリシステムを含み得る。ネットワーク１１１は、インターネットまたはローカルエリア・ネットワークを含み得る。１つの実施形態では、処理装置１０９は、ネットワーク１１１上の分散システムであり得る。当業者は、本開示の教示に従ってデータを処理／記憶するのにあらゆる方法があることを理解するであろう。
【0018】
［0021］ 図示されている実施形態では、マイクロホン１０５は、病理医が話す内容を記録するために、処理装置１０９に（有線または無線で）電気的に結合されている。この情報は、病理データベースを更新し、さらに機械学習アルゴリズムに学習させるのに使用され得る。さらに、（機械－電気変換器１１３によって提供された）顕微鏡載物台位置および（機械－電気変換器１１５によって提供された）倍率レベルと共に、デジタルカメラ１０３によって取り込まれた画像も病理データベースを更新するのに使用され得る。
【0019】
［0022］ いくつかの実施形態では、システム１００は、病理医が完全デジタル顕微鏡環境へと移行するのを助けるのに使用され得、マウスが処理装置１０９および／または顕微鏡１０１に結合される。マウスは、顕微鏡１０１上のモータ駆動載物台を制御し得る。病理医は、（顕微鏡のノブを回すことによって）スライドを物理的に移動させることを選択することができ、または、病理医は、マウスを動かすことができ、モータ駆動載物台がスライドを対応する位置まで移動させる。１つの実施形態では、機械学習アルゴリズムにさらに情報を提供するために（例えば、スライドのどの部分が無視されたか／見過ごされたかを見つけ出すために）、載物台の動きが取り込まれ得る。
【0020】
［0023］ 図２は、本開示の一実施形態に係る、機械学習アルゴリズム２０３を訓練するための病理データベース２０１を示す。病理データベース２０１は、 図１のシステム１００と同様のシステムを使用して作成され得、記憶装置１２３に記憶され得る。図示されている実施形態に示されているように、病理データベース２０１は、デジタルカメラ（例えば、デジタルカメラ１０３）によって取り込まれた病理画像（例えば、動画または静止画像）を含む。病理画像は、そのフレーム番号、記録時間、病理医の音声注釈（音声転写された）、顕微鏡載物台の位置、収集された際の倍率、病理医の凝視場所に対して、インデックス化される。当業者は、 図１に示されているシステム１００は任意の数の寸法および入力を有するデータベースを作成するのに使用され得、本明細書に示されている寸法／入力に限定されないことを理解するであろう。
【0021】
［0024］ 図示されているように、顕微鏡（例えば、顕微鏡１０１）に光学的に結合されたデジタルカメラ（例えば、デジタルカメラ１０３）は、病理試料の画像をデジタル動画または静止画像として記録を開始し得る。動画の各フレームは、その捕捉時間に対してインデックス化される。例えば、図示されている実施形態では、フレーム１は最初の３マイクロ秒間の記録の間に取り込まれたもの、フレーム２はその次の４マイクロ秒～７マイクロ秒の間の記録の間に取り込まれたもの、などとなる。さらに、マイクロホン（例えば、マイクロホン１０５）が、顕微鏡のユーザの音声注釈を記録し得る。音声注釈は、テキストに変換され、および／または個々の記録時間および動画フレームに対してインデックス化され得る。図示されている実施形態では、病理医は、フレーム１が（最初の３マイクロ秒の記録の間に）取り込まれている間に、「ｔｈｉｓ」という言葉を発し、次のフレームで病理医は、「ｌｏｏｋｓ ｌｉｋｅ ｌｙｍｐｈａｔｉｃ ｔｉｓｓｕｅ ａｎｄ ｍａｙ ｂｅ ｂｅｎｉｇｎ」と話している。
【0022】
［0025］ システムはさらに、顕微鏡載物台の位置を記録して、その位置を記録時間および拡大病理画像に対してインデックス化し得る。図示されている実施形態では、載物台の位置は、載物台の左下位置である（０，０）点からのＸ、Ｙ座標で測定され、載物台の動きは、ミクロンで測定される。しかしながら、他の実施形態では、載物台の軸は異なるように配向され得（例えば、（０，０）点は載物台の右下位置に位置する）、測定の単位は異なることがあり得（例えば、ｍｍ、ｃｍなど）、載物台のＺ位置も記録され得る。また、「載物台位置」は、試料上の特定の位置を特定するのに使用されるので、広く解釈されるべきであり、当業者は、それがあらゆる方法で実現可能であることを理解するであろう。１つの実施形態では、載物台位置は、撮影されるスライドの寸法に対して光学的に決定され、顕微鏡のハードウェアに対して決定されない。図示されているように、記録時間、音声転写テキスト、載物台位置、および凝視象限に対して、特定のフレームを見た倍率も記録される。
【0023】
［0026］ 図示され説明されている他の寸法／入力に対して、ユーザの凝視もインデックス化され得る。図示されている実施形態では、ユーザ／病理医の凝視は象限内で測定される、すなわち、ユーザが見る画像は４つの部分画像に分割され、システムは記録時間の間にユーザが見ていた部分画像を記録する。このことは、顕微鏡または他の外部システムにインストールされたハードウェア／ソフトウェアによって実現され得るが、当業者は凝視を検出するための多くの異なる方法があることを理解するであろう。また、本明細書に示されている実施形態は、病理医／顕微鏡のユーザが見ていた場所を非常に大まかに示したものに過ぎないが、他の実施形態では、ユーザが見ていた正確な座標が記録される。
【0024】
［0027］ １つの実施形態では、拡大病理画像および音声注釈のインデックス化は、拡大病理画像内の対象領域に対するユーザの音声注釈のタグ付けを含み得る。例えば、上述した実施形態では、病理医の「良性」との診断は、４０ｘ倍率での載物台位置座標（１３６，４７）および病理医が象限３，４で見ていたことに関連付けられる。このことにより、機械学習アルゴリズム２０３は、「良性」との判断がなされたときに病理医が見ていた場所を正確に認識することができる。さらに、機械学習アルゴリズム２０３は、検査の履歴（その時点までにどのくらいスライドを検査したか）を認識する。図示されている実施形態では、処理装置はさらに、処理装置によって実行されたときに、処理装置に病理医の音声注釈をテキストに変換させる論理回路を含み、テキストは、上述した他の寸法／入力のうち、記録時間および拡大病理画像に対してインデックス化される。別の実施形態または同じ実施形態では、病理医は、収集された病理画像を確認して、画像に直接注釈を付けて対象領域を示す（例えば、デジタル画像上の癌細胞を丸で囲む、不明の細胞情報の隣に星印を付けるなど）ことによって、より簡単に機械学習アルゴリズム２０３に学習させることができ得る。
【0025】
［0028］ ２人以上の病理医が病理試料を見て注釈を付け得ることは、注目すべき点である。両方の病理医からの情報が取り込まれるように、さらなるデータベースの行および／列が追加され得る。次に、試料／スライドについて分かっていることに関してグラウンドトゥルース／論拠を作成するために、両方の病理医の入力が比較され得る。病理試料に関する情報の冗長性は、病理データベース２０１内の診断をより確かなものとし、機械学習アルゴリズム２０３を訓練するためにより大きなサンプルサイズを提供し得る。
【0026】
［0029］ 上述した入力の全ては、病理試料内の対象領域を認識するように機械学習アルゴリズム２０３を訓練するために、機械学習アルゴリズム２０３に供給され得る。機械学習アルゴリズム２０３は、相関ルール学習、深層学習、帰納的論理プログラミング、決定木の学習、サポートベクターマシン、ベイジアン・ネットワーク、強化学習、クラスタリング、表現学習、類似度および距離学習、スパース辞書学習、遺伝的アルゴリズムなどのようなニューラルネットワークタイプのアプローチまたは他の方法に基づき得る。さらに、機械学習アルゴリズム２０３は、並行して、または離散間隔で動作する多くの異なるアルゴリズムを含み得る。
【0027】
［0030］ 図３は、 本開示の一実施形態に係る、図１のシステム１００を使用して病理医が経験し得る内容を示す。画像３０１は、ユーザ／病理医が顕微鏡１０１を通して見たときに見え得る画像である。１つの実施形態では、画像３０１は、スクリーン１０７上に投影される。数分間病理試料を検査した後、スピーカ（例えば、図１のスピーカ１２５）は、発言３０３（注意対象の可能性がある領域を有するスライド上のスポットを見過ごしたことをユーザ／病理医に認識させる）および発言３０５（１つまたは複数の対象領域内の構造の診断をユーザに伝え、診断の信頼区間を出力する）のような複数の発言を出力し得る。図示されているように、対象領域および注意対象の可能性がある領域は、画像３０１内で強調表示され（例えば、枠線で囲まれ）得る。枠線は、スクリーン上または顕微鏡の接眼レンズ内に現れ得る。１つの実施形態では、強調表示は、試料上に直接レーザ光を照射すること、または試料を検査している病理医に警告するための任意の他の方法を含み得る。
【0028】
［0031］ 病理医は、機械学習アルゴリズムからの指示を受けることに加えて、ＧＵＩと対話することによって、または助け（「顕微鏡、確認。乳房病理医を呼び出してください」）を求めることによって、動画チャットアプリケーションを開始することができる。顕微鏡から供給された動画は、その後、遠隔のプロクターに見てもらうために送信され得る。遠隔のプロクターは、ローカルの病理医およびシステム１００と直接通信することができる。必要に応じて、より多くのプロクター／専門医が追加され得る。この監督機能は、学生評価にも使用され得る。
【0029】
［0032］ 監督機能は、機械学習アルゴリズムと組み合わされ得る。例えば、システムが稀な診断を検出した場合に、専門家を呼び出すことを提案する、または自動的に呼び出すことができる。さらに、この機能は、コンセンサスが取れた病理学を可能にするために拡張され得、個々のスライドが常に多数の病理医によって同時に確認され、コンセンサスが実現されたとき（例えば、最初は３人の病理医が接続され、彼らの意見が異なる場合に４人目の病理医が追加されるなど、所望のレベルの合意に達するまで追加される）のみ診断が行われる。
【0030】
［0033］ 図４は、本開示のいくつかの実施形態に係る、病理診断の方法４００を示すフローチャートである。プロセスブロック４０１～４０７のいくつかまたは全てが方法４００内で発生する順序は、限定的であると見なすべきではない。むしろ、本開示の利益を享受する当業者は、方法４００のいくつかは、図示されていないさまざまな順序で、または並行して実行され得ることを理解するであろう。
【0031】
［0034］ ブロック４０１は、拡大病理画像を形成するために顕微鏡を用いて病理試料を拡大することを示す。これは、顕微鏡のノブを調節することによって手動で行われ得る、または顕微鏡を制御するためのコンピュータシステムを使用してデジタル処理で実行され得る。１つの実施形態では、顕微鏡はさらに、（診断を行うための）スライドの最も適切な部分が最初に病理医に示されるように、自動的に拡大表示する／スライドを移動させることができる。この特徴は、病理医のワークフローを大幅に迅速化させるために、スライド供給装置と組み合わされ得る。
【0032】
［0035］ ブロック４０３は、顕微鏡に光学的に結合されたデジタルカメラを使用して拡大病理画像を記録することを示す。処理装置は、無線または有線伝送によって、デジタルカメラから拡大病理画像を受信し得る。
【0033】
［0036］ ブロック４０５は、拡大病理画像内の１つまたは複数の対象領域を特定するために、拡大病理画像を病理データベース内に含まれる参照病理画像と比較することを示す。１つの実施形態では、１つまたは複数の対象領域は、病理試料の病変部分または病理試料内の異型細胞の少なくとも１つを含む。処理装置は、１つまたは複数の対象領域を特定するために機械学習アルゴリズムを実行し得、機械学習アルゴリズムは、病理データベース（上の図２を参照）を使用して対象領域を特定するように訓練され得る。 上述したように、病理データベースは、病理データベース内の参照病理画像に対応する病理医からの注釈を含み得る。機械学習アルゴリズムは、参照病理画像と共に病理医からの注釈を使用して、拡大病理画像内の１つまたは複数の対象領域を特定し得る。
【0034】
［0037］ １つの実施形態では、病理データベースはさらに、倍率情報および参照病理画像上の位置を特定するための位置情報を含む。機械学習アルゴリズムは、参照病理画像によって訓練され、並びに、参照病理画像に関する位置情報および倍率情報を使用して、拡大病理画像内の１つまたは複数の対象領域を特定し得る。１つの実施形態では、病理データベースはさらに、機械学習アルゴリズムを訓練するために同じ病気の複数の参照病理画像を含む（例えば、データベースは、黒色腫の多くの画像を有し得る）。
【0035】
［0038］ ブロック４０７は、顕微鏡のユーザに拡大病理画像内の１つまたは複数の対象領域に注意するように警告することを示す。これは、処理装置が音声を出力するようにとの命令をマイクロホンに出力すること、スクリーンの一部を強調表示すること、または器具を動かす（例えば、振動させる）ことを伴い得る。１つの実施形態では、機械学習アルゴリズムは、１つまたは複数の対象領域内の構造の診断を出力する。別の実施形態または同じ実施形態において、機械学習アルゴリズムは、病理データベース内の参照病理画像に基づいて、診断の信頼区間を出力し得る。
【0036】
［0039］ 上述したプロセスは、コンピュータソフトウェアおよびハードウェアの観点から説明されている。記載されている技術は、有形または一時的でない機械（例えば、コンピュータ）可読記憶媒体内で具現化される機械実行可能命令であって、機械によって実行されたときに、記載されている動作を機械に実行させる命令を構成し得る。さらに、プロセスは、例えば、特定用途向け集積回路（「ＡＳＩＣ」）またはそれ以外のハードウェア内で具現化され得る。
【0037】
［0040］ 有形の一時的でない機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワーク装置、携帯情報端末、製造設備、１つまたは複数のプロセッサのセットを有する任意の装置など）によってアクセス可能な形態で情報を備える（すなわち、記憶する）任意な機構を含む。例えば、機械可読記憶媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。
【0038】
［0041］ 要約書内に記載されているものを含む本発明の図示されている実施形態についての上記説明は、包括的であることを意図するものではない、または本発明を記載されている厳密な形態に限定することを意図するものではない。本明細書では本発明の特定の実施形態および実施例が例示を目的として示されているが、当業者が理解するように、本発明の範囲内でさまざまな修正が可能である。
【0039】
［0042］ これらの修正は、上記の詳細な説明に照らして本発明に対して行われ得る。以下の特許請求の範囲で使用される用語は、本発明を本明細書内で開示されている特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、特許請求の範囲は、クレーム解釈の確立された原則に従って解釈されるべきである。
【図1】
【図2】
【図3】
【図4】
