特許 6811837 病理データ捕捉

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6811837

(24)【登録日】2020年12月17日

(45)【発行日】2021年1月13日

(54)【発明の名称】病理データ捕捉

(51)【国際特許分類】

   G16H 30/00 20180101AFI20201228BHJP

   G16H 10/40 20180101ALI20201228BHJP

   G02B 21/36 20060101ALN20201228BHJP

【ＦＩ】

   G16H30/00

   G16H10/40

   !G02B21/36

【請求項の数】10

【全頁数】12

(21)【出願番号】特願2019-502598(P2019-502598)

(86)(22)【出願日】2017年7月28日

(65)【公表番号】特表2019-530048(P2019-530048A)

(43)【公表日】2019年10月17日

(86)【国際出願番号】US2017044541

(87)【国際公開番号】WO2018026666

(87)【国際公開日】20180208

【審査請求日】2019年3月14日

(31)【優先権主張番号】15/225,247

(32)【優先日】2016年8月1日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】バラール，ジョエル ケー．

【審査官】 塩澤 如正

(56)【参考文献】

【文献】 特開平１１−０７２７１６（ＪＰ，Ａ）

【文献】 特開平０６−２６５７９４（ＪＰ，Ａ）

【文献】 特表２０１４−５２７６４０（ＪＰ，Ａ）

【文献】 特開平０９−２１８３５４（ＪＰ，Ａ）

【文献】 特開２００３−２２２８０１（ＪＰ，Ａ）

【文献】 特開２０１６−０３８５４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１６Ｈ １０／００ − ８０／００

Ｇ０２Ｂ ２１／３６

(57)【特許請求の範囲】

【請求項1】

病理データ捕捉のための方法であって、
拡大病理画像を形成するために顕微鏡によって病理試料を拡大することと、
前記顕微鏡に光学的に結合されたデジタルカメラによって前記拡大病理画像を記録することであって、前記拡大病理画像はビデオに含まれる、前記拡大病理画像を記録することと、
前記顕微鏡のユーザからの音声注釈を記録することと、
前記デジタルカメラに電気的に結合された処理装置へ前記拡大病理画像および前記音声注釈を転送することと
を備え、前記処理装置は、
前記拡大病理画像および前記音声注釈を記憶媒体に記録することと、
前記拡大病理画像および前記音声注釈を記録時間に関してインデックス化し、前記ユーザの前記音声注釈を、前記ユーザの視線を追跡することに基づいて決定される前記拡大病理画像内の１または複数の関心領域にタグ付けすることと、
前記拡大病理画像をつなぎ合わせて未撮像の欠陥を含む複数の高解像度画像を形成することであって、機械学習アルゴリズムを用いることによって前記未撮像の欠陥に関する画像データを生成し、前記未撮像の欠陥は前記複数の高解像度画像を形成するために使用された個々の拡大病理画像の間に配置され、かつ、前記未撮像の欠陥に関する画像データは撮像された実際の画像データとは区別可能に表示される、前記複数の高解像度画像を形成することと
を含む動作を実行する、方法。

【請求項2】

前記処理装置を用いて前記音声注釈をテキストに変換することを更に備え、前記テキストは、前記記録時間および前記拡大病理画像に関してインデックス化される、請求項１に記載の方法。

【請求項3】

顕微鏡ステージの位置を記録し、前記顕微鏡ステージの前記位置を前記処理装置へ転送することを更に備え、前記顕微鏡ステージの前記位置は、前記記録時間および前記拡大病理画像に関してインデックス化される、請求項１に記載の方法。

【請求項4】

前記顕微鏡の倍率を記録し、前記倍率を前記処置装置へ転送することを更に備え、前記処理装置は、前記倍率レベルを、前記記録時間、前記拡大病理画像、および前記顕微鏡ステージの前記位置に関してインデックス化する、請求項３に記載の方法。

【請求項5】

前記拡大病理画像および前記音声注釈によってデータベースを形成することを更に備える、請求項１に記載の方法。

【請求項6】

前記データベースは遠隔サーバをホストとすることを更に備え、前記遠隔サーバは前記処理装置とは異なり、前記処理装置は、前記拡大病理画像および前記音声注釈を前記遠隔
サーバへ転送するためにネットワークに電気的に結合される、請求項５に記載の方法。

【請求項7】

病理データ捕捉のためのシステムであって、
複数の倍率設定を含む顕微鏡と、
前記顕微鏡に光学的に結合され、前記顕微鏡によって生成された拡大病理画像を継続的に捕捉し、前記拡大病理画像を含むビデオを出力するデジタルカメラと、
ユーザの音声注釈を受け取るために結合されたマイクロフォンと、
前記拡大病理画像を受信するために前記デジタルカメラに電気的に結合され、前記音声注釈を受け取るために前記マイクロフォンに電気的に結合された処理装置と
を備え、前記処理装置は、前記処理装置によって実行されると前記処理装置に、
前記拡大病理画像および前記音声注釈を記憶媒体に記録することと、
前記拡大病理画像および前記音声注釈を記録時間に関してインデックス化し、前記ユーザの前記音声注釈を、前記ユーザの視線を追跡することに基づいて決定される前記拡大病理画像内の１または複数の関心領域にタグ付けすることと、
前記拡大病理画像をつなぎ合わせて未撮像の欠陥を含む複数の高解像度画像を形成することであって、機械学習アルゴリズムを用いることによって前記未撮像の欠陥に関する画像データを生成し、前記未撮像の欠陥は前記複数の高解像度画像を形成するために使用された個々の拡大病理画像の間に配置され、かつ、前記未撮像の欠陥に関する画像データは撮像された実際の画像データとは区別可能に表示される、前記複数の高解像度画像を形成することと
を含む動作を実行させる論理を含む、システム。

【請求項8】

前記顕微鏡は、ステージの位置を追跡するための第１の機械電気変換器を含む前記ステージを有し、前記ステージの位置は、前記第１の機械電気変換器から前記処理装置へ伝送され、前記処理装置は、前記処理装置によって実行されると前記処理装置に、
前記ステージの前記位置を、前記記録時間および前記拡大病理画像に関してインデックス化すること
を含む動作を実行させる論理を更に含む、請求項７に記載のシステム。

【請求項9】

前記顕微鏡は、前記顕微鏡の前記倍率設定を測定するための第２の機械電気変換器を更に備え、前記倍率設定は、前記第２の機械電気変換器から前記処理装置へ伝送され、前記処理装置は、前記処理装置によって実行されると前記処理装置に、
前記倍率設定を、前記記録時間および前記ステージの前記位置に関してインデックス化すること
を含む動作を実行させる論理を更に含む、請求項８に記載のシステム。

【請求項10】

前記処理装置は、前記処理装置によって実行されると前記処理装置に、
前記音声注釈をテキストに変換すること
を含む動作を実行させる論理を更に含み、前記テキストは、前記記録時間および前記拡大病理画像に関してインデックス化される、請求項７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

［0001］ 本開示は一般に、病理学において役立つシステム／方法に関する。

【背景技術】

【0002】

［0002］ 病理学は、病気の研究および診断に関する医学の分科である。最も多くの場合、病理学は、体液、身体組織、および細胞試料の分析および検査に関与する。総合的な研究および調査の分野として、病理学は、（１）病因、（２）発病、（３）形態変化、および（４）形態変化の影響という４つの疾病様相に関連する。

【0003】

［0003］ 病理学の分野は、古代まで遡る。以前の社会の多くは、解剖／検査の結果として生体状態の初歩的理解を捉えた。古代ギリシャの時代から、病気の因果関係の研究は人類文化に現れていた。病理学を通した病気に関する人類の理解は、時代の進化とともに段階的に進歩し続けており、たとえば病理学における進歩の多くは、中世イスラムによるものである。

【0004】

［0004］ しかし、現代の病理学は、微生物学の出現とともに、１８００年代後半に確固たる研究分野として現れたばかりである。昨今、病理学は、数々の副分科に分かれた重要な医療行為である。これらの副分科の全てにおいて、正確な診断を確実にするために、複数の医師による共同研究が重要であり得る。また、病理学者の指導は、研修生が、起こり得る多くの異型症状に精通するために、膨大な数の試料を検査することを必要とする。

【0005】

［0005］ 本発明の非限定的および非包括的な実施形態が、以下の図面を参照して説明され、図面において、類似の参照番号は、特に記載されない限り、様々な図にわたり同様の部分を指す。図面は必ずしも一定の縮尺を有さず、説明される原理を示すことに重点が置かれる。

【図面の簡単な説明】

【0006】

【図1】［0006］本開示の実施形態に係る、病理データ捕捉のためのシステムを示す。

【図2】［0007］本開示の実施形態に係る、病理データベースを示す。

【図3】［0008］本開示の実施形態に係る、図２の病理データベースにおける画像エントリを示す。

【図4】［0009］本開示のいくつかの実施形態に係る、病理データ捕捉の方法を示すフローチャートである。

【発明を実施するための形態】

【0007】

［0010］ 本明細書において、病理データ捕捉のための装置および方法の実施形態が説明される。以下の説明において、実施形態の徹底した理解を提供するために、数多くの具体的な細部が記載される。しかし当業者が理解するように、本明細書で説明される技術は、具体的な細部の１または複数を伴わず、あるいは他の方法、構成要素、材料などによって実施することができる。他の例において、周知の構造、材料、または動作は、特定の態様の不明瞭化を避けるために詳しく示されず、または説明されない。

【0008】

［0011］ 本明細書を通して、「１つの実施形態」または「実施形態」への言及は、実施形態と関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書にわたる様々な箇所における「１つの実施形態において」または「実施形態において」という表現は、必ずしも全てが同じ実施形態を参照するわけではない。また、特定の特徴、構造、または特性は、１または複数の実施形態において任意の適切な方法で組み合わせられてよい。

【0009】

［0012］ 本開示は、病理学者のワークフローに（これを中断することなく）スライドのデジタル化を安価に取り入れることによって、病理学データ捕捉を改善するものである。現代の病理学において、病理試料は場合によって、デジタルデータベースを作成するために高解像度で走査される。これは、走査の複雑性に依存して長時間を要し、その結果、膨大な量のデータが収集され得る。また、試料の大部分は、診断または指導に無関係であり得る（たとえば、試料が数センチメートル大であり、異常細胞がわずか１ｍｍの面積である場合、試料全体のデジタル化は、メモリの浪費である）。したがって、熟練した病理学者が検査することを選択した拡大画像／ビデオのみを、病理学者の音声注釈とともに記録することによって、病気の診断／特定に関係する情報のみを含むデータベースが作成される。

【0010】

［0013］ 図１は、本開示の実施形態に係る、病理データ捕捉のためのシステム１００を示す。システム１００は、顕微鏡１０１、デジタルカメラ１０３、マイクロフォン１０５、コントローラ１０７、処理装置１０９、ネットワーク１１１、およびストレージ１２１を含む。システム１００は、病理学者が見ているものの継続的な記録を提供し、結果として生じる高解像度画像の自動モザイキングを実行し、スライド変位を捕捉し、再構成されたモザイク画像に病理学者によって提供された診断情報付きの注釈を付ける。

【0011】

［0014］ 顕微鏡１０１はデジタルカメラ１０３を収容し、デジタルカメラ１０３は、顕微鏡１０１に光学的に結合され、顕微鏡１０１によって生成された拡大病理画像を継続的に捕捉する。いくつかの実施形態において、デジタルカメラ１０３は顕微鏡１０１に収容されず、付加型であってもよい。ただし、当業者が理解するように、デジタルカメラ１０３は、本開示の教示に従って数々の方法で顕微鏡１０１に結合され得る。注目すべき点は、顕微鏡１０１は多数の様々な倍率設定を有し、その全てがデジタルカメラ１０３によって記録され得ることである。また、マイクロフォン１０５は、ユーザ／病理学者の音声注釈を受け取るために結合される。

【0012】

［0015］ 処理装置１０９（すなわちデスクトップコンピュータ）は、拡大病理画像を受信するためにデジタルカメラ１０３に電気的に結合され、病理学者（すなわち絵の人物）からの音声注釈を受け取るためにマイクロフォン１０５に電気的に結合される。注目すべき点は、いくつかの実施形態において、システム１００内の全てのデバイスは無線通信し得ることである。処理装置１０９は、処理装置１０９によって実行されると処理装置１０９に、拡大病理画像および音声注釈を記憶媒体（たとえばハードドライブ、ＲＡＭ、ＲＯＭ、フラッシュメモリなど）に記録すること、および拡大病理画像および音声注釈を記録時間に関してインデックス化することを含む動作を実行させる論理を含む。処理装置１０９としてデスクトップコンピュータが図示されるが、他のコンピューティングデバイスが処理装置１０９として用いられてもよい。たとえば、タブレット、電話機、ラップトップ、遠隔サーバ、顕微鏡１０１に組み込まれたプロセッサ／マイクロコントローラなどは全て、処理装置１０９としての機能を果たすことができる。

【0013】

［0016］ 図示した実施形態において、拡大病理画像および音声注釈はデータベースを形成し、データベースは、ネットワーク１１１を介して遠隔またはローカルサーバへアップロードされ得る。図示するように、処理装置１０９は、ネットワーク１１１にもストレージ１２１にも電気的に結合され得る。他の実施形態において、処理装置１０９は、クラウド内の遠隔サーバに存在してもよく、多数のデバイス／システムに分散されてもよい。ただし、図示するように、処理装置１０９はローカルに存在してもよい。

【0014】

［0017］ 顕微鏡１０１は、ステージの位置を追跡するための第１の機械電気変換器１１３を含むステージを有する。ステージの位置は、第１の機械電気変換器１１３から処理装置１０９へ伝送され得る。同様に、第２の機械電気変換器１１５は、顕微鏡１０１の倍率設定を測定するために顕微鏡１０１に結合される。倍率設定は、第２の機械電気変換器１１５から処理装置１０９へ伝送され得る。ただし、他の実施形態または同じ実施形態において、倍率設定は、外部ビデオカメラによって捕捉されてもよい。

【0015】

［0018］ 図示したように、コントローラ１０７は、処理装置１０９に結合される。コントローラ１０７は、デジタルカメラ１０３の画像／ビデオ捕捉を制御し、マイクロフォン１０５からの音声注釈を記録し、顕微鏡ステージの位置を調整し、顕微鏡１０１の照明設定を調整する（たとえば照明器を明るく／暗くし、偏光させ、上部照明させ、下部照明させるなど）ために用いられ得る。図示した実施形態において、コントローラ１０７は処理装置１０９に有線接続されているが、他の実施形態において、コントローラ１０７は無線で処理装置１０９と通信してよい。いくつかの実施形態において、コントローラ１０７は、処理装置１０９において実行している仮想コントローラであってよく、マイクロフォン１０５を介して音声命令を受信し、あるいは処理装置１０９に接続されたマウス／キーボードを介して運動命令を受け取ってよい。１つの実施形態において、ユーザは、マイクロフォン１０５に命令を言述し、処理装置１０９内の仮想／埋め込み型コントローラが命令を実行する。たとえば、ユーザが、「オーケー、顕微鏡、顕微鏡の照明を点灯し、録画および音声記録を開始せよ」、「音声記録を停止せよ」、「録画を停止せよ」、「顕微鏡ステージを１フレーム左へ動かせ」、「直線偏光に変更せよ」などと発言してよい。これらの実施形態および他の実施形態において、顕微鏡１０５は、デジタルカメラ１０３および／または顕微鏡１０１に統合されてよく、あるいは個別のデバイスであってよい。マイクロフォン１０５は、デジタルカメラ１０３と同期して記録を開始してよく、あるいはデジタルカメラ１０３がオンになると手動または自動でオンにされ得る。あるいは、マイクロフォン１０５は、記録を開始する前のキーワード（たとえば「オーケー、顕微鏡」）を受動的に聞き取ってよい。

【0016】

［0019］ デジタルカメラ１０３は、継続的にオン状態であるか、あるいは新たなスライドが検査される時に病理学者によってオンにされ得る。デジタルカメラ１０３は、モーショントリガ式であってもよい（すなわち、スライドが動きを開始し、および／または顕微鏡１０１の倍率または焦点レベルが変更されると記録を開始する）。あるいは、顕微鏡１０１の対眼レンズに存在センサ（光学式またはその他）が付加されてよく、デジタルカメラ１０３は、顕微鏡１０１を覗いている病理学者の存在が検出されると自動的にオンにされる。

【0017】

［0020］ 顕微鏡１０１は、視線検出ハードウェアおよびソフトウェア（顕微鏡１０１の対眼レンズからユーザの目への２本の点線として図示）を備え、または装備してよい。したがってシステム１００は、関心領域（たとえば画像内の癌細胞）を決定するためにユーザの視線を追跡してよく、関心領域は、記録時間、倍率設定、および拡大病理画像に関してインデックス化され得る。たとえば、病理学者が領域を見ている時間は、その領域に関心が高いという確信および／または表示に対するプロキシとして用いられ得る。

【0018】

［0021］ １つの実施形態において、デジタルカメラ１０３は、拡大病理画像を含むビデオを出力し、処理装置１０９は、処理装置１０９に、複数の高解像度画像を形成するためにビデオ内のフレームをつなぎ合わせさせる論理を更に含む。これは、様々な倍率における試料の関連部分のみの網羅的な拡大病理画像を生成するために用いられ得る（図３を参照）。また、この実施形態において、病理学者が見る試料の一部のみが高解像度画像をつなぎ合わせるために用いられるので、画像データベースの形成が病理学者のワークフローを妨げることはない。ビデオおよび音声注釈は、同時に記録され、あるいはタイムスタンプされて個別に記録され、後に結合されてもよい。

【0019】

［0022］ 図２は、本開示の実施形態に係る、病理データベース２０１を示す。病理データベース２０１は、図１のシステム１００を用いて作成され、ストレージ１２１（たとえばハードドライブ、ソリッドステートドライブなど）に格納され得る。図示した実施形態に示すように、病理データベース２０１は、デジタルカメラ（たとえばデジタルカメラ１０３）によって捕捉された病理画像（たとえばビデオフレーム）を含む。病理画像は、それらのフレーム番号、記録時間、病理学者の音声注釈（転写）、顕微鏡ステージ位置、それらが採取された倍率、および病理学者の視線の位置に関してインデックス化される。当業者が理解するように、図１に示すシステムは、任意の数の次元および入力によってデータベースを作成するために用いられてよく、ここに図示される次元／入力に限定されることはない。

【0020】

［0023］ 図示するように、顕微鏡（たとえば顕微鏡１０１）に光学的に結合されたデジタルカメラ（たとえばデジタルカメラ１０３）は、病理試料の画像をデジタルビデオまたは静止フレームとして記録することを開始してよい。ビデオの各フレームは、捕捉時間に関してインデックス化される。たとえば図示した実施形態において、フレーム１は記録の最初の３マイクロ秒に捕捉され、フレーム２は、記録の４マイクロ秒〜７マイクロ秒に捕捉された。マイクロフォン（たとえばマイクロフォン１０５）は、顕微鏡のユーザの音声注釈も記録してよい。音声注釈は、テキストに変換され、および／またはそれぞれの記録時間およびビデオフレームにインデックス化され得る。図示した実施形態において、フレーム１が捕捉されている間（記録の最初の３マイクロ秒間）、病理学者は「ｔｈｉｓ」という言葉を発し、後続フレームにおいて、病理学者は「ｌｏｏｋｓ ｌｉｋｅ ｌｙｍｐｈａｔｉｃ ｔｉｓｓｕｅ ａｎｄ ｍａｙ ｂｅ ｂｅｎｉｇｎ」と述べた。１つの実施形態において、（たとえば後に特定の地理的領域におけるウイルスの発生を明らかにし得る）地理情報を伴う患者に関する他のメタデータも収集され、病理データベースに含められ得る。

【0021】

［0024］ またシステムは、顕微鏡ステージの位置も記録し、記録時間および拡大病理画像に関してこれをインデックス化してよい。図示した実施形態において、ステージの位置は、ステージの下側左手にある（０，０）点からＸ、Ｙ座標を用いて測定され、ステージの移動はミクロン単位で測定される。しかし他の実施形態において、ステージ軸は異なって配向されてよく（たとえば、（０，０）点がステージの下側右手に位置し）、測定の単位は異なってよく（たとえばｍｍ、ｃｍなど）、ステージのＺ位置も記録されてよい。また、「ステージ位置」は、試料における特定の位置を識別するために用いられるために幅広く解釈されなくてはならず、当業者が理解するように、これは数々の方法で実現され得る。１つの実施形態において、ステージ位置は、顕微鏡ハードウェアに対してではなく、撮像されているスライドの寸法に対して光学的に決定される。図示したように、特定のフレームが閲覧された倍率もまた、記録時間、転写テキスト、ステージ位置、および視線象限に関して記録される。

【0022】

［0025］ ユーザの視線もまた、図示および説明された他の次元／入力に関してインデックス化され得る。図示した実施形態において、ユーザ／病理学者の視線は、象限において測定され、すなわちユーザが見る画像は４つの副画像に副分割され、システムは、ユーザが記録時間にどの副画像を見ていたかを記録する。これは、顕微鏡にインストールされたハードウェア／ソフトウェア、および他の外部システムによって実現されてよく、当業者が理解するように、視線を検出するための多数の様々な方法が存在する。また、図示した実施形態は、病理学者／顕微鏡ユーザが見ていた所を非常に大まかに示すが、他の実施形態において、ユーザが見ていた所の正確な座標が記録される。

【0023】

［0026］ １つの実施形態において、拡大病理画像および音声注釈をインデックス化することは、拡大病理画像における関心領域にユーザの音声注釈をタグ付けすることを含んでよい。たとえば上述した実施形態において、病理学者の「良性」という診断は、４０倍の倍率におけるステージ位置座標（１３６，４７）に関連付けられ、彼／彼女は象限３および４を覗いていた。これによって、病理学者の作業結果を調べる人間は、「良性」という決定が行われた時に病理学者が見ていた所を正確に知ることができる。また、病理学者の作業結果を調べる人間は、検査の履歴（その時点までにスライドがどの程度検査されたか）を知る。図示した実施形態において、処理装置は、処理装置によって実行されると処理装置に、病理学者の音声注釈をテキストに変換させる論理を更に含んでよく、テキストは、上述した様々な次元／入力の中でも特に、記録時間および拡大病理画像に関してインデックス化される。他の実施形態または同じ実施形態において、病理学者は、収集された病理画像を調べ、関心領域を示すために画像に直接注釈を付けてよい（たとえば、デジタル画像の癌細胞に丸を付ける、未知の細胞形成の付近に星印を付けるなど）。

【0024】

［0027］ 最後に、注目すべき点は、複数の病理学者が病理試料を検査し、注釈を付けてよいことである。両方の病理学者からの情報が捕捉されるように、追加のデータベースの行および／または列が追加され得る。両方の病理学者の入力は、試料／スライドに関して既知であることについて真実のデータ／拡張を生成するために比較され得る。病理試料に関する情報の冗長性は、病理データベースにおける診断をより堅牢なものにし得る。

【0025】

［0028］ 図３は、本開示の実施形態に係る、図２の病理データベース内の画像エントリを示す。図示した実施形態において、同じ病理試料のいくつかの倍率が示される。この実施形態において、病理学者は、撮像システム（たとえば図１のシステム１００）を用いて、様々な倍率で病理試料のいくつかの部分を見た。重要な点は、病理学者は全ての倍率で試料全体を見たのではなかったことである。たとえば、２０倍では試料全体が可視であるが、試料のわずかな部分しか診断を下すために関係しないので、病理学者は、試料の一部に対してしか拡大しようと思わなかった。したがって病理学者は、その部分を４０倍の倍率で見るために拡大した。その後病理学者は、画像の４０倍部分に含まれる２つの離れた箇所に対して更に拡大し、これらを６０倍の倍率で見た。病理試料のこれらの小さな部分のみが診断に関係する部分であることはあり得る。カメラは、病理学者による行動の全てを捕捉していたので、４０倍および６０倍の倍率における試料の不完全な写真を捕捉した。しかし、作業結果を調べる人間は診断に関連する試料部分を見る（また、病理学者の音声注釈の記録を聞き、または転写テキストを閲覧する）ことができるので、これによって、病理学者の作業結果を調べる人間の、診断が下された理由を理解する能力が影響されることはない。

【0026】

［0029］ また、１つの実施形態において、様々な倍率における欠陥をより視覚的にアピールするものとするため、処理装置は、未撮像の欠陥に関する画像データを生成してよい。これによって、捕捉画像を調べる者は、未撮像部分による視覚的不連続性を伴わず、試料の撮像部分を滑らかに移動することができる。この実施形態において、生成された画像データは、実際の画像データではないものとして明確に識別され得る（たとえば、生成された画像データは、赤線で囲まれ、グレイスケールで現れ、部分的に透明で現れ、あるいは「生成データ」といった言葉が重ねられるなど）。１つの実施形態において、画像データを生成するために、機械学習アルゴリズムが用いられる。

【0027】

［0030］ 図４は、本開示のいくつかの実施形態に係る、病理データ捕捉の方法４００を示すフローチャートである。プロセスブロック４０１〜４１１の一部または全てが方法４００に示される順序は、限定的なものと見なされてはならない。本開示の利益を得る当業者が理解するように、方法４００の一部は、図示されたもの以外の様々な順序で、または並行して実行されてもよい。

【0028】

［0031］ ブロック４０１は、拡大病理画像を形成するために顕微鏡によって病理試料を拡大することを示す。上述したように、病理学者は、従来の顕微鏡によって病理試料を検査してよく、あるいは本明細書で説明されるシステム（たとえば、図示された顕微鏡１０１に組み込まれた全ての部品を有する図１のシステム１００）に特に適合されたカスタム顕微鏡によって病理試料を見てもよい。

【0029】

［0032］ ブロック４０３は、顕微鏡に光学的に結合されたデジタルカメラによって拡大病理画像を記録することを示す。論じられる顕微鏡は、病理学者が見ている試料の一部のビデオまたは静止フレームを絶えず記録するデジタルカメラを含んでよい。１つの実施形態において、処理装置は、ビデオ内のフレームをつなぎ合わせ、複数の高解像度画像を形成する（図２を参照）。

【0030】

［0033］ ブロック４０５は、マイクロフォンを有する顕微鏡のユーザからの音声注釈を記録することを示す。病理学者が拡大病理画像を見ている時、病理学者は同時に、彼／彼女が見たものに音声で注釈を付けてよい。たとえば病理学者は、拡大病理画像の特定の一部に注目し、画像に関する彼／彼女の総合的な印象を言述してよい。たとえば病理学者は、「試料のこの部分における細胞はわずかに異型であるが、黒色腫ではないようだ」といったようなことを発言し、マイクロフォンがこの音声を記録してよい。ただし、場合によっては音声注釈の記録は非同期的であってよく、病理学者は、見ながら発言することはせず、スライドの検査が完了すると、全体報告を書き取らせる。

【0031】

［0034］ ブロック４０７は、デジタルカメラおよびマイクロフォンに電気的に結合された処理装置へ拡大病理画像および音声注釈を転送することを示す。拡大病理画像および音声注釈の転送は、リアルタイムで（すなわち、マイクロフォンおよびカメラが画像データおよび音声データを捕捉すると同時に）生じてよく、あるいは病理学者が全ての記録を完了した後に生じてもよい。当業者が理解するように、画像および音声データの両方の転送を容易にするための多数の様々な方法が存在し、これらの技術のいずれも、本開示の教示に従って用いられ得る。

【0032】

［0035］ ブロック４０９は、処理装置を用いて、拡大病理画像および音声注釈を記憶媒体に記録することを含む動作を実行することを示す。記憶媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスクなどであってよい。処理装置は、情報をローカルに（たとえば、処理装置に含まれ、または有線／無線で接続されたハードドライブに）格納してよく、あるいは、インターネットまたはローカルエリアネットワークを介して、処理装置とは別の遠隔サーバへこの情報をアップロードしてもよい。１つの実施形態において、処理装置は、拡大病理画像および音声注釈の両方を用いてデータベースを形成する。また処理装置は、任意の自然言語処理技術を用いて音声をテキストに変換してよく、テキストは、記録時間および拡大病理画像に関してインデックス化され得る。

【0033】

［0036］ ブロック４１１は、処理装置を用いて、拡大病理画像および音声注釈を記録時間に関してインデックス化することを含む動作を実行することを示す。１つの実施形態において、拡大病理画像および音声注釈のインデックス化は、拡大病理画像内の特定の位置にユーザの音声注釈をタグ付けすることを含む。その結果、病理学者の作業結果を調べる者は、診断の背後にある論理的根拠を明確に知る／聞くことができる。

【0034】

［0037］ １つの実施形態において、病理学者が見ていた位置に関する情報を提供するために、顕微鏡ステージの位置が記録される。これもまた、病理学者が特定の診断を下した理由を決定するために役立ち得る。ステージ位置は、試料におけるスケールバーなどによって光学的に決定され得る。倍率もまた、有用な位置情報を提供し得る。顕微鏡の倍率は処理装置へ転送されてよく、処理装置は、倍率を記録時間、拡大病理画像、および顕微鏡ステージの位置に関してインデックス化する。この光学情報は、病理試料に関する画像の位置を決定するために、顕微鏡ステージの物理的位置とは別に、あるいはそれとともに用いられ得る。

【0035】

［0038］ １つの実施形態において、カメラがオンになったことを通知するために、ステージの運動データが用いられ得る。たとえば、ステージが静止している時、カメラはビデオを捕捉しないが、画像（単一フレーム）を捕捉する。逆に、ステージが動いている時、カメラはビデオを収集してよい。運動のＸ、Ｙ、およびＺベクトルは、個別に扱われ得る（たとえば、ビデオはステージがＸ、Ｙ方向に動いている時に捕捉されるが、ステージがＺ方向に動いている時はそうではない）。

【0036】

［0039］ １つの実施形態において、処理装置は、拡大病理画像から画像アーチファクトを除去するように構成され得る。ステージの運動（Ｘ、Ｙ、Ｚ）が記録されると、計算された運動が記録された運動と比較されてよく、その相違が、ビデオデータの品質を査定するために用いられてよく、両方が一致する場合、ビデオデータの信頼度が高い。しかし、強い相違がある場合、ビデオデータはアーチファクトを含み、対応するフレームはタグ付けされ、更なる処理、モザイキングなどには用いないようにすることができる。

【0037】

［0040］ １つの実施形態において、処理装置は更に、関心領域を決定するためにユーザの視線を追跡し、関心領域は、記録時間、倍率設定、および拡大病理画像に関してインデックス化される。これによって、病理学者の作業結果を調べる者は、拡大病理画像の重要な部分を明確に識別することができる。

【0038】

［0041］ 上述したプロセスは、コンピュータソフトウェアおよびハードウェアの観点から説明される。説明された技術は、機械によって実行されると機械に上述した動作を実行させる、有形または非一時的機械（たとえばコンピュータ）可読記憶媒体において具体化される機械実行可能命令を構成してよい。また、プロセスは、たとえば特定用途向け集積回路（「ＡＳＩＣ」）などのハードウェアにおいて具体化され得る。

【0039】

［0042］ 有形非一時的機械読取可能記憶媒体は、機械（たとえばコンピュータ、ネットワークデバイス、パーソナルデジタルアシスタント、製造用具、１または複数のプロセッサのセットを有する任意のデバイスなど）によってアクセス可能な形式で情報を提供（すなわち格納）する任意のメカニズムを含む。たとえば機械可読記憶媒体は、記録可能／非記録可能媒体（たとえば読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど）を含む。

【0040】

［0043］ 発明の概要において説明したものを含む、本発明に関して示した実施形態の上記説明は、包括的であるもの、あるいは本発明を開示した形式そのものに限定するものとして意図されない。本発明の特定の実施形態および例が本明細書において例示目的で説明されたが、当業者が認識するように、様々な修正が本発明の範囲内で可能である。

【0041】

［0044］ これらの修正は、上記の詳細な説明の観点から、本発明になされ得る。以下のクレームにおいて用いられる用語は、本発明を、本明細書に開示された特定の実施形態に限定するものと解釈されてはならない。正しくは、本発明の範囲は、以下のクレームによってその全体が決定されるべきであり、クレームは、確立されたクレーム解釈の方針に従って解釈されるべきである。
排他的所有権または特権が主張される本発明の実施形態は、以下のように定義される。

【図1】

【図2】

【図3】

【図4】