知財求人 - 知財ポータルサイト「IP Force」
特表2024-539555デジタルスライド画像を位置合わせするシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-29
(54)【発明の名称】デジタルスライド画像を位置合わせするシステムおよび方法
(51)【国際特許分類】
G06T 7/33 20170101AFI20241022BHJP
G06T 7/00 20170101ALI20241022BHJP
G06V 10/82 20220101ALI20241022BHJP
G01N 33/48 20060101ALI20241022BHJP
【ＦＩ】
G06T7/33
G06T7/00 350C
G06V10/82
G01N33/48 M
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024518510
(86)(22)【出願日】2022-10-14
(85)【翻訳文提出日】2024-05-16
(86)【国際出願番号】 US2022046694
(87)【国際公開番号】W WO2023064547
(87)【国際公開日】2023-04-20
(31)【優先権主張番号】63/256,575
(32)【優先日】2021-10-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】524108824
【氏名又は名称】レヴィット メディカル インコーポレイテッド
【氏名又は名称原語表記】ＬＥＡＶＩＴＴ ＭＥＤＩＣＡＬ， ＩＮＣ．
(74)【代理人】
【識別番号】100073184
【弁理士】
【氏名又は名称】柳田 征史
(74)【代理人】
【識別番号】100175042
【弁理士】
【氏名又は名称】高橋 秀明
(74)【代理人】
【識別番号】100224775
【弁理士】
【氏名又は名称】南 毅
(72)【発明者】
【氏名】アイヴィー，マイケル アンドリュー
(72)【発明者】
【氏名】ワースリン，ジョン ビットナー
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA24
2G045BB23
2G045CB01
2G045JA01
2G045JA02
5L096AA03
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096FA25
5L096FA67
5L096FA69
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
開示したコンピュータを利用した方法は、（１）切断自在な組織試料ブロックの切片の画像を受信する工程であって、画像は切断自在な組織試料ブロックの切片に埋め込まれた（Ａ）組織試料の切片および（Ｂ）切断自在なフィデューシャルマーカーの切片の画像データを含むものである工程と、（２）切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定する工程と、（３）組織試料管理動作を、切断自在なフィデューシャルマーカーの切片の特定した属性に基づいて実行する工程とを含む。様々な他の方法、システム、装置、および、コンピュータ読取可能媒体も開示する。
【特許請求の範囲】
【請求項1】
コンピュータを利用した方法において、切断自在な組織試料ブロックの切片の画像を受信する工程であって、該画像は該切断自在な組織試料ブロックの該切片に埋め込まれた組織試料の切片および切断自在なフィデューシャルマーカーの切片の画像データを含むものである工程と、
前記切断自在なフィデューシャルマーカーの前記切片の属性を、前記切断自在な組織試料ブロックの前記切片の前記受信した画像から特定する工程と、
組織試料管理動作を、前記切断自在なフィデューシャルマーカーの前記切片の前記特定した属性に基づいて実行する工程と
を含む方法。
【請求項2】
前記切断自在な組織試料ブロックを複数の切片に切断する前に、前記組織試料および前記切断自在なフィデューシャルマーカーの少なくとも一方を、該切断自在な組織試料ブロックに埋め込む工程であって、該切断自在な組織試料ブロックの前記切片は、該複数の切片に含まれるものである工程を、更に含む、請求項１に記載のコンピュータを利用した方法。
【請求項3】
前記切断自在なフィデューシャルマーカーの前記切片の前記属性を、前記切断自在な組織試料ブロックの前記切片の前記受信した画像から特定する工程は、前記切断自在なフィデューシャルマーカーの前記切片によって反射された光の少なくとも１つの波長、
前記切断自在なフィデューシャルマーカーの前記切片の形状、
前記切断自在なフィデューシャルマーカーの前記切片の向き、または、
前記切断自在な組織試料ブロックの前記切片の中での前記切断自在なフィデューシャルマーカーの前記切片の位置の
少なくとも１つを特定する工程を含むものである、請求項１に記載のコンピュータを利用した方法。
【請求項4】
前記組織試料管理動作を実行する工程は、前記切断自在なフィデューシャルマーカーの前記切片の前記切断自在な組織試料ブロック、
前記切断自在な組織試料ブロックの前記切片を含む組織試料スライド、または、
前記切断自在な組織試料ブロックの前記切片に埋め込まれた前記組織試料の前記切片の
少なくとも１つに対する向きを特定する工程を含むものである、請求項１に記載のコンピュータを利用した方法。
【請求項5】
前記組織試料管理動作を実行する工程は、グラフィカルユーザーインターフェースを介して、前記切断自在なフィデューシャルマーカーの前記切片の前記特定した向きに基づいて該グラフィカルユーザーインターフェース内で向けられた前記組織試料の前記切片を提供する工程を更に含むものである、請求項４に記載のコンピュータを利用した方法。
【請求項6】
前記切断自在な組織試料ブロックの更なる切片の画像を受信する工程であって、該更なる切片は、該切断自在な組織試料ブロックの該更なる切片に埋め込まれた前記組織試料の更なる切片および前記切断自在なフィデューシャルマーカーの更なる切片の画像データを含むものである工程と、前記切断自在なフィデューシャルマーカーの前記更なる切片の属性を、前記切断自在な組織試料ブロックの前記更なる切片の前記受信した画像から特定する工程と
を更に含む、請求項１に記載のコンピュータを利用した方法。
【請求項7】
前記組織試料管理動作を実行する工程は、前記切断自在なフィデューシャルマーカーの前記切片の
前記切断自在な組織試料ブロック、
前記切断自在な組織試料ブロックの前記切片を含む組織試料スライド、または、
前記切断自在な組織試料ブロックの前記切片に埋め込まれた前記組織試料の前記切片の
少なくとも１つに対する向き、および、
前記切断自在なフィデューシャルマーカーの前記更なる切片の
前記切断自在な組織試料ブロック、
前記切断自在な組織試料ブロックの前記更なる切片を含む更なる組織試料スライド、または、
前記切断自在な組織試料ブロックの前記更なる切片に埋め込まれた前記組織試料の前記更なる切片の
少なくとも１つに対する向きを特定する工程を含むものである、請求項６に記載のコンピュータを利用した方法。
【請求項8】
前記組織試料管理動作は、グラフィカルユーザーインターフェースを介して、前記切断自在なフィデューシャルマーカーの前記切片の前記特定した向きに基づいて前記グラフィカルユーザーインターフェース内で向けられた前記組織試料の前記切片の前記画像データと、
前記切断自在なフィデューシャルマーカーの前記更なる切片の前記特定した向きに基づいて前記グラフィカルユーザーインターフェース内で向けられた前記組織試料の前記更なる切片の前記画像データと
を提供する工程を更に含むものである、請求項７に記載のコンピュータを利用した方法。
【請求項9】
前記切断自在なフィデューシャルマーカーの前記切片の前記特定した向き、および、該切断自在なフィデューシャルマーカーの前記更なる切片の前記特定した向きに基づいて共通の向きに位置合わせされた前記組織試料の前記切片の前記画像データ、および、該組織試料の前記更なる切片の前記画像データを提供する工程を、更に含む、請求項８に記載のコンピュータを利用した方法。
【請求項10】
前記切断自在なフィデューシャルマーカーの前記切片の前記特定した向き、および、該切断自在なフィデューシャルマーカーの前記更なる切片の前記特定した向きに基づいて共通の向きに位置合わせされた前記組織試料の前記切片の前記画像データ、および、該組織試料の前記更なる切片の前記画像データを提供する工程は、該組織試料の該切片の該画像データを、該組織試料の該更なる切片の画像データを重ねる工程を含むものである、請求項９に記載のコンピュータを利用した方法。
【請求項11】
前記組織試料管理動作は、前記組織試料の前記切片の前記画像データの一部に対する注釈情報を、ユーザから受信する工程と、
前記注釈情報を、前記組織試料の前記更なる切片の前記画像データの対応する部分に転送する工程と、
前記転送された注釈情報を、前記組織試料の前記更なる切片と少なくとも１つの属性を共有する組織試料の画像データを分析するための機械学習モデルの訓練データセットに加える工程と
を更に含むものである、請求項７に記載のコンピュータを利用した方法。
【請求項12】
前記切断自在なフィデューシャルマーカーの前記切片の属性を、前記切断自在な組織試料ブロックの前記切片の前記受信した画像から特定する工程は、該切断自在な組織試料ブロックの該切片の該画像を、切断自在なフィデューシャルマーカーの切片の属性を切断自在なフィデューシャルマーカーの切片の画像に基づいて予測するように予め訓練された機械学習モデルにより分析する工程を含むものである、請求項１に記載のコンピュータを利用した方法。
【請求項13】
前記機械学習モデルを、切断自在なフィデューシャルマーカーの切片の属性を予測するように訓練する工程を、更に含み、
前記訓練する工程は、
切断自在なフィデューシャルマーカーの切片の予めラベルを付した複数の画像を、所定の機械学習モデル訓練方法により分析する工程と、
前記機械学習モデルの少なくとも１つの属性を、前記切断自在なフィデューシャルマーカーの切片の前記予めラベルを付した複数の画像の前記分析に基づいて調節する工程と
を含むものである、請求項１２に記載のコンピュータを利用した方法。
【請求項14】
システムにおいて、メモリに記憶されて、切断自在な組織試料ブロックの切片の画像を受信するように構成された受信モジュールであって、該画像は該切断自在な組織試料ブロックの該切片に埋め込まれた組織試料の切片および切断自在なフィデューシャルマーカーの切片の画像データを含むものである受信モジュールと、
メモリに記憶されて、前記切断自在なフィデューシャルマーカーの前記切片の属性を、前記切断自在な組織試料ブロックの前記切片の前記受信した画像から特定するように構成された特定モジュールと、
メモリに記憶されて、組織試料管理動作を、前記切断自在なフィデューシャルマーカーの前記切片の前記特定した属性に基づいて実行するように構成された実行モジュールと、
前記受信モジュール、前記特定モジュール、および、前記実行モジュールを実行する少なくとも１つの物理的処理部と
を含むシステム。
【請求項15】
前記特定モジュールは、前記切断自在なフィデューシャルマーカーの前記切片の前記属性を、前記切断自在な組織試料ブロックの前記切片の前記受信した画像から、前記切断自在なフィデューシャルマーカーの前記切片によって反射された光の少なくとも１つの波長、
前記切断自在なフィデューシャルマーカーの前記切片の形状、
前記切断自在なフィデューシャルマーカーの前記切片の向き、または、
前記切断自在な組織試料ブロックの前記切片の中での前記切断自在なフィデューシャルマーカーの前記切片の位置の
少なくとも１つを特定することによって、特定するものである、請求項１４に記載のシステム。
【請求項16】
前記実行モジュールは、前記組織試料管理動作を、前記切断自在なフィデューシャルマーカーの前記切片の前記切断自在な組織試料ブロック、
前記切断自在な組織試料ブロックの前記切片を含む組織試料スライド、または、
前記切断自在な組織試料ブロックの前記切片に埋め込まれた前記組織試料の前記切片の
少なくとも１つに対する向きを特定することによって、実行するものである、請求項１４に記載のシステム。
【請求項17】
前記実行モジュールは、前記組織試料管理動作を、グラフィカルユーザーインターフェースを介して、前記切断自在なフィデューシャルマーカーの前記切片の前記特定した向きに基づいて該グラフィカルユーザーインターフェース内で向けられた前記組織試料の前記切片を提供することによって実行するものである、請求項１６に記載のシステム。
【請求項18】
前記特定モジュールは、前記切断自在なフィデューシャルマーカーの前記切片の属性を、前記切断自在な組織試料ブロックの前記切片の前記受信した画像から、該切断自在な組織試料ブロックの該切片の該画像を、切断自在なフィデューシャルマーカーの切片の属性を切断自在なフィデューシャルマーカーの切片の画像に基づいて予測するように予め訓練された機械学習モデルにより分析することによって、特定するものである、請求項１４に記載のシステム。
【請求項19】
前記特定モジュールは、更に、前記機械学習モデルを、切断自在なフィデューシャルマーカーの切断部分の属性を予測するように、切断自在なフィデューシャルマーカーの切断部分の予めラベルを付した複数の画像を、所定の機械学習モデル訓練方法により分析することと、
前記機械学習モデルの少なくとも１つの属性を、前記切断自在なフィデューシャルマーカーの切断部分の前記予めラベルを付した複数の画像の前記分析に基づいて調節することと
によって訓練するように構成されたものである、請求項１８に記載のシステム。
【請求項20】
コンピュータ読取可能命令を含む非一時的なコンピュータ読取可能媒体において、前記コンピュータ読取可能命令は、計算システムの少なくとも１つの処理部によって実行された場合に、該計算システムに、
切断自在な組織試料ブロックの切片の画像を受信する処理であって、該画像は該切断自在な組織試料ブロックの該切片に埋め込まれた組織試料の切片および切断自在なフィデューシャルマーカーの切片の画像データを含むものである処理と、
前記切断自在なフィデューシャルマーカーの前記切片の属性を、前記切断自在な組織試料ブロックの前記切片の前記受信した画像から特定する処理と、
組織試料管理動作を、前記切断自在なフィデューシャルマーカーの前記切片の前記特定した属性に基づいて実行する処理と
を行わせるものである非一時的なコンピュータ読取可能媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、２０２１年１０月１６日出願の米国仮特許出願第６３／２５６，５７５号の優先権の利益を主張し、その開示は依拠され、全体として参照により本開示に組み込まれる。
【技術分野】
【0002】
本願は、デジタルスライド画像を位置合わせするシステムおよび方法に関する。
【背景技術】
【0003】
顕微鏡分析のために患者の組織試料を調製する時に、病理医は、組織試料を切片またはレベルとも称される多数のスライスに切断しうる。組織試料の各切片またはレベルを、透明な（例えば、ガラス）スライドなどの担体媒体に配置しうる。
【0004】
病理医は、組織試料を顕微鏡分析する時に確実に何も見逃さないために、採取した組織から多数の部分または切片を調べることが有用であると考えうる。いくつかの処理は、検体の様々な切断スライスまたはレベルから、同じ検体の多数の部分を顕微鏡で詳細に調べることを要しうる。更に、組織試料に加える特別な染色をオーダーした際に、全ての染まった組織を詳細に調べうる。そのような検討は、組織試料の多数の切片またはレベルを含みうる。
【0005】
更に、病理医は、組織試料の分析中に１つのレベルで関心領域を識別する時に、他のレベル、および／または、染色された部分の対応領域を精査するのが望ましいと考えうる。残念ながら、組織試料が示す形態はレベル毎に大きく異なり、異なるレベルに亘って、対応箇所または位置を視覚的に特定するのを難しくする場合がありうる。関心領域を第１のレベルで識別し、第２のレベルに画像を切り替えて、特に、第２のレベル上で、第１のレベル上の関心領域に対応する位置を識別するための従来の処理は、面倒であるか、および／または、失敗を生じ易いものでありうる。
【0006】
更に、いくつかの分析処理を助けるか、および／または、容易にするために、透明な（例えば、ガラス）スライドを用いる際に、病理医は、少なくとも２つのスライドを重ねて、組織試料の対応する切片またはレベルが互いに位置合わせされるまで（例えば、位置的に、および／または、光学的に位置合わせされるまで）、スライドを物理的に操作することを選択しうる。次に、病理医は、スライドに印を付して、関心領域を識別しうる。組織試料を担持した透明なスライドを操作する従来の方法は、煩わしく、不便で、および／または、失敗を生じ易いものでありうる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって、本出願は、そのような組織試料の分析を助けるために、組織試料スライド画像を位置合わせする改良したシステム、方法、および、装置の必要性を認識し、解決しようとするものである。
【課題を解決するための手段】
【0008】
本開示は、概して、切断された組織試料のデジタルスライド画像を位置合わせする（例えば、向き決め、スケーリング、伸張、圧縮、リサイズ、キーストーン補正など）ための方法およびシステムに関する。いくつかの実施形態において、開示したシステムおよび方法は、切断された組織試料の各切片に（したがって、組織試料の各切片の各デジタルスライド画像に）存在する少なくとも１つの切断自在なフィデューシャルマーカーを利用しうる。切断自在なフィデューシャルマーカーを、そのマーカーが全レベルに亘って一貫して確実に同じ位置に現れるように、（例えば、検体を含むパラフィン蝋ブロックの中に）検体と共に埋め込むことで、位置合わせのための共通基準点を生成、および／または、可能にしうる。
【0009】
本明細書に記載のシステムおよび方法の実施形態は、各画像内の切断自在なフィデューシャルマーカーの１つ以上の切片を識別して、画像を互いに位置合わせする方法を特定しうるものであり、方法は、画像の任意の適切な再度の向き決め、スケーリング、伸張、圧縮などを含みうる。いくつかの実施形態において、位置合わせされた画像において、同時に、および／または、重ねて観察するために、（例えば、各レベルで）組織の隣接した部分から採取した切断組織試料の部分を、（例えば、互いに重ねて、隣接して）配置しうる。
【発明の効果】
【0010】
したがって、本開示の方法およびシステムは、異常組織構造の識別および診断などのために、切断された組織試料のデジタルスライド画像の観察を容易にするか、および／または、改良しうる。
【0011】
全図を通して、同一の参照符号および記載は、同様の要素を指すもので、必ずしも同一の要素ではない。本明細書に記載の例示的な実施形態は、様々な変更および代わりの形態の影響を受け易いが、特定の実施形態を、図面に例示し、本明細書に詳細に記載する。それでも、本明細書に記載の例示的な実施形態は、開示した特定の形態に限定されることを意図しない。むしろ、本開示は、添付の請求項の範囲に含まれる全ての変更例、等価物、および、代わりの形態を網羅するものである。
【0012】
添付の図面は、多数の例示的な実施形態を示し、本明細書の一部である。以下の記載と共に、これらの図面は、本開示の様々な原理を示し説明するものである。
【図面の簡単な説明】
【0013】
【図1】デジタルスライド画像を位置合わせするための例示的なシステムのブロック図である。
【図2】デジタルスライド画像を位置合わせするためのシステムの利用例のブロック図である。
【図3】デジタルスライド画像を位置合わせする例示的な方法の流れ図である。
【図4A】本明細書に記載のいくつかの実施形態による切断自在なフィデューシャルマーカーの平面図である。
【図4B】本明細書に記載のいくつかの実施形態による切断自在なフィデューシャルマーカーの斜視図である。
【図5A】本明細書に記載のいくつかの実施形態による第１の組織試料スライドの上面図である。
【図5B】本明細書に記載のいくつかの実施形態による第２の組織試料スライドの上面図である。
【図5C】本明細書に記載のいくつかの実施形態による第３の組織試料スライドの上面図である。
【図6】本明細書に記載のいくつかの実施形態による共通の向きに位置合わせされた組織試料、および／または、組織試料スライドの図を含む。
【図7】本明細書に記載のいくつかの実施形態によるグラフィカルユーザーインターフェース内で向けられた組織試料の切片を示すグラフィカルユーザーインターフェースの図を含む。
【発明を実施するための形態】
【0014】
【0015】
図１は、デジタルスライド画像を位置合わせするための例示的なシステム１００のブロック図である。この図面に示すように、例示的なシステム１００は、１つ以上のタスクを行うための１つ以上のモジュールを含みうる。次に非常に詳しく説明するように、モジュール１０２は、切断自在な組織試料ブロックの切片の画像を受信するように構成されうる受信モジュール１０４を含みうる。画像は、切断自在な組織試料ブロックの切片に埋め込まれた（１）組織試料の切片、および（２）切断自在なフィデューシャルマーカーの切片の画像データを含みうる。図１に更に示すように、モジュール１０２は、切断自在なフィデューシャルマーカーの切片の属性、および／または、組織試料の切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定するように構成された特定モジュール１０６も含みうる。更に、モジュール１０２は、組織試料管理動作を、切断自在なフィデューシャルマーカーの切片の特定した属性に基づいて実行するように構成された実行モジュール１０８も含みうる。
【0016】
図１に更に示すように、例示的なシステム１００は、メモリ１２０などの１つ以上のメモリ装置も含みうる。メモリ１２０は、概して、データ、および／または、コンピュータ読取可能命令を記憶可能な任意の種類または形式の揮発性または非揮発性記憶装置または媒体を示す。一例において、メモリ１２０は、１つ以上のモジュール１０２を記憶、ロード、および／または、維持しうる。メモリ１２０の例は、限定するものではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、それらの１つ以上の変形物若しくは組合せ、または、任意の他の適切な記憶メモリを含む。
【0017】
図１に更に示すように、例示的なシステム１００は、物理的処理部１３０などの１つ以上の物理的処理部も含みうる。物理的処理部１３０は、概して、コンピュータ読取可能命令を解釈および／または実行可能な任意の種類または形式のハードウェアを利用した処理部を示す。一例において、物理的処理部１３０は、メモリ１２０に記憶された１つ以上のモジュール１０２にアクセスするか、および／または、変更しうる。更に、または、その代わりに、物理的処理部１３０は、本明細書に記載のシステムおよび方法により１つ以上のモジュール１０２を実行して、デジタルスライド画像の位置合わせを容易にしうる。物理的処理部１３０の例は、限定するものではないが、マイクロプロセッサ、マイクロ制御部、中央処理装置（ＣＰＵ）、ソフトコア処理部を用いたフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、それらの１つ以上の部分、それらの１つ以上の変形物若しくは組合せ、または、任意の他の適切な物理的処理部を含む。
【0018】
図１に更に示すように、例示的なシステム１００は、更に、データを受信、記憶、および／または、維持しうるデータ記憶部１４０などの１つ以上のデータ記憶部を含みうる。データ記憶部１４０は、単一のデータ記憶部、若しくは、計算装置、または、複数のデータ記憶部、若しくは、計算装置の部分を示しうる。いくつかの実施形態において、データ記憶部１４０は、データの論理的収容部であり、様々な形式（例えば、データベース、ファイル、ファイルシステム、データ構造など）で実施されうる。データ記憶部１４０の例は、限定するものではないが、ファイル、ファイルシステム、データ記憶部、データベース、および／または、オペレーショナルデータストレッジ（ＯＤＳ）、リレーショナルデータベース、Ｎｏ ＳＱＬデータベース、Ｎｅｗ ＳＱＬデータベース、および／または、任意の他の適切な系統立てられたデータ収集などのデータベース管理システムを含みうる。
【0019】
少なくとも１つの例において、データ記憶部１４０は、画像データ１４２を含みうる（例えば、記憶、ホスト、アクセス、維持などを行いうる）。次に非常に詳細に記載するように、いくつかの例において、画像データ１４２は、限定するものではないが、１つ以上の組織試料、１つ以上の組織試料ブロック、１つ以上の切断自在な組織試料ブロックの１つ以上の切片、１つ以上の組織試料スライドなどを含むか、および／または、関連付けられた任意の画像データを含むか、および／または、表しうる。
【0020】
図１に更に示すように、例示的なシステム１００は、任意で、機械学習モデル１５０を含みうる。機械学習モデルは、その中でパターンを見出すか、および／または、それまでに見たことのないデータセットについて予測しうるデータ分析ツールでありうる。いくつかの例において、機械学習モデル１５０は、任意の適切なモデル、および／または、アルゴリズムを含み、それは、限定するものではないが、線形回帰アルゴリズム、論理回帰アルゴリズム、サポートベクターマシン（ＳＶＭ）、最近傍識別器、主成分分析アルゴリズム、決定木、ナイーブベイズ識別器、ｋ平均法クラスタリングアルゴリズムなどを含みうる。
【0021】
構造化されていない画像データなどのデータセットの分析に特に有用であり、したがって、機械学習モデル１５０の一部として含みうる１つの機械学習モデルは、人工ニューラルネットワークでありうる。人工ニューラルネットワークは、生物神経網に触発された計算システムである。人工ニューラルネットワークは、タスク特有の規則で予めプログラミングされないことが多いタスクを、例または訓練データを処理することによって「学習」しうる。効果的に訓練された人工ニューラルネットワークは、パターン認識、処理制御、データ分析、ソーシャルフィルタリングなどの現代の計算タスクを助けるのに強力なツールでありうる。
【0022】
所定の例から人工ニューラルネットワークを訓練する例は、人工ニューラルネットワークの処理出力（例えば、予測結果）と目標出力の差（例えば、エラー）の特定を含みうる。次に、訓練システムは、学習規則による人工ニューラルネットワークと、処理出力と目標出力の差との内部確率重み付けした関連性を調節しうる。連続して調節することによって、人工ニューラルネットワークが目標出力により近い出力（例えば、１つ以上の予測）を生成するようにしうる。
【0023】
いくつかの実施形態において、人工ニューラルネットワークは、相互接続された処理ノードで構成された任意のソフトウェア、および／または、ハードウェアを含みうる。これらの「人工ニューロン」と称しうる処理ノードは、入力を受信して、出力を他の人工ニューロンに伝えうる。各人工ニューロンの出力を、その人工ニューロンへの各入力の非線形関数組合せによって特定して、人工ニューロン間の各接続に、特定の接続が送信先ニューロンの出力に寄与する程度を特定する「重み」を付与しうる。
【0024】
人工ニューラルネットワークを、限定するものではないが、コンピュータビジョン（例えば、画像認識および物体検出）、自然言語処理（例えば、翻訳および音声認識）、医療診断および推薦システムを含む様々なコンテクストで用いうる。
【0025】
人工ニューラルネットワークを、様々な方法で実施しうる。いくつかの実施形態において、人工ニューラルネットワークを、１つ以上の物理的処理部上で実行されるソフトウェアプログラム、および／または、任意の他の適切な形式のコンピュータ読取可能命令として実施しうる。更なる実施形態において、人工ニューラルネットワークを、各処理部が人工ニューロンとして作用する一連の相互接続した物理的処理部などの物理的ハードウェアにおいて実施しうる。したがって、本明細書に記載のいくつかの例は、機械学習モデル１５０を、ソフトウェアを利用した人工ニューラルネットワークのコンテクストで説明、および／または、示しうるが、いくつかの例において、機械学習モデル１５０を、任意の適切な物理的ハードウェアにおいて実施しうる。
【0026】
図１の例示的なシステム１００を、様々な方法で実施しうる。例えば、例示的なシステム１００の全部または一部が、図２の例示的なシステム２００（「システム２００」）の部分を表しうる。図２に示すように、システム２００は、計算装置２０２を含みうる。少なくとも１つの例において、計算装置２０２は、１つ以上のモジュール１０２を用いてプログラムされうる。
【0027】
少なくとも１つの実施形態において、図１の１つ以上のモジュール１０２は、計算装置２０２によって実行された時に、計算装置２０２が１つ以上の演算を行って、デジタルスライド画像を位置合わせできるようにしうる。例えば、次に非常に詳細に記載するように、受信モジュール１０４は、計算装置２０２によって実行された時に、計算装置２０２に切断自在な組織試料ブロックの切片の画像（例えば、画像２０４）を受信させうる。受信した画像は、組織試料ブロックに埋め込まれた組織試料の切片（例えば、組織試料画像２０６）および組織試料ブロックに埋め込まれた切断自在なフィデューシャルマーカーの切片（例えば、切断自在なフィデューシャルマーカー画像２０８）の画像データを含みうる。
【0028】
更に、特定モジュール１０６は、計算装置２０２によって実行された時に、計算装置２０２に切断自在なフィデューシャルマーカーの切片の属性（例えば、属性２１０）を、切断自在な組織試料ブロックの切片の受信した画像２０４から特定させうる。属性は、限定するものではないが、切断自在なフィデューシャルマーカーの切片によって反射された光の少なくとも波長（例えば、色）、切断自在なフィデューシャルマーカーの切片の形状、切断自在なフィデューシャルマーカーの切片の向き、または、切断自在な組織試料ブロックの切片の中での切断自在なフィデューシャルマーカーの切片の位置を含む任意の適切な属性を含みうる。
【0029】
特定モジュール１０６は、計算装置２０２によって実行された時に、計算装置２０２に組織試料の切片の属性も、受信した画像２０４から特定させうる。属性は、限定するものではないが、組織試料の形態、表現型、形状、サイズ、反射光の少なくとも１つの波長（例えば、色）などを含む任意の適切な属性を含みうる。
【0030】
いくつかの実施形態において、組織試料画像２０６は、一人以上の患者からの組織の多数の切片を含む組織アレイの画像を含みうる。特定モジュール１０６は、計算装置２０２によって実行された時に、計算装置２０２に、画像２０４における組織アレイの各組織切片の切断自在なフィデューシャルマーカーの切片に対する位置を特定させうる。この位置情報は、組織アレイの各組織切片、および、その採取元（例えば、採取した患者）を自動で識別するのを容易にさせうる。更に、位置情報は、個々の患者または多数の患者からの組織試料の単一の画像または多数の画像を、ユーザ（例えば、病理医）が調べるために提供するのを容易にさせうる。
【0031】
いくつかの例において、図２に更に示すように、本明細書に記載の１つ以上のシステムは、任意で、切断自在組織ブロックの更なる切片の画像（例えば、更なる画像２１４）に伴う動作を含むか、および／または、行いうる。例えば、いくつかの実施形態において、受信モジュール１０４は、任意で、組織試料の更なる切片の画像（例えば、更なる組織試料画像２１６）および切断自在なフィデューシャルマーカーの更なる切片の画像（例えば、更なる切断自在なフィデューシャルマーカー画像２１８）を含みうる切断自在組織ブロックの更なる切片の画像（例えば、更なる画像２１４）を受信しうる。
【0032】
更に、実行モジュール１０８は、計算装置２０２によって実行された時に、計算装置２０２に、切断自在なフィデューシャルマーカーの切片の特定した属性に基づいた組織試料管理動作（例えば、組織試料管理動作２１２）を実行させうる。例えば、実行モジュール１０８は、切断自在なフィデューシャルマーカーの向き（例えば、向き２２０）を、切断自在なフィデューシャルマーカーの属性（例えば、切断自在なフィデューシャルマーカーの形状、切断自在なフィデューシャルマーカーの切片によって反射された光の波長勾配など）に基づいて特定しうる。いくつかの例において、１つ以上のモジュール１０２（例えば、実行モジュール１０８）は、更に、ユーザに適切なグラフィカルユーザーインターフェース（例えば、グラフィカルユーザーインターフェース２２２）を介して、１つ以上の画像を提供しうる。いくつかの例において、グラフィカルユーザーインターフェース２２２は、計算装置２０２と別体であり、計算装置２０２と通信（例えば、無線、および／または、有線通信）して、ユーザが遠隔で計算装置２０２からの情報（例えば、画像２０４および／または、更なる画像２１４）にアクセスしうる。
【0033】
計算装置２０２は、概して、コンピュータ実行可能命令の読取り、および／または、実行、および／または、実行可能命令のホスティングが可能な任意の種類または形態の計算装置を示す。計算装置２０２の例は、限定するものではないが、アプリケーションサーバ、記憶サーバ、データベースサーバ、ウェブサーバ、および／または、あるソフトウェアアプリケーションを実行するか、および／または、様々なアプリケーション、記憶、および／または、データベースサービスを提供するように構成された任意の他の適切な計算装置を含む。
【0034】
少なくとも１つの例において、計算装置２０２は、１つ以上のモジュール１０２を用いてプログラムされた計算装置でありうる。モジュール１０２の機能の全部または一部を、計算装置２０２、および／または、任意の他の適切な計算システムによって行いうる。次に非常に詳細に記載するように、図１の１つ以上のモジュール１０２は、計算装置２０２の少なくとも１つの処理部によって実行された時に、計算装置２０２がデジタルスライド画像（例えば、画像２０４および更なる画像２１４）を本明細書に記載の任意の方法で位置合わせ可能にさせうる。
【0035】
多数の他の装置またはサブシステムを、図１のシステム１００、および／または、図２のシステム２００に接続しうる。逆に、本明細書に記載の、および／または、示した実施形態を実施するのに図１、２に示した全ての構成要素および装置が存在する必要はない。上記装置およびサブシステムは、図２に示したのとは異なる方法でも相互接続しうる。システム１００、２００は、任意の数のソフトウェア、ファームウェア、および／または、ハードウェア構成も用いうる。例えば、本明細書に開示の１つ以上の実施形態は、（コンピュータソフトウェア、ソフトウェアアプリケーション、コンピュータ読取可能命令、および／または、コンピュータ制御ロジックとも称される）コンピュータプログラムとして、コンピュータ読取可能媒体上で符号化されうる。
【0036】
図３は、デジタルスライド画像を位置合わせするための例示的なコンピュータを利用した方法３００の流れ図である。図３に示した工程は、任意の適切なコンピュータ実行可能なコード、および／または、図１のシステム、図２のシステム２００、および／または、それらの１つ以上の変形物または組合せを含む計算システムによって行われうる。一例において、図３に示した各工程は、構造が多数のサブ工程を含むか、および／または、サブ工程によって表されるアルゴリズムを示しうるもので、いくつかの例を次に詳細に示す。
【0037】
図３に示すように、工程３１０において、本明細書に記載の１つ以上のシステムは、切断自在な組織試料ブロックの切片の画像を受信しうる。画像は、組織試料の切片、および、切断自在なフィデューシャルマーカーの切片の画像データを含みうる。例えば、受信モジュール１０４は、計算装置２０２の一部として、組織試料画像２０６および切断自在なフィデューシャルマーカー画像２０８を含みうる画像２０４をデータ記憶部１４０から受信しうる。いくつかの例において、受信モジュール１０４は、上記のように、画像２０４に隣接するか、別々か、重なった更なる画像２１４も受信しうる。
【0038】
本明細書に記載の切断自在なフィデューシャルマーカーを形成する物質は、サイズも形状も大きく変化することなく、蝋ブロックに埋め込まれ、パラフィンで注入されうる。その物質は、刃の切れ味を悪くすることなく、ミクロトーム上でクリーンに切断されうる。例であり、限定するものではないが、フィデューシャルを形成する物質は、ポリマー物質、ゼラチン物質、および／または、組織模倣物質を含みうる。例えば、組織模倣物質は、生物試料を模倣した生物、および／または、合成物質を含みうる。いくつかの実施形態において、組織模倣物質は、少なくとも１つの生物細胞、タンパク質物質、および／または、脂質物質を含みうる。本開示の切断自在なフィデューシャルを形成するのに適した組織模倣物質は、２０１７年１２月２６日発行の「ＭＡＴＲＩＸ ＦＯＲ ＲＥＣＥＩＶＩＮＧ Ａ ＴＩＳＳＵＥ ＳＡＭＰＬＥ ＡＮＤ ＵＳＥ ＴＨＥＲＥＯＦ」という名称の米国特許第９，８５１，３４９号明細書に開示されており、その全開示は、参照により本明細書に組み込まれる。フィデューシャルを形成するのに用いうる例示的物質は、タンパク質（例えば、動物性タンパク質）、１つ以上の脂質（例えば、動物性脂肪、植物性油脂など）、グリセリン、水、ゲル化剤（例えば、イオン性ゲル化剤）、無機緩衝材、消泡剤、および／または、パラフィン蝋物質の少なくとも１つを含みうる。
【0039】
いくつかの例において、切断自在なフィデューシャルマーカーは、フィデューシャルマーカーが切片の周囲の物質（例えば、パラフィン蝋）から光学的に識別されるような物質または物質の間隙を含みうる。例えば、切断自在なフィデューシャルマーカーは、識別されうる形状（例えば、矩形、正方形、三角形、星形、矢印形、十字形、円、平行四角形、台形など）、向き、および／または、サイズを有しうる。いくつかの例において、多数の切断自在なフィデューシャルマーカーを各切片に含んで、画像の位置合わせを改良し、容易にしうる。いくつかの実施形態において、組織試料の周囲の構造物の形状、サイズ、および、向き自体を、デジタル画像の位置合わせのためのフィデューシャルとして用いうる。
【0040】
例、および／または、例示として、図４Ａは、本明細書に記載のいくつかの実施形態による組織試料ブロックの中に埋め込みうる切断自在なフィデューシャルマーカー４００の一例の平面図である。図４Ｂは、切断自在なフィデューシャルマーカー４００の斜視図を示している。切断自在なフィデューシャルマーカー４００を、切断自在な組織試料ブロックの一部として内部に含まれるか、および／または、切断しうる物質から形成しうる。
【0041】
図示したように、切断自在なフィデューシャルマーカー４００は、特定の方向、および／または、向きを示しうる明確および／または識別可能な形状または態様を有しうる。尚、切断自在なフィデューシャルマーカー４００の形状は、単なる例示のために示したものであり、切断自在なフィデューシャルマーカーは、任意の適切な形、形状、および／または、態様を有しうる。
【0042】
図４Ｂに示すように、切断自在なフィデューシャルマーカー４００は、多数のフィデューシャルマーカー切片４０２（例えば、フィデューシャルマーカー切片４０２（１）、フィデューシャルマーカー切片４０２（２）、フィデューシャルマーカー切片４０２（３））に切断されうる（つまり、横方向に切断されうる）。本明細書に記載のように切断自在なフィデューシャルマーカー４００を組織試料ブロックの中に埋め込み、更に、本明細書に記載のように組織試料ブロックを切断した時に、切断された組織試料ブロックの各切片は、異なるフィデューシャルマーカー切片４０２を含みうる。
【0043】
更なる実施形態において、組織ブロックを形成し、１つ以上の孔を組織ブロックに形成し、更に、１つ以上の孔を、切断完了後に組織ブロックの周囲の物質から光学的に識別可能でありうる切断自在物質で充填しうる。例えば、切断自在物質は、着色パラフィン蝋物質、微粒子物質（例えば、顔料）などを含みうる。
【0044】
切断自在な構造物を用いて組織を保持するか、囲むことで、組織を見い出しうる領域、および、組織の向きに対応しうるマーカーを含む場所を制限して組織を収容しうる。したがって、いくつかの実施形態において、組織試料を、１つ以上の切断自在なフィデューシャルマーカーを含む予め形成された構造物の中に配置しうる。組織試料および構造物を共に処理して、組織ブロックを形成しうる。したがって、切断自在なフィデューシャルマーカーおよび組織試料を、切断自在な組織試料ブロックの中に埋め込みうる。組織試料および切断自在なフィデューシャルマーカーを含む構造物を含む組織ブロックの切片を取得して（例えば、ミクロトーム切断して）、スライド上に配置しうる。
【0045】
例えば、図５Ａ～５Ｃは、組織試料スライド５００の組（例えば、組織試料スライド５００（１）、組織試料スライド５００（２）、組織試料スライド５００（３））を示し、各々、切断された組織試料ブロックの異なる切片を含む。図示したように、各スライドは、組織試料の各切片を少なくとも部分的に囲む構造物（例えば、矩形の構造物）を含みうる。構造物は、１つ以上の切断自在なフィデューシャルマーカーを含みうる切断自在な構造物でありうる。１つ以上の切断自在なフィデューシャルマーカーは、単独で、または、他のフィデューシャルマーカーとの組合せで、識別可能な向きを有して、対応するデジタルスライド画像の自動向き決めを容易にさせうる。
【0046】
いくつかの例において、組織試料スライドのデジタル画像を（例えば、１つ以上のデジタル撮像装置を介して）取得して、したがって、切断された組織試料ブロックの１つ以上の切片の１つ以上の画像を生成しうる。これらの画像を画像データ１４２の一部として含み、各画像は、組織試料の切片の画像データおよび切断自在なフィデューシャルマーカーの切片の画像データを含みうる。受信モジュール１０４は、組織試料画像２０６および切断自在なフィデューシャルマーカー画像２０８を含みうる画像２０４を受信しうる。次に非常に詳細に記載するように、１つ以上のモジュール１０２（例えば、特定モジュール１０６）は、構造物（例えば、切断自在なフィデューシャルマーカーの切片）の画像内のフィデューシャルマーカーを識別し、１つ以上のモジュール１０２（例えば、実行モジュール１０８）は、少なくともいくつかの画像を、各々のフィデューシャルマーカーの位置、サイズ、および、向きに基づいて互いに位置合わせしうる。
【0047】
図３に戻り、工程３２０において、本明細書に記載の１つ以上のシステムは、切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定しうる。例えば、特定モジュール１０６は、計算装置２０２の一部として、切断自在なフィデューシャルマーカーの切片の属性２１０を、画像２０４および／または、切断自在なフィデューシャルマーカー画像２０８から特定しうる。
【0048】
属性２１０は、切断自在なフィデューシャルマーカーの画像から特定されうる切断自在なフィデューシャルマーカーの任意の適切な属性を含みうる。これは、限定するものではないが、フィデューシャルマーカーの切片によって反射された光の波長（例えば、色）、切断自在なフィデューシャルマーカーの切片の形状、切断自在なフィデューシャルマーカーの切片の向き、切断自在な組織試料ブロックの切片の中での切断自在なフィデューシャルマーカーの位置などを含みうる。
【0049】
特定モジュール１０６は、様々なコンテクストで属性２１０を特定しうる。例えば、特定モジュール１０６は、画像２０４、組織試料画像２０６、および／または、切断自在なフィデューシャルマーカー画像２０８に関連付けられた任意の適切なデータまたはメタデータを受信、および／または、分析して、任意の適切な画像分析方法または技術を用いて属性２１０を特定しうる。
【0050】
いくつかの例において、特定モジュール１０６は、切断自在な組織試料ブロックの切片の画像を、切断自在なフィデューシャルマーカーの切片の属性を切断自在なフィデューシャルマーカーの切片の画像に基づいて予測するように予め訓練した機械学習モデルにより分析することによって、属性２１０を特定しうる。上記のように、人工ニューラルネットワークなどの機械学習モデルを（例えば、切断自在なフィデューシャルマーカーの切片の予めラベルを付した複数の画像を用いて）予め訓練して、切断自在なフィデューシャルマーカーの切片の新たな画像が提供された際に、切断自在なフィデューシャルマーカーの切片の属性を予測しうる。特定モジュール１０６は、切断自在なフィデューシャルマーカー画像２０８を、切断自在なフィデューシャルマーカー画像２０８の中に撮像された切断自在なフィデューシャルマーカーの切片の属性を予測しうる機械学習モデル１５０に提供しうる。したがって、特定モジュール１０６は、機械学習モデル１５０からの出力として受信した属性を、属性２１０として割り当てうる。
【0051】
いくつかの例において、特定モジュール１０６は、機械学習モデル１５０を、所定の機械学習モデル訓練方法（例えば、教師あり訓練方法）により切断自在なフィデューシャルマーカーの切片の予めラベルを付した複数の画像を分析することによって、切断自在なフィデューシャルマーカーの切片の属性を予測するように訓練しうる。次に、特定モジュール１０６は、機械学習モデルの１つ以上の属性（例えば、１つ以上のパラメータ、１つ以上のハイパーパラメータ、１つ以上の数学モデルなど）を、切断自在なフィデューシャルマーカーの切片の予めラベルを付した複数の画像の分析に基づいて調節しうる。
【0052】
機械学習を用いることで、処理、切断、スライド上に配置、および／または、走査により生じうる画像毎の小さい違いがある場合でも、切断自在なフィデューシャルマーカーを高い信頼性で検出しうる。
【0053】
更なる例において、特定モジュール１０６は、機械学習モデル１５０を、所定の機械学習モデル訓練方法（例えば、教師あり訓練方法）により組織試料の切片の予めラベルを付した複数の画像を分析することによって、組織試料の切片の属性（例えば、形態、および／または、表現型の属性）を予測するように訓練しうる。次に、特定モジュール１０６は、機械学習モデルの１つ以上の属性（例えば、１つ以上のパラメータ、１つ以上のハイパーパラメータ、１つ以上の数学モデルなど）を、組織試料の切片の予めラベルを付した複数の画像の分析に基づいて調節しうる。
【0054】
図３に戻り、工程３３０において、本明細書に記載の１つ以上のシステムは、組織試料管理動作を、切断自在なフィデューシャルマーカーの切片の特定した属性に基づいて実行しうる。例えば、実行モジュール１０８は、計算装置２０２の一部として、組織試料管理動作２１２を、属性２１０に基づいて実行しうる。
【0055】
いくつかの例において、組織試料管理動作は、病理医、および／または、組織試料管理システムに、組織試料にアクセス、分析、維持、および／または、保存することを可能にさせうる組織試料に対する任意の動作を含みうる。例えば、組織試料管理動作２１２は、組織試料に関連付けられて、組織試料管理システムによって属性２１０に基づいて記憶された記録にアクセスすることを含みうる。
【0056】
少なくとも１つの実施形態において、属性２１０は、切断自在なフィデューシャルマーカーの切片の形状を含みうる。そのような例において、組織試料管理動作２１２は、組織試料ブロックの切片の中の切断自在なフィデューシャルマーカーの切片の向き、および／または、位置（例えば、向き２２０）を、切断自在なフィデューシャルマーカーの切片の形状に基づいて特定する動作を含みうる。この向き２２０を、切断自在な組織試料ブロック、切断自在な組織試料ブロックの切片を含む組織試料スライド、切断自在な組織試料ブロックの切片に埋め込まれた組織試料の切片などに対して特定しうる。
【0057】
組織試料管理動作２１２は、更に、切断自在なフィデューシャルマーカーの向き、および／または、位置（例えば、向き２２０）を用いて、統一座標系内で画像を向けるのに必要なオフセット、回転、伸張、スキュー、または、フリップを効果的に行う変換を計算する工程を含みうる。多数の画像（例えば、少なくとも画像２０４および更なる画像２１４）が組に含まれる例において、統一座標系が、その組の全画像に共通でありうる。次に、統一座標系を、（例えば、実行モジュール１０８によって）用いて、組織試料の様々な切片の画像を位置合わせしうる。この方法は、全画像が同じパラフィンブロックからのものであり、フィデューシャルマーカーを有する構造物を含む限りは、異なるレベル、および、異なる染料の種類でも等しく機能しうる。
【0058】
更なる例において、実行モジュール１０８によって実行された組織試料管理動作２１２は、特定モジュール１０６によって特定した組織試料の１つ以上の属性（例えば、形態、および／または、表現型の属性）に基づく動作を含みうる。例えば、組織試料管理動作２１２は、組織試料画像２０６を、検討および可能性のある診断のために、特定の病理医、および／または、特定のアルゴリズムに送る動作を含みうる。特定モジュール１０６が、組織試料画像２０６は異常組織の尤度が高いことを示すと特定した場合には、組織試料画像２０６を、病理医、および／または、他の専門の画像分析アルゴリズムによって注意深い検討が必要な複雑なケースとして分類しうる。したがって、組織試料管理動作２１２は、複雑な画像検討タスクを、組織試料画像２０６と関連付けられた組織の種類の専門家に送りうる。他の例において、多数の複雑な画像検討タスクを、各々、所定のワークロードに応じて（例えば、均等に、または、略均等に）様々な病理医に送るか、診断確認のために多数の病理医に送りうる。
【0059】
例えば、図５Ａ～５Ｃに戻り、図５Ａ～５Ｃは、組織試料スライド５００の組（例えば、組織試料スライド５００（１）、組織試料スライド５００（２）、組織試料スライド５００（３））を示し、各々、組織試料ブロックの異なる切片を含む。図示したように、組織試料ブロックは、組織試料ブロックの異なる切片について共通の向きを示す切断自在なフィデューシャルマーカーを含むものだった。一例として、切片５０２（例えば、切片５０２（１）、切片５０２（２）、および、切片５０２（３））は、各々、組織試料ブロックを切断する前に組織試料ブロックに含まれた切断自在なフィデューシャルマーカーの異なる切片を表しうる。本明細書に記載のシステムおよび方法を用いて、１つ以上のモジュール１０２（例えば、実行モジュール１０８）は、組織試料スライド５００について、共通の向き、および／または、統一座標系を特定しうる。図６は、特定した共通の向き、および／または、特定した統一座標系内で、組織試料スライド５００の実際または仮想の位置合わせを示す図６００を含む。
【0060】
いくつかの例において、実行モジュール１０８は、グラフィカルユーザーインターフェース２２２を介して、グラフィカルユーザーインターフェース２２２内で切断自在なフィデューシャルマーカー画像２０８に含まれる切断自在なフィデューシャルマーカーの切片の特定した向きに基づいて向けられた組織試料画像２０６を更に提供することによって、組織試料管理動作２１２を実行しうる。
【0061】
更に、または、その代わりに、本明細書を通して記載したように、本発明の実施形態を用いて、切断自在な組織試料ブロックの多数の異なる切片の画像を観察、および／または、比較しうる。そのような実施形態において、組織試料管理動作２１２は、切断自在な組織試料ブロックからの異なる切片に含まれる切断自在なフィデューシャルマーカーの異なる切片の向きを特定する動作を含み、それら画像は、例えば、画像２０４および／または、更なる画像２１４に含まれうる。したがって、いくつかの例において、実行モジュール１０８は、グラフィカルユーザーインターフェース２２２などのグラフィカルユーザーインターフェースを介して、（１）グラフィカルユーザーインターフェース２２２内で切断自在なフィデューシャルマーカー画像２０８に含まれる切断自在なフィデューシャルマーカーの切片の特定した向きに基づいて向けられた組織試料画像２０６、および、（２）グラフィカルユーザーインターフェース２２２内で更なる切断自在なフィデューシャルマーカー画像２１８に含まれる切断自在なフィデューシャルマーカーの更なる切片の特定した向きに基づいて向けられた更なる組織試料画像２１６を提供することによって、組織試料管理動作２１２を行いうる。
【0062】
上記統一座標系を用いて、その組からの多数の画像を、グラフィカルユーザーインターフェース２２２内に、（例えば、図６の図６００の組織試料スライド５００のように）同じウインドウで重ねて表示しうる。更に、または、その代わりに、（例えば、図５Ａ～５Ｃに示したように）元のスライド上での位置ずれの可能性に関わらず、同じ組からの多数の画像を、グラフィカルユーザーインターフェース２２２内で、同時に異なるウインドウに、組織試料に対して同じ向きで提供しうる。
【0063】
いくつかの例において、実行モジュール１０８は、組織試料画像２０６および更なる組織試料画像２１６を、切断自在なフィデューシャルマーカー画像２０８に含まれる切断自在なフィデューシャルマーカーの切片の特定した向き、および、更なる切断自在なフィデューシャルマーカー画像２１８に含まれる切断自在なフィデューシャルマーカーの更なる切片の特定した向きに基づいて共通の向きに位置合わせして提供しうる。いくつかの実施形態において、これは、組織試料画像２０６と、更なる組織試料画像２１６とを、グラフィカルユーザーインターフェース２２２内で重ねる動作、および／または、組織試料画像２０６を更なる組織試料画像２１６と隣接して同じ方向に配置する動作を含みうる。
【0064】
例えば、図７は、グラフィカルユーザーインターフェース２２２などのグラフィカルユーザーインターフェースの図７００を示している。この例において、元のスライド上での位置ずれの可能性に関わらず、３つの異なる組織試料切片画像７０２（例えば、組織試料切片画像７０２（１）、組織試料切片画像７０２（２）、および、組織試料切片画像７０２（３））を、異なるウインドウに、組織試料に対して同じ向きに表示する。図示したように、組織試料画像７０２の向きを、切断自在なフィデューシャルマーカー７０４の切片（例えば、切片７０４（１）、切片７０４（２）、および、切片７０４（３））の画像に基づいて特定しうる。各組織試料画像７０２を、同じ切断自在なフィデューシャルマーカーの異なる切片の異なる画像と関連付けうる（例えば、切片７０４（１）を、組織試料切片７０２（１）と関連付け、切片７０４（２）を、組織試料切片７０２（２）と関連付け、更に、切片７０４（３）を、組織試料切片７０２（３）と関連付けうる）。図７に破線で示したように、切断自在なフィデューシャルマーカー７０４の画像は、任意で、組織試料切片画像７０２に含められるか、および／または、共に提供されうる。他の例において、切片７０４の画像を省きうる。
【0065】
いくつかの例において、ユーザ（例えば、病理医）は、画像の１つを移動することによって、グラフィカルユーザーインターフェース２２２と相互作用しうる。それに応じて、実行モジュール１０８は、他の画像の１つ以上を、対応する第２の組織試料位置へ自動で移動しうる。したがって、本開示の方法およびシステムの実施形態は、２つ以上の画像にわたる同期したパンおよびズームを可能にしうる。ユーザにとって、その効果は非常に自然に見えて、病理医が１つのケースの全レベルを検討する時間を大きく削減しうる。
【0066】
更に、病理医は、標準的な染料（例えば、「Ｈ＆Ｅ」染料）で染まった組織試料を、特別な染料で染まった同じ領域の組織試料と並べて（または、重ねて）比較しうる。本開示の実施形態は、（例えば、病理医が組織試料の全レベルを調べ損なう尤度を減らすことによって）最高の業務を確実に実施することも助けうる。
【0067】
更なる実施形態において、実行モジュール１０８は、ユーザによって多数の画像に亘って入力されたスライド注釈情報を自動で転送、および／または、表示することによって、ユーザをグラフィカルユーザーインターフェース２２２と相互作用可能にしうる。１つの画像からの注釈情報を、他の画像の対応する領域に透明に（「半透明に」）表示しうる。したがって、本明細書に記載のシステムおよび方法の実施形態は、病理医が透明な（例えば、ガラス）スライド上で識別した病巣を重ねるのに用いるアナログまたは現実のインクドット技術と同等で、より高い精度、重複度および速度でのデジタルまたは仮想技術を容易にしうる。
【0068】
画像に亘り半透明の注釈情報を付与して、更なる機械学習モデルのための訓練データセットを生成しうる。例えば、２つ以上の画像７０２は、異なる染料で染まった組織を示しうる。第１の染料で染まった組織の画像７０２の１つの中の関心組織（例えば、異常組織）を識別して、注釈を加え、注釈情報は、第２の異なる染料で染まった組織の他の画像７０２に転送されうる。転送された注釈情報は、第２の異なる染料で染まった組織の画像を調べるように特別に設計されうる機械学習モデルのための訓練データセットに加えられうる。
【0069】
本開示を通して記載したように、開示したシステムおよび方法は、組織試料画像、および／または、スライドを位置合わせするか、および／または、提供するための従来の選択肢と比べて１つ以上の利点を提供しうる。本開示の実施形態を用いて、ユーザの介在（例えば、同様、および／または、重なった異なるレベルの組織構造物の識別、画像のスケーリングなど）を必要とせずに、デジタルスライド画像を自動で位置合わせしうる。更に、いくつかの例において、本開示の方法およびシステムは、位置合わせのために切断自在なフィデューシャルマーカーを識別および使用することによって、位置合わせのために組織構造物を用いうる従来の技術と比べて、より正確に画像を位置合わせしうる。
【0070】
他の可能性のある利用例、および／または、実施形態は、Ｚ平面スタッキング（例えば、第３次元の合焦面を同時に調べる）、または、多数の画像を並べて観察する代わりに、単一のウインドウ内で重なってリンクした画像のスクロールを含みうる。
【0071】
次の例示的な実施形態も、本開示に含まれる。
【0072】
例１：コンピュータを利用した方法において、（１）切断自在な組織試料ブロックの切片の画像を受信する工程であって、画像は切断自在な組織試料ブロックの切片に埋め込まれた（Ａ）組織試料の切片および（Ｂ）切断自在なフィデューシャルマーカーの切片の画像データを含むものである工程と、（２）切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定する工程と、（３）組織試料管理動作を、切断自在なフィデューシャルマーカーの切片の特定した属性に基づいて実行する工程とを含む方法。
【0073】
例２：切断自在な組織試料ブロックを複数の切片に切断する前に、組織試料および切断自在なフィデューシャルマーカーの少なくとも一方を、切断自在な組織試料ブロックに埋め込む工程であって、切断自在な組織試料ブロックの切片は、複数の切片に含まれるものである工程を、更に含む、例１に記載のコンピュータを利用した方法。
【0074】
例３：切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定する工程は、（１）切断自在なフィデューシャルマーカーの切片によって反射された光の少なくとも１つの波長、（２）切断自在なフィデューシャルマーカーの切片の形状、（３）切断自在なフィデューシャルマーカーの切片の向き、または、（４）切断自在な組織試料ブロックの切片の中での切断自在なフィデューシャルマーカーの切片の位置の少なくとも１つを特定する工程を含むものである、例１または２に記載のコンピュータを利用した方法。
【0075】
例４：組織試料管理動作を実行する工程は、切断自在なフィデューシャルマーカーの切片の（１）切断自在な組織試料ブロック、（２）切断自在な組織試料ブロックの切片を含む組織試料スライド、または、（３）切断自在な組織試料ブロックの切片に埋め込まれた組織試料の切片の少なくとも１つに対する向きを特定する工程を含むものである、例１から３のいずれか１つに記載のコンピュータを利用した方法。
【0076】
例５：組織試料管理動作を実行する工程は、グラフィカルユーザーインターフェースを介して、切断自在なフィデューシャルマーカーの切片の特定した向きに基づいてグラフィカルユーザーインターフェース内で向けられた組織試料の切片を提供する工程を更に含むものである、例４に記載のコンピュータを利用した方法。
【0077】
例６：（１）切断自在な組織試料ブロックの更なる切片の画像を受信する工程であって、更なる切片は、切断自在な組織試料ブロックの更なる切片に埋め込まれた（Ａ）組織試料の更なる切片および（Ｂ）切断自在なフィデューシャルマーカーの更なる切片の画像データを含むものである工程と、（２）切断自在なフィデューシャルマーカーの更なる切片の属性を、切断自在な組織試料ブロックの更なる切片の受信した画像から特定する工程とを更に含む、例１から５のいずれか１つに記載のコンピュータを利用した方法。
【0078】
例７：組織試料管理動作を実行する工程は、（１）切断自在なフィデューシャルマーカーの切片の（Ａ）切断自在な組織試料ブロック、（Ｂ）切断自在な組織試料ブロックの切片を含む組織試料スライド、または、（Ｃ）切断自在な組織試料ブロックの切片に埋め込まれた組織試料の切片の少なくとも１つに対する向き、および、（２）切断自在なフィデューシャルマーカーの更なる切片の（Ａ）切断自在な組織試料ブロック、（Ｂ）切断自在な組織試料ブロックの更なる切片を含む更なる組織試料スライド、または、（Ｃ）切断自在な組織試料ブロックの更なる切片に埋め込まれた組織試料の更なる切片の少なくとも１つに対する向きを特定する工程を含むものである、例６に記載のコンピュータを利用した方法。
【0079】
例８：組織試料管理動作は、グラフィカルユーザーインターフェースを介して、（１）切断自在なフィデューシャルマーカーの切片の特定した向きに基づいてグラフィカルユーザーインターフェース内で向けられた組織試料の切片の画像データと、（２）切断自在なフィデューシャルマーカーの更なる切片の特定した向きに基づいてグラフィカルユーザーインターフェース内で向けられた組織試料の更なる切片の画像データとを提供する工程を更に含むものである、例７に記載のコンピュータを利用した方法。
【0080】
例９：切断自在なフィデューシャルマーカーの切片の特定した向き、および、切断自在なフィデューシャルマーカーの更なる切片の特定した向きに基づいて共通の向きに位置合わせされた組織試料の切片の画像データ、および、組織試料の更なる切片の画像データを提供する工程を、更に含む例８に記載のコンピュータを利用した方法。
【0081】
例１０：切断自在なフィデューシャルマーカーの切片の特定した向き、および、切断自在なフィデューシャルマーカーの更なる切片の特定した向きに基づいて共通の向きに位置合わせされた組織試料の切片の画像データ、および、組織試料の更なる切片の画像データを提供する工程は、組織試料の切片の画像データを、組織試料の更なる切片の画像データを重ねる工程を含むものである、例９に記載のコンピュータを利用した方法。
【0082】
例１１：組織試料管理動作は、（１）組織試料の切片の画像データの一部に対する注釈情報を、ユーザから受信する工程と、（２）注釈情報を、組織試料の更なる切片の画像データの対応する部分に転送する工程と、（３）転送された注釈情報を、組織試料の更なる切片と少なくとも１つの属性を共有する組織試料の画像データを分析するための機械学習モデルの訓練データセットに加える工程とを更に含むものである、例７から１０のいずれか１つに記載のコンピュータを利用した方法。
【0083】
例１２：切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定する工程は、切断自在な組織試料ブロックの切片の画像を、切断自在なフィデューシャルマーカーの切片の属性を切断自在なフィデューシャルマーカーの切片の画像に基づいて予測するように予め訓練された機械学習モデルにより分析する工程を含むものである、例１から１１のいずれか１つに記載のコンピュータを利用した方法。
【0084】
例１３：機械学習モデルを、切断自在なフィデューシャルマーカーの切片の属性を予測するように訓練する工程を、更に含み、訓練する工程は、（１）切断自在なフィデューシャルマーカーの切片の予めラベルを付した複数の画像を、所定の機械学習モデル訓練方法により分析する工程と、（２）機械学習モデルの少なくとも１つの属性を、切断自在なフィデューシャルマーカーの切片の予めラベルを付した複数の画像の分析に基づいて調節する工程とを含むものである、例１２に記載のコンピュータを利用した方法。
【0085】
例１４：システムにおいて、（１）メモリに記憶されて、切断自在な組織試料ブロックの切片の画像を受信するように構成された受信モジュールであって、画像は切断自在な組織試料ブロックの切片に埋め込まれた（Ａ）組織試料の切片および（Ｂ）切断自在なフィデューシャルマーカーの切片の画像データを含むものである受信モジュールと、（２）メモリに記憶されて、切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定するように構成された特定モジュールと、（３）メモリに記憶されて、組織試料管理動作を、切断自在なフィデューシャルマーカーの切片の特定した属性に基づいて実行するように構成された実行モジュールと、（４）受信モジュール、特定モジュール、および、実行モジュールを実行する少なくとも１つの物理的処理部とを含むシステム。
【0086】
例１５：特定モジュールは、切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から、（１）切断自在なフィデューシャルマーカーの切片によって反射された光の少なくとも１つの波長、（２）切断自在なフィデューシャルマーカーの切片の形状、（３）切断自在なフィデューシャルマーカーの切片の向き、または、（４）切断自在な組織試料ブロックの切片の中での切断自在なフィデューシャルマーカーの切片の位置の少なくとも１つを特定することによって、特定するものである、例１４に記載のシステム。
【0087】
例１６：実行モジュールは、組織試料管理動作を、切断自在なフィデューシャルマーカーの切片の（１）切断自在な組織試料ブロック、（２）切断自在な組織試料ブロックの切片を含む組織試料スライド、または、（３）切断自在な組織試料ブロックの切片に埋め込まれた組織試料の切片の少なくとも１つに対する向きを特定することによって、実行するものである、例１４または１５に記載のシステム。
【0088】
例１７：実行モジュールは、組織試料管理動作を、グラフィカルユーザーインターフェースを介して、切断自在なフィデューシャルマーカーの切片の特定した向きに基づいてグラフィカルユーザーインターフェース内で向けられた組織試料の切片を提供することによって実行するものである、例１６に記載のシステム。
【0089】
例１８：特定モジュールは、切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から、切断自在な組織試料ブロックの切片の画像を、切断自在なフィデューシャルマーカーの切片の属性を切断自在なフィデューシャルマーカーの切片の画像に基づいて予測するように予め訓練された機械学習モデルにより分析することによって、特定するものである、例１４から１７のいずれか１つに記載のシステム。
【0090】
例１９：特定モジュールは、更に、機械学習モデルを、切断自在なフィデューシャルマーカーの切断部分の属性を予測するように、（１）切断自在なフィデューシャルマーカーの切断部分の予めラベルを付した複数の画像を、所定の機械学習モデル訓練方法により分析することと、（２）機械学習モデルの少なくとも１つの属性を、切断自在なフィデューシャルマーカーの切断部分の予めラベルを付した複数の画像の分析に基づいて調節することとによって訓練するように構成されたものである、例１８に記載のシステム。
【0091】
例２０：コンピュータ読取可能命令を含む非一時的なコンピュータ読取可能媒体において、コンピュータ読取可能命令は、計算システムの少なくとも１つの処理部によって実行された場合に、計算システムに、（１）切断自在な組織試料ブロックの切片の画像を受信する処理であって、画像は切断自在な組織試料ブロックの切片に埋め込まれた（Ａ）組織試料の切片および（Ｂ）切断自在なフィデューシャルマーカーの切片の画像データを含むものである処理と、（２）切断自在なフィデューシャルマーカーの切片の属性を、切断自在な組織試料ブロックの切片の受信した画像から特定する処理と、（３）組織試料管理動作を、切断自在なフィデューシャルマーカーの切片の特定した属性に基づいて実行する処理とを行わせるものである非一時的なコンピュータ読取可能媒体。
【0092】
上記のように、本明細書に記載、および／または、示した計算装置およびシステムは、本明細書に記載のモジュールに含まれるものなど、コンピュータ読取可能命令を実行可能な任意の種類または形態の計算装置またはシステムを広く示す。最も基本的な構成において、これらの各計算装置は、少なくとも１つのメモリ装置、および、少なくとも１つの物理的処理部を含みうる。
【0093】
別体の要素として示しているが、本明細書に記載、および／または、示したモジュールは、単一のモジュールまたはアプリケーションの一部を示しうる。更に、ある実施形態において、これらのモジュールの１つ以上は、計算装置によって実行された時に、計算装置に１つ以上のタスクを行わせる１つ以上のソフトウェアアプリケーションまたはプログラムを表しうる。例えば、本明細書に記載、および／または、示したモジュールの１つ以上は、本明細書に記載、および／または、示した計算装置またはシステムの１つ以上で実行されるように記憶され構成されたモジュールを示しうる。これらのモジュールの１つ以上は、１つ以上のタスクを行うように構成された１つ以上の特定用途コンピュータの全部または一部も示しうる。
【0094】
更に、本明細書に記載のモジュールの１つ以上は、データ、物理的装置、および／または、物理的装置の表示を、１つの形態から他の形態に変換しうる。例えば、本明細書に記載のモジュールの１つ以上は、変換すべき画像データを受信し、画像データを変換し、変換結果を出力して、画像データに含まれる組織スライド画像を位置合わせし、変換結果を用いて、画像データに含まれる位置合わせされた組織スライド画像を提供し、更に、その変換結果を記憶して、機械学習モデルを切断自在なフィデューシャルマーカーの画像を認識するように訓練しうる。更に、または、その代わりに、本明細書に記載のモジュールの１つ以上は、計算装置上で実行すること、データを計算装置に記憶、および／または、他の形態で計算装置と相互作用することによって、処理部、揮発性メモリ、非揮発性メモリ、および／または、物理的計算装置の任意の他の部分を、１つの形態から他の形態に変換しうる。
【0095】
「コンピュータ読取可能媒体」という用語は、本明細書で用いるように、概して、コンピュータ読取可能命令を記憶または担持可能な任意の形態の装置、担体、または、媒体を称する。コンピュータ読取可能媒体の例は、限定するものではないが、搬送波などの送信型媒体、並びに、磁気記憶媒体（例えば、ハードディスクドライブ、テープドライブ、および、フロッピーディスク）、光学記憶媒体（例えば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、および、ＢＬＵ－ＲＡＹディスク）、電子記憶媒体（例えば、ソリッドステートドライブ、および、フラッシュメディア）、および、他の配布システムなどの非一時的な媒体を含む。
【0096】
本明細書に記載、および／または、示した工程の処理パラメータおよび順序は例示にすぎず、要求に応じて変化させうる。例えば、本明細書に示し、および／または、記載した工程を、特定の順序で示すか、記載しうるが、これらの工程を、必ずしも、示した、または記載した順序で行う必要はない。本明細書に記載、および／または、示した様々な例示的な方法は、本明細書に記載または示した工程の１つ以上を省くか、開示した工程に追加の工程を含みうる。
【0097】
ここまでの記載は、本明細書に開示の例示的な実施形態の様々な態様を、他の当業者が最良に利用可能なように提供したものである。この例示的な記載は、排他的でなく、いずれの開示した精密な形態に限定することも意図しない。本開示の精神および範囲を逸脱することなく、多数の変更および変形が可能である。本明細書に開示の実施形態は、全ての点で例示であり、限定するものではないと考えるべきである。本開示の範囲を特定するには、添付の請求項および等価物を参照すべきである。
【0098】
別段の記載がない限りは、本明細書および請求項で用いた「接続された」および「連結された」という用語（および、派生語）は、直接接続および間接（つまり、他の要素または構成要素を介した）接続の両方が可能であると解釈されるべきである。更に、本明細書および請求項で、原文の英語の不定冠詞は、「少なくとも１つの」と解釈されるべきである。最後に、用法を容易にするために、本明細書および請求項で用いた「含む」および「有する」という用語（および、派生語）は交換可能で、「備える」という用語と同じ意味を有する。
【符号の説明】
【0099】
１０４ 受信モジュール
１０６ 特定モジュール
１０８ 実行モジュール
１２０ メモリ
１３０ 物理的処理部
１０６ 特定モジュール
１０８ 実行モジュール
１２０ メモリ
１３０ 物理的処理部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【国際調査報告】