知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-30
(54)【発明の名称】ペットの癌を特定するためのシステム及び方法
(51)【国際特許分類】
G01N 33/48 20060101AFI20240123BHJP
G06T 7/00 20170101ALI20240123BHJP
G16H 30/20 20180101ALI20240123BHJP
【ＦＩ】
G01N33/48 M
G06T7/00 630
G06T7/00 350C
G16H30/20
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023534988
(86)(22)【出願日】2021-12-15
(85)【翻訳文提出日】2023-08-07
(86)【国際出願番号】 US2021063606
(87)【国際公開番号】W WO2022132966
(87)【国際公開日】2022-06-23
(31)【優先権主張番号】63/233,674
(32)【優先日】2021-08-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/125,926
(32)【優先日】2020-12-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/153,308
(32)【優先日】2021-02-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】390037914
【氏名又は名称】マース インコーポレーテッド
【氏名又は名称原語表記】ＭＡＲＳ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】100073184
【弁理士】
【氏名又は名称】柳田 征史
(74)【代理人】
【識別番号】100175042
【弁理士】
【氏名又は名称】高橋 秀明
(74)【代理人】
【識別番号】100163050
【弁理士】
【氏名又は名称】小栗 眞由美
(74)【代理人】
【識別番号】100224775
【弁理士】
【氏名又は名称】南 毅
(72)【発明者】
【氏名】パーキンソン，マーク ジャスティン
(72)【発明者】
【氏名】フィツキー，ミヒャエル
(72)【発明者】
【氏名】ファディーヴ，ウラディミール
(72)【発明者】
【氏名】ロドリゲス，フェルナンド
【テーマコード（参考）】
2G045
5L096
5L099
【Ｆターム（参考）】
2G045AA26
2G045CB01
2G045CB02
2G045CB17
2G045FA19
2G045JA01
5L096BA06
5L096BA13
5L096DA01
5L096FA02
5L096FA69
5L096HA11
5L096JA11
5L096KA04
5L096KA15
5L099AA04
(57)【要約】
一実施形態では、本開示は：生検スライドの画像を受信するステップ；第１のプログラムされた命令を実行して、上記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、分類を出力するステップ；上記分類に基づいて、上記画像を更に処理するべきであると決定するステップ；組織検出アルゴリズムを上記生検スライドの上記画像に対して実行することによって、第１の座標セットを出力するステップ；第２のプログラムされた命令を実行することによって、上記生検スライドの上記画像及び上記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；第３のプログラムされた命令を実行して、上記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びにコンピュータメモリに、上記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップを含む、方法を提供する。一実施形態では、高倍率１０視野を生成してデジタル保存できる。
【特許請求の範囲】
【請求項1】
コンピューティングデバイスにおいて生検スライドの画像を受信するステップ；第１のプログラムされた命令を実行して、前記生検スライドの前記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、前記生検スライドの前記画像の分類を出力するステップ；
前記分類に基づいて、前記生検スライドの前記画像を更に処理するべきであると決定するステップ；
組織検出アルゴリズムを前記生検スライドの前記画像に対して実行することによって、第１の座標セットを出力するステップ；
第２のプログラムされた命令を実行することによって、前記生検スライドの前記画像及び前記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；
第３のプログラムされた命令を実行して、前記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びに
コンピュータメモリに、前記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップ
を含む、コンピュータ実装型の方法。
【請求項2】
ｋｄ木ベースのアルゴリズムを実装する、第４のプログラムされた命令を実行することによって、有糸分裂像が最も多い視野を、前記拡張ピクセルマスクに基づいて出力するステップ；及び前記視野を前記コンピュータメモリ内に、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を更に含む、請求項１に記載のコンピュータ実装型の方法。
【請求項3】
前記視野は、高倍率１０視野（１０‐ｈｉｇｈ‐ｐｏｗｅｒ ｆｉｅｌｄ）を含む、請求項２に記載のコンピュータ実装型の方法。
【請求項4】
前記視野をデバイスディスプレイ上に表示するステップを更に含む、請求項２に記載のコンピュータ実装型の方法。
【請求項5】
前記組織検出アルゴリズムは、前記生検の前記スライド画像の低解像度ビューにおいて、組織の粗セグメント化を実施するステップを含む、請求項１に記載のコンピュータ実装型の方法。
【請求項6】
前記第３のプログラムされた命令は：有糸分裂像を示す前記バイナリピクセルマスクの接続された座標セットごとに、対応する回転長方形であって、各前記回転長方形は、前記有糸分裂像の近似輪郭を囲む最小面積のものである、回転長方形を決定させるように；及び
前記コンピュータメモリにデジタル保存された閾値幅より大きな幅をそれぞれ有する回転長方形に関連付けられた座標のみを含むように、前記拡張ピクセルマスクを生成させるように、プログラムされる、請求項１に記載のコンピュータ実装型の方法。
【請求項7】
前記第３のプログラムされた命令は更に、前記コンピュータメモリに保存されたカーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、前記バイナリピクセルマスクを膨張させるように、プログラムされる、請求項６に記載のコンピュータ実装型の方法。
【請求項8】
前記第２の訓練済み機械学習モデルは、均衡化クロスエントロピー（ｂａｌａｎｃｅｄ ｃｒｏｓｓ ｅｎｔｒｏｐｙ：ＢＣＥ）ソフトＤｉｃｅＬｏｓｓ関数又はソフトＤｉｃｅＬｏｓｓ関数のうちの少なくとも一方を最小化するように訓練された、スキップ接続を伴う畳み込みニューラルネットワークを含む、請求項１に記載のコンピュータ実装型の方法。
【請求項9】
前記第２の訓練済み機械学習モデルは、ＩｍａｇｅＮｅｔで事前訓練されたＵ‐Ｎｅｔモデルを更に含む、請求項８に記載のコンピュータ実装型の方法。
【請求項10】
前記生検スライドの前記画像は、動物又はペットのうちの少なくとも一方の生検の画像を含み、前記生検の前記画像は、医療撮像デバイスを用いて生成されたものである、請求項１に記載のコンピュータ実装型の方法。
【請求項11】
前記生検スライドの前記画像は、スライド全体画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ：ＷＳＩ）を含む、請求項１に記載のコンピュータ実装型の方法。
【請求項12】
前記生検スライドの前記画像及び前記分類の表示を含む出力画像を表示するステップを更に含む、請求項１に記載のコンピュータ実装型の方法。
【請求項13】
前記生検スライドの前記画像をプログラムに従って事前処理するステップを更に含み、前記事前処理するステップは、前記生検スライドの前記画像が更なる処理のために十分なほど鮮明であると判断するステップを含む、請求項１に記載のコンピュータ実装型の方法。
【請求項14】
前記生検スライドの前記画像はスライド全体画像を含み、前記事前処理するステップは、前記生検スライドの前記画像の解像度が、前記コンピュータメモリに保存されている閾値解像度を超えると判断するステップ、又は前記スライド全体画像が含むスライド画像の枚数が、前記コンピュータメモリに保存されている閾値枚数を超えると判断するステップのうちの、少なくとも一方を含む、請求項１３に記載のコンピュータ実装型の方法。
【請求項15】
前記第２の座標セットを用いて有糸分裂像数をプログラムに従って計算するステップ；及び前記有糸分裂像数を前記コンピュータメモリにデジタル保存するステップ
を更に含む、請求項１に記載のコンピュータ実装型の方法。
【請求項16】
前記コンピューティングデバイスはサーバコンピュータを備え、前記生検スライドの前記画像はクライアントコンピューティングデバイスから受信される、請求項１に記載のコンピュータ実装型の方法。
【請求項17】
前記拡張ピクセルマスクに基づいて、有糸分裂像が最も多い視野を出力するために、ｋｄ木ベースのアルゴリズムを実装する第４のプログラムされた命令を実行するステップ；及び前記視野を前記コンピュータメモリに、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を更に含む、請求項１６に記載のコンピュータ実装型の方法。
【請求項18】
前記ファイルは、エクステンシブルマークアップランゲージ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ：ＸＭＬ）ファイルを含む、請求項１７に記載のコンピュータ実装型の方法。
【請求項19】
前記サーバコンピュータから前記クライアントコンピューティングデバイスに、前記生検スライド画像に関する情報を、前記エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルからレンダリングされたアノテーションとして送信するステップを更に含む、請求項１８に記載のコンピュータ実装型の方法。
【請求項20】
スケーラブルなブロックを含む分散型、非集中型、かつ非同期型のアーキテクチャを用いて、前記方法を実行するステップを更に含み、前記スケーラブルなブロックは管理プログラムを含み、前記管理プログラムはＤｏｃｋｅｒコンテナを用いて実装される、請求項１に記載のコンピュータ実装型の方法。
【請求項21】
システムであって：１つ以上のプロセッサと；
前記プロセッサのうちの１つ以上に結合され、前記プロセッサのうちの１つ以上によって実行されたときに、以下：
生検スライドの画像を受信するステップ；
第１のプログラムされた命令を実行して、前記生検スライドの前記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、前記生検スライドの前記画像の分類を出力するステップ；
前記分類に基づいて、前記生検スライドの前記画像を更に処理するべきであると決定するステップ；
組織検出アルゴリズムを前記生検スライドの前記画像に対して実行することによって、第１の座標セットを出力するステップ；
第２のプログラムされた命令を実行することによって、前記生検スライドの前記画像及び前記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；
第３のプログラムされた命令を実行して、前記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びに
コンピュータメモリに、前記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップ
を含む操作を前記システムに実行させるように動作する命令を含む、１つ以上のコンピュータ可読非一時的記憶媒体と
を備える、システム。
【請求項22】
前記命令は更に、実行されたときに、ｋｄ木ベースのアルゴリズムを実装する、第４のプログラムされた命令を実行することによって、有糸分裂像が最も多い視野を、前記拡張ピクセルマスクに基づいて出力するステップ；及び前記視野を前記コンピュータメモリ内に、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を実施させるように動作する、請求項２１に記載のシステム。
【請求項23】
前記視野は、高倍率１０視野を含む、請求項２２に記載のシステム。
【請求項24】
前記命令は更に、実行されたときに、前記視野をデバイスディスプレイ上に表示するステップを実施させるように動作する、請求項２２に記載のシステム。
【請求項25】
前記組織検出アルゴリズムは、前記生検の前記スライド画像の低解像度ビューにおいて、組織の粗セグメント化を実施するステップを含む、請求項２１に記載のシステム。
【請求項26】
前記第３のプログラムされた命令は：有糸分裂像を示す前記バイナリピクセルマスクの接続された座標セットごとに、対応する回転長方形であって、各前記回転長方形は、前記有糸分裂像の近似輪郭を囲む最小面積のものである、回転長方形を決定させるように；及び
前記コンピュータメモリにデジタル保存された閾値幅より大きな幅をそれぞれ有する回転長方形に関連付けられた座標のみを含むように、前記拡張ピクセルマスクを生成させるように、プログラムされる、請求項２１に記載のシステム。
【請求項27】
前記第３のプログラムされた命令は更に、前記コンピュータメモリに保存されたカーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、前記バイナリピクセルマスクを膨張させるように、プログラムされる、請求項２６に記載のシステム。
【請求項28】
前記第２の訓練済み機械学習モデルは、均衡化クロスエントロピー（ＢＣＥ）ソフトＤｉｃｅＬｏｓｓ関数又はソフトＤｉｃｅＬｏｓｓ関数のうちの少なくとも一方を最小化するように訓練された、スキップ接続を伴う畳み込みニューラルネットワークを含む、請求項２１に記載のシステム。
【請求項29】
前記第２の訓練済み機械学習モデルは、ＩｍａｇｅＮｅｔで事前訓練されたＵ‐Ｎｅｔモデルを更に含む、請求項２８に記載のシステム。
【請求項30】
前記生検スライドの前記画像は、動物又はペットのうちの少なくとも一方の生検の画像を含み、前記生検の前記画像は、医療撮像デバイスを用いて生成されたものである、請求項２１に記載のシステム。
【請求項31】
前記生検スライドの前記画像は、スライド全体画像（ＷＳＩ）を含む、請求項２１に記載のシステム。
【請求項32】
前記生検スライドの前記画像及び前記分類の表示を含む出力画像を表示するステップを更に含む、請求項２１に記載のシステム。
【請求項33】
前記命令は更に、実行されたときに、前記生検スライドの前記画像をプログラムに従って事前処理するステップを実施させるように動作し、前記事前処理するステップは、前記生検スライドの前記画像が更なる処理のために十分なほど鮮明であると判断するステップを含む、請求項２１に記載のシステム。
【請求項34】
前記生検スライドの前記画像はスライド全体画像を含み、前記事前処理するステップは、前記生検スライドの前記画像の解像度が、前記コンピュータメモリに保存されている閾値解像度を超えると判断するステップ、又は前記スライド全体画像が含むスライド画像の枚数が、前記コンピュータメモリに保存されている閾値枚数を超えると判断するステップのうちの、少なくとも一方を含む、請求項３３に記載のシステム。
【請求項35】
前記命令は更に、実行されたときに：前記第２の座標セットを用いて有糸分裂像数をプログラムに従って計算するステップ；及び
前記有糸分裂像数を前記コンピュータメモリにデジタル保存するステップ
を実施させるように動作する、請求項２１に記載のシステム。
【請求項36】
前記生検スライドの前記画像はクライアントコンピューティングデバイスから受信される、請求項２１に記載のシステム。
【請求項37】
前記命令は更に、実行されたときに：前記拡張ピクセルマスクに基づいて、有糸分裂像が最も多い視野を出力するために、ｋｄ木ベースのアルゴリズムを実装する第４のプログラムされた命令を実行するステップ；及び
前記視野を前記コンピュータメモリに、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を実施させるように動作する、請求項３６に記載のシステム。
【請求項38】
前記ファイルは、エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルを含む、請求項３７に記載のシステム。
【請求項39】
前記命令は更に、実行されたときに、前記クライアントコンピューティングデバイスに、前記生検スライド画像に関する情報を、前記エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルからレンダリングされたアノテーションとして送信するステップを実施させるように動作する、請求項３８に記載のシステム。
【請求項40】
スケーラブルなブロックを含む分散型、非集中型、かつ非同期型のアーキテクチャを用いて、前記方法を実行するステップを更に含み、前記スケーラブルなブロックは管理プログラムを含み、前記管理プログラムはＤｏｃｋｅｒコンテナを用いて実装される、請求項２１に記載のシステム。
【発明の詳細な説明】
【優先権】
【0001】
本出願は、２０２１年８月１６日出願の米国仮特許出願第６３／２３３，６７４号、２０２１年２月２４日出願の米国仮特許出願第６３／１５３，３０８号、及び２０２０年１２月１５日出願の米国仮特許出願第６３／１２５，９２６号の、米国特許法第１１９条の下での利益を主張するものであり、上記仮特許出願の全内容は、本明細書に完全に記載されているかのように、あらゆる目的のために参照によって本出願に援用される。
【技術分野】
【0002】
本開示は一般に、動物の組織のデジタル画像から癌を特定するための機械学習システムに関する。
【背景技術】
【0003】
動物又はペットの癌の攻撃性を定量化する１つの方法は、所与の時間内に身体の所与の領域で有糸分裂を起こしている細胞の個数を計数することである。有糸分裂数は、イヌの肥満細胞腫瘍、イヌの軟部組織肉腫、イヌのメラニン細胞腫瘍、イヌ及びネコの乳房腫瘍等に関するもの等の、従来のグレード分けスキームにおいて、役割を果たすことができる。身体の所与の領域における有糸分裂細胞の密度の上昇は、動物に影響を及ぼす癌又は他の病気を示している可能性があり、例えばこれは、検出された新生物が良性であるか悪性であるかを示すことができ、又は医師に貴重な予後情報を提供できる。しかしながら、有糸分裂細胞の密度の上昇を判断するための現行のプロセスは、動物又はペットの所与の領域の医療用画像のレビュー、及び懸念のあるいずれの領域の手動での特定を伴う。このレビュープロセスは、退屈で時間がかかるものである場合があり、様々な不正確さ又は観察者間でのばらつきが発生する。有糸分裂細胞の密度の観察は、少なくとも部分的には、懸念のある領域が、閲覧されている画像全体に比べて極めて小さい場合があることを理由として、困難である可能性がある。更に、画像の特定の有糸分裂領域の解像度が低いと、更に複雑になる可能性がある。観察者が異なると、彼らが同様の方法で訓練されていたとしても、同一の画像のレビュー時の結論が異なる場合があり、その結果、異なる観察者間で適用が一貫せず、ばらつきが生じる。これらの観察の主観的な性質により、有糸分裂の計数に誤差が生じ、全体的な効率が低下する恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
その結果、より一貫性があり、より効率的かつ客観的な有糸分裂数を提供すること、並びに有糸分裂細胞の臨床的に確実な判断を行うために、様々な解像度及びサイズの医療用画像を分析するためのプロセスを自動化することが、必要とされている。
【課題を解決するための手段】
【0005】
特定の非限定的な実施形態は、機械学習システムを用いて癌を特定するためのシステム、方法、媒体、及びこれらの組み合わせを提供する。例えば、医療用スキャンデバイスによって使用されることが多いタイル化ＳＶＳフォーマットの画像、又は他のいずれのＤｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）画像等の、デジタル生検画像を、１つ以上の機械学習モデル又はツールを用いて処理する。上記機械学習モデル又はツールは例えば：Ｋ最近傍法（Ｋ‐ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ：ＫＮＮ）；ナイーブベイズ（ｎａｉｖｅ Ｂａｙｅｓ：ＮＢ）；決定木若しくはランダムフォレスト；サポートベクターマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ：ＳＶＭ）；畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）、領域ベースＣＮＮ（ｒｅｇｉｏｎ‐ｂａｓｅｄ ＣＮＮ：ＲＣＮＮ）、１次元（ｏｎｅ‐ｄｉｍｅｎｓｉｏｎａｌ：１‐Ｄ）ＣＮＮ、リカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＲＮＮ）といった深層学習モデル；又は他のいずれの機械学習モデル若しくは技法とすることができる。上記機械学習モデル又はツールを訓練して、関連する画像又はスライドを特定し、スライド内に示されている有糸分裂細胞を特定できる。
【0006】
特定の非限定的な実施形態は、ある方法を対象とすることができる。上記方法は：コンピューティングデバイスにおいて生検スライドの画像を受信するステップ；第１のプログラムされた命令を実行して、上記生検スライドの上記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、上記生検スライドの上記画像の分類を出力するステップ；上記分類に基づいて、上記生検スライドの上記画像を更に処理するべきであると決定するステップ；組織検出アルゴリズムを上記生検スライドの上記画像に対して実行することによって、第１の座標セットを出力するステップ；第２のプログラムされた命令を実行することによって、上記生検スライドの上記画像及び上記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；第３のプログラムされた命令を実行して、上記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びにコンピュータメモリに、上記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップのうちの１つ以上を含むことができる。
【0007】
一実施形態は：ｋｄ木ベースのアルゴリズムを実装する、第４のプログラムされた命令を実行することによって、有糸分裂像が最も多い視野を、上記拡張ピクセルマスクに基づいて出力するステップ；及び上記視野を上記コンピュータメモリ内に、上記第２の座標セットを伴うファイルでデジタル保存するステップを含む。
【0008】
一実施形態では、上記視野は、高倍率１０視野（１０‐ｈｉｇｈ‐ｐｏｗｅｒ ｆｉｅｌｄ）を含む。
【0009】
一実施形態は、上記視野をデバイスディスプレイ上に表示するステップを含む。
【0010】
一実施形態では、上記組織検出アルゴリズムは、上記生検の上記スライド画像の低解像度ビューにおいて、組織の粗セグメント化を実施するステップを含む。
【0011】
一実施形態では、上記第３のプログラムされた命令は：有糸分裂像を示す上記バイナリピクセルマスクの接続された座標セットごとに、対応する回転長方形（各上記回転長方形は、上記有糸分裂像の近似輪郭を囲む最小面積のものである）を決定させるように；及び上記コンピュータメモリにデジタル保存された閾値幅より大きな幅をそれぞれ有する回転長方形に関連付けられた座標のみを含むように、上記拡張ピクセルマスクを生成させるように、プログラムされる。
【0012】
一実施形態では、上記第３のプログラムされた命令は更に、上記コンピュータメモリに保存されたカーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、上記バイナリピクセルマスクを膨張させるように、プログラムされる。
【0013】
一実施形態では、上記第２の訓練済み機械学習モデルは、均衡化クロスエントロピー（ｂａｌａｎｃｅｄ ｃｒｏｓｓ ｅｎｔｒｏｐｙ：ＢＣＥ）ソフトＤｉｃｅＬｏｓｓ関数又はソフトＤｉｃｅＬｏｓｓ関数のうちの少なくとも一方を最小化するように訓練された、スキップ接続を伴う畳み込みニューラルネットワークを含む。
【0014】
一実施形態では、上記第２の訓練済み機械学習モデルは、ＩｍａｇｅＮｅｔで事前訓練されたＵ‐Ｎｅｔモデルを更に含む。
【0015】
一実施形態では、上記生検スライドの上記画像は、動物又はペットのうちの少なくとも一方の生検の画像を含み、上記生検の上記画像は、医療撮像デバイスを用いて生成されたものである。
【0016】
一実施形態では、上記生検スライドの上記画像は、スライド全体画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ：ＷＳＩ）を含む。
【0017】
一実施形態は、上記生検スライドの上記画像及び上記分類の表示を含む出力画像を表示するステップを含む。
【0018】
一実施形態は、上記生検スライドの上記画像をプログラムに従って事前処理するステップを含み、上記事前処理するステップは、上記生検スライドの上記画像が更なる処理のために十分なほど鮮明であると判断するステップを含む。
【0019】
一実施形態では、上記生検スライドの上記画像はスライド全体画像を含み、上記事前処理するステップは、上記生検スライドの上記画像の解像度が、上記コンピュータメモリに保存されている閾値解像度を超えると判断するステップ、又は上記スライド全体画像が含むスライド画像の枚数が、上記コンピュータメモリに保存されている閾値枚数を超えると判断するステップのうちの、少なくとも一方を含む。
【0020】
一実施形態は：上記第２の座標セットを用いて有糸分裂像数をプログラムに従って計算するステップ；及び上記有糸分裂像数を上記コンピュータメモリにデジタル保存するステップを含む。
【0021】
一実施形態では、上記コンピューティングデバイスはサーバコンピュータを備え、上記生検スライドの上記画像はクライアントコンピューティングデバイスから受信される。
【0022】
一実施形態では、上記ファイルは、エクステンシブルマークアップランゲージ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ：ＸＭＬ）ファイルを含む。
【0023】
一実施形態は、上記サーバコンピュータから上記クライアントコンピューティングデバイスに、上記生検スライド画像に関する情報を、上記エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルからレンダリングされたアノテーションとして送信するステップを含む。
【0024】
一実施形態は、スケーラブルなブロックを含む分散型、非集中型、かつ非同期型のアーキテクチャを用いて、方法を実行するステップを含み、上記スケーラブルなブロックは管理プログラムを含み、上記管理プログラムはＤｏｃｋｅｒコンテナを用いて実装される。
【0025】
特定の非限定的な実施形態は、１つ以上のプロセッサによって実行されたときに、本明細書に記載の方法又は技法のうちのいずれかをシステムに実施させるよう動作可能な命令を含む、コンピュータ可読非一時的記憶媒体を対象とすることができる。
【0026】
特定の非限定的な実施形態は、システムであって：１つ以上のプロセッサと；上記プロセッサのうちの１つ以上に結合され、上記プロセッサのうちの１つ以上によって実行されたときに、本明細書に記載の方法又は技法のうちのいずれかを上記システムに実行させるように動作する命令を含む、１つ以上のコンピュータ可読非一時的記憶媒体とを備える、システムを対象とすることができる。
【0027】
特定の非限定的な実施形態は、本開示のシステム及び方法を臨床環境で使用するための、システムアーキテクチャを対象とすることができる。例えば特定の実施形態では、１つ以上の事前処理ステップ及び／又は後処理ステップを利用して、リソースの効率を向上させることができる。これらのステップは、プルベースの非同期型アーキテクチャを活用したシステムアーキテクチャによって実行でき、上記非同期型アーキテクチャは、指定された期間中に新たなスキャンが利用可能になったときに、処理キューに新たなスキャンを追加できる。
【0028】
本明細書で開示される実施形態は単なる例であり、本開示の範囲はこれらに限定されない。特定の非限定的な実施形態は、本明細書で開示される実施形態のコンポーネント、要素、特徴、機能、動作、又はステップを、全て含む場合も、一部だけ含む場合も、又は全く含まない場合もある。本発明による実施形態は特に、方法、記憶媒体、システム、及びコンピュータプログラム製品を対象とする添付の請求項において開示され、ある請求カテゴリ、例えば方法のカテゴリにおいて言及されるいずれの特徴は、別の請求カテゴリ、例えばシステムのカテゴリでも同様に請求対象とすることができる。添付の請求項内での従属関係又は参照は、形式的な理由のみで選択される。しかしながら、以前の請求項を（特定の複数の依存関係で）意図的に参照した結果として生じる主題も同様に請求の対象とすることができるため、添付の請求項において選択されている依存関係にかかわらず、請求項及びその特徴の任意の組み合わせが開示され、それらを請求の対象とすることができる。請求の対象とすることができる主題は、添付の請求項に記載された特徴の組み合わせだけでなく、請求項中の特徴の他のいずれの組み合わせも含み、請求項中で言及されている各特徴は、請求項中の他のいずれの特徴又は他の特徴の組み合わせと組み合わせることができる。更に、本明細書に記載又は図示されている実施形態及び特徴はいずれも、別個の請求項において、及び／又は本明細書に記載若しくは図示されているいずれの実施形態若しくは特徴と、若しくは添付の請求項の特徴のうちのいずれかとの、いずれの組み合わせにおいて、請求の対象とすることができる。
【0029】
本開示並びにその特徴及び利点のより完全な理解のために、これより、添付の図面と併せて理解されるべきものである以下の説明を参照する。
【図面の簡単な説明】
【0030】
【図1】癌を特定するために有糸分裂像を評価するための、例示的な７ステップフレームワーク
【図2】特定の実施形態による例示的な機械学習モデル
【図3】生検スライド分類データ及びカテゴリの例示的なセット
【図4】特定の実施形態による機械学習モデルの例示的なコンポーネント
【図5】癌を特定するために機械学習システムを使用するための、例示的な方法
【図6】特定の非限定的な実施形態による、機械学習ツールを用いて癌の診断を促進するために使用される、例示的なコンピュータシステム又はデバイス
【図7】特定の非限定的な実施形態による、例示的な生検スライド分類
【図8】特定の非限定的な実施形態による、展開された分散型アーキテクチャの例
【図9】特定の非限定的な実施形態による、ポアソン回帰分析の条件付きλｉ
【図10】人工知能を使用せずに実行された例示的な有糸分裂計数、人工知能の支援によって実行された例示的な有糸分裂計数、及び人工知能のみによって実行された例示的な有糸分裂計数の結果
【発明を実施するための形態】
【0031】
本明細書中で使用される用語は一般に、本開示の文脈、及び各用語が使用される特定の文脈において、当該技術分野における通常の意味を有する。本開示の構成物及び方法、並びにその作製及び使用方法の説明にあたって更なる指針を提供するために、特定の用語について、以下又は明細書中の他の箇所で議論する。
【0032】
本明細書及び添付の特許請求の範囲で使用される場合、単数形「ある（ａ、ａｎ）」及び「上記、前記（ｔｈｅ）」は、文脈によってそうでないことが明確に指示されていない限り、複数の指示対象を含む。
【0033】
本明細書中で使用される場合、用語「…を備える、含む（ｃｏｍｐｒｉｓｅｓ）」、「…を備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」、又は他のいずれの変化形は、非排他的な包含をカバーすることを意図したものであり、従って、複数の要素のリストを含むプロセス、方法、物品、システム、又は装置は、これらの要素のみを含むのではなく、明示的に挙げられていない、又はこのようなプロセス、方法、物品、システム、若しくは装置に必然的に含まれる、他の要素を含む可能性がある。
【0034】
本明細書中で使用される場合、本開示に従って使用される用語「動物（ａｎｉｍａｌ）」又は「ペット（ｐｅｔ）」は、飼い犬、飼い猫、ウマ、ウシ、フェレット、ウサギ、ブタ、ラット、マウス、アレチネズミ、ハムスター、ヤギ等を含むがこれらに限定されない家畜動物を指す。飼い犬及び飼い猫が、ペットの特定の非限定的な例である。本開示に従って使用される用語「動物」又は「ペット」は更に、必要に応じて、バイソン、ヘラジカ、シカ、鹿肉、アヒル、家禽、魚等を含むがこれらに限定されない野生動物を指す場合もある。
【0035】
本明細書中で使用される場合、画像又はスライドの「特徴（ｆｅａｔｕｒｅ）」は、該画像又はスライドの１つ以上の測定可能な特性に基づいて決定できる。例えば特徴は、生検画像内の、検出された組織が密である領域であってよい。
【0036】
本明細書中の「発明を実施するための形態」において、「実施形態（ｅｍｂｏｄｉｍｅｎｔ）」、「ある実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「様々な実施形態（ｖａｒｉｏｕｓ ｅｍｂｏｄｉｍｅｎｔ）」、「特定の実施形態（ｃｅｒｔａｉｎ ｅｍｂｏｄｉｍｅｎｔ）」、「いくつかの実施形態（ｓｏｍｅ ｅｍｂｏｄｉｍｅｎｔ）」、「他の実施形態（ｏｔｈｅｒ ｅｍｂｏｄｉｍｅｎｔ）」、「他の特定の実施形態（ｃｅｒｔａｉｎ ｏｔｈｅｒ ｅｍｂｏｄｉｍｅｎｔ）」等への言及は、説明される１つ以上の実施形態が、ある特定の特徴、構造、又は特性を含み得るものの、全ての実施形態がこの特定の特徴、構造、又は特性を必ずしも含むわけではないことを示す。更に、このような句は、必ずしも同一の実施形態に言及しているわけではない。更に、ある特定の特徴、構造、又は特性がある実施形態に関連して説明されている場合、明記されているかどうかにかかわらず、このような特定の特徴、構造、又は特性が他の実施形態に関連して実現されることは、当業者の知識の範囲内であることを申し添えておく。本説明を読めば、１つ以上の関連分野の当業者には、本開示を別の実施形態で実装する方法が明らかになるだろう。
【0037】
本明細書中で使用される場合、用語「デバイス（ｄｅｖｉｃｅ）」は、コンピューティングシステム又は移動体デバイスを指す。例えば用語「デバイス」としては、スマートフォン、タブレットコンピュータ、又はラップトップコンピュータが挙げられる。特に、コンピューティングシステムは、ＧＰＳ受信器、コンパス、ジャイロスコープ、又は加速度計といった、その位置、方向、又は配向を決定する機能を備えることができる。クライアントデバイスは、ＢＬＵＥＴＯＯＴＨ（登録商標）通信、近距離無線通信（ｎｅａｒ‐ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）、若しくは赤外線（ｉｎｆｒａｒｅｄ：ＩＲ）通信、又は無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＬＡＮ）若しくは携帯電話ネットワークとの通信といった、無線通信の機能も含むことができる。このようなデバイスは、１つ以上のカメラ、スキャナ、タッチスクリーン、マイクロフォン、又はスピーカーも含むことができる。クライアントデバイスは、ゲーム、ウェブブラウザ、又はソーシャルネットワーキングアプリケーションといったソフトウェアアプリケーションを実行することもできる。クライアントデバイスとしては例えば、ユーザ機器、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、又はスマートウォッチが挙げられる。
【0038】
例示的なプロセス及び実施形態は、コンピューティングシステム又はクライアントデバイスによって、モバイルアプリケーション及び関連するグラフィカルユーザインターフェース（「ＵＸ」又は「ＧＵＩ」）を介して実行又は実施できる。特定の非限定的な実施形態では、上記コンピューティングシステム又はクライアントデバイスは例えば、スマートフォン、タブレットコンピュータ、又はラップトップコンピュータといった、モバイルコンピューティングシステムとすることができる。このモバイルコンピューティングシステムは、ＧＰＳ受信器、コンパス、ジャイロスコープ、又は加速度計といった、その位置、方向、又は配向を決定する機能を備えることができる。このようなデバイスは、「ＢＬＵＥＴＯＯＴＨ」通信、近距離無線通信（ＮＦＣ）、若しくは赤外線（ＩＲ）通信、又は無線ローカルエリアネットワーク（ＷＬＡＮ）、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥ‐Ａ、５Ｇ、モノのインターネット、若しくは携帯電話ネットワークとの通信といった、無線通信の機能も含むことができる。このようなデバイスは、１つ以上のカメラ、スキャナ、タッチスクリーン、マイクロフォン、又はスピーカーも含むことができる。モバイルコンピューティングシステムは、ゲーム、ウェブブラウザ、又はソーシャルネットワーキングアプリケーションといったソフトウェアアプリケーションを実行することもできる。ソーシャルネットワーキングアプリケーションを用いて、ユーザは、自身のソーシャルネットワーク内の他のユーザに接続して通信し、情報を共有できる。
【0039】
一般に、有糸分裂像の計数は、腫瘍（又は類似のもの）の複数のスライド切片にわたって有糸分裂活性が最も高い部位の特定を伴う。（特定の例示的実施形態では、腫瘍あたり最大２０枚のスライドを含む）病理試料のサイズを理由として、部位の選択は時間がかかるプロセスとなる場合がある。部位の選択後、特に有糸分裂活性が高い領域においては、有糸分裂像の数の定量的評価には更なる時間及び労力が必要となる。これらのステップの両方において観察者間のばらつき及び主観的判断によって引き起こされる非効率により、結果として得られる有糸分裂像数の正確度が低下し、貴重な診断時間及び治療時間が浪費される。
【0040】
組織病理学分析ツールの自動化により、個々の観察者の主観的判断によって引き起こされ得るエラーのない、有糸分裂像数の客観的な決定が可能となるため、実践ベースの効率の可能性が提供される。
【0041】
図１は、癌を特定するために有糸分裂像を評価するための、例示的な７ステッププロセスのフレームワークを示す。この特定には、判断又は診断が含まれ得る。特に、図１に示されているプロセスは、所与の画像内で有糸分裂細胞又は有糸分裂細胞を含む領域を特定するために使用される、７つのステップを含む。図１に示されているプロセスは７つのステップを含むが、他の実施形態は、図１で特定されているステップのうちの１つ以上を使用でき、これらのステップは、記載されている順序又は他のいずれの順序で実施でき、また当業者に公知の他のいずれのステップで実施できる。ある実施形態では、７つのステップは全て、本明細書中の他のセクションで更に説明されるように、保存されている１つ以上の命令プログラム、方法、機能、又は他のソフトウェア要素を用いて、コンピュータで実装される。
【0042】
第１のステップ１１０では、図６に示されているようなコンピュータコンポーネント、並びに画像を適切に受信して処理できる他のコンポーネントを含むことができる、コンピュータシステムは、デジタル保存された生検画像を受信する。いくつかの実施形態では、各生検画像は、生検で採取された組織からデジタル撮像、スキャン、又は写真撮影によって得られた、スライド全体画像（「ＷＳＩ」）である。生検画像は、医療撮像デバイスからの１つ以上のスライド画像を含むことができる。上記スライド画像は、例えば２００，０００×２００，０００ピクセル以下の、様々な解像度を有することができる。他の非限定的な実施形態では、第１のステップ１１０は、１つ以上の他のいずれのＤｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）画像のうちの１つ以上を受信するステップを伴うことができる。上記画像は、クラウドサーバ等のサーバから、又はネットワーク上の他のいずれのコンピューティングデバイス若しくはクライアントデバイスから、画像ストアへのデータベースクエリ、ＡＰＩへのプログラムに従った呼び出し、画像を含むフォルダ若しくはディレクトリのネットワークパス名を受信してファイルを繰り返し開くこと、又は他のプログラムに従った技法を用いて、受信できる。上記画像は、いずれの公知の医療撮像デバイスによって得ることができる。
【0043】
第２のステップ１２０では、上記方法は、生検画像内の各スライドを分類するようにプログラムされる。ステップ１２０の分類は例えば、あるスライドが分析の一部とみなされるべきかどうかを、このスライドが癌細胞を有するかどうか、又は有糸分裂像の分析の実施に十分なほど鮮明であるかどうかに基づいて判断できる。ステップ１２０の分類によって、癌細胞を有しないスライドを予備段階で分析からフィルタリングして除外し、更なる分析に供されないようにすることができる。従って一実施形態では、ステップ１２０は、あるスライドが癌を含む可能性が高いことを、その分類に基づいて決定するステップと、この決定に基づいて上記スライドを更なる処理へと送るステップとを含む。更に、ステップ１２０の分類は、ステップ１３０、１４０、１５０、１６０、１７０で処理する必要のないスライドを除去又は排除することによって、システムの作業量の削減に役立つことができる。他の非限定的な実施形態では、第２のステップ１２０において、スライドの解像度及び／又は所与のＷＳＩに含まれるスライド画像の数を含む、スライドの他のいずれの特性を評価できる。基本的な閾値の基準を満たさないスライドは拒否でき、上記基準の値は、構成ファイルにデジタル保存されていてもよく、ユーザ入力によって受信されてもよく、又は宣言された定数若しくは固定値としてハードコードされていてもよい。特定の実施形態では、分類モデルはＣＮＮを用いて訓練できる。例えば、（ＩｍａｇｅＮｅｔ等で）事前訓練された残差ニューラルネットワーク（ｒｅｓｉｄｕａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＲｅｓＮｅｔ）アーキテクチャを、デジタル生検画像の特徴の抽出に使用でき、その後に、スライドが癌細胞を有する確率の決定に使用できる全結合層及びソフトマックスアクティベーション関数が続く。特定の実施形態では、深さ１８層のＲｅｓＮｅｔ‐１８アーキテクチャを使用できる。
【0044】
第３のステップ１３０では、上記方法は、ＷＳＩのスライディングウィンドウ座標を計算するようにプログラムされる。生検画像のサイズが大きいこと、及び／又は図１のプロセスのフレームワークを実装するシステムのメモリの潜在的限界の結果として、データのスライディングウィンドウを用いて一度に検査できるのは、各スライドに関連付けられた全てのデータのうちのごく一部だけとなる。データのスライディングウィンドウは、システムが所与の期間にメインメモリ内で観察及び処理できるサイズを有するようにプログラムされた、完全なスライドのデータのサブセットとすることができる。いくつかの非限定的な実施形態では、スライディングウィンドウは、スライド画像内にある組織を最初に特定することによって決定できる。例えば組織は、組織と全体的なバックグラウンドとの間の画像のコントラストを検出することによって特定でき、コントラストの検出は例えば、バックライトで照明されたガラスによって生成される明白色のバックグラウンドを区別できる。全体的なバックグラウンドからの組織の特定及び／又は分離は、組織のセグメント化と呼ぶことができる。このようにしてコントラストを検出することにより、ノイズを表すのではなく有用かつ本質的な結果を生成する可能性が高いデータのウィンドウに対して、上記方法を迅速に集中させることにより、効率を向上させることができる。
【0045】
第４のステップ１４０では、上記方法は、特定された各スライディングウィンドウのデータを評価するようにプログラムされる。上記方法が各スライディングウィンドウを評価した後、上記方法は、ある特定のウィンドウ内で、潜在的な有糸分裂細胞を特定するようにプログラムされる。特定された有糸分裂細胞は、ユーザコンピューティングデバイスのディスプレイデバイスを用いてユーザに対して表示される画像のコピー内で強調表示でき、及び／又はステップ１５０に送ることができる。特定の非限定的な実施形態では、深層学習ネットワークを用いて、ステップ１４０のデータ評価を実行できる。例えばＣＮＮは、Ｕ‐Ｎｅｔ及び／又はスキップ接続を含むアーキテクチャ及び技法と共に使用できる。Ｕ‐Ｎｅｔは、ＢａｔｃｈＮｏｒｍ、ＤｉｃｅＬｏｓｓ、Ｔｖｅｒｓｋｙ ｌｏｓｓ、Ｍｉｘｕｐ、Ａｒｃｈｉｔｅｃｔｕｒｅ Ｃｈａｎｇｅｓ、Ｉｍａｇｅ Ｐａｔｃｈｉｎｇ、ＧＡＮ‐Ｔｒａｉｎｉｎｇ、Ｂｉｌｉｎｅａｒ Ｕｐｓａｍｐｌｉｎｇ、及び／又はＲｅｓｉｄｕａｌ ＣｏｎｖＢｌｏｃｋｓを含むがこれらに限定されない他の技法と共に利用できる。他の機械学習モデル、技法、又はアーキテクチャは、ハードネガティブマイニング、積極的な拡張、損失の混合、アンサンブル化、マスキング、リサイズ、及び／又はセグメント化のうちの１つ以上を組み込むことができる。システムは、１つ以上の上述の技法を使用して、潜在的な有糸分裂像を特定する。
【0046】
特定の非限定的な実施形態では、深層学習ネットワークは、Ｕ‐Ｎｅｔに続いてＣＮＮを含むことができる。
深層学習ネットワークは例えば、以下の損失関数：
深層学習ネットワークは例えば、以下の損失関数：
【0047】
【数1】
【0048】
を最小化するように訓練でき、ここで
【0049】
は損失関数を表し、αは∈［０，１］の範囲のハイパーパラメータを表し、
【0050】
は１５０×１５０ピクセルの画像ピクセル化を表し、
【0051】
は６００×６００ピクセルの画像ピクセル化を表す。いくつかの非限定的な例では、
【0052】
は、５０エポックで訓練されたＢＣＥソフトＤｉｃｅ損失、及び／又は１００エポックで訓練されたソフトＤｉｃｅ損失として設定できる。特定の非限定的な実施形態では、
【0053】
は、モデルの訓練において、多数のエポックについてのＢＣＥソフトＤｉｃｅ損失として設定でき、続いて追加のエポックについてのソフトＤｉｃｅ損失として設定できる。
【0054】
第５のステップ１５０では、上記方法は、偽陽性を初期出力データから除去できる後処理ステージを実行するようにプログラムされる。偽陽性は、ラベリング済み訓練データの１つ以上のセットを用いて訓練された機械学習モデルを用いて決定できる。これらのラベリング済み訓練データのセットは、生検スライドの複数の画像、及びそれぞれに関連付けられた複数のグラウンドトゥルースラベル又はアノテーションとすることができる。訓練データで表される例示的な関係は、密な組織が有糸分裂細胞を示すこととすることができる。この関係は、手動でラベリングされた又は別個の訓練済み機械学習モデルを用いてラベリングされたデジタル画像の指定されたセットを含む訓練データで表すことができる。ここではモデルの訓練について、更に具体的に説明する。特定の非限定的な実施形態では、マスクの形式の陰性訓練データを上記方法で使用して、１つ以上の有糸分裂細胞の潜在的な凝集が誤って特定された、又は２回計数された場合を識別できる。
【0055】
第６のステップ１６０では、上記方法は、有糸分裂像を表すピクセルの全ての座標を決定して、有糸分裂像を計数するようにプログラムされる。有糸分裂像は、ここで更に具体的に説明されるように計数できる。有糸分裂像の全ピクセルの座標は、デジタル保存できる。更に、高倍率１０視野の部分領域といった、有糸分裂像が最も多い視野を決定して、デジタル保存できる。
【0056】
第７のステップ１７０では、結果を、更なる分析又は解釈のために病理学者等に送ることができる。次に上記結果を、ネットワーク上のコンピューティングデバイス上に表示させることができ、及び／又は病理学者若しくは他の関係者が閲覧できる。分析及び解釈に関する追加情報も含めることができる。
【0057】
図２は、異なる形状、サイズ、及び／又は配向を有する解剖学的構造の画像又は画像データのスライディングウィンドウを比較するために使用できる、機械学習モデルの非限定的な実施形態を示す。上記機械学習モデルの訓練に使用される訓練データセットは、異なる形状、サイズ、及び／又は配向を有する複数の画像を含むことができ、これにより、上記機械学習モデルを、適切な評価及び比較を可能とするために上記画像を反転、回転、及び再整形するよう、訓練できる。図２の例では、上記機械学習モデルはＵ‐Ｎｅｔアーキテクチャ２００を使用する。Ｕ‐Ｎｅｔアーキテクチャ２００は、複数の層を使用する特定のエンコーダ‐デコーダスキームを備える。エンコーダは空間次元を削減し、チャネルを増加させる。デコーダは空間次元を増加させ、チャネルを削減する。最終的に空間次元を復元して、入力画像内の各ピクセルについて予測を行うことができる。
【0058】
図２に示されている例示的なＵ‐Ｎｅｔ ２００は、対称型アーキテクチャに従っている。エンコーダ（左側）は、繰り返される３×３畳み込みブロック２０１からなる。各畳み込みの後には、ＲｅＬＵ及びバッチ正規化を続けることができる。３×３畳み込みブロック２０１の後には、空間次元を削減する２×２最大プーリングブロック２０３を続けることができる。デコーダ（右側）は、アップサンプリング及び２×２転置畳み込みブロック２０４を備え、これにより特徴チャネルの数が半分になる。これらのアップサンプリングブロック２０４それぞれの後には、（それぞれＲｅＬＵが後に続く）繰り返される３×３畳み込みブロック２０１を続けることができる最後の層では、１×１畳み込み２０５を用いて、チャネルを所望の数の分類にマッピングできる。特に、図示されているＵ‐Ｎｅｔ ２００は、畳み込みごとに境界ピクセルが失われるために必要となる可能性がある、「コピー及びクロップ（ｃｏｐｙ ａｎｄ ｃｒｏｐ）」ブロック２０２も含む。
【0059】
特定の実施形態では、Ｕ‐Ｎｅｔ ２００は、ＢａｔｃｈＮｏｒｍ、ＤｉｃｅＬｏｓｓ、Ｔｖｅｒｓｋｙ ｌｏｓｓ、Ｍｉｘｕｐ、Ａｒｃｈｉｔｅｃｔｕｒｅ Ｃｈａｎｇｅｓ、Ｉｍａｇｅ Ｐａｔｃｈｉｎｇ、ＧＡＮ‐Ｔｒａｉｎｉｎｇ、Ｂｉｌｉｎｅａｒ Ｕｐｓａｍｐｌｉｎｇ、及び／又はＲｅｓｉｄｕａｌ ＣｏｎｖＢｌｏｃｋｓを含むがこれらに限定されない他の技法と共に利用できる。
【0060】
いくつかの非限定的な実施形態では、機械学習フレームワークは、複数の画像からの収集された訓練データと、対応する品質及び分類値とから訓練される、畳み込みニューラルネットワーク（ＣＮＮ）コンポーネントを含むことができる。上記収集された訓練データは例えば、クライアントデバイスがキャプチャした１つ以上の画像とすることができる。ＣＮＮは、１つ以上の畳み込み層及びサブサンプリング層を１つ以上のノードと共に含む人工ニューラルネットワークの一種である。１つ以上の隠れ層を含む１つ以上の層を積層して、ＣＮＮアーキテクチャを形成できる。実施形態では、ＣＮＮは、大量のラベリング済みデータにさらされることによって、入力画像の画像パラメータとその後の分類及び品質とを決定することを学習するように構成される。一部の例では、ニューラルネットワークは、入出力ペアごとに学習した重みを訓練できるが、ＣＮＮは、訓練可能な固定長のカーネル又はフィルタを、その入力に沿って畳み込むことによって、小さく原始的な特徴を学習し、それらを複雑な方法で組み合わせることもできる。特定のラベリング済み画像の合成データセットで訓練された図２のＣＮＮにより、正確なオブジェクトのセグメント化、並びに画像特徴の分類、及び実際の画像内に存在し得る特徴の予測が可能となる。ＣＮＮは、教師ありであっても教師なしであってもよい。
【0061】
特定の非限定的な実施形態では、プーリング、パディング、及び／又はストライディングを用いて、畳み込みが実施される次元における図２のＣＮＮの出力のサイズを削減でき、これによって計算コストを削減でき、及び／又は過剰訓練の可能性を低減できる。ストライディングは、フィルタウィンドウがスライドするサイズ又はステップ数を記述でき、パディングは、ストライディングの前又は後にデータの一部のエリアをゼロで埋めてデータをバッファリングするステップを含むことができる。例えばプーリングは、畳み込み層、又は他のいずれの層によって収集された情報を単純化するステップ、及び上記層内に含まれる上記情報の圧縮バージョンを生成するステップを含むことができる。
【0062】
いくつかの例では、領域ベースＣＮＮ（ＲＣＮＮ）又は１次元（１‐Ｄ）ＣＮＮを使用できる。ＲＣＮＮは、選択的な探索を用いて、画像内の１つ以上の関心対象領域を特定するステップ、及び分類のために各関心対象領域から個別に特徴を抽出するステップを含むことができる。１つ以上の実施形態で採用されるＲＣＮＮのタイプとしては、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、又はＭａｓｋ ＲＣＮＮが挙げられる。他の例では、１‐Ｄ ＣＮＮは、スライディングウィンドウを用いて生成された固定長の時系列セグメントを処理できる。このような１‐Ｄ ＣＮＮは、プーリング及びストライディングを利用して最終的なＣＮＮ層の出力を連結する、多対１構成で実行できる。続いて、完全に接続された層を用いて、１つ以上のタイムステップで分類予測を生成できる。
【0063】
固定長カーネルを入力信号に沿って畳み込む１‐Ｄ ＣＮＮとは対照的に、リカレントニューラルネットワーク（ＲＮＮ）は、各タイムステップを順次処理するため、ＲＮＮ層の最終的な出力は、全ての先行するタイムステップの関数となる。特定の実施形態では、長短期記憶（ｌｏｎｇ ｓｈｏｒｔ‐ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ）モデルとして知られるＲＮＮの変形例を使用できる。ＬＳＴＭは、長いシーケンスにおける時間依存性をモデル化するために、メモリセル及び／又は１つ以上の制御ゲートを含むことができる。いくつかの例では、ＬＳＴＭモデルは一方向のものとすることができ、即ち上記モデルは時系列を、記録又は受信された順に処理する。別の例では、全ての入力シーケンスが利用可能である場合、２つの並列のＬＳＴＭモデルを、時間的に前方へ及び後方への両方で、反対方向に評価できる。２つの並列ＬＳＴＭモデルの結果を連結して、双方向の時間依存性をモデル化できる双方向ＬＳＴＭ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ＬＳＴＭ：ｂｉ‐ＬＳＴＭ）を形成できる。
【0064】
いくつかの実施形態では、１つ以上のＣＮＮモデルと１つ以上のＬＳＴＭモデルとを組み合わせることができる。この組み合わせモデルは、４つのストライディングされていないＣＮＮ層の積層を含むことができ、これに２つのＬＳＴＭ層及び１つのソフトマックス分類器が続くことができる。ソフトマックス分類器は、入力の指数関数に比例する多数の確率を含む確率分布を正規化できる。ＣＮＮへの入力信号は例えばパディングされないため、層がストライディングされていなくても、各ＣＮＮ層は時系列を数サンプル分だけ短縮する。ＬＳＴＭ層は一方向のものであるため、最終的なＬＳＴＭ出力に対応するソフトマックス分類は、訓練及び評価だけでなく、スライディングウィンドウセグメントからの出力時系列の再構築にも使用できる。ただし、この組み合わせモデルは多対１構成で動作できる。
【0065】
いくつかの実施形態では、Ｔｒａｎｓｆｏｒｍｅｒベースのモデルを利用して、画像セグメント内の関連性のある特徴を特定できる。これらは更に、ＣＮＮ等の他のネットワークと組み合わせることができる。
【0066】
いくつかの実施形態では、図２の機械学習モデルは、複数の段階を介して、事前に検証された複数のデータを用いて訓練できる。訓練は２タイプの訓練データを用いる２つの段階で実施できる。第１の段階では、スライド分類データを収集でき、機械学習モデルを、スライドを有糸分裂像について計数するべきかどうかを分類するために訓練できる。第２の段階では、有糸分裂像データを、自動的に、又は委員会認定の解剖病理学者及び他の専門家によって、収集できる。
【0067】
図３は、生検スライド分類データ及びカテゴリの例示的なセットを示す。特定の例示的実施形態では、複数のＷＳＩを収集して、手動で又はコンピュータで分析することにより、スライド画像を有糸分裂像計数プロセスに含めるべきかどうかを判断できる。収集されたスライドはそれぞれ、計数スライド３１０又は非計数スライド３２０としてカテゴリ分けでき、計数スライド３１０は、有糸分裂像の検出又は計数のために更に分析でき、一方で非計数スライド３２０は有糸分裂像の計数のために更に分析されない。非計数スライド３２０として分類されることに加えて、スライドは更に、非計数として分類される理由を含むように更にカテゴリ分けでき、上記理由は、「脂肪腫」、「非新生物性病変」、「皮膚パンチ生検」、並びに／又は「皮膚及び皮下組織」を全体的又は部分的に含むといったものである。分析されたスライドは更に２つのグループ、即ち訓練グループと検証グループとに分割でき、訓練グループの画像は機械学習モデルの訓練のために選択され、検証グループは、機械学習モデルの検証（即ちテスト）のために、又は訓練グループ画像のカテゴリ割当の検証のために使用される。
【0068】
スライドのカテゴリ分けに加えて、訓練で使用するために、有糸分裂像のラベリングに関するデータも収集できる。スライドの分類と同様に、有糸分裂像のラベリングは手動で、又はコンピュータで自動的に、実施できる。更に、これらのラベリングされた像は、機械学習モデルの訓練、及び／又は過去に訓練されたモデルのテストの両方に使用できる。特定の例示的実施形態では、第１の複数の有糸分裂像は、１つ以上のＷＳＩにおいて、及び／又は１つ以上のＷＳＩを横断して、ラベリングできる。ある実験では、５４個の有糸分裂像が、１１個のＷＳＩを横断してラベリングされた。次に、これらの識別済みの有糸分裂像を、それぞれが各パッチの有糸分裂像を中心とするおよそ１５０×１５０ピクセルを含む、複数の画像パッチとして抽出できる。次に、これらの抽出された画像パッチそれぞれを用いて、第１の機械学習モデルを訓練でき、続いて上記第１の機械学習モデルは、複数のＷＳＩにおいて、又は複数のＷＳＩを横断して、第２の複数の有糸分裂像を特定できる。一実施形態では、第２の複数の有糸分裂像を、７４個のＷＳＩを横断して認識した。この第２の複数の有糸分裂像から、（手動で、又は機械学習アルゴリズムを用いて）サブセットをサンプリングでき、第２の複数の画像パッチを準備できる。このプロセスは、機械学習モデルが十分に訓練されるまで繰り返すことができる。更に、１５０×１５０ピクセル、６００×６００ピクセル、及び／又は１２００×１２００ピクセルといった、様々なサイズの画像パッチを使用できる。これらのパッチは正方形である必要はなく、また有糸分裂像が各パッチの中心にある必要もない。
【0069】
有糸分裂細胞の特定の特徴は、適切なラベルを用いて特定できる有糸分裂の異なる複数の段階に対応して識別できる。これらのステージとしては：前期（クロマチン及びロッドの円形クラスタを含む）；中期（直線状のプレート、バンド、及び／又はリングを含み、ロッドが表面から突出した、赤道面で整列した染色体を含む）；並びに後期（全体的に直線状であり、かつスパイク突起を有する、可変距離だけ離間した２つの凝集体を含む）を含むことができる。更に、形態学的フィルタを用いて、終期（細胞の両端に２つの別個の凝集体を含み、これらの間に分裂溝が存在する）を検出できる。機械学習アルゴリズムの訓練の一部として、これらの異なる複数の特徴を識別して、個々のスライドフレームに対応する入力画像の特徴に適切にラベリングするように、モデルを訓練できる。訓練済みの機械学習アルゴリズムは、この分析を、（上記に従って）過去にラベリングされた画像で訓練された後に実施することもできる。訓練済みの（又は訓練されている）機械学習アルゴリズムによる自動識別及びラベリングに加えて、委員会認定の解剖病理学者といった有資格観察者が、有糸分裂像を識別することもできる。手動でラベリングされたこれらの画像及び特徴を用いて、機械学習アルゴリズムを訓練する、又は過去に訓練されたアルゴリズムの正確度をチェックすることもできる。
【0070】
追加の訓練データは、（訓練済みの又は訓練されている）モデルによって特定された有糸分裂像を示すためにアノテーションが付された画像を提示することによって、作成できる。次に、解剖病理学者等の研究者又は十分に訓練されたモデルであってよいアノテーターは、アノテーションが付された像を検査して、適切なラベルを適用できる。例えば、特定された有糸分裂像が全て正しい場合、画像に「正（ｃｏｒｒｅｃｔ）」のラベルを追加できる。特定された有糸分裂像が全て誤りである場合、画像に「誤（ｉｎｃｏｒｒｅｃｔ）」のラベルを追加できる。特定された有糸分裂像が正と誤の混合だった場合、像にこの段階でアノテーションを付すことによって、有糸分裂像を含む画像の一部分を含めることができる。続いて、図４に関連して本明細書で説明されているように、マークされたこれらの画像にマスクを適用できる。全ての画像をレビューして適切にラベリングした後、データを収集して訓練セットに追加できる。
【0071】
図４は、特定の実施形態による機械学習モデルの例示的なコンポーネントを示す。特に図４は、敵対的生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ：「ＧＡＮ」）を用いた訓練データの拡張の例示的方法を示す。この例示的方法では、ある特定の形状及びサイズを有する１つ以上の実際のマスク特徴４１０を、入力画像４２０と比較できる。換言すれば、特定の実施形態では、機械学習ツールは入力画像４２０をマスク特徴４１０に変換でき、続いてこれを、データベースに保存された類似のサイズ及び／又は形状を有する他の画像と比較できる。他の特定の非限定的な実施形態では、画像４４０が異なる配向、サイズ、及び形状の密な組織を含んでいる場合であっても、単一のマスク特徴４３０を他の画像４４０と比較できる。従って、上記機械学習ツールによって入力された画像は、上記画像を異なるサイズ、形状、及び／又は配向を有する画像４４０と比較できるように、調整又は操作できる。更なる代替例では、マスク特徴３１０、３３０を用いて、訓練又はテストのための合成データを生成できる。マスクを入力画像に適用することにより、複数のマスクのうちの１つの変換に基づいて、有糸分裂像を有する画像を生成できる。上述のように、マスク特徴は、病理学者によって手動で適用することもでき（例えば４５０）、又はアノテーション付きサンプル画像（例えば４６０）を、更なる評価及び／若しくは検証のために、病理学者に提示することもできる。
【0072】
図５は、機械学習システムを用いて癌を特定するための例示的な方法５００を示す。上記方法は第１のステップ５１０で始めることができ、ここで上記システムは、医療撮像デバイスから、１つ以上の特徴を含むペットの画像を受信する。第２のステップ５２０では、上記システムは、上記画像に基づいて、上記１つ以上の特徴それぞれについて、対応する分類を決定でき、上記分類は機械学習モデルによって生成され、また上記分類は上記１つ以上の特徴に関連付けられている。第３のステップ５３０では、上記システムは、決定された上記分類に基づいて、上記ペットの上記画像内の有糸分裂細胞を判定できる。本開示の主題によると、上記方法は必要に応じて、図５の方法の１つ以上のステップを繰り返すことができる。本開示は、図５の方法の特定のステップを、ある特定の順序で行われるものとして説明及び図示しているが、本開示は、図５の方法のいずれの好適なステップがいずれの好適な順序で行われることを企図している。更に本開示は、図５の方法の特定のステップを含む、癌を特定するある例示的な方法を説明及び図示しているが、本開示は必要に応じて、いずれの好適なステップを含む、癌を特定するいずれの好適な方法を企図しており、上記いずれの好適なステップは、図５の方法のステップを全て含む場合も、一部含む場合も、又は全く含まない場合もある。更に本開示は、図５の方法の特定のステップを実行する特定のコンポーネント、デバイス、又はシステムを説明及び図示しているが、本開示は、図５の方法のいずれの好適なステップを実行するいずれの好適なコンポーネント、デバイス、又はシステムのいずれの好適な組み合わせを企図している。
【0073】
図６は、いくつかの非限定的な実施形態による、機械学習ツールを用いて有糸分裂細胞の特定を促進するために使用される、例示的なコンピュータシステム６００を示す。特定の非限定的な実施形態では、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示されている１つ以上の方法の１つ以上のステップを実施する。他の特定の非限定的な実施形態では、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示されている機能を提供する。特定の非限定的な実施形態では、１つ以上のコンピュータシステム６００上で動作するソフトウェアは、本明細書に記載又は図示されている１つ以上の方法の１つ以上のステップを実施するか、あるいは本明細書に記載又は図示されている機能を提供する。いくつかの非限定的な実施形態は、１つ以上のコンピュータシステム６００の１つ以上の部分を含む。本明細書において、コンピュータシステムに対する言及は、必要に応じてコンピューティングデバイスを包含し、またその逆も同様である。更に、コンピュータシステムに対する言及は、必要に応じて１つ以上のコンピュータシステムを包含する場合がある。
【0074】
本開示は、いずれの好適な個数のコンピュータシステム６００を企図する。本開示は、いずれの好適な物理的形態を取るコンピュータシステム６００を企図する。限定ではなく例として、コンピュータシステム６００は、埋め込み型コンピュータシステム、システムオンチップ（ｓｙｓｔｅｍ‐ｏｎ‐ｃｈｉｐ：ＳＯＣ）、シングルボードコンピュータシステム（ｓｉｎｇｌｅ‐ｂｏａｒｄ ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ：ＳＢＣ）（例えば、コンピュータオンモジュール（ｃｏｍｐｕｔｅｒ‐ｏｎ‐ｍｏｄｕｌｅ：ＣＯＭ）若しくはシステムオンモジュール（ｓｙｓｔｅｍ‐ｏｎ‐ｍｏｄｕｌｅ：ＳＯＭ）等）、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ：ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張現実／仮想現実デバイス、又はこれらのうちの２つ以上の組み合わせであってよい。必要に応じて、コンピュータシステム６００は：１つ以上のコンピュータシステム６００を含むことができ；一元型又は分散型とすることができ；複数の場所にまたがることができ；複数の機械にまたがることができ；複数のデータセンターにまたがることができ；又は１つ以上のネットワーク内に１つ以上のクラウドコンポーネントを含むことができるクラウド内に存在できる。必要に応じて、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示されている１つ以上の方法の１つ以上のステップを、空間的又は時間的制約が実質的に存在しない状態で、実施できる。限定ではなく例として、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示されている１つ以上の方法の１つ以上のステップを、リアルタイムで、又はバッチモードで実施できる。必要に応じて、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示されている１つ以上の方法の１つ以上のステップを、異なる時点又は異なる場所で実施できる。
【0075】
特定の非限定的な実施形態では、コンピュータシステム６００は、プロセッサ６０２、メモリ６０４、ストレージ６０６、入力／出力（Ｉ／Ｏ）インタフェース６０８、通信インタフェース６１０、及びバス６１２を含む。本開示は、特定の個数の特定のコンポーネントを特定の構成で有する、特定のコンピュータシステムを説明及び図示しているが、本開示は、いずれの好適な個数のいずれの好適なコンポーネントをいずれの好適な構成で有する、いずれの好適なコンピュータシステムを企図している。
【0076】
いくつかの非限定的な実施形態では、プロセッサ６０２は、コンピュータプログラムを構成する命令等の命令を実行するためのハードウェアを含む。限定ではなく例として、命令を実行するために、プロセッサ６０２は：内部レジスタ、内部キャッシュ、メモリ６０４、又はストレージ６０６から命令を取得（又はフェッチ）でき；これらをデコード及び実行でき；続いて１つ以上の結果を、内部レジスタ、内部キャッシュ、メモリ６０４、又はストレージ６０６に書き込むことができる。特定の非限定的な実施形態では、プロセッサ６０２は、データ、命令、又はアドレスのための１つ以上の内部キャッシュを含むことができる。本開示は、必要に応じて、いずれの好適な個数のいずれの好適な内部キャッシュを含むプロセッサ６０２を企図している。限定ではなく例として、プロセッサ６０２は、１つ以上の命令キャッシュ、１つ以上のデータキャッシュ、及び１つ以上のトランスレーションルックアサイドバッファ（ｔｒａｎｓｌａｔｉｏｎ ｌｏｏｋａｓｉｄｅ ｂｕｆｆｅｒ：ＴＬＢ）を含むことができる。命令キャッシュ内の命令は、メモリ６０４又はストレージ６０６内の命令のコピーとすることができ、命令キャッシュはプロセッサ６０２によるこれらの命令の取得を高速化できる。データキャッシュ内のデータは、プロセッサ６０２が動作するために実行される命令のためのメモリ６０４若しくはストレージ６０６内のデータ；プロセッサ６０２で実行される後続の命令がアクセスするための、又はメモリ６０４若しくはストレージ６０６への書き込みのための、プロセッサ６０２で実行された過去の命令の結果；あるいは他の好適なデータの、コピーとすることができる。データキャッシュは、プロセッサ６０２による読み込み又は書き込み動作を高速化できる。ＴＬＢは、プロセッサ６０２の仮想アドレス翻訳を高速化できる。いくつかの非限定的な実施形態では、プロセッサ６０２は、データ、命令、又はアドレスのための１つ以上の内部レジスタを含むことができる。本開示は、必要に応じて、いずれの好適な個数のいずれの好適な内部レジスタを含むプロセッサ６０２を企図している。必要に応じて、プロセッサ６０２は：１つ以上の算術論理演算装置（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ：ＡＬＵ）を含むことができ；マルチコアプロセッサとすることができ；又は１つ以上のプロセッサ６０２を含むことができる。本開示はある特定のプロセッサを説明及び図示しているが、本開示はいずれの好適なプロセッサを企図している。
【0077】
いくつかの非限定的な実施形態では、メモリ６０４は、プロセッサ６０２が実行するための命令、又はプロセッサ６０２が動作するためのデータを保存するための、メインメモリを含む。限定ではなく例として、コンピュータシステム６００は、ストレージ６０６又は別のソース（例えば別のコンピュータシステム６００等）からメモリ６０４に命令をロードできる。続いてプロセッサ６０２は、メモリ６０４から内部レジスタ又は内部キャッシュに命令をロードできる。命令を実行するために、プロセッサ６０２は内部レジスタ又は内部キャッシュから命令を取得して、これらをデコードできる。命令の実行中又は実行後、プロセッサ６０２は１つ以上の結果（中間結果であっても最終結果であってもよい）を、内部レジスタ又は内部キャッシュに書き込むことができる。続いてプロセッサ６０２は、これらの結果のうちの１つ以上をメモリ６０４に書き込むことができる。いくつかの非限定的な実施形態では、プロセッサ６０２は、（ストレージ６０６等の場所ではなく）１つ以上の内部レジスタ若しくは内部キャッシュ内、又はメモリ６０４内の命令のみを実行し、（ストレージ６０６ではなく）１つ以上の内部レジスタ若しくは内部キャッシュ内、又はメモリ６０４内のデータのみで動作する。（それぞれがアドレスバスとデータバスとを含むことができる）１つ以上のメモリバスは、プロセッサ６０２をメモリ６０４に結合できる。以下で説明されるように、バス６１２は１つ以上のメモリバスを含むことができる。特定の非限定的な実施形態では、１つ以上のメモリ管理ユニット（ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ：ＭＭＵ）がプロセッサ６０２とメモリ６０４との間に存在し、プロセッサ６０２によってリクエストされたメモリ６０４へのアクセスを促進する。他の特定の非限定的な実施形態、メモリ６０４はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）を含む。このＲＡＭは、必要に応じて揮発性メモリとすることができる。必要に応じて、このＲＡＭは動的ＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ：ＤＲＡＭ）又は静的ＲＡＭ（ｓｔａｔｉｃ ＲＡＭ：ＳＲＡＭ）とすることができる。更に必要に応じて、このＲＡＭは、シングルポートＲＡＭ又はマルチポートＲＡＭとすることができる。本開示は、いずれの好適なＲＡＭを企図している。メモリ６０４は、必要に応じて１つ以上のメモリ６０４を含むことができる。本開示はある特定のメモリコンポーネントを説明及び図示しているが、本開示はいずれの好適なメモリを企図している。
【0078】
いくつかの非限定的な実施形態では、ストレージ６０６は、データ又は命令のためのマスストレージを含む。限定ではなく例として、ストレージ６０６は、ハードディスクドライブ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ：ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光学ディスク、光磁気ディスク、磁気テープ、若しくはユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ：ＵＳＢ）ドライブ、又はこれらのうちの２つ以上の組み合わせを含むことができる。ストレージ６０６は、必要に応じてリムーバブル又は非リムーバブル（即ち固定）媒体とすることができる。ストレージ６０６は、必要に応じてコンピュータシステム６００の内部又は外部とすることができる。特定の非限定的な実施形態では、ストレージ６０６は不揮発性ソリッドステートメモリである。いくつかの非限定的な実施形態では、ストレージ６０６は読み出し専用メモリ（ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）を含む。必要に応じて、このＲＯＭは、マスクＲＯＭ、プログラマブルＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ：ＰＲＯＭ）、消去可能ＰＲＯＭ（ｅｒａｓａｂｌｅ ＰＲＯＭ：ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ：ＥＥＰＲＯＭ）、電気的に書き換え可能なＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ａｌｔｅｒａｂｌｅ ＲＯＭ：ＥＡＲＯＭ）、若しくはフラッシュメモリ、又はこれらのうちの２つ以上の組み合わせとすることができる。本開示は、いずれの好適な物理的形態を取るマスストレージ６０６を企図している。ストレージ６０６は必要に応じて、プロセッサ６０２とストレージ６０６との間の通信を容易にする、１つ以上のストレージ制御ユニットを含むことができる。必要に応じて、ストレージ６０６は１つ以上のストレージ６０６を含むことができる。本開示はある特定のストレージを説明及び図示しているが、本開示はいずれの好適なストレージを企図している。
【0079】
特定の非限定的な実施形態では、Ｉ／Ｏインタフェース６０８は、コンピュータシステム６００と１つ以上のＩ／Ｏデバイスとの間の通信のための１つ以上のインタフェースを提供する、ハードウェア、ソフトウェア、又は両方を含む。コンピュータシステム６００は必要に応じて、これらのＩ／Ｏデバイスのうちの１つ以上を含むことができる。これらのＩ／Ｏデバイスのうちの１つ以上は、人間とコンピュータシステム６００との間の通信を可能とすることができる。限定ではなく例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩＯデバイス、又はこれらのうちの２つ以上の組み合わせを含むことができる。Ｉ／Ｏデバイスは、１つ以上のセンサを含むことができる。本開示は、いずれの好適なＩ／Ｏデバイスと、これらのためのいずれの好適なＩ／Ｏインタフェース６０８とを企図している。必要に応じて、Ｉ／Ｏインタフェース６０８は、プロセッサ６０２がこれらのＩＯデバイスのうちの１つ以上を駆動させることができるようにする、１つ以上のデバイス又はソフトウェアドライバを含むことができる。Ｉ／Ｏインタフェース６０８は、必要に応じて１つ以上のＩ／Ｏインタフェース６０８を含むことができる。本開示はある特定のＩ／Ｏインタフェースを説明及び図示しているが、本開示はいずれの好適なＩ／Ｏインタフェースを企図している。
【0080】
いくつかの非限定的な実施形態では、通信インタフェース６１０は、コンピュータシステム６００と１つ以上の他のコンピュータシステム６００又は１つ以上のネットワークとの間の通信（例えばパケットベースの通信等）のための１つ以上のインタフェースを提供する、ハードウェア、ソフトウェア、又はこれら両方を含む。限定ではなく例として、通信インタフェース６１０は、イーサネット又は他の有線ベースのネットワークとの通信のためのネットワークインタフェースコントローラ（ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｒ：ＮＩＣ）又はネットワークアダプタ、あるいはＷｉ‐Ｆｉネットワーク等の無線ネットワークとの通信のための無線ＮＩＣ（ｗｉｒｅｌｅｓｓ ＮＩＣ：ＷＮＩＣ）又は無線アダプタを含むことができる。本開示は、いずれの好適なネットワークと、そのためのいずれの好適な通信インタフェース６１０とを企図している。限定ではなく例として、コンピュータシステム６００は、アドホックネットワーク、パーソナルエリアネットワーク（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ：ＰＡＮ）、ローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ：ＬＡＮ）、広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、メトロポリタンエリアネットワーク（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ：ＭＡＮ）、若しくはインターネットの１つ以上の部分、又はこれらのうちの２つ以上の組み合わせと通信できる。これらのネットワークのうちの１つ以上の、１つ以上の部分は、有線式又は無線式とすることができる。一例として、コンピュータシステム６００は、無線ＰＡＮ（ｗｉｒｅｌｅｓｓ ＰＡＮ：ＷＰＡＮ）（例えば「ＢＬＵＥＴＯＯＴＨ」 ＷＰＡＮ等）、ＷＩ‐ＦＩネットワーク、ＷＩ‐ＭＡＸネットワーク、携帯電話ネットワーク（例えば汎欧州デジタルセルラーシステム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ：ＧＳＭ）ネットワーク等）、若しくは他の好適な無線ネットワーク、又はこれらのうちの２つ以上の組み合わせと通信できる。コンピュータシステム６００は必要に応じて、これらのネットワークのうちのいずれかのための、いずれの好適な通信インタフェース６１０を含むことができる。通信インタフェース６１０は、必要に応じて１つ以上の通信インタフェース６１０を含むことができる。本開示はある特定の通信インタフェースを説明及び図示しているが、本開示はいずれの好適な通信インタフェースを企図している。
【0081】
特定の非限定的な実施形態では、バス６１２は、コンピュータシステム６００のコンポーネントを互いに結合するハードウェア、ソフトウェア、又はこれら両方を含む。限定ではなく例として、バス６１２は、Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（ＡＧＰ）若しくは他のグラフィックバス、Ｅｎｈａｎｃｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＥＩＳＡ）バス、フロントサイドバス（ｆｒｏｎｔ ｓｉｄｅ ｂｕｓ：ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ（ＬＰＣ）バス、メモリバス、Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）バス、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バス、ＰＣＩ‐Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、ｓｅｒｉａｌ ａｄｖａｎｃｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｔｔａｃｈｍｅｎｔ（ＳＡＴＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ ｌｏｃａｌ（ＶＬＢ）バス、若しくは他の好適なバス、又はこれらのうちの２つ以上の組み合わせを含むことができる。バス６１２は必要に応じて、１つ以上のバス６１２を含むことができる。本開示はある特定のバスを説明及び図示しているが、本開示はいずれの好適なバス又は相互接続を企図している。
【0082】
特定の非限定的な実施形態は、本開示のシステム及び方法を臨床環境で使用するための、システムアーキテクチャを対象とする。このような非限定的な実施形態では、１つ以上の深層学習モデル又は機械学習モデルを用いて、アップロードされた１つ以上のスキャンをリアルタイムで操作できる。システムアーキテクチャ内のリソースが利用可能である場合、１つ以上のＷＳＩを装置にダウンロードできる。ＷＳＩは例えば、２２４×２２４ピクセルのサムネイルを含むことができる。いくつかの非限定的な実施形態では、生検スライドの分類を実行できる。分類器が「非計数（ｎｏ‐ｃｏｕｎｔ）」を返した場合、プロセスを停止できる。分類器が「計数（ｃｏｕｎｔ）」を返した場合、次のステップを実施できる。次のステップは、組織検出アルゴリズムの実行を含むことができる。組織検出アルゴリズムは前景を検出して、（モデルベースの）有糸分裂像デコーダのための１つ以上の座標を計算できる。上記アルゴリズムは例えば、非モデルベースのアルゴリズムとすることができる。有糸分裂像デコーダモデルを、計算された全ての座標で実行できる。続いてピクセルマスクを予測できる。閾値処理及び／又は形態学的フィルタのうちの少なくとも一方を適用することによって、予測パフォーマンスを向上させることができる。これらのフィルタは、適切なサイズ、色、又は形状のマスクを含まない画像を選択することによって、有糸分裂フィルタを含まないマークされたいずれのピクセルを除去できる。
【0083】
いくつかの非限定的な実施形態では、第２の非モデルベースのアルゴリズムを用いて、有糸分裂像の座標を拡張ピクセルマスクから計算できる。ｋ次元空間内の点を組織化するための、空間を区分する効率的なバイナリツリーデータ構造であるｋ次元木（ｋｄ木）を用いて、有糸分裂細胞の特定された座標を有するＷＳＩの部分領域、例えば高倍率１０視野部分領域を見つけ出すことができる。この部分領域は、ＷＳＩ内の有糸分裂細胞の最高濃度を示す。特定の実施形態では、２次元探索空間内のｋｄ木は、Ｏ（ｎ ｌｏｇ ｎ）でデータ構造を構築でき、
【0084】
で範囲報告クエリを処理でき、ここでｎは点の総数を表すことができ、ｋは報告された点の個数を表すことができ、各点は、ＷＳＩの２Ｄ平面上での固有の有糸分裂細胞中心座標を指す。１つ以上の有糸分裂像、及び高倍率１０視野の座標は、エクステンシブルマークアップランゲージ（ＸＭＬ）ファイル、又は他のいずれのデータファイルに書き込むことができ、結果はデータベースに書き込むことができる。ここで挙げられているこの特定の第２の非モデルベースのアルゴリズムは、探索される部分領域の多くの形状及びサイズにわたって一般化されたものであり、正方形に限定されず、ＬＰ空間の球体に囲まれた形状を取るいずれの最高濃度の部分領域を見つけ出すことができ、ここでＬＰ空間は、所与の２点間の距離の定義された概念を有するベクトル空間である（例えばｐ＝２はユークリッドノルム付きベクトル空間である）。このアルゴリズムを用いて、正方形［ｐ＝無限大］、ひし形［ｐ＝１］、及び円形［ｐ＝２］等の他の形状で囲まれた、有糸分裂の濃度が最高である部分領域を特定できる。ここで挙げられているアルゴリズムは、有糸分裂の濃度が最高であるいずれのサイズの部分領域（即ち１０、２０、又は５０等の高倍率視野数；利用可能なメモリによって制限される）に対しても同様に一般化される。
【0085】
本明細書に記載のモデルは、閲覧者のワークフローに統合できる。閲覧者は例えば、病理学者及び／又はいずれの医療専門家とすることができる。病理学者は例えば、１つ以上のモデルからの情報を、ＸＭＬファイルからレンダリングされたアノテーションとして受け取ることができる。ＸＭＬファイルは、いずれの公知のＷＳＩビューワを用いて閲覧できる。受け取り後、閲覧者は追加のアノテーションを提供できる。上記アノテーションは例えば、偽陽性及び／又は偽陰性についてアノテーションを付すことができる。閲覧者が作成したアノテーションはデータベースに保存でき、検出モデルの微調整又は訓練に使用できる。検出モデルの微調整は、多量のフィードバック又はアノテーションに基づいて実施できる。
【0086】
特定の非限定的な実施形態では、非モデルベースのアルゴリズムを様々な段階で使用して、有糸分裂像の計数をサポートできる。例えば、組織検出を、ＷＳＩの低解像度ビューにおける組織の粗セグメント化によって実施できる。上記低解像度画像は、有糸分裂像検出器のスライディングウィンドウのサイズ、及び／又は高解像度画像のサイズのうちの少なくとも一方に一致するように、リサイズできる。有糸分裂像検出器のスライディングウィンドウは例えば、解像度画像の幅の整数とすることができる。続いて上記低解像度画像を、Ｌａｂ色空間画像に変換できる。Ｏｔｓｕ閾値技法等の閾値検出技法を用いて、バイナリ画像閾値を画像のＬチャネルに適用できる。次に、結果として得られるバイナリ画像の膨張、収縮、及びぼかしを、変換された上記画像に対して実施することにより、ノイズを除去して組織の境界を精緻化できる。
【0087】
上述のように、非モデルベースのアルゴリズムを用いて、ピクセルマスクの予測を実施できる。例えば、幾何学的及び／又は形態学的手順を実施して、推論の結果を精緻化する、偽陽性を削減する、及び／又は高倍率１０視野領域の予見を改善することができる。いくつかの非限定的な実施形態では、有糸分裂像インスタンスのセグメント化は、所与のバイナリマスクの連結成分を計算し、連結ピクセルを固有の整数ラベルでラベリングすることによって、実施できる。これにより、ある特定の有糸分裂像インスタンスの候補に属するピクセルは、固有の整数を受け取ることができる。有糸分裂像、特定の非限定的な実施形態では、サイズが異常に小さい有糸分裂像を除外できる。約３マイクロメートルのサイズを、有糸分裂像の幅に沿った最小の許容可能サイズとすることができる。この最小の許容可能サイズを利用するために、アルゴリズムは、有糸分裂像のマスクの近似輪郭を囲む最小面積の回転長方形を決定できる。続いて、幅を、回転長方形の最大（高さ、幅）として測定できる。その後、適切な有糸分裂像を除外できる。そして、後期段階の有糸分裂像を計数できる。有糸分裂の後期段階の有糸分裂像は、例えば有糸分裂プロセス中にそれらを隔てる距離が小さいため、二重に計数される場合がある。このような二重の計数を削減するために、アルゴリズムを実行することにより、カーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、バイナリピクセルマスクを膨張させることができ、これにより、所与の極間距離以内の複数の有糸分裂像インスタンスを単一のインスタンスとして計数できる。次に、上記連結成分に固有の有糸分裂像識別子を割り当てることができる。
【0088】
特定の非限定的な実施形態では、ｋｄ木ベースのアルゴリズム（又は他の機械学習アルゴリズム）を用いて、有糸分裂像の個数が最大である高倍率１０視野を見つけ出すことができる。有糸分裂数を報告するための正方形領域とすることができる高倍率１０視野（１０ＨＰＦ）を、ＷＳＩ ｓｖｓフォーマット（又は他の医療撮像ファイルタイプ）を使用してピクセルサイズに変換できる。上記正方形領域は、例えば２．３７ｍｍ２の正方形領域とすることができる。有糸分裂像中心の所与の座標といった有糸分裂像数が最大の高倍率１０視野を見つけ出すために、アルゴリズムを範囲探索内で実施でき、特定の例では範囲は２次元とすることができる。上記アルゴリズムは、中心が
【0089】
の高倍率１０視野内の全ての有糸分裂像を見つけ出して計数するように構成でき、ここでＳはＲ２内のＮ個の点のセットとすることができ、ＲはＲ２内の範囲のファミリーとすることができるが、他の範囲も企図される。中心は
【0090】
を用いて表すことができ、ここでＮは検出された有糸分裂像の総数である。上記アルゴリズムは例えば、距離の計量として
【0091】
のノルム（チェビシェフ距離としても公知）を用いて、Ｎ個の２次元点（即ち全ての検出され得た有糸分裂像の中心）のセットに対するｋｄ木を構築することを含むことができ、従って２次元空間内の２点Ｐ１及びＰ２の間の距離は
【0092】
として定義される。半径ｒの円に囲まれたユークリッド計量の空間内の範囲は、チェビシェフ距離では、１辺が２＊ｒの正方形に囲まれた領域とすることができる。次に上記アルゴリズムは、Ｎ個の２次元点の上記セットの各点に関して、半径Ｒ＝（ＨＰＦｓｉｄｅ）／２以内の近傍について木を検索でき、ここでＨＰＦｓｉｄｅは、正方形の１０ＨＰＦ領域の１辺の長さを表す。考えられる全ての１０ＨＰＦ領域の頂点のセットは、ＭＦ中心のＸ座標とＹ座標との組み合わせから導出されるセット、又はＭＦ中心のＸ座標とＹ座標との間のデカルト積として導出されるセットとすることができる。
【0093】
でのｋｄ木の探索のための点を検索するためには、考えられる全ての１０ＨＰＦ領域の頂点を、１０ＨＰＦ半径を加えることによって上記領域の中心に変換できる。提案された１０ＨＰＦ中心それぞれに関して、ステップ１で構築されたｋｄ木を、１０ＨＰＦの半径内の全ての近傍について検索できる。続いて上記アルゴリズムは、近傍の個数が最大の点を報告できる。
【0094】
図７は、例示的な生検スライドの分類の結果を示す。「計数」スライド７１０は、生検スライド分類アルゴリズムの実行中に検出された画像特徴に基づいて、該スライドが癌を含む可能性が高いことを示すことができる。「非計数」スライド７２０は、生検スライド分類アルゴリズムの実行中に癌が検出されなかったことを示すことができる。更にこの図は、「計数」スライド７１０としてカテゴリ分けされ、かつ有糸分裂像７４０を示すためにアノテーションが完全に付されたスライド７３０へと編集された、例示的なスライドを示す。このアノテーションは、上述のように手動で、又は機械学習（若しくは人工知能）アルゴリズムによって自動的に、実施できる。アノテーションが完全に付されたスライド７３０の拡大部分で確認できるように、特定された例示的な有糸分裂像７４０が示されている。
【0095】
図８は、特定の非限定的な実施形態を実装するための、展開された分散型アーキテクチャの例を示す。非集中型かつ非同期型の構造は、多様なスケーラブルなブロックを含むことができる。これらのスケーラブルなブロックは、管理プログラム、例えばＰｙｔｈｏｎキュー管理プログラムを含むことができる。更なる実施形態では、上記管理プログラムは、ダウンロードワーカー８６０、推論ワーカー８７０、及び後処理ワーカー８８０といったＰｙｔｈｏｎ「ワーカー」プログラムを含むことができる。ダウンロードワーカー８６０は、スライド８１０のネットワークプールからスライドを受け取るダウンロードキュー８４０から、複数のスライドをダウンロードできる。ダウンロードワーカー８６０は、スライドのローカルバッファを作成でき、これは推論ワーカー８７０が推論キュー８３０からアクセス可能なものとすることができる。推論ワーカー８７０はスライドを受け取り、これらを処理して有糸分裂像を抽出できる。このようなアクションは、例えばグラフィックスプロセッシングユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＧＰＵ）の可用性を含む様々な因子に基づいて、複数の推論ワーカー８７０に分散させることができる。次に後処理ワーカー８８０は、後処理キュー８２０からスライドを受け取って、上述のような後処理ステップを実行し、最終結果を病理学者のビューワ８５０に供給できる。各種のワーカー８６０、８７０、８８０は、固有のキュー８２０、８３０、８４０を有することができる。各ワーカーは１つ以上のＤｏｃｋｅｒコンテナを含むことができ、各Ｄｏｃｋｅｒコンテナは、上記ワーカーの機能に特化したソフトウェア、ライブラリ、及び構成ファイルの別個のバンドルを含む。
【0096】
特定の非限定的な実施形態によると、図８に示されているアーキテクチャは、訓練済みの人工知能を用いない有糸分裂の計数よりも正確な有糸分裂の計数を、訓練済みの人工知能を用いて得ることができる。以下の表１で確認できるように、有糸分裂像の計数のグレード（即ち信用度）を、人工知能の使用により、観察者（即ち病理学者）が人工知能を用いずに達成できる結果を上回るように改善できる。人工知能の支援を受けた病理学者でも、支援を受けない病理学者より優れた結果を達成できる。
【0097】
【表1】
【0098】
各方法ｉ（ＡＩ支援あり、ＡＩのみ、及び支援なし）、並びに癌の各タイプｊ（以下の表４を参照）について、有糸分裂数ｙｉｊは、ポアソン回帰を用いて以下のようにモデル化できる：
【0099】
【数2】
【0100】
【数3】
【0101】
ここでλｉは、有糸分裂数を見つけ出すために使用される方法の制御であり、βｊは、癌のタイプ間のばらつきの調整である。表２の係数ｅλｉは、癌のタイプについて制御した後の相対有糸分裂数を表す：
【0102】
【表2】
【0103】
図９に示されているように、３つの主要な効果の完全条件付き事後分布は、読みやすさを目的として対数スケールで表示される。これらの結果は、上述のようなシステムが、高スループットのマルチサイト獣医診断病理サービスの、ワークフロー面及び時間面の制約内で展開可能であること、並びに有糸分裂像の計数の自動化によって、実験室での優れた効率がもたらされるだけでなく、有糸分裂の計数の正確度が向上することを示している。テスト段階中に、１日平均３，３２３枚のスライド全体画像について推論が実施され、提示されているシステムのスケーラビリティは、このシステムの機能に見合った作業量の増大を示している。
【0104】
図１０は、本明細書に記載されているもののような訓練済み人工知能モデルの使用及び／又は支援によって達成できる、イヌ（Ｃ）及びネコ（Ｆ）の新生物の有糸分裂数の正確度の例示的な向上を示すチャートを示す。確認できるように、ほとんどの研究例では、人工知能のみの場合には、人工知能支援ありの計数及び人工知能支援なしの（即ち個人が実施した）計数よりも、検出された有糸分裂像が多く計数されている。これらの計数の完全な結果が以下の表３に示されており、これは、複数の例示的なテストの結果が、腫瘍のタイプを含むがこれに限定されない多数の因子に応じて、特定の実施形態における改善を示すことを示している。上向き及び下向きの矢印は、ＡＩ支援ありのＭＣの平均値が、病理学者によるＡＩ支援なしのＭＣに比べて増大したか減少したかを示している。
【0105】
【表3-1】
【0106】
【表3-2】
【0107】
【表3-3】
【0108】
【表3-4】
【0109】
【表3-5】
【0110】
【表3-6】
【0111】
【表3-7】
【0112】
本発明の例示的実施形態によるシステム及び方法は、従来の方法に対する改善を提供する。例えば以下の表４に示されているように、特定の実施形態によるｋｄ木法は、他の総当たり技法に対して効率の（即ち時間を節約することによる）改善を示す。これらの利点は、画像内の有糸分裂像の数にかかわらず存在し、有糸分裂像の計数方法を改善できる。
【0113】
【表4】
【0114】
本明細書では、１つ以上のコンピュータ可読非一時的記憶媒体は、１つ以上の半導体ベースの若しくは他の集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＩＣ）（例えばフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ‐ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）、若しくは特定用途向けＩＣ（ａｐｐｌｉｃａｔｉｏｎ‐ｓｐｅｃｉｆｉｃ ＩＣ：（ＡＳＩＣ））、ハードディスクドライブ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ：ＨＤＤ）、ハイブリッドハードドライブ（ｈｙｂｒｉｄ ｈａｒｄ ｄｒｉｖｅ：ＨＨＤ）、光学ディスク、光学ディスクドライブ（ｏｐｔｉｃａｌ ｄｉｓｃ ｄｒｉｖｅ：ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ｆｌｏｐｐｙ ｄｉｓｋ ｄｒｉｖｅ：ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ｓｏｌｉｄ‐ｓｔａｔｅ ｄｒｉｖｅ：ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカード若しくはドライブ、他のいずれの好適なコンピュータ可読非一時的記憶媒体、又はこれらのうちの２つ以上のいずれの好適な組み合わせを、必要に応じて含むことができる。コンピュータ可読非一時的記憶媒体は必要に応じて、揮発性、不揮発性、又は揮発性と不揮発性との組み合わせとすることができる。
【0115】
本明細書では、「又は（ｏｒ）」は、そうでないことが明確に示されていない限り、又は文脈によってそうでないことが示されていない限り、包括的なものであり排他的なものではない。従って本明細書では、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、そうでないことが明確に示されていない限り、又は文脈によってそうでないことが示されていない限り、「Ａ、Ｂ、又は両方（Ａ， Ｂ， ｏｒ ｂｏｔｈ）」を意味する。更に「及び（ａｎｄ）」は、そうでないことが明確に示されていない限り、又は文脈によってそうでないことが示されていない限り、連帯（ｊｏｉｎｔ）及びの個別（ｓｅｖｅｒａｌ）の両方である。従って本明細書では、「Ａ及びＢ（Ａ ａｎｄ Ｂ）」は、そうでないことが明確に示されていない限り、又は文脈によってそうでないことが示されていない限り、「Ａ及びＢをまとめて、又はＡ及びＢそれぞれ（（Ａ ａｎｄ Ｂ， ｊｏｉｎｔｌｙ ｏｒ ｓｅｖｅｒａｌｌｙ））を意味する。
【0116】
本開示の範囲は、本明細書に記載又は図示されている例示的実施形態に対する、当該技術分野の一般的な技能を有する者には理解されるあらゆる変化、置換、変形、変更、及び修正を包含する。本開示の範囲は、本明細書に記載又は図示されている例示的実施形態に限定されない。更に、本開示は、本明細書中の各実施形態を、特定のコンポーネント、要素、特徴、機能、動作、又はステップを含むものとして記載又は図示しているが、これらの実施形態はいずれも、本明細書のいずれかの箇所に記載又は図示されている上記コンポーネント、要素、特徴、機能、動作、又はステップの、当該技術分野の一般的な技能を有する者には理解されるあらゆる組み合わせ又は順列を含むことができる。更に、添付の特許請求の範囲における、装置若しくはシステム、又は装置若しくはシステムのコンポーネントが、ある特定の機能を実施するように適合される、実施するように配設される、実施することが可能である、実施するように構成される、実施するように有効化される、実施するように動作可能である、又は実施する効果があるという言及は、該装置、システム、コンポーネントを、これ又はその特定の機能が起動されているか、オンになっているか、又はロック解除されているかどうかに関係なく、該装置、システム、又はコンポーネントが、上述のように適合される、配設される、可能である、構成される、有効化される、動作可能である、効果がある限り、包含する。更に、本開示は、いくつかの非限定的な実施形態を、特定の利点を提供するものとして記載又は図示しているが、特定の非限定的な実施形態は、これらの利点を全く提供しない場合も、これらの利点の一部を提供する場合も、これらの利点を全て提供する場合もある。
【0117】
更に、本開示でフローチャートとして提示及び説明されている方法の実施形態は、技術のより完全な理解を提供するための例として提供されている。本開示の方法は、本明細書で提示されている操作及び論理フローに限定されない。様々な操作の順序が変更され、より大きな１つの操作の一部として説明されている複数の下位操作が独立して実施される、代替実施形態も企図される。
【0118】
本開示の目的のために様々な実施形態を説明したが、これらの実施形態は、本開示の教示をこれらの実施形態に限定するものとみなしてはならない。本開示に記載のシステム及びプロセスの範囲内にある結果を得るために、上述の要素及び操作に対して様々な変化及び修正を実施できる。
【0119】
本明細書で開示される実施形態は単なる例であり、本開示の範囲はこれらに限定されない。特定の非限定的な実施形態は、上で開示されている実施形態のコンポーネント、要素、特徴、機能、操作、又はステップを、全て含む場合も、一部含む場合も、全く含まない場合もある。実施形態は特に、方法、記憶媒体、システム、及びコンピュータプログラム製品を対象とする添付の特許請求の範囲において開示されており、ある請求カテゴリ、例えば方法のカテゴリにおいて言及されるいずれの特徴は、別の請求カテゴリ、例えばシステムのカテゴリでも同様に請求対象とすることができる。添付の特許請求の範囲における従属関係又は参照は、形式的な理由のみで選択されている。しかしながら、（特定の複数従属関係にある）前にあるいずれの請求項を意図的に参照した結果生じるいずれの主題も、同様に請求対象とすることができるため、添付の特許請求の範囲で選択されている従属関係にかかわらず、請求項及びその特徴のいずれの組み合わせも開示され、請求対象とすることができる。請求対象とすることができる主題は、添付の特許請求の範囲に記載されている特徴の組み合わせだけでなく、特許請求の範囲中の特徴の他のいずれの組み合わせも含み、ここで、特許請求の範囲で研究されている各特徴は、特許請求の範囲の他のいずれの特徴又は他の特徴の組み合わせと組み合わせることができる。更に、本明細書中で説明又は図示されている実施形態及び特徴はいずれも、別個の請求項において、並びに／又は本明細書中で説明若しくは図示されているいずれの実施形態若しくは特徴との、若しくは添付の特許請求の範囲の特徴のうちのいずれかとの、いずれの組み合わせにおいて、請求対象とすることができる。
【0120】
特定の実施形態に関連して上述されているように、特定のコンポーネント、例えばコンピュータシステム５００は、単一のコンピュータ又は複数のコンピュータ、プロセッサ、ネットワーク、移動体デバイス、クラスタ、サーバ、又は様々な機能を実施するための他のハードウェアを含むことができる。更に、本開示の主題の特定の要素はコンピュータ可読コードで具体化でき、上記コンピュータ可読コードは、コンピュータ可読媒体上に保存でき、実行された場合に本明細書に記載の特定の機能をプロセッサに実施させることができる。これらの実施形態では、コンピュータ及び／又は他のハードウェアは、医療用画像の記録を表示するためのシステム及び方法を可能にする上で重要な役割を果たす。例えば、コンピュータ、プロセッサ、メモリ、ストレージ、及びネットワーキングハードウェアの存在によって、医療用画像の記録をより効率的な方法で表示する能力が提供される。更に、デジタル記録の保管及び保存は、このような情報が電子形式でネットワークを介して受信されるものであるため、ペン又は紙を用いて達成できるものではない。
【0121】
本明細書に記載の主題及び操作は、デジタル電子回路で、又は本明細書で開示されている構造及びその構造的等価物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はこれらのうちの１つ以上の組み合わせで、実装できる。本明細書に記載の主題の実施形態は、データ処理装置による実行のために、又はデータ処理装置の動作の制御のために、コンピュータ記憶媒体上でエンコードされる、１つ以上のコンピュータプログラム、即ちコンピュータプログラム命令の１つ以上のモジュールとして実装できる。
【0122】
コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダム若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はこれらのうちの１つ以上の組み合わせとすることができるか、あるいはこれらに含まれるものとすることができる。更に、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号中にエンコードされるコンピュータプログラム命令の送信元又は送信先とすることができる。コンピュータ記憶媒体はまた、１つ以上の個別の物理コンポーネント又は媒体（例えば複数のＣＤ、ディスク、又は他の記憶デバイス）とすることができ、あるいはこれらに含まれるものとすることができる。
【0123】
用語「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」は、例えばプログラマブルプロセッサ、コンピュータ、システムオンチップ、又はこれらの複数若しくは組み合わせを含む、データを処理するためのあらゆる種類の装置、デバイス、及び機械を包含する。装置は、専用の論理回路構成（例えばＦＰＧＡ又はＡＳＩＣ）を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はこれらのうちの１つ以上の組み合わせを構築するコードを含むことができる。装置及び実行環境は、ウェブサービス、分散コンピューティングインフラストラクチャ、及びグリッドコンピューティングインフラストラクチャといった、様々な異なる計算モデルのインフラストラクチャを実現できる。
【0124】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても公知）は、コンパイル言語又はインタープリタ言語、宣言言語又は手続き型言語を含む、あらゆる形式のプログラミング言語で記述でき、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、オブジェクト、若しくはコンピューティング環境での使用に好適な他のユニットとしてを含む、あらゆる形式で展開できる。コンピュータプログラムはファイルシステム内のファイルに対応できるが、必ずしもそうである必要はない。プログラムは：他のプログラム若しくはデータを保持するファイルの一部分（例えば、マークアップ言語ドキュメント内に保存された１つ以上のスクリプト）に；問題のプログラム専用の単一のファイル内に；又は複数の統合されたファイル（例えば１つ以上のモジュール、サブプログラム、若しくはコードの部分を保存した、複数のファイル）内に、保存できる。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトにある若しくは複数のサイトに分散されて通信ネットワークによって相互接続された、複数のコンピュータ上で、実行されるように展開できる。
【0125】
本明細書に記載のプロセス及び論理フローは、１つ以上のコンピュータプログラムを実行して、入力データを操作して出力を生成することにより、アクションを実施する、１つ以上のプログラマブルプロセッサによって実施できる。プロセス及び論理フローは、専用の論理回路構成、例えばＦＰＧＡ又はＡＳＩＣによって実施することもでき、また装置は、このような専用の論理回路構成として実装することもできる。
【0126】
コンピュータプログラムの実行に好適なプロセッサとしては、限定ではなく例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方が挙げられる。コンピュータプログラム命令及びデータの保存に好適なデバイスとしては、限定ではなく例として：半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば内蔵ハードディスク又はリムーバブルディスク；磁気光学ディスク；並びにＣＤ‐ＲＯＭ及びＤＶＤ‐ＲＯＭディスクを含む、あらゆる形式の不揮発性メモリ、媒体及びメモリデバイスが挙げられる。プロセッサ及びメモリは、専用の論理回路構成で補足できるか、又は専用の論理回路構成に組み込むことができる。
【0127】
更に、特定の実施形態に関連して上述されているように、特定のコンポーネントは、例えばネットワーク、例えばローカルエリアネットワーク又はインターネットを介して、他の特定のコンポーネントと通信できる。上で明示的に述べられていない限り、本開示の主題は、送信及び受信を含む各トランザクションの両側を包含することを意図している。当業者には、上述の特徴に関して、あるコンポーネントが別のコンポーネントに対して何かを送信する、送る、又は他の方法で入手可能にする場合、明示的に述べられているか否かにかかわらず、上記別のコンポーネントはそれを受信又は取得することになることが、容易に理解されるだろう。
【0128】
以下で請求の対象とされる具体的実施形態に加えて、本開示の主題は、以下で請求の対象とされかつ上で開示されている従属的特徴の、考えられる他のいずれの組み合わせを有する、他の実施形態も対象とする。従って、従属請求項において提示されかつ上で開示されている特定の特徴は、考えられる他の組み合わせで、互いに組み合わせることができる。よって、本開示の主題の具体的実施形態についての上記の説明は、例示及び説明の目的で提示されたものである。上記説明は、包括的であること、又は本開示の主題をここで開示されている実施形態に限定することを意図したものではない。
【0129】
本開示の主題の精神又は範囲から逸脱することなく、本開示の主題の方法及びシステムに様々な修正及び変形を加えることができることは、当業者には明らかであろう。従って、本開示の主題は、添付の特許請求の範囲及びその均等物の範囲内にある修正及び変形を含むことが意図されている。
【符号の説明】
【0130】
２００ Ｕ‐Ｎｅｔアーキテクチャ、Ｕ‐Ｎｅｔ
２０１ ３×３畳み込みブロック
２０２ 「コピー及びクロップ」ブロック
２０３ ２×２最大プーリングブロック
２０４ アップサンプリング及び２×２転置畳み込みブロック、アップサンプリングブロック
２０５ １×１畳み込み
３１０ 計数スライド
３２０ 非計数スライド
４１０ 実際のマスク特徴
４２０ 入力画像
４３０ マスク特徴
４４０ 画像
４５０ マスク特徴
４６０ アノテーション付きサンプル画像
６００ コンピュータシステム
６０２ プロセッサ
６０４ メモリ
６０６ ストレージ
６０８ 入力／出力（Ｉ／Ｏ）インタフェース
６１０ 通信インタフェース
７１０ 「計数」スライド
７２０ 「非計数」スライド
７３０ アノテーションが完全に付されたスライド
７４０ 有糸分裂像
８１０ スライドのプール
８２０ 後処理キュー
８３０ 推論キュー
８４０ ダウンロードキュー
８５０ 病理学者のビューワ
８６０ スライドダウンロードワーカー
８７０ 推論ワーカー
８８０ 後処理ワーカー
２０１ ３×３畳み込みブロック
２０２ 「コピー及びクロップ」ブロック
２０３ ２×２最大プーリングブロック
２０４ アップサンプリング及び２×２転置畳み込みブロック、アップサンプリングブロック
２０５ １×１畳み込み
３１０ 計数スライド
３２０ 非計数スライド
４１０ 実際のマスク特徴
４２０ 入力画像
４３０ マスク特徴
４４０ 画像
４５０ マスク特徴
４６０ アノテーション付きサンプル画像
６００ コンピュータシステム
６０２ プロセッサ
６０４ メモリ
６０６ ストレージ
６０８ 入力／出力（Ｉ／Ｏ）インタフェース
６１０ 通信インタフェース
７１０ 「計数」スライド
７２０ 「非計数」スライド
７３０ アノテーションが完全に付されたスライド
７４０ 有糸分裂像
８１０ スライドのプール
８２０ 後処理キュー
８３０ 推論キュー
８４０ ダウンロードキュー
８５０ 病理学者のビューワ
８６０ スライドダウンロードワーカー
８７０ 推論ワーカー
８８０ 後処理ワーカー
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2023-08-21
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【0129】
本開示の主題の精神又は範囲から逸脱することなく、本開示の主題の方法及びシステムに様々な修正及び変形を加えることができることは、当業者には明らかであろう。従って、本開示の主題は、添付の特許請求の範囲及びその均等物の範囲内にある修正及び変形を含むことが意図されている。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
コンピューティングデバイスにおいて生検スライドの画像を受信するステップ；
第１のプログラムされた命令を実行して、前記生検スライドの前記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、前記生検スライドの前記画像の分類を出力するステップ；
前記分類に基づいて、前記生検スライドの前記画像を更に処理するべきであると決定するステップ；
組織検出アルゴリズムを前記生検スライドの前記画像に対して実行することによって、第１の座標セットを出力するステップ；
第２のプログラムされた命令を実行することによって、前記生検スライドの前記画像及び前記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；
第３のプログラムされた命令を実行して、前記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びに
コンピュータメモリに、前記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップ
を含む、コンピュータ実装型の方法。
実施形態２
ｋｄ木ベースのアルゴリズムを実装する、第４のプログラムされた命令を実行することによって、有糸分裂像が最も多い視野を、前記拡張ピクセルマスクに基づいて出力するステップ；及び
前記視野を前記コンピュータメモリ内に、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を更に含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態３
前記視野は、高倍率１０視野（１０‐ｈｉｇｈ‐ｐｏｗｅｒ ｆｉｅｌｄ）を含む、実施形態２に記載のコンピュータ実装型の方法。
実施形態４
前記視野をデバイスディスプレイ上に表示するステップを更に含む、実施形態２に記載のコンピュータ実装型の方法。
実施形態５
前記組織検出アルゴリズムは、前記生検の前記スライド画像の低解像度ビューにおいて、組織の粗セグメント化を実施するステップを含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態６
前記第３のプログラムされた命令は：
有糸分裂像を示す前記バイナリピクセルマスクの接続された座標セットごとに、対応する回転長方形であって、各前記回転長方形は、前記有糸分裂像の近似輪郭を囲む最小面積のものである、回転長方形を決定させるように；及び
前記コンピュータメモリにデジタル保存された閾値幅より大きな幅をそれぞれ有する回転長方形に関連付けられた座標のみを含むように、前記拡張ピクセルマスクを生成させるように、プログラムされる、実施形態１に記載のコンピュータ実装型の方法。
実施形態７
前記第３のプログラムされた命令は更に、前記コンピュータメモリに保存されたカーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、前記バイナリピクセルマスクを膨張させるように、プログラムされる、実施形態６に記載のコンピュータ実装型の方法。
実施形態８
前記第２の訓練済み機械学習モデルは、均衡化クロスエントロピー（ｂａｌａｎｃｅｄ ｃｒｏｓｓ ｅｎｔｒｏｐｙ：ＢＣＥ）ソフトＤｉｃｅＬｏｓｓ関数又はソフトＤｉｃｅＬｏｓｓ関数のうちの少なくとも一方を最小化するように訓練された、スキップ接続を伴う畳み込みニューラルネットワークを含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態９
前記第２の訓練済み機械学習モデルは、ＩｍａｇｅＮｅｔで事前訓練されたＵ‐Ｎｅｔモデルを更に含む、実施形態８に記載のコンピュータ実装型の方法。
実施形態１０
前記生検スライドの前記画像は、動物又はペットのうちの少なくとも一方の生検の画像を含み、前記生検の前記画像は、医療撮像デバイスを用いて生成されたものである、実施形態１に記載のコンピュータ実装型の方法。
実施形態１１
前記生検スライドの前記画像は、スライド全体画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ：ＷＳＩ）を含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１２
前記生検スライドの前記画像及び前記分類の表示を含む出力画像を表示するステップを更に含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１３
前記生検スライドの前記画像をプログラムに従って事前処理するステップを更に含み、前記事前処理するステップは、前記生検スライドの前記画像が更なる処理のために十分なほど鮮明であると判断するステップを含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１４
前記生検スライドの前記画像はスライド全体画像を含み、前記事前処理するステップは、前記生検スライドの前記画像の解像度が、前記コンピュータメモリに保存されている閾値解像度を超えると判断するステップ、又は前記スライド全体画像が含むスライド画像の枚数が、前記コンピュータメモリに保存されている閾値枚数を超えると判断するステップのうちの、少なくとも一方を含む、実施形態１３に記載のコンピュータ実装型の方法。
実施形態１５
前記第２の座標セットを用いて有糸分裂像数をプログラムに従って計算するステップ；及び
前記有糸分裂像数を前記コンピュータメモリにデジタル保存するステップ
を更に含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１６
前記コンピューティングデバイスはサーバコンピュータを備え、前記生検スライドの前記画像はクライアントコンピューティングデバイスから受信される、実施形態１に記載のコンピュータ実装型の方法。
実施形態１７
前記拡張ピクセルマスクに基づいて、有糸分裂像が最も多い視野を出力するために、ｋｄ木ベースのアルゴリズムを実装する第４のプログラムされた命令を実行するステップ；及び
前記視野を前記コンピュータメモリに、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を更に含む、実施形態１６に記載のコンピュータ実装型の方法。
実施形態１８
前記ファイルは、エクステンシブルマークアップランゲージ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ：ＸＭＬ）ファイルを含む、実施形態１７に記載のコンピュータ実装型の方法。
実施形態１９
前記サーバコンピュータから前記クライアントコンピューティングデバイスに、前記生検スライド画像に関する情報を、前記エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルからレンダリングされたアノテーションとして送信するステップを更に含む、実施形態１８に記載のコンピュータ実装型の方法。
実施形態２０
スケーラブルなブロックを含む分散型、非集中型、かつ非同期型のアーキテクチャを用いて、前記方法を実行するステップを更に含み、前記スケーラブルなブロックは管理プログラムを含み、前記管理プログラムはＤｏｃｋｅｒコンテナを用いて実装される、実施形態１に記載のコンピュータ実装型の方法。
実施形態２１
システムであって：
１つ以上のプロセッサと；
前記プロセッサのうちの１つ以上に結合され、前記プロセッサのうちの１つ以上によって実行されたときに、以下：
生検スライドの画像を受信するステップ；
第１のプログラムされた命令を実行して、前記生検スライドの前記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、前記生検スライドの前記画像の分類を出力するステップ；
前記分類に基づいて、前記生検スライドの前記画像を更に処理するべきであると決定するステップ；
組織検出アルゴリズムを前記生検スライドの前記画像に対して実行することによって、第１の座標セットを出力するステップ；
第２のプログラムされた命令を実行することによって、前記生検スライドの前記画像及び前記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；
第３のプログラムされた命令を実行して、前記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びに
コンピュータメモリに、前記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップ
を含む操作を前記システムに実行させるように動作する命令を含む、１つ以上のコンピュータ可読非一時的記憶媒体と
を備える、システム。
実施形態２２
前記命令は更に、実行されたときに、ｋｄ木ベースのアルゴリズムを実装する、第４のプログラムされた命令を実行することによって、有糸分裂像が最も多い視野を、前記拡張ピクセルマスクに基づいて出力するステップ；及び
前記視野を前記コンピュータメモリ内に、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を実施させるように動作する、実施形態２１に記載のシステム。
実施形態２３
前記視野は、高倍率１０視野を含む、実施形態２２に記載のシステム。
実施形態２４
前記命令は更に、実行されたときに、前記視野をデバイスディスプレイ上に表示するステップを実施させるように動作する、実施形態２２に記載のシステム。
実施形態２５
前記組織検出アルゴリズムは、前記生検の前記スライド画像の低解像度ビューにおいて、組織の粗セグメント化を実施するステップを含む、実施形態２１に記載のシステム。
実施形態２６
前記第３のプログラムされた命令は：
有糸分裂像を示す前記バイナリピクセルマスクの接続された座標セットごとに、対応する回転長方形であって、各前記回転長方形は、前記有糸分裂像の近似輪郭を囲む最小面積のものである、回転長方形を決定させるように；及び
前記コンピュータメモリにデジタル保存された閾値幅より大きな幅をそれぞれ有する回転長方形に関連付けられた座標のみを含むように、前記拡張ピクセルマスクを生成させるように、プログラムされる、実施形態２１に記載のシステム。
実施形態２７
前記第３のプログラムされた命令は更に、前記コンピュータメモリに保存されたカーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、前記バイナリピクセルマスクを膨張させるように、プログラムされる、実施形態２６に記載のシステム。
実施形態２８
前記第２の訓練済み機械学習モデルは、均衡化クロスエントロピー（ＢＣＥ）ソフトＤｉｃｅＬｏｓｓ関数又はソフトＤｉｃｅＬｏｓｓ関数のうちの少なくとも一方を最小化するように訓練された、スキップ接続を伴う畳み込みニューラルネットワークを含む、実施形態２１に記載のシステム。
実施形態２９
前記第２の訓練済み機械学習モデルは、ＩｍａｇｅＮｅｔで事前訓練されたＵ‐Ｎｅｔモデルを更に含む、実施形態２８に記載のシステム。
実施形態３０
前記生検スライドの前記画像は、動物又はペットのうちの少なくとも一方の生検の画像を含み、前記生検の前記画像は、医療撮像デバイスを用いて生成されたものである、実施形態２１に記載のシステム。
実施形態３１
前記生検スライドの前記画像は、スライド全体画像（ＷＳＩ）を含む、実施形態２１に記載のシステム。
実施形態３２
前記生検スライドの前記画像及び前記分類の表示を含む出力画像を表示するステップを更に含む、実施形態２１に記載のシステム。
実施形態３３
前記命令は更に、実行されたときに、前記生検スライドの前記画像をプログラムに従って事前処理するステップを実施させるように動作し、前記事前処理するステップは、前記生検スライドの前記画像が更なる処理のために十分なほど鮮明であると判断するステップを含む、実施形態２１に記載のシステム。
実施形態３４
前記生検スライドの前記画像はスライド全体画像を含み、前記事前処理するステップは、前記生検スライドの前記画像の解像度が、前記コンピュータメモリに保存されている閾値解像度を超えると判断するステップ、又は前記スライド全体画像が含むスライド画像の枚数が、前記コンピュータメモリに保存されている閾値枚数を超えると判断するステップのうちの、少なくとも一方を含む、実施形態３３に記載のシステム。
実施形態３５
前記命令は更に、実行されたときに：
前記第２の座標セットを用いて有糸分裂像数をプログラムに従って計算するステップ；及び
前記有糸分裂像数を前記コンピュータメモリにデジタル保存するステップ
を実施させるように動作する、実施形態２１に記載のシステム。
実施形態３６
前記生検スライドの前記画像はクライアントコンピューティングデバイスから受信される、実施形態２１に記載のシステム。
実施形態３７
前記命令は更に、実行されたときに：
前記拡張ピクセルマスクに基づいて、有糸分裂像が最も多い視野を出力するために、ｋｄ木ベースのアルゴリズムを実装する第４のプログラムされた命令を実行するステップ；及び
前記視野を前記コンピュータメモリに、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を実施させるように動作する、実施形態３６に記載のシステム。
実施形態３８
前記ファイルは、エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルを含む、実施形態３７に記載のシステム。
実施形態３９
前記命令は更に、実行されたときに、前記クライアントコンピューティングデバイスに、前記生検スライド画像に関する情報を、前記エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルからレンダリングされたアノテーションとして送信するステップを実施させるように動作する、実施形態３８に記載のシステム。
実施形態４０
スケーラブルなブロックを含む分散型、非集中型、かつ非同期型のアーキテクチャを用いて、前記方法を実行するステップを更に含み、前記スケーラブルなブロックは管理プログラムを含み、前記管理プログラムはＤｏｃｋｅｒコンテナを用いて実装される、実施形態２１に記載のシステム。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
コンピューティングデバイスにおいて生検スライドの画像を受信するステップ；
第１のプログラムされた命令を実行して、前記生検スライドの前記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、前記生検スライドの前記画像の分類を出力するステップ；
前記分類に基づいて、前記生検スライドの前記画像を更に処理するべきであると決定するステップ；
組織検出アルゴリズムを前記生検スライドの前記画像に対して実行することによって、第１の座標セットを出力するステップ；
第２のプログラムされた命令を実行することによって、前記生検スライドの前記画像及び前記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；
第３のプログラムされた命令を実行して、前記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びに
コンピュータメモリに、前記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップ
を含む、コンピュータ実装型の方法。
実施形態２
ｋｄ木ベースのアルゴリズムを実装する、第４のプログラムされた命令を実行することによって、有糸分裂像が最も多い視野を、前記拡張ピクセルマスクに基づいて出力するステップ；及び
前記視野を前記コンピュータメモリ内に、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を更に含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態３
前記視野は、高倍率１０視野（１０‐ｈｉｇｈ‐ｐｏｗｅｒ ｆｉｅｌｄ）を含む、実施形態２に記載のコンピュータ実装型の方法。
実施形態４
前記視野をデバイスディスプレイ上に表示するステップを更に含む、実施形態２に記載のコンピュータ実装型の方法。
実施形態５
前記組織検出アルゴリズムは、前記生検の前記スライド画像の低解像度ビューにおいて、組織の粗セグメント化を実施するステップを含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態６
前記第３のプログラムされた命令は：
有糸分裂像を示す前記バイナリピクセルマスクの接続された座標セットごとに、対応する回転長方形であって、各前記回転長方形は、前記有糸分裂像の近似輪郭を囲む最小面積のものである、回転長方形を決定させるように；及び
前記コンピュータメモリにデジタル保存された閾値幅より大きな幅をそれぞれ有する回転長方形に関連付けられた座標のみを含むように、前記拡張ピクセルマスクを生成させるように、プログラムされる、実施形態１に記載のコンピュータ実装型の方法。
実施形態７
前記第３のプログラムされた命令は更に、前記コンピュータメモリに保存されたカーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、前記バイナリピクセルマスクを膨張させるように、プログラムされる、実施形態６に記載のコンピュータ実装型の方法。
実施形態８
前記第２の訓練済み機械学習モデルは、均衡化クロスエントロピー（ｂａｌａｎｃｅｄ ｃｒｏｓｓ ｅｎｔｒｏｐｙ：ＢＣＥ）ソフトＤｉｃｅＬｏｓｓ関数又はソフトＤｉｃｅＬｏｓｓ関数のうちの少なくとも一方を最小化するように訓練された、スキップ接続を伴う畳み込みニューラルネットワークを含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態９
前記第２の訓練済み機械学習モデルは、ＩｍａｇｅＮｅｔで事前訓練されたＵ‐Ｎｅｔモデルを更に含む、実施形態８に記載のコンピュータ実装型の方法。
実施形態１０
前記生検スライドの前記画像は、動物又はペットのうちの少なくとも一方の生検の画像を含み、前記生検の前記画像は、医療撮像デバイスを用いて生成されたものである、実施形態１に記載のコンピュータ実装型の方法。
実施形態１１
前記生検スライドの前記画像は、スライド全体画像（ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ：ＷＳＩ）を含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１２
前記生検スライドの前記画像及び前記分類の表示を含む出力画像を表示するステップを更に含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１３
前記生検スライドの前記画像をプログラムに従って事前処理するステップを更に含み、前記事前処理するステップは、前記生検スライドの前記画像が更なる処理のために十分なほど鮮明であると判断するステップを含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１４
前記生検スライドの前記画像はスライド全体画像を含み、前記事前処理するステップは、前記生検スライドの前記画像の解像度が、前記コンピュータメモリに保存されている閾値解像度を超えると判断するステップ、又は前記スライド全体画像が含むスライド画像の枚数が、前記コンピュータメモリに保存されている閾値枚数を超えると判断するステップのうちの、少なくとも一方を含む、実施形態１３に記載のコンピュータ実装型の方法。
実施形態１５
前記第２の座標セットを用いて有糸分裂像数をプログラムに従って計算するステップ；及び
前記有糸分裂像数を前記コンピュータメモリにデジタル保存するステップ
を更に含む、実施形態１に記載のコンピュータ実装型の方法。
実施形態１６
前記コンピューティングデバイスはサーバコンピュータを備え、前記生検スライドの前記画像はクライアントコンピューティングデバイスから受信される、実施形態１に記載のコンピュータ実装型の方法。
実施形態１７
前記拡張ピクセルマスクに基づいて、有糸分裂像が最も多い視野を出力するために、ｋｄ木ベースのアルゴリズムを実装する第４のプログラムされた命令を実行するステップ；及び
前記視野を前記コンピュータメモリに、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を更に含む、実施形態１６に記載のコンピュータ実装型の方法。
実施形態１８
前記ファイルは、エクステンシブルマークアップランゲージ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ：ＸＭＬ）ファイルを含む、実施形態１７に記載のコンピュータ実装型の方法。
実施形態１９
前記サーバコンピュータから前記クライアントコンピューティングデバイスに、前記生検スライド画像に関する情報を、前記エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルからレンダリングされたアノテーションとして送信するステップを更に含む、実施形態１８に記載のコンピュータ実装型の方法。
実施形態２０
スケーラブルなブロックを含む分散型、非集中型、かつ非同期型のアーキテクチャを用いて、前記方法を実行するステップを更に含み、前記スケーラブルなブロックは管理プログラムを含み、前記管理プログラムはＤｏｃｋｅｒコンテナを用いて実装される、実施形態１に記載のコンピュータ実装型の方法。
実施形態２１
システムであって：
１つ以上のプロセッサと；
前記プロセッサのうちの１つ以上に結合され、前記プロセッサのうちの１つ以上によって実行されたときに、以下：
生検スライドの画像を受信するステップ；
第１のプログラムされた命令を実行して、前記生検スライドの前記画像を、癌分類器としてプログラムされた第１の訓練済み機械学習モデルに入力することにより、前記生検スライドの前記画像の分類を出力するステップ；
前記分類に基づいて、前記生検スライドの前記画像を更に処理するべきであると決定するステップ；
組織検出アルゴリズムを前記生検スライドの前記画像に対して実行することによって、第１の座標セットを出力するステップ；
第２のプログラムされた命令を実行することによって、前記生検スライドの前記画像及び前記第１の座標セットを、画像のセグメント化のためにプログラムされた第２の訓練済み機械学習モデルに入力することにより、バイナリピクセルマスクを出力するステップ；
第３のプログラムされた命令を実行して、前記バイナリピクセルマスクを用いて拡張ピクセルマスクを生成するステップ；並びに
コンピュータメモリに、前記拡張ピクセルマスクによって示される第２の座標セットをデジタル保存するステップ
を含む操作を前記システムに実行させるように動作する命令を含む、１つ以上のコンピュータ可読非一時的記憶媒体と
を備える、システム。
実施形態２２
前記命令は更に、実行されたときに、ｋｄ木ベースのアルゴリズムを実装する、第４のプログラムされた命令を実行することによって、有糸分裂像が最も多い視野を、前記拡張ピクセルマスクに基づいて出力するステップ；及び
前記視野を前記コンピュータメモリ内に、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を実施させるように動作する、実施形態２１に記載のシステム。
実施形態２３
前記視野は、高倍率１０視野を含む、実施形態２２に記載のシステム。
実施形態２４
前記命令は更に、実行されたときに、前記視野をデバイスディスプレイ上に表示するステップを実施させるように動作する、実施形態２２に記載のシステム。
実施形態２５
前記組織検出アルゴリズムは、前記生検の前記スライド画像の低解像度ビューにおいて、組織の粗セグメント化を実施するステップを含む、実施形態２１に記載のシステム。
実施形態２６
前記第３のプログラムされた命令は：
有糸分裂像を示す前記バイナリピクセルマスクの接続された座標セットごとに、対応する回転長方形であって、各前記回転長方形は、前記有糸分裂像の近似輪郭を囲む最小面積のものである、回転長方形を決定させるように；及び
前記コンピュータメモリにデジタル保存された閾値幅より大きな幅をそれぞれ有する回転長方形に関連付けられた座標のみを含むように、前記拡張ピクセルマスクを生成させるように、プログラムされる、実施形態２１に記載のシステム。
実施形態２７
前記第３のプログラムされた命令は更に、前記コンピュータメモリに保存されたカーネルサイズ及び有糸分裂細胞の極間距離に比例する膨張の反復の回数で、前記バイナリピクセルマスクを膨張させるように、プログラムされる、実施形態２６に記載のシステム。
実施形態２８
前記第２の訓練済み機械学習モデルは、均衡化クロスエントロピー（ＢＣＥ）ソフトＤｉｃｅＬｏｓｓ関数又はソフトＤｉｃｅＬｏｓｓ関数のうちの少なくとも一方を最小化するように訓練された、スキップ接続を伴う畳み込みニューラルネットワークを含む、実施形態２１に記載のシステム。
実施形態２９
前記第２の訓練済み機械学習モデルは、ＩｍａｇｅＮｅｔで事前訓練されたＵ‐Ｎｅｔモデルを更に含む、実施形態２８に記載のシステム。
実施形態３０
前記生検スライドの前記画像は、動物又はペットのうちの少なくとも一方の生検の画像を含み、前記生検の前記画像は、医療撮像デバイスを用いて生成されたものである、実施形態２１に記載のシステム。
実施形態３１
前記生検スライドの前記画像は、スライド全体画像（ＷＳＩ）を含む、実施形態２１に記載のシステム。
実施形態３２
前記生検スライドの前記画像及び前記分類の表示を含む出力画像を表示するステップを更に含む、実施形態２１に記載のシステム。
実施形態３３
前記命令は更に、実行されたときに、前記生検スライドの前記画像をプログラムに従って事前処理するステップを実施させるように動作し、前記事前処理するステップは、前記生検スライドの前記画像が更なる処理のために十分なほど鮮明であると判断するステップを含む、実施形態２１に記載のシステム。
実施形態３４
前記生検スライドの前記画像はスライド全体画像を含み、前記事前処理するステップは、前記生検スライドの前記画像の解像度が、前記コンピュータメモリに保存されている閾値解像度を超えると判断するステップ、又は前記スライド全体画像が含むスライド画像の枚数が、前記コンピュータメモリに保存されている閾値枚数を超えると判断するステップのうちの、少なくとも一方を含む、実施形態３３に記載のシステム。
実施形態３５
前記命令は更に、実行されたときに：
前記第２の座標セットを用いて有糸分裂像数をプログラムに従って計算するステップ；及び
前記有糸分裂像数を前記コンピュータメモリにデジタル保存するステップ
を実施させるように動作する、実施形態２１に記載のシステム。
実施形態３６
前記生検スライドの前記画像はクライアントコンピューティングデバイスから受信される、実施形態２１に記載のシステム。
実施形態３７
前記命令は更に、実行されたときに：
前記拡張ピクセルマスクに基づいて、有糸分裂像が最も多い視野を出力するために、ｋｄ木ベースのアルゴリズムを実装する第４のプログラムされた命令を実行するステップ；及び
前記視野を前記コンピュータメモリに、前記第２の座標セットを伴うファイルでデジタル保存するステップ
を実施させるように動作する、実施形態３６に記載のシステム。
実施形態３８
前記ファイルは、エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルを含む、実施形態３７に記載のシステム。
実施形態３９
前記命令は更に、実行されたときに、前記クライアントコンピューティングデバイスに、前記生検スライド画像に関する情報を、前記エクステンシブルマークアップランゲージ（ＸＭＬ）ファイルからレンダリングされたアノテーションとして送信するステップを実施させるように動作する、実施形態３８に記載のシステム。
実施形態４０
スケーラブルなブロックを含む分散型、非集中型、かつ非同期型のアーキテクチャを用いて、前記方法を実行するステップを更に含み、前記スケーラブルなブロックは管理プログラムを含み、前記管理プログラムはＤｏｃｋｅｒコンテナを用いて実装される、実施形態２１に記載のシステム。
【国際調査報告】