特表 2022-544925 機械学習を利用した生物学的構造識別を自動化するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-24

(54)【発明の名称】機械学習を利用した生物学的構造識別を自動化するためのシステム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221017BHJP

【ＦＩ】

G06T7/00 612

G06T7/00 350B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022508511

(86)(22)【出願日】2020-08-14

(85)【翻訳文提出日】2022-03-25

(86)【国際出願番号】 US2020046362

(87)【国際公開番号】W WO2021030684

(87)【国際公開日】2021-02-18

(31)【優先権主張番号】62/887,244

(32)【優先日】2019-08-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＩＲＥＷＩＲＥ

２．ＢＬＵＥＴＯＯＴＨ

３．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】521399906

【氏名又は名称】アドバンスド ソリューションズ ライフ サイエンシズ、エルエルシー

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ジョンソン、ジェロミー

(72)【発明者】

【氏名】エリ、ロブ

(72)【発明者】

【氏名】ホイング、ジェイ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096KA04

(57)【要約】

機械学習を使用する自動化された生物学的構造識別のためのシステムは、識別すべき生物学的構造を選択する命令を受信することと、生物学的構造を識別するように構成された複数の機械学習モデルを記憶するコンピュータ可読媒体にアクセスすることと、受信された命令に基づいて、機械学習モデルの中の１つのモデルを選択することと、画像データを受信することと、選択されたモデルを使用して、画像データ中の、焦点外の、生物学的構造を識別することと、撮像デバイスのフォーカスを調整するために、撮像デバイスに調整命令を送ることと、調整命令に対応する調整された画像データを受信することと、選択されたモデルを使用して、調整された画像データ中の、合焦した、生物学的構造を識別することとを行うように構成されたホスト・デバイスを含む。ホスト・デバイスは、識別された生物学的構造に対応する注釈を生成し、画像データ及び注釈を表示する。

【特許請求の範囲】

【請求項1】

生物学的構造識別のためのシステムであって、前記システムは、
ホスト・デバイスであって、
１つ又は複数の生物学的構造を識別するように構成された複数の機械学習モデルを記憶するコンピュータ可読媒体にアクセスすることと、
画像データを受信することと、
識別すべき生物学的構造を選択する命令を受信することと、
前記受信された命令に基づいて、前記１つ又は複数の機械学習モデルの中の１つのモデルを選択することと、
前記選択されたモデルを使用して、前記画像データ中の前記生物学的構造を識別することと、
前記識別された生物学的構造に対応する１つ又は複数の注釈を生成することと
を行うように構成されたホスト・デバイスと、
撮像構成要素を備える１つ又は複数の撮像デバイスであって、前記撮像デバイスは、
前記生物学的構造を含む前記画像データをキャプチャすることと、
前記画像データを前記ホスト・デバイスに送信することと
を行うように構成された１つ又は複数の撮像デバイスと
を備える、システム。

【請求項2】

前記１つ又は複数の撮像デバイスが、
前記ホスト・デバイスから受信される１つ又は複数の調整命令に応答して、撮像構成要素設定を変更する
ように構成されたアクチュエータをさらに備える、請求項１に記載のシステム。

【請求項3】

前記ホスト・デバイスが、
前記撮像デバイスから前記画像データを受信することと、
ネットワーク接続を介して前記コンピュータ可読媒体にアクセスすることと、
前記選択された機械学習モデルのローカル・コピーを作成することと、
前記生成された注釈と、前記識別された生物学的構造を含んでいる前記画像データとを表示することと、
前記アクチュエータの通信プロトコルに基づいて、前記１つ又は複数の調整命令を前記撮像デバイスに送ることと
を行うように構成されたインターフェース・デバイスを備える、請求項２に記載のシステム。

【請求項4】

インターフェース・デバイスをさらに備え、前記ホスト・デバイスが、
ネットワークを介して前記インターフェース・デバイスから前記画像データを受信することと、
前記１つ又は複数の調整命令を前記インターフェース・デバイスに送ることと、
前記インターフェース・デバイスから、生物学的構造を選択する前記命令を受信することと、
前記１つ又は複数の機械学習モデルの中の前記モデルを記憶するクラウド・ストレージから前記モデルを選択することと、
前記ネットワークを介して、前記生成された１つ又は複数の注釈を前記インターフェース・デバイスに送ることと
を行うように構成されたサーバを備える、請求項２に記載のシステム。

【請求項5】

前記ホスト・デバイスが、
前記１つ又は複数の撮像デバイスの中の第１の撮像デバイスから、前記生物学的構造の第１のトレーニング画像データを受信することと、
第１のインターフェース・デバイスから、前記生物学的構造を識別する注釈を含む、前記第１のトレーニング画像データに対応する１つ又は複数の第１の注釈を受信することと、
前記生物学的構造を識別し、前記生物学的構造に対応する１つ又は複数の注釈を生成するために、前記１つ又は複数の第１の注釈及び前記第１のトレーニング画像データを使用して、カスタム機械学習モデルをトレーニングすることと、
前記トレーニングされたカスタム機械学習モデルを前記コンピュータ可読媒体に記憶することと
を行うようにさらに構成された、請求項１に記載のシステム。

【請求項6】

前記ホスト・デバイスが、
前記１つ又は複数の撮像デバイスの中の第２の撮像デバイスから、前記生物学的構造の第２のトレーニング画像データを受信することと、
第２のインターフェース・デバイスから、前記生物学的構造を識別する注釈を含む、前記第２のトレーニング画像データに対応する１つ又は複数の第２の注釈を受信することと
を行うようにさらに構成され、
前記カスタム機械学習モデルの前記トレーニングが、前記１つ又は複数の第２の注釈及び前記第２のトレーニング画像データを使用することを含む、請求項５に記載のシステム。

【請求項7】

前記ホスト・デバイスが、
第２のトレーニング画像データを受信することと、
前記生物学的構造を識別する注釈を含む、前記第２のトレーニング画像データに対応する１つ又は複数の第２の注釈を受信することと、
前記１つ又は複数の第２の注釈及び前記第２のトレーニング画像データを使用して、前記トレーニングされたカスタム機械学習モデルの前記トレーニングを更新することと、
前記更新されたカスタム機械学習モデルを前記コンピュータ可読媒体に記憶することと
を行うようにさらに構成された、請求項５に記載のシステム。

【請求項8】

前記ホスト・デバイスが、
前記生物学的構造の焦点外トレーニング画像データを受信することと、
前記生物学的構造の合焦トレーニング画像データを受信することと、
前記生物学的構造を識別する注釈を含む、前記焦点外トレーニング画像データ及び前記合焦トレーニング画像データに対応する１つ又は複数の注釈を受信することと、
前記１つ又は複数の注釈、前記焦点外トレーニング画像データ、及び前記合焦トレーニング画像データを使用して、前記生物学的構造を識別し、前記生物学的構造に対応する１つ又は複数の注釈を生成するためにオートフォーカス機械学習モデルをトレーニングすることと、
前記トレーニングされたオートフォーカス機械学習モデルを前記コンピュータ可読媒体に記憶することと
を行うようにさらに構成された、請求項１に記載のシステム。

【請求項9】

前記生物学的構造の前記識別が、
前記トレーニングされたオートフォーカス機械学習モデルを使用して、前記画像データ中の、焦点外の、前記生物学的構造を識別することと、
前記撮像デバイスの１つ又は複数の撮像構成要素設定を調整するために前記撮像デバイスに１つ又は複数の調整命令を送ることと、
前記調整命令に対応する調整された画像データを受信することと、
前記トレーニングされたオートフォーカス機械学習モデルを使用して、前記調整された画像データ中の、合焦した、前記生物学的構造を識別することと
を含む、請求項８に記載のシステム。

【請求項10】

前記撮像構成要素設定が、対象、ズーム、フォーカス、ｚ高さ、又は倍率のうちの１つ又は複数を含む、請求項１に記載のシステム。

【請求項11】

機械学習を使用して生物学的構造を自動的に識別するための方法であって、前記方法は、
画像データを受信することと、
識別すべき生物学的構造を選択する命令を受信することと、
前記受信された命令に基づいて、１つ又は複数の生物学的構造を識別するようにそれぞれ構成された１つ又は複数の機械学習モデルの中の１つの機械学習モデルを選択することと、
前記選択されたモデルを使用して、前記画像データ中の前記生物学的構造を識別することと、
前記識別された生物学的構造に対応する１つ又は複数の注釈を生成することと
を含む、方法。

【請求項12】

第１の撮像デバイスから、前記生物学的構造の第１のトレーニング画像データを受信することと、
第１のインターフェース・デバイスから、前記生物学的構造を識別する注釈を含む、前記第１のトレーニング画像データに対応する１つ又は複数の第１の注釈を受信することと、
前記生物学的構造を識別し、前記生物学的構造に対応する１つ又は複数の注釈を生成するために、前記１つ又は複数の第１の注釈及び前記第１のトレーニング画像データを使用して、カスタム機械学習モデルをトレーニングすることと、
前記トレーニングされたカスタム機械学習モデルをコンピュータ可読媒体に記憶することと
をさらに含む、請求項１１に記載の方法。

【請求項13】

第２の撮像デバイスから、前記生物学的構造の第２のトレーニング画像データを受信することと、
第２のインターフェース・デバイスから、前記生物学的構造を識別する注釈を含む、前記第２のトレーニング画像データに対応する１つ又は複数の第２の注釈を受信することと
をさらに含み、
前記カスタム機械学習モデルの前記トレーニングが、前記１つ又は複数の第２の注釈及び前記第２のトレーニング画像データを使用することを含む、請求項１２に記載の方法。

【請求項14】

ホスト・デバイスが、
第２のトレーニング画像データを受信することと、
前記生物学的構造を識別する注釈を含む、前記第２のトレーニング画像データに対応する１つ又は複数の第２の注釈を受信することと、
前記１つ又は複数の第２の注釈及び前記第２のトレーニング画像データを使用して、前記トレーニングされたカスタム機械学習モデルの前記トレーニングを更新することと、
前記更新されたカスタム機械学習モデルを前記コンピュータ可読媒体に記憶することと
を行うようにさらに構成された、請求項１２に記載の方法。

【請求項15】

前記生物学的構造の焦点外トレーニング画像データを受信することと、
前記生物学的構造の合焦トレーニング画像データを受信することと、
前記生物学的構造を識別する注釈を含む、前記焦点外トレーニング画像データ及び前記合焦トレーニング画像データに対応する１つ又は複数の注釈を受信することと、
前記１つ又は複数の注釈、前記焦点外トレーニング画像データ、及び前記合焦トレーニング画像データを使用して、前記生物学的構造を識別し、前記生物学的構造に対応する１つ又は複数の注釈を生成するためにオートフォーカス機械学習モデルをトレーニングすることと、
前記トレーニングされたオートフォーカス機械学習モデルをコンピュータ可読媒体に記憶することと
をさらに含む、請求項１１に記載の方法。

【請求項16】

前記トレーニングされたオートフォーカス機械学習モデルを使用して、前記画像データ中の、焦点外の、前記生物学的構造を識別することと、
撮像デバイスの１つ又は複数の撮像構成要素設定を調整するために、前記撮像デバイスに１つ又は複数の調整命令を送ることと、
前記調整命令に対応する調整された画像データを受信することと、
前記トレーニングされたオートフォーカス機械学習モデルを使用して、前記調整された画像データ中の、合焦した、前記生物学的構造を識別することと
をさらに含む、請求項１５に記載の方法。

【請求項17】

前記選択された機械学習モデルのローカル・コピーを作成すること
をさらに含む、請求項１１に記載の方法。

【請求項18】

前記生成された注釈と、前記識別された生物学的構造を含んでいる前記画像データとを表示すること
をさらに含む、請求項１１に記載の方法。

【請求項19】

命令を記憶したコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
生物学的構造の焦点外トレーニング画像データを受信することと、
前記生物学的構造の合焦トレーニング画像データを受信することと、
前記生物学的構造を識別する注釈を含む、前記焦点外トレーニング画像データ及び前記合焦トレーニング画像データに対応する１つ又は複数の注釈を受信することと、
前記１つ又は複数の注釈、前記焦点外トレーニング画像データ、及び前記合焦トレーニング画像データを使用して、前記生物学的構造を識別し、前記生物学的構造に対応する１つ又は複数の注釈を生成するためにオートフォーカス機械学習モデルをトレーニングすることと、
前記トレーニングされたオートフォーカス機械学習モデルを前記コンピュータ可読媒体に記憶することと
を含むステップを実行させる、コンピュータ可読媒体。

【請求項20】

さらなる命令を記憶したコンピュータ可読媒体であって、前記さらなる命令は、プロセッサによって実行されたとき、前記プロセッサに、
画像データを受信することと、
識別すべき生物学的構造を選択する命令を受信することと、
前記受信された命令に基づいて、１つ又は複数の生物学的構造を識別するように構成された１つ又は複数の機械学習モデルの中のオートフォーカス機械学習モデルを選択することと、
前記トレーニングされたオートフォーカス機械学習モデルを使用して、前記画像データ中の、焦点外の、前記生物学的構造を識別することと、
撮像デバイスの１つ又は複数の撮像構成要素設定を調整するために、前記撮像デバイスに１つ又は複数の調整命令を送ることと、
前記調整命令に対応する調整された画像データを受信することと、
前記トレーニングされたオートフォーカス機械学習モデルを使用して、前記調整された画像データ中の、合焦した、前記生物学的構造を識別することと、
前記識別された生物学的構造に対応する１つ又は複数の注釈を生成することと
を含むステップをさらに実行させる、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、その全体が参照により本明細書に組み込まれている、２０１９年８月１５日に出願された米国仮出願第６２／８８７，２４４号の利益を主張するものである。

【0002】

本明細書は、一般に、画像中の生物学的構造を識別するためのシステム及び方法に関し、より詳細には、生物学的構造識別を自動化するためのシステム及び方法と、生物学的構造識別のための機械学習モデルの協調トレーニング（ｃｏｌｌａｂｏｒａｔｉｖｅ ｔｒａｉｎｉｎｇ）とに関する。

【背景技術】

【0003】

医学研究の分野における一般的な研究ワークフローは、顕微鏡又は他の撮像デバイスによる生物学の対話型検査の研究ワークフローである。このワークフローは、ドメイン・エキスパートが実験結果の多数のサンプルを繰り返し処理し、目視検査によって画像を手動で解釈する必要がある。この研究プロセスは、しばしば、単調であり、時間がかかり、費用がかかる。さらに、サンプル中の異なるタイプの生物学的構造は、異なるドメイン・エキスパートが画像を解釈する必要があり得る。

【0004】

したがって、生体サンプル内の生物学的構造を検出するための代替的なシステム及び方法に対する必要性が存在する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国出願第１６／８３２，９８９号

【特許文献2】米国特許出願第１６／１３５，２９９号

【特許文献3】米国特許出願第１５／２０２，６７５号

【特許文献4】米国特許出願第１５／７２６，６１７号

【発明の概要】

【課題を解決するための手段】

【0006】

一実施例では、生物学的構造識別のためのシステムは、１つ又は複数の生物学的構造を識別するように構成された複数の機械学習モデルを記憶するコンピュータ可読媒体にアクセスするように構成されたホスト・デバイスを含む。本システムは、画像データを受信することと、識別すべき生物学的構造を選択する命令を受信することとを行うように構成される。本システムは、受信された命令に基づいて、１つ又は複数の機械学習モデルの中の１つのモデルを選択することと、選択されたモデルを使用して、画像データ中の生物学的構造を識別することとを行うように構成される。本システムはまた、識別された生物学的構造に対応する１つ又は複数の注釈を生成するように構成される。本システムは、撮像構成要素を含む１つ又は複数の撮像デバイスをも含み得る。撮像デバイスは、生物学的構造を含む画像データをキャプチャすることと、その画像データをホスト・デバイスに送信することとを行うように構成される。

【0007】

別の実施例では、１つ又は複数の撮像デバイスは、ホスト・デバイスから受信される１つ又は複数の調整命令に応答して撮像構成要素設定を変更するように構成されたアクチュエータをさらに含む。

【0008】

別の実施例では、ホスト・デバイスは、撮像デバイスから画像データを受信することと、ネットワーク接続を介してコンピュータ可読媒体にアクセスすることと、選択された機械学習モデルのローカル・コピーを作成することと、アクチュエータの通信プロトコルに基づいて、１つ又は複数の調整命令を撮像デバイスに送ることとを行うように構成され得る。ホスト・デバイスは、生成された注釈と、識別された生物学的構造を含んでいる画像データとを表示するようにさらに構成され得る。

【0009】

別の実施例では、本システムは、インターフェース・デバイスをさらに含み、ホスト・デバイスは、ネットワークを介してインターフェース・デバイスから画像データを受信することと、１つ又は複数の調整命令をインターフェース・デバイスに送ることと、インターフェース・デバイスから、生物学的構造を選択する命令を受信することと、１つ又は複数の機械学習モデルの中のモデルを記憶するクラウド・ストレージからそのモデルを選択することと、ネットワークを介して、生成された１つ又は複数の注釈をインターフェース・デバイスに送ることとを行うように構成されるサーバとして構成される。

【0010】

さらに別の実施例では、ホスト・デバイスは、１つ又は複数の撮像デバイスの中の第１の撮像デバイスから、生物学的構造の第１のトレーニング画像データを受信することと、第１のインターフェース・デバイスから、生物学的構造を識別する注釈を含む、第１のトレーニング画像データに対応する１つ又は複数の第１の注釈を受信することとを行うようにさらに構成される。ホスト・デバイスは、生物学的構造を識別し、生物学的構造に対応する１つ又は複数の注釈を生成するために、１つ又は複数の第１の注釈及び第１のトレーニング画像データを使用して、カスタム機械学習モデルをトレーニングすることと、トレーニングされたカスタム機械学習モデルをコンピュータ可読媒体に記憶することとを行うようにさらに構成され得る。

【0011】

別の実施例では、ホスト・デバイスは、１つ又は複数の撮像デバイスの中の第２の撮像デバイスから、生物学的構造の第２のトレーニング画像データを受信することと、第２のインターフェース・デバイスから、生物学的構造を識別する注釈を含む、第２のトレーニング画像データに対応する１つ又は複数の第２の注釈を受信することとを行うようにさらに構成される。カスタム機械学習モデルのトレーニングは、１つ又は複数の第２の注釈及び第２のトレーニング画像データを使用することをさらに含み得る。

【0012】

別の実施例では、ホスト・デバイスは、第２のトレーニング画像データを受信することと、生物学的構造を識別する注釈を含む、第２のトレーニング画像データに対応する１つ又は複数の第２の注釈を受信することと、１つ又は複数の第２の注釈及び第２のトレーニング画像データを使用して、トレーニングされたカスタム機械学習モデルのトレーニングを更新することとを行うようにさらに構成される。ホスト・デバイスは、更新されたカスタム機械学習モデルをコンピュータ可読媒体に記憶するように構成され得る。

【0013】

さらに別の実施例では、ホスト・デバイスは、生物学的構造の焦点外（ｏｕｔ－ｏｆ－ｆｏｃｕｓ）トレーニング画像データを受信することと、生物学的構造の合焦（ｉｎ－ｆｏｃｕｓ）トレーニング画像データを受信することと、生物学的構造を識別する注釈を含む、焦点外トレーニング画像データ及び合焦トレーニング画像データに対応する１つ又は複数の注釈を受信することとを行うようにさらに構成される。１つ又は複数の注釈、焦点外トレーニング画像データ、及び合焦トレーニング画像データを使用して、ホスト・デバイスは、生物学的構造を識別し、生物学的構造に対応する１つ又は複数の注釈を生成するためにオートフォーカス機械学習モデルをトレーニングするように構成され得る。ホスト・デバイスは、トレーニングされたオートフォーカス機械学習モデルをコンピュータ可読媒体に記憶するように構成され得る。

【0014】

さらに別の実施例では、生物学的構造の識別は、トレーニングされたオートフォーカス機械学習モデルを使用して、画像データ中の、焦点外の、生物学的構造を識別することと、撮像デバイスの１つ又は複数の撮像構成要素設定を調整するために、撮像デバイスに１つ又は複数の調整命令を送ることと、調整命令に対応する調整された画像データを受信することと、トレーニングされたオートフォーカス機械学習モデルを使用して、調整された画像データ中の、合焦した、生物学的構造を識別することとを含む。

【0015】

さらに別の実施例では、撮像構成要素設定は、対象、ズーム、フォーカス、ｚ高さ、又は倍率のうちの１つ又は複数を含む。

【0016】

さらに他の実施例では、命令を記憶したコンピュータ可読媒体であって、命令は、プロセッサによって実行されたとき、プロセッサに、自動化された生物学的構造識別のための方法ステップを実行させ得る、コンピュータ可読媒体。方法ステップは、生物学的構造の焦点外トレーニング画像データを受信することと、生物学的構造の合焦トレーニング画像データを受信することと、生物学的構造を識別する注釈を含む、焦点外トレーニング画像データ及び合焦トレーニング画像データに対応する１つ又は複数の注釈を受信することとを含み得る。本方法は、オートフォーカス機械学習モデルをトレーニングして、生物学的構造を識別し、生物学的構造に対応する１つ又は複数の注釈を生成するために、１つ又は複数の注釈、焦点外トレーニング画像データ、及び合焦トレーニング画像データを使用することをさらに含み得る。本方法は、トレーニングされたオートフォーカス機械学習モデルをコンピュータ可読媒体に記憶することを含み得る。

【0017】

自動化された生物学的構造識別のための方法ステップは、画像データを受信することと、識別すべき生物学的構造を選択する命令を受信することと、受信された命令に基づいて、１つ又は複数の生物学的構造を識別するように構成された１つ又は複数の機械学習モデルの中のオートフォーカス機械学習モデルを選択することと、トレーニングされたオートフォーカス機械学習モデルを使用して、画像データ中の、焦点外の、生物学的構造を識別することと、撮像デバイスの１つ又は複数の撮像構成要素設定を調整するために撮像デバイスに１つ又は複数の調整命令を送ることと、調整命令に対応する調整された画像データを受信することと、トレーニングされたオートフォーカス機械学習モデルを使用して、調整された画像データ中の、合焦した、生物学的構造を識別することと、識別された生物学的構造に対応する１つ又は複数の注釈を生成することとをさらに含み得る。

【0018】

本明細書で説明する実施例によって与えられるこれらの特徴及び追加の特徴は、図面とともに以下の詳細な説明に鑑みてより完全に理解されよう。

【0019】

図面中に記載されている実施例は、説明的及び例示的な性質のものであり、特許請求の範囲によって定義された主題を限定するものではない。例示的な実施例の以下の詳細な説明は、同様の構造が同様の参照番号を用いて示されている以下の図面とともに読めば理解され得る。

【図面の簡単な説明】

【0020】

【図1】本明細書で図示され説明される１つ又は複数の実施例による、機械学習を使用した生物学的構造の自動化された検出のためのシステムを示す図である。

【図2】本明細書で図示され説明される１つ又は複数の実施例による、機械学習を使用した生物学的構造の自動化された検出のための別のシステムを示す図である。

【図3】本明細書で図示され説明される１つ又は複数の実施例による、機械学習を使用した生物学的構造の自動化された検出のためのさらに別のシステムを示す図である。

【図4】本明細書で図示され説明される１つ又は複数の実施例による、機械学習モデルをトレーニングする方法を示すフローチャートを示す図である。

【図5】本明細書で図示され説明される１つ又は複数の実施例による、機械学習を使用して生物学的構造を識別する方法を示すフローチャートを示す図である。

【図6】本明細書で図示され説明される１つ又は複数の実施例による、オートフォーカス機械学習モデルを使用して生物学的構造を識別する方法を示すフローチャートである。

【図7】本明細書で図示され説明される１つ又は複数の実施例による、生物学的構造を含んでいる画像の人間による注釈及び機械による注釈を示す図である。

【発明を実施するための形態】

【0021】

本開示の実施例は、画像データ中の、生物医学的対象を含む生物学的構造を識別するためのシステムを対象とする。生物学的構造の識別は、生物医学的構造又は生物医学的対象セグメンテーションを識別することを含み得る。生物医学的対象セグメンテーションのためのシステム及び方法は、参照により本明細書に組み込まれている、２０２０年３月２７日に出願されたＳｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｏｂｊｅｃｔ Ｓｅｇｍｅｎｔａｔｉｏｎという名称の米国出願第１６／８３２，９８９号により詳細に説明されている。生物学的構造は、限定はしないが、実験室で培養又はプリントされた生物組織構成など、任意の生物学的構成を含み得る。そのような生物学的構成は、それらの各々がそれらの全体として参照により本明細書に組み込まれている、２０１８年９月１９日に出願された「Ｗｅｌｌ－Ｐｌａｔｅ ａｎｄ Ｆｌｕｉｄｉｃ Ｍａｎｉｆｏｌｄ Ａｓｓｅｍｂｌｉｅｓ ａｎｄ Ｍｅｔｈｏｄｓ」という名称の米国特許出願第１６／１３５，２９９号、２０１６年７月６日に出願された「Ｖａｓｃｕｌａｒｉｚｅｄ Ｉｎ Ｖｉｔｒｏ Ｐｅｒｆｕｓｉｏｎ Ｄｅｖｉｃｅｓ， Ｍｅｔｈｏｄｓ ｏｆ Ｆａｂｒｉｃａｔｉｎｇ， ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｔｈｅｒｅｏｆ」という名称の米国特許出願第１５／２０２，６７５号、及び２０１７年１０月６日に出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ ａ Ｑｕｉｃｋ－Ｃｈａｎｇｅ Ｍａｔｅｒｉａｌ Ｔｕｒｒｅｔ ｉｎ ａ Ｒｏｂｏｔｉｃ Ｆａｂｒｉｃａｔｉｏｎ ａｎｄ Ａｓｓｅｍｂｌｙ Ｐｌａｔｆｏｒｍ」という名称の米国特許出願第１５／７２６，６１７号においてさらに説明されていることがある。

【0022】

特に、開示された実施例は、システム・ユーザの共通のニーズに応じて、及びシステム・ユーザの様々な個々のニーズに応じて、生物学的構造を識別するために人工知能及び機械学習モデルを協調的にトレーニングするためのネットワーク化されたシステム及び方法を対象とする。トレーニング画像は、同じタイプの生物学的構造を採用する異なる生物学的供試体から、異なるロケーションにある異なる撮像デバイスによって生成され得る。トレーニング画像についての注釈は、ネットワークを通して異なるロケーションにいる異なるユーザによってシステムに与えられ得る。トレーニングされた機械学習モデルは、クラウド・ストレージに記憶され得、１つ又は複数の生物学的構造の識別のために必要に応じて選択され、ユーザに与えられ得る。生物学的構造の識別は、画像データについての注釈を生成することをさらに含み得る。注釈は、識別された生物学的構造のロケーションと、識別された生物学的構造についてのラベルと、信頼レベルと、スコアリングと、画像、画像のソース、又は画像内の生物学的構造に関係する任意の他の情報又はメタデータとの識別を含み得る。スコアリングは、トレーニングされたモデル２０４を使用した、画像データ中に見える各生物学的構造の識別及び計数及び注釈付けを含み得る。非限定的な例示目的のみのために、顕微鏡画像データを使用して実施例について説明する。しかしながら、開示されている原理及びプロシージャは、限定はしないが、写真撮影、超音波、磁気共鳴撮像、Ｘ線コンピュータ断層撮影、及び光学コンピュータ断層撮影を含む、様々な異なる撮像方法に適用可能である。したがって、本開示は、より速い、より一貫した識別及び注釈結果を与え得る、画像データ中の生物学的構造を識別するためのインテリジェント・システムを対象とする。これらの及び追加の実施例について以下でより詳細に説明する。

【0023】

また、「少なくとも１つの」構成要素、要素など、又は「１つ又は複数の」の本明細書における列挙は、「ａ」又は「ａｎ」という冠詞の代替的な使用が単一の構成要素、要素などに限定されるべきであるという推論を行うために使用されるべきでないことに留意されたい。

【0024】

特定の特性を実施するために、又は特定の様式で機能するために、特定の方法で「構成」されているか又は「プログラム」されている本開示の構成要素の本明細書における列挙は、意図された使用の列挙とは対照的な、構造上の列挙であることに留意されたい。

【0025】

次に図１を参照すると、生物学的物体識別システム１００のいくつかの実施例は、サーバ１０１と、人工知能リポジトリ１０３と、１つ又は複数の撮像デバイス１０５と、１つ又は複数のインターフェース・デバイス１０７と備える。生物学的物体識別システム１００の様々な構成要素はネットワーク１０９を通して互いに通信し得る。サーバ１０１は、クラウド・コンピューティング環境中で動作する仮想サーバを含む、トレーニング・サーバ又は任意のコンピュータ・システムを備え得る。人工知能リポジトリ１０３は、サーバ１０１のローカル・ストレージ上に記憶されるか、又はクラウド・ストレージを含むネットワーク・ストレージに記憶され得る。人工知能リポジトリ１０３は、サーバ又はサード・パーティが、人工知能リポジトリ１０３に記憶された１つ又は複数の特定の機械学習モデルにアクセスし、取り出すことを可能にする、アプリケーション・プログラミング・インターフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）又は他の通信インターフェースを含み得る。機械学習モデルは、限定はしないが、ニューラル・ネットワーク、線形回帰、ロジスティック回帰、デシジョン・ツリー、ＳＶＭ、単純ベイズ、ｋＮＮ、Ｋ平均法、ランダム・フォレスト、次元削減アルゴリズム、又は勾配ブースティング・アルゴリズムを含み得、限定はしないが、教師あり学習、教師なし学習、強化学習、半教師あり学習、自己教師あり学習、マルチインスタンス学習、帰納的学習、演繹的（Ｄｅｄｕｃｔｉｖｅ）推論、トランスダクディブ（Ｔｒａｎｓｄｕｃｔｉｖｅ）学習、マルチタスク学習、アクティブ学習、オンライン学習、転移（Ｔｒａｎｓｆｅｒ）学習、又はアンサンブル学習を含む、学習タイプを採用し得る。機械学習モデルは、トレーニング・モデル又はトレーニングされたモデル２０４を含み得る。トレーニング・モデルは、特定のユーザ選好に基づくトレーニングのために構成された一般化された機械学習モデルであり得る。本システムは、トレーニングされたモデル２０４を作成する際にトレーニング画像データ及び注釈に適用されるべきトレーニング・モデル１０８を取り出すか又はリコールすることが可能であり得る。トレーニングされたモデル２０４は、特定の生物学的構造を識別するようにトレーニングされた機械学習モデルを含み得る。当業者は、本明細書で開示する原理及び概念に基づいて、適切な機械学習モデルをどのように与え、トレーニングし、使用すべきかを理解しよう。

【0026】

本明細書でより詳細に説明するように、生物学的構造を識別し、識別された生物学的構造に対応する注釈を生成するために画像データ・トレーニング・セット上でトレーニングされた１つ又は複数のトレーニングされたモデル２０４が、インテリジェント生物学的構造識別のために使用され得る。本明細書における「トレーニングする」又は「トレーニングされる」の使用に関して、いくつかの実施例では、トレーニングされたモデル２０４は、本明細書で説明するデータ・アナリティクスのためにトレーニングされるか又はトレーニングされるように構成され、使用されること、及びトレーニングは、ユーザによって受信され、注釈付けされた画像に基づくトレーニング・データ・セットの収集を含み得ることを理解されたい。トレーニング・データ・セットが与えられると、機械学習モデルは生物学的構造識別をより確実に実行し得る。いくつかの実施例では、いくつかのトレーニング・モデルが、特定のユーザ選好に基づいて特に構築され、記憶され得る。たとえば、ユーザは、１つ又は複数のメモリ・モジュール、リモート・サーバなどからの新しいデータ・セットに適用されるべきトレーニング・モデル２０４をリコールすることが可能であり得る。本明細書で説明するように、本明細書で説明するシステム１００、２００、３００は、生物学的構造を識別し、識別された生物学的構造に対応する注釈を生成するために、生物学的構成及び（含まれる場合）任意のユーザ選好の、画像データ（たとえば、注釈がない画像データ又は実質的に注釈がない画像データ）を処理するために、１つ又は複数のトレーニングされたモデル２０４を使用するように構成され得る。以下でより詳細に説明するように、自動化された生物学的構造識別は、様々な識別された生物学的構造のロケーション、識別された生物学的構造に関するアナリティクス（たとえば、タイプ、数、体積、面積など）を示す、注釈付けされた画像データを生成することを含み得る。識別された生物学的構造及び対応する注釈はユーザに表示され得る。

【0027】

撮像デバイス１０５は、限定はしないが、写真撮影、超音波、磁気共鳴撮像、Ｘ線コンピュータ断層撮影、又は光学コンピュータ断層撮影を使用して画像データを生成するように構成されたデバイスを含む、生物学的構造の画像をキャプチャするために好適な顕微鏡又は任意の撮像デバイス１０５を備え得る。撮像デバイス１０５は、対象、ズーム、ｘ及びｙ位置、ｚ高さ、フォーカス、倍率、又は、使用される撮像技術のために好適であり得る任意の調整可能な撮像デバイス１０５設定など、撮像構成要素設定を調整するように構成され得る。撮像デバイス１０５は、サーバ１０１とインターフェース・デバイス１０７の一方又は両方から受信された調整命令に基づいて撮像構成要素１０５設定を調整し得る。

【0028】

調整命令は、限定はしないが、ＵＳＢ、ＦｉｒｅＷｉｒｅ、Ｓｅｒｉａｌ、ｅＳＡＴＡ、Ｗｉ－Ｆｉ、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスＵＳＢ、Ｚ－Ｗａｖｅ、Ｚｉｇｂｅｅ、及び／又は他の近距離通信プロトコルを含む、任意のコンピュータ・ネットワーク・プロトコルを使用して実装され得る。当業者は、使用される特定の撮像技術に応じて、撮像構成要素１０５設定の調整を遂行するために、コンピュータと、撮像デバイスなどの周辺デバイスとの間の通信をどのように実装するべきかを理解しよう。調整命令を受信するためにコンピュータ・システムとインターフェースすることが可能な撮像デバイスは、商業サプライヤから容易に入手可能である。非限定的な実例として、Ｏｌｙｍｐｕｓが販売しているＩＸｐｌｏｒｅ Ｓｔａｎｄａｒｄ顕微鏡はモーター付きステージ及び他のモーター付き構成要素を含む。Ｏｌｙｍｐｕｓ ＣｅｌｌＳｅｎｓ Ｓｔａｎｄａｒｄソフトウェアは、画像をキャプチャするためにＩＸｐｌｏｒｅ Ｓｔａｎｄａｒｄ顕微鏡のステージを移動させることが可能である。画像に注釈付けし、撮像デバイスの撮像構成要素を制御するための同様のソフトウェアはＮｉｋｏｎ、Ｌｅｉｔｚ、Ｚｅｉｓｓなどからも入手可能である。当業者は、適切なアクチュエータをもつ撮像デバイスを選択するか、又は開示された実施例の要件に応じたアクチュエータをもつ撮像デバイスを実装することが可能である。

【0029】

いくつかの実施例によれば、１つ又は複数のインターフェース・デバイス１０７は、ユーザに画像データを表示することと、ユーザから画像データに対応する注釈を受信することと、注釈及び画像データを使用して機械学習モデルをトレーニングすることと、人工知能リポジトリ１０３における記憶のために、トレーニングされた機械学習モデルをサーバ１０１に送ることとを行うように構成され得る。いくつかの実施例によれば、インターフェース・デバイス１０７は、ディスプレイ又はキーボードなど、ヒューマン・インターフェース・デバイスをもつ又はもたない任意の計算デバイスを備え得る。インターフェース・デバイス１０７のいくつかの非限定的な実例は、ラップトップ、デスクトップ、スマートフォン・デバイス、タブレット、ＰＣなどを含む。いくつかの実施例によれば、インターフェース・デバイス１０７は、プロセッサとメモリとネットワーク通信デバイスとを備える計算デバイスをも含み得、計算デバイスは、別のインターフェース・デバイス１０７又はサーバ１０１から命令又は通信を受信することと、１つ又は複数の撮像デバイス１０５から画像データを受信することと、１つ又は複数の撮像デバイス１０５に調整命令を送ることとを行うように構成される。画像データを表示し、注釈を受信する能力は、プロプライエタリ・ソフトウェアとオープンソース・ソフトウェアの両方によって広く利用可能である。当業者は、開示された実施例の必要を満たす画像注釈ソフトウェアを取得するか又は実装することが可能である。

【0030】

開示された実施例では、ネットワーク１０９は、１つ又は複数のコンピュータ・ネットワーク（たとえば、パーソナル・エリア・ネットワーク、ローカル・エリア・ネットワーク、グリッド・コンピューティング・ネットワーク、ワイド・エリア・ネットワークなど）、セルラー・ネットワーク、衛星ネットワーク、インターネット、クラウド・コンピューティング環境中の仮想ネットワーク、及び／又はそれらの任意の組合せを含み得る。したがって、サーバ１０１、人工知能リポジトリ１０３、１つ又は複数の撮像デバイス１０５、及び１つ又は複数のインターフェース・デバイス１０７は、ワイド・エリア・ネットワークを介して、ローカル・エリア・ネットワークを介して、パーソナル・エリア・ネットワークを介して、セルラー・ネットワークを介して、衛星ネットワークを介して、クラウド・ネットワークを介してなど、ネットワーク１０９に通信可能に結合され得る。好適なローカル・エリア・ネットワークは、ワイヤード・イーサネット、及び／又はたとえばワイヤレス・フィデリティ（Ｗｉ－Ｆｉ）などのワイヤレス技術を含み得る。好適なパーソナル・エリア・ネットワークは、たとえば、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスＵＳＢ、Ｚ－Ｗａｖｅ、Ｚｉｇｂｅｅ、及び／又は他の近距離通信プロトコルなど、ワイヤレス技術を含み得る。好適なパーソナル・エリア・ネットワークは、同様に、たとえば、ＵＳＢ、シリアルＡＴＡ、ｅＳＡＴＡ、及びＦｉｒｅＷｉｒｅなど、ワイヤード・コンピュータ・バスを含み得る。好適なセルラー・ネットワークは、限定はしないが、ＬＴＥ、ＷｉＭＡＸ、ＵＭＴＳ、ＣＤＭＡ、及びＧＳＭなどの技術を含む。したがって、ネットワーク１０９は、１つ又は複数のサーバ１０９にアクセスするためにシステム１００、２００、３００によってワイヤレス・アクセス・ポイントとして利用され得る。

【0031】

次に図２を参照すると、一実施例によれば、インターフェース・デバイス１０７は、機械学習モデルをトレーニングすることと、生物学的構造を識別するために、トレーニングされたモデルを使用することとを遂行するために、（図２に示されていない）ネットワーク１０９を介して撮像デバイス１０５及びサーバ１０１と通信するように構成されたホスト・デバイスとして動作し得る。撮像デバイス１０５はアクチュエータ２０６と撮像構成要素２０８とを備え得る。撮像デバイス１０５は、１つ又は複数の撮像構成要素２０８を使用して画像をキャプチャすることと、キャプチャされた画像をインターフェース・デバイス１０７に送ることとを行うように構成される。

【0032】

撮像構成要素２０８は、画像をキャプチャするか、又はキャプチャされた画像に影響を及ぼす、任意の構成要素を備え得る。非限定的な実例として、顕微鏡は、レンズを備える撮像構成要素２０８を含み得、レンズの位置は、そのレンズが結局画像をキャプチャしない場合でも、キャプチャされた画像のフォーカス又はズームに影響を及ぼし得る。顕微鏡は、画像センサー、ＣＣＤセンサー、又は別の光学キャプチャ・デバイスを備える撮像構成要素２０８をも含み得、画像センサー又は他の光学キャプチャ・デバイスの設定は、キャプチャされた画像の色、コントラスト、ノイズ、又は他の特性に影響を及ぼし得る。

【0033】

アクチュエータ２０６は、インターフェース・デバイス１０７から調整命令を受信することと、撮像構成要素２０８の１つ又は複数の設定を調整することとを行うように構成され得る。非限定的な一実例では、撮像デバイス１０５は顕微鏡を備え、撮像構成要素２０８はレンズを備え得、アクチュエータ２０６はステッパー・モーターを備え得る。ステッパー・モーターは、フォーカス、ズームを調整するために、又は顕微鏡のステージ上に配置された供試体に対してレンズを位置決めするために、顕微鏡のレンズを物理的に移動させ得る。代替的に、撮像構成要素２０８は顕微鏡ステージを備え得、ステッパー・モーター・アクチュエータ２０６は、キャプチャされた画像に影響を及ぼすために、顕微鏡ステージをレンズに対して移動させ得る。使用される撮像技術に応じて、アクチュエータは、ソフトウェアベースの画像処理設定を調整することによって、１つ又は複数の撮像構成要素２０８設定を、物理的に、電子的に、又はプログラムで調整し得る。本明細書で開示する原理及び概念に基づいて、当業者は、キャプチャされた画像に影響を及ぼす撮像構成要素２０８の特定の設定を調整するために、どんなタイプのアクチュエータが適切であるかを理解するであろう。

【0034】

いくつかの実施例によれば、インターフェース・デバイス１０７は、プロセッサ２０７ａとメモリ２０７ｂとを備える、パーソナル・コンピュータ、タブレット・コンピュータ、又はモバイル計算デバイスを備え得る。インターフェース・デバイス１０７のメモリ２０７ｂは、プロセッサ２０７ａによって実行されたとき、インターフェース・デバイス１０７に、サーバ１０１、撮像デバイス１０５、及びユーザとの通信及び対話に関係する機能を実行させるコンピュータ命令を記憶し得る。インターフェース・デバイス１０７は、インターフェース・デバイス１０７がその上に、撮像デバイス１０５から受信された画像データと、その画像データに関する注釈と、グラフィカル・ユーザ・インターフェースとを表示する、ディスプレイ２１１を随意に含み得る。

【0035】

いくつかの実施例によれば、インターフェース・デバイス１０７は、ディスプレイ２１１上に画像データを表示することと、ユーザから注釈を受信することと、画像データ及び受信された注釈に基づいて機械学習モデルをトレーニングすることとを行うように構成される。インターフェース・デバイス１０７は、ストレージ２０３に記憶されるべきトレーニングされたモデル２０４をサーバ１０１に送り得る。

【0036】

インターフェース・デバイス１０７は、さらに、ユーザから、生物学的構造の識別に関係する命令を受信することと、撮像デバイス１０５から画像データを受信することと、サーバ１０１からトレーニングされたモデル２０４を取り出すこととを行うように構成され得る。インターフェース・デバイスは、トレーニングされたモデル２０４のローカル・コピーを作成し得る。いくつかの実施例によれば、インターフェース・デバイス１０７は、さらに、ユーザから受信された命令に基づいて画像データ中の生物学的構造を識別するために、トレーニングされたモデル２０４を使用するように構成される。ユーザから受信された命令は１つ又は複数のユーザ選好を含み得る。ユーザ選好は、生物学的構造の検出又は対応する注釈の表示のための機械学習モデル及び／又は他の個人化（たとえば、望まれる出力、色、ラベル付け、分析されたエリアなど）を使用して識別されるべき特定の生物学的構造を含み得る。

【0037】

いくつかの実施例によれば、トレーニングされたモデル２０４はオートフォーカス機械学習モデルを含み得る。オートフォーカス機械学習モデルは、焦点外のときの生物学的構造を識別し、合焦識別のために生物学的構造に焦点を合わせるための調整命令を生成し得る。合焦識別は、焦点外識別よりも高い信頼レベルを含み得る。インターフェース・デバイス１０７は、さらに、撮像デバイス１０５の１つ又は複数の撮像構成要素２０８設定を調整するために撮像デバイス１０５に調整命令を送ることと、撮像デバイス１０５から調整された画像を受信することとを行うように構成され得る。インターフェース・デバイス１０７はまた、撮像デバイス１０５の１つ又は複数の撮像構成要素２０８設定を調整するために、ユーザから命令を受信することと、その命令を調整命令に変換することと、その調整命令を撮像デバイス１０５に送ることとを行うように構成され得る。

【0038】

オートフォーカス機械学習モデルは、画像データのライブ・フィードのために撮像デバイス１０５をオートフォーカスすることと、ライブ・スコアを生成することと、注釈を生成することとを行うように構成され得る。ライブ・スコアリングを含むスコアリングは、トレーニングされたモデル２０４を使用した、画像データ中に見える各生物学的構造の識別、測定、計数、及び注釈付けを含み得る。ライブ・スコアリングは撮像デバイス１０５からの現在画像データに対して実行され得、そのことは、その画像が保存される必要なしに撮像デバイス１０５が現在キャプチャしている画像データに常に基づいてスコアリングが実行され得ることを意味する。スコア及び検出された生物学的構造はディスプレイ２１１上にリアルタイムで表示され、それにより、撮像デバイスによって現在キャプチャされている画像に関する常時フィードバックがユーザに与えられ得る。スコアリングはまた、アプリケーション及び機器に応じて、画像の単一の平面に対して、並びにボリュメトリック投影方法を使用して生成されたスタック又はレイヤ化された画像に対して実行され得る。インターフェース・デバイス１０７は、後で注釈及びスコアリングとともに表示するために画像データを保存するように構成され得る。画像データ及び関連付けられた注釈は、別個のデータ・ファイル中に保存されるか、又はその画像データ中にレイヤ化され得る。

【0039】

システム１００、２００、３００は、ユーザが、現在のサンプルを分析する命令を発することを可能にするように構成され得、撮像デバイス１０５は、サンプル内の関心領域を検出し、次いで、すべての対象が最適なフォーカス・レベルで検出されることを保証するために、すべての利用可能なレベルにわたってオートフォーカスし得る。この機能の価値は、この機能により、研究者が顕微鏡に向かい、手動で焦点を合わせるか又は他の手動の顕微鏡中心タスクを実行する必要がなくなるであろうことである。

【0040】

代替実施例では、インターフェース・デバイス１０７は、機械学習モデルをトレーニングするために、画像データを受信することと、その画像データについての注釈を受信することと、それらの画像データ及び注釈をサーバに送ることとを行うように構成され得る。このようにして構成された複数のインターフェース・デバイス１０７は、機械学習モデルの協調トレーニングを実行するために複数の画像データ及び対応する注釈をサーバ１０１に送る際に、一緒に働き得る。協調的にトレーニングされたモデル２０４は、異なる撮像デバイス１０５からの画像データと、異なるユーザからの注釈との多様性がより大きくなることにより対象認識が改善されるという恩恵を受ける。

【0041】

いくつかの実施例によれば、生物学的構造を識別するために、トレーニングされたモデル２０４を使用すると、インターフェース・デバイス１０７は、画像データと、識別すべき生物学的構造又は使用されるべき特定のトレーニングされたモデル２０４の選択を含む命令とをサーバ１０１に送り得る。インターフェース・デバイス１０７は、サーバ１０１から、トレーニングされたモデル２０４によって生成された注釈を受信するように構成され得、インターフェース・デバイス１０７は、ディスプレイ２１１上に画像データ及び受信された注釈を表示し得る。いくつかのトレーニングされたモデル２０４はインターフェース・デバイス１０７（たとえばモバイル・デバイス）のために計算集約的になり得るか、又は、他のタスクのためにインターフェース・デバイス１０７上のリソースを空けることが望ましいことがある。したがって、いくつかの状況の下では、いくつかのインターフェース・デバイス１０７が生物学的構造の識別のためにサーバ１０１に画像データを送ることが望ましいことがある。

【0042】

いくつかの実施例によれば、インターフェース・デバイス１０７は、さらに、サーバ１０１から、撮像構成要素２０８設定に関係する命令を受信するように構成され得る。インターフェース・デバイス１０７は、共通のフォーマットでサーバ１０１から命令を受信し、アクチュエータ２０６の通信プロトコルに基づいて撮像デバイス１０５に送られるべき調整命令に変換し得る。

【0043】

したがって、インターフェース・デバイス１０７は、機械学習モデルをトレーニングすることと、トレーニングされたモデル２０４を記憶のためにサーバ１０１に送ることとを行うように構成され得る。ユーザ入力に応答して、インターフェース・デバイス１０７は、サーバ１０１からトレーニングされたモデルを取り出し、撮像デバイス１０５から受信された画像データ中の生物学的構造を識別するために、トレーニングされたモデル２０４を使用し得る。インターフェース・デバイス１０７は、さらに、撮像構成要素２０８の１つ又は複数の設定を変更するために撮像デバイス１０５に調整命令を送るように構成され得る。インターフェース・デバイス１０７はまた、注釈と、サーバ１０１において機械学習モデルをトレーニングするための画像データとを送ることによって、サーバ１０１と通信することと、サーバ１０１から注釈を受信することとを行うように構成され得る。

【0044】

サーバ１０１は、プロセッサ２０１ａと、メモリ２０１ｂと、ストレージ２０３とを備え得る。ストレージ２０３は、ローカル・ストレージ、ネットワーク化されたストレージ、又はクラウド・ストレージを含み得る。１つ又は複数のトレーニングされたモデル２０４がストレージ２０３に記憶され得る。サーバ１０１のメモリ２０１ｂは、プロセッサ２０１ａによって実行されたとき、サーバ１０１にインターフェース・デバイス１０７との通信及び対話に関係する機能を実行させるコンピュータ命令を記憶し得る。

【0045】

いくつかの実施例によれば、サーバ１０１は、インターフェース・デバイス１０７からトレーニングされたモデル２０４を受信することと、トレーニングされたモデル２０４をストレージ２０３に記憶することとを行うように構成され得る。サーバはまた、インターフェース・デバイス１０７から命令を受信することと、受信された命令に基づいて、トレーニングされたモデル２０４を取り出すこととを行うように構成され得る。サーバによって受信された命令は、特定のトレーニングされたモデル２０４又は識別されるべき生物学的構造の選択を含み得る。サーバ１０１は、選択されたトレーニングされたモデル２０４を取り出し、それをインターフェース・デバイス１０７に返送し得る。サーバ１０１は、識別されるべき生物学的構造を選択する受信された命令に応答して、適切なトレーニングされたモデル２０４を選択するように構成され得る。サーバ１０１は、識別されるべき生物学的構造に基づいて適切なモデルを選択するときに、識別されるべき生物学的構造と好ましいトレーニングされたモデル２０４との間のマッピングを使用するように構成され得る。

【0046】

いくつかの実施例によれば、サーバ１０１は、インターフェース・デバイス１０７からトレーニング画像データ及び注釈を受信するように構成され得る。サーバは、機械学習モデルをトレーニングするためにトレーニング画像データ及び注釈を使用し、トレーニングされたモデル２０４をストレージ２０３に記憶し得る。いくつかの実施例によれば、サーバは、複数のインターフェース・デバイス１０７から複数のトレーニング画像データ及び複数の注釈を受信するように構成され得る。サーバ１０１は、協調的にトレーニングされたモデル２０４を生成するために、複数のインターフェース・デバイス１０７から受信された複数のトレーニング画像データ及び複数の注釈を使用するように構成され得る。協調的にトレーニングされたモデル２０４は、異なる撮像デバイス１０５からのトレーニング画像データと異なるユーザからの注釈との多様性のために、それらのモデル２０４の、生物学的構造の識別及び注釈の生成において、よりロバストになり得る。協調的にトレーニングされたモデルはまた、複数のインターフェース・デバイス１０７と複数の撮像デバイス１０５とから入手可能であるトレーニング・データのソースの数が増加したために、より迅速にトレーニングされ得る。

【0047】

いくつかの実施例によれば、サーバ１０１は、インターフェース・デバイス１０７から画像データ及び命令を受信することと、それらの命令に基づいて、トレーニングされたモデル２０４を選択することとを行うように構成され得る。サーバは、さらに、画像データ中の生物学的構造を識別するために、選択されたトレーニングされたモデル２０４を使用することと、識別された生物学的構造についての注釈を生成することとを行うように構成され得る。サーバ１０１は、インターフェース・デバイス１０７に、識別された生物学的構造に対応する生成された注釈を送るように構成され得る。サーバ１０１は、トレーニングされたモデル２０４を実行するために、ローカル・リソースを使用するか、又はクラウド・コンピューティング環境中のリソースを一時的に割り振ることと、インターフェース・デバイス１０７に返送されるべき注釈を生成することとを行うように構成され得る。

【0048】

図３は、本明細書で図示され説明される１つ又は複数の実施例による、機械学習を使用した生物学的構造の自動化された検出のためのさらに別のシステムを示す。

【0049】

次に図３を参照すると、サーバ１０１は、ネットワーク１０９を通して撮像デバイス１０５と通信するホスト・デバイス３０１として構成され得る。ネットワークは、パーソナル・エリア・ネットワーク、ローカル・エリア・ネットワーク、又はワイド・エリア・ネットワークであり得る。いくつかの実施例によれば、メモリ３０１ｂは、プロセッサ３０１ａによって実行されたとき、ホスト・デバイス３０１に、撮像デバイス１０５と通信することと、生物学的構造の自動化された検出に関係する機能を実行することとを行わせる、コンピュータ可読命令を記憶し得る。

【0050】

ホスト・デバイス３０１は、撮像デバイス１０５によって生成された画像データを受信することと、撮像デバイス１０５に調整命令を送ることとを行うように構成され得る。撮像デバイス１０５は、調整命令に応答して、対象、ズーム、ｘ及びｙ位置、ｚ高さ、フォーカス、倍率、又は、撮像デバイス１０５によって使用される撮像技術のために好適であり得る任意の撮像デバイス１０５設定など、１つ又は複数の撮像構成要素２０８設定を調整するように構成され得る。撮像デバイス１０５は、撮像構成要素２０８設定の１つ又は複数の調整の後に、調整された画像データをホスト・デバイス３０１に返送するように構成され得る。画像データを受信することと、調整命令を送ることと、調整された画像データを受信することとを繰り返し行うこのプロセスによって、ホスト・デバイス３０１は、撮像デバイス１０５に、撮像デバイス１０５に与えられた生体サンプル内で検出可能であるあらゆる生物学的構造のフォーカスのあらゆる利用可能なレベルにおいて画像データをキャプチャさせ得る。本明細書で開示する原理及び概念を使用すると、生体サンプル中の生物学的構造を識別するこのプロセスは、人間の介入なしに実行され得る。

【0051】

ホスト・デバイス３０１は、さらに、対象セグメンテーション、２Ｄ体積化（ｖｏｌｕｍｉｚｅｄ）投影、３Ｄ体積化投影、又は、１つ又は複数のトレーニングされたモデル２０４又は他の方法を使用して合成画像を生成する任意の他の画像処理機能又は方法を実行するように構成され得る。

【0052】

いくつかの実施例によれば、アクチュエータ２０６は、ホスト・デバイス３０１から直接、調整命令を受信するように構成される。他の実施例によれば、インターフェース・デバイス１０７は、図示のように、並びに図１及び図２を参照しながら説明したように、ホスト・デバイス３０１と撮像デバイス１０５との間の通信を管理し得る。いくつかの実施例によれば、インターフェース・デバイス１０７は、ディスプレイ、又はキーボード若しくはマウスなどのヒューマン・インターフェース・デバイスを有しないことがあり、画像データ及び調整命令を受信することと、アクチュエータ２０６の通信プロトコルなどの構成設定に基づいて、それらの画像データ及び調整命令を好ましいフォーマットに変換することとを行うように構成され得る。

【0053】

図４は、本明細書で図示され説明される１つ又は複数の実施例による、機械学習モデルをトレーニングする方法を示すフローチャートを示す。図４～図６に示された方法は、サーバ１０１と、インターフェース・デバイス１０７と、ホスト・デバイス３０１とのうちのいずれか、又はそれらの任意の組合せを備えるシステムによって実行され得る。方法ステップは、コンピュータ実行可能命令の形態でコンピュータ可読媒体に記憶され、システム１００、２００、３００の１つ又は複数のプロセッサによって実行され得る。

【0054】

図４を参照すると、ステップ４０１において、本システムは生物学的構造のトレーニング画像データを受信する。トレーニング画像データは、撮像デバイス１０５によって与えられ得るか、又は、事前に生成され、インターフェース・デバイス１０７によって記憶され得る。トレーニング画像データは、機械学習モデルがそれを識別するためにトレーニングされる、生物学的構造の任意の画像データであり得る。トレーニング画像データは、限定はしないが、写真撮影、超音波、磁気共鳴撮像、Ｘ線コンピュータ断層撮影、及び光学コンピュータ断層撮影を含む、様々な知られている撮像技術のうちのいずれかを使用して生成され得る。非限定的な実例として、Ｆｕｊｉｆｉｌｍ（登録商標）は、ＶｉｓｕａｌＳｏｎｉｃｓ（商標）という名称の製品ラインの下で超音波撮像システムを供給しており、Ｂｒｕｋｅｒ（登録商標）は、ＳｋｙＳｃａｎ（商標）という名称の製品ラインの下でＸ線コンピュータ断層撮影システムを供給している。当業者は、開示された実施例に一体化され得る多くの異なる撮像デバイス又は撮像構成要素に気づくであろう。

【0055】

ステップ４０２において、本システムは、トレーニング画像データに対応する注釈を受信する。いくつかの実施例によれば、本システムは、当業界において使用される標準フォーマットでトレーニング画像データ又は注釈を受信するように構成され得る。これらの標準フォーマットは当業者に知られている。本システムは、さらに、プロプライエタリ・フォーマットで注釈及びトレーニング画像データを受信するように構成され得る。本システムは、インターフェース・デバイス１０７のディスプレイ２１１を使用してトレーニング画像データをユーザに提示することと、ユーザから注釈を受信することとを行うように構成され得る。

【0056】

ステップ４０３において、本システムは、生物学的構造を識別し、生物学的構造に対応する注釈を生成するために、注釈及びトレーニング画像データを使用してカスタム機械学習モデルをトレーニングする。限定ではなく、一実例として、機械学習モデルは、人工知能エンジンと、ベイズ推定エンジンと、意思決定エンジンとからなるグループから選択される人工知能構成要素を含み得、ニューラル・ネットワーク、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、又はディープ・ニューラル・ネットワーク学習エンジンをさらに備える適応学習エンジンを有し得る。ディープ・ニューラル・ネットワーク学習エンジンに関する「ディープ」という用語は、当業者によって容易に理解される技術の用語であることが企図され、そのことは本開示の範囲内である。

【0057】

いくつかの実施例によれば、本システムは、ステップ４０１において、追加のトレーニング画像データを受信し続け、ステップ４０２において、注釈を受信し続け、追加のトレーニング画像データ及び注釈を使用して、ステップ４０３において、カスタム機械学習モデルをトレーニングし続け得る。カスタム機械学習モデルは、１つのインターフェース・デバイス１０７若しくは１つの撮像デバイス１０５から受信されたトレーニング画像データ、又は分散型コンピューティング環境中の複数のインターフェース・デバイス１０７若しくは複数の撮像デバイス１０５から受信されたトレーニング画像データを使用してトレーニングされ得る。

【0058】

ステップ４０６において、本システムは、トレーニングされたモデルをコンピュータ可読媒体に記憶する。コンピュータ可読媒体は、限定はしないが、コンピュータ・メモリ、ローカル・ストレージ、ネットワーク化ストレージ、又はクラウド・ストレージを含み得る。いくつかの実施例によれば、トレーニングされたモデルが記憶された後に、本システムは、随意に、ステップ４０１において、追加のトレーニング画像データを受信し続け、ステップ４０２において、注釈を受信し続け、ステップ４０４において、記憶されたトレーニングされたモデルを取り出し続け、追加のトレーニング画像データ及び注釈を使用して、ステップ４０５において、トレーニングされたカスタム機械学習モデルのトレーニングを更新し続け得る。更新されたトレーニングされたモデルは、ステップ４０６において、コンピュータ可読媒体に記憶され得る。

【0059】

図５は、本明細書で図示され説明される１つ又は複数の実施例による、トレーニングされた機械学習モデルを使用して生物学的構造を識別する方法を示すフローチャートを示す。ステップ５０１において、本システムは、１つ又は複数の生物学的構造を識別するために機械学習モデルをトレーニングする。トレーニングは、本明細書で開示される実施例のうちのいずれかに従って実行され得る。

【0060】

ステップ５０２において、本システムは、識別すべき生物学的構造を選択する命令を受信する。ステップ５０３において、本システムは、受信された命令に基づいて、トレーニングされたモデルを選択する。ステップ５０２の命令は、特定のトレーニングされたモデル２０４又は識別されるべき生物学的構造の選択を含み得る。本システムは、ステップ５０２の命令において識別された選択されたトレーニングされたモデル２０４を取り出すか、又は識別されるべき生物学的構造と好ましいトレーニングされたモデル２０４との間のマッピングに基づいて、適切なトレーニングされたモデル２０４を選択し得る。

【0061】

ステップ５０４において、本システムは、選択されたモデルのローカル・コピーを作成し得る。いくつかの実施例によれば、本システムは、トレーニングされたモデル２０４のローカル・コピーを作成し、ユーザから受信された命令に基づいて画像データ中の生物学的構造を識別するために、トレーニングされたモデル２０４を使用し得る。

【0062】

ステップ５０５において、本システムは撮像デバイス１０５から画像データを受信する。ステップ５０６において、本システムは、選択された機械学習モデルを使用して画像データ中の選択された生物学的構造を識別する。ステップ５０７において、本システムは、随意に、１つ又は複数の撮像構成要素２０８設定を調整するために撮像デバイス１０５に調整命令を送り、追加の画像データを受信するためにステップ５０５に戻り得る。本システムは、ステップ５０５において、画像データを受信することと、ステップ５０６において、撮像デバイス１０５に与えられた生体サンプル内の、１つ又は複数の機械学習モデルによって識別可能であるあらゆる生物学的構造についてのフォーカスのあらゆる利用可能なレベルにおいて画像データを撮像デバイス１０５にキャプチャさせる調整命令を送ることとを繰り返し行い得る。調整命令は、撮像デバイス１０５に、生体サンプルを移動させ、それにより、その生体サンプル中の１つ又は複数の生物学的構造を識別するために好適な画像データを生成するために、パンすることと、ズームすることと、フォーカスを変更することとを行わせ得る。

【0063】

ステップ５０８において、本システムは、識別された生物学的構造に対応する注釈を生成する。生成された注釈は生物学的構造の識別を含み得る。注釈は、画像、画像のソース、又は画像データ中に表された生物学的構造に関係する、信頼レベル又は任意の他の情報若しくはメタデータをも含み得る。任意の数又はタイプの注釈が生成され得、生成される注釈は、トレーニングされたモデル２０４のトレーニング中に本システムにどんな注釈が与えられたかに依存し得る。ステップ５０９において、本システムは画像データ及び生成された注釈を随意に表示する。

【0064】

図６は、本明細書で図示され説明される１つ又は複数の実施例による、トレーニングされたモデル２０４の中からのオートフォーカス・モデルを使用して生物学的構造を識別する方法を示すフローチャートを示す。本システムは、焦点外の生物学的構造を検出し、撮像デバイス１０５に送られるべきオートフォーカス調整命令を生成するためにトレーニングされた、トレーニングされたモデル２０４を選択したことに応答して、オートフォーカスを実行し得る。ステップ６０１において、本システムは画像データを受信する。画像データは、本明細書で開示される実施例のうちのいずれかに従って受信され得る。

【0065】

ステップ６０２において、本システムは、オートフォーカス・モデルを使用して画像データ中の焦点外生物学的構造を識別する。画像データ中で識別された焦点外生物学的構造に基づいて、本システムは、焦点外生物学的構造に焦点を合わせるように設計された調整命令を生成し得る。ステップ６０３において、本システムは、撮像デバイス１０５の画像センサー設定（たとえばフォーカス・レベル）を調整するために調整命令を撮像デバイス１０５に送る。本システムは、次いで、撮像デバイス１０５に送られた調整命令に応答して、調整された画像データを受信するためにステップ６０１に戻り得る。ステップ６０３において、本システムは、オートフォーカス・モデルを使用して画像データ中の合焦生物学的構造を識別する。本システムは、本明細書で開示される実施例のうちのいずれかに従って、ステップ６０５において、注釈を生成し、ステップ６０６において、画像データ及び生成された注釈を表示し得る。

【0066】

図７は、本明細書で図示され説明される１つ又は複数の実施例による、生物学的構造を含んでいる画像の人間による注釈及び機械による注釈を示す。次に図７を参照すると、生物学的構造を含んでいる２つの画像７０１、７０２、すなわち、１０倍の倍率で撮影された、蛍光画像７０１（パネルＡ）と位相コントラスト画像７０２（パネルＢ）とが示されている。血管をマーキングするために、画像７０１、７０２に注釈が手動で追加されている。注釈付けされた画像７０３、７０４は、開示される実施例による機械学習モデルをトレーニングするために使用され得る。トレーニングの後に、トレーニングされたモデル２０４は、血管を識別し、血管のピクセル長さを計算するために使用され得る。機械注釈付けされた蛍光画像７０５及び機械注釈付けされた位相コントラスト画像７０６は、注釈が含まれている画像データの表示を示す。図７は、画像に注釈付けするすべての方法を網羅するものではない。任意の注釈が使用され得、開示された実施例の機械学習モデルは、任意の様式で注釈付けされた画像データを使用してトレーニングされ得る。

【0067】

次に、本明細書で説明する実施例は、画像データからの生物学的構成内の、生物医学的対象セグメンテーションとしても知られる、生物医学的構造を識別することを対象とすることが理解されるべきである。いくつかの実施例では、そのような識別は、生物学的構成に対する変更が行われると、リアルタイムで行われ得る。上記のように、生物学的構成内の生物医学的構造を識別することは困難であり、時間がかかることがある。さらに、識別は、一般に、高度にトレーニングされた個人によって実行されなければならない。そのような高度にトレーニングされた個人がいないと、生物医学的対象セグメンテーションを実行することが困難になることがある。その上、生物医学的対象セグメンテーションは、画像データ内の生物学的構造の一貫性のない分析／検出につながり得る、人間のバイアス及びエラーにさらされることがある。したがって、本開示は、より速く、より一貫した識別結果を与え得る、生物学的構成の画像データから生物学的構造識別を実行するためのインテリジェント・システムを対象とする。

【0068】

「実質的に」及び「約」という用語は、本明細書では、任意の定量的な比較、値、測定、又は他の表現に帰せられ得る、不確実性の固有の程度を表すために利用され得ることに留意されたい。これらの用語はまた、本明細書では、定量的表現が、問題の主題の基本的機能の変化を生じることなしに、述べられた基準から変動し得る程度を表すために利用される。

【0069】

特定の実施例について本明細書で図示し、説明したが、特許請求された主題の趣旨及び範囲から逸脱することなく、様々な他の変更及び変形が行われ得ることを理解されたい。その上、特許請求された主題の様々な態様について本明細書で説明したが、そのような態様は必ずしも組み合わせて利用されるとは限らない。したがって、添付の特許請求の範囲は、特許請求される主題の範囲内に入るすべてのそのような変更及び変形を網羅するものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】